JP2007333399A - Appearance inspection apparatus and appearance inspection method of wire harness - Google Patents

Appearance inspection apparatus and appearance inspection method of wire harness Download PDF

Info

Publication number
JP2007333399A
JP2007333399A JP2006161951A JP2006161951A JP2007333399A JP 2007333399 A JP2007333399 A JP 2007333399A JP 2006161951 A JP2006161951 A JP 2006161951A JP 2006161951 A JP2006161951 A JP 2006161951A JP 2007333399 A JP2007333399 A JP 2007333399A
Authority
JP
Japan
Prior art keywords
inspection
wire harness
unit
harness
inspection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006161951A
Other languages
Japanese (ja)
Other versions
JP4670743B2 (en
Inventor
Hideo Onishi
秀夫 大西
Masatomo Takamura
真共 高村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Wiring Systems Ltd
Original Assignee
Sumitomo Wiring Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Wiring Systems Ltd filed Critical Sumitomo Wiring Systems Ltd
Priority to JP2006161951A priority Critical patent/JP4670743B2/en
Priority to CNA2007800132386A priority patent/CN101421582A/en
Priority to PCT/JP2007/050024 priority patent/WO2007144986A1/en
Publication of JP2007333399A publication Critical patent/JP2007333399A/en
Application granted granted Critical
Publication of JP4670743B2 publication Critical patent/JP4670743B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology for easily dealing with a change in a wire harness, and maintaining the accuracy of an appearance inspection of the wire harness to a fixed level. <P>SOLUTION: The wire harness 10 is held on a wire harness holding member 20. An abutted member 160 is provided in a harness holding post 24, and an identification mark 130 is attached to the abutted member 160. An abutting member 164 is integrally provided in an imaging section 140, and a position information acquiring camera 132 is attached to a tip of the abutting member 164. The tip of the abutting member 164 abuts against the abutted member 160. The imaging section 140 captures the image of a region to be inspected. The position to be inspected is identified, based on an image of the identification mark 130 captured by the position information acquiring camera 132, and pass or fail of the appearance inspection is determined, based on the image captured by the imaging section 140. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

この発明は、自動車用ワイヤーハーネス等のワイヤーハーネスの外観検査を行う技術に関する。   The present invention relates to a technique for performing an appearance inspection of a wire harness such as an automobile wire harness.

ワイヤーハーネスの外観検査を行う技術としては、目視にて検査する技術や、画像処理にて検査を行う技術がある。   As a technique for inspecting the appearance of the wire harness, there are a technique for visual inspection and a technique for inspection by image processing.

目視にて検査する技術としては、特許文献1に開示のものがある。特許文献1では、ハーネス原寸図上にタッチスクリーンを設置すると共に、タッチスクリーン上に完成したワイヤーハーネスを配設するようにしている。そして、完成したワイヤーハーネスの各検査対象部位とハーネス原寸図とを目視にて比較検査し、作業者が合格している判断した場合にタッチスクリーン上の確認ボタンを押して検査を行うようにしている。   As a technique for visual inspection, there is one disclosed in Patent Document 1. In Patent Document 1, a touch screen is installed on the original harness drawing, and a completed wire harness is arranged on the touch screen. Then, each inspection object part of the completed wire harness and the harness original size diagram are visually inspected, and when the operator judges that the inspection has passed, the confirmation button on the touch screen is pressed to perform the inspection. .

画像処理にて検査を行う技術としては、特許文献2に開示のものや、特許文献3に開示のものがある。   As a technique for performing inspection by image processing, there are a technique disclosed in Patent Document 2 and a technique disclosed in Patent Document 3.

特許文献2に開示の技術では、ワイヤーハーネスに対してカメラを走査させるように移動させている。また、組立図板は予め複数の領域に区分けされており、各領域に位置ズレ補正マークが設けられている。そして、カメラの走査途中で位置ズレ補正マークを検出すると、該位置ズレ補正マークを基準に検査領域を設定し、その検査領域において外観良否を判定するようにしている。   In the technique disclosed in Patent Document 2, the camera is moved so as to scan the wire harness. Further, the assembly drawing board is divided into a plurality of areas in advance, and a positional deviation correction mark is provided in each area. When a position deviation correction mark is detected during the scanning of the camera, an inspection area is set based on the position deviation correction mark, and the quality of the appearance is determined in the inspection area.

特許文献3に開示の技術では、パンチルトカメラが予め設定されたティーチングデータに従ってワイヤーハーネスにおける各検査対象位置を撮像し、各検査対象位置における撮像データに基づいて外観良否を判定するようにしている。   In the technique disclosed in Patent Document 3, each inspection target position in the wire harness is imaged in accordance with teaching data set in advance by a pan / tilt camera, and appearance quality is determined based on the imaging data at each inspection target position.

特開2001−108404号公報JP 2001-108404 A 特開平7−103910号公報Japanese Patent Laid-Open No. 7-103910 特開2001−27518号公報JP 2001-27518 A

しかしながら、特許文献1に開示の技術は、結局は目視に頼る検査であるため、一定の検査精度を維持することは難しい。   However, since the technique disclosed in Patent Document 1 is an inspection that relies on visual observation after all, it is difficult to maintain a certain inspection accuracy.

また、特許文献2及び特許文献3に開示の技術では、ワイヤーハーネスの変更等がある毎に、位置ズレ補正マークに対する検査領域の設定変更や、パンチルトカメラのティーチングデータ設定変更等を行う必要がある。これらの検査領域やティーチングデータの設定変更作業については、通常特殊な技術が必要とされるため、ワイヤーハーネスの組立現場での変更に容易に対処し得ないという問題がある。   In addition, in the techniques disclosed in Patent Document 2 and Patent Document 3, it is necessary to change the setting of the inspection region for the misalignment correction mark, the teaching data setting of the pan / tilt camera, etc. every time there is a change in the wire harness or the like. . For these inspection area and teaching data setting changing operations, a special technique is usually required, so that there is a problem that changes at the assembly site of the wire harness cannot be easily handled.

そこで、本発明は、ワイヤーハーネスの変更に容易に対処でき、かつ、ワイヤーハーネスの外観検査精度を一定に維持できる技術を提供することを目的とする。   Then, an object of this invention is to provide the technique which can cope with the change of a wire harness easily and can maintain the external appearance inspection precision of a wire harness constant.

上記課題を解決するため、この発明は、複数の検査対象部位を有するワイヤーハーネスの外観検査を行うワイヤーハーネスの外観検査装置であって、ワイヤーハーネスをセット可能なハーネス保持部材と、前記ハーネス保持部材のうち前記各検査対象部位に対応する位置に設けられた位置情報付与部と、前記各検査対象部位を撮像可能な撮像部と、前記位置情報付与部より得られる情報に基づいて検査対象部位を特定する位置特定部と、前記各検査対象部位に基準検査データを対応づけた検査情報を記憶した記憶部と、前記撮像部を通じて撮像画像が得られると、前記位置特定部により特定される検査対象部位と前記検査情報とに基づいて基準検査データを特定し、その特定された基準検査データと前記撮像部を通じて得られる撮像画像とに基づいて、その撮像対象となった検査対象部位における検査合否を判定する合否判定部とを備えたものである。   In order to solve the above-mentioned problems, the present invention is an appearance inspection device for a wire harness that performs an appearance inspection of a wire harness having a plurality of inspection target parts, and a harness holding member capable of setting a wire harness, and the harness holding member A position information providing unit provided at a position corresponding to each inspection target part, an imaging unit capable of imaging each inspection target part, and an inspection target part based on information obtained from the position information providing part. A position specifying unit to be specified, a storage unit that stores inspection information in which reference inspection data is associated with each inspection target part, and an inspection target specified by the position specifying unit when a captured image is obtained through the imaging unit Based on the part and the inspection information, the reference inspection data is specified, and the specified reference inspection data and the captured image obtained through the imaging unit Zui it, in which a determining adequacy determining unit inspection acceptance in the inspection target region from which it imaged.

この場合に、前記撮像部と前記検査対象部位との相対位置を保証する位置保証部材をさらに備えた構成としてもよい。   In this case, it is good also as a structure further provided with the position assurance member which ensures the relative position of the said imaging part and the said test object site | part.

また、ハーネス保持部材は、ハーネス支持本体部材と、前記ハーネス支持本体部材に立設されてワイヤーハーネスを前記ハーネス支持本体部材の上方位置で保持する複数のハーネス支持柱部とを有し、前記位置保証部材は、前記各検査対象部位に対応づけて前記ハーネス支持柱部に取付けられた被当接部材と、前記撮像部と一体的に設けられ、前記被当接部材に当接して前記撮像部を前記被当接部材に対して所定距離離れた位置に配設する当接部材と、を有するものであってもよい。   The harness holding member includes a harness support main body member and a plurality of harness support pillars that are erected on the harness support main body member and hold the wire harness at a position above the harness support main body member. The guarantee member is provided integrally with the imaging unit, and the abutted member attached to the harness support pillar portion in association with each inspection target portion, and is in contact with the abutted member and the imaging unit And a contact member disposed at a position away from the contacted member by a predetermined distance.

また、ハーネス保持部材は、ハーネス支持本体部材と、前記ハーネス支持本体部材に立設されてワイヤーハーネスを前記ハーネス支持本体部材の上方位置で保持する複数のハーネス支持柱部とを有し、前記位置保証部材は、前記撮像部に一体的に設けられ、前記支持本体部材に当接して前記撮像部を前記支持本体部から所定の高さ位置に配設する当接部材を有するものであってもよい。   The harness holding member includes a harness support main body member and a plurality of harness support pillars that are erected on the harness support main body member and hold the wire harness at a position above the harness support main body member. The guarantee member may be provided integrally with the imaging unit, and may include a contact member that contacts the support main body member and disposes the imaging unit at a predetermined height position from the support main body portion. Good.

さらに、前記位置情報付与部は、前記各検査対象部位に対応づけて前記被当接部材又は前記ハーネス支持本体部に設けられた識別マークであり、前記位置特定部は、前記当接部材に設けられ、前記当接部材が前記被当接部材又は前記ハーネス支持本体部に当接された状態で前記識別マークを読込み可能なマーク読込部を有し、前記マーク読込部で読込まれた識別マーク画像に基づいて検査対象部位を特定するものであってもよい。   Furthermore, the position information providing unit is an identification mark provided on the contacted member or the harness support main body unit in association with each inspection target site, and the position specifying unit is provided on the contact member. An identification mark image that has a mark reading portion that can read the identification mark in a state where the contact member is in contact with the contacted member or the harness support main body portion, and is read by the mark reading portion The part to be examined may be specified based on the above.

さらに、前記位置情報付与部は、前記各検査対象部位に対応づけて設けられ、それぞれ対応する前記検査対象部位と共に前記撮像部を通じて撮像可能な位置に設けられた識別マークであり、前記位置特定部は、前記撮像部を通じて撮像された撮像画像中の識別マーク画像に基づいて検査対象部位を特定するものであってもよい。   Further, the position information providing unit is an identification mark provided in association with each of the inspection target parts, and provided at a position that can be imaged together with the corresponding inspection target part through the imaging unit, and the position specifying unit May specify an inspection target region based on an identification mark image in a captured image captured through the imaging unit.

また、他の発明は、複数の検査対象部位を有するワイヤーハーネスの外観検査を行うワイヤーハーネスの外観検査方法であって、ワイヤーハーネスの前記各検査対象部位に対応づけて位置情報付与部を設ける工程と、前記各検査対象部位に基準検査データを対応づけた検査情報を記憶部に記憶させる工程と、前記各検査対象部位を撮像部により撮像すると共に、前記位置情報付与部より得られる情報に基づいて検査対象部位を特定する工程と、前記撮像部を通じて撮像画像が得られると、前記位置特定部により特定される検査対象部位と前記検査情報とに基づいて基準検査データを特定し、その特定された基準検査データと前記撮像部を通じて得られる撮像画像とに基づいて、その撮像対象となった検査対象部位における検査合否を判定する工程とを備えたものである。   Further, another invention is a wire harness appearance inspection method for performing an appearance inspection of a wire harness having a plurality of inspection object parts, and a step of providing a position information providing unit in association with each inspection object part of the wire harness And a step of storing, in a storage unit, examination information in which reference examination data is associated with each examination object part, and imaging each examination object part by an imaging part, and based on information obtained from the position information providing part When the captured image is obtained through the step of specifying the inspection target region and the imaging unit, the reference inspection data is specified based on the inspection target region specified by the position specifying unit and the inspection information, and is specified. Based on the reference inspection data obtained and the captured image obtained through the imaging unit, the pass / fail of the inspection in the inspection target part that is the imaging target is determined. It is that a degree.

この発明のワイヤーハーネスの外観検査装置によると、前記撮像部を通じて撮像画像が得られると、前記位置特定部により特定される検査対象部位と前記検査情報とに基づいて基準検査データを特定し、その特定された基準検査データと前記撮像部を通じて得られる撮像画像とに基づいて、その撮像対象となった検査対象部位における検査合否を判定するため、ワイヤーハーネスの外観検査精度を一定に維持できる。   According to the wire harness appearance inspection apparatus of the present invention, when a captured image is obtained through the imaging unit, the reference inspection data is specified based on the inspection target portion specified by the position specifying unit and the inspection information, and Based on the identified reference inspection data and the captured image obtained through the image capturing unit, the pass / fail inspection accuracy of the inspection target part that is the image capturing target is determined. Therefore, the appearance inspection accuracy of the wire harness can be maintained constant.

しかも、ワイヤーハーネスの変更があった場合には、位置情報付与部の位置を変更、追加、削除したり、検査情報における各検査対象部位と基準検査データとの対応を変更することで対処できる。従って、ワイヤーハーネスの変更にも比較的容易に対処できる。   Moreover, when there is a change in the wire harness, it can be dealt with by changing, adding, or deleting the position of the position information adding unit, or changing the correspondence between each inspection target part and the reference inspection data in the inspection information. Therefore, the change of the wire harness can be dealt with relatively easily.

また、前記撮像部と前記検査対象部位との相対位置を保証する位置保証部材をさらに備えていると、より安定した撮像画像を得ることができ、より検査精度を向上させることができる。   Further, when a position assurance member that guarantees the relative position between the imaging unit and the inspection target part is further provided, a more stable captured image can be obtained, and the inspection accuracy can be further improved.

また、前記位置保証部材が、前記各検査対象部位に対応づけて前記ハーネス支持柱部に取付けられた被当接部材と、前記撮像部と一体的に設けられ、前記被当接部材に当接して前記撮像部を前記被当接部材に対して所定距離離れた位置に配設する当接部材とを有するものであると、撮像部と被当接部材とを一定の距離関係に保つことができる。これにより、検査に適した安定した撮像画像を得ることができ、より検査精度を向上させることができる。   In addition, the position assurance member is provided integrally with the imaging member and the abutted member attached to the harness support column portion in association with each inspection target site, and abuts against the abutted member. And having the abutting member disposed at a position a predetermined distance away from the abutted member, the imaging unit and the abutted member can be kept in a constant distance relationship. it can. Thereby, a stable captured image suitable for inspection can be obtained, and inspection accuracy can be further improved.

また、ハーネス保持部材は、ハーネス支持本体部材と、前記ハーネス支持本体部材に立設されてワイヤーハーネスを前記ハーネス支持本体部材の上方位置で保持する複数のハーネス支持柱部とを有し、前記位置保証部材は、前記撮像部に一体的に設けられ、前記支持本体部材に当接して前記撮像部を前記支持本体部から所定の高さ位置に配設する当接部材を有するものであると、当接部材をハーネス支持本体部材に当接させることで、撮像部と検査対象部位との距離をなるべく所定の距離に保つことができる。これにより、検査に適した安定した撮像画像を得ることができ、より検査精度を向上させることができる。   The harness holding member includes a harness support main body member and a plurality of harness support pillars that are erected on the harness support main body member and hold the wire harness at a position above the harness support main body member. The guarantee member is provided integrally with the imaging unit, and has a contact member that contacts the support main body member and arranges the imaging unit at a predetermined height position from the support main body. By bringing the contact member into contact with the harness support main body member, the distance between the imaging unit and the inspection target part can be kept as predetermined as possible. Thereby, a stable captured image suitable for inspection can be obtained, and inspection accuracy can be further improved.

また、前記位置情報付与部は、前記各検査対象部位に対応づけて前記被当接部材又は前記ハーネス支持本体部に設けられた識別マークであり、前記位置特定部は、前記当接部材に設けられ、前記当接部材が前記被当接部材又は前記ハーネス支持本体部に当接された状態で前記識別マークを読込み可能なマーク読込部を有し、前記マーク読込部で読込まれた識別マーク画像に基づいて検査対象部位を特定するものであると、当接部材を被当接部に当接させて識別マークをマーク読込部で読込みつつ、検査対象部位の撮像を行えるので、便利である。   Further, the position information providing unit is an identification mark provided on the contacted member or the harness support main body unit in association with each inspection target part, and the position specifying unit is provided on the contact member. An identification mark image that has a mark reading portion that can read the identification mark in a state where the contact member is in contact with the contacted member or the harness support main body portion, and is read by the mark reading portion If the inspection target part is specified based on the above, it is convenient because the inspection target part can be imaged while the contact member is brought into contact with the contacted part and the identification mark is read by the mark reading part.

また、前記位置情報付与部は、前記各検査対象部位に対応づけて設けられ、それぞれ対応する前記検査対象部位と共に前記撮像部を通じて撮像可能な位置に設けられた識別マークであり、前記位置特定部は、前記撮像部を通じて撮像された撮像画像中の識別マーク画像に基づいて検査対象部位を特定するものであると、検査対象部位を撮像することで、検査対象部位を特定することができるので、便利である。   The position information adding unit is an identification mark that is provided in association with each of the inspection target parts, and is provided at a position that can be imaged through the imaging unit together with the corresponding inspection target part. Since the inspection target part can be specified by imaging the inspection target part based on the identification mark image in the captured image captured through the imaging unit, the inspection target part can be specified. Convenient.

また、この発明のワイヤーハーネスの外観検査方法によると、複数の検査対象部位を有するワイヤーハーネスの外観検査を行うワイヤーハーネスの外観検査方法であって、ワイヤーハーネスの前記各検査対象部位に対応づけて位置情報付与部を設ける工程と、前記各検査対象部位に基準検査データを対応づけた検査情報を記憶部に記憶させる工程と、前記各検査対象部位を撮像部により撮像すると共に、前記位置情報付与部より得られる情報に基づいて検査対象部位を特定する工程と、前記撮像部を通じて撮像画像が得られると、前記位置特定部により特定される検査対象部位と前記検査情報とに基づいて基準検査データを特定し、その特定された基準検査データと前記撮像部を通じて得られる撮像画像とに基づいて、その撮像対象となった検査対象部位における検査合否を判定する工程とを備えているため、ワイヤーハーネスの外観検査精度を一定に維持できる。   Further, according to the appearance inspection method for a wire harness of the present invention, it is an appearance inspection method for a wire harness that performs an appearance inspection of a wire harness having a plurality of inspection target portions, and is associated with each of the inspection target portions of the wire harness. A step of providing a position information adding unit; a step of storing inspection information in which reference inspection data is associated with each inspection target part; and a step of imaging each inspection target part by an imaging unit; A step of specifying an examination target region based on information obtained from the unit, and when a captured image is obtained through the imaging unit, reference examination data based on the examination target region identified by the position specifying unit and the examination information And based on the identified reference inspection data and the captured image obtained through the imaging unit, Because and a step of determining the inspection acceptance in 査 target site, can maintain the appearance inspection accuracy of the wire harness constant.

しかも、ワイヤーハーネスの変更があった場合には、位置情報付与部の設置位置を変更し、或は、追加、削除して、検査情報における各検査対象部位と基準検査データとの対応を変更することで対処できる。従って、ワイヤーハーネスの変更にも比較的容易に対処できる。   Moreover, when there is a change in the wire harness, the installation position of the position information adding unit is changed, or added or deleted, and the correspondence between each inspection target part and the reference inspection data in the inspection information is changed. Can be dealt with. Therefore, the change of the wire harness can be dealt with relatively easily.

以下、この発明の実施形態に係るワイヤーハーネスの外観検査装置及び外観検査方法について説明する。   Hereinafter, an appearance inspection apparatus and an appearance inspection method for a wire harness according to an embodiment of the present invention will be described.

ここでは、この発明の基本的内容を示す実施形態を第1実施形態で説明してから、より具体的な実施形態を第2実施形態で説明する。   Here, an embodiment showing the basic contents of the present invention will be described in the first embodiment, and then a more specific embodiment will be described in the second embodiment.

{第1実施形態}
第1実施形態に係るワイヤーハーネスの外観検査装置及び外観検査方法について説明する。
{First embodiment}
The wire harness appearance inspection apparatus and appearance inspection method according to the first embodiment will be described.

まず、検査対象となるワイヤーハーネス10について説明する。図1は検査対象となるワイヤーハーネス10がハーネス保持部材20上にセットされた状態を示す平面図である。   First, the wire harness 10 to be inspected will be described. FIG. 1 is a plan view showing a state in which a wire harness 10 to be inspected is set on a harness holding member 20.

このワイヤーハーネス10は、車両の構成部材に設けられたワイヤーハーネス配線経路に沿うように車両に組付けられ、該車両に搭載された各種電気機器同士を接続するための配線部材である。   The wire harness 10 is a wiring member that is assembled to a vehicle along a wire harness wiring path provided in a component member of the vehicle and connects various electric devices mounted on the vehicle.

このワイヤーハーネス10は、電線等の複数の配線材12を適宜分岐させつつ結束することにより構成されている。各配線材12の結束は、粘着テープ13等を用いて行われる(図2参照)。また、ワイヤーハーネス10の途中には、該ワイヤーハーネス10を車両側に取付けるための取付具が取付けられる。さらに、ワイヤーハーネス10の各端部には、電気機器接続用のコネクタ14等が適宜取付けられる(図3参照)。本ワイヤーハーネス10は、これらの粘着テープ13や取付具、コネクタ14等の取付部位を複数の検査対象部位として有している。そして、本ワイヤーハーネスの外観検査装置及び外観検査方法は、ワイヤーハーネス10におけるこれらの検査対象部位に関して、該粘着テープ13や取付具、コネクタ14等の取付の有無や取付種別(色や形状等)の検査を行う。   The wire harness 10 is configured by binding a plurality of wiring members 12 such as electric wires while appropriately branching them. The binding of the wiring members 12 is performed using the adhesive tape 13 or the like (see FIG. 2). Further, an attachment for attaching the wire harness 10 to the vehicle side is attached in the middle of the wire harness 10. Furthermore, a connector 14 for connecting an electrical device or the like is appropriately attached to each end of the wire harness 10 (see FIG. 3). This wire harness 10 has attachment parts, such as these adhesive tapes 13, fixtures, and connectors 14, as a plurality of inspection object parts. And the appearance inspection apparatus and appearance inspection method of this wire harness are the presence or absence and attachment classification (color, shape, etc.) of the adhesive tape 13, the fixture, the connector 14, etc. with respect to these inspection target parts in the wire harness 10. Perform the inspection.

また、ハーネス保持部材20は、ハーネス支持本体部22と、複数のハーネス支持柱部24とを有している。   Further, the harness holding member 20 includes a harness support main body portion 22 and a plurality of harness support pillar portions 24.

ハーネス支持本体部22は、上記ワイヤーハーネス10の展開形態に沿って平面状又は立体状に広がる部材である。ここでは、ハーネス支持本体部22は、ワイヤーハーネス10の展開形態よりも大きな広がりを有する略方形板状部材に形成されている。もっとも、ハーネス支持本体部22は、必ずしも板状である必要はなく、複数の長尺棒状部材によって構成されたフレーム構成であってもよい。   The harness support main body portion 22 is a member that spreads in a planar shape or a three-dimensional shape along the developed form of the wire harness 10. Here, the harness support main body portion 22 is formed in a substantially rectangular plate-like member having a larger extent than the developed form of the wire harness 10. But the harness support main-body part 22 does not necessarily need to be plate shape, The frame structure comprised by the some elongate rod-shaped member may be sufficient.

ハーネス支持柱部24は、ワイヤーハーネス10の展開経路に沿った適宜位置で上記ハーネス支持本体部22に立設された部材である。このハーネス支持柱部24の上端部にはワイヤーハーネス10の支持部が設けられている。このワイヤーハーネス10の支持部は、例えば、略U字状に形成された部分であり、当該略U字状部分にワイヤーハーネス10が載置状に引っ掛けられるようにして保持される。そして、上記ワイヤーハーネス10を各ハーネス支持柱部24に保持させることで、該ワイヤーハーネス10がハーネス支持本体部22の上方位置で所定の展開形態で保持されるようになっている。   The harness support column part 24 is a member erected on the harness support body part 22 at an appropriate position along the deployment path of the wire harness 10. A support portion for the wire harness 10 is provided at the upper end portion of the harness support pillar portion 24. The support portion of the wire harness 10 is, for example, a portion formed in a substantially U shape, and is held so that the wire harness 10 is hooked on the substantially U shape portion. Then, by holding the wire harness 10 on each harness support column portion 24, the wire harness 10 is held in a predetermined deployed form at a position above the harness support main body portion 22.

なお、このハーネス保持部材20は、その上方でワイヤーハーネス10を組立てるためのものであってもよいし、或は、他の場所で組立てられたワイヤーハーネス10が本ハーネス保持部材20上にセットされるもの、即ち、検査用のものであってもよい。   The harness holding member 20 may be for assembling the wire harness 10 thereabove, or the wire harness 10 assembled in another place is set on the harness holding member 20. May be for inspection.

図2は外観検査装置を示すブロック図である。なお、図2では、ワイヤーハーネス10のうち粘着テープ13の取付部分を検査対象部位として外観検査を行う状態を示しており、図3ではワイヤーハーネス10のうちコネクタ14の取付部分を検査対象として外観検査を行う状態を示している。   FIG. 2 is a block diagram showing an appearance inspection apparatus. 2 shows a state in which an appearance inspection is performed with the attachment portion of the adhesive tape 13 in the wire harness 10 as an inspection target portion, and FIG. 3 shows an appearance in which the attachment portion of the connector 14 in the wire harness 10 is an inspection target. It shows the state of performing the inspection.

この外観検査装置は、上記ハーネス保持部材20と、位置情報付与部30と、位置特定部としての位置情報取得部32及び位置判別部52と、撮像部40と、記憶部56と、検査合否判定部54とを備えている。   The appearance inspection apparatus includes the harness holding member 20, the position information providing unit 30, the position information acquisition unit 32 and the position determination unit 52 as a position specifying unit, the imaging unit 40, the storage unit 56, and an inspection pass / fail determination. Part 54.

位置情報付与部30は、前記ハーネス保持部材20のうち前記各検査対象部位に対応する位置に設けられる。例えば、ハーネス保持部材20のうち検査対象部位が配設されることとなる位置に隣接する部分等に設けられる。この位置情報付与部30には、各検査対象部位に割当てられた識別符号が所定の方式にて設定されており、位置情報取得部32に対して検査対象部位を特定するための情報を与える。   The position information providing unit 30 is provided at a position corresponding to each of the inspection target parts in the harness holding member 20. For example, the harness holding member 20 is provided in a portion adjacent to a position where the inspection target site is to be disposed. The position information adding unit 30 is set with an identification code assigned to each site to be examined by a predetermined method, and gives information for specifying the site to be examined to the position information acquiring unit 32.

位置情報取得部32は、前記位置情報付与部30からの検査対象部位を特定するための情報を受取り、位置判別部52に与える。   The position information acquisition unit 32 receives the information for specifying the examination target part from the position information adding unit 30 and gives the information to the position determination unit 52.

これらの位置情報付与部30及び位置情報取得部32としては、例えば、次のような構成が採用される。例えば、位置情報付与部30として文字や記号、図形(バーコード等を含む)等の識別マークをハーネス支持本体部22又はハーネス支持柱部24に付する構成を採用し、位置情報取得部32として該識別マークを読込み可能なカメラやリーダ装置、タッチペン装置等を用いる構成である。または、位置情報付与部30としてRFID(Radio Frequency Identification)で用いられるRFタグ(ICタグ)を用い、位置情報取得部32としてRFタグからの情報を読込み可能なリーダ装置等を用いる構成である。RFタグ及びそのリーダ装置を用いた構成においては、リーダ装置を撮像部40に一体化し、後述するように撮像部40にて検査対象位置を撮像した場合に、リーダ装置と対応するRFタグでのみ通信可能な程度にそれらの間の通信可能距離が設定されていることが好ましい。   For example, the following configuration is adopted as the position information adding unit 30 and the position information acquiring unit 32. For example, a configuration in which an identification mark such as a character, a symbol, or a figure (including a barcode) is attached to the harness support body 22 or the harness support pillar 24 as the position information adding unit 30 and the position information acquisition unit 32 is used. A camera, a reader device, a touch pen device, or the like that can read the identification mark is used. Alternatively, an RF tag (IC tag) used in RFID (Radio Frequency Identification) is used as the position information adding unit 30, and a reader device that can read information from the RF tag is used as the position information acquiring unit 32. In the configuration using the RF tag and its reader device, when the reader device is integrated with the imaging unit 40 and the inspection target position is imaged by the imaging unit 40 as described later, only the RF tag corresponding to the reader device is used. It is preferable that the communicable distance between them is set to such an extent that communication is possible.

つまり、位置情報付与部30としては種々方式にて所定の情報を設定可能な構成を採用することができ、位置情報取得部32としては該設定方式に応じて所定の情報を読込み可能な種々の構成を採用することができる。   That is, the position information adding unit 30 can employ a configuration that can set predetermined information by various methods, and the position information acquisition unit 32 can have various types of information that can read predetermined information according to the setting method. A configuration can be employed.

これらのうち、位置情報付与部30として識別マークを採用すると共に位置情報取得部32として該識別マークを読込み可能なカメラを用いた構成について第2実施形態で説明する。また、位置情報付与部30として識別マークを採用すると共に位置情報取得部32として検査対象部位撮像用の撮像部40を共用した構成について変形例で説明する。   Among these, a configuration using an identification mark as the position information adding unit 30 and a camera capable of reading the identification mark as the position information acquisition unit 32 will be described in the second embodiment. Further, a configuration in which an identification mark is employed as the position information adding unit 30 and the image capturing unit 40 for imaging a region to be examined is shared as the position information acquiring unit 32 will be described as a modification.

撮像部40は、各検査対象部位を撮像可能に構成されている。より具体的には、撮像部40はCCDやCMOS等によって構成されるカメラであり、後述する検査処理装置50に対して有線式又は無線式にて通信可能に接続されている。そして、撮像部40は、作業者等の人手により移動自在及び姿勢変更自在とされている。これにより、作業者が撮像部40を持って移動させることで、撮像部40を通じて各検査対象部位を順次撮像可能な構成となっている。   The imaging unit 40 is configured to be able to image each examination target part. More specifically, the imaging unit 40 is a camera configured by a CCD, a CMOS, or the like, and is connected to an inspection processing device 50 (to be described later) in a wired or wireless manner so as to be communicable. The imaging unit 40 can be moved and freely changed in posture by a worker or the like. Thus, the operator can move the imaging unit 40 and move the imaging unit 40 through the imaging unit 40 in order to sequentially image each examination target region.

上記位置判別部52、検査合否判定部54及び記憶部56としての各機能は、検査処理装置50に組込まれている。検査処理装置50は、CPU、RAM等の主記憶装置、さらにはハードディスク装置等の補助記憶装置等を備える一般的なコンピュータ装置であり、例えば、パーソナルコンピュータによって構成されている。そして、本検査処理装置50における位置判別部52及び検査合否判定部54としての機能は、予め格納されたソフトウェアプログラムによって実現されるようになっている。   Each function as the position determination unit 52, the inspection pass / fail determination unit 54, and the storage unit 56 is incorporated in the inspection processing device 50. The inspection processing device 50 is a general computer device that includes a main storage device such as a CPU and a RAM, and an auxiliary storage device such as a hard disk device, and is configured by a personal computer, for example. The functions as the position determination unit 52 and the inspection pass / fail determination unit 54 in the inspection processing apparatus 50 are realized by a software program stored in advance.

上記位置判別部52は、位置情報付与部30からの情報が位置情報取得部32を通じて得られると、その情報に基づいて検査対象部位を特定する。そして、その検査対象部位特定情報を検査合否判定部54に与える。   When the information from the position information adding unit 30 is obtained through the position information acquiring unit 32, the position determining unit 52 specifies the examination target site based on the information. Then, the inspection target part specifying information is given to the inspection acceptance / rejection determination unit 54.

また、上記記憶部56は、ハードディスク装置等の補助記憶装置によって構成されており、各検査対象部位に基準検査データを対応づけた検査情報を記憶している。基準検査データは、各検査対象部位に対応づけられた検査合否判定用の基準データである。例えば、所定色の粘着テープ13が巻付けられる検査対象部位に関する基準データは、当該所定色の存在が必要とされる最低限面積を示すデータである。また、例えば、所定色及び所定形状のコネクタ14が接続される検査対象部位に関する基準データは、当該所定色の存在が必要とされる最低限面積を示すデータ及び当該コネクタ14の外形状に応じた基準パターンのデータである。   The storage unit 56 is configured by an auxiliary storage device such as a hard disk device, and stores examination information in which reference examination data is associated with each examination target part. The reference inspection data is reference data for determining pass / fail of inspection associated with each inspection target part. For example, the reference data relating to the inspection target portion around which the adhesive tape 13 of a predetermined color is wound is data indicating the minimum area where the presence of the predetermined color is required. Further, for example, the reference data relating to the inspection target part to which the connector 14 having a predetermined color and a predetermined shape is connected corresponds to data indicating the minimum area where the predetermined color is required and the outer shape of the connector 14. Reference pattern data.

検査合否判定部54は、上記撮像部40を通じて撮像画像が得られると、上記位置判別部52により特定された検査対象部位と前記検査情報とに基づいて、合否判定に用いる基準検査データを特定する。そして、その特定された基準検査データと撮像部40を通じて得られる撮像画像とに基づいて、その撮像対象となった検査対象部位における検査合否を判定する。   When a captured image is obtained through the imaging unit 40, the inspection acceptance / rejection determination unit 54 specifies reference inspection data used for the acceptance determination based on the inspection target part specified by the position determination unit 52 and the inspection information. . And based on the specified reference | standard test | inspection data and the captured image obtained through the imaging part 40, the pass / fail of the test | inspection in the test target site | part used as the imaging target is determined.

例えば、所定色及び所定形状のコネクタ14が接続される検査対象部位に関する検査としては(図2参照)、撮像部40を通じて得られる撮像画像から前記所定色のエリアを抽出し、そのエリアの面積が最低限面積を上回っているか否かを判別し、上回っているときに、合格である旨の判定を下す。つまり、本検査対象部位に、正しい色の粘着テープ13が巻回されている場合に合格である旨の判定が下されるようになっている。   For example, as an inspection related to an inspection target part to which a connector 14 having a predetermined color and a predetermined shape is connected (see FIG. 2), an area of the predetermined color is extracted from a captured image obtained through the imaging unit 40, and the area of the area is It is determined whether or not it exceeds the minimum area, and when it exceeds the area, it is determined that it is acceptable. That is, when the correct color adhesive tape 13 is wound around the site to be inspected, it is determined that the test is successful.

また、例えば、所定色及び所定形状のコネクタ14が接続される検査対象部位に関する検査としては(図3参照)、上記と同様に撮像部40を通じて得られる撮像画像において、前記所定色のエリアが最低限面積を上回っているか否かを判別するか否かを判別する。加えて、撮像画像において前記基準パターンに基づいてパターンサーチを行い、前記基準パターンと所定の近似範囲内にあるパターンが探索されたか否かを判別する。そして、これらの両判別が合格である場合に、合格の判定を下す。つまり、本検査対象部位に、正しい形状及び正しい色のコネクタ14(つまり、正しい種類のコネクタ)が取付けられいる場合に、合格の判定が下されるようになっている。   Further, for example, as an inspection relating to an inspection target part to which a connector 14 having a predetermined color and a predetermined shape is connected (see FIG. 3), in the captured image obtained through the imaging unit 40 as described above, the area of the predetermined color is the lowest. It is determined whether or not it is determined whether or not it exceeds the limited area. In addition, a pattern search is performed based on the reference pattern in the captured image, and it is determined whether or not a pattern within a predetermined approximate range from the reference pattern has been searched. And when these both discrimination | determination is a pass, the pass determination is made. That is, when the correct shape and the correct color connector 14 (that is, the correct type of connector) is attached to the site to be inspected, a pass determination is made.

そして、これらの検査合否判定部54の合否判定結果は、合否判定出力部58に出力される。合否判定出力部58は、モニタやランプ等の表示手段、発音体(スピーカーやブザー等)等により構成されており、合否結果を作業者に対して認識可能に出力するようになっている。そして、作業者は、各検査対象部位の合否を、合否判定出力部58を通じて認識できるようになっている。   Then, the pass / fail determination results of these inspection pass / fail determination units 54 are output to the pass / fail determination output unit 58. The pass / fail judgment output unit 58 includes display means such as a monitor and a lamp, a sounding body (speaker, buzzer, etc.), etc., and outputs the pass / fail result so that the operator can recognize it. Then, the operator can recognize the pass / fail of each inspection target part through the pass / fail determination output unit 58.

このように構成されたワイヤーハーネスの検査装置を用いた検査方法について説明する。   An inspection method using the thus configured wire harness inspection device will be described.

まず、ハーネス保持部材20には、ワイヤーハーネス10の各検査対象部位に対応づけてそれぞれ位置情報付与部30を設けておく。なお、位置情報付与部30には、それぞれ固有の識別符号が設定されている。   First, the harness holding member 20 is provided with the position information providing unit 30 in association with each inspection target part of the wire harness 10. Each position information adding unit 30 is set with a unique identification code.

そして、各検査対象部位に基準検査データを対応づけた検査情報を記憶部56に設定登録する。ここで、検査対象部位に対応する基準検査データは、該検査対象部位に取付けられる部品に対応して、基準となる色や面積、基準パターン等が予め設定されていることが好ましい。そして、各検査対象部位に基準検査データを対応づける際には、当該予め設定されている基準データを選択して設定できるようにすることが好ましい。これにより、ワイヤーハーネス10の変更毎に、基準検査データを新たに作成する必要性を少なくすることができ、ワイヤーハーネス10の変更に対してより容易に対処できるようになる。もっとも、この場合でも、新しい部品等を採用した検査対象部位等に対しては、基準検査データを新たに作成する必要はある。   Then, the inspection information in which the reference inspection data is associated with each inspection object part is set and registered in the storage unit 56. Here, it is preferable that the reference inspection data corresponding to the inspection target region is preset with a reference color, area, reference pattern, and the like corresponding to the parts attached to the inspection target region. When the reference inspection data is associated with each inspection object part, it is preferable that the preset reference data can be selected and set. Thereby, it is possible to reduce the necessity of newly creating reference inspection data every time the wire harness 10 is changed, and it is possible to more easily cope with the change of the wire harness 10. However, even in this case, it is necessary to newly create reference inspection data for an inspection target part or the like that adopts a new part or the like.

そして、ワイヤーハーネス10の検査を行うにあたっては、作業者が上記撮像部40を手で持って各検査対象部位を撮像するようにする。この際、位置情報付与部30の情報が位置情報取得部32を通じて位置判別部52に与えられ、該位置判別部52で検査対象部位が特定されると共に、該特定された検査対象部位と検査情報とに基づいて基準検査データが特定されるようにする。そして、その特定された基準検査データと撮像部40を通じて得られる撮像画像とに基づいて、その撮像対象となった検査対象部位における検査合否が判定され、その合否判定結果が合否判定出力部58を通じて報知される。これにより、作業者は、当該検査対象部位における検査合否を知ることができる。   And when inspecting the wire harness 10, an operator picks up each imaging | photography site | part with the said imaging part 40 by hand. At this time, the information of the position information adding unit 30 is given to the position determination unit 52 through the position information acquisition unit 32, and the position determination unit 52 specifies the inspection target part, and the specified inspection target part and the inspection information. The reference inspection data is specified based on the above. Then, based on the specified reference inspection data and the captured image obtained through the imaging unit 40, the pass / fail of the inspection in the inspection target part that is the imaging target is determined, and the pass / fail determination result is passed through the pass / fail determination output unit 58. Informed. Thereby, the operator can know the pass / fail status of the inspection target part.

作業者は、続けて他の検査対象部位について、上記と同様の作業を行う。これにより、ワイヤーハーネス10の各検査対象部位における外観検査を行うことができる。   The operator then performs the same operation as described above for the other inspection target parts. Thereby, the external appearance test | inspection in each test object site | part of the wire harness 10 can be performed.

また、ワイヤーハーネス10に対して種類変更や設計変更等の変更があった場合には、次のようにして対処する。   Moreover, when there is a change such as a type change or a design change with respect to the wire harness 10, it is dealt with as follows.

まず、取付部品等は従前のままで検査対象部位の位置変更があった場合には、位置情報付与部30の配設位置を当該変更後の位置に対応する場所に変更する。   First, when the position of the inspection target part is changed while the attachment parts and the like remain unchanged, the arrangement position of the position information adding unit 30 is changed to a place corresponding to the changed position.

次に、検査対象部位の削除があった場合には、対応する位置情報付与部30を削除すると共に、記憶部56における検査情報のうち、削除対象となった検査対象部位に関する登録情報を削除する。   Next, when the inspection target part is deleted, the corresponding position information adding unit 30 is deleted, and the registration information related to the inspection target part that is the deletion target is deleted from the inspection information in the storage unit 56. .

また、検査対象部位の追加があった場合には、当該追加された検査対象部位に対応する位置に位置情報付与部30を追加配設すると共に、記憶部56における検査情報において追加対象となった検査対象部位の情報に対応づけて検査合否判定用の基準データを設定する。   In addition, when an inspection target part is added, the position information adding unit 30 is additionally disposed at a position corresponding to the added inspection target part, and the inspection information in the storage unit 56 becomes an additional target. Reference data for pass / fail judgment is set in association with information on the part to be examined.

これらの対処により従前と同様に外観検査を実施できる。   By these measures, the appearance inspection can be performed as before.

このように構成されたワイヤーハーネス10の外観検査装置及び外観検査方法によると、撮像部40を通じて撮像画像が得られると、位置判別部52により特定される検査対象部位と検査情報とに基づいて基準検査データを特定し、その基準検査データと撮像画像とに基づいて、その検査対象部位における検査合否を判定するため、目視による検査と比べて、ワイヤーハーネス10の外観検査精度を一定に維持できる。   According to the appearance inspection device and the appearance inspection method of the wire harness 10 configured as described above, when a captured image is obtained through the imaging unit 40, the reference is based on the inspection target portion specified by the position determination unit 52 and the inspection information. Since the inspection data is specified and the inspection pass / fail at the inspection target part is determined based on the reference inspection data and the captured image, the appearance inspection accuracy of the wire harness 10 can be maintained constant compared with the visual inspection.

しかも、ワイヤーハーネス10の変更があった場合には、位置情報付与部30の位置を変更、追加、削除したり、検査情報における各検査対象部位と基準検査データとの対応を変更することで対処できる。従って、従来のように、検査対象範囲やティーチングデータを変更する場合と比べて、ワイヤーハーネスの変更にも比較的容易に対処できる。   Moreover, when there is a change in the wire harness 10, the position of the position information adding unit 30 is changed, added, or deleted, or the correspondence between each inspection target part and the reference inspection data in the inspection information is changed. it can. Therefore, as compared with the conventional case where the inspection object range and teaching data are changed, the change of the wire harness can be handled relatively easily.

また、撮像部40は、1箇所の検査対象部位を撮像するため、比較的低解像度のものを使用でき、低コスト化にもつながる。   Moreover, since the imaging part 40 images one site | part to be examined, a thing with comparatively low resolution can be used and it also leads to cost reduction.

{第2実施形態}
次に、この発明の第2実施形態に係るワイヤーハーネスの外観検査装置及び外観検査方法について説明する。なお、検査対象となるワイヤーハーネス10やハーネス保持部材20等、上記実施形態と共通する構成要素については同一符号を付してその説明を省略する。
{Second Embodiment}
Next, a wire harness visual inspection apparatus and visual inspection method according to a second embodiment of the present invention will be described. In addition, about the component common to the said embodiment, such as the wire harness 10 used as a test object, the harness holding member 20, etc., the same code | symbol is attached | subjected and the description is abbreviate | omitted.

図4は本実施形態に係る外観検査装置を示すブロック図であり、図5は同外観検査装置により検査対象部位を検査する状態を示す図である。   FIG. 4 is a block diagram showing an appearance inspection apparatus according to the present embodiment, and FIG. 5 is a view showing a state in which an inspection target part is inspected by the appearance inspection apparatus.

この外観検査装置は、ハーネス保持部材20と、位置情報付与部としての識別マーク部130と、位置特定部としての位置情報取得用カメラ132及び位置判定部153bと、撮像部140と、記憶部154と、検査合否判定部153aとを備えている。加えて、この外観検査装置は、撮像部140と検査対象部位との相対位置を保証する位置保証部材として、ハーネス支持柱部24に取付けられた被当接部材160と、前記撮像部140に一体的に設けられた当接部材164とを備えている。   This appearance inspection apparatus includes a harness holding member 20, an identification mark unit 130 as a position information adding unit, a position information acquisition camera 132 and a position determination unit 153b as a position specifying unit, an imaging unit 140, and a storage unit 154. And an inspection acceptance / rejection determination unit 153a. In addition, this appearance inspection apparatus is integrated with the contacted member 160 attached to the harness support pillar 24 and the imaging unit 140 as a position assurance member that guarantees the relative position between the imaging unit 140 and the site to be inspected. And a contact member 164 provided.

すなわち、各ハーネス支持柱部24のうち検査対象部位に対応づけられるもの(通常は、該検査対象部位の近傍にあるもの)に、被当接部材160が取付けられている。被当接部材160は、略直方体ブロック状に形成されており、その一端部がハーネス支持柱部24の側方に向けて延出する姿勢で、被当接部材160の他端部がハーネス支持柱部24に取付けられている。この際、ハーネス支持柱部24のうち側方に延出する部分の上面が検査対象部位に対して一定の相対位置関係、特に、検査対象部位を基準にして一定の上下関係位置に配設されるようになっている。そして、ハーネス支持柱部24のうち側方に延出する部分の上面に、当接部材164が当接可能とされると共に、識別マーク部130が設けられている。   That is, the abutted member 160 is attached to one of the harness support pillars 24 that is associated with the inspection target site (usually in the vicinity of the inspection target site). The abutted member 160 is formed in a substantially rectangular parallelepiped block shape, with one end thereof extending toward the side of the harness support pillar 24 and the other end of the abutted member 160 being harness-supported. It is attached to the column part 24. At this time, the upper surface of the side portion of the harness support pillar 24 that extends laterally is disposed at a certain relative positional relationship with respect to the inspection target region, particularly at a certain vertical relationship position with respect to the inspection target region. It has become so. And the contact member 164 can be contact | abutted and the identification mark part 130 is provided in the upper surface of the part extended to the side among the harness support pillar parts 24. As shown in FIG.

識別マーク部130は、検査対象位置を特定する情報を文字や記号、図形等で表したものであり、被当接部材160の表面に設けられている。より具体的には、検査対象位置を特定する情報を印刷したシール用紙が、被当接部材160の表面に貼着された構成とされている。そして、後述するようにして当接部材164を被当接部材160の他端部上面に当接させた状態で、該当接部材164の先端部に設けられた位置情報取得用カメラ132が該識別マーク部130を読込めるようになっている。   The identification mark portion 130 represents information for specifying the inspection target position with characters, symbols, figures, and the like, and is provided on the surface of the contacted member 160. More specifically, a seal sheet on which information for specifying the inspection target position is printed is attached to the surface of the contacted member 160. Then, in a state where the contact member 164 is in contact with the upper surface of the other end portion of the contacted member 160 as described later, the position information acquisition camera 132 provided at the distal end portion of the contact member 164 recognizes the identification. The mark part 130 can be read.

当接部材164は、上記撮像部40に対応する撮像部140と一体的に設けられ、上記被当接部材160に当接可能とされている。より具体的には、撮像部140は、略直方体状の筐体部142内に下方を撮像するようにして撮像素子144が取付けられた構成とされており、この撮像部140の一側部に当接部材164が一体化されている。当接部材164は、撮像部140よりも撮像方向(ここでは下方)に向けて延出する棒状(ここでは角柱状の部材)に形成されている。そして、本当接部材164の先端部を上記当接部のうち側方に延出する部分の上面に当接させることで、撮像部140が当接部材164の上方所定位置、即ち、対応する検査対象部位の上方に所定距離離れた位置に配設される構成となっている。   The abutting member 164 is provided integrally with the imaging unit 140 corresponding to the imaging unit 40 and can abut on the abutted member 160. More specifically, the imaging unit 140 has a configuration in which an imaging element 144 is attached so as to capture an image of the lower part in a substantially rectangular parallelepiped casing 142, and is provided at one side of the imaging unit 140. The contact member 164 is integrated. The contact member 164 is formed in a rod shape (here, a prismatic member) that extends in the imaging direction (here, downward) from the imaging unit 140. Then, by bringing the front end portion of the contact member 164 into contact with the upper surface of the side portion of the contact portion that extends laterally, the imaging unit 140 is positioned at a predetermined position above the contact member 164, that is, the corresponding inspection. It is configured to be disposed at a position a predetermined distance above the target part.

また、この被当接部材160の先端部には、位置情報取得用カメラ132が設けられている。位置情報取得用カメラ132は、CCDやCMOS等により構成されている。そして、当接部材164の先端部が上記当接部材164の側方延出部分の上面に当接すると、位置情報取得用カメラ132がその上面に付された識別マーク部130を読込む構成となっている。   In addition, a position information acquisition camera 132 is provided at the tip of the contacted member 160. The position information acquisition camera 132 is configured by a CCD, a CMOS, or the like. And when the front-end | tip part of the contact member 164 contacts the upper surface of the side extension part of the said contact member 164, the structure 132 reads the identification mark part 130 attached | subjected to the upper surface of the position information acquisition camera. It has become.

そして、作業者が一体化された撮像部140及び当接部材164を掴み、検査対象部位の上方に撮像部140を配設しつつ、該被検査対象部位に対応する被当接部材160の側方延出部分上面に当接部材164の先端部を当接させるようにする。すると、位置情報取得用カメラ132が識別マーク部130を読込むと共に、撮像部140が図6に示すように検査対象部位を撮像できるようになる。この際、当接部材164及び被当接部材160は、撮像部140と検査対象部位との相対位置(ここでは、撮像部140と検査対象部位との上下方向に関する相対位置)を保証しているため、検査対象部位は一定の画角で撮像部140により撮像される。そして、これらの識別マーク部130の読込み画像及び検査対象部位の撮像画像は、検査処理装置150に与えられる。   Then, the operator grasps the integrated imaging unit 140 and the contact member 164, and arranges the imaging unit 140 above the inspection target part, while the side of the contacted member 160 corresponding to the inspection target part. The front end portion of the contact member 164 is brought into contact with the upper surface of the extending portion. Then, the position information acquisition camera 132 reads the identification mark part 130, and the imaging part 140 can image the examination target part as shown in FIG. At this time, the contact member 164 and the contacted member 160 guarantee the relative position between the imaging unit 140 and the inspection target part (here, the relative position between the imaging unit 140 and the inspection target part in the vertical direction). Therefore, the examination target part is imaged by the imaging unit 140 at a constant angle of view. Then, the read image of the identification mark unit 130 and the captured image of the inspection target part are given to the inspection processing device 150.

検査処理装置150は、パーソナルコンピュータ等によって構成されており、本検査の全体制御を司る処理装置本体部152と、入力装置158と、表示部159とを備えている。   The inspection processing device 150 is configured by a personal computer or the like, and includes a processing device main body 152 that controls the entire main inspection, an input device 158, and a display unit 159.

入力装置158は、いわゆるキーボードやマウス等の入力手段であり、処理装置本体部152に対して諸指令、諸設定を入力するためのものである。   The input device 158 is an input means such as a so-called keyboard or mouse, and is used to input various commands and settings to the processing device main body 152.

表示部159は、液晶表示ディスプレイ装置等であり、本検査における設定内容や検査結果等を表示するためのものである。   The display unit 159 is a liquid crystal display device or the like, and is used to display setting contents and inspection results in this inspection.

処理装置本体部152は、CPU153と、RAM等の主記憶装置と、記憶部154と、入力部155と、画像入力部156と、画像出力部157とを備えている。   The processing device main body 152 includes a CPU 153, a main storage device such as a RAM, a storage unit 154, an input unit 155, an image input unit 156, and an image output unit 157.

記憶部154は、ハードディスク装置等の補助記憶装置を含んでおり、本検査処理を行うための制御プログラムや諸設定情報を記憶している。   The storage unit 154 includes an auxiliary storage device such as a hard disk device, and stores a control program and various setting information for performing the inspection process.

CPU153は、検査合否判定部153aとしての機能及び位置判定部153bとしての機能を備えている。位置判定部153bは、制御プログラムに従って、位置情報取得用カメラ132による読込み画像及び記憶部154に記憶された諸設定情報に基づいて検査対象部位を特定する処理を行う。また、検査合否判定部153aは、制御プログラムに従って、前記特定された検査対象部位及び記憶部154における諸設定情報に基づいて該検査対象部位における外観検査の合否を判定する処理を行う。   The CPU 153 has a function as the inspection pass / fail determination unit 153a and a function as the position determination unit 153b. The position determination unit 153b performs a process of specifying an examination target part based on an image read by the position information acquisition camera 132 and various setting information stored in the storage unit 154 according to the control program. Further, the inspection pass / fail determination unit 153a performs a process of determining the pass / fail of the appearance inspection in the inspection target part based on the specified inspection target part and various setting information in the storage unit 154 according to the control program.

なお、記憶部154におけるより具体的な設定内容及びCPU153におけるより具体的な処理内容については、後述する。   Note that more specific setting contents in the storage unit 154 and more specific processing contents in the CPU 153 will be described later.

また、上記入力部155は、入力装置158からの入力信号を仲介してCPU153等に与える。画像入力部156は、撮像部140及び位置情報取得用カメラ132より入力される画像信号を取込んで画像処理可能なデータとしてCPU153等に与える役割を果す。また、画像出力部157は、検査のための各種設定情報や検査結果を画像信号として出力して表示部159に表示させる役割を果す。   The input unit 155 mediates an input signal from the input device 158 and gives it to the CPU 153 and the like. The image input unit 156 plays a role of taking an image signal input from the imaging unit 140 and the position information acquisition camera 132 and giving it to the CPU 153 or the like as data that can be processed. Further, the image output unit 157 plays a role of outputting various setting information and inspection results for inspection as image signals to be displayed on the display unit 159.

上記記憶部154に設定記憶される内容について説明する。まず、図7に示すように、各検査対象部位に検査種別を対応づけた内容が、記憶部154に記憶される。ここでは、各検査対象部位に”P001”、”P002”、”P003”、”P004”・・・の固有の識別符号を付与している。また、検査内容を表す各検査種別に”T001”、”T002”、”T003”・・・の識別符号を付与している。そして、検査対象部位”P001”に検査種別”T001”を、検査対象部位”P002”に検査種別”T002”を、検査対象部位”P003”に検査種別”T001”を、検査対象部位”P004”に検査種別”T003”を対応づけている。ここで、検査対象部位”P001”及び”P002”に同一の検査種別”T002”を対応づけているのは、それらの検査対象部位に同じ部品(粘着テープやコネクタ)が取付けられている場合を想定しているためである。   The contents set and stored in the storage unit 154 will be described. First, as illustrated in FIG. 7, the contents in which the examination type is associated with each examination target part are stored in the storage unit 154. Here, unique identification codes “P001”, “P002”, “P003”, “P004”,... Also, identification codes “T001”, “T002”, “T003”,... Then, the examination type “T001” is assigned to the examination target part “P001”, the examination type “T002” is assigned to the examination target part “P002”, the examination type “T001” is assigned to the examination target part “P003”, and the examination target part “P004”. Is associated with the inspection type “T003”. Here, the same inspection type “T002” is associated with the inspection target parts “P001” and “P002” when the same parts (adhesive tape or connector) are attached to the inspection target parts. This is because it is assumed.

上記検査種別”T001”、”T002”、”T003”に対しては、図8に示すように、予め検査内容が設定登録されて記憶部154に記憶される。すなわち、検査種別”T001”に対しては色検査1と形状検査1とを行う旨設定登録されている。また、検査種別”T002”に対しては色検査2を行う旨設定登録されている。色検査1、色検査2は、例えば、撮像部140を通じて得られる撮像画像から設定された所定色のエリアを抽出し(図6の斜め網線を付した領域参照)、そのエリアの面積が設定された最低限面積を上回っているか否かを判別する検査である。また、形状検査1は、撮像画像において前記基準パターンに基づいてパターンサーチを行い、前記基準パターンと所定の近似範囲内にあるパターンが探索されたか否かを判別するような検査である。なお、上記外観検査の処理内容は例示であり、検査対象部位の撮像画像に基づく外観検査手法としては、不良パターンを定義しておいてその不良パターンを抽出する方式等、種々の画像処理を利用した検査手法を採用することができる。   For the inspection types “T001”, “T002”, and “T003”, as shown in FIG. 8, inspection contents are set and registered in advance and stored in the storage unit 154. That is, for the inspection type “T001”, the setting registration for performing the color inspection 1 and the shape inspection 1 is registered. In addition, for the inspection type “T002”, setting registration for performing color inspection 2 is registered. In the color inspection 1 and the color inspection 2, for example, an area of a predetermined color set from a captured image obtained through the imaging unit 140 is extracted (see an area with diagonal lines in FIG. 6), and the area of the area is set. This is an inspection for determining whether or not the minimum area is exceeded. The shape inspection 1 is an inspection in which a pattern search is performed on the captured image based on the reference pattern to determine whether or not a pattern within a predetermined approximate range from the reference pattern is searched. The processing contents of the above-described appearance inspection are only examples, and as the appearance inspection method based on the captured image of the inspection target part, various image processing such as a method of defining a defective pattern and extracting the defective pattern is used. Can be employed.

本実施形態では、各検査対象部位に検査種別を対応づけた情報(図7参照)と、検査種別”T001”、”T002”、”T003”に検査内容を対応づけた情報(図8参照)とを別にしている。これは各検査対象部位に検査種別を選択して設定することで、個々に検査内容を登録する作業を省略し、もって、その設定を容易に行えるようにするためである。   In this embodiment, information (see FIG. 7) that associates the examination type with each examination target part, and information that associates examination contents with examination types “T001”, “T002”, and “T003” (see FIG. 8). Separately. This is because by selecting and setting the examination type for each examination target part, the operation of individually registering the examination contents is omitted, so that the setting can be easily performed.

上記のためには、上記検査種別”T001”、”T002”、”T003”に対する検査内容は、各検査対象部位に取付けられる部品(粘着テープの色や、コネクタの色、形状等)に応じて予め設定登録されていることが好ましい。そして、各検査対象部位に検査種別を対応づける際には、既存の検査種別の中から選択して設定できるようにすることが好ましい。もっとも、想定外の部品や新規部品等が用いられた場合等には、上記検査種別”T001”、”T002”、”T003”に対する検査内容を、後から追加設定してもよい。   For the above, the inspection content for the inspection types “T001”, “T002”, and “T003” depends on the parts (color of adhesive tape, color of connector, shape, etc.) attached to each inspection target part It is preferable that the setting is registered in advance. Then, when associating the examination type with each examination target part, it is preferable that the examination type can be selected and set from the existing examination types. However, when an unexpected part, a new part, or the like is used, the inspection contents for the inspection types “T001”, “T002”, and “T003” may be additionally set later.

本実施形態では、これらの図7及び図8に示す設定登録情報が、各検査対象部位に基準検査データを対応づけた検査情報ということになる。   In the present embodiment, the setting registration information shown in FIGS. 7 and 8 is examination information in which reference examination data is associated with each examination target part.

表示部159に表示される外観検査結果の一例を図9に示す。同図に示すように、各検査結果対象部位に対する合否結果が”○”又は”−”で示される。”○”は検査結果が合格であることを意味し、”−”は検査前又は検査不合格(つまり、合格ではない状態)を意味している。また、全ての検査対象部位が合格した場合には、その旨が表示される。ここでは、全体合否を示す欄に”○”が表示されることで、全ての検査対象部位が合格したことを示すようになっている。従って、当該表示を確認することで、作業者は、ワイヤーハーネス10の全部の検査対象部位が合格しているかどうかを確認できる。また、全体が合格していない状態では、各検査結果対象部位に対する合否結果”○”又は”−”を確認しつつ、合格前である各検査結果対象部位に対する検査を実施していくことができる。   An example of the appearance inspection result displayed on the display unit 159 is shown in FIG. As shown in the figure, the pass / fail result for each inspection result target part is indicated by “◯” or “−”. “O” means that the inspection result is acceptable, and “-” means that the inspection is unsuccessful or unacceptable (that is, the state is not acceptable). Further, when all the inspection target parts have passed, a message to that effect is displayed. Here, “◯” is displayed in the column indicating the overall acceptance / rejection to indicate that all the inspection target parts have passed. Therefore, by confirming the display, the operator can confirm whether or not all the inspection target parts of the wire harness 10 have passed. Moreover, in the state where the whole has not passed, it is possible to carry out the inspection for each inspection result target part before passing while confirming the pass / fail result “◯” or “−” for each inspection result target part. .

本ワイヤーハーネスの外観検査装置による外観検査方法について、外観検査装置の動作と共に説明する。図10は、ワイヤーハーネスの外観検査装置の動作を示すフローチャートである。   An appearance inspection method using the appearance inspection apparatus of the wire harness will be described together with the operation of the appearance inspection apparatus. FIG. 10 is a flowchart showing the operation of the wire harness appearance inspection apparatus.

まず、外観検査装置に対して、図7及び図8に示すようにして、各検査対象部位に基準検査データを対応づけた検査情報を設定しておく。また、第1実施形態で説明したのと同様に、ハーネス保持部材20には、ワイヤーハーネス10の各検査対象部位に対応づけてそれぞれ位置情報付与部30を設けておく。   First, as shown in FIGS. 7 and 8, inspection information in which reference inspection data is associated with each inspection target part is set in the appearance inspection apparatus. In addition, as described in the first embodiment, the harness holding member 20 is provided with the position information providing unit 30 in association with each inspection target portion of the wire harness 10.

そして、外観検査を開始する。すなわち、作業者が上記撮像部140を手で持って、検査対象部位の上方に撮像部140を配設しつつ、該被検査対象部位に対応する被当接部材160の側方延出部分上面に当接部材164の先端部を当接させるようにする。すると、識別マーク部130が位置情報取得用カメラ132で読込まれてその識別マーク部130の画像が検査処理装置150に与えられると共に、検査対象部位が撮像部140で撮像されてその撮像画像が検査処理装置150に与えられる。   Then, an appearance inspection is started. That is, the operator holds the imaging unit 140 with his hand and disposes the imaging unit 140 above the inspection target part, while the laterally extending portion upper surface of the contacted member 160 corresponding to the inspection target part The tip of the contact member 164 is brought into contact with the contact member 164. Then, the identification mark unit 130 is read by the position information acquisition camera 132 and an image of the identification mark unit 130 is given to the inspection processing device 150, and the inspection target part is imaged by the imaging unit 140, and the captured image is inspected. It is given to the processing device 150.

すると、検査処理装置150は、ステップS1に示すように、識別マーク部130の画像に基づいて検査対象部位”P001”、”P002”、”P003”、”P004”・・・の特定を試みる。そして、検査対象部位を特定できるまでステップS1の処理を繰返し、検査対象部位を特定できた場合に、ステップS2に進む。ステップS2では、特定された検査対象部位及び図7、図8に示す設定情報に基づいて、検査種別”T001”、”T002”、”T003”・・・(検査基準データ)を特定する。   Then, as shown in step S1, the inspection processing apparatus 150 attempts to specify inspection target portions “P001”, “P002”, “P003”, “P004”,... Based on the image of the identification mark unit 130. Then, the process of step S1 is repeated until the inspection target part can be specified, and when the inspection target part can be specified, the process proceeds to step S2. In step S2, examination types “T001”, “T002”, “T003”,... (Examination reference data) are identified based on the identified examination target part and the setting information shown in FIGS.

次ステップS3では、撮像部140による撮像画像及び上記特定された検査種別に基づいて、特定された検査対象部位に対する外観検査の合否を判定する。ここで、検査対象部位における部品が適切に装着され、かつ、撮像画像内に検査対象部位がうまく映り込んでいる場合には、合格と判断され、表示部159における表示結果を更新して、次ステップS4に進む。一方、検査対象部位における部品が未装着又は不適切である場合、又は、撮像画像内に検査対象部位がうまく映り込んでいない等には、不合格と判定される。この場合には、検査処理装置150は、撮像部140による別の撮像画像に基づいて再度外観検査の合否を判定する。つまり、撮像部140により連続的な画像(動画又は所定時間毎の静止画像)が得られるようになっており、検査処理装置150は、外観検査が合格となるまで、逐次撮像部140による撮像画像に基づいて外観検査の合否を判定する。これにより、当該検査対象部位において所定の部品が適切に装着されている場合には、作業者が撮像部140の位置及び姿勢を適切に調整すれば、いつかは合格判定が下されるようになっている。そして、調整結果、部品が適切に装着された検査対象部位が撮像画像内にうまく映り込むと、合格判定が下される。   In the next step S <b> 3, whether or not the appearance inspection for the specified inspection target part is acceptable is determined based on the image captured by the imaging unit 140 and the specified inspection type. Here, when the component in the inspection target part is properly mounted and the inspection target part is reflected well in the captured image, it is determined that the inspection is successful, the display result on the display unit 159 is updated, and the next Proceed to step S4. On the other hand, when a part in the inspection target part is not mounted or inappropriate, or when the inspection target part is not properly reflected in the captured image, it is determined to be unacceptable. In this case, the inspection processing device 150 determines pass / fail of the appearance inspection again based on another captured image by the imaging unit 140. That is, continuous images (moving images or still images every predetermined time) are obtained by the imaging unit 140, and the inspection processing apparatus 150 sequentially captures images captured by the imaging unit 140 until the appearance inspection passes. The pass / fail of the appearance inspection is determined based on the above. Thereby, when a predetermined part is appropriately mounted in the inspection target part, if the operator appropriately adjusts the position and posture of the imaging unit 140, a pass determination is made someday. ing. Then, if the inspection target part where the component is properly mounted is reflected in the captured image as a result of the adjustment, a pass determination is made.

ステップS3で合格判定が下されると、ステップS4に進む。ステップS4では、全ての検査対象部位における検査が終了したか否かが判断される。検査終了前であるとステップS1に戻り、ステップS1以下の処理を繰返す。一方、検査終了と判断されると、表示部159の表示結果を更新して当該ワイヤーハーネス10に対する外観検査を終了する。   When a pass determination is made in step S3, the process proceeds to step S4. In step S4, it is determined whether or not the inspection has been completed for all the inspection target parts. If it is before the end of the inspection, the process returns to step S1, and the processes after step S1 are repeated. On the other hand, when it is determined that the inspection is finished, the display result of the display unit 159 is updated and the appearance inspection for the wire harness 10 is finished.

そして、同じ種類のワイヤーハーネス10を該ハーネス保持部材20上で組立又は該ハーネス保持部材20に移し替えるようにセットすることで、同様にして外観検査を実施できる。   Then, by setting the same type of wire harness 10 so as to be assembled or transferred to the harness holding member 20 on the harness holding member 20, the appearance inspection can be similarly performed.

また、ワイヤーハーネス10に対して種類変更や設計変更等の変更があった場合には、変更された検査対象部位に応じて被当接部材160を位置変更、追加、削除すると共に、識別マーク部130を位置変更、追加、削除する。また、上記したように、図7における検査対象部位”P001”、”P002”、”P003”、”P004”・・・を適宜追加、削除し、また、対応づけられる検査種別”T001”、”T002”、”T003”・・・を変更、追加、削除する。さらに、必要に応じて、図8に示す検査種別の検査内容をも適宜変更、追加、削除する。こうして、変更されたワイヤーハーネス10に応じて、各検査対象部位に基準検査データが対応づけられた検査情報を設定する。   Moreover, when there is a change such as a type change or a design change with respect to the wire harness 10, the position of the contacted member 160 is changed, added, or deleted according to the changed inspection target part, and the identification mark portion 130 is repositioned, added, or deleted. Further, as described above, the inspection target portions “P001”, “P002”, “P003”, “P004”... In FIG. Change, add, or delete T002 "," T003 ". Furthermore, the inspection contents of the inspection types shown in FIG. 8 are appropriately changed, added, or deleted as necessary. In this way, according to the changed wire harness 10, inspection information in which the reference inspection data is associated with each inspection target part is set.

上記のように、被当接部材160及び識別マーク部130を位置変更すると共に、各検査対象部位に対応づけられる基準検査データを変更することで、変更されたワイヤーハーネス10に対しても外観検査を行うことができる。   As described above, by changing the position of the abutted member 160 and the identification mark portion 130 and changing the reference inspection data associated with each inspection target portion, the appearance inspection is also performed on the changed wire harness 10. It can be performed.

このように構成されたワイヤーハーネス10の外観検査装置及び外観検査方法によると、上記第1実施形態と同様の効果を得ることができる。   According to the appearance inspection apparatus and the appearance inspection method for the wire harness 10 configured as described above, the same effects as those of the first embodiment can be obtained.

また、位置保証部材としてハーネス支持柱部24に設けられた被当接部材160と、撮像部140と一体的に設けられた当接部材164とを備えているため、被当接部材160の先端部を当接部材164に当接させることで、撮像部140と検査対象部位との距離をなるべく一定に保つことができる。これにより、検査対象部位を一定の大きさ(画角)で撮像したより安定した撮像画像を得ることができ、より検査精度を向上させることができる。   In addition, since the abutting member 160 provided on the harness support column portion 24 as a position assurance member and the abutting member 164 provided integrally with the imaging unit 140 are provided, the tip of the abutting member 160 is provided. By bringing the part into contact with the contact member 164, the distance between the imaging unit 140 and the inspection target part can be kept as constant as possible. Thereby, it is possible to obtain a more stable captured image obtained by imaging the inspection target part with a certain size (angle of view), and to improve the inspection accuracy.

なお、検査対象部位と撮像部140との間で保証される相対位置関係は、少なくともそれら間の距離であることが好ましい。検査対象部位と撮像部140との水平方向における関係については、検査対象部位と撮像部140との距離が一定であれば、作業者が撮像部140を適宜動かすことでいつかは検査対象部位を撮像できると期待できるし、また、検査対象部位が撮像されてされいれば、撮像画像又は基準パターンを平行移動又は回転移動させることで容易に外観検査を行えるように対処できるからである。   In addition, it is preferable that the relative positional relationship guaranteed between the examination target part and the imaging unit 140 is at least a distance between them. Regarding the relationship between the inspection target part and the imaging unit 140 in the horizontal direction, if the distance between the inspection target part and the imaging unit 140 is constant, the operator may move the imaging unit 140 as appropriate to capture the inspection target part someday. This is because it can be expected to be possible, and if the region to be inspected has been imaged, it can be dealt with so that the appearance inspection can be easily performed by translating or rotating the captured image or the reference pattern.

しかも、本実施形態では、位置情報付与部として上記被当接部材160に識別マーク部130を設け、当接部材164の先端部に位置情報取得用カメラ132を設け、上記当接部材164を被当接部材160に当接さえることで撮像部140の位置保証を行いつつ、位置情報取得用カメラ132で識別マーク部130を読込み、この読込結果に基づいて検査対象部位を特定するようにしている。このため、位置保証を行って検査対象部位を撮像しつつ、検査対象部位の特定を行えるので、便利である。   In addition, in the present embodiment, the contact mark 160 is provided with the identification mark portion 130 as the position information providing portion, the position information acquisition camera 132 is provided at the distal end portion of the contact member 164, and the contact member 164 is covered. While the position of the imaging unit 140 is guaranteed by being in contact with the contact member 160, the identification mark unit 130 is read by the position information acquisition camera 132, and the inspection target part is specified based on the read result. . For this reason, it is convenient because the inspection target part can be specified while performing position assurance and imaging the inspection target part.

{変形例}
上記第2実施形態では、ハーネス支持柱部24に被当接部材160を設け、この被当接部材160に当接部材164の先端部を当接させて撮像部140の位置保証を図る構成としているが、位置保証を図る構成は必ずしも上記例に限られない。例えば、図11に示すように、当接部材164をより長い当接部材264に形成し、被当接部材160を省略して、当接部材264をハーネス支持本体部22に当接させるようにしてもよい。この場合でも、ハーネス支持本体部22に対してワイヤーハーネス10がほぼ所定の高さ位置に保持されるという前提で考えれば、撮像部140と検査対象部位との距離をなるべく一定にすることができる。
{Modifications}
In the second embodiment, the contact member 160 is provided on the harness support pillar 24 and the position of the imaging unit 140 is assured by contacting the contact member 160 with the tip of the contact member 164. However, the configuration for ensuring the position is not necessarily limited to the above example. For example, as shown in FIG. 11, the contact member 164 is formed as a longer contact member 264, the contacted member 160 is omitted, and the contact member 264 is brought into contact with the harness support body 22. May be. Even in this case, the distance between the imaging unit 140 and the site to be inspected can be made as constant as possible, assuming that the wire harness 10 is held at a substantially predetermined height position with respect to the harness support body 22. .

また、この場合に、識別マーク部230を、ハーネス支持本体部22のうち当接部材264が当接される予定となる部分に設けるようにしてもよい。   In this case, the identification mark portion 230 may be provided in a portion of the harness support main body portion 22 where the contact member 264 is to be contacted.

また、上記第2実施形態では、検査対象部位撮像用の撮像部140とは別に位置情報取得用カメラ132を設けているが、検査対象部位撮像用の撮像部140の撮像画像に基づいて検査対象位置を特定するようにしてもよい。   In the second embodiment, the position information acquisition camera 132 is provided separately from the imaging unit 140 for imaging the inspection target region. However, the inspection target is based on the captured image of the imaging unit 140 for imaging the inspection target region. The position may be specified.

すなわち、図12及び図13に示すように、ハーネス支持本体部22のうち検査対象部位に対応する位置に識別マーク部330を設けている。ここでは、対応する検査対象部位を上方から撮像しようとする場合に該検査対象部位と共に映り込む位置に識別マーク部330を設けている。   That is, as shown in FIGS. 12 and 13, the identification mark portion 330 is provided at a position corresponding to the inspection target portion in the harness support main body portion 22. Here, the identification mark portion 330 is provided at a position where the corresponding inspection target part is imaged together with the inspection target part when imaging is performed from above.

そして、撮像部140で検査対象位置を撮像すると、図13で示すように、該検査対象部位の画像と識別マーク部330の画像とを含む撮像画像が得られ、この撮像画像が検査処理装置150に与えられるようになっている。検査処理装置150は、当該撮像画像のうち識別マーク部330の画像に基づいて検査対象位置を特定する。そして、上記第2実施形態と同様に、外観検査を行う。   Then, when the imaging unit 140 images the inspection target position, a captured image including the image of the inspection target part and the image of the identification mark unit 330 is obtained as shown in FIG. Is to be given to. The inspection processing device 150 specifies the inspection target position based on the image of the identification mark unit 330 in the captured image. Then, as in the second embodiment, an appearance inspection is performed.

この変形例では、検査対象部位撮像用の撮像部140の撮像画像に基づいて検査対象位置を特定するようにしているので、構成の簡易化が図られるというメリットがある。   In this modification, since the inspection target position is specified based on the captured image of the imaging unit 140 for imaging the inspection target region, there is an advantage that the configuration can be simplified.

なお、この場合に、上記と同様に、当接部材164,264等を含む位置保証部材を設けるようにしてもよい。   In this case, a position assurance member including the contact members 164 and 264 may be provided in the same manner as described above.

また、位置保証部材としては、上記のように物理的な接触により相対位置を保証する例に限られない。例えば、撮像部140にレーザ光等による距離測定手段を組込み、該距離測定手段により撮像部140と検査対象部位又はハーネス支持本体部22間の距離が所定距離であると判定された場合の撮像画像に基づいて外観検査の合否判定を行う構成も、位置保証部材として用いることができる。   Further, the position assurance member is not limited to the example in which the relative position is guaranteed by physical contact as described above. For example, a distance measurement unit using a laser beam or the like is incorporated in the imaging unit 140, and the captured image when the distance measurement unit determines that the distance between the imaging unit 140 and the inspection target part or the harness support body unit 22 is a predetermined distance. The configuration for determining whether the visual inspection is acceptable or not can also be used as the position assurance member.

また、上記撮像部40,140で得られる撮像画像に対して傾き補正処理を施すようにしてもよい。これにより、検査対象部位から撮像部40,140が傾いた姿勢で撮像した場合であってもより正確な外観検査を行える。   In addition, tilt correction processing may be performed on the captured images obtained by the imaging units 40 and 140. Thereby, even if it is a case where the image pick-up parts 40 and 140 are imaged with the attitude | position inclined from the test object site | part, a more exact external appearance inspection can be performed.

また、本各実施形態では、ワイヤーハーネス10が車両に組付けられる車両用のものである例で説明したが、その他、電気部品を搭載する各種機器において、配線用の部材として用いられるワイヤーハーネスに適用できる。   In each of the embodiments, the wire harness 10 has been described as an example for a vehicle that is assembled to a vehicle. However, in addition to the wire harness that is used as a wiring member in various devices on which electric components are mounted. Applicable.

検査対象となるワイヤーハーネスがハーネス保持部材上にセットされた状態を示す平面図である。It is a top view which shows the state by which the wire harness used as a test object was set on the harness holding member. 第1実施形態に係るワイヤーハーネスの外観検査装置を示すブロック図である。It is a block diagram which shows the external appearance inspection apparatus of the wire harness which concerns on 1st Embodiment. ワイヤーハーネスのうちコネクタの取付部分を検査対象として外観検査を行う状態を示す図である。It is a figure which shows the state which performs an external appearance test | inspection for the attachment part of a connector among wire harnesses as a test object. 第2実施形態に係るワイヤーハーネスの外観検査装置を示すブロック図である。It is a block diagram which shows the external appearance inspection apparatus of the wire harness which concerns on 2nd Embodiment. 同外観検査装置により検査対象部位を検査する状態を示す図である。It is a figure which shows the state which test | inspects a test object site | part by the same external appearance inspection apparatus. 撮像部による検査対象部位の撮像画像例を示す図である。It is a figure which shows the example of the captured image of the site | part to be examined by an imaging part. 各検査対象部位に検査種別を対応づけた内容例を示す図である。It is a figure which shows the example of the content which matched the test classification to each test object part. 検査種別に検査内容を登録した例を示す図である。It is a figure which shows the example which registered the content of the test | inspection in the test | inspection type. 外観検査結果の表示例を示す図である。It is a figure which shows the example of a display of an external appearance test result. ワイヤーハーネスの外観検査装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the external appearance inspection apparatus of a wire harness. ワイヤーハーネスの外観検査装置の変形例を示す図である。It is a figure which shows the modification of the external appearance inspection apparatus of a wire harness. ワイヤーハーネスの外観検査装置の他の変形例を示す図である。It is a figure which shows the other modification of the external appearance inspection apparatus of a wire harness. 同上の変形例における撮像画像例を示す図である。It is a figure which shows the captured image example in the modification same as the above.

符号の説明Explanation of symbols

10 ワイヤーハーネス
13 粘着テープ
14 コネクタ
20 ハーネス保持部材
22 ハーネス支持本体部
24 ハーネス支持柱部
30 位置情報付与部
32 位置情報取得部
40 撮像部
50 検査処理装置
52 位置判別部
54 検査合否判定部
56 記憶部
58 合否判定出力部
130,230,330 識別マーク部
132 位置情報取得用カメラ
140 撮像部
150 検査処理装置
152 処理装置本体部
153 CPU
153a 検査合否判定部
153b 位置判定部
154 記憶部
159 表示部
160 被当接部材
164,264 当接部材
DESCRIPTION OF SYMBOLS 10 Wire harness 13 Adhesive tape 14 Connector 20 Harness holding member 22 Harness support main-body part 24 Harness support pillar part 30 Position information provision part 32 Position information acquisition part 40 Imaging part 50 Inspection processing apparatus 52 Position discrimination | determination part 54 Inspection pass / fail determination part 56 Memory | storage Unit 58 pass / fail judgment output unit 130, 230, 330 identification mark unit 132 position information acquisition camera 140 imaging unit 150 inspection processing unit 152 processing unit main unit 153 CPU
153a Inspection pass / fail determination unit 153b Position determination unit 154 Storage unit 159 Display unit 160 Contacted member 164, 264 Contact member

Claims (7)

複数の検査対象部位を有するワイヤーハーネスの外観検査を行うワイヤーハーネスの外観検査装置であって、
ワイヤーハーネスをセット可能なハーネス保持部材と、
前記ハーネス保持部材のうち前記各検査対象部位に対応する位置に設けられた位置情報付与部と、
前記各検査対象部位を撮像可能な撮像部と、
前記位置情報付与部より得られる情報に基づいて検査対象部位を特定する位置特定部と、
前記各検査対象部位に基準検査データを対応づけた検査情報を記憶した記憶部と、
前記撮像部を通じて撮像画像が得られると、前記位置特定部により特定される検査対象部位と前記検査情報とに基づいて基準検査データを特定し、その特定された基準検査データと前記撮像部を通じて得られる撮像画像とに基づいて、その撮像対象となった検査対象部位における検査合否を判定する合否判定部と、
を備えたワイヤーハーネスの外観検査装置。
An appearance inspection apparatus for a wire harness that performs an appearance inspection of a wire harness having a plurality of inspection target parts,
A harness holding member capable of setting a wire harness;
A position information providing unit provided at a position corresponding to each of the inspection target sites in the harness holding member;
An imaging unit capable of imaging each inspection target part;
A position specifying unit for specifying a site to be inspected based on information obtained from the position information providing unit;
A storage unit that stores examination information in which reference examination data is associated with each examination target part;
When a captured image is obtained through the imaging unit, reference inspection data is specified based on the inspection target part specified by the position specifying unit and the inspection information, and is obtained through the specified reference inspection data and the imaging unit. A pass / fail determination unit that determines pass / fail of the inspection in the inspection target portion that is the imaging target based on the captured image;
Wire harness appearance inspection device with
請求項1記載のワイヤーハーネスの外観検査装置であって、
前記撮像部と前記検査対象部位との相対位置を保証する位置保証部材をさらに備えたワイヤーハーネスの外観検査装置。
An appearance inspection apparatus for a wire harness according to claim 1,
An appearance inspection apparatus for a wire harness, further comprising a position assurance member that guarantees a relative position between the imaging unit and the inspection target part.
請求項2記載のワイヤーハーネスの外観検査装置であって、
ハーネス保持部材は、ハーネス支持本体部材と、前記ハーネス支持本体部材に立設されてワイヤーハーネスを前記ハーネス支持本体部材の上方位置で保持する複数のハーネス支持柱部とを有し、
前記位置保証部材は、
前記各検査対象部位に対応づけて前記ハーネス支持柱部に取付けられた被当接部材と、
前記撮像部と一体的に設けられ、前記被当接部材に当接して前記撮像部を前記被当接部材に対して所定距離離れた位置に配設する当接部材と、
を有するものである、ワイヤーハーネスの外観検査装置。
A wire harness appearance inspection device according to claim 2,
The harness holding member has a harness support body member and a plurality of harness support pillars that are erected on the harness support body member and hold the wire harness at an upper position of the harness support body member,
The position assurance member is
A member to be abutted attached to the harness support column portion in association with each of the inspection target parts;
An abutting member provided integrally with the imaging unit, and abutting on the abutted member and disposing the imaging unit at a predetermined distance from the abutted member;
A visual inspection apparatus for a wire harness.
請求項2記載のワイヤーハーネスの外観検査装置であって、
ハーネス保持部材は、ハーネス支持本体部材と、前記ハーネス支持本体部材に立設されてワイヤーハーネスを前記ハーネス支持本体部材の上方位置で保持する複数のハーネス支持柱部とを有し、
前記位置保証部材は、前記撮像部に一体的に設けられ、前記支持本体部材に当接して前記撮像部を前記支持本体部から所定の高さ位置に配設する当接部材を有するものである、ワイヤーハーネスの外観検査装置。
A wire harness appearance inspection device according to claim 2,
The harness holding member has a harness support body member and a plurality of harness support pillars that are erected on the harness support body member and hold the wire harness at an upper position of the harness support body member,
The position assurance member is provided integrally with the imaging unit, and has a contact member that contacts the support main body member and arranges the imaging unit at a predetermined height position from the support main body. , Wire harness appearance inspection device.
請求項3又は請求項4記載のワイヤーハーネスの外観検査装置であって、
前記位置情報付与部は、前記各検査対象部位に対応づけて前記被当接部材又は前記ハーネス支持本体部に設けられた識別マークであり、
前記位置特定部は、前記当接部材に設けられ、前記当接部材が前記被当接部材又は前記ハーネス支持本体部に当接された状態で前記識別マークを読込み可能なマーク読込部を有し、前記マーク読込部で読込まれた識別マーク画像に基づいて検査対象部位を特定するものである、ワイヤーハーネスの外観検査装置。
A wire harness appearance inspection device according to claim 3 or claim 4,
The position information providing unit is an identification mark provided on the contacted member or the harness support main body unit in association with each inspection target site,
The position specifying unit includes a mark reading unit that is provided on the contact member and is capable of reading the identification mark in a state where the contact member is in contact with the contacted member or the harness support main body. An appearance inspection apparatus for a wire harness that specifies a region to be inspected based on an identification mark image read by the mark reading unit.
請求項1〜請求項4のいずれかに記載のワイヤーハーネスの外観検査装置であって、
前記位置情報付与部は、前記各検査対象部位に対応づけて設けられ、それぞれ対応する前記検査対象部位と共に前記撮像部を通じて撮像可能な位置に設けられた識別マークであり、
前記位置特定部は、前記撮像部を通じて撮像された撮像画像中の識別マーク画像に基づいて検査対象部位を特定するものである、ワイヤーハーネスの外観検査装置。
It is an external appearance inspection apparatus of the wire harness in any one of Claims 1-4,
The position information providing unit is an identification mark that is provided in association with each inspection target part, and is provided at a position that can be imaged through the imaging unit together with the corresponding inspection target part,
The said position specific | specification part is an external appearance inspection apparatus of a wire harness which specifies a test object site | part based on the identification mark image in the captured image imaged through the said imaging part.
複数の検査対象部位を有するワイヤーハーネスの外観検査を行うワイヤーハーネスの外観検査方法であって、
ワイヤーハーネスの前記各検査対象部位に対応づけて位置情報付与部を設ける工程と、
前記各検査対象部位に基準検査データを対応づけた検査情報を記憶部に記憶させる工程と、
前記各検査対象部位を撮像部により撮像すると共に、前記位置情報付与部より得られる情報に基づいて検査対象部位を特定する工程と、
前記撮像部を通じて撮像画像が得られると、前記位置特定部により特定される検査対象部位と前記検査情報とに基づいて基準検査データを特定し、その特定された基準検査データと前記撮像部を通じて得られる撮像画像とに基づいて、その撮像対象となった検査対象部位における検査合否を判定する工程と、
備えたワイヤーハーネスの外観検査方法。
It is an appearance inspection method of a wire harness that performs an appearance inspection of a wire harness having a plurality of inspection target parts,
A step of providing a position information providing unit in association with each inspection target part of the wire harness;
Storing the inspection information in which the reference inspection data is associated with each inspection target part in a storage unit;
While imaging each said inspection object part with an image pick-up part, specifying a test object part based on information obtained from said position information grant part,
When a captured image is obtained through the imaging unit, reference inspection data is specified based on the inspection target part specified by the position specifying unit and the inspection information, and is obtained through the specified reference inspection data and the imaging unit. A step of determining pass / fail of the inspection in the inspection target portion that is the imaging target based on the captured image to be captured;
Appearance inspection method of the equipped wire harness.
JP2006161951A 2006-06-12 2006-06-12 Wire harness appearance inspection device and appearance inspection method Expired - Fee Related JP4670743B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006161951A JP4670743B2 (en) 2006-06-12 2006-06-12 Wire harness appearance inspection device and appearance inspection method
CNA2007800132386A CN101421582A (en) 2006-06-12 2007-01-05 Device and method for inspecting external appearance of wire harness
PCT/JP2007/050024 WO2007144986A1 (en) 2006-06-12 2007-01-05 Device and method for inspecting external appearance of wire harness

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006161951A JP4670743B2 (en) 2006-06-12 2006-06-12 Wire harness appearance inspection device and appearance inspection method

Publications (2)

Publication Number Publication Date
JP2007333399A true JP2007333399A (en) 2007-12-27
JP4670743B2 JP4670743B2 (en) 2011-04-13

Family

ID=38831509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006161951A Expired - Fee Related JP4670743B2 (en) 2006-06-12 2006-06-12 Wire harness appearance inspection device and appearance inspection method

Country Status (3)

Country Link
JP (1) JP4670743B2 (en)
CN (1) CN101421582A (en)
WO (1) WO2007144986A1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012526979A (en) * 2009-05-14 2012-11-01 エアバス オペラシオン(エス.ア.エス) Structure remote inspection method and system
KR101255789B1 (en) 2011-07-22 2013-04-17 주식회사 유라코퍼레이션 Jig for testing wire of wire harness and testing board using the same
JP2018084443A (en) * 2016-11-21 2018-05-31 株式会社リコー Image processing apparatus, image processing system, image processing method, and image processing program
JP2018105728A (en) * 2016-12-27 2018-07-05 古河電気工業株式会社 Device and method for visually inspecting harness holding member
KR101884557B1 (en) * 2017-02-08 2018-08-01 인제대학교 산학협력단 Inspection method using machine vision for check the terminal crimping of wire harness cable
KR101884556B1 (en) * 2017-02-08 2018-08-01 인제대학교 산학협력단 Inspection equipment using machine vision for check the terminal crimping of wire harness cable
KR101885986B1 (en) * 2017-02-08 2018-08-06 인제대학교 산학협력단 Operating method of inspection equipment using machine vision for check the terminal crimping of wire harness cable
WO2018147478A1 (en) * 2017-02-08 2018-08-16 인제대학교 산학협력단 Device and method for testing terminal crimping of wire harness cable by utilizing machine vision, and method for operating same
WO2022122149A1 (en) 2020-12-09 2022-06-16 Siemens Industry Software Inc. Method for inspecting a correct execution of a processing step of components, in particular a wiring harness, data structure and system
US11776713B2 (en) * 2018-06-22 2023-10-03 Furukawa Electric Co., Ltd. Wire harness manufacturing system, conveyance device, routing processing device, examination device, and work board

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5278133B2 (en) * 2009-04-17 2013-09-04 住友電装株式会社 Wire harness appearance inspection image generation apparatus and wire harness appearance inspection image generation method
CN102116610B (en) * 2010-11-29 2012-10-17 科达斯特恩(常州)汽车塑件系统有限公司 Automatic on-line detection method and device for size of automobile parts based on machine vision
JP6382074B2 (en) * 2014-11-05 2018-08-29 古河電気工業株式会社 Appearance inspection apparatus, appearance inspection system, and appearance inspection method
CN113495301A (en) * 2020-03-20 2021-10-12 株式会社理光 Bandage inspection method, bandage inspection device, storage medium, and system
CN114877819A (en) * 2021-02-05 2022-08-09 苏州汉扬精密电子有限公司 Product deformation detection system and method
CN116718600B (en) * 2023-06-09 2024-03-29 大连阿部配线有限公司 Detection device for intelligent detection of wire harness product

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581415A (en) * 1991-09-24 1993-04-02 Omron Corp Visual recognition system
JPH07103731A (en) * 1993-10-01 1995-04-18 Sumitomo Wiring Syst Ltd Apparatus for inspecting appearance and apparatus for displaying inspecting result of appearance
JP2001027518A (en) * 1999-07-13 2001-01-30 Sumitomo Wiring Syst Ltd Wire harness visual inspection device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581415A (en) * 1991-09-24 1993-04-02 Omron Corp Visual recognition system
JPH07103731A (en) * 1993-10-01 1995-04-18 Sumitomo Wiring Syst Ltd Apparatus for inspecting appearance and apparatus for displaying inspecting result of appearance
JP2001027518A (en) * 1999-07-13 2001-01-30 Sumitomo Wiring Syst Ltd Wire harness visual inspection device

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012526979A (en) * 2009-05-14 2012-11-01 エアバス オペラシオン(エス.ア.エス) Structure remote inspection method and system
KR101255789B1 (en) 2011-07-22 2013-04-17 주식회사 유라코퍼레이션 Jig for testing wire of wire harness and testing board using the same
JP2018084443A (en) * 2016-11-21 2018-05-31 株式会社リコー Image processing apparatus, image processing system, image processing method, and image processing program
JP2018105728A (en) * 2016-12-27 2018-07-05 古河電気工業株式会社 Device and method for visually inspecting harness holding member
KR101884557B1 (en) * 2017-02-08 2018-08-01 인제대학교 산학협력단 Inspection method using machine vision for check the terminal crimping of wire harness cable
KR101884556B1 (en) * 2017-02-08 2018-08-01 인제대학교 산학협력단 Inspection equipment using machine vision for check the terminal crimping of wire harness cable
KR101885986B1 (en) * 2017-02-08 2018-08-06 인제대학교 산학협력단 Operating method of inspection equipment using machine vision for check the terminal crimping of wire harness cable
WO2018147478A1 (en) * 2017-02-08 2018-08-16 인제대학교 산학협력단 Device and method for testing terminal crimping of wire harness cable by utilizing machine vision, and method for operating same
US11776713B2 (en) * 2018-06-22 2023-10-03 Furukawa Electric Co., Ltd. Wire harness manufacturing system, conveyance device, routing processing device, examination device, and work board
WO2022122149A1 (en) 2020-12-09 2022-06-16 Siemens Industry Software Inc. Method for inspecting a correct execution of a processing step of components, in particular a wiring harness, data structure and system

Also Published As

Publication number Publication date
CN101421582A (en) 2009-04-29
JP4670743B2 (en) 2011-04-13
WO2007144986A1 (en) 2007-12-21

Similar Documents

Publication Publication Date Title
JP4670743B2 (en) Wire harness appearance inspection device and appearance inspection method
KR100785594B1 (en) Image process apparatus
JP4811272B2 (en) Image processing apparatus and image processing method for performing three-dimensional measurement
CN112683215B (en) Method for providing information about a sensor chain of a coordinate measuring machine, coordinate measuring machine
EP2387000B1 (en) Image measuring apparatus, program, and teaching method of image measuring apparatus
JP2014197762A (en) Image processing system and image processing program
CN111486787A (en) Test positioning method and test positioning system
US20070154113A1 (en) System and method for image measuring
CN117471392B (en) Method and system for detecting probe tip, electronic equipment and storage medium
JP2007298376A (en) Method and device for determining boundary position, program for making computer function as boundary position determination device, and recording medium
US7991219B2 (en) Method and apparatus for detecting positions of electrode pads
JP2007071835A (en) Device, method, and program for generating part program for image measuring device
CN110044296B (en) Automatic tracking method and measuring machine for 3D shape
US20080008381A1 (en) Coordinate acquisition apparatus for test of printed board, and coordinate acquisition method and program for test thereof
JP2014095629A (en) Electromagnetic field measurement system and measurement device
JP2007026423A (en) Image processor and image processing method
JP2021022637A (en) Inspection equipment of bonding wire, inspection method of bonding wire, and inspection program of bonding wire
JP2009294155A (en) Arm offset acquisition method
JP4423130B2 (en) Printed circuit board visual inspection method, printed circuit board visual inspection program, and printed circuit board visual inspection apparatus
JP4757701B2 (en) Electronic component suction position correction method and apparatus
JP7340398B2 (en) Onboard data creation method and onboard data creation device
JP6459613B2 (en) Printed wiring board work support method and printed wiring board work support system
JP2006234793A (en) Part position detecting method and device
JP4150262B2 (en) Component recognition method and apparatus
JP2850807B2 (en) Inspection data creation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080519

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110103

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140128

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees