JP2022115133A - Inspection device - Google Patents

Inspection device Download PDF

Info

Publication number
JP2022115133A
JP2022115133A JP2021011597A JP2021011597A JP2022115133A JP 2022115133 A JP2022115133 A JP 2022115133A JP 2021011597 A JP2021011597 A JP 2021011597A JP 2021011597 A JP2021011597 A JP 2021011597A JP 2022115133 A JP2022115133 A JP 2022115133A
Authority
JP
Japan
Prior art keywords
inspection
endoscope camera
article
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021011597A
Other languages
Japanese (ja)
Other versions
JP7476814B2 (en
Inventor
亮介 佐藤
Ryosuke Sato
貴丈 中田
Takatake Nakata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021011597A priority Critical patent/JP7476814B2/en
Priority claimed from JP2021011597A external-priority patent/JP7476814B2/en
Priority to CN202111392987.2A priority patent/CN114813782A/en
Publication of JP2022115133A publication Critical patent/JP2022115133A/en
Application granted granted Critical
Publication of JP7476814B2 publication Critical patent/JP7476814B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores

Abstract

To provide a technique capable of efficiently inspecting the inside of an inspection object in an inspection device used for inspecting the inside of an article.SOLUTION: An inspection device used for inspecting the inside of an article comprises: an endoscope camera which has an imaging part for acquiring an image; an endoscope camera movement part which moves the endoscope camera; and a control device which controls the endoscope camera movement part to move the endoscope camera along inspection path data of the inside of the article previously set by using data expressing the inner structure of the article and controls the imaging part to acquire an internal image of the article.SELECTED DRAWING: Figure 1

Description

本開示は、物品の内部を検査するために用いられる検査装置に関する。 TECHNICAL FIELD The present disclosure relates to an inspection device used to inspect the interior of an article.

撮像素子を備える内視鏡を被検査対象物の内部に挿入し、撮像素子によって取得された画像データを用いて、被検査対象物の内部の異常を検出する内視鏡装置が知られている(例えば、特許文献1)。 BACKGROUND ART An endoscope apparatus is known in which an endoscope having an imaging device is inserted into an object to be inspected and an abnormality inside the object to be inspected is detected using image data acquired by the imaging device. (For example, Patent Document 1).

特開2005-55756号公報JP-A-2005-55756

従来の技術では、被検査対象物の内部における画像データの取得や内視鏡を移動させるための操作は、人がリモコンを操作することによって行われるため効率的ではなかった。そのため、被検査対象物の内部を効率的に検査することができる技術が求められている。 In the conventional technology, acquisition of image data inside an object to be inspected and operation for moving the endoscope are performed by a person operating a remote control, which is not efficient. Therefore, there is a demand for a technique capable of efficiently inspecting the inside of an object to be inspected.

本開示は、以下の形態として実現することが可能である。 The present disclosure can be implemented as the following forms.

(1)本開示の一形態によれば、物品の内部を検査するために用いられる検査装置が提供される。この検査装置は、画像を取得する撮像部を備える内視カメラと、前記内視カメラを移動させる内視カメラ移動部と、前記内視カメラ移動部を制御して、前記内視カメラを、前記物品の内部構造を表すデータを用いて予め設定される前記物品の内部の検査経路データに沿って移動させ、前記撮像部を制御して、前記物品の内部画像を取得する制御装置と、を備える。
この形態の検査装置によれば、人がリモコンを操作することなく、物品の内部の検査経路上の画像データを取得することができる。したがって、検査対象の内部を効率的に検査することができる。
(2)上記形態の検査装置において、前記制御装置は、前記内部画像を用いて前記物品の内部の異常を検出する異常検出部を備えてよい。
この形態の検査装置によれば、人がリモコンを操作することなく、物品の内部の検査経路上の異常を検出することができる。したがって、検査対象の内部をより効率的に検査することができる。
(3)上記形態の検査装置において、前記制御装置は、前記撮像部によって予め定められた期間ごとに取得される複数の画像と、前記複数の画像に含まれる被写体画像とを用いて、前記検査経路データにおける前記撮像部の位置を取得する位置取得部、を備えてよい。
この形態の検査装置によれば、検査用に取得する画像を撮像部の位置の取得に用いることができるので、位置検出のための装置を別に設けることなく、撮像部の位置を検出することができる。
(4)上記形態の検査装置において、前記制御装置は、前記位置取得部によって取得される前記撮像部の位置と、前記異常を検出した位置とを関連付けて記憶してよい。
この形態の検査装置によれば、作業者は検査結果から物品の内部における異常の位置を容易に認識することができる。
(5)上記形態の検査装置において、さらに、前記物品の3次元モデルデータを用いて、前記検査経路データを生成する経路生成部、を備えてよい。
この形態の検査装置によれば、検査対象の3次元モデルデータをそのまま検査装置の検査に用いることができる。
(6)上記形態の検査装置において、前記内視カメラ移動部は、前記内視カメラの少なくとも一部を把持することができる複数のローラであって、前記ローラの回転方向を切り換えることによって、前記内視カメラを前進または後進させる複数のローラを含んでよい。
この形態の検査装置によれば、ローラで本体を把持することによって、内視カメラを安定して移動させることができる。
(7)上記形態の検査装置において、前記物品は、車両に搭載される部品であってよい。
この形態の検査装置によれば、車両部品の製造工程に用いる検査装置を提供することができる。
本開示は、検査装置以外の種々の形態で実現することも可能である。例えば、物品の検査方法や検査装置の制御方法、その制御方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
(1) According to one aspect of the present disclosure, an inspection device used to inspect the inside of an article is provided. This inspection apparatus controls an endoscope camera including an imaging unit that acquires an image, an endoscope camera movement unit that moves the endoscope camera, and the endoscope camera movement unit to move the endoscope camera to the a control device that moves along inspection path data inside the article set in advance using data representing the internal structure of the article, controls the imaging unit, and obtains an internal image of the article. .
According to the inspection apparatus of this form, image data on the inspection path inside the article can be obtained without a person operating a remote controller. Therefore, the inside of the object to be inspected can be efficiently inspected.
(2) In the inspection apparatus of the above aspect, the control device may include an abnormality detection section that detects an abnormality inside the article using the internal image.
According to the inspection apparatus of this form, it is possible to detect an abnormality on the inspection path inside the article without manipulating a remote controller. Therefore, the inside of the object to be inspected can be inspected more efficiently.
(3) In the inspection apparatus of the above aspect, the control device performs the inspection using a plurality of images acquired by the imaging unit at predetermined intervals and subject images included in the plurality of images. A position acquisition unit that acquires the position of the imaging unit in the route data may be provided.
According to the inspection apparatus of this aspect, since the image acquired for inspection can be used to acquire the position of the imaging unit, the position of the imaging unit can be detected without providing a separate device for position detection. can.
(4) In the inspection apparatus of the above aspect, the control device may associate and store the position of the imaging unit acquired by the position acquisition unit and the position where the abnormality is detected.
According to the inspection device of this form, the operator can easily recognize the position of the abnormality inside the article from the inspection result.
(5) The inspection apparatus of the above aspect may further include a path generation unit that generates the inspection path data using the three-dimensional model data of the article.
According to the inspection device of this form, the three-dimensional model data of the object to be inspected can be used as it is for the inspection of the inspection device.
(6) In the inspection apparatus of the above aspect, the endoscopic camera moving unit includes a plurality of rollers capable of gripping at least a part of the endoscopic camera, and switching the rotation direction of the rollers enables the movement of the endoscopic camera. A plurality of rollers may be included to advance or reverse the endoscopic camera.
According to the inspection device of this form, the endoscope camera can be stably moved by gripping the main body with the rollers.
(7) In the inspection apparatus of the above aspect, the article may be a part mounted on a vehicle.
According to the inspection apparatus of this aspect, it is possible to provide an inspection apparatus used in the manufacturing process of vehicle parts.
The present disclosure can also be implemented in various forms other than inspection devices. For example, it can be realized in the form of an article inspection method, an inspection apparatus control method, a computer program for realizing the control method, a non-temporary recording medium recording the computer program, or the like.

本開示の第1実施形態としての検査装置を示す説明図。1 is an explanatory diagram showing an inspection device as a first embodiment of the present disclosure; FIG. アームエンド近傍を拡大して示す説明図。Explanatory drawing which expands and shows the arm end vicinity. 制御装置の機能を示すブロック図。FIG. 2 is a block diagram showing functions of a control device; 検査装置の制御装置が実行する検査制御を示すフロー図。FIG. 4 is a flowchart showing inspection control executed by a control device of the inspection apparatus; 検査対象としてのワークの3次元モデルを模式的に示す説明図。FIG. 2 is an explanatory diagram schematically showing a three-dimensional model of a workpiece to be inspected; 異常検出部が異常検出を実行する状態を示す説明図。FIG. 4 is an explanatory diagram showing a state in which an abnormality detection unit executes abnormality detection; 位置取得部が画像データの特徴点を取得する状態を示す説明図。FIG. 4 is an explanatory diagram showing a state in which a position acquisition unit acquires feature points of image data; 位置取得部が撮像部の移動距離を取得する状態を示す説明図。FIG. 4 is an explanatory diagram showing a state in which a position acquisition unit acquires a movement distance of an imaging unit; 検査装置による検査結果データを示す説明図。Explanatory drawing which shows the inspection result data by an inspection apparatus.

A.第1実施形態:
図1および図2を用いて、検査装置100の構成について説明する。図1は、本開示の第1実施形態としての検査装置100を示す説明図である。検査装置100は、検査対象としての物品の内部を検査するために用いられる。本開示では、物品には、例えば、一般的な装置や構造物などの工業製品が含まれ、動物や人体は含まれない。物品の内部には、物品の内側に存在する空間やその空間を規定する物品の壁面などの部材などが含まれる。物品には、例えば、ダイカストマシン等によって製造される鋳造品が含まれる。本実施形態では、検査対象は、シリンダヘッド、シリンダブロックなど、車両に搭載される種々の鋳造部品である。図1には、3次元空間の直交座標系を規定する3つの軸X,Y,Zが描かれている。X軸とY軸は水平方向の軸であり、Z軸は鉛直方向の軸である。
A. First embodiment:
The configuration of the inspection apparatus 100 will be described with reference to FIGS. 1 and 2. FIG. FIG. 1 is an explanatory diagram showing an inspection device 100 as a first embodiment of the present disclosure. Inspection apparatus 100 is used to inspect the inside of an article to be inspected. For purposes of this disclosure, articles include, for example, industrial products such as devices and structures in general, and do not include animals or humans. The interior of the article includes a space existing inside the article and a member such as a wall surface of the article that defines the space. Articles include, for example, castings manufactured by a die casting machine or the like. In this embodiment, the objects to be inspected are various cast parts mounted on a vehicle, such as cylinder heads and cylinder blocks. FIG. 1 depicts three axes X, Y, and Z that define an orthogonal coordinate system in three-dimensional space. The X and Y axes are horizontal axes and the Z axis is vertical.

検査装置100は、内視カメラ装置50と、内視カメラ移動部80と、制御装置30とを備えている。内視カメラ装置50は、内視カメラ52と、内視カメラ制御部54と、を備えている。内視カメラ52は、内視鏡とも呼ばれる。内視カメラ52は、内視カメラ制御部54によって制御される。制御装置30は、例えばパーソナルコンピュータである。制御装置30は、内視カメラ装置50と、内視カメラ移動部80とを制御する。本実施形態では、内視カメラ移動部80には、ロボット40と、ローラ装置70と、後述する内視カメラ52の方向切換部524とが含まれる。検査装置100は、制御装置30がロボット40と、ローラ装置70と、方向切換部524とを制御することによって、内視カメラ52の移動や向きの切り換えなどの動作を制御することができる。 The inspection apparatus 100 includes an endoscope camera device 50 , an endoscope camera moving section 80 and a control device 30 . The endoscope camera device 50 includes an endoscope camera 52 and an endoscope camera controller 54 . The endoscope camera 52 is also called an endoscope. The endoscope camera 52 is controlled by an endoscope camera controller 54 . The control device 30 is, for example, a personal computer. The control device 30 controls the endoscope camera device 50 and the endoscope camera moving section 80 . In this embodiment, the endoscope camera moving unit 80 includes the robot 40, the roller device 70, and a direction switching unit 524 of the endoscope camera 52, which will be described later. The control device 30 controls the robot 40 , the roller device 70 , and the direction switching unit 524 , so that the inspection device 100 can control operations such as movement and orientation switching of the endoscope camera 52 .

図1には、検査対象であるワークWKを載置するための架台60が示されている。ワークWKは、内部空間SPを有している。架台60には、ワークWKを保持するホルダ62が固定されている。架台60には、後述するロボットカメラ424で撮像可能なキャリブレーション用のマーク64が設置されている。 FIG. 1 shows a pedestal 60 for placing a work WK to be inspected. The work WK has an internal space SP. A holder 62 that holds the work WK is fixed to the pedestal 60 . A mark 64 for calibration, which can be imaged by a robot camera 424 to be described later, is installed on the mount 60 .

ロボット40は、ワークWKに対する内視カメラ52の相対的な位置を調節する。ロボット40は、基台44と、アーム42と、を備えている。ロボット40は、ロボット制御部20によって制御される。アーム42は、曲げ関節やねじり間接を含む複数の関節で順次接続されている。ロボット40は、1個以上の関節を有する任意の機構のアーム42を有してよい。 The robot 40 adjusts the position of the endoscope camera 52 relative to the work WK. The robot 40 has a base 44 and an arm 42 . The robot 40 is controlled by the robot controller 20 . Arms 42 are serially connected at a plurality of joints including bending joints and torsion joints. The robot 40 may have an arm 42 of any mechanism with one or more joints.

アーム42の先端部であるアームエンド422には、ローラ装置70と、ロボットカメラ424とが装着されている。本実施形態では、ローラ装置70は、内視カメラ52を一方向に沿って移動させる。具体的には、ローラ装置70は、ローラ装置70からワークWKに向かう方向(以下、「前進」とも呼ぶ)への内視カメラ52の送り出しと、ワークWKからローラ装置70に向かう方向(以下、「後進」とも呼ぶ)への内視カメラ52の巻き取りとを行う。 A roller device 70 and a robot camera 424 are attached to an arm end 422 that is the tip of the arm 42 . In this embodiment, the roller device 70 moves the endoscope camera 52 along one direction. Specifically, the roller device 70 feeds the endoscope camera 52 in a direction from the roller device 70 toward the work WK (hereinafter also referred to as “advancing”), and a direction from the work WK toward the roller device 70 (hereinafter referred to as “advancing”). (also referred to as “backward”).

ロボットカメラ424で撮影された画像は、制御装置30に出力され、ワークWKの位置や形状を認識するために使用することができる。本実施形態では、ロボットカメラ424は、アーム42の原点位置を認識させるためのキャリブレーションと、ワークWKに対する検査の開始位置の認識とに用いられる。ロボット40は、予め設定された動作により、架台60に設けられるマーク64近傍にロボットカメラ424を配置する。ロボット40は、ロボットカメラ424によってマーク64を認識することにより、架台60に対する相対位置を認識するとともに、アーム42を原点位置へと配置する。ロボット40は、後述するように、ロボットカメラ424がワークWKに設けられる部材の形状や専用のマークを認識することによって、内視カメラ52を検査の開始位置へと配置する。 An image captured by the robot camera 424 is output to the control device 30 and can be used to recognize the position and shape of the work WK. In this embodiment, the robot camera 424 is used for calibration for recognizing the origin position of the arm 42 and recognition of the inspection start position for the work WK. The robot 40 arranges the robot camera 424 in the vicinity of the mark 64 provided on the gantry 60 by a preset operation. By recognizing the mark 64 with the robot camera 424, the robot 40 recognizes the relative position with respect to the gantry 60 and arranges the arm 42 at the origin position. As will be described later, the robot camera 424 recognizes the shape of the member provided on the workpiece WK and the dedicated mark, and thereby positions the endoscope camera 52 at the inspection start position.

図2は、アームエンド422近傍を拡大して示す説明図である。図2には、アームエンド422に備えられるローラ装置70と、ローラ装置70に把持される内視カメラ52の先端近傍が示されている。図2に示すように、内視カメラ52は、撮像部522と、方向切換部524と、ケーブル526とを備えている。ケーブル526は、断面幅が5mmから10mm程度の長尺な中空管である。ケーブル526は、例えば、ポリウレタンやフッ素樹脂を用いた柔軟な部材であることが好ましい。ケーブル526の先端には、撮像部522が設けられている。ケーブル526の他端は、内視カメラ制御部54に接続されている。 FIG. 2 is an explanatory diagram showing an enlarged view of the vicinity of the arm end 422. As shown in FIG. FIG. 2 shows the roller device 70 provided at the arm end 422 and the vicinity of the end of the endoscope camera 52 gripped by the roller device 70 . As shown in FIG. 2 , the endoscope camera 52 includes an imaging section 522 , a direction switching section 524 and a cable 526 . Cable 526 is a long hollow tube with a cross-sectional width of about 5 mm to 10 mm. The cable 526 is preferably a flexible member using polyurethane or fluororesin, for example. An imaging unit 522 is provided at the tip of the cable 526 . The other end of the cable 526 is connected to the endoscope camera controller 54 .

撮像部522は、例えば、CCDなどの固体撮像素子であり、検査対象の画像を取得するために用いられる。撮像部522には、固体撮像素子のほかに対物レンズが備えられ、固体撮像素子はその焦点面に配置されている。撮像部522は、ケーブル526内に挿通される信号線を介して内視カメラ制御部54に接続されている。ケーブル526の先端には、撮像部522のほか、物体内の明るさを調節するためのライトガイド、検査対象内の異物を回収する鉗子、ケーブル526先端から流体を送り出すためのノズルなどが備えられていてもよい。撮像部522は、光ケーブルを介して内視カメラ制御部54に接続されてもよい。撮像部522は、例えば、ケーブル526の先端以外に備えられてよく、この場合には、撮像部522は、例えば、ケーブル526の先端に配置されるレンズから取り入れた光を、光ファイバを介して検出することによって、検査対象の画像を取得する。 The imaging unit 522 is, for example, a solid-state imaging device such as a CCD, and is used to acquire an image of an inspection target. The imaging unit 522 is provided with an objective lens in addition to the solid-state imaging device, and the solid-state imaging device is arranged on its focal plane. The imaging unit 522 is connected to the endoscope camera control unit 54 via a signal line inserted through the cable 526 . At the tip of the cable 526, in addition to the imaging unit 522, a light guide for adjusting the brightness inside the object, forceps for collecting foreign matter in the inspection object, a nozzle for sending fluid from the tip of the cable 526, and the like are provided. may be The imaging unit 522 may be connected to the endoscope camera control unit 54 via an optical cable. The imaging unit 522 may be provided, for example, at a position other than the tip of the cable 526. In this case, the imaging unit 522 receives light from a lens arranged at the tip of the cable 526 via an optical fiber. By detecting, an image of the inspection object is obtained.

方向切換部524は、ケーブル526の先端近傍に設けられている。方向切換部524は、制御装置30の制御のもとで内視カメラ制御部54によって操作される。具体的には、方向切換部524は、ケーブル526内に挿通された図示しないワイヤ等が内視カメラ制御部54によって操作されることで動作する。方向切換部524は、図2に方向M2として示すように、内視カメラ52の先端の向きを、ケーブル526の軸方向と交差する任意の一方向に沿って、所定の範囲内で切り換えることができる。その結果、撮像部522による画角を所望の方向に切り換えることができる。方向切換部524は、一方向には限らず、互いに交差する2方向に沿って内視カメラ52の方向を切り換えてもよい。 Direction switching portion 524 is provided near the tip of cable 526 . Direction switching unit 524 is operated by endoscopy camera control unit 54 under the control of control device 30 . Specifically, the direction switching unit 524 operates when a wire or the like (not shown) inserted through the cable 526 is operated by the endoscopy camera control unit 54 . The direction switching unit 524 can switch the direction of the tip of the endoscope camera 52 within a predetermined range along any one direction that intersects the axial direction of the cable 526, as indicated by the direction M2 in FIG. can. As a result, the angle of view of the imaging unit 522 can be switched to a desired direction. The direction switching unit 524 may switch the direction of the endoscope camera 52 not only in one direction but also in two directions that intersect each other.

内視カメラ制御部54は、信号線を介して制御装置30と接続されている。撮像部522から取得した画像データは、制御装置30に出力される。内視カメラ制御部54は、制御装置30から入力される操作信号により、撮像部522から取得した画像信号の処理、方向切換部524による内視カメラ52の方向の切り換え、ライトガイドの光源の動作などを制御する。 The endoscope camera control unit 54 is connected to the control device 30 via a signal line. Image data acquired from the imaging unit 522 is output to the control device 30 . The endoscopic camera control unit 54 processes the image signal acquired from the imaging unit 522, switches the direction of the endoscopic camera 52 by the direction switching unit 524, and operates the light source of the light guide according to the operation signal input from the control device 30. etc. to control.

図2には、ローラ装置70の構成が模式的に示されている。本実施形態では、ローラ装置70は、第一ローラ71と、第二ローラ72との互いに対向する一対のローラを備えている。第一ローラ71と、第二ローラ72とは、互いに近接しており、その間にケーブル526の一部を把持している。ローラ装置70は、ケーブル526には限らず方向切換部524や撮像部522を把持してもよい。ローラ装置70は、第一ローラ71と、第二ローラ72との2つのローラに限らず、3以上のローラを備えてもよい。ローラ装置70は、制御装置30による制御のもとで内視カメラ52を把持した状態の第一ローラ71と、第二ローラ72との回転方向を切り換えることによって、図2に示す方向M1に沿って内視カメラ52を前進または後進させる。 FIG. 2 schematically shows the configuration of the roller device 70. As shown in FIG. In this embodiment, the roller device 70 includes a pair of rollers facing each other, a first roller 71 and a second roller 72 . The first roller 71 and the second roller 72 are close to each other and grip a portion of the cable 526 therebetween. The roller device 70 may grip not only the cable 526 but also the direction switching portion 524 and the imaging portion 522 . The roller device 70 is not limited to having two rollers, the first roller 71 and the second roller 72, and may have three or more rollers. The roller device 70 rotates along the direction M1 shown in FIG. to move the endoscope camera 52 forward or backward.

図3は、制御装置30の機能を示すブロック図である。制御装置30は、マイクロプロセッサ32と、メモリ34と、インターフェイス回路36とを備えている。インターフェイス回路36には、ロボット制御部20と、内視カメラ制御部54と、液晶ディスプレイなどの表示部38とが接続されている。 FIG. 3 is a block diagram showing functions of the control device 30. As shown in FIG. Controller 30 includes microprocessor 32 , memory 34 and interface circuitry 36 . The interface circuit 36 is connected to the robot control section 20, the endoscope camera control section 54, and the display section 38 such as a liquid crystal display.

メモリ34には、経路生成部341と、位置取得部342と、異常検出部343との動作プログラムと、CADプログラム344と、CAMプログラム345と、ロボット動作プログラムRPと、内視カメラ動作プログラムCPと、過去の検査結果を示す検査結果データHDとが格納されている。マイクロプロセッサ32が、メモリ34に格納されたコンピュータプログラムを実行することによって、検査装置100の各部の機能が実現される。ただし、これら各部の機能の一部又は全部はハードウェア回路で実現されてもよい。 The memory 34 stores operation programs for the path generation unit 341, the position acquisition unit 342, and the abnormality detection unit 343, the CAD program 344, the CAM program 345, the robot operation program RP, and the endoscope camera operation program CP. , and inspection result data HD indicating past inspection results are stored. The function of each part of the inspection apparatus 100 is realized by the microprocessor 32 executing a computer program stored in the memory 34 . However, part or all of the functions of these units may be realized by hardware circuits.

CADプログラム344は、検査対象の設計データを生成するためのCAD(computer aided design)ソフトウェアである。CAMプログラム345は、内視カメラ移動部80の動作プログラムを生成するCAM(computer aided manufacturing)ソフトウェアである。CAMプログラム345は、CADプログラム344を用いて生成された検査経路データを用いて、内視カメラ52を検査経路に沿って移動させるためのロボット動作プログラムRP、ローラ装置70の動作プログラム、ならびに内視カメラ動作プログラムCPを生成する。ロボット動作プログラムRPは、ロボット40を動作させる複数の命令で構成されている。内視カメラ動作プログラムCPは、内視カメラ52を動作させる複数の命令で構成されている。 The CAD program 344 is CAD (computer aided design) software for generating design data to be inspected. The CAM program 345 is CAM (computer aided manufacturing) software that generates an operation program for the endoscope camera moving section 80 . The CAM program 345 uses the inspection path data generated using the CAD program 344 to create a robot operation program RP for moving the endoscope camera 52 along the inspection path, an operation program for the roller device 70, and an endoscope. Generate a camera operation program CP. The robot operation program RP is composed of a plurality of instructions for operating the robot 40 . The endoscopic camera operation program CP is composed of a plurality of commands for operating the endoscopic camera 52 .

経路生成部341は、CADプログラム344を用いて生成された検査対象の3次元モデルデータを用いて、内視カメラ52の検査経路データを生成する。位置取得部342は、撮像部522が取得する画像データを用いて、検査経路における撮像部522の位置情報を取得する。異常検出部343は、撮像部522が取得する画像データに基づいて画像処理を行い、検査対象の内部の異常を検出する。撮像部522が取得する画像データを用いて、人が異常の有無を直接確認する場合には、異常検出部343は省略されてよい。 The path generation unit 341 generates inspection path data for the endoscope camera 52 using the three-dimensional model data of the inspection target generated using the CAD program 344 . The position acquisition unit 342 acquires position information of the imaging unit 522 on the examination route using the image data acquired by the imaging unit 522 . The abnormality detection unit 343 performs image processing based on the image data acquired by the imaging unit 522, and detects an abnormality inside the inspection object. If a person directly confirms the presence or absence of an abnormality using the image data acquired by the imaging unit 522, the abnormality detection unit 343 may be omitted.

図4は、本実施形態の検査装置100の制御装置30が実行する検査制御を示すフロー図である。図4に示すフローは、例えば、使用者によって、検査装置100のスタートスイッチが押し下げられることによって開始する。 FIG. 4 is a flowchart showing inspection control executed by the control device 30 of the inspection apparatus 100 of this embodiment. The flow shown in FIG. 4 is started, for example, by the user pushing down the start switch of the inspection apparatus 100 .

ステップS10では、経路生成部341は、検査対象であるワークWK内の検査経路を設定する。例えば、使用者がCADソフトウェアを操作し、ワークWKの3次元モデルデータを指定し、3次元モデルデータ上の検査すべき内部空間を指定する。経路生成部341は、内視カメラ52のサイズや方向切換部524による内視カメラ52の可動範囲を含む内視カメラ52に関する3次元モデルデータの設定情報を、メモリ34から読み出す。 In step S10, the path generator 341 sets an inspection path in the workpiece WK to be inspected. For example, the user operates the CAD software, designates the three-dimensional model data of the work WK, and designates the internal space to be inspected on the three-dimensional model data. The path generation unit 341 reads from the memory 34 3D model data setting information regarding the endoscope camera 52 including the size of the endoscope camera 52 and the movable range of the endoscope camera 52 by the direction switching unit 524 .

経路生成部341は、3次元モデルデータとしてのワークWKの内部空間内に、内視カメラ52が移動可能な経路を抽出し、検査経路として生成する。表示部38には、使用者による検査経路や検査位置が容易となるように、ワークWKの3次元モデルデータに検査経路を表示してもよく、検査経路とともに撮像部522によって撮像可能なエリアが表示されてもよい。経路生成部341は、検査制御の開始とともに、例えば、ロボットカメラ424によってワークWKの種類や製造番号を認識し、認識したワークWKに対応する3次元モデルデータ等の情報をメモリ34から読み出すことにより、検査の開始とともに検査対象の検査経路を自動的に生成してもよい。検査経路を生成した経路生成部341は、CAMプログラム345を用いて、内視カメラ52を検査経路に沿って移動させるために必要なロボット動作プログラムRPならびに内視カメラ動作プログラムCPを生成する。本フローの開始前に予め検査経路が設定される場合には、ステップS10は省略されてよい。 The path generation unit 341 extracts a path along which the endoscope camera 52 can move within the internal space of the work WK as three-dimensional model data, and generates it as an inspection path. The display unit 38 may display the inspection route in the three-dimensional model data of the workpiece WK so that the user can easily determine the inspection route and inspection position. may be displayed. At the start of inspection control, the path generation unit 341 recognizes the type and serial number of the work WK by the robot camera 424, for example, and reads information such as three-dimensional model data corresponding to the recognized work WK from the memory 34. , the inspection path of the inspection object may be automatically generated at the start of the inspection. The path generation unit 341 that generated the inspection path uses the CAM program 345 to generate the robot operation program RP and the endoscope camera operation program CP required to move the endoscope camera 52 along the inspection path. If the inspection route is set in advance before starting this flow, step S10 may be omitted.

ステップS20では、制御装置30は、ロボット40を制御して、内視カメラ52をワークWKの検査経路における検査開始位置へ移動させる。ステップS30では、制御装置30は、内視カメラ装置50を制御して、撮像部522による撮像を開始する。ステップS40では、制御装置30は、ローラ装置70を駆動して、内視カメラ52を検査経路に沿って移動させる。内視カメラ52の移動には、ローラ装置70の第一ローラ71、第二ローラ72の正転方向の回転による内視カメラ52の前進と、第一ローラ71、第二ローラ72の逆転方向の回転による内視カメラ52の後進とが含まれる。 In step S20, the control device 30 controls the robot 40 to move the endoscope camera 52 to the inspection start position on the inspection path of the workpiece WK. In step S<b>30 , the control device 30 controls the endoscope camera device 50 to start imaging by the imaging section 522 . In step S40, the control device 30 drives the roller device 70 to move the endoscope camera 52 along the inspection path. The movement of the endoscope camera 52 includes forward movement of the endoscope camera 52 by rotating the first roller 71 and the second roller 72 of the roller device 70 in the normal direction, and rotation of the first roller 71 and the second roller 72 in the reverse direction. and backward movement of the endoscope camera 52 by rotation.

ステップS50では、位置取得部342は、検査経路における撮像部522の位置を取得する。位置取得部342は、後述するように、撮像部522によって予め定められた期間ごとに取得される複数の画像と、この複数の画像に含まれる被写体画像とを用いて撮像部522の移動距離を算出する。位置取得部342は、算出した移動距離を積算することによって、検査経路における撮像部522の位置を取得する。 In step S50, the position acquisition unit 342 acquires the position of the imaging unit 522 on the examination route. As will be described later, the position acquisition unit 342 calculates the moving distance of the imaging unit 522 using a plurality of images acquired by the imaging unit 522 at predetermined intervals and subject images included in the plurality of images. calculate. The position acquisition unit 342 acquires the position of the imaging unit 522 on the examination route by integrating the calculated moving distances.

ステップS60では、異常検出部343は、撮像部522により取得された画像データを用いてワークWK内の異常を検出する。本実施形態では、異常検出部343は、異常の検出にディープラーニングを利用している。異常検出部343は、異常の検出位置を、位置取得部342により取得された撮像部522の位置情報に関連付けてメモリ34の検査結果データHDとして記憶させる。ステップS70では、制御装置30は、すべての検査経路での検査が完了したか否かを確認する。すべての検査経路での検査が完了していない場合(S70:NO)、制御装置30は、ステップS80に移行する。 In step S<b>60 , the abnormality detection section 343 uses the image data acquired by the imaging section 522 to detect an abnormality in the work WK. In this embodiment, the anomaly detection unit 343 uses deep learning to detect an anomaly. The abnormality detection unit 343 associates the detection position of the abnormality with the position information of the imaging unit 522 acquired by the position acquisition unit 342, and stores the inspection result data HD in the memory 34. FIG. In step S70, control device 30 confirms whether or not the inspection on all inspection routes has been completed. If the inspection on all inspection paths has not been completed (S70: NO), the control device 30 proceeds to step S80.

ステップS80では、制御装置30は、検査経路を確認し、内視カメラ52を検査経路上の次の位置に移動させるために、内視カメラ52の方向の切換が必要か否かを確認する。内視カメラ52の方向の切換が必要ない場合には(S80:NO)、制御装置30は、ステップS40に戻り検査を継続する。内視カメラ52の方向の切換が必要である場合(S80:YES)、制御装置30は、ステップS82に移行する。ステップS82では、制御装置30は、方向切換部524を制御し、検査経路上の次の移動位置に対応する向きに内視カメラ52の方向を切り換える。制御装置30は、方向切換部524による内視カメラ52の方向の切換に代えて、またはそれとともに、ロボット40のアーム42を制御して内視カメラ52の方向を切り換えてもよい。制御装置30は、ワークWKを内視カメラ52に対して回転または移動させることによって、ワークWKに対する内視カメラ52の方向を切り換えてもよい。ステップS70において、すべての検査経路での検査が完了した場合には(S70:YES)、本フローを終了する。制御装置30は、検査の完了とともに、表示部38に検査結果を表示してもよい。 In step S80, the control device 30 checks the inspection path and checks whether or not it is necessary to switch the direction of the endoscope camera 52 in order to move the endoscope camera 52 to the next position on the inspection path. If it is not necessary to switch the direction of the endoscope camera 52 (S80: NO), the control device 30 returns to step S40 to continue the inspection. If it is necessary to switch the direction of endoscope camera 52 (S80: YES), control device 30 proceeds to step S82. In step S82, the control device 30 controls the direction switching unit 524 to switch the direction of the endoscope camera 52 to the direction corresponding to the next movement position on the inspection route. The control device 30 may control the arm 42 of the robot 40 to switch the direction of the endoscope camera 52 instead of switching the direction of the endoscope camera 52 by the direction switching unit 524 or together with it. The control device 30 may switch the direction of the endoscope camera 52 with respect to the work WK by rotating or moving the work WK with respect to the endoscope camera 52 . In step S70, when the inspection on all inspection paths is completed (S70: YES), this flow is ended. The control device 30 may display the inspection result on the display unit 38 when the inspection is completed.

図5から図9までを用いて、検査装置100による検査制御の詳細について説明する。図5は、検査対象としてのワークWK1の3次元モデルを模式的に示す説明図である。ワークWK1は、検査対象の一例としてのシリンダブロックである。ワークWK1は、開口OP1と、開口OP1と連通する内部空間SP1と、開口OP2と、開口OP2と連通する内部空間SP2とを備えている。開口OP1および開口OP2は互いに略同一形状であり、内部空間SP1および内部空間SP2は互いに略同一形状である。 Details of inspection control by the inspection apparatus 100 will be described with reference to FIGS. 5 to 9. FIG. FIG. 5 is an explanatory diagram schematically showing a three-dimensional model of the work WK1 to be inspected. A work WK1 is a cylinder block as an example of an object to be inspected. The work WK1 includes an opening OP1, an internal space SP1 communicating with the opening OP1, an opening OP2, and an internal space SP2 communicating with the opening OP2. The opening OP1 and the opening OP2 have substantially the same shape, and the internal space SP1 and the internal space SP2 have substantially the same shape.

図5には、経路生成部341によって生成された検査経路IRが示されている。使用者が制御装置30を操作して3次元モデルデータのワークWK1の内部空間SP1と内部空間SP2とを指定すると、経路生成部341は、内部空間SP1および内部空間SP2の内部に内視カメラ52が移動可能な検査経路データとして、検査経路IRを生成する。図5に示すように、検査経路IRは、検査開始位置PSから、検査位置P1、検査位置P2の順序で検査する略円筒形状の内部空間SP1の検査経路と、検査位置P3から、検査位置P4、検査終了位置PEの順序で検査する略円筒形状の内部空間SP2の検査経路である。検査開始位置PSから検査位置P1までの検査経路の方向に対して、検査位置P1から検査位置P2までの検査経路の方向は所定の角度で屈曲している。同様に、検査位置P3から検査位置P4までの検査経路の方向に対して、検査位置P4から検査終了位置PEまでの検査経路の方向は所定の角度で屈曲している。 FIG. 5 shows an inspection route IR generated by the route generation unit 341. As shown in FIG. When the user operates the control device 30 to specify the internal space SP1 and the internal space SP2 of the workpiece WK1 of the three-dimensional model data, the path generation unit 341 causes the internal space SP1 and the internal space SP2 to be captured by the endoscope camera 52. generates an inspection path IR as movable inspection path data. As shown in FIG. 5, the inspection path IR includes an inspection path in a substantially cylindrical internal space SP1 that is inspected in the order from the inspection start position PS to the inspection position P1 and then to the inspection position P2, and from the inspection position P3 to the inspection position P4. , the inspection path of the substantially cylindrical internal space SP2, which is inspected in the order of the inspection end position PE. The direction of the inspection path from the inspection position P1 to the inspection position P2 is bent at a predetermined angle with respect to the direction of the inspection path from the inspection start position PS to the inspection position P1. Similarly, the direction of the inspection path from the inspection position P4 to the inspection end position PE is bent at a predetermined angle with respect to the direction of the inspection path from the inspection position P3 to the inspection position P4.

検査制御が実行されると、制御装置30は、ロボット40を制御して、内視カメラ52を検査開始位置PS近傍に移動させる。本実施形態では、制御装置30は、アームエンド422に設けられたロボットカメラ424を用いた画像認識により、開口OP1を検出する。制御装置30は、さらに、ロボット40のアーム42を制御して、ローラ装置70による内視カメラ52の移動方向が、検査経路IRの進行方向と一致するように、内視カメラ52の向きを調節してもよい。制御装置30は、例えば、開口OP1の画像データを用いて開口OP1の中心を検出して、検出した開口OP1の中心に内視カメラ52を移動させるなど、ワークWK1の画像データを用いて内視カメラ52の検査開始位置PSへの配置の微調整を実行してもよい。 When inspection control is executed, the control device 30 controls the robot 40 to move the endoscope camera 52 near the inspection start position PS. In this embodiment, the control device 30 detects the opening OP<b>1 by image recognition using a robot camera 424 provided at the arm end 422 . The control device 30 further controls the arm 42 of the robot 40 to adjust the orientation of the endoscope camera 52 so that the movement direction of the endoscope camera 52 by the roller device 70 matches the traveling direction of the inspection route IR. You may For example, the control device 30 detects the center of the opening OP1 using the image data of the opening OP1, and moves the endoscope camera 52 to the detected center of the opening OP1. Fine adjustment of the placement of the camera 52 at the inspection start position PS may be performed.

制御装置30は、内視カメラ52を検査開始位置PSに配置すると、内視カメラ装置50を制御して、撮像部522による撮像を開始する。本実施形態では、制御装置30は、撮像部522により所定のフレームレートによる動画の撮影を開始する。動画のフレームレートは、内視カメラ52の移動距離や内視カメラ52の移動速度に基づいて任意に設定されてよい。撮像部522による撮像は、動画に限らず、例えば、静止画であってよく、静止画は検査位置ごとに取得されてもよい。 After arranging the endoscope camera 52 at the inspection start position PS, the control device 30 controls the endoscope camera device 50 to start imaging by the imaging unit 522 . In this embodiment, the control device 30 causes the imaging unit 522 to start shooting a moving image at a predetermined frame rate. The frame rate of the moving image may be arbitrarily set based on the movement distance of the endoscope camera 52 and the movement speed of the endoscope camera 52 . The imaging by the imaging unit 522 is not limited to moving images, and may be, for example, still images, and the still images may be acquired for each inspection position.

制御装置30は、撮像部522による動画の撮影を開始すると、ローラ装置70を制御して、内視カメラ52を検査開始位置PSから検査位置P1まで前進させる。内視カメラ52が移動している間、異常検出部343は、撮像部522から取得される画像データを用いて異物の検出を実行し、位置取得部342は、撮像部522から取得される画像データを用いて検査経路IRにおける撮像部522の位置を取得する。 When the imaging unit 522 starts capturing a moving image, the control device 30 controls the roller device 70 to advance the endoscope camera 52 from the inspection start position PS to the inspection position P1. While the endoscope camera 52 is moving, the abnormality detection unit 343 detects a foreign object using the image data acquired from the imaging unit 522 , and the position acquisition unit 342 detects the image acquired from the imaging unit 522 . The data is used to acquire the position of the imaging unit 522 on the inspection path IR.

制御装置30は、内視カメラ52を検査位置P1まで移動させると、方向切換部524を制御して、次に移動すべき検査位置P2に向かう方向に内視カメラ52の方向を切り換える。制御装置30は、ローラ装置70を制御して、内視カメラ52を検査位置P1から検査位置P2まで前進させる。制御装置30は、検査位置P2までの検査を終えると、ローラ装置70を制御し、内視カメラ52を後進させて内部空間SP1から取り出し、ロボット40を制御して、内視カメラ52を検査位置P3に移動させる。制御装置30は、内部空間SP1での検査と同様に、検査位置P3から検査位置P4を経由して、検査終了位置PEまでの内部空間SP2の検査を行う。 After moving the endoscope camera 52 to the inspection position P1, the control device 30 controls the direction switching unit 524 to switch the direction of the endoscope camera 52 in the direction toward the next inspection position P2. The control device 30 controls the roller device 70 to advance the endoscope camera 52 from the inspection position P1 to the inspection position P2. After completing the inspection up to the inspection position P2, the control device 30 controls the roller device 70 to move the endoscope camera 52 backward and take it out of the internal space SP1, and controls the robot 40 to move the endoscope camera 52 to the inspection position. Move to P3. Similar to the inspection in the internal space SP1, the control device 30 inspects the internal space SP2 from the inspection position P3 to the inspection end position PE via the inspection position P4.

図6は、異常検出部343が異常検出を実行する状態を示す説明図である。図6には、撮像部522がワークWK1の内部空間SP1,SP2で撮像した動画のうち、1フレーム分の画像データの例が示されている。図6に示すように、異常検出部343は、異常FM1を検出している。異常検出部343によって検出される異常には、例えば、検査対象への異物の付着、検査対象の欠損、壁面上の凹凸、ならびに鋳巣とも呼ばれる鋳造品に形成される空洞などが含まれる。本実施形態では、異常検出部343は、過去に取得した異常を示す画像のデータベースを用いたディープラーニング(深層学習とも呼ばれる)による画像認識を利用し、撮像部522によって取得された画像データを解析することによって異常を検出する。この形態の検査装置100によれば、異常の検出精度を向上させることができる。 FIG. 6 is an explanatory diagram showing a state in which the abnormality detection unit 343 executes abnormality detection. FIG. 6 shows an example of image data for one frame out of the moving images captured by the imaging unit 522 in the internal spaces SP1 and SP2 of the work WK1. As shown in FIG. 6, the abnormality detection unit 343 detects abnormality FM1. Abnormalities detected by the abnormality detection unit 343 include, for example, adherence of foreign matter to the inspection target, defects in the inspection target, unevenness on the wall surface, and cavities formed in the casting product, which are also called blowholes. In the present embodiment, the abnormality detection unit 343 uses image recognition by deep learning (also called deep learning) using a database of images showing abnormalities acquired in the past, and analyzes the image data acquired by the imaging unit 522. Detect anomalies by According to the inspection apparatus 100 of this form, the detection accuracy of abnormality can be improved.

図7および図8を用いて、位置取得部342による撮像部522の位置の取得方法について説明する。図7は、位置取得部342が画像データの特徴点を取得する状態を示す説明図である。図8は、位置取得部342が撮像部522の移動距離を取得する状態を模式的に示す説明図である。図7には、撮像部522がワークWK1の内部空間SP1,SP2で撮像した動画のうち、1フレーム分の画像データの例が示されている。図8には、撮像部522が図7に示す画像データを取得した後に所定の距離だけ検査経路IR上を移動した状態で撮像部522が撮像した1フレーム分の画像データの例が示されている。 A method of acquiring the position of the imaging unit 522 by the position acquisition unit 342 will be described with reference to FIGS. 7 and 8. FIG. FIG. 7 is an explanatory diagram showing a state in which the position acquisition unit 342 acquires feature points of image data. FIG. 8 is an explanatory diagram schematically showing a state in which the position acquisition unit 342 acquires the moving distance of the imaging unit 522. As shown in FIG. FIG. 7 shows an example of image data for one frame out of the moving images captured by the imaging unit 522 in the internal spaces SP1 and SP2 of the work WK1. FIG. 8 shows an example of image data for one frame captured by the imaging unit 522 after the imaging unit 522 acquires the image data shown in FIG. 7 and moves on the inspection route IR by a predetermined distance. there is

図7および図8には、内部空間SP1内の物体OB1が示されている。物体OB1は、位置取得部342が画像データから検出した被写体画像の一例である。物体OB1としては、内部空間SP1,SP2の壁面上の凹凸、内部空間SP1,SP2に存在する異物、内部空間SP1,SP2に備えられる構造体などの種々の物体を用いることができる。 7 and 8 show an object OB1 within the internal space SP1. Object OB1 is an example of a subject image detected from image data by position acquisition unit 342 . As the object OB1, various objects such as irregularities on the walls of the internal spaces SP1 and SP2, foreign substances existing in the internal spaces SP1 and SP2, and structures provided in the internal spaces SP1 and SP2 can be used.

図7および図8には、位置取得部342によって抽出された複数の特徴点FPが示されている。位置取得部342は、画像データの輝度などの情報から、例えば、角や線の交わり、エッジなどの他と区別できるような固有の点の座標を検出し、特徴点FPを抽出する。位置取得部342は、検出した特徴点FPの固有性をベクトルやバイナリコードで表現した特徴量として算出し、対応付ける画像データ同士の特徴量を比較してマッチングを行う。位置取得部342は、図7に示す画像データと、図8に示す画像データとで、特徴点FPを用いたマッチングを行うことにより、図7に示す物体OB1と、図8に示す物体OB1とが同一の物体であることを認識する。特徴点のマッチングには、例えば、SIFT(scale-invariant feature transformation)のほか、SURF、AKAZEなどの手法が用いられてよい。位置取得部342は、さらに、特徴点FPまでの距離、すなわち物体OB1までの距離を、例えば、三角視野測量やSLAM(Simultaneous Localization and Mapping)などを用いて求めることができる。 7 and 8 show a plurality of feature points FP extracted by the position acquisition section 342. FIG. The position acquisition unit 342 detects the coordinates of unique points that can be distinguished from others, such as corners, intersections of lines, and edges, from information such as brightness of image data, and extracts feature points FP. The position acquisition unit 342 calculates the uniqueness of the detected feature point FP as a feature amount expressed by a vector or binary code, and performs matching by comparing the feature amounts of the image data to be associated. The position acquisition unit 342 performs matching using the feature points FP between the image data shown in FIG. 7 and the image data shown in FIG. 8, thereby obtaining the object OB1 shown in FIG. are the same object. For example, methods such as SURF and AKAZE may be used in addition to SIFT (scale-invariant feature transformation) for matching feature points. The position acquisition unit 342 can further obtain the distance to the feature point FP, that is, the distance to the object OB1, using triangulation, SLAM (Simultaneous Localization and Mapping), or the like, for example.

図8には、技術の理解を容易にするために、検査経路IRを移動する前の物体OB1の位置、すなわち図7での物体OB1の位置を、物体OB2として概念的に示している。図8に距離DTとして示すように、位置取得部342は、同一の物体としての物体OB1の位置の変化から物体OB2と物体OB1との距離DTを演算し、距離DTを撮像部522の移動距離として取得する。位置取得部342は、撮像部522が取得する動画の所定のフレームごとに移動距離を取得する。位置取得部342は、取得した移動距離を積算し、検査開始位置PSからの累積の移動距離を算出することによって、検査経路IRにおける撮像部522の現在位置を取得する。 In order to facilitate understanding of the technique, FIG. 8 conceptually shows the position of the object OB1 before moving along the inspection path IR, that is, the position of the object OB1 in FIG. 7 as an object OB2. As indicated by distance DT in FIG. to get as The position acquisition unit 342 acquires the movement distance for each predetermined frame of the moving image acquired by the imaging unit 522 . The position acquiring unit 342 acquires the current position of the imaging unit 522 on the inspection route IR by integrating the acquired moving distances and calculating the cumulative moving distance from the inspection start position PS.

異常検出部343は、異常の検出位置を、位置取得部342により取得された撮像部522の位置情報に関連付けてメモリ34の検査結果データHDとして記憶させる。位置取得部342は、画像データを用いた移動距離の取得のほか、例えば、ローラ装置70の第一ローラ71および第二ローラ72のエンコーダから取得した内視カメラ52の送り量を撮像部522の移動距離としてもよい。 The abnormality detection unit 343 associates the detection position of the abnormality with the position information of the imaging unit 522 acquired by the position acquisition unit 342, and stores the inspection result data HD in the memory 34. FIG. In addition to acquiring the movement distance using the image data, the position acquisition unit 342 acquires, for example, the feed amount of the endoscope camera 52 acquired from the encoders of the first roller 71 and the second roller 72 of the roller device 70 . It is good also as a moving distance.

図9は、検査装置100による検査結果データHDを示す説明図である。図9には、検査結果データHDが表示部38に表示された状態が示されている。図9では、ワークWK1の三次元モデルの図示は省略されている。図9に示すように、異常検出部343および位置取得部342によって検出された異常の位置情報DF01~DF05が検査経路IR上にマッピングされている。作業者は、例えば、表示部38から、検査経路IR上の異常の位置情報DF01~DF05を視認して、ワークWK1から異常の除去を行うことができる。 FIG. 9 is an explanatory diagram showing inspection result data HD by the inspection apparatus 100. As shown in FIG. FIG. 9 shows a state in which the inspection result data HD is displayed on the display section 38. As shown in FIG. In FIG. 9, illustration of the three-dimensional model of the work WK1 is omitted. As shown in FIG. 9, the abnormality position information DF01 to DF05 detected by the abnormality detection unit 343 and the position acquisition unit 342 are mapped on the inspection route IR. For example, the operator can visually confirm the position information DF01 to DF05 of the abnormality on the inspection path IR from the display unit 38 and remove the abnormality from the work WK1.

以上、説明したように、本実施形態の検査装置100によれば、ロボット40と、ローラ装置70と、方向切換部524とを含む内視カメラ移動部80を制御して、内視カメラ52をワークWK1の内部空間SP1,SP2の検査経路IRに沿って移動させ、撮像部522を制御して、物品の内部画像を取得する。したがって、本実施形態の検査装置100は、人がリモコンを操作することなく、ワークWK1の内部空間SP1,SP2の検査経路IR上の画像データを取得することができる。したがって、検査対象の内部を効率的に検査することができる。 As described above, according to the inspection apparatus 100 of the present embodiment, the endoscopic camera moving section 80 including the robot 40, the roller device 70, and the direction switching section 524 is controlled to move the endoscopic camera 52. It moves along the inspection path IR of the internal spaces SP1 and SP2 of the work WK1, controls the imaging unit 522, and acquires an internal image of the article. Therefore, the inspection apparatus 100 of the present embodiment can acquire image data of the internal spaces SP1 and SP2 of the work WK1 on the inspection path IR without a person operating a remote controller. Therefore, the inside of the object to be inspected can be efficiently inspected.

本実施形態の検査装置100によれば、制御装置30は、内部画像を用いてワークWK1の内部の異常を検出する異常検出部を備えている。人がリモコンを操作することなく、ワークWK1の内部空間SP1,SP2の検査経路IR上の異常を検出することができる。したがって、検査対象の内部をより効率的に検査することができる。また、人為的な異常の検出ミスなどを低減または防止することができる。 According to the inspection apparatus 100 of this embodiment, the control device 30 includes an abnormality detection section that detects an abnormality inside the workpiece WK1 using an internal image. Abnormalities on the inspection path IR of the internal spaces SP1 and SP2 of the work WK1 can be detected without a person operating a remote controller. Therefore, the inside of the object to be inspected can be inspected more efficiently. In addition, it is possible to reduce or prevent human errors in detection of abnormalities.

本実施形態の検査装置100によれば、位置取得部342は、撮像部522によって取得される複数の画像データに含まれる物体OB1を用いた特徴点のマッチングにより、撮像部522の移動距離を算出し、検査経路IRにおける撮像部522の位置を取得する。異常検出に用いられる画像データを位置検出に用いることができるので、例えば、LiDARなどの測距装置やGNSS(Global Navigation Satellite System)などの位置検出のための装置を別に設けることなく、撮像部522の位置を検出することができる。例えば、ローラ装置70による内視カメラ52の送り量と、実際の内視カメラ52の移動量との誤差が発生した場合であっても、撮像部522の適正な位置を検出することができる。 According to the inspection apparatus 100 of the present embodiment, the position acquisition unit 342 calculates the movement distance of the imaging unit 522 by matching feature points using the object OB1 included in the plurality of image data acquired by the imaging unit 522. and acquires the position of the imaging unit 522 on the inspection path IR. Since the image data used for abnormality detection can be used for position detection, for example, without separately providing a device for position detection such as a distance measuring device such as LiDAR or a GNSS (Global Navigation Satellite System), the imaging unit 522 position can be detected. For example, even if there is an error between the feed amount of the endoscope camera 52 by the roller device 70 and the actual movement amount of the endoscope camera 52, the proper position of the imaging unit 522 can be detected.

本実施形態の検査装置100によれば、異常検出部343は、位置取得部342が取得する撮像部522の位置に、異常検出部343が取得する異常FM1を検出した位置を関連付けて検査結果データHDとして記憶する。したがって、作業者は検査経路IR上の異常FM1の位置を容易に認識することができる。 According to the inspection apparatus 100 of the present embodiment, the abnormality detection unit 343 associates the position of the imaging unit 522 acquired by the position acquisition unit 342 with the position where the abnormality FM1 is detected and acquires the inspection result data. Store as HD. Therefore, the operator can easily recognize the position of the abnormality FM1 on the inspection path IR.

本実施形態の検査装置100によれば、経路生成部341は、物品の3次元モデルデータを用いて、検査経路IRを生成する。したがって、3次元CADソフトウェアで設計したワークWK1の3次元モデルデータをそのまま検査装置100の検査に用いることができる。本実施形態の検査装置100によれば、検査装置100による検査を実行中に異なる内部構造を有する検査対象に切り換えられた場合であっても、検査を停止することなく異なる内部構造に対応する検査経路を生成し、検査を停止することなく継続することができる。 According to the inspection apparatus 100 of the present embodiment, the route generator 341 uses the three-dimensional model data of the article to generate the inspection route IR. Therefore, the three-dimensional model data of the work WK1 designed by the three-dimensional CAD software can be used for inspection by the inspection apparatus 100 as it is. According to the inspection apparatus 100 of the present embodiment, even if the inspection target having a different internal structure is switched during the inspection by the inspection apparatus 100, the inspection corresponding to the different internal structure can be performed without stopping the inspection. Paths can be generated and inspection can continue without stopping.

本実施形態の検査装置100によれば、ローラ装置70は、内視カメラ52を把持するための一対のローラ71,72を備えている。ローラ装置70は、ローラの回転方向を切り換えることによって、内視カメラ52を前進または後進させる。ローラで内視カメラ52を把持することによって、内視カメラ52を安定して移動させることができる。例えば、エンコーダなどのローラの回転量を用いることにより、検査経路IR上の内視カメラ52の移動量を検出し、撮像部522の位置検出の精度を向上することができる。 According to the inspection device 100 of this embodiment, the roller device 70 includes a pair of rollers 71 and 72 for gripping the endoscope camera 52 . The roller device 70 moves the endoscope camera 52 forward or backward by switching the rotation direction of the roller. By gripping the endoscope camera 52 with the rollers, the endoscope camera 52 can be stably moved. For example, by using the amount of rotation of a roller such as an encoder, the amount of movement of the endoscope camera 52 on the inspection route IR can be detected, and the accuracy of detecting the position of the imaging unit 522 can be improved.

本実施形態の検査装置100によれば、物品は、シリンダヘッド、シリンダブロックなど、車両に搭載される部品である。したがって、検査装置100を車両部品の製造工程に用いることができる。 According to the inspection device 100 of the present embodiment, the article is a part mounted on a vehicle, such as a cylinder head and a cylinder block. Therefore, the inspection apparatus 100 can be used in the manufacturing process of vehicle parts.

B.他の実施形態:
(B1)上記実施形態では、検査装置100の検査対象となる物品が、シリンダヘッド、シリンダブロックなど、車両に搭載される鋳造部品である例を示した。これに対して、検査対象となる物品は、車両に搭載される鋳造部品以外の物品であってよく、例えば、航空機、船舶、ならびに電車などの移動体に搭載される部品であってよく、建築物や建材などの種々の構造物であってもよい。検査対象となる物品は、例えば、原子炉であってもよい。この形態の検査装置100によれば、内視カメラ52による原子炉の内部の検査を自動で行うことができるので、人が放射線に曝されることを抑制することができる。
B. Other embodiments:
(B1) In the above embodiment, an example was shown in which the article to be inspected by the inspection apparatus 100 is a cast part mounted on a vehicle, such as a cylinder head and a cylinder block. On the other hand, articles to be inspected may be articles other than cast parts mounted on vehicles, for example, parts mounted on moving bodies such as aircraft, ships, and trains. Various structures such as objects and building materials may be used. The item to be inspected may be, for example, a nuclear reactor. According to the inspection apparatus 100 of this embodiment, the inside of the nuclear reactor can be automatically inspected by the endoscope camera 52, so that human exposure to radiation can be suppressed.

(B2)上記実施形態では、検査装置100は、ロボット40および内視カメラ装置50の双方を制御する1つの制御装置30を備える例を示した。これに対して、検査装置100は、例えば、ロボット40を制御する制御装置と、内視カメラ装置50を制御する制御装置との2つの制御装置を備えてよく、3以上の複数の制御装置を備えていてもよい。 (B2) In the above embodiment, the inspection apparatus 100 is provided with one control device 30 that controls both the robot 40 and the endoscope camera device 50 . On the other hand, the inspection apparatus 100 may include, for example, two controllers, a controller that controls the robot 40 and a controller that controls the endoscope camera device 50, and three or more controllers. may be provided.

(B3)上記実施形態では、内視カメラ移動部80には、ロボット40と、ローラ装置70と、方向切換部524とが含まれる。これに対して、内視カメラ移動部80には、例えば、内視カメラ52を移動させる方向が直線状のみである場合には、ロボット40および方向切換部524は省略されてもよい。内視カメラ移動部80は、検査経路に対応する内視カメラ52の移動方向を実現するために必要な、ロボット40と、ローラ装置70と、方向切換部524との少なくともいずれかを備える形態であってよい。 (B3) In the above embodiment, the endoscope camera moving section 80 includes the robot 40 , the roller device 70 , and the direction switching section 524 . On the other hand, the robot 40 and the direction switching section 524 may be omitted from the endoscopic camera moving section 80 if, for example, the direction in which the endoscopic camera 52 is moved is linear only. The endoscopic camera moving unit 80 includes at least one of the robot 40, the roller device 70, and the direction switching unit 524, which are necessary for realizing the movement direction of the endoscopic camera 52 corresponding to the inspection route. It can be.

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。 The present disclosure is not limited to the embodiments described above, and can be implemented in various configurations without departing from the scope of the present disclosure. For example, the technical features of the embodiments corresponding to the technical features in each form described in the outline of the invention are used to solve some or all of the above problems, or Alternatively, replacements and combinations can be made as appropriate to achieve all. Moreover, if the technical feature is not described as essential in this specification, it can be deleted as appropriate.

20…ロボット制御部、30…制御装置、32…マイクロプロセッサ、34…メモリ、36…インターフェイス回路、38…表示部、40…ロボット、42…アーム、44…基台、50…内視カメラ装置、52…内視カメラ、54…内視カメラ制御部、60…架台、62…ホルダ、64…マーク、70…ローラ装置、71…第一ローラ、72…第二ローラ、80…内視カメラ移動部、100…検査装置、341…経路生成部、342…位置取得部、343…異常検出部、344…CADプログラム、345…CAMプログラム、422…アームエンド、424…ロボットカメラ、522…撮像部、524…方向切換部、526…ケーブル、CP…内視カメラ動作プログラム、FM1…異常、FP…特徴点、HD…検査結果データ、IR…検査経路、OB1,OB2…物体、OP1,OP2…開口、RP…ロボット動作プログラム、SP,SP1,SP2…内部空間、WK,WK1…ワーク DESCRIPTION OF SYMBOLS 20... Robot control part, 30... Control apparatus, 32... Microprocessor, 34... Memory, 36... Interface circuit, 38... Display part, 40... Robot, 42... Arm, 44... Base, 50... Endoscopic camera device, 52... endoscope camera 54... endoscope camera control section 60... mount 62... holder 64... mark 70... roller device 71... first roller 72... second roller 80... endoscope camera moving section , 100... inspection device, 341... path generation unit, 342... position acquisition unit, 343... abnormality detection unit, 344... CAD program, 345... CAM program, 422... arm end, 424... robot camera, 522... imaging unit, 524 ...Direction switching part 526...Cable CP...Endoscopic camera operation program FM1...Abnormality FP...Feature point HD...Inspection result data IR...Inspection path OB1, OB2...Object OP1, OP2...Opening RP ... robot operation program, SP, SP1, SP2 ... internal space, WK, WK1 ... work

Claims (7)

物品の内部を検査するために用いられる検査装置であって、
画像を取得する撮像部を備える内視カメラと、
前記内視カメラを移動させる内視カメラ移動部と、
前記内視カメラ移動部を制御して、前記内視カメラを、前記物品の内部構造を表すデータを用いて予め設定される前記物品の内部の検査経路データに沿って移動させ、前記撮像部を制御して、前記物品の内部画像を取得する制御装置と、を備える、
検査装置。
An inspection device used to inspect the inside of an article,
an endoscope camera including an imaging unit that acquires an image;
an endoscopic camera moving unit that moves the endoscopic camera;
controlling the endoscopic camera movement unit to move the endoscopic camera along inspection path data inside the article set in advance using data representing the internal structure of the article; a control device for controlling to obtain an internal image of the article;
inspection equipment.
前記制御装置は、前記内部画像を用いて前記物品の内部の異常を検出する異常検出部を備える、請求項1に記載の検査装置。 2. The inspection apparatus according to claim 1, wherein said control device includes an abnormality detection section that detects an abnormality inside said article using said internal image. 請求項2に記載の検査装置であって、
前記制御装置は、前記撮像部によって予め定められた期間ごとに取得される複数の画像と、前記複数の画像に含まれる被写体画像とを用いて、前記検査経路データにおける前記撮像部の位置を取得する位置取得部、を備える、
検査装置。
The inspection device according to claim 2,
The control device acquires the position of the imaging unit in the inspection path data using a plurality of images acquired by the imaging unit at predetermined intervals and subject images included in the plurality of images. a position acquisition unit for
inspection equipment.
請求項3に記載の検査装置であって、
前記制御装置は、前記位置取得部によって取得される前記撮像部の位置と、前記異常を検出した位置とを関連付けて記憶する、
検査装置。
The inspection device according to claim 3,
The control device associates and stores the position of the imaging unit acquired by the position acquisition unit and the position where the abnormality is detected.
inspection equipment.
請求項1から請求項4までのいずれか一項に記載の検査装置であって、
さらに、前記物品の3次元モデルデータを用いて、前記検査経路データを生成する経路生成部、を備える、
検査装置。
The inspection device according to any one of claims 1 to 4,
Furthermore, a path generation unit that generates the inspection path data using the three-dimensional model data of the article,
inspection equipment.
前記内視カメラ移動部は、前記内視カメラの少なくとも一部を把持することができる複数のローラであって、前記ローラの回転方向を切り換えることによって、前記内視カメラを前進または後進させる複数のローラを含む、請求項1から請求項5までのいずれか一項に記載の検査装置。 The endoscopic camera moving unit includes a plurality of rollers capable of gripping at least a part of the endoscopic camera, and a plurality of rollers for moving the endoscopic camera forward or backward by switching the rotation direction of the rollers. 6. An inspection device according to any one of claims 1 to 5, comprising rollers. 前記物品は、車両に搭載される部品である、請求項1から請求項5までのいずれか一項に記載の検査装置。 The inspection device according to any one of claims 1 to 5, wherein the article is a part mounted on a vehicle.
JP2021011597A 2021-01-28 2021-01-28 Inspection Equipment Active JP7476814B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021011597A JP7476814B2 (en) 2021-01-28 Inspection Equipment
CN202111392987.2A CN114813782A (en) 2021-01-28 2021-11-23 Inspection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021011597A JP7476814B2 (en) 2021-01-28 Inspection Equipment

Publications (2)

Publication Number Publication Date
JP2022115133A true JP2022115133A (en) 2022-08-09
JP7476814B2 JP7476814B2 (en) 2024-05-01

Family

ID=

Also Published As

Publication number Publication date
CN114813782A (en) 2022-07-29

Similar Documents

Publication Publication Date Title
JP6420229B2 (en) A robot system including a video display device that superimposes and displays an image of a virtual object on a video of a robot
JP4508252B2 (en) Robot teaching device
JP7439073B2 (en) System and method for welding path generation
JP6869159B2 (en) Robot system
TWI493153B (en) Non-contact measurement device and method for object space information and the method thereof for computing the path from capturing the image
JP2008021092A (en) Simulation apparatus of robot system
JP2005201824A (en) Measuring device
JP2024009106A (en) Device and method for acquiring deviation amount of work position of tool
JP2009053147A (en) Three-dimensional measuring method and three-dimensional measuring device
WO2018043525A1 (en) Robot system, robot system control device, and robot system control method
US20160184998A1 (en) Robot identification system
JP2010188439A (en) Method and apparatus for calculating parameter
JP2010060556A (en) System and method for measuring curved member
JP6621351B2 (en) Image processing apparatus and image processing method for laser processing
US20180156608A1 (en) Method for measuring an artefact
JP2021013983A (en) Apparatus and method for acquiring deviation of moving locus of moving machine
JP2019522213A (en) Non-contact probe and method of operation
JP2022115133A (en) Inspection device
JP7476814B2 (en) Inspection Equipment
JP2000263273A (en) Teaching method and its device for yag laser beam machine
JP2016038204A (en) Internal shape examining sensor unit, and internal shape examining device
JP2020086759A (en) Three-dimensional model creation system, processing simulation system, and tool path automatic production system
JP2000326082A (en) Laser beam machine
JP6892462B2 (en) Machine control device
JP4280338B2 (en) Teaching method and apparatus for YAG laser processing machine

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240311

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240401