JP2020010166A - Image processing system and control method thereof, imaging apparatus, program - Google Patents

Image processing system and control method thereof, imaging apparatus, program Download PDF

Info

Publication number
JP2020010166A
JP2020010166A JP2018129182A JP2018129182A JP2020010166A JP 2020010166 A JP2020010166 A JP 2020010166A JP 2018129182 A JP2018129182 A JP 2018129182A JP 2018129182 A JP2018129182 A JP 2018129182A JP 2020010166 A JP2020010166 A JP 2020010166A
Authority
JP
Japan
Prior art keywords
image
image processing
unit
correction
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018129182A
Other languages
Japanese (ja)
Other versions
JP7094806B2 (en
Inventor
寛人 岡
Hiroto Oka
寛人 岡
元気 長
Motoki Cho
元気 長
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018129182A priority Critical patent/JP7094806B2/en
Priority to US16/502,250 priority patent/US11336831B2/en
Priority to CN201910603870.0A priority patent/CN110691186B/en
Publication of JP2020010166A publication Critical patent/JP2020010166A/en
Application granted granted Critical
Publication of JP7094806B2 publication Critical patent/JP7094806B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To perform image processing in a shorter time, while ensuring repeatability of the shooting position.SOLUTION: An image processing system 102 adjusts shooting direction and shooting magnification by performing drive control of an imaging apparatus 103 for every image processing step, and sets the shooting position of a measurement object. The image processing system 102 sets a reference image area becoming a reference in the image captured by the imaging apparatus 103, and sets a feature part, extracted in the area, as a reference feature part. A user inputs the data of determination conditions for use in determination of repeatability of the shooting position, and the image processing system 102 calculates the error of the feature part, extracted in the captured image inputted at the time of measurement, and the set reference feature part, on the basis of the captured image data. When the calculated error goes above a threshold level corresponding to the determination conditions, the shooting position is corrected by a prescribed number of times or in a prescribed time. When the calculated error goes blow a threshold level corresponding to the determination conditions, prescribed image processing is performed, and image processing results are outputted.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置の撮影方向や撮影画角を制御し、撮像画像を処理する画像処理の技術に関する。   The present invention relates to an image processing technique for processing a captured image by controlling a shooting direction and a shooting angle of view of an imaging device.

画像処理を行ってロボットや搬送装置等の機器を制御する技術は、工場での製品生産や品質確認、運用、管理等に使用される。撮像装置によって作業対象（以下、ワークと呼ぶ）を撮影する際、撮影方向や撮影倍率を変更する駆動部を備えた撮像装置を使用すれば、複数の撮影位置や撮影画角で画像を取得できる。１台の撮像装置で取得した画像を複数の画像処理工程で使用可能である。   The technology of controlling devices such as a robot and a transport device by performing image processing is used for product production in a factory, quality confirmation, operation, management, and the like. When an image of a work target (hereinafter, referred to as a work) is captured by an imaging device, an image capturing device having a driving unit that changes a capturing direction and a capturing magnification can be used to obtain images at a plurality of capturing positions and capturing angles of view. . An image acquired by one imaging device can be used in a plurality of image processing steps.

しかし、撮像装置の駆動部の性能や劣化等によって、予め基準として設定しておいた撮影位置の再現性が低下すると、画像処理の計測精度や認識率が低下する可能性がある。そこで、特許文献１に開示の技術では、予めワークを撮影した第１の画像と、撮影位置を変更したときにワークを撮影した第２の画像とを比較し、第１の画像が第２の画像のどの領域にあるかを求めて表示することができる。   However, if the reproducibility of the shooting position set in advance as a reference is reduced due to the performance or deterioration of the drive unit of the imaging device, the measurement accuracy and recognition rate of image processing may be reduced. Therefore, in the technique disclosed in Patent Document 1, a first image of a workpiece that has been shot in advance is compared with a second image of a workpiece that has been shot when the shooting position is changed, and the first image is compared with the second image. It is possible to find and display the area in the image.

特開２０１５−１８６０２１号公報JP-A-2005-186021

ところで、工場等で撮影位置を変更するたびにユーザがいちいち再現性を確認する方法は時間がかかり、作業効率が低い。そのため、撮像装置自体が自動的に再現性を判定し、再現性が低い場合に自動的に撮影位置を補正する処理を行うことが要求される。さらには、工場等における各画像処理工程において必要とされる計測精度や認識率がそれぞれ異なる場合があり得る。ある画像処理工程において必要な計測精度が十分でない場合や、過分な再現性を要求したことにより、必要以上の補正処理が行われる結果、長い計測時間がかかる可能性がある。   By the way, a method in which the user checks the reproducibility each time the photographing position is changed at a factory or the like takes time and the work efficiency is low. For this reason, it is required that the imaging apparatus itself automatically determine the reproducibility and, when the reproducibility is low, perform processing for automatically correcting the shooting position. Further, the measurement accuracy and recognition rate required in each image processing step in a factory or the like may be different from each other. If the required measurement accuracy is not sufficient in a certain image processing step, or if excessive reproducibility is required, a longer measurement time may be required as a result of performing more correction processing than necessary.

一例として、搬送装置によって個々に搬送される複数種のワークを、撮像装置が撮像した画像を用いて類別し、ロボットがワークの種類ごとに異なる搬送車に積載する作業工程を想定する。ロボットが正しくワーク座標を認識してワークを把持するためには、画像処理の計測精度を所定の精度以上に高める必要がある。一方、撮像装置が搬送車を撮像して搬送車が停止枠内に存在するかどうかを判定する工程では、画像処理の計測精度をそれほど高くする必要はなく、短時間で処理を終了できることが求められる。
本発明の目的は、撮影位置の再現性を確保しつつ、より短時間に画像処理を行うことである。 As an example, a work process in which a plurality of types of workpieces individually transported by a transport device are classified by using an image captured by an imaging device, and a robot loads a different transport vehicle for each type of workpiece is assumed. In order for the robot to correctly recognize the work coordinates and grasp the work, it is necessary to increase the measurement accuracy of the image processing to a predetermined accuracy or more. On the other hand, in the process in which the imaging device images the transport vehicle and determines whether the transport vehicle is within the stop frame, it is not necessary to increase the measurement accuracy of the image processing so much, and it is necessary that the process be completed in a short time. Can be
An object of the present invention is to perform image processing in a shorter time while ensuring reproducibility of a shooting position.

本発明の一実施形態の画像処理装置は、撮影方向または撮影画角の変更が可能な撮像手段により計測対象を撮像した撮像画像のデータを処理する画像処理装置であって、前記撮像画像にて基準となる基準画像領域を設定し、前記基準画像領域における画像の特徴部を基準特徴部に設定する処理を行う設定手段と、前記撮像手段の撮影位置の再現性を判定する判定条件のデータを入力する入力手段と、前記撮像手段によって計測時の撮影位置で取得される撮像画像にて前記基準画像領域に対応する画像領域で抽出される特徴部と、前記基準特徴部との誤差を算出する算出手段と、前記算出手段によって算出された前記誤差が前記判定条件を満たさない場合、前記撮像手段に対して前記撮影位置を補正する処理を行う補正手段と、前記撮像手段による撮像画像のデータを取得して画像処理を行う画像処理手段と、前記算出手段によって算出された前記誤差が前記判定条件を満たす場合、前記画像処理手段により前記撮像画像の画像処理を行い、画像処理結果を出力する制御を行う制御手段と、を備える。   An image processing apparatus according to an embodiment of the present invention is an image processing apparatus that processes data of a captured image obtained by capturing an object to be measured by an imaging unit capable of changing a shooting direction or a shooting angle of view. A setting unit for setting a reference image region serving as a reference and performing a process of setting a feature portion of an image in the reference image region as a reference feature portion; and data of determination conditions for determining reproducibility of a shooting position of the imaging unit. Calculating an error between the input unit for inputting, a feature extracted in an image area corresponding to the reference image area in a captured image obtained at a shooting position at the time of measurement by the imaging unit, and an error between the reference feature Calculating means, when the error calculated by the calculating means does not satisfy the determination condition, correcting means for performing processing for correcting the shooting position with respect to the imaging means; Image processing means for acquiring data of the captured image to perform image processing, and when the error calculated by the calculation means satisfies the determination condition, image processing of the captured image is performed by the image processing means. And control means for performing control for outputting a processing result.

本発明の画像処理装置によれば、撮影位置の再現性を確保しつつ、より短時間に画像処理を行うことができる。   According to the image processing device of the present invention, it is possible to perform image processing in a shorter time while ensuring reproducibility of a shooting position.

第１実施例に係る画像処理装置を含むシステムの全体構成図である。FIG. 1 is an overall configuration diagram of a system including an image processing apparatus according to a first embodiment. 第１実施例に係る撮像装置の概略図である。FIG. 1 is a schematic diagram of an imaging device according to a first embodiment. 第１実施例に係る計測シーンの説明図である。FIG. 4 is an explanatory diagram of a measurement scene according to the first example. 第１実施例に係る画像処理装置のブロック図である。FIG. 2 is a block diagram of the image processing apparatus according to the first embodiment. 第１実施例に係るフローチャート作成画面を表す図である。It is a figure showing the flowchart preparation screen concerning a 1st example. 第１実施例に係る基準特徴の登録処理画面を表す図である。It is a figure showing the registration processing screen of the reference characteristic concerning a 1st example. 第１実施例に係る基準特徴の登録処理のシーケンス図である。FIG. 7 is a sequence diagram of a registration process of a reference feature according to the first embodiment. 第１実施例に係る基準特徴情報のデータ形式を表す図である。FIG. 6 is a diagram illustrating a data format of reference feature information according to the first embodiment. 第１実施例に係る計測処理の設定画面を表す図である。It is a figure showing the setting screen of the measurement processing concerning a 1st example. 第１実施例に係る計測処理のシーケンス図である。FIG. 4 is a sequence diagram of a measurement process according to the first embodiment. 第１実施例に係る比較処理および補正処理の説明図である。FIG. 7 is an explanatory diagram of a comparison process and a correction process according to the first embodiment. 第２実施例に係る基準特徴の登録処理画面を表す図である。It is a figure showing the registration processing screen of a reference characteristic concerning a 2nd example. 第２実施例に係る基準特徴の登録処理のシーケンス図である。FIG. 13 is a sequence diagram of a registration process of a reference feature according to the second embodiment.

以下に、本発明の好適な実施形態について、添付図面に示す各実施例にしたがって詳細に説明する。画像処理装置、ロボット、搬送装置等を備えるシステムの例を説明するが、以下の実施形態に示す構成要素は一例であり、本発明は画像処理装置を利用した各種の計測システムに適用可能である。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. An example of a system including an image processing device, a robot, a transport device, and the like will be described. However, the components described in the following embodiments are merely examples, and the present invention is applicable to various measurement systems using the image processing device. .

［第１実施例］
図１は、本実施形態に係る画像処理装置を含むシステムの全体構成図である。システムの制御装置１０１は、予め設定されたタイミングで各装置への制御指令を送信する。システムは制御装置１０１、画像処理装置１０２、撮像装置１０３、作業用のロボット１０４、搬送装置１０５、搬送車１０６，１０７から構成される。 [First embodiment]
FIG. 1 is an overall configuration diagram of a system including an image processing apparatus according to the present embodiment. The control device 101 of the system transmits a control command to each device at a preset timing. The system includes a control device 101, an image processing device 102, an imaging device 103, a work robot 104, a transport device 105, and transport vehicles 106 and 107.

画像処理装置１０２は、制御装置１０１から受信した制御指令にしたがって、撮像装置１０３の駆動制御を行う。撮像装置１０３は撮影方向と撮影画角の変更が可能であり、画像処理装置１０２からの制御信号により計測対象の撮影位置を変更して撮像動作を行う。画像処理装置１０２は撮像装置１０３から取得した撮像画像データを処理し、画像処理結果を制御装置１０１に送信する。制御装置１０１は、画像処理結果に基づいてロボット１０４、搬送装置１０５、搬送車１０６，１０７を制御し、所定の作業を実行させる。   The image processing device 102 controls the driving of the imaging device 103 according to the control command received from the control device 101. The imaging device 103 can change the imaging direction and the imaging angle of view, and performs an imaging operation by changing the imaging position of the measurement target according to a control signal from the image processing device 102. The image processing device 102 processes the captured image data acquired from the imaging device 103, and transmits an image processing result to the control device 101. The control device 101 controls the robot 104, the transport device 105, and the transport vehicles 106 and 107 based on the result of the image processing to execute a predetermined operation.

一例として、以下の作業工程を説明する。
・撮像装置１０３が撮像した画像データを用いて、搬送装置１０５により搬送されるワーク１０８〜１１０の種別を判別する工程。
・ロボット１０４によってワークの種別ごとに異なる搬送車にワークを配置する工程。
ワークを搬送する搬送車１０６，１０７の停止位置は、複数の停止枠１１１により決定されるものとする。 The following work steps will be described as an example.
A step of using the image data captured by the imaging device 103 to determine the type of the work 108 to 110 transported by the transport device 105;
A step of arranging the workpieces on different transport vehicles for each type of workpieces by the robot 104;
The stop positions of the transport vehicles 106 and 107 that transport the work are determined by a plurality of stop frames 111.

図２は撮像装置１０３の撮影方向と撮影画角を変更する駆動機構を説明する模式図である。撮像装置１０３は、雲台２０１と撮影系（撮像光学系）２０２を備える。雲台２０１は、撮影系２０２の方向を、横方向（以下、パンニング方向をＰ方向と記す）および縦方向（以下、チルティング方向をＴ方向と記す）に変化させる２つの駆動系の機構部を有する。パンニング機構（パン機構ともいう）は撮影系２０２をＰ方向に駆動させる機構であり、チルティング機構（チルト機構ともいう）は撮影系２０２をＴ方向に駆動させる機構である。これらの機構によって撮影系２０２の撮影方向は、Ｐ方向にて３６０°の範囲で変更可能、つまりエンドレス旋回が可能である。またＴ方向にて、水平方向を０度として−３０．０度〜＋２１０．０度の範囲で撮影方向を変更可能である。また撮像装置１０３はズーム機構により、撮影系２０２のズーム倍率を１．０倍〜２０．０倍の範囲で変更可能である。   FIG. 2 is a schematic diagram illustrating a driving mechanism for changing the shooting direction and the shooting angle of view of the imaging apparatus 103. The imaging device 103 includes a camera platform 201 and an imaging system (imaging optical system) 202. The pan head 201 is a mechanism section of two drive systems that changes the direction of the imaging system 202 in a horizontal direction (hereinafter, a panning direction is referred to as a P direction) and a vertical direction (hereinafter, a tilting direction is referred to as a T direction). Having. A panning mechanism (also called a pan mechanism) is a mechanism that drives the imaging system 202 in the P direction, and a tilting mechanism (also called a tilt mechanism) is a mechanism that drives the imaging system 202 in the T direction. With these mechanisms, the photographing direction of the photographing system 202 can be changed within a range of 360 ° in the P direction, that is, endless turning is possible. In the T direction, the photographing direction can be changed in a range of -30.0 degrees to +210.0 degrees with the horizontal direction being 0 degrees. Further, the imaging device 103 can change the zoom magnification of the photographing system 202 within a range of 1.0 to 20.0 times by a zoom mechanism.

このように撮像装置１０３は、撮影方向およびズーム倍率の制御により撮影位置と撮影画角を変更することができ、例えば以下の計測シーンを撮影することができる。
・ワーク１０８〜１１０の種別を検出する計測シーンＡ１１２。
・搬送車１０６，１０７が停止枠１１１内にそれぞれ存在するか否かを判定する計測シーンＢ１１３および計測シーンＣ１１４。
本実施形態では便宜上、１台の撮像装置の使用例を説明するが、より大規模なシステムにおいては複数の撮像装置が使用される。各撮像装置は複数の計測シーンの撮影を担当する。 As described above, the imaging device 103 can change the shooting position and the shooting angle of view by controlling the shooting direction and the zoom magnification, and can shoot the following measurement scene, for example.
A measurement scene A112 for detecting the type of the work 108 to 110;
A measurement scene B113 and a measurement scene C114 for determining whether or not the transport vehicles 106 and 107 are present in the stop frame 111, respectively.
In the present embodiment, an example of using one imaging device will be described for convenience, but a plurality of imaging devices are used in a larger-scale system. Each imaging device is responsible for capturing a plurality of measurement scenes.

図３は、計測シーンＡ１１２およびＢ１１３を説明する図である。図３（Ａ）は計測シーンＡ１１２の画像例を示し、図３（Ｂ）は計測シーンＢ１１３の画像例を示す。図３（Ａ）に示す画像３０１は、撮像装置１０３が搬送装置１０５上のワーク１０８を撮像した画像である。画像処理装置１０２は画像３０１のデータを処理し、ワーク１０８の実空間座標を算出する。制御装置１０１は画像処理結果に基づいてロボット１０４を制御する。このとき、撮像装置１０３の位置再現性が低下すると、画像処理装置１０２が算出したワーク１０８の位置姿勢の座標と実際のワーク１０８の位置姿勢の座標との間で誤差が発生する。誤差が許容範囲を超えた場合、ロボット１０４の制御に誤りが発生し、ワーク１０８の把持やピックアップ動作に支障を来す可能性がある。   FIG. 3 is a diagram illustrating measurement scenes A112 and B113. FIG. 3A shows an example of an image of the measurement scene A112, and FIG. 3B shows an example of an image of the measurement scene B113. An image 301 illustrated in FIG. 3A is an image in which the imaging device 103 images the work 108 on the transport device 105. The image processing device 102 processes the data of the image 301 and calculates the real space coordinates of the work 108. The control device 101 controls the robot 104 based on the image processing result. At this time, if the position reproducibility of the imaging device 103 is reduced, an error occurs between the coordinates of the position and orientation of the work 108 calculated by the image processing device 102 and the coordinates of the actual position and orientation of the work 108. If the error exceeds the allowable range, an error occurs in the control of the robot 104, which may hinder the gripping and the pickup operation of the work 108.

そこで画像処理装置１０２は、撮像装置１０３の撮影位置を変更したのちに基準画像領域の撮影を行い、位置再現性が確保できているかどうかを判定する。基準画像領域については後述するが、例えば搬送装置１０５を固定するボルトや柱が写っている領域３０２のように、時間経過に伴う変動が小さく、かつ特徴量の大きい領域が基準画像領域として好適である。これに対し、ワーク１０８とその周辺部が写っている領域のような、動画像において時間経過に伴って位置や傾きが変化する領域は基準画像領域として適切ではない。   Therefore, the image processing apparatus 102 changes the shooting position of the imaging apparatus 103 and then shoots the reference image area, and determines whether or not position reproducibility has been ensured. Although the reference image area will be described later, for example, an area having a small variation with time and a large feature amount, such as an area 302 in which a bolt or a column for fixing the transport device 105 is captured, is suitable as the reference image area. is there. On the other hand, an area in which the position or inclination of the moving image changes over time, such as an area in which the work 108 and its peripheral portion are shown, is not appropriate as the reference image area.

撮像装置１０３は、基準画像領域３０２を含む画像３０１のデータを画像処理装置１０２に送信する。または、基準画像領域３０２をトリミングした画像データを撮像装置１０３が画像処理装置１０２に送信してもよい。あるいは、撮像装置１０３が画像３０１の画像処理を行って後述する特徴を抽出し、抽出結果を示すデータのみを画像処理装置１０２に送信してもよい。   The imaging device 103 transmits data of the image 301 including the reference image area 302 to the image processing device 102. Alternatively, the imaging device 103 may transmit image data obtained by trimming the reference image region 302 to the image processing device 102. Alternatively, the imaging device 103 may perform image processing on the image 301 to extract features described later, and transmit only data indicating the extraction result to the image processing device 102.

図３（Ｂ）に示す画像３０３は、撮像装置１０３が搬送車１０６を撮像した画像である。画像処理装置１０２は画像３０３の画像処理を行い、搬送車１０６が停止枠１１１内に存在するかどうかを判定する。このとき撮像装置に要求される位置再現性については、計測シーンＡ１１２に比較して判定精度が低いものとする。むしろ過分な位置再現性を要求すると、必要以上の補正処理が行われた場合に計測時間が長くなるという問題が発生する。   An image 303 illustrated in FIG. 3B is an image of the carrier 106 captured by the imaging device 103. The image processing device 102 performs image processing on the image 303 and determines whether the transport vehicle 106 is within the stop frame 111. At this time, it is assumed that the position reproducibility required for the imaging device has lower determination accuracy than the measurement scene A112. Rather, if excessive position reproducibility is required, a problem occurs in that the measurement time becomes longer when correction processing is performed more than necessary.

図４は、画像処理装置１０２の構成例を示すブロック図である。画像処理装置１０２はインターフェース部４０３を介して制御装置１０１、撮像装置１０３と接続されている。入出力表示装置４０１、操作入力装置４０２はインターフェース部４０３を介して画像処理装置１０２と接続された、ユーザ・インターフェース用の装置である。各装置は画像処理装置１０２の内部バス上に配置された各インターフェース部４０３を介して接続される。各インターフェース部４０３は通信に適した規格に基づき、接続対象に応じたネットワークインターフェース部、シリアル通信インターフェース部等から構成される。   FIG. 4 is a block diagram illustrating a configuration example of the image processing apparatus 102. The image processing device 102 is connected to the control device 101 and the imaging device 103 via the interface unit 403. The input / output display device 401 and the operation input device 402 are devices for a user interface connected to the image processing device 102 via the interface unit 403. Each device is connected via each interface unit 403 arranged on an internal bus of the image processing apparatus 102. Each interface unit 403 includes a network interface unit, a serial communication interface unit, and the like according to a connection target based on a standard suitable for communication.

入出力表示装置４０１は、画像を表示する陰極管や液晶パネル等の表示デバイスを備える。操作入力装置４０２は、キーボードやポインティングデバイス、タッチパネル、入力操作コントローラ、ジェスチャ入力装置等により構成される。   The input / output display device 401 includes a display device such as a cathode ray tube or a liquid crystal panel for displaying an image. The operation input device 402 includes a keyboard, a pointing device, a touch panel, an input operation controller, a gesture input device, and the like.

画像処理装置１０２と接続される撮像装置１０３には、撮影のために必要に応じて照明装置を併設してもよい。照明装置はハロゲンランプや発光ダイオード等の光源を備える。また画像処理装置１０２に外部記憶装置を接続して、記憶容量を拡大してもよい。   The imaging device 103 connected to the image processing device 102 may be provided with a lighting device as needed for photographing. The lighting device includes a light source such as a halogen lamp or a light emitting diode. Further, an external storage device may be connected to the image processing apparatus 102 to increase the storage capacity.

画像処理装置１０２は、画像処理の制御主体となる汎用マイクロプロセッサとして構成されたＣＰＵ（中央演算処理装置）や画像処理プロセッサ等により構成される演算部４０４を有する。演算部４０４は内部バス（データバス、アドレスバス、他の制御線等）を介して記憶部４０５と接続される。   The image processing apparatus 102 includes a calculation unit 404 including a CPU (Central Processing Unit) configured as a general-purpose microprocessor that controls image processing, an image processing processor, and the like. The operation unit 404 is connected to the storage unit 405 via an internal bus (data bus, address bus, other control lines, and the like).

記憶部４０５には、ＲＯＭ、ＲＡＭ、またはＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性メモリデバイスや、外部記憶装置が使用される。ＲＯＭは“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”、ＲＡＭは“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略号である。ＥＰＲＯＭは“Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略号である。ＥＥＰＲＯＭは“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略号である。外部記憶装置は、例えばハードディスクドライブ装置（ＨＤＤ）や半導体メモリ素子で構成された記憶装置、あるいはインターフェース部４０３と接続可能な記憶装置等である。   As the storage unit 405, a non-volatile memory device such as a ROM, a RAM, or an EPROM or an EEPROM, or an external storage device is used. ROM is an abbreviation for “Read Only Memory”, and RAM is an abbreviation for “Random Access Memory”. EPROM is an abbreviation for “Erasable Programmable Read Only Memory”. EEPROM is an abbreviation for “Electrically Erasable Programmable Read Only Memory”. The external storage device is, for example, a storage device including a hard disk drive (HDD) or a semiconductor memory element, a storage device connectable to the interface unit 403, or the like.

記憶部４０５は処理データ保存領域４０６およびプログラム記憶領域を有する。処理データ保存領域４０６は、記憶部４０５中のＲＡＭ領域や、外部記憶装置のファイル領域や仮想記憶領域等によって構成される。処理データ保存領域４０６は、処理データを一時的に記憶する他、画像処理の設定パラメータ等の記憶領域として使用される。記憶部４０５のプログラム記憶領域には、本実施例の画像処理を実行するための画像処理プログラム４０７が記憶される。画像処理プログラム４０７は、操作入力装置４０２によって行われた各種操作に応じて、画像処理の設定変更や所定の画像処理を実行する。また変更内容について、処理データ保存領域４０６へのデータの保存や、データの削除が可能である。   The storage unit 405 has a processing data storage area 406 and a program storage area. The processing data storage area 406 includes a RAM area in the storage unit 405, a file area of an external storage device, a virtual storage area, and the like. The processing data storage area 406 temporarily stores processing data and is used as a storage area for setting parameters of image processing. An image processing program 407 for executing the image processing of the present embodiment is stored in the program storage area of the storage unit 405. The image processing program 407 changes the setting of image processing and executes predetermined image processing according to various operations performed by the operation input device 402. In addition, the contents of the change can be stored in the processing data storage area 406 or deleted.

画像処理プログラム４０７は、各種の機能を実現するソフトウェアモジュールから構成される。例えば画像処理モジュール４０８は画像処理を実現する本体部分である。このモジュールが行う画像処理には画像処理ライブラリ４０９が用いられる。画像処理ライブラリ４０９は、例えば静的または動的にリンクされるライブラリとして記憶部４０５に実装される。画像処理設定モジュール４１０は画像処理プログラム４０７の振舞いを決定する。画像処理設定は操作入力装置４０２によって行われた各種操作に応じて行われる。   The image processing program 407 is configured from software modules that realize various functions. For example, the image processing module 408 is a main body that realizes image processing. An image processing library 409 is used for image processing performed by this module. The image processing library 409 is implemented in the storage unit 405 as, for example, a library that is linked statically or dynamically. The image processing setting module 410 determines the behavior of the image processing program 407. The image processing setting is performed according to various operations performed by the operation input device 402.

さらに、画像処理プログラム４０７には、次の機能を実現するＩ／Ｏ（入出力）用サブルーチンが含まれる。例えば、外部デバイス制御サブルーチン４１１、保存データ生成サブルーチン４１２、制御装置１０１からの制御指令を受け付けるための指令受付サブルーチン４１３がある。またＲＡＭ領域や演算部４０４のキャッシュ領域等を使用する一時記憶サブルーチン４１４、表示画面生成サブルーチン４１５がある。保存データ出力サブルーチン４１６は処理データ保存領域４０６に保存されたデータを読み出して出力するプログラムであり、操作受付サブルーチン４１７は操作入力装置４０２からの操作指示を受け付けるためのプログラムである。各機能は、アプリケーション（ユーティリティ）プログラムや、静的または動的にリンクされるライブラリとして構成されたサブルーチン、といった形態で記憶部４０５に実装される。   Further, the image processing program 407 includes an I / O (input / output) subroutine for realizing the following functions. For example, there are an external device control subroutine 411, a stored data generation subroutine 412, and a command reception subroutine 413 for receiving a control command from the control device 101. Further, there are a temporary storage subroutine 414 using a RAM area and a cache area of the arithmetic unit 404, and a display screen generation subroutine 415. The stored data output subroutine 416 is a program for reading and outputting data stored in the processing data storage area 406, and the operation receiving subroutine 417 is a program for receiving an operation instruction from the operation input device 402. Each function is implemented in the storage unit 405 in the form of an application (utility) program or a subroutine configured as a library that is statically or dynamically linked.

画像処理装置１０２のＣＰＵは画像処理プログラム４０７を実行することにより、撮像装置１０３の制御、演算部４０４を利用した画像処理を行う。また、操作入力装置４０２によりユーザの操作指示を受け付ける処理や、画像処理装置１０２の外部装置である制御装置１０１から制御指令を受け付ける処理が実行される。演算部４０４は操作指示や制御指令に応じて、画像処理プログラム４０７の各機能モジュールやライブラリを呼び出して演算処理を行い、画像処理結果のデータを制御装置１０１に送信する。また、画像処理結果のデータを外部記憶装置に送信して蓄積（ロギング）することができる。さらには、プログラムによって予め記憶されている画面構成と画像処理結果とを画面上で合成し、入出力表示装置４０１に表示する処理が実行される。   The CPU of the image processing apparatus 102 executes the image processing program 407 to control the imaging apparatus 103 and perform image processing using the calculation unit 404. Further, a process of receiving a user's operation instruction from the operation input device 402 and a process of receiving a control command from the control device 101 which is an external device of the image processing device 102 are executed. The arithmetic unit 404 calls each functional module or library of the image processing program 407 in accordance with an operation instruction or a control instruction, performs arithmetic processing, and transmits data of an image processing result to the control device 101. Further, the data of the image processing result can be transmitted to an external storage device and accumulated (logging). Further, a process of synthesizing a screen configuration and an image processing result stored in advance by the program on the screen and displaying the result on the input / output display device 401 is executed.

図５は、画像処理プログラム４０７を作成するためのフローチャート作成画面の例を示す図である。この画面は入出力表示装置４０１に表示される。本実施例に係る画像処理プログラム４０７は、ユーザが画像処理装置１０２を用いて作成したフローチャートに従って実行されるものとする。その他の実施形態として、ユーザが図１に示していない画像処理プログラム作成装置を使用して画像処理プログラム４０７を作成する形態がある。この場合、作成された画像処理プログラム４０７が画像処理装置１０２の記憶部４０５に転送されて記憶される。また、機能別または目的別に予め定型で用意された組合せ済みの画像処理フローチャートを内包したパッケージ機能を用いる形態でもよい。この場合、ユーザはＧＵＩ（グラフィカル・ユーザ・インターフェース）上で所望の機能を選択し、パラメータ等の調整を行うことができる。   FIG. 5 is a diagram illustrating an example of a flowchart creation screen for creating the image processing program 407. This screen is displayed on the input / output display device 401. The image processing program 407 according to the present embodiment is executed according to a flowchart created by a user using the image processing apparatus 102. As another embodiment, there is a mode in which a user creates an image processing program 407 using an image processing program creating device not shown in FIG. In this case, the created image processing program 407 is transferred to the storage unit 405 of the image processing apparatus 102 and stored. Alternatively, a package function including a combined image processing flowchart prepared in a fixed form in advance for each function or purpose may be used. In this case, the user can select a desired function on a GUI (graphical user interface) and adjust parameters and the like.

パーツリスト５０１は、フローチャートを構成する各処理パーツのリストである。ユーザは矩形枠内に示す各種の処理や、菱形枠内に示す条件分岐処理を指定することができる。例えばユーザは操作入力装置４０２を用いて、パーツリスト５０１から所望の処理パーツを指定する。ポインティングデバイス等でドラッグ＆ドロップ操作を行い、フローチャート領域５０２に配置した複数の処理パーツ同士を線で結合することにより、フローチャートの作成が可能である。   The parts list 501 is a list of each processing part constituting the flowchart. The user can designate various processes shown in the rectangular frame and conditional branching processes shown in the diamond frame. For example, the user specifies a desired processing part from the parts list 501 using the operation input device 402. By performing a drag-and-drop operation with a pointing device or the like and connecting a plurality of processing parts arranged in the flowchart area 502 with lines, a flowchart can be created.

複数の処理パーツから構成されるフローチャート５０３は、ロボット１０４によってワーク１０８〜１１０を搬送装置１０５から取り出し、ワークの種別に従って搬送車１０６または１０７に配置する処理を記述した例である。この例において、処理の開始後の撮影処理５０４はワーク１０８〜１１０を撮影する処理である。次のワーク位置計算５０５はワーク１０８〜１１０の位置や位相を算出する計算処理であり、その次のロボット移動５０６の処理は、算出されたワーク位置の上方にロボット１０４のハンドを移動させたり回転させたりする処理である。Ｐｉｃｋ処理５０７はロボット１０４によるワーク１０８のピックアップ動作の処理であり、その次の撮影処理５０８は搬送車１０６を撮影する処理である。その次には、撮像画像内に搬送車１０６の画像領域が存在するかどうかを検出する存在検出５０９の処理が記述されている。さらに条件分岐処理５１０では、搬送車１０６の画像領域が撮像画像内に存在する場合にロボット移動処理５１１に進み、搬送車１０６の画像領域が撮像画像内に存在しない場合に報知処理５１３に進むことが記述されている。ロボット移動処理５１１は、ロボット１０４により取り出されたワーク１０８を搬送車１０６の位置に移動させる処理である。次のＰｌａｃｅ処理５１２はロボット１０４がワーク１０８を搬送車１０６上に載置する処理である。報知処理５１３は一定時間を待って検出された異常発生を報知する処理である。そして一連の処理を終了する。   A flowchart 503 including a plurality of processing parts is an example in which the robot 104 extracts the works 108 to 110 from the transfer device 105 and describes a process of arranging them on the transfer vehicle 106 or 107 according to the type of the work. In this example, a photographing process 504 after the start of the process is a process of photographing the works 108 to 110. The next work position calculation 505 is a calculation processing for calculating the positions and phases of the works 108 to 110, and the next processing of the robot movement 506 is to move or rotate the hand of the robot 104 above the calculated work position. This is the process of making The Pick process 507 is a process of picking up the work 108 by the robot 104, and the next photographing process 508 is a process of photographing the carrier 106. Next, the process of presence detection 509 for detecting whether or not the image area of the transport vehicle 106 exists in the captured image is described. Further, in the conditional branching process 510, the process proceeds to the robot moving process 511 when the image area of the transport vehicle 106 exists in the captured image, and proceeds to the notification process 513 when the image area of the transport vehicle 106 does not exist in the captured image. Is described. The robot moving process 511 is a process of moving the work 108 taken out by the robot 104 to the position of the transport vehicle 106. The next Place process 512 is a process in which the robot 104 places the work 108 on the carrier 106. The notification process 513 is a process of notifying the occurrence of the detected abnormality after waiting for a predetermined time. Then, a series of processing ends.

ユーザは所望の処理パーツを組み合わせて、目的とするフローチャート５０３を作成する。作成されたフローチャート５０３において、処理パーツのいずれかのダブルクリック操作が行われた場合、当該処理パーツの詳細な処理を設定するための設定画面の表示処理に遷移する。この設定画面については後述する。ＯＫボタン５１４のクリック操作が行われた場合、画像処理装置１０２はフローチャートに記述された処理を実行するための画像処理プログラム４０７を生成する。   The user creates a target flowchart 503 by combining desired processing parts. In the created flowchart 503, when any double-click operation is performed on a processing part, the process proceeds to a setting screen display process for setting detailed processing of the processing part. This setting screen will be described later. When the click operation of the OK button 514 is performed, the image processing apparatus 102 generates an image processing program 407 for executing the processing described in the flowchart.

図６は、撮影処理における基準特徴の登録処理画面を表す図である。例えば、ユーザが図５に示すフローチャート５０３において、撮影処理５０４または５０８の処理パーツに対するダブルクリック操作を行った場合、登録処理画面６０１が入出力表示装置４０１によって表示される。ユーザは登録処理画面６０１を見ながら、計測時の基準として用いる基準特徴部の設定登録を行うことができる。   FIG. 6 is a diagram showing a reference feature registration process screen in the photographing process. For example, when the user performs a double-click operation on the processing part of the photographing processing 504 or 508 in the flowchart 503 illustrated in FIG. 5, the registration processing screen 601 is displayed on the input / output display device 401. The user can set and register a reference feature used as a reference during measurement while viewing the registration processing screen 601.

図７は基準特徴の登録処理のシーケンス図である。以下では、図６および図７を参照して以下の処理（Ａ）〜（Ｄ）から構成される登録処理について具体的に説明する。
（Ａ）使用する撮像装置の設定処理。
（Ｂ）撮影位置に関するパンニングとチルティング、ズーム倍率の設定処理。
（Ｃ）撮像装置が備える駆動機構部の性能や劣化に由来する位置再現性を評価するために基準画像領域・抽出特徴・誤差計算方法を設定する処理。駆動機構部にはパン機構、チルト機構、ズーム機構が含まれる。
（Ｄ）計測シーンごとの許容誤差・脱出条件を設定する処理。 FIG. 7 is a sequence diagram of reference feature registration processing. Hereinafter, a registration process including the following processes (A) to (D) will be specifically described with reference to FIGS. 6 and 7.
(A) Setting processing of an imaging device to be used.
(B) Panning, tilting, and zoom magnification setting processing relating to the shooting position.
(C) A process of setting a reference image area, an extraction feature, and an error calculation method in order to evaluate position reproducibility due to performance and deterioration of a driving mechanism provided in an imaging device. The driving mechanism section includes a pan mechanism, a tilt mechanism, and a zoom mechanism.
(D) A process for setting an allowable error and escape condition for each measurement scene.

まず処理（Ａ）について説明する。図６の撮影パーツＩＤ６０２は、撮影パーツを識別するための情報を表示するボックスである。カメラＩＤ６０３は、撮像装置の識別情報であるカメラＩＤを設定するためのスピンボックス、つまりスピンコントロール付きテキストボックスである。システムにて複数台の撮像装置が使用される場合、ユーザはカメラＩＤを選択することによって、撮影に使用するカメラを設定することができる。ここでは、撮像装置１０３に割り当てられたカメラＩＤが指定されたものとして説明する。   First, the process (A) will be described. The photographing part ID 602 in FIG. 6 is a box that displays information for identifying the photographing part. The camera ID 603 is a spin box for setting a camera ID, which is identification information of the imaging device, that is, a text box with spin control. When a plurality of imaging devices are used in the system, the user can set a camera to be used for shooting by selecting a camera ID. Here, a description will be given assuming that the camera ID assigned to the imaging device 103 is specified.

次に処理（Ｂ）について説明する。図６のバー６０４〜６０６は、撮像装置１０３のパンニング、チルティング、ズーム倍率を変更するために操作されるスライドバーである。撮像装置１０３による撮像画像は画像表示領域６０７に表示され、その下側にパンニング用のバー６０４が配置されている。バー６０４の操作によりＰ方向における撮影位置を変更可能である。画像表示領域６０７の右側にはチルティング用のバー６０５、およびズーム倍率変更用のバー６０６が配置されている。バー６０５の操作によりＴ方向における撮影位置を変更可能である。バー６０６の操作により撮影画角を変更可能である。   Next, the process (B) will be described. Bars 604 to 606 in FIG. 6 are slide bars operated to change panning, tilting, and zoom magnification of the imaging device 103. An image captured by the imaging device 103 is displayed in an image display area 607, and a panning bar 604 is arranged below the image. The shooting position in the P direction can be changed by operating the bar 604. A bar 605 for tilting and a bar 606 for changing the zoom magnification are arranged on the right side of the image display area 607. The photographing position in the T direction can be changed by operating the bar 605. The photographing angle of view can be changed by operating the bar 606.

図７には画像処理装置１０２と撮像装置１０３との間で行われる処理の一例を示す。時間軸の方向を図７の上から下への方向と定義する。ユーザがバー６０４〜６０６のうちの所望のバーを操作した場合、画像処理装置１０２は撮像装置１０３に対して撮影指令を送信する（Ｓ７０１)。撮像装置１０３は駆動部を制御して、パンニングやチルティングの変更（撮影方向の変更）、またはズーム倍率の変更を行う（Ｓ７０２）。その後、撮像装置１０３による撮影動作が行われ(Ｓ７０３)、撮像画像のデータが画像処理装置１０２に送信される(Ｓ７０４)。画像処理装置１０２は撮像画像の表示処理を行い、入出力表示装置４０１の画面における画像表示領域６０７に撮像画像が表示される。図６に表示される画像例では、図１に示した搬送装置１０５と搬送中のワーク１０８、搬送装置１０５を固定しているボルト部分６０８（図３に示す領域３０２に対応する）が写っている。Ｓ７０１からＳ７０４の処理はループ処理として、ユーザがスライドバー（６０４から６０６のいずれか）を操作するたびに繰り返し実行される。   FIG. 7 illustrates an example of a process performed between the image processing apparatus 102 and the imaging apparatus 103. The direction of the time axis is defined as the direction from top to bottom in FIG. When the user operates a desired bar among the bars 604 to 606, the image processing apparatus 102 transmits a shooting command to the imaging apparatus 103 (S701). The imaging device 103 controls the driving unit to change panning and tilting (change the shooting direction) or change the zoom magnification (S702). Thereafter, a photographing operation is performed by the imaging device 103 (S703), and the data of the captured image is transmitted to the image processing device 102 (S704). The image processing device 102 performs a display process of the captured image, and the captured image is displayed in the image display area 607 on the screen of the input / output display device 401. In the example of the image displayed in FIG. 6, the transport device 105 and the workpiece 108 being transported, and the bolt portion 608 (corresponding to the area 302 shown in FIG. 3) fixing the transport device 105 are shown in FIG. I have. The processing from S701 to S704 is repeatedly executed as a loop processing every time the user operates the slide bar (any of 604 to 606).

次に処理（Ｃ）について説明する。処理（Ｃ）の目的は、撮像装置１０３に係る撮影位置の再現性を所定の画像処理を用いて検出することである。図６の画像表示領域６０７内に点線で示す枠６０９は、ユーザが基準画像領域を登録するための枠である。ユーザは操作入力装置４０２を用いて、枠６０９の形状、位置、大きさ等を変更可能である。図６では、搬送装置１０５を固定しているボルト部分６０８の画像領域が枠６０９によって包囲されており、４箇所の枠６０９内の領域が基準画像領域としてそれぞれ指定されている。図７のＳ７０５に基準画像領域の決定処理を示す。枠６０９は追加または削除が可能である。例えばユーザがマウスの右クリック操作を行うことでコンテキストメニュー（図示せず）が表示され、ユーザが「枠の追加・削除」を選択することによって、枠の追加や削除の操作を行える。   Next, the processing (C) will be described. The purpose of the process (C) is to detect the reproducibility of the imaging position of the imaging device 103 using predetermined image processing. A frame 609 indicated by a dotted line in the image display area 607 in FIG. 6 is a frame for the user to register a reference image area. The user can change the shape, position, size, and the like of the frame 609 using the operation input device 402. In FIG. 6, the image area of the bolt portion 608 fixing the transport device 105 is surrounded by a frame 609, and the areas in the four frames 609 are designated as reference image areas. S705 of FIG. 7 shows the reference image area determination processing. The frame 609 can be added or deleted. For example, a context menu (not shown) is displayed by the user performing a right-click operation of the mouse, and the user can perform an operation of adding or deleting a frame by selecting “add / delete a frame”.

図６の登録処理画面６０１において中段には２つのスピンボックス６１０と６１１を示す。スピンボックス６１０は、基準画像領域から基準特徴を抽出する特徴抽出法を設定する際に使用される。特徴抽出法としてはパターンマッチング、エッジ検出、濃淡の検出、二値化重心、外接矩形、周囲長、色等を選択可能である。基準特徴とは、パターンの位置や位相、エッジ、濃淡値、二値化領域の面積や位置、矩形の大きさや位置および傾き、長さ、色濃度値等である。ユーザはスピンボックス６１０にて所望の選択肢を指定可能である。   In the registration processing screen 601 of FIG. 6, two spin boxes 610 and 611 are shown in the middle. The spin box 610 is used when setting a feature extraction method for extracting a reference feature from a reference image area. As the feature extraction method, pattern matching, edge detection, density detection, binarized centroid, circumscribed rectangle, perimeter, color, and the like can be selected. The reference features include a pattern position, phase, edge, gray value, area and position of a binarized area, rectangle size and position, inclination, length, color density value, and the like. The user can specify a desired option in the spin box 610.

スピンボックス６１１は、誤差の計算法を選択する際に使用される。基準特徴と、後述の計測時に抽出した特徴（基準特徴と同じく、パターンの位置または位相、エッジ、濃淡値、二値化領域の面積や位置、矩形の大きさや位置および傾き、長さ、色濃度値等）に基づく誤差の計算法を選択することができる。誤差の計算法では基準特徴および抽出した特徴のそれぞれについて、パターンの一致度、エッジや領域の重心位置の差、矩形の大きさや位置座標同士の距離および傾きの差、長さの差、濃淡の差等、複数の特徴同士の位置関係等が選択可能である。この場合、２以上の計算方法の組み合わせを設定できるように構成してもよい。   The spin box 611 is used when selecting an error calculation method. A reference feature and a feature extracted at the time of measurement described later (similar to the reference feature, pattern position or phase, edge, gray value, area and position of binarized area, size, position and inclination of rectangle, length, color density Value) can be selected. In the error calculation method, for each of the reference feature and the extracted feature, the degree of pattern matching, the difference in the center of gravity of edges and regions, the difference in the distance and inclination between rectangles and position coordinates, the difference in length, the difference in shading, A positional relationship between a plurality of features, such as a difference, can be selected. In this case, the configuration may be such that a combination of two or more calculation methods can be set.

次に処理（Ｄ）について説明する。図３を用いて説明したように、計測シーンによって必要な計測精度や認識率が異なる場合がある。この場合、ユーザは撮影位置の再現性の判定条件を指定する際にスピンボックス６１２を用いて、各画像処理工程における許容誤差を入力することができる。許容誤差とは、画像計測時の再現性の影響による誤差がどの程度許容されるかを表す。許容誤差は、例えば画素数（ピクセル単位）または実距離（センチメートル単位）で表現される。本実施例では、ユーザが対象となる画像計測工程に要求される計測誤差量に基づき、許容誤差をスピンボックス６１２で直接的に指定する形態を説明する。他の実施形態としては、画像計測工程に要求される計測誤差範囲や、システムに使用される撮像装置のデバイス情報等から画像計測の誤差量を推定し、差分計算により推奨値を算出して提示する形態がある。   Next, the processing (D) will be described. As described with reference to FIG. 3, the required measurement accuracy and recognition rate may differ depending on the measurement scene. In this case, the user can use the spin box 612 to input a permissible error in each image processing step when specifying the conditions for determining the reproducibility of the shooting position. The allowable error indicates how much an error due to the effect of reproducibility at the time of image measurement is allowed. The tolerance is expressed, for example, as the number of pixels (pixel units) or the actual distance (centimeter units). In the present embodiment, a description will be given of a mode in which the user directly specifies an allowable error using the spin box 612 based on the measurement error amount required for the target image measurement process. In another embodiment, an error amount of image measurement is estimated from a measurement error range required for an image measurement process, device information of an imaging device used in the system, and the like, and a recommended value is calculated by a difference calculation and presented. There is a form to do.

スピンボックス６１３は、ユーザが脱出条件を指定する際に使用される。脱出条件は、撮像装置１０３に対する撮影位置の補正を打ち切るための条件であり、例えば補正回数または補正の制限時間（秒単位）で指定可能である。計測時に計測誤差が許容誤差を上回った場合、画像処理装置１０２は撮像装置１０３に対して補正指令を送信する。その際、スピンボックス６１３で指定された補正回数または制限時間にて補正指令を送信する処理が実行される。チェックボックス６１５は補正処理を実行するかどうかを選択する際に使用される。チェックボックス６１５にチェックマークが付されている場合、計測シーンにおける補正処理が実行される。またチェックボックス６１５のチェックマークを外すことによって、計測シーンにおいて補正処理が実行されないように設定することができる。   The spin box 613 is used when the user specifies an escape condition. The escape condition is a condition for terminating the correction of the imaging position with respect to the imaging device 103, and can be specified by, for example, the number of corrections or the limit time of correction (in seconds). If the measurement error exceeds the allowable error at the time of measurement, the image processing device 102 transmits a correction command to the imaging device 103. At this time, a process of transmitting a correction command at the number of times of correction or the time limit specified by the spin box 613 is performed. The check box 615 is used when selecting whether to execute the correction processing. When a check mark is given to the check box 615, a correction process in the measurement scene is executed. By removing the check mark from the check box 615, it can be set so that the correction processing is not executed in the measurement scene.

上記処理（Ａ）〜（Ｄ）が終了し、ユーザがＯＫボタン６１４のクリック操作を行うと、画像処理装置１０２は指定された特徴抽出法を用いて基準特徴を抽出する(図７：Ｓ７０６）。そして設定された項目のデータを図８に示すデータ形式で生成する処理が行われ、当該データが基準特徴情報として処理データ保存領域４０６に保存される(図７：Ｓ７０７）。   When the above processes (A) to (D) are completed and the user clicks the OK button 614, the image processing apparatus 102 extracts the reference feature by using the designated feature extraction method (FIG. 7: S706). . Then, a process of generating the data of the set item in the data format shown in FIG. 8 is performed, and the data is stored in the processed data storage area 406 as reference feature information (FIG. 7: S707).

図８は基準特徴情報のデータ形式を表す図である。図８（Ａ）は撮影パーツごとに生成されるデータ例を示す。例えば撮影パーツＩＤ８０１が「０１」である第１行では、カメラＩＤ８０２が「０１」、パン方向８０３の角度値が「１０．０」（単位：°）、チルト方向８０４の角度値が「−５．０」（単位：°）である。ズーム倍率８０５は「１．０」倍、特徴抽出法８０６は「パターンマッチング」、誤差計算法８０７は「パターン位置」である。脱出条件（数値）８０８は「５」、脱出条件（単位）８０９は「回」である。許容誤差（数値）８１０は「５」、許容誤差（単位）８１１は「ピクセル」である。撮影パーツＩＤ８０１が「０２」である第２行では、撮影パーツＩＤ８０１が「０１」である第１行に比べて、再現性の判定条件が緩和されていることを示している。符号８０１〜８１１で示す各項目については、図６において説明済みであるので、それらの説明を省略する。   FIG. 8 is a diagram illustrating a data format of the reference feature information. FIG. 8A shows an example of data generated for each photographed part. For example, in the first row where the photographing part ID 801 is “01”, the camera ID 802 is “01”, the angle value in the pan direction 803 is “10.0” (unit: °), and the angle value in the tilt direction 804 is “−5”. .0 "(unit: °). The zoom magnification 805 is “1.0”, the feature extraction method 806 is “pattern matching”, and the error calculation method 807 is “pattern position”. The escape condition (numerical value) 808 is “5”, and the escape condition (unit) 809 is “times”. The allowable error (numerical value) 810 is “5”, and the allowable error (unit) 811 is “pixel”. The second row in which the imaging part ID 801 is “02” indicates that the reproducibility determination condition is less strict than the first row in which the imaging part ID 801 is “01”. The items denoted by reference numerals 801 to 811 have already been described in FIG. 6, and thus description thereof will be omitted.

図８（Ａ）の各行に示す項目のデータは基準特徴情報ＩＤ８１２と関連付けられている。基準特徴情報ＩＤ８１２は、基準特徴情報を一意に識別するためのＩＤ（識別情報）である。図８（Ｂ）は基準特徴情報ごとに生成されるデータ例を示す。例えば第１行の基準特徴情報ＩＤ８１２は「Ａ」である。このＩＤ「Ａ」は図８（Ａ）の第１行に示される撮影パーツＩＤ「０１」に関連付けられている。第１行でのＸ座標８１３は基準特徴部のＸ座標「８６０」を表し、Ｙ座標８１４は基準特徴部のＸ座標「５２０」を表す。第１行での幅８１５は基準特徴部の幅「８０」を表し、高さ８１６は基準特徴部の高さ「６０」を表す。特徴量８１７の項目には、例えば特徴抽出方法としてパターンマッチング法が選択されている場合にパターンの画像データが記録される。あるいは、特徴抽出方法として重心位置の抽出が選択されている場合に重心の位置座標が特徴量８１７の項目に記録される。ファイル名８１８は基準特徴部の画像ファイルの名称である。例えば、ユーザが画像処理プログラム４０７を作成した後、システムのテストをした際に計測結果が満足なレベルに達していない場合を想定する。ユーザは図６の登録処理画面６０１を再度表示させて、スピンボックス６１０を用いた基準特徴抽出方法の変更操作やスピンボックス６１１を用いた誤差計算方法の変更操作を行うことができる。このとき、基準特徴部の画像ファイルを記録しておくことで、基準特徴部の再撮影を行う必要がなくなるので作業の効率化を実現できる。   The data of the items shown in each row of FIG. 8A is associated with the reference feature information ID 812. The reference feature information ID 812 is an ID (identification information) for uniquely identifying the reference feature information. FIG. 8B shows an example of data generated for each piece of reference feature information. For example, the reference feature information ID 812 in the first row is “A”. This ID “A” is associated with the imaging part ID “01” shown in the first row of FIG. The X coordinate 813 in the first row represents the X coordinate “860” of the reference feature, and the Y coordinate 814 represents the X coordinate “520” of the reference feature. The width 815 in the first row represents the width “80” of the reference feature, and the height 816 represents the height “60” of the reference feature. In the item of the feature amount 817, for example, when the pattern matching method is selected as the feature extraction method, the image data of the pattern is recorded. Alternatively, when the extraction of the position of the center of gravity is selected as the feature extraction method, the position coordinates of the center of gravity are recorded in the item of the feature amount 817. The file name 818 is the name of the image file of the reference feature. For example, it is assumed that the measurement result does not reach a satisfactory level when the system is tested after the user has created the image processing program 407. The user can display the registration processing screen 601 in FIG. 6 again, and can change the reference feature extraction method using the spin box 610 or change the error calculation method using the spin box 611. At this time, by recording the image file of the reference characteristic part, it is not necessary to re-photograph the reference characteristic part, so that the work efficiency can be improved.

図９は計測処理の設定画面例を示す図である。ユーザが図５に示す処理パーツ（ワーク位置計算５０５や存在検出５０９等）に対してダブルクリック操作を行った場合、入出力表示装置４０１に計測処理の設定画面９０１が表示される。画像表示領域９０２内に示す画像は、撮像装置１０３による撮像画像を示す。枠９０３はユーザが計測対象を登録するときに用いる枠であり、枠９０４はユーザが計測における探索範囲を登録するための枠である。枠９０４は枠９０３を含む、より広い範囲に設定されている。ユーザは、マウス等のポインティングデバイスを使って枠９０３または９０４を操作することで、枠の形状、位置、大きさを変更可能である。   FIG. 9 is a diagram illustrating an example of a setting screen of the measurement processing. When the user performs a double-click operation on the processing parts (the work position calculation 505, the presence detection 509, and the like) illustrated in FIG. 5, a measurement processing setting screen 901 is displayed on the input / output display device 401. The image shown in the image display area 902 indicates an image captured by the imaging device 103. A frame 903 is a frame used when the user registers a measurement target, and a frame 904 is a frame for the user to register a search range in measurement. The frame 904 is set in a wider range including the frame 903. The user can change the shape, position, and size of the frame by operating the frame 903 or 904 using a pointing device such as a mouse.

図９に示す計測処理法の表示領域９０５には、パターンマッチング法を用いてワークの位置計算が行われることが示されている。本実施例ではパターンマッチング法を例示して説明するが、他の画像処理に基づく計測処理方法が可能である。スピンボックス９０６，９０７，９０８はそれぞれ、パターンマッチング法におけるパターンの回転範囲、拡大率、およびスコア閾値をユーザが設定する際に使用される。   The display area 905 of the measurement processing method shown in FIG. 9 indicates that the work position calculation is performed using the pattern matching method. In this embodiment, a pattern matching method will be described as an example, but a measurement processing method based on other image processing is possible. The spin boxes 906, 907, and 908 are used when the user sets the rotation range, enlargement ratio, and score threshold of the pattern in the pattern matching method.

ユーザがＯＫボタン９０９のクリック操作を行うと、画像処理装置１０２は枠９０３に示す計測対象、枠９０４に示す探索範囲、パターンマッチング法における回転範囲、拡大率、スコア閾値の各データを処理データ保存領域４０６に保存する。なお、ユーザが図６のスピンボックス６１０を用いて設定した特徴抽出法がパターンマッチング法以外の方法である場合には、選択された特徴抽出法に応じた設定項目が表示される。つまり画像処理装置１０２は符号９０６〜９０８に示す項目に代えて、ユーザが選択した特徴抽出法に適したパラメータ設定ＵＩ（ユーザ・インターフェース）画面を表示する処理を実行する。   When the user clicks the OK button 909, the image processing apparatus 102 stores the measurement target data shown in the frame 903, the search range shown in the frame 904, the rotation range in the pattern matching method, the enlargement ratio, and the score threshold data as processing data. It is stored in the area 406. If the feature extraction method set by the user using the spin box 610 in FIG. 6 is a method other than the pattern matching method, setting items corresponding to the selected feature extraction method are displayed. That is, the image processing apparatus 102 executes a process of displaying a parameter setting UI (user interface) screen suitable for the feature extraction method selected by the user instead of the items indicated by reference numerals 906 to 908.

図３で説明したように、基準画像領域としては時間経過に伴う変動が小さく、かつ特徴量が大きい領域が好ましい。ワークが写っている領域のように、時間経過に伴って位置や傾きが変化する領域は適切でないと判断される。したがって、画像処理装置１０２は、図６の枠６０９に示される基準画像領域の設定時および図９の枠９０３による計測対象の登録時において基準画像領域と計測対象の画像領域が重なっている場合にユーザへの警告処理を行う。   As described with reference to FIG. 3, as the reference image area, an area having a small variation with time and a large feature amount is preferable. It is determined that a region where the position or the inclination changes with the passage of time, such as a region where the work is shown, is not appropriate. Therefore, the image processing apparatus 102 determines whether the reference image area and the measurement target image area overlap each other when the reference image area indicated by the frame 609 in FIG. 6 is set and when the measurement target is registered by the frame 903 in FIG. Perform warning processing to the user.

図１０は、制御装置１０１からのトリガー信号を受け付けて画像処理装置１０２が画像計測処理を実行するときのシーケンス図である。図１０では制御装置１０１の実行する処理が追加されており、制御装置１０１と画像処理装置１０２と撮像装置１０３との間で行われる処理の一例を示す。時間軸の方向を図１０の上から下への方向と定義する。   FIG. 10 is a sequence diagram when the image processing apparatus 102 executes an image measurement process upon receiving a trigger signal from the control apparatus 101. FIG. 10 illustrates an example of a process performed by the control device 101, the image processing device 102, and the imaging device 103, in which a process executed by the control device 101 is added. The direction of the time axis is defined as a direction from top to bottom in FIG.

まず制御装置１０１は画像処理装置１０２に制御指令を送信する（Ｓ１００１）。画像処理装置１０２は処理データ保存領域４０６から基準特徴情報（図８：８０２〜８１８）を読み出す（Ｓ１００２）。次に画像処理装置１０２は、撮影位置に関するパンニング方向、チルティング方向、ズーム倍率（図８：８０３〜８０５）での撮影指令を撮像装置１０３に送信する（Ｓ１００３）。撮像装置１０３は駆動部を制御して、パンニング角度およびチルティング角度、ズーム倍率を変更する（Ｓ１００４）。撮影動作が行われ（Ｓ１００５）、その後に撮像装置１０３は撮像画像のデータを画像処理装置１０２に送信する（Ｓ１００６）。   First, the control device 101 transmits a control command to the image processing device 102 (S1001). The image processing apparatus 102 reads out the reference feature information (FIG. 8: 802 to 818) from the processing data storage area 406 (S1002). Next, the image processing apparatus 102 transmits to the imaging apparatus 103 imaging instructions in the panning direction, the tilting direction, and the zoom magnification (FIG. 8: 803 to 805) relating to the imaging position (S1003). The imaging device 103 controls the driving unit to change the panning angle, the tilting angle, and the zoom magnification (S1004). An imaging operation is performed (S1005), and thereafter, the imaging device 103 transmits data of the captured image to the image processing device 102 (S1006).

画像処理装置１０２は、受信した画像データから、図６のスピンボックス６１０，６１１でそれぞれ指定された特徴抽出法および誤差計算法に従って特徴部を抽出する（Ｓ１００７）。そして画像処理装置１０２は、抽出された特徴部の座標、大きさ、および傾きのうち、少なくとも１つの誤差を算出する。誤差の算出は基準特徴情報のＸ座標８１３，Ｙ座標８１４，幅８１５，高さ８１６との比較によって行われる（Ｓ１００８）。   The image processing apparatus 102 extracts a characteristic portion from the received image data according to the characteristic extraction method and the error calculation method designated by the spin boxes 610 and 611 in FIG. 6 (S1007). Then, the image processing apparatus 102 calculates at least one error among the coordinates, the size, and the inclination of the extracted characteristic portion. The calculation of the error is performed by comparison with the X coordinate 813, the Y coordinate 814, the width 815, and the height 816 of the reference feature information (S1008).

Ｓ１００８において、算出された誤差が指定された許容誤差より大きい場合、画像処理装置１０２は抽出した特徴部と基準特徴部とのずれに基づき、パンニング角度、チルティング角度、ズーム倍率の補正値を算出する（Ｓ１００９）。補正処理については図１１を用いて後述する。次に画像処理装置１０２は撮像装置１０３に対し、パンニング角度、チルティング角度、ズーム倍率の補正指令を送信する（Ｓ１０１０）。撮像装置１０３は駆動部を制御して、パンニング角度やチルティング角度の変更、ズーム倍率の変更を行う（Ｓ１０１１）。撮影動作が行われて（Ｓ１０１２）、撮像装置１０３は撮像画像データを画像処理装置１０２に送信する（Ｓ１０１３）。画像処理装置１０２はＳ１００８と同様に比較処理を行い、算出された誤差が指定された許容誤差以内（閾値以下）であるか否かを判定する（Ｓ１０１４）。その結果、誤差が閾値以下である場合、所定の計測処理が行われ（Ｓ１０１５）、画像処理装置１０２は計測結果のデータを制御装置１０１に送信する（Ｓ１０１６）。   If the calculated error is larger than the specified allowable error in S1008, the image processing apparatus 102 calculates the correction values of the panning angle, the tilting angle, and the zoom magnification based on the deviation between the extracted feature and the reference feature. (S1009). The correction processing will be described later with reference to FIG. Next, the image processing apparatus 102 transmits a panning angle, a tilting angle, and a zoom magnification correction command to the imaging apparatus 103 (S1010). The imaging device 103 controls the driving unit to change the panning angle and the tilting angle, and change the zoom magnification (S1011). The imaging operation is performed (S1012), and the imaging device 103 transmits the captured image data to the image processing device 102 (S1013). The image processing apparatus 102 performs a comparison process in the same manner as in S1008, and determines whether or not the calculated error is within a specified allowable error (below a threshold) (S1014). As a result, when the error is equal to or smaller than the threshold, a predetermined measurement process is performed (S1015), and the image processing device 102 transmits data of the measurement result to the control device 101 (S1016).

また、Ｓ１００８での比較処理の結果、誤差が指定された許容誤差以内（閾値以下）であると判定された場合には、ユーザが設定画面９０１で指定したパラメータを用いて、所定の計測処理が行われる（Ｓ１０１５）。画像処理装置１０２は計測結果のデータを制御装置１０１に送信する（Ｓ１０１６）。   If it is determined as a result of the comparison processing in S1008 that the error is within the specified allowable error (less than or equal to the threshold), the predetermined measurement processing is performed using the parameters specified by the user on the setting screen 901. This is performed (S1015). The image processing device 102 transmits the data of the measurement result to the control device 101 (S1016).

図１０のＳ１００９〜Ｓ１０１４に示す処理は、図６のスピンボックス６１３でユーザが指定した脱出条件が満たされるまで実行される。所定回数または所定時間の補正処理が行われた後に、算出された誤差が許容誤差より大きい場合に画像処理装置１０２は、目的の計測精度を確保できないとみなし、制御装置１０１に対して再現性が確保できないことを示す信号を送信する。また画像処理装置１０２は入出力表示装置４０１に画像信号を出力し、撮影位置の再現性が確保できないことを示す表示画面を表示してユーザに報知する処理を実行する。   The processing shown in S1009 to S1014 in FIG. 10 is executed until the escape condition specified by the user in the spin box 613 in FIG. 6 is satisfied. If the calculated error is larger than the allowable error after the correction process has been performed a predetermined number of times or for a predetermined time, the image processing apparatus 102 determines that the target measurement accuracy cannot be ensured, and the reproducibility of the control apparatus 101 is reduced. Sends a signal indicating that it cannot be secured. Further, the image processing device 102 outputs an image signal to the input / output display device 401, and executes a process of displaying a display screen indicating that reproducibility of the shooting position cannot be ensured and notifying the user.

Ｓ１００９で算出された補正情報を用いて、図８で説明した基準特徴情報であるパン方向８０３，チルト方向８０４，ズーム倍率８０５の各情報に対して上書きを行い、処理データ保存領域４０６に保存してもよい。各情報を次回以降の計測に使用することができる。あるいは、画像処理装置１０２はＳ１００９で算出された補正情報の履歴データを処理データ保存領域４０６に保存する。画像処理装置１０２は保存された補正値の履歴データを用いて、複数回の補正情報に基づいて次回以降のＳ１００９にて補正値を計算し、撮影位置の設定値を更新する制御を行う。   Using the correction information calculated in step S1009, the panning direction 803, tilt direction 804, and zoom magnification 805, which are the reference feature information described with reference to FIG. 8, are overwritten and stored in the processing data storage area 406. You may. Each information can be used for subsequent measurements. Alternatively, the image processing apparatus 102 stores the history data of the correction information calculated in step S1009 in the processing data storage area 406. Using the stored correction value history data, the image processing apparatus 102 calculates a correction value in the next and subsequent steps S1009 based on the correction information for a plurality of times, and performs control to update the set value of the shooting position.

図１１を参照して、図１０のＳ１００８からＳ１０１０の処理について具体的に説明する。図１１（Ａ）の画像例１１０１は、図６で説明した基準特徴登録時において画像処理装置１０２が登録した画像の基準特徴部を模式的に示す。複数の基準特徴部１１０２を矩形状の枠で示しており、これらは図６の枠６０９内の画像部分に相当する。点線１１０３は、複数の基準特徴部１１０２同士の位置関係を表す。４本の点線１１０３で示される四角形の各頂点に基準特徴部１１０２が位置している。   The processing from S1008 to S1010 in FIG. 10 will be specifically described with reference to FIG. An image example 1101 in FIG. 11A schematically shows a reference feature of an image registered by the image processing apparatus 102 at the time of registration of the reference feature described with reference to FIG. The plurality of reference features 1102 are shown by rectangular frames, which correspond to the image portions in the frame 609 in FIG. A dotted line 1103 indicates the positional relationship between the plurality of reference feature units 1102. The reference feature portion 1102 is located at each vertex of the quadrangle indicated by four dotted lines 1103.

図１１（Ｂ）の画像例１１０４は、図１０のＳ１００６において画像処理装置１０２が計測時に受信した画像の特徴を模式的に示す。複数の特徴部１１０５を図１０のＳ１００７で抽出された矩形状の枠で示している。点線１１１４は複数の特徴部１１０５同士の位置関係を表す。４本の点線１１１４で示される四角形の各頂点に特徴部１１０５が位置している。図１０のＳ１００８では、基準特徴部１１０２と特徴部１１０５との間で画像における位置を比較し、誤差が発生しているかどうかを判定する処理が行われる。誤差が発生していて許容誤差を超える場合にはＳ１００９で補正値が算出される。例えば、基準特徴部１１０２と特徴部１１０５との間で画像におけるＸ軸とＹ軸における誤差をそれぞれΔｘ，Δｙと表記する。Ｐ方向の補正値をΔＰ、Ｔ方向の補正値をΔＴと表記する。画像処理装置１０２は各補正値を、下記式（１）により算出する。

Figure 2020010166
式（１）に示すFp()はΔｘに基づくＰ方向についての補正関数であり、Ft()はΔｙに基づくＴ方向についての補正関数である。補正関数として比例関数を使用し、比例制御を行ってもよい。あるいは、ΔＰとΔｘ、ΔＴとΔｙとをそれぞれ対応付ける参照テーブルを用いてFp()およびFt()に関する算出処理を行ってもよい。 An image example 1104 in FIG. 11B schematically shows the features of the image received by the image processing apparatus 102 at the time of measurement in S1006 in FIG. A plurality of characteristic portions 1105 are indicated by rectangular frames extracted in S1007 of FIG. A dotted line 1114 indicates the positional relationship between the plurality of characteristic portions 1105. The characteristic portion 1105 is located at each vertex of the rectangle indicated by the four dotted lines 1114. In S1008 in FIG. 10, a process of comparing the positions in the image between the reference feature unit 1102 and the feature unit 1105 to determine whether an error has occurred is performed. If an error has occurred and exceeds the allowable error, a correction value is calculated in S1009. For example, errors on the X axis and the Y axis in the image between the reference feature section 1102 and the feature section 1105 are denoted by Δx and Δy, respectively. The correction value in the P direction is denoted by ΔP, and the correction value in the T direction is denoted by ΔT. The image processing apparatus 102 calculates each correction value by the following equation (1).
Figure 2020010166
 Fp () shown in Expression (1) is a correction function for the P direction based on Δx, and Ft () is a correction function for the T direction based on Δy. Proportional control may be performed using a proportional function as the correction function. Alternatively, a calculation process regarding Fp () and Ft () may be performed using a reference table that associates ΔP with Δx and ΔT with Δy.

画像処理装置１０２は、図８に示すパン方向８０３に記録されたパンニング角度Ｐ、およびチルト方向８０４に記録されたチルティング角度Ｔを補正する。補正後のパンニング角度とチルティング角度はそれぞれＰ＋ΔＰ，Ｔ＋ΔＴである。図１０のＳ１０１０で画像処理装置１０２は撮像装置１０３に対し、Ｐ＋ΔＰ，Ｔ＋ΔＴに基づく補正指令を送信する。   The image processing device 102 corrects the panning angle P recorded in the pan direction 803 and the tilting angle T recorded in the tilt direction 804 shown in FIG. The corrected panning angle and tilting angle are P + ΔP and T + ΔT, respectively. In step S1010 of FIG. 10, the image processing apparatus 102 transmits a correction command based on P + ΔP and T + ΔT to the imaging apparatus 103.

図１１（Ｃ）は、ズーム倍率の再現性が低下した場合の画像例１１０６を示す。複数の特徴部１１０７は、図１０のＳ１００６において画像処理装置１０２が受信した画像の特徴部を矩形状の枠で示している。点線１１０８は複数の特徴部１１０７同士の位置関係を表す。４本の点線１１０８で示される四角形の各頂点に特徴部１１０７が位置している。図１１（Ａ）に示す基準特徴部１１０２と、Ｓ１００６にて画像処理装置１０２が受信した画像の特徴部１１０７との間で、特徴部の大きさおよび特徴部同士の距離に誤差が発生する場合がある。この場合、画像処理装置１０２はズーム倍率の補正を行う。ここで基準特徴部１１０２の大きさをＳ1と表記し、特徴部１１０７の大きさＳ2と表記する。画像処理装置１０２はＳ2とＳ1から、比Ｓ2／Ｓ1を算出してズーム倍率の補正を行う。 FIG. 11C illustrates an image example 1106 when the reproducibility of the zoom magnification is reduced. The plurality of characteristic portions 1107 indicate the characteristic portions of the image received by the image processing apparatus 102 in S1006 of FIG. 10 with a rectangular frame. A dotted line 1108 indicates a positional relationship between the plurality of characteristic portions 1107. A characteristic portion 1107 is located at each vertex of a quadrangle indicated by four dotted lines 1108. When an error occurs in the size of the feature portions and the distance between the feature portions between the reference feature portion 1102 shown in FIG. 11A and the feature portion 1107 of the image received by the image processing apparatus 102 in S1006. There is. In this case, the image processing device 102 corrects the zoom magnification. Here the size of the reference feature 1102 is denoted by S 1, referred to as size S 2 of the feature 1107. The image processing apparatus 102 from S 2 and S 1, corrects the zoom magnification by calculating the ratio S 2 / S 1.

あるいは画像処理装置１０２は、図１１（Ａ）に示す隣り合う基準特徴部１１０２同士の距離と、図１１（Ｃ）に示す隣り合う特徴部１１０７同士の距離とを比較してズーム倍率の補正を行う。ここで隣り合う基準特徴部１１０２同士の距離をｄ１と表記すると、距離ｄ１は図１１（Ａ）に点線１１０３で示す基準特徴部１１０２の位置関係から算出することができる。また隣り合う特徴部１１０７同士の距離をｄ２と表記すると、距離ｄ２は図１１（Ｃ）に点線１１０８で示す特徴部１１０７の位置関係から算出することができる。画像処理装置１０２は距離の比ｄ2／ｄ1を算出し、比ｄ2／ｄ1を用いてズーム倍率の補正を行う。
ズーム倍率の補正値をΔＺと表記すると、画像処理装置１０２は、下記式（２）に従って補正値ΔＺを算出する。

Figure 2020010166
式（２）に示すFzS()は、比Ｓ2／Ｓ1に基づくズーム倍率の補正関数である。Fzd()は比ｄ2／ｄ1に基づくズーム倍率の補正関数である。または、ΔＺと比Ｓ2／Ｓ1とを対応付ける参照テーブル、もしくはΔＺと比ｄ2／ｄ1とを対応付ける参照テーブルを用いてズーム倍率の補正値を算出してもよい。 Alternatively, the image processing apparatus 102 compares the distance between adjacent reference features 1102 shown in FIG. 11A and the distance between adjacent features 1107 shown in FIG. Do. When the distance of the reference feature 1102 adjacent herein denoted as d 1, the distance d 1 can be calculated from the positional relationship of the reference features 1102 shown by a dotted line 1103 in Figure 11 (A). Further when the distance of the feature 1107 adjacent denoted as d 2, the distance d 2 can be calculated from the positional relationship of the feature 1107 shown by a dotted line 1108 in FIG. 11 (C). The image processing device 102 calculates the distance ratio d 2 / d 1 and corrects the zoom magnification using the ratio d 2 / d 1 .
If the correction value of the zoom magnification is expressed as ΔZ, the image processing apparatus 102 calculates the correction value ΔZ according to the following equation (2).
Figure 2020010166
 Fz S () shown in Expression (2) is a correction function of the zoom magnification based on the ratio S 2 / S 1 . Fz d () is a correction function of the zoom magnification based on the ratio d 2 / d 1 . Alternatively, the correction value of the zoom magnification may be calculated using a reference table that associates ΔZ with the ratio S 2 / S 1 or a reference table that associates ΔZ with the ratio d 2 / d 1 .

図８に示すズーム倍率８０５をＺと表記すると、画像処理装置１０２はズーム倍率Ｚを補正してＺ＋ΔＺを算出する。画像処理装置１０２は図１０のＳ１０１０にて撮像装置１０３に対し、Ｚ＋ΔＺに基づく補正指令を送信する。   If the zoom magnification 805 shown in FIG. 8 is denoted as Z, the image processing apparatus 102 corrects the zoom magnification Z and calculates Z + ΔZ. The image processing apparatus 102 transmits a correction command based on Z + ΔZ to the imaging apparatus 103 in S1010 of FIG.

図１１（Ｄ）は、撮像装置１０３における撮影系２０２の光軸方向に対して、雲台２０１のＰ方向の回転軸が近い場合を示す模式図である。図１１（Ｅ）は撮像装置１０３のロールにより発生し得る、画像１１０９における特徴部の傾きを説明する模式図である。複数の特徴部１１１０を矩形状の枠で示し、点線１１１１によって複数の特徴部同士の位置関係を示している。４本の点線１１１１で示される四角形の各頂点に特徴部１１１０が位置している。   FIG. 11D is a schematic diagram illustrating a case where the rotation axis in the P direction of the camera platform 201 is closer to the optical axis direction of the imaging system 202 in the imaging apparatus 103. FIG. 11E is a schematic diagram illustrating inclination of a characteristic portion in an image 1109 that may be generated by a roll of the imaging device 103. A plurality of characteristic portions 1110 are indicated by rectangular frames, and a dotted line 1111 indicates a positional relationship between the plurality of characteristic portions. The characteristic portion 1110 is located at each vertex of the quadrangle indicated by the four dotted lines 1111.

例えば、図１０のＳ１００６にて画像処理装置１０２が受信した画像データの特徴部の傾きに誤差が発生することが起こり得る。図１１（Ｅ）では、点線１１１１で示される特徴部１１１０同士の位置関係が、図１１（Ａ）に点線１１０３で示される基準特徴部１１０２同士の位置関係に対して傾いている例である。この場合、画像処理装置１０２は、複数の基準特徴部１１０２の位置関係（点線１１０３で示す四角形を参照）と、複数の特徴部１１１０の位置関係（点線１１１１で示す四角形を参照）とを比較し、両者の間の傾き角度を算出する。この傾き角度をΔθ1と表記すると、画像処理装置１０２はΔθ1を用いてパンニング角度の補正を行う。 For example, an error may occur in the inclination of the characteristic portion of the image data received by the image processing apparatus 102 in S1006 of FIG. FIG. 11E is an example in which the positional relationship between the characteristic portions 1110 indicated by a dotted line 1111 is inclined with respect to the positional relationship between the reference characteristic portions 1102 indicated by a dotted line 1103 in FIG. In this case, the image processing apparatus 102 compares the positional relationship between the plurality of reference feature portions 1102 (see the square indicated by the dotted line 1103) and the positional relationship between the plurality of feature portions 1110 (see the square indicated by the dotted line 1111). , And calculate the inclination angle between the two. When referred to the inclination angle and [Delta] [theta] 1, the image processing apparatus 102 corrects the panning angle using [Delta] [theta] 1.

あるいは、画像処理装置１０２は、図１１（Ｂ）に示される複数の特徴部１１０５の位置関係（点線１１１４で示す四角形を参照）と、図１１（Ｅ）に示される複数の特徴部１１１０の位置関係（点線１１１１で示す四角形を参照）とを比較する。画像処理装置１０２は複数の特徴部１１０５と複数の特徴部１１１０との間で傾き角度を算出する。この傾き角度をΔθ2と表記すると、画像処理装置１０２はΔθ2を用いてパンニング角度の補正を行う。例えば、パンニング角度の補正値ΔＰは下記式（３）により算出される。

Figure 2020010166
式(３)に示すＦp1 *()はΔθ1に基づくパンニング角度の補正関数であり、Ｆｐ2 *()はΔθ2に基づくパンニング角度の補正関数である。または、ΔＰとΔθ1とを対応付ける参照テーブル、もしくはΔＰとΔθ2とを対応付ける参照テーブルを用いて補正値ΔＰを算出してもよい。 Alternatively, the image processing apparatus 102 determines the positional relationship between the plurality of feature portions 1105 shown in FIG. 11B (see the square indicated by the dotted line 1114) and the position of the plurality of feature portions 1110 shown in FIG. The relationship (see the rectangle indicated by the dotted line 1111) is compared. The image processing apparatus 102 calculates an inclination angle between the plurality of feature portions 1105 and the plurality of feature portions 1110. If this inclination angle is expressed as Δθ 2 , the image processing apparatus 102 corrects the panning angle using Δθ 2 . For example, the correction value ΔP of the panning angle is calculated by the following equation (3).
Figure 2020010166
 F p1 * () shown in equation (3) is a correction function of the panning angle based on Δθ 1 , and F p2 * () is a correction function of the panning angle based on Δθ 2 . Alternatively, the correction value ΔP may be calculated using a reference table that associates ΔP with Δθ 1 or a reference table that associates ΔP with Δθ 2 .

上記の各補正関数についてはシステムの設計時に、システムの設計情報を用いて決定される。またはシステム設定時に撮像装置１０３の駆動系を操作する工程において、実際のパンニング方向、チルティング方向、およびズーム倍率の変化に伴う特徴量の変化量を計測することにより、補正関数を決定する処理が実行される。   Each of the above correction functions is determined at the time of designing the system using the design information of the system. Alternatively, in a process of operating the drive system of the imaging apparatus 103 at the time of setting the system, a process of determining a correction function by measuring an actual panning direction, a tilting direction, and a change amount of a feature amount accompanying a change in zoom magnification is performed. Be executed.

本実施例において撮像装置１０３のパンニングやチルティングの駆動時の再現性が低下した場合、ズーム倍率の再現性が低下した場合、ロールの再現性が低下した場合についてそれぞれ個別に説明した。これらのうち２つ以上が同時に発生した場合には、２つ以上の補正処理が同時に実行されるようにシステムが構成される。   In the present embodiment, the case where the reproducibility during driving of the panning and the tilting of the imaging device 103 is reduced, the case where the reproducibility of the zoom magnification is reduced, and the case where the reproducibility of the roll is reduced have been individually described. When two or more of these occur simultaneously, the system is configured so that two or more correction processes are performed simultaneously.

本実施例では、計測シーンの撮影位置の再現性が各画像処理工程における所望の計測精度や認識率に対して充分でない場合でも必要十分な補正処理を実行しつつ、画像処理の認識率や計測精度を確保することができる。例えば、撮像装置でワークを撮像した画像に基づき、ワークの種類ごとに異なる搬送車にワークをロボットにより積載する工程では、比較的小さい許容誤差を入力することで画像処理の計測精度を高め、ロボットを正確に制御することができる。一方で、撮像装置が搬送車を撮像して搬送車が停止枠内に存在するかどうかを判定する工程では、比較的大きい許容誤差を入力することで、画像計測を短時間に終了させることができる。本実施例によれば、指定された判定条件にしたがって撮影位置の再現性を確保しつつ、より短時間に画像処理を行うことができる。   In the present embodiment, even when the reproducibility of the shooting position of the measurement scene is not sufficient for the desired measurement accuracy and recognition rate in each image processing step, the necessary and sufficient correction processing is performed, and the recognition rate and measurement Accuracy can be ensured. For example, in a process of loading a workpiece by a robot on a different carrier for each type of workpiece based on an image of the workpiece captured by an imaging device, the measurement accuracy of the image processing is increased by inputting a relatively small tolerance, and Can be accurately controlled. On the other hand, in the process in which the imaging device images the transport vehicle and determines whether the transport vehicle is within the stop frame, the image measurement can be completed in a short time by inputting a relatively large allowable error. it can. According to the present embodiment, image processing can be performed in a shorter time while ensuring reproducibility of the shooting position in accordance with the designated determination condition.

[第２実施例]
次に、本発明の第２実施例を説明する。第１実施例ではユーザ操作により基準画像領域を指定する必要があるのに対し、本実施例では基準画像領域を自動的または半自動的に決定可能な画像処理装置について説明する。画像特徴について詳しくないユーザであっても好適な基準画像領域を設定することができ、設定の際の属人性を低減可能である。なお、本実施例に係るシステム構成は第１実施例と同様であるため、既に使用した符号を用いることで、それらの詳細な説明を省略する。 [Second embodiment]
Next, a second embodiment of the present invention will be described. In the first embodiment, it is necessary to specify a reference image region by a user operation. In the present embodiment, an image processing apparatus capable of automatically or semi-automatically determining a reference image region will be described. Even a user who is not familiar with image features can set a suitable reference image area, and can reduce personality at the time of setting. Since the system configuration according to the present embodiment is the same as that of the first embodiment, the detailed description thereof will be omitted by using the already used reference numerals.

図１２は、本実施例の画像処理装置１０２における、基準特徴の登録処理画面例を示す。図１３は基準特徴の登録処理のシーケンス図である。以下では、第１実施例との相違点を主に説明する。図１２に示す登録画面１２０１では、計測試行のボタン１２０２が追加されている。ユーザはボタン１２０２を操作し、複数回に亘って行われる計測の試行を指示することができる。   FIG. 12 illustrates an example of a reference feature registration processing screen in the image processing apparatus 102 according to the present embodiment. FIG. 13 is a sequence diagram of the registration process of the reference feature. Hereinafter, differences from the first embodiment will be mainly described. A registration trial button 1202 is added to the registration screen 1201 shown in FIG. The user can operate the button 1202 to instruct a trial of measurement performed a plurality of times.

ユーザは、基準特徴の登録画面１２０１は見ながらバー６０４〜６０６を操作する。画像処理装置１０２は撮像装置１０３の雲台２０１の駆動制御を行って撮影方向を制御する。撮像装置１０３によって撮像された撮像画像は画像表示領域６０７に表示される。ここで、ユーザがボタン１２０２のクリック操作を行うと、画像処理装置１０２は撮像装置１０３に撮影指令を送信する（図１３：Ｓ１３０１）。撮像装置１０３は所定回数の撮影を行って(Ｓ１３０２)、全ての画像のデータを画像処理装置１０２に送信する(Ｓ１３０３)。   The user operates the bars 604 to 606 while looking at the reference feature registration screen 1201. The image processing device 102 controls the driving of the camera platform 201 of the imaging device 103 to control the shooting direction. The captured image captured by the imaging device 103 is displayed in the image display area 607. Here, when the user performs a click operation on the button 1202, the image processing apparatus 102 transmits a shooting command to the imaging apparatus 103 (FIG. 13: S1301). The imaging device 103 performs a predetermined number of shootings (S1302), and transmits data of all images to the image processing device 102 (S1303).

画像処理装置１０２は、撮像装置１０３から受信した画像データから、変動が小さい領域を算出し（Ｓ１３０４）、変動の大きい領域１２０３を黒色で表示する。次に画像処理装置１０２は、変動が小さい領域のうちで特徴量が大きな領域を算出する。特徴量が大きな領域とは、例えばコントラストが明瞭な領域である。画像処理装置１０２は画像表示領域６０７において、特徴量の小さな領域１２０４を灰色で表示する(Ｓ１３０５)。そして画像処理装置１０２は、特徴量が大きな領域１２０５を基準画像領域に決定する(Ｓ１３０６)。   The image processing apparatus 102 calculates an area with small fluctuation from the image data received from the imaging apparatus 103 (S1304), and displays the area 1203 with large fluctuation in black. Next, the image processing apparatus 102 calculates an area having a large feature amount among the areas having a small variation. The region having a large feature amount is, for example, a region where the contrast is clear. In the image display area 607, the image processing apparatus 102 displays an area 1204 having a small feature amount in gray (S1305). Then, the image processing apparatus 102 determines a region 1205 having a large feature amount as a reference image region (S1306).

本実施例では、例えば複数回に亘って行われる計測によって取得される画像領域のうち、変動が最も小さい画像領域が自動的に基準画像領域として設定される。あるいは、変動が小さい領域のうちで特徴量が大きな領域を画像処理装置１０２が優先して自動的に基準画像領域として設定する。このような自動的な処理に代えて、変動が小さく特徴量が大きな１個または複数個の領域を基準画像領域の候補としてユーザに提示し、ユーザが選択操作を行う半自動的な処理でもよい。この場合、ユーザに基準画像領域の選択を促す処理が行われる。変動が小さく特徴量が大きな領域１２０５の候補は画像表示領域６０７において、例えば白色表示でユーザに提示され、ユーザは所望の領域を基準画像領域として指定することができる。   In the present embodiment, for example, an image region having the smallest variation among image regions acquired by measurement performed a plurality of times is automatically set as a reference image region. Alternatively, the image processing apparatus 102 preferentially automatically sets, as a reference image region, a region having a large feature amount among regions having small fluctuations. Instead of such automatic processing, semi-automatic processing in which one or a plurality of regions having small variations and large feature amounts are presented to the user as candidates for the reference image region, and the user performs a selection operation may be performed. In this case, processing is performed to prompt the user to select the reference image area. A candidate for the region 1205 having a small variation and a large feature amount is presented to the user in, for example, a white display in the image display region 607, and the user can designate a desired region as a reference image region.

本実施例では、画像特徴について詳しくないユーザでも好適な基準画像領域の設定を行うことができる。また、設定の際に属人性を低減し、個人の習熟度に影響されにくい処理を行うことができる。   In this embodiment, a user who is not familiar with the image characteristics can set a suitable reference image area. In addition, it is possible to reduce the personality at the time of setting, and to perform processing that is less affected by the proficiency of an individual.

前記実施例では、制御装置１０１と画像処理装置１０２と撮像装置１０３が各別の構成である実施形態を説明したが、本発明はそのような例に限られない。例えば、画像処理装置１０２に相当する画像処理部と、撮像装置１０３に相当する、撮影方向および撮影画角の変更が可能な撮像部とを１つの装置内に備える撮像装置がある。あるいは、制御装置１０１と画像処理装置１０２と撮像装置１０３にそれぞれ対応する構成部を１つの装置内に備える撮像装置がある。このような撮像装置も本発明の技術的範囲に含まれる。   In the above embodiment, the embodiment in which the control device 101, the image processing device 102, and the imaging device 103 have different configurations has been described, but the present invention is not limited to such an example. For example, there is an imaging apparatus including an image processing unit corresponding to the image processing apparatus 102 and an imaging unit corresponding to the imaging apparatus 103 capable of changing a shooting direction and a shooting angle of view in one apparatus. Alternatively, there is an imaging apparatus that includes components corresponding to the control apparatus 101, the image processing apparatus 102, and the imaging apparatus 103 in one apparatus. Such an imaging device is also included in the technical scope of the present invention.

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 [Other Examples]
The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. It can also be realized by the following processing. Further, it can be realized by a circuit (for example, an ASIC) that realizes one or more functions.

１０１ 制御装置
１０２ 画像処理装置
１０３ 撮像装置
１０４ ロボット
１０５ 搬送装置
１０６，１０７ 搬送車
１０８，１０９，１１０ ワーク

Reference Signs List 101 Control device 102 Image processing device 103 Imaging device 104 Robot 105 Transport device 106, 107 Transport vehicle 108, 109, 110 Work

Claims (16)

撮影方向または撮影画角の変更が可能な撮像手段により計測対象を撮像した撮像画像のデータを処理する画像処理装置であって、
前記撮像画像にて基準となる基準画像領域を設定し、前記基準画像領域における画像の特徴部を基準特徴部に設定する処理を行う設定手段と、
前記撮像手段の撮影位置の再現性を判定する判定条件のデータを入力する入力手段と、
前記撮像手段によって計測時の撮影位置で取得される撮像画像にて前記基準画像領域に対応する画像領域で抽出される特徴部と、前記基準特徴部との誤差を算出する算出手段と、
前記算出手段によって算出された前記誤差が前記判定条件を満たさない場合、前記撮像手段に対して前記撮影位置を補正する処理を行う補正手段と、
前記撮像手段による撮像画像のデータを取得して画像処理を行う画像処理手段と、
前記算出手段によって算出された前記誤差が前記判定条件を満たす場合、前記画像処理手段により前記撮像画像の画像処理を行い、画像処理結果を出力する制御を行う制御手段と、を備える
ことを特徴とする画像処理装置。 An image processing apparatus that processes data of a captured image obtained by capturing an object to be measured by an imaging unit capable of changing a shooting direction or a shooting angle of view,
Setting means for performing a process of setting a reference image region serving as a reference in the captured image, and setting a characteristic portion of the image in the reference image region as a reference characteristic portion;
Input means for inputting data of a determination condition for determining reproducibility of a shooting position of the imaging means,
A characteristic portion extracted in an image region corresponding to the reference image region in a captured image obtained at a shooting position at the time of measurement by the imaging device, and a calculation unit that calculates an error between the reference characteristic portion and
When the error calculated by the calculation unit does not satisfy the determination condition, a correction unit that performs a process of correcting the imaging position with respect to the imaging unit;
An image processing unit that performs image processing by acquiring data of an image captured by the imaging unit;
When the error calculated by the calculation unit satisfies the determination condition, the image processing unit performs image processing of the captured image, and performs control to output an image processing result. Image processing device. 判定条件のデータは、前記算出手段によって算出される前記誤差に対する閾値、および前記補正手段による前記撮影位置の補正を制限する条件を表すデータである
ことを特徴とする請求項１に記載の画像処理装置。 2. The image processing apparatus according to claim 1, wherein the data of the determination condition is data representing a threshold value for the error calculated by the calculation unit and a condition for limiting correction of the shooting position by the correction unit. apparatus. 前記補正手段は前記撮影位置の補正を制限する条件を表す回数または時間で前記補正を行い、
前記制御手段は、前記補正手段により補正された前記撮影位置で取得される撮像画像にて前記算出手段によって算出された前記誤差が前記閾値以下である場合、前記画像処理手段により前記撮像画像の画像処理を行い、前記回数または時間で前記補正手段が前記撮影位置の補正を行っても前記算出手段によって算出された前記誤差が前記閾値より大きい場合、前記撮影位置の再現性を確保できないことを報知する処理を行う
ことを特徴とする請求項２に記載の画像処理装置。 The correction means performs the correction by the number or time representing a condition for limiting the correction of the shooting position,
When the error calculated by the calculation unit in the captured image obtained at the shooting position corrected by the correction unit is equal to or smaller than the threshold, the control unit may control the image of the captured image by the image processing unit. If the error calculated by the calculation means is larger than the threshold even if the correction means corrects the shooting position at the number of times or the time, it is notified that reproducibility of the shooting position cannot be ensured. The image processing apparatus according to claim 2, wherein the processing is performed. 前記制御手段は、前記補正手段による前記撮影位置の補正値または該補正値の履歴データを用いて前記撮影位置の設定値を更新する制御を行う
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 4. The control device according to claim 1, wherein the control unit performs control to update a set value of the shooting position using a correction value of the shooting position by the correction unit or history data of the correction value. 5. 2. The image processing device according to claim 1. 前記設定手段は、複数回に亘って行われる計測によって取得される画像領域のうち、変動が小さい画像領域を前記基準画像領域に設定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。 5. The image processing apparatus according to claim 1, wherein the setting unit sets, as the reference image area, an image area having a small variation among image areas acquired by measurement performed a plurality of times. An image processing apparatus according to claim 1. 前記設定手段は、複数回に亘って行われる計測によって取得される変動の小さい複数の画像領域のうち、特徴量が大きな画像領域を前記基準画像領域に設定する
ことを特徴とする請求項５に記載の画像処理装置。 The said setting means sets an image area with a large characteristic amount to the reference image area among a plurality of image areas with small fluctuations acquired by measurement performed a plurality of times. The image processing apparatus according to any one of the preceding claims. 前記基準画像領域の候補を表示する表示手段を備え、
前記設定手段は、複数回に亘って行われる計測によって取得される画像領域のうち、変動の小さい画像領域を前記基準画像領域の候補として前記表示手段に表示する処理を行い、操作手段により選択された画像領域を前記基準画像領域に設定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。 A display unit that displays candidates for the reference image area,
The setting unit performs a process of displaying, on the display unit, an image region with small fluctuations as a candidate for the reference image region among image regions obtained by measurement performed over a plurality of times, and is selected by the operation unit. The image processing apparatus according to claim 1, wherein an image area set as the reference image area is set. 前記表示手段は、前記変動の小さい画像領域のうち、特徴量が大きな画像領域を前記基準画像領域の候補として表示する
ことを特徴とする請求項７に記載の画像処理装置。 The image processing device according to claim 7, wherein the display unit displays an image region having a large feature amount as a candidate of the reference image region among the image regions having a small variation. 前記補正手段は、前記撮像画像にて前記基準画像領域に対応する画像領域で抽出される特徴部と、前記基準特徴部との位置または大きさの差に対応する補正値を算出して補正を行う
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。 The correction unit calculates a correction value corresponding to a difference in position or size between a feature extracted in an image region corresponding to the reference image region in the captured image and the reference feature, and performs correction. The image processing apparatus according to claim 1, wherein the image processing is performed. 前記補正手段は、前記撮像画像にて前記基準画像領域に対応する画像領域で抽出される複数の特徴部の距離と、複数の前記基準特徴部の距離との差に対応する補正値を算出して補正を行う
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。 The correction unit calculates a correction value corresponding to a difference between a distance between a plurality of feature portions extracted in an image region corresponding to the reference image region in the captured image and a distance between the plurality of reference feature portions. The image processing apparatus according to any one of claims 1 to 8, wherein the image processing apparatus performs correction by performing the correction. 前記補正手段は、前記撮像画像にて前記基準画像領域に対応する画像領域で抽出される複数の特徴部と、複数の前記基準特徴部との傾き角度に対応する補正値を算出して補正を行う
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。 The correction means calculates a correction value corresponding to an inclination angle between a plurality of characteristic portions extracted in an image region corresponding to the reference image region in the captured image and a plurality of the reference characteristic portions to perform correction. The image processing apparatus according to claim 1, wherein the image processing is performed. 前記設定手段は、前記計測対象に対応する画像領域とは異なる画像領域を、前記基準画像領域に設定する処理を行う
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。 The image processing according to any one of claims 1 to 11, wherein the setting unit performs a process of setting an image area different from an image area corresponding to the measurement target as the reference image area. apparatus. 前記撮像手段の駆動部を制御して、前記撮像手段の撮影方向または撮影画角を変更する制御を行い、前記計測対象の撮影位置を設定する駆動制御手段を備える
ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。 A drive control unit that controls a driving unit of the imaging unit to change a shooting direction or a shooting angle of view of the imaging unit, and sets a shooting position of the measurement target. 13. The image processing apparatus according to any one of claims 12 to 12. 請求項１乃至１３のいずれか１項に記載の画像処理装置と、
前記撮像手段と、を備える
ことを特徴とする撮像装置。 An image processing apparatus according to any one of claims 1 to 13,
An imaging device comprising: the imaging unit. 撮影方向または撮影画角の変更が可能な撮像手段により計測対象を撮像した撮像画像のデータを処理する画像処理装置にて実行される制御方法であって、
前記撮像画像にて基準となる基準画像領域を設定し、前記基準画像領域における画像の特徴部を基準特徴部に設定する処理を行う工程と、
前記撮像手段の撮影位置の再現性を判定する判定条件のデータを入力する工程と、
前記撮像手段によって計測時の撮影位置で取得される撮像画像にて前記基準画像領域に対応する画像領域で抽出される特徴部と、前記基準特徴部との誤差を算出する工程と、
算出された前記誤差が前記判定条件を満たさない場合、前記撮像手段に対して前記撮影位置を補正する処理を行う工程と、
算出された前記誤差が前記判定条件を満たす場合、画像処理手段により前記撮像画像の画像処理を行い、画像処理結果を出力する制御を行う工程と、を有する
ことを特徴とする画像処理装置の制御方法。 A control method executed by an image processing apparatus that processes data of a captured image obtained by capturing an object to be measured by an imaging unit capable of changing a shooting direction or a shooting angle of view,
Setting a reference image region serving as a reference in the captured image, and performing a process of setting a characteristic portion of the image in the reference image region as a reference characteristic portion;
Inputting data of a determination condition for determining the reproducibility of a shooting position of the imaging unit;
A feature portion extracted in an image region corresponding to the reference image region in a captured image obtained at a shooting position at the time of measurement by the imaging device, and a step of calculating an error between the reference feature portion;
When the calculated error does not satisfy the determination condition, performing a process of correcting the imaging position to the imaging unit,
Controlling the image processing apparatus to perform image processing on the captured image by an image processing unit and output an image processing result when the calculated error satisfies the determination condition. Method. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置が備える各手段として機能させることを特徴とするプログラム。


A non-transitory computer-readable storage medium storing a program that causes a computer to function as each unit included in the image processing apparatus according to claim 1.


JP2018129182A 2018-07-06 2018-07-06 Image processing device and its control method, image pickup device, program Active JP7094806B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018129182A JP7094806B2 (en) 2018-07-06 2018-07-06 Image processing device and its control method, image pickup device, program
US16/502,250 US11336831B2 (en) 2018-07-06 2019-07-03 Image processing device, control method, and program storage medium
CN201910603870.0A CN110691186B (en) 2018-07-06 2019-07-05 Image processing apparatus, control method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018129182A JP7094806B2 (en) 2018-07-06 2018-07-06 Image processing device and its control method, image pickup device, program

Publications (2)

Publication Number Publication Date
JP2020010166A true JP2020010166A (en) 2020-01-16
JP7094806B2 JP7094806B2 (en) 2022-07-04

Family

ID=69152289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018129182A Active JP7094806B2 (en) 2018-07-06 2018-07-06 Image processing device and its control method, image pickup device, program

Country Status (1)

Country Link
JP (1) JP7094806B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802029A (en) * 2020-12-28 2021-05-14 无锡奥特维科技股份有限公司 Welding spot positioning method and device
WO2022157886A1 (en) * 2021-01-21 2022-07-28 日本電気株式会社 Parameter optimization system, parameter optimization method, and computer program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016220021A (en) * 2015-05-20 2016-12-22 株式会社デンソー Image display device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016220021A (en) * 2015-05-20 2016-12-22 株式会社デンソー Image display device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802029A (en) * 2020-12-28 2021-05-14 无锡奥特维科技股份有限公司 Welding spot positioning method and device
WO2022157886A1 (en) * 2021-01-21 2022-07-28 日本電気株式会社 Parameter optimization system, parameter optimization method, and computer program

Also Published As

Publication number Publication date
JP7094806B2 (en) 2022-07-04

Similar Documents

Publication Publication Date Title
CN110691186B (en) Image processing apparatus, control method, and recording medium
US11315217B2 (en) Dynamic updating of a composite image
US10708491B2 (en) Adaptive camera control for reducing motion blur during real-time image capture
US20170154430A1 (en) Information processing apparatus, information processing method, and recording medium
US11373263B2 (en) Image processing device capable of assisting with setting of work restoration, method of controlling the same, and recording medium
JP7094806B2 (en) Image processing device and its control method, image pickup device, program
JP2019012016A (en) Position control system, position detector and control program
CN111225143B (en) Image processing apparatus, control method thereof, and program storage medium
JP4880380B2 (en) Substrate defect correcting apparatus and substrate defect correcting method
JP5217841B2 (en) Image processing apparatus and method for supporting parameter setting relating to defect detection on image
JP6770826B2 (en) Automatic collimation method and automatic collimation device for measuring the placement position of structures
JP7210171B2 (en) IMAGE PROCESSING DEVICE AND CONTROL METHOD THEREOF, IMAGING DEVICE, AND PROGRAM
US11839980B2 (en) Image processing apparatus monitoring target, control method therefor, and storage medium storing control program therefor
JP6853031B2 (en) Information processing equipment, information processing system, information processing method, and program
JP7051571B2 (en) Teacher data creation device and method
WO2023223887A1 (en) Information processing device, information processing method, display control device, display control method
JP6855526B2 (en) Control method, control system, program, storage medium
JP2022075510A (en) Information processing device, information processing method, and program
JP2010081228A (en) Image processing apparatus and method of processing image in the same
JP2023130743A (en) Information processing unit and information processing program
CN114928691A (en) Image processing apparatus and method, production system, product manufacturing method, and medium
JP2012169443A (en) Template mark identification device and program
JPWO2019082429A1 (en) Manufacturing work support system, manufacturing work support method, and program
JP2006285790A (en) Image processing method and image processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220622

R151 Written notification of patent or utility model registration

Ref document number: 7094806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151