JP2019106209A - Control method, control system, program, and storage medium - Google Patents
Control method, control system, program, and storage medium Download PDFInfo
- Publication number
- JP2019106209A JP2019106209A JP2019036676A JP2019036676A JP2019106209A JP 2019106209 A JP2019106209 A JP 2019106209A JP 2019036676 A JP2019036676 A JP 2019036676A JP 2019036676 A JP2019036676 A JP 2019036676A JP 2019106209 A JP2019106209 A JP 2019106209A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- sub
- main
- photographing
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、カメラの撮影パラメータを変更して検討用の画像を撮影し、必要に応じて撮影パラメータを調整する画像処理方法および装置システムに関する。 The present invention relates to an image processing method and apparatus system for changing a shooting parameter of a camera, shooting an image for examination, and adjusting the shooting parameter as needed.
対象物の画像を撮影し、画像処理を行い、対象物の位置や位相の計測、有り無し検知、表面状態の良品検査などを行う画像処理方法は広く知られている。 There are widely known image processing methods for capturing an image of an object, performing image processing, measuring the position and phase of the object, detecting presence / absence, and inspecting the surface condition.
このような画像処理方法ではまず、適切な画像処理結果を得るために、好適な輝度分布や色濃度分布、輝度勾配などを持つ画像データを取得する必要がある。そのためには、撮影時の露光時間や信号の増幅度（ゲイン）、レンズ絞りなど、様々な撮影パラメータの調整が重要である。しかしながら経時的な照明の劣化、室内や室外環境の変化、一時的な遮光（例えば人や装置動作により生じる影）など、種々の外部環境の変動要因により、好適な画像データが撮影できなくなることがある。また、工業生産を行う場合など、一定の規格の形状の対象物を検査する場合おいても、個体ごとの表面品質や形状、材質の変動などがあり、この点も好適な画像データが撮影できなくなる原因になりうる。 In such an image processing method, first, in order to obtain an appropriate image processing result, it is necessary to acquire image data having suitable luminance distribution, color density distribution, luminance gradient, and the like. For that purpose, it is important to adjust various imaging parameters such as the exposure time at the time of imaging, the amplification degree of the signal (gain), and the lens aperture. However, suitable image data can not be captured due to various external environmental fluctuation factors such as deterioration of illumination over time, changes in indoor and outdoor environments, and temporary light shielding (for example, shadows caused by people and device operation). is there. In addition, even in the case of inspecting an object having a certain standard shape when industrial production is performed, there are fluctuations in surface quality, shape, and material of each individual, and this point can also be used to capture suitable image data. It can be a cause of disappearing.
しかし、画像処理の結果に不具合があった場合、装置の稼働を停止して、撮影パラメータの調整の機会を別途設けると、装置の稼働率が落ちるという問題が生じる。 However, if there is a problem in the result of the image processing, if the operation of the apparatus is stopped and an opportunity for adjustment of the imaging parameter is separately provided, there arises a problem that the operation rate of the apparatus is lowered.
上記課題に対し、特許文献１では撮影された画像データにおける予め設定した領域の輝度値を算出し、その輝度値が輝度閾値の範囲にあるかどうか判定する技術が記載されている。さらに、算出された輝度値が輝度閾値の範囲外であれば撮影パラメータを変更し、再度画像データを撮影することを繰り返し、画像データの設定された領域内の輝度が予め設定してある輝度範囲に入るように調整する。
To address the above problem,
このような調整工程を経て、その後に得られた画像データに対して調整後の輝度範囲を新たな基準にし、所定の画像処理を行う。これは装置の稼働中においても、画像データの所定の領域内の輝度値に基づいて撮影パラメータが好適であるかを判定し、直接に調整することで、画像処理に適切な画像データを撮影することを期待するものである。 After such an adjustment process, predetermined image processing is performed on the image data obtained after that, using the adjusted luminance range as a new reference. Even during operation of the apparatus, it is determined whether a shooting parameter is suitable based on a luminance value in a predetermined area of image data, and the image data suitable for image processing is captured by directly adjusting it. I expect that.
しかしながら特許文献１のような、直接的な撮影パラメータの調整方法では、所定の輝度値が得られるように撮影パラメータを調整し、画像処理を行う。そのため、画像処理の結果自体が適切でなくなる場合があった。
However, in the direct adjustment method of the imaging parameter as in
その原因が照明不良の場合、対象物に対して好適な輝度分布で画像データを撮影することができず、画像処理の結果が不適切となる場合がある。例えば対象物のもつ輝度勾配や輝度分布、色分布などの特徴情報が小さくなり、位置や位相の計測精度が低下したり、有り無し判定を誤ったりすることが生じえる。 If the cause is poor illumination, image data can not be captured with a suitable luminance distribution for the object, and the result of the image processing may be inappropriate. For example, feature information such as a luminance gradient, a luminance distribution, and a color distribution of an object may be reduced, and the measurement accuracy of the position or phase may be reduced, or the presence or absence determination may be erroneous.
他方で直接的に調整が行われることに起因して、実際の生産現場では使用者が誤って調整することで対象物の計測精度が低下し、良品を不良と判定する過検出や、不良品を良品と判定する誤検出の発生などを生じることがある。 On the other hand, due to the adjustment being performed directly, in the actual production site, the user's erroneous adjustment lowers the measurement accuracy of the object, and over-detection for judging non-defective products as defective or defective products There is a possibility that the occurrence of an erroneous detection or the like that determines that the product is a non-defective product may occur.
本発明は上記事情に鑑みてなされたものであり、一時的な撮影対象や外的要因の変動に影響を受けることに起因する装置の稼働に対する影響を抑えた画像処理方法および装置システムを提供する。 The present invention has been made in view of the above-mentioned circumstances, and provides an image processing method and apparatus system in which the influence on the operation of the apparatus due to being influenced by the change of the temporary photographing object and the external factor is suppressed. .
本発明の制御方法は、撮影装置を用いて搬送される対象物の撮影を制御する制御方法であって、予め定められた本撮影パラメータを用いて前記撮影装置が搬送される対象物を撮影して本撮影画像を得て、前記本撮影画像に対する画像処理を施す工程と、前記本撮影パラメータとは異なる副撮影パラメータを用いて、前記撮影装置が搬送される対象物を撮影して副撮影画像を得て、前記副撮影画像に対する画像処理を施す工程と、前記本撮影画像に対する画像処理の結果と前記副撮影画像に対する画像処理の結果とを比較した結果に基づき、前記副撮影パラメータを新しい本撮影パラメータとして更新するか否かを切り替える工程とを有する。 The control method of the present invention is a control method for controlling the imaging of an object transported using an imaging device, and imaging the object transported by the imaging device using a predetermined main imaging parameter The step of subjecting the main photographed image to image processing and performing image processing on the main photographed image, and using the sub-photographing parameter different from the main photographing parameter, photographing the object to be conveyed by the photographing device and using the sub-photographed image Based on the result of comparing the result of the image processing on the sub-captured image with the result of the image processing on the sub-captured image. Switching whether to update as a shooting parameter.
本願発明によると撮影パラメータを適切に調整するとともに装置の稼働率の低下を抑制できる。 According to the present invention, it is possible to appropriately adjust the imaging parameters and to suppress the decrease in the operating rate of the apparatus.
（第１実施形態）
本発明は通信可能な、制御装置と画像処理装置と撮影装置を用いて、撮影された画像を処理する画像処理方法である。以下、図１（ａ）および図１（ｂ）を用いて本発明の第１実施形態に関して詳しく説明する。
First Embodiment
The present invention is an image processing method for processing a captured image using a control device, an image processing device, and a capturing device that can communicate. Hereinafter, the first embodiment of the present invention will be described in detail with reference to FIGS. 1 (a) and 1 (b).
以下では、まず本撮影パラメータを用いて本撮影および本画像処理を行い、処理結果を外部の機器に返信する点を説明する。続いて副撮影パラメータを用いて、本画像処理中に副撮影を行い、副画像処理の結果を抽出しながら撮影パラメータを検討したり調整したりする工程について順次説明する。 In the following, first, main shooting and main image processing are performed using main shooting parameters, and processing results are returned to an external device. Subsequently, steps of performing sub-shooting during main image processing using sub-shooting parameters and examining and adjusting the shooting parameters while extracting the result of the sub-image processing will be sequentially described.
撮影パラメータとしては撮影時の露光時間や信号の増幅度（ゲイン）、レンズ絞りなどが挙げられる。 The imaging parameters include the exposure time at the time of imaging, the amplification factor (gain) of the signal, the lens aperture, and the like.
なお説明のため、画像処理方法を適用する装置全体の構成や動作目的、画像処理の内容、制御する各種装置、処理結果や制御結果などを例に挙げる。 For the purpose of explanation, the configuration and operation purpose of the entire apparatus to which the image processing method is applied, the contents of image processing, various devices to be controlled, processing results, control results and the like will be exemplified.
しかし、これら装置の構成や動作目的、画像処理の内容、処理に用いるパラメータ、制御する各種装置等は、装置全体の目的に応じて任意に構成してよい。 However, the configuration and operation purpose of these devices, the contents of image processing, parameters used for processing, various devices to be controlled, and the like may be arbitrarily configured according to the purpose of the entire device.
またユーザインターフェースを介して装置の利用者が任意にパラメータを設定できる処理アルゴリズム及びプログラムなどを用いた形態で、本実施形態にかかる装置システムを提供してもよい。 In addition, the apparatus system according to the present embodiment may be provided in a form using a processing algorithm, a program, or the like that allows the user of the apparatus to arbitrarily set parameters via the user interface.
図１（ａ）は、本発明の画像処理方法を実行する装置システムを表しており、画像処理装置５を制御装置１や搬送装置２などと組み合わせて物流装置として構成したものである。
FIG. 1A shows an apparatus system for executing the image processing method of the present invention, in which the
制御装置１は、搬送装置２やロボットアーム３、画像処理装置５と信号授受が可能となるように構成されており、これらの機器を制御してピックアンドプレイス等の所定の作業内容を実行させる。
The
その作業内容や順序、タイミングなどは、制御装置１にプログラムとしてストックされていたり、制御アプリケーションが読みこむ設定ファイルに記述されていたりする。
The work content, order, timing, and the like are stored as a program in the
この装置システム（物流装置）は対象物４を搬送したり、設けられているロボットアーム３にて対象物４を拾い上げたり、配置したりする。制御装置１は搬送装置２やロボットアーム３の作業状況と併せ、予め定義された任意のタイミングにおいて、画像処理装置５へ制御指令を送信することで、画像計測を指令したりする。すなわち制御装置１は装置システムを構成するそれぞれの機器の動作タイミングや指令等を全体として統括する。一方、指令内容に応じて、搬送装置２やロボットアーム３、画像処理装置５等は所定の処理を行って、その制御結果や処理結果を制御装置１に返信するように通信可能に構成されている。
The apparatus system (physical distribution apparatus) transports the
また、画像処理装置５は撮影装置６や表示装置７などと連結されている。画像処理装置５は制御装置１の指令を受けつけたら、予め設定された撮影パラメータを用いて撮影装置６に撮影指令に関する信号を送信し、撮像装置６は対象物４の撮影をおこなう。
Further, the
撮影によって取得した画像データを画像処理装置５に入力し、画像処理を行い、画像処理が完了したら、その結果を制御装置１に返信したり、必要に応じて表示装置７に表示したりする。なお、制御装置１や入力装置８などの指示に応じて、画像処理装置５の設定の変更を随時受けつけたりすることができる構成としても良い。
The image data acquired by photographing is input to the
上述の例では制御装置１と画像処理装置５とがそれぞれ構成されている例を説明したが、それらが一体となって一つのシステム制御装置が構成されるなど、本発明を実行するために使用者は適宜、所望の構成を採用してよい。
In the above-mentioned example, although the example in which the
図１（ｂ）は上述のような構成において、一連の制御シーケンスを例示したものである。 FIG. 1 (b) illustrates a series of control sequences in the configuration as described above.
図１（ｂ）は制御装置１の画像処理装置５への制御指令をスタートとする制御シーケンスである。
FIG. 1B is a control sequence in which a control instruction to the
画像処理装置５への制御指令に始まり、画像処理装置５が画像処理を受けつけてから、その処理結果を返信したり、表示したり、撮影パラメータを更新したりするまでを描いている。
Starting from the control command to the
紙面向かって下方向の矢印は各種処理の実行、紙面向かって左方向（あるいは右方向）の矢印は装置間の通信制御を表しており、下方向に時間や工程が進捗しているものとして説明する。 The downward arrow toward the page indicates execution of various processes, and the leftward (or right) arrow toward the page indicates communication control between devices, and it is assumed that the time and process progress in the downward direction. Do.
また、ここでは通信に要する時間は他の各種処理に要する時間に対して十分小さいものとして図に表さないこととする。まず制御装置１はプログラムなどで指定されたタイミング１１において、通信手段を用いて、画像処理装置５に対して画像処理の指令を行う。画像処理装置５はタイミング５１において、その画像処理の指令を受けつけ、指令内容に対応した各種設定ファイルなどを読み込んだりする工程が行われる。
Further, the time required for communication is not shown in the figure as being sufficiently short with respect to the time required for other various processes. First, at timing 11 designated by a program or the like, the
次にタイミング５２において、あらかじめ定められた本撮影パラメータを伴って、撮影指令を撮影装置６に送信する。撮影指令をうけた撮影装置はタイミング６１において撮影を開始する。その後、撮影が終了するタイミング６２において、画像処理装置５は撮影装置６の内部記憶領域などに保持された画像データを入力（ダウンロード）する。
Next, at timing 52, an imaging command is transmitted to the
画像処理装置５はタイミング５３で画像データを入力（ダウンロード）し、さらにタイミング５４−５５の区間で本画像処理を行う。本画像処理が終わると、その結果を制御装置１に任意のタイミングで処理結果を返信（通常は装置全体の動作を妨げないように、できる限り短時間で返信する）する。制御装置１はその処理結果を受けつけたタイミング１２を起点に、その処理結果を用いて以降の別の処理や制御指令等を行う。
The
さて、図１（ｂ）のような本発明の撮影及び画像処理方法では以下の点に特徴がある。 Now, the photographing and image processing method of the present invention as shown in FIG. 1 (b) is characterized in the following points.
すなわちタイミング５３において画像処理装置は本撮影された画像データを入力（ダウンロード）した後に、本撮影パラメータ（撮影区間６１〜６２で用いられた）とは異なる副撮影パラメータで撮影装置６へ撮影指令を送信する。例えば、図１（ｂ）では、画像処理装置は本撮影画像データを入力し、タイミング５４でその画像データを使用して本画像処理を開始する。それとともに、本撮影パラメータと異なる副撮影パラメータで撮影装置６へ撮影指令を送信し、撮影装置６はタイミング６３において副撮影を開始し、タイミング６４で終了する。
That is, after the image processing apparatus inputs (downloads) the image data that has been main photographed at
撮影装置６の立場でいうと、本撮影と副撮影の合計で二度の撮影が行われ、露光時間等の撮影パラメータが異なる２つの画像データを取得することになる。
From the standpoint of the photographing
なお、画像処理装置５は装置全体の動作に遅延をもたらすような処理は後回しにすることが適切である。
Note that it is appropriate for the
そのため、図１（ｂ）に示すとおり制御装置１へ本画像処理結果を返信することを優先し、本画像処理結果の返信が終わったタイミング５５以降の、例えばタイミング５６において、画像処理装置５は取得した副撮影画像を入力（ダウンロード）する。その後、画像処理装置５は副撮影画像データに対してタイミング５４−５５の区間で、以前に実行した本画像処理と同様の画像処理を行う（副画像処理）。
Therefore, priority is given to sending the main image processing result back to the
副撮影画像データの処理が終わったタイミング５７で副画像処理結果を表示装置７等に表示したりして出力してもよい（このタイミング５７で本画像処理結果も併せて表示装置に対して画像処理装置の側から通信してもよい）。また、その出力された副画像処理結果が適切である場合、入力装置８等を用いて、タイミング８１で、画像処理装置における撮影パラメータを更新する。すなわち、この副撮影パラメータを新しい本撮影パラメータとして更新し、次回以降の本撮影に用いるように調整することができる。
The result of the secondary image processing may be displayed on the display device 7 or the like at
また、適切な画像処理結果が得られなければ、引き続き制御装置１などからの制御指令を待ったりして、次回以降も同様にして副撮影パラメータの変更を行いながら検討を行ったりしても良い。
In addition, if an appropriate image processing result can not be obtained, the control may be continued while waiting for a control command from the
図２に本実施形態の画像処理および撮影パラメータの調整を実施可能な画像処理装置５の構成例を示す。図１（ａ）および図２の画像処理装置５は、画像を表示する陰極管や液晶パネルなどにより構成された表示装置７、および入力装置８を含む。入力装置は例えばキーボードやマウス、タッチパネル、入力操作コントローラ、ジェスチャ入力装置などにより構成される各種操作入力用の装置が挙げられる。これら表示装置７および入力装置８は、主にユーザインターフェースを構成する。
FIG. 2 shows an example of the configuration of the
また、画像処理装置５は、画像データ入力手段の１つとしてデジタルカメラなどで構成された撮影装置６と接続される。また、図１（ａ）では省略しているが、必要に応じてハロゲン照明や発光ダイオード照明などで構成された照明装置１０を撮影のために併設したり、外部記憶装置を記憶領域拡大のために接続したりしてもよい。さらに、画像処理装置５には、ネットワークやケーブルなどを介して、制御装置１が接続される。上記各部は、画像処理装置５の内部バス上に配置されたインターフェース５２を介して接続される。各インターフェース５２は上記各部を通信するのに適した規格に基づき構成される。各インターフェース５２は、使用する接続対象に応じて、例えば、ネットワークインターフェース、シリアル通信インターフェースなどから構成される。
Further, the
画像処理装置５は、画像処理の主体となる制御装置として、汎用マイクロプロセッサとして構成されたＣＰＵ素子や、画像処理プロセッサなどにより構成された演算手段５１を有する。演算手段５１は画像処理装置５の内部バス（データバス、アドレスバス、他の制御線など）を介して、図２の左側に図示した記憶手段５３と接続される。記憶手段５３は、例えばＲＯＭやＲＡＭ、あるいはＥ（Ｅ）ＰＲＯＭなどの不揮発メモリデバイスや、外部記憶装置（不図示のＨＤＤや半導体素子で構成された記憶装置で構成される。また、あるいは接続手段５２と接続することができる外部記憶装置など）上のファイル領域や仮想記憶領域などによって構成してもよい。
The
また、記憶手段５３の処理データ保存領域５３２は、記憶手段５３中のＲＡＭ領域や、外部記憶装置のファイル領域や仮想記憶領域などによって構成される。処理データ保存領域５３２には、処理データを一時記憶させる他、画像処理の設定パラメータなどの記憶に用いられる。また、外部記憶装置に画像データをロギングする場合、処理データ保存領域５３２は、例えば、外部記憶装置のデータキャッシュなどとして用いられる。
Further, the processing
さらに、記憶手段５３には、本実施例の画像処理を実施するための画像処理プログラム５３１を記憶させておく。画像処理プログラム５３１は、入力装置８などによって行われた各種操作に応じて、画像処理の設定などを変更したり、画像処理を実行したりする。また、変更内容について、処理データ保存領域５３２に保存したり削除したりすることができる。
Further, the
画像処理プログラム５３１は、例えば次のような機能を実現するソフトウェアから構成される。まず、画像処理５３１１は後述の画像処理を実現する画像処理プログラムの本体部分である。画像処理５３１１には、画像処理ライブラリ５３１２が用いられる。画像処理ライブラリ５３１２は、例えば静的ないし動的にリンクされるライブラリとして記憶手段５３に実装される。画像処理プログラム５３１の振舞いを決定する画像処理設定５３１４のプログラムの実行は、入力装置８などによって行われた各種操作に応じて行われる。
The
さらに、画像処理プログラム５３１には、次のような機能を実現するＩ／Ｏ（入出力）ルーチンが含まれる。上記の各機能は、アプリケーション（ユーティリティ）プログラムや、あるいは静的ないし動的にリンクされるライブラリとして構成されたサブルーチン、といった形態で記憶手段５３に実装される。
Furthermore, the
画像処理装置５は、画像処理プログラム５３１における外部デバイス制御５３１３のプログラムを実行することにより、例えば撮像装置６や照明装置１０を制御したり、画像処理装置の演算手段を利用して画像処理を実行したりすることができる。また、指令受付５３１６のプログラムが実行されることにより、入力装置８よりユーザ操作を受けつけたり、外部の制御装置１などから指令を受けつけたりすることができる。これらの操作や指令に応じて、演算手段５１は画像処理プログラム５３１の上記各機能やライブラリを呼び出し、各種演算処理を行い、画像処理結果を制御装置１に送信することができる。また、保存データ生成５３１５のプログラムを実行することにより画像処理結果を外部記憶装置に蓄積（ロギング）したりしても良い。さらに、保存データ出力５３１７と表示画面生成５３２０のプログラムを実行することにより、プログラムとして予め記憶されている画面構成と画像処理の結果を画面として合成し、表示装置７に表示することもできる。
The
以下では図３のフローチャートを用いて、装置の稼働中に画像処理プログラム５３１によって、画像の撮影パラメータを調整される際の処理の流れを説明する。なお、以下では説明を容易にするために、画像処理の内容や処理結果、撮影パラメータの調整方法、入力操作や表示出力方法あるいは装置の構成などについては限定された具体的な内容で行うものとする。
In the following, the flow of processing when adjusting the imaging parameters of the image by the
また、画像処理に係る処理内容や、調整する撮影パラメータや撮影パラメータの調整方法、調整のタイミング等はユーザが予め任意に設定できる設定画面を設けたり、別の処理アルゴリズムなどを用いて動的に決定したりしても良い。また、ここでは調整対象の撮影パラメータを本撮影に用いる初期ゲイン値との相対的な倍率（例えば１．０であれば、本撮影パラメータの初期ゲイン値の１．０倍であり、以下増幅倍率と呼ぶこととする）として説明する。 In addition, the user can set a setting screen that the user can arbitrarily set in advance the processing content related to image processing, the imaging parameter to be adjusted, the adjustment method of the imaging parameter, the adjustment timing, etc. You may decide. Here, the relative magnification of the imaging parameter to be adjusted with the initial gain value used for the main imaging (for example, 1.0, it is 1.0 times the initial gain value of the main imaging parameter, and the amplification factor below) It will be described as “).
一般的な制御可能な構成であれば本実施形態は実施できるので、露光時間や絞り、ピント、照明装置の輝度など、撮影条件に関わるものであれば適宜に適用可能である。 This embodiment can be implemented as long as it has a general controllable configuration, and therefore, any configuration relating to imaging conditions such as exposure time, aperture, focus, and luminance of the illumination device can be appropriately applied.
まずステップＳ０では記憶手段５３に記憶されている画像処理の設定データを一時記憶領域５３１９のプログラムを実行して不図示の一時記憶領域に入力する。このステップは画像処理の設定を読込む操作に相当する。
First, at step S0, the program of the
画像処理の設定データには、該当する画像処理において撮影装置６で撮影の際に用いる撮影パラメータや、照明装置１０の照度（もしくはＯＮ・ＯＦＦ設定など）が記載されている。さらに、画像処理の処理対象領域の数や、処理領域の位置やサイズ及び形状、パターンマッチングや輪郭検出、輝度分布計算などの処理内容、処理に用いる数値パラメータなども記載されている。ここでは説明のために、ある特定の情報をもつ対象物より検出されたパターン情報（そのような探索パターン情報は、輝度勾配や座標などの情報であったり、輝度分布の情報であったり、その組み合わせであったりする）を予め登録しておく。
In the setting data of the image processing, photographing parameters used when photographing with the photographing
ステップＳ１では撮影装置６に対して、本撮影パラメータを設定する。ここでの本撮影パラメータはステップＳ０で読み込まれた設定データにおいて事前に定められている。なお撮影を含む、計測開始トリガは前述のような制御装置１より行われてもよいし、ユーザなどが任意のタイミングで入力装置８などを用いて行う形態でもよい。ステップＳ２では、ステップＳ１で設定された本撮影パラメータを用いて、撮影装置６に撮影指令を出す。ステップＳ３では、撮影装置６が撮影を終了するのを待って、撮影された本画像データをプログラムに入力（ダウンロード）する。ステップＳ４では、ステップＳ０で指定された画像処理の内容に従い、本画像データを用いて本画像処理を実行する。
In step S1, main photographing parameters are set for the photographing
この本画像処理を実行するステップＳ４では、取得した画像データにおける類似するパターン情報を探索するパターンマッチング処理を行う。 In step S4 of executing the main image processing, pattern matching processing is performed to search for similar pattern information in the acquired image data.
具体的にはまず、探索パターンと画像データをマッチングさせ、対象物の検出位置座標（Ｘ，Ｙ）と位相（θ）等の情報の一致率をマッチングスコアとして出力する。以降、このような探索パターン情報の一致率をマッチングスコアもしくは単にスコアと呼ぶこととする。画像処理装置５は、マッチングスコアを０〜１．０の範囲内として出力するようなパターンマッチング処理を行い、その結果を制御装置１に返信したり、表示装置７に表示したりすることもできる。
Specifically, first, the search pattern and the image data are matched, and the matching rate of information such as the detection position coordinates (X, Y) and the phase (θ) of the object is output as a matching score. Hereinafter, the matching rate of such search pattern information is referred to as a matching score or simply a score. The
ステップＳ５では本画像処理の結果を出力する。 In step S5, the result of the main image processing is output.
ステップＳ６〜Ｓ８は、ステップＳ４と並行して行われる副撮影パラメータに関する処理を示している。演算手段５１の構成によっては、ステップＳ６〜Ｓ８をステップＳ３とＳ４の間の期間に置き、それぞれの処理をシーケンシャルに、行ったりしてもよい。ステップＳ６は副撮影パラメータで検討処理を行うかを判断する。たとえば、画像処理プログラム５３１が撮影パラメータを調整中であればステップＳ７に進み、調整不要であればそのまま以下の処理をスキップして終了する。
Steps S <b> 6 to S <b> 8 indicate processing relating to the sub imaging parameters performed in parallel with step S <b> 4. Depending on the configuration of the calculation means 51, steps S6 to S8 may be placed in the period between steps S3 and S4, and each process may be performed sequentially. In step S6, it is determined whether the examination process is to be performed on the basis of the sub imaging parameters. For example, if the
ステップＳ７では副撮影パラメータを撮影装置６に設定する。このとき、副撮影パラメータはＧＵＩなどの形態で、表示装置７や入力装置８を介してユーザなどにより直接設定してもよいし、予め用意された調整テーブルなどを用いて導かれた調整値を設定したりしてもよい。
In step S7, the sub imaging parameters are set in the
ステップＳ８では、ステップＳ７で設定された副撮影パラメータを用いて、撮影装置６に撮影指令を出す。出された指令に基づいて副撮影が実行される。
In step S8, a photographing command is issued to the photographing
ステップＳ９では、本画像処理結果の出力及び副撮影を実行済み（もしくは検討していない）であるかを判断する。本画像処理結果の出力が終了しており、かつ副撮影が実行済みである場合にはステップＳ１０に進む。副撮影を行っていない場合は以降の処理は不要であると判断し、ステップＳ１５の終了処理に進む。 In step S9, it is determined whether the output of the main image processing result and the secondary imaging have been performed (or not examined). If the output of the main image processing result is completed and the sub-imaging has been performed, the process proceeds to step S10. When the sub-imaging is not performed, it is determined that the subsequent processing is unnecessary, and the process proceeds to the end processing of step S15.
ステップＳ１０では撮影装置６が撮影を終了するのを待って、撮影された副画像データをプログラムに入力（ダウンロード）する。
In step S10, after the photographing
ステップＳ１１ではステップＳ０で指定された画像処理の内容に従い、副画像データを用いて副画像処理を実行する。 In step S11, sub-image processing is performed using sub-image data in accordance with the contents of the image processing designated in step S0.
ステップＳ１２では副画像処理の結果を抽出する。先ほど述べたようなパターン探索結果である位置や位相及びマッチングスコアを表示装置７に表示したりしても良いし、画像処理プログラム５３１より別途判断プログラムなどに送信しても良い。また、制御装置１など外部に判断を任せるような装置の制御プロトコルであれば、外部へ副画像処理結果を送信しても良い。
At step S12, the result of the sub image processing is extracted. The position, the phase, and the matching score, which are the pattern search results as described above, may be displayed on the display device 7 or may be separately transmitted from the
ステップＳ１３では、本撮影パラメータを更新するかの判断を行う。副画像処理結果を抽出する方法が表示装置７に表示したりするような方法であれば、その表示結果をユーザが確認し、判断する。また予め定められた目標となるマッチングスコアの値や許容幅などに応じて撮影パラメータを更新するかを判断するプログラムを予め準備しておいて、そのプログラムを実行し、判断する構成を採用してもよい。また、前述のように制御装置１が判断するような構成であれば、制御装置１の判断を受信しても良い。さらに予め設定された回数以上、適切な画像処理結果が得られた場合のみ撮影パラメータを更新するように、撮影パラメータを更新する条件を設けたりしても良い。また、抽出された画像処理結果（例えば位置や位相）が所定の範囲内に存在しない場合や、所定のスコア範囲に存在しない場合には、これらの撮影パラメータの参考値から除外するような仕組みを含んでもよい。これらの判断方法によって、本撮影パラメータを副撮影パラメータによって更新すると判断されればステップＳ１４へ進む。判断されなければステップＳ１５の終了処理へ進む。
In step S13, it is determined whether the main imaging parameter is to be updated. If the method of extracting the sub-image processing result is a method of displaying on the display device 7, the user confirms and determines the display result. In addition, a program has been prepared in advance to determine whether to update the imaging parameters according to the predetermined matching score value and the tolerance range, etc., and the configuration is adopted in which the program is executed and determined. It is also good. Moreover, as long as it is a structure which the
ステップＳ１４では、副撮影パラメータを新たな本撮影パラメータとする更新を行う。具体的には画像処理プログラム内で保持している本撮影パラメータの値を、副撮影パラメータに上書きするのみである。しかし、例えば同時にステップＳ０で読み込んでいるような記憶領域に保存されている設定データへ書き込んだり、撮影装置６の保持するパラメータを更新したりしても良い。
In step S14, the sub imaging parameter is updated to be a new main imaging parameter. Specifically, the value of the main photographing parameter held in the image processing program is only overwritten on the sub photographing parameter. However, for example, the setting data stored in the storage area as read at step S0 may be simultaneously written, or the parameters held by the photographing
ステップＳ１５では調整処理を終了する。不要になった一時記憶領域を解放して、画像処理を終了しても良いし、再利用可能なデータを保持し、再度ステップＳ０やステップＳ１に戻り、画像処理の指示を待ちうけても良い。 At step S15, the adjustment process is ended. The temporary storage area that has become unnecessary may be released to end the image processing, or reusable data may be held, and the process may return to step S0 or step S1 and wait for an instruction for image processing. .
以上のように、本撮影画像に対する画像処理の結果が前記制御装置に送信され、撮影装置が副撮影パラメータを用いて対象物を撮影して副撮影画像を得て、画像処理装置が前記副撮影画像に対する前記画像処理を施す処理がまず実行される。 As described above, the result of the image processing on the main captured image is transmitted to the control device, and the image capturing device captures an object by using the sub-capture parameters to obtain a sub-captured image, and the image processing device performs the sub-capture The process of applying the image processing to an image is first performed.
その後、本撮影画像と副撮影画像、それぞれに対する画像処理の結果とを比較して、副画像処理の結果が良好な場合には副撮影パラメータを新しい本撮影パラメータに更新し、副画像処理の結果が良好でない場合は更新しない。 Thereafter, the main photographed image and the sub-photographed image are compared with the result of the image processing for each, and if the result of the sub image processing is good, the sub photographing parameter is updated to a new main photographing parameter, and the result of the sub image processing If not good, do not renew.
本実施形態によると副画像処理結果を抽出し、その処理結果が適切であれば本撮影パラメータを更新する。その結果、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたり、損傷したりするなどの悪影響を抑制した。 According to this embodiment, the sub-image processing result is extracted, and if the processing result is appropriate, the main imaging parameters are updated. As a result, adverse effects such as stopping the device in operation, causing a malfunction, and damage due to failure of this image processing due to the adjustment of the imaging parameters are suppressed.
図４は本発明の第１実施形態における撮影パラメータを調整する時の画像処理装置の動作を説明する図である。 FIG. 4 is a view for explaining the operation of the image processing apparatus when adjusting the imaging parameters in the first embodiment of the present invention.
図５は、本発明の第１実施形態における撮影パラメータを調整する時の画像処理の結果及び撮影パラメータの更新を説明する図である。 FIG. 5 is a diagram for explaining the results of image processing and updating of imaging parameters when adjusting the imaging parameters in the first embodiment of the present invention.
画像処理結果及びパラメータ更新の関係を図５に数値で例示している。これらを用いて第１実施形態の効果について、より具体的なシーンに基づいて説明する。 The relationship between the image processing result and the parameter update is illustrated numerically in FIG. The effects of the first embodiment will be described based on more specific scenes using these.
なお図４は、撮影対象４１−４４（形状規格は同一のもの）に対する本撮影画像と副撮影画像の出力イメージを示している。図１（ａ）で詳細に示したそのほかの構成と同一のものは同様の符番を付して、一部は図示と説明を省略してある。また制御のフローは図３に示されたものと同様である。 FIG. 4 shows an output image of the main captured image and the sub-captured image for the shooting target 41-44 (the shape standard is the same). The same components as those in the other configurations shown in detail in FIG. 1A are denoted by the same reference numerals, and some of them are omitted from the drawing and the description. The control flow is the same as that shown in FIG.
使用者が採用する画像処理はパターンマッチングに限らず、エッジ抽出及びその位置や位相、サイズ、閾値二値化処理後の面積、所定の領域の輝度情報や色情報などを検出してその値を利用しても良い。 The image processing adopted by the user is not limited to pattern matching, but the edge extraction and its position and phase, size, area after threshold binarization processing, luminance information and color information of a predetermined area, etc. You may use it.
さらには、複数の領域内でそれぞれ個別の画像処理をしたりしても良い。 Furthermore, individual image processing may be performed in each of a plurality of regions.
また、説明の簡易化のために調整対象となる撮影パラメータは、図３を参照して説明した処理フローと同様に、初期のゲイン値（初期の本撮影パラメータ）の増幅倍率に限って説明する。したがってゲイン値の増幅倍率以外のさまざまな撮影パラメータを調整することができる。 In addition, as with the processing flow described with reference to FIG. 3, the imaging parameters to be adjusted for simplification of the description will be described focusing on the amplification factor of the initial gain value (initial main imaging parameter). . Therefore, various imaging parameters other than the amplification factor of the gain value can be adjusted.
ここでは、パターンマッチングのスコアが閾値０．６以上であれば成功判定：ＯＫ、下回れば失敗判定：ＮＧとした。 Here, if the score of pattern matching is equal to or more than the threshold value 0.6, the success judgment: OK, and if it is lower, the failure judgment: NG.
パターンマッチングの手法を用いて画像データ内より探索し、その探索結果を位置座標（Ｘ，Ｙ）や位相（θ）、パターンマッチングのスコア、スコアに基づいた判定結果、を出力し制御装置１へ返信する。
The image data is searched from the image data using a pattern matching method, and the search result is output to position controller (X, Y), phase (θ), pattern matching score, determination result based on the score, and output to control
またパターンマッチングのスコアは閾値０．６としているが、閾値ぎりぎりのラインで動作させるのではなく、パターンマッチングのスコアが０．８以上で安定して動作するように初期調整されている。 In addition, although the score of pattern matching is set to a threshold value of 0.6, it is not initially operated on the threshold line, but is initially adjusted so that the pattern matching score operates stably at 0.8 or more.
このとき、図５を見ると撮影対象４１は、マッチングスコア０．６５であり本画像処理自体は成功しているが、使用者の目標値（ここではマッチングスコア０．８）には到達していないことがわかる。
At this time, looking at FIG. 5, the
再び図４を参照すると、本撮影画像４１１及び処理結果を表示装置７で表示される画面７１などで確認すると、撮影対象４１が好適な明るさで撮影されておらず、使用者は撮影パラメータの調整が必要であると推測できる。そのため、使用者は副撮影パラメータを増幅倍率２．０倍などに上げ、本画像処理中の時間を用いて画像を撮影し、副撮影画像４１２を得る。その上で本画像処理と同様の画像処理を副撮影画像に施し（副画像処理）、その結果を画面７２上で表示する。この処理は図５における撮影対象４１の本画像処理結果、副画像処理結果に対応している。
Referring again to FIG. 4, when the main photographed
このとき、増幅倍率を上げ過ぎたために副撮影画像４１２は撮影対象４１が画像上で飽和してしまい、パターンマッチングなどを含んだ副画像処理は失敗してしまった（判定：ＮＧ）。
At this time, the
前述したように本発明ではこの時点において制御装置１に返信するための本撮影パラメータをただちに調整することはしない。そのため、本画像処理の結果（図５の撮影対象４１に対応する本画像処理結果）が返信され、装置は停止したりすることなく動作する。制御装置１はその処理結果を受け取り、撮影対象４１の搬送を進め、続いて撮影対象４２を計測するように画像処理装置５に制御指令を送信した。このとき、副撮影パラメータを増幅倍率１．７倍にして副画像撮影すると、副撮影画像４２２が得られ、副画像処理は成功（ＯＫと判定される）するとともに、撮影対象４２の位置や位相は本画像処理とほぼ同等の結果が得られた。しかしながら、図５における撮影対象４２の欄を参照すると、パターンマッチングのスコアは、まだ目標値（０．８０）以上を達成していないので、使用者は調整を続けることとする。
As described above, the present invention does not immediately adjust the main imaging parameters to be sent back to the
撮影対象４２の搬送を進め、続いて撮影対象４３を計測するように画像処理装置５に制御指令を送信した。このとき、副撮影パラメータを増幅倍率１．４倍とすると、副撮影画像４３２が得られた。この副画像処理は成功（ＯＫと判定される）するとともに、撮影対象４３の位置や位相は本画像処理とほぼ同等の結果が得られた。さらに、パターンマッチングのスコアも０．９１と目標値０．８以上を得ることができたので、この副処理画像処理における撮影パラメータを新しい本撮影パラメータとして更新した。
The conveyance of the
撮影対象４３の搬送を進め、続いて撮影対象４４を撮影した。このとき、画像処理装置５は新しい本撮影パラメータである増幅倍率１．４倍で撮影した。
The conveyance of the subject 43 was advanced, and then the subject 44 was photographed. At this time, the
その結果、４４１のような本撮影画像が得られ、本画像処理は成功するとともに、撮影対象４４のパターンマッチングのスコアは前回の検討内容とほぼ同等の結果が得られた。
As a result, a main photographed image such as 441 is obtained, and the main image processing is successful, and the score of pattern matching of the photographing
本発明では本画像処理中に本撮影パラメータと異なる副撮影パラメータで撮影画像を取得することができ、その画像処理結果を抽出して検討することができると言える。 In the present invention, it is possible to acquire a photographed image with sub-photographing parameters different from the main photographing parameter during main image processing, and it is possible to extract and examine the image processing result.
そのため、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたり、損傷したりするなどの悪影響を与えることなく、随時好適な撮影パラメータの検討と調整を行うことができる。 Therefore, without having an adverse effect such as the failure of this image processing and the stop of the device in operation due to the adjustment of the imaging parameter, the malfunction or the damage, etc. Adjustments can be made.
さらに、対象物に不良（材質や形状など不良ワーク）が混在したり、対象物の位置決めのバラツキが大きいような場合においても有効である。すなわち、そのようなワークより抽出される副画像処理結果を検討対象とせず、無視したりすることもできるので、撮影パラメータを過調整したり、誤調整したりして装置へ悪影響を及ぼすことを回避できる。 Furthermore, the present invention is also effective in the case where defects (defective works such as material and shape) are mixed in the object, or variations in positioning of the object are large. That is, since the sub-image processing result extracted from such a work can not be considered but can be ignored, it is possible to over-adjust or mis-adjust imaging parameters and adversely affect the apparatus. It can be avoided.
また、稼働中に撮影パラメータを調整することができるので、装置を停止したりして撮影パラメータの調整の機会を別途設けることなども不要になる。 In addition, since imaging parameters can be adjusted during operation, it is not necessary to stop the apparatus and separately provide an opportunity to adjust the imaging parameters.
また、本画像処理中の処理時間を用いて、副画像撮影を行ったり、本画像処理の結果を外部に返信した後に副画像処理を行って、その結果を抽出したりすることができる。そのため、本画像処理にかかる処理時間に遅延などの影響を与えずに、副撮影パラメータの検討及び調整を行うこともできる。 In addition, sub-image shooting can be performed using processing time during main image processing, or sub-image processing can be performed after the main image processing result is returned to the outside, and the result can be extracted. Therefore, the sub-photographing parameter can be studied and adjusted without affecting the processing time required for the main image processing such as delay.
さらに、本撮影パラメータによる画像処理結果は外部に返信されつつ、検討中の副撮影パラメータに基づいた副画像処理結果の抽出および確認が行える。そのため、撮影パラメータの調整アルゴリズムの不備や、ユーザインターフェースの操作ミス、撮影パラメータの調整操作に関して習熟度の低いユーザの誤調整等による人的な外部への悪影響も回避することもできる。 Furthermore, while the image processing result by the main imaging parameters is returned to the outside, the extraction and confirmation of the sub image processing result based on the sub imaging parameter under consideration can be performed. Therefore, it is also possible to avoid an adverse influence on the human outside due to a defect in the adjustment parameter of the imaging parameter, a mistake in the operation of the user interface, or a user's low skill level adjustment regarding the adjustment operation of the imaging parameter.
（第２実施形態）
以下、図６を用いて本発明の第２実施形態の特徴である複数の副撮影パラメータを比較検討して本撮影パラメータを更新する本撮影パラメータ調整工程について説明する。本実施形態は複数の副撮影パラメータを用いて副画像をそれぞれ撮影する。そして、副画像データ群を取得する副画像群取得工程と、前記取得した副画像群に対して副画像処理を行い、その処理結果を抽出する副画像処理工程に特徴がある。
Second Embodiment
The main imaging parameter adjustment step of updating the main imaging parameters by comparing and examining a plurality of sub-imaging parameters, which is a feature of the second embodiment of the present invention, will be described below using FIG. In the present embodiment, sub-images are captured using a plurality of sub-capture parameters. The present invention is characterized in that a sub-image group acquiring step of acquiring a sub-image data group and a sub-image processing step of performing sub-image processing on the acquired sub-image group and extracting the processing result.
この複数の副撮影パラメータから本撮影パラメータを選択して更新する本撮影パラメータ調整される。 The main photographing parameter adjustment is performed to select and update the main photographing parameter from the plurality of auxiliary photographing parameters.
その他の点で、第１実施形態と重複する構成は一部説明を省略する。 In the other points, the configuration overlapping with the first embodiment will not be partially described.
図６に、第２実施形態にかかる、制御シーケンスを示した。第１実施形態と同様に、制御装置１が各種装置へ制御指令を出したり、その指令先や指令内容に応じて、搬送装置２やロボットアーム３、画像処理装置５等は所定の処理を行う。その後、その制御結果や処理結果を制御装置１に返信したりするもので、装置の構成自体は第１実施形態と同様である。
FIG. 6 shows a control sequence according to the second embodiment. As in the first embodiment, the
図６の９ａは上述のような構成において、制御シーケンスを例示したものである。本撮影画像データを入力し、その画像データを使用して本画像処理を開始するタイミング５４とともに、本撮影パラメータと異なる複数の副撮影パラメータで撮影装置６へ連続撮影指令を送信する。撮影装置６はタイミング６３ａより撮影パラメータを切り替えながら副撮影を行い、その撮影画像データを内部メモリなどに蓄積し、本画像処理が終了する以前の６３ｆで終了する。なお、ここでは副撮影パラメータで撮影できる画像枚数（撮影回数）は画像処理設定を構築する際の撮影時間と画像処理時間の関係によって予め算出、検討及び記憶していることとして説明する。処理の手順として、実施形態１同様に制御装置１へ本画像処理結果を返信することを優先している。本画像処理結果の返信が終わったタイミング５５以降の、例えばタイミング５６ａにおいて、撮影装置６の撮影できた副撮影画像データ群を入力（ダウンロード）する。画像処理装置５はタイミング５４−５５の区間で実行した本画像処理と同様の画像処理を副処理画像群に行う。処理が終わったタイミング５７ａで副画像処理結果群を合成したり、データ配列に格納したりして表示を切り替えられるようにして、表示装置７等に表示したりして出力してもよい。また、その出力された副画像処理結果のいずれかがが適切であると判断されれば、入力装置８等を用いたりして、例えばタイミング８１ａで、適切と判断された副画像処理結果と対応する副撮影パラメータを新しい本撮影パラメータとして更新する。また、適切な画像処理結果が得られない場合は、引き続き制御装置１などからの制御指令を待ったりして、次回以降も同様にして複数の副撮影パラメータの変更を行ったり同様の副撮影パラメータを用いても良い。
9a of FIG. 6 illustrates the control sequence in the configuration as described above. The main photographing image data is input, and a timing for starting main image processing using the image data is transmitted, and a continuous photographing instruction is transmitted to the photographing
以上、第２実施形態によれば、予め設定された本撮影パラメータを用いて本撮影、本画像処理及び本画像処理結果を制御装置１に返信するとともに、本画像処理中に複数の副撮影パラメータを用いて撮影装置に撮影指令を行う。そして、それぞれの副画像処理結果を抽出し、その処理結果が適切であれば対応した副撮影パラメータを用いて本撮影パラメータを更新することができる。そのため、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたり、損傷したりするなどの悪影響を抑制することができる。
As described above, according to the second embodiment, main shooting, main image processing, and main image processing results are sent back to the
好適な撮影パラメータの検討と調整を行うことができるほか、本画像処理中に複数の副撮影パラメータを用いて副撮影画像データを撮影し、複数の副画像処理結果を抽出して検討することができる。したがって、より好適な撮影パラメータを短時間で検出することができる。 In addition to examining and adjusting suitable imaging parameters, it is also possible to capture sub-captured image data using a plurality of sub-shooting parameters during main image processing, and to extract and review a plurality of sub-image processing results. it can. Therefore, more suitable imaging parameters can be detected in a short time.
図７は撮影パラメータの調整動作に関するイメージ図である。また、そのときの画像処理結果及び撮影パラメータ更新の関係を図８に数値で例示している。これらを用いて第２実施形態の効果について説明する。 FIG. 7 is an image diagram regarding the adjustment operation of imaging parameters. Further, the relationship between the image processing result and the imaging parameter update at that time is illustrated by numerical values in FIG. The effects of the second embodiment will be described using these.
図７の例は図４と同様に制御装置１が搬送装置２を用いていくつかの撮影対象を搬送したり、所定の搬送量が送りだされた時点で、画像処理装置５に画像処理の制御指令を送信したりする装置形態である。また、画像処理の内容も、説明が無い限りは第１実施形態と同様とする。また、本画像処理中に副撮影可能な画像枚数は前記同様に３枚（３回）として説明する。副撮影パラメータはいずれもユーザが入力装置より設定できることとし、今回の例では以前の画像処理結果などを確認し、増幅倍率をそれぞれ２．０倍、１．７倍、１．４倍で検討することとして入力した。画像処理装置５は制御指令を受けつけると、撮影装置６に撮影指令を送り、所定の本撮影パラメータで、設置された撮影対象４１を撮影し、撮影画像４１１を取得する。その撮影画像を用いて図８のような画像処理結果（判定、位置、位相、マッチングスコア）を制御装置１に返信する。撮影対象４２を撮影した撮影画像を４２１とする。
As in the case of FIG. 4, in the example of FIG. 7, when the
図８を見ると、撮影対象４１は、マッチングスコア０．６５であり本画像処理自体は成功しているが、目標値０．８には到達していないことがわかる。また、本撮影画像４１１及び処理結果を表示装置７で表示される画面７１ａなどで確認すると、撮影対象４１やそれ以前の撮影対象が好適な明るさで撮影されておらず、撮影パラメータの調整が必要であると推測できる。副撮影パラメータ（初期ゲイン値の増幅倍率）は前述の通り２．０倍、１．７倍、１．４倍を検討することとした。このとき、本画像処理中の時間においてそれぞれの副撮影パラメータで副画像データを撮影し、画像処理プログラム５３１は副撮影画像４１２ａ、４１２ｂ、４１２ｃへ入力する。また、本画像処理と同様に副画像処理を行った結果を画面７２ａ上で表示することとする。
It can be seen from FIG. 8 that although the
このとき、３つの異なる副撮影パラメータで撮影された副撮影画像の処理結果は図８のように副撮影パラメータが増幅倍率２．０倍では画像処理が成功せず、増幅倍率１．７倍では画像処理は成功したが目標値０．８に到達しなかった。増幅倍率１．４倍では画像処理が成功し、かつスコアが目標値０．８を上回ったため、この増幅倍率を本撮影パラメータとして更新することとする。制御装置１は処理結果を受け取ったので、撮影対象４１の搬送を進め、続いて撮影対象４２を計測するように画像処理装置５に制御指令を送信した。このとき、画像処理装置５は本撮影パラメータを先ほど更新された増幅倍率１．４倍で撮影するので、４２１のような本撮影画像が得られる。この本画像処理は成功するとともに、撮影対象４２のパターンマッチングのスコアは前回の検討内容とほぼ同等の結果（０．９）が得られた。このように第２実施形態では、本画像処理中に本撮影パラメータと異なる複数の副撮影パラメータで撮影画像を取得することができ、それぞれの副画像処理結果を抽出して比較検討することができると言える。
At this time, the processing result of the sub-photographed image photographed with three different sub-photographing parameters is that the image processing is not successful when the sub-photographing parameter is amplification magnification of 2.0 as shown in FIG. The image processing succeeded but did not reach the target value of 0.8. Since the image processing is successful at an amplification magnification of 1.4 and the score exceeds the target value of 0.8, the amplification magnification is updated as a main imaging parameter. Since the
そのため、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたり、損傷したりするなどの悪影響を与えることが抑制された。したがって好適な撮影パラメータの検討と調整を行うことができるほか、複数の撮影パラメータを検証することができるので、より短時間で好適な撮影パラメータを検出することができると言える。 Therefore, it has been suppressed that the image processing fails due to the adjustment of the imaging parameters to cause an adverse effect such as stopping the device in operation, causing a malfunction, or damaging the device. Therefore, it is possible to examine and adjust suitable imaging parameters and to verify a plurality of imaging parameters, so it can be said that suitable imaging parameters can be detected in a shorter time.
本発明に記載の画像処理方法によれば、装置が稼働している最中においても、事前に設定された本撮影パラメータを用いて対象物の撮影と本画像データの取得、本画像処理の実行および処理結果の外部への返信を行うことができる。本画像処理の実行中に本撮影パラメータと異なる副撮影パラメータで撮影し、さらに任意のタイミングにおいて副画像データを取得し、副画像処理を行ってもよい。その処理結果を抽出したり、抽出された結果如何で副撮影パラメータを本撮影パラメータへ更新したりすることができる。そのため、本撮影パラメータを直接更新したりすることなく、少なくとも一つ以上の異なる撮影パラメータを用いて画像処理結果を別途抽出したり、確認したりすることができる。その結果、撮影パラメータの調整を起因として本画像処理に失敗して稼働中の装置を停止したり、誤動作を生じたりするなどの悪影響を与えることなく、好適な撮影パラメータの検討や調整を行うことができる。 According to the image processing method described in the present invention, even while the apparatus is in operation, shooting of an object and acquisition of main image data and execution of main image processing are performed using the main imaging parameters set in advance. And can reply to the outside of the processing result. During execution of the main image processing, imaging may be performed with sub-imaging parameters different from the main imaging parameters, and sub-image data may be acquired at any timing to perform sub-image processing. The processing result can be extracted, or the sub-imaging parameter can be updated to the main imaging parameter depending on the extracted result. Therefore, the image processing result can be separately extracted or confirmed using at least one or more different imaging parameters without directly updating the main imaging parameters. As a result, examination and adjustment of suitable imaging parameters can be performed without adversely affecting the image processing during operation due to the adjustment of imaging parameters and stopping the apparatus in operation or causing a malfunction. Can.
このように、制御装置と画像処理装置と撮影装置を備えた装置システムであって、各工程を実行するプログラムを前記ロボットシステムの制御部に備えている装置システムを構成した。すなわち、装置稼働率の高い優れた装置システムを提供できる。 As described above, an apparatus system including the control apparatus, the image processing apparatus, and the imaging apparatus is configured, which includes the program for executing each process in the control unit of the robot system. That is, it is possible to provide an excellent device system with high device availability.
また、図１に示したようにさらにロボットアームを備えるなど、使用者は用途に応じて、装置システムを構成してよい。 Also, the user may configure the device system according to the application, such as further including a robot arm as shown in FIG.
以上のように第２実施形態では、副撮影画像は、互いに異なる副撮影パラメータをそれぞれ用いて前記対象物を複数回撮影して副撮影画像群を用いる点に特徴がある。 As described above, the second embodiment is characterized in that the sub-captured image uses the sub-captured image group by capturing the object a plurality of times using the sub-capture parameters different from each other.
１ 制御装置
５ 画像処理装置
６ 撮影装置
1
Claims (14)
予め定められた本撮影パラメータを用いて前記撮影装置が搬送される対象物を撮影して本撮影画像を得て、前記本撮影画像に対する画像処理を施す工程と、
前記本撮影パラメータとは異なる副撮影パラメータを用いて、前記撮影装置が搬送される対象物を撮影して副撮影画像を得て、前記副撮影画像に対する画像処理を施す工程と、
前記本撮影画像に対する画像処理の結果と前記副撮影画像に対する画像処理の結果とを比較した結果に基づき、前記副撮影パラメータを新しい本撮影パラメータとして更新するか否かを切り替える工程と、
を備えた制御方法。 A control method for controlling imaging of an object conveyed using an imaging device, comprising:
A step of capturing an object captured by the image capturing apparatus using a predetermined main capturing parameter to obtain a main captured image, and performing image processing on the main captured image;
Using a sub-shooting parameter different from the main shooting parameter to shoot a target object conveyed by the shooting device to obtain a sub-shot image, and performing image processing on the sub-shot image;
Switching whether to update the sub-photographing parameter as a new main photographing parameter based on the result of comparing the result of the image processing on the main photographed image and the result of the image processing on the sub-photographed image;
Control method.
予め定められた本撮影パラメータを用いて前記撮影装置が搬送される対象物を撮影して本撮影画像を得る手段と、
前記本撮影パラメータとは異なる副撮影パラメータを用いて、前記撮影装置が搬送される対象物を撮影して副撮影画像を得る手段と、
前記本撮影画像と前記副撮影画像に対して画像処理を施す画像処理手段と、
前記本撮影画像に対する画像処理の結果と前記副撮影画像に対する画像処理の結果とを比較した結果に基づき、前記副撮影パラメータを新しい本撮影パラメータとして更新するか否かを切り替えるよう制御する制御手段と、
を備えた制御システム。 A control system for controlling imaging of an object transported using an imaging device, comprising:
A unit for photographing an object to be conveyed by the photographing apparatus using a predetermined main photographing parameter to obtain a photographed image;
A unit for capturing an object to be transported by the imaging apparatus using the sub-imaging parameter different from the main imaging parameter to obtain a sub-captured image;
Image processing means for performing image processing on the main captured image and the sub-captured image;
And control means for controlling whether or not to update the sub-photographing parameter as a new main photographing parameter based on the result of comparing the result of the image processing on the main photographed image and the result of the image processing on the sub-photographed image ,
Control system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019036676A JP6855526B2 (en) | 2019-02-28 | 2019-02-28 | Control method, control system, program, storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019036676A JP6855526B2 (en) | 2019-02-28 | 2019-02-28 | Control method, control system, program, storage medium |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015023664A Division JP6494313B2 (en) | 2015-02-09 | 2015-02-09 | Image processing method, apparatus system, program, and storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019106209A true JP2019106209A (en) | 2019-06-27 |
| JP6855526B2 JP6855526B2 (en) | 2021-04-07 |
Family
ID=67061404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019036676A Active JP6855526B2 (en) | 2019-02-28 | 2019-02-28 | Control method, control system, program, storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6855526B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009139239A (en) * | 2007-12-06 | 2009-06-25 | Nippon Steel Corp | Method for detecting surface flaw of band form, device and computer program thereof |
| JP2013108794A (en) * | 2011-11-18 | 2013-06-06 | Mitsubishi Electric Engineering Co Ltd | Inspection apparatus |
| JP2014514580A (en) * | 2011-05-06 | 2014-06-19 | ビオメリュー | Bioimaging method and system |
| JP5597783B1 (en) * | 2014-04-03 | 2014-10-01 | 株式会社シーアイエス | Imaging device |
-
2019
- 2019-02-28 JP JP2019036676A patent/JP6855526B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009139239A (en) * | 2007-12-06 | 2009-06-25 | Nippon Steel Corp | Method for detecting surface flaw of band form, device and computer program thereof |
| JP2014514580A (en) * | 2011-05-06 | 2014-06-19 | ビオメリュー | Bioimaging method and system |
| JP2013108794A (en) * | 2011-11-18 | 2013-06-06 | Mitsubishi Electric Engineering Co Ltd | Inspection apparatus |
| JP5597783B1 (en) * | 2014-04-03 | 2014-10-01 | 株式会社シーアイエス | Imaging device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6855526B2 (en) | 2021-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6494313B2 (en) | Image processing method, apparatus system, program, and storage medium | |
| JP3870872B2 (en) | Inspection data creation method and substrate inspection apparatus using this method | |
| JP2015232477A (en) | Inspection device, inspection method, and program | |
| JP2019145177A (en) | Image processing method and imaging device | |
| JP7337495B2 (en) | Image processing device, its control method, and program | |
| JP2010141698A (en) | Imaging apparatus | |
| WO2021083173A1 (en) | Exposure control method and device, and storage medium | |
| JP2017045166A (en) | Workpiece processing method, method for creating reference image, reference image creation device, workpiece processing device, program, and recording medium | |
| CN112446287A (en) | Electronic apparatus, method, and storage medium for setting control processing procedure of device | |
| CN109448062A (en) | A kind of camera calibration method, apparatus, terminal device and storage medium | |
| JP2020082274A (en) | Image processing device, control method thereof, and program | |
| JP6855526B2 (en) | Control method, control system, program, storage medium | |
| US11839980B2 (en) | Image processing apparatus monitoring target, control method therefor, and storage medium storing control program therefor | |
| US20210042576A1 (en) | Image processing system | |
| JP6825067B2 (en) | Inspection equipment and its control method | |
| CN116519597B (en) | Multi-axis system detection method, device, upper computer, medium and system | |
| JP2020010166A (en) | Image processing system and control method thereof, imaging apparatus, program | |
| JP2018125658A (en) | Portable information processing device having camera function, display control method thereof, and program | |
| JP2017122682A (en) | Visual inspection device, visual inspection method, and computer program executable by controller used in visual inspection device | |
| CN111225144A (en) | Video shooting method and device, electronic equipment and computer storage medium | |
| CN111145674B (en) | Display panel detection method, electronic device and storage medium | |
| JPH06160022A (en) | Image position correcting device | |
| JP2020035052A (en) | Method of controlling imaging apparatus, imaging apparatus and method of manufacturing component | |
| US20220261943A1 (en) | Image processing device, image processing method, production system, product manufacturing method, and storage medium | |
| JP2009109440A (en) | Visual examination processing system and program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210317 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6855526 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |