JP2007128306A - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- JP2007128306A JP2007128306A JP2005320765A JP2005320765A JP2007128306A JP 2007128306 A JP2007128306 A JP 2007128306A JP 2005320765 A JP2005320765 A JP 2005320765A JP 2005320765 A JP2005320765 A JP 2005320765A JP 2007128306 A JP2007128306 A JP 2007128306A
- Authority
- JP
- Japan
- Prior art keywords
- image
- displayed
- processing
- measurement
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 116
- 238000005259 measurement Methods 0.000 claims description 127
- 238000000034 method Methods 0.000 claims description 32
- 238000007689 inspection Methods 0.000 abstract description 9
- 238000012360 testing method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000012951 Remeasurement Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001510071 Pyrrhocoridae Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Abstract
Description
この発明は、計測対象物の画像が入力され、その入力された画像に対して画像処理を行うことにより、検査や判別を行う画像処理装置に関する。 The present invention relates to an image processing apparatus that receives an image of a measurement object and performs inspection and discrimination by performing image processing on the input image.
従来の画像処理装置は、計測対象物に対して画像処理を行い検査や判別を行うが、表示画面には通常、画像処理結果の画像を１枚表示し、その画像に重ねてＯＫ／ＮＧ等の判定結果や計測結果、演算結果等の値を表示していた。 A conventional image processing apparatus performs image processing on a measurement object to perform inspection and discrimination. Usually, a single image of the image processing result is displayed on a display screen, and OK / NG or the like is superimposed on the image. The values of the determination results, measurement results, calculation results, etc. were displayed.
しかしながら、画像処理装置においては、単機能の処理を行うだけではなく、様々な処理項目を組み合わせて一連の処理の結果として検査結果や判別結果が得られることが一般的であり、最終演算結果の画像だけを表示するのではＮＧが発生したときに原因を考察、検討するために十分な情報が得られるとはいえないという問題があった。 However, in an image processing apparatus, it is common not only to perform single-function processing, but also to obtain inspection results and discrimination results as a result of a series of processing by combining various processing items. Displaying only an image has a problem that it cannot be said that sufficient information can be obtained for considering and examining the cause when NG occurs.
本願発明は、上記問題点に着目してなされたものであり、一連の処理フローの中から所望の処理項目を複数選択して、選択された処理項目に対応する処理画像を複数表示可能とすることにより、上記課題を解決することを目的とする。 The present invention has been made paying attention to the above-described problems. A plurality of desired processing items can be selected from a series of processing flows, and a plurality of processing images corresponding to the selected processing items can be displayed. Accordingly, it is an object to solve the above problems.
この発明にかかる画像処理装置は、計測対象物が撮像された画像が入力され、その入力画像に対して複数の一連の処理項目からなる画像処理を実行する画像処理装置であって、入力画像に対する一連の処理項目を表示するとともに、表示した一連の処理項目に対して画像表示を行う処理項目の指定を受け付けるステップＡと、前記ステップＡによって指定された処理項目を記録するステップＢと、外部からの入力画像を取得するステップＣと、前記ステップＣで得られた入力画像に対して、前記の複数の処理項目からなる一連の処理を実行するステップＤと、前記ステップＤにおける処理の実行過程における前記ステップＢで記録された処理項目について、当該指定された処理を経た後であって、一連その次の処理を行う前の画像を、モニタ画面に表示するするステップＥとを有する。 An image processing apparatus according to the present invention is an image processing apparatus that receives an image of a measurement object and performs image processing including a series of processing items on the input image. A step A for displaying a series of process items and receiving a designation of a process item for displaying an image with respect to the displayed series of process items; a step B for recording the process item designated by the step A; In step C for acquiring the input image, step D for executing a series of processes consisting of the plurality of processing items on the input image obtained in step C, and in the process of executing the process in step D For the processing item recorded in the step B, an image after the specified processing and before performing the next processing is displayed on the monitor. And a step E of displaying the surface.
この発明によれば、不良の発生状況やその原因の推定や特定を容易にすることが可能になる。 According to the present invention, it is possible to easily estimate and specify the state of occurrence of a defect and its cause.
（１）画像処理装置の構成
図１は、この発明が適用された画像処理装置の設置例を示す。
この実施例の画像処理装置は、カメラ１、コントローラ２、モニタ３、コンソール４などにより構成されており、工場の検査ラインＬにおいて、搬送されてくるワークＷを順に撮像してカラー画像を生成し、その画像を処理することによって、前記ワークＷ上の計測対象物７（マーク、文字、欠陥など）の位置、姿勢、大きさなどの適否を判別する。尚、コンソール４はマウスやキーボード、タッチパネルなど操作者がＣＰＵ２１に指示を送るために用いることができる機器であればその形態は限定されない。カメラ１は１台に限定されず複数台接続することができる。
(1) Configuration of Image Processing Device FIG. 1 shows an installation example of an image processing device to which the present invention is applied.
The image processing apparatus according to this embodiment includes a camera 1, a controller 2, a monitor 3, a console 4, and the like, and in the factory inspection line L, sequentially captures the conveyed work W and generates a color image. Then, by processing the image, it is determined whether or not the position, posture, size, etc., of the measurement object 7 (mark, character, defect, etc.) on the workpiece W are appropriate. The form of the console 4 is not limited as long as it is a device that can be used by an operator to send an instruction to the CPU 21 such as a mouse, a keyboard, and a touch panel. The camera 1 is not limited to one, and a plurality of cameras 1 can be connected.
図２は、前記画像処理装置の外部構成の概略を示す。 FIG. 2 shows an outline of the external configuration of the image processing apparatus.
図３は、前記画像処理装置の電気構成を示す。
前記コントローラ２は、ＣＰＵ２１を制御主体として、フラッシュメモリ２２、ＲＡＭ２３、グラフィックコントローラ２４、カメラ用インターフェース２５、入力用インターフェース２６、外部用インターフェース２７などを具備する。
FIG. 3 shows an electrical configuration of the image processing apparatus.
The controller 2 includes a flash memory 22, a RAM 23, a graphic controller 24, a camera interface 25, an input interface 26, an external interface 27, etc., with the CPU 21 as a controlling entity.
フラッシュメモリ２２には、プログラムや処理に必要なパラメータなどが格納され、ＲＡＭ２３には、画像データや途中の演算結果などが一時保存される。
カメラ用インターフェース２５には、前記カメラ１の駆動回路や、Ｒ，Ｇ，Ｂの各画像信号を受け付けるためのバッファ、Ａ／Ｄ変換回路（いずれも図示せず。）などが含まれる。入力用インターフェース２６は、前記コンソール４からの信号を受け付けるためのものである。外部用インターフェース２７は、図示しない外部機器（パーソナルコンピュータ、ＰＬＣなど）と通信する際に使用される。グラフィックコントローラ２４は、前記モニタに対する表示制御を実行する。
外部用Ｉ／Ｆには、ＰＬＣやパソコンが接続されるが、ネットワークを介して他の画像処理装置と互いに接続することも可能である。
The flash memory 22 stores programs and parameters necessary for processing, and the RAM 23 temporarily stores image data and intermediate calculation results.
The camera interface 25 includes a drive circuit for the camera 1, a buffer for receiving R, G, and B image signals, an A / D conversion circuit (all not shown), and the like. The input interface 26 is for receiving a signal from the console 4. The external interface 27 is used when communicating with an external device (not shown) such as a personal computer or a PLC. The graphic controller 24 executes display control for the monitor.
The external I / F is connected to a PLC or a personal computer, but can also be connected to other image processing apparatuses via a network.
前記ＣＰＵ２１は、フラッシュメモリ２２やＲＡＭ２３に格納されているプログラムやパラメータなどをモニタ３に表示させたり、コンソール４や外部用Ｉ／Ｆ２７から入力されるデータをフラッシュメモリ２２やＲＡＭ２３に格納する。また、ワーク検出用のセンサ５（光電スイッチ、近接スイッチなど）が接続されている。ＣＰＵ２１は、このセンサ５からワークＷを検出した旨を示す信号を入力すると、カメラ用インターフェース２５を用いてカメラ１を駆動し、前記ワークＷを撮像させる。そして前記ワークＷのカラー濃淡画像（以下、「処理対象画像」という。）が生成され、ＲＡＭ２３に保存されると、ＣＰＵ２１は、前記フラッシュメモリ２２に記憶されたプログラムに基づき、前記計測対象物７を抽出する処理や、抽出された計測対象物７に対する計測処理を実行し、さらにその計測結果に基づき、計測対象物の良否を判定する。また、処理結果の画像（以下、「処理画像」）や計測処理結果のデータをフラッシュメモリ２２やＲＡＭ２３に格納する。さらに、外部用Ｉ／Ｆ２７を通じてネットワークで接続された他の画像処理装置の画像を取得したり、本画像処理装置から他の画像処理装置へプログラムやパラメータ等を送信する処理も行うことができる。 The CPU 21 displays programs, parameters, and the like stored in the flash memory 22 and the RAM 23 on the monitor 3, and stores data input from the console 4 and the external I / F 27 in the flash memory 22 and the RAM 23. Further, a workpiece detection sensor 5 (photoelectric switch, proximity switch, etc.) is connected. When the CPU 21 inputs a signal indicating that the workpiece W has been detected from the sensor 5, the CPU 21 drives the camera 1 using the camera interface 25 to image the workpiece W. Then, when a color grayscale image of the workpiece W (hereinafter referred to as “processing target image”) is generated and stored in the RAM 23, the CPU 21 performs the measurement object 7 based on a program stored in the flash memory 22. And the measurement process for the extracted measurement object 7 are executed, and the quality of the measurement object is determined based on the measurement result. Further, the processing result image (hereinafter, “processed image”) and the measurement processing result data are stored in the flash memory 22 and the RAM 23. Further, it is possible to perform processing of acquiring an image of another image processing apparatus connected via a network through the external I / F 27 and transmitting a program, a parameter, or the like from the image processing apparatus to another image processing apparatus.
なお、上記図１，２，３に示したコントローラ２は、画像処理専用に開発された装置であるが、これに限らず、たとえば、画像処理用のプログラムがインストールされたパーソナルコンピュータを使用してもよい。この場合のプログラムは、ＣＤ−ＲＯＭなどの記憶媒体または通信回線を介してパーソナルコンピュータに提供される。 The controller 2 shown in FIGS. 1, 2 and 3 is an apparatus developed exclusively for image processing. However, the controller 2 is not limited to this, and for example, a personal computer installed with an image processing program is used. Also good. The program in this case is provided to the personal computer via a storage medium such as a CD-ROM or a communication line.
（２）画像処理装置の画面表示
図４は、本実施例の画像処理装置のメイン画面を示す。最上部には「ファイル」、「編集」、「表示」、「計測」、「ツール」、「システム」などのシステムメニューを表示するシステムメニューエリアが表示され、その下段には、本画像処理装置で頻繁に使用する作業をツールバーとして表示するツールバーエリアが表示され、さらにその下段には、計測結果、計測対象、再計測、表示切替に関連する情報を表示する計測情報表示エリアが表示される。そして、これらの下に後に詳述するレイアウト切替の設定によって表示が切り替わるレイアウト切替エリアが表示される。
(2) Screen Display of Image Processing Device FIG. 4 shows a main screen of the image processing device of this embodiment. A system menu area for displaying system menus such as “file”, “edit”, “display”, “measurement”, “tool”, “system”, and the like is displayed at the top, and the image processing apparatus is displayed at the bottom. A tool bar area for displaying frequently used operations as a tool bar is displayed, and a measurement information display area for displaying information related to measurement results, measurement targets, remeasurement, and display switching is displayed in the lower part. Below these, a layout switching area in which the display is switched by the layout switching setting described in detail later is displayed.
システムメニューエリアの「ファイル」は、コンソール４等を通じて選択されると下位の選択メニューとして「セーブ」と「変更履歴」と「シーン切替」を表示する。「セーブ」をすると設定した各種設定データをセーブ処理を行う。「変更履歴」を選択すると、変更履歴ダイアログを表示し、選択された履歴で設定をロードする。変更履歴ダイアログとは、過去に履歴保存された設定変更（保存日時、保存データ種別・分類、保存データファイル名）を一覧で表示するものである。保存データとしては、目的とする検査、判別のために、予め準備された複数の画像処理項目の中から処理項目を選んでそれらを所定の順序で組み合わせて作成されたフロー（シーンデータ）の番号あるいは名称を表示する。「シーン切替」は、選択されるとシーンデータの名称もしくは番号とそのシーンデータが属するグループ（シーングループ）の入力を受け付けるための画面を表示し、テキスト入力もしくはドロップダウンリストにより入力／選択されたシーングループのシーンデータを編集あるいは実行などの作業対象として切り替える。 When “File” in the system menu area is selected through the console 4 or the like, “Save”, “Change History”, and “Scene Switch” are displayed as lower selection menus. When “Save” is selected, the set data is saved. When “change history” is selected, a change history dialog is displayed, and settings are loaded with the selected history. The change history dialog displays a list of setting changes (saved date, saved data type / classification, saved data file name) saved in the past in the past. Saved data is the number of a flow (scene data) created by selecting processing items from a plurality of image processing items prepared in advance and combining them in a predetermined order for the purpose of inspection and discrimination. Alternatively, the name is displayed. “Scene switch”, when selected, displays a screen for accepting input of the name or number of the scene data and the group (scene group) to which the scene data belongs, and is input / selected by text input or drop-down list Switch the scene group scene data as an object to be edited or executed.
システムメニューエリアの「編集」は、コンソール４等を通じて選択されると下位の選択メニューとして「フロー編集」、「ノンストップ調整開始／終了」とその他処理項目の編集、プロパティ設定を行うための項目を表示する。 “Edit” in the system menu area includes items for editing “flow editing”, “non-stop adjustment start / end” and other processing items and property settings when selected through the console 4 or the like. indicate.
「フロー編集」を選択すると、フロー編集ダイアログ画面が表示される（図１２）。メイン画面で選択表示しているシーンの編集を行う画面である。ウインドウの上部にはタイトルとして「フロー編集」と表示し、その下段にはツールボタンエリアが設けられ、フロー編集に必要な機能をボタンとして表示する。その下の左側には編集対象のフローをリスト形式で表示するフローエリアが設けられ、右側にはカメラ画像表示エリアが設けられる。最下段左側にはヘルプボタンが設けられ、選択されることにより操作マニュアルの画面を表示する。最下段右側には閉じるボタンが設けられ、選択されることにより、設定されたパラメータをメイン画面へ渡し、画面を閉じる。ツールボタンエリアのボタンには、ユニットを挿入するための「挿入」、ユニットのプロパティを設定するための「プロパティ」、ユニットを削除するための「削除」、ユニットをコピーするための「コピー」、ユニットをカットするための「カット」ユニットをペーストするための「ペースト」（コピー/カットボタンが有効で無い場合、無効化ボタンとして機能する）、ユニットの位置を上へ移動する「移動（上へ）」、ユニットの位置を下へ移動する「移動（下へ）」が設けられる。フローエリアでは、ユニットアイコン（図１２では、フローエリアの左端に縦に並んだ四角い箱で表示している）にて、ユニットに設定された処理項目に対応するイメージ（アイコン）を表示し、そのアイコンが選択されることで、そのユニットのプロパティを表示し、設定することができる。各アイコンの右側にはユニットの通し番号とユニット名とが表示され、フローの一番最後はカーソル選択ができるようにエンドマーカを表示する。図１６にプロパティ設定の例を示している。この例ではサーチのプロパティ設定を示しており、画面左上にはサーチ処理に関連する設定項目を表示し、各項目毎にそれぞれについて選択すると現在値を表示するとともに入力値を受け付けて設定を行う。画面左下には対象となる処理項目名とユニット名が表示される。画面右側にはカメラ画像や処理画像、処理結果が表示される。 When “Flow Edit” is selected, a flow edit dialog screen is displayed (FIG. 12). This is a screen for editing the scene selected and displayed on the main screen. “Flow edit” is displayed as the title at the top of the window, and a tool button area is provided at the bottom of the window, and functions necessary for flow editing are displayed as buttons. A flow area for displaying the flow to be edited in a list format is provided on the left side below, and a camera image display area is provided on the right side. A help button is provided on the left side of the bottom row, and an operation manual screen is displayed when selected. A close button is provided on the right side of the lowermost stage, and when selected, the set parameters are transferred to the main screen and the screen is closed. The buttons in the tool button area include “Insert” to insert a unit, “Property” to set unit properties, “Delete” to delete a unit, “Copy” to copy a unit, “Cut” to cut the unit “Paste” to paste the unit (functions as an invalidate button when the copy / cut button is not active), “Move (Up” to move the unit position up ) ”,“ Move (Down) ”is provided to move the position of the unit downward. In the flow area, an image (icon) corresponding to the processing item set in the unit is displayed with a unit icon (in FIG. 12, displayed as a square box vertically arranged at the left end of the flow area). When the icon is selected, the properties of the unit can be displayed and set. The serial number and unit name of the unit are displayed on the right side of each icon, and an end marker is displayed at the very end of the flow so that the cursor can be selected. FIG. 16 shows an example of property setting. In this example, search property settings are shown. Setting items related to search processing are displayed on the upper left of the screen, and when each item is selected, the current value is displayed and an input value is received and set. The target process item name and unit name are displayed in the lower left of the screen. A camera image, a processed image, and a processing result are displayed on the right side of the screen.
前述の「挿入」を選択すると、あらかじめユーザ操作レベルを初心者で登録しておくことにより図１８に示す具体的な計測、検出、判別処理の分類を表示し、選択を受け付けることで次にその用途に使用される処理項目候補を限定して次に表示するようにしている（図１９）。ユーザ操作レベルが上級者の場合はいきなり図１９のような処理項目を表示してその中から選択を受け付けるようにしている。 When the above-described “insertion” is selected, the user operation level is registered in advance by a beginner, and the specific measurement, detection, and classification processing classifications shown in FIG. 18 are displayed, and the use is accepted by accepting the selection. The processing item candidates used in the above are limited to be displayed next (FIG. 19). If the user operation level is advanced, the processing items as shown in FIG. 19 are suddenly displayed and a selection is accepted from them.
ノンストップ調整開始が選択されてノンストップ調整を実行すると、ノンストップ調整画面が表示される。ノンストップ調整画面では、現在表示中のシーンの計測処理を止めることなく、計測フローの編集・テスト計測・際計測を実行する場合にノンストップ調整画面を起動する。計測中は、現在計測中の処理に影響がある処理および別計測はできないが、計測用のスレッドとは別のスレッドで動作するノンストップ調整画面を使用することで、計測フローの編集や再計測が可能となる。尚、外部機器についての設定変更等の他のスレッドに影響があるような変更の場合は、ノンストップ調整画面では操作不能である。ノンストップ調整画面は、メイン画面に被さるようにポップアップモーダル表示される。ノンストップ調整画面は、メイン画面とレイアウトは全く同じ。メニュー、ツールボタンの右端にノンストップ調整中の文字が表示される（図１１参照）。メイン画面からノンストップ調整画面を開いた場合、初期表示時はメイン画面と同じシーンで表示を行う。シーン切替により、メイン画面と別のシーンに切替が行われる。メイン画面と同じシーンの場合、メイン画面へ更新後のデータを反映するノンストップ調整データ反映機能が利用可能となる。ノンストップ調整データ自動反映の設定において、データ転送を行う設定となっている場合、メイン画面へ戻るときに自動的にメイン画面へデータ転送が行われる。データ転送を行わない設定になっている場合、セーブ時にはファイルへの保存のみが行われる。ノンストップ調整データ反映が選択されると、ノンストップ調整画面で編集した設定を、現在計測中のシーンに反映する。 When non-stop adjustment start is selected and non-stop adjustment is executed, the non-stop adjustment screen is displayed. In the non-stop adjustment screen, the non-stop adjustment screen is activated when the measurement flow editing, test measurement, and interim measurement are executed without stopping the measurement processing of the currently displayed scene. During measurement, processing that affects the process currently being measured and separate measurement are not possible, but editing and re-measurement of the measurement flow is possible by using a non-stop adjustment screen that operates on a thread different from the measurement thread. Is possible. In the case of a change that affects other threads such as a setting change for an external device, the operation cannot be performed on the non-stop adjustment screen. The non-stop adjustment screen is displayed as a pop-up modal so as to cover the main screen. The non-stop adjustment screen has exactly the same layout as the main screen. Characters during non-stop adjustment are displayed at the right end of the menu and tool buttons (see FIG. 11). When the non-stop adjustment screen is opened from the main screen, the initial scene is displayed in the same scene as the main screen. The scene is switched to a different scene from the main screen. In the case of the same scene as the main screen, a non-stop adjustment data reflection function that reflects the updated data on the main screen can be used. If the non-stop adjustment data automatic reflection setting is set to perform data transfer, the data is automatically transferred to the main screen when returning to the main screen. If data transfer is not set, only saving to a file is performed when saving. When non-stop adjustment data reflection is selected, the settings edited on the non-stop adjustment screen are reflected in the currently measured scene.
システムメニューエリアの「表示」は、コンソール４等を通じて選択されると下位の選択メニューとして「カメラ画像モード設定」、「レイアウト設定」、「レイアウト切替」、「結果表示」、「カメラ画像拡大」と「濃度分布確認」の項目を表示する。 When “display” in the system menu area is selected through the console 4 or the like, “camera image mode setting”, “layout setting”, “layout switching”, “result display”, “camera image enlargement” are subordinate selection menus. Display the “Concentration distribution check” item.
「カメラ画像モード設定」では、カメラ画像表示エリア（後述する）に表示するカメラ画像の種類（カメラ画像モード）を表示し選択を受け付ける。カメラ画像モードには「スルー」、「フリーズ（スクロール前）」、「フリーズ（スクロール後）」、「最新ＮＧ（スクロール前）」、「最新ＮＧ（スクロール後）」、「カメラ画像モードの設定」の５つがある。「スルー」は、カメラ画像入力にて設定された間隔でカメラから最新画像を取り込み、その画像を表示する。「フリーズ（スクロール前）」は、直前の計測にて取り込まれた画像を表示する。尚、計測時に随時更新を行う。カメラ１から入力された画像に対して位置ずれ補正を行う処理を行っている場合、補正（スクロール）を行う前の画像を表示する。「フリーズ（スクロール後）」は、直前の計測にて取り込まれた画像を表示する（計測時には随時更新を行う）が、カメラ１から入力された画像に対して位置ずれ補正を行う処理を行っている場合、補正（スクロール）を行った後の画像を表示する。「最新ＮＧ（スクロール前）」は、総合判定結果（後述する）がNGとなった最新の画像を表示する。位置ずれ修正を行っている場合、スクロール前の画像を表示する。総合判定と計測時間には、常に最新の計測結果を表示する。この場合、総合判定、計測時間とカメラ画像とは一致しない。最新NG画像を表示した状態では、再計測、画面キャプチャ、濃度分布確認、保存画像の操作を実行できない（各項目については後述する）。「最新ＮＧ（スクロール後）」は、総合判定結果がNGとなった最新の画像を表示する。位置ずれ修正を行っている場合、スクロール後の画像を表示する。総合判定と計測時間には、常に最新の計測結果を表示する。この場合、カメラ画像と総合判定、計測時間とは一致しない。最新NG画像を表示した状態では、上記の最新ＮＧ（スクロール前）と同様、再計測、画面キャプチャ、濃度分布確認、保存画像の操作を実行できない。「カメラ画像モードの設定」は、上述のカメラ画像エリアのカメラ画像モード５つの項目を表示し、チェック方式で選択されたモードに設定を行う。 In “camera image mode setting”, the type (camera image mode) of the camera image to be displayed in the camera image display area (described later) is displayed and selection is accepted. “Through”, “Freeze (before scroll)”, “Freeze (after scroll)”, “Latest NG (before scroll)”, “Latest NG (after scroll)”, “Camera image mode setting” There are five. “Through” captures the latest image from the camera at intervals set by the camera image input and displays the image. “Freeze (before scrolling)” displays an image captured in the previous measurement. In addition, it updates at any time at the time of measurement. When a process for correcting misregistration is performed on an image input from the camera 1, an image before correction (scrolling) is displayed. “Freeze (after scrolling)” displays an image captured in the previous measurement (updates at any time during measurement), but performs a process of correcting misalignment on the image input from the camera 1 If so, the image after correction (scrolling) is displayed. “Latest NG (before scrolling)” displays the latest image in which the comprehensive determination result (described later) is NG. When misalignment correction is performed, the image before scrolling is displayed. The latest measurement result is always displayed in the comprehensive judgment and the measurement time. In this case, the comprehensive determination, measurement time, and camera image do not match. In the state where the latest NG image is displayed, re-measurement, screen capture, density distribution confirmation, and stored image operation cannot be executed (each item will be described later). “Latest NG (after scrolling)” displays the latest image for which the overall determination result is NG. When misalignment correction is performed, the image after scrolling is displayed. The latest measurement result is always displayed in the comprehensive judgment and the measurement time. In this case, the camera image does not match the comprehensive determination and the measurement time. In the state in which the latest NG image is displayed, remeasurement, screen capture, density distribution confirmation, and stored image operation cannot be executed as in the case of the latest NG (before scrolling). “Camera image mode setting” displays the five camera image mode items in the camera image area described above, and sets the mode selected by the check method.
「レイアウト設定」では、メイン画面のレイアウトやカメラ画像の表示方法の設定およびレイアウトの保存を行う。レイアウト設定のメニュー項目には、「画像」、「フロー」、「テキスト」、「表示数」と、「現在の状態を保存」とがある。 “Layout setting” sets the layout of the main screen and the display method of the camera image and saves the layout. The menu items for layout setting include “image”, “flow”, “text”, “number of displays”, and “save current state”.
「画像」は、「カメラ」の項目と「ユニット」の項目を表示し、チェック方式で選択を受け付けていずれかを設定する。「カメラ」は、カメラ画像をカメラ画像入力、カメラ切替単位に表示する。すなわち、カメラ画像入力またはカメラ切替から次のカメラ画像入力またはカメラ切替までの間を１つのカメラ画像として表示する。「ユニット」は、カメラ画像をユニット単位（後述する）に表示する。「フロー」は、 メイン画面にフロー表示エリアの表示を行わない「なし」と、メイン画面にフロー表示エリアの表示を行う「あり」とを表示し、計測フローエリアの表示有無をチェック方式で入力を受け付けていずれかを選択する。「テキスト」は、メイン画面にテキスト表示エリアの表示を行わない「なし」と、メイン画面にテキスト表示エリアの表示を行う「あり」とを表示し、計測結果のテキストエリアの表示有無をチェック方式で入力を受け付けて選択を行う。「表示数」は、カメラ画像を何枚単位で表示するか「1枚」、「全て」、「選択」の選択候補を表示し、チェック方式で選択する。「１枚」はカメラ画像表示エリアにカメラ画像を1枚のみ表示する。「全て」は、カメラ画像表示エリアに全てのカメラ画像を表示する。全てのカメラ画像を並べて表示し、最大１画面中に４枚単位に表示して上下ボタンによりページ切替を可能とする。カメラ画像は、総表示枚数が１枚の場合には１画面表示、２枚の場合には２分割表示、３枚以上の場合には４分割表示（4枚全て埋まらない場合は、カメラ画像の枠だけ表示する。）により表示される。「選択」は、カメラ画像表示エリアに選択されているユニットのカメラ画像のみを表示する。選択された全てのカメラ画像を最大４枚単位で１画面中に表示し、上下ボタンによりページ切替可能とする。レイアウト設定（画像）で「カメラ」が選択されている場合は選択不可とし、カメラ画像単位に全てのユニットの処理結果を表示する。カメラ画像は、総表示枚数が１枚の場合には１画面表示、２枚の場合には２分割表示、３枚以上の場合には４分割表示（4枚全て埋まらない場合は、カメラ画像の枠だけ表示する。）により表示される。「現在の状態を保存」は、選択されると、その選択が行われたときに、レイアウト切替で選択されているレイアウトパターンに対して、レイアウト設定でカスタマイズを行った結果を保存する。「レイアウト切替」にて「カメラ表示」、「ユニット表示」、「詳細表示」が選択されている場合は、メニュー項目は選択不可とする。 “Image” displays an item of “camera” and an item of “unit”, and accepts selection by a check method and sets one of them. “Camera” displays a camera image in units of camera image input and camera switching. That is, one camera image is displayed from the camera image input or camera switching to the next camera image input or camera switching. “Unit” displays a camera image in units (described later). “Flow” displays “None” that does not display the flow display area on the main screen and “Yes” that displays the flow display area on the main screen, and inputs whether to display the measurement flow area using the check method. Accept and select one. “Text” displays “None” that does not display the text display area on the main screen and “Yes” that displays the text display area on the main screen, and checks whether the text area of the measurement result is displayed Accept input and make selection. “Number of displays” displays the selection candidates of “1”, “All”, and “Select” for how many camera images are displayed, and is selected by a check method. “One” displays only one camera image in the camera image display area. “All” displays all camera images in the camera image display area. All camera images are displayed side by side, displayed in units of four on a maximum of one screen, and the page can be switched with the up and down buttons. The camera image is displayed as a single screen when the total number of images is one, divided into two when it is two, and divided into four when it is three or more (if all four images are not filled, the camera image Display only the frame.) “Select” displays only the camera image of the selected unit in the camera image display area. All the selected camera images are displayed in one screen in units of a maximum of four, and the page can be switched with the up and down buttons. When “camera” is selected in the layout setting (image), selection is not possible, and processing results of all units are displayed in units of camera images. The camera image is displayed as a single screen when the total number of images is one, divided into two when it is two, and divided into four when it is three or more (if all four images are not filled, the camera image Display only the frame.) “Save current state”, when selected, saves the result of customization in layout settings for the layout pattern selected by layout switching. When “camera display”, “unit display”, and “detailed display” are selected in “layout switching”, the menu item cannot be selected.
「レイアウト切替」では、レイアウトパターンの候補から選択されたレイアウトに、メイン画面のレイアウトを変更する。レイアウトパターンは「カメラ表示（デフォルト）」、「ユニット表示」、「詳細表示」、「カスタマイズ表示１」、「カスタマイズ表示２」、「カスタマイズ表示３」の6つのパターンを用意し、うち3つのカスタマイズ表示についてはユーザが随時変更したレイアウトで保存が可能である。 In “layout switching”, the layout of the main screen is changed to the layout selected from the layout pattern candidates. There are six layout patterns, “Camera display (default)”, “Unit display”, “Detail display”, “Customized display 1”, “Customized display 2”, and “Customized display 3”. The display can be saved with a layout changed by the user as needed.
「カメラ表示（デフォルト）」は、レイアウト切替エリアに、カメラ画像単位で計測結果を表示する。処理フロー表示、テキスト表示は行わず、１画面にいちどに表示する画像は１枚である。本画像処理装置に接続されるカメラ１が複数（外部用Ｉ／Ｆ２７を通じて取得する画像を含む）ある場合、図４のレイアウト切替エリアを上部に表示しているカメラ０、カメラ１・・のいずれかの選択を受け付けることで、表示対象とするカメラ画像を決定する。「ユニット」は、ユニット単位に計測結果を表示する。ユニットとは、順番に配列されてシーンデータを構成する単位を指し、ユニット毎に予め用意されている画像処理項目から選んで処理項目が設定され、その処理項目の種類と並びの順序によって所望の画像検査や画像判別など目的とする画像処理が達成される。ここで表示されるユニットの処理結果は、シーンデータとして構成されている一連の処理の中で、表示対象として選択されたユニットにおいて、そのユニットに配置された処理項目の処理を終えた状態の画像もしくは処理データである。処理フロー表示、テキスト表示は行わず、１画面にいちどに表示する画像は１枚である。図４のレイアウト切替エリアを上部に表示しているカメラ番号の代わりに、ユニット番号を表示し、いずれかの選択を受け付けることで、表示対象とするユニットを決定する。「詳細表示」は、前述の「ユニット」における表示に加えて、処理フロー表示およびテキスト表示を行う。「カスタマイズ表示１」から「カスタマイズ表示３」では、「カメラ表示」に対して、ツールバーの表示項目を増減させたり、処理フローに対応させてインジケータ表示欄を設けるなど、ユーザの好みに応じてカスタマイズしたレイアウトを３通り設定することができる。 “Camera display (default)” displays the measurement result in units of camera images in the layout switching area. Processing flow display and text display are not performed, and one image is displayed at a time on one screen. When there are a plurality of cameras 1 (including images acquired through the external I / F 27) connected to the image processing apparatus, any one of the camera 0, the camera 1, and so on displaying the layout switching area in FIG. By accepting the selection, the camera image to be displayed is determined. “Unit” displays the measurement result in units. A unit refers to a unit that is arranged in order and constitutes scene data. A processing item is selected from image processing items prepared in advance for each unit, and a desired item is determined depending on the type and order of processing items. Target image processing such as image inspection and image discrimination is achieved. The processing result of the unit displayed here is an image in a state where processing of processing items arranged in the unit is completed in the unit selected as a display target in a series of processing configured as scene data. Or processing data. Processing flow display and text display are not performed, and one image is displayed at a time on one screen. The unit number to be displayed is determined by displaying the unit number instead of the camera number displaying the layout switching area in FIG. The “detailed display” performs processing flow display and text display in addition to the display in the “unit” described above. “Customized display 1” to “Customized display 3” can be customized according to user preferences, such as increasing or decreasing the number of items displayed on the toolbar compared to “camera display” or providing an indicator display column corresponding to the processing flow. Three layouts can be set.
表示レイアウトのパターンを図４から図８に示す。 Display layout patterns are shown in FIGS.
図４はパターン１を示しており、レイアウト切替エリアにはカメラ画像表示エリアが設定される。カメラ画像表示エリアは、カメラ画像もしくはユニットにおける処理結果画像もしくは処理結果を１枚画像単位でタブにより選択を受け付けて表示するか、複数の画像を並べて表示する。複数画像の場合は、１画面の表示数は最大４枚単位とし、それ以上画像が存在する場合、エリア内にあるページ送りボタンを利用し、画像を表示する。ユニットの場合に限り、画像の選択表示が可能である。 FIG. 4 shows pattern 1 in which a camera image display area is set in the layout switching area. The camera image display area displays a camera image or a processing result image or processing result in a unit by accepting selection by a tab for each image, or displays a plurality of images side by side. In the case of a plurality of images, the display number of one screen is set to a maximum of 4 sheets, and when there are more images, the page feed button in the area is used to display the images. Only in the case of a unit, an image can be selected and displayed.
図５は、パターン２を示しており、レイアウト切替エリアの左側にはカメラ画像表示エリアが設定され、右側にはフロー表示エリアが設定される。フロー表示エリアには、計測対象の処理フローをリスト形式で表示する。ユニット毎にアイコンが設けられ、ボタンとなっており押下することでユニットに対応する処理項目のプロパティ設定が可能となる。計測するとユニット単位での計測結果（ＯＫ／ＮＧ）が表示される。ＮＧとなったものについては「アイコン」、「計測結果」が赤色で表示される。各ユニット領域は選択可能であり、領域を選択することで「カメラ画像表示」エリアの画像が連動表示される。１枚画像表示の場合は、フローで選択したユニットに対応する画像タブが選択表示され、複数画像表示の場合は、フローで選択したユニットに対応する画像が含まれるページが表示される。但し、レイアウト設定により表示する画像を選択した場合は、選択したユニットのみが表示対象なる。表示対象外としたユニットは、フロー表示エリア内のアイコンの左側にある表示状態を示す色が非表示状態になる。画像処理装置起動時は、０．カメラ画像入力が選択状態となる。但し、レイアウト切替時には、ユニットの選択状態は変更されない。 FIG. 5 shows a pattern 2 in which a camera image display area is set on the left side of the layout switching area, and a flow display area is set on the right side. In the flow display area, the processing flows to be measured are displayed in a list format. An icon is provided for each unit, which is a button that can be pressed to set the property of the processing item corresponding to the unit. When the measurement is performed, a measurement result (OK / NG) in units is displayed. “NG” and “measurement result” are displayed in red for those that are NG. Each unit area can be selected, and by selecting the area, the images in the “camera image display” area are displayed in conjunction with each other. In the case of single image display, an image tab corresponding to the unit selected in the flow is selected and displayed, and in the case of multi-image display, a page including an image corresponding to the unit selected in the flow is displayed. However, when an image to be displayed is selected by layout setting, only the selected unit is displayed. For units that are not displayed, the color indicating the display state on the left side of the icon in the flow display area is not displayed. When the image processing apparatus is started, 0. Camera image input is selected. However, the unit selection state is not changed during layout switching.
図６は、パターン３を示しており、レイアウト切替エリアの上側にはカメラ画像表示エリアが設定され、下側にはテキスト表示エリアが設定される。本エリアの表示が行われている場合、カメラ画像表示エリアに表示された画像に対応するテキストが表示される。カメラ画像表示エリアの表示対象により表示するテキストが異なり、カメラ画像の場合、カメラ画像に対するテキスト表示処理項目で設定されたオリジナルテキストを表示し、ユニットの場合、各ユニットが保持しているテキストを表示する。例えば、判定結果、時刻、処理項目名、ユニット名などである。カメラ画像表示エリアで複数画像が表示されている場合は、ページ単位で表示画像に対応するテキスト全てを表示する。尚、カメラ画像に対するオリジナルテキストが設定されてない場合、テキスト表示エリアには何も表示されない。ここではカメラ画像表示エリアに、選択されたユニットに対応する複数の処理画像を一度に表示している。 FIG. 6 shows a pattern 3 in which a camera image display area is set above the layout switching area and a text display area is set below. When this area is displayed, text corresponding to the image displayed in the camera image display area is displayed. The text to be displayed differs depending on the display target in the camera image display area. In the case of a camera image, the original text set in the text display processing item for the camera image is displayed. In the case of a unit, the text held by each unit is displayed. To do. For example, the determination result, time, processing item name, unit name, and the like. When a plurality of images are displayed in the camera image display area, all text corresponding to the display image is displayed in units of pages. If the original text for the camera image is not set, nothing is displayed in the text display area. Here, a plurality of processed images corresponding to the selected unit are displayed at a time in the camera image display area.
図７はパターン４を示しており、レイアウト切替エリアの左側上部にはカメラ画像表示エリアが設定され、左側下部にはテキスト表示エリアが設定され、右側にはフロー表示エリアが設定される。 FIG. 7 shows a pattern 4. A camera image display area is set at the upper left portion of the layout switching area, a text display area is set at the lower left portion, and a flow display area is set at the right side.
図８はパターン５を示しており、レイアウト切替エリアの左側上部にはカメラ画像表示（詳細）エリアが設定され、左側下部にはテキスト表示（詳細）エリアが設定され、右側にはフロー表示（詳細）エリアが設定される。計測情報表示エリアにある詳細表示ボタン押下時にのみ表示されるレイアウトのテキスト表示エリアである。 FIG. 8 shows a pattern 5. A camera image display (detail) area is set in the upper left portion of the layout switching area, a text display (detail) area is set in the lower left portion, and a flow display (detail) is set in the right side. ) Area is set. This is a text display area of a layout that is displayed only when the detail display button in the measurement information display area is pressed.
図９は、レイアウト切替エリアの左側ではカメラ画像をユニット単位で表示し、右側にはフローの表示をおこなっている例で、とくに、フロー表示の各ユニットに対応させてカメラ画像を表示する対象として選択されたユニットについて表示を行うインジケータが設けられる。 FIG. 9 shows an example in which the camera image is displayed in units on the left side of the layout switching area and the flow is displayed on the right side. In particular, the camera image is displayed corresponding to each unit of the flow display. An indicator is provided for displaying the selected unit.
図１０は、カメラ画像が複数表示で、フロー表示なし、テキスト表示なしの場合のレイアウトの例である。 FIG. 10 shows an example of a layout in which a plurality of camera images are displayed, no flow display and no text display.
「結果表示」は、メイン画面のカメラ画像に対して、処理項目の計測結果の表示を行うかどうかを選択するための項目であり、処理項目のカメラ画像描画を行う「あり」と、処理項目のカメラ画像描画を行わない「なし」を表示し、チェック方式で入力を受け付けていずれかを決定する。サーチ処理項目で、カメラ画像への計測結果のモデル位置の表示を行うか否かのように表示の有無をユーザで判断したい場合にとくに有効である。 “Result display” is an item for selecting whether or not to display the measurement result of the processing item with respect to the camera image on the main screen. “None” that does not perform camera image rendering is displayed, and an input is accepted by the check method to determine one. This is particularly effective when the user wants to determine the presence or absence of display, such as whether or not to display the model position of the measurement result on the camera image as a search processing item.
「カメラ画像拡大」は、メイン画面のカメラ画像表示エリアのカメラ画像について指定した領域を拡大して表示するときに用いられる。「カメラ画像拡大」が選択されると、カメラ画像の拡大倍率の5パターン（拡大なし、2倍、4倍、8倍、16倍）のリストをコンテキストメニューで表示し、その後画像上で指定された位置を中心に指定された倍率でカメラ画像の拡大を行う。 “Camera image enlargement” is used when an area designated for the camera image in the camera image display area of the main screen is enlarged and displayed. When “Camera image enlargement” is selected, a list of 5 patterns (no enlargement, 2 times, 4 times, 8 times, 16 times) of the magnification of the camera image is displayed in the context menu, and then specified on the image The camera image is magnified at the specified magnification centered on the selected position.
「濃度分布確認」は、画像中の1 ラインに対する濃度の分布を示すグラフを表示する。図１７は「濃度分布確認」が選択されたときに表示される図の例であり、図の上下方向に引かれた縦線と左右方向に引かれた横線がその時点で選択されて表示されている画像に対して表示され、縦線に対しては縦線上の濃度分布を画像表示領域の左端もしくは右端に縦方向の位置を対応させて、濃度の大きさを横方向の大きさとしたグラフを表示、横線に対しては横線上の濃度分布を画像表示領域の上端もしくは下端に横方向の位置を対応させて、濃度の大きさを縦方向の大きさとしたグラフを表示する（グラフについては図中で図示していない）。図１７の右側中央部にある上下左右の矢印が表示されたボタンをマウス等で選択することで縦線および横線の位置調整を行う。右側上部に表示されている濃度範囲は横線、縦線のそれぞれのライン上に存在する画素の中のＲ，Ｇ，Ｂそれぞれについての濃度の最小値と最大値を表示する。 “Concentration distribution check” displays a graph showing the distribution of density for one line in the image. FIG. 17 is an example of a diagram displayed when “Concentration distribution check” is selected. A vertical line drawn in the vertical direction and a horizontal line drawn in the horizontal direction are selected and displayed at that time. A graph in which the density distribution on the vertical line corresponds to the left or right edge of the image display area and the vertical position corresponds to the vertical line, and the density is set to the horizontal size. For horizontal lines, display the density distribution on the horizontal line with the horizontal position corresponding to the upper or lower edge of the image display area, and the density size in the vertical direction. Not shown). The position of the vertical line and the horizontal line is adjusted by selecting a button on the right center of FIG. The density range displayed on the upper right side displays the minimum value and the maximum value of the density for each of R, G, and B in the pixels existing on the horizontal and vertical lines.
システムメニューエリアの「計測」は、コンソール４等を通じて選択されると下位の選択メニューとして「計測」、「テスト計測」、「再計測」の項目を表示する。 When “Measurement” in the system menu area is selected through the console 4 or the like, items of “Measurement”, “Test measurement”, and “Remeasurement” are displayed as lower selection menus.
「計測」は、設定されているシステム設定およびシーンの内容に応じて計測処理を実行する。計測は計測ボタンを押下することによって開始し、計測終了後に計測結果の表示を行う。計測処理では、表示されているフローにて、０番目のユニットから順番に計測が実行される。但し、分岐制御処理関連処理項目により処理が分岐した場合、分岐先の処理ユニットのみ計測が実行される。カメラから最新の画像を取り込み、計測に使用する。また、外部機器へ計測結果の出力を行う。計測結果（計測値、計測画像）は、ストーレジのシーンごとに分けられたディレクトリに保存する。計測結果の表示には「総合判定」、「計測フロー」、「カメラ画像」がある。「総合判定」は、計測の総合判定、計測時間および計測の種類（計測、テスト計測、再計測（保存画像についての場合は、ファイル名も表示））を表示する。図５の画面上部左端の計測結果：ＮＧ、その右側上段の再計測、下段に処理時間：０．２ｍｓなどがこれに該当する。「計測フロー」は、ユニットごとに計測結果を表示する。アイコンの表示による場合は、ＯＫの場合、未計測、ＯＫ用のアイコンを表示し、ＮＧの場合、ＮＧ用のアイコンを表示する（未計測、ＯＫ用のアイコンを赤くする）。図５においては、右側に縦に並べられている各処理項目（０．カメラ画像入力、１サーチ、など）の前にある正方形の部分にＯＫ用とＮＧ用のアイコンをそれぞれ結果に応じて表示を切り替える。例として図５では１番のユニット（サーチ）と３番のユニットと１２番のユニット（ＤＯ判定出力）結果に対してＮＧの色を変えたアイコンを用いている。文字表示する場合は、ＯＫの場合、「ＯＫ」と表示（文字は黒）し、ＮＧの場合、「ＮＧ」と表示（文字は赤）する。「カメラ画像」は、カメラ画像表示についての設定に応じて計測結果を表示する。図５では１番、３番、１２番のユニットで処理項目の下にＮＧと表示され、他のユニットでは処理項目の下にＯＫと表示されているのがそれに該当する。尚、図中のユニットの３から６までの処理項目には現実の処理項目が設定されていないが、実際のシーンデータにおいては、適切な処理項目が当てはめられる。 “Measurement” executes measurement processing in accordance with the set system settings and scene contents. The measurement is started by pressing the measurement button, and the measurement result is displayed after the measurement is completed. In the measurement process, the measurement is executed in order from the 0th unit in the displayed flow. However, when the process branches according to the branch control process related process item, only the branch destination processing unit is measured. The latest image is taken from the camera and used for measurement. In addition, the measurement result is output to an external device. Measurement results (measurement values and measurement images) are stored in a directory divided for each storage scene. The measurement result display includes “total judgment”, “measurement flow”, and “camera image”. “Overall determination” displays an overall determination of measurement, a measurement time, and a measurement type (measurement, test measurement, remeasurement (in the case of a stored image, a file name is also displayed)). This corresponds to the measurement result at the upper left end of the screen in FIG. 5: NG, re-measurement at the upper right side, processing time: 0.2 ms at the lower level, and the like. “Measurement flow” displays a measurement result for each unit. In the case of the icon display, in the case of OK, an icon for unmeasured and OK is displayed, and in the case of NG, an icon for NG is displayed (the icon for unmeasured and OK is made red). In FIG. 5, OK and NG icons are displayed according to the results in the square part in front of each processing item (0. camera image input, 1 search, etc.) arranged vertically on the right side. Switch. For example, in FIG. 5, icons with different NG colors are used for the results of the unit 1 (search), the unit 3 and the unit 12 (DO determination output). In the case of displaying characters, “OK” is displayed in the case of OK (the character is black), and “NG” is displayed in the case of NG (the character is red). “Camera image” displays a measurement result in accordance with the setting for camera image display. In FIG. 5, “NG” is displayed below the processing item in the first, third, and twelfth units, and “OK” is displayed below the processing item in the other units. Note that actual processing items are not set in the processing items 3 to 6 of the units in the figure, but appropriate processing items are applied to actual scene data.
「テスト計測」は、設定されているシステム設定およびシーンの内容に応じて、テスト計測処理を行う。計測は「テスト計測ボタン」を押下することによって開始し、計測終了後に計測結果の表示を行う。カメラから最新の画像を取り込み、計測に使用する。・計測結果（計測値、計測画像）は、ストーレジ（フラッシュメモリ２２、ＲＡＭ２３）内のシーンごとのディレクトリに保存する。表示、保存に関しては、「計測」と同様である。 “Test measurement” performs a test measurement process according to the set system setting and the content of the scene. The measurement is started by pressing the “test measurement button”, and the measurement result is displayed after the measurement is completed. The latest image is taken from the camera and used for measurement. Measurement results (measurement values, measurement images) are stored in a directory for each scene in the storage (flash memory 22, RAM 23). The display and storage are the same as “Measurement”.
「再計測」は、最新フリーズ画像または指定画像ファイル（１つのみ）についてテスト計測を行う。計測対象は、最新フリーズ画像または保存画像（再計測対象のディレクトリも合わせて指定）を表示し、指定された画像とする。保存画像のディレクトリのデフォルトはシーンごとに規定されたディレクトリとし、任意のディレクトリへの変更も可能であるが、シーン切替時および画像処理装置停止時には該当するシーンのディレクトリに変更される。再計測ボタン、前再計測ボタン、次再計測ボタンを表示し、いずれかのボタンが選択されることによって計測を開始し、計測終了後に計測結果の表示を行う。計測結果（計測値、計測画像）は、ストーレジのシーンごとのディレクトリへ保存する。再計測ボタンは現在選択中の保存画像ファイルについてテスト計測を行い、前再計測ボタンは現在選択中の保存画像ファイルの前のファイルについてテスト計測を行い、次再計測ボタンは現在選択中の保存画像ファイルの次のファイルについてテスト計測を行う。現在、指定されているディレクトリのパスおよびファイル名、ファイル数、何番目の保存画像かの表示を再計測の度に情報の取得および表示を行う。尚、画像ファイル指定による再計測は、画像ファイル内の画像をカメラ入力、カメラ切替単位にフロー順に読み取り計測を行う。計測結果の表示および保存について「計測」と同様である。 “Re-measurement” performs test measurement on the latest freeze image or designated image file (only one). As the measurement target, the latest freeze image or the saved image (the directory for the remeasurement target is also specified) is displayed and set as the specified image. The default of the directory of the saved image is a directory defined for each scene and can be changed to an arbitrary directory. However, when the scene is switched and the image processing apparatus is stopped, the directory is changed to the corresponding scene. A re-measurement button, a previous re-measurement button, and a next re-measurement button are displayed, and measurement is started when one of the buttons is selected, and the measurement result is displayed after the measurement is completed. Measurement results (measurement values, measurement images) are stored in a directory for each scene in the storage. The remeasure button performs test measurement on the currently selected saved image file, the previous remeasure button performs test measurement on the file before the currently selected saved image file, and the next remeasure button displays the currently selected saved image file. Perform test measurement on the next file. At present, information is acquired and displayed every time re-measurement is performed to display the path and file name of the specified directory, the number of files, and the number of stored images. In the re-measurement by designating the image file, the image in the image file is read and measured in the order of flow in units of camera input and camera switching. The display and storage of the measurement result is the same as “Measurement”.
システムメニューエリアの「システム」は、コンソール４等を通じて選択されると下位の選択メニューとして「色設定」と「画面カスタマイズ設定」が表示され、選択されることによりそれぞれの機能を実行する。 When “system” in the system menu area is selected through the console 4 or the like, “color setting” and “screen customization setting” are displayed as lower selection menus, and each function is executed by being selected.
「色設定」は、画面に表示する図形の色を選択したり、色をカスタマイズする。標準色、ＯＫ色、ＮＧ色、図形色の０から７に対して色が設定可能である。 “Color setting” selects the color of a figure displayed on the screen or customizes the color. Colors can be set for 0 to 7 of standard color, OK color, NG color, and graphic color.
「画面カスタマイズ設定」は、選択されると「ツールバー編集」の欄と「カスタマイズ出口ルーチン設定」の欄を表示し、「ツールバー編集」では、編集対象候補となるツールバー（本実施例ではｒｏｗ０〜６までが指定可能）を表示するとともに指定を受け付けて選択し、選択されているツールバーに設定されているメニュー項目と、ツールバーに追加可能な対象のメニュー項目一覧と追加、削除ボタンを表示する。そして、選択されたメニュー項目に対して追加、削除の指示が入力されることでツールバーに設定するメニュー項目の編集が行われる。メニュー表示項目としては、「計測」、「テスト計測」、「セーブ」、「カメラ設定」、「レイアウト切替」、「シーン切替」、「フロー編集」、「ノンストップ調整開始／終了」、「変更履歴」、「レイアウト設定」、「カメラ画像拡大」、「濃度分布確認」、「色設定」、「画面カスタマイズ」、「計測結果クリア」、「ノンストップ調整データ反映」がある。「カスタマイズ出口ルーチン設定」では、ステンダのインストール先フォルダが入力可能とされ入力されたフォルダに設定を行うとともに、マニフェストファイルの格納先フォルダが入力可能とされ入力されたフォルダに設定を行う。 When “screen customization setting” is selected, a “toolbar editing” column and a “customization exit routine setting” column are displayed. In “toolbar editing”, a toolbar that is a candidate for editing (row 0 to 6 in this embodiment) is displayed. Display a menu item set for the selected toolbar, a list of target menu items that can be added to the toolbar, and an add / delete button. Then, when an instruction for addition or deletion is input to the selected menu item, the menu item set in the toolbar is edited. Menu display items include “Measurement”, “Test Measurement”, “Save”, “Camera Settings”, “Layout Switch”, “Scene Switch”, “Flow Edit”, “Non-Stop Adjustment Start / End”, “Change” There are “history”, “layout setting”, “camera image enlargement”, “concentration distribution check”, “color setting”, “screen customization”, “clear measurement result”, and “reflect non-stop adjustment data”. In the “customization exit routine setting”, the installation folder of the stainer can be input and set in the input folder, and the storage folder of the manifest file can be input and set in the input folder.
システムメニューエリアの「ツール」は、「計測結果クリア」の項目を表示し、選択されると計測値クリアとストレージクリアのそれぞれについて実行を受け付けるボタンを表示する。いずれも実行を受け付けるボタンが選択されると、「ＯＫ」「キャンセル」ボタンを表示してクリア実行の確認を行い、さらにＯＫが選択されると、計測値クリアの場合は現在表示しているシーンの計測値をすべてクリアし、ストレージクリアの場合はコントローラのストレージにロギングされている画像データや計測データをすべてクリアする。 “Tool” in the system menu area displays an item “measurement result clear”, and when selected, displays a button for accepting execution of each of the measurement value clear and storage clear. In either case, when the button for accepting execution is selected, “OK” and “Cancel” buttons are displayed to confirm the clear execution, and when OK is further selected, if the measured value is cleared, the currently displayed scene is displayed. All measured values are cleared. If the storage is cleared, all image data and measured data logged in the controller storage are cleared.
前述の画面に加えて、さらにその下段に図１３に示すを計測アプリケーションマネージャが表示される。これは、計測アプリケーション管理、計測アプリケーション全体関連機能を提供するための画面であり、現在起動している計測アプリケーションの選択領域を並べて表示し（図１３では、計測０、計測１に相当）、その右には、計測アプリケーションを追加起動するための起動ボタン（複数ラインランダムトリガ有効の場合には設定ライン数起動したら使用不可となる。インストール時に複数ラインランダムトリガが有効となっている場合のみ使用が可能であって、通常は表示されない）が表示される。さらにその右には、選択されている計測アプリケーションを終了するための停止ボタン（計測0のみとなった場合は使用不可能であり、インストール時に複数ラインランダムトリガが有効となっている場合のみ表示される。通常は、表示されない。）が表示される。また、その右側には画面キャプチャを行うための画面キャプチャボタンと、クリックされたときに画像処理装置全体に関係する機能のメニューを表示するメニューボタンを表示している。 In addition to the above-described screen, a measurement application manager shown in FIG. This is a screen for providing measurement application management and functions related to the entire measurement application, and displays a selection area of the currently activated measurement application side by side (corresponding to measurement 0 and measurement 1 in FIG. 13). On the right, a startup button for additional startup of measurement applications (when multiple line random trigger is enabled, it becomes unavailable when the set number of lines is started. Used only when multiple line random trigger is enabled during installation. Is possible and is not normally displayed). Furthermore, to the right is a stop button for terminating the selected measurement application (cannot be used when only measurement is 0, and is displayed only when multi-line random trigger is enabled during installation. (Normally not displayed.) Is displayed. On the right side, a screen capture button for capturing a screen and a menu button for displaying a menu of functions related to the entire image processing apparatus when clicked are displayed.
ツールバーの表示エリアにおいては、ツールバー領域右端の表示切替（上下）ボタンを押下することで、ツールバー上に表示されているボタン群が図１４、図１５と切り替わる。ツールバー上に表示可能なボタン群はデフォルト表示されているｒｏｗ０に加えｒｏｗ１〜ｒｏｗ５の最大６つである。現在の表示列と定義されている全列数が表示切替（上下）ボタンの左側に（表示列／全列数表示）で表示され、表示切替（上下）ボタンは押下することで、定義されている列をサイクリックに表示可能である。 In the display area of the toolbar, pressing the display switching (up / down) button at the right end of the toolbar area switches the button group displayed on the toolbar as shown in FIGS. The button group that can be displayed on the toolbar includes a maximum of six buttons, row 1 to row 5, in addition to row 0 displayed as a default. The number of all columns defined as the current display column is displayed on the left side of the display switching (up / down) button with (display column / total column number display), and the display switching (up / down) button is defined by pressing it. Can be displayed cyclically.
図２０は、演算式を入力するための画面を示す。演算とは、演算対象や演算結果、出力値等所望の検査、計測等を行うために必要な演算式を設定するために使用する。たとえば検査対象物の幅をはかりたい場合に、検出対象物の右端部のエッジの位置と左端部のエッジの位置をそれぞれ別々の処理項目の結果として求めておいて、その差を出力値として求めるような場合である。画面では左側の領域にユニット毎に設定されている処理項目を表示し、さらに処理項目が下位階層表示に設定される（図２０では「＋」を押下して「−」に切り換えられる）とその処理項目で使用される下位の変数を表示する。これらの変数と、右側の領域に表示される演算子の選択を受け付けて、それらを選択された順に保持することにより演算式を作成する。反映ボタンが選択されることで、そのときに設定対象となっている入力値や演算結果、出力値等に作成された演算式が設定される。 FIG. 20 shows a screen for inputting an arithmetic expression. The calculation is used to set an arithmetic expression necessary for performing a desired inspection, measurement, etc., such as a calculation target, a calculation result, and an output value. For example, when it is desired to measure the width of the inspection object, the position of the edge at the right end and the position of the edge at the left end of the detection object are obtained as the results of separate processing items, and the difference is obtained as an output value. This is the case. In the screen, the processing items set for each unit are displayed in the left area, and when the processing items are set to the lower hierarchy display (in FIG. 20, “+” is pressed to switch to “−”) Displays the subordinate variables used in the process item. An arithmetic expression is created by accepting selection of these variables and operators displayed in the right area and holding them in the selected order. When the reflection button is selected, the calculation formula created for the input value, calculation result, output value, and the like that is the setting target at that time is set.
図２１は、結果表示の書式を設定する画面であり、計測値の書式を設定したり、この画面を通じて入力されたテキスト情報を表示や出力等に設定する。計測した結果を画面上に表示する際に単に数値だけ表示するだけのでは何の値であるかがわかり辛いことから、その計測結果がなにであるか等の関連情報となる文字を付加して結果を表示させることができる。例えば、判定＝１、X座標＝１２２などと出力表示させる場合の「判定＝」、「X座標＝」という文字部分を表示させる設定を行うことができる。反映ボタンが選択されることで、そのときの設定対象個所に本画面を通じて設定されたテキスト情報、書式等が設定される。 FIG. 21 is a screen for setting the format of the result display. The format of the measurement value is set, and the text information input through this screen is set for display and output. When displaying the measurement result on the screen, it is difficult to know what the value is simply by displaying only the numerical value, so add characters that are related information such as what the measurement result is. Result can be displayed. For example, it is possible to make settings for displaying the character portions of “determination =” and “X coordinate =” in the case of output display such as determination = 1, X-coordinate = 122, and the like. By selecting the reflection button, the text information, format, etc. set through this screen are set at the setting target location at that time.
図２２は、計測画像に重ねる形で図形などを表示したい場合に、その表示させたい図形の形や位置などを設定するための画面である。この画面により、画像上所望の位置に所望の図形を表示させることができる。たとえばワークの重心位置を求めるような用途に対し、結果の位置を十字カーソルで表示すると結果がわかりやすくなる。画面左側欄には、表示対象となる文字、図形等の一覧が示されている。その右側の各種ボタンの押下を受け付けることで、そのボタンの表示に対応する機能を実行する。図形やＴＥＸＴなどはその図形や入力された文字等を計測画像（さらにその右側の領域に表示されている）に重ねて表示する。矢印キーはそれらの表示位置の調整をおこうためのものであり、押下される度に対象図形等をその方向に移動させる。 FIG. 22 is a screen for setting the shape, position, etc. of a graphic to be displayed when it is desired to display the graphic in a form superimposed on the measurement image. With this screen, a desired figure can be displayed at a desired position on the image. For example, for the purpose of obtaining the position of the center of gravity of the workpiece, displaying the position of the result with a cross cursor makes it easy to understand the result. In the left column of the screen, a list of characters, figures and the like to be displayed is shown. By accepting pressing of various buttons on the right side, a function corresponding to the display of the button is executed. A figure, TEXT, or the like is displayed by superimposing the figure, input characters, or the like on the measurement image (further displayed in the area on the right side). The arrow keys are for adjusting their display positions, and each time they are pressed, the target figure or the like is moved in that direction.
１ カメラ
２ コントローラ
３ モニタ
４ コンソール
５ ワーク検出用センサ
７ 計測対象物
２１ ＣＰＵ
２２ フラッシュメモリ
２３ ＲＡＭ
２６ 入力用Ｉ／Ｆ
２７ 外部用Ｉ／Ｆ
1 Camera 2 Controller 3 Monitor 4 Console 5 Work Detection Sensor 7 Measurement Object 21 CPU
22 Flash memory 23 RAM
26 I / F for input
27 External I / F
Claims (1)
入力画像に対する一連の処理項目を表示するとともに、表示した一連の処理項目に対して画像表示を行う処理項目の指定を受け付けるステップＡと、
前記ステップＡによって指定された処理項目を記録するステップＢと、
外部からの入力画像を取得するステップＣと、
前記ステップＣで得られた入力画像に対して、前記の複数の処理項目からなる一連の処理を実行するステップＤと、
前記ステップＤにおける処理の実行過程における前記ステップＢで記録された処理項目について、当該指定された処理を経た後であって、一連その次の処理を行う前の画像を、モニタ画面に表示するするステップＥと
を有する画像処理装置。 An image processing apparatus that receives an image of a measurement object and performs image processing including a series of processing items on the input image.
A step A for displaying a series of processing items for the input image and receiving a designation of a processing item for displaying an image for the displayed series of processing items;
Step B for recording the processing item designated by Step A;
Step C for acquiring an input image from the outside,
Step D for executing a series of processes consisting of the plurality of processing items on the input image obtained in Step C;
For the process item recorded in step B in the process execution process in step D, an image after the specified process and before the next process is displayed on the monitor screen. An image processing apparatus comprising: Step E;
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005320765A JP4784269B2 (en) | 2005-11-04 | 2005-11-04 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005320765A JP4784269B2 (en) | 2005-11-04 | 2005-11-04 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007128306A true JP2007128306A (en) | 2007-05-24 |
| JP4784269B2 JP4784269B2 (en) | 2011-10-05 |
Family
ID=38150914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005320765A Active JP4784269B2 (en) | 2005-11-04 | 2005-11-04 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4784269B2 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009123070A (en) * | 2007-11-16 | 2009-06-04 | Keyence Corp | Test support system and image processing controller |
| JP2009122824A (en) * | 2007-11-13 | 2009-06-04 | Keyence Corp | Program creation device for image processing controller and inspection support system |
| JP2009122822A (en) * | 2007-11-13 | 2009-06-04 | Keyence Corp | Program creation device for image processing controller |
| JP2009122823A (en) * | 2007-11-13 | 2009-06-04 | Keyence Corp | Program creation device for image processing controller |
| JP2011053787A (en) * | 2009-08-31 | 2011-03-17 | Omron Corp | Image processing apparatus and image processing program |
| JP2011215036A (en) * | 2010-03-31 | 2011-10-27 | Panasonic Electric Works Sunx Co Ltd | Displacement sensor |
| JP2014197762A (en) * | 2013-03-29 | 2014-10-16 | オムロン株式会社 | Image processing system and image processing program |
| JP2016126487A (en) * | 2014-12-26 | 2016-07-11 | 株式会社キーエンス | Programmable display |
| JP2019096238A (en) * | 2017-11-27 | 2019-06-20 | オムロン株式会社 | Monitoring state display device, monitoring state display method, and monitoring state display program |
| JP2019158628A (en) * | 2018-03-14 | 2019-09-19 | 富士通株式会社 | Inspection device, inspection method, and inspection program |
| CN111757667A (en) * | 2019-03-29 | 2020-10-09 | Juki株式会社 | Inspection apparatus and inspection method |
| CN112088395A (en) * | 2018-06-07 | 2020-12-15 | 欧姆龙株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP7295240B2 (en) | 2019-07-22 | 2023-06-20 | 株式会社Fuji | Image display device and image display method |
| KR20240023169A (en) | 2021-09-28 | 2024-02-20 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Writing support methods, programs and writing support systems |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06119159A (en) * | 1992-10-08 | 1994-04-28 | Honda Motor Co Ltd | Program generator for displaying normal/defective condition decision of component |
| JPH0749935A (en) * | 1991-08-30 | 1995-02-21 | Canon Inc | Device and method for image processing |
| JPH08219721A (en) * | 1995-02-14 | 1996-08-30 | Sony Corp | Image processor |
| JPH08334475A (en) * | 1995-06-07 | 1996-12-17 | Matsushita Electric Ind Co Ltd | Visual inspection device |
| JPH0991127A (en) * | 1995-09-21 | 1997-04-04 | Nec Robotics Eng Ltd | Image processing programming method |
| JP2002251603A (en) * | 2001-02-23 | 2002-09-06 | Matsushita Electric Works Ltd | Image processing program formation method and system for it |
| JP2004361145A (en) * | 2003-06-02 | 2004-12-24 | Omron Corp | Display method, quality control apparatus, and quality control system |
-
2005
- 2005-11-04 JP JP2005320765A patent/JP4784269B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0749935A (en) * | 1991-08-30 | 1995-02-21 | Canon Inc | Device and method for image processing |
| JPH06119159A (en) * | 1992-10-08 | 1994-04-28 | Honda Motor Co Ltd | Program generator for displaying normal/defective condition decision of component |
| JPH08219721A (en) * | 1995-02-14 | 1996-08-30 | Sony Corp | Image processor |
| JPH08334475A (en) * | 1995-06-07 | 1996-12-17 | Matsushita Electric Ind Co Ltd | Visual inspection device |
| JPH0991127A (en) * | 1995-09-21 | 1997-04-04 | Nec Robotics Eng Ltd | Image processing programming method |
| JP2002251603A (en) * | 2001-02-23 | 2002-09-06 | Matsushita Electric Works Ltd | Image processing program formation method and system for it |
| JP2004361145A (en) * | 2003-06-02 | 2004-12-24 | Omron Corp | Display method, quality control apparatus, and quality control system |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009122824A (en) * | 2007-11-13 | 2009-06-04 | Keyence Corp | Program creation device for image processing controller and inspection support system |
| JP2009122822A (en) * | 2007-11-13 | 2009-06-04 | Keyence Corp | Program creation device for image processing controller |
| JP2009122823A (en) * | 2007-11-13 | 2009-06-04 | Keyence Corp | Program creation device for image processing controller |
| JP2009123070A (en) * | 2007-11-16 | 2009-06-04 | Keyence Corp | Test support system and image processing controller |
| JP2011053787A (en) * | 2009-08-31 | 2011-03-17 | Omron Corp | Image processing apparatus and image processing program |
| JP2011215036A (en) * | 2010-03-31 | 2011-10-27 | Panasonic Electric Works Sunx Co Ltd | Displacement sensor |
| JP2014197762A (en) * | 2013-03-29 | 2014-10-16 | オムロン株式会社 | Image processing system and image processing program |
| JP2016126487A (en) * | 2014-12-26 | 2016-07-11 | 株式会社キーエンス | Programmable display |
| JP2019096238A (en) * | 2017-11-27 | 2019-06-20 | オムロン株式会社 | Monitoring state display device, monitoring state display method, and monitoring state display program |
| JP2019158628A (en) * | 2018-03-14 | 2019-09-19 | 富士通株式会社 | Inspection device, inspection method, and inspection program |
| JP7027978B2 (en) | 2018-03-14 | 2022-03-02 | 富士通株式会社 | Inspection equipment, inspection method, and inspection program |
| CN112088395A (en) * | 2018-06-07 | 2020-12-15 | 欧姆龙株式会社 | Image processing apparatus, image processing method, and image processing program |
| CN112088395B (en) * | 2018-06-07 | 2024-01-16 | 欧姆龙株式会社 | Image processing apparatus, image processing method, and computer-readable storage medium |
| CN111757667A (en) * | 2019-03-29 | 2020-10-09 | Juki株式会社 | Inspection apparatus and inspection method |
| CN111757667B (en) * | 2019-03-29 | 2023-08-25 | Juki株式会社 | Inspection device and inspection method |
| JP7295240B2 (en) | 2019-07-22 | 2023-06-20 | 株式会社Fuji | Image display device and image display method |
| KR20240023169A (en) | 2021-09-28 | 2024-02-20 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Writing support methods, programs and writing support systems |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4784269B2 (en) | 2011-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4784269B2 (en) | Image processing device | |
| JP5415182B2 (en) | Image processing apparatus, program creation support apparatus, and image processing method | |
| EP4006835A1 (en) | Information processing apparatus, information processing method and program | |
| JP2019212073A (en) | Image discriminating apparatus and method thereof | |
| CN104317541A (en) | Method and Equipment for displaying remark information of pictures in terminal | |
| JP6558435B2 (en) | Color measuring device and color measuring method | |
| JP2009140229A (en) | Method for displaying help information, and computer | |
| JP2006209564A (en) | Print data edition device, print data edition program, and computer-readable storage medium | |
| JP4944739B2 (en) | Program creation device for image processing controller | |
| CN109089379B (en) | Printed circuit board dividing path planning system and planning method | |
| JP5060677B2 (en) | Image processing controller and inspection support system | |
| JP5060675B2 (en) | Program creation device for image processing controller | |
| JP2017138901A (en) | Inspection support device, inspection support method, and inspection support program | |
| JP2013016013A (en) | Development support device and development support method | |
| JP5060674B2 (en) | Program creation device for image processing controller | |
| JP5696194B2 (en) | Program creation support apparatus and image processing apparatus | |
| JP6853747B2 (en) | Inspection report creation system | |
| JP2013164313A (en) | Screen display data editing device and screen display editing method | |
| JPH06282400A (en) | Method and system for automatic save and display of pop up menu | |
| JP4796448B2 (en) | Man-machine device | |
| JP5109340B2 (en) | Image processing apparatus, image display method, program for causing computer to execute image display method, and recording medium recording the program | |
| JP4426714B2 (en) | Piping equipment integration method | |
| JP2003139520A (en) | Image measuring device, image measuring method and image measuring program | |
| JP5060676B2 (en) | Program creation apparatus and inspection support system for image processing controller | |
| JP4758841B2 (en) | Image display device, image display method, and image display program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080908 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110614 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110627 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4784269 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140722 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |