JP2021141444A - 作業機、及び作業システム - Google Patents

作業機、及び作業システム Download PDF

Info

Publication number
JP2021141444A
JP2021141444A JP2020037857A JP2020037857A JP2021141444A JP 2021141444 A JP2021141444 A JP 2021141444A JP 2020037857 A JP2020037857 A JP 2020037857A JP 2020037857 A JP2020037857 A JP 2020037857A JP 2021141444 A JP2021141444 A JP 2021141444A
Authority
JP
Japan
Prior art keywords
image data
image
work
communication
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020037857A
Other languages
English (en)
Other versions
JP7445460B2 (ja
Inventor
憲司 渡邉
Kenji Watanabe
憲司 渡邉
伸夫 長坂
Nobuo Nagasaka
伸夫 長坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Priority to JP2020037857A priority Critical patent/JP7445460B2/ja
Publication of JP2021141444A publication Critical patent/JP2021141444A/ja
Application granted granted Critical
Publication of JP7445460B2 publication Critical patent/JP7445460B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Analysis (AREA)

Abstract

【課題】可動部による作業に係わる画像について、作業機が備える記憶装置の容量の増大を抑制し、より多くの画像データを蓄積できる作業機及び作業システムを提供すること。【解決手段】本開示の作業機は、ワークに対する作業を実行する可動部と、可動部による作業に係わる画像を撮像する第1撮像装置と、可動部の動作を制御し、可動部による作業を実行させる制御装置と、第1撮像装置により撮像された画像データを、外部装置へ無線通信により送信する無線装置と、を備える。【選択図】図4

Description

本開示は、ワークに対する作業を実行する作業機、及び作業機を備える作業システムに関するものである。
従来、ワークに対する作業を可動部で実行する作業機が種々提案されている。下記特許文献1に開示される電子部品装着装置は、装着ヘッドによって電子部品を吸着して保持し、保持した電子部品を回路基板に装着する作業を実行する。電子部品装着装置は、装着ヘッドに保持した電子部品を撮像するパーツカメラや、回路基板を上方から撮像するマークカメラなどの撮像装置を備えている。撮像された画像データは、画像処理装置において処理され、回路基板に関する情報、装着ヘッドによる電子部品の保持位置の誤差等が取得される。
国際公開第WO2013−084327号
上記した電子部品装着装置では、装着ヘッドの作業中において作業に係わる画像を適宜撮像する。また、電子部品装着装置で異常が発生していないか、あるいはどのような異常が発生しているのかを検証するには、作業中の画像をより多く撮像することが好ましい。しかしながら、これらの作業中に撮像した画像データの数やデータ量が増大すると、画像データを蓄積するために容量の大きい記憶装置を電子部品装着装置内に設置する必要が生じる。
本開示は、上記の課題に鑑みてなされたものであり、可動部による作業に係わる画像について、作業機が備える記憶装置の容量の増大を抑制し、より多くの画像データを蓄積できる作業機及び作業システムを提供することを課題とする。
上記課題を解決するために、本開示は、ワークに対する作業を実行する可動部と、前記可動部による作業に係わる画像を撮像する第1撮像装置と、前記可動部の動作を制御し、前記可動部による作業を実行させる制御装置と、前記第1撮像装置により撮像された画像データを、外部装置へ無線通信により送信する無線装置と、を備える作業機を開示する。
尚、本開示の内容は、作業機としての実施だけでなく、作業機を備える作業システムとして実施することが可能である。
本開示の作業機、作業システムによれば、可動部の作業に係わる画像を第1撮像装置で撮像し、撮像した画像データを無線装置により外部装置へ送信することができる。画像データを蓄積するための記憶容量を、作業機が備える記憶装置に確保する必要がなくなる。また、外部装置に十分な記憶容量を確保することで、外部装置に蓄積する画像データの数やデータ量を増大させることができる。
本実施形態の部品装着システムの概略構成を示す平面図である。 部品装着機及びローダの概略構成を示す斜視図である。 多重通信システムのブロック図である。 ヘッド部が備えるヘッド基板の構成を示すブロック図である。
以下、本開示の作業システムを具体化した一実施形態である部品装着システム10について図面を参照しながら説明する。図1は、本実施形態の部品装着システム10の概略構成を示す平面図である。図2は、部品装着機20及びローダ13の概略構成を示す斜視図である。尚、以下の説明では、図1の左右方向をX方向と称し、前後方向をY方向と称し、X方向及びY方向に垂直な方向をZ方向(上下方向)と称して説明する。
図1に示すように、部品装着システム10は、生産ライン11と、ローダ13と、管理コンピュータ15と、画像サーバ16を備えている。生産ライン11は、X方向に並べられた複数の部品装着機20を有し、基板17に対する電子部品の装着等を行う。基板17は、例えば、図1に示す左側の部品装着機20から右側の部品装着機20へと搬出され、搬送中に電子部品の装着等を実行される。
図2に示すように、部品装着機20は、ベース21と、モジュール22とを備えている。ベース21は、Y方向に長い略長方形の箱型をなし、例えば、隣の部品装着機20のベース21と互いに固定されている。モジュール22は、基板17に対する電子部品の装着等を行う装置であり、ベース21の上に載置されている。モジュール22は、基板搬送装置23と、パレット24と、ヘッド部25と、ヘッド移動機構27とを備える。基板搬送装置23は、モジュール22内に設けられ、基板17をX方向に搬送する。パレット24は、モジュール22の前面に設けられ、X方向に複数配列されたスロット(図示略)を備える。パレット24の各スロットには、電子部品を供給するフィーダ29が装着される。尚、図1に示すように、モジュール22の上部カバーの上には、部品装着機20に対する操作入力を行うタッチパネル26が設けられている。図2は、上部カバーやタッチパネル26を取り外した状態を示している。
ヘッド部25は、フィーダ29から供給された電子部品を吸着する吸着ノズル28(図2参照)を備え、吸着ノズル28で吸着した電子部品を基板17に装着する。ヘッド部25は、例えば、複数の吸着ノズル28の位置や、個々の吸着ノズル28の位置を変更する駆動源として電磁モータ(図示略)を有している。ヘッド移動機構27は、モジュール22の上部部分において、X方向及びY方向の任意の位置にヘッド部25を移動させる。詳述すると、ヘッド移動機構27は、ヘッド部25をX方向に移動させるX軸スライド機構27Aと、ヘッド部25をY方向に移動させるY軸スライド機構27Bとを備える。X軸スライド機構27Aは、Y軸スライド機構27Bに取り付けられている。また、X軸スライド機構27Aは、後述する産業用ネットワークに接続される第3スレーブ65(図3参照)を備える。第3スレーブ65は、X軸スライド機構27Aに設けられたリレー81やセンサ83(図3参照)などの各種装置が接続され、装置本体部41のマスター53(図3参照)から受信した制御データCDに基づいて、各種装置の入出力する信号を処理する。
Y軸スライド機構27Bは、駆動源としてリニアモータ(図示略)を有している。X軸スライド機構27Aは、Y軸スライド機構27Bのリニアモータの駆動に基づいてY方向の任意の位置に移動する。また、X軸スライド機構27Aは、駆動源としてリニアモータ(図示略)を有している。ヘッド部25は、X軸スライド機構27Aに取り付けられ、X軸スライド機構27Aのリニアモータの駆動に基づいてX方向の任意の位置に移動する。従って、ヘッド部25は、X軸スライド機構27A及びY軸スライド機構27Bの駆動にともなってモジュール22の上部部分で任意の位置に移動する。尚、第3スレーブ65が制御する各種装置は、リレー81やセンサ83に限らず、リニアモータ等の他の装置でも良い。
また、ヘッド部25は、X軸スライド機構27Aにコネクタを介して取り付けられ、ワンタッチで着脱可能であり、種類の異なるヘッド部25、例えば、ディスペンサヘッド等に変更できる。従って、本実施形態のヘッド部25は、部品装着機20に対して着脱可能となっている。また、ヘッド部25の下面における前側には、側方カメラ70が取り付けられている。側方カメラ70は、吸着ノズル28に吸着された電子部品を側方から撮像する。また、X軸スライド機構27Aには、基板17を撮影するためのマークカメラ69が取り付けられている。マークカメラ69は、X軸スライド機構27Aにおけるヘッド部25の取り付け部分の下面に設けられ、撮像方向を下方に向けた状態で固定されている。マークカメラ69は、ヘッド部25の移動に伴って、基板17の任意の位置を上方から撮像可能となっている。また、Y方向における基板搬送装置23とパレット24の間には、パーツカメラ71が取り付けられている。パーツカメラ71は、吸着ノズル28に吸着された電子部品を下方から撮像する。マークカメラ69、側方カメラ70、及びパーツカメラ71が撮像した画像データGD1は、モジュール22の本体制御装置51の画像処理ボード51A(図3参照)において画像処理される。画像処理ボード51Aは、マークカメラ69の画像データGD1を画像処理することによって、基板17に関する情報や装着位置の誤差等を取得する。また、画像処理ボード51Aは、側方カメラ70やパーツカメラ71の画像データGD1を画像処理することによって、吸着ノズル28で吸着した電子部品の傾きや吸着位置の誤差等を取得する。画像処理ボード51Aは、例えば、画像処理を実行する処理回路(CPUやFPGAなど)を備える基板である。
また、ヘッド部25は、産業用ネットワークに接続される第2スレーブ61(図3参照)を備える。第2スレーブ61は、ヘッド部25に設けられたリレー75やセンサ77などの各種装置が接続され、装置本体部41のマスター53(図3参照)から受信した制御データCDに基づいて、各種装置の入出力する信号を処理する。
また、ヘッド部25の下面には、モニタ用カメラ73が取り付けられている。モニタ用カメラ73は、ヘッド部25による装着作業に係わる画像を撮像する。ここでいう装着作業に係わる画像とは、例えば、基板17に装着した後の電子部品の状態を撮像した画像、基板搬送装置23によって搬送される基板17を撮像した画像などである。あるいは、装着作業に係わる画像とは、例えば、フィーダ29から供給位置に供給された電子部品を撮像した画像である。従って、装着作業に係わる画像とは、装着作業の状態や様子を撮像した(検証や確認に用いることができる)様々な画像を含む。モニタ用カメラ73は、後述する無線装置79を介して、撮像した画像データGD2を画像サーバ16へ送信する。
また、図2に示すように、ベース21の前面には、上部ガイドレール31と、下部ガイドレール33と、ラックギヤ35と、非接触給電コイル37とが設けられている。上部ガイドレール31は、X方向に延びる断面U字状のレールであり、開口部が下を向いている。下部ガイドレール33は、X方向に延びる断面L字状のレールであり、垂直面がベース21の前面に取り付けられ、水平面が前方に伸び出している。ラックギヤ35は、下部ガイドレール33の下部に設けられ、X方向に延び、前面に複数の縦溝が刻まれたギヤである。ベース21の上部ガイドレール31、下部ガイドレール33及びラックギヤ35は、隣接するベース21の上部ガイドレール31、下部ガイドレール33及びラックギヤ35と着脱可能に連結することができる。このため、部品装着機20は、生産ライン11に並んだ部品装着機20の数を増減することができる。非接触給電コイル37は、上部ガイドレール31の上部に設けられ、X方向に沿って配置されたコイルであり、ローダ13への電力の供給を行う。
ローダ13は、部品装着機20に対するフィーダ29の補充及び回収を自動で行う装置であり、フィーダ29をクランプする把持部(図示略)を備える。ローダ13には、上部ガイドレール31に挿入される上部ローラ(図示略)と、下部ガイドレール33に挿入される下部ローラ(図示略)とが設けられている。また、ローダ13には、駆動源としてモータが設けられている。モータの出力軸には、ラックギヤ35と噛み合うギヤが取り付けられている。ローダ13は、部品装着機20の非接触給電コイル37から電力の供給を受ける受電コイルを備えている。ローダ13は、非接触給電コイル37から受電した電力をモータに供給する。これにより、ローダ13は、モータによってギヤを回転させることで、X方向(左右方向)へ移動することができる。また、ローダ13は、上部ガイドレール31及び下部ガイドレール33内でローラを回転させ、上下方向や前後方向の位置を保持しながらX方向へ移動することができる。
図1に示す管理コンピュータ15は、部品装着システム10を統括的に管理する装置である。例えば、生産ライン11の部品装着機20は、管理コンピュータ15の管理に基づいて、電子部品の装着作業を開始する。部品装着機20は、基板17を搬送しながらヘッド部25によって電子部品の装着作業を行う。また、管理コンピュータ15は、フィーダ29の残りの電子部品の数を監視する。管理コンピュータ15は、例えば、フィーダ29の補給が必要であると判断すると、補給が必要な部品種を収容したフィーダ29をローダ13にセットする指示を画面に表示する。ユーザは、画面を確認して、フィーダ29をローダ13にセットする。管理コンピュータ15は、所望のフィーダ29がローダ13にセットされたことを検出すると、ローダ13に対して補給作業の開始を指示する。ローダ13は、指示を受けた部品装着機20の前方まで移動し、ユーザによってセットされたフィーダ29を把持部で挟持してパレット24のスロットに装着する。これにより、新たなフィーダ29が部品装着機20に補給される。また、ローダ13は、部品切れになったフィーダ29を把持部で挟持してパレット24から引き出して回収する。このようにして、新たなフィーダ29の補給及び部品切れとなったフィーダ29の回収を、ローダ13によって自動的行うことができる。
画像サーバ16は、例えば、大容量(数十TBなど)のハードディスクを備えたサーバ装置であり、部品装着機20の各カメラで撮像した画像データを蓄積する。画像サーバ16は、例えば、CPUを主体とするコンピュータで構成され、ハードディスク、ROM、RAM、キーボード、モニタ等を備えている。画像サーバ16が蓄積する画像データの種類は、特に限定されないが、例えば、上記したマークカメラ69、側方カメラ70、及びパーツカメラ71の画像データGD1や、モニタ用カメラ73の画像データGD2である。
次に、部品装着機20が備える多重通信システムについて説明する。図3は、部品装着機20に適用される多重通信システムの構成を示すブロック図である。図2に示すように、部品装着機20は、装置本体部41と、分岐スレーブ43と、固定多重部45をモジュール22内に備えている。装置本体部41、分岐スレーブ43、及び固定多重部45は、基板搬送装置23の下方におけるモジュール22内に設けられている。
図3に示すように、本実施形態の多重通信システムでは、モジュール22内に固定された装置本体部41、分岐スレーブ43及び固定多重部45と、モジュール22内で移動する可動部(X軸スライド機構27A及びヘッド部25)との間のデータ伝送を多重通信により行う。装置本体部41は、本体制御装置51と、マスター53を有している。固定多重部45は、第1通信処理装置55を備える。マスター53は、分岐スレーブ43を介して、第1通信処理装置55の第1スレーブ57と接続されている。ヘッド部25には、第2スレーブ61を有する第2通信処理装置63が設けられている。また、X軸スライド機構27Aには、第3スレーブ65を有する第3通信処理装置67が設けられている。尚、図3に示す多重通信や産業用ネットワークの接続構成は、一例である。
マスター53は、産業用ネットワークに接続される分岐スレーブ43、第1スレーブ57、第2スレーブ61、及び第3スレーブ65を制御する制御データCDの伝送を統括的に制御する。産業用ネットワークは、例えば、EtherCAT(登録商標)である。尚、「産業用ネットワーク」とは、例えば、EtherCAT(登録商標)の通信規格を用いて、リレー75,81やセンサ77,83等を制御する制御データCDを伝送するネットワークである。また、本開示の産業用ネットワークとしては、EtherCAT(登録商標)に限らず、例えば、Profinet(登録商標)やMECHATROLINK(登録商標)−III等の他のネットワーク(通信規格)を採用できる。
本体制御装置51は、例えば、CPUを主体として構成される処理回路であり、マスター53によって収集した制御データCDや、第1通信処理装置55で受信した画像データGD1等を入力し、次の制御内容(装着する電子部品の種類や装着位置など)を決定する。また、本体制御装置51は、決定した制御内容に応じた制御データCDをマスター53から送信させる。マスター53は、産業用ネットワークを介して分岐スレーブ43、第1スレーブ57、第2スレーブ61、及び第3スレーブ65へ制御データCDを送信する。
ヘッド部25は、上記した第2通信処理装置63、側方カメラ70、モニタ用カメラ73等を有している。第2スレーブ61は、装置本体部41のマスター53から受信した制御データCDに基づいて、各種装置(リレー81やセンサ83など)で入出力される信号を処理する。例えば、制御データCDには、複数のスレーブ(第1スレーブ57など)の各々に対応した読み込み領域や書き込み領域が設定されている。例えば、ヘッド部25の第2スレーブ61は、マスター53から受信した制御データCDのうち、第2スレーブ61用の読み込み領域から読み込んだデータに基づいてリレー75やセンサ77を駆動する。また、第2スレーブ61は、リレー75の駆動結果の信号やセンサ77の検出信号に応じたデータを、制御データCDのうち、第2スレーブ61用の書き込み領域へ書き込む。第2スレーブ61は、書き込みが終了した制御データCDを、マスター53や他のスレーブ(第3スレーブ65など)に向けて送信する。尚、制御データCDは、後述する多重の高速シリアル通信により伝送される。また、第1通信処理装置55の第1スレーブ57やX軸スライド機構27Aの第3スレーブ65は、上記したヘッド部25の第2スレーブ61と同様に、制御データCDに基づいて、各種装置(リレー81やセンサ83など)を制御する。制御データCDは、例えば、マスター53や各スレーブを循環して伝送される。尚、各スレーブに接続される各種装置(制御データCDによって制御される装置)は、特に限定されない。
次に、上記した産業用ネットワークの制御データCDや側方カメラ70等の画像データGD1を伝送する多重通信について説明する。本実施形態の部品装着機20は、上記した固定多重部45、X軸スライド機構27A及びヘッド部25の間のデータ伝送を多重の高速シリアル通信によって実行する。図3に示すように、固定多重部45は、上記した第1通信処理装置55の他に、光変換モジュール85,87を有する。光変換モジュール85は、ヘッド部25が有する光変換モジュール89と、光ファイバケーブル91を介して接続されている。同様に、固定多重部45の光変換モジュール87は、X軸スライド機構27Aが有する光変換モジュール93と、光ファイバケーブル95を介して接続されている。尚、固定多重部45、ヘッド部25、X軸スライド機構27Aを接続する通信は、光通信に限らず、例えば、Gigabit Ethernet(登録商標)の通信規格に準拠したLANケーブルを用いたパケット通信でも良い。また、部品装着機20が備える通信システムは、有線の通信システムに限らず、無線の通信システムでも良い。
次に、第1通信処理装置55と第2通信処理装置63の間の通信について説明する。尚、第1通信処理装置55と第3通信処理装置67との間の通信の処理内容は、第1通信処理装置55と第2通信処理装置63との間の通信の処理内容と同様であるため、その説明を適宜省略する。固定多重部45の光変換モジュール85は、光信号とデジタル信号の変換を実行する物理インターフェースである。光変換モジュール85は、第1通信処理装置55に接続され、第1通信処理装置55から入力されたデータを光信号に変換する。光変換モジュール85は、変換した光信号を、光ファイバケーブル91を介してヘッド部25の光変換モジュール89へ送信する。また、光変換モジュール85は、ヘッド部25の光変換モジュール89から受信した光信号をデジタ信号(シリアル信号)に変換して第1通信処理装置55へ出力する。
図4は、ヘッド部25が備えるヘッド基板101の構成を示している。図4に示すように、ヘッド基板101は、上記した第2通信処理装置63、無線装置79、光変換モジュール89を備えている。第2通信処理装置63は、例えば、FPGA(Field Programmable Gate Array)などのプログラム可能なロジックデバイスである。第2通信処理装置63は、側方カメラ70の画像データGD1を処理する処理回路として、カメラIF103、画像処理部105、バッファ107、多重処理部109を有している。また、第2通信処理装置63は、モニタ用カメラ73の画像データGD2を処理する処理回路として、カメラIF113、画像処理部115、バッファ117、通信IFコンバータ119を有している。
第2通信処理装置63は、例えば、FPGAの論理回路を構築するためのコンフィグ情報を記憶するメモリ121を備えている。第2通信処理装置63は、メモリ121に記憶されたコンフィグ情報を読み込んで、各種の処理回路(論理回路)を構築する。第2通信処理装置63は、構築した処理回路により画像データGD1などの通信システムで伝送するデータの処理を行う。
カメラIF103は、側方カメラ70と接続されるインターフェースとして機能し、側方カメラ70から入力した画像データGD1を、後段の画像処理部105等で処理可能なデジタル信号に変換する処理回路である。同様に、カメラIF113は、モニタ用カメラ73に接続され、モニタ用カメラ73から入力した画像データGD2を変換して画像処理部115へ出力する。
画像処理部105は、カメラIF103から入力した画像データGD1の画質の補正などの画像処理を実行する。同様に、画像処理部115は、カメラIF113から入力した画像データGD2の画質の補正などの画像処理を実行する。バッファ107は、画像処理部105で処理された画像データGD1を入力して一時的に保存し、多重処理部109へ出力する。同様に、バッファ117は、画像処理部115で処理された画像データGD2を入力して一時的に保存し通信IFコンバータ119へ出力する。バッファ107,117の各々は、例えば、FIFO(First−In First−Out)形式により画像データGD1,GD2を蓄積する。バッファ107,117の各々は、入力側(画像処理部105,115)と、出力側(多重処理部109、通信IFコンバータ119)の処理回路のデータ転送速度の違いを調整する。
また、多重処理部109は、例えば、バッファ107の他に、第2スレーブ61に接続されている。第1スレーブ57、第2スレーブ61、及び第3スレーブ65は、例えば、ロジックデバイスの論理回路の構築に使用されるIPコアである。尚、第2通信処理装置63は、FPGAに限らず、プログラマブルロジックデバイス(PLD)、複合プログラマブルロジックデバイス(CPLD)でも良い。また、第2通信処理装置63は、第2スレーブ61以外の回路を、特定用途向け集積回路(ASIC)などで構成しても良い。また、第1通信処理装置55や第3通信処理装置67を、第2通信処理装置63と同様に、FPGAで構成しても良く、画像データGD1等を処理可能な集積回路で構成しても良い。
多重処理部109は、例えば、第2スレーブ61から入力した産業用ネットワークの制御データCD、バッファ107から入力した画像データGD1を入力し多重化する。多重処理部109は、例えば、時分割多重化方式(TDM:Time Division Multiplexing)により多重化を行う。多重処理部109は、例えば、入力した各種データを、入力ポートに対して割り当てた一定時間(タイムスロット)に応じて多重化し、多重化した多重化データを光変換モジュール89へ出力する。
また、多重処理部109は、例えば、光変換モジュール89を介して固定多重部45の第1通信処理装置55から受信した多重化データの非多重化を実行し、多重化データに多重化されたデータを分離する。多重処理部109は、分離した各種のデータを、対応する各装置へ出力する。多重処理部109は、例えば、図示しない通信経路により、本体制御装置51から受信した撮像の開始を指示する撮像開始信号を多重化データから分離して側方カメラ70へ出力する。これにより、固定多重部45とヘッド部25との間において、制御データCD、画像データGD1等の各種のデータを多重化した多重通信(高速シリアル通信)が実行される。
尚、上記した多重通信システムの構成は、一例であり適宜変更可能である。例えば、部品装着機20の多重通信システムは、ヘッド部25の吸着ノズル28(図2参照)の駆動源である電磁モータのエンコーダのエンコーダ信号や、エンコーダに対する制御コマンドを多重化しても良い。また、図3に示す本実施形態の多重通信システムでは、Y軸スライド機構27Bが接続されていない。しかしながら、例えば、Y軸スライド機構27Bのリニアモータに取り付けたリニアスケールのエンコーダ信号を、多重通信システムにより伝送しても良い。
また、通信IFコンバータ119は、バッファ117から入力した画像データGD2を、無線装置79で処理可能な信号に変換するコンバータである。通信IFコンバータ119は、例えば、画像データGD2に対する誤り訂正符号化処理、変調処理、周波数変換処理などを実行する。無線装置79は、例えば、第5世代移動体通信(5G:the 5th Generation mobile communication)(以下、「5G」と称する場合がある。)の通信規格に準拠した無線通信により画像データGD2を画像サーバ16へ送信する無線装置である。尚、本開示における無線装置が実行する無線通信は、5Gの通信規格に準拠した無線通信に限らず、LTE(Long Term Evolution)システムやLTE−Advancedシステムなどの第4世代や、その後続として開発された他の高速無線通信でも良い。
無線装置79は、通信IFコンバータ119から入力した画像データGD2を無線信号に変換して画像サーバ16へ送信する。本実施形態の部品装着機20は、無線装置79により、モニタ用カメラ73で撮像した画像データGD2を画像サーバ16へ、5Gの高速無線通信により低遅延で送信することができる。無線装置79は、例えば、モニタ用カメラ73で撮像された画像データGD2を圧縮処理等することなく、画質等を維持したまま画像サーバ16へ送信する。ユーザは、画像サーバ16のモニタで画像データGD2を確認することで、部品装着機20の装着作業の状態をリアルタイムに確認することができる。
また、無線装置79をヘッド部25に設け、画像データGD2を無線装置79から画像サーバ16へ直接、無線送信することで、モニタ用カメラ73を装置本体部41へケーブル等で接続する必要がなくなる。また、モニタ用カメラ73を画像サーバ16とケーブル等で接続する必要がなくなる。このため、各種の有線の敷設が不要となる。また、本体制御装置51の画像処理ボード51Aにモニタ用カメラ73を接続するためのコネクタを追加(増設等)する必要がなくなる。
また、図4に示すように、本実施形態の通信IFコンバータ119は、バッファ107を介して側方カメラ70の画像データGD1を入力可能となっている。通信IFコンバータ119は、例えば、識別情報や時間情報を画像データGD1,GD2に付加して無線装置79に出力する。この識別情報は、側方カメラ70で撮像された画像データGD1とモニタ用カメラ73で撮像された画像データGD2を識別可能な情報であり、例えば、カメラのシリアル番号を示す情報である。時間情報は、画像データGD1,GD2を撮像した時間を示す情報であり、例えば、通信IFコンバータ119が画像データGD1,GD2を取り込んだ時間(システム時間)を示す情報である。通信IFコンバータ119は、入力した画像データGD1,GD2に識別情報や時間情報を付加して、入力した順番に全ての画像データGD1,GD2を無線装置79に出力する。画像サーバ16は、例えば、無線装置79から受信した順番に画像データGD1,GD2を蓄積する。これにより、画像サーバ16には、側方カメラ70及びモニタ用カメラ73により撮像された画像データGD1,GD2の全てが撮像された順番に蓄積される。
また、図1に示すように、画像サーバ16は、複数の部品装着機20(無線装置79)と接続することができる。特に、5Gでは、4Gなどに比べて多数の同時接続(高密度な多数接続)が可能となる。このため、1つの生産ライン11や1つの工場内に設置されたより多くの部品装着機20から画像データGD1,GD2を取得することが可能となる。通信IFコンバータ119は、例えば、部品装着機20を識別可能な識別情報を、画像データGD1,GD2に付加する。通信IFコンバータ119は、上記したカメラの識別情報、部品装着機20の識別情報、及び時間情報を、例えば、画像データGD1,GD2のファイル名やヘッダ情報に設定する。これにより、モニタ用カメラ73だけでなく、実際の装着作業に使用している側方カメラ70の画像データGD1を、画像サーバ16で確認することができる。画像サーバ16は、どの部品装着機20のどのカメラでいつ撮像された画像データGD1,GD2であるのかを識別することができる。
尚、通信IFコンバータ119は、側方カメラ70やモニタ用カメラ73で撮像された画像データGD1,GD2を全て画像サーバ16に送信しなくとも良い。また、通信IFコンバータ119は、画像データGD1,GD2を撮像された順番に(入力した順番に)送信しなくとも良い。また、部品装着機20は、側方カメラ70以外のカメラ(マークカメラ69やパーツカメラ71)の画像データGD1を、無線装置79により画像サーバ16へ送信しても良い。この場合、無線装置79をX軸スライド機構27Aやモジュール22内に設置しても良い。
従って、本実施形態の無線装置79は、画像サーバ16との間で5Gの無線通信を実行し、側方カメラ70やモニタ用カメラ73により撮像された画像データGD1,GD2を、本体制御装置51を介さずに画像サーバ16へ送信する。これによれば、画像データGD1,GD2の送信を、部品装着機20を制御する本体制御装置51を介さずに実行できる。このため、画像データGD1,GD2の送信処理における部品装着機20(本体制御装置51)の処理負荷を軽減できる。
また、無線装置79は、側方カメラ70やモニタ用カメラ73で撮像された全ての画像データGD1,GD2を、撮像された順番に画像サーバ16へ送信する。これによれば、撮像された全ての画像データGD1,GD2を、可能な限りそのままの状態で画像サーバ16に蓄積することができる。例えば、通信IFコンバータ119及び無線装置79は、側方カメラ70やモニタ用カメラ73で撮像された画像データGD1,GD2(生データ)を、可能な限り画質やデータ量を変更せずに画像サーバ16へ送信しても良い。この場合、画像処理部105,115により補正処理を実行しなくとも良い。画像サーバ16に蓄積した画像データGD1,GD2を用いることで、部品装着機20の正常動作の検証、動作異常の原因の解析、画像データGD1,GD2を処理する処理プログラムの検証、正常時や異常時の画像データGD1,GD2の比較などを、より正確に実施できる。
例えば、画像データGD1(生データ)を保存できれば、画像処理ボード51Aで実行する画像処理プログラムを変更した場合に、変更後の画像処理プログラムで画像処理した後の画像データGD1と、画像処理前の画像データGD1を、生データを用いて比較・検証できる。これにより、変更後の画像処理プログラムが、所望の画像処理を適切に実行しているか正確に検証することができる。
また、部品装着機20は、ヘッド部25による装着作業に係わる画像を撮像する側方カメラ70と、側方カメラ70により撮像された画像データGD1(第2画像データの一例)を画像処理する画像処理ボード51A(画像処理装置の一例)と、を備えている。本体制御装置51は、画像処理ボード51Aにより画像処理された画像データGD1に基づいて、ヘッド部25の動作を制御する。
これによれば、画像サーバ16へ蓄積する画像データGD2を撮像するモニタ用カメラ73とは別に、ヘッド部25の制御に用いる画像データGD1を撮像する側方カメラ70を備える。換言すれば、モニタ用カメラ73を、画像サーバ16へ画像データGD2を送信する専用(モニタ用など)の撮像装置として用いることができる。専用機として用いることで、モニタ用カメラ73を必要なスペック(画質、カラー数)の撮像装置に変更した場合や、モニタ用カメラ73の設置位置を変更した場合に、部品装着機20に対する変更の影響を少なくできる。例えば、モニタ用カメラ73を実際の装着作業には使用しないため、部品装着機20の様々な位置(必要な画像を取得できる位置)に設置することができる。
また、無線装置79は、画像処理ボード51Aにより画像処理される前の画像データGD1を、画像サーバ16へ送信する。これによれば、無線装置79は、モニタ用カメラ73の画像データGD2に加え、側方カメラ70の画像データGD1を画像サーバ16へ送信する。また、無線装置79は、画像処理ボード51Aによる画像処理前(誤差位置を検出するための画像の色変換や抽出処理前)の画像データGD1を画像サーバ16へ送信する。これにより、画像データGD1による確認作業や検証作業が実行できる。例えば、画像処理ボード51Aによる画像処理が適切に実行できているか、画像処理前後の画像を確認することで検証できる。
また、無線装置79は、第5世代(5G)の通信規格に準拠した無線通信により画像データGD1,GD2を画像サーバ16へ送信する。これによれば、5Gの通信規格に準拠した無線通信により、画像データGD1,GD2を、高速且つ低遅延で画像サーバ16へ送信できる。画像データGD1,GD2をリアルタイムに画像サーバ16へ蓄積することが可能となる。装着作業のモニタ(監視)、装着結果の判定、装着作業の記録などを実行できる。また、5Gの特徴の1つである多接続により、1つの画像サーバ16に対し、より多くの部品装着機20を接続(多接続)することが可能となる。このため、1つの画像サーバ16により多くの部品装着機20の画像データGD1,GD2をまとめて蓄積できる。
また、本実施形態の無線装置79は、ヘッド部25に設けられている(図4参照)。これによれば、ヘッド部25に無線装置79を設けることで、ヘッド部25にカメラ(モニタ用カメラ73や側方カメラ70など)を設けた場合、カメラと無線装置79との接続の距離を短くできる。接続の距離を短くすることで、接続の配線に発生する外来ノイズの影響を抑制することができる。画像データGD1,GD2の伝送におけるエラーの発生を抑制できる。
また、本実施形態の部品装着システム10は、複数の部品装着機20と、画像サーバ16とを備えている。画像サーバ16は、複数の部品装着機20から画像データGD1,GD2を受信し、複数の部品装着機20で撮像された画像データGD1,GD2をまとめて蓄積する。これによれば、画像サーバ16に、複数の部品装着機20から画像データGD1,GD2を収集し蓄積できる。同一の生産ライン11の部品装着機20や、同一の生産工場の部品装着機20の画像データGD1,GD2を、まとめて画像サーバ16に蓄積できる。
また、画像サーバ16は、ヘッド部25による装着作業において異常が発生した異常情報ERIを部品装着機20の本体制御装置51から入力し、異常情報ERIに基づいて異常が発生した際に撮像された画像データGD1,GD2を特定しても良い。例えば、図1に示すように、画像サーバ16は、管理コンピュータ15から異常情報ERIを入力しても良い。
例えば、生産ライン11の複数の部品装着機20、管理コンピュータ15、及び画像サーバ16は、有線LANにより接続され、互いに通信可能となっている。各部品装着機20の本体制御装置51は、装着作業中に異常が発生した場合、その異常の情報を異常情報ERIとして、有線LANを介して管理コンピュータ15へ通知する。装着作業中に生じる異常とは、例えば、基板17(図1参照)に対して電子部品が装着できていない装着異常、ヘッド部25によって電子部品を正しい姿勢で吸着できていない吸着異常などである。あるいは、装着作業中に生じる異常は、例えば、ヘッド部25の速度異常や、フィーダ29とパレット24の通信異常などでも良い。本体制御装置51は、例えば、異常と判定した(異常を検出した)システム時間や、異常の内容を示す識別情報などを異常情報ERIとして管理コンピュータ15へ通知する。
そして、画像サーバ16は、管理コンピュータ15から有線LANを介して異常情報ERIを入力する。これによれば、画像サーバ16は、異常情報ERIの時間情報と、蓄積した(無線装置79から取得した)画像データGD1,GD2の時間情報とを照合し、異常発生時の画像データGD1,GD2を特定できる。画像サーバ16は、部品装着機20で異常と判定した際に、側方カメラ70やモニタ用カメラ73で撮像した画像データGD1,GD2を、ユーザに示すことができる。ユーザは、画像データGD1,GD2を確認することで、異常の原因調査や対策を実行できる。
尚、異常発生時の画像データGD1,GD2を特定する方法は、上記した時間情報を用いる方法に限らない。例えば、画像データGD1,GD2に固有番号(通し番号など)を付与し、その固有番号に基づいて、異常発生時の画像データGD1,GD2を特定しても良い。例えば、画像処理部105が、画像データGD1に固有番号を付与する。本体制御装置51は、装着作業中に、画像データGD1に基づいて異常を検出した場合、その画像データGD1の固有番号を異常情報ERIとして管理コンピュータ15へ通知する。画像サーバ16は、管理コンピュータ15から入力した異常情報ERIの固有番号と蓄積した画像データGD1の固有番号に基づいて異常発生時の画像データGD1を特定しても良い。また、複数の部品装着機20、管理コンピュータ15、及び画像サーバ16は、異常情報ERIを無線通信で送信しても良い。また、管理コンピュータ15は、異常時の画像データGD1,GD2の判定処理を実行しなくとも良い。
因みに、部品装着システム10は、作業システムの一例である。画像サーバ16は、外部装置の一例である。部品装着機20は、作業機の一例である。ヘッド部25は、可動部の一例である。本体制御装置51は、制御装置の一例である。画像処理ボード51Aは、画像処理装置の一例である。マークカメラ69、側方カメラ70、パーツカメラ71は、第1撮像装置、第2撮像装置の一例である。モニタ用カメラ73は、第1撮像装置の一例である。画像データGD1は、第2画像データの一例である。画像データGD2は、画像データの一例である。基板17は、ワークの一例である。
以上、上記した本実施例によれば以下の効果を奏する。
本実施例の一態様では、部品装着機20は、基板17に対する装着作業を実行するヘッド部25を備える。側方カメラ70やモニタ用カメラ73は、ヘッド部25による装着作業に係わる画像を撮像する。本体制御装置51は、ヘッド部25の動作を制御し、ヘッド部25による作業を実行させる。無線装置79は、側方カメラ70やモニタ用カメラ73により撮像された画像データGD1,GD2を、管理コンピュータ15へ5Gの無線通信により送信する。
これによれば、画像データGD1,GD2を蓄積するための記憶容量を、部品装着機20が備える記憶装置(本体制御装置51のメモリなど)に確保する必要がなくなる。また、画像サーバ16に十分な記憶容量を確保することで、画像サーバ16に蓄積する画像データGD1,GD2の数やデータ量を増大させることができる。また、無線通信により画像データGD1,GD2を送信することで、部品装着機20と画像サーバ16とを有線で接続する必要がなく、画像サーバ16の設置作業が容易となる。
尚、本開示は上記の実施例に限定されるものではなく、本開示の趣旨を逸脱しない範囲内での種々の改良、変更が可能であることは言うまでもない。
例えば、部品装着機20は、モニタ用カメラ73を備えなくとも良い。部品装着機20は、例えば、マークカメラ69、側方カメラ70、パーツカメラ71など、装着作業で実際に使用する画像データGD1だけを画像サーバ16へ送信しても良い。
また、部品装着機20は、マークカメラ69、側方カメラ70、パーツカメラ71などの装着作業で実際に使用する画像データGD1を撮像するカメラを備えなくとも良い。
また、無線装置79を、ヘッド部25以外の場所に設置しても良い。例えば、部品装着機20は、装置本体部41に無線装置79を備えても良い。そして、装置本体部41が、画像サーバ16へ画像データGD1,GD2を送信しても良い。
また、画像データGD1,GD2を蓄積する外部装置は、画像サーバ16に限らない。例えば、管理コンピュータ15が、部品装着機20から画像データGD1,GD2を受信して蓄積しても良い。即ち、画像データGD1,GD2を蓄積する専用のサーバ等を設けなくとも良い。
また、1つの画像サーバ16に複数の部品装着機20の画像データGD1,GD2を蓄積しなくとも良い。1つの部品装着機20や複数の部品装着機20のグループごとに、画像サーバ16を設置しても良い。
また、部品装着機20は、多重通信システムを備えなくとも良い。例えば、部品装着機20は、画像データGD1を他のデータと多重化して伝送しなくとも良い。
また、第1通信処理装置55と第2通信処理装置63との間における多重通信は、時分割多重化方式以外、例えば、周波数多重化方式でも良い。
また、上記実施例では本開示における作業機として、電子部品を基板17に装着する部品装着機20を採用した例について説明した。しかしながら、本開示における作業機は、部品装着機20に限定されるものではなく、はんだ印刷装置などの他の対基板作業機を採用することができる。この場合、はんだを塗布するスキージ保持装置は、本開示の可動部の一例である。また、モニタ用カメラ73として、はんだの塗布状態を撮像するカメラを用いても良い。また、作業機は、例えば、工作機械や組立て作業を実施するロボットでも良い。この場合、工作機械のチャック、ロボットのアームやエンドエフェクタは、本開示の可動部の一例である。また、モニタ用カメラ73として、作業状態を撮像するカメラを用いても良い。
次に、上記実施形態の内容から導き出される技術的思想について記載する。
(イ)
前記無線装置は、
前記可動部に設けられ、
前記可動部は、
前記作業機に対して着脱可能に構成され、
前記第1撮像装置の数、前記第1撮像装置が撮像する位置、前記第1撮像装置の性能、及び前記無線装置の性能のうち、少なくとも1つが異なる他の種類の前記可動部と交換可能である、請求項1乃至請求項6の何れか1項に記載の作業機。
これによれば、可動部を着脱可能に構成することで、機能の異なる可動部に交換することができる。監視・検証の目的に応じて可動部の種類を変更できる。例えば、第1撮像装置の数を変更することで、作業中に同時に撮像できる画像データの数を増減させることができる。あるいは、画質や色数の異なる第1撮像装置を複数備えた可動部への交換も可能となる。また、例えば、第1撮像装置が撮像する位置が異なる可動部に変更することで、監視や検証に用いる画像を撮像する位置を可動部の交換によって変更できる。また、例えば、第1撮像装置の性能が異なる可動部に変更することで、必要な画質や色数の第1撮像装置を備える可動部に変更することができる。また、例えば、無線装置の性能が異なる可動部に変更することで、受信側(外部装置)の通信性能の向上に合わせて、可動部側の通信性能を上げることができる。
10 部品装着システム(作業システム)、16 画像サーバ(外部装置)、17 基板(ワーク)、20 部品装着機(作業機)、25 ヘッド部(可動部)、51 本体制御装置(制御装置)、51A 画像処理ボード(画像処理装置)、69 マークカメラ(第1撮像装置、第2撮像装置)、70 側方カメラ(第1撮像装置、第2撮像装置)、71 パーツカメラ(第1撮像装置、第2撮像装置)、73 モニタ用カメラ(第1撮像装置)、79 無線装置、GD1 画像データ、GD2 画像データ(第2画像データ)、ERI 異常情報。

Claims (9)

  1. ワークに対する作業を実行する可動部と、
    前記可動部による作業に係わる画像を撮像する第1撮像装置と、
    前記可動部の動作を制御し、前記可動部による作業を実行させる制御装置と、
    前記第1撮像装置により撮像された画像データを、外部装置へ無線通信により送信する無線装置と、
    を備える作業機。
  2. 前記無線装置は、
    前記外部装置との間で無線通信を実行し、前記第1撮像装置により撮像された画像データを、前記制御装置を介さずに前記外部装置へ送信する、請求項1に記載の作業機。
  3. 前記無線装置は、
    前記第1撮像装置で撮像された全ての前記画像データを、撮像された順番に前記外部装置へ送信する、請求項1又は請求項2に記載の作業機。
  4. 前記可動部による作業に係わる画像を撮像する第2撮像装置と、
    前記第2撮像装置により撮像された第2画像データを画像処理する画像処理装置と、
    を備え、
    前記制御装置は、
    前記画像処理装置により画像処理された前記第2画像データに基づいて、前記可動部の動作を制御する、請求項1乃至請求項3の何れか1項に記載の作業機。
  5. 前記無線装置は、
    前記画像処理装置により画像処理される前の前記第2画像データを、前記外部装置へ送信する、請求項4に記載の作業機。
  6. 前記無線装置は、
    第5世代(5G)の通信規格に準拠した無線通信により前記画像データを前記外部装置へ送信する、請求項1乃至請求項5の何れか1項に記載の作業機。
  7. 請求項1乃至請求項6の何れか1項に記載の作業機を複数と、
    前記外部装置であって、複数の前記作業機から前記画像データを受信し、複数の前記作業機で撮像された前記画像データをまとめて蓄積する画像サーバと、
    を備える作業システム。
  8. 前記画像サーバは、
    前記可動部による作業において異常が発生した異常情報を前記作業機の前記制御装置から入力し、前記異常情報に基づいて異常が発生した際に撮像された前記画像データを特定する、請求項7に記載の作業システム。
  9. 前記無線装置は、
    前記可動部に設けられる、請求項1乃至請求項6の何れか1項に記載の作業機。
JP2020037857A 2020-03-05 2020-03-05 作業システム Active JP7445460B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020037857A JP7445460B2 (ja) 2020-03-05 2020-03-05 作業システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020037857A JP7445460B2 (ja) 2020-03-05 2020-03-05 作業システム

Publications (2)

Publication Number Publication Date
JP2021141444A true JP2021141444A (ja) 2021-09-16
JP7445460B2 JP7445460B2 (ja) 2024-03-07

Family

ID=77669165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020037857A Active JP7445460B2 (ja) 2020-03-05 2020-03-05 作業システム

Country Status (1)

Country Link
JP (1) JP7445460B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170813A1 (ja) 2022-03-09 2023-09-14 株式会社Fuji データ通信システムおよびデータ通信方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010282342A (ja) * 2009-06-03 2010-12-16 Fuji Xerox Co Ltd 画像記録装置、画像生成装置、画像処理システム及びプログラム
JP2018110368A (ja) * 2016-12-28 2018-07-12 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2018113610A (ja) * 2017-01-12 2018-07-19 ファナック株式会社 視覚センサの異常原因推定システム
JP2018200680A (ja) * 2017-05-25 2018-12-20 キヤノン株式会社 撮影装置およびシステム
JP2020022101A (ja) * 2018-08-01 2020-02-06 キヤノン株式会社 監視装置、生産ライン、および監視装置の制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010282342A (ja) * 2009-06-03 2010-12-16 Fuji Xerox Co Ltd 画像記録装置、画像生成装置、画像処理システム及びプログラム
JP2018110368A (ja) * 2016-12-28 2018-07-12 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2018113610A (ja) * 2017-01-12 2018-07-19 ファナック株式会社 視覚センサの異常原因推定システム
JP2018200680A (ja) * 2017-05-25 2018-12-20 キヤノン株式会社 撮影装置およびシステム
JP2020022101A (ja) * 2018-08-01 2020-02-06 キヤノン株式会社 監視装置、生産ライン、および監視装置の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170813A1 (ja) 2022-03-09 2023-09-14 株式会社Fuji データ通信システムおよびデータ通信方法

Also Published As

Publication number Publication date
JP7445460B2 (ja) 2024-03-07

Similar Documents

Publication Publication Date Title
CN111656333B (zh) 从属设备、作业机及存储日志信息的方法
CN105612705B (zh) 多路复用通信系统及对基板作业机
US11864324B2 (en) Moving work management device, moving work device, mounting system, and moving work management method
JP7445460B2 (ja) 作業システム
CN112334739B (zh) 日志记录装置及采样的方法
WO2020136705A1 (ja) 多重通信装置、及び作業機
JPWO2018216075A1 (ja) 画像処理装置、多重通信システム及び画像処理方法
JP6858278B2 (ja) 多重装置、作業機、及び通信の切断方法
JP6615018B2 (ja) 多重化通信システム及び作業機
WO2020100254A1 (ja) 作業機、及び作業システム
JP7474789B2 (ja) 部品実装機
WO2021171549A1 (ja) 作業機
US20230389251A1 (en) Component mounting system
JP2018126838A (ja) 伝送装置及び作業用ロボット
JP7197705B2 (ja) 実装装置、実装システム及び検査実装方法
JP7199566B2 (ja) 搭載装置、及び作業機
JP7222115B2 (ja) 多重通信装置、及び作業機
JP6267709B2 (ja) 実装機用多重化通信システム及び実装機
EP3883147B1 (en) Optical communication device and working machine
JP7279182B2 (ja) 作業機
WO2022259456A1 (ja) 光多重通信装置、作業機、及び通信方法
CN118176679A (zh) 光通信装置、作业机以及通信方法
JP2022118203A (ja) 部品種類管理装置
JPWO2020217303A1 (ja) 情報処理装置及び作業機
CN116491237A (zh) 管理装置、管理方法及作业装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240226

R150 Certificate of patent or registration of utility model

Ref document number: 7445460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150