JP2017183908A - Switching device - Google Patents
Switching device Download PDFInfo
- Publication number
- JP2017183908A JP2017183908A JP2016066015A JP2016066015A JP2017183908A JP 2017183908 A JP2017183908 A JP 2017183908A JP 2016066015 A JP2016066015 A JP 2016066015A JP 2016066015 A JP2016066015 A JP 2016066015A JP 2017183908 A JP2017183908 A JP 2017183908A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- camera
- switching
- signal
- processing board
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、複数の撮像部と、画像処理ボードとの間に接続され、画像処理ボードに接続する撮像部を切り替える切替装置に関するものである。 The present invention relates to a switching device that is connected between a plurality of image capturing units and an image processing board and switches image capturing units connected to the image processing board.
従来、製造業等において、人の目の代わりにカメラ(マシンビジョンカメラなど)で撮像した画像を認識して、製造ラインを搬送されるワークの位置決めやワークの検査等を行うことに画像処理システムが活用されている。例えば、複数のカメラとフレームグラバーボードとをカメラリンク(登録商標)規格に準拠したカメラリンクケーブルで接続し、このカメラリンクケーブルで電力を供給する画像処理システムがある(例えば、特許文献1など)。特許文献1に開示される画像処理システムでは、フレームグラバーボードを内蔵する画像処理装置に、カメラへの電力供給を切り替えるスイッチを設けている。この画像処理システムでは、スイッチを操作することによって、複数のカメラに対し電力供給の停止を個別に実施することが可能となっている。
Conventionally, in the manufacturing industry, an image processing system that recognizes an image captured by a camera (such as a machine vision camera) instead of a human eye and performs positioning, inspection, etc. of a workpiece conveyed on a production line Is being used. For example, there is an image processing system in which a plurality of cameras and a frame grabber board are connected by a camera link cable compliant with the Camera Link (registered trademark) standard, and power is supplied by the camera link cable (for example, Patent Document 1). . In the image processing system disclosed in
ところで、上記したカメラリンク(登録商標)に準拠した通信規格では、例えば、カメラとフレームグラバーボードとの間において、画像データ、カメラ制御信号、及びシリアル通信信号を伝送する。また、カメラリンク規格において、カメラとフレームグラバーボードを1本のカメラリンクケーブルによって接続する構成は、ベース・コンフィグレーションと呼ばれている。このベース・コンフィグレーションによって複数のカメラを1つのフレームグラバーボードに接続したい場合、フレームグラバーボードには、各カメラと接続するための接続ポートが必要となる。 By the way, in the communication standard based on the above-mentioned Camera Link (registered trademark), for example, image data, a camera control signal, and a serial communication signal are transmitted between the camera and the frame grabber board. In the camera link standard, a configuration in which a camera and a frame grabber board are connected by a single camera link cable is called base configuration. When it is desired to connect a plurality of cameras to one frame grabber board by this base configuration, the frame grabber board requires a connection port for connecting to each camera.
これに対し、フレームグラバーボードと複数のカメラとの間に切替装置を設け接続を切り替えることによって、フレームグラバーボードの1つの接続ポートに複数のカメラを接続し、接続ポートを共用することが考えられる。しかしながら、従来のカメラリンク規格に準拠した切替装置では、フレームグラバーボードに接続するカメラを切り替えると、上記した画像データ、カメラ制御信号、及びシリアル通信信号の全の信号を、選択したカメラとフレームグラバーボードとの間で送受信することとなる。このため、例えば、画像データの取得と、シリアル通信信号による設定変更等とを、同時に別々のカメラに実行することができず、必要な処理が発生するたびに切替装置によって切り替える必要があった。 On the other hand, it is conceivable to connect a plurality of cameras to one connection port of the frame grabber board and share the connection port by providing a switching device between the frame grabber board and the plurality of cameras to switch the connection. . However, in the conventional switching device compliant with the camera link standard, when the camera connected to the frame grabber board is switched, all of the image data, camera control signal, and serial communication signal described above are selected by the selected camera and frame grabber. It will be sent to and received from the board. For this reason, for example, acquisition of image data and setting change by a serial communication signal cannot be executed simultaneously in separate cameras, and it is necessary to switch by a switching device whenever necessary processing occurs.
本発明は、上記の課題に鑑みてなされたものであり、複数の撮像部を画像処理ボードに接続する切替装置に係り、画像データの取得と制御信号の送信とを別々の撮像部に並列に実行できる切替装置を提供することを目的とする。 The present invention has been made in view of the above problems, and relates to a switching device that connects a plurality of imaging units to an image processing board. Image data acquisition and control signal transmission are performed in parallel on separate imaging units. It is an object to provide a switching device that can be executed.
上記課題を鑑みてなされた本願に開示される技術に係る切替装置は、複数の撮像部が接続される撮像部側インタフェースと、複数の撮像部の各々で撮像した画像データを画像処理する画像処理ボードと接続され、画像処理ボードとの間でカメラリンク(登録商標)規格に準拠した通信を実行するボード側インタフェースと、撮像部側インタフェースとボード側インタフェースとの間に接続され、複数の撮像部のうち、どの撮像部の画像データを画像処理ボードに伝送するのかを切り替える切替制御部と、を備え、切替制御部は、複数の撮像部の何れかを制御する制御信号に制御対象の撮像部を識別するための識別データを付加した信号である付加信号を画像処理ボードから入力し、識別データの制御対象に応じた撮像部に向けて制御信号を送信する処理を、画像データを伝送する撮像部の切り替え処理と並列に実行することを特徴とする。 The switching device according to the technique disclosed in the present application made in view of the above problems, an image processing unit side interface to which a plurality of image capturing units are connected, and image processing that performs image processing on image data captured by each of the plurality of image capturing units. A board-side interface that is connected to the board and executes communication conforming to the Camera Link (registered trademark) standard with the image processing board, and a plurality of imaging units that are connected between the imaging unit-side interface and the board-side interface. A switching control unit that switches which image data of the imaging unit is transmitted to the image processing board, and the switching control unit receives a control signal for controlling any of the plurality of imaging units as an imaging unit to be controlled An additional signal, which is a signal to which identification data for identifying the image is added, is input from the image processing board, and a control signal is sent to the imaging unit corresponding to the control target of the identification data. The process of, and executes in parallel with the switching processing of an image pickup unit for transmitting image data.
本発明の切替装置では、画像データの取得と制御信号の送信とを別々の撮像部に並列に実行することが可能となる。 In the switching device of the present invention, it is possible to execute acquisition of image data and transmission of control signals in parallel on separate imaging units.
以下、本発明の一実施形態について図面を参照して説明する。図1は、本発明の切替装置を具現化した切替装置11を備える第1実施形態の画像処理システム10の構成を示している。図1に示すように、画像処理システム10は、切替装置11と、第1カメラ13と、第2カメラ15と、画像処理ボード17とを備えている。第1実施形態の画像処理システム10は、例えば、回路基板に電子部品を実装する部品実装装置に搭載するための画像処理システムである。部品実装装置は、例えば、搬送装置によって搬送する回路基板に、装着ヘッドで保持した電子部品を装着する作業を実行する。この場合、例えば、第1カメラ13及び第2カメラ15を、装着ヘッドに搭載し、回路基板に設けたマークの撮像や装着ヘッドに保持した電子部品の撮像に使用することが考えられる。また、画像処理ボード17は、第1カメラ13及び第2カメラ15で撮像した画像データGDを画像処理することで、回路基板や電子部品の位置ずれ等を検出することが可能となる。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration of an
第1及び第2カメラ13,15は、例えば、カメラリンク(登録商標)規格に準拠したマシンビジョンカメラである。第1カメラ13は、カメラリンク規格に準拠したカメラリンクケーブルL1を介して切替装置11と接続されている。同様に、第2カメラ15は、カメラリンク規格に準拠したカメラリンクケーブルL2を介して切替装置11と接続されている。従って、本実施形態の切替装置11には、2本のカメラリンクケーブルL1,L2が接続されている。
The first and
切替装置11は、カメラリンクケーブルL1を介して第1カメラ13と接続するインタフェースとして、画像入力インタフェース(以下、「IF」と記載する場合がある)21、シリアル通信IF22、及びCC出力IF23を有している。これらの画像入力IF21、シリアル通信IF22及びCC出力IF23は、例えば、まとめて1本のカメラリンクケーブルL1で第1カメラ13と接続される構成(ベース・コンフィグレーション)である。
The
同様に、切替装置11は、カメラリンクケーブルL2を介して第2カメラ15と接続するインタフェースとして、画像入力IF31、シリアル通信IF32、及びCC出力IF33を有している。これらの画像入力IF31、シリアル通信IF32及びCC出力IF33は、例えば、まとめて1本のカメラリンクケーブルL2で第2カメラ15と接続される。
Similarly, the
また、切替装置11は、カメラリンク規格に準拠したカメラリンクケーブルL3を介して画像処理ボード17と接続されている。従って、切替装置11は、画像処理ボード17と、第1及び第2カメラ13,15との間に接続されている。切替装置11は、カメラリンクケーブルL3を介して画像処理ボード17と接続するインタフェースとして、画像出力IF41、シリアル通信IF42、及びCC入力IF43を有している。
The
画像処理ボード17は、例えば、カメラリンク規格に準拠したインタフェースを備えるフレームグラバーボードである。画像処理ボード17は、例えば、部品実装装置の回路基板に対する電子部品の実装作業中の各段階に応じて、トリガ信号を第1及び第2カメラ13,15に向けて送信する。このトリガ信号は、第1及び第2カメラ13,15に対して撮像開始を指示する露光信号である。画像処理ボード17は、例えば、カメラリンク(登録商標)の規格で規定される制御信号CC1をトリガ信号として使用する。画像処理ボード17は、カメラリンクケーブルL3を介して切替装置11のCC入力IF43に制御信号CC1を送信する。
The
また、画像処理ボード17は、カメラリンク(登録商標)の規格で規定される制御信号CC2〜CC4を使用して、切替装置11に対して画像データGDを送信するカメラの切り替えを指示する。画像処理ボード17は、カメラリンクケーブルL3を介して切替装置11のCC入力IF43に制御信号CC2〜CC4を送信する。
Further, the
切替装置11は、装置を統括制御する切替制御部51を有している。切替制御部51は、例えば、FPGA(Field Programmable Gate Array)などのプログラム可能なロジックデバイスで構成されている。切替制御部51は、切替部53と、処理部54とを論理回路として有している。なお、切替制御部51は、論理回路に限らず、例えば、特定用途向け集積回路(ASIC)でもよく、これらと論理回路とを組み合わせたものでもよい。
The
切替部53は、画像データGDの送信元を切り替える制御を実行する。切替部53は、CC入力IF43を介して画像処理ボード17から制御信号CC2〜CC4を入力する。画像処理ボード17は、例えば、3つの制御信号CC2〜CC4の信号レベルを変更することで、切替制御部51の切替部53に対して切り替えを指示する。切替部53は、例えば、ハイレベルの制御信号CC2、ローレベルの制御信号CC3、ローレベルの制御信号CC4を入力すると、第1カメラ13の画像データGDを画像処理ボード17に転送する状態に切り替わる。この状態において、切替部53は、画像処理ボード17から制御信号CC1を受信すると、CC出力IF23を介して制御信号CC1を第1カメラ13へ転送する。第1カメラ13は、制御信号CC1の入力に応じて撮像を実行する。また、切替部53は、第1カメラ13から画像入力IF21を介して画像データGDを受信すると、受信した画像データGDを画像処理ボード17へ画像出力IF41を介して転送する。
The
同様に、切替部53は、例えば、ローレベルの制御信号CC2、ハイレベルの制御信号CC3、ローレベルの制御信号CC4を入力すると、第2カメラ15の画像データGDを画像処理ボード17に転送する状態に切り替わる。この状態において、切替部53は、画像処理ボード17から制御信号CC1を受信すると、CC出力IF33を介して制御信号CC1を第2カメラ15へ転送する。第2カメラ15は、制御信号CC1の入力に応じて撮像を実行する。また、切替部53は、第2カメラ15から画像入力IF31を介して画像データGDを受信すると、受信した画像データGDを画像処理ボード17へ画像出力IF41を介して転送する。
Similarly, for example, when the low level control signal CC2, the high level control signal CC3, and the low level control signal CC4 are input, the switching
画像処理ボード17は、第1及び第2カメラ13,15で撮像した画像データGDに対する画像処理を実行する。画像処理ボード17は、例えば、画像データGDに対する画像処理によって、回路基板の位置ずれ等を検出し、次の制御内容(装着ヘッドの移動先など)を決定する。
The
<第1モードについて>
ここで、本実施形態の切替制御部51は、第1モード及び第2モードの2つのモードを備えている。切替制御部51は、例えば、切替装置11に設けられた操作部11Aに対するユーザからの操作に応じて、モードを変更する。詳細については後述するが、第1モードでは、切替制御部51は、画像処理ボード17から受信した付加信号ADに含まれるカメラ番号CNに基づいて、シリアル通信信号SDの送信先を決定する。なお、モードの変更方法は、操作部11Aなどのユーザインタフェースに限らず、ディップスイッチによる変更方法でもよい。あるいは、切替制御部51は、画像処理ボード17からの制御に基づいて、モードを変更する構成でもよい。
<About the first mode>
Here, the switching
本実施形態の画像処理ボード17は、シリアル通信による信号であるシリアル通信信号SDによって、第1及び第2カメラ13,15に対する制御を実行する。画像処理ボード17は、例えば、UART(Universal Asynchronous Receiver Transmitter)通信によるシリアル通信を、カメラリンクケーブルL3を介して切替装置11のシリアル通信IF42と実行し、シリアル通信信号SDを送受信する。このシリアル通信信号SDは、例えば、第1及び第2カメラ13,15のゲイン(増幅率)を変更し感度を調整する制御信号である。あるいは、シリアル通信信号SDは、例えば、第1及び第2カメラ13,15の撮像可能な撮像領域のうち、関心領域(ROI:Region of Interest)を設定する制御信号である。また、シリアル通信信号SDは、例えば、第1及び第2カメラ13,15が備える照明装置の点灯又は消灯を変更する制御信号である。
The
画像処理ボード17は、シリアル通信信号SDによって制御する制御対象のカメラを識別するためのカメラ番号CNを、シリアル通信信号SDに付加する。画像処理ボード17は、シリアル通信信号SDにカメラ番号CNを付加した付加信号ADを、シリアル通信IF42にカメラリンクケーブルL3を介して送信する。
The
図2及び図3は、画像処理ボード17と切替装置11との間で送受信される付加信号ADのデータ構造の一例を示している。なお、カメラリンク規格に準拠したグラバーボードでは、例えば、シリアル通信によってカメラの設定変更やカメラからステータスの読み出しを実行する。このシリアル通信における通信データの構造は、ベンダー等によって異なっている。このため、図2及び図3に示す付加信号ADのデータ構造は、一例であり、特にこのデータ構造に限定されるわけではない。また、図2及び図3に記載した文字(「CR」や「ACK」など)は、ASCIIコードで表した文字である。例えば、CRは、キャリッジリターン(十進数表記で「0x0d」)を表している。
2 and 3 show an example of the data structure of the additional signal AD transmitted / received between the
図2は、第1及び第2カメラ13,15への設定の変更、より具体的には、例えば、第1及び第2カメラ13,15が有するレジスタへの書き込みに使用する付加信号ADのデータ構造を示している。図2の1列目は、コマンドの種類を示している。また、1行目は、何バイト目のデータであるかを示している。例えば、書き込みコマンドは、9バイトのデータで構成されている。各コマンドは、1バイト目にコマンドの種類を示す文字データ(W、ACK、NAK)が設定されている。また、各コマンドは、2バイト目に制御対象のカメラを識別するためのカメラ番号CNが設定されている。なお、識別可能なカメラ数を増やすためにより多くのカメラ番号CNが必要な場合には、カメラ番号CNを、2バイト以上のデータで表してもよい。また、各コマンドの最後には、「CR」コードが設定されている。
FIG. 2 shows the change in the settings of the first and
また、図3は、第1及び第2カメラ13,15からステータスの読み出し、より具体的には、例えば、第1及び第2カメラ13,15が有するレジスタの値を読み出すのに使用する付加信号ADのデータ構造を示している。図3に示すように、画像処理ボード17は、例えば、切替装置11へ送信する読み出しコマンドにダミーデータ(5バイト目〜8バイト目)を設定する。また、切替装置11(第1及び第2カメラ13,15)から送信する正常応答コマンドには、レジスタから読み出した読み出しデータ(5バイト目〜8バイト目)が設定されている。なお、読み出し時のコマンドは、その他のデータ構造については、図2に示す書き込み時のコマンドと同様であるため、その説明を省略する。
FIG. 3 shows an additional signal used to read the status from the first and
画像処理ボード17は、例えば、書き込み制御を行う場合、図2に示す書き込みコマンドの付加信号ADを、カメラリンクケーブルL3を介して切替装置11のシリアル通信IF42へ送信する。画像処理ボード17は、制御対象のカメラに対応するカメラ番号CNを設定した付加信号ADを送信する。切替制御部51の処理部54は、シリアル通信IF42から付加信号ADを入力する。処理部54は、付加信号ADのカメラ番号CNに基づいて、第1及び第2カメラ13,15のうち、どちらのカメラが制御対象であるのかを判定する。また、処理部54は、付加信号ADからカメラ番号CNを削除したシリアル通信信号SDを生成する。
For example, when performing write control, the
図4及び図5は、切替装置11と第1及び第2カメラ13,15との間で送受信されるシリアル通信信号SDのデータ構造の一例を示している。図4及び図5に示すように、シリアル通信信号SDは、図2及び図3に示す付加信号ADから2バイト目のカメラ番号CNを削除してデータを詰めた構造となっている。
4 and 5 show an example of the data structure of the serial communication signal SD transmitted / received between the switching
処理部54は、送信先を判定した後、図4に示すカメラ番号CNを削除した書き込みコマンド(シリアル通信信号SD)を送信する。処理部54は、例えば、制御対象として第1カメラ13を決定した場合、第1カメラ13へシリアル通信IF22を介してシリアル通信信号SDを送信する。第1カメラ13は、切替装置11から受信したシリアル通信信号SDの書き込みデータ(図4の4バイト目〜7バイト目のデータ)を、アドレス(図4の2バイト目〜3バイト目のデータ)の値に応じたレジスタのアドレスに書き込む処理を実行する。これにより、第1カメラ13は、ゲイン等の設定が変更される。
After determining the transmission destination, the
第1カメラ13は、例えば、レジスタへ正常に書き込み処理が終了すると、図4に示す正常応答コマンドを、カメラリンクケーブルL1を介して切替装置11のシリアル通信IF22へ送信する。切替制御部51の処理部54は、受信したシリアル通信信号SDに対してカメラ番号CNを付加して画像処理ボード17へ転送する。この場合、処理部54は、第1カメラ13が接続されたシリアル通信IF22からシリアル通信信号SDを入力したことを検出すると、受信したシリアル通信信号SDに対して第1カメラ13に対応するカメラ番号CNを付加する。これにより、処理部54は、第1及び第2カメラ13,15に応じたカメラ番号CNをシリアル通信信号SDに付与することができる。そして、処理部54は、図2に示す正常応答コマンド(付加信号AD)を生成する。処理部54は、生成した付加信号ADを、シリアル通信IF42からカメラリンクケーブルL3を介して画像処理ボード17へ送信する。画像処理ボード17は、切替装置11から付加信号AD(正常応答コマンド)を受信し、カメラ番号CNを判定することで、第1カメラ13に対する書き込み制御を正常に終了したことを認識することができる。
For example, when the writing process to the register is normally completed, the
また、読み込み処理を実行する場合は、書き込み処理と同様に、画像処理ボード17と切替装置11との間では、カメラ番号CNを付加した付加信号AD(図3に示すデータ)が送受信される。また、切替装置11と第1及び第2カメラ13,15との間では、カメラ番号CNを取り除いたシリアル通信信号SD(図4に示すデータ)が送受信される。例えば、第1カメラ13は、図5に示す読み出しコマンドを受信すると、読み出しコマンドのデータ(図5の2バイト目〜3バイト目のデータ)で指定されたレジスタのアドレスからデータを読み出する。第1カメラ13は、読み出したデータを、応答コマンド(図5の4バイト目〜7バイト目のデータ)に設定し、画像処理ボード17に向けて送信する。これにより、画像処理ボード17は、第1カメラ13のレジスタから設定値等を読み出すことが可能となる。
When executing the reading process, the additional signal AD (data shown in FIG. 3) with the camera number CN is transmitted and received between the
なお、図2及び図3に示す付加信号ADにおいて、処理部54は、カメラ番号CNとして特定の数字(「0」など)が指定された場合に、受信した付加信号ADを切替装置11に対する制御信号であると判定してもよい。これにより、画像処理ボード17は、付加信号ADのカメラ番号CNとして特定の数字を設定することで、切替装置11に対する制御(書き込み処理、読み出し処理、モード変更処理等)を実行することが可能となる。
In addition signal AD shown in FIG.2 and FIG.3, when the specific number ("0" etc.) is designated as the camera number CN, the
<第2モードについて>
次に、切替制御部51の第2モードについて、図6を参照しつつ説明する。
上記した第1モードでは、切替装置11は、カメラ番号CNに基づいてシリアル通信信号SDの送信先を決定する。しかしながら、例えば、第1及び第2カメラ13,15がカメラ番号CNを識別する機能を備えている場合、切替装置11は、カメラ番号CNによる判定処理が不必要な処理となる。そこで、第2モードの切替制御部51は、カメラ番号CNによる判定を実行せず、付加信号ADをそのまますべてのカメラ(第1及び第2カメラ13,15)に転送する。なお、以下の説明では、上記した第1モードと同様の構成等については、同一符号を付し、その説明を適宜省略する。
<About the second mode>
Next, the second mode of the switching
In the first mode described above, the switching
図6に示す第1カメラ63及び第2カメラ65は、図1に示す第1及び第2カメラ13,15とは異なり、カメラ番号CNを識別するための識別部63A,65Aをそれぞれ有している。識別部63A,65Aは、例えば、FPGAなどのプログラム可能なロジックデバイスで構成されている。
Unlike the first and
第2モードの切替制御部51は、処理部54によるカメラ番号CNの判定処理を実行しない。また、切替制御部51は、画像処理ボード17から受信した付加信号ADに対するカメラ番号CNの削除処理やシリアル通信IF22,23(第1及び第2カメラ63,65)から入力した信号に対するカメラ番号CNの付加処理を実行しない。そして、切替制御部51は、画像処理ボード17から受信した付加信号ADを、そのまま第1及び第2カメラ63,65の両方に送信する。
The switching
第1及び第2カメラ63,65の識別部63A,65Aは、切替装置11から受信した付加信号ADのカメラ番号CNが自身を特定するものであれば、シリアル通信信号SDに基づいた制御を実行する。つまり、第2モードでは、第1及び第2カメラ63,65が、カメラ番号CNを認識し、制御対象が自身であるか否かを判定する。これにより、画像処理ボード17は、カメラ番号CNによって制御対象のカメラを指定し、指定したカメラに対するシリアル通信信号SDによる制御を実行することができる。
The
また、第1モードの第1及び第2カメラ13,15は、応答コマンド等を送信する際、カメラ番号CNを付加していないシリアル通信信号SDを送信していた(図4及び図5参照)。これに対し、第2モードの第1及び第2カメラ63,65の識別部63A,65Aは、応答コマンド等を送信する際、図2及び図3に示すカメラ番号CNを付加したデータ、即ち、自己のカメラ番号CNを設定した付加信号ADを送信する。切替制御部51は、第1及び第2カメラ63,65から受信した付加信号ADを、そのまま画像処理ボード17へ転送する。従って、第2モードでは、第1モードと異なり、画像処理ボード17と切替装置11との間で送受信されるデータ(付加信号AD)と、切替装置11と第1及び第2カメラ63,65との間で送受信されるデータ(付加信号AD)とは同一データとなる。
In addition, the first and
これにより、画像処理ボード17は、受信した付加信号ADのカメラ番号CNを判定することで、どのカメラから送信されたシリアル通信信号SDであるのかを認識することが可能となる。第2モードの切替制御部51は、カメラ番号CNによる送信先の判定処理や、カメラ番号CNの付加、削除処理を実行しないため、処理負荷が軽減される。また、切替制御部51は、第1モードと第2モードとを切り替えることで、接続されるカメラの機能に応じて適切な処理を実行することが可能となる。
As a result, the
因みに、第1カメラ13,63及び第2カメラ15,65は、撮像部の一例である。画像入力IF21,31、シリアル通信IF22,32、及びCC出力IF23,33は、撮像部側インタフェースの一例である。画像出力IF41、シリアル通信IF42、及びCC入力IF43は、ボード側インタフェースの一例である。シリアル通信信号SDは、制御信号の一例である。カメラ番号CNは、識別データの一例である。制御信号CC2〜CC4は、切替信号及びカメラコントロール信号の一例である。
Incidentally, the
以上、詳細に説明した第1実施形態によれば以下の効果を奏する。
<効果1>第1実施形態の切替制御部51の切替部53は、第1及び第2カメラ13,15のうち、どちらのカメラから画像処理ボード17へ画像データGDを伝送するのかを切り替える。また、画像処理ボード17は、シリアル通信信号SDに対し、制御対象を識別するためのカメラ番号CNを付加した付加信号ADを生成する。切替制御部51の処理部54は、画像処理ボード17からシリアル通信IF42を介して付加信号ADを受信する。処理部54は、付加信号ADのカメラ番号CN(図2及び図3参照)に基づいて、第1及び第2カメラ13,15のうち、どちらのカメラが制御対象であるのかを判定する。また、処理部54は、付加信号ADからカメラ番号CNを削除したシリアル通信信号SDを生成し、生成したシリアル通信信号SDを制御対象と判定したカメラへ送信する。
As mentioned above, according to 1st Embodiment described in detail, there exist the following effects.
<
これにより、切替制御部51は、画像データGDを画像処理ボード17に送信するカメラとは別のカメラに対し、付加信号ADのカメラ番号CNに基づいてシリアル通信信号SDを送信することが可能となる。従って、本実施形態の切替装置11では、画像データGDの取得と、シリアル通信信号SDによる制御とを別々のカメラに並列に実行することが可能となっている。
Thereby, the switching
例えば、本実施形態の画像処理システム10では、第1カメラ13に対して制御信号CC1によって画像データGDの撮像や取得を実行しつつ、それとは無関係のタイミングで他方の第2カメラ15に対してシリアル通信信号SDによるゲイン設定などを実行することができる。即ち、画像処理システム10は、第1及び第2カメラ13,15のそれぞれに対して、互いの処理に相関をもたせず任意のタイミングで撮像や設定変更を並列に実行できる。あるいは、例えば、画像処理システム10では、第1カメラ13に対して制御信号CC1によって画像データGDの撮像等を実行するタイミングに合わせて、他方の第2カメラ15に対してシリアル通信信号SDによるゲイン設定などを実行することができる。即ち、画像処理システム10は、第1及び第2カメラ13,15のそれぞれに対して、互いの処理のタイミングを意図的に合わせて撮像や設定変更を並列に実行できる。
For example, in the
<効果2>また、図6に示す第2モードが適用される画像処理システム10では、第1及び第2カメラ63,65の各々は、カメラ番号CNを識別するための識別部63A,65Aを有している。第2モード状態の切替制御部51は、画像処理ボード17から受信した付加信号ADを、そのまま第1及び第2カメラ63,65の両方にシリアル通信IF22,32を介して送信する。識別部63A,65Aは、切替制御部51から受信した付加信号ADのカメラ番号CNが自身を特定するものであれば、シリアル通信信号SDに基づいた制御を実行する。このため、シリアル通信IF22,32から同一内容の付加信号ADを第1及び第2カメラ63,65の各々に一斉送信しておけば、識別部63A,65Aの各々は、カメラ番号CNを判定して適宜制御を実行する。従って、第2モードの切替装置11は、カメラ番号CNに基づいた送信先の判定処理等が不要となり、処理負荷が軽減される。
<
<効果3>画像処理ボード17と、切替装置11とは、カメラリンク(登録商標)規格に準拠したカメラリンクケーブルL3を介して接続されている。切替装置11は、このカメラリンクケーブルL3を介して付加信号ADを入力する。従って、本実施形態の切替装置11は、付加信号AD(制御信号)を入力するためのインタフェースを、カメラリンクケーブルL3を接続するインタフェース(画像出力IF41等)とは別に設ける必要がなく、画像処理ボード17と接続する通信線の数を削減することが可能となる。
<
<効果4>切替部53は、画像処理ボード17から受信した制御信号CC2〜CC4の信号レベルに基づいて、画像データGDを画像処理ボード17に送信するカメラ(第1及び第2カメラ13,15)を切り替える。このような構成では、画像処理ボード17は、カメラ番号CNによる制御対象の指示処理に加え、画像データGDを取得するカメラの切り替え処理を切替装置11に対して実行することが可能となる。
<
<第2実施形態>
次に、第2実施形態の画像処理システム10Aについて図7を参照しつつ説明する。なお、以下の説明では、上記した第1実施形態と同様の構成については、同一符号を付し、その説明を適宜省略する。第2実施形態の画像処理システム10Aでは、第1センサ部73及び第2センサ部75から画像データGDを取り込んで画像補正等を実行する第1画像取込部81及び第2画像取込部83を、切替装置71に設けた点が、第1実施形態と異なっている。また、第1及び第2画像取込部81,83は、第1実施形態の切替制御部51の第2モードの識別部63A,65A(図6参照)と同様に、カメラ番号CNに基づく判定を実行する。
Second Embodiment
Next, an
詳述すると、第1及び第2センサ部73,75は、例えば、CMOS等の撮像素子、この撮像素子に被写像を結像するレンズなどを有している。第1画像取込部81は、第1センサ部73の撮像素子から入力した画像データGDに対する補正処理や、画像データGDからROIで設定された画像領域を抽出する処理などを実行する。同様に、第2画像取込部83は、第2センサ部75の撮像素子から入力した画像データGDに対する補正処理などを実行する。第1及び第2画像取込部81,83は、例えば、FPGA等の論理回路で構成されている。
More specifically, the first and
切替装置71の切替制御部85は、第1実施形態と同様に、画像処理ボード17から受信される制御信号CC2〜CC4に基づいて、画像処理ボード17へ画像データGDを送信する第1及び第2センサ部73,75(第1及び第2画像取込部81,83)を切り替える。
The switching
例えば、切替制御部85は、制御信号CC2〜CC4に基づいて第1センサ部73を選択された場合、画像処理ボード17から受信された制御信号CC1を第1画像取込部81へ転送する。第1画像取込部81は、制御信号CC1を入力することに応じて、第1センサ部73から取り込んだ画像データGDに対して所定の処理を施して切替制御部85へ送信する。
For example, when the
また、第2実施形態の切替装置71は、第1及び第2画像取込部81,83の各々と、シリアル通信IF42とが接続されている。第1及び第2画像取込部81,83の両方は、画像処理ボード17から送信された付加信号ADを、シリアル通信IF42を介してそのまま入力する。従って、第2実施形態の切替制御部85は、シリアル通信IF42とは接続されておらず、カメラ番号CNによる判定処理等を実行しない。
In the
第1及び第2画像取込部81,83の各々は、入力した付加信号ADのカメラ番号CNが自身を特定するものであれば、シリアル通信信号SDに基づいた制御を実行する。つまり、第2実施形態の第1及び第2画像取込部81,83は、カメラ番号CNを認識し、制御対象が自身であるか否かを判定する。これにより、画像処理ボード17は、カメラ番号CNによって制御対象の画像取込部を指定し、指定した画像取込部に対するシリアル通信信号SDによる制御を実行することができる。
Each of the first and second
また、第1及び第2画像取込部81,83は、応答コマンドを送信する場合、図2及び図3に示すカメラ番号CNを付加した応答コマンド、即ち、自己のカメラ番号CNを設定した付加信号ADをシリアル通信IF42へ送信する。シリアル通信IF42は、第1及び第2画像取込部81,83から入力した付加信号ADを、そのまま画像処理ボード17へ転送する。これにより、画像処理ボード17は、受信した付加信号ADのカメラ番号CNを判定することで、どの画像取込部から送信されたシリアル通信信号SDであるのかを認識することが可能となる。
Further, when transmitting the response command, the first and second
因みに、第1及び第2センサ部73,75は、撮像部の一例である。
Incidentally, the 1st and
以上、詳細に説明した第2実施形態によれば以下の効果を奏する。
<効果1>第1及び第2画像取込部81,83の各々は、カメラ番号CNを付加した付加信号ADを、シリアル通信IF42を介して画像処理ボード17から受信する。第1及び第2画像取込部81,83の各々は、カメラ番号CNが自身を特定するものであれば、シリアル通信信号SDに基づく制御を実行する。これにより、第2実施形態の切替装置71は、例えば、第1センサ部73(第1画像取込部81)から画像処理ボード17へ画像データGDを送信する処理と、他方の第2センサ部75(第2画像取込部83)に対するシリアル通信信号SDによる制御とを、互いに無関係のタイミング、あるいは意図的に合わせたタイミングで実行することが可能となる。
As mentioned above, according to 2nd Embodiment described in detail, there exist the following effects.
<
尚、本発明は上記各実施形態に限定されるものでなく、その趣旨を逸脱しない範囲で様々な変更が可能である。
例えば、上記第1実施形態では、切替制御部51は、第1モードと第2モードとを備えたが、どちらか一方のモードだけを備える構成でもよい。
また、上記第1実施形態では、切替装置11は、制御信号CC2〜CC4に基づいて、画像処理ボード17と第1及び第2カメラ13,15との接続を切り替える制御を実施したが、これに限らない。例えば、切替装置11は、操作部11A(入力インタフェースの一例)に対するユーザの操作に基づいた信号(切替信号の一例)によって、切り替え制御を実行してもよい。あるいは、切替装置11は、切替動作を指示するためのインタフェースを、カメラリンク(登録商標)規格に準拠したインタフェースとは別に備えてもよい。例えば、切替装置11は、図1に示すように、画像処理ボード17と、USB(Universal Serial Bus)規格に準拠したUSBケーブルL4を介して接続するためのUSBIF93(入力インタフェースの一例)を備えてもよい。そして、切替装置11は、USBケーブルL4を介してUSBIF93から入力した切替信号に基づいて、接続を切り替えてもよい。このような構成では、カメラリンク規格の制御信号CC2〜CC4を、切り替え指示以外の用途に使用することが可能となる。
The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
For example, in the first embodiment, the switching
In the first embodiment, the switching
なお、図1のUSBIF93及びUSBケーブルL4は説明のために図示したものである。このため、上記第1実施形態において制御信号CC2〜CC4による制御を実施する場合、画像処理システム10は、USBIF93及びUSBケーブルL4を備えなくともよいことはいうまでもない。また、画像処理ボード17から切替装置11に切り替えを指示する信号を伝達する通信手段は、有線に限らず、無線でもよい。即ち、切替装置11が備える切替信号用の入力インタフェースは、無線通信用のインタフェースでもよい。また、切替装置11は、画像処理ボード17以外に、他の装置等から切り替えを指示する信号を入力するための入力インタフェース(I/Oインタフェース等)を備えてもよい。
The
また、上記各実施形態では、切替装置11,71は、2台のカメラを接続可能な構成であったが、3台以上の複数台のカメラを接続可能な構成でもよい。この場合、切替装置11,71は、例えば、画像データGDの伝送と、シリアル通信信号SDによる制御とを別々のカメラに実行してもよい。例えば、画像処理システム10は、1台のカメラに対して制御信号CC1によって画像データGDの撮像等を実行しつつ、他のカメラの中から任意のカメラに対して、シリアル通信信号SDによるゲイン設定などを適宜実行してもよい。あるいは、例えば、画像処理システム10は、1台のカメラに対して撮像等を実行するタイミングに合わせて、他のカメラのうち、撮像中のカメラと関連付けたカメラに対してゲイン設定などを実行してもよい。
Moreover, in each said embodiment, although the switching
また、上記第1実施形態では、画像処理ボード17が、第1及び第2カメラ13,15に対する撮像指示(制御信号CC1の送信)と、撮像された画像データGDの画像処理との両方を実行する構成であったが、これに限らず、撮像指示をする装置と、画像処理をする装置とは別々の装置でもよい。
In the first embodiment, the
また、上記各実施形態の画像処理システム10,10Aの構成(装置数)などは一例であり、適宜変更可能である。例えば、切替装置11は、操作部11AやUSBIF93を備えなくともよい。
また、上記各実施形態では本願における切替装置を備える装置として部品実装装置を例について説明したが、本願はこれに限定されるものではなく、例えば、作業用ロボットや回路基板に半田を印刷するスクリーン印刷装置などの他の様々なカメラを必要とする装置に適用することができる。
In addition, the configuration (number of apparatuses) of the
In each of the above embodiments, the component mounting apparatus is described as an example of the apparatus including the switching device in the present application. However, the present application is not limited to this, for example, a screen for printing solder on a work robot or a circuit board. The present invention can be applied to apparatuses that require various other cameras such as printing apparatuses.
11,71 切替装置、13,63 第1カメラ(撮像部)、15,65 第2カメラ(撮像部)、17 画像処理ボード、21,31 画像入力IF(撮像部側インタフェース)、22,32 シリアル通信IF(撮像部側インタフェース)、23,33 CC出力IF(撮像部側インタフェース)、41 画像出力IF(ボード側インタフェース)、42 シリアル通信IF(ボード側インタフェース)、43 CC入力IF(ボード側インタフェース)、51,85 切替制御部、73 第1センサ部(撮像部)、75 第2センサ部(撮像部)、81,83 第1及び第2画像取込部、AD 付加信号、CN カメラ番号(識別データ)、L3 カメラリンクケーブル、GD 画像データ、SD シリアル通信信号(制御信号)。 11, 71 switching device, 13, 63 first camera (imaging unit), 15, 65 second camera (imaging unit), 17 image processing board, 21, 31 image input IF (imaging unit side interface), 22, 32 serial Communication IF (imaging unit side interface), 23, 33 CC output IF (imaging unit side interface), 41 Image output IF (board side interface), 42 Serial communication IF (board side interface), 43 CC input IF (board side interface) ), 51, 85 switching control unit, 73 first sensor unit (imaging unit), 75 second sensor unit (imaging unit), 81, 83 first and second image capture units, AD additional signal, CN camera number ( Identification data), L3 camera link cable, GD image data, SD serial communication signal (control signal).
Claims (7)
前記複数の撮像部の各々で撮像した画像データを画像処理する画像処理ボードと接続され、前記画像処理ボードとの間でカメラリンク(登録商標)規格に準拠した通信を実行するボード側インタフェースと、
前記撮像部側インタフェースと前記ボード側インタフェースとの間に接続され、前記複数の撮像部のうち、どの撮像部の前記画像データを前記画像処理ボードに伝送するのかを切り替える切替制御部と、を備え、
前記切替制御部は、前記複数の撮像部の何れかを制御する制御信号に制御対象の撮像部を識別するための識別データを付加した信号である付加信号を前記画像処理ボードから入力し、前記識別データの前記制御対象に応じた撮像部に向けて前記制御信号を送信する処理を、前記画像データを伝送する前記撮像部の切り替え処理と並列に実行することを特徴とする切替装置。 An imaging unit side interface to which a plurality of imaging units are connected;
A board-side interface that is connected to an image processing board that performs image processing on image data captured by each of the plurality of imaging units, and that performs communication based on the Camera Link (registered trademark) standard with the image processing board;
A switching control unit that is connected between the imaging unit side interface and the board side interface and that switches which imaging unit of the plurality of imaging units is to transmit the image data to the image processing board. ,
The switching control unit inputs an additional signal that is a signal obtained by adding identification data for identifying an imaging unit to be controlled to a control signal for controlling any of the plurality of imaging units from the image processing board, and A switching device characterized in that a process of transmitting the control signal toward an imaging unit corresponding to the control target of identification data is executed in parallel with a switching process of the imaging unit that transmits the image data.
前記複数の撮像部の各々で撮像した画像データを画像処理する画像処理ボードと接続され、前記画像処理ボードとの間でカメラリンク(登録商標)規格に準拠した通信を実行するボード側インタフェースと、
前記撮像部側インタフェースと前記ボード側インタフェースとの間に接続され、前記複数の撮像部のうち、どの撮像部の前記画像データを前記画像処理ボードに伝送するのかを切り替える切替制御部と、を備え、
前記切替制御部は、前記複数の撮像部の何れかを制御する制御信号に制御対象の撮像部を識別するための識別データを付加した信号である付加信号を前記画像処理ボードから入力した場合に、前記付加信号を前記複数の撮像部のすべてに送信する処理を、前記画像データを伝送する前記撮像部の切り替え処理と並列に実行することを特徴とする切替装置。 An imaging unit side interface to which a plurality of imaging units are connected;
A board-side interface that is connected to an image processing board that performs image processing on image data captured by each of the plurality of imaging units, and that performs communication based on the Camera Link (registered trademark) standard with the image processing board;
A switching control unit that is connected between the imaging unit side interface and the board side interface and that switches which imaging unit of the plurality of imaging units is to transmit the image data to the image processing board. ,
The switching control unit is configured to input an additional signal, which is a signal obtained by adding identification data for identifying the imaging unit to be controlled, to a control signal for controlling any of the plurality of imaging units from the image processing board. A switching device characterized in that the process of transmitting the additional signal to all of the plurality of imaging units is executed in parallel with the switching process of the imaging unit that transmits the image data.
前記画像データを画像処理する画像処理ボードと接続され、前記画像処理ボードとの間でカメラリンク(登録商標)規格に準拠した通信を実行するボード側インタフェースと、
前記複数の画像取込部と前記ボード側インタフェースとの間に接続され、前記複数の撮像部のうち、どの撮像部の前記画像データを前記画像処理ボードに伝送するのかを切り替える切替制御部と、を備え、
前記複数の画像取込部の各々は、前記複数の画像取込部の何れかを制御する制御信号に制御対象の画像取込部を識別するための識別データを付加した信号である付加信号を前記画像処理ボードから入力し、前記識別データの前記制御対象が自身である場合に、前記制御信号に基づく制御を、前記切替制御部による前記画像データを伝送する前記撮像部の切り替え処理と並列に実行することを特徴とする切替装置。 A plurality of image capturing units provided corresponding to each of the plurality of image capturing units, each of the plurality of image capturing units being connected, and capturing image data captured by each of the plurality of image capturing units;
A board-side interface that is connected to an image processing board that performs image processing on the image data and that performs communication with the image processing board in conformity with the Camera Link (registered trademark) standard;
A switching control unit that is connected between the plurality of image capturing units and the board-side interface, and that switches which imaging unit among the plurality of imaging units transmits the image data to the image processing board; With
Each of the plurality of image capturing units includes an additional signal that is a signal obtained by adding identification data for identifying the image capturing unit to be controlled to a control signal for controlling any of the plurality of image capturing units. When the control target of the identification data is input from the image processing board and is the control object, the control based on the control signal is performed in parallel with the switching process of the imaging unit that transmits the image data by the switching control unit. A switching device characterized by executing.
前記制御信号は、前記カメラリンクケーブルを介して入力されるシリアル通信信号であることを特徴とする請求項1乃至請求項3の何れかに記載の切替装置。 The board side interface is connected to the image processing board via a camera link cable conforming to the camera link (registered trademark) standard,
The switching device according to any one of claims 1 to 3, wherein the control signal is a serial communication signal input via the camera link cable.
前記切替信号は、前記カメラリンクケーブルを介して入力されるカメラコントロール信号であることを特徴とする請求項5に記載の切替装置。 The board side interface is connected to the image processing board via a camera link cable conforming to the camera link (registered trademark) standard,
6. The switching device according to claim 5, wherein the switching signal is a camera control signal input via the camera link cable.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016066015A JP6615032B2 (en) | 2016-03-29 | 2016-03-29 | Switching device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016066015A JP6615032B2 (en) | 2016-03-29 | 2016-03-29 | Switching device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017183908A true JP2017183908A (en) | 2017-10-05 |
JP6615032B2 JP6615032B2 (en) | 2019-12-04 |
Family
ID=60008654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016066015A Active JP6615032B2 (en) | 2016-03-29 | 2016-03-29 | Switching device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6615032B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111641777A (en) * | 2020-02-28 | 2020-09-08 | 北京爱芯科技有限公司 | Image processing method, image processing apparatus, image processor, electronic device, and storage medium |
JP2022007489A (en) * | 2020-06-26 | 2022-01-13 | キリンテクノシステム株式会社 | Imaging system and imaging control method |
JP2022007497A (en) * | 2020-06-26 | 2022-01-13 | キリンテクノシステム株式会社 | Imaging system and imaging control method |
-
2016
- 2016-03-29 JP JP2016066015A patent/JP6615032B2/en active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111641777A (en) * | 2020-02-28 | 2020-09-08 | 北京爱芯科技有限公司 | Image processing method, image processing apparatus, image processor, electronic device, and storage medium |
JP2022007489A (en) * | 2020-06-26 | 2022-01-13 | キリンテクノシステム株式会社 | Imaging system and imaging control method |
JP2022007497A (en) * | 2020-06-26 | 2022-01-13 | キリンテクノシステム株式会社 | Imaging system and imaging control method |
JP7148162B2 (en) | 2020-06-26 | 2022-10-05 | キリンテクノシステム株式会社 | Imaging system and imaging control method |
Also Published As
Publication number | Publication date |
---|---|
JP6615032B2 (en) | 2019-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6615032B2 (en) | Switching device | |
US20020051216A1 (en) | Smart camera | |
JP2006105782A (en) | Measurement device by robot vision and robot controlling method | |
US20050090907A1 (en) | Smart camera | |
US11979695B2 (en) | SPI-based data transmission system | |
CN107409151B (en) | Multiplex communication system and work machine | |
US11575832B2 (en) | Imaging device, camera-mounted drone, mode control method, and program | |
JP2017151934A (en) | Programmable controller, control method of programmable controller, and control program for programmable controller | |
JP6330873B2 (en) | Imaging device | |
JP6824398B2 (en) | Image processing equipment, multiplex communication system and image processing method | |
JP5822629B2 (en) | System construction device for camera device | |
JP2018128821A (en) | Image processing system, image processing apparatus, circuit reconfiguration method in FPGA (Field Programmable Gate Array), and circuit reconfiguration program in FPGA | |
JP6348494B2 (en) | Production equipment | |
WO2001068326A2 (en) | Smart camera for controlling an actuator | |
WO2018216942A1 (en) | Method for setting slave identification information for actuator movement sensing element | |
CN115398364A (en) | Numerical control device and numerical control system | |
JP6539550B2 (en) | Multiplex communication system and image transmission method | |
JP6199985B2 (en) | Electronic component mounting device extension device and electronic component mounting device | |
JP6438793B2 (en) | Multiplex communication equipment | |
WO2023105619A1 (en) | Component mounting machine and method for manufacturing board | |
JP6744795B2 (en) | Image processing system and work machine | |
JP6991016B2 (en) | Devices, systems, configuration methods, and programs | |
JP4258781B2 (en) | Unit detection device, unit detection method, unit detection program | |
TWI526834B (en) | Control devices for industrial computers with parallel operating functions | |
KR101468572B1 (en) | I/O Circuit for data separation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6615032 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |