JP2017050772A - 多重通信システム及び画像伝送方法 - Google Patents

Abstract

【課題】複数の関心領域に応じた画像データを多重化して伝送する場合に、受信側の画像処理部が、複数の画像データを、関心領域の大きさに応じて適切に処理することが可能な多重通信システム及び画像伝送方法を提供すること。【解決手段】カメラに接続された送信側の多重通信装置は、関心領域に応じた画像データＧＤ１に対し、画像データＧＤ１の幅情報７１及び高さ情報７３を付加した情報付き画像データＩＧＤ１を生成する。多重通信装置は、情報付き画像データＩＧＤ１を他のデータと多重化して送信する。受信側の多重通信装置では、情報付き画像データＩＧＤ１の幅情報７１及び高さ情報７３に基づいて、画像処理に必要な同期信号を生成する。【選択図】図４

Description

本発明は、複数のカメラの画像データを多重化して伝送する多重通信システム及び画像伝送方法に関するものである。

従来、例えば、電子部品を回路基板に実装する部品実装装置では、製造ラインを搬送される回路基板に表記されたマークやコードを認識したり、回路基板や電子部品の状態を検査したりするためにカメラを備えている。この種の部品実装装置では、カメラで撮像した画像データの内容を判定した結果に応じて次の処理内容を決定するため、画像データの高速転送は生産効率向上の重要なファクターとなる。また、カメラの撮像領域の全体の画像データを必要としない場合には、撮像領域の中に関心領域（ＲＯＩ：Region Of Interest）を設定し、設定した画像データの一部のみを転送する、所謂ＲＯＩ読み出しなどと呼ばれる処理方法によって、転送するデータ量を削減し、一層の高速化を図ることも試みられている。この関心領域のサイズは、例えば、撮像する対象（電子部品など）の種類に応じて、あるいは使用するカメラに応じて異なる場合がある。

下記の特許文献１には、関心領域を設定して画像データを出力する撮像装置（カメラ）に係わる技術が開示されている。特許文献１に開示される撮像装置は、撮像領域の中に複数の関心領域を設定し、各関心領域に対して読出しアドレスを付与することで、各領域からの画像データの読み出しが可能となっている。また、１つの撮像領域の中に設定可能な関心領域の数は、撮像装置の性能や機能等によって異なるため、撮像装置は、領域の設定可能な数の情報（文献では、「自己情報」）を保存する自己情報格納部を備えている。撮像装置に接続されたパーソナルコンピュータは、撮像装置の自己情報を自己情報格納部から読み取り、設定可能な関心領域の数の判定等を行う。

特開２００６−１０９００１号公報

ところで、上記した部品実装装置では、例えば、回路基板のマークを撮像するマークカメラや、装着ヘッドの吸着ノズルに保持された電子部品の状態を撮像するパーツカメラなど、複数のカメラを備えることがある。これらの複数のカメラは、例えば、装着ヘッドに設けられる。また、カメラの画像データを処理する画像処理部は、例えば、装置本体の内部に設けられる。この場合、複数のカメラと画像処理部とを接続するには、例えば、複数のカメラを、台数分のケーブルを使用して画像処理部と直接接続する構成が考えられる。

しかしながら、この構成では、ケーブルの本数が増加し、ケーブルダクトとして大きなエリアを確保する必要が生じる。あるいは、画像処理部は、画像データを入力するコネクタや処理回路が、カメラの台数と同数分だけ必要となる。結果として、装置の大型化やコストの増加が懸念される。

そこで、複数のカメラと画像処理部とを多重通信の回線で接続し、複数の画像データを１つの伝送路でまとめて転送することが考えられる。また、異なるカメラの画像データが同時に送信される虞があるため、画像処理部は、受信した複数の画像データを、一時的にメモリ等へ保存しておき、メモリ等から蓄積した画像データを順次読み出して処理をすることが考えられる。

一方で、画像処理部は、画像データを処理する場合、画像の水平方向や垂直方向に並ぶ画素の開始位置（ラインの開始位置など）や終了位置に合わせて同期を取って処理をする必要があるため、水平同期信号や垂直同期信号などが必要となる。

しかしながら、上記したＲＯＩ読み出し処理と、多重通信による複数の画像データの伝送処理とを併用した場合には、受信側のメモリには、様々な画像サイズのデータが保存されることとなる。例えば、関心領域に含まれる画像データは、ラインの開始タイミング、１ライン当たりのピクセル数などが互いに異なる。このため、画像処理部は、様々なサイズの画像データに対して、水平同期や垂直同期を取って画像処理を行うことが困難となる。

本発明は、上記の課題に鑑みてなされたものであり、複数の関心領域に応じた画像データを多重化して伝送する場合に、受信側の画像処理部が、複数の画像データを、関心領域の大きさに応じて適切に処理することが可能な多重通信システム及び画像伝送方法を提供することを目的とする。

上記課題を鑑みてなされた本願に開示される技術に係る多重通信システムは、複数の撮像装置と、複数の撮像装置の各々の撮像領域の中に、転送する対象となる関心領域を設定する領域設定部と、複数の撮像装置の各々が関心領域に応じて出力する画像データに対し、当該関心領域の大きさに応じた画像サイズ情報を付加した情報付き画像データを、他の関心領域に応じた情報付き画像データと多重化して送信する多重化送信部と、多重化送信部から受信した情報付き画像データの多重化を解除する多重化受信部と、多重化受信部によって多重化が解除された情報付き画像データを、当該情報付き画像データに付加された画像サイズ情報に基づいて処理する画像処理部と、を備えることを特徴とする。

本発明では、複数の関心領域に応じた画像データを多重化して伝送する場合に、受信側の画像処理部が、複数の画像データを、関心領域の大きさに応じて適切に処理することが可能となる。

本発明の多重通信システムの構成を示す図である。 装置本体部側の多重通信装置の構成を示すブロック図である。 カメラ側の多重通信装置の構成を示すブロック図である。 情報付き画像データのデータ構成を示す図である。 １つの撮像領域内に１つの関心領域を設定した図である。 １つの撮像領域内に２つの関心領域を設定し、その２つの関心領域が重複している状態の図である。 関心領域の重複領域を解消した後の関心領域を示す図である。

以下、本発明の多重通信システムの一実施形態について図面を参照して説明する。図１に示すように、多重通信システム１０は、装置本体部１１と、装置本体部１１に接続された多重通信装置１３と、多重通信装置１３に対して光ファイバケーブル１５を介して接続された多重通信装置１７と、多重通信装置１７に接続された複数（本実施形態では２つ）のカメラ２１，２２とを備える。本実施形態の多重通信システム１０は、例えば、回路基板に電子部品を実装する部品実装装置に適用される通信システムである。この場合、例えば、装置本体部１１は、図示しない装着ヘッドを駆動し、搬送装置によって搬送させた回路基板に対して、装着ヘッドで保持した電子部品を装着させる作業を実施する。この際に、装置本体部１１は、カメラ２１，２２で撮像した画像データＧＤ１，ＧＤ２（図３参照）の内容を判定した結果に応じて次の処理内容を決定等する。

装置本体部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータを主体として構成されており、画像処理ボード２７を備える。画像処理ボード２７は、カメラ２１，２２が撮像した画像データＧＤ１，ＧＤ２に対する画像処理を行う。

カメラ２１，２２は、例えば、カメラリンク（登録商標）規格に対応するマシンビジョンカメラである。カメラ２１，２２は、例えば、装着ヘッド（図示略）の吸着ノズルで保持した電子部品を撮像するパーツカメラである。あるいは、カメラ２１，２２は、例えば、装着ヘッドに取り付けられ、回路基板に表記されたマークを撮像するマークカメラである。なお、カメラ２１，２２は、カメラリンク（登録商標）規格に限らず、他の規格、例えば、ＧｉｇＥ Ｖｉｓｉｏｎ（登録商標）やＣｏａＸｐｒｅｓｓ（登録商標）の規格に対応するカメラでもよい。

多重通信装置１３，１７は、光ファイバケーブル１５を介して、カメラ２１，２２が撮像した画像データＧＤ１，ＧＤ２等を転送する。多重通信装置１３，１７は、例えば、時分割多重（ＴＤＭ）方式の多重通信により、複数の画像データＧＤ１，ＧＤ２を多重化して転送する。なお、多重通信装置１３，１７間の通信方式は、時分割多重方式に限らず他の多重方式（周波数分割など）でもよい。また、多重通信装置１３，１７間の通信回線は、有線回線に限らず無線回線でもよい。

次に、多重通信装置１３，１７の構成について図２及び図３を参照しつつ、説明する。図２は、多重通信装置１３の画像伝送に係わる部分のブロック図を示しており、主に、多重通信装置１７（スレーブ側）から多重通信装置１３（マスター側）に向けた画像データＧＤ１，ＧＤ２の送信に係わる部分を示している。同様に、図３は、多重通信装置１７の画像伝送に係わる部分のブロック図を示しており、主に、多重通信装置１７から多重通信装置１３に向けた画像データＧＤ１，ＧＤ２の送信に係わる部分を示している。

以下の説明では、多重通信装置１７から多重通信装置１３に向けた画像伝送を中心に説明する。なお、多重通信装置１３，１７は、画像データＧＤ１，ＧＤ２以外に、部品実装装置の制御に必要な他のデータを多重化してもよい。例えば、多重通信装置１３，１７は、カメラ２１，２２の照明装置を制御する制御信号を、カメラ２１，２２に対する撮像開始信号（後述する外部トリガＴＲＩＧ１，ＴＲＩＧ２）と多重化して多重通信装置１３から多重通信装置１７へ向けて伝送してもよい。あるいは、多重通信装置１３，１７は、装着ヘッドを駆動するサーボモータの回転位置等を検出するエンコーダからの検出信号を、画像データＧＤ１，ＧＤ２と多重化して多重通信装置１７から多重通信装置１３へ向けて伝送してもよい。

図２に示すように、多重通信装置１３は、多重化処理部３１と、ＳＰＦ変換モジュール３３と、メモリ書込部３５と、メモリコントローラ３７と、メモリ３９と、メモリ読み出し部４１と、カメラリンクＩＰコア４５とを有する。多重化処理部３１、メモリ書込部３５、メモリ読み出し部４１、カメラリンクＩＰコア４５等は、例えば、ＦＰＧＡ（Field Programmable Gate Array）などのプログラム可能なロジックデバイスで構成されている。

画像処理ボード２７は、回路基板に対する電子部品の実装作業中の各段階に応じて、外部トリガＴＲＩＧ１，ＴＲＩＧ２を、多重通信装置１３へ出力する。外部トリガＴＲＩＧ１は、カメラ２１に対して撮像開始を指示する露光信号（トリガ信号）である。また、外部トリガＴＲＩＧ２は、カメラ２２に対して撮像開始を指示する露光信号（トリガ信号）である。また、画像処理ボード２７は、実装作業中の各段階に応じて、カメラリンク（登録商標）の規格で使用される制御信号ＣＣ２〜ＣＣ４をメモリ読み出し部４１へ出力する。ここでいう制御信号ＣＣ２〜ＣＣ４とは、メモリ読み出し部４１に対し、メモリ３９に保存された画像データＧＤ１，ＧＤ２等の中から、カメラリンクＩＰ４５へ出力させる画像データＧＤ１，ＧＤ２を選択する制御信号である。

画像処理ボード２７は、実装作業中に撮像が必要な処理が発生すると、カメラ２１に向けた外部トリガＴＲＩＧ１や、カメラ２２に向けた外部トリガＴＲＩＧ２を多重通信装置１３の多重化処理部３１へ出力する。また、画像処理ボード２７は、ＵＡＲＴ（Universal Asynchronous Receiver Transmitter）通信による制御信号ＵＡＲＴを多重化処理部３１へ出力する。この制御信号ＵＡＲＴは、例えば、カメラ２１，２２の撮像可能な撮像領域のうち、関心領域（ＲＯＩ：Region of Interest）を設定する制御信号、あるいはカメラ２１，２２のゲインを調整する制御信号などである。制御信号ＵＡＲＴには、例えば、制御対象となるカメラ２１，２２を識別するための識別情報が設定されている。

多重化処理部３１は、画像処理ボード２７から入力された外部トリガＴＲＩＧ１，ＴＲＩＧ２等を、他のデータ（上記した照明の制御信号など）と多重化する。多重化処理部３１は、入力された各種データを、例えば、入力ポートに対して割り当てた一定時間（タイムスロット）に応じて多重化する。多重化処理部３１は、多重化したデータをＳＰＦ変換モジュール３３へ出力する。ＳＰＦ変換モジュール３３は、多重化処理部３１から入力されたデータを光信号に変換する。ＳＰＦ変換モジュール３３は、光ファイバケーブル１５（図１参照）を介して、変換した光信号をスレーブ側の多重通信装置１７へ送信する。

図３に示すように、多重通信装置１７は、多重化処理部５１と、ＳＰＦ変換モジュール５３と、画像補正部５５，５７と、メモリ書込部５９，６１と、メモリコントローラ６３と、メモリ６５と、メモリ読み出し部６７とを有する。多重化処理部５１、画像補正部５５，５７、メモリ書込部５９，６１、メモリ読み出し部６７等は、例えば、ＦＰＧＡ（Field Programmable Gate Array）などのプログラム可能なロジックデバイスで構成されている。

ＳＰＦ変換モジュール５３は、多重通信装置１３のＳＰＦ変換モジュール３３（図２参照）から受信した光信号をデジタルのデータに変換して多重化処理部５１へ出力する。多重化処理部５１は、送信側の多重化処理部３１によって多重化されたデータ（外部トリガＴＲＩＧ１，ＴＲＩＧ２等を含む）の多重化を解除する。多重化処理部５１は、多重化を解除して分離したデータを、カメラ２１，２２等の対応する装置へ出力する。多重化処理部５１は、例えば、カメラ２１の識別情報が設定された制御信号ＵＡＲＴと外部トリガＴＲＩＧ１をカメラ２１へ出力する。また、多重化処理部５１は、例えば、カメラ２２の識別情報が設定された制御信号ＵＡＲＴと外部トリガＴＲＩＧ２をカメラ２２へ出力する。また、多重化処理部５１は、多重化を解除して取得した制御信号ＵＡＲＴをメモリ読み出し部６７にも出力する。

カメラ２１は、多重化処理部５１から入力される外部トリガＴＲＩＧ１に応じて撮像を実行する。カメラ２１は、撮像した画像データＧＤ１を画像補正部５５へ出力する。同様に、カメラ２２は、多重化処理部５１から入力される外部トリガＴＲＩＧ２に応じて撮像を実行し、撮像した画像データＧＤ２を画像補正部５７へ出力する。また、カメラ２１，２２は、制御信号ＵＡＲＴによって関心領域が設定されていた場合、撮像領域内の１又は複数の関心領域に対応した画像データＧＤ１，ＧＤ２を画像補正部５５，５７へ出力する。

画像補正部５５は、カメラ２１が撮像した画像データＧＤ１に対する補正処理を実行し、補正後の画像データＧＤ１をメモリ書込部５９へ出力する。画像補正部５７は、カメラ２２が撮像した画像データＧＤ２に対する補正処理を実行し、補正後の画像データＧＤ２をメモリ書込部６１へ出力する。画像補正部５５，５７は、例えば、カメラ２１，２２のレンズや撮像素子（例えば、ＣＭＯＳ）の取り付け位置の誤差に応じたレンズ歪みの補正処理を行う。

メモリ書込部５９，６１は、メモリコントローラ６３を介して、補正後の画像データＧＤ１，ＧＤ２をメモリ６５へ保存する。メモリ６５は、例えば、ＤＤＲメモリであり、カメラ２１，２２が撮像した画像データＧＤ１，ＧＤ２を一時的に保存する。メモリ書込部５９には、例えば、カメラ２１の画像データＧＤ１を、メモリ６５の記憶領域のうち、どのメモリアドレスに保存すべきかが予め設定されている。同様に、メモリ書込部６１には、例えば、カメラ２２の画像データＧＤ２を、メモリ６５の記憶領域のうち、どのメモリアドレスに保存すべきかが予め設定されている。メモリ書込部５９，６１は、カメラ２１，２２の各々に対応する記憶領域内に画像データＧＤ１，ＧＤ２を保存する。

また、メモリ読み出し部６７は、メモリ書込部５９，６１と同様に、例えば、カメラ２１，２２の画像データＧＤ１，ＧＤ２の各々を、メモリ６５のどのメモリアドレスから読み出すべきかが予め設定されている。メモリ読み出し部６７は、例えば、画像処理ボード２７から画像データＧＤ１，ＧＤ２を読み出す制御信号を受信すると、画像データＧＤ１及び画像データＧＤ２をメモリ６５の所定のメモリアドレスから読み出す処理を実行する。メモリコントローラ６３は、メモリ書込部５９，６１のメモリ６５への書込要求やメモリ読み出し部６７のメモリ６５からの読み出し要求を調停する処理を行う。

また、メモリ読み出し部６７には、多重化処理部５１から制御信号ＵＡＲＴが順次入力される。メモリ読み出し部６７は、当該メモリ読み出し部６７が備えるＲＡＭ等に制御信号ＵＡＲＴを一時的に保存する。メモリ読み出し部６７は、多重化処理部５１から入力された制御信号ＵＡＲＴに設定されたカメラ２１，２２の識別情報に基づいて、メモリ６５から読み出した画像データＧＤ１，ＧＤ２に制御信号ＵＡＲＴを対応付けて処理を実行する。メモリ読み出し部６７は、制御信号ＵＡＲＴが関心領域を指定するものではなく、撮像領域の全体の画像を出力する制御信号、即ち、通常の画像出力を指示するものであった場合には、例えば、メモリ６５から読み出した画像データＧＤ１，ＧＤ２にカメラ２１，２２の各々を識別するための識別情報を付加して多重化処理部５１へ出力する。この識別情報は、例えば、後述する図４に示すカメラ番号７５と同一の情報である。

また、メモリ読み出し部６７は、制御信号ＵＡＲＴが関心領域を設定する制御信号であった場合には、メモリ６５から読み出した画像データＧＤ１，ＧＤ２に対し、制御信号ＵＡＲＴの内容に基づいてカメラ番号７５を含む複数の情報を付加する処理を行う。なお、多重化処理部５１から入力された制御信号ＵＡＲＴが、上記した撮像領域全体の画像を出力する制御信号や関心領域を設定する制御信号に該当しない、例えば、ゲインを調整する制御信号であった場合、メモリ読み出し部６７は、入力した制御信号ＵＡＲＴをＲＡＭ等に保存せずに破棄する処理を実行してもよい。

図４は、メモリ読み出し部６７によって、関心領域に応じた画像データＧＤ１に情報が付加された情報付き画像データＩＧＤ１を示している。メモリ読み出し部６７は、図４に示すように、画像データＧＤ１のヘッダ情報として、幅情報７１と、高さ情報７３と、カメラ番号７５と、領域番号７７とを画像データＧＤ１に付加する。幅情報７１は、関心領域に応じた画像データＧＤ１の幅Ｗに係わる情報であり、例えば、画像データＧＤ１の水平方向の画素数や有効な画素の位置を示す情報である。また、高さ情報７３は、関心領域に応じた画像データＧＤ１の高さＨに係わる情報であり、例えば、画像データＧＤ１の垂直方向の画素数を示す情報である。カメラ番号７５は、カメラ２１，２２を互いに識別するための装置固有の番号である。領域番号７７は、例えば、１つの撮像領域内に複数の関心領域が設定された場合に、その複数の関心領域を識別するために付される通し番号である。メモリ読み出し部６７は、制御信号ＵＡＲＴのデータに基づいてこれらのヘッダ情報を付加し、付加した情報付き画像データＩＧＤ１を多重化処理部５１へ出力する。

なお、メモリ読み出し部６７は、カメラ２２の画像データＧＤ２に対しても、上記した情報付き画像データＩＧＤ１と同様に、情報を付加した情報付き画像データＩＧＤ２を生成し、多重化処理部５１へ出力する。この情報付き画像データＩＧＤ２は、情報付き画像データＩＧＤ１と同様の構成であるため、その説明を省略する。

多重化処理部５１は、撮像領域の全体画像にカメラ番号７５が付加された画像データＧＤ１等、あるいは上記した情報付き画像データＩＧＤ１等を、メモリ読み出し部６７から入力する。多重化処理部５１は、メモリ読み出し部６７から入力した情報付き画像データＩＧＤ１等を、他のデータ（上記したエンコーダなど）と多重化する。多重化処理部５１は、多重化したデータをＳＰＦ変換モジュール５３へ出力する。ＳＰＦ変換モジュール５３は、多重化処理部５１から入力されたデータを光信号に変換する。ＳＰＦ変換モジュール３３は、光ファイバケーブル１５（図１参照）を介して、変換した光信号をマスタ側の多重通信装置１３へ送信する。

図２に示すＳＰＦ変換モジュール３３は、多重通信装置１７のＳＰＦ変換モジュール５３（図３参照）から受信した光信号をデジタルのデータに変換して多重化処理部３１へ出力する。多重化処理部３１は、多重化処理部５１によって多重化されたデータの多重化を解除する。多重化処理部３１は、多重化を解除して分離したデータを、それに対応する装置へ出力する。多重化処理部３１は、分離したデータのうち、全体画像に対応する画像データＧＤ１，ＧＤ２や関心領域に対応する情報付き画像データＩＧＤ１，ＩＧＤ２をメモリ書込部３５へ出力する。

メモリ書込部３５は、例えば、多重化処理部３１から入力された情報付き画像データＩＧＤ１等を、メモリコントローラ３７を介してメモリ３９へ順次保存する。メモリ３９は、例えば、ＤＤＲメモリであり、画像データＧＤ１等を一時的に保存する。メモリ書込部３５には、例えば、カメラ２１の画像データＧＤ１及び情報付き画像データＩＧＤ１を、メモリ３９の記憶領域のうち、どのメモリアドレスに保存すべきかが予め設定されている。同様に、メモリ書込部３５には、例えば、カメラ２２の画像データＧＤ２及び情報付き画像データＩＧＤ２を、メモリ３９の記憶領域のうち、どのメモリアドレスに保存すべきかが予め設定されている。メモリ書込部３５は、画像データＧＤ１等に付加されたカメラ番号７５に基づいて、予め設定されたメモリ３９の対応するメモリアドレスに画像データＧＤ１等を保存する。

また、メモリ書込部３５は、メモリ３９への書込処理において、幅情報７１及び高さ情報７３（図４参照）に基づいて、情報付き画像データＩＧＤ１等の書き込みが終了したか否かを判定することが可能となっている。詳述すると、例えば、情報付き画像データＩＧＤ１をメモリ３９へ書き込む処理を実行する際に、メモリ書込部３５は、情報付き画像データＩＧＤ１に付加された幅情報７１及び高さ情報７３に基づいて、画像データＧＤ１に含まれる総ピクセル数を算出する。これにより、メモリ書込部３５は、算出した総ピクセル数と、メモリ３９へ情報付き画像データＩＧＤ１を書き込む転送レートとに基づいて、メモリ３９へ書き込みが完了したタイミングを判定することが可能となっている。

また、メモリ読み出し部４１は、メモリコントローラ３７を介してメモリ３９から情報付き画像データＩＧＤ１等を読み出す処理を行う。メモリコントローラ３７は、メモリ書込部３５のメモリ３９への書込要求やメモリ読み出し部４１のメモリ３９からの読み出し要求を調停する処理を行う。

画像処理ボード２７は、制御信号ＣＣ２〜ＣＣ４をメモリ読み出し部４１へ出力する。例えば、制御信号ＣＣ２は、メモリ読み出し部４１に対して、メモリ３９に保存された画像データＧＤ１などをカメラリンクＩＰコア４５へ読み出す処理を指示する制御信号である。また、制御信号ＣＣ３，ＣＣ４は、画像データを読み出したいカメラ２１，２２を選択する制御信号である。

メモリ読み出し部４１は、メモリ書込部３５と同様に、例えば、カメラ２１，２２の画像データＧＤ１等を、メモリ３９のどのメモリアドレスから読み出すべきかが予め設定されている。例えば、メモリ読み出し部４１は、制御信号ＣＣ３が入力された状態で、画像処理ボード２７から入力される制御信号ＣＣ２の信号レベルがローレベルからハイレベルに反転すると、予め設定されたメモリアドレスに基づいて、画像データＧＤ１又は情報付き画像データＩＧＤ１をメモリ３９から読み出してカメラリンクＩＰコア４５へ出力する。同様に、メモリ読み出し部４１は、制御信号ＣＣ４が入力された状態で、制御信号ＣＣ２の信号レベルがローレベルからハイレベルに反転させられると、予め設定されたメモリアドレスに基づいて、画像データＧＤ２又は情報付き画像データＩＧＤ２をメモリ３９から読み出してカメラリンクＩＰコア４５へ出力する。

また、メモリ読み出し部４１は、メモリ３９から情報付き画像データＩＧＤ１，ＩＧＤ２を読み出した場合に、幅情報７１等（図４参照）に基づいて、カメラリンク（登録商標）規格で規定されるＦＶＡＬ信号、ＬＶＡＬ信号、及びＤＶＡＬ信号を生成する。

ＦＶＡＬ信号は、例えば、垂直同期信号であり、１フレームのスタートからエンドまでの間だけ立ち上がる信号である。メモリ読み出し部４１は、高さ情報７３に基づいて、関心領域の画像データＧＤ１の高さＨ（図４参照）に応じたＦＶＡＬ信号を生成する。

ＬＶＡＬ信号は、例えば、水平同期信号であり、１ラインのスタートからエンドまでの間だけ立ち上がる信号である。メモリ読み出し部４１は、幅情報７１に基づいて、関心領域の画像データＧＤ１の幅Ｗ（図４参照）に応じたＬＶＡＬ信号を生成する。

ＤＶＡＬ信号は、例えば、有効な画素データを示す信号であり、データ出力のスタートからエンドまでの間だけ立ち上がる信号である。メモリ読み出し部４１は、幅情報７１に設定された関心領域の水平方向の有効な画素の位置に基づいて、ＤＶＡＬ信号を生成する。メモリ読み出し部４１は、情報付き画像データＩＧＤ１，ＩＧＤ２と、生成した信号（ＦＶＡＬ信号など）をカメラリンクＩＰコア４５へ出力する。

カメラリンクＩＰコア４５は、メモリ読み出し部４１から入力された情報付き画像データＩＧＤ１等を画像処理ボード２７へ転送する。カメラリンクＩＰコア４５は、例えば、情報付き画像データＩＧＤ１及びＦＶＡＬ信号等を、入力クロックの７逓倍のクロックに同期させて、画像処理ボード２７へ転送する。

画像処理ボード２７は、情報付き画像データＩＧＤ１，ＩＧＤ２に付加されたカメラ番号７５や領域番号７７に基づいて、処理対象の画像データが目的としたものであるか否かを判定する。処理対象が所望の画像データであった場合には、画像処理ボード２７は、情報付き画像データＩＧＤ１，ＩＧＤ２の中から画像データＧＤ１，ＧＤ２を取り出す処理を行う。そして、画像処理ボード２７は、ＦＶＡＬ信号等に基づいて、取り出した画像データＧＤ１，ＧＤ２に対する画像処理を行う。そして、装置本体部１１は、画像データＧＤ１，ＧＤ２の内容を判定した結果に応じて次の処理内容を決定等する。

なお、メモリ読み出し部４１は、関心領域に対応した情報付き画像データＩＧＤ１，ＩＧＤ２ではなく、全体画像に対応する画像データＧＤ１，ＧＤ２が入力された場合には、例えば、予め設定された画像データＧＤ１，ＧＤ２全体の高さや幅の情報に基づいて、ＦＶＡＬ信号等を生成する。メモリ読み出し部４１は、画像データＧＤ１又は画像データＧＤ２と、生成した信号（ＦＶＡＬ信号など）をカメラリンクＩＰコア４５へ出力する。また、画像処理ボード２７は、画像データＧＤ１，ＧＤ２に付加されたカメラ番号７５に基づいて、処理対象の画像データが目的としたものであるか否かを判定する。処理対象が所望の画像データであった場合には、画像処理ボード２７は、ＦＶＡＬ信号等に基づいて、取り出した画像データＧＤ１，ＧＤ２に対する画像処理を行う。

因みに、多重通信装置１３は、多重化受信部の一例である。多重通信装置１７は、多重化送信部の一例である。カメラ２１，２２は、撮像装置の一例である。画像処理ボード２７は、領域設定部及び画像処理部の一例である。メモリ読み出し部４１は、画像処理部の一例である。幅情報７１及び高さ情報７３は、画像サイズ情報の一例である。カメラ番号７５は、装置識別情報の一例である。領域番号７７は、領域識別情報の一例である。

以上、詳細に説明した実施形態によれば以下の効果を奏する。
＜効果１＞画像処理ボード２７は、制御信号ＵＡＲＴを使用してカメラ２１，２２の撮像領域内に関心領域を設定し、ＲＯＩ読み出しを実行している。カメラ２１，２２側に設けられた多重通信装置１７のメモリ読み出し部６７は、関心領域に応じた画像データＧＤ１，ＧＤ２に対し、画像データＧＤ１，ＧＤ２の幅情報７１及び高さ情報７３を付加した情報付き画像データＩＧＤ１，ＩＧＤ２を生成する。多重化処理部５１は、情報付き画像データＩＧＤ１，ＩＧＤ２を多重化して送信する。受信側の多重通信装置１３のメモリ読み出し部４１は、多重化が解除された情報付き画像データＩＧＤ１，ＩＧＤ２を、幅情報７１及び高さ情報７３に基づいて処理する。

ここで、例えば、カメラ２１，２２のそれぞれに異なる画像サイズの関心領域を設定した場合には、受信側の多重通信装置１３には、異なる画像サイズの情報付き画像データＩＧＤ１，ＩＧＤ２が多重回線で受信されることとなる。このため、画像処理ボード２７は、画像データＧＤ１，ＧＤ２を受信しただけでは、画像サイズに応じた水平同期信号（ＬＶＡＬ信号）等を生成することは困難となる。

これに対し、本実施形態のメモリ読み出し部４１は、情報付き画像データＩＧＤ１，ＩＧＤ２に付加された幅情報７１等に基づいて、画像サイズに応じた水平同期信号（ＬＶＡＬ信号）等を生成している。このような構成では、メモリ読み出し部４１は、カメラ２１，２２から送信される画像データＧＤ１，ＧＤ２の画像サイズが変更されたとしても、幅情報７１等に基づいて、容易に同期信号を生成することが可能となる。

＜効果２＞メモリ読み出し部６７は、画像データＧＤ１のヘッダ情報として、カメラ２１，２２を識別するためのカメラ番号７５を画像データＧＤ１に付加する（図４参照）。画像処理ボード２７は、カメラ番号７５に基づいて、処理対象の画像データが目的としたものであるか否かを判定する。これにより、画像処理ボード２７は、撮像指示を出したカメラ２１，２２から所望の画像データＧＤ１，ＧＤ２を受信できているか否かを判定することが可能となる。その結果、画像処理の信頼性を高めることが可能となる。

＜効果３＞同様に、メモリ読み出し部６７は、画像データＧＤ１のヘッダ情報として、１つの撮像領域内に設定された複数の関心領域を識別するための領域番号７７を画像データＧＤ１に付加する（図４参照）。画像処理ボード２７は、領域番号７７に基づいて、処理対象の画像データが目的としたものであるか否かを判定する。これにより、画像処理ボード２７は、処理対象の画像データＧＤ１，ＧＤ２が、撮像領域内のどの関心領域に対応する画像であるのかを判定しながら画像処理を実行することが可能となる。その結果、関心領域に応じた画像処理を実行することで画像処理の信頼性を高めることが可能となる。

尚、本発明は上記実施形態に限定されるものでなく、その趣旨を逸脱しない範囲で様々な変更が可能である。
例えば、上記実施形態では、多重通信システム１０を、情報付き画像データＩＧＤ１，ＩＧＤ２以外の他のデータも多重化して伝送する構成としたが、情報付き画像データＩＧＤ１，ＩＧＤ２のみを伝送する構成としてもよい。
また、上記実施形態では、画像処理ボード２７が、カメラ２１，２２に対する撮像指示（外部トリガＴＲＩＧ１，ＴＲＩＧ２の送信）と、撮像された画像データＧＤ１，ＧＤ２の画像処理との両方を実行する構成としたが、これに限らず、撮像指示をする装置と、画像処理をする装置とは別々の装置としてもよい。このような構成においても、画像処理をする装置に接続された多重通信装置では、情報付き画像データＩＧＤ１，ＩＧＤ２に付加された幅情報７１等に基づいて同期信号を生成することが可能となる。

また、上記実施形態では、メモリ読み出し部４１は、カメラリンク（登録商標）の規格において画像処理で必要となる同期信号（ＬＶＡＬ信号等）を生成したが、これに限らず、他の規格に対応した同期信号を生成してもよい。
また、上記実施形態では、メモリ読み出し部４１が同期信号を生成したが、これに限らず、例えば、画像処理ボード２７が幅情報７１に基づいて同期信号を生成してもよい。
また、多重通信装置１７のメモリ読み出し部６７は、画像データＧＤ１に対し、カメラ番号７５及び領域番号７７を付加せず、幅情報７１及び高さ情報７３のみを付加する構成でもよい。

また、上記実施形態では、メモリ読み出し部４１の制御信号として、カメラリンク（登録商標）における制御信号ＣＣ２〜ＣＣ４を用いたが、これに限定されない。例えば、制御信号として、カメラ２１，２２の照明の点灯を制御する信号を用いてもよい。メモリ読み出し部４１は、例えば、照明の制御信号に基づいて、メモリ３９から画像データを読み出すカメラとしてカメラ２１，２２の何れを選択するのかを切り替えてもよい。この構成では、照明の制御信号を切り替え信号として併用することで、制御信号ＣＣ２〜ＣＣ４が不要となり、省配線化が可能となる。

また、上記実施形態では、１つの撮像領域の中に複数の関心領域を設定する構成としたが、１つの撮像領域の中に１つの関心領域のみを設定する構成でもよい。図５は、１つの撮像領域８１内に、１つの関心領域Ｒ１を設定した場合を示している。撮像領域８１は、例えば、カメラ２１が撮像する１フレームの画像の撮像領域に対応する。また、撮像領域８１内に設定された関心領域Ｒ１の画像データは、例えば、画像データＧＤ１に対応する。この構成では、メモリ書込部５９等におけるカメラ２１からメモリ６５への画像データＧＤ１の転送処理は、一度の撮像において転送の対象となる関心領域Ｒ１が撮像領域８１内に１つであるため、処理内容を簡易化でき、例えば、バースト転送によって画像データＧＤ１の転送を高速化することが可能となる。

また、上記実施形態において、撮像領域の中における関心領域の座標位置を、画像データＧＤ１に付加してもよい。例えば、図５に示すように、撮像領域８１の水平方向をＸ軸、垂直方向をＹ軸とした場合に、関心領域Ｒ１の１つの頂点の座標（Ｘ１,Ｙ２）の情報を、画像データＧＤ１に付加してもよい。これにより、画像処理ボード２７は、撮像領域８１内における関心領域Ｒ１の位置を判定することが可能となる。

また、上記実施形態において、装置本体部１１は、ユーザによって１つの撮像領域の中に複数の関心領域が設定され、その複数の関心領域の一部が重なる場合に、自動で重複しないように設定変更する構成でもよい。図６は、重複した関心領域Ｒ２，Ｒ３が設定された撮像領域８３を示している。関心領域Ｒ２と、関心領域Ｒ３とは、重複領域Ｒ４において重なっている。このような関心領域Ｒ２，Ｒ３が設定された場合、重複領域Ｒ４に含まれる画像データは、送信側（上記実施形態における多重通信装置１７等）で２度読み出しを行う、あるいはデータをコピーするなどの対応処理が必要となってくる。このため、送信側の処理回路が複雑化する虞がある。

そこで、図７に示すように、装置本体部１１は、図６の重複領域Ｒ４を含む関心領域Ｒ６を設定し、２つの関心領域Ｒ２，Ｒ３を、３つの関心領域Ｒ５，Ｒ６，Ｒ７に設定変更してもよい。ここで、一般的には、画像データＧＤ１，ＧＤ２の読み出しは、水平方向（Ｘ軸）に沿って行われる。また、Ｙ軸方向において同位置となる関心領域が存在する場合、水平方向に画素値の読み出しを行うと複数の関心領域Ｒ２，Ｒ３に跨がって読み出し処理を行うため、画像データの読み出し、あるいは読み出し後の処理が複雑化する。そこで、関心領域Ｒ５，Ｒ６，Ｒ７は、互いに領域が重複せず、且つ、Ｙ軸方向において互いに異なる位置（Ｙ軸方向でずれた位置）となる領域が設定されている。これにより、画像データの読み出し処理等の容易化を図ることが可能となる。また、画像処理ボード２７は、受信した関心領域Ｒ５，Ｒ６，Ｒ７を合成等し、ユーザが設定した元の関心領域Ｒ２，Ｒ３（図６参照）の画像データを生成する。従って、重複領域Ｒ４に起因した複雑な処理を画像処理ボード２７で処理することで、装置全体における画像データの処理速度の向上や送信側の装置の簡易化を図ることが可能となる。

また、上記実施形態において、多重通信装置１３の多重化処理部３１等や多重通信装置１７の多重化処理部５１等を、ＦＰＧＡの論理回路として構築したが、これに限らず、専用のハードウェアで構成してもよい。

また、上記実施形態の多重通信システム１０の構成（装置数）などは一例であり、適宜変更可能である。例えば、カメラ２１，２２を、３台以上設けてもよい。また、多重通信装置１３，１７を、３台以上連続して接続してもよい。
また、上記実施形態では本願における多重通信システムを備える装置として部品実装装置を例について説明したが、本願はこれに限定されるものではなく、例えば、作業用ロボットや回路基板に半田を印刷するスクリーン印刷装置などの他の装置に適用することができる。

１０ 多重通信システム、１３，１７ 多重通信装置、２１，２２ カメラ、２７ 画像処理ボード、７１ 幅情報、７３ 高さ情報、７５ カメラ番号、７７ 領域番号、ＧＤ１，ＧＤ２ 画像データ、ＩＧＤ１，ＩＧＤ２ 情報付き画像データ。

Claims (5)

1. 複数の撮像装置と、
   前記複数の撮像装置の各々の撮像領域の中に、転送する対象となる関心領域を設定する領域設定部と、
   前記複数の撮像装置の各々が前記関心領域に応じて出力する画像データに対し、当該関心領域の大きさに応じた画像サイズ情報を付加した情報付き画像データを、他の関心領域に応じた前記情報付き画像データと多重化して送信する多重化送信部と、
   前記多重化送信部から受信した前記情報付き画像データの多重化を解除する多重化受信部と、
   前記多重化受信部によって多重化が解除された前記情報付き画像データを、当該情報付き画像データに付加された前記画像サイズ情報に基づいて処理する画像処理部と、を備えることを特徴とする多重通信システム。
2. 前記画像処理部は、前記画像サイズ情報に基づいて、前記関心領域に応じた画像データを処理するための水平同期信号及び垂直同期信号を生成することを特徴とする請求項１に記載の多重通信システム。
3. 前記多重化送信部は、前記情報付き画像データを撮像した撮像装置を識別する装置識別情報を、当該情報付き画像データに付加することを特徴とする請求項１又は請求項２に記載の多重通信システム。
4. 前記複数の撮像装置は、１つの前記撮像領域の中に、複数の前記関心領域を設定可能に構成され、
   前記多重化送信部は、１つの前記撮像領域の中に設定された前記関心領域を識別する領域識別情報を、前記情報付き画像データに対して付加することを特徴とする請求項１乃至請求項３の何れかに記載の多重通信システム。
5. 複数の撮像装置の各々の撮像領域の中に、転送する対象となる関心領域を設定する領域設定ステップと、
   前記複数の撮像装置の各々が前記関心領域に応じて出力する画像データに対し、当該関心領域の大きさに応じた画像サイズ情報を付加した情報付き画像データを、他の関心領域に応じた前記情報付き画像データと多重化して送信する多重化送信ステップと、
   受信した前記情報付き画像データの多重化を解除する多重化受信ステップと、
   多重化が解除された前記情報付き画像データを、当該情報付き画像データに付加された前記画像サイズ情報に基づいて処理する画像処理ステップと、を含むことを特徴とする画像伝送方法。

Images