JP2019165351A - 処理装置及び電子機器 - Google Patents

Abstract

【課題】 画像データのバッファリングに必要なメモリー容量が小さく、低コスト化が可能な処理装置及び電子機器の提供。【解決手段】 処理装置２００は、イメージセンサー１００から画像データが入力される入力インターフェース２１０と、メモリー２４０と、プロセッサー２２０と、メモリー２４０に書き込まれた画像データを外部装置３００に送信する出力インターフェース２３０を含む。プロセッサー２２０は、入力される複数フレームの画像データのうちの第ｉのフレームの画像データを、バッファリング可能な容量までメモリー２４０に書き込んで、書き込み済みの画素を特定する特定情報を記憶する。プロセッサー２２０は、メモリー２４０の容量に空きがある場合に、第ｊのフレームの画像データのうちの、特定情報により特定される画素の次の画素のデータから、メモリー２４０に書き込む。【選択図】 図４

Description

本発明は、処理装置及び電子機器等に関する。

従来、イメージセンサーから画像データを取得し、取得した画像データを外部装置に転送する装置が知られている。例えば特許文献１には、撮像した静止画像信号を外部記憶装置に転送する電子カメラシステムが開示されている。

特開平５−３１６４６２号公報

特許文献１では、静止画像信号を内部記憶装置に一旦格納し、当該内部記憶装置に格納した静止画像信号を外部記憶装置に転送する。特許文献１の内部記憶装置は、少なくとも１フレーム分の静止画像信号を格納可能な容量が必要であり、具体的には２０フレーム分を格納可能な容量である。即ち特許文献１等の従来手法では、イメージセンサーからの画像データを外部装置に転送する場合、画像データをバッファーする大容量メモリーを設置する必要があった。そのため、機器のコストが増大してしまう。

本発明の一態様は、イメージセンサーから画像データが入力される入力インターフェースと、メモリーと、入力された前記画像データを前記メモリーに書き込むプロセッサーと、前記メモリーに書き込まれた前記画像データを外部装置に送信する出力インターフェースと、を含み、前記プロセッサーは、前記入力インターフェースを介して入力される複数フレームの画像データのうちの第ｉ（ｉは正の整数）のフレームの画像データを、前記メモリーがバッファリング可能な容量まで、前記メモリーに書き込んで、書き込み済みの画素を特定する特定情報を記憶し、第ｊ（ｊはｊ＞ｉを満たす整数）のフレームの画像データが前記入力インターフェースを介して入力されたときに、前記メモリーの容量に空きがある場合は、前記第ｊのフレームの画像データのうちの、前記特定情報により特定される画素の次の画素のデータから、前記メモリーに書き込む処理装置に関係する。

また本発明の一態様では、前記プロセッサーは、前記外部装置に送信済みでない前記画像データが前記メモリーに記憶されており、且つ、前記出力インターフェースが前記外部装置から前記画像データが受信可能であるという情報を受けたとき、前記画像データを前記外部装置に送信する処理を行ってもよい。

また本発明の一態様では、前記メモリーがバッファリング可能な容量は、前記メモリーがフル状態になる容量であってもよい。

また本発明の一態様では、前記メモリーは、前記プロセッサーの内蔵メモリーであってもよい。

また本発明の一態様では、前記複数のフレーム画像は、同一被写体を撮像した静止画像であってもよい。

また本発明の他の態様は、上記のいずれかに記載の処理装置と、前記イメージセンサーと、前記イメージセンサーを移動させる移動機構と、を含む電子機器に関係する。

また本発明の他の態様では、前記移動機構は、複数の検査用被写体を撮像可能な位置に、前記イメージセンサーを順次移動させ、前記イメージセンサーは、前記複数の検査用被写体の各検査用被写体について、前記複数のフレーム画像を撮像してもよい。

また本発明の他の態様では、前記移動機構は、印刷ヘッドを移動させるキャリッジであり、前記検査用被写体は、印刷媒体に印刷された検査用画像であってもよい。

また本発明の他の態様では、前記キャリッジの第１の移動時に前記印刷媒体に前記検査用画像が印刷され、前記イメージセンサーは、前記第１の移動より後に実行される第２の移動時に前記検査用画像を撮像してもよい。

比較例の処理装置の構成例。 比較例の処理装置の動作を説明するタイミングチャート。 本実施形態の処理装置の構成例。 本実施形態の処理装置の動作を説明するタイミングチャート。 メモリーによるバッファリングを説明する図。 本実施形態の処理を説明するフローチャート。 イメージセンサーを含む撮像装置の構成例。 印刷装置の構成例を示す正面図。 キャリッジ部の構成例の概要を説明するための概略配置図。 印刷装置でのキャリッジ部の動作を説明する模式図。 ロボットの構成を示す外観図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．処理装置の構成例
図１、図２は、本実施形態の手法に対する比較例を説明する図である。図１は、比較例における処理装置９０の構成を例示する図である。比較例の処理装置９０は、イメージセンサー１００から画像データを取得し、取得した画像データを外部装置３００に対して転送する。なお、イメージセンサー１００、及び外部装置３００については図３を用いて後述する本実施形態の構成と同様であるため、同じ符号を付して説明する。

比較例の処理装置９０では、プロセッサー９２が入力インターフェース９１を介してイメージセンサー１００から画像データを受信し、当該画像データを大容量メモリー８０に記憶する。ここでの大容量メモリー８０は、プロセッサー９２とは別体として設けられるメモリーであり、例えば処理装置９０に外付けされるメモリーである。そしてプロセッサー９２は、大容量メモリー８０に記憶した画像データを読み出し、出力インターフェース９３を介して外部装置３００へ送信する。図１における受信ルートとは、イメージセンサー１００からの画像データを大容量メモリー８０にバッファリングするまでのルートを表す。また送信ルートとは、大容量メモリー８０から画像データを読み出し、外部装置３００に送信するまでのルートを表す。

図２は、比較例におけるタイミングチャートを表す図である。図２の横軸は時間を表し、縦軸は各データのデータ転送量を表す。

図２のＡ１は、イメージセンサー１００から出力される画像データのデータ量を表す。イメージセンサー１００は、ＣＭＯＳ（Complementary MOS）イメージセンサーやＣＣＤ（Charge Coupled Device）イメージセンサー等により実現され、光電変換により蓄積した電荷に基づく信号を出力する。イメージセンサー１００が信号出力を長時間行わないでいると、過剰な露光が行われ適切な画像データを取得できない。そのため、Ａ１に示したように、イメージセンサー１００からは、所定間隔で一定の量のデータが出力される。

図２のＡ１１、Ａ１２、Ａ１３がそれぞれ１フレーム分の画像データに対応する。なお、画像データの出力レート（フレームレート）や、画像データのデータサイズについては種々の設定が可能である。例えば、出力レートは１５ｆｐｓ（frame per second）であり、１枚分の画像データのデータサイズは数ＭＢｙｔｅ程度である。

図２のＡ２は、受信ルートで受信されるデータ量を表す。図２のＡ３は、大容量メモリー８０に記憶されたデータ量の合計を表す図である。より具体的には、Ａ３は大容量メモリー８０に記憶され、且つ、外部装置３００への送信が完了していないデータ量を表す。図２のＡ４は、送信ルートで送信されるデータ量を表す。

大容量メモリー８０でバッファリングされるデータ量は、受信ルートでの受信により増加し、送信ルートでの送信により減少する。つまり、受信ルートで大容量メモリー８０に書き込まれたデータを、即座に送信ルートで転送してしまえば、大容量メモリー８０がバッファリングするデータ量は大きくならず、そもそも大容量である必要がない。

しかし、送信ルートでの送信が常に所望の送信レートで実行可能であるとは限らない。例えば、外部装置３００は、処理装置９０からの画像データの受信以外の処理を実行する場合が考えられる。図８を用いて後述する印刷装置１０の例であれば、外部装置３００とは印刷装置１０全体の制御を行う印刷機制御ボード１２である。印刷機制御ボード１２とは、メインＣＰＵが搭載されるメインボード等である。外部装置３００である印刷機制御ボード１２は、画像データの受信だけでなく、印刷ヘッドの制御、印刷媒体を搬送する搬送機構の制御、ユーザーインターフェース画面の作成や表示制御、インターネット等のネットワークを介した通信制御等、多様な制御を実行する必要がある。後述するように、イメージセンサー１００が撮像した画像データに基づいて検査処理を行う場合、外部装置３００では画像データに対する画像解析処理も行われる。結果として、外部装置３００のリソースを画像データの受信に割り当てることができず、処理装置９０から画像データを受信できない期間が生じる場合がある。図２の例では、Ａ４１の期間では、大容量メモリー８０に画像データが蓄積されているのに（Ａ３１）、当該画像データは送信ルートでの送信が行われない。

処理装置９０での画像データの入出力を考えた場合、入力側のイメージセンサー１００からは一定のレートで画像データが入力される（Ａ１）のに対して、外部装置３００への画像データの出力は、外部装置３００の動作状況に応じて変化する（Ａ４）ことになる。結果として、比較例の処理装置９０は、Ａ４１のように画像データの送信が行われない場合を想定し、少なくとも１フレーム分の画像データを蓄積可能な容量を有する大容量メモリー８０を用いる必要があった。

比較例では、プロセッサー９２は、大容量メモリー８０に１フレーム分の空きがある場合には、入力インターフェース９１が受信した１フレーム分の画像データ（Ａ１１）を、全て大容量メモリー８０に記憶する（Ａ２１）。一方、大容量メモリー８０に１フレーム分の空きがない場合、プロセッサー９２は、入力インターフェース９１が受信した１フレーム分の画像データ（Ａ１２）を、大容量メモリー８０に記憶することなく破棄する（Ａ２２）。

図２の例では、Ａ４２のタイミングで外部装置３００から画像データの転送が可能である旨の応答があり、送信ルートでの送信が開始され（Ａ４３）、大容量メモリー８０にバッファリングされている画像データが減少していく（Ａ３３）。これにより、３フレーム目（Ａ１３）の受信開始時には、大容量メモリー８０に十分な空きができている。よってプロセッサー９２は、入力インターフェース９１が受信した１フレーム分の画像データ（Ａ１３）を、大容量メモリー８０に記憶する（Ａ２３）。

以上が、比較例における処理装置９０の動作例である。上述したように、イメージセンサー１００からは一定量のデータが入ってくるのに対して、外部装置３００へ送信されるデータ量は外部装置３００の状態に応じて変化するため、不均衡が生じる。従来手法では、１つの画像を１フレーム内のデータから構成することが前提であるため、上記不均衡に対応するためには、少なくとも１フレーム内分の画像データを蓄積可能な大容量メモリー８０が必須となっていた。

しかし、１つの画像を構成する際に、複数のフレームの情報を利用可能なケースも多く考えられる。例えば、複数のフレーム画像が、同一被写体を撮像した静止画像である場合である。上述したように、出力が動画像か静止画像かによらず、イメージセンサー１００からは１５ｆｐｓ、３０ｆｐｓ等の一定のレートで画像データが出力される。外部装置３００で用いられる画像データが静止画像であれば、出力対象となる画像は少数の画像、狭義には１枚の画像で十分である。

静止画像の撮像においては、ブレによる解像度低下を抑制するために、ある程度の期間、イメージセンサー１００を含む撮像光学系と、被写体との相対的な位置姿勢変化が小さくなる。例えば、イメージセンサー１００を含むカメラの撮像レートが１５ｆｐｓであり、当該カメラを被写体に対して１秒静止させたとする。この場合、１５フレーム分の画像データは被写体が同じであり、当該被写体に対するカメラの相対位置、相対姿勢の変化が十分小さいため、画像間の差異が非常に小さくなると考えられる。外部装置３００は、上記被写体を、上記相対位置、相対姿勢のカメラで撮像した静止画像を取得できればよい。静止画像の生成に、１５フレームの画像データのうちのいずれか１フレームのデータを用いたのか、複数のフレームのデータを組み合わせて用いたのかは問題とならない。

またここでは１５フレームの例を示したが、より多いフレームで被写体とカメラの関係を固定可能な場合もある。例えば図１０で後述する例であれば、外部装置３００である印刷機制御ボード１２からの制御信号に基づいて撮像装置３０の位置が制御される。つまり外部装置３００が必要な画像データを受信できたと判定するまでは、被写体と撮像装置３０の位置関係を固定し、差異の十分小さい画像データを撮像し続けることも可能である。

図３は、本実施形態の処理装置２００の構成例である。図３に示したように、処理装置２００は、イメージセンサー１００から画像データが入力される入力インターフェース２１０と、メモリー２４０と、入力された画像データをメモリーに書き込むプロセッサー２２０と、メモリー２４０に書き込まれた画像データを外部装置３００に送信する出力インターフェース２３０を含む。

ここで、入力インターフェース２１０は、イメージセンサー１００からの画像データを受信するインターフェースであり、例えばパラレルインターフェースである。ただし、入力インターフェース２１０をシリアルインターフェースにより実現することは妨げられない。

プロセッサー２２０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサーを用いることが可能である。またプロセッサー２２０はＡＳＩＣ（Application Specific Integrated Circuit）によるハードウェア回路でもよい。またプロセッサー２２０は、複数のＣＰＵにより構成されていてもよいし、複数のＡＳＩＣによるハードウェア回路により構成されていてもよい。また、プロセッサー２２０は、複数のＣＰＵと、複数のＡＳＩＣによるハードウェア回路と、の組み合わせにより構成されていてもよい。

出力インターフェース２３０は、画像データを外部装置３００に転送するインターフェースであり、例えばＵＳＢ（Universal Serial Bus）により実現できる。ただし、出力インターフェース２３０を他のインターフェースにより実現することは妨げられない。

メモリー２４０（記憶部）は、データやプログラムなどの各種の情報を記憶する。プロセッサー２２０は例えばメモリー２４０をワーク領域として動作する。メモリー２４０は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）であるが、他の半導体メモリーであってもよいし、レジスターであってもよい。

処理装置２００は、例えば入力インターフェース２１０と、プロセッサー２２０と、出力インターフェース２３０と、メモリー２４０を搭載する制御基板を含む。制御基板の一部または全部は、ＡＳＩＣや、ＦＰＧＡ（Field-Programmable Gate Array）、ＳｏＣ（System on a Chip）により実現できる。制御基板に搭載される各要素は、バス回路などを介して電気的に接続され、データの読み書きや信号の送受信が可能に接続されている。換言すれば、入力インターフェース２１０や出力インターフェース２３０は、プロセッサー２２０と別チップとして構成されてもよいし、ワンチップで構成されてもよい。

またメモリー２４０についても同様であり、メモリー２４０は、プロセッサー２２０の内蔵メモリーであってもよいし、別体として設けられるメモリーであってもよい。メモリー２４０をプロセッサー２２０に内蔵することで、処理装置２００の小型化等が可能になる。ただし、本実施形態のメモリー２４０は従来手法に比べて記憶可能な容量を少なくできるため、メモリー２４０がプロセッサー２２０の内蔵メモリーでない場合であっても、低コスト化や処理装置２００の小型化が可能である。

本実施形態のプロセッサー２２０は、入力インターフェース２１０を介して入力される複数フレームの画像データのうちの第ｉ（ｉは正の整数）のフレームの画像データを、メモリー２４０がバッファリング可能な容量まで、メモリー２４０に書き込む。またプロセッサー２２０は、書き込み済みの画素を特定する特定情報を記憶する。そしてプロセッサー２２０は、第ｊ（ｊはｊ＞ｉを満たす整数）のフレームの画像データが入力インターフェース２１０を介して入力されたときに、メモリー２４０の容量に空きがある場合は、第ｊのフレームの画像データのうちの、特定情報により特定される画素の次の画素のデータから、メモリー２４０に書き込む。ここで、第ｐ（ｐは正の整数）のフレームとは、ｐの値が小さいほど時系列的に前のタイミングで受信され、ｐの値が大きいほど後のタイミングで受信されるフレームである。ｉ＜ｊであるため、第ｊのフレームの画像データは、第ｉのフレームの画像データよりも後に受信される画像データとなる。

本実施形態の手法によれば、外部装置３００に１枚の画像に相当するデータを出力する際に、第ｉのフレームの途中でバッファリング可能な容量に到達してしまった場合、第ｊのフレームを利用して画像データのバッファリングを行うことが可能になる。異なる複数のフレームに分けてバッファリングが可能であるため、１フレーム分の画像データをまとめてバッファリングする必要がなく、メモリー２４０が記憶可能な容量を従来手法に比べて削減できる。

特定情報について説明する。例えばイメージセンサー１００から入力される画像データが１９２０×１０８０画素のデータである場合、画素数は２０７万３６００画素となる。特定情報とは、２０７万３６００画素のうち、いずれの画素までメモリー２４０に書き込み済みであるかを表す情報である。例えば、画像の先頭からＸ画素目までメモリー２４０に書き込まれた場合、プロセッサー２２０は特定情報ｋとしてｋ＝Ｘという値を記憶する。このようにすれば、プロセッサー２２０は、次にメモリー２４０への書き込みを行う場合、先頭からＸ＋１画素目から開始すればよいとの判定が可能になる。

ただし特定情報は、書き込み済みである画素を特定可能な情報であればよく、具体的な形式は種々の変形実施が可能である。例えば特定情報は、書き込み済みの画素の終端を表す座標情報（ｘ，ｙ）であってもよい。画像データが左上を起点として、右方向への水平走査、及び下方向への垂直走査が行われる例を考える。特定情報により（ｘ，ｙ）の画素が特定された場合、０〜ｙ−１ライン目の全ての画素と、ｙライン目の左からｘ画素が書き込み済みであると判定される。またメモリー２４０への書き込みをライン単位で行い、特定情報として書き込み済みのラインを表す情報を記憶してもよい。

特定情報は、例えばプロセッサー２２０のレジスターに記憶される。レジスターはフリップフロップ等により実現される。或いは、プロセッサー２２０が内蔵メモリーを含み、特定情報は当該内蔵メモリーに記憶されてもよい。ここでの内蔵メモリーとは、メモリー２４０とは異なるメモリーであることが想定されるが、メモリー２４０が画像データ以外のデータを記憶可能な領域を有し、当該領域に特定情報が記憶されることも妨げられない。

図４は、本実施形態におけるタイミングチャートを表す図である。図４の横軸は時間を表し、縦軸は各データのデータ転送量を表す。図４のＢ１は、イメージセンサー１００から出力される画像データのデータ量を表し、図２のＡ１と同様である。図４のＢ２は受信ルートで受信されるデータ量を表し、Ｂ３はメモリー２４０に記憶されたデータ量の合計を表し、Ｂ４は、送信ルートで送信されるデータ量を表す。

図４の開始時点では、メモリー２４０は未送信の画像データを記憶していない。メモリー２４０がフル状態でないため、プロセッサー２２０は第１のフレームの画像データ（Ｂ１１）のメモリー２４０への書き込みを開始する（Ｂ２１）。図４の例では、Ｂ４１のタイミングで外部装置３００への画像データの送信が開始される。ただし、出力インターフェース２３０の転送レートはウォーミングアップ期間（Ｂ４２）で徐々に増加していくため、単位時間当たりでは、入力データ量＞出力データ量となる。結果として、メモリー２４０がバッファリングしているデータ量は増大していき（Ｂ３１）、１フレーム目の画像データの途中で、メモリー２４０がバッファリング可能な容量に到達してしまう（Ｂ３２）。具体的には、メモリー２４０に書き込まれ、且つ、外部装置３００に未送信であるデータ量が、バッファリング可能な容量に到達する。

ここで、「メモリー２４０がバッファリング可能な容量」は、メモリー２４０がフル状態になる容量である。フル状態について詳細に説明する。

図５は、メモリー２４０によるバッファリングを説明する模式図である。図５では、リングバッファーを例示するが、バッファリングが他の方式により行われることは妨げられない。リングバッファーでは、書き込み位置を表す書き込みポインターｗｐと、読み出し位置を表す読み出しポインターｒｐが用いられる。プロセッサー２２０は、リングバッファーに対して１アドレス分のデータの書き込みを行う場合、書き込みポインターｗｐで特定されるアドレスに対して書き込みを行い、書き込みポインターｗｐをインクリメントする。また、リングバッファーから１アドレス分のデータの読み出しを行う場合、読み出しポインターｒｐで特定されるアドレスから読み出しを行い、読み出しポインターｒｐをインクリメントする。なお、リングバッファーの制御は公知であるため、詳細な説明は省略する。

図５のＢＤに示したように、書き込みポインターｗｐと読み出しポインターｒｐの間の領域が、書き込み済み且つ読み出し前のデータ、即ちメモリー２４０がバッファリングしているデータとなる。本実施形態におけるフル状態とは、ＢＤが所与の最大値に到達した状態を表す。ここでの最大値とは、例えばリングバッファーの全容量を表す値である。ただし、ある程度の余裕を持たせ、全容量に対して所定割合となる値をＢＤの最大値に設定してもよい。即ち、本実施形態のフル状態とは、バッファリングしているデータの量が、バッファリング用の記憶領域の容量から設定される所定値に到達している状態を表す。なお、フル状態か否かの判定は、ＢＤの数値に基づいて判定してもよいし、フル状態か否かを表すフラグ情報を用いてもよい。

プロセッサー２２０は、メモリー２４０がフル状態になったと判定されたら（Ｂ３２）、メモリー２４０への画像データの書き込みを停止する（Ｂ２２）。プロセッサー２２０は、書き込み済みの画素を特定する特定情報を記憶する。Ｂ２２の段階でＸ_１画素目まで書き込まれていた場合、特定情報ｋ＝Ｘ_１である。

そしてプロセッサー２２０は、次以降のフレームにおいて、Ｘ_１＋１画素目からの受信が可能であるか否か、即ちメモリー２４０に空きがあるか否かを判定する。メモリー２４０がフル状態でなければ、プロセッサー２２０は、当該フレームのＸ_１＋１画素からメモリー２４０への書き込みを開始する。画像データの最後、例えば２０７万３６００画素目を書き込む前に再度メモリー２４０がフル状態となった場合、そこで当該フレームでの書き込みを停止し、書き込み済みの画素を特定する特定情報を記憶する。

図４の例では、２フレーム目のＸ_１＋１画素目の受信時（Ｂ１４、Ｂ２３）にメモリー２４０に空きがあるか否かを判定する。Ｂ２３では、メモリー２４０がフル状態でない（Ｂ３３）ため、画像データの書き込みが開始される。そして、先頭からＸ_２画素目を書き込んだところでメモリー２４０がフル状態となったため（Ｂ２４、Ｂ３４）、プロセッサー２２０は２フレーム目での書き込みを停止し、特定情報としてｋ＝Ｘ_２を記憶する。

同様に図４の例では、３フレーム目のＸ_２＋１画素目の受信時（Ｂ１５、Ｂ２５）にメモリー２４０に空きがあるか否かを判定する。Ｂ２５では、メモリー２４０がフル状態でない（Ｂ３５）ため、画像データの書き込みが開始される。そして、メモリー２４０がフル状態となる前に画像データ最後の画素まで書き込みが完了する（Ｂ２６）。このように図４の例では、１フレーム目の先頭Ｘ_１画素と、２フレーム目のＸ_１＋１〜Ｘ_２画素、及び３フレーム目のＸ_２＋１画素以降を合わせることで、１枚分の画像データのバッファリングが可能になる。

なおプロセッサー２２０は、外部装置３００に送信済みでない画像データがメモリー２４０に記憶されており、且つ、出力インターフェース２３０が外部装置３００から画像データが受信可能であるという情報を受けたとき、画像データを外部装置３００に送信する処理を行う。

外部装置３００に送信済みでない画像データがメモリー２４０に記憶されているか否かは、例えば上記のＢＤに基づいて判定する。ＢＤ≠０である場合、少なくとも１アドレス分のデータは未送信である。或いは、プロセッサー２２０は、未送信データの有無を表すフラグ情報を用いてもよい。

このようにすれば、２つの条件を用いることで、画像データを適切に外部装置３００に送信できる。図４の例であれば、処理装置２００は、Ｂ４１の時点で外部装置３００から画像データが受信可能であるという情報を、出力インターフェース２３０を介して受信している。また、Ｂ３１からメモリー２４０へのデータの蓄積が開始されている。よって上記条件を満たすため、Ｂ４１から外部装置３００への画像データの送信が開始される。

翻って考えれば、外部装置３００に送信済みでない画像データがメモリー２４０に記憶されていたとしても、外部装置３００が画像データを受信可能な状態でない場合、送信処理は実行されない。

図４の例では、２フレーム目のＢ１４のタイミングまでに送信処理が行われ（Ｂ４１〜Ｂ４３）、メモリー２４０に空きが発生していた。そのため、Ｘ_１＋１画素目からの受信を２フレーム目で実行することが可能であった。しかし外部装置３００の状態によっては、送信処理が行われず、２フレーム目のＢ１４のタイミングでメモリー２４０に空きが発生していない場合もあり得る。この場合、プロセッサー２２０は、３フレーム目以降のフレームにおいて、Ｘ_１＋１画素目からの受信が可能で否かを判定する。本実施形態における第ｉのフレームと第ｊのフレームは、ｊ＝ｉ＋１に限定されず、ｊ≧ｉ＋２であってもよい。このように、外部装置３００の状況に応じて、実際に受信が行われるフレーム、送信処理が行われるタイミング、１枚の画像データの送信を完了するまでに要するフレーム数、等が変化する。ただし、プロセッサー２２０で実行される受信及び書き込み処理と、読み出し及び送信処理の具体的なアルゴズムを変更する必要はなく、それぞれ上記の条件に従って並列に実行することで本実施形態の処理を実現可能である。

図６は、本実施形態のプロセッサー２２０で行われる処理を説明するフローチャートである。図６は、１枚分の画像データの送信を想定した処理であり、複数枚の画像データを送信する場合、図６の処理が複数回実行される。この処理が開始されると、受信及び書き込み処理（Ｓ１０１〜Ｓ１０８）と、読み出し及び送信処理（Ｓ２０１〜Ｓ２０６）が並列に開始される。

受信及び書き込み処理では、まず画素の特定情報ｋを０で初期化する（Ｓ１０１）。次に、フレームの先頭のデータが受信されたか否かを判定する（Ｓ１０２）。Ｓ１０２の処理は、例えば特定のデータ構造であるヘッダーが受信されたか否かの判定より実現できる。Ｓ１０２でＮｏの場合、フレームの先頭が検出されるまで処理を繰り返す。

Ｓ１０２でＹｅｓの場合、画像データのうちの１画素を受信する（Ｓ１０３）。そして受信した画素が、特定情報ｋにより表される画素以降のデータであるかを判定する（Ｓ１０４）。例えば図６には不図示であるが、各フレームにおいて１画素受信するごとにインクリメントされる変数を設けることで、フレーム内での受信画素数をカウントし、Ｓ１０４では受信画素数＞ｋであるかを判定する。図４の例であれば、１フレーム目ではｋ＝０であるため、最初の画素からＳ１０４がＹｅｓと判定される。２フレーム目ではｋ＝Ｘ_１であるため、Ｘ_１＋１番目の画素からＳ１０４がＹｅｓと判定される。

Ｓ１０４でＮｏの場合、Ｓ１０３で受信した画素は、過去のフレームで既にバッファリング済みの画素であると判定される。よって、Ｓ１０５以降の処理を行わずにＳ１０３に戻り、次の画素の受信を行う。

Ｓ１０４でＹｅｓの場合、Ｓ１０３で受信した画素は、バッファリングが行われていない画素であると判定される。よってメモリー２４０に空き容量があるか否かを判定する（Ｓ１０５）。

メモリー２４０に空きがない場合（Ｓ１０５でＮｏ）とは、図４のＢ２２やＢ２４のように、フレームの途中でメモリー２４０がフル状態に到達してしまった場合、或いはそもそも当該フレーム開始時にメモリー２４０に空きがなかった場合に対応する。よってＳ１０２に戻り、次以降のフレームを対象として処理を実行する。

メモリーに空きがある場合（Ｓ１０５でＹｅｓ）、Ｓ１０３で受信した画素をメモリー２４０に書き込み（Ｓ１０６）、画素の特定情報ｋをインクリメントする（Ｓ１０７）。Ｓ１０７の処理により、バッファリング済みの画素数と、特定情報が表す画素が適切に対応付けられる。

Ｓ１０７の処理後、画素を全て受信したかを判定する（Ｓ１０８）。Ｓ１０８の処理は、フレームの最後の画素までメモリー２４０に書き込まれたか否かの判定である。Ｓ１０８でＹｅｓの場合、図４のＢ２６の状況に対応するため、１枚分の画像データのバッファリングが完了したと判定される。よってプロセッサー２２０は、受信及び書き込み処理を終了する。

また、Ｓ１０１〜Ｓ１０８と並列に、読み出し及び送信処理が実行される。この処理が開始されると、まずプロセッサー２２０は、外部装置３００の状態を確認する（Ｓ２０１）。Ｓ２０１の処理は、出力インターフェース２３０を介したステータス情報の受信である。ここでのステータス情報は、受信の可否を表すフラグ情報であってもよいし、他の形式の情報であってもよい。そしてＳ２０１で受信したステータス情報に基づいて、外部装置３００が画像データを受信可能であるか否かを判定する（Ｓ２０２）。

受信不可である場合（Ｓ２０２でＮｏ）、Ｓ２０１に戻る。受信可能である場合（Ｓ２０２でＹｅｓ）、メモリー２４０の状態を確認する（Ｓ２０３）。そしてメモリー２４０の状態に基づいて、メモリー２４０に未送信の画像データが記憶されているか否かを判定する（Ｓ２０４）。Ｓ２０４は、上記のようにＢＤの値を判定する処理でもよいし、未送信フラグを参照する処理でもよい。

未送信データが記憶されていない場合（Ｓ２０４でＮｏ）、Ｓ１０６により新たにデータが書き込まれるまで、Ｓ２０３に戻り処理を継続する。未送信データが記憶されている場合（Ｓ２０４でＹｅｓ）、当該データをメモリー２４０から読み出し、出力インターフェース２３０を介して外部装置３００に対して送信する（Ｓ２０５）。

Ｓ２０５の処理後、１枚分の画像データを全て外部装置３００に送信したか否かを判定する（Ｓ２０６）。Ｓ２０６の処理は、送信処理側で送信済み画素数をカウントし、１枚分の画素数、例えば２０７万３６００画素に到達したか否かを判定してもよい。或いはＳ２０６の処理は、１枚分の画像データがバッファリング済み、且つ、メモリー２４０に未送信データがない、という２つの条件が満たされたか否かを判定してもよい。即ち、Ａ１０８とＳ２０４の両方でＹｅｓと判定されてＳ２０６に来たときにＹｅｓと判定されてもよい。Ｓ２０６でＮｏの場合、未バッファリングのデータ、或いは未送信のデータが残っているため、Ｓ２０１に戻り処理を継続する。Ｓ２０６でＹｅｓの場合、処理を終了する。

２．電子機器
また本実施形態の手法は、上記の処理装置２００と、イメージセンサー１００と、イメージセンサー１００を移動させる移動機構と、を含む電子機器に適用できる。より具体的には、イメージセンサー１００は、少なくともレンズ等の撮像光学系を含む撮像装置３０に搭載される。

図７は、イメージセンサー１００を含む撮像装置３０の構成例を示す図であって、システムの内部構造を示す縦断面図である。撮像装置３０は、下方に開口部を有する箱型のケース３１に、第１光源４１及び第２光源４２と、撮像ユニット５０と、システム制御ボード６０と、を搭載する。撮像ユニット５０は、イメージセンサー１００とレンズ５１を含む。勿論、これら以外の要素も適宜含めることができる。なお、上、右、前の各方向は、図７の撮像装置３０が印刷装置１０に搭載された場合の方向を表す。各方向の詳細は、図８〜図１０を用いて後述する。

第１光源４１と第２光源４２は、撮像対象の被写体に撮影用の光を照射するＮ個（Ｎ≧２）の光源であって、それぞれの発光正面方向ＤＬ１，ＤＬ２が互いに、被写体に対して正反射の位置に設置されている。撮像装置３０が印刷装置１０に搭載される場合、被写体とは印刷対象の媒体３である。また、第１光源４１と第２光源４２は、本実施形態では白色の発光ダイオードであり、駆動用の電圧・電流がシステム制御ボード６０によって制御されることで、光量が制御される。

なお、第１光源４１と第２光源４２の発光体は、白色の発光ダイオードに限らない。他の色の発光ダイオードであっても良いし、発光体の種類も適宜設定可能である。また、本実施形態では光源の数Ｎを２個としているが、複数であれば３個以上であってもよい。撮像ユニット５０は、光軸Ｄｃが第１光源４１と第２光源４２との正反射の反射位置に向けて設置されている。

本実施形態に係る処理装置２００は、例えば撮像装置３０のシステム制御ボード６０に対応する。撮像装置３０のシステム制御ボード６０は、撮像ユニット５０で撮像された画像データのバッファリングを行い、当該画像データを外部装置３００に対して送信する。

本実施形態に係る電子機器は、例えば印刷装置１０である。インクジェットプリンターにおいて、複数のインクジェットヘッドを搭載し、高速に広範囲の印刷を可能にする機構を持つ機種がある。その場合、ヘッド間の取り付け調整や、ヘッド特性差異の補償等のため、所定の印刷パターンをヘッドに取り付けられたカメラにより撮像し、そのデジタル画像を解析して、ヘッドの調整度合いを数値化する仕組みが検討されている。換言すれば、ヘッドの自動検査、自動調整を実行するシステムが検討されている。調整は、プリンターの初期導入時に設置場所で行ったり、用紙等の印刷メディアの交換時に都度行うことが想定されている。電子機器に含まれるイメージセンサー１００は、当該所定の印刷パターンの撮像に用いることが可能である。

図８は、撮像装置３０が搭載される印刷装置１０の構成例を示す正面図である。印刷装置１０は、紙、布、プラスチックなどを材料とするシート状の印刷対象の媒体３に対して、染料や顔料といった印刷インクの液滴を吐出することでカラー画像を形成するインクジェット式のカラープリンターである。

具体的には、印刷装置１０は、印刷機制御ボード１２と、キャリッジ部２０とを搭載する。印刷機制御ボード１２は、印刷装置１０の動作を統合的に制御する制御基板である。印刷装置１０は、印刷機制御ボード１２の制御によってキャリッジ部２０を主走査方向Ｄｓに沿って移動させながら印刷インクを媒体３に噴射して印刷を行う。

本実施形態の印刷装置１０は、印刷対象の媒体３としてＡ２サイズ以上を扱うことができるＬＦＰ（Large Format Printer：大判プリンター）とするが、中型・小型のインクジェット式の印刷装置であってもよい。

なお、図８〜図１０では方向を次のように定義する。前後方向は、印刷装置１０が印刷後の媒体３を排出する側を正面・前とする。左右方向は、前後方向に対して直交する主走査方向Ｄｓに沿っており、正面から向かった左右とする。

図９は、キャリッジ部２０の構成例の概要を説明するための概略配置図であって、キャリッジ部２０を上から見た図に相当する。キャリッジ部２０は、キャリッジ部コントローラー２２と、印刷ヘッドユニット群２４と、撮像装置３０と、を搭載する。キャリッジ部コントローラー２２は、印刷機制御ボード１２からの制御信号を受けてキャリッジの動作を統合的に制御する。キャリッジ部コントローラー２２は、キャリッジ部２０の制御基板に相当する。印刷ヘッドユニット群２４は、インクジェット式のプリンターヘッドである。使用される印刷インクの色数や種類に応じて搭載する印刷ヘッドの数や相対位置は適宜設定可能である。

図８、図９に示したように、電子機器が印刷装置１０である場合、イメージセンサー１００を移動させる移動機構とは、キャリッジ部２０、及びキャリッジ部２０を主走査方向Ｄｓで移動させるためのアクチュエーター等の構成に対応する。また、外部装置３００は、印刷機制御ボード１２である。即ち、イメージセンサー１００を含む撮像装置３０は、キャリッジ部２０の移動に伴って所定の被写体を撮像し、処理装置２００であるシステム制御ボード６０でバッファリングされる。そしてシステム制御ボード６０から印刷機制御ボード１２に対して画像が送信され、印刷機制御ボード１２で検査のための画像処理が実行される。

電子機器の移動機構は、複数の検査用被写体を撮像可能な位置に、イメージセンサー１００を順次移動させ、イメージセンサー１００は、複数の検査用被写体の各検査用被写体について、複数のフレーム画像を撮像する。このようにすれば複数の検査用被写体を対象として、視覚的な検査を実行することが可能になる。

特に電子機器が印刷装置１０である場合、移動機構は、印刷ヘッド（印刷ヘッドユニット群２４）を移動させるキャリッジ（キャリッジ部２０）であり、検査用被写体は、印刷媒体３に印刷された検査用画像である。印刷装置１０では、所定の検査用パターンを印刷することで、印刷ヘッドの取り付け位置や取り付け姿勢、或いは各印刷ヘッドから適量のインクが吐出されているか等を視覚的に示す手法が広く知られている。本実施形態における検査用画像は、例えばこのような検査用パターンである。

図１０は、検査用画像の印刷、及び検査用の画像データの撮像におけるキャリッジ部２０の制御例を説明する図である。上述したように、キャリッジ部２０は、主走査方向Ｄｓに移動可能に構成される。キャリッジ部コントローラー２２は、印刷機制御ボード１２の制御に従って、キャリッジ部２０を移動させ、主走査方向Ｄｓに沿って複数の検査パターンを印刷する。

図１０のＣ１が印刷パスの往路であり、Ｃ２が印刷パスの復路である。Ｃ１とＣ２の間の所定の位置で、印刷ヘッドユニット群２４から所定色のインクを吐出することで、複数の検査用パターンが印刷される。なお、図１０では４つの検査用パターンＤ１〜Ｄ４を示したが、検査用パターンの数は任意である。また、図１０ではＣ１及びＣ２の一往復で検査用パターンを印刷する例を示したが、複数回の往復で検査用パターンが印刷されてもよい。また、往路で検査用パターンの印刷が行われ、復路で検査用パターンの撮像が行われてもよい。本実施形態では、印刷パスと撮像パスが分かれていればよく、具体的なパスについては種々の変形実施が可能である。また、各パスでのキャリッジ部２０と媒体３の副走査方向（前後方向）での位置関係も種々の設定が可能である。例えば、印刷パス（Ｃ１，Ｃ２）と撮像パス（Ｃ３〜Ｃ６）の全てにおいて、副走査方向での位置関係を固定とする。この場合、検査用パターンの印刷から撮像の完了まで、媒体３の搬送が行われない。或いは、媒体３を搬送しながら複数の印刷パスにより検査用パターンを印刷した後、撮影に適した位置関係となるように媒体３の引き戻しを行って撮像を行ってもよい。

検査用パターンの印刷が完了したら、印刷機制御ボード１２は、キャリッジ部コントローラー２２に対して、検査用パターンの撮像を指示する。具体的には、Ｃ１及びＣ２に示した印刷パスとは異なるパスにおいて、まず検査用パターンＤ１を撮像可能な位置にキャリッジ部２０を移動させる（Ｃ３）。

Ｃ３の移動が完了したら、処理装置２００のプロセッサー２２０は、図６に示した処理を開始する。Ｃ３の移動の完了後、且つ、次の移動であるＣ４の開始前の期間においては、複数のフレームにわたって検査用パターンＤ１の撮像が継続される。よってプロセッサー２２０は、メモリー２４０の空き容量や外部装置３００の受信可否に応じて図６の処理を行い、必要に応じて複数フレーム分の画像データを用いて、外部装置３００である印刷機制御ボード１２に対して、検査用パターンＤ１を撮像した画像データを送信する。

印刷機制御ボード１２は、検査用パターンＤ１についての検査が可能な枚数の画像データが適切に取得された場合に、キャリッジ部コントローラー２２に対して、次の検査用パターンＤ２の撮像を指示する。キャリッジ部コントローラー２２は、Ｃ４に示したようにキャリッジ部２０を移動させ、撮像装置３０は検査用パターンＤ２の撮像を開始する。なお、検査が可能な枚数とは最小は１枚であるが、ノイズ等を考慮して複数枚としてもよい。

これ以降についても同様である。処理装置２００は、複数のフレーム画像に基づいて、検査用パターンＤ２を撮像した画像を、印刷機制御ボード１２に送信する。印刷機制御ボード１２は、検査用パターンＤ２についての検査が可能な枚数の画像データが適切に取得された場合に、キャリッジ部コントローラー２２に対して、次の検査用パターンＤ３の撮像を指示する。キャリッジ部コントローラー２２は、Ｃ５に示したようにキャリッジ部２０を移動させ、撮像装置３０は検査用パターンＤ３の撮像を開始する。検査用パターンＤ３の撮像が完了したら、Ｃ６の移動が行われ検査用パターンＤ４の撮像が行われる。

以上のように、印刷装置１０である電子機器では、キャリッジ（キャリッジ部２０）の第１の移動時に印刷媒体３に検査用画像が印刷され、イメージセンサー１００は、第１の移動より後に実行される第２の移動時に検査用画像を撮像する。第１の移動とは印刷パスに対応し、第２の移動とは撮像パスに対応する。図１０の例であれば、第１の移動とはＣ１及びＣ２の移動であり、第２の移動とはＣ３〜Ｃ６の少なくとも１つの移動である。ただし、印刷パスと撮像パスに種々の変形実施が可能である点は上述したとおりである。このようにすれば、印刷パスを撮像パスを分けることが可能になる。印刷途中の画像を撮像すること等が抑制されるため、撮像及び検査を適切に実行することが可能になる。

また本実施形態の電子機器は、処理装置２００と、イメージセンサー１００と、移動機構とを含めばよく、印刷装置１０以外の機器に拡張可能である。

図１１は、本実施形態に係る電子機器の一例であるロボットの外観図である。図１１のロボット４００は、第１のアーム４１０と、第２のアーム４２０を含み、撮像装置３０は、第１のアーム４１０及び第２のアーム４２０の少なくとも一方に設けられるハンドアイカメラである。図１１では、第１のアーム４１０は、関節４１１，４１３と、関節の間に設けられるフレーム４１５，４１７から構成され、第２のアーム４２０についても同様のものとしたがこれに限定されない。また、図１１では２本のアームを有する双腕ロボットの例を示したが、本実施形態のロボットは３本以上のアームを有してもよい。またロボット４００は人型のロボットに限定されず、広く知られたＳＣＡＲＡ型のロボット等であってもよい。

図１１のロボット４００は、７自由度や６自由度のアームを用いることで、撮像装置３０の３次元的な位置、姿勢を柔軟に変更可能である。即ち、多様な角度から検査用被写体ＯＢを撮像し、複数の画像データを用いて検査用被写体ＯＢの外観検査を実行できる。ここでの外部装置３００は、ロボット４００の制御、例えばアーム４１０やアーム４２０等の制御を行う制御基板であってもよい。或いは、ロボット４００と直接、或いはネットワークを介して接続可能なＰＣ等の機器を外部装置３００としてもよい。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

３…印刷媒体、１０…印刷装置、１２…印刷機制御ボード、２０…キャリッジ部、
２２…キャリッジ部コントローラー、２４…印刷ヘッドユニット群、３０…撮像装置、
３１…ケース、４１…第１光源、４２…第２光源、５０…撮像ユニット、５１…レンズ、６０…システム制御ボード、８０…大容量メモリー、９０…比較例の処理装置、
９１…比較例の入力インターフェース、９２…比較例のプロセッサー、
９３…比較例の出力インターフェース、１００…イメージセンサー、２００…処理装置、
２１０…入力インターフェース、２２０…プロセッサー、
２３０…出力インターフェース、２４０…メモリー、３００…外部装置、
４００…ロボット、４１０，４２０…アーム、４１１，４１３…関節、
４１５，４１７…フレーム、Ｄｓ…主走査方向、ＯＢ…検査用被写体、
ｒｐ…読み取りポインター、ｗｐ…書き込みポインター

Claims (9)

1. イメージセンサーから画像データが入力される入力インターフェースと、
   メモリーと、
   入力された前記画像データを前記メモリーに書き込むプロセッサーと、
   前記メモリーに書き込まれた前記画像データを外部装置に送信する出力インターフェースと、
   を含み、
   前記プロセッサーは、
   前記入力インターフェースを介して入力される複数フレームの画像データのうちの第ｉ（ｉは正の整数）のフレームの画像データを、前記メモリーがバッファリング可能な容量まで、前記メモリーに書き込んで、書き込み済みの画素を特定する特定情報を記憶し、第ｊ（ｊはｊ＞ｉを満たす整数）のフレームの画像データが前記入力インターフェースを介して入力されたときに、前記メモリーの容量に空きがある場合は、前記第ｊのフレームの画像データのうちの、前記特定情報により特定される画素の次の画素のデータから、前記メモリーに書き込むことを特徴とする処理装置。
2. 請求項１において、
   前記プロセッサーは、
   前記外部装置に送信済みでない前記画像データが前記メモリーに記憶されており、且つ、前記出力インターフェースが前記外部装置から前記画像データが受信可能であるという情報を受けたとき、前記画像データを前記外部装置に送信する処理を行うことを特徴とする処理装置。
3. 請求項１又は２において、
   前記メモリーがバッファリング可能な容量は、前記メモリーがフル状態になる容量であることを特徴とする処理装置。
4. 請求項１乃至３のいずれかにおいて、
   前記メモリーは、前記プロセッサーの内蔵メモリーであることを特徴とする処理装置。
5. 請求項１乃至４のいずれかにおいて、
   前記複数のフレーム画像は、同一被写体を撮像した静止画像であることを特徴とする処理装置。
6. 請求項１乃至５のいずれかに記載の処理装置と、
   前記イメージセンサーと、
   前記イメージセンサーを移動させる移動機構と、
   を含むことを特徴とする電子機器。
7. 請求項６において、
   前記移動機構は、
   複数の検査用被写体を撮像可能な位置に、前記イメージセンサーを順次移動させ、
   前記イメージセンサーは、
   前記複数の検査用被写体の各検査用被写体について、前記複数のフレーム画像を撮像することを特徴とする電子機器。
8. 請求項７において、
   前記移動機構は、
   印刷ヘッドを移動させるキャリッジであり、
   前記検査用被写体は、
   印刷媒体に印刷された検査用画像であることを特徴とする電子機器。
9. 請求項８において、
   前記キャリッジの第１の移動時に前記印刷媒体に前記検査用画像が印刷され、
   前記イメージセンサーは、
   前記第１の移動より後に実行される第２の移動時に前記検査用画像を撮像することを特徴とする電子機器。