JP2002288630A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】検査すべき構造物を見落とすことなく画像処理
を行いかつ処理効率を上げることができる画像処理装置
を提供する。 【解決手段】検査すべき対象物を撮像して画像データを
取得する画像入力部１００と、この画像入力部１００に
より取得された画像データに対して所定の画像処理を行
なう１つ以上のプロセッサ１０６とを具備し、このプロ
セッサ１０６は、画像入力部１００からの画像データの
一部について同一の画像処理を複数回行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置に関す
るものである。

【０００２】

【従来の技術】画像処理装置は例えば、各種電子部品な
どの主に外観上のキズや欠陥を検出する外観検査装置等
の視覚センサ部などに応用され、対象物の画像情報から
高速に所定の形状情報を抽出・認識するのに有効であ
る。

【０００３】一方、異なったデータに対して繰り返し同
一の演算を行う際に、演算ユニットをパイプライン化し
て処理を高速化する方法は、演算パイプライン（ベクト
ルプロセッサ）方式として知られている。例えば特開平
０８−１１０９４０号公報では、各処理の途中結果を保
存するメモリを２系統持たせることによりパイプライン
構造を構成し、いわゆるダブルバッファリング処理によ
ってパイプライン動作を維持している。ただし前処理部
に相当する特徴情報抽出をハードウェア処理する一方
で、その後の計測・制御処理をＣＰＵを用いたソフトウ
ェア処理により行うという構成としているため、ハード
ウェア処理部で規定される動作速度にソフトウェア部の
処理が間に合わない場合には、ＣＰＵで処理するデータ
を間引くことでパイプライン動作を維持している。

【０００４】ところで近年のＣＰＵあるいはＤＳＰの高
速化に伴い、前述のような処理のすべてをソフトウェア
処理することが現実的になっている。これにより必要な
処理内容とその処理時間に応じてメモリバッファサイズ
を適切に設定することで、自由度の高いパイプライン処
理が可能となっている。

【０００５】ここで、上記したような外観検査を考える
と、長尺物をラインセンサで撮像し検査する場合、撮像
の時間に比べて検査のための画像処理に要する時間が大
きい場合は、撮像して得られたデータを複数のメモリバ
ッファ上に取り込み、それぞれ複数のプロセッサで並列
処理することにより実時間処理が可能となる。ここで、
１つのメモリバッファ分（処理単位）の撮像時間をα、
その処理時間をβ、メモリバッファおよびプロセッサの
数をｍ、被写体である長尺物の長さをメモリバッファの
長さで割った数をデータ数ｎ、とする。このときβ≦ｍ
αであれば実時間処理が可能で、長尺物全体を処理する
時間Ｔは、Ｔ=ｎα＋βとなる。

【０００６】すなわち全体の処理時間は、撮像に要する
時間より、処理時間βだけ遅延することを示している。
このため、通常はプロセッサの利用効率を上げるため
に、１つの処理単位をできるだけ小さくすることが考え
られる。特に処理時間が不定となる場合、その予想され
る最大値をβとしておく必要があるため、１つの処理単
位が大きいとプロセッサが稼動していない時間が相対的
に大きくなってしまうので処理単位をできるだけ小さく
することが望ましい。

【０００７】

【発明が解決しようとする課題】ところで長尺物のう
ち、その中に独立した形状の構造物を持ち、それらを個
々に処理の対象とする必要がある場合、処理単位は、こ
の構造物を包含できるだけの大きさを必要とする。さら
にそれら構造物の配置が不定である場合、構造物が必ず
いずれかの処理単位に包含されるように、処理単位は一
定量ずつオーバーラップしている必要がある。すなわ
ち、プロセッサ利用率を上げ処理効率を上げるためには
処理単位はできるだけ小さい方がよいが、一方で、処理
単位を大きくしなければオーバーラップ部分が相対的に
大きくなってしまい処理効率が落ちてしまうという問題
があった。

【０００８】本発明はこのような課題に着目してなされ
たものであり、その目的とするところは、検査すべき構
造物を見落とすことなく画像処理を行いかつ処理効率を
上げることができる画像処理装置を提供することにあ
る。

【０００９】

【課題を解決するために手段】上記の目的を達成するた
めに、第１の発明に係る画像処理装置は、検査すべき対
象物を撮像して画像データを取得する画像入力部と、こ
の画像入力部により取得された画像データに対して所定
の画像処理を行なう画像処理部とを具備し、上記画像処
理部は、上記画像入力部からの画像データの一部につい
て同一の画像処理を複数回行なう。

【００１０】また、第２の発明は、第１の発明に係る画
像処理装置において、上記複数回の処理を行なうべき画
像データ量の最適値を、上記画像処理部の処理能力、コ
スト、上記対象物の大きさに基づいて決定する決定手段
を有する。

【００１１】また、第３の発明は、第１または第２の発
明に係る画像処理装置において、上記画像入力部からの
画像データを処理に先立って格納するための主メモリバ
ッファと、この主メモリバッファの前後に配置されて、
上記複数回の処理を行なうべき画像データを格納する一
対の副メモリバッファとからなる画像データ格納部をさ
らに具備し、上記主メモリバッファの長さは、当該主メ
モリバッファ内の画像データを処理するのに要する時間
の最大値と最小値の比と、上記画像処理部の個数と上記
画像データ格納部の容量の比との関数により与えられ
る。

【００１２】

【発明の実施の形態】まず、図１を参照して本実施形態
に係る画像処理装置の基本的概念を説明する。画像入力
部１００は、被写体を撮像するカメラ１００ａと、カメ
ラ１００ａで撮像した被写体像に対してＡ／Ｄ変換の
他、適切な前処理を施す映像処理部１００ｂとから構成
される。画像入力部１００からの画像データは、複数の
メモリバッファ１０４のうち、切替スイッチ１０３によ
り選択されたメモリバッファ１０４に順に保存される。
各メモリバッファ１０４は第１の副メモリバッファ１０
４−１と主メモリバッファ１０４−２と第２の副メモリ
バッファ１０４−３とから構成される。複数のメモリバ
ッファ１０４に保存された画像データは、切替スイッチ
１０５により選択的に読み出されて１つ以上のプロセッ
サ１０６により処理される。

【００１３】上記切替スイッチ１０３、１０５及び１つ
以上のプロセッサ１０６は制御部１０２によりその動作
が制御される。また、画像データの複数のメモリバッフ
ァ１０４への保存動作及び１つ以上のプロセッサ１０６
による画像データの処理動作については以下に述べる各
実施形態において詳細に説明する。

【００１４】第１，第２の副メモリバッファ１０４−
１，１０４−３は処理単位のオーバラップ用に用いら
れ、２つの対象とするべき構造物の検査方向に想定され
る最大長以上の長さを持つ。また、主メモリバッファ１
０４−２の長さは、第１，第２の副メモリバッファ１０
４−１，１０４−３の長さの２倍を越え、かつ２つの副
メモリバッファ１０４−１，１０４−３の大きさと合わ
せて利用可能なメモリの範囲で確保できる。２つの副メ
モリバッファ１０４−１，１０４−３は主メモリバッフ
ァ１０４−２の前後に論理的に配置される。ここで主メ
モリバッファ１０４−２の長さは、当該主メモリバッフ
ァ１０４−２内の画像データを処理するのに要すると想
定される時間の最大値と最小値の比と、プロセッサ数と
そのプロセッサに実装されている画像メモリ量の比との
関数により与えられる。

【００１５】本実施形態では、第１，第２の副メモリバ
ッファ１０４−１，１０４−３のオーバーラップすべき
メモリバッファ量の最適値を入力するためのオーバーラ
ップ量入力部１０１を備えていることを特徴とし、この
オーバーラップ量入力部１０１から最適なオーバーラッ
プ量を入力することにより、所定の構造物を処理の対象
として見落とすことなく、かつプロセッサ利用率を最大
化することができる。

【００１６】（第１実施形態）図２は本発明の第１実施
形態に係る画像処理装置の構成を示す図である。第１実
施形態では、プロセッサ１個でダブルバッファリングを
行う（プロセッサと画像入力部とを並列動作させる）実
施形態に関している。

【００１７】画像入力部１は、被写体を撮像するカメラ
１ａと、カメラ１ａで撮像した被写体像に対してＡ／Ｄ
変換の他、適切な前処理を施す映像処理部１ｂとから構
成される。

【００１８】第１実施形態のメモリバッファは第１のメ
モリバッファ５と第２のメモリバッファ６の２つのメモ
リバッファ領域から構成され、制御部３からの制御信号
により切替スイッチ４、７を切り替えることによりいず
れか一方のメモリバッファが選択される。第１のメモリ
バッファ５は３つの部分に分かれており、第１の副メモ
リバッファ５−１、主メモリバッファ５−２、第２の副
メモリバッファ５−３の順に並んでいる。また、第２の
メモリバッファ６も第１のメモリバッファ５と同様に３
つの部分（第１の副メモリバッファ６−１、主メモリバ
ッファ６−２、第２の副メモリバッファ６−３）に分か
れており、各サイズも第１のメモリバッファ５と同じも
のとする。

【００１９】制御部３はメモリバッファ量設定手段とし
ての機能を備え、所定の方法によって入力されたメモリ
バッファ量の最適値に基いて、各メモリバッファ５，６
の大きさを設定する。所定の入力方法として本実施形態
ではオーバーラップ量入力部２を用いる場合を例示して
いるがこれに限定されない。例えばユーザに最適値その
ものをシステムに入力することを促し、その入力された
値を直接設定することが含まれる。またユーザはその最
適値を予めファイルなどの形式に書き込んで保存してお
き、そのファイルを指定することで、直接入力に代える
ことも可能である。

【００２０】さらに最適値そのものではなくとも、所定
の演算により最適値を導出するために必要なデータを
（直接入力あるいはファイルなどで間接的に入力するに
関わらず）入力し、所定の演算を施して得られる最適値
を設定する方法も含まれる。

【００２１】またメモリバッファ量の最適値のうち、副
メモリバッファ５−１（６−１）、５−３（６−３）の
大きさは、オーバーラップする処理単位のいずれかの中
で、構造物が完全な形状として含まれるように、対象と
すべき構造物の検査方向に想定される最大長以上の長さ
を持つものとする。

【００２２】また主メモリバッファ５−２，６−２の大
きさは、重複して処理する部分の長さよりも十分に大き
くすることにより処理効率を向上させるため、利用可能
なメモリの範囲で少なくとも副メモリバッファ５−１
（６−１）、５−３（６−３）の２倍以上を確保するも
のとする。

【００２３】以下に図２と図３を参照して上記した構成
の作用を説明する。画像入力部１で得られた画像データ
を第１のメモリバッファ５に保存する。画像入力部１か
ら送られる画像データは、主メモリバッファ５−２の先
頭から、第２の副メモリバッファ５−１，５−３の終わ
りまで保存される。そして第２の副メモリバッファ５−
１，５−３まで画像データが保存されると、直ちに画像
データの保存先を第２のメモリバッファ６に切り替え
る。そして第２のメモリバッファ６においても主メモリ
バッファ６−２の先頭から第２の副メモリバッファ６−
１，６−３までがデータで一杯になると、再び第１のメ
モリバッファ５に保存先を切り替え、以下、この動作を
繰り返すことにより、画像データを連続的にメモリバッ
ファ５，６に保存する。

【００２４】ところで、メモリバッファ５，６に保存さ
れた画像データを処理するプロセッサ８は、最初に第１
のメモリバッファ５に画像データが保存されはじめる
と、速やかに処理を開始し、必要であれば図示しない第
３のメモリバッファに処理結果を保存するなどして、処
理を進める。そして第１のメモリバッファ５のデータを
処理し終えると、次に、第１のメモリバッファ５の第２
の副メモリバッファ５−３内のデータを、第２のメモリ
バッファ６の第１の副メモリバッファ６−１にコピーす
る。

【００２５】そしてプロセッサ８は、第２のメモリバッ
ファ６の先頭（＝第１の副メモリバッファ６−１の先
頭）から処理をはじめ、第２のメモリバッファ６内のす
べてのデータを処理する。その後、第２のメモリバッフ
ァ６の第２の副メモリバッファ６−３内のデータを、第
１のメモリバッファ５の第１の副メモリバッファ５−１
にコピーし、第１のメモリバッファ５の先頭から処理を
始めてすべてのデータを処理する。

【００２６】ここで、メモリバッファ５，６の切替は上
記したように、入力されたデータ量を監視する制御部３
によって適切なタイミングで実施するような形態でも可
能であるし、プロセッサ８自身がデータ駆動（ｄａｔａ
−ｄｒｉｖｅｎ）型の動作をするように構成してもよ
い。以下、この動作を繰り返すことにより、副メモリバ
ッファのサイズだけオーバーラップしながら、メモリバ
ッファのサイズをまとめて順に処理していくことにな
る。

【００２７】なお、副メモリバッファのサイズは、対象
とするべき構造物の検査方向に想定される最大長以上の
長さを持っているので、構造物を捉えた画像データは、
少なくとも１度は構造物としての形状を保持した状態で
処理の対象となる。

【００２８】以上により、所定の大きさを持つ構造物を
見落とすことなく、かつパイプライン動作を滞らせるこ
ともなく、連続的な処理を実現できる。

【００２９】なお、説明した実施形態では、データを明
示的（explicitly)にコピーしているが、プロセッサ８
や画像入力部１から平等にアクセス可能なメモリ（メモ
リアクセスの優先順位が同程度であり、通常の場合、メ
モリアクセスに要する時間にほとんど差が出ないように
構成されたメモリ）を共有するハードウェア構成の場合
は、リングバッファのように利用することで、単純に読
み出しアドレスの制御を正しく実行するだけで、データ
のコピーを用いた場合と同様の処理が可能となる。

【００３０】（第２実施形態）第２実施形態は第１実施
形態においてプロセッサを２個にした実施形態である。
第１実施形態と同様に、メモリアクセスが平等な場合あ
るいは明示的にコピーしてもその転送コストが比較的小
さい場合であって、プロセッサを複数（ここでは説明を
簡単にするためにプロセッサは２個）にした場合は次の
ように実施する。

【００３１】まず図４に示すようにメモリバッファとし
て３つのメモリバッファ領域（第１のメモリバッファ
５，第２のメモリバッファ６，第３のメモリバッファ
９）を設定し、これらを第１実施形態と同様に、第１の
メモリバッファ５については第１の副メモリバッファ５
−１，主メモリバッファ５−２，第２の副メモリバッフ
ァ５−３、第２のメモリバッファ６については第１の副
メモリバッファ６−１，主メモリバッファ６−２，第２
の副メモリバッファ６−３、第３のメモリバッファ９に
ついては第１の副メモリバッファ９−１，主メモリバッ
ファ９−２，第２の副メモリバッファ９−３の順にそれ
ぞれ３つの部分に分割する。

【００３２】なお各メモリバッファ５，６，９の大きさ
は、メモリバッファ量設定手段としての制御部３によっ
て予め設定されている。制御部３により切替スイッチ４
−１を切り替えながら、図５に示すように第１のメモリ
バッファ５、第２のメモリバッファ６、第３のメモリバ
ッファ９、再び第１のメモリバッファ５の順に、それぞ
れの主メモリバッファの先頭から第２の副メモリバッフ
ァの終わりまで画像入力部１から入力された画像データ
を保存することで、滞り無く画像を撮影し、そのデータ
を保存する。

【００３３】そして第１のプロセッサ８−１は、画像入
力部１による画像データの保存に追随して第１のメモリ
バッファ５のデータ処理を進める。ここで第１のメモリ
バッファ５の第２の副メモリバッファ５−３にデータが
揃ったならば、直ちに第２のメモリバッファ６の第１の
副メモリバッファ６−１にコピーされる。なお、このコ
ピーは、第１のプロセッサ８−１が実施するようにして
もよいが、データ処理の終了を待たなくてもよいよう
に、専用の装置を用意した方が有効である。

【００３４】第２のプロセッサ８−２は、画像入力部１
が第２のメモリバッファ６に画像データを保存し始めた
ところから追随して処理を始める。その後、第１のメモ
リバッファ５の処理を終えた第１のプロセッサ８−１
は、画像入力部１が第３のメモリバッファ９に画像デー
タを保存し始めたところから追随して処理を始める。こ
のように２つのプロセッサ８−１，８−２は、それぞれ
１つ置きにメモリバッファを担当して処理を進める。

【００３５】メモリバッファの切替は上記したように、
入力されたデータ量を監視する制御部３によって適切な
タイミングで実施するような形態でも可能であるし、各
プロセッサがデータ駆動型の動作をするように構成して
もよい。以上により、画像入力に要する時間に比べて、
処理に大きな時間がかかる場合でも、滞り無くパイプラ
イン処理を実現できる。さらに処理時間を高速化する必
要がある場合には、プロセッサの数を増やし、それに合
わせてメモリバッファを用意して、飛び飛びに処理する
ことで、複雑な処理も画像入力に要する時間の流れとタ
イミングを合わせて処理を進めることが可能となる。

【００３６】（第３実施形態）第３実施形態は、プロセ
ッサとメモリバッファの組み合わせによって、アクセス
速度が不平等である場合の実施形態に関する。この場合
は、特定のメモリバッファ上のデータは特定のプロセッ
サで処理する方が速度的に有利である。そこで第３実施
形態では図６に示すように、第１のプロセッサ８−１に
対応したメモリバッファ領域として第１のメモリバッフ
ァ５と第２のメモリバッファ６の２つのメモリバッファ
を設定する。また第２のプロセッサ８−２に対応したメ
モリバッファ領域として第３のメモリバッファ９と第４
のメモリバッファ１０の２つのメモリバッファを設定す
る。

【００３７】そして画像入力部１は、カメラ１ａで撮像
し、映像処理部１ｂにおいてＡ／Ｄ変換の他、適切な前
処理を施して得られた画像データを、まず図７に示すよ
うに第１のメモリバッファ５と第３のメモリバッファ９
の両方に同じデータを保存する。そしてそれらがデータ
で一杯になると次に第２のメモリバッファ６と第４のメ
モリバッファ１０の両方に同じデータを保存する。これ
を繰り返すことで滞り無く画像を撮影し、そのデータを
保存する。

【００３８】なお各メモリバッファ５，６，９，１０は
第１の副メモリバッファ、主メモリバッファ、第２の副
メモリバッファの順に３つに分かれている。すなわち第
１のメモリバッファ５については第１の副メモリバッフ
ァ５−１，主メモリバッファ５−２，第２の副メモリバ
ッファ５−３、第２のメモリバッファ６については第１
の副メモリバッファ６−１，主メモリバッファ６−２，
第２の副メモリバッファ６−３、第３のメモリバッファ
９については第１の副メモリバッファ９−１，主メモリ
バッファ９−２，第２の副メモリバッファ９−３、第４
のメモリバッファ１０については第１の副メモリバッフ
ァ１０−１，主メモリバッファ１０−２，第２の副メモ
リバッファ１０−３の順にそれぞれ３つの部分に分割す
る。

【００３９】第１のプロセッサ８−１は、対応する第１
のメモリバッファ５の先頭からその前半部分のデータ処
理を担当する。そして第２のプロセッサ８−２は第２の
メモリバッファ６上にある、残りの後半部分のデータ処
理を担当する。ただし、この前半部分と後半部分は副メ
モリバッファのサイズだけオーバーラップしていること
に注意する。

【００４０】続いて、第１のメモリバッファ５の第２の
副メモリバッファ５−３を第２のメモリバッファ６の第
１の副メモリバッファ６−１にコピーした上で、第１の
プロセッサ８−１は、対応する第２のメモリバッファ６
の先頭からその前半部分のデータ処理を担当する。そし
て第２のプロセッサ８−２は第４のメモリバッファ１０
上にある、残りの後半部分のデータ処理を担当する。こ
れを繰り返すことで、画像入力に要する時間に比べて、
処理に大きな時間がかかる場合であり、かつ特定のメモ
リバッファとプロセッサの組み合わせでは処理時間が大
きくなる可能性がある場合であっても、滞り無くパイプ
ライン処理を実現できる。

【００４１】ただしこの場合、使用可能なメモリを４つ
のメモリバッファ５，６，９，１０に分割し、かつ一部
については単にタイミングを合わせるために（処理に関
係しない）データを保存するという意味で、無駄があ
る。またここでは、第１と第３のメモリバッファ５，
９、および第２と第４のメモリバッファ６，１０を同様
に操作する方が、第１と第２のメモリバッファ５，６間
のデータコピーのオーバーヘッドを考慮しても有利な場
合を想定して説明したが、第１と第３のメモリバッファ
５，９、および第２と第４のメモリバッファ６，１０へ
のデータ転送をそれぞれ独立に制御できる場合には、第
１と第２のメモリバッファ５，６間でデータをコピーす
るのではなく、必要なデータをそれぞれに分配するよう
にしてもよい。

【００４２】（第４実施形態）第４実施形態では画像入
力部が、オーバーラップを考慮して画像データを複数の
プロセッサに分配する。図８、９に示すように、画像入
力部１は、カメラ１ａで撮像し、画像処理部１ｂにおい
てＡ／Ｄ変換の他、適切な前処理を施して得られた画像
データをリングバッファ１１に保存する。そして副メモ
リバッファのサイズに相当するオーバーラップを確保し
ながら、切替スイッチ１２により選択される各プロセッ
サ８−１，８−２の支配下のメモリに順にデータをコピ
ーする。このようにすると、画像入力部１でデータの流
れを制御できるようになるので、例えば、一時的に処理
不要な領域が撮像されるなどしてプロセッサによる処理
にとってはノイズになるような場合であっても、それら
をプロセッサに渡さないようにすることが可能となり、
安定した処理を高速に無駄なく実現することが可能とな
る。

【００４３】

【発明の効果】本発明によれば、検査すべき構造物を見
落とすことなく画像処理を行いかつ処理効率を上げるこ
とができる画像処理装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の基本的概念を説明するための図であ
る。

【図２】本発明の第１実施形態に係る画像処理装置の構
成を示す図である。

【図３】第１実施形態の作用を説明するための図であ
る。

【図４】本発明の第２実施形態に係る画像処理装置の構
成を示す図である。

【図５】第２実施形態の作用を説明するための図であ
る。

【図６】本発明の第３実施形態に係る画像処理装置の構
成を示す図である。

【図７】第３実施形態の作用を説明するための図であ
る。

【図８】本発明の第４実施形態に係る画像処理装置の構
成を示す図である。

【図９】第４実施形態の作用を説明するための図であ
る。

【符号の説明】

１００ 画像入力部 １００ａ カメラ １００ｂ 映像処理部 １０１ オーバーラップ量入力部 １０２ 制御部 １０３ 切替スイッチ １０４ 複数のメモリバッファ １０４−１，１０４−３ 副メモリバッファ １０４−２ 主メモリバッファ １０５ 切替スイッチ １０６ １つ以上のプロセッサ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 検査すべき対象物を撮像して画像データ
   を取得する画像入力部と、 この画像入力部により取得された画像データに対して所
   定の画像処理を行なう画像処理部とを具備し、 上記画像処理部は、上記画像入力部からの画像データの
   一部について同一の画像処理を複数回行なうことを特徴
   とする画像処理装置。
2. 【請求項２】 上記複数回の処理を行なうべき画像デー
   タ量の最適値を、上記画像処理部の処理能力、コスト、
   上記対象物の大きさに基づいて決定する決定手段を有す
   ることを特徴とする請求項１記載の画像処理装置。
3. 【請求項３】 上記画像入力部からの画像データを処理
   に先立って格納するための主メモリバッファと、この主
   メモリバッファの前後に配置されて、上記複数回の処理
   を行なうべき画像データを格納する一対の副メモリバッ
   ファとからなる画像データ格納部をさらに具備し、上記
   主メモリバッファの長さは、当該主メモリバッファ内の
   画像データを処理するのに要する時間の最大値と最小値
   の比と、上記画像処理部の個数と上記画像データ格納部
   の容量の比との関数により与えられることを特徴とする
   請求項２または３に記載の画像処理装置。