JP2000331164A

JP2000331164A - 画像処理装置

Info

Publication number: JP2000331164A
Application number: JP11143264A
Authority: JP
Inventors: Shigeru Okayama; 茂岡山
Original assignee: Sharp Corp; Sharp Manufacturing Systems Corp
Current assignee: Sharp Corp; Sharp Manufacturing Systems Corp
Priority date: 1999-05-24
Filing date: 1999-05-24
Publication date: 2000-11-30

Abstract

(57)【要約】【課題】どの検査項目についてどのような状況の欠陥
があるのかを早く理解させることの支援となる画像処理
装置を提供する。【解決手段】例えば搬送されている検査対象である容
器をＣＣＤカメラ２で撮像し、Ａ／Ｄ変換して得られた
画像データをフレームメモリ５に格納する。ＣＰＵ６
は、パターンマッチングを行って欠陥の有無を判定す
る。そして、欠陥有りと判定したときは、その欠陥のあ
る検査対象の画像データ１００とその欠陥に関連する付
属情報２００とを関連付けて複合データ３００としてＲ
ＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存する。
再生するときは、保存されている画像データ１００と付
属情報２００とを読み出して同時的に表示し、表示され
た付属情報２００に基づいてどの検査項目についてどの
ような状況の欠陥があるのかを直ちに認識できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、欠陥検査用の画像
処理装置、特に生産ライン検査システムに装備されて生
産される半製品または製品の欠陥（例えば液量の過少な
ど）を検出するための画像処理装置にかかわり、詳しく
は欠陥状況についての人為的判断を容易にするための技
術に関する。

【０００２】

【従来の技術】従来より、検査対象をＣＣＤカメラ等に
よって撮像して画像データを取得し、その画像データを
画像処理して判定基準と比較することにより欠陥の有無
を判定し、欠陥と判定したときにその欠陥のある検査対
象についての画像データを外部記憶装置に保存するよう
に構成された画像処理装置が知られている。

【０００３】欠陥有りと判定したときは、一般的には警
報または警告を発することが行われる。そのとき直ちに
生産ラインを停止するか、それともある程度時間をおい
て様子を見てから停止するか、あるいは定刻に停止する
かはともかくとして、欠陥有りのときには、歩留まりの
低下を抑制するため、その欠陥が何で、どこでどのよう
な原因によって欠陥が発生したのかの欠陥状況を見きわ
める必要がある。その場合に、欠陥有り判定時に保存し
ておいた画像データを再生して表示し、検査要員等がそ
の欠陥のある検査対象の映像を見て、欠陥状況を判断す
る。そして、その判断の結果に基づいて、該当する原因
を見いだし、補修や部品交換などのメンテナンスを行
う。

【０００４】

【発明が解決しようとする課題】上記した従来の技術に
は次のような問題点がある。欠陥有り判定時に保存する
のは欠陥のある検査対象の画像データのみである。その
画像データを再生表示して検査要員等が視覚的に検査す
るが、検査対象の映像だけをもとにして、その映像のど
こに欠陥があるのかを見いだすことは非常にむずかしい
ものである。

【０００５】画像処理に基づく欠陥判定は、演算結果と
所定の判定基準との大小比較によって行われる。すなわ
ち、演算結果が判定基準の範囲から大きくずれていても
わずかにずれていても、その区別なしに欠陥有りと判定
するようになっている。画像処理は、あらかじめ定めら
れたアルゴリズムに従ってソフトウェア的にそして最終
的には単純な数量比較によって自動的に行うものである
ので、装置にとっては、きわめてシビアな状況であって
も欠陥有り無しの判定を高精度に行うことができる。

【０００６】しかし、このような処理が画像処理装置に
とっては簡単な処理ではあっても、それに見合った人為
的判断はきわめてむずかしいのである。なぜなら、視覚
を通じての人間による判断は、自動的なものであるはず
はなく、そこにはさまざまの曖昧さが介在せざるを得な
いからである。たとえていえば次のようなことである。
判定基準である下限のしきい値が「１０００」であると
する。演算結果が「１１００」でも「１００１」でも機
械的な数量比較では直ちに欠陥無しと判定でき、また、
演算結果が「９００」でも「９９９」でも直ちに欠陥有
りと判定できる。しかし、検査要員が視覚で判断して、
「１００１」を欠陥無しと判定することと「９９９」を
欠陥有りと判定することとの間にある差異を明確に認識
することは、たとえ経験豊富な検査要員であっても、ほ
とんど不可能なことである。

【０００７】検査対象の検査項目が数量そのものである
場合には、このような問題が強くでてくる。検査項目が
形状や方向であれば、演算結果は数量的な処理で行われ
るものの、人間にとっては、形状の相違や方向の違いな
どは比較的に見つけやすい性質をもっている。例えば、
三角形と四角形とでは直観的に違うと直ちに認識でき
る。また、左向きと右向きとでは、あるいは右向きと下
向きとではすぐさま違いが分かる。文字や模様などの相
違についても同様である。例えば、文字の「あ」と
「い」とでは、また、模様の「花」と「山」とではたち
どころに違うと断定できる。ところが、例えば、容器に
収容されている内容物の量（かさ）が判定基準に対して
外れているのか否かの判断は、上記のとおりにかなりむ
ずかしいものである。その判定基準にマージンをもたせ
てあっても、そうである。また、位置ずれについても、
その人為的判断はむずかしい。例えば、１０ｍｍのずれ
はすぐに発見できても、１ｍｍのずれとなると、なかな
かむずかしいのである。画像処理装置の方では、解像度
にもよるが、たとえ０．１ｍｍでも判定することがで
き、その結果として欠陥有りと判定した検査項目であっ
ても、人間にとってはその判断はほぼ不可能である。同
様に、角度の８度のずれはすぐに気がついても、１度や
０．５度ではむずかしい。

【０００８】経験豊富な検査要員であれば、微妙な差異
を識別できるかも知れないが、それにもおのずと限度が
ある。まして、未熟練者であれば、たとえ演算結果が判
定基準からかなりはずれていても欠陥無しと誤判定をし
たり、演算結果が判定基準に合っているとしても欠陥有
りと誤判定したりするおそれがある。とにかく、人為的
判断であるので、個人差が生じることも避けがたいので
ある。判断結果だけでなく、消費する時間にも個人差が
生じる。

【０００９】そこで、判断に窮する場合がしばしば生じ
るのである。そのような場合の対策として、検査用に生
産ラインとは別に疑似ラインを設けるとともに、その疑
似ラインに画像処理装置を設置した確認専用のシステム
を構築することが考えられる。すなわち、欠陥有りと判
定された検査対象を疑似ラインで搬送して、再現テスト
を行うのである。アルゴリズムも当然に確認専用のもの
を用いることとする。検査項目ごとに判定結果を出力す
るようにすることにより、どの検査項目で欠陥が発生し
ていたのかがわかる。

【００１０】しかし、このような対策は設備投資および
設置スペースの負担が大きすぎるので、現実的な解決策
とはなりにくい。

【００１１】したがって、もう一つの対策は、同じ生産
ラインで再試行することである。そうすると、一部では
あっても、その再試行の部分で生産はストップせざるを
得なくなってしまう。場合によっては、ライン全体を停
止する必要がでてくる。いずれにしても、歩留まりの低
下は避けられない。また、生産中のアルゴリズムとは異
なるアルゴリズムで試験することになるという負担もあ
る。

【００１２】本発明は上記した課題の解決を図るべく創
作したものであって、どの検査項目についてどのような
状況の欠陥があるのかを早く理解させることの支援とな
る画像処理装置を提供することを目的としている。

【００１３】

【課題を解決するための手段】上記した課題の解決を図
ろうとする本発明にかかわる請求項１の画像処理装置
は、次のように構成してある。すなわち、撮像した検査
対象の画像データについての画像処理に基づいて欠陥の
有無を判定し、欠陥と判定したときに当該の欠陥の画像
データとそれに関連する付属情報とを保存するように構
成してあることを特徴としている。この構成によると、
次のような作用がある。検査要員等が必要に応じて欠陥
のある検査対象の画像データを再生すると、その再生と
同時的にその画像データに関連する付属情報も再生さ
れ、欠陥のある検査対象の映像と付属情報とが同時に表
示されることになる。すなわち、その付属情報を検査要
員等に目視で確認させることにより、当該の欠陥のある
検査対象のどの検査項目についてどのような状況の欠陥
があるのかを直ちに理解させることが容易となる。

【００１４】本発明にかかわる請求項２の画像処理装置
は、上記請求項１において、次のような構成とされてい
る。すなわち、検査対象の撮像手段と、撮像で得られる
画像データの一時記憶手段と、前記画像データを画像処
理し判定基準に従って欠陥の有無を判定する手段と、欠
陥と判定したときに当該の欠陥の画像データとそれに関
連する付属情報とを関連付ける手段と、その関連付けら
れた複合データを保存する手段と、保存された複合デー
タを読み出して表示用の映像信号に変換する手段とを備
えた構成となっている。この構成によると、撮像手段で
撮像して得られた検査対象の画像データを一時記憶し、
その一時記憶した画像データの画像処理と判定基準との
比較とによって欠陥有りと判定したときには、欠陥の画
像データに対して付属情報を関連付けて複合データとし
て保存することになるので、上記と同様に、検査要員等
が必要に応じて欠陥のある検査対象の画像データを再生
したときに、欠陥のある検査対象の映像と付属情報とが
同時に表示されるため、当該の欠陥のある検査対象のど
の検査項目について欠陥があるのかを直ちに理解させる
ことが容易となる。

【００１５】本発明にかかわる請求項３の画像処理装置
は、上記請求項１，２において、前記検査対象が搬送さ
れるものであり、その搬送経路の所要の検査ポイントに
前記検査対象が到達したことを検出する到達検出手段を
備えており、この到達検出手段による検出信号をトリガ
として前記検査対象の撮像および欠陥判定を行うように
構成されたものである。この構成によると、検査対象が
搬送されるものであっても、その検査対象をタイミング
良く撮像して、上記の作用を得ることが可能となる。

【００１６】本発明にかかわる請求項４の画像処理装置
は、上記請求項１〜３において、前記検査対象における
検査項目が画像データ上の二次元的な画素数であること
を特徴としている。この構成によると、検査対象の再生
映像だけでは確認が非常にむずかしいとされている検査
項目の一つである面積の判定についても、それに関連す
る付属情報の参照により、容易に判定することを可能に
する。

【００１７】本発明にかかわる請求項５の画像処理装置
は、上記請求項１〜４において、前記付属情報が、検査
項目と、その検査項目についての演算結果の数値と、判
定基準と、判定結果と、検査時刻と、欠陥発生箇所のう
ち少なくともいずれか一つを含んでいることを特徴とす
る。必要に応じていずれか一つ以上の検査項目を設定す
ればよく、いずれの検査項目についても、上記の作用を
得ることが可能となる。

【００１８】

【発明の実施の形態】以下、本発明にかかわる画像処理
装置の実施の形態を図面に基づいて詳細に説明する。

【００１９】図１は実施の形態の画像処理装置の電気的
構成を示すブロック図である。図１において、符号の１
は当該の画像処理装置、２は撮影レンズや絞りなどを含
む光学系および固体撮像手段の代表例であるＣＣＤ（電
荷結合デバイス）などからなるＣＣＤカメラであり、こ
のＣＣＤカメラ２は、撮影レンズによってＣＣＤ上に光
学像を結像し、結像された光学像をＣＣＤで光電変換し
て電気信号として出力するものである。３はＣＣＤカメ
ラ２からのアナログの映像信号（ＣＣＤ出力信号）をデ
ィジタル化して画像データに変換するＡ／Ｄ変換器、４
はＣＣＤカメラ２、Ａ／Ｄ変換器３およびフレームメモ
リ５に対してタイミング信号を出力して画像データの取
得のタイミング制御を行うとともに、フレームメモリ５
およびＤ／Ａ変換器１１に対してタイミング信号を出力
して取得の映像信号の表示のタイミング制御を行うカメ
ラ・表示コントローラ、５は画像データ一時記憶手段の
一例としてのフレームメモリ、６はシステム全体の制御
を司る制御手段の一例としてのＣＰＵ（中央演算処理装
置）、７はＣＰＵ６による演算・制御等のためのプログ
ラムを格納しているＲＯＭ（リードオンリーメモリ）、
８はＣＰＵ６の演算・制御等を補助するとともにデータ
を格納するＲＡＭ（ランダムアクセスメモリ）、９は外
部との間でデータや制御信号の入出力を行う入出力イン
ターフェイス、１０はＣＰＵ６、ＲＯＭ７、ＲＡＭ８、
カメラ・表示コントローラ４、フレームメモリ６および
入出力インターフェイス９を接続するバス、１１はフレ
ームメモリ５からカメラ・表示コントローラ４を介して
の画像データをアナログの映像信号に変換するＤ／Ａ変
換器、１２は画像処理装置１に図示しないインターフェ
イスおよびケーブルを介して接続されているＣＲＴ（陰
極線管）や液晶ディスプレイ（ＬＣＤ）などのモニタで
ある。フレームメモリ５は、少なくとも１フレーム分以
上の画像データを蓄積できる画像メモリであって、ＶＲ
ＡＭ、ＳＲＡＭ、ＤＲＡＭなどが一般的に使用される
が、ここではバス１０とは独立動作可能なＶＲＡＭを使
用しているものとする。なお、カメラ・表示コントロー
ラ４とフレームメモリ５とはパラレルなバスラインを介
して接続されている。また、入出力インターフェイス９
には、ＲＡＭ８に必要な初期値、判定基準等のためのパ
ラメータ、しきい値、その他の条件、必要なデータなど
を設定入力したり、必要な指示を与えたりするためのワ
イヤードリモコンなどの入力操作部１３や画像処理装置
１の内部の状況や判断結果などをオペレータや検査要員
等に知らせるための警報器１４やインジケータをそれぞ
れ個別のケーブルを介して接続することが可能となって
いる。なお、ワイヤードリモコンに代えてワイヤレスリ
モコンを用いることも可能とし、この場合は、リモコン
受信機の出力端子を入出力インターフェイス９に接続す
るものとする。警報器１４としては、ＬＥＤ（発光ダイ
オード）、蛍光表示管その他任意の発光素子、灯器、あ
るいはブザーなどの鳴動器が適用可能とする。さらに、
入出力インターフェイス９には、必要な外部記憶装置１
５を接続することができるものとする。その外部記憶装
置１５としては、ハードディスクドライブなどの磁気記
録デバイス、ＭＯ（Magneto Optics）ディスクドライブ
やＤＶＤ（Digital Versatile Disk）‐ＲＡＭドライブ
などの光磁気記録デバイス、フラッシュメモリ、ＥＥＰ
ＲＯＭその他の不揮発性メモリなどの半導体記憶デバイ
スなどがあり、さらにはＶＴＲ（ビデオテープレコー
ダ）などでもよいものとする。

【００２０】図２は上記構成の画像処理装置１を適用す
る生産ライン検査システム２０の概要を示す。図２にお
いて、符号の２１は計測対象物３０を搬送するコンベヤ
などの搬送手段、２２は搬送手段２１の近傍で搬送され
ていく計測対象物３０の到達を検出するための到達検出
手段の一例としての光電センサであり、検査ポイントＤ
Ｐに配置されている。光電センサ２２はケーブル２３を
介して画像処理装置１の入出力インターフェイス９に接
続されている。なお、説明の便宜上、図２においては、
ＣＣＤカメラ２を画像処理装置１の外側に出して描いて
いるが、実際には、ＣＣＤカメラ２は画像処理装置１と
一体となっている。もっとも、ＣＣＤカメラ２を画像処
理装置１とは別体構成とし、両者をケーブルで接続した
態様としてもよい。Ｘは搬送手段２１による搬送方向を
示す。

【００２１】図２においては、計測対象物３０として、
内容物４０を収容した容器が示されている。計測対象物
である容器３０は、容器本体３１にキャップ３２を封着
したものである。内容物４０としては液体、粘体、粉
体、粒体など何であってもよいが、ここでは液体である
としておく。容器３０としてはガラスビン、ペットボト
ルなどのプラスチック容器、紙パック容器、アルミ缶な
ど何であってもよいが、ここでは、透明な容器であると
しておく。液体である内容物４０は、透明、半透明、不
透明のいずれでもよい。ただし、内容物４０が透明であ
るときは、ＣＣＤカメラ２による撮像で得られる画像デ
ータについて、内容物４０と容器３０とを識別できる状
況での透明であるとする。例えば、容器３０が無色透明
のときには内容物４０は有色（着色）の透明であるとす
る。あるいは、容器３０が有色透明であっても、内容物
４０が色違いの有色透明であるとする。さらには、容器
３０と内容物４０がともに無色透明であっても、あるい
は、ともに同じ色の有色透明であっても、容器３０と内
容物４０の光学的性質の相違、例えば屈折率の相違か
ら、容器３０と内容物４０とを光学的に識別できるので
あれば、それでもかまわない。さらには、後に説明する
が、計測対象物３０としては、何も容器に限る必要はな
く、画像処理による検査が可能なものであれば、どのよ
うなものを検査対象としてもよいことを付記しておく。
ここでの内容物４０を収納した容器３０は一例にすぎな
い。

【００２２】次に、上記のように構成された実施の形態
の場合の生産ライン検査システム２０に適用された画像
処理装置１の動作を説明する。

【００２３】駆動されている搬送手段２１によって複数
の計測対象物３０が所定の間隔を隔てて連続的に搬送さ
れていく。検査ポイントＤＰに達した計測対象物３０が
あると、その検査ポイントＤＰに設置されている到達検
出手段２２が動作する。到達検出手段２２が光電センサ
の場合は、次のような動作となる。光電センサ２２は、
レーザーダイオードなどの発光素子とフォトダイオード
などの受光素子からなり、発光素子から出射したレーザ
ービームなどが計測対象物３０に当たって反射し、その
反射光を受光素子で捕捉し、電気信号に変換し増幅する
ことにより到達検出を行う。

【００２４】計測対象物３０が検査ポイントＤＰに到達
したことを到達検出手段２２が検出すると、到達検出手
段２２はその検出信号をトリガ信号として画像処理装置
１に送出する。画像処理装置１においては、その入出力
インターフェイス９を介して入力されてきたトリガ信号
がバス１０を介してＣＰＵ６に与えられる。ＣＰＵ６は
トリガ信号を入力すると、カメラ・表示コントローラ４
に起動信号を出力する。カメラ・表示コントローラ４は
起動信号を入力すると、ＣＣＤカメラ２、Ａ／Ｄ変換器
３、フレームメモリ５およびＤ／Ａ変換器１１に対して
タイミング信号を出力する。

【００２５】ＣＣＤカメラ２におけるＣＣＤはタイミン
グ信号を入力すると、その電子シャッタを開き作動さ
せ、被写体である計測対象物３０を撮像する。すなわ
ち、計測対象物３０の光学像が撮像レンズを介してＣＣ
Ｄの表面に結像し、ＣＣＤはその光学像を信号電荷とし
て蓄積しているが、タイミング信号を入力すると、感光
部のフォトダイオードから垂直転送ＣＣＤへの転送およ
び垂直転送ＣＣＤから水平転送ＣＣＤへの転送を行い、
出力アンプを介して映像信号として出力する。Ａ／Ｄ変
換器３はタイミング信号の入力によって起動し、ＣＣＤ
カメラ２から入力したアナログの映像信号（ＣＣＤ出力
信号）をディジタルの画像データに変換する。このＡ／
Ｄ変換器３のビット数を例えば８ビットとすると、画像
データは２５６階調となる。フレームメモリ５はタイミ
ング信号を入力し、Ａ／Ｄ変換器３と同期をとった状態
でＡ／Ｄ変換器３からの１フレーム分の画像データを格
納する。なお、８ビットについては、一例にすぎなく
て、仕様に応じて適宜に変更してよいことはいうまでも
ない。

【００２６】カメラ・表示コントローラ４は、フレーム
メモリ５への画像データの書き込みと並行して、その書
き込んだ画像データをフレームメモリ５から読み出し、
Ｄ／Ａ変換器１１に転送する。Ｄ／Ａ変換器１１は、転
送されてきた画像データをアナログの映像信号に変換
し、モニタ１２に出力する。なお、モニタ１２に至る映
像信号は、図示しない所要のビデオエンコーダなどによ
りＮＴＳＣ方式などモニタ１２に適合した所要のフォー
マットに変換されているものとする。このようにして、
計測対象物３０の到達を検出した時点から、その計測対
象物３０を被写体像とする映像をモニタ１２にリアルタ
イムに映出する。

【００２７】カメラ・表示コントローラ４は１フレーム
分の画像データのフレームメモリ５に対する書き込みが
完了すると、その書き込み完了信号をＣＰＵ６に出力す
る。その書き込み完了信号を入力したＣＰＵ６は、ＲＯ
Ｍ７から読み出したプログラムおよびＲＡＭ８から読み
出した画像処理演算用条件に従って、フレームメモリ５
をアクセスし、フレームメモリ５に格納されている１フ
レーム分の画像データを読み出す。そして、１画素単位
または複数画素の集合であるブロック単位で所要の画像
処理のための演算を実行し、判定のための演算結果をＲ
ＡＭ８にストアする。次に、その演算結果とＲＡＭ８か
ら読み出した判定基準との比較を行い、演算結果が正常
であるか否かを判定する。

【００２８】ＲＡＭ８には、あらかじめ入力操作部１３
から入出力インターフェイス９およびバス１０を介して
画像処理演算用条件や判定基準が設定登録されている。
画像処理演算用条件としては、内容物４０である液体を
識別するための濃度値についてのしきい値や液量面積の
良否を判定するためのしきい値（上限値と下限値）など
の判定基準がある。

【００２９】容器３０の内容物４０の液量の良否判定の
場合は、具体的に次のようになる。フレームメモリ５に
は、図３で模式的に示すように、内容物４０を収納した
容器３０の１フレーム分の画像データが格納されてい
る。ＣＰＵ６はフレームメモリ５を１画素単位またはブ
ロック単位でスキャンし、８ビットの濃度値をＲＡＭ８
から読み出した所定のしきい値と比較し、濃度値の方が
しきい値を上回っているときは、ＲＡＭ８内に設定して
ある液量面積バッファの内容をインクリメントする。例
えば、ある画素について８ビットの濃度値が「２４５」
であって、しきい値が「２３０」であれば、濃度値がし
きい値を上回るので、液量面積バッファを＋１インクリ
メントする。一方、濃度値が「１９８」でしきい値を下
回っているときは液量面積バッファのインクリメントは
行わない。濃度値がしきい値を上回るということは、そ
の画素が内容物４０の範囲内に対応していることを意味
し、濃度値がしきい値以下であるということは、その画
素が内容物４０の範囲外に対応していることを意味して
いる。フレームメモリ５のあらかじめ指定された画像処
理対象エリアをスキャンおよび濃度値判定によって、液
量面積バッファには、内容物４０の液量面積に対応した
値が格納されていることになる。すなわち、液量面積バ
ッファは液量面積データを取得したことになる。

【００３０】液量面積バッファに格納された液量面積デ
ータは、図３の場合は「６１４４０画素」となり、図４
の場合は「４９１５２画素」となる。図３の場合に比べ
て図４の場合は液量（網点を施した部分の面積）が少な
くなっている。液量面積バッファにおける液量面積デー
タが最終的に確定すると、ＣＰＵ６は次に、その液量面
積バッファの内容である液量面積データをＲＡＭ８から
読み出した判定基準と比較する。液量面積データが判定
基準を満たしていれば、その内容物４０が収容された容
器３０は正常（ＯＫ）であると判定され、そうでなけれ
ば異常（ＮＧ：No Good）と判定される。ＣＰＵ６はそ
の判定結果をＲＡＭ８に格納する。

【００３１】具体的には、図３、図４の場合の判定基準
は、液量面積データのしきい値として、下限値が「５５
２９６画素」、上限値が「６７５８４画素」に設定され
て、あらかじめＲＡＭ８に格納されている。図３の場合
の液量面積バッファの内容は前述のように「６１４４０
画素」であり、上記の下限値と上限値との間に収まって
いるので、正常（ＯＫ）と判定される。９９はＯＫ画像
データを示す。図４の場合の液量面積バッファの内容は
前述のように「４９１５２画素」であり、下限値を下回
っているので、異常（ＮＧ）と判定される。１００はＮ
Ｇ画像データを示す。

【００３２】なお、上記の例示した数値関係について、
参考となる事項をあげておく。

【００３３】（６７５８４−５５２９６）／２＝６１４４６１４４０／１０＝６１４４すなわち、正規の液量面積は「６１４４０画素」であ
り、上限値はその１０％増しに設定し、下限値はその１
０％減に設定してある例を示したわけである。つまり、
許容誤差として±１０％を設定してある。もっとも、こ
のような数値は単なる例示にすぎず、仕様に応じて適宜
に変更してよいことはいうまでもない。

【００３４】ＣＰＵ６の動作の続きを説明する前に、こ
こでついでに、液量面積を人為的に判断することのむず
かしさについて例示しておく。上記の図３と図４との比
較の場合は次のようにいうことができる。ＣＣＤカメラ
２におけるＣＣＤの有効画素数を例えば「５１２×４８
０」とし、モニタ１２も同じとする。容器３０が水平方
向で占める幅を「２５６画素」相当とする。すなわち、
モニタ１２の画面の横幅の２分の１を占めているとす
る。図３の場合の内容物４０の液量面積データは「６１
４４０画素」であるから、その高さは「２４０画素」相
当となる。図４の内容物４０の液量面積データは「４９
１５２画素」であるから、その高さは「１９２画素」相
当となる。両者の高さの差は「４８画素」相当となり、
これは画面の全高さの１０分の１である。この程度であ
れば、経験を積んだ検査要員であれば、視認によって正
常（ＯＫ）と異常（ＮＧ）の判別はつくかもしれない。
しかしながら、下限値よりわずかに大きくて正常（Ｏ
Ｋ）とされる例えば「５５５５２画素」の場合の高さは
「２１７画素」相当であり、下限値よりわずかに小さく
で異常（ＮＧ）とされる例えば「５５０４０画素」の場
合の高さは「２１５画素」相当であり、両者の高さの差
はわずかに「２画素」相当であるにすぎない。この差は
小さすぎて、経験を積んだ検査要員であっても視覚的に
識別することはまず不可能である。この高さの差がどの
程度であれば識別可能かは検査要員ごとに異なっている
のが普通であり、ばらつきは避けられない。しかも、正
常（ＯＫ）か異常（ＮＧ）かは高さの差で決まるのでは
なく、その液面の絶対的な高さ位置のいかんによって決
まるのであるから、正常・異常の視覚的判別は困難なも
のとなるのである。さらに厳密にいうと、液面の高さよ
りはむしろ液量面積そのもの絶対的な量のいかんによっ
て決まるのであるから、さらに困難なものなのである。

【００３５】さて、ＣＰＵ６は液量面積についての判定
結果を出して、それが異常（ＮＧ）であったときは、そ
の異常と判定した画像すなわちＮＧ画像データを保存す
るとともに、そのＮＧ画像データについての付属情報を
生成し、この付属情報も併せて保存する。なお、これと
同時に、ＣＰＵ６は警告信号を出力する。その警告信号
はバス１０および入出力インターフェイス９を介して外
部に接続の警報器１４に送出され、その警報器１４を動
作させることにより、オペレータに対してリアルタイム
に異常（ＮＧ）が発生したことを知らせる。

【００３６】付属情報２００としては、検査項目２０１
と、その検査項目２０１についての演算結果の数値２０
２と、判定基準２０３（下限値または／および上限値）
と、判定結果２０４と、検査時刻２０５と、欠陥発生箇
所２０６などをあげることができる。異常（ＮＧ）と判
定された図４の場合であると、その付属情報２００は、
検査項目２０１として「液量面積」があり、その検査項
目についての演算結果の数値２０２として「４９１５２
画素」があり、判定基準２０３として「液量面積判定基
準：５５２９６〜６７５８４画素」があり、判定結果２
０４として「判定：ＮＧ」があり、検査時刻２０５とし
て「９９／０３／１８１５：２４：３０」があり、こ
れらが付属情報２００となっている。このうち検査時刻
以外の３つについては、すでにＲＡＭ８にストアされて
いるが、それはＲＡＭ８のワーキングエリアにおいてで
あり、ワーキングエリアから読み出してＲＡＭ８の保存
エリアに転送することとなる。また、検査時刻について
は、ＣＰＵ６が内蔵している図示しないリアルタイムク
ロック（ＲＴＣ）から時刻データを転送してＲＡＭ８の
保存エリアに格納する。

【００３７】上記のような付属情報２００と、欠陥のあ
る検査対象の画像データ１００とが関連付けられてＲＡ
Ｍ８の保存エリアに格納されるのである。

【００３８】なお、ここでは、ＲＡＭ８は充分に大きな
記憶容量をもっているものとし、かつ、電源をオフして
も記憶内容が消えないように、ＲＡＭ８に対してバック
アップを行っているものとする。そのバックアップは、
例えばリチウム電池でもよいし、大容量のキャパシタで
もよい。なお、ＲＡＭ８に代えて、図１でバス１０に接
続した二点鎖線で示すＥＥＰＲＯＭ１６に複合データ９
０を保存するようにしてもよい。むしろ、その方が良
い。以下では、「ＲＡＭ８やＥＥＰＲＯＭ１６などの記
憶手段」と記述することとする。

【００３９】付属情報２００はＮＧ画像データ１００と
ともに複合データ３００としてＲＡＭ８やＥＥＰＲＯＭ
１６などの記憶手段の保存エリアに格納するのである
が、これは次のようにして処理する。ＣＰＵ６は、異常
（ＮＧ）と判定したときに、カメラ・表示コントローラ
４を介することなくバス１０を介して直接にフレームメ
モリ５をアクセスし、フレームメモリ５から該当のＮＧ
の画像データ１００を読み出してバス１０を介してＲＡ
Ｍ８やＥＥＰＲＯＭ１６などの記憶手段の保存エリアに
ビットマップデータとして転送するが、その転送の際
に、ビットマップデータ上の所定の位置に各付属情報２
００を合成（上書きまたは重ね書き）したうえで転送す
る。付属情報２００はＲＡＭ８のワーキングエリアにあ
る状態およびリアルタイムクロックの状態ではコードと
なっているが、このコードに基づいてＣＰＵ６は図示し
ないキャラクタジェネレータ（ＣＧ‐ＲＯＭ）を動作さ
せ、そのコードに対応したビットパターン（フォント）
を生成させ、それを読み込んだうえで該当のＮＧの画像
データ１００のビットマップデータ上の所定の位置に画
像合成し、複合データ３００とするのである。

【００４０】当該の画像処理装置１を生産ライン検査シ
ステム２０の複数箇所に設置する場合には、その場所ご
とに各画像処理装置１に識別符号（ＩＤ）を付加してお
くことが好ましい。例えば、第１号機、第２号機といっ
た具合にである。あるいは、各種の処理工程別に、Ａ工
程、Ｂ工程といった識別符号を付加してもよい。さらに
は、Ａ１，Ａ２，Ｂ１，Ｂ２といった付け方もある。こ
のような装置識別符号は、当該の画像処理装置１を生産
ライン検査システム２０に設置した初期に、入力操作部
１３を操作して設定入力し、入出力インターフェイス９
を介してＲＡＭ８に格納しておけばよい。そして、異常
（ＮＧ）と判定したときに、ＲＡＭ８からその識別符号
を読み出して、欠陥発生箇所２０６を表す付属情報とし
て、上記の各項目と併せて生成すればよい。

【００４１】以上のＣＰＵ６による動作の概要を図５の
フローチャートに示しておく。なお、警告信号の出力は
ステップＳ８の直後であってもよい。

【００４２】上記の異常（ＮＧ）と判定した図４の場
合、付属情報２００として、検査項目２０１である「液
量面積」、演算結果の数値２０２としての「４９１５２
画素」、判定基準２０３としての「液量面積判定基準：
５５２９６〜６７５８４画素」、判定結果２０４として
の「判定：ＮＧ」、検査時刻２０５としての「検査時
刻：９９／０３／１８１５：２４：３０」、またこれ
に加えて欠陥発生箇所２０６としての「発生箇所：Ａ
２」などがあるが、オペレータまたは別の検査要員やメ
ンテナンス要員があとで点検を行うときに、入力操作部
１３からの所要の操作を行って、異常（ＮＧ）とされた
ものの画像データ１００とそれに関連する付属情報２０
０をモニタ１２に表示させる。入力操作部１３からのそ
のような指示が入出力インターフェイス９およびバス１
０を介してＣＰＵ６に与えられると、ＣＰＵ６はＲＡＭ
８やＥＥＰＲＯＭ１６などの記憶手段の保存エリアにお
ける該当アドレスから異常（ＮＧ）とされた画像データ
１００および付属情報２００が合成されたビットマップ
データである複合データ３００を読み出し、カメラ・表
示コントローラ４およびＤ／Ａ変換器１１を介してその
ビットマップデータをモニタ１２に表示する。モニタ１
２には、図４に示すとおりの、異常（ＮＧ）の容器３０
および内容物４０の映像とともに、「液量面積：４９１
５２画素」、「液量面積判定基準：５５２９６〜６７５
８４画素」、「判定：ＮＧ」、「検査時刻：９９／０３
／１８１５：２４：３０」、またこれに加えて例えば
「発生箇所：Ａ２」などの付属情報が表示されることに
なる。検査要員等は、その付属情報の表示を見ることに
より、直ちに、どのような画像でどのような異常があっ
たかを知ることができる。すなわち、異常項目として
「液量」が異常であったことを知ることを直ちに知るこ
とができ、それとともに、その液量異常が不足であるこ
とも、また不足の程度をも直ちに知ることができるので
ある。そして、その異常が何時発生したのかも、生産ラ
イン上のどの箇所で発生したのかも直ちに知ることがで
きるのである。このような認識は、ほとんど個人差がな
く、だれがしてもほぼ同じ結果を得ることができる。し
たがって、保守・点検・修理などの対策を素早くかつ的
確に行う上できわめて有利な状況が得られるのである。

【００４３】なお、異常（ＮＧ）とされた画像データ１
００とそれに関連する付属情報２００との複合データ３
００をＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保
存するに際して、必ずしも合成したビットマップデータ
として保存することは必須の要件ではない。ＮＧ画像デ
ータ１００と付属情報２００とをＲＡＭ８やＥＥＰＲＯ
Ｍ１６などの記憶手段の保存エリアの別の領域に分けて
保存し、両者を関係付けるデータ、すなわち当該のＮＧ
画像データ１００を格納するアドレスと当該の付属情報
２００を格納するアドレスとを関係付けたデータをさら
に保存すればよいのである。この場合、付属情報はビッ
トマップデータでなくてもよく、テキストデータであっ
てもよい。テキストデータとするときは、ＲＡＭ８やＥ
ＥＰＲＯＭ１６などの記憶手段から読み出して画像デー
タとともに表示するに際して、そのテキストデータに基
づいてキャラクタジェネレータを動作させ、その付属情
報に相当する映像信号を生成した上で、異常（ＮＧ）と
された内容物４０および容器３０の画像データにオンス
クリーンディスプレイの手法でスーパーインポーズ（重
畳）させればよい。

【００４４】なお、ＲＡＭ８やＥＥＰＲＯＭ１６などの
記憶手段として大容量のものを採用し、多数のＮＧ画像
データおよびそれに関連する付属情報をまとめて、すな
わちデータベース化して保存しておくようにすれば、異
常の発生原因や発生箇所などについての解析を統計的に
行う上で有利となる。検査要員や解析要員は、欠陥の発
生がいつから始まっていつまで続いたか、欠陥が量的に
どのように変化していったかを解析する。

【００４５】以上、一つの実施の形態について説明して
きたが、本発明は次のように構成したものも含み得るも
のとする。

【００４６】（１）重要と考えられる変形の実施の形態
として、異常（ＮＧ）とされた画像データとそれに関連
する付属情報との複合データを保存するデバイスとし
て、画像処理装置１に内蔵し、バス１０に接続した図１
で二点鎖線で示すＥＥＰＲＯＭ１６とするのが好まし
い。ＥＥＰＲＯＭ１６は不揮発性メモリであり、長期間
の記憶が可能である。また、電気的にデータ消去するこ
とも可能であり、非常に好都合である。

【００４７】（２）上記の（１）の変形として、ＥＥＰ
ＲＯＭを入出力インターフェイス９を介して外部に接続
するのでもよい。

【００４８】（３）複合データ３００を保存する箇所と
して、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段以外
のものとして、外部記憶装置１５を利用するように構成
してもよい。その外部記憶装置１５としては、例えば、
ハードディスクドライブなどの磁気記録デバイス、ＭＯ
（Magneto Optics）ディスクドライブやＤＶＤ‐ＲＡＭ
ドライブなどの光磁気記録デバイス、フラッシュメモ
リ、ＥＥＰＲＯＭその他の不揮発性メモリなどの半導体
記憶デバイスなどがあり、さらにはＶＴＲ（ビデオテー
プレコーダ）などでもよいものとする。

【００４９】（４）フレームメモリ５に代えてフィール
ドメモリでもよいし、その他のメモリでもよい。

【００５０】（５）フレームメモリ５をシステムメモリ
としてのＲＡＭ８と共用することも可能である。

【００５１】（６）計測対象物３０が所定の検査ポイン
トＤＰに到達したことを検出する到達検出手段について
は、上記の実施の形態の光電センサ２２に代えて、超音
波センサ、圧電センサ、リミットスイッチなど何であっ
てもよい。あるいは、ＣＣＤカメラ２で撮像して得られ
た画像データの画像処理に基づいて、すなわち画像デー
タに対して到達検出用のサーチウインドウを設定して、
ソフトウェア的に到達検出を判定するように構成しても
よい。

【００５２】（７）計測対象物３０としては何も容器に
限る必要はなく、また、検査対象としては何も内容物４
０の量に限る必要はなく、画像処理による検査が可能な
ものであれば、どのようなものを検査対象としてもよ
い。半製品または製品に貼り付けられ、あるいは印刷さ
れているラベルの面積の判定でもよいし、半製品または
製品そのもののサイズの判定など何であってもよい。

【００５３】（８）カメラ・表示コントローラ４は、フ
レームメモリ５への画像データの書き込みと並行して、
その書き込んだ画像データをフレームメモリ５から読み
出し、Ｄ／Ａ変換器１１に転送し、モニタ１２に映像を
リアルタイムで表示したが、このようなリアルタイムの
表示はしなくてもよい。つまり、モニタ１２を液量異常
のときだけリアルタイムに表示動作させるようにしても
よいし、あるいはそれもなくして、液量異常の原因究明
のときにだけ用いるようにすることも可能である。

【００５４】（９）液量異常などの欠陥有りのときの画
像データ等の保存に際しては、画像データを圧縮してか
ら保存するように構成してもよい。この場合、表示に際
しては画像伸張して表示するものとする。

【００５５】（１０）モデムカードやＩＳＤＮカードを
利用して公衆回線あるいは専用回線を介して画像データ
等を遠隔の端末に送出するように構成してもよい。

【００５６】（１１）上記の実施の形態においては、付
属情報２００として、検査項目２０１、検査項目２０１
についての演算結果の数値２０２、判定基準２０３（下
限値または／および上限値）、判定結果２０４、検査時
刻２０５、欠陥発生箇所２０６などをあげたが、必要に
応じてこれらのうちのいずれかを選択できるようにして
もよいし、いずれか複数を組み合わせるようにしてもよ
い。

【００５７】（１２）上記の実施の形態では、欠陥のあ
る検査対象の画像データ１００について付属情報２００
を関連付けて複合データ３００となし、これを保存する
ようにしたが、これとともに、正常とされる例えば図３
の場合のようなＯＫ画像データ９９についても同様に、
付属情報２００を関連付けて複合データ３００となして
保存するように構成してもよい。

【００５８】（１３）その他本発明の要旨と直接に関係
しない任意の事項については、公知の任意のものが適用
可能であり、また、公知以外のものであっても、本発明
の要旨を逸脱しない範囲において適用可能であることは
いうまでもない。

【００５９】上記の（１）〜（１３）は互いに独立した
事項であり、これらのうち任意の事項を任意数適当に組
み合わせてもよきものとする。

【００６０】

【発明の効果】画像処理装置についての請求項１の発明
によれば、欠陥のある検査対象の画像データとともにそ
の欠陥に関連する付属情報を同時的に再生表示すること
が可能となり、検査要員等により表示の付属情報を目視
で確認させることにより、どの検査項目についてどのよ
うな状況の欠陥があるのかを直ちに理解させることが容
易となる。また、請求項２の発明によっても、上記請求
項１と同様の効果が得られる。

【００６１】請求項３の発明によれば、生産ライン等で
搬送される検査対象について、検査対象をタイミング良
く撮像し、効率良く検査することができ、また、上記請
求項１と同様の効果が得られる。

【００６２】請求項４の発明によれば、検査項目を二次
元的な画素数つまりは面積としてあって、そのような検
査項目についての映像のみからの欠陥原因の判断はきわ
めてむずかしいのに対して、同時表示の付属情報によっ
て、検査要員等をして、どの検査項目についてどのよう
な状況の欠陥があるのかを直ちに理解させることが容易
となる。

【００６３】請求項５の発明によれば、設定する検査項
目それぞれについて、上記請求項１と同様の効果が得ら
れ、汎用性を確保することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態の画像処理装置の電気的
構成を示すブロック図

【図２】実施の形態の画像処理装置を適用する生産ラ
イン検査システムの概要の説明図

【図３】実施の形態の生産ライン検査システムでの画
像処理装置の動作を説明するもので、検査対象としての
容器の内容物の量の良否判定において欠陥無し判定され
たときの画像データとその付属情報の組み合わせのフォ
ーマット

【図４】実施の形態の生産ライン検査システムでの画
像処理装置の動作を説明するもので、検査対象としての
容器の内容物の量の良否判定において欠陥有り判定され
たときの画像データとその付属情報の組み合わせのフォ
ーマット

【図５】実施の形態の画像処理装置の動作を示す概略
のフローチャート

【符号の説明】

１…画像処理装置、２…ＣＣＤカメラ、３…Ａ／Ｄ変換
器、４…カメラ・表示コントローラ、５…フレームメモ
リ、６…ＣＰＵ、７…ＲＯＭ、８…ＲＡＭ、９…入出力
インターフェイス、１０…バス、１１…Ｄ／Ａ変換器、
１２…モニタ、１３…入力操作部、１４…警報器、１５
…外部記憶装置、１６…ＥＥＰＲＯＭ、２０…生産ライ
ン検査システム、２１…搬送手段、２２…到達検出手段
（光電センサ）、２３…ケーブル、３０…計測対象物
（容器）、３１…容器本体、３２…キャップ、４０…内
容物、１００…欠陥のある検査対象の画像データ（ＮＧ
画像データ）、２００…付属情報、２０１…検査項目、
２０２…演算結果の数値、２０３…判定基準、２０４…
判定結果、２０５…検査時刻、２０６…欠陥発生箇所、
３００…複合データ、Ｘ…搬送方向

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2G051 AA90 AB02 AB20 CA03 CA04 DA01 DA06 EA12 EA14 EB01 EB02 ED07 FA10 5B057 AA04 BA11 CA08 CA12 CA16 CB08 CB12 CB16 CB19 CH11 DA03 DA04 DA06 DA16 DA17 DB02 DB09

Claims

【特許請求の範囲】

【請求項１】撮像した検査対象の画像データについて
の画像処理に基づいて欠陥の有無を判定し、欠陥と判定
したときに当該の欠陥の画像データとそれに関連する付
属情報とを保存するように構成してあることを特徴とす
る画像処理装置。
【請求項２】検査対象の撮像手段と、撮像で得られる
画像データの一時記憶手段と、前記画像データを画像処
理し判定基準に従って欠陥の有無を判定する手段と、欠
陥と判定したときに当該の欠陥の画像データとそれに関
連する付属情報とを関連付ける手段と、その関連付けら
れた複合データを保存する手段と、保存された複合デー
タを読み出して表示用の映像信号に変換する手段とを備
えていることを特徴とする画像処理装置。
【請求項３】前記検査対象が搬送されるものであり、
その搬送経路の所要の検査ポイントに前記検査対象が到
達したことを検出する到達検出手段を備えており、この
到達検出手段による検出信号をトリガとして前記検査対
象の撮像および欠陥判定を行うように構成してあること
を特徴とする請求項１または請求項２に記載の画像処理
装置。
【請求項４】前記検査対象における検査項目が画像デ
ータ上の二次元的な画素数であることを特徴とする請求
項１から請求項３までのいずれかに記載の画像処理装
置。
【請求項５】前記付属情報が、検査項目と、その検査
項目についての演算結果の数値と、判定基準と、判定結
果と、検査時刻と、欠陥発生箇所のうち少なくともいず
れか一つを含んでいることを特徴とする請求項１から請
求項４までのいずれかに記載の画像処理装置。