JP2023107167A - 検査システム、検査方法、及び検査プログラム - Google Patents

Abstract

【課題】簡素な装置構成で、発光素子の良否又は発光特性を精度良く検査することができる検査システム等を提供する。【解決手段】検査システムは、点灯中の発光素子を撮像可能に設置され、該発光素子を撮像して画像信号を出力するカメラと、カメラから出力された画像信号に基づいて、発光素子が写った画像を表す画像データを生成する画像生成部と、該画像における発光素子の像を検査対象領域として抽出し、さらに、検査対象領域の内側から、サチレーションが生じている領域を対象外領域として抽出する領域抽出部と、検査対象領域から対象外領域を除いた領域である実効検査対象領域の画素の値に基づいて、発光素子の輝度又は色味を算出する測定部と、を備える。【選択図】図１

Description

本発明は、発光素子を検査する検査システム、検査方法、及び検査プログラムに関する。

近年、ＬＥＤ（Light Emitting Diode）等の発光素子は、照明装置、ディスプレイ、電光掲示板、交通信号機、パチンコ台、ゲーム台など、様々な機器において使用されている。このような機器を出荷したり、使用したりする際には、回路基板に実装された発光素子の良否や発光特性の検査が行われる。検査は、専用の検査装置を用いて行われるが、簡易的には目視により行われることもある。

例えば特許文献１には、発光素子をカメラに撮像させることにより得られた画像データに基づいて発光素子の点灯状態を検査する検査装置が開示されている。

特開２０２０－１３９７６５号公報

発光素子を目視で検査する場合、作業者の負担が大きい。また、目視で色味の違いを判別することは非常に困難である。

他方、発光素子を写した画像に基づいて検査する場合、次のような問題が生じる。即ち、発光しているＬＥＤの輝度は光軸方向において最も高い。そのため、ＬＥＤに正対する方向からカメラで撮像すると、ＬＥＤの像の中心部が白飛びする、所謂サチレーションを起こしてしまう。サチレーションの領域は、もはやＬＥＤの輝度や色味を表しているとはいえない。そのため、このような画像に基づいてＬＥＤの輝度や色味を精度よく判定することは困難である。

このような問題に対し、特許文献１においては、カメラの撮影角度を変更させて検査対象の発光素子をカメラに撮像させる制御をし、カメラによって撮像された画像データを取得し、画像データから色成分ごとの輝度値を撮影角度ごとに抽出するという処理を行っている。

しかしながら、カメラの撮影角度を変更させる場合、カメラの角度を調整するための機構や、この機構を制御するための制御部が必要になる。そのため、装置構成が複雑になり、コストが向上してしまうことが考えられる。また、１つの検査対象について複数回の撮像が必要になるため、検査に時間を要する、撮影角度が異なる複数の画像データに対する処理が必要になるため、演算処理も煩雑になるといったおそれもある。

本発明は上記に鑑みてなされたものであって、簡素な装置構成で、発光素子の良否又は発光特性を精度良く検査することができる検査システム、検査方法、及び検査プログラムを提供することを目的とする。

上記課題を解決するために、本発明の一態様である検査システムは、点灯中の発光素子を撮像可能に設置され、該発光素子を撮像して画像信号を出力するカメラと、前記カメラから出力された画像信号に基づいて、前記発光素子が写った画像を表す画像データを生成する画像生成部と、前記画像における前記発光素子の像を検査対象領域として抽出し、さらに、検査対象領域の内側から、サチレーションが生じている領域を対象外領域として抽出する領域抽出部と、前記検査対象領域から前記対象外領域を除いた領域である実効検査対象領域の画素の値に基づいて、前記発光素子の輝度又は色味を算出する測定部と、を備えるものである。

上記検査システムにおいて、前記画像生成部により生成された前記画像は、ＲＧＢ色空間における値により表され、前記領域抽出部は、前記画像を構成する画素の値を、ＨＬＳ色空間における値に変換し、ＨＬＳ色空間における少なくともＬ値に基づいて前記対象外領域を抽出しても良い。

上記検査システムにおいて、前記測定部は、前記実効検査対象領域の画素のＲＧＢ色空間におけるＲ値、Ｇ値、若しくはＢ値、又は、ＨＬＳ色空間におけるＨ値、Ｌ値、若しくはＳの平均値を算出しても良い。

上記検査システムは、前記平均値を予め設定された閾値と比較することにより、前記発光素子の良否又は発光特性を判定する判定部をさらに備えても良い。

上記検査システムにおいて、前記カメラは、複数の発光素子を撮像し、前記領域抽出部は、さらに、前記複数の発光素子の各々について抽出された検査対象領域の輪郭を抽出し、前記画像に対して予め設定された検査領域内における前記輪郭の数をカウントし、カウントされた数が予め設定された値と一致するか否かを判定する判定部をさらに備えても良い。

上記検査システムにおいて、前記領域抽出部は、さらに、前記検査対象領域の輪郭を抽出し、前記輪郭が前記画像に対して予め設定された領域の内側に位置しているか否かを判定する判定部をさらに備えても良い。

上記検査システムは、前記検査対象領域の面積を測定し、測定された面積が予め設定された数値の範囲内であるか否かを判定する判定部をさらに備えても良い。

上記検査システムにおいて、前記画像生成部は、テスト用の発光素子を前記カメラで撮像することにより生成された画像信号に基づいてテスト用の画像を生成しても良く、前記テスト用の画像を含む設定画面を表示する表示部と、当該検査システムに対する操作を受け付ける入力部と、前記設定画面における表示を制御する表示制御部と、をさらに備えても良く、前記表示制御部は、画素の値の範囲を調整するための少なくとも１つのスライダであって、前記入力部により操作可能なスライダを前記設定画面に表示し、前記テスト用の画像のうち、前記少なくとも１つのスライダにより調整された範囲内の値を有する画素の領域に対し、所定の色を重ね合わせて表示させても良い。

上記検査システムは、前記少なくとも１つのスライダにより調整された範囲を、前記領域抽出部による前記検査対象領域又は前記対象外領域の抽出に用いられる抽出条件として設定する条件設定部をさらに備えても良い。

上記検査システムは、前記少なくとも１つのスライダにより調整された範囲を、前記測定部により算出された前記発光素子の輝度又は色味に基づく前記発光素子の良否又は発光特性の判定に使用される判定基準として設定する条件設定部をさらに備えても良い。

上記検査システムは、前記カメラの光軸と直交する面内において、前記機器を所定の方向に所定の速度で移動させる駆動機構と、前記駆動機構による前記機器の移動と同期して、前記カメラに前記機器を所定の周期で撮像させる制御部と、をさらに備えても良い。

本発明の別の態様である検査方法は、点灯中の発光素子を撮像可能に設置されたカメラにより、該発光素子を撮像し、前記カメラから出力された画像信号に基づいて、前記発光素子が写った画像を表す画像データを生成し、前記画像における前記発光素子の像を検査対象領域として抽出し、さらに、検査対象領域の内側から、サチレーションが生じている領域を対象外領域として抽出し、前記検査対象領域から前記対象外領域を除いた領域である実効検査対象領域の画素の値に基づいて、前記発光素子の輝度又は色味を算出するものである。

本発明のさらに別の態様である検査プログラムは、点灯中の発光素子を撮像可能に設置されたカメラにより、該発光素子を撮像し、前記カメラから出力された画像信号に基づいて、前記発光素子が写った画像を表す画像データを生成し、前記画像における前記発光素子の像を検査対象領域として抽出し、さらに、検査対象領域の内側から、サチレーションが生じている領域を対象外領域として抽出し、前記検査対象領域から前記対象外領域を除いた領域である実効検査対象領域の画素の値に基づいて、前記発光素子の輝度又は色味を算出する、ことをコンピュータに実行させるものである。

本発明によれば、発光素子の像の領域である検査対象領域からサチレーションが生じている領域を除いた領域を実効検査対象領域とし、この実効検査対象領域の画素の値に基づいて発光素子の輝度又は色味を算出するので、簡素な装置構成で、発光素子の良否又は発光特性を精度良く検査することが可能となる。

本発明の実施形態に係る検査システムの概略構成を示す模式図である。 本発明の実施形態に係る検査システムの概略構成を示すブロック図である。 本発明の実施形態に係る検査方法を示すフローチャートである。 本発明の実施形態に係る検査方法における設定処理を示すフローチャートである。 設定画面を例示する模式図である。 設定画面の一部を拡大して示す模式図（検査対象領域タブを開いた状態）である。 設定画面の一部を拡大して示す模式図（対象外領域タブが開かれた状態）である。 設定画面の一部を拡大して示す模式図（輝度設定タブが開かれた状態）である。 発光素子の位置判定に用いられる領域の設定操作を説明するための模式図である。 発光素子の位置判定結果の表示例を示す模式図である。 テスト実行後の設定画面を例示する模式図である。 検査画面を例示する模式図である。 検査実行後の検査画面を例示する模式図である。 青色ＬＥＤの画像におけるＲＧＢ及びＨＬＳの値を示すグラフである。 赤色ＬＥＤの画像におけるＲＧＢ及びＨＬＳの値を示すグラフである。 白色ＬＥＤの画像におけるＲＧＢ及びＨＬＳの値を示すグラフである。 緑色ＬＥＤの画像におけるＲＧＢ及びＨＬＳの値を示すグラフである。 本発明の実施形態の変形例を説明するための模式図である。

以下、本発明の実施の形態に係る検査システム、検査方法、及び検査プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

以下の説明において参照する図面は、本発明の内容を理解し得る程度に形状、大きさ、及び位置関係を概略的に示しているに過ぎない。即ち、本発明は各図で例示された形状、大きさ、及び位置関係のみに限定されるものではない。また、図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。

（検査システムの構成）
図１は、本発明の実施形態に係る検査システムの概略構成を示す模式図である。図２は、同検査システムの概略構成を示すブロック図である。図１に示すように、本実施形態に係る検査システム１は、検査対象である機器２を撮像可能に設置されたカメラ３と、該カメラ３から出力された画像信号を処理する情報処理装置４とを備える。情報処理装置４には、表示装置４１及び入力装置４２が設けられている。

機器２には、１つ以上（図１においては複数）の発光素子２１が実装されており、カメラ３は、発光素子２１が実装された面（発光面）に視野を向けて設置されている。

カメラ３は、ＣＭＯＳやＣＣＤ等の固体撮像素子を備え、カラー画像の撮像が可能なカメラである。カメラ３は、少なくとも静止画の撮像機能を有していれば良く、連続撮像機能を有していても良い。カメラ３のスペックは特に限定されないが、ＵＳＢ（Universal Serial Bus：ＵＳＢ２．０若しくはＵＳＢ３．０）又はＧｉｇＥ（Gigabit Ethernet）によりコンピュータに接続可能なカラーカメラを用いることが好ましい。具体例として、ＩＤＳ社（Imaging Development Systems GmbH）製のｕＥｙｅカメラシリーズや、東芝テリー株式会社製の「ＵＳＢ３ Ｖｉｓｉｏｎカメラ」シリーズ又は「ＧｉｇＥ Ｖｉｓｉｏｎカメラ」シリーズを用いることができる。

情報処理装置４は、カメラ３から出力された画像信号に基づいて、発光素子２１を検査するための各種処理を実行する機器である。情報処理装置４は、パーソナルコンピュータ（ＰＣ）、ノートＰＣ、タブレット端末等の汎用の機器により構成することができる。

表示装置４１は、例えば液晶ディスプレイ又は有機ＥＬディスプレイである。入力装置４２は、キーボード、マウス等のポインティングデバイス、或いは、表示装置４１の画面上に設けられたタッチパネルといった入力デバイスであり、情報処理装置４に対する入力操作を受け付ける。

また、検査システム１に、機器２を支持するスタンド５や、スタンド５をスライド可能に保持するスライドレール６を設けても良い。スライドレール６を設けることにより、スタンド５に支持された機器２を、発光面をカメラ３の視野に向けたまま、カメラ３の光軸と直交する面内において平行移動させることができる。また、検査システム１に、スタンド５をスライドレール６に沿って所定の速度で走行させるための駆動機構７をさらに設けても良い。

図２に示すように、情報処理装置４は、外部インタフェース４１０と、記憶部４２０と、プロセッサ４３０とを備える。
外部インタフェース４１０は、情報処理装置４を外部機器と接続し、情報処理装置４と外部機器との間で信号を送受信するインタフェースである。情報処理装置４に接続される外部機器としては、カメラ３や駆動機構７が挙げられる。

記憶部４２０は、例えばＲＯＭやＲＡＭといった半導体メモリやハードディスク等のコンピュータ読取可能な記憶媒体を用いて構成される。記憶部４２０は、プログラム記憶部４２１と、画像データ記憶部４２２と、設定値記憶部４２３とを含む。

プログラム記憶部４２１は、オペレーティングシステムプログラム及びドライバプログラムに加えて、検査システム１における各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を格納する。具体的には、プログラム記憶部４２１は、カメラ３から出力された画像信号に基づいて、発光素子２１の輝度又は色味を測定し、発光素子２１の良否又は発光特性を検査するための検査プログラムを記憶する。

画像データ記憶部４２２は、カメラ３から出力された画像信号に基づいて画像生成部４３４（後述）により生成された画像データを記憶する。
設定値記憶部４２３は、カメラ３の露光時間、ゲイン、フレームレート等の設定値や、発光素子２１が写った画像から領域を抽出する際に使用される閾値等の抽出条件や、発光素子２１の判定に使用される閾値等の判定基準を記憶する。

プロセッサ４３０は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いて構成され、プログラム記憶部４２１に記憶された各種プログラムを読み込むことにより、検査システム１の各部を統括的に制御すると共に、発光素子２１を検査するための各種演算処理を実行する。詳細には、プロセッサ４３０により実現される機能部には、撮像制御部４３１と、表示制御部４３２と、画像処理部４３３と、条件設定部４３７と、判定部４３８と、連続検査制御部４３９とが含まれる。

撮像制御部４３１は、カメラ３における撮像動作を制御する。詳細には、撮像制御部４３１は、設定値記憶部４２３に記憶されている各種設定値に基づいてカメラ３に撮像を実行させると共に、キャプチャ（静止画として画像データを記録すること）動作を制御する。

表示制御部４３２は、表示装置４１における表示を制御する。具体的には、表示制御部４３２は、検査システム２の動作中、検査画面又は設定画面等の所定の画面を生成して表示装置４１に表示させる。

画像処理部４３３は、カメラ３から出力された画像信号に基づいて発光素子２１を検査するための各種画像処理を実行する。詳細には、画像処理部４３３は、画像生成部４３４と、領域抽出部４３５と、測定部４３６とを含む。

画像生成部４３４は、カメラ３から出力された画像信号（ＲＡＷデータ）に対し、デモザイキング等の画像処理を施すことにより、表示用の画像データ（ＲＧＢデータ）を生成する。

領域抽出部４３５は、画像生成部４３４により生成された画像データにより表される発光素子２１が写った画像から、各発光素子２１の像を検査対象領域として抽出し、さらに、各検査対象領域の内側から、サチレーションが生じている領域を対象外領域として抽出する。また、領域抽出部４３５は、該画像から発光素子２１の像（即ち検査対象領域）の輪郭や重心位置を抽出する。

測定部４３６は、領域抽出部４３５により抽出された検査対象領域から対象外領域を除いた領域を、実効検査対象領域として取得し、この実効検査対象領域の画素の値に基づいて、各発光素子２１の輝度又は色味を算出する。

条件設定部４３７は、領域抽出部４３５による領域の抽出に用いられる閾値等の抽出条件や、発光素子２１の判定に用いられる閾値等の判定基準を設定する。

判定部４３８は、測定部４３６により算出された発光素子２１の輝度又は色味を、予め設定された閾値と比較することにより、各発光素子２１の良否又は発光特性を判定する。また、判定部４３８は、領域抽出部４３５により抽出された発光素子２１の像の輪郭に基づいて、発光素子２１の数、位置、面積の適否を判定する。

連続検査制御部４３９は、機器２の連続検査を行う際に、駆動機構７の動作を制御すると共に、駆動機構７による機器２の移動と同期してキャプチャのタイミングを制御する。

（検査方法）
図３は、本実施形態に係る検査方法を示すフローチャートである。
まず、ユーザは、テスト用の発光素子が実装された機器をスタンド５に設置し、各種の設定を行う（ステップＳ１０）。

図４は、ステップＳ１０における設定処理を示すフローチャートである。図５は、表示装置４１に表示される各種項目の設定画面を例示する模式図である。

情報処理装置４は、起動すると、まず、カメラ３における撮像条件を設定する（ステップＳ１０１）。詳細には、情報処理装置４は、所定のカメラ設定画面を表示装置４１に表示させると共に、カメラ３によるテスト用発光素子の撮像を開始する。これにより、カメラ３から出力された画像信号に基づくリアルタイムの画像（所謂ライブビュー）が、カメラ設定画面内の所定の領域に表示される。

カメラ設定画面には、例えば、露光時間調整用のスライダ及びゲイン調整用のスライダが設けられており、撮像制御部４３１は、これらのスライダに対してなされた操作に応じて、カメラ３の露光時間及びゲインを変化させる。ユーザは、カメラ設定画面に表示された画像を確認しながらスライダを操作することにより、所望の設定をすることができる。条件設定部４３７は、カメラ設定画面が閉じられると、その時のスライダの位置に応じて、露光時間及びゲインを撮像条件として保存する。

続いて、情報処理装置４は、図５に示す設定画面Ｍ１を表示装置４１に表示させる（ステップＳ１０２）。設定画面Ｍ１には、画像表示欄ｍ２０と、この画像表示欄ｍ２０に表示される画像を選択するためのラジオボタンｍ１１～ｍ１３が設けられている。「カメラ画像」のラジオボタンｍ１１が選択されている場合、画像表示欄ｍ２０には、カメラ３から出力された画像信号に基づくリアルタイムの画像が表示される。この場合において、キャプチャボタンｍ１４に対して操作（例えばクリック操作）がなされると、画像表示欄ｍ２０に表示中の画像がキャプチャされる。それにより、画像表示欄ｍ２０の表示が静止画に切り替わると共に、「入力画像」のラジオボタンｍ１２が選択された状態に切り替わる。また、「基準画像」のラジオボタンｍ１３が選択されている場合、予め記憶部４２０に基準画像として格納されている画像（静止画）が読み出され、画像表示欄ｍ２０に表示される。ここで、基準画像とは、適正な輝度及び色味を有する発光素子を撮像することにより得られ、基準画像として登録された画像のことである。

設定画面Ｍ１が表示された直後においては、図５に示すように、「カメラ画像」のラジオボタンｍ１１がデフォルトで選択されており、画像表示欄ｍ２０には、カメラ３から出力された画像信号に基づくリアルタイムの画像が表示される。

情報処理装置４は、設定画面Ｍ１に設けられた品種入力欄ｍ１０に入力された情報に基づいて、発光素子の品種を登録する（ステップＳ１０３）。図５は、品種として赤色ＬＥＤが登録されている状態を示している。検査における各種条件や基準は、発光素子の品種ごとに設定することができる。

続いて、情報処理装置４は、キャプチャボタンｍ１４に対してなされた操作に応じて、画像のキャプチャを実行する（ステップＳ１０４）。それにより、画像表示欄ｍ２０に表示中の画像の画像データが記録され、それと共に、画像表示欄ｍ２０の表示が静止画に切り替わり、「入力画像」のラジオボタンｍ１２が選択された状態となる。

続いて、情報処理装置４は、画像表示欄ｍ２０に表示されている画像を構成する各画素の値を、ＲＧＢ色空間における値からＨＬＳ色空間における値に変換する（ステップＳ１０５）。色空間の変換は、公知の式を用いて行うことができる。

続いて、情報処理装置４は、画像から検査対象領域及び対象外領域を抽出する際の抽出条件を設定する（ステップＳ１０６）。検査対象領域とは、検査の際に計算対象とされる画素の領域のことであり、発光素子の像ｍ２１が写った領域が設定される。また、対象外領域とは、検査対象領域の内部であるが、検査の際に計算対象から除外される画素の領域のことであり、発光素子の像ｍ２１の内部でサチレーションが生じている領域が設定される。ここで、各発光素子の像ｍ２１において、周縁部分ｍ２２は本来の色味（赤色ＬＥＤの場合、赤色）で写っているものの、中心部分ｍ２３はサチレーションを起こし、白っぽく表示されている。

設定画面Ｍ１には、画像表示欄ｍ２０に検査領域ｍ２７を設定するためタブ（検査領域タブｍ２５）と、検査対象領域の抽出条件を設定するためのタブ（検査対象領域タブｍ３０）と、対象外領域の抽出条件を設定するためのタブ（対象外領域タブｍ４０）とが設けられている。なお、図５は、検査領域タブｍ２５が開かれている状態を示している。

検査領域ｍ２７は、例えば、検査領域タブｍ２５に設けられた領域指定ボタンｍ２６をクリックし、続いて画像表示欄ｍ２０に表示されている画像上でポインタをドラッグすることにより設定することができる。検査領域ｍ２７を設定することにより、本番の検査中、検査領域ｍ２７内に位置する発光素子の像のみを検査対象とすることができる。なお、検査領域ｍ２７が設定されない場合には、画像表示欄ｍ２０に表示されている画像に写った全ての発光素子の像を検査対象とすることができる。

図６は、設定画面Ｍ１の一部を拡大して示す模式図であり、検査対象領域タブｍ３０が開かれている状態を示している。検査対象領域タブｍ３０には、検査対象領域の抽出条件として設定される値の種類を選択するためのチェックボックスｍ３１，ｍ３２が設けられている。値の種類としては、ＨＬＳ色空間におけるＬ値（明るさ）及びＨ値（色相）を使用することができ、このうち、Ｌ値の選択は必須となっている。例えば、デフォルトでチェックボックスｍ３１がチェックされており、チェックが外れない、又は、チェックボックスｍ３１のチェックを外すと警告が表示される、といった設定にされていても良い。或いは、チェックボックスｍ３１自体を設けないこととしても良い。

また、検査対象領域タブｍ３０には、Ｌ値の閾値を設定するためのＬ値設定部ｍ３３と、Ｈ値の閾値を設定するためのＨ値設定部ｍ３４とが設けられている。Ｌ値設定部ｍ３３及びＨ値設定部ｍ３４は、それぞれ、チェックボックスｍ３１，ｍ３２がチェックされている場合に操作可能となるようにしても良い。

Ｌ値設定部ｍ３３は、Ｌ値の下限閾値及び上限閾値を調整するための２つのスライダを含んでいる。もちろん、数値入力部ｍ３５に数値を直接入力することにより、Ｌ値の下限閾値及び上限閾値を設定しても良い。また、Ｌ値の閾値として下限のみを設定することとしても良く、この場合、スライダを１つのみ設ければ良い。

Ｈ値設定部ｍ３４は、Ｈ値の下の閾値及び上の閾値を設定するための２つのスライダを含んでいる。もちろん、数値入力部ｍ３６に数値を直接入力することにより、これらの閾値を設定しても良い。

Ｈ値設定部ｍ３４の近傍には、色相の選択方向を選択するためのラジオボタンｍ３７，ｍ３８が設けられている。「内側」のラジオボタンｍ３７が選択されているとき、下の閾値以上、上の閾値以下のＬ値の範囲が抽出条件として設定される。他方、「外側」のラジオボタンｍ３８が選択されているとき、下の閾値以下、又は、上の閾値以上のＬ値の範囲が抽出条件として設定される。

領域抽出部４３５は、画像表示欄ｍ２０に表示されている画像を構成する画素から、Ｌ値設定部ｍ３３により設定された条件を満たす画素を抽出する。また、領域抽出部４３５は、チェックボックスｍ３２がチェックされている場合には、Ｌ値設定部ｍ３３及びＨ値設定部ｍ３４により設定された条件を共に満たす画素を抽出する。

表示制御部４３２は、領域抽出部４３５により抽出された画素の領域ｍ３９に対し、所定の色を重ね合わせて表示する。ユーザは、画像表示欄ｍ２０において着色された領域ｍ３９を確認しながらＬ値設定部ｍ３３やＨ値設定部ｍ３４を操作することにより、検査対象領域として抽出すべき適切な条件を設定することができる。

図７は、設定画面Ｍ１の一部を拡大して示す模式図であり、対象外領域タブｍ４０が開かれた状態を示している。対象外領域タブｍ４０には、対象外領域の抽出条件として使用される値の種類を選択するためのチェックボックスｍ４１，ｍ４２が設けられている。値の種類としては、ＨＬＳ色空間におけるＬ値（明るさ）及びＨ値（色相）を使用することができ、このうち、Ｌ値の選択は必須となっている。例えば、デフォルトでチェックボックスｍ４１がチェックされており、チェックが外れない、又は、チェックボックスｍ４１のチェックを外すと警告が表示される、といった設定にされていても良い。或いは、チェックボックスｍ４１自体を設けないこととしても良い。

また、対象外領域タブｍ４０には、Ｌ値の閾値を設定するためのＬ値設定部ｍ４３と、Ｈ値の閾値を設定するためのＨ値設定部ｍ４４とが設けられている。Ｌ値設定部ｍ４３及びＨ値設定部ｍ４４は、それぞれ、チェックボックスｍ４１，ｍ４２がチェックされている場合に操作可能となるようにしても良い。

Ｌ値設定部ｍ４３は、Ｌ値の下限閾値及び上限閾値を調整するための２つのスライダを含んでいる。もちろん、数値入力部ｍ４５に数値を直接入力することにより、Ｌ値の下限閾値及び上限閾値を設定しても良い。また、Ｌ値の閾値として下限のみを設定することとしても良く、この場合、スライダを１つのみ設ければ良い。

Ｈ値設定部ｍ４４は、Ｈ値の下の閾値及び上の閾値を設定するための２つのスライダを含んでいる。もちろん、数値入力部ｍ４６に数値を直接入力することにより、これらの閾値を設定しても良い。Ｈ値設定部ｍ４４の近傍には、色相の選択方向を選択するための選択ボタンｍ４７，ｍ４８が設けられている。これらの選択ボタンｍ４７，ｍ４８の機能は、図６における選択ボタンｍ３７，ｍ３８の機能と同様である。

領域抽出部４３５は、画像表示欄ｍ２０に表示されている画像を構成する画素から、Ｌ値設定部ｍ４３により設定された条件を満たす画素を抽出する。また、領域抽出部４３５は、チェックボックスｍ４２がチェックされている場合には、Ｌ値設定部ｍ４３及びＨ値設定部ｍ４４により設定された条件を共に満たす画素を抽出する。

表示制御部４３２は、領域抽出部４３５により抽出された画素の領域ｍ４９に対し、所定の色を重ね合わせて表示する。ユーザは、画像表示欄ｍ２０において着色された領域ｍ４９を確認しながらＬ値設定部ｍ４３やＨ値設定部ｍ４４を操作することにより、対象外領域として抽出すべき適切な条件を設定することができる。

条件設定部４３７は、Ｌ値設定部ｍ３３により設定されたＬ値の閾値（チェックボックスｍ３２がチェックされている場合にはさらにＨ値設定部ｍ３４により設定されたＨ値の閾値）を検査対象領域の抽出条件として設定し、Ｌ値設定部ｍ４３により設定されたＬ値の閾値（チェックボックスｍ４２がチェックされている場合にはさらにＨ値設定部ｍ４４により調整されたＨ値の閾値）を対象外領域の抽出条件として設定する。

続いて、情報処理装置４は、画像から抽出された発光素子の像に対する判定基準を設定する（ステップＳ１０７）。
再び図５を参照すると、設定画面Ｍ１には、判定基準を設定するための複数のタブｍ５０～ｍ５３が設けられている。輝度設定タブｍ５０においては、発光素子の輝度判定又は色味判定の基準が設定される。個数設定タブｍ５１においては、発光素子の個数判定の基準が設定される。位置設定タブｍ５２においては、発光素子の位置判定の基準が設定される。面積設定タブｍ５３においては、発光領域の面積判定の基準が設定される。

図８は、設定画面Ｍ１の一部を拡大して示す模式図であり、輝度設定タブｍ５０が開かれている状態を示している。
輝度設定タブｍ５０には、発光素子の輝度又は色味を判定する際に使用される値の種類を選択するためのチェックボックス群ｍ５４が設けられている。値の種類としては、ＲＧＢ色空間におけるＲ値（赤色）、Ｇ値（緑色）、及びＢ値（青色）、並びに、ＨＬＳ色空間におけるＨ値（色相）、Ｌ値（明るさ）、及びＳ値（彩度）を選択することができる。

判定に使用される値の種類は複数選択することが可能である。複数種類の値を選択する場合、判定条件として、チェックボックスｍ５５において「ＡＮＤ」又は「ＯＲ」を選択することができる。

また、輝度設定タブｍ５０には、値の種類を選択するためのプルダウンメニューｍ５６と、プルダウンメニューｍ５６において選択された値の閾値を設定するための閾値設定部ｍ５７が設けられている。図８において、閾値設定部ｍ５７は、下限閾値及び上限閾値を調整するための２つのスライダを含んでいる。もちろん、数値入力部ｍ５８に数値を直接入力することにより、下限閾値及び上限閾値を設定しても良い。

領域抽出部４３５は、画像表示欄ｍ２０に表示されている画像を構成する画素から、チェックボックス群ｍ５４において選択され、閾値設定部ｍ５７により設定された条件を満たす画素を抽出する。表示制御部４３２は、領域抽出部４３５により抽出された画素の領域ｍ５９に対し、所定の色を重ね合わせて表示する。ユーザは、画像表示欄ｍ２０において着色された領域ｍ５９を確認しながら閾値設定部ｍ５７を操作することにより、発光素子の輝度や色味の良否を判定するための基準を設定することができる。

個数設定タブｍ５１においては、図５に示す検査領域ｍ２７内に存在すべき発光素子の像（検査対象領域）の個数を設定することができる。例えば、図５に示すテスト用の発光素子が写った画像においては、検査領域ｍ２７内に４つの発光素子が写っている。そのため、この状態を基準とする場合には、個数の判定基準として「４」が設定される。この場合、本番の検査において、検査領域ｍ２７内に発光素子の像が４つ存在するときには、「ＯＫ」（良）の判定となり、３つ以下又は５つ以上存在するときには「ＮＧ」（不良）の判定となる。

位置設定タブｍ５２においては、各発光素子の位置判定に用いられる円形又は矩形の領域を設定することができる。図９は、位置判定に用いられる領域の設定操作を説明するための模式図である。領域を設定する場合、まず、位置設定タブｍ５２を開き、領域の形状（円形又は矩形）を選択するための操作ボタンをクリックする。

続いて、画像表示欄ｍ２０に表示されている画像上で、発光素子の像の概ね中心にポインタｍ６０を合わせ（図９の（ａ）参照）、そこから外側に向けてポインタｍ６０をドラッグする（図９の（ｂ）参照）。それにより、領域の形状として円形が選択されている場合、ドラッグを開始した位置ｍ６１からドロップした位置ｍ６２を半径とする円形の位置基準ｍ６３が描かれる（図９の（ａ），（ｂ）参照）。また、領域の形状として矩形が選択されている場合には、ドロップした位置を頂点とする矩形の位置基準が描かれる。

図１０は、発光素子の位置判定結果の表示例を示す模式図である。本番の検査において位置判定を行う場合、発光素子の像（検査対象領域）の輪郭ｍ６４が位置基準ｍ６３よりも内側に収まっているとき（図１０の（ａ）参照）、位置判定は「ＯＫ」となる。他方、輪郭ｍ６４の一部が位置基準ｍ６３と重なっていたり、交差したりしているとき（図１０の（ｂ）参照）、位置判定は「ＮＧ」となる。

面積設定タブｍ５３においては、各検査対象領域の面積（ピクセル数）を判定するための下限閾値及び上限閾値を設定することができる。なお、ユーザは、後述するテストの実行結果を見て、ピクセル数の設定値を修正することができる。本番の検査において面積判定を行う場合、画像から抽出された各検査対象領域のピクセル数が算出され、ピクセル数が設定された閾値の範囲内である検査対象領域については「ＯＫ」の判定となり、ピクセル数が閾値の範囲を外れる検査対象領域については「ＮＧ」の判定となる。

再び図４を参照すると、情報処理装置４は、テスト実行ボタンｍ７０に対する操作に応じて、画像表示欄ｍ２０に表示中の静止画（即ち、テスト用発光素子が写った画像）に対するテストを実行する（ステップＳ１０８）。なお、ユーザは、テスト用の画像を新たにキャプチャし直すこととしても良く、この場合、一旦「カメラ画像」のラジオボタンｍ１１を選択した上で、テスト実行ボタンｍ７０を操作する。それにより、テスト実行ボタンｍ７０が操作されたタイミングでキャプチャされた静止画に対し、テストが実行される。

テストが開始されると、領域抽出部４３５は、ステップＳ１０６において設定された抽出条件に従い、画像から検査対象領域及び対象外領域を抽出し、検査対象領域から対象外領域を除いた領域を実効検査対象領域として設定する。また、領域抽出部４３５は、各検査対象領域の輪郭及び重心位置を抽出する。輪郭抽出においては、検査対象領域の抽出に用いられた下限閾値で画像を二値化し、ラスタスキャンにより画素値が変化する点を探索するという一般的な手法を用いることができる。

測定部４３６は、抽出された検査対象領域の輪郭の数をカウントし、各輪郭の近傍にカウントされた番号を表示させる。また、測定部４３６は、各実効検査対象領域について、ＲＧＢ色空間におけるＲ値、Ｂ値、及びＧ値、並びに、ＨＬＳ色空間におけるＨ値、Ｌ値、及びＳ値を算出し、結果表示欄ｍ７１に表示させる。さらに、測定部４３６は、各検査対象領域の面積（ピクセル数）を算出し、結果表示欄ｍ７１に表示させる。

ユーザは、テスト実行後の結果表示欄ｍ７１に表示された値を確認することにより、抽出条件や判定基準が適切であるか否かを判断することができ、必要に応じて設定値を修正することができる。

続いて、情報処理装置４は、基準画像登録ボタンｍ７２に対してなされた操作に応じて、テストにより得られた画像を基準画像として登録する（ステップＳ１０９）。情報処理装置４は、「閉じる」ボタンｍ７３に対してなされた操作に応じて設定画面Ｍ１を閉じ、当該設定画面Ｍ１において設定された各種条件を、登録された品種（図１１においては「赤色ＬＥＤ」）に関する条件として保存する。その後、処理はメインルーチンに戻る。

再び図３参照すると、ユーザは、検査対象の発光素子が実装された機器をスタンド５に設置し、本番の検査を行う。図１２は、表示装置４１に表示される検査画面を例示する模式図である。

情報処理装置４は、図１２に示す検査画面Ｍ３を表示装置４１に表示させる（ステップＳ１１）。検査画面Ｍ３には、検査対象の発光素子が写った画像が表示される画像表示欄ｍ８０が設けられている。検査画面Ｍ３が表示された直後においては、画像表示欄ｍ８０に、カメラ３から出力された画像信号に基づくリアルタイムの画像が表示される。

続いて、情報処理装置４は、品種選択ボタンｍ８１に対してなされた操作に応じて、予め登録されている品種の選択肢を表示し、当該選択肢に対する操作に応じて、検査対象の発光素子の品種を選択する（ステップＳ１２）。これにより、選択された品種について設定されている抽出条件及び判定基準が設定値記憶部４２３から読み出される。

情報処理装置４は、検査実行ボタンｍ８３に対してなされた操作に応じて、画像のキャプチャを実行する（ステップＳ１３）。それにより、画像表示欄ｍ８０に表示中の画像の画像データが記録され、画像表示欄ｍ８０の表示が静止画に切り替わる。

続いて、情報処理装置４は、画像表示欄ｍ８０に表示されている画像を構成する各画素の値を、ＲＧＢ色空間における値からＨＬＳ色空間における値に変換する（ステップＳ１４）。

続いて、情報処理装置４は、画像表示欄ｍ８０に表示されている画像から、検査対象とする発光素子の像の領域を抽出する（ステップＳ１５）。即ち、情報処理装置４は、検査対象領域の抽出条件として設定されたＬ値の閾値（又はＬ値及びＨ値の閾値）に基づいて、発光素子の像の領域を検査対象領域として抽出する。また、情報処理装置４は、対象外領域の抽出条件として設定されたＬ値の閾値（又はＬ値及びＨ値の閾値）に基づいて、検査対象領域の内側からサチレーションが生じている領域を対象外領域として抽出する。そして、検査対象領域から対象外領域を除いた領域を実効検査対象領域として設定する。

続いて、情報処理装置４は、抽出された各検査対象領域の輪郭及び重心を抽出する（ステップＳ１６）。
続いて、情報処理装置４は、設定された判定基準に従って、発光素子の判定を行う（ステップＳ１７）。具体的には、各実効検査対象領域の画素について、各種値（Ｒ値、Ｇ値、Ｂ値、Ｈ値、Ｌ値、Ｓ値）の平均値を算出し、算出された平均値が、輝度又は色味の判定基準として設定された数値の範囲に収まるか否かを判定する。

また、情報処理装置４は、検査領域ｍ２７（図５参照）が設定されている場合には、検査領域ｍ２７内における検査対象領域の輪郭の数（即ち、発光素子の数）をカウントし、カウントされた数が設定値と一致するか否かを判定する。

また、情報処理装置４は、各検査対象領域の輪郭が、位置基準ｍ６３（図９，図１０参照）の領域の内側に位置している否かを判定する。
また、情報処理装置４は、各検査対象領域の面積（ピクセル数）を算出し、算出された面積が、面積の判定基準として設定された閾値の範囲に収まるか否かを判定する。

続いて、情報処理装置４は、判定結果を表示装置４１に表示させる（ステップＳ１８）。図１３は、検査実行後の検査画面Ｍ３を例示する模式図である。検査画面Ｍ３において、判定基準表示欄ｍ８２には、選択された品種に対して設定された判定基準が表示されている。

画像表示欄ｍ８０に表示されている画像には、検査対象領域の輪郭及び重心と、抽出された検査対象領域の番号とが重畳表示されている。また、結果表示欄ｍ８４には、各番号に対応する検査対象領域のうち、実効検査対象領域の画素に基づいて算出された各種の値の平均値と、検査対象領域の面積とが表示されている。

これらの検査対象領域の全てが、選択された品種について設定された判定基準を満たしている場合、判定結果表示欄ｍ８５に「ＯＫ」の文字が表示される。他方、検査対象領域のいずれかが判定基準を満たさない場合、判定結果表示欄ｍ８５に「ＮＧ」の文字が表示され、結果表示欄ｍ８４のうち、判定基準を満たさない検査対象領域の結果がマークされる。これにより、一連の検査方法は終了する。

以上説明したように、本実施形態によれば、発光素子の像の領域である検査対象領域からサチレーションが生じている領域を除いた領域を実効検査対象領域とし、この実効検査対象領域の画素の値に基づいて発光素子の輝度又は色味を算出するので、発光素子の良否又は発光特性を精度良く検査することが可能となる。

ここで、図１４～図１７は、各色のＬＥＤの画像におけるＲＧＢ及びＨＬＳの値を示すグラフである。図１４～図１７において、横軸は、ＬＥＤの中心を通る直線上の座標を示す。図１４～図１７に示すように、発光するＬＥＤを写した画像の中心部及びその周辺においては、Ｒ，Ｇ，Ｂの各値（値の範囲：０～２５５）が、周縁部と比較して特に高い。これらのＲ，Ｇ，Ｂの各値が上限である２５５の概ね８０％を超える領域は、サチレーション（白飛びした状態）となり、本来の輝度や色味の情報が失われてしまう。そのため、このようなサチレーションの領域を含めて判定を行うと、ＬＥＤの輝度や色味を正確に判定することができない。

これに対し、本実施形態においては、ＬＥＤの像の領域（検査対象領域）からサチレーションが生じている領域（対象外領域）を除外し、実際のＬＥＤの輝度や色味を反映している領域のみに基づいて判定を行うため、カメラ３及び情報処理装置４という簡素な装置構成で、精度の良い判定結果を得ることができる。

ただし、図１４～図１７に示すように、サチレーションが生じる領域は、ＬＥＤの色味によってばらつきがある。そのため、ＲＧＢ色空間における値により表された画像においては、ＬＥＤの色味ごとにサチレーションを定義しなくてはならない。つまり、ＬＥＤの色味ごとに、Ｒ，Ｇ，Ｂの各値の閾値を設定する必要が生じる。

これに対し、本実施形態においては、ＲＧＢ色空間における値により表された画素の値を、ＨＬＳ色空間における値に変換し、ＨＬＳ色空間における少なくともＬ値に基づいて、対象外領域を抽出する。少なくともＬ値を用いることにより、ＬＥＤの色味によらず、サチレーションを一義的に定義することができるため、ＬＥＤの像の中心部及びその周辺のサチレーションの領域を精度良く抽出することが可能となる。

また、本実施形態によれば、検査対象を撮像することにより得られた１つ静止画に基づいて発光素子の検査をすることができる。従って、複数回の撮像を行ったり、複数の画像に対する処理を行ったりする必要がないため、検査時間の増加を抑制し、情報処理装置４における演算負荷を低減することが可能となる。

また、本実施形態によれば、検査対象領域及び対象外領域の抽出条件の設定時や、輝度及び色味の判定基準の設定時に、画像内の条件を満たす画素の領域に所定の色を重ね合わせて表示するので、ユーザは、着色された領域を確認しながらスライダを操作することにより、所望の条件を容易に設定することが可能となる。

また、本実施形態によれば、カメラ３及び汎用の情報処理装置４という簡素なハードウェア構成で検査システム１を構成することができる。従って、従来目視検査を行っていたユーザであっても、比較的低コストで容易に検査システム１を導入することができる。

（変形例）
図１８は、本発明の実施形態の変形例を説明するための模式図である。図１８に示すように、検査対象の機器２Ａの全体がカメラ３の視野に収まらない場合には、機器２Ａを移動させつつ複数回に分けて撮像することにより、検査を行うことができる。

具体的には、情報処理装置４（連続検査制御部４３９）は、駆動機構７を制御して、機器２Ａを支持するスタンド５をスライドレール６に沿って所定の速度で移動させると共に、機器２Ａの移動と同期して、カメラ３に所定の周期で撮像を実行させる。それにより、情報処理装置４は、機器２Ａの発光面（発光素子２１Ａが実装された面）が部分的に写った画像（静止画）の画像信号を順次取り込み、各画像に対し、領域等の抽出及び判定処理を実行する（図３のステップＳ１３～Ｓ１８参照）。カメラ３における撮像周期及び撮像回数は、カメラ３の視野に対する機器２Ａの発光面のサイズ等に応じて適宜設定することができる。

本発明は、以上説明した実施形態及び変形例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。例えば、実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、上記実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。

１…検査システム、２・２Ａ…機器、３…カメラ、４…情報処理装置、５…スタンド、６…スライドレール、７…駆動機構、２１・２１Ａ…発光素子、４２…入力装置、４２…表示装置、４１０…外部インタフェース、４２０…記憶部、４２１…プログラム記憶部、４２２…画像データ記憶部、４２３…設定値記憶部、４３０…プロセッサ、４３１…撮像制御部、４３２…表示制御部、４３３…画像処理部、４３４…画像生成部、４３５…領域抽出部、４３６…測定部、４３７…条件設定部、４３８…判定部、４３９…連続検査制御部

Claims (13)

1. 点灯中の発光素子を撮像可能に設置され、該発光素子を撮像して画像信号を出力するカメラと、
   前記カメラから出力された画像信号に基づいて、前記発光素子が写った画像を表す画像データを生成する画像生成部と、
   前記画像における前記発光素子の像を検査対象領域として抽出し、さらに、検査対象領域の内側から、サチレーションが生じている領域を対象外領域として抽出する領域抽出部と、
   前記検査対象領域から前記対象外領域を除いた領域である実効検査対象領域の画素の値に基づいて、前記発光素子の輝度又は色味を算出する測定部と、
   を備える検査システム。
2. 前記画像生成部により生成された前記画像は、ＲＧＢ色空間における値により表され、
   前記領域抽出部は、前記画像を構成する画素の値を、ＨＬＳ色空間における値に変換し、ＨＬＳ色空間における少なくともＬ値に基づいて前記対象外領域を抽出する、請求項１に記載の検査システム。
3. 前記測定部は、前記実効検査対象領域の画素のＲＧＢ色空間におけるＲ値、Ｇ値、若しくはＢ値、又は、ＨＬＳ色空間におけるＨ値、Ｌ値、若しくはＳの平均値を算出する、請求項１又は２に記載の検査システム。
4. 前記平均値を予め設定された閾値と比較することにより、前記発光素子の良否又は発光特性を判定する判定部をさらに備える請求項３に記載の検査システム。
5. 前記カメラは、複数の発光素子を撮像し、
   前記領域抽出部は、さらに、前記複数の発光素子の各々について抽出された検査対象領域の輪郭を抽出し、
   前記画像に対して予め設定された検査領域内における前記輪郭の数をカウントし、カウントされた数が予め設定された値と一致するか否かを判定する判定部をさらに備える請求項１～４のいずれか１項に記載の検査システム。
6. 前記領域抽出部は、さらに、前記検査対象領域の輪郭を抽出し、
   前記輪郭が前記画像に対して予め設定された領域の内側に位置しているか否かを判定する判定部をさらに備える請求項１～４のいずれか１項に記載の検査システム。
7. 前記検査対象領域の面積を測定し、測定された面積が予め設定された数値の範囲内であるか否かを判定する判定部をさらに備える請求項１～４のいずれか１項に記載の検査システム。
8. 前記画像生成部は、テスト用の発光素子を前記カメラで撮像することにより生成された画像信号に基づいてテスト用の画像を生成し、
   前記テスト用の画像を含む設定画面を表示する表示部と、
   当該検査システムに対する操作を受け付ける入力部と、
   前記設定画面における表示を制御する表示制御部と、
   をさらに備え、
   前記表示制御部は、
   画素の値の範囲を調整するための少なくとも１つのスライダであって、前記入力部により操作可能なスライダを前記設定画面に表示し、
   前記テスト用の画像のうち、前記少なくとも１つのスライダにより調整された範囲内の値を有する画素の領域に対し、所定の色を重ね合わせて表示する、
   請求項１～７のいずれか１項に記載の検査システム。
9. 前記少なくとも１つのスライダにより調整された範囲を、前記領域抽出部による前記検査対象領域又は前記対象外領域の抽出に用いられる抽出条件として設定する条件設定部をさらに備える請求項８に記載の検査システム。
10. 前記少なくとも１つのスライダにより調整された範囲を、前記測定部により算出された前記発光素子の輝度又は色味に基づく前記発光素子の良否又は発光特性の判定に使用される判定基準として設定する条件設定部をさらに備える請求項８に記載の検査システム。
11. 前記カメラの光軸と直交する面内において、前記機器を所定の方向に所定の速度で移動させる駆動機構と、
    前記駆動機構による前記機器の移動と同期して、前記カメラに前記機器を所定の周期で撮像させる制御部と、
    をさらに備える、請求項１～１０のいずれか１項に記載の検査システム。
12. 点灯中の発光素子を撮像可能に設置されたカメラにより、該発光素子を撮像し、
    前記カメラから出力された画像信号に基づいて、前記発光素子が写った画像を表す画像データを生成し、
    前記画像における前記発光素子の像を検査対象領域として抽出し、さらに、検査対象領域の内側から、サチレーションが生じている領域を対象外領域として抽出し、
    前記検査対象領域から前記対象外領域を除いた領域である実効検査対象領域の画素の値に基づいて、前記発光素子の輝度又は色味を算出する、ことを含む検査方法。
13. 点灯中の発光素子を撮像可能に設置されたカメラにより、該発光素子を撮像し、
    前記カメラから出力された画像信号に基づいて、前記発光素子が写った画像を表す画像データを生成し、
    前記画像における前記発光素子の像を検査対象領域として抽出し、さらに、検査対象領域の内側から、サチレーションが生じている領域を対象外領域として抽出し、
    前記検査対象領域から前記対象外領域を除いた領域である実効検査対象領域の画素の値に基づいて、前記発光素子の輝度又は色味を算出する、ことをコンピュータに実行させる検査プログラム。
    
    

Images