JP2004206498A - Image processing method and device, and program for image processing method - Google Patents

Image processing method and device, and program for image processing method Download PDF

Info

Publication number
JP2004206498A
JP2004206498A JP2002375895A JP2002375895A JP2004206498A JP 2004206498 A JP2004206498 A JP 2004206498A JP 2002375895 A JP2002375895 A JP 2002375895A JP 2002375895 A JP2002375895 A JP 2002375895A JP 2004206498 A JP2004206498 A JP 2004206498A
Authority
JP
Japan
Prior art keywords
pixel
data
luminance
image processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002375895A
Other languages
Japanese (ja)
Inventor
Yoshifumi Yoshida
佳史 吉田
Eisuke Kanazawa
英祐 金澤
Atsushi Hirai
篤史 平井
Kei Takada
圭 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2002375895A priority Critical patent/JP2004206498A/en
Publication of JP2004206498A publication Critical patent/JP2004206498A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To obtain an image processing method, etc., capable of performing inspection without performing processing that depends upon a display device (type of display panel) and display status difference (especially, color display). <P>SOLUTION: An image processor 10 calculates the coordinate values of the center position of each pixel constituting a display image on the basis of an image obtained by imaging the display panel 100 and selects luminance data of a pixel determined to be good on the basis of the coordinate values of the center position. Then, the selected luminance data are processed to create a unit space for calculating a Mahalanobis distance. Then, a Mahalanobis distance is calculated for each pixel about the display panel 100 of a target to be inspected, and the display panel 100 is evaluated on the basis of the Mahalanobis distance for each pixel and the coordinates of the center position. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は例えば被検査対象の表示画面に生ずる欠陥の有無を検査をする際の画像処理に関するものである。特にフルカラー等の表示画面に適用するためのものである。
【０００２】
【従来の技術】
現在、例えば液晶パネル等、様々な種類の表示装置がある。各表示装置の表示部分は画素の集まりで構成される。ここで、各画素における発光量のバランスがとれていれば表示画面は一様である。しかし、実際には画素全体にわたって品質管理を行うのが困難であるため、表示部分の全ての画素のバランスをとることは難しい。発光量のバランスが崩れると、画面上に発生する点欠陥、シミ、むら等等の面系の欠陥（以下、これらを欠陥という）の原因となってしまう。当然、画素数が多くなるほど（大きな画面になるほど）欠陥が発生する確率は高くなる。また、プロジェクタ等のように表示部分が拡大されて投影される（画素も拡大される）場合には、発生した欠陥が人間の眼に映りやすくなる。
【０００３】
通常、表示装置を製品として出荷する前の段階で、その表示部分であるパネルが良又は不良であるかどうかの検査（以下、良否判断という）がなされる。従来は、検査員がパネルを直接目視又は投影面に投影した表示画面を目視してパネルの良否を判断していた。しかし、検査員によって欠陥が発生しているかどうかの判断基準に個人差があるし、同じ検査員でもその時の状況（体調等）により判断に差が生じる場合がある。そこで、このような欠陥の有無を客観的、自動的に検出し、良否判断を行うための装置等も提案されている（例えば特許文献１参照）。
【０００４】
【特許文献１】
特開平１１−２５７９３７号公報
【０００５】
【発明が解決しようとする課題】
ただ、表示装置（パネル）の種類（例えばプラズマ、有機ＥＬ等）、表示方法等の違いによって、その画面の良否判断の検査の基準が異なる。また、画素の表示階調が異なることによっても基準が異なる。このように表示装置の種類の違い、同じ表示装置でも表示状況の違いに応じて基準が異なるので、その判断処理の方法もその度に異なるものとなり不便であった。しかも、これらの基準は、欠陥のある画面（画素）とはどのようなものであるかを基準とするものであり、日々厳しくなる基準に伴って検査する（判断する）項目も追加され、多くなっていく傾向にあった。また、欠陥によって、大きさ、周りとの輝度差等も異なり、これらを把握できることもその判断にとって重要となる。特にカラー画像となると、混色による色味が要素として加わりますます複雑になる。
【０００６】
本発明はこのような問題点を解決するためになされたものであり、表示装置（パネルの種類）、表示状況の違いに依存した処理を行わなくても検査を行えるような画像処理方法等を得ることを目的とするものである。特に、カラー表示画面についての検査を確立しようとするものである。
【０００７】
【課題を解決するための手段】
本発明に係る画像処理方法は、被検査対象となる表示画面を撮像した画像に基づいて、表示画面を構成する各画素の基準となる座標値を算出する工程と、基準となる座標値に基づいて、良と判断した画素の輝度のデータを選択する工程と、選択した輝度のデータを処理してマハラノビスの距離を算出するための単位空間を作成する工程とを有するものである。
本発明においては、撮像手段における受光素子の間隔（ピッチ）又はその整数倍と被検査対象の画素の間隔との不一致による画素単位での検査における精度の低下を防ぎ、画素毎にできるだけ正確に分割して切り出しを行えるように、まず、各画素の基準となる座標値を算出する。その上で、例えば基準となる座標値を算出する際に行ったパターンマッチング等の方法で見つけだした理想の輝度パターンに近いと判断した良画素について、その画素部分を撮像して得られた輝度のデータを選択する。場合によっては、全てのデータのうち一部のデータを選択する。一部のデータの選択の仕方は任意であるが、各画素共通して同じ部分のデータを選択する必要がある。そして、選択した輝度のデータを処理し、マハラノビスの距離を算出するための単位空間を作成する。したがって、撮像手段における画素ピッチ又はその整数倍と表示画面における画素ピッチとのずれが生じていたとしても、表示画面の画像から各画素の輝度のデータを正確に切り出し（選択）することができる。そのため、理想の形に近い画素に基づいて、画素の良否を判断する基準となる単位空間を作成することができ、画素を単位として有効に表示画面の評価検査を行うことができる。
【０００８】
また、本発明に係る画像処理方法は、被検査対象となる表示画面を撮像した画像に基づいて、表示画面を構成する各画素の基準となる座標値を算出する工程と、基準となる座標値に基づいて、各画素の輝度のデータを選択する工程と、選択した輝度のデータを処理して画素毎にマハラノビスの距離を算出する工程と、各画素のマハラノビスの距離及び中心位置の座標に基づいて、表示画面を評価する工程とを有するものである。
本発明においては、撮像手段における受光素子の間隔（ピッチ）又はその整数倍と被検査対象の画素の間隔との不一致による画素毎の検査の精度の低下を防ぎ、画素毎にできるだけ正確に分割して切り出しを行えるように、まず、各画素の基準となる座標値を算出する。そして、基準となる座標値に基づいて、その画素部分を撮像して得られた輝度のデータを選択する。場合によっては、全てのデータのうち一部のデータを選択する。そして、選択した輝度のデータを処理し、マハラノビスの距離を算出し、各画素のマハラノビスの距離及び中心位置の座標に基づいて、画素の良否を判断し、表示画面を評価する。したがって、撮像手段における画素ピッチ又はその整数倍と表示画面における画素ピッチとのずれが生じていたとしても、表示画面の画像から各画素の輝度のデータを正確に切り出し（選択）することができ、画素を単位として有効に表示画面の評価検査を行うことができる。また、基準となる座標値を算出しているので、マハラノビスの距離と画素の位置との対応関係を把握することができ、例えば、距離を構成している画素の集まり具合等から表示画面に生じるシミ、むら等の面欠陥を有効に判断することもできる。
【０００９】
また、本発明に係る画像処理方法は、各画素の輝度のデータを選択した後に、基準となる座標値と選択した輝度のデータとを画素毎に関連づけて記憶する工程をさらに有するものである。
本発明においては、表示画面における画素の位置関係とその画素の輝度とを関連づけて記憶する。したがって、輝度のデータに基づいて算出されるマハラノビスの距離と基準となる座標値の関連付けが行いやすくなる。
【００１０】
また、本発明に係る画像処理方法において、基準となる座標値を算出する工程は、パターンマッチングを行って、あらかじめ定めたパターンと合致するものと判断した画素をあらかじめ設定した数だけ検出する工程と、検出した画素に基づいて算出した近似直線に基づいて、各画素を表す輝度のデータを仮決定する工程と、仮決定した各画素を表す輝度のデータに基づいて、各行及び各列の輝度が最大となる座標を算出する工程と、算出した座標に基づいて行方向及び列方向の近似直線を算出して、交点の座標値をその画素の中心の座標値を基準の座標値とする工程とからなる。
本発明においては、撮像した表示画面を構成する各画素の基準となる座標値の算出について、パターンマッチングを行って合致すると判断したものが設定した数だけ検出されると、その基準となる座標値に基づいて近似直線を算出し、各画素の基準となる座標値を仮決定する。そして、画素の中心が最も輝度が高いとの仮定に基づき、各行及び各列の輝度が最大となる座標を算出して、その近似直線を算出し、その交点を、基準の座標値となる中心の座標値とする。したがって、より正確な基準となる座標値を算出することができ、基準となる座標値からあらためて輝度のデータを選択することにより、より正確に各画素部分の切り出し（選択）を行うことができる。
【００１１】
また、本発明に係る画像処理方法は、表示画面中の画素の位置とその画素に対応するマハラノビスの距離との関係を表示装置に表示させる処理を行う。
本発明においては、操作者による表示画面検査の評価支援を行うため、例えば、マハラノビスの距離のグラフ及び表示画面を撮像した画像を表示装置に表示させ、グラフ上の選択された点と対応する画像中の画素を区別表示させる視覚的な処理を行う。したがって、操作者は表示画面を評価しやすくなる。
【００１２】
また、本発明に係る画像処理方法は、表示画面を撮像した画像に基づいて、光の３原色となる波長帯域毎に分けた画像を作成し、波長帯域毎に分けたそれぞれの画像から輝度のデータを選択し、処理する。
本発明においては、特にカラー表示された画面を処理するため、表示画面を撮像した画像に基づいて、光の３原色となる波長帯域毎に分けた画像を作成し、波長帯域毎に分けたそれぞれの画像から輝度のデータを選択し、処理する。したがって、カラー表示画面において、輝度に基づくパターン認識の方法を確立することができ、自動的に表示画面の良否を判断して評価を行うことができる。特に波長帯域毎に分けた画像から得られた輝度のデータを一度にまとめて処理して１つのマハラノビスの距離を算出することもでき、評価を行いやすくできる。
【００１３】
また、本発明に係る画像処理方法は、被検査対象の表示画面を評価するための画像処理方法において、表示画面の各画素から発せられる光を、複数の波長領域に分離したときのそれぞれの輝度のデータを処理してマハラノビスの距離を算出し、表示画面の良否を判断するものである。
本発明においては、例えばコンピュータのような処理手段により、表示画面を複数の波長領域に分け、得られたデータに基づいて画素毎にマハラノビスの距離を算出し、例えばあらかじめ良画素について算出されているマハラノビスの距離の距離差に基づいて画面の良否判断を行う。これにより、複数の波長領域に分離した輝度のデータに基づいて、画素の良否の基準を最終的にマハラノビスの距離だけで判断することができる。また、距離の比較対象をあらかじめ定めた良画素のサンプルにしておくことで、良画素を基準とした画素の良否を行い、また、画面の良否判断を自動的に行うことができる。しかも、マハラノビスの距離の分布具合により、表示画面のグレード（品質）についても判断し、検査することができる。また、例えば、音、光、温度等の物理量によって得られたデータを、画像処理して表示させた表示画面にも適用することができ、音、光、温度等の物理量を計測するためのセンサ等についても、例えば良品を基準とした検査を行うことができる。
【００１４】
また、本発明に係る画像処理方法は、画素を光の３原色となる波長領域に分離し、さらに２次元の位置に分解し、各波長領域及び各位置において得られた複数の輝度のデータを、ある方向に基づいて各位置の輝度のデータを並べるように変換して処理し、マハラノビスの距離を算出するものである。
本発明においては、画素を光の３原色となる波長領域に分離した上で、さらに２次元の位置に分解し、各波長領域及び各位置において得られた複数の輝度のデータに基づいてマハラノビスの距離を算出する。したがって、カラー表示画面において、輝度に基づくパターン認識の方法を確立することができ、自動的に表示画面の良否を判断して評価を行うことができる。
【００１５】
また、本発明に係る画像処理方法は、良画素と判断した複数の画素をサンプルとして用い、マハラノビスの距離を算出するための単位空間を作成する。
本発明においては、良画素を基準とするため、良と判断した画素をサンプルとして単位空間を作成する。これにより、良画素とのマハラノビスの距離の違いにより、画素の良否を判断することができる。
【００１６】
また、本発明に係る画像処理方法は、画像処理を行うための基準の範囲を分解し、さらに光を複数の波長領域に分離して得られた輝度のデータを任意に選択した順に処理し、マハラノビスの距離を算出するものである。
本発明においては、少なくともマハラノビスの距離を実用的に適用できるデータ量が得られるような範囲、分解数により、基準の範囲を分解して得られたデータの全部又は一部を、所望のパターン認識を行うために任意に選択し、選択した順に処理を行うことにより、所望する方向性をもってパターン認識を行い、マハラノビスの距離を算出する。これにより、画像処理を行ってマハラノビスの距離を行うに際し、パターン認識の方向性を定める（特徴付けを行う）ことができる。
【００１７】
また、本発明に係る画像処理方法は、基準の範囲の中心の位置を算出する。
本発明においては、全体の画像から正確に基準の範囲部分による処理が行えるように、また、全体の画像における基準の範囲の位置を特定できるように基準の範囲の中心の位置を算出する。したがって、基準の範囲におけるマハラノビスの距離の精度を高めることができる。
【００１８】
また、本発明に係る画像処理方法は、人間の眼の分解能に基づいて基準の範囲を切り出し（選択）する。
本発明においては、例えば人間の眼に合わせた画像処理を行ってマハラノビスの距離を算出するため、人間の眼が有する分解能で切り出し（選択）を行う。そこで、人間の眼の分解能に基づいて基準の範囲を切り出し（選択）する。したがって、人間の眼に合わせた精度をもって画像処理を行うことができる。
【００１９】
また、本発明に係る画像処理方法は、画面の構成単位である画素を、基準の範囲とする。
本発明においては、画素を基準の範囲とし画像処理を行う。したがって、画面を構成する画素を単位とした画像処理を確立することができる。
【００２０】
また、本発明に係る画像処理装置は、被検査対象に表示された画面を撮像手段が撮像して得られたデータを処理し、被検査対象の表示画面の良否を検査するための画像処理装置において、被記検査対象の画面を構成する画素毎に基準となる座標値をデータとして算出し、必要なデータを選択する画素取得手段と、良画素のサンプルによってあらかじめ得られたデータの平均値及び標準偏差に基づいて、画素取得手段が選択したデータを基準化した基準化値をデータとして算出する基準化値データ演算手段と、基準化値に基づいて、検査対象の画面を構成する画素毎にマハラノビスの距離をデータとして算出する距離演算手段と、画素毎の基準となる座標値のデータ及びマハラノビスの距離のデータに基づいて被検査対象に表示された画面の良否を判断する検査判断手段とを備えたものである。
本発明においては、画素取得手段が、被記検査対象の画面を構成する画素毎に基準となる座標値を算出した上で、画素を単位とした評価を行うために必要なデータを選択する。このデータとは例えば輝度のデータであるが、複数の輝度のデータで画素が表されている場合には、輝度のデータを全部選択してもよいし、一部だけを選択するようにしてもよい。基準化値データ演算手段が、選択したデータを基準化する。基準化値データ演算手段が基準化した基準化値データに基づいて、距離演算手段が画素毎にマハラノビスの距離を算出する。したがって、画素の良否の基準を最終的にマハラノビスの距離だけで判断することができる。また、画像取得手段により、基準となる座標値を決定した後に、あらためて必要なデータを選択するようにしたので、各画素の必要なデータを正確に選択することができ、マハラノビスの距離の精度を高めることができる。
【００２１】
また、本発明に係る画像処理装置は、良画素のサンプルによってあらかじめ得られたデータを基準化し、各データの相関関係に基づく相関行列の逆行列を算出しておき、距離演算手段は、逆行列の各要素及び基準化値に基づいてマハラノビスの距離を算出するものである。
本発明においては、サンプルに基づく単位空間の演算過程で各データの相関関係を算出し、それに基づく相関行列、さらにその逆行列を算出する。距離演算手段は、逆行列の各要素及び基準化値に基づいてマハラノビスの距離を算出する。これにより、逆行列を演算する過程で相関関係を算出するので、データ間の相関関係を把握することが容易である。
【００２２】
また、本発明に係る画像処理装置は、直交展開演算手段及び直交変数演算手段をさらに備え、良画素のサンプルによってあらかじめ得られたデータを基準化し、シュミットの直交展開を利用してそれぞれのデータに基づいて回帰係数及び残差成分の分散に基づく値を算出しておき、直交展開演算手段は、基準化値データに基づいて撮像手段が撮像して得られたデータについて算出した残差成分の値をデータとして算出し、直交変数演算手段は、直交展開演算手段が算出した残差成分の値及び分散に基づく値により直交変数の値をデータとして算出し、距離演算手段は、直交変数の値のデータに基づいてマハラノビスの距離を算出するものである。
本発明においては、直交展開演算手段が基準化値データに基づいて残差成分の値を算出する。直交変数演算手段が、残差成分の値及び分散に基づく値により直交変数の値を算出する。距離演算手段が、直交変数の値のデータに基づいてマハラノビスの距離を算出する。これにより、マハラノビスの距離を算出する際の演算量及びその際に一時的に演算値を記憶させる記憶量（メモリ）を減らすことができる。また、回帰係数及び残差成分の分散を算出する際に、マハラノビスの距離に影響を与える項目順に算出しておくことで、残差成分の値、直交変数の値又はマハラノビスの距離を算出する際に、演算を切り上げて、距離算出速度（良否判断までの時間短縮）を優先させることもできる。
【００２３】
また、本発明に係る画像処理装置は、撮像手段の撮像により得られるデータのデータ量を、人間の眼の分解能に基づいて決定する。
本発明においては、人間の眼が輝度等の差を判別できる視角（分解能）と同じ分解能で被検査対象を撮像するためのデータ量（撮像手段の画素数）を決定した上で、その後、各手段が処理を行うようにする。これにより、検査対象の種類に関係なく人間の眼の分解能に基づいた検査を行うことができる。
【００２４】
また、本発明に係る画像処理装置の画素取得手段は、基準となる座標値のデータと選択した必要なデータとを画素毎に関連づけて記憶装置に記憶させる。
本発明においては、画素取得手段が、基準となる座標値のデータとマハラノビスの距離を算出するために必要となる選択したデータとを画素毎に関連づけて記憶装置に記憶させる。したがって、データに基づいて算出されるマハラノビスの距離と基準となる座標値の関連付けが行いやすくなる。
【００２５】
また、本発明に係る画像処理装置は、被検査対象に表示された画面を撮像した撮像手段から送信された、光の３原色となる波長領域に分離した輝度を表す信号に基づいて輝度値データを作成する輝度値データ取得手段をさらに備えたものである。
本発明においては、光の３原色となる波長領域に分離した輝度の信号を輝度値データとして処理できる輝度値データ取得手段を備える。したがって、画像処理装置単体での検査、リアルタイムでの検査を行うことができる。
【００２６】
また、本発明に係る画像処理装置は、単位空間と算出した画素毎のマハラノビスの距離との関係を表すグラフ及び表示画面を撮像した画像を表示装置に表示させるための処理をし、選択されたグラフ上の点に基づいて、点と対応する画像中の画素を表示装置に区別表示させるための処理をする表示処理手段をさらに有するものである。
本発明においては、操作者による表示画面検査の評価支援を行うため、表示処理手段が、マハラノビスの距離のグラフ及び表示画面を撮像した画像を表示装置に表示させ、グラフ上の選択された点と対応する画像中の画素を区別表示させる。したがって、操作者は視覚的に表示画面を評価しやすくなる。
【００２７】
また、本発明に係る画像処理方法のプログラムは、被検査対象となる表示画面を撮像した画像に基づいて、表示画面を構成する各画素の基準となる座標値を算出させ、基準となる座標値に基づいて、良と判断した画素を表す輝度のデータを選択させ、選択した輝度のデータを処理してマハラノビスの距離を算出するための単位空間を作成させるステップをコンピュータに行わせるものである。
本発明においては、撮像手段における受光素子の間隔（ピッチ）又はその整数倍と被検査対象の画素の間隔との不一致による画素単位での検査における精度の低下を防ぎ、画素毎にできるだけ正確に分割して切り出しを行えるように、被検査対象となる表示画面を撮像した画像に基づいて、コンピュータに各画素の基準となる座標値を算出させる。そして、例えば基準となる座標値を算出する際に行ったパターンマッチング等の方法で見つけだした理想の輝度パターンに近いと判断した良画素について、その画素部分を撮像して得られた輝度のデータを選択させる。場合によっては、全てのデータのうち一部のデータを選択する。一部のデータの選択の仕方は任意であるが、各画素共通して同じ部分のデータを選択する必要がある。そして、選択した輝度のデータを処理させ、マハラノビスの距離を算出するための単位空間を作成させる。したがって、撮像手段における画素ピッチ又はその整数倍と表示画面における画素ピッチとのずれが生じていたとしても、表示画面の画像から各画素の輝度のデータを正確に切り出し（選択）させることができる。そのため、理想の形に近い画素に基づいて、画素の良否を判断する基準となる単位空間を作成することができ、画素を単位として有効に表示画面の評価検査を行うことができる。
【００２８】
また、本発明に係る画像処理方法のプログラムは、被検査対象となる表示画面を撮像した画像に基づいて、表示画面を構成する各画素の基準となる座標値を算出させ、基準となる座標値に基づいて、各画素の輝度のデータを選択させ、選択させた輝度のデータを処理させて画素毎にマハラノビスの距離を算出させ、各画素のマハラノビスの距離及び中心位置の座標に基づいて、表示画面を評価させるステップをコンピュータに行わせるものである。
本発明においては、撮像手段における受光素子の間隔（ピッチ）又はその整数倍と被検査対象の画素の間隔との不一致による画素毎の検査の精度の低下を防ぎ、画素毎にできるだけ正確に分割して切り出しを行えるように、被検査対象となる表示画面を撮像した画像に基づいて、コンピュータに各画素の基準となる座標値を算出させる。そして、基準となる座標値に基づいて、その画素部分を撮像して得られた輝度のデータを選択させる。場合によっては、全てのデータのうち一部のデータを選択させる。そして、選択した輝度のデータを処理させ、マハラノビスの距離を算出させて各画素のマハラノビスの距離及び中心位置の座標に基づいて、画素の良否を判断させ、表示画面を評価させる。したがって、撮像手段における画素ピッチ又はその整数倍と表示画面における画素ピッチとのずれが生じていたとしても、表示画面の画像から各画素の輝度のデータを正確に切り出し（選択）させることができ、画素を単位として有効に表示画面の評価検査を行わせることができる。また、基準となる座標値が算出されているので、マハラノビスの距離と画素の位置との対応関係を把握させることができ、例えば、距離を構成している画素の集まり具合等から表示画面に生じるシミ、むら等の面欠陥を有効に判断させることもできる。
【００２９】
また、本発明に係る画像処理方法のプログラムは、表示画面中の画素の位置とその画素に対応するマハラノビスの距離との関係を表示装置に表示させるステップをコンピュータにさらに行わせるものである。
本発明においては、操作者による表示画面検査の評価支援を行うため、例えば、マハラノビスの距離のグラフ及び表示画面を撮像した画像を表示装置に表示させ、グラフ上の選択された点と対応する画像中の画素を区別表示させる視覚的な処理をコンピュータに行なわせる。したがって、操作者は表示されたグラフ等に基づいて表示画面を評価しやすくなる。
【００３０】
また、本発明に係る画像処理方法のプログラムは、被検査対象に表示された画面を撮像手段が撮像して得られたデータを処理させ、被検査対象の表示画面の良否を検査させるための画像処理方法のプログラムにおいて、表示画面の各画素から発せられる光を、複数の波長領域に分離したときのそれぞれの輝度のデータを処理させ、表示画面の良否を判断させるステップをコンピュータに行わせるものである。
本発明においては、表示画面を複数の波長領域に分けることによって得られたデータに基づいて画素毎にマハラノビスの距離を算出させ、例えばあらかじめ良画素について算出されているマハラノビスの距離の距離差に基づいて画面の良否判断をコンピュータに行わせる。したがって、複数の波長領域に分離した輝度のデータに基づいて、画素の良否の基準を最終的にマハラノビスの距離だけで判断することができる。また、距離の比較対象をあらかじめ定めた良画素のサンプルにしておくことで、良画素を基準とした画素の良否を行い、また、画面の良否判断を自動的に行うことができる。しかも、マハラノビスの距離の分布具合により、表示画面のグレード（品質）についても判断し、検査することができる。また、例えば、音、光、温度等の物理量によって得られたデータを、画像処理して表示させた表示画面にも適用することができ、音、光、温度等の物理量を計測するためのセンサ等についても、例えば良品を基準とした検査を行うことができる。
【００３１】
また、本発明に係る画像処理方法のプログラムにおいて、輝度のデータの処理は、光の３原色となる波長領域に分離された画素を、さらに２次元の位置に分解させ、各波長領域及び各位置において得られた複数の輝度のデータを、ある方向に基づいて各位置の輝度のデータを並べるように変換して処理させ、マハラノビスの距離を算出させるものである。
本発明においては、光の３原色となる波長領域に分離された画素を、さらに２次元の位置に分解させ、各波長領域及び各位置において得られた複数の輝度のデータに基づいてマハラノビスの距離を算出させる。したがって、カラー表示画面において、輝度に基づくパターン認識の方法を確立することができ、自動的に表示画面の良否を判断させて評価を行わせることができる。
【００３２】
【発明の実施の形態】
実施形態１．
図１は本発明の第１の実施の形態に係る画像処理装置を中心とするシステムの構成を示すブロック図である。図１において、１０は画像処理装置である。画像処理装置１０は、処理手段１、入力手段２、表示手段３及び記憶手段４で構成される。
【００３３】
１は処理手段である。処理手段１は、演算処理部分となるパネル画素取得部１Ａ、平均・標準偏差演算部１Ｂ、基準化値データ演算部１Ｃ、直交展開演算部１Ｄ、直交変数演算部１Ｅ、距離演算部１Ｆ、検査判断手段となる検査判断部１Ｇ、輝度値データ取得部１Ｈ及び表示処理部１Ｉで構成される。
【００３４】
パネル画素取得部１Ａは、表示パネル１００を構成する画素毎の基準の座標値となる中心の座標値を算出し、その値に基づいて表示パネル１００を撮像した画像から各画素の切り出しを行う。ここで切り出しとは、送信される輝度値のデータ（以下、これを輝度値データという）を画素毎に分け、必要なデータを選択（抽出）することである。平均・標準偏差演算部１Ｂは、輝度値データに基づいて、その平均値と標準偏差とを演算処理する。基準化値データ演算部１Ｃは、輝度値データ並びに平均・標準偏差演算部１Ｂが算出した平均値及び標準偏差に基づいて基準化値を算出し、データ（以下、これを基準化値データという）の作成処理をする。
【００３５】
直交展開演算部１Ｄは、サンプルのパネル画素による基準化値に基づいて直交展開を行い、後述する回帰係数、残差成分の値（以下、残差成分値という）及びその残差成分の分散に基づく値（以下、分散という）を算出し、これをデータとする。また、実際に表示パネル１００を検査する場合には、算出した回帰係数及び分散のデータを利用して、表示パネル１００に基づく基準化値データにより残差成分値を算出し、これをデータとする。直交変数演算部１Ｅは、直交展開演算部１Ｄが算出した残差成分値のデータに基づいて、直交変数の値（以下、直交変数値という）を算出し、これをデータとする。
【００３６】
距離演算部１Ｆは、直交変数値のデータに基づいて、表示パネル１００の各画素についてマハラノビスの距離（又はその平方距離。本明細書ではこれらを含めて距離という）を算出し、これをデータとする。検査判断部１Ｇは、距離演算部１Ｆが算出したマハラノビスの距離のデータに基づいて、画面（画素）の良否を判断する。輝度値データ取得部１Ｈは、カメラ２０から送信される信号に基づいて輝度値を判断し、輝度値データを作成する。また、表示処理部１Ｉは、算出した各種データを操作者が判断等を行いやすいように、表示手段３にグラフ、表等の形式で表示させるための処理を行い、表示信号を送信する。また、表示パネル１００を撮像した画像等を表示手段３に表示させるための処理を行う。処理手段１の各部の処理の詳細については後述する。また、ここでは特に図示はしないが、後述するように、撮像画素数を決定し、カメラ２０にその撮像画素で撮像させるための処理を行う部を設けるようにしてもよい。
【００３７】
入力手段２は、操作者が入力する指示、各種データ等を、例えば電気信号に変換して処理手段１に送信する。表示手段３は、表示処理部１Ｉからの表示信号に基づいて、検査結果その他操作者に示すデータ（情報）を記号、画像等で表示する。記憶手段４は、処理手段１が演算途中、演算後に算出したデータを一時的に又は長期的に記憶する。
【００３８】
２０は撮像手段となるカメラである。カメラ２０は、例えばＣＣＤ等の複数の受光素子で構成されており、各受光素子は受光量を、例えば電気信号に変換する。本実施の形態は、カラー画像の処理を行って表示パネル１００の良否判断を行うため、カメラ２０はカラー画像の撮像を行えるものとし、例えばダイクロイックミラー等により複数の波長領域の光（ここでは、光の３原色となる３種類の波長領域の光（赤、青、緑））に分離できるものとする。ダイクロイックミラーとは、特定の波長領域の光を抽出できるミラーである。したがって、モノクロに比べて３倍分の輝度値データを含む信号がカメラ２０から送信されることになる。信号は画像処理装置１の輝度値データ取得部１Ｈに送信され、輝度値データとして作成処理されるものとする。なお、処理手段１に信号を送信する際にインターフェイスとなる手段を介する場合もあるが、ここでは省略している。１００は被検査対象となる表示パネルである。実際には、パネル全体を撮像できないので複数回に分けて撮像することになるが、ここでは、撮像したパネルの部分を表示パネル１００ということにする。また、被検査対象である表示パネル１００は、図で用いている表示パネルはプロジェクタ用の液晶パネルであるが、特にこの種のぱねるに限定するものではなく、他の種類（例えばプラズマ、有機ＥＬ等）のパネル等でもよい。
【００３９】
本実施の形態は、表示パネル等のパネル画素単位での検査方法を確立したものである。そして、それを特にカラー表示がなされるパネルに適用しようとするものである。カメラ２０で撮像する際、人間の視力に基づく眼の分解能による画素数（本実施の形態では最終的にこの数の３倍がカメラ２０から送信される信号に含まれる輝度値データの数となる）での撮像を行う。そして、撮像した画像から画素毎に中心の座標値を算出した上で、輝度値データを選択してより正確に画素毎の輝度値データを得る。その輝度値データに基づいて演算を行い、特殊なパターン認識技術であるＭＴ（マハラノビス・タグチ）法に基づいてマハラノビスの距離をパネルを構成する画素毎に算出する。そして、そのマハラノビスの距離の分布に基づいて表示パネル（画面）の良否判断を行う。その際、算出して記憶手段４に記憶しておいた各画素の中心の座標値とマハラノビスの距離とを利用して判断する。ここで、画素毎では有効にマハラノビスの距離を算出できるだけの精度の輝度値データが得られなければ、複数画素を１組として処理する場合もある。
【００４０】
このように人間の眼の分解能を基準として、表示パネル１００を検査するために必要な輝度値データ数を決定することで、表示パネルの種類、方法等に依存しない基準を確立することができる。また、良画素を単位空間とするマハラノビスの距離の差を基準として、画素の良、不良の度合いを数値化し、不良画素の基準を増減することで良否判断を行うのではなく、良画素であるための基準を広狭して良否判断を行う。しかも、パネルを構成する各画素の中心の座標値を算出して画素毎の輝度値データを正確に選択し、その座標値とマハラノビスの距離を関連づけることにより、例えば、良画素の分布から外れた画素のパネル上における分布を把握することができ、シミ、むら等、大きさを有する面欠陥に対応することができる。
【００４１】
ここで、処理手段１を構成する各部をそれぞれ別個の手段（ハードウェア）として構成してもよいが、本実施の形態では、処理手段１を例えばＣＰＵ（Central Prosessing Unit）を中心とするコンピュータ等のような演算処理手段で構成するものとする。そして、各部の処理手順をあらかじめプログラム化したものを演算処理手段が実行し、そのプログラムに基づく処理を行うことで、上述した各部の機能を実現する。
【００４２】
また、本実施の形態では画像処理装置１の輝度値データ取得部１Ｈがカメラ２０から入力された信号に基づく輝度の判断処理を行っているが、別の装置にこの処理を行わせるようにしてもよい。また、平均・標準偏差演算部１Ｂは、マハラノビスの距離を算出する際の基準となる単位空間の作成時にしか用いない。
【００４３】
次に本実施の形態に係る画像処理の方法について説明する。その前段階として、表示パネル１００を検査するために必要なデータ数（つまり、表示パネル１００を撮像するカメラ２０の画素数）を決定する。以下、被検査対象である表示パネルが有する画素をパネル画素といい、表示パネル１００を直撮するカメラ２０が有するそれぞれの受光素子が表す画素を撮像画素という。
【００４４】
カメラ２０の撮像画素数決定に際しては人間の視力に注目する。その際には、視力検査の際に用いるランドルト氏環を用いる。このように計算した結果、人間の眼の分解能と同じ分解能で８５ｍｍ×５５ｍｍの表示パネルを検査する際、カメラ２０に必要な撮像画素数は約３８０万画素となる。複数回に分けて撮像する場合、これだけの画素数を撮像するための受光素子がカメラ２０に搭載されていなくてもよい。
【００４５】
ここで、本実施の形態では、１つのパネル画素を９×９（＝８１）の受光素子で受光できるようにする。したがって、輝度値データ取得部１Ｈにおいて、１つのパネル画素当たり８１×３＝２４３の輝度値のデータが得られる。このように、分解能及びパネル画素の大きさから、マハラノビスの距離を有効に算出するのに必要な輝度値データ数を確保することで、１つのパネル画素に注目することができる。ただ、基準とする範囲が小さかったり、分解能が低かったりした場合には、通常マハラノビスの距離を有効に算出するのに必要なデータ数を確保できるだけの範囲（大きさ。ここでは複数のパネル画素を基準とする）を確保したり、分解能を高めたり（ここでは視力の基準を上げる）する必要がある。
【００４６】
図２は表示パネル１００を表す図である。パネルを構成しているのがパネル画素である。図２（ａ）ではＸ方向（水平方向）及びＹ方向（垂直方向）にそれぞれ１２画素ずつのパネル画素が並んでいる。そして、図２（ｂ）では、各パネル画素の中心の座標値が２次元で与えられている。カメラ２０は、表示パネル１００を撮像する。カメラ２０では、ダイクロイックミラーで分離された、赤、緑、青を表す３種類の波長帯域の画像について、輝度値データを含む信号を送信する。
【００４７】
図３は赤、青、緑をそれぞれ構成する波長領域の光に分けた画像である。図３（ａ）、図３（ｂ）、図３（ｃ）は、それぞれ赤、青、緑の波長領域の輝度パターンを表している。以下、各画像をＲ画像、Ｇ画像、Ｂ画像とし、総称してＲＧＢ画像ということにする。本実施の形態では、それぞれの波長領域による輝度値データを用いるため、ダイクロイックミラーで、光の３原色である赤、青、緑の３つの波長領域を分離して得られる輝度値データをそのまま用いる。ここでＲ画像の輝度値データをＲデータ、Ｇ画像の輝度値データをＧデータ、そしてＢ画像の輝度値データをＢデータとする。
【００４８】
図４は各パネル画素の中心の座標値算出処理の方法を表す図である。次に撮像画像に基づいて各パネル画素の中心位置の座標を算出する。撮像画素とパネル画素とはピッチが違う（撮像画素のピッチがパネル画素の整数倍でない）ことから、撮像画像の全面において、パネル画素の中心と撮像画素とが必ず一致しているとは限らない。そこで、各パネル画素の中心位置の座標を算出し、その中心座標に最も近い撮像画素の上下及び左右４画素分ずつ（つまり９×９となる）をそのパネル画素を表す撮像画素とする。
【００４９】
ＲＧＢ画像は１つの撮像画像を波長帯域別に分離したものであり、各位置での輝度値の違いを除けばそのパターンは同じである。そこで、ここでは、例としてＲの画像を用いて中心座標を算出することにする。また、ＲＧＢ画像ではなく、図２のような波長領域を分離する前の画像に基づいて中心位置の座標を算出するようにしてもよい。
【００５０】
まず、図４（ａ）のように、典型的なパネル画素の輝度パターンを表すサンプル画像（ここでは、垂直方向及び水平方向にそれぞれ２つずつのパネル画素の画像とする）をあらかじめ設定しておき、表示パネル１００の撮像画像とのパターンマッチングを行う。同じ撮像画像であっても、それぞれの波長領域で輝度パターン（輝度値）が異なったりするので、サンプル画像は、用いる画像に応じた輝度パターン（ここではＲ画像を用いるのでＲの輝度パターン（Ｒデータ）に応じたもの）を有するものを用いるようにする。ここで、サンプル画像を４画素分の画像としたのは、例えば表示パネル１００とカメラ２０との傾きによって生じるθずれを判断できるようにするためである。θずれを起こしている場合には、各パネル画素の有効な切り出しを行うことができない。１画素分のサンプル画像ではパターンマッチングだけではθずれを判断することは困難であるから、４画素分でサンプル画像を構成し、θずれが生じていない又は許容できる範囲内の状態で有効な検査が行えるようにする。
【００５１】
パネル画素取得部１Ａは、パターンマッチングを行ってマッチングしたと判断できるポイントを、例えば１０ポイント判断した時点でパターンマッチングを中止する。図４（ｂ）で黒点を付した枠部分がマッチングしたものと判断したポイントである。ここで、サンプル画像を全く同じ輝度パターンでマッチングする画像はほとんどないと考えられるので、通常、あらかじめマッチングしたものと判断できる輝度パターンの範囲を任意に定めておくようにする。図４（ｂ）でマッチングしたと判断した部分について、マッチングの程度を高い順に並べたのが図４（ｃ）の表である。
【００５２】
そして、１０ポイントのそれぞれの座標値を用いて近似直線を算出する。ここで、座標値に基づく近似直線の算出方法としては、例えば最小二乗法等がある。ただ、特にこの方法に限定するものではない。パネル画素間のピッチは一定であるはずなので、最も左上にあるポイントを基点にして近似直線に基づいて各パネル画素の仮の中心座標の値を算出する。前述したようにパネル画素と撮像画素とのピッチ（間隔）が異なっている場合に、この座標をそのまま中心座標として決定してしまうとずれが生じる可能性が高いので、ここでは仮の中心座標としておき、さらに計算を行って中心座標を決定する。
【００５３】
図５は中心座標の座標値の算出方法の概念を表す図である。次に仮の中心座標を中心とした９×９の撮像画素の切り出しを行う。そして、パネル画素の中心部分が最も高輝度となる部分であると仮定した上で、水平方向及び垂直方向に対して、各輝度値に基づいて近似曲線を計算し、最大値を算出する。ここでは２次関数の近似曲線を計算し、最大値を算出するようにする。ただ、近似曲線として例えばベジエ曲線、スプライン曲線等の関数を利用してもよいし、特にこの方法に限定するものではない。算出した最大値について、近似直線を水平方向及び垂直方向に対して計算し、それらの直線の交点をそのパネル画素の中心座標とする。これを全てのパネル画素について行い、各パネル画素の中心座標を算出する。そして、算出した各パネル画素の中心座標を例えば記憶手段４に記憶しておく。
【００５４】
図６は切り出し位置の指定方法を表す図である。あらかじめ切り出し方向と切り出し位置とをファイルとして設定しておく。また、例えばプログラム等のような実行手順として設定してもよい。ここでは各パネル画素を９×９の撮像画素で表すものとし、パネル画素における撮像画素のそれぞれの位置（座標）を（１，１）、（１，２）、…、（９，９）で表すことにする。切り出し位置の指定は、例えば、画素中心位置（切り出し位置も含む）を“２”、切り出し位置を“１”切り出しを行わない位置を“０”とする。パネル画素取得部１Ａはこの設定に基づいて、各パネル画素の切り出しを行う。実際には、撮像画素による輝度は、エリアではなく点で与えられているので、中心座標から最も近い撮像画素（つまり、含まれるエリアにおける点）が画素中心位置となる。
【００５５】
ここで、図６（ａ）では、９×９の全ての画素の切り出しを指定していることになる。また、図６（ｂ）は、２、４、６、８行目の撮像画素以外の撮像画素について切り出しを行うように指定している。この切り出し方法及び切り出し位置の設定は非常に重要なものとなる。というのは、例えば、２次元でのパターン認識を考える場合には、通常、縦（ｙ方向）又は横（ｘ方向）からのアプローチが考えられるが、この方向の選択により、そのパターン認識の方向が確定され、検査に反映されることになるからである。本実施の形態では、図６（ａ）のように横方向（左側から右側）に全ての画素の切り出しを行うこととする。そして、Ｒ画像、Ｇ画像及びＢ画像からそれぞれ切り出し方向で設定された順に切り出しを行った各パネル画素の輝度値データを中心座標と対応させて記憶手段４に記憶しておく。ここで、本実施の形態では、全てのパネル画素について中心座標を算出した後で各パネル画素の切り出しを行ったが、中心座標算出の度に切り出しを行い、対応させて記憶手段４に記憶させるようにしてもよい。
【００５６】
図７は１つのパネル画素の輝度値の分布を３次元から２次元に展開した図である。図７（ａ）はＲ画像、Ｇ画像、Ｂ画像について、あらかじめ設定された切り出し方向に基づいて切り出した輝度値データ（Ｒデータ、Ｇデータ、Ｂデータ）を展開した図を表している。図７（ｂ）はそれらをＲデータ、Ｇデータ、Ｂデータの順に並べたものである（以下、Ｒ画像の（１，１）をＲ（１，１）、…、Ｂ画像の（９，９）をＢ（９，９）として表す）。このように、ｘ座標、ｙ座標、輝度値の３次元（項目）（位置関係としては２次元）として得られるデータを（ｘ座標，ｙ座標）と輝度値という２次元（位置関係としては１次元）のデータとして扱う（変換する）。ここではＲデータ、Ｇデータ、Ｂデータの順に並べているが、並べ方は特にこの順に限らない。また、位置及び輝度値を次元として扱ったが、位置、輝度値だけでなく、様々な項目（次元）を扱うこともできる。
【００５７】
このように、展開することによって３次元で表されていたデータを図７のように２次元で表す。次に各パネル画素について、サンプルで取得した画素群（単位空間）との間のマハラノビスの距離（Mahalanobis Distance）を算出する。ここで、マハラノビスの距離を算出する前に、まず、本実施の形態における単位空間の作成方法について説明する。
【００５８】
単位空間を形成する際の画素のサンプルとして、理想形状（任意に定めることができる）に近く、良画素と判断したパネル画素を選ぶ。事前に行ったパターンマッチングによりマッチングしたと判断したパネル画素を選択するようにしてもよい。本実施の形態では約１０００の良画素と判断したパネル画素に基づいて単位空間が形成されるものとする。ここで、本実施の形態では輝度が最も高くなる電圧における輝度値データを単位空間の計算のためのデータとして取得する。また、ある電圧（輝度）については良好であっても、他の電圧では不良となる画面がある。従来は、電圧の違いによっても良否判断が異なることもあったが、ここでは、同じ電圧の良画素との違いをみることになるので、同じ単位空間を利用した各電圧での良画素のマハラノビスの距離を把握しておくことで、同一空間、同一方法での良否判断を行うことができる。
【００５９】
サンプルとなるパネル画素について取得した輝度値データについて、平均・標準偏差演算部１Ｂは、パネル画素毎に平均値と標準偏差を算出する。算出した平均値及び標準偏差に基づいて、基準化値データ演算部１Ｃは、各パネル画素の各撮像画素の輝度値のデータについて基準化値を算出して基準化値データとする。具体的には輝度値と平均値との差を標準偏差で割った値が基準価値となる。これにより、全ての輝度値のデータを１を中心として均等に分布する基準化値データに変換することができる。
【００６０】
直交展開演算部１Ｄは、基準化値データに基づいて、例えば、Ｒ（１，２）の基準化値の残差成分値を、Ｒ（１，２）の基準化値、Ｒ（１，１）の残差成分値及び回帰係数で表す。また、Ｒ（１，３）の基準化値の残差成分値を、Ｒ（１，３）の基準化値、Ｒ（１，１）の残差成分値、Ｒ（１，２）の残差成分値及びそれぞれの回帰係数で表す。また、Ｇ（１，１）の基準化値の残差成分値を、Ｇ（１，１）の基準化値、Ｒ（１，１）、…、Ｒ（９，９）の残差成分値及びそれぞれの回帰係数で表す。これを本実施の形態ではＲ（１，１）、…、Ｒ（１，９）、Ｒ（２，１）、…の順にＢ（９，９）まで行う。ここでＲ（１，１）については、残差成分値は基準化値と同じになる。残差成分とは、ある項目（ここでは、Ｒ（１，２）の輝度値とする）のある（パネル画素の）基準化値の成分のうち、それ以前の項目（ここでは、Ｒ（１，１）の輝度値となる）と独立する（直交する）成分のことである。つまり、それ以前の項目の残差成分と関係する部分（回帰部分）を除き、それらで表せない成分がそのパネル画素のその項目（位置）での残差成分となる。また、ある項目での回帰係数は、その項目の基準化値、それ以前の項目の残差成分値、それ以前の項目の残差成分の分散により算出される係数である。分散はサンプルにおいて算出された残差成分の自乗の和に基づいて算出される値である。これを繰り返していくと、例えばＲ（９，９）の残差成分値は、Ｒ（１，１）、…、Ｒ（９，８）の残差成分値によって表されることになる。ここで、本実施の形態ではＲ（１，１）、…、Ｒ（９，９）、Ｇ（１，１）、…の順に行っているが、順序を変えて行っても最終的には同じ結果（マハラノビスの距離）が得られると考えられる。したがって、マハラノビスの距離に影響を与える重要項目（例えば位置）順に回帰係数及び分散を確定することもできる。
【００６１】
次に実際に表示パネル１００の検査に基づく輝度値データの処理について説明する。カメラ２０から送信された信号に基づいて、輝度値データ取得部１Ｈは輝度値データを取得する。本実施の形態では、全てのパネル画素において９×９の輝度値データが取得できるものとして説明する。ここで、単位空間を構成するサンプルのパネル画素を９×９の撮像画素分の輝度値データに基づいて算出したので、演算の関係上、検査を行う場合も表示パネル１００のパネル画素につき同じ撮像画素数にする方が都合がよい。例えば、表示パネル１００のパネル画素ピッチがサンプルの画素ピッチと異なる場合や、それによって表示される投影面のサイズが異なる場合には、カメラ２０と表示パネル１００との間の距離を変更することにより、パネル画素につき９×９の撮像画素数の関係と人間の眼の分解能の関係を保つようにする。
【００６２】
直交展開演算部１Ｄは、回帰係数及び分散に基づいて表示パネル１００の各輝度値データに基づく残差成分値を算出する。そして、直交変数演算部１Ｅは、直交展開演算部１Ｄが算出した残差成分値及び分散に基づいて直交変数を算出する。具体的には残差成分値を分散の平方根で割った値が直交変数値となる。
【００６３】
距離演算部１Ｆは、算出した直交変数値に基づいてパネル画素のマハラノビスの距離（Ｄ2 ）を算出し、データとする。これを全てのパネル画素について行う。具体的には各直交変数値の自乗の和を項目数（本実施の形態では２４３となる）で割ったものがマハラノビスの距離となる。なお、ここで、単位空間を構成するサンプルの輝度値（基準化値）のデータに基づいて算出したマハラノビスの距離の平均は、理論的には１となる。
【００６４】
図８は算出したマハラノビスの距離を縦軸とし、輝度値を横軸としたグラフである。ここで、前述したように、サンプルは輝度値が最も高い位置に分布している。例えば、表示パネル等では印加する電圧によって表示階調を調節している。そのため、印加する電圧によって表示階調（輝度値）には違いが生ずるが、画素の形状、大きさや得られる輝度値データ数に違いがなければ、印加する電圧に関わらず、新たな単位空間を作成しなくてもマハラノビスの距離算出により、その電圧における基準を作り出し、検査（評価）を行うことができる。これにより、最も時間と手間が費やされる単位空間作成をあらためて行う必要がない。また、複数の電圧とその電圧に対するマハラノビスの距離を算出することにより、電圧とその電圧に対するマハラノビスの距離との関係を補完して導き出すことができる。ここではサンプルによる分布を単位空間という。サンプルのマハラノビスの距離の距離は１前後となり、その平均は前述したように１である。したがって本実施の形態では分布の距離を１とする。
【００６５】
ここで、図８はマハラノビスの距離と輝度を次元とした２次元のグラフで構成しているが、良否判断は、実際にはマハラノビスの距離に基づいてのみ行われる。図８に示すように、印加する電圧によって同じ表示パネル１００でもマハラノビスの距離が異なる。また、表示パネルに表示する画像（輝度値）によっても異なる。また、パネルの種類によっても異なる。条件が異なれば単位空間とのマハラノビスの距離も異なる。ここで重要なことは、被検査対象の画面の良否は、単位空間と間の距離差ではなく、同条件における良画素（又はその分布）が基準となり、それとの距離差によって判断されるということである。
【００６６】
したがって、実際には被検査対象を検査する前段階で、検査で用いられる条件での良画素のサンプルについて単位空間とのマハラノビスの距離（良画素の分布）を算出しておいてから検査を行い、同条件での良画素（分布）との距離差に基づいた判断を行う。良否の判断基準となる距離差の値については任意に定めることができる。
【００６７】
図９は良画素及び不良画素のマハラノビスの距離の分布を表す図である。検査判断部１Ｇは、各パネル画素について算出したマハラノビスの距離に基づいて表示パネル１００の良否を判断する。図８に示すように、点欠陥、シミ、むら等の欠陥ではその現れ方が異なるが、マハラノビスの距離だけで良画素との比較を行い、良否を判断することができる。また、検査条件が異なったとしてもマハラノビスの距離による算出方法は同じであり、同条件の良画素との距離差により良否を判断することができる。良否判断を行うための数値等の算出方法については、例えば、不良のパネル画素の各中心座標に基づいて、各パネル画素間の距離を求めた上で分散等を算出する方法等、様々な方法が考えられる。また、良否判断の基準となる閾値は、パネルの種類、要求されるグレード（品質の高さ）によって任意に定めることができる。
【００６８】
また、例えば、シミ、むらのような複数の不良のパネル画素が密集して生じる欠陥の場合、各パネル画素は、良画素との距離差よりもパネル画素の密集の程度が問題となる。例えば、本実施の形態では、各パネル画素の中心座標とマハラノビスの距離とが関連づけて記憶手段４に記憶されている。そこで、不良と判断した（良画素の分布中にはない）パネル画素の中心座標に基づいて、検査判断部１Ｇはそれらのパネル画素がある範囲内に一定数以上存在しているものと判断すれば、表示パネル１００が不良であると判断する。
【００６９】
表示処理部１Ｉは、距離演算部１Ｆが算出したマハラノビスの距離に基づいて、表示処理を行い、例えば図９のようなグラフを表示手段３に表示させる。また、検査判断部１Ｇの判断に基づいた表示処理を行い、判断結果を表示手段３に表示させる。また、他の部が処理した処理結果に基づいて表示手段３に表示させるようにしてもよい。
【００７０】
以上のように第１の実施の形態によれば、人間の眼の分解能に基づいて処理すべき輝度値データのデータ数（量）を算出するようにしたので、被検査対象となるパネルの種類に関係なく、人間の目の分解能に基づいた検査を行うことができる。また、パネル画素取得部１Ａが、各パネル画素の中心の座標値を算出し、その座標値に基づいて、各画素の切り出しを行うようにしたので、また、この中心の座標値と算出した各パネル画素のマハラノビスの距離と関連づけておくことで、シミ、むら等の欠陥の発見を行う際に役立てることができる。そして、距離演算部１Ｆがパネル画素毎にマハラノビスの距離を算出するようにし、検査判断部１Ｇが距離差に基づいた画面（画素）の良否判断を行うようにしたので、良否判断の基準をマハラノビスの距離だけの数値にすることができ、良画素を基準とする判断を行うことができる。そのため、良画素との距離差により不良の度合いを数値化することができ、各装置（製品）のグレード（品質）も判断することができ、ランク分けを行うこともできる。特に、カラー表示画面において、赤、青、緑の３つの波長領域に分けた輝度値データにより、マハラノビスの距離を算出するようにしたので、カラー表示画面の評価を適切に行うことができる。特にそれぞれの波長領域の輝度値データを１つに結合して、１つの画素について１つのマハラノビスの距離での評価（判断）を行うことができ、評価しやすくなる。もちろん、赤、青、緑のそれぞれについてマハラノビスの距離を算出し、評価を行うこともできる。この場合には、どの色により不良画素となったかを判断することもできる。
【００７１】
実施形態２．
図１０は選択したパネル画素と撮像画像との関係を表す図である。上述の実施の形態では、検査判断部１Ｇだけが良否判断を判断するようにした。本実施の形態では、検査判断部１Ｇだけでなく、作業者が良否判断をする際の支援を行えるようにしたものである。そのため、表示処理部１Ｉがグラフ表示等、作業者が視覚的に判断しやすいような表示を行うための表示処理をする。例えば、図８のようなマハラノビスの距離のグラフ及び図２のような撮像画像を表示手段３に表示させ、グラフ上にプロットされた任意の点を１又は複数選択できるようにして、選択した点が、撮像画像中のどこに位置する点であるかを表示するため、選択した点にに対応するパネル画素を他と識別できるように撮像画像中に表示するようにしたものである。図１０では、選択した点は、パネル画素上に黒点を重ねて表示し、選択した点を識別するようにしている。これにより、作業者は例えば不良と判断されたパネル画素の位置を認識することができるので、その分布を把握することができ、特にシミ、むら等の欠陥の発見を容易に行うことができる。
【００７２】
また、２次元で表される各パネル画素の中心座標及びマハラノビスの距離に基づいて、表示パネル１００における各パネル画素の位置とマハラノビスの距離の関係を３次元のグラフとして表示手段３に表示させるための処理を表示処理部１Ｉに行わせるようにしてもよい。
【００７３】
実施形態３．
上述の第１の実施の形態では、演算量を少なくするために、マハラノビス・タグチ・シュミット（ＭＴＳ）と呼ばれる、シュミットの直交展開を利用したマハラノビスの距離の算出方法を用いた。本発明はこれに限定されるものではなく、相関行列及びその逆行列を算出し、その要素及び基準化値に基づいてマハラノビスの距離を算出するようにしてもよい。この方法では、撮像画素間の相関係数を算出することになるので相関関係を把握しやすいという利点がある。
【００７４】
実施形態４．
上述の実施の形態は被検査対象物である表示パネル１００をカメラ２０で撮像し、マハラノビスの距離を算出して良否判断を行った。本発明ではこれに限定されるものではなく、被検査対象が発生させる物理量を色の変化として表すことができれば、様々な被検査対象の検査をマハラノビスの距離を利用して行うことができる。また、この方法を応用すれば、逆にカメラ２０のようなカラー撮像手段の撮像画素の検査も、マハラノビスの距離を利用して行うこともできる。さらに、撮像手段だけでなく、サーモグラフィを利用した温度センサをはじめ、音響センサ等の手段についても、例えばセンシング状態を画像化し、検査することもできる。
【図面の簡単な説明】
【図１】画像処理装置を中心とするシステムの構成図である。
【図２】表示パネル１００を撮像した図である。
【図３】赤、青、緑を構成する波長領域の光に分けた画像である。
【図４】各パネル画素の中心座標算出処理の概念を表す図である。
【図５】中心座標の座標値の算出方法の概念を表す図である。
【図６】切り出し位置の指定方法を表す図である。
【図７】１つのパネル画素の輝度値の分布を２次元に展開した図である。
【図８】マハラノビスの距離と輝度値のグラフである。
【図９】良画素及び不良画素の距離の分布を表す図である。
【図１０】選択したパネル画素と撮像画像との関係を表す図である。
【符号の説明】
１ 処理手段、１Ａ パネル画素取得部、１Ｂ 平均・標準偏差演算部、１Ｃ基準化値データ演算部、１Ｄ 直交展開演算部、１Ｅ 直交変数演算部、１Ｆ距離演算部、１Ｇ 検査判断部、１Ｈ 輝度値データ取得部、１Ｉ 表示処理部、２ 入力手段、３ 表示手段、４ 記憶手段、１０ 画像処理装置、２０ カメラ、１００ 表示パネル[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to image processing for inspecting, for example, the presence or absence of a defect occurring on a display screen of an inspection target. In particular, it is intended to be applied to a display screen of full color or the like.
[0002]
[Prior art]
Currently, there are various types of display devices such as liquid crystal panels. The display part of each display device is composed of a group of pixels. Here, if the amount of light emission in each pixel is balanced, the display screen is uniform. However, since it is actually difficult to perform quality control over the entire pixels, it is difficult to balance all the pixels in the display portion. If the balance of the amount of light emission is lost, surface defects such as point defects, spots, unevenness, and the like (hereinafter referred to as defects) generated on the screen will be caused. Naturally, the probability of occurrence of a defect increases as the number of pixels increases (the larger the screen becomes). Further, when a display portion is enlarged and projected (pixels are also enlarged) as in a projector or the like, the generated defect is easily reflected on human eyes.
[0003]
Usually, before a display device is shipped as a product, an inspection is performed to determine whether a panel, which is a display portion, is good or bad (hereinafter referred to as good or bad judgment). Conventionally, the inspector has judged the quality of the panel by directly viewing the panel or visually observing a display screen on which the panel is projected. However, there are individual differences in the criteria for determining whether or not a defect has occurred by the inspector, and the same inspector may make a difference depending on the situation (physical condition, etc.) at that time. Therefore, an apparatus for objectively and automatically detecting the presence or absence of such a defect and making a quality judgment has been proposed (for example, see Patent Document 1).
[0004]
[Patent Document 1]
JP-A-11-257937
[0005]
[Problems to be solved by the invention]
However, the criterion of the inspection for judging the quality of the screen differs depending on the type of display device (panel) (for example, plasma, organic EL, etc.), the display method, and the like. The criterion is also different depending on the display gradation of the pixel. As described above, since the criterion is different depending on the type of the display device and the difference in the display status even for the same display device, the method of the determination process is also different each time, which is inconvenient. In addition, these criteria are based on what a defective screen (pixel) is, and an inspection (judgment) item is added according to the stricter criteria every day. There was a tendency to become. In addition, the size, the luminance difference from the surroundings, and the like vary depending on the defect, and it is important for the judgment to be able to grasp these. Particularly in the case of a color image, the color due to color mixture is added as an element, and the image becomes more complicated.
[0006]
The present invention has been made in order to solve such a problem, and has provided a display device (type of panel), an image processing method capable of performing inspection without performing a process depending on a difference in display status, and the like. The purpose is to obtain. In particular, it seeks to establish an inspection for a color display screen.
[0007]
[Means for Solving the Problems]
An image processing method according to the present invention includes a step of calculating a reference coordinate value of each pixel constituting a display screen based on an image of a display screen to be inspected, based on the reference coordinate value. And selecting the luminance data of the pixels determined to be good and processing the selected luminance data to create a unit space for calculating the Mahalanobis distance.
In the present invention, it is possible to prevent a decrease in accuracy in inspection in a pixel unit due to a mismatch between an interval (pitch) of the light receiving elements in the imaging unit or an integer multiple thereof and an interval between pixels to be inspected, and to divide the pixel as accurately as possible for each pixel. First, a coordinate value serving as a reference for each pixel is calculated so that the cutout can be performed. Then, for a good pixel determined to be close to an ideal luminance pattern found by a method such as pattern matching performed when calculating a reference coordinate value, for example, a luminance value obtained by imaging the pixel portion is obtained. Select data. In some cases, a part of all data is selected. The method of selecting some data is arbitrary, but it is necessary to select the same part of data for each pixel. Then, the selected luminance data is processed to create a unit space for calculating the Mahalanobis distance. Therefore, even if the pixel pitch of the image pickup means or a multiple thereof is shifted from the pixel pitch of the display screen, the luminance data of each pixel can be accurately cut out (selected) from the image of the display screen. Therefore, a unit space serving as a criterion for judging the quality of a pixel can be created based on a pixel close to an ideal shape, and an evaluation test of a display screen can be effectively performed in a unit of a pixel.
[0008]
Further, the image processing method according to the present invention includes a step of calculating a reference coordinate value of each pixel constituting the display screen based on an image of the display screen to be inspected, and a reference coordinate value. Selecting the luminance data of each pixel, calculating the Mahalanobis distance for each pixel by processing the selected luminance data, based on the coordinates of the Mahalanobis distance and the center position of each pixel. Evaluating the display screen.
According to the present invention, it is possible to prevent a decrease in inspection accuracy for each pixel due to a mismatch between an interval (pitch) of the light receiving elements in the imaging unit or an integer multiple thereof and an interval between pixels to be inspected, and to divide each pixel as accurately as possible. First, a coordinate value serving as a reference for each pixel is calculated so that the image can be cut out. Then, based on the reference coordinate value, luminance data obtained by imaging the pixel portion is selected. In some cases, a part of all data is selected. Then, the selected luminance data is processed, the Mahalanobis distance is calculated, the quality of the pixel is determined based on the Mahalanobis distance and the coordinates of the center position of each pixel, and the display screen is evaluated. Therefore, even if the pixel pitch in the imaging unit or its integer multiple is shifted from the pixel pitch in the display screen, the luminance data of each pixel can be accurately cut out (selected) from the image on the display screen, An evaluation test of the display screen can be effectively performed in units of pixels. In addition, since the reference coordinate value is calculated, the correspondence between the distance of the Mahalanobis and the position of the pixel can be grasped. For example, the correspondence is generated on the display screen from the state of collection of the pixels constituting the distance. Surface defects such as spots and unevenness can be effectively determined.
[0009]
Further, the image processing method according to the present invention further includes a step of, after selecting luminance data of each pixel, storing a coordinate value serving as a reference and the selected luminance data in association with each pixel.
In the present invention, the positional relationship between pixels on the display screen and the luminance of the pixels are stored in association with each other. Therefore, it is easy to associate the Mahalanobis distance calculated based on the luminance data with the reference coordinate value.
[0010]
In the image processing method according to the present invention, the step of calculating a reference coordinate value includes pattern matching, and a step of detecting a predetermined number of pixels determined to match a predetermined pattern. Tentatively determining luminance data representing each pixel based on an approximate straight line calculated based on the detected pixels, and based on the tentatively determined luminance data representing each pixel, the luminance of each row and each column is determined. Calculating a maximum coordinate, calculating an approximate straight line in the row direction and the column direction based on the calculated coordinate, and setting the coordinate value of the intersection to the coordinate value of the center of the pixel as a reference coordinate value; Consists of
In the present invention, when calculating a reference coordinate value of each pixel configuring a captured display screen, when a set number of matching values determined by performing pattern matching are detected, the reference coordinate value is determined. , An approximate straight line is calculated, and the reference coordinate value of each pixel is temporarily determined. Then, based on the assumption that the center of the pixel has the highest brightness, the coordinates at which the brightness of each row and each column is the highest are calculated, an approximate straight line is calculated, and the intersection is defined as the center serving as the reference coordinate value. Is the coordinate value of. Therefore, a more accurate reference coordinate value can be calculated, and by selecting luminance data again from the reference coordinate value, each pixel portion can be more accurately cut out (selected).
[0011]
Further, the image processing method according to the present invention performs a process of displaying a relationship between a position of a pixel on a display screen and a distance of a Mahalanobis corresponding to the pixel on a display device.
In the present invention, in order to assist the evaluation of the display screen inspection by the operator, for example, a graph of the distance of Mahalanobis and an image of the display screen are displayed on a display device, and an image corresponding to a selected point on the graph is displayed. Visual processing for distinguishing and displaying the middle pixel is performed. Therefore, the operator can easily evaluate the display screen.
[0012]
Further, the image processing method according to the present invention creates an image divided for each wavelength band that is the three primary colors of light based on an image obtained by capturing a display screen, and calculates a luminance value from each image divided for each wavelength band. Select and process data.
In the present invention, in particular, in order to process a screen displayed in color, based on an image obtained by capturing the display screen, an image divided for each wavelength band that is the three primary colors of light is created, and each image divided for each wavelength band is created. The luminance data is selected from the image and processed. Therefore, a method of pattern recognition based on luminance can be established on a color display screen, and the quality of the display screen can be automatically determined and evaluated. In particular, the luminance data obtained from the images divided for each wavelength band can be collectively processed at a time to calculate the distance of one Mahalanobis, which facilitates the evaluation.
[0013]
Further, the image processing method according to the present invention is the image processing method for evaluating a display screen to be inspected, wherein the light emitted from each pixel of the display screen is divided into a plurality of wavelength regions when the respective luminances are divided. Is processed to calculate the Mahalanobis distance to determine the quality of the display screen.
In the present invention, for example, the processing screen such as a computer divides the display screen into a plurality of wavelength regions, calculates the Mahalanobis distance for each pixel based on the obtained data, and calculates, for example, good pixels in advance. The quality of the screen is determined based on the distance difference between the Mahalanobis distances. Thereby, based on the luminance data separated into a plurality of wavelength regions, the criterion of the quality of the pixel can be finally determined only by the Mahalanobis distance. Further, by setting the comparison target of the distance as a sample of a predetermined good pixel, the quality of the pixel can be determined based on the good pixel, and the quality of the screen can be automatically determined. In addition, the grade (quality) of the display screen can be determined and inspected based on the distribution of Mahalanobis distances. In addition, for example, a sensor for measuring physical quantities such as sound, light, and temperature can be applied to a display screen in which data obtained by physical quantities such as sound, light, and temperature are image-processed and displayed. For example, an inspection based on a non-defective product can be performed.
[0014]
Further, the image processing method according to the present invention separates a pixel into wavelength regions of three primary colors of light, further decomposes the pixels into two-dimensional positions, and converts a plurality of pieces of luminance data obtained in each wavelength region and each position. The luminance data at each position is converted and arranged based on a certain direction and processed to calculate the Mahalanobis distance.
In the present invention, the pixels are separated into wavelength regions that become three primary colors of light, and further decomposed into two-dimensional positions. Based on a plurality of luminance data obtained in each wavelength region and each position, Mahalanobis' Calculate the distance. Therefore, a method of pattern recognition based on luminance can be established on a color display screen, and the quality of the display screen can be automatically determined and evaluated.
[0015]
Further, the image processing method according to the present invention creates a unit space for calculating a Mahalanobis distance using a plurality of pixels determined as good pixels as a sample.
In the present invention, since a good pixel is used as a reference, a unit space is created by using a pixel determined to be good as a sample. Accordingly, the quality of the pixel can be determined based on the difference in the Mahalanobis distance from the good pixel.
[0016]
Further, the image processing method according to the present invention decomposes a reference range for performing image processing, and further processes the luminance data obtained by separating light into a plurality of wavelength regions in an arbitrarily selected order, It calculates the distance of Mahalanobis.
In the present invention, all or a part of the data obtained by decomposing the reference range is subjected to a desired pattern recognition by a range and a decomposition number at which a data amount at which the Mahalanobis distance can be practically applied is obtained. Are performed arbitrarily, and processing is performed in the selected order, thereby performing pattern recognition with a desired directionality and calculating the Mahalanobis distance. Thereby, when performing Mahalanobis distance by performing image processing, it is possible to determine (characterize) the directionality of pattern recognition.
[0017]
Further, the image processing method according to the present invention calculates the position of the center of the reference range.
In the present invention, the position of the center of the reference range is calculated so that the processing of the reference range portion can be accurately performed from the entire image and the position of the reference range in the entire image can be specified. Therefore, the accuracy of the Mahalanobis distance in the reference range can be improved.
[0018]
Further, the image processing method according to the present invention cuts out (selects) a reference range based on the resolution of the human eye.
In the present invention, for example, in order to calculate the Mahalanobis distance by performing image processing according to the human eye, cutout (selection) is performed at the resolution of the human eye. Therefore, a reference range is cut out (selected) based on the resolution of the human eye. Therefore, image processing can be performed with an accuracy that matches the human eye.
[0019]
Further, in the image processing method according to the present invention, a pixel which is a structural unit of a screen is set as a reference range.
In the present invention, image processing is performed using pixels as a reference range. Therefore, it is possible to establish image processing in units of pixels constituting a screen.
[0020]
Further, an image processing apparatus according to the present invention is an image processing apparatus for processing data obtained by capturing an image of a screen displayed on an object to be inspected by an imaging unit and inspecting a quality of a display screen of the object to be inspected. In, a coordinate value serving as a reference is calculated as data for each pixel constituting a screen to be inspected, a pixel acquisition unit for selecting necessary data, an average value of data obtained in advance by a sample of good pixels, and Based on the standard deviation, a standardized value data calculating unit that calculates a standardized value obtained by standardizing the data selected by the pixel obtaining unit as data, and for each pixel configuring a screen to be inspected based on the standardized value. A distance calculating means for calculating the Mahalanobis distance as data; and a good screen displayed on the object to be inspected based on the coordinate value data serving as a reference for each pixel and the Mahalanobis distance data. It is obtained by a test determining means for determining.
In the present invention, the pixel acquisition unit calculates a reference coordinate value for each pixel constituting the screen to be inspected, and then selects data necessary for performing evaluation in units of pixels. This data is, for example, luminance data, but when a pixel is represented by a plurality of luminance data, all of the luminance data may be selected, or only a part of the luminance data may be selected. Good. The standardized value data calculation means standardizes the selected data. The distance calculating means calculates the Mahalanobis distance for each pixel based on the standardized value data standardized by the standardized value data calculating means. Therefore, the criterion of the quality of the pixel can be finally determined only by the Mahalanobis distance. In addition, after determining the reference coordinate value by the image acquisition means, the necessary data is selected again, so that the necessary data of each pixel can be accurately selected, and the accuracy of the Mahalanobis distance can be improved. Can be enhanced.
[0021]
Further, the image processing apparatus according to the present invention, by standardizing data obtained in advance by samples of good pixels, calculates an inverse matrix of a correlation matrix based on the correlation of each data, the distance calculation means, the inverse matrix The Mahalanobis distance is calculated on the basis of each element and the standardized value.
In the present invention, the correlation of each data is calculated in the process of calculating the unit space based on the sample, and the correlation matrix based on the correlation and the inverse matrix are calculated. The distance calculation means calculates the Mahalanobis distance based on each element of the inverse matrix and the normalized value. Accordingly, since the correlation is calculated in the process of calculating the inverse matrix, it is easy to grasp the correlation between data.
[0022]
Further, the image processing apparatus according to the present invention further includes orthogonal expansion operation means and orthogonal variable operation means, standardizes data obtained in advance by samples of good pixels, and uses Schmidt's orthogonal expansion for A value based on the variance of the regression coefficient and the residual component is calculated based on the value of the residual component, and the orthogonal expansion calculating unit calculates the value of the residual component calculated with respect to the data obtained by the imaging unit based on the normalized value data. Is calculated as data, the orthogonal variable calculation means calculates the value of the orthogonal variable as data based on the value of the residual component calculated by the orthogonal expansion calculation means and the value based on the variance, and the distance calculation means calculates the value of the orthogonal variable. The distance of Mahalanobis is calculated based on the data.
In the present invention, the orthogonal expansion calculating means calculates the value of the residual component based on the scaled value data. The orthogonal variable calculating means calculates the value of the orthogonal variable based on the value of the residual component and the value based on the variance. The distance calculating means calculates the Mahalanobis distance based on the data of the values of the orthogonal variables. As a result, it is possible to reduce the amount of calculation for calculating the Mahalanobis distance and the amount of storage (memory) for temporarily storing the calculated value at that time. In addition, when calculating the variance of the regression coefficient and the residual component, by calculating in order of the items that affect the Mahalanobis distance, the value of the residual component, the value of the orthogonal variable, or the Mahalanobis distance is calculated. Alternatively, the calculation may be rounded up to give priority to the distance calculation speed (the time required to determine the quality).
[0023]
Further, the image processing device according to the present invention determines the data amount of data obtained by imaging by the imaging unit based on the resolution of the human eye.
In the present invention, after determining the data amount (the number of pixels of the imaging unit) for imaging the inspection target with the same resolution as the visual angle (resolution) at which the human eye can determine a difference in luminance or the like, and thereafter, Let the means do the processing. Thereby, the inspection based on the resolution of the human eye can be performed regardless of the type of the inspection target.
[0024]
Further, the pixel acquiring means of the image processing apparatus according to the present invention causes the storage device to store the reference coordinate value data and the selected necessary data in association with each pixel.
In the present invention, the pixel acquiring unit associates the data of the reference coordinate value with the selected data required for calculating the Mahalanobis distance and stores the data in the storage device in association with each pixel. Therefore, it is easy to associate the Mahalanobis distance calculated based on the data with the reference coordinate value.
[0025]
Further, the image processing apparatus according to the present invention provides a method for generating luminance value data based on a signal transmitted from an imaging unit that images a screen displayed on an object to be inspected and representing luminance separated into wavelength regions serving as three primary colors of light. Is further provided.
According to the present invention, there is provided a brightness value data acquisition unit capable of processing a brightness signal separated into wavelength regions serving as three primary colors of light as brightness value data. Therefore, it is possible to perform the inspection by the image processing apparatus alone and the inspection in real time.
[0026]
Further, the image processing device according to the present invention performs a process for displaying a graph representing the relationship between the unit space and the calculated Mahalanobis distance for each pixel and an image of the display screen on the display device, and the selected image is displayed. The image processing apparatus further includes display processing means for performing processing for distinguishing and displaying pixels in an image corresponding to the points on the display device based on the points on the graph.
In the present invention, in order to assist the evaluation of the display screen inspection by the operator, the display processing means displays an image of the Mahalanobis distance graph and the captured image of the display screen on the display device, and the selected point on the graph Pixels in the corresponding image are distinguished and displayed. Therefore, the operator can easily visually evaluate the display screen.
[0027]
Further, the program of the image processing method according to the present invention calculates a reference coordinate value of each pixel constituting the display screen based on an image of the display screen to be inspected, and sets the reference coordinate value. And causing the computer to perform a step of causing the computer to select luminance data representing a pixel determined to be good and to process the selected luminance data to create a unit space for calculating the Mahalanobis distance.
In the present invention, it is possible to prevent a decrease in accuracy in inspection in a pixel unit due to a mismatch between an interval (pitch) of the light receiving elements in the imaging unit or an integer multiple thereof and an interval between pixels to be inspected, and to divide the pixel as accurately as possible for each pixel. The computer is caused to calculate a reference coordinate value of each pixel based on an image obtained by capturing the display screen to be inspected so that the image can be cut out. Then, for a good pixel determined to be close to the ideal luminance pattern found by a method such as pattern matching performed when calculating a reference coordinate value, for example, luminance data obtained by imaging the pixel portion is obtained. Let me choose. In some cases, a part of all data is selected. The method of selecting some data is arbitrary, but it is necessary to select the same part of data for each pixel. Then, the selected luminance data is processed, and a unit space for calculating the Mahalanobis distance is created. Therefore, even if the pixel pitch of the imaging unit or its integer multiple is shifted from the pixel pitch of the display screen, the luminance data of each pixel can be accurately cut out (selected) from the image of the display screen. Therefore, a unit space serving as a criterion for judging the quality of a pixel can be created based on a pixel close to an ideal shape, and an evaluation test of a display screen can be effectively performed in a unit of a pixel.
[0028]
Further, the program of the image processing method according to the present invention calculates a reference coordinate value of each pixel constituting the display screen based on an image of the display screen to be inspected, and sets the reference coordinate value. Based on the luminance data of each pixel is selected, the data of the selected luminance is processed, the Mahalanobis distance is calculated for each pixel, and the display is performed based on the coordinates of the Mahalanobis distance and the center position of each pixel. The computer is caused to perform a step of evaluating the screen.
According to the present invention, it is possible to prevent a decrease in inspection accuracy for each pixel due to a mismatch between an interval (pitch) of the light receiving elements in the imaging unit or an integer multiple thereof and an interval between pixels to be inspected, and to divide each pixel as accurately as possible. The computer is configured to calculate a reference coordinate value of each pixel based on an image obtained by capturing the display screen to be inspected so that the image can be cut out. Then, on the basis of the reference coordinate value, the user is caused to select luminance data obtained by imaging the pixel portion. In some cases, a part of the data is selected. Then, the selected luminance data is processed, the Mahalanobis distance is calculated, the quality of the pixel is determined based on the Mahalanobis distance and the coordinates of the center position of each pixel, and the display screen is evaluated. Therefore, even if a difference between the pixel pitch in the imaging means or an integer multiple thereof and the pixel pitch on the display screen occurs, it is possible to accurately cut out (select) the luminance data of each pixel from the image on the display screen, An evaluation test of the display screen can be effectively performed in units of pixels. In addition, since the reference coordinate value is calculated, the correspondence between the distance of the Mahalanobis and the position of the pixel can be grasped. For example, the correspondence is generated on the display screen from the state of collection of pixels constituting the distance. Surface defects such as spots and unevenness can be effectively determined.
[0029]
Further, the program of the image processing method according to the present invention causes the computer to further perform a step of displaying, on a display device, a relationship between a position of a pixel on a display screen and a distance of a Mahalanobis corresponding to the pixel.
In the present invention, in order to assist the evaluation of the display screen inspection by the operator, for example, a graph of the distance of Mahalanobis and an image of the display screen are displayed on a display device, and an image corresponding to a selected point on the graph is displayed. The computer is made to perform a visual process for distinguishing and displaying the pixels inside. Therefore, the operator can easily evaluate the display screen based on the displayed graph and the like.
[0030]
Further, the program of the image processing method according to the present invention is an image processing method for processing data obtained by imaging the screen displayed on the inspection target by the imaging unit and inspecting the quality of the display screen of the inspection target. In the program of the processing method, the light emitted from each pixel of the display screen is processed by the data of the respective brightness when the light is separated into a plurality of wavelength regions, and the step of causing the computer to determine the quality of the display screen is performed. is there.
In the present invention, the distance of the Mahalanobis is calculated for each pixel based on data obtained by dividing the display screen into a plurality of wavelength regions, for example, based on the distance difference of the Mahalanobis distance calculated in advance for good pixels. To make the computer judge the quality of the screen. Therefore, based on the luminance data separated into a plurality of wavelength regions, it is possible to finally determine whether the pixel is good or bad based only on the Mahalanobis distance. Further, by setting the comparison target of the distance as a sample of a predetermined good pixel, the quality of the pixel can be determined based on the good pixel, and the quality of the screen can be automatically determined. In addition, the grade (quality) of the display screen can be determined and inspected based on the distribution of Mahalanobis distances. In addition, for example, a sensor for measuring physical quantities such as sound, light, and temperature can be applied to a display screen in which data obtained by physical quantities such as sound, light, and temperature are image-processed and displayed. For example, an inspection based on a non-defective product can be performed.
[0031]
In the program of the image processing method according to the present invention, the processing of the luminance data is such that the pixels separated into the wavelength regions that become the three primary colors of light are further decomposed into two-dimensional positions, and each wavelength region and each position are separated. Is converted and processed so that the luminance data at each position is arranged based on a certain direction, and the Mahalanobis distance is calculated.
In the present invention, the pixels separated into the wavelength regions that become the three primary colors of light are further decomposed into two-dimensional positions, and the Mahalanobis distance is calculated based on a plurality of luminance data obtained in each wavelength region and each position. Is calculated. Therefore, it is possible to establish a pattern recognition method based on luminance on the color display screen, and to automatically determine whether the display screen is good or not, and perform the evaluation.
[0032]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a configuration of a system centering on an image processing apparatus according to a first embodiment of the present invention. In FIG. 1, reference numeral 10 denotes an image processing device. The image processing apparatus 10 includes a processing unit 1, an input unit 2, a display unit 3, and a storage unit 4.
[0033]
1 is a processing means. The processing means 1 includes a panel pixel acquisition section 1A, an average / standard deviation calculation section 1B, a standardized value data calculation section 1C, an orthogonal expansion calculation section 1D, an orthogonal variable calculation section 1E, a distance calculation section 1F, and an inspection processing section. It is composed of an inspection determining unit 1G serving as a determining unit, a luminance value data obtaining unit 1H, and a display processing unit 1I.
[0034]
The panel pixel acquisition unit 1A calculates a center coordinate value that is a reference coordinate value for each pixel constituting the display panel 100, and cuts out each pixel from an image of the display panel 100 based on the calculated value. Here, clipping means dividing transmitted luminance value data (hereinafter referred to as luminance value data) for each pixel and selecting (extracting) necessary data. The average / standard deviation calculation unit 1B calculates the average value and the standard deviation based on the brightness value data. The standardized value data calculation unit 1C calculates a standardized value based on the luminance value data and the average value and the standard deviation calculated by the average / standard deviation calculation unit 1B, and generates data (hereinafter referred to as standardized value data). Create
[0035]
The orthogonal expansion operation unit 1D performs orthogonal expansion based on the normalized value of the sample panel pixel, and calculates a regression coefficient, a value of a residual component (hereinafter, referred to as a residual component value), and a variance of the residual component. A value based on the variance (hereinafter, referred to as variance) is calculated, and is used as data. Further, when actually inspecting the display panel 100, the residual component value is calculated using the calculated regression coefficient and the data of the variance based on the standardized value data based on the display panel 100, and is used as data. . The orthogonal variable operation unit 1E calculates an orthogonal variable value (hereinafter, referred to as an orthogonal variable value) based on the residual component value data calculated by the orthogonal expansion operation unit 1D, and uses the value as data.
[0036]
The distance calculation unit 1F calculates a Mahalanobis distance (or its square distance, which is referred to as a distance in this specification) for each pixel of the display panel 100 based on the orthogonal variable value data, and calculates this as data. I do. The inspection determination unit 1G determines the quality of the screen (pixel) based on the Mahalanobis distance data calculated by the distance calculation unit 1F. The brightness value data acquisition unit 1H determines a brightness value based on a signal transmitted from the camera 20, and creates brightness value data. Further, the display processing unit 1I performs a process for displaying the calculated various data on the display unit 3 in the form of a graph, a table, or the like so that the operator can easily make a determination or the like, and transmits a display signal. Further, a process for displaying an image or the like obtained by capturing the display panel 100 on the display unit 3 is performed. Details of the processing of each unit of the processing means 1 will be described later. Although not specifically illustrated here, as described later, a unit that determines the number of imaging pixels and causes the camera 20 to perform processing for causing the camera 20 to perform imaging with the imaging pixels may be provided.
[0037]
The input unit 2 converts an instruction, various data, and the like input by the operator into, for example, an electric signal and transmits the electric signal to the processing unit 1. The display means 3 displays the test results and other data (information) shown to the operator as symbols, images, and the like based on the display signal from the display processing unit 1I. The storage unit 4 temporarily or long-term stores data calculated by the processing unit 1 during and after the calculation.
[0038]
Reference numeral 20 denotes a camera serving as an imaging unit. The camera 20 includes a plurality of light receiving elements such as a CCD, for example, and each light receiving element converts the amount of received light into, for example, an electric signal. In the present embodiment, since the color image processing is performed to determine the quality of the display panel 100, the camera 20 can capture a color image. For example, light in a plurality of wavelength regions (here, a dichroic mirror or the like) It is assumed that the light can be separated into light in three wavelength ranges (red, blue, and green) that are the three primary colors of light. A dichroic mirror is a mirror that can extract light in a specific wavelength region. Therefore, a signal including three times the luminance value data as compared with the monochrome is transmitted from the camera 20. The signal is transmitted to the brightness value data acquisition unit 1H of the image processing apparatus 1 and is created and processed as brightness value data. It should be noted that the signal may be transmitted to the processing unit 1 via a unit serving as an interface, but is omitted here. Reference numeral 100 denotes a display panel to be inspected. Actually, since the entire panel cannot be imaged, the image is divided into a plurality of times, and the image is divided into a plurality of times. Here, the portion of the imaged panel is referred to as the display panel 100. In the display panel 100 to be inspected, the display panel used in the drawing is a liquid crystal panel for a projector. However, the display panel is not particularly limited to this kind of panel. EL etc.) panel.
[0039]
In the present embodiment, an inspection method is established for each panel pixel such as a display panel. Then, it is intended to be applied particularly to a panel which performs color display. When capturing an image with the camera 20, the number of pixels based on the resolution of the eye based on the human visual acuity (three times this number in the present embodiment is the number of luminance value data included in the signal transmitted from the camera 20). ). Then, after calculating the center coordinate value for each pixel from the captured image, the luminance value data is selected to more accurately obtain the luminance value data for each pixel. An arithmetic operation is performed based on the luminance value data, and a Mahalanobis distance is calculated for each pixel constituting the panel based on the MT (Maharanobis-Taguchi) method which is a special pattern recognition technique. The quality of the display panel (screen) is determined based on the Mahalanobis distance distribution. At this time, the determination is made using the coordinate value of the center of each pixel calculated and stored in the storage unit 4 and the Mahalanobis distance. Here, if luminance value data with sufficient accuracy to effectively calculate the Mahalanobis distance cannot be obtained for each pixel, a plurality of pixels may be processed as one set.
[0040]
In this manner, by determining the number of pieces of luminance value data necessary for inspecting the display panel 100 based on the resolution of the human eye, it is possible to establish a standard independent of the type and method of the display panel. Also, based on the difference in the Mahalanobis distance with a good pixel as a unit space, the degree of good or bad of the pixel is quantified, and it is not a good pixel that is judged by increasing or decreasing the criterion of the bad pixel. Criteria are determined based on the criteria for the evaluation. Moreover, by calculating the coordinate value of the center of each pixel constituting the panel, accurately selecting the luminance value data for each pixel, and associating the coordinate value with the Mahalanobis distance, for example, the pixel deviates from the distribution of good pixels. The distribution of the pixels on the panel can be grasped, and it is possible to cope with a surface defect having a size such as a spot or unevenness.
[0041]
Here, each unit constituting the processing unit 1 may be configured as a separate unit (hardware). However, in the present embodiment, the processing unit 1 is, for example, a computer or the like mainly including a CPU (Central Processing Unit). It is assumed to be composed of arithmetic processing means as described above. The processing procedure of each unit is programmed in advance, and the arithmetic processing unit executes the processing, and performs the processing based on the program, thereby realizing the function of each unit described above.
[0042]
Further, in the present embodiment, the brightness value data acquiring unit 1H of the image processing device 1 performs the process of determining the brightness based on the signal input from the camera 20, but another device may perform this process. Is also good. The average / standard deviation calculation unit 1B is used only when creating a unit space that is a reference when calculating the Mahalanobis distance.
[0043]
Next, an image processing method according to the present embodiment will be described. As a preliminary step, the number of data required to inspect the display panel 100 (that is, the number of pixels of the camera 20 that captures an image of the display panel 100) is determined. Hereinafter, a pixel included in the display panel to be inspected is referred to as a panel pixel, and a pixel represented by each light receiving element included in the camera 20 that directly photographs the display panel 100 is referred to as an imaging pixel.
[0044]
At the time of determining the number of imaging pixels of the camera 20, attention is paid to human vision. At that time, the Landolt's ring used for the visual acuity test is used. As a result of this calculation, when inspecting a display panel of 85 mm × 55 mm with the same resolution as that of the human eye, the number of imaging pixels required for the camera 20 is about 3.8 million pixels. When imaging is performed in a plurality of times, the light receiving element for imaging this number of pixels may not be mounted on the camera 20.
[0045]
Here, in the present embodiment, one panel pixel can be received by 9 × 9 (= 81) light receiving elements. Therefore, in the luminance value data acquisition unit 1H, data of a luminance value of 81 × 3 = 243 is obtained for one panel pixel. As described above, by securing the number of pieces of luminance value data necessary for effectively calculating the Mahalanobis distance from the resolution and the size of the panel pixel, one panel pixel can be noticed. However, when the reference range is small or the resolution is low, the range (size. In this case, the number of panel pixels is large enough to secure the number of data necessary to effectively calculate the Mahalanobis distance) It is necessary to secure the reference) and to increase the resolution (here, the reference of the visual acuity is raised).
[0046]
FIG. 2 is a diagram illustrating the display panel 100. The panel is composed of panel pixels. In FIG. 2A, 12 panel pixels are arranged in each of the X direction (horizontal direction) and the Y direction (vertical direction). In FIG. 2B, the coordinate value of the center of each panel pixel is given in two dimensions. The camera 20 captures an image of the display panel 100. The camera 20 transmits signals including luminance value data for images of three wavelength bands representing red, green, and blue separated by the dichroic mirror.
[0047]
FIG. 3 is an image obtained by dividing the light into the wavelength regions constituting red, blue, and green, respectively. FIGS. 3A, 3B, and 3C show luminance patterns in the red, blue, and green wavelength regions, respectively. Hereinafter, each image is referred to as an R image, a G image, and a B image, and is generally referred to as an RGB image. In this embodiment, since the brightness value data in each wavelength region is used, the brightness value data obtained by separating the three wavelength regions of red, blue, and green, which are the three primary colors of light, by the dichroic mirror, is used as it is. . Here, the luminance value data of the R image is R data, the luminance value data of the G image is G data, and the luminance value data of the B image is B data.
[0048]
FIG. 4 is a diagram illustrating a method of calculating a coordinate value of the center of each panel pixel. Next, the coordinates of the center position of each panel pixel are calculated based on the captured image. Since the pitch between the imaging pixel and the panel pixel is different (the pitch of the imaging pixel is not an integral multiple of the panel pixel), the center of the panel pixel does not always coincide with the imaging pixel in the entire captured image. . Therefore, the coordinates of the center position of each panel pixel are calculated, and the upper, lower, left, and right four pixels of the imaging pixel closest to the center coordinate (that is, 9 × 9) are taken as imaging pixels representing the panel pixel.
[0049]
The RGB image is obtained by separating one captured image for each wavelength band, and has the same pattern except for a difference in luminance value at each position. Therefore, here, the center coordinates are calculated using the R image as an example. Further, the coordinates of the center position may be calculated based on an image before the wavelength region is separated as shown in FIG. 2 instead of the RGB image.
[0050]
First, as shown in FIG. 4A, a sample image representing a typical luminance pattern of panel pixels (here, images of two panel pixels each in the vertical and horizontal directions) is set in advance. In addition, pattern matching with the captured image of the display panel 100 is performed. Even for the same captured image, the luminance pattern (luminance value) differs in each wavelength region. Therefore, the sample image uses a luminance pattern (here, the R luminance pattern (R Data)) should be used. Here, the reason why the sample image is an image for four pixels is that, for example, it is possible to determine a θ shift caused by an inclination between the display panel 100 and the camera 20. If θ shift occurs, it is not possible to perform effective clipping of each panel pixel. Since it is difficult to determine a θ shift only by pattern matching in a sample image of one pixel, a sample image is composed of four pixels, and an effective inspection is performed without a θ shift or within an allowable range. To be able to do.
[0051]
The panel pixel acquisition unit 1A stops the pattern matching when, for example, 10 points are determined to be matched by performing pattern matching. In FIG. 4B, a frame portion with a black dot is a point determined to have been matched. Here, it is considered that there is almost no image that matches the sample image with the exact same luminance pattern. Therefore, usually, the range of the luminance pattern that can be determined to have been matched is arbitrarily determined in advance. FIG. 4C is a table in which the portions determined to be matched in FIG. 4B are arranged in descending order of the degree of matching.
[0052]
Then, an approximate straight line is calculated using the coordinate values of each of the 10 points. Here, as a method of calculating the approximate straight line based on the coordinate values, there is, for example, a least square method. However, it is not particularly limited to this method. Since the pitch between the panel pixels should be constant, the value of the tentative center coordinates of each panel pixel is calculated based on the approximate straight line with the point at the upper left as the base point. As described above, when the pitch (interval) between the panel pixel and the imaging pixel is different, if this coordinate is determined as it is as the center coordinate, there is a high possibility that a shift will occur. Then, further calculations are performed to determine the center coordinates.
[0053]
FIG. 5 is a diagram illustrating a concept of a method of calculating the coordinate value of the center coordinate. Next, 9 × 9 imaging pixels are cut out about the temporary center coordinates. Then, assuming that the center of the panel pixel has the highest luminance, an approximate curve is calculated based on each luminance value in the horizontal direction and the vertical direction, and the maximum value is calculated. Here, the approximate curve of the quadratic function is calculated, and the maximum value is calculated. However, a function such as a Bezier curve or a spline curve may be used as the approximate curve, and the present invention is not particularly limited to this method. For the calculated maximum value, an approximate straight line is calculated in the horizontal direction and the vertical direction, and the intersection of the straight lines is set as the center coordinate of the panel pixel. This is performed for all panel pixels, and the center coordinates of each panel pixel are calculated. Then, the calculated center coordinates of each panel pixel are stored in, for example, the storage unit 4.
[0054]
FIG. 6 is a diagram illustrating a method of specifying a cutout position. The cutout direction and the cutout position are set in advance as a file. Alternatively, the setting may be set as an execution procedure such as a program. Here, it is assumed that each panel pixel is represented by 9 × 9 imaging pixels, and the positions (coordinates) of the imaging pixels in the panel pixels are (1, 1), (1, 2),..., (9, 9). I will represent it. For example, the cut-out position is specified by setting the pixel center position (including the cut-out position) to “2”, setting the cut-out position to “1”, and setting the cut-out position to “0”. The panel pixel acquisition unit 1A cuts out each panel pixel based on this setting. Actually, since the brightness of the imaging pixel is given not by the area but by the point, the imaging pixel closest to the center coordinates (that is, the point in the included area) is the pixel center position.
[0055]
Here, in FIG. 6A, the cutout of all 9 × 9 pixels is specified. In FIG. 6B, it is specified that the image pickup pixels other than the image pickup pixels in the second, fourth, sixth, and eighth rows are to be cut out. The setting of the cutout method and the cutout position is very important. This is because, for example, when considering two-dimensional pattern recognition, an approach from the vertical (y-direction) or the horizontal (x-direction) is usually considered. Is determined and reflected in the inspection. In the present embodiment, all pixels are cut out in the horizontal direction (from left to right) as shown in FIG. Then, the brightness value data of each panel pixel cut out from the R image, the G image, and the B image in the order set in the cutout direction is stored in the storage unit 4 in association with the center coordinates. Here, in the present embodiment, clipping of each panel pixel is performed after calculating center coordinates for all panel pixels. However, clipping is performed every time the center coordinates are calculated, and stored in the storage unit 4 in association with each other. You may do so.
[0056]
FIG. 7 is a diagram in which the distribution of the luminance values of one panel pixel is expanded from three-dimensional to two-dimensional. FIG. 7A is a diagram in which luminance value data (R data, G data, and B data) extracted based on a preset extraction direction is developed for an R image, a G image, and a B image. FIG. 7B shows the data arranged in the order of R data, G data, and B data (hereinafter, (1, 1) of the R image is represented by R (1, 1),..., (9, 9) as B (9, 9)). As described above, data obtained as a three-dimensional (item) (x-coordinate, y-coordinate) and three-dimensional (x-coordinate, y-coordinate) and a luminance value of the x-coordinate, y-coordinate, and luminance value are represented by two-dimensions (the positional relation is 1). Treat (convert) as (dimensional) data. Here, R data, G data, and B data are arranged in this order, but the arrangement is not particularly limited to this order. Further, although the position and the luminance value are treated as dimensions, not only the position and the luminance value but also various items (dimensions) can be treated.
[0057]
In this way, data that has been expressed in three dimensions by being expanded is expressed in two dimensions as shown in FIG. Next, for each panel pixel, a Mahalanobis distance between the pixel group (unit space) acquired by the sample is calculated. Here, before calculating the Mahalanobis distance, first, a method of creating a unit space in the present embodiment will be described.
[0058]
As a pixel sample when forming a unit space, a panel pixel which is close to an ideal shape (can be arbitrarily determined) and is determined to be a good pixel is selected. The panel pixels determined to have been matched by the pattern matching performed in advance may be selected. In the present embodiment, it is assumed that a unit space is formed based on panel pixels determined to be about 1000 good pixels. Here, in the present embodiment, the luminance value data at the voltage at which the luminance is highest is obtained as data for calculating the unit space. In addition, there are screens in which a certain voltage (luminance) is good but another voltage is bad. In the past, the judgment of good or bad was sometimes different depending on the difference in voltage, but here we will see the difference from the good pixel of the same voltage, so the Mahalanobis of the good pixel at each voltage using the same unit space By knowing the distances, it is possible to judge the quality in the same space and the same method.
[0059]
The average / standard deviation calculation unit 1B calculates the average value and the standard deviation for each panel pixel with respect to the luminance value data acquired for the sample panel pixel. Based on the calculated average value and standard deviation, the standardized value data calculation unit 1C calculates a standardized value for the data of the luminance value of each imaging pixel of each panel pixel to obtain standardized value data. Specifically, the value obtained by dividing the difference between the luminance value and the average value by the standard deviation is the reference value. As a result, it is possible to convert all the luminance value data into standardized value data evenly distributed around one.
[0060]
Based on the standardized value data, for example, the orthogonal expansion operation unit 1D converts the residual component value of the standardized value of R (1,2) into the standardized value of R (1,2) and R (1,1). ) And the regression coefficient. Further, the residual component value of the normalized value of R (1,3) is represented by the normalized value of R (1,3), the residual component value of R (1,1), and the residual component value of R (1,2). It is represented by the difference component value and each regression coefficient. Also, the residual component value of the normalized value of G (1,1) is replaced by the normalized component value of G (1,1), the residual component value of R (1,1),..., R (9,9). And each regression coefficient. In the present embodiment, this is performed up to B (9, 9) in the order of R (1, 1),..., R (1, 9), R (2, 1),. Here, for R (1, 1), the residual component value is the same as the standardized value. The residual component is a component of a standardized value (of a panel pixel) having a certain item (here, the luminance value of R (1,2)), and a preceding item (here, R (1) , 1) are independent (orthogonal) components. That is, except for the part (regression part) related to the residual component of the previous item, the component that cannot be represented by that is the residual component of the panel pixel in the item (position). The regression coefficient for a certain item is a coefficient calculated based on the standardized value of the item, the residual component value of the previous item, and the variance of the residual component of the previous item. The variance is a value calculated based on the sum of the squares of the residual components calculated in the sample. By repeating this, for example, the residual component value of R (9, 9) is represented by the residual component values of R (1, 1),..., R (9, 8). Here, in the present embodiment, R (1,1),..., R (9,9), G (1,1),. It is considered that the same result (Maharanobis distance) is obtained. Therefore, the regression coefficient and the variance can be determined in the order of important items (for example, positions) that affect the Mahalanobis distance.
[0061]
Next, processing of the luminance value data based on the inspection of the display panel 100 will be described. Based on the signal transmitted from the camera 20, the brightness value data obtaining unit 1H obtains brightness value data. In the present embodiment, a description will be given on the assumption that 9 × 9 luminance value data can be obtained in all panel pixels. Here, since the panel pixels of the samples constituting the unit space are calculated based on the luminance value data of 9 × 9 imaging pixels, the same imaging is performed for the panel pixels of the display panel 100 even when the inspection is performed due to the calculation. The number of pixels is more convenient. For example, when the panel pixel pitch of the display panel 100 is different from the sample pixel pitch, or when the size of the projection plane displayed thereby is different, the distance between the camera 20 and the display panel 100 is changed. The relationship between the number of image pixels of 9 × 9 per panel pixel and the resolution of the human eye is maintained.
[0062]
The orthogonal expansion operation unit 1D calculates a residual component value based on each luminance value data of the display panel 100 based on the regression coefficient and the variance. Then, the orthogonal variable operation unit 1E calculates the orthogonal variable based on the residual component value and the variance calculated by the orthogonal expansion operation unit 1D. Specifically, a value obtained by dividing the residual component value by the square root of the variance is the orthogonal variable value.
[0063]
The distance calculation unit 1F calculates the Mahalanobis distance (D) of the panel pixel based on the calculated orthogonal variable value. Two ) Is calculated and used as data. This is performed for all panel pixels. Specifically, the Mahalanobis distance is obtained by dividing the sum of the squares of the orthogonal variable values by the number of items (243 in the present embodiment). Here, the average of the Mahalanobis distances calculated based on the data of the luminance values (normalized values) of the samples constituting the unit space is theoretically 1.
[0064]
FIG. 8 is a graph with the calculated Mahalanobis distance on the vertical axis and the luminance value on the horizontal axis. Here, as described above, the samples are distributed at positions where the luminance value is the highest. For example, in a display panel or the like, the display gradation is adjusted by the applied voltage. Therefore, although the display gradation (luminance value) differs depending on the applied voltage, if there is no difference in the shape and size of the pixel and the number of obtained luminance value data, a new unit space is created regardless of the applied voltage. Even if it is not created, a reference for the voltage can be created and the inspection (evaluation) can be performed by calculating the Mahalanobis distance. Thus, it is not necessary to re-create the unit space in which the most time and effort is spent. In addition, by calculating a plurality of voltages and the Mahalanobis distance to the voltage, the relationship between the voltage and the Mahalanobis distance to the voltage can be complementarily derived. Here, the distribution by the sample is called a unit space. The Mahalanobis distance of the sample is about 1, and the average is 1 as described above. Therefore, in the present embodiment, the distribution distance is set to 1.
[0065]
Here, FIG. 8 is configured as a two-dimensional graph in which the distance and the luminance of the Mahalanobis are dimensionally used. However, the pass / fail judgment is actually made only based on the Mahalanobis distance. As shown in FIG. 8, the Mahalanobis distance varies even in the same display panel 100 depending on the applied voltage. Further, it differs depending on the image (luminance value) displayed on the display panel. Also, it differs depending on the type of panel. The Mahalanobis distance to the unit space is different under different conditions. What is important here is that the quality of the screen to be inspected is determined not by the distance difference from the unit space but by the good pixels (or their distribution) under the same conditions, and by the distance difference therefrom. It is.
[0066]
Therefore, before actually inspecting the object to be inspected, the inspection is performed after calculating the Mahalanobis distance (good pixel distribution) from the unit space for a sample of good pixels under the conditions used in the inspection. The determination is made based on the distance difference from the good pixels (distribution) under the same conditions. The value of the distance difference as a criterion for quality can be arbitrarily determined.
[0067]
FIG. 9 is a diagram showing the distribution of Mahalanobis distances between good pixels and bad pixels. The inspection determination unit 1G determines the quality of the display panel 100 based on the Mahalanobis distance calculated for each panel pixel. As shown in FIG. 8, the appearance of a defect such as a point defect, a spot, and an unevenness is different, but the defect can be determined by comparing the pixel with a good pixel only by the Mahalanobis distance. Further, even if the inspection conditions are different, the calculation method based on the Mahalanobis distance is the same, and the quality can be determined based on the distance difference from the good pixel under the same conditions. Various methods for calculating numerical values and the like for performing the pass / fail determination include various methods such as a method of calculating a variance or the like after obtaining a distance between each panel pixel based on each center coordinate of a defective panel pixel. Can be considered. The threshold value used as a criterion for quality determination can be arbitrarily determined according to the type of panel and the required grade (high quality).
[0068]
Further, for example, in the case of a defect caused by a plurality of defective panel pixels such as spots and unevenness, the degree of density of the panel pixels becomes more important than the difference in distance between the panel pixels and good pixels. For example, in the present embodiment, the center coordinates of each panel pixel and the Mahalanobis distance are stored in the storage unit 4 in association with each other. Therefore, based on the center coordinates of the panel pixels determined to be defective (not in the distribution of good pixels), the inspection determination unit 1G determines that a certain number or more of those panel pixels exist in a certain range. For example, it is determined that the display panel 100 is defective.
[0069]
The display processing unit 1I performs a display process based on the Mahalanobis distance calculated by the distance calculation unit 1F, and causes the display unit 3 to display, for example, a graph as shown in FIG. Further, display processing based on the judgment of the inspection judgment unit 1G is performed, and the judgment result is displayed on the display means 3. Further, it may be displayed on the display unit 3 based on the processing result processed by another unit.
[0070]
As described above, according to the first embodiment, since the number (amount) of luminance value data to be processed is calculated based on the resolution of the human eye, the type of panel to be inspected is Regardless, the inspection based on the resolution of the human eye can be performed. In addition, since the panel pixel acquisition unit 1A calculates the coordinate value of the center of each panel pixel and cuts out each pixel based on the coordinate value, the coordinate value of the center and each of the calculated coordinate values are calculated. By associating the distance with the Mahalanobis distance of the panel pixel, it can be useful in finding defects such as spots and unevenness. The distance calculation unit 1F calculates the Mahalanobis distance for each panel pixel, and the inspection determination unit 1G determines the quality of the screen (pixel) based on the distance difference. , And a determination can be made based on good pixels. Therefore, the degree of failure can be quantified based on the distance difference from good pixels, the grade (quality) of each device (product) can be determined, and ranking can be performed. Particularly, in the color display screen, the Mahalanobis distance is calculated based on the luminance value data divided into the three wavelength regions of red, blue, and green, so that the color display screen can be appropriately evaluated. In particular, it is possible to combine the luminance value data of each wavelength region into one to perform evaluation (judgment) for one pixel at a distance of one Mahalanobis, thereby facilitating the evaluation. Of course, it is also possible to calculate and evaluate the Mahalanobis distance for each of red, blue and green. In this case, it is possible to determine which color caused the defective pixel.
[0071]
Embodiment 2. FIG.
FIG. 10 is a diagram illustrating a relationship between a selected panel pixel and a captured image. In the above-described embodiment, only the inspection determination unit 1G determines the quality. In the present embodiment, not only the inspection judging unit 1G but also the worker can assist when making a quality judgment. Therefore, the display processing unit 1I performs a display process for performing a display such as a graph display, which is easy for the operator to visually determine. For example, a graph of the Mahalanobis distance as shown in FIG. 8 and a captured image as shown in FIG. 2 are displayed on the display means 3 so that one or more arbitrary points plotted on the graph can be selected. However, in order to display where the point is located in the captured image, a panel pixel corresponding to the selected point is displayed in the captured image so as to be distinguished from the others. In FIG. 10, the selected point is displayed by superimposing a black point on the panel pixel to identify the selected point. Accordingly, the operator can recognize the position of the panel pixel determined to be defective, for example, and thus can grasp the distribution thereof, and particularly, can easily detect defects such as spots and unevenness.
[0072]
In addition, based on the center coordinates of each panel pixel and the Mahalanobis distance expressed in two dimensions, the relationship between the position of each panel pixel on the display panel 100 and the Mahalanobis distance is displayed on the display means 3 as a three-dimensional graph. May be performed by the display processing unit 1I.
[0073]
Embodiment 3 FIG.
In the above-described first embodiment, a Mahalanobis distance calculation method called Mahalanobis Taguchi-Schmidt (MTS) using orthogonal expansion of Schmidt is used in order to reduce the amount of calculation. The present invention is not limited to this. The correlation matrix and its inverse matrix may be calculated, and the Mahalanobis distance may be calculated based on the elements and the normalized value. In this method, the correlation coefficient between the imaging pixels is calculated, so that there is an advantage that the correlation can be easily grasped.
[0074]
Embodiment 4 FIG.
In the above-described embodiment, the display panel 100, which is the object to be inspected, is imaged by the camera 20, and the Mahalanobis distance is calculated to determine the quality. The present invention is not limited to this. If the physical quantity generated by the object to be inspected can be represented as a change in color, various objects to be inspected can be inspected using the Mahalanobis distance. If this method is applied, on the contrary, the inspection of the imaging pixels of the color imaging means such as the camera 20 can also be performed by using the Mahalanobis distance. Further, not only the imaging means but also a means such as a temperature sensor using thermography and an acoustic sensor can be used to make an image of, for example, a sensing state and inspect it.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a system centering on an image processing apparatus.
FIG. 2 is a diagram showing an image of a display panel 100.
FIG. 3 is an image divided into light in a wavelength region constituting red, blue, and green.
FIG. 4 is a diagram illustrating a concept of a center coordinate calculation process of each panel pixel.
FIG. 5 is a diagram illustrating a concept of a method of calculating a coordinate value of a center coordinate.
FIG. 6 is a diagram illustrating a method of specifying a cutout position.
FIG. 7 is a diagram in which the distribution of luminance values of one panel pixel is developed two-dimensionally.
FIG. 8 is a graph of Mahalanobis distance and luminance value.
FIG. 9 is a diagram illustrating a distribution of distances between good pixels and bad pixels.
FIG. 10 is a diagram illustrating a relationship between a selected panel pixel and a captured image.
[Explanation of symbols]
1 processing means, 1A panel pixel acquisition section, 1B average / standard deviation calculation section, 1C standardized value data calculation section, 1D orthogonal expansion calculation section, 1E orthogonal variable calculation section, 1F distance calculation section, 1G inspection judgment section, 1H luminance Value data acquisition unit, 1I display processing unit, 2 input means, 3 display means, 4 storage means, 10 image processing device, 20 camera, 100 display panel

Claims (25)

被検査対象となる表示画面を撮像した画像に基づいて、前記表示画面を構成する各画素の基準となる座標値を算出する工程と、
前記基準となる座標値に基づいて、良と判断した画素の輝度のデータを選択する工程と、
前記選択した輝度のデータを処理してマハラノビスの距離を算出するための単位空間を作成する工程と
を有することを特徴とする画像処理方法。Based on an image obtained by capturing a display screen to be inspected, a step of calculating a coordinate value serving as a reference of each pixel constituting the display screen,
Based on the reference coordinate value, a step of selecting data of the luminance of the pixel determined to be good,
Creating a unit space for calculating the Mahalanobis distance by processing the selected luminance data. 被検査対象となる表示画面を撮像した画像に基づいて、前記表示画面を構成する各画素の基準となる座標値を算出する工程と、
前記基準となる座標値に基づいて、前記各画素の輝度のデータを選択する工程と、
前記選択した輝度のデータを処理して前記画素毎にマハラノビスの距離を算出する工程と、
前記各画素のマハラノビスの距離及び中心位置の座標に基づいて、前記表示画面を評価する工程と
を有することを特徴とする画像処理方法。Based on an image obtained by capturing a display screen to be inspected, a step of calculating a coordinate value serving as a reference of each pixel constituting the display screen,
Based on the reference coordinate value, selecting the luminance data of each pixel,
Processing the data of the selected luminance to calculate a Mahalanobis distance for each pixel;
Evaluating the display screen based on the coordinates of the Mahalanobis distance and the center position of each pixel. 前記各画素の輝度のデータを選択した後に、前記基準となる座標値と前記選択した輝度のデータとを前記画素毎に関連づけて記憶する工程をさらに有することを特徴とする請求項１又は２記載の画像処理方法。3. The method according to claim 1, further comprising, after selecting the luminance data of each of the pixels, storing the reference coordinate value and the selected luminance data in association with each of the pixels. Image processing method. 前記基準となる座標値を算出する工程は、
パターンマッチングを行って、あらかじめ定めたパターンと合致するものと判断した前記画素をあらかじめ設定した数だけ検出する工程と、
検出した前記画素に基づいて算出した近似直線に基づいて、前記各画素を表す輝度のデータを仮決定する工程と、
仮決定した前記各画素を表す輝度のデータに基づいて、各行及び各列の輝度が最大となる座標を算出する工程と、
算出した座標に基づいて行方向及び列方向の近似直線を算出して、交点の座標値をその画素の前記中心の座標値を前記基準の座標値とする工程と
からなることを特徴とする請求項１〜３のいずれかに記載の画像処理方法。The step of calculating the reference coordinate value,
Performing pattern matching, detecting a predetermined number of the pixels determined to match the predetermined pattern,
Based on an approximate straight line calculated based on the detected pixels, a step of temporarily determining luminance data representing each pixel,
A step of calculating coordinates at which the luminance of each row and each column is maximized, based on the luminance data representing each pixel that has been provisionally determined;
Calculating an approximate straight line in the row direction and the column direction based on the calculated coordinates, and using the coordinate value of the intersection as the reference coordinate value with the coordinate value of the center of the pixel. Item 4. The image processing method according to any one of Items 1 to 3. 前記表示画面中の前記画素の位置とその画素に対応するマハラノビスの距離との関係を表示装置に表示させる処理を行うことを特徴とする請求項２記載の画像処理方法。3. The image processing method according to claim 2, wherein a process of displaying a relationship between a position of the pixel on the display screen and a Mahalanobis distance corresponding to the pixel on a display device is performed. 表示画面を撮像した画像に基づいて、光の３原色となる波長帯域毎に分けた画像を作成し、
前記波長帯域毎に分けたそれぞれの画像から輝度のデータを選択し、処理することを特徴とする請求項１又は２記載の画像処理方法。Based on the image obtained by capturing the display screen, an image is created for each of the three primary wavelength bands of light,
3. The image processing method according to claim 1, wherein luminance data is selected and processed from each image divided for each wavelength band. 被検査対象の表示画面を評価するための画像処理方法において、
前記表示画面の各画素から発せられる光を、複数の波長領域に分離したときのそれぞれの輝度のデータを処理してマハラノビスの距離を算出し、前記表示画面の良否を判断することを特徴とする画像処理方法。In an image processing method for evaluating a display screen of an object to be inspected,
The light emitted from each pixel of the display screen is processed for each luminance data when the light is separated into a plurality of wavelength regions to calculate the Mahalanobis distance, and the quality of the display screen is determined. Image processing method. 前記画素を光の３原色となる波長領域に分離し、さらに２次元の位置に分解し、各波長領域及び各位置において得られた複数の輝度のデータを、ある方向に基づいて各位置の輝度のデータを並べるように変換して処理し、マハラノビスの距離を算出することを特徴とする請求項７記載の画像処理方法。The pixel is separated into wavelength regions that become three primary colors of light, further decomposed into two-dimensional positions, and a plurality of pieces of luminance data obtained at each wavelength region and at each position are converted into luminance at each position based on a certain direction. 8. The image processing method according to claim 7, wherein the data is converted so as to be arranged and processed to calculate a Mahalanobis distance. 良画素と判断した複数の画素をサンプルとして用い、マハラノビスの距離を算出するための単位空間を作成することを特徴とする請求項７記載の画像処理方法。8. The image processing method according to claim 7, wherein a unit space for calculating a Mahalanobis distance is created using a plurality of pixels determined as good pixels as a sample. 画像処理を行うための基準の範囲を分解し、さらに光を複数の波長領域に分離して得られた輝度のデータを任意に選択した順に処理し、マハラノビスの距離を算出することを特徴とする画像処理方法。It is characterized by decomposing a reference range for performing image processing, further processing the luminance data obtained by separating light into a plurality of wavelength regions in an arbitrarily selected order, and calculating a Mahalanobis distance. Image processing method. 前記基準の範囲の中心の位置を算出することを特徴とする請求項１０記載の画像処理方法。The image processing method according to claim 10, wherein a position of a center of the reference range is calculated. 人間の眼の分解能に基づいて前記基準の範囲を分解することを特徴とする請求項１０記載の画像処理方法。11. The image processing method according to claim 10, wherein the reference range is decomposed based on a resolution of a human eye. 画面の構成単位である画素を、前記基準の範囲とすることを特徴とする請求項１０〜１２のいずれかに記載の画像処理方法。13. The image processing method according to claim 10, wherein a pixel that is a structural unit of a screen is set as the reference range. 被検査対象に表示された画面を撮像手段が撮像して得られたデータを処理し、前記被検査対象の表示画面の良否を検査するための画像処理装置において、
前記被記検査対象の画面を構成する画素毎に基準となる座標値をデータとして算出し、必要なデータを選択する画素取得手段と、
良画素のサンプルによってあらかじめ得られたデータの平均値及び標準偏差に基づいて、前記画素取得手段が選択したデータを基準化した基準化値をデータとして算出する基準化値データ演算手段と、
前記基準化値に基づいて、前記検査対象の画面を構成する画素毎にマハラノビスの距離をデータとして算出する距離演算手段と、
画素毎の基準となる座標値のデータ及び前記マハラノビスの距離のデータに基づいて前記被検査対象に表示された画面の良否を判断する検査判断手段と
を備えたことを特徴とする画像処理装置。In an image processing apparatus for processing data obtained by imaging an image of a screen displayed on the inspection target by an imaging unit and inspecting a quality of the display screen of the inspection target,
Pixel acquisition means for calculating a coordinate value serving as a reference for each pixel constituting the screen of the test subject as data, and selecting necessary data,
Based on an average value and a standard deviation of data obtained in advance by a sample of good pixels, based on a standardized value data calculating unit that calculates a standardized value based on the data selected by the pixel obtaining unit as data,
Distance calculating means for calculating the distance of Mahalanobis as data for each pixel constituting the screen of the inspection target based on the standardized value,
An image processing apparatus, comprising: inspection determination means for determining the quality of a screen displayed on the inspection target based on coordinate value data serving as a reference for each pixel and the Mahalanobis distance data. 前記良画素のサンプルによってあらかじめ得られたデータを基準化し、各データの相関関係に基づく相関行列の逆行列を算出しておき、
前記距離演算手段は、前記逆行列の各要素及び前記基準化値に基づいて前記マハラノビスの距離を算出することを特徴とする請求項１４記載の画像処理装置。Data obtained in advance by the samples of the good pixels is standardized, and an inverse matrix of a correlation matrix based on the correlation of each data is calculated,
15. The image processing apparatus according to claim 14, wherein the distance calculation unit calculates the Mahalanobis distance based on each element of the inverse matrix and the standardized value. 直交展開演算手段及び直交変数演算手段をさらに備え、
前記良画素のサンプルによってあらかじめ得られたデータを基準化し、シュミットの直交展開を利用してそれぞれのデータに基づいて回帰係数及び残差成分の分散に基づく値を算出しておき、
前記直交展開演算手段は、前記基準化値データに基づいて撮像手段が撮像して得られたデータについて算出した残差成分の値をデータとして算出し、
前記直交変数演算手段は、前記直交展開演算手段が算出した前記残差成分の値及び前記分散に基づく値により直交変数の値をデータとして算出し、
前記距離演算手段は、前記直交変数の値のデータに基づいてマハラノビスの距離を算出することを特徴とする請求項１４記載の画像処理装置。Further comprising orthogonal expansion operation means and orthogonal variable operation means,
The data obtained in advance by the samples of the good pixels is normalized, and a value based on the variance of the regression coefficient and the residual component is calculated based on each data using Schmidt's orthogonal expansion,
The orthogonal expansion calculating means calculates, as data, a value of a residual component calculated for data obtained by imaging by the imaging means based on the standardized value data,
The orthogonal variable operation unit calculates the value of the orthogonal variable as data based on the value of the residual component calculated by the orthogonal expansion operation unit and the value based on the variance,
15. The image processing apparatus according to claim 14, wherein the distance calculating unit calculates a Mahalanobis distance based on data of the value of the orthogonal variable. 前記撮像手段の撮像により得られるデータのデータ量を、人間の眼の分解能に基づいて決定することを特徴とする請求項１４記載の画像処理装置。15. The image processing apparatus according to claim 14, wherein a data amount of data obtained by imaging by the imaging unit is determined based on a resolution of a human eye. 前記画素取得手段は、前記基準となる座標値のデータと選択した前記必要なデータとを前記画素毎に関連づけて記憶装置に記憶させることを特徴とする請求項１４記載の画像処理装置。15. The image processing apparatus according to claim 14, wherein the pixel acquiring unit stores the data of the reference coordinate value and the selected necessary data in a storage device in association with each of the pixels. 被検査対象に表示された画面を撮像した撮像手段から送信された、光の３原色となる波長領域に分離した輝度を表す信号に基づいて輝度値データを作成する輝度値データ取得手段をさらに備えたことを特徴とする請求項１４記載の画像処理装置。The image processing apparatus further includes a luminance value data acquisition unit that generates luminance value data based on a signal that is transmitted from an imaging unit that captures a screen displayed on the inspection target and that represents luminance separated into wavelength regions serving as three primary colors of light. The image processing apparatus according to claim 14, wherein: 単位空間と算出した画素毎のマハラノビスの距離との関係を表すグラフ及び前記表示画面を撮像した画像を表示装置に表示させるための処理をし、選択された前記グラフ上の点に基づいて、前記点と対応する前記画像中の画素を前記表示装置に区別表示させるための処理をする表示処理手段をさらに有することを特徴とする請求項１４記載の画像処理装置。Based on a point on the graph, the graph representing the relationship between the unit space and the calculated Mahalanobis distance for each pixel and processing for displaying an image obtained by capturing the display screen on a display device are performed. The image processing apparatus according to claim 14, further comprising a display processing unit configured to perform processing for distinguishing and displaying pixels in the image corresponding to points on the display device. 被検査対象となる表示画面を撮像した画像に基づいて、前記表示画面を構成する各画素の基準となる座標値を算出させ、
前記基準となる座標値に基づいて、良と判断した画素を表す輝度のデータを選択させ、
前記選択した輝度のデータを処理してマハラノビスの距離を算出するための単位空間を作成させる
ステップをコンピュータに行わせることを特徴とする画像処理方法のプログラム。Based on an image obtained by capturing a display screen to be inspected, a coordinate value serving as a reference of each pixel constituting the display screen is calculated,
Based on the coordinate value serving as the reference, let the user select the data of the luminance representing the pixel determined to be good,
A computer-readable storage medium storing a program for causing a computer to perform a step of processing the selected luminance data to create a unit space for calculating a Mahalanobis distance. 被検査対象となる表示画面を撮像した画像に基づいて、前記表示画面を構成する各画素の基準となる座標値を算出させ、
前記基準となる座標値に基づいて、前記各画素の輝度のデータを選択させ、
前記選択させた輝度のデータを処理させて前記画素毎にマハラノビスの距離を算出させ、
前記各画素のマハラノビスの距離及び中心位置の座標に基づいて、前記表示画面を評価させる
ステップをコンピュータに行わせることを特徴とする画像処理方法のプログラム。Based on an image obtained by capturing a display screen to be inspected, a coordinate value serving as a reference of each pixel constituting the display screen is calculated,
Based on the reference coordinate values, let the user select data of the luminance of each pixel,
Processing the selected luminance data to calculate the Mahalanobis distance for each pixel;
A computer-readable storage medium storing a program for causing a computer to perform a step of evaluating the display screen based on a Mahalanobis distance and a coordinate of a center position of each pixel. 前記表示画面中の前記画素の位置とその画素に対応するマハラノビスの距離との関係を表示装置に表示させるステップをコンピュータにさらに行わせることを特徴とする請求項２２記載の画像処理方法のプログラム。23. The program according to claim 22, further comprising causing a computer to display a relationship between a position of the pixel on the display screen and a Mahalanobis distance corresponding to the pixel on a display device. 被検査対象に表示された画面を撮像手段が撮像して得られたデータを処理させ、前記被検査対象の表示画面の良否を検査させるための画像処理方法のプログラムにおいて、
前記表示画面の各画素から発せられる光を、複数の波長領域に分離したときのそれぞれの輝度のデータを処理させ、前記表示画面の良否を判断させるステップをコンピュータに行わせることを特徴とする画像処理方法のプログラム。In a program of an image processing method for processing data obtained by capturing an image of a screen displayed on the inspection target by an imaging unit and inspecting a quality of the display screen of the inspection target,
An image characterized in that a light emitted from each pixel of the display screen is processed into data of respective luminance when the light is separated into a plurality of wavelength regions, and a step of judging the quality of the display screen is performed by a computer. Processing method program. 輝度のデータの処理は、
光の３原色となる波長領域に分離された前記画素を、さらに２次元の位置に分解させ、各波長領域及び各位置において得られた複数の輝度のデータを、ある方向に基づいて各位置の輝度のデータを並べるように変換して処理させ、マハラノビスの距離を算出させることを特徴とする請求項２４記載の画像処理方法のプログラム。The processing of the brightness data
The pixels separated into the wavelength regions that become the three primary colors of light are further decomposed into two-dimensional positions, and a plurality of pieces of luminance data obtained at each wavelength region and at each position are obtained at each position based on a certain direction. 25. The program according to claim 24, wherein the luminance data is converted so as to be arranged and processed, and the Mahalanobis distance is calculated.
JP2002375895A 2002-12-26 2002-12-26 Image processing method and device, and program for image processing method Pending JP2004206498A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002375895A JP2004206498A (en) 2002-12-26 2002-12-26 Image processing method and device, and program for image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002375895A JP2004206498A (en) 2002-12-26 2002-12-26 Image processing method and device, and program for image processing method

Publications (1)

Publication Number Publication Date
JP2004206498A true JP2004206498A (en) 2004-07-22

Family

ID=32813486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002375895A Pending JP2004206498A (en) 2002-12-26 2002-12-26 Image processing method and device, and program for image processing method

Country Status (1)

Country Link
JP (1) JP2004206498A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113739575A (en) * 2020-05-28 2021-12-03 中冶长天国际工程有限责任公司 Method and system for acquiring section image of tail of sintering machine
CN113791120A (en) * 2021-09-14 2021-12-14 中冶长天(长沙)智能科技有限公司 Method and system for obtaining optimal section image of sintering machine tail

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113739575A (en) * 2020-05-28 2021-12-03 中冶长天国际工程有限责任公司 Method and system for acquiring section image of tail of sintering machine
CN113739575B (en) * 2020-05-28 2023-06-23 中冶长天国际工程有限责任公司 Method and system for acquiring tail section image of sintering machine
CN113791120A (en) * 2021-09-14 2021-12-14 中冶长天(长沙)智能科技有限公司 Method and system for obtaining optimal section image of sintering machine tail
CN113791120B (en) * 2021-09-14 2024-05-03 中冶长天(长沙)智能科技有限公司 Method and system for obtaining optimal section image of sintering machine tail

Similar Documents

Publication Publication Date Title
TWI399534B (en) And a defect inspection device for performing defect inspection using image analysis
US7500751B2 (en) Ocular fundus portion analyzer and ocular fundus portion analyzing method
JP2022507678A (en) Optimization of setup stage in automated visual inspection process
JPH1096681A (en) Method, apparatus for inspecting display and evaluation method for the same
JP4279833B2 (en) Appearance inspection method and appearance inspection apparatus
JP2024019350A5 (en) Information processing device, server device, control method for information processing device, control method for server device, and program
JP7215218B2 (en) SPECTROSCOPY INSPECTION METHOD, IMAGE PROCESSING DEVICE, AND ROBOT SYSTEM
JP4218291B2 (en) Image processing device
JP2004206498A (en) Image processing method and device, and program for image processing method
JP4195980B2 (en) Appearance inspection method and appearance inspection apparatus using color image
JP2001314374A (en) Corneal endothelial cell measuring apparatus
JP4544578B2 (en) Defect inspection method and defect inspection apparatus using computer
JP2006145228A (en) Unevenness defect detecting method and unevenness defect detector
JP2005003474A (en) Method, apparatus and program for evaluating color display panel
US11927540B2 (en) Information processing apparatus, information processing method, and recording medium
JP2004170109A (en) Apparatus and method for inspecting irregular color
JP7247032B2 (en) inspection equipment
JPH0735699A (en) Method and apparatus for detecting surface defect
JP7300155B2 (en) Teaching device in solid preparation appearance inspection, and teaching method in solid preparation appearance inspection
JP2009125432A (en) Ophthalmologic imaging system and ophthalmologic image processor
JP4548086B2 (en) Defect inspection equipment
JPH09275459A (en) Image quality evaluation method and its device
JPH09161066A (en) Image processor
JP2007285753A (en) Flaw detection method and flaw detector
JP2002122511A (en) Display unevenness detector and detection method