JP2015011364A - Illumination adjustment apparatus, illumination adjustment method, and illumination adjustment program - Google Patents
Illumination adjustment apparatus, illumination adjustment method, and illumination adjustment program Download PDFInfo
- Publication number
- JP2015011364A JP2015011364A JP2013133742A JP2013133742A JP2015011364A JP 2015011364 A JP2015011364 A JP 2015011364A JP 2013133742 A JP2013133742 A JP 2013133742A JP 2013133742 A JP2013133742 A JP 2013133742A JP 2015011364 A JP2015011364 A JP 2015011364A
- Authority
- JP
- Japan
- Prior art keywords
- illumination
- image data
- illuminations
- individual
- adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Input (AREA)
Abstract
Description
本発明は、照明調整装置、照明調整方法、及び、照明調整プログラムに関する。 The present invention relates to an illumination adjustment device, an illumination adjustment method, and an illumination adjustment program.
FA(Factory Automation)システムにおける生産ラインなどにおいて、画像検査や画像計測が行われる場合、検査や計測の対象とされる部品に適切な照明を照射し、画像処理の目的に適した画像を撮像することが重要になる。一般的に、画像処理の目的に適した画像が撮影可能になるように、操作者によって、部品に合わせた照明の調節及び設定が行われる。そして、照明の設定後、設定した照明を用いて部品の画像データが生成され、生成された画像データに基づいて、画像処理が行われる。部品の表面に照射する照明を変化させることは、例えば、特許文献1に記載される。 When image inspection or image measurement is performed on a production line in an FA (Factory Automation) system, an appropriate illumination is applied to a part to be inspected or measured, and an image suitable for the purpose of image processing is captured. It becomes important. In general, the operator adjusts and sets the illumination according to the components so that an image suitable for the purpose of image processing can be taken. Then, after setting the illumination, image data of the component is generated using the set illumination, and image processing is performed based on the generated image data. Changing the illumination applied to the surface of the component is described in Patent Document 1, for example.
しかしながら、一般的に、FAシステムにおいて、操作者が経験に基づいて照明を設定した後、照明の設定は調整されることなく運用が継続される。また、FAシステムにおいて、異なる複数の部品が処理対象となる場合であっても、部品に応じて照明の設定が切り替えられることなく、同一の照明の設定が適用される。 However, generally, in an FA system, after an operator sets illumination based on experience, the operation is continued without adjusting the illumination setting. In the FA system, even when a plurality of different parts are to be processed, the same illumination setting is applied without switching the illumination setting according to the part.
これにより、それぞれの部品について、必ずしも、画像検査や画像計測における画像処理に最適な画像を撮像可能な照明の設定が行われていなかった。また、部品ごとに照明の設定を切り替える場合においても、照明の設定作業を人手によって行うことは負荷が高かった。 As a result, the setting of illumination that can capture an image optimal for image processing in image inspection and image measurement is not necessarily performed for each component. Further, even when switching the lighting setting for each part, it was a heavy load to manually perform the lighting setting work.
そこで、本発明は、対象物に最適な複合照明を生成する照明調整装置、照明調整方法、及び、照明調整プログラムを提供するものである。 Therefore, the present invention provides an illumination adjustment device, an illumination adjustment method, and an illumination adjustment program that generate composite illumination optimal for an object.
第1の側面は、複数の照明を用いた対象物の画像データの生成時における照明を調整する照明調節装置であって、前記照明を個別に用いたときに生成される前記対象物を撮像した個別照明画像データの、複数の照明に対応する集合である個別照明画像データ群に基づいて、画素間の輝度値の分散度合いが最大になる画像データを生成可能な複数の所定数の照明を検出し、前記複数の所定数の照明の組み合わせを調整情報として生成する調整情報生成手段、を有する。 A first aspect is an illumination adjustment device that adjusts illumination when generating image data of an object using a plurality of illuminations, and images the object that is generated when the illumination is used individually Based on an individual illumination image data group that is a set corresponding to a plurality of illuminations of individual illumination image data, a predetermined number of illuminations that can generate image data that maximizes the degree of dispersion of luminance values between pixels are detected. And adjustment information generating means for generating, as adjustment information, a combination of the plurality of predetermined numbers of illuminations.
第1の側面によれば、対象物に最適な複合照明を生成することができる。 According to the first aspect, it is possible to generate composite illumination that is optimal for an object.
以下、図面にしたがって本発明の実施の形態について説明する。ただし、本発明の技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the technical scope of the present invention is not limited to these embodiments, but extends to the matters described in the claims and equivalents thereof.
[照明調節装置の構成]
図1は、本実施の形態例における照明調整装置の一例を示す図である。図1の照明調整装置は、例えば、表示装置10、ROM(Read Only Memory)11、RAM(Random Access Memory)12、通信インタフェース13、CPU(Central Processing Unit)14、外部インタフェース15を有する。各部は、バス17を介して互いに接続される。また、照明調節装置100は、外部インタフェース15を介して、複数の照明L1〜L5、及び、撮像装置CMに接続される。
[Configuration of lighting control device]
FIG. 1 is a diagram illustrating an example of an illumination adjustment apparatus according to the present embodiment. 1 includes, for example, a display device 10, a ROM (Read Only Memory) 11, a RAM (Random Access Memory) 12, a communication interface 13, a CPU (Central Processing Unit) 14, and an external interface 15. Each unit is connected to each other via a bus 17. Further, the illumination adjustment device 100 is connected to the plurality of illuminations L1 to L5 and the imaging device CM via the external interface 15.
また、RAM12等のメモリには、本実施の形態例における照明調整プログラムPRが記憶される。照明調整プログラムPRは、CPU14と協働して照明調整処理を実現する。照明調整プログラムPRは、照明調整処理として、対象物をより的確に認識可能な画像データを生成可能にする照明の組み合わせを示す調整情報を生成する。 The memory such as the RAM 12 stores the illumination adjustment program PR in the present embodiment. The illumination adjustment program PR implements illumination adjustment processing in cooperation with the CPU 14. The illumination adjustment program PR generates adjustment information indicating a combination of illuminations that enables generation of image data capable of more accurately recognizing an object as illumination adjustment processing.
[照明調節装置のブロック図]
図2は、本実施の形態例における照明調節装置100のブロック図を例示する第1の図である。図2は、対象物の画像検査を実施する前の処理であって、対象物である部品毎の調整情報を生成する処理におけるブロック図を示す。調整情報は、複数の所定数の照明の組み合わせの情報、及び、各照明の強度情報を含む。
[Block diagram of lighting control device]
FIG. 2 is a first diagram illustrating a block diagram of the illumination adjustment apparatus 100 according to the present embodiment. FIG. 2 is a block diagram showing a process for generating adjustment information for each component that is a target, before the image inspection of the target. The adjustment information includes information on a combination of a plurality of predetermined numbers of lights and intensity information on each light.
図2の照明調節装置100は、例えば、照明強度制御部34、照明強度記憶部33、部品番号入力部32、部品搬送部31、画像入力部35、照明強度算出部36を有する。部品搬送部31は、対象物を所定の位置に設置すると共に、照明を個別に順次点灯させて撮像装置CMに対象物の画像データ(以下、個別照明画像データと称する)を生成させる。また、部品搬送部31は、対象物の部品番号を部品番号入力部32に出力する。 2 includes, for example, an illumination intensity control unit 34, an illumination intensity storage unit 33, a component number input unit 32, a component transport unit 31, an image input unit 35, and an illumination intensity calculation unit 36. The component transport unit 31 installs the target object at a predetermined position, and sequentially turns on the illumination sequentially to cause the imaging device CM to generate image data of the target object (hereinafter referred to as individual illumination image data). In addition, the component transport unit 31 outputs the component number of the object to the component number input unit 32.
画像入力部35は、個別照明画像データの入力を受け付ける。画像入力部35に全ての照明の個別照明画像データ(個別照明画像データ群)が入力されると、照明強度算出部36は、個別照明画像データ群に基づく主成分分析を行い、画素間の輝度値の分散度合いが最大になる画像データを取得可能な照明の組み合わせを調整情報として生成する。点線で囲まれた画像入力部35と照明強度算出部36の処理は、本実施の形態例における照明調節処理に対応する。 The image input unit 35 receives input of individual illumination image data. When the individual illumination image data (individual illumination image data group) of all the illuminations is input to the image input unit 35, the illumination intensity calculation unit 36 performs principal component analysis based on the individual illumination image data group, and luminance between pixels. A combination of illuminations capable of acquiring image data having a maximum value dispersion degree is generated as adjustment information. The processing of the image input unit 35 and the illumination intensity calculation unit 36 surrounded by a dotted line corresponds to the illumination adjustment processing in the present embodiment.
また、照明強度算出部36は、さらに、それぞれの照明の強度を算出する。照明強度記憶部33は、照明強度算出部36によって生成された調整情報を、部品番号入力部32によって出力される部品番号に関連付けて記憶する。そして、照明強度制御部34は、対象物の調整情報に基づいて、照射させる照明を選択すると共にその強度を制御する。照明調節装置100は、例えば、対象物を順次、変更して調整情報を生成し、複数の対象物に対応する調整情報を、予め、照明強度記憶部33に記憶させておく。 The illumination intensity calculation unit 36 further calculates the intensity of each illumination. The illumination intensity storage unit 33 stores the adjustment information generated by the illumination intensity calculation unit 36 in association with the component number output by the component number input unit 32. And the illumination intensity control part 34 selects the illumination to irradiate based on the adjustment information of a target object, and controls the intensity | strength. For example, the illumination adjustment apparatus 100 sequentially changes the object to generate adjustment information, and stores the adjustment information corresponding to the plurality of objects in the illumination intensity storage unit 33 in advance.
図3は、本実施の形態例における照明調節装置100のブロック図を例示する第2の図である。図3は、調整情報に基づいて照明を制御し、画像検査を実施する処理におけるブロック図を示す。ただし、対象物である部品毎の調整情報を生成する図2の処理と、調整情報に基づいて画像検査を実施する図3の処理が分けて実施される必要はない。1つの対象物の調整情報の生成処理と画像検査の実施処理とが、一連の流れで行われてもよい。 FIG. 3 is a second diagram illustrating a block diagram of the illumination adjustment apparatus 100 in the present embodiment. FIG. 3 is a block diagram showing a process for controlling the illumination based on the adjustment information and performing an image inspection. However, the process of FIG. 2 that generates adjustment information for each component that is an object and the process of FIG. 3 that performs image inspection based on the adjustment information do not need to be performed separately. The adjustment information generation process and the image inspection execution process for one object may be performed in a series of flows.
図3の照明調節装置100は、例えば、図2で説明した部品搬送部31、部品番号入力部32、照明強度記憶部33、照明強度制御部34に加えて、画像入力部35、画像検査部37、検査結果出力部38を有する。部品搬送部31は、対象物を所定の位置に設置する。照明強度制御部34は、設置された対象物の部品番号に基づいて、照明強度記憶部33から調整情報を読み出し、調整情報に基づいて照明を選択すると共に強度を調整し、複合照明を生成する。撮像装置CMは、調整された照明環境において、対象物の画像データを生成し、画像入力部35に出力する。画像検査部37は、対象物の画像データに基づいて検査処理を実施し、検査結果を検査結果出力部38から出力させる。ひとつの対象物に対する調整情報が複数個、存在する場合、それぞれの調整情報に基づいて照明が制御され、画像データの生成処理及び検査処理が行われる。 3 includes, for example, an image input unit 35, an image inspection unit, in addition to the component transport unit 31, the component number input unit 32, the illumination intensity storage unit 33, and the illumination intensity control unit 34 described in FIG. 37. An inspection result output unit 38 is provided. The component transport unit 31 installs the object at a predetermined position. The illumination intensity control unit 34 reads the adjustment information from the illumination intensity storage unit 33 based on the part number of the installed object, selects the illumination based on the adjustment information, adjusts the intensity, and generates composite illumination. . The imaging device CM generates image data of the object in the adjusted illumination environment and outputs the image data to the image input unit 35. The image inspection unit 37 performs inspection processing based on the image data of the object, and causes the inspection result output unit 38 to output the inspection result. When there are a plurality of pieces of adjustment information for one object, illumination is controlled based on the respective pieces of adjustment information, and image data generation processing and inspection processing are performed.
[複合照明]
図4は、複合照明を例示する図である。複合照明とは、複数の照明の組み合わせを示す。また、それぞれの照明は、独立に強度を調整可能である。図4において、形状や表面の質感の異なる3つの対象物Axa〜Cxcに5つの照明L1〜L5が照射される。各照明L1〜L5の強度は、矢印の太さによって表される。具体的に、太い矢印で示される照明L2〜L4の強度は、細い矢印で示される照明L1、L5の強度よりも大きい。
[Composite lighting]
FIG. 4 is a diagram illustrating compound illumination. The combined illumination indicates a combination of a plurality of illuminations. In addition, the intensity of each illumination can be adjusted independently. In FIG. 4, five illuminations L1 to L5 are irradiated to three objects Axa to Cxc having different shapes and surface textures. The intensity of each of the lights L1 to L5 is represented by the thickness of the arrow. Specifically, the intensity of the illuminations L2 to L4 indicated by thick arrows is greater than the intensity of the illuminations L1 and L5 indicated by thin arrows.
図4の例では、3つの対象物Axa〜Cxcの形状や表面の質感等の特徴が異なるにも関わらず、照射される照明、及び、照明の強度は同一である。しかしながら、本実施の形態例のように、画像データに基づいて対象物の検査が実施される場合、画像データは、対象物が明確に検知し易い画像データであることが望ましい。対象物が最も明確に検知可能な画像データとは、情報量の多い画像データであって、例えば、画像データにおける各画素の輝度値の分散度合いが大きい画像データである。各画素の輝度値の分散度合いが大きい画像データとは、例えば、濃淡が強く、コントラストの強い画像データを示す。そこで、本実施の形態例における照明調節装置100は、個別照明画像データ群に基づいて、画素間の輝度値の分散度合いが最大となる画像データを生成可能な複数の所定数の照明を検出する。前述したとおり、個別照明画像データ群とは、個別の照明をそれぞれ用いたときに生成される対象物を撮像した個別照明画像データの、複数の照明に対応する集合を示す。 In the example of FIG. 4, the illumination to be irradiated and the intensity of the illumination are the same, although the features such as the shapes of the three objects Axa to Cxc and the surface texture are different. However, when the inspection of the object is performed based on the image data as in the present embodiment, it is desirable that the image data is image data that is easily detectable by the object. The image data that can be detected most clearly by the object is image data having a large amount of information, for example, image data in which the degree of dispersion of the luminance value of each pixel in the image data is large. The image data having a large degree of dispersion of the luminance value of each pixel is, for example, image data having strong contrast and strong contrast. Therefore, the illumination adjustment apparatus 100 according to the present embodiment detects a predetermined number of illuminations that can generate image data that maximizes the degree of dispersion of luminance values between pixels, based on the individual illumination image data group. . As described above, the individual illumination image data group indicates a set corresponding to a plurality of illuminations of individual illumination image data obtained by imaging an object generated when each individual illumination is used.
図5は、本実施の形態例における調整情報にしたがって、対象物毎に調整が行われた複合照明を例示する図である。図5の(A)は対象物Axaの複合照明の例を示し、図5の(B)は対象物Bxbの複合照明の例を示す。図4と同様にして、各照明L1〜L5の強度は、矢印の太さによって表される。図5では、対象物それぞれについて、輝度値の分散度合いが大きい画像データを生成可能な複合照明が例示される。このように、対象物Axaと対象物Bxbとでは、形状や表面の質感が異なることにより、複合照明のパターンも異なっている。なお、図5の例において、5つの照明が用いられるが、複合照明における照明の数は、2つ以上のいずれの数であってもよい。 FIG. 5 is a diagram illustrating composite lighting in which adjustment is performed for each object in accordance with the adjustment information in the present embodiment. FIG. 5A shows an example of composite illumination of the object Axa, and FIG. 5B shows an example of composite illumination of the object Bxb. Similarly to FIG. 4, the intensity of each of the lights L1 to L5 is represented by the thickness of the arrow. FIG. 5 exemplifies composite illumination that can generate image data with a large degree of dispersion of luminance values for each object. As described above, the object Axa and the object Bxb have different composite illumination patterns due to different shapes and surface textures. In the example of FIG. 5, five illuminations are used, but the number of illuminations in the composite illumination may be any number of two or more.
また、図5において、対象物Axa、Bxbそれぞれに対して、2つの複合照明のパターンが例示される。このように、1つの対象物に対して、複数の複合照明が生成されてもよい。図5の(A)の複合照明のパターンは、それぞれ、輝度値の分散度合いが大きい画像データを生成可能な複合照明である。ただし、各複合照明パターンを用いて取得される対象物Axaの画像データにおける輝度値の分散の現れ方は異なる。即ち、各複合照明のパターンを用いて取得される対象物Axaの画像データは、情報量の多い画像データであるが、情報の現れ方が異なっている。このように、本実施の形態例における照明調節装置100によって、同一の対象物について複数パターンの調整情報が生成されることにより、情報の現れ方が異なる複数の画像データに基づいて、より高精度の画像検査が実施可能になる。 Further, in FIG. 5, two composite illumination patterns are illustrated for each of the objects Axa and Bxb. Thus, a plurality of composite illuminations may be generated for one object. Each of the complex illumination patterns in FIG. 5A is a complex illumination that can generate image data having a large degree of dispersion of luminance values. However, the way in which the dispersion of luminance values appears in the image data of the object Axa obtained using each composite illumination pattern is different. That is, the image data of the object Axa acquired using each composite illumination pattern is image data with a large amount of information, but the appearance of information is different. As described above, the illumination adjustment device 100 according to the present embodiment generates a plurality of patterns of adjustment information for the same target object, and thus more accurate based on a plurality of image data in which the information appears differently. Image inspection can be performed.
続いて、本実施の形態例における照明調節装置100の処理の流れについて説明する。 Subsequently, a flow of processing of the illumination adjustment apparatus 100 in the present embodiment will be described.
[照明調節装置100のフローチャート図]
図6は、本実施の形態例における照明調装置の処理の流れを説明するフローチャート図である。照明調整装置100は、初めに、1つの照明を単独に点灯させた状態で(S11)、撮像装置CMに対象物の画像データ(個別照明画像データ)を生成させる(S12)。このとき、個別照明画像データ生成時における各照明の強度が記憶される。続いて、照明調整装置100は、全ての照明の個別照明画像データを取得したか否かを判定する(S13)。全ての個別照明画像データを取得していない場合(S13のNO)、照明調整装置100は、照明を切り替えて点灯させ(S14、S11)、個別照明画像データを生成させる(S12)。
[Flowchart of Lighting Control Device 100]
FIG. 6 is a flowchart for explaining the flow of processing of the lighting control device according to the present embodiment. First, the illumination adjustment apparatus 100 causes the imaging apparatus CM to generate image data (individual illumination image data) of the target object with one illumination lit alone (S11) (S12). At this time, the intensity of each illumination at the time of generating individual illumination image data is stored. Subsequently, the illumination adjustment apparatus 100 determines whether or not individual illumination image data for all illuminations has been acquired (S13). When all the individual illumination image data has not been acquired (NO in S13), the illumination adjustment apparatus 100 switches the illumination to light (S14, S11), and generates individual illumination image data (S12).
一方、全ての個別照明画像データを取得した場合(S13のYES)、照明調整装置100の照明強度記憶部33は、複数の照明に対応する個別照明画像データ群に基づいて、輝度行列を生成する(S15)。輝度行列とは、列ベクトルとして、照明の数分の個別照明画像データを有する行列である。例えば、照明の数がN、個別照明画像データが有する画素数がMである場合、M×Nの輝度行列が生成される。本実施の形態例における輝度行列の各成分は輝度値であるが、画素値であってもよい。また、輝度行列の各成分は、例えば、個別照明画像データを区分した部分領域の明るさ(平均輝度等)に変換した値等であってもよい。 On the other hand, when all the individual illumination image data is acquired (YES in S13), the illumination intensity storage unit 33 of the illumination adjustment apparatus 100 generates a luminance matrix based on the individual illumination image data group corresponding to a plurality of illuminations. (S15). The luminance matrix is a matrix having individual illumination image data corresponding to the number of illuminations as a column vector. For example, when the number of illuminations is N and the number of pixels included in the individual illumination image data is M, an M × N luminance matrix is generated. Each component of the luminance matrix in the present embodiment is a luminance value, but may be a pixel value. In addition, each component of the luminance matrix may be, for example, a value converted into the brightness (average luminance or the like) of the partial area into which the individual illumination image data is divided.
続いて、照明強度記憶部33は、輝度行列に基づいて分散共分散行列を生成する(S16)。分散共分散行列とは、個別照明画像データにおける要素間の共分散の行列を示す。個別照明画像データが有する画素数がMである場合、M×Mの分散共分散行列が生成される。続いて、照明強度記憶部33は、分散共分散行列に基づいて主成分分析を行う(S17)。つまり、照明強度記憶部33は、輝度行列に対して主成分分析の手法を適用する。そして、照明強度記憶部33は、分散共分散行列に基づいて固有値、及び、固有ベクトルを算出する(S18)。 Subsequently, the illumination intensity storage unit 33 generates a variance-covariance matrix based on the luminance matrix (S16). The variance-covariance matrix is a matrix of covariance between elements in the individual illumination image data. When the number of pixels of the individual illumination image data is M, an M × M variance-covariance matrix is generated. Subsequently, the illumination intensity storage unit 33 performs principal component analysis based on the variance-covariance matrix (S17). That is, the illumination intensity storage unit 33 applies the principal component analysis method to the luminance matrix. Then, the illumination intensity storage unit 33 calculates eigenvalues and eigenvectors based on the variance-covariance matrix (S18).
固有値とは、主成分分析に基づく、輝度行列における各列(各個別照明画像データ)の一次結合(線形和)によって得られる画像の分散を示す。また、固有ベクトルは、輝度行列における各列の一次結合によって得られる画像を示すベクトルである。また、固有値、及び、固有ベクトルは、個別照明画像データが有する画素の数分、算出される。数値の大きい固有値から順に、第1の固有値、第2の固有値、第3の固有値とされる。このため、第1の固有値は、輝度行列の各列の一次結合によって得られる画像の中で、最も分散度合いの大きい画像の分散を示す。 The eigenvalue indicates the variance of the image obtained by linear combination (linear sum) of each column (each individual illumination image data) in the luminance matrix based on the principal component analysis. The eigenvector is a vector indicating an image obtained by linear combination of each column in the luminance matrix. In addition, eigenvalues and eigenvectors are calculated for the number of pixels included in the individual illumination image data. In order from the largest eigenvalue, the first eigenvalue, the second eigenvalue, and the third eigenvalue are used. For this reason, the first eigenvalue indicates the variance of an image having the largest degree of variance among images obtained by linear combination of the columns of the luminance matrix.
続いて、照明強度記憶部33は、値の大きい固有値から順に固有値を選択する(S19)。このため、初め、第1の固有値が選択される。固有ベクトルを2次元に並び替えて生成される画像を、固有画像と称する。第1の固有値に対応する固有画像は、輝度の分散度合いが大きく、情報量の多い画像を示す。そこで、照明強度記憶部33は、まず、第1の固有画像と近似する画像を生成可能な照明の組み合わせ、及び、各照明の強度を算出する。具体的に、本実施の形態例における照明強度記憶部33は、選択した固有値の固有ベクトルを、複数の個別照明画像データのベクトル(個別照明画像ベクトル)の線形和によって合成する。そして、線形和を構成する複数の個別照明画像ベクトルの係数が照明の強度係数として算出される。 Subsequently, the illumination intensity storage unit 33 selects eigenvalues in descending order of eigenvalues (S19). Therefore, first, the first eigenvalue is selected. An image generated by rearranging the eigenvectors in two dimensions is referred to as an eigenimage. The unique image corresponding to the first unique value indicates an image having a large degree of luminance dispersion and a large amount of information. Therefore, the illumination intensity storage unit 33 first calculates a combination of illumination that can generate an image that approximates the first unique image, and the intensity of each illumination. Specifically, the illumination intensity storage unit 33 in the present embodiment synthesizes the eigenvectors of the selected eigenvalues with a linear sum of a plurality of individual illumination image data vectors (individual illumination image vectors). Then, coefficients of a plurality of individual illumination image vectors constituting the linear sum are calculated as illumination intensity coefficients.
そこで、照明強度記憶部33は、選択された固有値の固有ベクトルと近似する個別照明画像ベクトルを有する個別照明画像データを複数、検出する(S20)。具体的に、照明強度記憶部33は、固有ベクトルと各個別照明画像ベクトルとの内積に基づいて角度を算出する。そして、固有ベクトルとの角度がより小さい複数の個別照明画像ベクトルが、固有ベクトルに近似するベクトルとして検出される。なお、照明強度記憶部33は、所定数の、角度が小さい個別照明画像ベクトルを検出してもよいし、角度が閾値以下の個別照明画像ベクトルを全て検出してもよい。 Therefore, the illumination intensity storage unit 33 detects a plurality of individual illumination image data having individual illumination image vectors that approximate the eigenvector of the selected eigenvalue (S20). Specifically, the illumination intensity storage unit 33 calculates an angle based on the inner product of the eigenvector and each individual illumination image vector. Then, a plurality of individual illumination image vectors whose angles with the eigenvector are smaller are detected as vectors that approximate the eigenvector. The illumination intensity storage unit 33 may detect a predetermined number of individual illumination image vectors having a small angle, or may detect all individual illumination image vectors having an angle equal to or less than a threshold value.
続いて、照明強度記憶部33は、検出した複数の個別照明画像ベクトルを固有ベクトルに近似させた場合における、一次結合係数を算出する(S21)。具体的に、照明強度記憶部33は、固有ベクトルに近似するように複数の個別照明画像ベクトルの線形和を生成し、線形和における各個別照明画像ベクトルの係数を算出する。算出される係数は、個別照明画像ベクトルに対応する照明の強度係数に対応する。 Subsequently, the illumination intensity storage unit 33 calculates a primary coupling coefficient in the case where the detected individual illumination image vectors are approximated to eigenvectors (S21). Specifically, the illumination intensity storage unit 33 generates a linear sum of a plurality of individual illumination image vectors so as to approximate an eigenvector, and calculates a coefficient of each individual illumination image vector in the linear sum. The calculated coefficient corresponds to the illumination intensity coefficient corresponding to the individual illumination image vector.
そして、検出された複数の照明、及び、各照明の強度が、第1の固有画像に近似する画像を生成可能な複合照明を示す調整情報として生成される(S23)。このように、本実施の形態例における照明強度記憶部33は、個別照明画像データ群に基づく固有画像と近似する画像を生成可能な照明の組み合わせ、及び、照明の強度を算出することによって、輝度値の分散度の高い画像を生成可能にする。 Then, the detected plurality of illuminations and the intensity of each illumination are generated as adjustment information indicating composite illumination capable of generating an image that approximates the first unique image (S23). As described above, the illumination intensity storage unit 33 in the present embodiment calculates the luminance by combining the illumination that can generate an image that approximates the unique image based on the individual illumination image data group, and the intensity of the illumination. An image having a high degree of dispersion of values can be generated.
続いて、照明強度記憶部33は、別の固有値について調整情報を生成するか否かを判定する(S24)。別の固有値について調整情報を生成する場合(S24のYES)、照明強度記憶部33は、次に値の大きい固有値について、工程S20〜S23の処理を行う。一方、別の固有値について調整情報を生成しない場合(S24のNO)、照明強度記憶部33は処理を終了する。このように、照明強度記憶部33は、上位の複数の固有値について、調整情報を生成してもよい。これにより、照明強度記憶部33は、1つの対象物について、コントラストが高く、コントラストの現れ方が相互に異なる複数の画像データを生成可能になる。 Subsequently, the illumination intensity storage unit 33 determines whether to generate adjustment information for another eigenvalue (S24). When the adjustment information is generated for another eigenvalue (YES in S24), the illumination intensity storage unit 33 performs the processes of steps S20 to S23 for the eigenvalue having the next largest value. On the other hand, when adjustment information is not generated for another eigenvalue (NO in S24), the illumination intensity storage unit 33 ends the process. As described above, the illumination intensity storage unit 33 may generate adjustment information for a plurality of upper eigenvalues. Thereby, the illumination intensity storage unit 33 can generate a plurality of pieces of image data with high contrast and different appearances of contrast for one object.
なお、照明調節装置100は、対象物が変更された場合、新たな対象物に対して、図6のフローチャート図の処理を行う。そして、照明調節装置100は、対象物の部品番号に関連付けて調整情報を記憶する。また、図6のフローチャート図では、分散共分散行列に基づいて固有値が算出される。ただし、固有値は、分散共分散行列の代わりに、相関係数行列に基づいて算出されてもよい。相関係数行列に基づく場合、輝度行列が正規化されることにより、照明の明るさのばらつきに影響されず、照明の組み合わせ、及び、各照明の強度を算出可能になる。 In addition, the illumination adjustment apparatus 100 performs the process of the flowchart figure of FIG. 6 with respect to a new target object, when a target object is changed. And the illumination adjustment apparatus 100 memorize | stores adjustment information linked | related with the part number of a target object. In the flowchart of FIG. 6, eigenvalues are calculated based on the variance-covariance matrix. However, the eigenvalue may be calculated based on a correlation coefficient matrix instead of the variance-covariance matrix. When based on the correlation coefficient matrix, by normalizing the luminance matrix, it is possible to calculate the combination of illuminations and the intensity of each illumination without being affected by variations in illumination brightness.
なお、複合照明は、ユーザによって選択されてもよい。例えば、照明調節装置100は、複数の上位の固有値に対応する固有画像を表示装置10等に表示させ、ユーザに、生成したい固有画像を選択させる。そして、照明調節装置100は、選択された固有画像に対応する固有ベクトルに基づいて、複数の照明の組み合わせ、及び、照明の強度情報を算出する。これにより、ユーザは、所望の画像に近似する画像データを取得可能な複合照明を選択可能になる。即ち、照明調節装置100は、最適な画像データを取得可能な複合照明を示す調整情報を生成可能になる。 Note that the composite illumination may be selected by the user. For example, the illumination adjustment apparatus 100 causes the display device 10 or the like to display unique images corresponding to a plurality of higher-order eigenvalues, and causes the user to select a unique image to be generated. Then, the illumination adjustment apparatus 100 calculates a combination of a plurality of illuminations and illumination intensity information based on the eigenvector corresponding to the selected eigenimage. Thereby, the user can select composite illumination that can acquire image data that approximates a desired image. That is, the illumination adjustment apparatus 100 can generate adjustment information indicating composite illumination that can acquire optimal image data.
[輝度行列]
図7は、輝度行列の一例を示す図である。図7の(A)は、ある照明を個別に点灯させ、対象物Axaを上方向から撮像した場合における個別照明画像データの一例である。この例において、個別照明画像データは9個の画素(M=9)を有する。また、点線で囲まれる各領域Pxは、画素領域を示す。また、本実施の形態例では、照明の数は7個である(N=7)。この場合、図7の(A)のような、9個の画素の情報を有する個別照明画像データが7個生成される。
[Luminance matrix]
FIG. 7 is a diagram illustrating an example of a luminance matrix. (A) of FIG. 7 is an example of individual illumination image data when a certain illumination is individually turned on and an object Axa is imaged from above. In this example, the individual illumination image data has nine pixels (M = 9). Each region Px surrounded by a dotted line indicates a pixel region. In the present embodiment, the number of illuminations is seven (N = 7). In this case, as shown in FIG. 7A, seven pieces of individual illumination image data having information on nine pixels are generated.
また、図7の(B)は輝度行列を示す。前述したとおり、輝度行列における各列は、各画素の輝度値を有する個別照明画像データに対応する。このため、画素数が9個、照明の数が7個である場合、9×7(M×N)の輝度行例が生成される。具体的に、輝度行列における列GL1は、照明L1の個別照明画像データの輝度値を有し、列GL7は、照明L7の個別照明画像データの輝度値を有する。 FIG. 7B shows a luminance matrix. As described above, each column in the luminance matrix corresponds to individual illumination image data having the luminance value of each pixel. For this reason, when the number of pixels is nine and the number of illuminations is seven, a luminance row example of 9 × 7 (M × N) is generated. Specifically, the column GL1 in the luminance matrix has the luminance value of the individual illumination image data of the illumination L1, and the column GL7 has the luminance value of the individual illumination image data of the illumination L7.
[主成分分析]
図8は、主成分分析の概要について説明する図である。前述したとおり、照明調節装置100は、N個の照明それぞれに対応して取得される、M画素を有する個別照明画像データに基づいて、主成分分析を行う。図8は、M個の座標軸を有するM次元の空間の一例を示す。ただし、図8の例では、より簡便に表すために、M個の座標軸のうち4つの座標軸X1、X2、XM−1、XMが表示される。また、M次元の空間上に、各照明に対応するN個の輝度値n1〜nNがプロットされる。
[Principal component analysis]
FIG. 8 is a diagram for explaining an outline of principal component analysis. As described above, the illumination adjustment apparatus 100 performs the principal component analysis based on the individual illumination image data having M pixels acquired corresponding to each of the N illuminations. FIG. 8 shows an example of an M-dimensional space having M coordinate axes. However, in the example of FIG. 8, four coordinate axes X 1, X 2, XM- 1, and XM among the M coordinate axes are displayed for easier representation. Also, N luminance values n1 to nN corresponding to each illumination are plotted on the M-dimensional space.
主成分分析では、第1の主成分の軸として、M次元の空間上のN個の輝度値の分布に基づいて、最も分散の大きい軸V1が算出される。第1の主成分の軸V1は、複数の個別照明画像データの一次結合によって得られる画像の中で、最も輝度値の分散の大きい画像を示す。また、第1の主成分の軸V1と直行し、第1の主成分の軸の次に分散の大きい軸が第2の主成分の軸V2として算出される。同様にして、第3〜第Mの主成分の軸が算出される。また、第1の主成分の軸V1は分散共分散行列に基づく第1の固有値の固有ベクトル、第2の主成分の軸V2は分散共分散行列に基づく第2の固有値の固有ベクトルに対応する。 In the principal component analysis, the axis V1 having the largest variance is calculated as the first principal component axis based on the distribution of N luminance values in the M-dimensional space. The axis V1 of the first principal component indicates an image having the largest variance of luminance values among images obtained by linear combination of a plurality of individual illumination image data. Further, an axis that is orthogonal to the axis V1 of the first principal component and has the second largest dispersion after the axis of the first principal component is calculated as the axis V2 of the second principal component. Similarly, the axes of the third to Mth principal components are calculated. The axis V1 of the first principal component corresponds to the eigenvector of the first eigenvalue based on the variance-covariance matrix, and the axis V2 of the second principal component corresponds to the eigenvector of the second eigenvalue based on the variance-covariance matrix.
[固有ベクトル、固有画像]
図9は、分散共分散行列に基づいて算出される固有ベクトルと固有画像を例示する図である。図6のフローチャート図において前述したとおり、照明強度記憶部33は、分散共分散行列に基づいて、固有値、固有ベクトルを算出する(図6の工程S18)。個別照明画像データが9個の画素を有する場合、9個の固有値及び固有ベクトルV1〜V9が算出される。また、固有ベクトルV1〜V9を2次元に並び替えることにより、固有画像G1〜G9が生成される。値の大きい固有値に対応する固有画像G1〜G9ほど、輝度の分散が大きくコントラストが高い。
[Eigenvector, Eigenimage]
FIG. 9 is a diagram illustrating eigenvectors and eigenimages calculated based on the variance-covariance matrix. As described above in the flowchart of FIG. 6, the illumination intensity storage unit 33 calculates eigenvalues and eigenvectors based on the variance-covariance matrix (step S18 in FIG. 6). When the individual illumination image data has nine pixels, nine eigenvalues and eigenvectors V1 to V9 are calculated. In addition, the unique images G1 to G9 are generated by rearranging the eigenvectors V1 to V9 in two dimensions. The eigenimages G1 to G9 corresponding to the eigenvalues with larger values have larger luminance dispersion and higher contrast.
図9の例において、左から順に、値の大きい固有値に対応する固有ベクトルV1〜V9、及び、固有画像G1〜G9が例示される。具体的に、一番左は、第1の固有値に対応する固有ベクトルV1、及び、固有画像G1である。また、左から2番目は、第2の固有値に対応する固有ベクトルV2、及び、固有画像G2である。したがって、図9の固有画像のうち、第1の固有値に対応する固有画像G2は、輝度値の分散が最も大きい画像である。 In the example of FIG. 9, eigenvectors V1 to V9 and eigenimages G1 to G9 corresponding to eigenvalues with large values are illustrated in order from the left. Specifically, the leftmost is the eigenvector V1 corresponding to the first eigenvalue and the eigenimage G1. The second from the left is the eigenvector V2 corresponding to the second eigenvalue and the eigenimage G2. Therefore, the unique image G2 corresponding to the first unique value among the unique images in FIG. 9 is an image having the largest variance of luminance values.
[個別照明画像ベクトルの検出]
図10は、固有ベクトルと近似する個別照明画像ベクトルの検出処理について説明する図である。図6のフローチャート図において前述したとおり、照明強度記憶部33は、選択した固有値(例えば、第1の固有値)の固有ベクトルと近似する複数の個別照明画像ベクトルを検出する(図6の工程S20)。
[Detection of individual illumination image vectors]
FIG. 10 is a diagram for explaining the detection processing of the individual illumination image vector that approximates the eigenvector. As described above with reference to the flowchart of FIG. 6, the illumination intensity storage unit 33 detects a plurality of individual illumination image vectors that approximate the eigenvector of the selected eigenvalue (for example, the first eigenvalue) (step S20 in FIG. 6).
図10の(A)は、輝度行列における各個別照明画像データを示す。例えば、列GL2は、照明L2の個別照明画像データに対応する。そして、図10の(B)におけるベクトルVL2は、個別照明画像データGL2に対応するベクトルを示す。同様にして、図10の(B)におけるベクトルVL5は個別照明画像データGL5に、ベクトルVL7は個別照明画像データGL7に対応するベクトルである。また、図10の(B)におけるベクトルV1は、第1の固有値に対応する固有ベクトルである。 FIG. 10A shows each individual illumination image data in the luminance matrix. For example, the column GL2 corresponds to the individual illumination image data of the illumination L2. A vector VL2 in FIG. 10B indicates a vector corresponding to the individual illumination image data GL2. Similarly, the vector VL5 in FIG. 10B corresponds to the individual illumination image data GL5, and the vector VL7 is a vector corresponding to the individual illumination image data GL7. Further, the vector V1 in FIG. 10B is an eigenvector corresponding to the first eigenvalue.
具体的に、照明強度記憶部33は、固有ベクトルV1と個別照明画像ベクトルVL1〜LV7との内積をそれぞれ算出し、算出される角度の小さい個別照明画像ベクトルを検出する。これにより、固有ベクトルV1と方向が近似する個別照明画像ベクトルが検出される。この例において、固有ベクトルV1と近似するベクトルとして、例えば、個別照明画像ベクトルVL2、VL5、VL7が検出される。そこで、照明強度記憶部33は、個別照明画像ベクトルVL2、VL5、VL7に基づいて、固有ベクトルV1に近似する線形和を生成する。 Specifically, the illumination intensity storage unit 33 calculates the inner product of the eigenvector V1 and the individual illumination image vectors VL1 to LV7, and detects the individual illumination image vector having a small calculated angle. Thereby, the individual illumination image vector whose direction approximates the eigenvector V1 is detected. In this example, for example, individual illumination image vectors VL2, VL5, and VL7 are detected as vectors approximate to the eigenvector V1. Therefore, the illumination intensity storage unit 33 generates a linear sum that approximates the eigenvector V1 based on the individual illumination image vectors VL2, VL5, and VL7.
[強度係数の算出]
図11は、固有ベクトルと近似する個別照明画像ベクトルの線形和について例示する図である。図6のフローチャート図で前述したとおり、照明強度記憶部33は、固有ベクトルV1に近似するように個別照明画像ベクトルVL2、VL5、VL7の線形和を生成し、線形和における各個別照明画像ベクトルVL2、VL5、VL7の係数k2、k5、k7を強度係数として算出する(図6の工程S22)。線形和における各個別照明画像ベクトルVL2、VL5、VL7の長さは、各個別照明画像ベクトルの固有ベクトルへの射影成分として求められる。各個別照明画像ベクトルの長さは、各照明L2、L5、L7の強度係数k2、k5、k7に対応する。なお、強度係数k2、k5、k7は、合計して値1になるように調整されてもよい。
[Calculation of strength coefficient]
FIG. 11 is a diagram illustrating a linear sum of individual illumination image vectors approximated to eigenvectors. As described above in the flowchart of FIG. 6, the illumination intensity storage unit 33 generates a linear sum of the individual illumination image vectors VL2, VL5, and VL7 so as to approximate the eigenvector V1, and each individual illumination image vector VL2 in the linear sum, The coefficients k2, k5, and k7 of VL5 and VL7 are calculated as intensity coefficients (step S22 in FIG. 6). The lengths of the individual illumination image vectors VL2, VL5, and VL7 in the linear sum are obtained as projection components of the individual illumination image vectors onto the eigenvectors. The length of each individual illumination image vector corresponds to the intensity coefficient k2, k5, k7 of each illumination L2, L5, L7. Note that the intensity coefficients k2, k5, and k7 may be adjusted to be a value of 1 in total.
図12は、第1の固有値の固有画像と、検出された照明の固有画像の組み合わせについて説明する図である。図12に示すように、第1の固有値に対応する固有画像G1は、個別照明画像データGL2に強度係数k2が乗算された画像、個別照明画像データGL5に強度係数k5が乗算された画像、個別照明画像データGL7に強度係数k7が乗算された画像が合成された画像に近似する。これは、強度係数k2を適用させた照明L2、強度係数k5を適用させた照明L5、強度係数k7を適用させた照明L7を組み合わせて照射することにより、固有画像G1に近似する画像が撮像可能になることを意味する。 FIG. 12 is a diagram illustrating a combination of a unique image of the first eigenvalue and a detected unique image of illumination. As shown in FIG. 12, the unique image G1 corresponding to the first eigenvalue includes an image obtained by multiplying the individual illumination image data GL2 by the intensity coefficient k2, an image obtained by multiplying the individual illumination image data GL5 by the intensity coefficient k5, and an individual The illumination image data GL7 is approximated to an image obtained by combining an image obtained by multiplying the intensity coefficient k7. By irradiating a combination of the illumination L2 to which the intensity coefficient k2 is applied, the illumination L5 to which the intensity coefficient k5 is applied, and the illumination L7 to which the intensity coefficient k7 is applied, an image approximate to the unique image G1 can be captured. It means to become.
なお、本実施の形態例では、照明調節装置100が、輝度値の分散が高くなる照明の組み合わせに加えて、各照明の強度を算出する場合について説明した。しかしながら、照明調節装置100は、輝度値の分散が高くなる照明の組み合わせを検出するだけでもよい。これにより、照明調節装置100は、複数の照明のうち、輝度値の分散が高くなる複数の所定数の照明を検出することによって、簡易に、情報量の多い画像を生成可能にする。 In the present embodiment, the case has been described in which the illumination adjustment apparatus 100 calculates the intensity of each illumination in addition to the combination of illuminations in which the variance of the luminance value increases. However, the illumination adjustment apparatus 100 may only detect a combination of illuminations in which the luminance value dispersion increases. As a result, the illumination adjustment apparatus 100 can easily generate an image with a large amount of information by detecting a plurality of predetermined number of illuminations in which the variance of the luminance value is high among the plurality of illuminations.
続いて、本実施の形態例における照明調節装置100の処理を具体例に基づいて説明する。 Next, processing of the illumination adjustment apparatus 100 in the present embodiment will be described based on a specific example.
[具体例:輝度行列]
図13は、輝度行列の具体例を例示する図である。この例において、個別照明画像データは9個の画素を有し、照明の数は7個である。このため、図13の具体例における輝度行列は、9×7の輝度行列であって、0〜255の範囲の輝度値を有する。図13の輝度行列に基づいて、分散共分散行列が生成される。この例では、9×9の分散共分散行列が生成される。
[Specific example: Luminance matrix]
FIG. 13 is a diagram illustrating a specific example of a luminance matrix. In this example, the individual illumination image data has 9 pixels, and the number of illuminations is 7. For this reason, the luminance matrix in the specific example of FIG. 13 is a 9 × 7 luminance matrix and has luminance values in the range of 0-255. A variance-covariance matrix is generated based on the luminance matrix of FIG. In this example, a 9 × 9 variance-covariance matrix is generated.
[具体例:分散共分散行列]
図14は、分散共分散行列に基づいて算出される固有値、及び、固有ベクトルの具体例を示す図である。図14の表H11は、分散共分散行列に基づいて算出される上位から3つの固有値(第1の固有値554.72、第2の固有値401.57、第3の固有値69.56)を示す表である。また、表H12は、第1、第2の固有値に対応する、第1、第2固有ベクトルを示す表である。また、表H13は、第1、第2の固有ベクトルと各照明の個別照明画像ベクトルとの角度をそれぞれ示す表である。
[Specific example: variance-covariance matrix]
FIG. 14 is a diagram illustrating specific examples of eigenvalues and eigenvectors calculated based on the variance-covariance matrix. Table H11 in FIG. 14 is a table showing the top three eigenvalues calculated based on the variance-covariance matrix (first eigenvalue 554.72, second eigenvalue 401.57, and third eigenvalue 69.56). It is. Table H12 is a table showing the first and second eigenvectors corresponding to the first and second eigenvalues. Table H13 is a table showing angles between the first and second eigenvectors and the individual illumination image vectors of the respective illuminations.
図14の例では、第1の固有ベクトルに近似する個別照明画像ベクトルを有する照明が2つ検出される。具体的に、第1の固有値554.72に対応する第1の固有ベクトルに近似する個別照明画像ベクトルは、照明L5の個別照明画像ベクトル、照明L6の個別照明画像ベクトルである。照明L5、L6の個別照明画像ベクトルと第1の固有ベクトルとの角度は、照明L1〜L7のうち、最も小さい。また、第2の固有値401.57に対応する第2の固有ベクトルに近似する個別照明画像ベクトルは、照明L6の個別照明画像ベクトル、照明L7の個別照明画像ベクトルである。このように、固有値に応じて、固有値の固有ベクトルと近似する個別照明画像ベクトルを有する照明は異なる。 In the example of FIG. 14, two lights having individual illumination image vectors that approximate the first eigenvector are detected. Specifically, the individual illumination image vectors that approximate the first eigenvector corresponding to the first eigenvalue 554.72 are the individual illumination image vector of the illumination L5 and the individual illumination image vector of the illumination L6. The angle between the individual illumination image vectors of the illuminations L5 and L6 and the first eigenvector is the smallest of the illuminations L1 to L7. In addition, the individual illumination image vectors that approximate the second eigenvector corresponding to the second eigenvalue 401.57 are the individual illumination image vector of the illumination L6 and the individual illumination image vector of the illumination L7. In this way, the illumination having the individual illumination image vector that approximates the eigenvector of the eigenvalue differs depending on the eigenvalue.
図15は、照明の強度係数の具体例を示す図である。図15の表H14は、第1、第2の固有値それぞれについて、検出された照明の強度係数を示す表である。また、表H15は、第1、2の固有値それぞれについて、検出された照明に強度係数が適用された複合照明が照射された場合において撮像される画像データの輝度値を示す表である。 FIG. 15 is a diagram illustrating a specific example of the intensity coefficient of illumination. Table H14 in FIG. 15 is a table showing the intensity coefficients of the detected illumination for the first and second eigenvalues. Table H15 is a table showing the luminance values of image data captured when the combined illumination in which the intensity coefficient is applied to the detected illumination is irradiated for each of the first and second eigenvalues.
表H14に示すように、第1の固有値の第1の固有ベクトルに近似する画像データを生成可能にする照明L5の強度係数は値4.48、照明L6の強度係数は値0.24である。そして、表H15には、強度係数4.48が適用された照明L5、強度係数0.24が適用された照明L6が照射され、撮像された画像データにおける輝度値が示される。同様にして、第2の固有値の第2の固有ベクトルに近似する画像データを生成可能にする照明L6の強度係数は値2.04、照明L7の強度係数は値2.65である。そして、表H15には、強度係数2.04が適用された照明L6、強度係数2.65が適用された照明L7が照射され、撮像された画像データにおける輝度値が示される。 As shown in Table H14, the intensity coefficient of the illumination L5 that enables generation of image data that approximates the first eigenvector of the first eigenvalue is 4.48, and the intensity coefficient of the illumination L6 is 0.24. In Table H15, the illumination L5 to which the intensity coefficient 4.48 is applied and the illumination L6 to which the intensity coefficient 0.24 is applied are irradiated, and the luminance value in the captured image data is shown. Similarly, the intensity coefficient of the illumination L6 that enables generation of image data that approximates the second eigenvector of the second eigenvalue is 2.04, and the intensity coefficient of the illumination L7 is 2.65. In Table H15, the illumination value L6 to which the intensity coefficient 2.04 is applied and the illumination L7 to which the intensity coefficient 2.65 is applied are irradiated, and the luminance value in the captured image data is shown.
続いて、相関係数行列に基づいて固有値を算出する場合の具体例について説明する。照明調節装置は、図6のフローチャート図において、輝度行列に基づいて分散共分散行列の代わりに、相関係数行列を生成する(S16)。そして、照明調節装置は、相関係数行列に基づく固有値、固有ベクトルを算出し(S17、S18)、照明の組み合わせを検出すると共に、照明の強度を算出する。 Next, a specific example in the case where the eigenvalue is calculated based on the correlation coefficient matrix will be described. In the flowchart of FIG. 6, the lighting adjustment device generates a correlation coefficient matrix instead of the variance-covariance matrix based on the luminance matrix (S16). Then, the illumination adjustment device calculates eigenvalues and eigenvectors based on the correlation coefficient matrix (S17, S18), detects the combination of illumination, and calculates the intensity of illumination.
[具体例:相関係数行列]
図16は、相関係数行列に基づいて算出される固有値、及び、固有ベクトルの具体例を示す図である。図16の表H21は、相関係数行列に基づいて算出される上位から3つの固有値(第1の固有値4.425、第2の固有値3.674、第3の固有値0.484)を示す表である。また、表H22は、第1、第2の固有値に対応する、第1、第2固有ベクトルを示す表である。また、表H23は、第1、第2の固有ベクトルと各照明の個別照明画像ベクトルとの角度をそれぞれ示す表である。
[Specific example: Correlation coefficient matrix]
FIG. 16 is a diagram illustrating specific examples of eigenvalues and eigenvectors calculated based on the correlation coefficient matrix. Table H21 in FIG. 16 is a table showing the top three eigenvalues (first eigenvalue 4.425, second eigenvalue 3.674, and third eigenvalue 0.484) calculated based on the correlation coefficient matrix. It is. Table H22 is a table showing the first and second eigenvectors corresponding to the first and second eigenvalues. Table H23 is a table showing angles between the first and second eigenvectors and the individual illumination image vectors of the respective illuminations.
図16の例では、第1の固有ベクトルに近似する個別照明画像ベクトルを有する照明が2つ検出される。具体的に、第1の固有値4.425に対応する第1の固有ベクトルに近似する個別照明画像ベクトルは、照明L3の個別照明画像ベクトル、照明L4の個別照明画像ベクトルである。照明L3、L4の個別照明画像ベクトルと第1の固有ベクトルとの角度は、照明L1〜L7のうち、最も小さい。また、第2の固有値3.674に対応する第2の固有ベクトルに近似する個別照明画像ベクトルは、照明L5の個別照明画像ベクトル、照明L6の個別照明画像ベクトルである。 In the example of FIG. 16, two illuminations having individual illumination image vectors that approximate the first eigenvector are detected. Specifically, the individual illumination image vectors that approximate the first eigenvector corresponding to the first eigenvalue 4.425 are the individual illumination image vector of the illumination L3 and the individual illumination image vector of the illumination L4. The angle between the individual illumination image vectors of the illuminations L3 and L4 and the first eigenvector is the smallest among the illuminations L1 to L7. In addition, the individual illumination image vectors that approximate the second eigenvector corresponding to the second eigenvalue 3.674 are the individual illumination image vector of the illumination L5 and the individual illumination image vector of the illumination L6.
図17は、照明の強度係数の具体例を示す図である。図17の表H24は、第1、第2の固有値それぞれについて、検出された照明の強度係数を示す表である。また、表H25は、第1、2の固有値それぞれについて、検出された照明に強度係数が適用された複合照明が照射された場合において撮像される画像データの輝度値を示す表である。 FIG. 17 is a diagram illustrating a specific example of the intensity coefficient of illumination. A table H24 in FIG. 17 is a table showing the intensity coefficient of the detected illumination for each of the first and second eigenvalues. Table H25 is a table showing the luminance value of image data captured when the composite illumination in which the intensity coefficient is applied to the detected illumination is irradiated for each of the first and second eigenvalues.
表H24に示すように、第1の固有値の第1の固有ベクトルに近似する画像データを生成可能にする照明L3の強度係数は値2.60、照明L4の強度係数は値2.11である。そして、表H25には、強度係数2.60が適用された照明L3、強度係数2.11が適用された照明L4が照射され、撮像された画像データにおける輝度値が示される。同様にして、第2の固有値の第2の固有ベクトルに近似する画像データを生成可能にする照明L5の強度係数は値2.07、照明L6の強度係数は値2.69である。そして、表H25には、強度係数2.07が適用された照明L5、強度係数2.69が適用された照明L6が照射され、撮像された画像データにおける輝度値が示される。 As shown in Table H24, the intensity coefficient of the illumination L3 that enables generation of image data that approximates the first eigenvector of the first eigenvalue is the value 2.60, and the intensity coefficient of the illumination L4 is the value 2.11. In Table H25, the luminance L3 to which the intensity coefficient 2.60 is applied and the illumination L4 to which the intensity coefficient 2.11. Similarly, the intensity coefficient of the illumination L5 that enables generation of image data that approximates the second eigenvector of the second eigenvalue is the value 2.07, and the intensity coefficient of the illumination L6 is the value 2.69. In Table H25, the illumination L5 to which the intensity coefficient 2.07 is applied and the illumination L6 to which the intensity coefficient 2.69 is applied are irradiated, and the luminance value in the captured image data is shown.
相関係数行列では、各個別照明画像データにおける輝度値が正規化される。このため、分散共分散行列に基づく場合と、相関係数行列に基づく場合とで、算出される固有値、及び、固有ベクトルは異なる。したがって、検出される照明の組み合わせ、及び、強度係数も異なる。前述したとおり、相関係数行列に基づく固有値が採用される場合、輝度行列が正規化されることによって、各照明の輝度のばらつきに影響を受けることなく、照明の組み合わせ、及び、各照明の強度を算出することができる。 In the correlation coefficient matrix, the luminance value in each individual illumination image data is normalized. For this reason, the calculated eigenvalues and eigenvectors differ depending on the case based on the variance-covariance matrix and the case based on the correlation coefficient matrix. Therefore, the combination of detected illuminations and the intensity factor are also different. As described above, when the eigenvalue based on the correlation coefficient matrix is adopted, the luminance matrix is normalized so that the combination of the illumination and the intensity of each illumination are not affected by the variation in the luminance of each illumination. Can be calculated.
以上のように、本実施の形態例における照明調節装置100は、照明をそれぞれ用いたときに生成される対象物を撮像した個別照明画像データの、複数の照明に対応する集合である個別照明画像データ群に基づいて、画素間の輝度値の分散度合いが最大になる画像データを生成可能な複数の所定数の照明を検出する。そして、照明調節装置100は、複数の所定数の照明の組み合わせを調整情報として生成する。 As described above, the illumination adjustment device 100 according to the present embodiment is an individual illumination image that is a set corresponding to a plurality of illuminations of individual illumination image data obtained by imaging an object generated when each illumination is used. Based on the data group, a plurality of predetermined numbers of illuminations capable of generating image data in which the degree of dispersion of luminance values between pixels is maximized are detected. And the illumination adjustment apparatus 100 produces | generates the combination of several predetermined number of illuminations as adjustment information.
これにより、本実施の形態例における照明調節装置100は、複数の照明から輝度の分散が大きい情報量の多い画像データを生成可能にする所定数の照明の組み合わせを検出することができる。また、照明調節装置100は、対象物の画像データに基づくことにより、対象物の構造を際立って認識可能にする適切な照明の組み合わせを検出することができる。そして、照明調節装置100は、輝度値の分散の大きい画像を生成可能にすることにより、画像検査、画像計測、画像認識における画像処理の精度、及び、効率を向上させることができる。 Thereby, the illumination adjustment apparatus 100 according to the present embodiment can detect a predetermined number of combinations of illumination that can generate image data with a large amount of information having a large variance in luminance from a plurality of illuminations. Moreover, the illumination adjustment apparatus 100 can detect an appropriate combination of illuminations that makes the structure of the target object recognizable by being based on the image data of the target object. The illumination adjustment apparatus 100 can improve the accuracy and efficiency of image processing in image inspection, image measurement, and image recognition by enabling generation of an image having a large luminance value dispersion.
また、本実施の形態例における照明調節装置100において、個別照明画像データ群の各画素の輝度値を有する輝度行列の分散共分散行列または相関係数行列に基づいて固有値を算出して上位の固有値を選択し、複数の照明のうち、上位の固有値の固有ベクトルと最も近似する個別照明画像ベクトルを有する複数の所定数の照明を検出する。これにより、照明調節装置100は、個別照明画像データ群に基づいて、固有ベクトルと近似する複数の個別照明画像ベクトルを有する個別照明画像データを高精度に、効率的に検出することができ、輝度値の分散が最大になる画像データを生成可能にする。 Further, in the illumination adjustment apparatus 100 according to the present embodiment, the eigenvalue is calculated based on the variance-covariance matrix or correlation coefficient matrix of the luminance matrix having the luminance value of each pixel of the individual illumination image data group, and the higher eigenvalue is calculated. And a plurality of predetermined number of illuminations having individual illumination image vectors that most closely approximate the eigenvector of the higher eigenvalue among the plurality of illuminations. As a result, the illumination adjustment apparatus 100 can efficiently and accurately detect individual illumination image data having a plurality of individual illumination image vectors that approximate the eigenvector, based on the individual illumination image data group, and the luminance value. It is possible to generate image data that maximizes the variance of.
また、本実施の形態例における照明調節装置100において、調整情報は、さらに、複数の所定数の照明の各強度係数を含み、所定数の複数の照明の各個別照明ベクトルの線形和を固有ベクトルと近似させた場合における各個別照明ベクトルの各係数を強度係数として算出する。これにより、本実施の形態例における照明調節装置100は、輝度値の分散が高い照明の組み合わせに加えて、各照明の強度を算出することができる。このため、照明調節装置100は、輝度値の分散が大きい画像データを生成可能な複合照明をより高精度に生成可能になり、画像処理の精度、及び、効率を向上させることができる。 In the illumination adjustment apparatus 100 according to the present embodiment, the adjustment information further includes intensity coefficients of a plurality of predetermined numbers of lights, and the linear sum of the individual illumination vectors of the predetermined number of lights is an eigenvector. Each coefficient of each individual illumination vector when approximated is calculated as an intensity coefficient. Thereby, the illumination adjustment apparatus 100 according to the present embodiment can calculate the intensity of each illumination in addition to the combination of illuminations having high luminance value dispersion. For this reason, the illumination adjustment apparatus 100 can generate the composite illumination that can generate image data with a large variance of luminance values with higher accuracy, and can improve the accuracy and efficiency of image processing.
また、本実施の形態例における照明調節装置100において、固有ベクトルと個別照明画像ベクトルとの内積に基づいて、上位の固有値の固有ベクトルと最も近似する個別照明画像ベクトルを有する複数の所定数の照明を検出する。これにより、照明調節装置100は、固有ベクトルと近似する複数の個別照明画像データを高精度に、効率的に検出することができる。 In addition, in illumination adjustment apparatus 100 in the present embodiment, a plurality of predetermined numbers of illuminations having individual illumination image vectors that are closest to the eigenvectors of the higher eigenvalues are detected based on the inner product of the eigenvectors and individual illumination image vectors. To do. Thereby, the illumination adjustment apparatus 100 can efficiently detect a plurality of individual illumination image data that approximates the eigenvector with high accuracy.
また、本実施の形態例における照明調節装置100において、上位の固有値を複数個選択し、選択した上位の固有値それぞれについて、調整情報を生成する。これにより、照明調節装置100は、輝度値の分散の高い画像データであって、輝度値の分散の表れ方が互いに異なる画像データを生成可能な照明の組み合わせパターンを複数検出することができる。これにより、ユーザは、複数の照明の組み合わせパターンから、最適な照明の組み合わせパターンを選択することができる。 In addition, in lighting adjustment apparatus 100 according to the present embodiment, a plurality of upper eigenvalues are selected, and adjustment information is generated for each selected upper eigenvalue. As a result, the illumination adjustment apparatus 100 can detect a plurality of combination patterns of illumination that can generate image data having high luminance value dispersion and different brightness values. Accordingly, the user can select an optimal illumination combination pattern from a plurality of illumination combination patterns.
[第2の実施の形態例]
第1の実施の形態例における照明調節装置は、選択した固有値(例えば、第1の固有値)の固有ベクトルと近似する複数の個別照明画像ベクトルを検出する(図6の工程S20)。これに対して、第2の実施の形態例における照明調節装置は、固有ベクトルと近似する、個別照明画像ベクトルと反転する反転ベクトルについても検出の対象とする。
[Second Embodiment]
The illumination adjustment apparatus according to the first embodiment detects a plurality of individual illumination image vectors that approximate the eigenvector of the selected eigenvalue (for example, the first eigenvalue) (step S20 in FIG. 6). On the other hand, the illumination adjustment apparatus according to the second embodiment also detects an inversion vector that is approximate to an eigenvector and is inverted from an individual illumination image vector.
[個別照明画像ベクトルの検出]
図18は、第2の実施の形態例における、固有ベクトルと近似する個別照明画像ベクトルの検出処理について説明する図である。この例において、個別照明画像ベクトルVL6は、固有ベクトルV1と近似する。一方、個別照明画像ベクトルVL1、VL4は、固有ベクトルV1と近似していないものの、個別照明画像ベクトルVL1、VL4の反転ベクトル−VL1、−VL4(以下、反転個別照明画像ベクトル)が、固有ベクトルV1と近似する。これは、個別照明画像ベクトルVL1、VL4に対応する画像データに、固有ベクトルV1の固有画像の輝度値の分散が反転して現れることを意味する。第2の実施の形態例において、固有ベクトルV1と近似するベクトルとして、例えば、個別照明画像ベクトルVL6、及び、個別照明画像ベクトルVL1、VL4の反転ベクトルが検出される(図6の工程S21)。
[Detection of individual illumination image vectors]
FIG. 18 is a diagram for explaining the detection processing of the individual illumination image vector that approximates the eigenvector in the second embodiment. In this example, the individual illumination image vector VL6 approximates the eigenvector V1. On the other hand, although the individual illumination image vectors VL1 and VL4 are not approximated by the eigenvector V1, the inverted vectors -VL1 and -VL4 (hereinafter referred to as inverted individual illumination image vectors) of the individual illumination image vectors VL1 and VL4 are approximated by the eigenvector V1. To do. This means that in the image data corresponding to the individual illumination image vectors VL1 and VL4, the luminance value dispersion of the eigenvector of the eigenvector V1 appears in an inverted manner. In the second embodiment, for example, the individual illumination image vector VL6 and the inverted vectors of the individual illumination image vectors VL1 and VL4 are detected as vectors approximate to the eigenvector V1 (step S21 in FIG. 6).
[照明調節処理の流れ]
図19は、第2の実施の形態例における照明調節装置100の処理の流れについて説明する図である。続いて、照明調節装置100は、個別照明画像ベクトルVL1、VL4、VL6の線形和を固有ベクトルV1に近似させた場合における、各固有ベクトルV1の係数k1、k4、k6を算出する(図6の工程S21)。ただし、反転ベクトルが固有ベクトルV1と近似する個別照明画像ベクトルVL1、VL4の係数k1、k4はマイナス値になる。照明にマイナスの強度係数を適用することは現実的ではない。
[Flow of lighting adjustment processing]
FIG. 19 is a diagram for explaining the flow of processing of the illumination adjustment apparatus 100 in the second embodiment. Subsequently, the illumination adjustment apparatus 100 calculates the coefficients k1, k4, and k6 of each eigenvector V1 when the linear sum of the individual illumination image vectors VL1, VL4, and VL6 is approximated to the eigenvector V1 (step S21 in FIG. 6). ). However, the coefficients k1 and k4 of the individual illumination image vectors VL1 and VL4 whose inversion vectors approximate the eigenvector V1 are negative values. Applying a negative intensity factor to lighting is not practical.
そこで、第2の実施の形態例における照明調節装置100は、個別照明画像ベクトルVL1,VL4を反転して、反転個別照明画像ベクトル−VL1、−VL4を生成する(S31)。そして、照明調節装置100は、反転個別照明画像ベクトル−VL1、−VL4、及び、個別照明画像ベクトルVL6の線形和を固有ベクトルV1に近似させた場合における、各ベクトルV1の係数k1、k4、k6を強度係数として算出する(図6の工程S32)。これにより、個別照明画像ベクトルVL6に対応する照明L6を有する複合照明1Y1が生成されると共に、反転個別照明画像ベクトル−VL1、−VL4に対応する照明L1、L4を有する複合照明2Y2が生成される(S33)。 Therefore, the illumination adjustment apparatus 100 according to the second embodiment inverts the individual illumination image vectors VL1 and VL4 to generate inverted individual illumination image vectors -VL1 and -VL4 (S31). Then, the illumination adjustment apparatus 100 calculates coefficients k1, k4, and k6 of each vector V1 when the linear sum of the inverted individual illumination image vectors -VL1 and -VL4 and the individual illumination image vector VL6 is approximated to the eigenvector V1. It calculates as an intensity | strength coefficient (process S32 of FIG. 6). Thereby, the composite illumination 1Y1 having the illumination L6 corresponding to the individual illumination image vector VL6 is generated, and the composite illumination 2Y2 having the illuminations L1 and L4 corresponding to the inverted individual illumination image vectors -VL1 and -VL4 is generated. (S33).
続いて、照明調節装置100は、複合照明1Y1に基づいて、強度係数k6が適用された照明L6を照射し対象物の第1の画像データgY1を生成させる。また、照明調節装置100は、複合照明2Y2に基づいて、強度係数k1が適用された照明L1と強度係数k14が適用された照明L4とを照射して、対象物の第2の画像データgY2を生成させる。そして、照明調節装置100は、第1の画像データgY1と第2の画像データgY2の差分画像gY3を、固有値の固有画像に近似した画像データとして出力する。 Subsequently, the illumination adjustment apparatus 100 generates the first image data gY1 of the object by irradiating the illumination L6 to which the intensity coefficient k6 is applied based on the composite illumination 1Y1. Moreover, the illumination adjustment apparatus 100 irradiates the illumination L1 to which the intensity coefficient k1 is applied and the illumination L4 to which the intensity coefficient k14 is applied based on the composite illumination 2Y2, and the second image data gY2 of the target object. Generate. Then, the illumination adjustment apparatus 100 outputs the difference image gY3 between the first image data gY1 and the second image data gY2 as image data approximated to the eigenvalue eigenimage.
このようにして、第2の実施の形態例では、照明調節装置は、固有ベクトルと近似する個別照明画像ベクトルに加えて、固有ベクトルと近似する反転個別照明画像ベクトルを検出の対象とする。ただし、検出される反転個別照明画像ベクトルの個別照明画像データにおける輝度値の表れ方は、固有ベクトルの固有画像における輝度値の表れ方と反転する。そこで、照明調節装置100は、個別照明画像ベクトルを有する照明を照射して取得される画像データgY1から、反転個別照明画像ベクトルを有する照明を照射して取得される画像データgY2を減算した、差分画像データgY3を生成する。これにより、照明調節装置100は、反転ベクトルが固有ベクトルと近似する反転個別照明画像ベクトルを使用する場合であっても、固有ベクトルの固有画像と近似する画像データを生成可能になる。 In this way, in the second embodiment, the illumination adjustment apparatus uses the inverted individual illumination image vector that approximates the eigenvector in addition to the individual illumination image vector that approximates the eigenvector. However, the appearance of the luminance value in the individual illumination image data of the detected inverted individual illumination image vector is reversed from the appearance of the luminance value in the eigenimage of the eigenvector. Therefore, the illumination adjustment apparatus 100 subtracts the image data gY2 acquired by irradiating the illumination having the inverted individual illumination image vector from the image data gY1 acquired by irradiating the illumination having the individual illumination image vector. Image data gY3 is generated. Accordingly, the illumination adjustment apparatus 100 can generate image data that approximates the eigenimage of the eigenvector even when the inverted individual illumination image vector whose inversion vector approximates the eigenvector is used.
[具体例]
図20は、第2の実施の形態例において算出される算出される固有値、及び、固有ベクトルの具体例を示す図である。図20の表H11、H12は、第1の実施の形態例における図14の表H11、H12と同様である。第2の実施の形態例では、表H33に示すように、第1の固有値554.72に対応する第1の固有ベクトルに近似する個別照明画像ベクトルとして、照明L5の個別照明画像ベクトルと、照明L1の反転個別照明画像ベクトルが検出される(S21)。具体的に、第1の固有ベクトルと、照明L1の反転個別照明画像ベクトルとの角度は、20.4(=180−159.6)である。このため、第1の固有ベクトルと照明L1の反転個別照明画像ベクトルとの角度は、第1の固有ベクトルと照明L5の個別照明画像ベクトルとの角度24.1より小さい。
[Concrete example]
FIG. 20 is a diagram illustrating specific examples of calculated eigenvalues and eigenvectors calculated in the second embodiment. Tables H11 and H12 in FIG. 20 are the same as Tables H11 and H12 in FIG. 14 in the first embodiment. In the second embodiment, as shown in Table H33, the individual illumination image vector of the illumination L5 and the illumination L1 are used as the individual illumination image vector that approximates the first eigenvector corresponding to the first eigenvalue 554.72. The inverted individual illumination image vector is detected (S21). Specifically, the angle between the first eigenvector and the inverted individual illumination image vector of the illumination L1 is 20.4 (= 180-159.6). For this reason, the angle between the first eigenvector and the inverted individual illumination image vector of the illumination L1 is smaller than the angle 24.1 between the first eigenvector and the individual illumination image vector of the illumination L5.
図21は、照明の強度係数の具体例を示す図である。図21の表H34は、第1の固有値について、照明の強度係数を示す表である。表H34に示すように、個別照明画像ベクトルVL1、VL5線形和を固有ベクトルに近似させた場合における、個別照明画像ベクトルVL1の係数は−2.25のようにマイナス値となる。そこで、照明調節装置100は、強度係数6.57が適用された照明L5を照射して対象物の第1の画像データgY1を生成させると共に、強度係数2.25が適用された照明L1を照射して、対象物の第2の画像データgY2を生成させる。そして、照明調節装置100は、第1の画像データgY1から第2の画像データgY2の差分画像データgY3を出力する。 FIG. 21 is a diagram illustrating a specific example of the intensity coefficient of illumination. Table H34 in FIG. 21 is a table showing the intensity coefficient of illumination for the first eigenvalue. As shown in Table H34, when the linear sum of the individual illumination image vectors VL1 and VL5 is approximated to the eigenvector, the coefficient of the individual illumination image vector VL1 is a negative value such as −2.25. Therefore, the illumination adjustment apparatus 100 generates the first image data gY1 of the object by irradiating the illumination L5 to which the intensity coefficient 6.57 is applied, and irradiates the illumination L1 to which the intensity coefficient 2.25 is applied. Then, the second image data gY2 of the object is generated. Then, the illumination adjustment apparatus 100 outputs difference image data gY3 from the first image data gY1 to the second image data gY2.
図21の表H35には、強度係数6.57が適用された照明L5を照射して取得される第1の画像データgY1における輝度値、及び、強度係数2.25が適用された照明L1を照射して取得される第2の画像データgY2における輝度値が例示される。さらに、表H35には、第1の画像データgY1から第2の画像データgY2が減算されることによって生成される差分画像データgY3の輝度値が例示される。 In Table H35 of FIG. 21, the luminance value in the first image data gY1 acquired by irradiating the illumination L5 to which the intensity coefficient 6.57 is applied, and the illumination L1 to which the intensity coefficient 2.25 is applied. The brightness value in the second image data gY2 acquired by irradiation is exemplified. Further, the table H35 illustrates the luminance value of the difference image data gY3 generated by subtracting the second image data gY2 from the first image data gY1.
このように、第2の実施の形態例における照明調節装置は、上位の固有値の固有ベクトルと近似する個別照明画像ベクトルを有する第1の照明に加えて、上位の固有値の固有ベクトルと反転ベクトルが近似する個別照明画像ベクトルを有する第2の照明とを検出する。また、このとき、対象物の画像データは、第1の照明を用いたときに生成される第1の画像データから、第2の照明を用いたときに生成される第2の画像データの差分画像データとして取得される。 As described above, the illumination adjustment apparatus according to the second embodiment approximates the eigenvector and inverted vector of the upper eigenvalue in addition to the first illumination having the individual illumination image vector that approximates the eigenvector of the upper eigenvalue. A second illumination having an individual illumination image vector is detected. At this time, the image data of the object is a difference between the first image data generated when the first illumination is used and the second image data generated when the second illumination is used. Obtained as image data.
これにより、第2の実施の形態例における照明調節装置は、反転した個別照明画像ベクトルが固有ベクトルと近似する場合についても、輝度値の分散が高い画像データを生成可能にすることができる。これにより、照明調節装置は、固有ベクトルとより高精度に近似する個別照明画像ベクトルを検出可能になり、輝度値の分散がより高い画像データを生成可能になる。 As a result, the illumination adjustment apparatus according to the second embodiment can generate image data with high luminance value dispersion even when the inverted individual illumination image vector approximates the eigenvector. Thereby, the illumination adjustment device can detect the individual illumination image vector that approximates the eigenvector with higher accuracy, and can generate image data with higher variance of the luminance value.
また、第2の実施の形態例における照明調節装置において、調整情報は、さらに、複数の所定数の照明の各強度係数を含み、所定数の複数の照明の各個別照明ベクトルの線形和を固有ベクトルと近似させた場合における各個別照明ベクトルの各係数を強度係数として算出する。これにより、第2の実施の形態例においても照明調節装置100は、輝度値の分散が高い照明の組み合わせに加えて、各照明の強度を算出することができる。このため、照明調節装置100は、輝度値の分散が大きい画像データを生成可能な複合照明をより高精度に生成可能になり、画像処理の精度、及び、効率を向上させることができる。 Further, in the illumination adjustment apparatus according to the second embodiment, the adjustment information further includes intensity coefficients of a plurality of predetermined numbers of illuminations, and the linear sum of the individual illumination vectors of the predetermined number of illuminations is an eigenvector. Are calculated as intensity coefficients. Thereby, also in 2nd Embodiment, the illumination adjustment apparatus 100 can calculate the intensity | strength of each illumination in addition to the combination of illumination with a high dispersion | distribution of a luminance value. For this reason, the illumination adjustment apparatus 100 can generate the composite illumination that can generate image data with a large variance of luminance values with higher accuracy, and can improve the accuracy and efficiency of image processing.
以上の実施の形態をまとめると、次の付記のとおりである。 The above embodiment is summarized as follows.
(付記1)
複数の照明を用いた対象物の画像データの生成時における照明を調整する照明調節装置であって、
前記照明を個別に用いたときに生成される前記対象物を撮像した個別照明画像データの、複数の照明に対応する集合である個別照明画像データ群に基づいて、画素間の輝度値の分散度合いが最大になる画像データを生成可能な複数の所定数の照明を検出し、前記複数の所定数の照明の組み合わせを調整情報として生成する調整情報生成手段、を有する照明調節装置。
(Appendix 1)
An illumination adjustment device that adjusts illumination when generating image data of an object using a plurality of illuminations,
Dispersion degree of luminance value between pixels based on individual illumination image data group that is a set corresponding to a plurality of illuminations of individual illumination image data obtained by imaging the object generated when the illumination is used individually And an adjustment information generating unit that detects a plurality of predetermined numbers of illuminations capable of generating image data that maximizes and generates a combination of the plurality of predetermined numbers of illuminations as adjustment information.
(付記2)
付記1において、
前記調整情報生成手段は、前記個別照明画像データ群の各画素の輝度値を有する輝度行列の分散共分散行列または相関係数行列に基づいて固有値を算出して上位の固有値を選択し、前記複数の照明のうち、前記上位の固有値の固有ベクトルと近似する個別照明画像ベクトルを有する前記複数の所定数の照明を検出する照明調節装置。
(Appendix 2)
In Appendix 1,
The adjustment information generating unit calculates an eigenvalue based on a variance-covariance matrix or a correlation coefficient matrix of a luminance matrix having a luminance value of each pixel of the individual illumination image data group, selects an upper eigenvalue, An illumination adjustment device that detects the predetermined number of illuminations having individual illumination image vectors that approximate the eigenvectors of the higher eigenvalues.
(付記3)
付記2において、
前記調整情報は、さらに、前記複数の所定数の照明の各強度係数を含み、
前記調整情報生成手段は、さらに、前記所定数の複数の照明の各個別照明ベクトルの線形和を前記固有ベクトルと近似させた場合における前記各個別照明ベクトルの各係数を強度係数として算出する照明調節装置。
(Appendix 3)
In Appendix 2,
The adjustment information further includes intensity factors of the plurality of predetermined numbers of illuminations,
The adjustment information generating unit further calculates an coefficient of each individual illumination vector as an intensity coefficient when a linear sum of each individual illumination vector of the predetermined number of illuminations is approximated with the eigenvector. .
(付記4)
付記2において、
前記調整情報生成手段は、前記固有ベクトルと前記個別照明画像ベクトルとの内積に基づいて、前記上位の固有値の固有ベクトルと近似する個別照明画像ベクトルを有する前記複数の所定数の照明を検出する照明調節装置。
(Appendix 4)
In Appendix 2,
The adjustment information generation unit detects the predetermined number of illuminations having individual illumination image vectors that approximate the eigenvector of the higher eigenvalue based on the inner product of the eigenvector and the individual illumination image vector. .
(付記5)
付記2乃至4のいずれかにおいて、
前記調整情報生成手段は、前記上位の固有値を複数個選択し、選択した上位の固有値それぞれについて、前記調整情報を生成する照明調節装置。
(Appendix 5)
In any of Supplementary Notes 2 to 4,
The adjustment information generation unit is a lighting adjustment device that selects a plurality of upper eigenvalues and generates the adjustment information for each selected upper eigenvalue.
(付記6)
付記2において、
前記調整情報生成手段は、前記上位の固有値の固有ベクトルと近似する個別照明画像ベクトルを有する第1の照明に加えて、前記上位の固有値の固有ベクトルと反転ベクトルが近似する個別照明画像ベクトルを有する第2の照明とを検出し、
前記対象物の画像データは、前記第1の照明を用いたときに生成される第1の画像データから、前記第2の照明を用いたときに生成される第2の画像データの差分画像データとして取得される照明調整装置。
(Appendix 6)
In Appendix 2,
The adjustment information generating means includes a second illumination having an individual illumination image vector approximating an eigenvector and an inverted vector of the higher eigenvalue in addition to the first illumination having an individual illumination image vector approximating the eigenvector of the upper eigenvalue. Detecting and
The image data of the object is the difference image data of the second image data generated when the second illumination is used from the first image data generated when the first illumination is used. Lighting adjustment device acquired as.
(付記7)
付記6において、
前記調整情報は、さらに、前記複数の所定数の照明の各強度係数を含み、
前記調整情報生成手段は、さらに、前記所定数の複数の照明の各個別照明ベクトルの線形和を前記固有ベクトルと近似させた場合における前記各個別照明ベクトルの各係数を強度係数として算出する照明調節装置。
(Appendix 7)
In Appendix 6,
The adjustment information further includes intensity factors of the plurality of predetermined numbers of illuminations,
The adjustment information generating unit further calculates an coefficient of each individual illumination vector as an intensity coefficient when a linear sum of each individual illumination vector of the predetermined number of illuminations is approximated with the eigenvector. .
(付記8)
複数の照明を用いた対象物の画像データの生成時における照明を調整する照明調節方法であって、
前記照明を個別に用いたときに生成される前記対象物を撮像した個別照明画像データの、複数の照明に対応する集合である個別照明画像データ群に基づいて、画素間の輝度値の分散度合いが最大になる画像データを生成可能な複数の所定数の照明を検出し、前記複数の所定数の照明の組み合わせを調整情報として生成する調整情報生成工程、を有する照明調節方法。
(Appendix 8)
An illumination adjustment method for adjusting illumination when generating image data of an object using a plurality of illuminations,
Dispersion degree of luminance value between pixels based on individual illumination image data group that is a set corresponding to a plurality of illuminations of individual illumination image data obtained by imaging the object generated when the illumination is used individually An adjustment information generating step of detecting a plurality of predetermined numbers of illuminations capable of generating image data that maximizes and generating a combination of the plurality of predetermined numbers of illuminations as adjustment information.
(付記9)
付記8において、
前記調整情報生成工程では、前記個別照明画像データ群の各画素の輝度値を有する輝度行列の分散共分散行列または相関係数行列に基づいて固有値を算出して上位の固有値を選択し、前記複数の照明のうち、前記上位の固有値の固有ベクトルと近似する個別照明画像ベクトルを有する前記複数の所定数の照明を検出する照明調節方法。
(Appendix 9)
In Appendix 8,
In the adjustment information generating step, an eigenvalue is calculated based on a variance-covariance matrix or a correlation coefficient matrix of a luminance matrix having a luminance value of each pixel of the individual illumination image data group, and an upper eigenvalue is selected, The illumination adjustment method for detecting the predetermined number of illuminations having individual illumination image vectors that approximate the eigenvectors of the higher eigenvalues.
(付記10)
付記9において、
前記調整情報は、さらに、前記複数の所定数の照明の各強度係数を含み、
前記調整情報生成工程では、さらに、前記所定数の複数の照明の各個別照明ベクトルの線形和を前記固有ベクトルと近似させた場合における前記各個別照明ベクトルの各係数を強度係数として算出する照明調節方法。
(Appendix 10)
In Appendix 9,
The adjustment information further includes intensity factors of the plurality of predetermined numbers of illuminations,
In the adjustment information generation step, the illumination adjustment method further calculates, as an intensity coefficient, each coefficient of each individual illumination vector when a linear sum of each individual illumination vector of the predetermined number of illuminations is approximated with the eigenvector .
(付記11)
複数の照明を用いた対象物の画像データの生成時における照明を調整する照明調節処理を、を実行させるプロセッサ読み取り可能な照明調節プログラムにおいて、
前記照明調節処理は、
前記照明を個別に用いたときに生成される前記対象物を撮像した個別照明画像データの、複数の照明に対応する集合である個別照明画像データ群に基づいて、画素間の輝度値の分散度合いが最大になる画像データを生成可能な複数の所定数の照明を検出し、前記複数の所定数の照明の組み合わせを調整情報として生成する調整情報生成工程、を有する照明調節プログラム。
(Appendix 11)
In a processor-readable illumination adjustment program for executing an illumination adjustment process for adjusting illumination when generating image data of an object using a plurality of illuminations,
The illumination adjustment process includes:
Dispersion degree of luminance value between pixels based on individual illumination image data group that is a set corresponding to a plurality of illuminations of individual illumination image data obtained by imaging the object generated when the illumination is used individually An illumination adjustment program comprising: an adjustment information generating step of detecting a plurality of predetermined numbers of illuminations capable of generating image data that maximizes and generating a combination of the plurality of predetermined numbers of illuminations as adjustment information.
(付記12)
付記11において、
前記調整情報生成工程では、前記個別照明画像データ群の各画素の輝度値を有する輝度行列の分散共分散行列または相関係数行列に基づいて固有値を算出して上位の固有値を選択し、前記複数の照明のうち、前記上位の固有値の固有ベクトルと近似する個別照明画像ベクトルを有する前記複数の所定数の照明を検出する照明調節プログラム。
(Appendix 12)
In Appendix 11,
In the adjustment information generating step, an eigenvalue is calculated based on a variance-covariance matrix or a correlation coefficient matrix of a luminance matrix having a luminance value of each pixel of the individual illumination image data group, and an upper eigenvalue is selected, An illumination adjustment program for detecting the predetermined number of illuminations having individual illumination image vectors that approximate the eigenvectors of the higher eigenvalues.
(付記13)
付記12において、
前記調整情報は、さらに、前記複数の所定数の照明の各強度係数を含み、
前記調整情報生成工程では、さらに、前記所定数の複数の照明の各個別照明ベクトルの線形和を前記固有ベクトルと近似させた場合における前記各個別照明ベクトルの各係数を強度係数として算出する照明調節プログラム。
(Appendix 13)
In Appendix 12,
The adjustment information further includes intensity factors of the plurality of predetermined numbers of illuminations,
In the adjustment information generating step, an illumination adjustment program for calculating each coefficient of each individual illumination vector as an intensity coefficient when a linear sum of each individual illumination vector of the predetermined number of illuminations is approximated with the eigenvector .
10:表示装置、11:ROM、12:RAM、13:通信インタフェース、14:CPU、15:外部インタフェース、100:照明調節装置、L1〜L5照明、CM:撮像装置 10: Display device, 11: ROM, 12: RAM, 13: Communication interface, 14: CPU, 15: External interface, 100: Illumination adjusting device, L1 to L5 illumination, CM: Imaging device
Claims (9)
前記照明を個別に用いたときに生成される前記対象物を撮像した個別照明画像データの、複数の照明に対応する集合である個別照明画像データ群に基づいて、画素間の輝度値の分散度合いが最大になる画像データを生成可能な複数の所定数の照明を検出し、前記複数の所定数の照明の組み合わせを調整情報として生成する調整情報生成手段、を有する照明調節装置。 An illumination adjustment device that adjusts illumination when generating image data of an object using a plurality of illuminations,
Dispersion degree of luminance value between pixels based on individual illumination image data group that is a set corresponding to a plurality of illuminations of individual illumination image data obtained by imaging the object generated when the illumination is used individually And an adjustment information generating unit that detects a plurality of predetermined numbers of illuminations capable of generating image data that maximizes and generates a combination of the plurality of predetermined numbers of illuminations as adjustment information.
前記調整情報生成手段は、前記個別照明画像データ群の各画素の輝度値を有する輝度行列の分散共分散行列または相関係数行列に基づいて固有値を算出して上位の固有値を選択し、前記複数の照明のうち、前記上位の固有値の固有ベクトルと近似する個別照明画像ベクトルを有する前記複数の所定数の照明を検出する照明調節装置。 In claim 1,
The adjustment information generating unit calculates an eigenvalue based on a variance-covariance matrix or a correlation coefficient matrix of a luminance matrix having a luminance value of each pixel of the individual illumination image data group, selects an upper eigenvalue, An illumination adjustment device that detects the predetermined number of illuminations having individual illumination image vectors that approximate the eigenvectors of the higher eigenvalues.
前記調整情報は、さらに、前記複数の所定数の照明の各強度係数を含み、
前記調整情報生成手段は、さらに、前記所定数の複数の照明の各個別照明ベクトルの線形和を前記固有ベクトルと近似させた場合における前記各個別照明ベクトルの各係数を強度係数として算出する照明調節装置。 In claim 2,
The adjustment information further includes intensity factors of the plurality of predetermined numbers of illuminations,
The adjustment information generating unit further calculates an coefficient of each individual illumination vector as an intensity coefficient when a linear sum of each individual illumination vector of the predetermined number of illuminations is approximated with the eigenvector. .
前記調整情報生成手段は、前記固有ベクトルと前記個別照明画像ベクトルとの内積に基づいて、前記上位の固有値の固有ベクトルと近似する個別照明画像ベクトルを有する前記複数の所定数の照明を検出する照明調節装置。 In claim 2,
The adjustment information generation unit detects the predetermined number of illuminations having individual illumination image vectors that approximate the eigenvector of the higher eigenvalue based on the inner product of the eigenvector and the individual illumination image vector. .
前記調整情報生成手段は、前記上位の固有値を複数個選択し、選択した上位の固有値それぞれについて、前記調整情報を生成する照明調節装置。 In any of claims 2 to 4,
The adjustment information generation unit is a lighting adjustment device that selects a plurality of upper eigenvalues and generates the adjustment information for each selected upper eigenvalue.
前記調整情報生成手段は、前記上位の固有値の固有ベクトルと近似する個別照明画像ベクトルを有する第1の照明に加えて、前記上位の固有値の固有ベクトルと反転ベクトルが近似する個別照明画像ベクトルを有する第2の照明とを検出し、
前記対象物の画像データは、前記第1の照明を用いたときに生成される第1の画像データから、前記第2の照明を用いたときに生成される第2の画像データの差分画像データとして取得される照明調整装置。 In claim 2,
The adjustment information generating means includes a second illumination having an individual illumination image vector approximating an eigenvector and an inverted vector of the higher eigenvalue in addition to the first illumination having an individual illumination image vector approximating the eigenvector of the upper eigenvalue. Detecting and
The image data of the object is the difference image data of the second image data generated when the second illumination is used from the first image data generated when the first illumination is used. Lighting adjustment device acquired as.
前記調整情報は、さらに、前記複数の所定数の照明の各強度係数を含み、
前記調整情報生成手段は、さらに、前記所定数の複数の照明の各個別照明ベクトルの線形和を前記固有ベクトルと近似させた場合における前記各個別照明ベクトルの各係数を強度係数として算出する照明調節装置。 In claim 6,
The adjustment information further includes intensity factors of the plurality of predetermined numbers of illuminations,
The adjustment information generating unit further calculates an coefficient of each individual illumination vector as an intensity coefficient when a linear sum of each individual illumination vector of the predetermined number of illuminations is approximated with the eigenvector. .
前記照明を個別に用いたときに生成される前記対象物を撮像した個別照明画像データの、複数の照明に対応する集合である個別照明画像データ群に基づいて、画素間の輝度値の分散度合いが最大になる画像データを生成可能な複数の所定数の照明を検出し、前記複数の所定数の照明の組み合わせを調整情報として生成する調整情報生成工程、を有する照明調節方法。 An illumination adjustment method for adjusting illumination when generating image data of an object using a plurality of illuminations,
Dispersion degree of luminance value between pixels based on individual illumination image data group that is a set corresponding to a plurality of illuminations of individual illumination image data obtained by imaging the object generated when the illumination is used individually An adjustment information generating step of detecting a plurality of predetermined numbers of illuminations capable of generating image data that maximizes and generating a combination of the plurality of predetermined numbers of illuminations as adjustment information.
前記照明調節処理は、
前記照明を個別に用いたときに生成される前記対象物を撮像した個別照明画像データの、複数の照明に対応する集合である個別照明画像データ群に基づいて、画素間の輝度値の分散度合いが最大になる画像データを生成可能な複数の所定数の照明を検出し、前記複数の所定数の照明の組み合わせを調整情報として生成する調整情報生成工程、を有する照明調節プログラム。 In a processor-readable illumination adjustment program for executing an illumination adjustment process for adjusting illumination when generating image data of an object using a plurality of illuminations,
The illumination adjustment process includes:
Dispersion degree of luminance value between pixels based on individual illumination image data group that is a set corresponding to a plurality of illuminations of individual illumination image data obtained by imaging the object generated when the illumination is used individually An illumination adjustment program comprising: an adjustment information generating step of detecting a plurality of predetermined numbers of illuminations capable of generating image data that maximizes and generating a combination of the plurality of predetermined numbers of illuminations as adjustment information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013133742A JP6155900B2 (en) | 2013-06-26 | 2013-06-26 | Lighting adjustment apparatus, lighting adjustment method, and lighting adjustment program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013133742A JP6155900B2 (en) | 2013-06-26 | 2013-06-26 | Lighting adjustment apparatus, lighting adjustment method, and lighting adjustment program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015011364A true JP2015011364A (en) | 2015-01-19 |
JP6155900B2 JP6155900B2 (en) | 2017-07-05 |
Family
ID=52304508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013133742A Active JP6155900B2 (en) | 2013-06-26 | 2013-06-26 | Lighting adjustment apparatus, lighting adjustment method, and lighting adjustment program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6155900B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112040138A (en) * | 2020-08-31 | 2020-12-04 | 英华达(上海)科技有限公司 | Stereoscopic light source system, image pickup method, image pickup device, storage medium, and electronic apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08105722A (en) * | 1994-10-06 | 1996-04-23 | Advantest Corp | Illuminator for inspecting device external appearance and device external appearance automatic inspecting apparatus using the illuminator |
JPH08327324A (en) * | 1995-06-05 | 1996-12-13 | Toshiba Corp | Registering apparatus |
JPH09304034A (en) * | 1996-05-15 | 1997-11-28 | Mitsutoyo Corp | Lighting control system |
-
2013
- 2013-06-26 JP JP2013133742A patent/JP6155900B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08105722A (en) * | 1994-10-06 | 1996-04-23 | Advantest Corp | Illuminator for inspecting device external appearance and device external appearance automatic inspecting apparatus using the illuminator |
JPH08327324A (en) * | 1995-06-05 | 1996-12-13 | Toshiba Corp | Registering apparatus |
JPH09304034A (en) * | 1996-05-15 | 1997-11-28 | Mitsutoyo Corp | Lighting control system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112040138A (en) * | 2020-08-31 | 2020-12-04 | 英华达(上海)科技有限公司 | Stereoscopic light source system, image pickup method, image pickup device, storage medium, and electronic apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP6155900B2 (en) | 2017-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6290720B2 (en) | Inspection device, inspection method, and program | |
EP3762795B1 (en) | Method, device, system and program for setting lighting condition and storage medium | |
TWI629904B (en) | Image brightness non-uniformity correction method and image brightness correction device therefor | |
JP2015524555A5 (en) | ||
JP2018121207A5 (en) | ||
JP2016016234A5 (en) | ||
JP2016109934A5 (en) | Control device, control method, image display system, and program | |
JP2013026938A5 (en) | ||
JPWO2012098854A1 (en) | Image processing system, image processing method, and image processing program | |
CN104376573A (en) | Image spot detecting method and system | |
TWI628601B (en) | Facial image-processing method and system thereof | |
JP6155900B2 (en) | Lighting adjustment apparatus, lighting adjustment method, and lighting adjustment program | |
JP2014115107A5 (en) | ||
WO2011083749A1 (en) | Learning device, identification device, learning identification system and learning identification device | |
JP6280451B2 (en) | Inspection device | |
KR101751681B1 (en) | System for detecting foreign substance | |
JP2004523941A5 (en) | ||
JP2012086450A5 (en) | Image forming apparatus, image forming method, and program | |
JP2015088918A5 (en) | Image processing apparatus, image processing method, and program | |
US20160216690A1 (en) | Method and apparatus for correcting distortion of 3d hologram | |
JP2015141394A5 (en) | Imaging apparatus, control method, and program | |
EP3028251A1 (en) | Image manipulation | |
TWI623989B (en) | On-product derivation and adjustment of exposure parameters in a directed self-assembly process | |
JP2013004031A5 (en) | ||
JP2014238821A5 (en) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6155900 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |