JP5982245B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP5982245B2
JP5982245B2 JP2012214503A JP2012214503A JP5982245B2 JP 5982245 B2 JP5982245 B2 JP 5982245B2 JP 2012214503 A JP2012214503 A JP 2012214503A JP 2012214503 A JP2012214503 A JP 2012214503A JP 5982245 B2 JP5982245 B2 JP 5982245B2
Authority
JP
Japan
Prior art keywords
image
images
input
user
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012214503A
Other languages
Japanese (ja)
Other versions
JP2014072544A (en
Inventor
裕規 小笠原
裕規 小笠原
壮 石過
壮 石過
剛彦 花田
剛彦 花田
富澤 雅美
雅美 富澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Development and Engineering Corp
Toshiba IT and Control Systems Corp
Original Assignee
Toshiba IT and Control Systems Corp
Toshiba Digital Media Engineering Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba IT and Control Systems Corp, Toshiba Digital Media Engineering Corp filed Critical Toshiba IT and Control Systems Corp
Priority to JP2012214503A priority Critical patent/JP5982245B2/en
Publication of JP2014072544A publication Critical patent/JP2014072544A/en
Application granted granted Critical
Publication of JP5982245B2 publication Critical patent/JP5982245B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Description

実施形態は、画像処理に関する。   Embodiments relate to image processing.

一般に、カメラによって撮影された画像には、例えばレンズ特性に依存する輝度ムラが発生する。輝度ムラは、撮影画像内の注目被写体の視認性を損なったり、撮影画像内の注目被写体に対して自動検査処理を行う場合の検査精度を劣化させたりするので、抑制されることが望まれる。輝度ムラの効果的な抑制法の1つとして、シェーディング補正が知られている。シェーディング補正は、輝度ムラを表現するリファレンス画像を作成し、当該リファレンス画像を用いた演算(例えば、除算または減算)を行うことによって実現される。   In general, luminance unevenness depending on lens characteristics, for example, occurs in an image taken by a camera. The luminance unevenness is desired to be suppressed because it impairs the visibility of the subject of interest in the captured image or degrades the inspection accuracy when performing the automatic inspection process on the subject of interest in the captured image. Shading correction is known as one effective method for suppressing luminance unevenness. The shading correction is realized by creating a reference image expressing luminance unevenness and performing an operation (for example, division or subtraction) using the reference image.

シェーディング補正による輝度ムラの抑制効果はリファレンス画像の品質に依存する。具体的には、リファレンス画像に例えばノイズ成分などの不要成分が残留していると、シェーディング補正を通じて、係る不要成分が増幅されたり、注目被写体の本来の信号成分が損なわれたりする。従来、注目被写体を含む画像に対して平滑化処理またはエッジ除去処理を施すことによって、リファレンス画像を作成する技法が知られている。しかしながら、係る技法によれば、平滑化処理またはエッジ除去処理を通じて上記不要成分がリファレンス画像に発生するおそれがある。   The effect of suppressing luminance unevenness by shading correction depends on the quality of the reference image. Specifically, if an unnecessary component such as a noise component remains in the reference image, the unnecessary component is amplified through shading correction, or the original signal component of the subject of interest is impaired. Conventionally, a technique for creating a reference image by performing a smoothing process or an edge removal process on an image including a subject of interest is known. However, according to such a technique, the unnecessary component may be generated in the reference image through the smoothing process or the edge removal process.

特開2007−13231号公報JP 2007-13231 A

実施形態は、高品質なリファレンス画像を作成することを目的とする。   An object of the embodiment is to create a high-quality reference image.

実施形態によれば、画像処理装置は、選択部と作成部とを備える。選択部は、注目被写体を含む1枚以上の画像と注目被写体を含まない複数枚の画像とを含む複数枚の入力画像から注目被写体を含まない複数枚の画像のうち2枚以上を選択することによって、複数枚の平均化対象画像を得る。作成部は、複数枚の平均化対象画像を平均化することによって、シェーディング補正のためのリファレンス画像を作成する。   According to the embodiment, the image processing apparatus includes a selection unit and a creation unit. The selection unit selects two or more images from a plurality of input images including one or more images including the target subject and a plurality of images not including the target subject, from a plurality of images not including the target subject. Thus, a plurality of images to be averaged are obtained. The creation unit creates a reference image for shading correction by averaging a plurality of images to be averaged.

第1の実施形態に係る画像処理装置を例示するブロック図。1 is a block diagram illustrating an image processing apparatus according to a first embodiment. 図1の画像処理装置の動作を例示するフローチャート。2 is a flowchart illustrating the operation of the image processing apparatus in FIG. 1. 図1のユーザインタフェース部によってユーザに提示されるGUIを例示する図。The figure which illustrates GUI shown to a user by the user interface part of Drawing 1. 図3のGUIの挙動を例示するフローチャート。4 is a flowchart illustrating the behavior of the GUI in FIG. 3. 複数枚の入力画像の具体例の説明図。Explanatory drawing of the specific example of several sheets of input images. リファレンス画像の具体例の説明図。Explanatory drawing of the specific example of a reference image. 複数枚の出力画像の具体例の説明図。An explanatory view of a specific example of a plurality of output images. 図5の複数枚の入力画像のうち任意の1枚のVIII−VIII’断面における濃度値分布を例示するグラフ。FIG. 6 is a graph illustrating density value distribution in an arbitrary VIII-VIII ′ cross section among a plurality of input images of FIG. 5. 図6のリファレンス画像のIX−IX’断面における濃度値分布を例示するグラフ。7 is a graph illustrating a density value distribution in a IX-IX ′ cross section of the reference image in FIG. 6. 図7の複数枚の出力画像のうち任意の1枚のX−X’断面における濃度値分布を例示するグラフ。8 is a graph illustrating a density value distribution in an X-X ′ cross section of any one of the plurality of output images in FIG. 7. 図1のユーザインタフェース部によってユーザに提示されるGUIを例示する図。The figure which illustrates GUI shown to a user by the user interface part of Drawing 1. 第2の実施形態に係る外観検査システムを例示する図。The figure which illustrates the external appearance inspection system which concerns on 2nd Embodiment. 第3の実施形態に係るX線検査システムを例示する図。The figure which illustrates the X-ray inspection system which concerns on 3rd Embodiment.

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。   Hereinafter, embodiments will be described with reference to the drawings. Hereinafter, the same or similar elements as those already described are denoted by the same or similar reference numerals, and redundant description is basically omitted.

(第1の実施形態)
第1の実施形態に係る画像処理装置100は、図1に例示されるように、画像取得部101と、画像選択部102と、リファレンス画像作成部103と、画像補正部104と、ユーザインタフェース部105とを備える。
(First embodiment)
As illustrated in FIG. 1, the image processing apparatus 100 according to the first embodiment includes an image acquisition unit 101, an image selection unit 102, a reference image creation unit 103, an image correction unit 104, and a user interface unit. 105.

画像取得部101は、外部から複数枚の入力画像を取得する。複数枚の入力画像は、注目被写体を含む1枚以上の画像と、当該注目被写体を含まない複数枚の画像とを含む。画像取得部101は、入力画像を画像選択部102へ出力する。更に、画像取得部101は、複数枚の入力画像の一部または全部を必要に応じて画像補正部104及びユーザインタフェース部105へ出力する。   The image acquisition unit 101 acquires a plurality of input images from the outside. The plurality of input images include one or more images including the target subject and a plurality of images not including the target subject. The image acquisition unit 101 outputs the input image to the image selection unit 102. Furthermore, the image acquisition unit 101 outputs part or all of the plurality of input images to the image correction unit 104 and the user interface unit 105 as necessary.

複数枚の入力画像は、動画像内の一連のフレームであってもよいし、連続撮影によって得られる複数枚の静止画像であってもよい。以降の説明では、簡単化のために、複数枚の入力画像は動画像内の一連のフレームに相当するものとする。複数枚の入力画像は、好ましくは固定された視点から撮影されたものであるが、例えばドライブレコーダ画像のように移動可能な視点から撮影されたものであってもよい。注目被写体は、動体であってもよいし、静止していてもよい。   The plurality of input images may be a series of frames in the moving image, or may be a plurality of still images obtained by continuous shooting. In the following description, for the sake of simplicity, it is assumed that a plurality of input images correspond to a series of frames in a moving image. The plurality of input images are preferably taken from a fixed viewpoint, but may be taken from a movable viewpoint such as a drive recorder image. The subject of interest may be a moving object or may be stationary.

画像選択部102は、画像取得部101から複数枚の入力画像を入力する。画像選択部102は、複数枚の入力画像から前述の注目被写体を含まない複数枚の画像のうち2枚以上を選択することによって、複数枚の平均化対象画像を得る。後述されるように、複数枚の入力画像から前述の注目被写体を含まない複数枚の画像のうち2枚以上を選択するために、画像選択部102は、GUI(Graphical User Interface)を通じたユーザ入力を利用してもよいし、パターンマッチングを利用してもよいし、予め定められたルールを利用してもよい。画像選択部102は、平均化対象画像をリファレンス画像作成部103へと出力する。   The image selection unit 102 inputs a plurality of input images from the image acquisition unit 101. The image selection unit 102 selects a plurality of images to be averaged by selecting two or more images from among a plurality of images that do not include the noted subject from the plurality of input images. As will be described later, in order to select two or more images from a plurality of input images that do not include the subject of interest described above, the image selection unit 102 performs user input via a GUI (Graphical User Interface). May be used, pattern matching may be used, or a predetermined rule may be used. The image selection unit 102 outputs the averaging target image to the reference image creation unit 103.

尚、一般に、N枚の画像を平均化することによって、各画像に含まれるランダムノイズ成分の振幅の標準偏差は1/√N倍になる。故に、平均化対象画像の枚数が多いほど、ランダムノイズ成分がより抑圧される。   In general, by averaging N images, the standard deviation of the amplitude of the random noise component included in each image becomes 1 / √N times. Therefore, the larger the number of images to be averaged, the more the random noise component is suppressed.

リファレンス画像作成部103は、画像選択部102から複数枚の平均化対象画像を入力する。リファレンス画像作成部103は、複数枚の平均化対象画像を画素単位で平均化することによって、リファレンス画像を作成する。リファレンス画像作成部103は、リファレンス画像を画像補正部104へ出力する。尚、リファレンス画像作成部103は、リファレンス画像を画像補正部104へ出力する前に、後述されるGUIを通じてリファレンス画像をユーザに対して提示し、当該リファレンス画像の品質をユーザに確認させてもよい。   The reference image creation unit 103 inputs a plurality of averaging target images from the image selection unit 102. The reference image creation unit 103 creates a reference image by averaging a plurality of images to be averaged in units of pixels. The reference image creation unit 103 outputs the reference image to the image correction unit 104. Note that the reference image creation unit 103 may present the reference image to the user through a GUI described later before outputting the reference image to the image correction unit 104, and allow the user to check the quality of the reference image. .

画像補正部104は、画像取得部101から複数枚の入力画像のうち少なくとも一部(以降、補正対象画像と呼ばれる)を入力し、リファレンス画像作成部103からリファレンス画像を入力する。画像補正部104は、リファレンス画像を用いて1枚以上の補正対象画像のシェーディング補正を行うことによって、1枚以上の出力画像を生成する。画像補正部104は、出力画像を必要に応じてGUIを通じてユーザに提示してもよい。   The image correction unit 104 inputs at least a part (hereinafter referred to as a correction target image) of the plurality of input images from the image acquisition unit 101, and inputs a reference image from the reference image creation unit 103. The image correction unit 104 generates one or more output images by performing shading correction of one or more correction target images using the reference image. The image correction unit 104 may present the output image to the user through a GUI as necessary.

ユーザインタフェース部105は、後述されるGUIをユーザに対して提示する。ユーザインタフェース部105は、GUIを通じて、ユーザに情報を通知したり、ユーザ入力を受理したりする。GUIは、例えば、入力画像、平均化対象画像、リファレンス画像、補正対象画像、出力画像などを表示してもよい。更に、GUIは、例えば、複数枚の平均化対象画像を指定するためのユーザ入力、リファレンス画像の作成を開始するためのユーザ入力、リファレンス画像を保存するためのユーザ入力などを受理してもよい。   The user interface unit 105 presents a GUI described later to the user. The user interface unit 105 notifies the user of information or accepts user input through the GUI. For example, the GUI may display an input image, an averaging target image, a reference image, a correction target image, an output image, and the like. Further, the GUI may accept, for example, user input for designating a plurality of images to be averaged, user input for starting creation of a reference image, user input for saving a reference image, and the like. .

以下、図1の画像処理装置によって行われる画像処理が図2を用いて説明される。図2の画像処理は、ステップS201から開始する。ステップS201において、画像取得部101は複数枚の入力画像を取得する。   Hereinafter, image processing performed by the image processing apparatus of FIG. 1 will be described with reference to FIG. The image processing in FIG. 2 starts from step S201. In step S201, the image acquisition unit 101 acquires a plurality of input images.

例えば、画像取得部101は、図5に示されるように、注目被写体である自動車が画面を左側から右側に横切る動画像を複数枚の入力画像として取得する。尚、図5において、入力画像の概要を把握し易くするために自動車の動きが表現されているが、実際には複数枚の入力画像の各々において自動車の位置は異なり得る。また、図5の例において、入力画像の背景には、例えば、照明条件、レンズ特性などによる明暗差が生じている。   For example, as illustrated in FIG. 5, the image acquisition unit 101 acquires, as a plurality of input images, a moving image in which a car as a subject of interest crosses the screen from the left side to the right side. In FIG. 5, the movement of the automobile is expressed in order to make it easy to grasp the outline of the input image, but in reality, the position of the automobile may be different in each of the plurality of input images. In the example of FIG. 5, for example, a difference in brightness due to illumination conditions, lens characteristics, and the like is generated in the background of the input image.

即ち、図5に例示される複数枚の入力画像は、例えば、自動車が明るい背景(例えば、街灯によって照らされている領域)に重なっている画像(以降、Aタイプの画像とも称される)、自動車が明るい背景と暗い背景(例えば、建造物の影の領域)との間の境界に重なっている画像(以降、Bタイプの画像とも称される)、自動車が暗い背景に重なっている画像(以降、Cタイプの画像とも称される)、ならびに、自動車を含まない画像(即ち、注目被写体を含まない画像)(以降、Dタイプの画像とも称される)とを含む。尚、図5の例によれば、自動車が暗い背景に重なり始めると当該自動車の視認性は低下し始める。   That is, the plurality of input images illustrated in FIG. 5 include, for example, an image (hereinafter also referred to as an A-type image) in which a car overlaps a bright background (for example, an area illuminated by a streetlight), An image (hereinafter also referred to as a B-type image) in which the automobile overlaps a boundary between a light background and a dark background (for example, a shadow area of a building), an image in which the automobile overlaps a dark background ( Hereinafter, it includes an image that does not include a car (that is, an image that does not include a subject of interest) (hereinafter also referred to as a D-type image). According to the example of FIG. 5, when the automobile starts to overlap a dark background, the visibility of the automobile starts to deteriorate.

画像選択部102は、ステップS201において取得された複数枚の入力画像から注目被写体を含まない2枚以上の画像を選択することによって、複数枚の平均化対象画像を得る(ステップS202)。リファレンス画像作成部103は、ステップS202において得られた複数枚の平均化対象画像を平均化することによって、リファレンス画像を作成する(ステップS203)。   The image selection unit 102 obtains a plurality of images to be averaged by selecting two or more images not including the subject of interest from the plurality of input images acquired in step S201 (step S202). The reference image creation unit 103 creates a reference image by averaging the plurality of averaging target images obtained in step S202 (step S203).

例えば、リファレンス画像作成部103は、図6に示されるように、注目被写体である自動車を含まない複数枚の平均化対象画像(いずれも前述のDタイプの画像である)を平均化することによって、リファレンス画像を作成する。図6の例によれば、背景画像に相当する複数枚の画像が平均化される。従って、図6のリファレンス画像には、図5に例示される入力画像の背景と同様の明暗差が生じる。尚、複数枚の平均化対象画像の一部として自動車を含む入力画像(即ち、前述のAタイプ、BタイプまたはCタイプの画像)が紛れ込んでいる場合には、リファレンス画像には当該自動車の信号成分が残留することになる。   For example, as shown in FIG. 6, the reference image creation unit 103 averages a plurality of averaging target images (all of which are the above-described D type images) that do not include the car that is the subject of interest. Create a reference image. According to the example of FIG. 6, a plurality of images corresponding to the background image are averaged. Accordingly, the reference image in FIG. 6 has the same contrast as the background of the input image illustrated in FIG. In addition, when an input image including an automobile (that is, the above-described A type, B type, or C type image) is included as a part of a plurality of images to be averaged, the reference image includes the signal of the automobile. Ingredients will remain.

尚、図8及び図9に例示されるように、複数枚の入力画像の各々の背景に含まれる(ランダム)ノイズ成分は平均化を通じて抑圧される。ここで、図8は図5(正確には、図5に例示される複数枚の入力画像のうち任意の1枚)のVIII−VIII’断面における濃度値の分布を例示し、図9は図6のIX−IX’断面における濃度値の分布を例示する。従って、ステップS203において作成されるリファレンス画像によれば、高品質なシェーディング補正が可能となる。   As illustrated in FIGS. 8 and 9, (random) noise components included in the background of each of a plurality of input images are suppressed through averaging. Here, FIG. 8 illustrates the distribution of density values in the section VIII-VIII ′ of FIG. 5 (more precisely, any one of the plurality of input images illustrated in FIG. 5), and FIG. 6 illustrates a distribution of density values in a section IX-IX ′ of FIG. Therefore, according to the reference image created in step S203, high-quality shading correction can be performed.

画像補正部104は、ステップS203において作成されたリファレンス画像を用いて複数枚の入力画像のうち一部または全部をシェーディング補正することによって、1枚以上の出力画像を生成する(ステップS204)。具体的には、画像補正部104は、例えば下記数式(1)に従ってシェーディング補正を行ってもよい。

Figure 0005982245
The image correcting unit 104 generates one or more output images by performing shading correction on some or all of the plurality of input images using the reference image created in step S203 (step S204). Specifically, the image correction unit 104 may perform shading correction according to the following mathematical formula (1), for example.
Figure 0005982245

数式(1)において、I(i,j)は複数枚の入力画像のうち任意の1枚における画素(i,j)の濃度値を表し、O(i,j)は対応する出力画像における画素(i,j)の濃度値を表し、R(i,j)はリファレンス画像における画素(i,j)の濃度値を表し、Nはリファレンス画像内の総画素数を表す。   In Equation (1), I (i, j) represents the density value of the pixel (i, j) in any one of the plurality of input images, and O (i, j) represents the pixel in the corresponding output image. (I, j) represents the density value, R (i, j) represents the density value of the pixel (i, j) in the reference image, and N represents the total number of pixels in the reference image.

図7は、図5及び図6に対応する出力画像を例示する。尚、図7において、図5と同様の趣旨により、注目被写体である自動車の動きが表現されている。要するに、図5に例示される入力画像に対して図6に例示されるリファレンス画像を用いてシェーディング補正を行うことによって、図7に例示される出力画像が生成される。シェーディング補正によって入力画像内の明暗差が抑制されるので、特に、自動車が暗い背景に重なっている入力画像に対応する出力画像において当該自動車の視認性は大きく改善される。   FIG. 7 illustrates output images corresponding to FIGS. In FIG. 7, the movement of the car that is the subject of interest is expressed with the same purpose as in FIG. 5. In short, the output image illustrated in FIG. 7 is generated by performing shading correction on the input image illustrated in FIG. 5 using the reference image illustrated in FIG. Since the shading correction suppresses the light / dark difference in the input image, the visibility of the vehicle is greatly improved particularly in the output image corresponding to the input image where the vehicle is superimposed on a dark background.

図10に例示されるように、出力画像の濃度値は、ノイズ成分による変動を除いてリファレンス画像の濃度値平均に概ね一致する。ここで、図10は、図7(正確には、図7に例示される複数枚の出力画像のうち任意の1枚)のX−X’断面における濃度値の分布を例示する。但し、入力画像においてノイズ成分が信号成分に対して大きい場合(例えば、SNR(Signal−to−Noise Ratio)が悪い場合)には、数式(1)の演算によって当該ノイズ成分が強調されることもある。   As illustrated in FIG. 10, the density value of the output image substantially matches the density value average of the reference image except for fluctuation due to noise components. Here, FIG. 10 illustrates the distribution of density values in the X-X ′ cross section of FIG. 7 (more precisely, any one of the plurality of output images illustrated in FIG. 7). However, when the noise component is larger than the signal component in the input image (for example, when the SNR (Signal-to-Noise Ratio) is bad), the noise component may be emphasized by the calculation of Expression (1). is there.

前述のように、画像選択部102は、様々な技法を利用して複数枚の入力画像から注目被写体を含まない2枚以上の画像を選択できる。
例えば、画像選択部102は、複数枚の入力画像の撮影(即ち、生成)に関して予め定められたルールを利用してもよい。例えば、複数枚の入力画像の撮影に関して、最初または最後から規定時間(或いは、規定フレーム数)に亘って注目被写体を撮影しないというルールを定めることができる。係るルールを前提にすると、画像選択部102は、複数枚の入力画像の最初または最後から上記規定時間を超えない範囲で画像を自動選択すればよい。
As described above, the image selection unit 102 can select two or more images not including the subject of interest from a plurality of input images using various techniques.
For example, the image selection unit 102 may use a predetermined rule regarding shooting (that is, generation) of a plurality of input images. For example, regarding the shooting of a plurality of input images, it is possible to define a rule that the subject of interest is not shot for a specified time (or a specified number of frames) from the beginning or the end. Based on such rules, the image selection unit 102 may automatically select images within a range that does not exceed the specified time from the beginning or end of a plurality of input images.

また、画像選択部102は、パターンマッチングを利用してもよい。具体的には、画像選択部102は、複数枚の入力画像のうち注目被写体を含まない1枚の画像をパターンマッチングの基準画像として用いる。尚、画像選択部102は、GUIを通じたユーザ入力に従って上記基準画像を選択してもよいし、前述の予め定められたルールを利用して上記基準画像を自動選択してもよい。   The image selection unit 102 may use pattern matching. Specifically, the image selection unit 102 uses, as a reference image for pattern matching, one image that does not include the subject of interest among a plurality of input images. Note that the image selection unit 102 may select the reference image in accordance with a user input through the GUI, or may automatically select the reference image using the above-described predetermined rule.

画像選択部102は、複数枚の入力画像の各々と上記基準画像との間の全画素または一部の画素領域における濃度値のSAD(Sum of Absolute Differences)またはSSD(Sum of Squared Differences)を計算する。更に、画像選択部102は、計算されたSADまたはSSDを閾値と比較する。計算されたSADまたはSSDが閾値未満である画像は、上記基準画像にマッチしているので注目被写体を含まない画像である可能性が高い。従って、画像選択部102は、上記基準画像との間の画素の濃度値のSADまたはSSDが閾値未満である2枚以上の画像を選択すればよい。   The image selection unit 102 calculates SAD (Sum of Absolute Differences) or SSD (Sum of Squared Differences) of density values in all pixels or a part of pixel regions between each of a plurality of input images and the reference image. To do. Furthermore, the image selection unit 102 compares the calculated SAD or SSD with a threshold value. An image for which the calculated SAD or SSD is less than the threshold value matches the reference image, so there is a high possibility that the image does not include the target subject. Therefore, the image selection unit 102 only needs to select two or more images in which the SAD or SSD of the pixel density value between the reference image and the reference image is less than the threshold value.

パターンマッチングを用いた画像選択の性能は上記閾値に依存する。即ち、閾値が過度に小さければ選択される画像の総数が非常に小さくなるおそれがある。反面、閾値が過度に大きければ、注目被写体を含む画像が誤って選択されるおそれがある。閾値は、経験的に導出された値に自動的に設定されてもよいし、GUIを通じたユーザ入力に従って設定されてもよい。ユーザがGUIを通じて閾値を指定する場合には、ユーザインタフェース部105は、指定された閾値の下で暫定的に作成されたリファレンス画像をGUI上に表示してもよい。暫定的に作成されたリファレンス画像が表示されれば、ユーザはリファレンス画像の品質を随時確認できるので容易に閾値を調整できる。   The performance of image selection using pattern matching depends on the threshold value. That is, if the threshold is too small, the total number of images selected may be very small. On the other hand, if the threshold value is excessively large, an image including the subject of interest may be selected by mistake. The threshold value may be automatically set to an empirically derived value, or may be set according to user input through a GUI. When the user designates a threshold value through the GUI, the user interface unit 105 may display a reference image that is provisionally created under the designated threshold value on the GUI. If the temporarily created reference image is displayed, the user can check the quality of the reference image at any time, so that the threshold can be easily adjusted.

或いは、画像選択部102は、GUIを通じたユーザ入力を利用してもよい。通常、ユーザは注目被写体を含まない画像を目視で容易に判別できるので、画像選択部102はユーザ入力を利用することによって注目被写体を含まない2枚以上の画像をより確実に選択できる。   Alternatively, the image selection unit 102 may use user input through a GUI. Usually, the user can easily determine visually an image that does not include the subject of interest, so that the image selection unit 102 can more reliably select two or more images that do not include the subject of interest by using the user input.

具体的には、図3のGUIによれば、ユーザが開始画像及び終了画像を選択し、画像選択部102が選択された開始画像から終了画像までに位置する連続した複数枚の画像を選択する。図11のGUIによれば、ユーザが複数枚の入力画像の各々について選択状態/非選択状態を決定し、画像選択部102は選択状態にある複数枚の画像を選択する。   Specifically, according to the GUI of FIG. 3, the user selects a start image and an end image, and the image selection unit 102 selects a plurality of continuous images positioned from the selected start image to the end image. . According to the GUI of FIG. 11, the user determines a selection state / non-selection state for each of a plurality of input images, and the image selection unit 102 selects a plurality of images in the selection state.

以下、ユーザインタフェース部105によって表示されるGUIの具体例が説明される。
図3には、様々なGUI部品を含むリファレンス画像作成ウィンドウ300が描かれている。リファレンス画像作成ウィンドウ300は、開始画像表示領域301と、スライドバー302と、スライダ303と、ボックス304と、終了画像表示領域305と、スライドバー306と、スライダ307と、ボックス308と、作成ボタン309と、リファレンス画像表示領域310と、保存ボタン311と、終了ボタン312とを含む。
Hereinafter, a specific example of the GUI displayed by the user interface unit 105 will be described.
In FIG. 3, a reference image creation window 300 including various GUI parts is depicted. The reference image creation window 300 includes a start image display area 301, a slide bar 302, a slider 303, a box 304, an end image display area 305, a slide bar 306, a slider 307, a box 308, and a creation button 309. A reference image display area 310, a save button 311, and an end button 312.

図3のGUIは、図4に例示されるように挙動する。最初に、例えばシェーディング補正用アプリケーションを起動するためのユーザ入力に基づいて、図3のGUIが起動される(ステップS401)。具体的には、ユーザインタフェース部105が、リファレンス画像作成ウィンドウ300をユーザに提示する。尚、図3のGUIは、終了ボタン312が押下されると強制終了する。   The GUI of FIG. 3 behaves as illustrated in FIG. First, for example, the GUI in FIG. 3 is activated based on a user input for activating a shading correction application (step S401). Specifically, the user interface unit 105 presents a reference image creation window 300 to the user. 3 is forcibly terminated when the end button 312 is pressed.

ユーザインタフェース部105は、複数枚の入力画像のうち最初の1枚(或いは、その他のデフォルト画像)を開始画像表示領域301に表示する(ステップS402)。更に、ユーザインタフェース部105は、複数枚の入力画像のうち最後の1枚(或いは、その他のデフォルト画像)を終了画像表示領域305に表示する(ステップS403)。尚、ステップS402及びステップS403は、逆順で実行されてもよいし、並列に実行されてもよい。   The user interface unit 105 displays the first one (or other default image) among the plurality of input images in the start image display area 301 (step S402). Further, the user interface unit 105 displays the last one (or other default image) of the plurality of input images in the end image display area 305 (step S403). Steps S402 and S403 may be executed in reverse order or in parallel.

開始画像表示領域301に表示される画像は、スライドバー302上のスライダ303の位置によって決まる。併せて、開始画像表示領域301に現在表示されている画像をユーザに認識させるための情報(例えば、フレーム番号、再生時刻、撮影時刻など)がボックス304に表示される。同様に、終了画像表示領域305に表示される画像も、スライドバー306上のスライダ307の位置によって決まる。併せて、終了画像表示領域305に現在表示されている画像をユーザに認識させるための情報がボックス308に表示される。   The image displayed in the start image display area 301 is determined by the position of the slider 303 on the slide bar 302. In addition, information for allowing the user to recognize the image currently displayed in the start image display area 301 (for example, frame number, reproduction time, shooting time, etc.) is displayed in the box 304. Similarly, the image displayed in the end image display area 305 is also determined by the position of the slider 307 on the slide bar 306. In addition, information for allowing the user to recognize the image currently displayed in the end image display area 305 is displayed in the box 308.

ユーザは、スライドバー302上でスライダ303を動かすことによって、開始画像表示領域301に表示される画像を変更できる。即ち、スライダ303の移動に伴って、開始画像表示領域301及びボックス304に表示される情報は変化する。同様に、ユーザは、スライドバー306上でスライダ307を動かすことによって、終了画像表示領域305に表示される画像を変更できる。即ち、スライダ307の移動に伴って、終了画像表示領域305及びボックス308に表示される情報は変化する。   The user can change the image displayed in the start image display area 301 by moving the slider 303 on the slide bar 302. In other words, as the slider 303 moves, the information displayed in the start image display area 301 and the box 304 changes. Similarly, the user can change the image displayed in the end image display area 305 by moving the slider 307 on the slide bar 306. That is, as the slider 307 moves, information displayed in the end image display area 305 and the box 308 changes.

ユーザは、スライダ303をスライドバー302上の所望の位置に動かすことによって、開始画像を選択する(ステップS404)。同様に、ユーザは、スライダ307をスライドバー306上の所望の位置に動かすことによって、終了画像を選択する(ステップS405)。ステップS404及びステップS405において、ユーザは、開始画像表示領域301及び終了画像表示領域305に表示される画像を見ながらスライダ303及びスライダ307を動かすので、注目被写体を含まない開始画像及び終了画像を容易に選択することができる。尚、ステップS404及びステップS405は、逆順で実行されてもよいし、並列に実行されてもよい。更に、ステップS404及びステップS405の一方または両方が省略されてもよい。ステップS404が省略される場合には、ステップS402において開始画像表示領域301に表示された画像が開始画像として扱われる。ステップS405が省略される場合には、ステップS403において終了画像表示領域305に表示された画像が終了画像として扱われる。   The user selects the start image by moving the slider 303 to a desired position on the slide bar 302 (step S404). Similarly, the user selects an end image by moving the slider 307 to a desired position on the slide bar 306 (step S405). In steps S404 and S405, the user moves the slider 303 and the slider 307 while looking at the images displayed in the start image display area 301 and the end image display area 305, so that the start image and the end image not including the target subject can be easily displayed. Can be selected. Note that step S404 and step S405 may be executed in reverse order or in parallel. Furthermore, one or both of step S404 and step S405 may be omitted. When step S404 is omitted, the image displayed in the start image display area 301 in step S402 is treated as the start image. When step S405 is omitted, the image displayed in the end image display area 305 in step S403 is treated as the end image.

ステップS404及びステップS405の後に、ユーザは作成ボタン309を押下する(ステップS406)。作成ボタン309が押下されると、リファレンス画像が作成される(ステップS407)。具体的には、画像選択部102が、開始画像から終了画像までに位置する連続した複数枚の画像を選択することによって、複数枚の平均化対象画像を得る。更に、リファレンス画像作成部103が、複数枚の平均化対象画像を平均化することによって、リファレンス画像を作成する。   After step S404 and step S405, the user presses the creation button 309 (step S406). When the creation button 309 is pressed, a reference image is created (step S407). Specifically, the image selection unit 102 selects a plurality of continuous images located from the start image to the end image, thereby obtaining a plurality of averaging target images. Further, the reference image creation unit 103 creates a reference image by averaging a plurality of images to be averaged.

ユーザインタフェース部105は、ステップS407において作成されたリファレンス画像をリファレンス画像表示領域310に表示する(ステップS408)。ここで、図3のGUIによれば、ユーザは開始画像及び終了画像を選択するだけでよいので、ユーザ入力の負担は小さい。反面、ユーザが開始画像と終了画像との間に位置する全ての画像に目を通すとは限らないので、例えばノイズ成分、動きのある注目被写体の信号成分などの不要成分を含む画像が複数枚の平均化対象画像の一部として予期せず混入するおそれがある。係る場合に、リファレンス画像には上記不要成分が残留するので、出力画像の画質が劣化するおそれがある。   The user interface unit 105 displays the reference image created in step S407 in the reference image display area 310 (step S408). Here, according to the GUI of FIG. 3, the user only has to select the start image and the end image, so the burden of user input is small. On the other hand, since the user does not always look through all the images positioned between the start image and the end image, for example, a plurality of images including unnecessary components such as noise components and signal components of a moving subject of interest are present. There is a risk of unexpected mixing as part of the averaging target image. In such a case, since the unnecessary component remains in the reference image, the image quality of the output image may be deteriorated.

そこで、図3のGUIは、リファレンス画像表示領域310にリファレンス画像を表示することによって、ユーザにリファレンス画像の品質を目視で確認させる。ここで、ユーザは、リファレンス画像表示領域310と開始画像表示領域301または終了画像表示領域305とを見比べることにより、リファレンス画像に不要成分が残留しているか否かを容易に判別できる。ユーザは、リファレンス画像に不要成分が残留していると判断する場合には、開始画像または終了画像を再選択してから作成ボタン309を再度押下してもよい。   Therefore, the GUI of FIG. 3 displays the reference image in the reference image display area 310 to allow the user to visually confirm the quality of the reference image. Here, the user can easily determine whether or not an unnecessary component remains in the reference image by comparing the reference image display area 310 with the start image display area 301 or the end image display area 305. When determining that an unnecessary component remains in the reference image, the user may re-select the start image or the end image and then press the creation button 309 again.

ここで、前述のパターンマッチングを利用すれば、リファレンス画像に不要成分が残留しているか否か、ならびに、リファレンス画像に不要成分を発生させている1枚以上の平均化対象画像を自動判別することも可能である。パターンマッチングの基準画像は、開始画像でもよいし、終了画像でもよいし、他のデフォルト画像でもよいし、ユーザ入力に従って選択されてもよい。   Here, if the above-described pattern matching is used, whether or not unnecessary components remain in the reference image and one or more images to be averaged that generate unnecessary components in the reference image are automatically determined. Is also possible. The reference image for pattern matching may be a start image, an end image, another default image, or may be selected according to user input.

ユーザは、リファレンス画像に不要成分が残留していないと判断する場合には、保存ボタン311を押下することになる(ステップS409)。保存ボタン311が押下されると、ステップS407において作成されたリファレンス画像が図示されないメモリに保存される。メモリに保存されたリファレンス画像は、画像補正部104によって必要に応じて読み出され、入力画像の一部または全部に対するシェーディング補正のために利用される。   If the user determines that no unnecessary component remains in the reference image, the user presses the save button 311 (step S409). When the save button 311 is pressed, the reference image created in step S407 is saved in a memory (not shown). The reference image stored in the memory is read as necessary by the image correction unit 104 and is used for shading correction on a part or all of the input image.

前述のように、図3のGUIによれば、複数枚の入力画像から2枚以上の連続した画像が選択される。従って、このGUIによれば、ユーザ入力の負担が小さくて済むものの、不要成分を含む画像が複数枚の平均化対象画像の一部として予期せず紛れ込むおそれがある。そこで、ユーザインタフェース部105は、ユーザが複数枚の入力画像の各々に対して選択状態/非選択状態を指定できるように、図11に例示されるGUIを表示してもよい。   As described above, according to the GUI of FIG. 3, two or more continuous images are selected from a plurality of input images. Therefore, according to this GUI, although the burden of user input can be reduced, an image including unnecessary components may be unexpectedly mixed as a part of a plurality of images to be averaged. Therefore, the user interface unit 105 may display a GUI exemplified in FIG. 11 so that the user can designate a selected state / non-selected state for each of a plurality of input images.

図11には、様々なGUI部品を含むリファレンス画像作成ウィンドウ500が描かれている。リファレンス画像作成ウィンドウ500は、入力画像表示領域501と、スライドバー502と、スライダ503と、ボックス504と、選択ボタン505と、非選択ボタン506と、作成ボタン507と、リファレンス画像表示領域508と、保存ボタン509とを含む。   FIG. 11 depicts a reference image creation window 500 that includes various GUI components. The reference image creation window 500 includes an input image display area 501, a slide bar 502, a slider 503, a box 504, a selection button 505, a non-selection button 506, a creation button 507, a reference image display area 508, And a save button 509.

図11のGUIは、以下に述べられるように挙動する。最初に、例えばシェーディング補正用アプリケーションを起動するためのユーザ入力に基づいて、図11のGUIが起動される。具体的には、ユーザインタフェース部105が、リファレンス画像作成ウィンドウ500をユーザに提示する。尚、図11のGUIは、終了ボタン510が押下されると強制終了する。   The GUI of FIG. 11 behaves as described below. First, the GUI in FIG. 11 is activated based on, for example, a user input for activating a shading correction application. Specifically, the user interface unit 105 presents a reference image creation window 500 to the user. Note that the GUI in FIG. 11 is forcibly terminated when the end button 510 is pressed.

ユーザインタフェース部105は、複数枚の入力画像のうち最初の1枚(或いは、その他のデフォルト画像)を入力画像表示領域501に表示する。ここで、入力画像表示領域501に表示される画像は、スライドバー502上のスライダ503の位置によって決まる。併せて、入力画像表示領域501に現在表示されている画像をユーザに認識させるための情報がボックス504に表示される。   The user interface unit 105 displays the first one (or other default image) of the plurality of input images in the input image display area 501. Here, the image displayed in the input image display area 501 is determined by the position of the slider 503 on the slide bar 502. In addition, information for allowing the user to recognize the image currently displayed in the input image display area 501 is displayed in the box 504.

ユーザは、スライドバー502上でスライダ503を動かすことによって、入力画像表示領域501に表示される画像を変更できる。即ち、スライダ503の移動に伴って、入力画像表示領域501及びボックス504に表示される情報は変化する。ユーザは、入力画像表示領域501に表示されている入力画像に対して、選択ボタン505または非選択ボタン506を押下することによって、当該入力画像の選択状態/非選択状態を指定できる。   The user can change the image displayed in the input image display area 501 by moving the slider 503 on the slide bar 502. That is, as the slider 503 moves, the information displayed in the input image display area 501 and the box 504 changes. The user can specify the selection state / non-selection state of the input image by pressing the selection button 505 or the non-selection button 506 with respect to the input image displayed in the input image display area 501.

尚、ユーザ入力の負担を軽減するために、複数枚の入力画像の各々には事前にデフォルトの状態(選択状態または非選択状態)が設定されていてもよい。ここで、デフォルトの状態は、予め定められたルールに基づいて設定されてもよいし、パターンマッチングを利用して設定されてもよいし、図3と類似のGUIを介したユーザ入力に基づいて設定されてもよい。また、ユーザインタフェース部105は、選択ボタン505または非選択ボタン506が押下された場合には、入力画像表示領域501に自動的に次の入力画像を表示させてもよい。   In order to reduce the burden of user input, a default state (selected state or non-selected state) may be set in advance for each of the plurality of input images. Here, the default state may be set based on a predetermined rule, may be set using pattern matching, or based on user input via a GUI similar to FIG. It may be set. Further, when the selection button 505 or the non-selection button 506 is pressed, the user interface unit 105 may automatically display the next input image in the input image display area 501.

ユーザは、複数枚の入力画像の各々に選択状態/非選択状態を指定した後に作成ボタン507を押下する。作成ボタン507が押下されると、リファレンス画像が作成される。具体的には、画像選択部102が、選択状態にある複数枚の画像を選択することによって、複数枚の平均化対象画像を得る。更に、リファレンス画像作成部103が、複数枚の平均化対象画像を平均化することによって、リファレンス画像を作成する。   The user presses the creation button 507 after designating the selected / non-selected state for each of the plurality of input images. When the creation button 507 is pressed, a reference image is created. Specifically, the image selection unit 102 selects a plurality of images in a selected state, thereby obtaining a plurality of images to be averaged. Further, the reference image creation unit 103 creates a reference image by averaging a plurality of images to be averaged.

ユーザインタフェース部105は、作成されたリファレンス画像をリファレンス画像表示領域508に表示する。ここで、図11のGUIによれば、ユーザは複数枚の入力画像の各々に選択状態/非選択状態を選択するので、不要成分を含む画像が複数枚の平均化対象画像の一部として紛れ込む可能性は抑制される。しかしながら、ユーザが不要成分を含む画像を見落とすこともあり得るので、図3のGUIと同様の確認作業を用意することが望ましい。   The user interface unit 105 displays the created reference image in the reference image display area 508. Here, according to the GUI of FIG. 11, the user selects a selection state / non-selection state for each of a plurality of input images, and thus an image including unnecessary components is mixed in as a part of the plurality of averaging target images. The possibility is suppressed. However, since the user may miss an image containing unnecessary components, it is desirable to prepare a confirmation operation similar to the GUI of FIG.

図11のGUIによれば、リファレンス画像表示領域508にリファレンス画像が表示されるので、ユーザはリファレンス画像の品質を目視で確認できる。ここで、ユーザは、リファレンス画像表示領域508と入力画像表示領域501とを見比べることにより、リファレンス画像に不要成分が残留しているか否かを容易に判別できる。尚、ユーザインタフェース部105は、好ましくは、選択状態にある画像を入力画像表示領域501に自動的に表示する。ユーザは、リファレンス画像に不要成分が残留していると判断する場合には、複数枚の入力画像の各々の選択状態/非選択状態を必要に応じて変更してから作成ボタン507を再度押下してもよい。   According to the GUI of FIG. 11, the reference image is displayed in the reference image display area 508, so that the user can visually confirm the quality of the reference image. Here, the user can easily determine whether or not unnecessary components remain in the reference image by comparing the reference image display area 508 and the input image display area 501. Note that the user interface unit 105 preferably automatically displays the selected image in the input image display area 501. When determining that an unnecessary component remains in the reference image, the user changes the selection state / non-selection state of each of the plurality of input images as necessary, and then presses the creation button 507 again. May be.

ここで、前述のパターンマッチングを利用すれば、リファレンス画像に不要成分が残留しているか否か、ならびに、リファレンス画像に不要成分を発生させている1枚以上の平均化対象画像を自動判別することも可能である。パターンマッチングの基準画像は、選択状態にあるいずれかの画像でもよいし、他のデフォルト画像でもよいし、ユーザ入力に従って選択されてもよい。   Here, if the above-described pattern matching is used, whether or not unnecessary components remain in the reference image and one or more images to be averaged that generate unnecessary components in the reference image are automatically determined. Is also possible. The reference image for pattern matching may be any image in a selected state, another default image, or may be selected according to user input.

ユーザは、リファレンス画像に不要成分が残留していないと判断する場合には、保存ボタン509を押下することになる。保存ボタン509が押下されると、作成されたリファレンス画像が図示されないメモリに保存される。メモリに保存されたリファレンス画像は、画像補正部104によって必要に応じて読み出され、入力画像の一部または全部に対するシェーディング補正のために利用される。   When the user determines that no unnecessary component remains in the reference image, the user presses the save button 509. When the save button 509 is pressed, the created reference image is saved in a memory (not shown). The reference image stored in the memory is read as necessary by the image correction unit 104 and is used for shading correction on a part or all of the input image.

以上説明したように、第1の実施形態に係る画像処理装置は、複数枚の入力画像から注目被写体を含まない2枚以上の画像を選択することによって複数枚の平均化対象画像を得て、当該複数枚の平均化対象画像を平均化することによってリファレンス画像を生成する。従って、この画像処理装置は、例えば動きのある注目被写体の信号成分などの不要成分がリファレンス画像に混入する事態を防止しながら複数枚の平均化対象画像の各々に含まれるノイズ成分を平均化によって抑圧する。従って、この画像処理装置によれば、高品質なリファレンス画像が作成されるので、シェーディング補正の効果を向上させることができる。   As described above, the image processing apparatus according to the first embodiment obtains a plurality of images to be averaged by selecting two or more images not including the subject of interest from a plurality of input images, A reference image is generated by averaging the plurality of averaging target images. Therefore, this image processing apparatus averages noise components included in each of a plurality of averaging target images while preventing an unnecessary component such as a signal component of a moving subject of interest from being mixed into the reference image. Repress. Therefore, according to this image processing apparatus, since a high-quality reference image is created, the effect of shading correction can be improved.

(第2の実施形態)
第2の実施形態に係る外観検査システムは、図12に例示されるように、画像処理装置100、画像検査装置600、カメラ610及びステージ620を含む。
カメラ610は、例えばCCD(Charge−Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を用いたデジタルカメラである。カメラ610は、後述するステージ620の上方から、ステージ620の上面を電子撮影する。カメラ610は、撮像素子によって得られた画素情報をマトリックス状(格子状)に配列して映像化した画像データを生成し、後段の画像処理装置100に出力する。
(Second Embodiment)
The appearance inspection system according to the second embodiment includes an image processing apparatus 100, an image inspection apparatus 600, a camera 610, and a stage 620 as illustrated in FIG.
The camera 610 is a digital camera using a solid-state image sensor such as a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). The camera 610 electronically photographs the upper surface of the stage 620 from above the stage 620 described later. The camera 610 generates image data formed by arranging the pixel information obtained by the image sensor in a matrix (lattice) and outputs the image data to the subsequent image processing apparatus 100.

ステージ620は、外観検査の対象となる被測定物OJ(例えば、液晶パネル、集積回路などの電子部品)を載置するためのテーブル状の平面を有するステージである。被測定物OJは、ステージ620においてカメラ610によって撮影される範囲に載置される。被測定物OJがステージ620上で静止した状態で、カメラ610による撮影が行われる。   The stage 620 is a stage having a table-like plane on which an object to be measured OJ (for example, an electronic component such as a liquid crystal panel or an integrated circuit) to be subjected to appearance inspection is placed. The object to be measured OJ is placed in a range photographed by the camera 610 on the stage 620. Imaging with the camera 610 is performed in a state where the object to be measured OJ is stationary on the stage 620.

画像処理装置100は、カメラ610によって得られた画像データに対して、第1の実施形態と同一または類似の画像処理を施す。即ち、画像処理装置100は、カメラ610によって撮影された複数枚分の画像データを複数枚の入力画像として取り込み、画像処理を行って1枚以上の出力画像を得る。画像処理装置100は、出力画像を画像検査装置600に供給する。   The image processing apparatus 100 performs the same or similar image processing as that of the first embodiment on the image data obtained by the camera 610. That is, the image processing apparatus 100 takes in a plurality of pieces of image data captured by the camera 610 as a plurality of input images, and performs image processing to obtain one or more output images. The image processing apparatus 100 supplies the output image to the image inspection apparatus 600.

画像検査装置600は、画像処理装置100から1枚以上の出力画像を検査画像として入力する。画像検査装置600は、検査画像の画像解析を行う。画像検査装置600は、係る画像解析の結果、被測定物OJの異常(例えば、被測定物OJの欠陥、被測定物OJに付着した異物など)を検出する。   The image inspection apparatus 600 inputs one or more output images from the image processing apparatus 100 as inspection images. The image inspection apparatus 600 performs image analysis of the inspection image. As a result of the image analysis, the image inspection apparatus 600 detects an abnormality of the object to be measured OJ (for example, a defect of the object to be measured OJ, a foreign matter attached to the object to be measured OJ, etc.).

以上説明したように、第2の実施形態に係る外観検査システムは、第1の実施形態に係る画像処理装置と同一または類似の画像処理を行って検査画像を生成する。従って、本実施形態に係る外観検査システムによれば、良好なシェーディング補正によって生成された検査画像を利用できるので、高精度な検査が可能となる。   As described above, the appearance inspection system according to the second embodiment generates an inspection image by performing the same or similar image processing as the image processing apparatus according to the first embodiment. Therefore, according to the appearance inspection system according to the present embodiment, since an inspection image generated by good shading correction can be used, high-accuracy inspection is possible.

(第3の実施形態)
第3の実施形態に係るX線検査システムは、図13に例示されるように、画像処理装置100、画像検査装置700、X線源710、カーボンステージ720及びX線イメージセンサ730を含む。
(Third embodiment)
The X-ray inspection system according to the third embodiment includes an image processing apparatus 100, an image inspection apparatus 700, an X-ray source 710, a carbon stage 720, and an X-ray image sensor 730, as illustrated in FIG.

カーボンステージ720は、X線検査の対象となる被測定物OJを載置するためのテーブル状の平面を有するステージである。被測定物OJは、カーボンステージ720においてX線源710によってX線が照射される範囲に載置される。被測定物OJがカーボンステージ720上で静止した状態で、X線源710及びX線イメージセンサ730によるX線撮影が行われる。   The carbon stage 720 is a stage having a table-like plane on which the object to be measured OJ to be subjected to X-ray inspection is placed. The object to be measured OJ is placed in a range where X-rays are irradiated from the X-ray source 710 on the carbon stage 720. X-ray imaging is performed by the X-ray source 710 and the X-ray image sensor 730 while the object to be measured OJ is stationary on the carbon stage 720.

X線源710は、カーボンステージ720に載置された被測定物OJに対してX線を照射する。X線イメージセンサ730は、X線源710によって照射されて被測定物OJを透過したX線を検出し、画像データを生成する。X線イメージセンサ730は、画像データを後段の画像処理装置100に出力する。   The X-ray source 710 irradiates the object to be measured OJ placed on the carbon stage 720 with X-rays. The X-ray image sensor 730 detects X-rays irradiated by the X-ray source 710 and transmitted through the object to be measured OJ, and generates image data. The X-ray image sensor 730 outputs the image data to the subsequent image processing apparatus 100.

画像処理装置100は、X線イメージセンサ730によって得られた画像データに対して、第1の実施形態と同一または類似の画像処理を施す。即ち、画像処理装置100は、X線イメージセンサ730によって撮影された複数枚分の画像データを複数枚の入力画像として取り込み、画像処理を行って1枚以上の出力画像を得る。画像処理装置100は、出力画像を画像検査装置700に供給する。   The image processing apparatus 100 performs the same or similar image processing as in the first embodiment on the image data obtained by the X-ray image sensor 730. In other words, the image processing apparatus 100 takes in a plurality of pieces of image data captured by the X-ray image sensor 730 as a plurality of input images, and performs image processing to obtain one or more output images. The image processing apparatus 100 supplies the output image to the image inspection apparatus 700.

画像検査装置700は、画像処理装置100から1枚以上の出力画像を検査画像として入力する。画像検査装置700は、検査画像の画像解析を行う。画像検査装置700は、係る画像解析の結果、被測定物OJの異常を検出する。   The image inspection apparatus 700 inputs one or more output images from the image processing apparatus 100 as inspection images. The image inspection apparatus 700 performs image analysis of the inspection image. The image inspection apparatus 700 detects an abnormality of the object to be measured OJ as a result of the image analysis.

以上説明したように、第3の実施形態に係るX線検査システムは、第1の実施形態に係る画像処理装置と同一または類似の画像処理を行って検査画像を生成する。従って、本実施形態に係るX線検査システムによれば、良好なシェーディング補正によって生成された検査画像を利用できるので、高精度な検査が可能となる。   As described above, the X-ray inspection system according to the third embodiment generates an inspection image by performing the same or similar image processing as that of the image processing apparatus according to the first embodiment. Therefore, according to the X-ray inspection system according to the present embodiment, since an inspection image generated by good shading correction can be used, a highly accurate inspection can be performed.

尚、本実施形態に係るX線検査システムを医療診断などのために適用し、人間(例えば医師)が検査画像の解析を行う場合も考えられる。係る場合には、画像検査装置700は不要である。人間が検査画像の解析を行う場合にも、良好なシェーディング補正によって生成された検査画像を利用できるので、高精度な検査が可能となることは明らかである。   Note that it is also conceivable that the X-ray inspection system according to the present embodiment is applied for medical diagnosis and a human (for example, a doctor) analyzes the inspection image. In such a case, the image inspection apparatus 700 is not necessary. Even when a human analyzes an inspection image, it is obvious that a high-accuracy inspection can be performed because an inspection image generated by good shading correction can be used.

上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク(CD−ROM、CD−R、DVD等)、光磁気ディスク(MO等)、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ(サーバ)上に格納し、ネットワーク経由でコンピュータ(クライアント)にダウンロードさせてもよい。   The processing of each of the above embodiments can be realized by using a general-purpose computer as basic hardware. The program for realizing the processing of each of the above embodiments may be provided by being stored in a computer-readable storage medium. The program is stored in the storage medium as an installable file or an executable file. Examples of the storage medium include a magnetic disk, an optical disk (CD-ROM, CD-R, DVD, etc.), a magneto-optical disk (MO, etc.), and a semiconductor memory. The storage medium may be any as long as it can store the program and can be read by the computer. Further, the program for realizing the processing of each of the above embodiments may be stored on a computer (server) connected to a network such as the Internet and downloaded to the computer (client) via the network.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

100・・・画像処理装置、101・・・画像取得部、102・・・画像選択部、103・・・リファレンス画像作成部、104・・・画像補正部、105・・・ユーザインタフェース部、300,500・・・リファレンス画像作成ウィンドウ、301・・・開始画像表示領域、302,306,502・・・スライドバー、303,307,503・・・スライダ、304,308,504・・・ボックス、305・・・終了画像表示領域、309,507・・・作成ボタン、310,508・・・リファレンス画像表示領域、311,509・・・保存ボタン、312,510・・・終了ボタン、501・・・入力画像表示領域、505・・・選択ボタン、506・・・非選択ボタン、600,700・・・画像検査装置、610・・・カメラ、620・・・ステージ、710・・・X線源、720・・・カーボンステージ、730・・・X線イメージセンサ   DESCRIPTION OF SYMBOLS 100 ... Image processing apparatus, 101 ... Image acquisition part, 102 ... Image selection part, 103 ... Reference image creation part, 104 ... Image correction part, 105 ... User interface part, 300 500, reference image creation window, 301 ... start image display area, 302, 306, 502 ... slide bar, 303, 307, 503 ... slider, 304, 308, 504 ... box, 305 ... End image display area, 309, 507 ... Create button, 310, 508 ... Reference image display area, 311, 509 ... Save button, 312, 510 ... End button, 501 ... Input image display area, 505... Selection button, 506... Non-selection button, 600, 700 ... image inspection device, 610. Camera, 620 ... stage, 710 ... X-ray source, 720 ... carbon stage, 730 ... X-ray image sensor

Claims (9)

注目被写体を含む1枚以上の画像と前記注目被写体を含まない複数枚の画像とを含む複数枚の入力画像から前記注目被写体を含まない複数枚の画像のうち2枚以上を選択することによって、複数枚の平均化対象画像を得る選択部と、
前記複数枚の平均化対象画像を平均化することによって、シェーディング補正のためのリファレンス画像を作成する作成部と
を具備する、画像処理装置。
By selecting two or more of a plurality of images not including the target subject from a plurality of input images including one or more images including the target subject and a plurality of images not including the target subject, A selection unit for obtaining a plurality of images to be averaged;
An image processing apparatus comprising: a creation unit that creates a reference image for shading correction by averaging the plurality of images to be averaged.
ユーザとの間で情報をやり取りするユーザインタフェース部を更に具備し、
前記選択部は、前記ユーザインタフェース部によって提示されるGUIを介したユーザ入力に従って、前記複数枚の入力画像から前記注目被写体を含まない複数枚の画像のうち2枚以上を選択する、
請求項1の画像処理装置。
A user interface unit for exchanging information with the user;
The selection unit selects two or more of a plurality of images not including the target subject from the plurality of input images according to a user input via a GUI presented by the user interface unit.
The image processing apparatus according to claim 1.
前記ユーザ入力は、前記複数枚の入力画像からいずれか1枚を開始画像として選択し、ならびに、前記複数枚の入力画像からいずれか1枚を終了画像として選択し、
前記選択部は、前記複数枚の入力画像のうち前記開始画像から前記終了画像までに位置する連続した複数枚の画像を選択することによって、前記平均化対象画像を得る、
請求項2の画像処理装置。
The user input selects any one of the plurality of input images as a start image, and selects any one of the plurality of input images as an end image,
The selection unit obtains the averaging target image by selecting a plurality of continuous images positioned from the start image to the end image among the plurality of input images.
The image processing apparatus according to claim 2.
前記GUIは、前記開始画像を表示する開始画像表示領域及び前記終了画像を表示する終了画像表示領域のうち少なくとも一方を含む、請求項3の画像処理装置。 The image processing apparatus according to claim 3 , wherein the GUI includes at least one of a start image display area for displaying the start image and an end image display area for displaying the end image. 前記GUIは、前記リファレンス画像を表示するためのリファレンス画像表示領域を含む、請求項2の画像処理装置。   The image processing apparatus according to claim 2, wherein the GUI includes a reference image display area for displaying the reference image. 前記選択部は、前記注目被写体を含まない複数枚の画像のうちいずれか1枚を基準画像として用いたパターンマッチングを実行することによって、前記複数枚の入力画像から前記注目被写体を含まない複数枚の画像のうち2枚以上を選択する、請求項1の画像処理装置。   The selection unit performs pattern matching using any one of a plurality of images not including the target subject as a reference image, thereby performing a plurality of sheets not including the target subject from the plurality of input images. The image processing apparatus according to claim 1, wherein two or more images are selected. ユーザとの間で情報をやり取りするユーザインタフェース部を更に具備し、
前記選択部は、前記ユーザインタフェース部によって提示されるGUIを介したユーザ入力によって指定された閾値を用いて前記パターンマッチングを実行することによって、前記複数枚の入力画像から前記注目被写体を含まない複数枚の画像のうち2枚以上を選択する、
請求項6の画像処理装置。
A user interface unit for exchanging information with the user;
The selection unit executes the pattern matching using a threshold value specified by a user input via a GUI presented by the user interface unit, thereby not including a plurality of target subjects from the plurality of input images. Select two or more of the images,
The image processing apparatus according to claim 6.
前記複数枚の入力画像の最初の複数枚及び最後の複数枚のうち少なくとも一方は前記注目被写体を含まないように生成され、
前記選択部は、前記最初の複数枚及び前記最後の複数枚のうち少なくとも一方を自動的に選択することによって、前記複数枚の平均化対象画像を得る、
請求項1の画像処理装置。
At least one of the first plurality and the last plurality of the input images is generated so as not to include the subject of interest,
The selection unit obtains the plurality of images to be averaged by automatically selecting at least one of the first plurality and the last plurality.
The image processing apparatus according to claim 1.
注目被写体を含む1枚以上の画像と前記注目被写体を含まない複数枚の画像とを含む複数枚の入力画像から前記注目被写体を含まない複数枚の画像のうち2枚以上を選択することによって、複数枚の平均化対象画像を得ることと、
前記複数枚の平均化対象画像を平均化することによって、シェーディング補正のためのリファレンス画像を作成することと
を具備する、画像処理方法。
By selecting two or more of a plurality of images not including the target subject from a plurality of input images including one or more images including the target subject and a plurality of images not including the target subject, Obtaining multiple images to average,
An image processing method comprising: creating a reference image for shading correction by averaging the plurality of images to be averaged.
JP2012214503A 2012-09-27 2012-09-27 Image processing apparatus and image processing method Active JP5982245B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012214503A JP5982245B2 (en) 2012-09-27 2012-09-27 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012214503A JP5982245B2 (en) 2012-09-27 2012-09-27 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2014072544A JP2014072544A (en) 2014-04-21
JP5982245B2 true JP5982245B2 (en) 2016-08-31

Family

ID=50747420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012214503A Active JP5982245B2 (en) 2012-09-27 2012-09-27 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP5982245B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05268474A (en) * 1992-03-19 1993-10-15 Seiko Instr Inc Scanner
JP2596316B2 (en) * 1993-06-22 1997-04-02 日本電気株式会社 Fixed pattern noise removal circuit for solid-state imaging camera
JP2004247880A (en) * 2003-02-12 2004-09-02 Hitachi Kokusai Electric Inc Shading correction method and apparatus therefor
JP2011124948A (en) * 2009-12-14 2011-06-23 Sony Corp Information processor, method of processing information, program and image pickup device with optical microscope mounted thereon

Also Published As

Publication number Publication date
JP2014072544A (en) 2014-04-21

Similar Documents

Publication Publication Date Title
JP6416582B2 (en) Method and apparatus for metal artifact removal in medical images
JP6168879B2 (en) Endoscope apparatus, operation method and program for endoscope apparatus
KR20130018330A (en) Imaging apparatus, image processing method, and recording medium for recording program thereon
JP5911296B2 (en) Image processing apparatus, imaging apparatus, microscope system, image processing method, and image processing program
JP6478136B1 (en) Endoscope system and operation method of endoscope system
JP2013021490A (en) Image processing apparatus and control method for image processing apparatus
JP2014207110A (en) Observation apparatus and observation method
JP6422967B2 (en) Image processing apparatus, imaging apparatus, microscope system, image processing method, and image processing program
JP5242248B2 (en) Defect detection apparatus, defect detection method, defect detection program, and recording medium
JP6479178B2 (en) Image processing apparatus, imaging apparatus, microscope system, image processing method, and image processing program
JP7075773B2 (en) Image processing equipment, microscope system, image processing method and image processing program
US10481378B2 (en) Interactive graphical representation of image quality and control thereof
US8611498B2 (en) Image processing apparatus, image processing method, radiation imaging system, and computer-readable recording medium
JP5982245B2 (en) Image processing apparatus and image processing method
JP6603709B2 (en) Image processing apparatus, image processing method, and image processing program
US11050931B2 (en) Control device and control method
JP2013148856A (en) Imaging device, display screen generation device, imaging system, and control method of the same
JP3937022B2 (en) Image processing apparatus and imaging device
WO2018159288A1 (en) Image processing apparatus, image forming method, and program
JP6584173B2 (en) Image processing apparatus and image processing method
DE102013104710A1 (en) Method for correcting gray scale image displayed on display unit, involves placing gray values of each currently captured image in functional context in order to calculate corrected gray-scale image by scaling reference image
JPWO2018030386A1 (en) Positioning apparatus and positioning method
JP5849590B2 (en) Image processing method and image processing apparatus
JP2009036580A (en) Method, equipment and program for preparing image for checkup, and method and equipment for checking planar display panel
JP2010161563A (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160801

R150 Certificate of patent or registration of utility model

Ref document number: 5982245

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250