JP5982245B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP5982245B2 JP5982245B2 JP2012214503A JP2012214503A JP5982245B2 JP 5982245 B2 JP5982245 B2 JP 5982245B2 JP 2012214503 A JP2012214503 A JP 2012214503A JP 2012214503 A JP2012214503 A JP 2012214503A JP 5982245 B2 JP5982245 B2 JP 5982245B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- input
- user
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
実施形態は、画像処理に関する。 Embodiments relate to image processing.
一般に、カメラによって撮影された画像には、例えばレンズ特性に依存する輝度ムラが発生する。輝度ムラは、撮影画像内の注目被写体の視認性を損なったり、撮影画像内の注目被写体に対して自動検査処理を行う場合の検査精度を劣化させたりするので、抑制されることが望まれる。輝度ムラの効果的な抑制法の1つとして、シェーディング補正が知られている。シェーディング補正は、輝度ムラを表現するリファレンス画像を作成し、当該リファレンス画像を用いた演算(例えば、除算または減算)を行うことによって実現される。 In general, luminance unevenness depending on lens characteristics, for example, occurs in an image taken by a camera. The luminance unevenness is desired to be suppressed because it impairs the visibility of the subject of interest in the captured image or degrades the inspection accuracy when performing the automatic inspection process on the subject of interest in the captured image. Shading correction is known as one effective method for suppressing luminance unevenness. The shading correction is realized by creating a reference image expressing luminance unevenness and performing an operation (for example, division or subtraction) using the reference image.
シェーディング補正による輝度ムラの抑制効果はリファレンス画像の品質に依存する。具体的には、リファレンス画像に例えばノイズ成分などの不要成分が残留していると、シェーディング補正を通じて、係る不要成分が増幅されたり、注目被写体の本来の信号成分が損なわれたりする。従来、注目被写体を含む画像に対して平滑化処理またはエッジ除去処理を施すことによって、リファレンス画像を作成する技法が知られている。しかしながら、係る技法によれば、平滑化処理またはエッジ除去処理を通じて上記不要成分がリファレンス画像に発生するおそれがある。 The effect of suppressing luminance unevenness by shading correction depends on the quality of the reference image. Specifically, if an unnecessary component such as a noise component remains in the reference image, the unnecessary component is amplified through shading correction, or the original signal component of the subject of interest is impaired. Conventionally, a technique for creating a reference image by performing a smoothing process or an edge removal process on an image including a subject of interest is known. However, according to such a technique, the unnecessary component may be generated in the reference image through the smoothing process or the edge removal process.
実施形態は、高品質なリファレンス画像を作成することを目的とする。 An object of the embodiment is to create a high-quality reference image.
実施形態によれば、画像処理装置は、選択部と作成部とを備える。選択部は、注目被写体を含む1枚以上の画像と注目被写体を含まない複数枚の画像とを含む複数枚の入力画像から注目被写体を含まない複数枚の画像のうち2枚以上を選択することによって、複数枚の平均化対象画像を得る。作成部は、複数枚の平均化対象画像を平均化することによって、シェーディング補正のためのリファレンス画像を作成する。 According to the embodiment, the image processing apparatus includes a selection unit and a creation unit. The selection unit selects two or more images from a plurality of input images including one or more images including the target subject and a plurality of images not including the target subject, from a plurality of images not including the target subject. Thus, a plurality of images to be averaged are obtained. The creation unit creates a reference image for shading correction by averaging a plurality of images to be averaged.
以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。 Hereinafter, embodiments will be described with reference to the drawings. Hereinafter, the same or similar elements as those already described are denoted by the same or similar reference numerals, and redundant description is basically omitted.
(第1の実施形態)
第1の実施形態に係る画像処理装置100は、図1に例示されるように、画像取得部101と、画像選択部102と、リファレンス画像作成部103と、画像補正部104と、ユーザインタフェース部105とを備える。
(First embodiment)
As illustrated in FIG. 1, the
画像取得部101は、外部から複数枚の入力画像を取得する。複数枚の入力画像は、注目被写体を含む1枚以上の画像と、当該注目被写体を含まない複数枚の画像とを含む。画像取得部101は、入力画像を画像選択部102へ出力する。更に、画像取得部101は、複数枚の入力画像の一部または全部を必要に応じて画像補正部104及びユーザインタフェース部105へ出力する。
The
複数枚の入力画像は、動画像内の一連のフレームであってもよいし、連続撮影によって得られる複数枚の静止画像であってもよい。以降の説明では、簡単化のために、複数枚の入力画像は動画像内の一連のフレームに相当するものとする。複数枚の入力画像は、好ましくは固定された視点から撮影されたものであるが、例えばドライブレコーダ画像のように移動可能な視点から撮影されたものであってもよい。注目被写体は、動体であってもよいし、静止していてもよい。 The plurality of input images may be a series of frames in the moving image, or may be a plurality of still images obtained by continuous shooting. In the following description, for the sake of simplicity, it is assumed that a plurality of input images correspond to a series of frames in a moving image. The plurality of input images are preferably taken from a fixed viewpoint, but may be taken from a movable viewpoint such as a drive recorder image. The subject of interest may be a moving object or may be stationary.
画像選択部102は、画像取得部101から複数枚の入力画像を入力する。画像選択部102は、複数枚の入力画像から前述の注目被写体を含まない複数枚の画像のうち2枚以上を選択することによって、複数枚の平均化対象画像を得る。後述されるように、複数枚の入力画像から前述の注目被写体を含まない複数枚の画像のうち2枚以上を選択するために、画像選択部102は、GUI(Graphical User Interface)を通じたユーザ入力を利用してもよいし、パターンマッチングを利用してもよいし、予め定められたルールを利用してもよい。画像選択部102は、平均化対象画像をリファレンス画像作成部103へと出力する。
The image selection unit 102 inputs a plurality of input images from the
尚、一般に、N枚の画像を平均化することによって、各画像に含まれるランダムノイズ成分の振幅の標準偏差は1/√N倍になる。故に、平均化対象画像の枚数が多いほど、ランダムノイズ成分がより抑圧される。 In general, by averaging N images, the standard deviation of the amplitude of the random noise component included in each image becomes 1 / √N times. Therefore, the larger the number of images to be averaged, the more the random noise component is suppressed.
リファレンス画像作成部103は、画像選択部102から複数枚の平均化対象画像を入力する。リファレンス画像作成部103は、複数枚の平均化対象画像を画素単位で平均化することによって、リファレンス画像を作成する。リファレンス画像作成部103は、リファレンス画像を画像補正部104へ出力する。尚、リファレンス画像作成部103は、リファレンス画像を画像補正部104へ出力する前に、後述されるGUIを通じてリファレンス画像をユーザに対して提示し、当該リファレンス画像の品質をユーザに確認させてもよい。
The reference
画像補正部104は、画像取得部101から複数枚の入力画像のうち少なくとも一部(以降、補正対象画像と呼ばれる)を入力し、リファレンス画像作成部103からリファレンス画像を入力する。画像補正部104は、リファレンス画像を用いて1枚以上の補正対象画像のシェーディング補正を行うことによって、1枚以上の出力画像を生成する。画像補正部104は、出力画像を必要に応じてGUIを通じてユーザに提示してもよい。
The
ユーザインタフェース部105は、後述されるGUIをユーザに対して提示する。ユーザインタフェース部105は、GUIを通じて、ユーザに情報を通知したり、ユーザ入力を受理したりする。GUIは、例えば、入力画像、平均化対象画像、リファレンス画像、補正対象画像、出力画像などを表示してもよい。更に、GUIは、例えば、複数枚の平均化対象画像を指定するためのユーザ入力、リファレンス画像の作成を開始するためのユーザ入力、リファレンス画像を保存するためのユーザ入力などを受理してもよい。
The
以下、図1の画像処理装置によって行われる画像処理が図2を用いて説明される。図2の画像処理は、ステップS201から開始する。ステップS201において、画像取得部101は複数枚の入力画像を取得する。
Hereinafter, image processing performed by the image processing apparatus of FIG. 1 will be described with reference to FIG. The image processing in FIG. 2 starts from step S201. In step S201, the
例えば、画像取得部101は、図5に示されるように、注目被写体である自動車が画面を左側から右側に横切る動画像を複数枚の入力画像として取得する。尚、図5において、入力画像の概要を把握し易くするために自動車の動きが表現されているが、実際には複数枚の入力画像の各々において自動車の位置は異なり得る。また、図5の例において、入力画像の背景には、例えば、照明条件、レンズ特性などによる明暗差が生じている。
For example, as illustrated in FIG. 5, the
即ち、図5に例示される複数枚の入力画像は、例えば、自動車が明るい背景(例えば、街灯によって照らされている領域)に重なっている画像(以降、Aタイプの画像とも称される)、自動車が明るい背景と暗い背景(例えば、建造物の影の領域)との間の境界に重なっている画像(以降、Bタイプの画像とも称される)、自動車が暗い背景に重なっている画像(以降、Cタイプの画像とも称される)、ならびに、自動車を含まない画像(即ち、注目被写体を含まない画像)(以降、Dタイプの画像とも称される)とを含む。尚、図5の例によれば、自動車が暗い背景に重なり始めると当該自動車の視認性は低下し始める。 That is, the plurality of input images illustrated in FIG. 5 include, for example, an image (hereinafter also referred to as an A-type image) in which a car overlaps a bright background (for example, an area illuminated by a streetlight), An image (hereinafter also referred to as a B-type image) in which the automobile overlaps a boundary between a light background and a dark background (for example, a shadow area of a building), an image in which the automobile overlaps a dark background ( Hereinafter, it includes an image that does not include a car (that is, an image that does not include a subject of interest) (hereinafter also referred to as a D-type image). According to the example of FIG. 5, when the automobile starts to overlap a dark background, the visibility of the automobile starts to deteriorate.
画像選択部102は、ステップS201において取得された複数枚の入力画像から注目被写体を含まない2枚以上の画像を選択することによって、複数枚の平均化対象画像を得る(ステップS202)。リファレンス画像作成部103は、ステップS202において得られた複数枚の平均化対象画像を平均化することによって、リファレンス画像を作成する(ステップS203)。
The
例えば、リファレンス画像作成部103は、図6に示されるように、注目被写体である自動車を含まない複数枚の平均化対象画像(いずれも前述のDタイプの画像である)を平均化することによって、リファレンス画像を作成する。図6の例によれば、背景画像に相当する複数枚の画像が平均化される。従って、図6のリファレンス画像には、図5に例示される入力画像の背景と同様の明暗差が生じる。尚、複数枚の平均化対象画像の一部として自動車を含む入力画像(即ち、前述のAタイプ、BタイプまたはCタイプの画像)が紛れ込んでいる場合には、リファレンス画像には当該自動車の信号成分が残留することになる。
For example, as shown in FIG. 6, the reference
尚、図8及び図9に例示されるように、複数枚の入力画像の各々の背景に含まれる(ランダム)ノイズ成分は平均化を通じて抑圧される。ここで、図8は図5(正確には、図5に例示される複数枚の入力画像のうち任意の1枚)のVIII−VIII’断面における濃度値の分布を例示し、図9は図6のIX−IX’断面における濃度値の分布を例示する。従って、ステップS203において作成されるリファレンス画像によれば、高品質なシェーディング補正が可能となる。 As illustrated in FIGS. 8 and 9, (random) noise components included in the background of each of a plurality of input images are suppressed through averaging. Here, FIG. 8 illustrates the distribution of density values in the section VIII-VIII ′ of FIG. 5 (more precisely, any one of the plurality of input images illustrated in FIG. 5), and FIG. 6 illustrates a distribution of density values in a section IX-IX ′ of FIG. Therefore, according to the reference image created in step S203, high-quality shading correction can be performed.
画像補正部104は、ステップS203において作成されたリファレンス画像を用いて複数枚の入力画像のうち一部または全部をシェーディング補正することによって、1枚以上の出力画像を生成する(ステップS204)。具体的には、画像補正部104は、例えば下記数式(1)に従ってシェーディング補正を行ってもよい。
数式(1)において、I(i,j)は複数枚の入力画像のうち任意の1枚における画素(i,j)の濃度値を表し、O(i,j)は対応する出力画像における画素(i,j)の濃度値を表し、R(i,j)はリファレンス画像における画素(i,j)の濃度値を表し、Nはリファレンス画像内の総画素数を表す。 In Equation (1), I (i, j) represents the density value of the pixel (i, j) in any one of the plurality of input images, and O (i, j) represents the pixel in the corresponding output image. (I, j) represents the density value, R (i, j) represents the density value of the pixel (i, j) in the reference image, and N represents the total number of pixels in the reference image.
図7は、図5及び図6に対応する出力画像を例示する。尚、図7において、図5と同様の趣旨により、注目被写体である自動車の動きが表現されている。要するに、図5に例示される入力画像に対して図6に例示されるリファレンス画像を用いてシェーディング補正を行うことによって、図7に例示される出力画像が生成される。シェーディング補正によって入力画像内の明暗差が抑制されるので、特に、自動車が暗い背景に重なっている入力画像に対応する出力画像において当該自動車の視認性は大きく改善される。 FIG. 7 illustrates output images corresponding to FIGS. In FIG. 7, the movement of the car that is the subject of interest is expressed with the same purpose as in FIG. 5. In short, the output image illustrated in FIG. 7 is generated by performing shading correction on the input image illustrated in FIG. 5 using the reference image illustrated in FIG. Since the shading correction suppresses the light / dark difference in the input image, the visibility of the vehicle is greatly improved particularly in the output image corresponding to the input image where the vehicle is superimposed on a dark background.
図10に例示されるように、出力画像の濃度値は、ノイズ成分による変動を除いてリファレンス画像の濃度値平均に概ね一致する。ここで、図10は、図7(正確には、図7に例示される複数枚の出力画像のうち任意の1枚)のX−X’断面における濃度値の分布を例示する。但し、入力画像においてノイズ成分が信号成分に対して大きい場合(例えば、SNR(Signal−to−Noise Ratio)が悪い場合)には、数式(1)の演算によって当該ノイズ成分が強調されることもある。 As illustrated in FIG. 10, the density value of the output image substantially matches the density value average of the reference image except for fluctuation due to noise components. Here, FIG. 10 illustrates the distribution of density values in the X-X ′ cross section of FIG. 7 (more precisely, any one of the plurality of output images illustrated in FIG. 7). However, when the noise component is larger than the signal component in the input image (for example, when the SNR (Signal-to-Noise Ratio) is bad), the noise component may be emphasized by the calculation of Expression (1). is there.
前述のように、画像選択部102は、様々な技法を利用して複数枚の入力画像から注目被写体を含まない2枚以上の画像を選択できる。
例えば、画像選択部102は、複数枚の入力画像の撮影(即ち、生成)に関して予め定められたルールを利用してもよい。例えば、複数枚の入力画像の撮影に関して、最初または最後から規定時間(或いは、規定フレーム数)に亘って注目被写体を撮影しないというルールを定めることができる。係るルールを前提にすると、画像選択部102は、複数枚の入力画像の最初または最後から上記規定時間を超えない範囲で画像を自動選択すればよい。
As described above, the
For example, the
また、画像選択部102は、パターンマッチングを利用してもよい。具体的には、画像選択部102は、複数枚の入力画像のうち注目被写体を含まない1枚の画像をパターンマッチングの基準画像として用いる。尚、画像選択部102は、GUIを通じたユーザ入力に従って上記基準画像を選択してもよいし、前述の予め定められたルールを利用して上記基準画像を自動選択してもよい。
The
画像選択部102は、複数枚の入力画像の各々と上記基準画像との間の全画素または一部の画素領域における濃度値のSAD(Sum of Absolute Differences)またはSSD(Sum of Squared Differences)を計算する。更に、画像選択部102は、計算されたSADまたはSSDを閾値と比較する。計算されたSADまたはSSDが閾値未満である画像は、上記基準画像にマッチしているので注目被写体を含まない画像である可能性が高い。従って、画像選択部102は、上記基準画像との間の画素の濃度値のSADまたはSSDが閾値未満である2枚以上の画像を選択すればよい。
The
パターンマッチングを用いた画像選択の性能は上記閾値に依存する。即ち、閾値が過度に小さければ選択される画像の総数が非常に小さくなるおそれがある。反面、閾値が過度に大きければ、注目被写体を含む画像が誤って選択されるおそれがある。閾値は、経験的に導出された値に自動的に設定されてもよいし、GUIを通じたユーザ入力に従って設定されてもよい。ユーザがGUIを通じて閾値を指定する場合には、ユーザインタフェース部105は、指定された閾値の下で暫定的に作成されたリファレンス画像をGUI上に表示してもよい。暫定的に作成されたリファレンス画像が表示されれば、ユーザはリファレンス画像の品質を随時確認できるので容易に閾値を調整できる。
The performance of image selection using pattern matching depends on the threshold value. That is, if the threshold is too small, the total number of images selected may be very small. On the other hand, if the threshold value is excessively large, an image including the subject of interest may be selected by mistake. The threshold value may be automatically set to an empirically derived value, or may be set according to user input through a GUI. When the user designates a threshold value through the GUI, the
或いは、画像選択部102は、GUIを通じたユーザ入力を利用してもよい。通常、ユーザは注目被写体を含まない画像を目視で容易に判別できるので、画像選択部102はユーザ入力を利用することによって注目被写体を含まない2枚以上の画像をより確実に選択できる。
Alternatively, the
具体的には、図3のGUIによれば、ユーザが開始画像及び終了画像を選択し、画像選択部102が選択された開始画像から終了画像までに位置する連続した複数枚の画像を選択する。図11のGUIによれば、ユーザが複数枚の入力画像の各々について選択状態/非選択状態を決定し、画像選択部102は選択状態にある複数枚の画像を選択する。
Specifically, according to the GUI of FIG. 3, the user selects a start image and an end image, and the
以下、ユーザインタフェース部105によって表示されるGUIの具体例が説明される。
図3には、様々なGUI部品を含むリファレンス画像作成ウィンドウ300が描かれている。リファレンス画像作成ウィンドウ300は、開始画像表示領域301と、スライドバー302と、スライダ303と、ボックス304と、終了画像表示領域305と、スライドバー306と、スライダ307と、ボックス308と、作成ボタン309と、リファレンス画像表示領域310と、保存ボタン311と、終了ボタン312とを含む。
Hereinafter, a specific example of the GUI displayed by the
In FIG. 3, a reference
図3のGUIは、図4に例示されるように挙動する。最初に、例えばシェーディング補正用アプリケーションを起動するためのユーザ入力に基づいて、図3のGUIが起動される(ステップS401)。具体的には、ユーザインタフェース部105が、リファレンス画像作成ウィンドウ300をユーザに提示する。尚、図3のGUIは、終了ボタン312が押下されると強制終了する。
The GUI of FIG. 3 behaves as illustrated in FIG. First, for example, the GUI in FIG. 3 is activated based on a user input for activating a shading correction application (step S401). Specifically, the
ユーザインタフェース部105は、複数枚の入力画像のうち最初の1枚(或いは、その他のデフォルト画像)を開始画像表示領域301に表示する(ステップS402)。更に、ユーザインタフェース部105は、複数枚の入力画像のうち最後の1枚(或いは、その他のデフォルト画像)を終了画像表示領域305に表示する(ステップS403)。尚、ステップS402及びステップS403は、逆順で実行されてもよいし、並列に実行されてもよい。
The
開始画像表示領域301に表示される画像は、スライドバー302上のスライダ303の位置によって決まる。併せて、開始画像表示領域301に現在表示されている画像をユーザに認識させるための情報(例えば、フレーム番号、再生時刻、撮影時刻など)がボックス304に表示される。同様に、終了画像表示領域305に表示される画像も、スライドバー306上のスライダ307の位置によって決まる。併せて、終了画像表示領域305に現在表示されている画像をユーザに認識させるための情報がボックス308に表示される。
The image displayed in the start
ユーザは、スライドバー302上でスライダ303を動かすことによって、開始画像表示領域301に表示される画像を変更できる。即ち、スライダ303の移動に伴って、開始画像表示領域301及びボックス304に表示される情報は変化する。同様に、ユーザは、スライドバー306上でスライダ307を動かすことによって、終了画像表示領域305に表示される画像を変更できる。即ち、スライダ307の移動に伴って、終了画像表示領域305及びボックス308に表示される情報は変化する。
The user can change the image displayed in the start
ユーザは、スライダ303をスライドバー302上の所望の位置に動かすことによって、開始画像を選択する(ステップS404)。同様に、ユーザは、スライダ307をスライドバー306上の所望の位置に動かすことによって、終了画像を選択する(ステップS405)。ステップS404及びステップS405において、ユーザは、開始画像表示領域301及び終了画像表示領域305に表示される画像を見ながらスライダ303及びスライダ307を動かすので、注目被写体を含まない開始画像及び終了画像を容易に選択することができる。尚、ステップS404及びステップS405は、逆順で実行されてもよいし、並列に実行されてもよい。更に、ステップS404及びステップS405の一方または両方が省略されてもよい。ステップS404が省略される場合には、ステップS402において開始画像表示領域301に表示された画像が開始画像として扱われる。ステップS405が省略される場合には、ステップS403において終了画像表示領域305に表示された画像が終了画像として扱われる。
The user selects the start image by moving the
ステップS404及びステップS405の後に、ユーザは作成ボタン309を押下する(ステップS406)。作成ボタン309が押下されると、リファレンス画像が作成される(ステップS407)。具体的には、画像選択部102が、開始画像から終了画像までに位置する連続した複数枚の画像を選択することによって、複数枚の平均化対象画像を得る。更に、リファレンス画像作成部103が、複数枚の平均化対象画像を平均化することによって、リファレンス画像を作成する。
After step S404 and step S405, the user presses the creation button 309 (step S406). When the
ユーザインタフェース部105は、ステップS407において作成されたリファレンス画像をリファレンス画像表示領域310に表示する(ステップS408)。ここで、図3のGUIによれば、ユーザは開始画像及び終了画像を選択するだけでよいので、ユーザ入力の負担は小さい。反面、ユーザが開始画像と終了画像との間に位置する全ての画像に目を通すとは限らないので、例えばノイズ成分、動きのある注目被写体の信号成分などの不要成分を含む画像が複数枚の平均化対象画像の一部として予期せず混入するおそれがある。係る場合に、リファレンス画像には上記不要成分が残留するので、出力画像の画質が劣化するおそれがある。
The
そこで、図3のGUIは、リファレンス画像表示領域310にリファレンス画像を表示することによって、ユーザにリファレンス画像の品質を目視で確認させる。ここで、ユーザは、リファレンス画像表示領域310と開始画像表示領域301または終了画像表示領域305とを見比べることにより、リファレンス画像に不要成分が残留しているか否かを容易に判別できる。ユーザは、リファレンス画像に不要成分が残留していると判断する場合には、開始画像または終了画像を再選択してから作成ボタン309を再度押下してもよい。
Therefore, the GUI of FIG. 3 displays the reference image in the reference
ここで、前述のパターンマッチングを利用すれば、リファレンス画像に不要成分が残留しているか否か、ならびに、リファレンス画像に不要成分を発生させている1枚以上の平均化対象画像を自動判別することも可能である。パターンマッチングの基準画像は、開始画像でもよいし、終了画像でもよいし、他のデフォルト画像でもよいし、ユーザ入力に従って選択されてもよい。 Here, if the above-described pattern matching is used, whether or not unnecessary components remain in the reference image and one or more images to be averaged that generate unnecessary components in the reference image are automatically determined. Is also possible. The reference image for pattern matching may be a start image, an end image, another default image, or may be selected according to user input.
ユーザは、リファレンス画像に不要成分が残留していないと判断する場合には、保存ボタン311を押下することになる(ステップS409)。保存ボタン311が押下されると、ステップS407において作成されたリファレンス画像が図示されないメモリに保存される。メモリに保存されたリファレンス画像は、画像補正部104によって必要に応じて読み出され、入力画像の一部または全部に対するシェーディング補正のために利用される。
If the user determines that no unnecessary component remains in the reference image, the user presses the save button 311 (step S409). When the
前述のように、図3のGUIによれば、複数枚の入力画像から2枚以上の連続した画像が選択される。従って、このGUIによれば、ユーザ入力の負担が小さくて済むものの、不要成分を含む画像が複数枚の平均化対象画像の一部として予期せず紛れ込むおそれがある。そこで、ユーザインタフェース部105は、ユーザが複数枚の入力画像の各々に対して選択状態/非選択状態を指定できるように、図11に例示されるGUIを表示してもよい。
As described above, according to the GUI of FIG. 3, two or more continuous images are selected from a plurality of input images. Therefore, according to this GUI, although the burden of user input can be reduced, an image including unnecessary components may be unexpectedly mixed as a part of a plurality of images to be averaged. Therefore, the
図11には、様々なGUI部品を含むリファレンス画像作成ウィンドウ500が描かれている。リファレンス画像作成ウィンドウ500は、入力画像表示領域501と、スライドバー502と、スライダ503と、ボックス504と、選択ボタン505と、非選択ボタン506と、作成ボタン507と、リファレンス画像表示領域508と、保存ボタン509とを含む。
FIG. 11 depicts a reference
図11のGUIは、以下に述べられるように挙動する。最初に、例えばシェーディング補正用アプリケーションを起動するためのユーザ入力に基づいて、図11のGUIが起動される。具体的には、ユーザインタフェース部105が、リファレンス画像作成ウィンドウ500をユーザに提示する。尚、図11のGUIは、終了ボタン510が押下されると強制終了する。
The GUI of FIG. 11 behaves as described below. First, the GUI in FIG. 11 is activated based on, for example, a user input for activating a shading correction application. Specifically, the
ユーザインタフェース部105は、複数枚の入力画像のうち最初の1枚(或いは、その他のデフォルト画像)を入力画像表示領域501に表示する。ここで、入力画像表示領域501に表示される画像は、スライドバー502上のスライダ503の位置によって決まる。併せて、入力画像表示領域501に現在表示されている画像をユーザに認識させるための情報がボックス504に表示される。
The
ユーザは、スライドバー502上でスライダ503を動かすことによって、入力画像表示領域501に表示される画像を変更できる。即ち、スライダ503の移動に伴って、入力画像表示領域501及びボックス504に表示される情報は変化する。ユーザは、入力画像表示領域501に表示されている入力画像に対して、選択ボタン505または非選択ボタン506を押下することによって、当該入力画像の選択状態/非選択状態を指定できる。
The user can change the image displayed in the input
尚、ユーザ入力の負担を軽減するために、複数枚の入力画像の各々には事前にデフォルトの状態(選択状態または非選択状態)が設定されていてもよい。ここで、デフォルトの状態は、予め定められたルールに基づいて設定されてもよいし、パターンマッチングを利用して設定されてもよいし、図3と類似のGUIを介したユーザ入力に基づいて設定されてもよい。また、ユーザインタフェース部105は、選択ボタン505または非選択ボタン506が押下された場合には、入力画像表示領域501に自動的に次の入力画像を表示させてもよい。
In order to reduce the burden of user input, a default state (selected state or non-selected state) may be set in advance for each of the plurality of input images. Here, the default state may be set based on a predetermined rule, may be set using pattern matching, or based on user input via a GUI similar to FIG. It may be set. Further, when the selection button 505 or the
ユーザは、複数枚の入力画像の各々に選択状態/非選択状態を指定した後に作成ボタン507を押下する。作成ボタン507が押下されると、リファレンス画像が作成される。具体的には、画像選択部102が、選択状態にある複数枚の画像を選択することによって、複数枚の平均化対象画像を得る。更に、リファレンス画像作成部103が、複数枚の平均化対象画像を平均化することによって、リファレンス画像を作成する。
The user presses the
ユーザインタフェース部105は、作成されたリファレンス画像をリファレンス画像表示領域508に表示する。ここで、図11のGUIによれば、ユーザは複数枚の入力画像の各々に選択状態/非選択状態を選択するので、不要成分を含む画像が複数枚の平均化対象画像の一部として紛れ込む可能性は抑制される。しかしながら、ユーザが不要成分を含む画像を見落とすこともあり得るので、図3のGUIと同様の確認作業を用意することが望ましい。
The
図11のGUIによれば、リファレンス画像表示領域508にリファレンス画像が表示されるので、ユーザはリファレンス画像の品質を目視で確認できる。ここで、ユーザは、リファレンス画像表示領域508と入力画像表示領域501とを見比べることにより、リファレンス画像に不要成分が残留しているか否かを容易に判別できる。尚、ユーザインタフェース部105は、好ましくは、選択状態にある画像を入力画像表示領域501に自動的に表示する。ユーザは、リファレンス画像に不要成分が残留していると判断する場合には、複数枚の入力画像の各々の選択状態/非選択状態を必要に応じて変更してから作成ボタン507を再度押下してもよい。
According to the GUI of FIG. 11, the reference image is displayed in the reference
ここで、前述のパターンマッチングを利用すれば、リファレンス画像に不要成分が残留しているか否か、ならびに、リファレンス画像に不要成分を発生させている1枚以上の平均化対象画像を自動判別することも可能である。パターンマッチングの基準画像は、選択状態にあるいずれかの画像でもよいし、他のデフォルト画像でもよいし、ユーザ入力に従って選択されてもよい。 Here, if the above-described pattern matching is used, whether or not unnecessary components remain in the reference image and one or more images to be averaged that generate unnecessary components in the reference image are automatically determined. Is also possible. The reference image for pattern matching may be any image in a selected state, another default image, or may be selected according to user input.
ユーザは、リファレンス画像に不要成分が残留していないと判断する場合には、保存ボタン509を押下することになる。保存ボタン509が押下されると、作成されたリファレンス画像が図示されないメモリに保存される。メモリに保存されたリファレンス画像は、画像補正部104によって必要に応じて読み出され、入力画像の一部または全部に対するシェーディング補正のために利用される。
When the user determines that no unnecessary component remains in the reference image, the user presses the
以上説明したように、第1の実施形態に係る画像処理装置は、複数枚の入力画像から注目被写体を含まない2枚以上の画像を選択することによって複数枚の平均化対象画像を得て、当該複数枚の平均化対象画像を平均化することによってリファレンス画像を生成する。従って、この画像処理装置は、例えば動きのある注目被写体の信号成分などの不要成分がリファレンス画像に混入する事態を防止しながら複数枚の平均化対象画像の各々に含まれるノイズ成分を平均化によって抑圧する。従って、この画像処理装置によれば、高品質なリファレンス画像が作成されるので、シェーディング補正の効果を向上させることができる。 As described above, the image processing apparatus according to the first embodiment obtains a plurality of images to be averaged by selecting two or more images not including the subject of interest from a plurality of input images, A reference image is generated by averaging the plurality of averaging target images. Therefore, this image processing apparatus averages noise components included in each of a plurality of averaging target images while preventing an unnecessary component such as a signal component of a moving subject of interest from being mixed into the reference image. Repress. Therefore, according to this image processing apparatus, since a high-quality reference image is created, the effect of shading correction can be improved.
(第2の実施形態)
第2の実施形態に係る外観検査システムは、図12に例示されるように、画像処理装置100、画像検査装置600、カメラ610及びステージ620を含む。
カメラ610は、例えばCCD(Charge−Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を用いたデジタルカメラである。カメラ610は、後述するステージ620の上方から、ステージ620の上面を電子撮影する。カメラ610は、撮像素子によって得られた画素情報をマトリックス状(格子状)に配列して映像化した画像データを生成し、後段の画像処理装置100に出力する。
(Second Embodiment)
The appearance inspection system according to the second embodiment includes an
The
ステージ620は、外観検査の対象となる被測定物OJ(例えば、液晶パネル、集積回路などの電子部品)を載置するためのテーブル状の平面を有するステージである。被測定物OJは、ステージ620においてカメラ610によって撮影される範囲に載置される。被測定物OJがステージ620上で静止した状態で、カメラ610による撮影が行われる。
The
画像処理装置100は、カメラ610によって得られた画像データに対して、第1の実施形態と同一または類似の画像処理を施す。即ち、画像処理装置100は、カメラ610によって撮影された複数枚分の画像データを複数枚の入力画像として取り込み、画像処理を行って1枚以上の出力画像を得る。画像処理装置100は、出力画像を画像検査装置600に供給する。
The
画像検査装置600は、画像処理装置100から1枚以上の出力画像を検査画像として入力する。画像検査装置600は、検査画像の画像解析を行う。画像検査装置600は、係る画像解析の結果、被測定物OJの異常(例えば、被測定物OJの欠陥、被測定物OJに付着した異物など)を検出する。
The
以上説明したように、第2の実施形態に係る外観検査システムは、第1の実施形態に係る画像処理装置と同一または類似の画像処理を行って検査画像を生成する。従って、本実施形態に係る外観検査システムによれば、良好なシェーディング補正によって生成された検査画像を利用できるので、高精度な検査が可能となる。 As described above, the appearance inspection system according to the second embodiment generates an inspection image by performing the same or similar image processing as the image processing apparatus according to the first embodiment. Therefore, according to the appearance inspection system according to the present embodiment, since an inspection image generated by good shading correction can be used, high-accuracy inspection is possible.
(第3の実施形態)
第3の実施形態に係るX線検査システムは、図13に例示されるように、画像処理装置100、画像検査装置700、X線源710、カーボンステージ720及びX線イメージセンサ730を含む。
(Third embodiment)
The X-ray inspection system according to the third embodiment includes an
カーボンステージ720は、X線検査の対象となる被測定物OJを載置するためのテーブル状の平面を有するステージである。被測定物OJは、カーボンステージ720においてX線源710によってX線が照射される範囲に載置される。被測定物OJがカーボンステージ720上で静止した状態で、X線源710及びX線イメージセンサ730によるX線撮影が行われる。
The
X線源710は、カーボンステージ720に載置された被測定物OJに対してX線を照射する。X線イメージセンサ730は、X線源710によって照射されて被測定物OJを透過したX線を検出し、画像データを生成する。X線イメージセンサ730は、画像データを後段の画像処理装置100に出力する。
The
画像処理装置100は、X線イメージセンサ730によって得られた画像データに対して、第1の実施形態と同一または類似の画像処理を施す。即ち、画像処理装置100は、X線イメージセンサ730によって撮影された複数枚分の画像データを複数枚の入力画像として取り込み、画像処理を行って1枚以上の出力画像を得る。画像処理装置100は、出力画像を画像検査装置700に供給する。
The
画像検査装置700は、画像処理装置100から1枚以上の出力画像を検査画像として入力する。画像検査装置700は、検査画像の画像解析を行う。画像検査装置700は、係る画像解析の結果、被測定物OJの異常を検出する。
The
以上説明したように、第3の実施形態に係るX線検査システムは、第1の実施形態に係る画像処理装置と同一または類似の画像処理を行って検査画像を生成する。従って、本実施形態に係るX線検査システムによれば、良好なシェーディング補正によって生成された検査画像を利用できるので、高精度な検査が可能となる。 As described above, the X-ray inspection system according to the third embodiment generates an inspection image by performing the same or similar image processing as that of the image processing apparatus according to the first embodiment. Therefore, according to the X-ray inspection system according to the present embodiment, since an inspection image generated by good shading correction can be used, a highly accurate inspection can be performed.
尚、本実施形態に係るX線検査システムを医療診断などのために適用し、人間(例えば医師)が検査画像の解析を行う場合も考えられる。係る場合には、画像検査装置700は不要である。人間が検査画像の解析を行う場合にも、良好なシェーディング補正によって生成された検査画像を利用できるので、高精度な検査が可能となることは明らかである。
Note that it is also conceivable that the X-ray inspection system according to the present embodiment is applied for medical diagnosis and a human (for example, a doctor) analyzes the inspection image. In such a case, the
上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク(CD−ROM、CD−R、DVD等)、光磁気ディスク(MO等)、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ(サーバ)上に格納し、ネットワーク経由でコンピュータ(クライアント)にダウンロードさせてもよい。 The processing of each of the above embodiments can be realized by using a general-purpose computer as basic hardware. The program for realizing the processing of each of the above embodiments may be provided by being stored in a computer-readable storage medium. The program is stored in the storage medium as an installable file or an executable file. Examples of the storage medium include a magnetic disk, an optical disk (CD-ROM, CD-R, DVD, etc.), a magneto-optical disk (MO, etc.), and a semiconductor memory. The storage medium may be any as long as it can store the program and can be read by the computer. Further, the program for realizing the processing of each of the above embodiments may be stored on a computer (server) connected to a network such as the Internet and downloaded to the computer (client) via the network.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
100・・・画像処理装置、101・・・画像取得部、102・・・画像選択部、103・・・リファレンス画像作成部、104・・・画像補正部、105・・・ユーザインタフェース部、300,500・・・リファレンス画像作成ウィンドウ、301・・・開始画像表示領域、302,306,502・・・スライドバー、303,307,503・・・スライダ、304,308,504・・・ボックス、305・・・終了画像表示領域、309,507・・・作成ボタン、310,508・・・リファレンス画像表示領域、311,509・・・保存ボタン、312,510・・・終了ボタン、501・・・入力画像表示領域、505・・・選択ボタン、506・・・非選択ボタン、600,700・・・画像検査装置、610・・・カメラ、620・・・ステージ、710・・・X線源、720・・・カーボンステージ、730・・・X線イメージセンサ
DESCRIPTION OF
Claims (9)
前記複数枚の平均化対象画像を平均化することによって、シェーディング補正のためのリファレンス画像を作成する作成部と
を具備する、画像処理装置。 By selecting two or more of a plurality of images not including the target subject from a plurality of input images including one or more images including the target subject and a plurality of images not including the target subject, A selection unit for obtaining a plurality of images to be averaged;
An image processing apparatus comprising: a creation unit that creates a reference image for shading correction by averaging the plurality of images to be averaged.
前記選択部は、前記ユーザインタフェース部によって提示されるGUIを介したユーザ入力に従って、前記複数枚の入力画像から前記注目被写体を含まない複数枚の画像のうち2枚以上を選択する、
請求項1の画像処理装置。 A user interface unit for exchanging information with the user;
The selection unit selects two or more of a plurality of images not including the target subject from the plurality of input images according to a user input via a GUI presented by the user interface unit.
The image processing apparatus according to claim 1.
前記選択部は、前記複数枚の入力画像のうち前記開始画像から前記終了画像までに位置する連続した複数枚の画像を選択することによって、前記平均化対象画像を得る、
請求項2の画像処理装置。 The user input selects any one of the plurality of input images as a start image, and selects any one of the plurality of input images as an end image,
The selection unit obtains the averaging target image by selecting a plurality of continuous images positioned from the start image to the end image among the plurality of input images.
The image processing apparatus according to claim 2.
前記選択部は、前記ユーザインタフェース部によって提示されるGUIを介したユーザ入力によって指定された閾値を用いて前記パターンマッチングを実行することによって、前記複数枚の入力画像から前記注目被写体を含まない複数枚の画像のうち2枚以上を選択する、
請求項6の画像処理装置。 A user interface unit for exchanging information with the user;
The selection unit executes the pattern matching using a threshold value specified by a user input via a GUI presented by the user interface unit, thereby not including a plurality of target subjects from the plurality of input images. Select two or more of the images,
The image processing apparatus according to claim 6.
前記選択部は、前記最初の複数枚及び前記最後の複数枚のうち少なくとも一方を自動的に選択することによって、前記複数枚の平均化対象画像を得る、
請求項1の画像処理装置。 At least one of the first plurality and the last plurality of the input images is generated so as not to include the subject of interest,
The selection unit obtains the plurality of images to be averaged by automatically selecting at least one of the first plurality and the last plurality.
The image processing apparatus according to claim 1.
前記複数枚の平均化対象画像を平均化することによって、シェーディング補正のためのリファレンス画像を作成することと
を具備する、画像処理方法。 By selecting two or more of a plurality of images not including the target subject from a plurality of input images including one or more images including the target subject and a plurality of images not including the target subject, Obtaining multiple images to average,
An image processing method comprising: creating a reference image for shading correction by averaging the plurality of images to be averaged.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012214503A JP5982245B2 (en) | 2012-09-27 | 2012-09-27 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012214503A JP5982245B2 (en) | 2012-09-27 | 2012-09-27 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014072544A JP2014072544A (en) | 2014-04-21 |
JP5982245B2 true JP5982245B2 (en) | 2016-08-31 |
Family
ID=50747420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012214503A Active JP5982245B2 (en) | 2012-09-27 | 2012-09-27 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5982245B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05268474A (en) * | 1992-03-19 | 1993-10-15 | Seiko Instr Inc | Scanner |
JP2596316B2 (en) * | 1993-06-22 | 1997-04-02 | 日本電気株式会社 | Fixed pattern noise removal circuit for solid-state imaging camera |
JP2004247880A (en) * | 2003-02-12 | 2004-09-02 | Hitachi Kokusai Electric Inc | Shading correction method and apparatus therefor |
JP2011124948A (en) * | 2009-12-14 | 2011-06-23 | Sony Corp | Information processor, method of processing information, program and image pickup device with optical microscope mounted thereon |
-
2012
- 2012-09-27 JP JP2012214503A patent/JP5982245B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014072544A (en) | 2014-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6416582B2 (en) | Method and apparatus for metal artifact removal in medical images | |
JP6168879B2 (en) | Endoscope apparatus, operation method and program for endoscope apparatus | |
KR20130018330A (en) | Imaging apparatus, image processing method, and recording medium for recording program thereon | |
JP5911296B2 (en) | Image processing apparatus, imaging apparatus, microscope system, image processing method, and image processing program | |
JP6478136B1 (en) | Endoscope system and operation method of endoscope system | |
JP2013021490A (en) | Image processing apparatus and control method for image processing apparatus | |
JP2014207110A (en) | Observation apparatus and observation method | |
JP6422967B2 (en) | Image processing apparatus, imaging apparatus, microscope system, image processing method, and image processing program | |
JP5242248B2 (en) | Defect detection apparatus, defect detection method, defect detection program, and recording medium | |
JP6479178B2 (en) | Image processing apparatus, imaging apparatus, microscope system, image processing method, and image processing program | |
JP7075773B2 (en) | Image processing equipment, microscope system, image processing method and image processing program | |
US10481378B2 (en) | Interactive graphical representation of image quality and control thereof | |
US8611498B2 (en) | Image processing apparatus, image processing method, radiation imaging system, and computer-readable recording medium | |
JP5982245B2 (en) | Image processing apparatus and image processing method | |
JP6603709B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US11050931B2 (en) | Control device and control method | |
JP2013148856A (en) | Imaging device, display screen generation device, imaging system, and control method of the same | |
JP3937022B2 (en) | Image processing apparatus and imaging device | |
WO2018159288A1 (en) | Image processing apparatus, image forming method, and program | |
JP6584173B2 (en) | Image processing apparatus and image processing method | |
DE102013104710A1 (en) | Method for correcting gray scale image displayed on display unit, involves placing gray values of each currently captured image in functional context in order to calculate corrected gray-scale image by scaling reference image | |
JPWO2018030386A1 (en) | Positioning apparatus and positioning method | |
JP5849590B2 (en) | Image processing method and image processing apparatus | |
JP2009036580A (en) | Method, equipment and program for preparing image for checkup, and method and equipment for checking planar display panel | |
JP2010161563A (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5982245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |