JP2013118478A - Information processing apparatus and information processing method - Google Patents
Information processing apparatus and information processing method Download PDFInfo
- Publication number
- JP2013118478A JP2013118478A JP2011264554A JP2011264554A JP2013118478A JP 2013118478 A JP2013118478 A JP 2013118478A JP 2011264554 A JP2011264554 A JP 2011264554A JP 2011264554 A JP2011264554 A JP 2011264554A JP 2013118478 A JP2013118478 A JP 2013118478A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- pixel
- pixels
- information processing
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title abstract description 6
- 239000000284 extract Substances 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 47
- 238000003384 imaging method Methods 0.000 description 12
- 230000035945 sensitivity Effects 0.000 description 4
- 230000001771 impaired effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Abstract
Description
本発明は、情報処理装置及び情報処理方法に関する。 The present invention relates to an information processing apparatus and an information processing method.
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を備えた撮像装置として、撮像素子の感度を調整可能な撮像装置が知られている。この撮像装置は、夜間のような低照明環境下であっても、撮像素子の感度を上げて撮像を行うことで、被写体の色情報（輝度、色相、彩度等）が高精度で再現された撮像画像、即ち高感度画像を生成することができる。しかし、撮像素子の感度が高いため、撮像画像中のノイズが増加するという問題、いわゆるノイズ問題がある。このようなノイズとしては、振幅が大きく不規則に発生するインパルスノイズが特に問題となっていた。 2. Description of the Related Art An imaging device that can adjust the sensitivity of an imaging device is known as an imaging device that includes an imaging device such as a CCD (Charge Coupled Device). This imaging device reproduces the color information (luminance, hue, saturation, etc.) of the subject with high accuracy by increasing the sensitivity of the image sensor even in low-light environments such as at night. A captured image, that is, a high sensitivity image can be generated. However, since the sensitivity of the image sensor is high, there is a problem that noise in the captured image increases, that is, a so-called noise problem. As such noise, impulse noise having a large amplitude and generated irregularly has been a particular problem.
このノイズ問題を解決する１つの方法として、撮像画像にメディアンフィルタを掛ける方法が考えられる。このメディアンフィルタは、注目画素の画素値を、注目画素を含む注目領域内の画素値の中央値に置き換える。しかし、メディアンフィルタは、注目画素がインパルスノイズを含むノイズ画素であるか否かに関わらず、一律に注目画素の画素値を中央値に置き換えてしまうので、この方法では、撮像画像のディテールが損なわれてしまうという問題があった。したがって、この方法では、上記のノイズ問題を根本的に解決することができなかった。 One method for solving this noise problem is to apply a median filter to the captured image. This median filter replaces the pixel value of the target pixel with the median value of the pixel values in the target region including the target pixel. However, since the median filter uniformly replaces the pixel value of the target pixel with the median value regardless of whether the target pixel is a noise pixel including impulse noise, this method impairs the details of the captured image. There was a problem that would be. Therefore, this method cannot fundamentally solve the noise problem.
一方、ノイズ問題を解決する別の方法として、注目画素の画素値が注目画素を含む注目領域内で最も大きい（または最も小さい）場合には、注目画素の画素値を注目領域で２番目に大きい画素値（または２番目に小さい画素値）に置き換える方法も考えられる。しかし、この方法では、注目画素の画素値が注目領域で最も大きい場合、注目画素がノイズ画素であるか否かに関わらず、一律に注目画素の画素値を調整してしまうので、この方法でも、撮像画像のディテールが損なわれてしまうという問題があった。したがって、この方法でも、上記のノイズ問題を根本的に解決することができなかった。 On the other hand, as another method for solving the noise problem, when the pixel value of the target pixel is the largest (or smallest) in the target region including the target pixel, the pixel value of the target pixel is the second largest in the target region. A method of replacing the pixel value (or the second smallest pixel value) is also conceivable. However, in this method, when the pixel value of the target pixel is the largest in the target region, the pixel value of the target pixel is uniformly adjusted regardless of whether or not the target pixel is a noise pixel. There has been a problem that details of a captured image are lost. Therefore, even with this method, the above-described noise problem cannot be fundamentally solved.
一方、特許文献１には、上記のノイズ問題を解決することを目的とした技術を開示する。特許文献１に開示された技術は、注目領域に含まれる画素の画素値をソートし、注目画素のソート順位に基づいて、注目画素がノイズ画素であるか否かを判定する。 On the other hand, Patent Document 1 discloses a technique aimed at solving the above-described noise problem. The technique disclosed in Patent Literature 1 sorts pixel values of pixels included in a region of interest, and determines whether or not the pixel of interest is a noise pixel based on the sorting order of the pixel of interest.
しかし、特許文献１に開示された技術は、注目領域に線状画像（例えば電線画像等）が描かれている場合に、線状画像をインパルスノイズと誤判定してしまう可能性があった。この場合、特許文献１に開示された技術では、線状画像が撮像画像から消失してしまうので、特許文献１に開示された技術でも、撮像画像のディテールが損なわれる可能性があった。したがって、特許文献１に開示された技術でも、ノイズ問題を根本的に解決することができなかった。 However, the technique disclosed in Patent Document 1 may erroneously determine the linear image as impulse noise when a linear image (for example, an electric wire image) is drawn in the region of interest. In this case, with the technique disclosed in Patent Document 1, the linear image disappears from the captured image, and therefore the detail of the captured image may be impaired even with the technique disclosed in Patent Document 1. Therefore, even the technology disclosed in Patent Document 1 cannot fundamentally solve the noise problem.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像画像のディテールをより確実に維持しつつ、インパルスノイズを除去することが可能な、新規かつ改良された情報処理装置及び情報処理方法を提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is a novel and capable of removing impulse noise while maintaining the details of a captured image more reliably. An object is to provide an improved information processing apparatus and information processing method.
上記課題を解決するために、本発明のある観点によれば、撮像画像を取得する画像取得部と、撮像画像から、インパルスノイズを構成する画素であるノイズ画素を抽出するノイズ画素抽出部と、ノイズ画素の配列と所定パターンとが一致するか否かを判定するパターン判定部と、ノイズ画素の配列が所定パターンに一致しないと判定された場合に、ノイズ画素に対してノイズ除去処理を行うノイズ除去部と、を備えることを特徴とする、情報処理装置が提供される。 In order to solve the above problems, according to an aspect of the present invention, an image acquisition unit that acquires a captured image, a noise pixel extraction unit that extracts noise pixels that are pixels constituting impulse noise from the captured image, A pattern determination unit that determines whether or not the arrangement of noise pixels matches a predetermined pattern, and noise that performs noise removal processing on the noise pixels when it is determined that the arrangement of noise pixels does not match the predetermined pattern An information processing apparatus comprising: a removal unit.
この観点によれば、情報処理装置は、ノイズ画素の配列が所定パターンに一致しないと判定された場合に、ノイズ画素に対してノイズ除去処理を行うので、線状画像に対してノイズ除去処理が行われる可能性を低減することができる。 According to this aspect, since the information processing apparatus performs noise removal processing on the noise pixels when it is determined that the arrangement of the noise pixels does not match the predetermined pattern, the noise removal processing is performed on the linear image. The possibility of being done can be reduced.
ここで、ノイズ画素抽出部は、撮像画像からいずれかの画素を注目画素として抽出し、注目画素を含む注目領域からノイズ画素を抽出してもよい。 Here, the noise pixel extraction unit may extract any pixel from the captured image as a target pixel and extract a noise pixel from a target region including the target pixel.
この観点によれば、情報処理装置は、撮像画像を構成するいずれかの画素を注目画素とし、注目画素を含む注目領域からノイズ画素を抽出するので、ノイズ画素をより確実に抽出することができる。 According to this aspect, the information processing apparatus uses any pixel constituting the captured image as the target pixel and extracts the noise pixel from the target region including the target pixel, so that the noise pixel can be extracted more reliably. .
また、パターン判定部は、ノイズ画素の個数に基づいて、所定パターンを１または複数設定し、ノイズ画素の配列と１または複数の所定パターンの各々とを比較し、ノイズ除去部は、ノイズ画素の配列が１または複数の所定パターンの全てに一致しないと判定された場合に、ノイズ画素に対してノイズ除去処理を行ってもよい。 The pattern determination unit sets one or more predetermined patterns based on the number of noise pixels, compares the noise pixel array with each of the one or more predetermined patterns, and the noise removal unit When it is determined that the arrangement does not match all of the one or more predetermined patterns, noise removal processing may be performed on the noise pixels.
この観点によれば、情報処理装置は、ノイズ画素の個数に基づいて、所定パターンを１または複数設定し、ノイズ画素の配列と複数の所定パターンの各々とを比較する。そして、情報処理装置は、ノイズ画素の配列が１または複数の所定パターンの全てに一致しないと判定した場合に、ノイズ画素に対してノイズ除去処理を行う。したがって、情報処理装置は、線状画像に対してノイズ除去処理が行われる可能性をより確実に低減することができる。 According to this aspect, the information processing apparatus sets one or a plurality of predetermined patterns based on the number of noise pixels, and compares the arrangement of noise pixels with each of the plurality of predetermined patterns. When the information processing apparatus determines that the arrangement of noise pixels does not match all of one or more predetermined patterns, the information processing apparatus performs noise removal processing on the noise pixels. Therefore, the information processing apparatus can more reliably reduce the possibility that the noise removal process is performed on the linear image.
また、パターン判定部は、注目領域を直線的に横断する画素のパターンを所定パターンとして設定してもよい。 The pattern determination unit may set a pixel pattern that linearly crosses the region of interest as a predetermined pattern.
この観点によれば、情報処理装置は、注目領域を直線的に横断する画素のパターンを所定パターンとして設定するので、線状画像に対してノイズ除去処理が行われる可能性をより確実に低減することができる。 According to this aspect, the information processing apparatus sets a pixel pattern that linearly crosses the region of interest as a predetermined pattern, and thus more reliably reduces the possibility of noise removal processing being performed on a linear image. be able to.
また、パターン判定部は、ノイズ画素の数及び画素値の総和が所定パターンを構成する画素の数及び画素値の総和に一致する場合に、ノイズ画素の配列が所定パターンに一致すると判定してもよい。 In addition, the pattern determination unit may determine that the arrangement of the noise pixels matches the predetermined pattern when the number of noise pixels and the sum of the pixel values match the number of pixels constituting the predetermined pattern and the sum of the pixel values. Good.
この観点によれば、情報処理装置は、ノイズ画素の数及び画素値の総和が所定パターンを構成する画素の数及び画素値の総和に一致する場合に、ノイズ画素の配列が所定パターンに一致すると判定するので、線状画像に対してノイズ除去処理が行われる可能性をより確実に低減することができる。 According to this aspect, the information processing apparatus determines that the arrangement of the noise pixels matches the predetermined pattern when the number of noise pixels and the sum of the pixel values match the number of pixels constituting the predetermined pattern and the sum of the pixel values. Since the determination is performed, the possibility that the noise removal process is performed on the linear image can be more reliably reduced.
本発明の他の観点によれば、撮像画像を取得する画像取得ステップと、撮像画像から、インパルスノイズを構成する画素であるノイズ画素を抽出するノイズ画素抽出ステップと、ノイズ画素の配列と所定パターンとが一致するか否かを判定するパターン判定ステップと、ノイズ画素の配列が所定パターンに一致しないと判定された場合に、ノイズ画素に対してノイズ除去処理を行うノイズ除去ステップと、を含むことを特徴とする、情報処理方法が提供される。 According to another aspect of the present invention, an image acquisition step of acquiring a captured image, a noise pixel extraction step of extracting a noise pixel that is a pixel constituting impulse noise from the captured image, an array of noise pixels, and a predetermined pattern A pattern determination step for determining whether or not and a noise pixel arrangement does not match a predetermined pattern, and a noise removal step for performing a noise removal process on the noise pixel. An information processing method is provided.
この観点によれば、情報処理方法は、ノイズ画素の配列が所定パターンに一致しないと判定された場合に、ノイズ画素に対してノイズ除去処理を行うので、線状画像に対してノイズ除去処理が行われる可能性を低減することができる。 According to this aspect, since the information processing method performs noise removal processing on the noise pixels when it is determined that the arrangement of the noise pixels does not match the predetermined pattern, the noise removal processing is performed on the linear image. The possibility of being done can be reduced.
以上説明したように本発明によれば、撮像画像のディテールをより確実に維持しつつ、インパルスノイズを除去することができる。 As described above, according to the present invention, impulse noise can be removed while maintaining the details of a captured image more reliably.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜１．情報処理装置の構成＞
まず、図１を参照して、本発明の実施形態に係る情報処理装置の構成について説明する。情報処理装置１０は、画像取得部２０と、ノイズ画素抽出部３０と、パターン判定部４０と、ノイズ除去部５０とを備える。なお、情報処理装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、各種記憶媒体（例えばフラッシュメモリ）等のハードウェアを有しており、ＣＰＵがＲＯＭに記憶されたプログラムを読みだして実行することによって、上記各機能ブロックによる処理が実現される。即ち、ＲＯＭには、情報処理装置１０に、上記各機能ブロックを実現させるためのプログラムが記憶されている。情報処理装置１０は、撮像装置に内蔵されるものであっても、撮像装置と別の構成であってもよい。
Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
<1. Configuration of information processing apparatus>
First, the configuration of an information processing apparatus according to an embodiment of the present invention will be described with reference to FIG. The information processing apparatus 10 includes an image acquisition unit 20, a noise pixel extraction unit 30, a pattern determination unit 40, and a noise removal unit 50. The information processing apparatus 10 includes hardware such as a CPU, a ROM, a RAM, and various storage media (for example, a flash memory). The CPU reads and executes a program stored in the ROM, so that Processing by each functional block is realized. That is, the ROM stores a program for causing the information processing apparatus 10 to realize the above functional blocks. The information processing apparatus 10 may be built in the imaging apparatus or may be configured differently from the imaging apparatus.
画像取得部２０は、撮像画像を取得し、ノイズ画素抽出部３０及びノイズ除去部５０に出力する。撮像画像は、複数の画素で構成され、各画素は画素値（例えば、色相、彩度、輝度等）を有する。画像取得部２０は、情報処理装置１０が撮像装置に内蔵されたものである場合、撮像装置内の撮像素子や記憶媒体から撮像画像を取得してもよい。また、画像取得部２０は、情報処理装置１０が撮像装置と別の構成となる場合、情報処理装置１０に有線または無線で接続された撮像装置から撮像画像を取得してもよい。 The image acquisition unit 20 acquires a captured image and outputs it to the noise pixel extraction unit 30 and the noise removal unit 50. The captured image is composed of a plurality of pixels, and each pixel has a pixel value (for example, hue, saturation, luminance, etc.). When the information processing apparatus 10 is built in the imaging apparatus, the image acquisition unit 20 may acquire a captured image from an imaging element or a storage medium in the imaging apparatus. Further, when the information processing apparatus 10 has a different configuration from the imaging apparatus, the image acquisition unit 20 may acquire a captured image from an imaging apparatus connected to the information processing apparatus 10 by wire or wirelessly.
ノイズ画素抽出部３０は、撮像画像から注目画素Ｐｃと、注目画素Ｐｃの上下左右または斜め方向に隣接する参照画素Ｐｒ（Ｐｒ１〜Ｐｒ８）とを抽出する。例えば、ノイズ画素抽出部３０は、図２に示すように、複数の画素１００ａからなる撮像画像１００から注目画素Ｐｃと参照画素Ｐｒ（Ｐｒ１〜Ｐｒ８）とを抽出する。 The noise pixel extraction unit 30 extracts the target pixel Pc and the reference pixels Pr (Pr1 to Pr8) adjacent to the target pixel Pc in the vertical and horizontal directions or in an oblique direction from the captured image. For example, as illustrated in FIG. 2, the noise pixel extraction unit 30 extracts a target pixel Pc and reference pixels Pr (Pr1 to Pr8) from a captured image 100 including a plurality of pixels 100a.
なお、ノイズ画素抽出部３０は、撮像画像の画素がベイヤ配列で配列されている場合、注目画素Ｐｃと同色の画素を注目画素Ｐｒとして抽出する。例えば、図３（ａ）に示すように、撮像画像１００を構成する画素１００ａがベイヤ配列で配列され、かつ、注目画素Ｐｃが緑色画素となる場合、ノイズ画素抽出部３０は、注目画素Ｐｃの上下左右または斜め方向に近接する緑色画素を参照画素Ｐｒとして抽出する。なお、図３（ａ）〜（ｃ）の画素１００ａに付された「Ｒ」、「Ｇ」、「Ｂ」は、各画素１００ａの色を示す。具体的には、「Ｒ」は赤、「Ｇ」は緑、「Ｂ」は青を示す。 The noise pixel extraction unit 30 extracts a pixel having the same color as the target pixel Pc as the target pixel Pr when the pixels of the captured image are arranged in a Bayer array. For example, as illustrated in FIG. 3A, when the pixels 100a constituting the captured image 100 are arranged in a Bayer array and the target pixel Pc is a green pixel, the noise pixel extraction unit 30 Green pixels that are close in the vertical and horizontal directions or in an oblique direction are extracted as reference pixels Pr. Note that “R”, “G”, and “B” given to the pixel 100a in FIGS. 3A to 3C indicate the color of each pixel 100a. Specifically, “R” indicates red, “G” indicates green, and “B” indicates blue.
同様に、図３（ｂ）に示すように、注目画素Ｐｃが赤色画素となる場合、ノイズ画素抽出部３０は、注目画素Ｐｃの上下左右または斜め方向に近接する赤色画素を参照画素Ｐｒとして抽出する。同様に、図３（ｃ）に示すように、注目画素Ｐｃが青色画素となる場合、ノイズ画素抽出部３０は、注目画素Ｐｃの上下左右または斜め方向に近接する青色画素を参照画素Ｐｒとして抽出する。 Similarly, as illustrated in FIG. 3B, when the target pixel Pc is a red pixel, the noise pixel extraction unit 30 extracts a red pixel that is close to the target pixel Pc in the up / down / left / right or diagonal directions as the reference pixel Pr. To do. Similarly, as illustrated in FIG. 3C, when the target pixel Pc is a blue pixel, the noise pixel extraction unit 30 extracts a blue pixel that is close to the target pixel Pc in the up / down / left / right or diagonal directions as the reference pixel Pr. To do.
このように、ノイズ画素抽出部３０は、注目画素Ｐｃの上下左右または斜め方向に近接する画素を注目画素Ｐｒとして抽出するが、注目画素Ｐｒの抽出方法はこれに限られない。例えば、ノイズ画素抽出部３０は、注目画素Ｐｃの上下左右に近接する画素を注目画素Ｐｒとして抽出してもよい。 As described above, the noise pixel extraction unit 30 extracts, as the attention pixel Pr, pixels that are close to the attention pixel Pc in the up / down / left / right direction or the oblique direction, but the extraction method of the attention pixel Pr is not limited thereto. For example, the noise pixel extraction unit 30 may extract pixels that are close to the target pixel Pc in the vertical and horizontal directions as the target pixel Pr.
そして、ノイズ画素抽出部３０は、注目画素Ｐｃ及び注目画素Ｐｒからなる領域を注目領域ＡＲとして設定し、以下の処理を行うことで、注目領域ＡＲからノイズ画素を抽出する。即ち、ノイズ画素抽出部３０は、注目画素Ｐｒを画素値の大きさでソートし、注目画素Ｐｒにソート番号（ソート順序を示す番号）を付与する。 Then, the noise pixel extraction unit 30 sets a region composed of the target pixel Pc and the target pixel Pr as the target region AR, and extracts a noise pixel from the target region AR by performing the following processing. That is, the noise pixel extraction unit 30 sorts the target pixel Pr by the size of the pixel value, and assigns a sort number (number indicating the sort order) to the target pixel Pr.
例えば、参照画素Ｐｒ１〜Ｐｒ８が図４に示す画素値（画素値は画素の枠内に数字で示される）を有する場合、ノイズ画素抽出部３０は、参照画素Ｐｒ１〜Ｐｒ８を参照画素Ｐｒ３、Ｐｒ８、Ｐｒ７、Ｐｒ４、Ｐｒ６、Ｐｒ１、Ｐｒ２、Ｐｒ５の順にソートする。そして、ノイズ画素抽出部３０は、１〜８（Ｐｓ１〜Ｐｓ８）のソート番号Ｐｓを先頭の参照画素Ｐｒ３から順次付していく。 For example, when the reference pixels Pr1 to Pr8 have the pixel values shown in FIG. 4 (the pixel values are indicated by numbers in the pixel frame), the noise pixel extraction unit 30 converts the reference pixels Pr1 to Pr8 into the reference pixels Pr3 and Pr8. , Pr7, Pr4, Pr6, Pr1, Pr2, and Pr5. Then, the noise pixel extraction unit 30 sequentially assigns the sort numbers Ps of 1 to 8 (Ps1 to Ps8) from the top reference pixel Pr3.
そして、ノイズ画素抽出部３０は、参照方向を正方向とし、注目画素Ｐｃ及び正方向の（ｋ−１）個の注目画素Ｐｒがノイズ画素であるか否かを判定する（以下、この処理を「正方向判定処理」とも称する）。ここで、正方向の参照方向は、ソート番号が最小（＝１）となる注目画素Ｐｒを基準として、ソート番号が大きくなる方向を意味する。また、ｋは１以上Ｎ以下の整数である。Ｎは参照画素Ｐｒの個数であり、本実施形態では例えば８となる。したがって、ｋが２以上となる場合、正方向の（ｋ−１）個の注目画素Ｐｒは、ソート番号が１〜（ｋ−１）となる注目画素Ｐｒを意味する。なお、ｋ＝１となる場合、ノイズ画素抽出部３０は、注目画素Ｐｃがノイズ画素であるか否かを判定する。 Then, the noise pixel extraction unit 30 determines whether or not the reference direction is the positive direction and the target pixel Pc and the (k−1) target pixels Pr in the positive direction are noise pixels (hereinafter, this process is referred to as “process”). Also referred to as “forward direction determination process”). Here, the reference direction in the positive direction means a direction in which the sort number increases with reference to the pixel of interest Pr having the smallest sort number (= 1). K is an integer of 1 or more and N or less. N is the number of reference pixels Pr, and is 8 in this embodiment, for example. Therefore, when k is equal to or greater than 2, (k−1) target pixels Pr in the positive direction mean target pixels Pr having a sort number of 1 to (k−1). When k = 1, the noise pixel extraction unit 30 determines whether or not the target pixel Pc is a noise pixel.
具体的には、ノイズ画素抽出部３０は、ソート番号が小さい方から（ｋ−１）番目の参照画素Ｐｒの画素値Ｐｓ（ｋ−１）と注目画素Ｐｃの画素値ＰｃＮとのうち、小さい方の値を基準値Ｎｂに設定する。なお、ノイズ画素抽出部３０は、ｋ＝１となる場合には、Ｎｂ＝ＰｃＮとする。 Specifically, the noise pixel extraction unit 30 is smaller between the pixel value Ps (k−1) of the (k−1) th reference pixel Pr and the pixel value PcN of the target pixel Pc from the smaller sort number. This value is set as the reference value Nb. Note that the noise pixel extraction unit 30 sets Nb = PcN when k = 1.
そして、ノイズ画素抽出部３０は、基準値Ｎｂと、ソート番号が小さい方からｋ番目の注目画素Ｐｒの画素値Ｐｓｋと、以下の式（１）に基づいて、ノイズレベルを算出する。 Then, the noise pixel extraction unit 30 calculates the noise level based on the reference value Nb, the pixel value Psk of the kth pixel of interest Pr with the smallest sort number, and the following equation (1).
そして、ノイズ画素抽出部３０は、ノイズレベルが所定の閾値ＴＨ＿ＮＬ以上である場合には、注目画素Ｐｃ及び正方向の（ｋ−１）個の注目画素Ｐｒがノイズ画素であると判定する。一方、ノイズ画素抽出部３０は、ノイズレベルが所定の閾値ＴＨ＿ＮＬ未満である場合には、注目画素Ｐｃ及び正方向の（ｋ−１）個の注目画素Ｐｒのうち、いずれかまたは全部がノイズ画素でないと判定する。ノイズ画素抽出部３０は、全てのｋについて、正方向判定処理を行なう。 When the noise level is equal to or higher than the predetermined threshold TH_NL, the noise pixel extraction unit 30 determines that the target pixel Pc and (k−1) target pixels Pr in the positive direction are noise pixels. On the other hand, when the noise level is less than the predetermined threshold value TH_NL, the noise pixel extraction unit 30 is configured such that any or all of the target pixel Pc and the (k−1) target pixels Pr in the positive direction are noise pixels. It is determined that it is not. The noise pixel extraction unit 30 performs forward direction determination processing for all k.
図５に、正方向判定処理を模式的に示す。この例では、ソート番号を示すｘ軸と、画素値を示すｙ軸とでｘｙ平面が形成されており、このｘｙ平面に注目画素Ｐｃ及び注目画素Ｐｒが配置されている。また、注目画素Ｐｃ及び参照画素Ｐｒ１〜Ｐｒ８の枠内には、各画素の画素値が記載されている。なお、参照画素Ｐｒ１〜Ｐｒ８の画素値は図４の値と同様であり、ｋ＝３となっている。この例では、Ｎｂ＝ＰｃＮ＝１２０となるので、ＮＬ＝４０となる。したがって、ノイズ画素抽出部３０は、閾値ＴＨ＿ＮＬが４０未満であれば、注目画素Ｐｃ及び正方向の２個の注目画素Ｐｒ３、Ｐｒ８がノイズ画素であると判定する。 FIG. 5 schematically shows the positive direction determination process. In this example, an xy plane is formed by the x axis indicating the sort number and the y axis indicating the pixel value, and the target pixel Pc and the target pixel Pr are arranged on the xy plane. Further, the pixel value of each pixel is described in the frame of the target pixel Pc and the reference pixels Pr1 to Pr8. Note that the pixel values of the reference pixels Pr1 to Pr8 are the same as the values in FIG. 4, and k = 3. In this example, since Nb = PcN = 120, NL = 40. Therefore, if the threshold TH_NL is less than 40, the noise pixel extraction unit 30 determines that the target pixel Pc and the two target pixels Pr3 and Pr8 in the positive direction are noise pixels.
一方、ノイズ画素抽出部３０は、参照方向を負方向とし、注目画素Ｐｃ及び負方向の（ｋ−１）個の注目画素Ｐｒがノイズ画素であるか否かを判定する（以下、この処理を「負方向判定処理」とも称する）。ここで、負方向の参照方向は、ソート番号が最大（例えば８）となる注目画素Ｐｒを基準として、ソート番号が小さくなる方向を意味する。したがって、ｋが２以上となる場合、負方向の（ｋ−１）個の注目画素Ｐｒは、ソート番号がＮ〜（Ｎ−ｋ＋２）となる注目画素Ｐｒを意味する。なお、ｋ＝１となる場合、ノイズ画素抽出部３０は、注目画素Ｐｃがノイズ画素であるか否かを判定する。 On the other hand, the noise pixel extraction unit 30 sets the reference direction as a negative direction, and determines whether or not the target pixel Pc and (k−1) target pixels Pr in the negative direction are noise pixels (hereinafter, this processing is performed). Also referred to as “negative direction determination processing”). Here, the negative reference direction means a direction in which the sort number decreases with reference to the pixel of interest Pr having the largest sort number (for example, 8). Therefore, when k is 2 or more, the negative direction (k−1) target pixels Pr mean the target pixels Pr whose sort numbers are N to (N−k + 2). When k = 1, the noise pixel extraction unit 30 determines whether or not the target pixel Pc is a noise pixel.
具体的には、ノイズ画素抽出部３０は、ソート番号が大きい方から（Ｎ−ｋ＋２）番目の参照画素Ｐｒの画素値Ｐｓ（Ｎ−ｋ＋２）と注目画素Ｐｃの画素値ＰｃＮとのうち、大きい方の値を基準値Ｎｂに設定する。なお、ノイズ画素抽出部３０は、ｋ＝１となる場合には、Ｎｂ＝ＰｃＮとする。 Specifically, the noise pixel extraction unit 30 has a larger one of the pixel value Ps (N−k + 2) of the (N−k + 2) th reference pixel Pr and the pixel value PcN of the target pixel Pc in descending order of the sort number. This value is set as the reference value Nb. Note that the noise pixel extraction unit 30 sets Nb = PcN when k = 1.
そして、ノイズ画素抽出部３０は、基準値Ｎｂと、ソート番号が大きい方から（Ｎ−ｋ＋１）番目の参照画素Ｐｒの画素値Ｐｓ（Ｎ−ｋ＋１）と、以下の式（２）に基づいて、ノイズレベルを算出する。 Then, the noise pixel extraction unit 30 is based on the reference value Nb, the pixel value Ps (N−k + 1) of the (N−k + 1) th reference pixel Pr from the larger sort number, and the following equation (2). Calculate the noise level.
そして、ノイズ画素抽出部３０は、ノイズレベルが所定の閾値ＴＨ＿ＮＬ以上である場合には、注目画素Ｐｃ及び負方向の（ｋ−１）個の注目画素Ｐｒがノイズ画素であると判定する。一方、ノイズ画素抽出部３０は、ノイズレベルが所定の閾値ＴＨ＿ＮＬ未満である場合には、注目画素Ｐｃ及び負方向の（ｋ−１）個の注目画素Ｐｒのうち、いずれかまたは全部がノイズ画素でないと判定する。ノイズ画素抽出部３０は、全てのｋについて、負方向判定処理を行なう。閾値ＴＨ＿ＮＬの値は、参照方向及びｋの値によらず一定であっても良く、参照方向やｋの値に応じて設定されてもよい。 Then, when the noise level is equal to or higher than the predetermined threshold value TH_NL, the noise pixel extraction unit 30 determines that the target pixel Pc and the (k−1) target pixels Pr in the negative direction are noise pixels. On the other hand, when the noise level is less than the predetermined threshold TH_NL, the noise pixel extraction unit 30 is configured such that any one or all of the target pixel Pc and the (k−1) target pixels Pr in the negative direction are noise pixels. It is determined that it is not. The noise pixel extraction unit 30 performs negative direction determination processing for all k. The value of the threshold TH_NL may be constant regardless of the reference direction and the value of k, and may be set according to the reference direction and the value of k.
ノイズ画素抽出部３０は、正方向判定処理及び負方向判定処理を行なうことで、注目領域ＡＲからノイズ画素を抽出する。そして、ノイズ画素抽出部３０は、注目画素Ｐｃの座標、正方向判定処理の結果、及び負方向判定処理の結果が関連付けられたノイズ判定結果情報を生成し、パターン判定部４０に出力する。 The noise pixel extraction unit 30 extracts noise pixels from the attention area AR by performing a positive direction determination process and a negative direction determination process. Then, the noise pixel extraction unit 30 generates noise determination result information in which the coordinates of the target pixel Pc, the result of the positive direction determination process, and the result of the negative direction determination process are associated, and outputs the noise determination result information to the pattern determination unit 40.
パターン判定部４０は、まず、ノイズ判定結果情報に基づいて、注目領域ＡＲを構成する画素のうち、どの画素がノイズ画素を構成するのかを判定する。そして、パターン判定部４０は、ノイズ画素の数に基づいて、所定パターンを１または複数設定する。ここで、所定パターンは、注目画素Ｐｃを通り、かつ、注目領域ＡＲを直線的に横断するパターンである。また、所定パターンを構成する画素の数は、ノイズ画素の数に一致する。 First, the pattern determination unit 40 determines which pixel constitutes the noise pixel among the pixels constituting the attention area AR based on the noise judgment result information. The pattern determination unit 40 sets one or more predetermined patterns based on the number of noise pixels. Here, the predetermined pattern is a pattern that passes through the target pixel Pc and linearly crosses the target area AR. In addition, the number of pixels constituting the predetermined pattern matches the number of noise pixels.
図６（ａ）〜（ｄ）に、ノイズ画素が３つである場合の所定パターンＰｎＡ〜ＰｎＤを示す。所定パターンＰｎＡは、注目画素Ｐｃを通り、注目領域ＡＲを上下に横断するパターンである。即ち、所定パターンＰｎＡは、注目画素Ｐｃ及び参照画素Ｐｒ１、Ｐｒ５で構成される。 6A to 6D show predetermined patterns PnA to PnD when there are three noise pixels. The predetermined pattern PnA is a pattern that passes through the target pixel Pc and crosses the target area AR up and down. That is, the predetermined pattern PnA includes the target pixel Pc and the reference pixels Pr1 and Pr5.
一方、所定パターンＰｎＢは、注目画素Ｐｃを通り、注目領域ＡＲを左右に横断するパターンである。即ち、所定パターンＰｎＡは、注目画素Ｐｃ及び参照画素Ｐｒ３、Ｐｒ７で構成される。 On the other hand, the predetermined pattern PnB is a pattern that passes through the target pixel Pc and crosses the target area AR left and right. That is, the predetermined pattern PnA includes the target pixel Pc and the reference pixels Pr3 and Pr7.
所定パターンＰｎＣは、注目画素Ｐｃを通り、注目領域ＡＲを左上から右下に横断するパターンである。即ち、所定パターンＰｎＣは、注目画素Ｐｃ及び参照画素Ｐｒ４、Ｐｒ８で構成される。 The predetermined pattern PnC is a pattern that passes through the target pixel Pc and crosses the target area AR from the upper left to the lower right. That is, the predetermined pattern PnC includes the target pixel Pc and the reference pixels Pr4 and Pr8.
所定パターンＰｎＤは、注目画素Ｐｃを通り、注目領域ＡＲを右上から左下に横断するパターンである。即ち、所定パターンＰｎＤは、注目画素Ｐｃ及び参照画素Ｐｒ２、Ｐｒ６で構成される。 The predetermined pattern PnD is a pattern that passes through the target pixel Pc and crosses the target area AR from the upper right to the lower left. That is, the predetermined pattern PnD includes the target pixel Pc and the reference pixels Pr2 and Pr6.
パターン判定部４０は、ノイズ画素の配列と１または複数の所定パターンの各々とを比較する。具体的には、パターン判定部４０は、ノイズ画素の画素値を合計することで、ノイズ画素積算値を算出する。一方、パターン判定部４０は、所定パターンを構成する画素の画素値を合計することで、パターン画素積算値を算出する。そして、パターン判定部４０は、ノイズ画素積算値とパターン画素積算値とが一致する場合には、ノイズ画素の配列と所定パターンとが一致すると判定し、ノイズ画素積算値とパターン画素積算値とが異なる場合には、ノイズ画素の配列が所定パターンに一致しないと判定する。例えば、パターン判定部４０は、ノイズ画素の配列と所定パターンＰｎＡとを比較する場合、注目画素Ｐｃ、参照画素Ｐｒ１、Ｐｒ５の画素値を合計することで、パターン画素積算値を算出し、このパターン画素積算値とノイズ画素積算値とを比較する。 The pattern determination unit 40 compares the array of noise pixels with each of one or more predetermined patterns. Specifically, the pattern determination unit 40 calculates the noise pixel integrated value by summing the pixel values of the noise pixels. On the other hand, the pattern determination unit 40 calculates the pattern pixel integrated value by summing the pixel values of the pixels constituting the predetermined pattern. Then, when the noise pixel integrated value and the pattern pixel integrated value match, the pattern determination unit 40 determines that the noise pixel array and the predetermined pattern match, and the noise pixel integrated value and the pattern pixel integrated value are If they are different, it is determined that the arrangement of the noise pixels does not match the predetermined pattern. For example, when comparing the noise pixel array with the predetermined pattern PnA, the pattern determination unit 40 calculates the pattern pixel integrated value by summing the pixel values of the target pixel Pc and the reference pixels Pr1 and Pr5. The pixel integrated value is compared with the noise pixel integrated value.
このように、パターン判定部４０は、ノイズ画素の数及び画素値の総和が所定パターンを構成する画素の数及び画素値の総和に一致する場合に、ノイズ画素の配列が所定パターンに一致すると判定する。 As described above, the pattern determination unit 40 determines that the arrangement of noise pixels matches the predetermined pattern when the number of noise pixels and the sum of the pixel values match the number of pixels constituting the predetermined pattern and the sum of the pixel values. To do.
パターン判定部４０は、ノイズ画素の配列が１または複数の所定パターンの全てに一致しないと判定した場合には、注目画素Ｐｃをノイズ除去処理の対象と判定する。そして、パターン判定部４０は、注目画素Ｐｃの座標を示す注目画素情報と、ノイズ除去処理を要求する旨のノイズ除去要求情報とを関連付けてノイズ除去部５０に出力する。一方、パターン判定部４０は、ノイズ画素の配列がいずれかの所定パターンに一致した場合、注目画素Ｐｃの座標を示す注目画素情報と、ノイズ除去処理を要求しない旨のノイズ除去不要情報とを関連付けてノイズ除去部５０に出力する。 When the pattern determination unit 40 determines that the arrangement of noise pixels does not match all of one or more predetermined patterns, the pattern determination unit 40 determines the target pixel Pc as a target for noise removal processing. Then, the pattern determination unit 40 associates the target pixel information indicating the coordinates of the target pixel Pc with the noise removal request information for requesting the noise removal process, and outputs the associated information to the noise removal unit 50. On the other hand, when the arrangement of the noise pixels matches any predetermined pattern, the pattern determination unit 40 associates the target pixel information indicating the coordinates of the target pixel Pc with the noise removal unnecessary information indicating that no noise removal processing is required. Output to the noise removing unit 50.
ノイズ画素の配列が所定パターンに一致する場合、ノイズ画素は線状画像を構成する可能性がある。したがって、この場合にノイズ画素に対してノイズ除去処理が行われると、線状画像が欠ける可能性、即ち撮像画像のディテールが損なわれる可能性がある。そこで、パターン判定部４０は、ノイズ画素の配列が１または複数の所定パターンの全てに一致しないと判定した場合に、注目画素Ｐｃをノイズ除去処理の対象と判定する。 When the arrangement of noise pixels matches a predetermined pattern, the noise pixels may form a linear image. Therefore, if noise removal processing is performed on the noise pixels in this case, the linear image may be lost, that is, the detail of the captured image may be impaired. Therefore, if the pattern determination unit 40 determines that the arrangement of noise pixels does not match all of one or more predetermined patterns, the pattern determination unit 40 determines the target pixel Pc as a target for noise removal processing.
ノイズ除去部５０は、撮像画像を構成する注目画素Ｐｃのうち、ノイズ除去要求情報が関連付けられた注目画素Ｐｃ、即ちノイズ画素に対してノイズ除去処理を行なう。具体的には、注目画素Ｐｃの画素値を、注目領域ＡＲ内の通常画素（ノイズ画素以外の画素）が有する画素値のうち、注目画素Ｐｃの画素値に最も近い値（以下、「最近接値」とも称する）に置き換える。 The noise removal unit 50 performs noise removal processing on the target pixel Pc associated with the noise removal request information, that is, the noise pixel among the target pixels Pc constituting the captured image. Specifically, the pixel value of the target pixel Pc is the value closest to the pixel value of the target pixel Pc among the pixel values of the normal pixels (pixels other than the noise pixel) in the target area AR (hereinafter referred to as “nearest neighbor”). (Also referred to as “value”).
図７にノイズ除去処理の例を示す。この例では、図５に示す注目画素Ｐｃと参照画素Ｐｒ３、Ｐｒ８がノイズ画素となっており、かつ、注目画素Ｐｃがノイズ除去処理の対象となっている。また、通常画素のうち、参照画素Ｐｒ７の画素値が注目画素Ｐｃの画素値に最も近い。そこで、この例では、ノイズ除去部５０は、注目画素Ｐｃの画素値を参照画素Ｐｒ７の画素値８０に置き換える。これにより、ノイズ除去部５０は、注目画素Ｐｃからインパルスノイズを除去する。なお、ノイズ除去部５０は、注目画素Ｐｃの画素値を、最近接値から所定の範囲内の値にクリップしてもよい。これにより、ノイズ除去部５０は、強度調整を伴うノイズ除去処理が可能となる。 FIG. 7 shows an example of noise removal processing. In this example, the target pixel Pc and the reference pixels Pr3 and Pr8 shown in FIG. 5 are noise pixels, and the target pixel Pc is a target of noise removal processing. Further, among the normal pixels, the pixel value of the reference pixel Pr7 is closest to the pixel value of the target pixel Pc. Therefore, in this example, the noise removing unit 50 replaces the pixel value of the target pixel Pc with the pixel value 80 of the reference pixel Pr7. Thereby, the noise removing unit 50 removes impulse noise from the target pixel Pc. Note that the noise removing unit 50 may clip the pixel value of the target pixel Pc from the closest value to a value within a predetermined range. Thereby, the noise removal part 50 becomes possible [the noise removal process accompanied by intensity adjustment].
図８に、従来のノイズ除去処理と本実施形態のノイズ除去処理とを実際の撮像画像２００に適用した例を示す。図８（ａ）は、撮像画像２００に従来のノイズ除去処理、即ち特許文献１に開示されたノイズ除去処理を適用した例を示す。この例では、線状画像２１０の一部１１０が欠けてしまっている。上述したように、特許文献１に開示された技術は、線状画像をインパルスノイズと誤判定してしまう可能性があるからである。 FIG. 8 shows an example in which the conventional noise removal processing and the noise removal processing of this embodiment are applied to an actual captured image 200. FIG. 8A shows an example in which the conventional noise removal process, that is, the noise removal process disclosed in Patent Document 1 is applied to the captured image 200. In this example, a part 110 of the linear image 210 is missing. This is because, as described above, the technique disclosed in Patent Document 1 may erroneously determine a linear image as impulse noise.
一方、図８（ｂ）は、撮像画像２００に本実施形態のノイズ除去処理を適用した例を示す。この例では、線状画像２１０は鮮明に描かれている。上述したように、本実施形態では、ノイズ画素の配列が所定パターンに一致しない場合に、ノイズ画素に対してノイズ除去処理を行うからである。 On the other hand, FIG. 8B shows an example in which the noise removal processing of the present embodiment is applied to the captured image 200. In this example, the linear image 210 is drawn clearly. As described above, in this embodiment, when the arrangement of noise pixels does not match the predetermined pattern, noise removal processing is performed on the noise pixels.
＜２．情報処理装置による処理の手順＞
次に、情報処理装置１０による処理の手順を、図９に示すフローチャートに沿って説明する。ステップＳ１０において、画像取得部２０は、撮像画像を取得し、ノイズ画素抽出部３０及びノイズ除去部５０に出力する。
<2. Processing procedure by information processing apparatus>
Next, a processing procedure by the information processing apparatus 10 will be described with reference to a flowchart shown in FIG. In step S <b> 10, the image acquisition unit 20 acquires a captured image and outputs it to the noise pixel extraction unit 30 and the noise removal unit 50.
ステップＳ２０において、ノイズ画素抽出部３０は、撮像画像から注目画素Ｐｃと、注目画素Ｐｃの上下左右または斜め方向に隣接する参照画素Ｐｒ（Ｐｒ１〜Ｐｒ８）とを抽出する。 In step S <b> 20, the noise pixel extraction unit 30 extracts the target pixel Pc and the reference pixels Pr (Pr <b> 1 to Pr <b> 8) adjacent to the target pixel Pc in the vertical and horizontal directions or in an oblique direction from the captured image.
ステップＳ３０において、ノイズ画素抽出部３０は、注目画素Ｐｃ及び注目画素Ｐｒからなる領域を注目領域ＡＲとして設定する。次いで、ノイズ画素抽出部３０は、注目画素Ｐｒを画素値の大きさでソートし、注目画素Ｐｒにソート番号を付与する。 In step S <b> 30, the noise pixel extraction unit 30 sets a region including the target pixel Pc and the target pixel Pr as the target region AR. Next, the noise pixel extraction unit 30 sorts the target pixel Pr by the size of the pixel value, and assigns a sort number to the target pixel Pr.
ステップＳ４０において、ノイズ画素抽出部３０は、すべてのｋについて正方向判定処理及び負方向判定処理を行うことで、注目領域ＡＲからノイズ画素を抽出する。次いで、ノイズ画素抽出部３０は、注目画素Ｐｃの座標、正方向判定処理の結果、及び負方向判定処理の結果が関連付けられたノイズ判定結果情報を生成し、パターン判定部４０に出力する。 In step S40, the noise pixel extraction unit 30 extracts noise pixels from the attention area AR by performing the positive direction determination process and the negative direction determination process for all k. Next, the noise pixel extraction unit 30 generates noise determination result information in which the coordinates of the target pixel Pc, the result of the positive direction determination process, and the result of the negative direction determination process are associated, and outputs the noise determination result information to the pattern determination unit 40.
ステップＳ５０において、パターン判定部４０は、まず、ノイズ判定結果情報に基づいて、注目領域ＡＲを構成する画素のうち、どの画素がノイズ画素を構成するのかを判定する。次いで、パターン判定部４０は、ノイズ画素の数に基づいて、所定パターンを１または複数設定する。 In step S50, the pattern determination unit 40 first determines which pixel constitutes the noise pixel among the pixels constituting the attention area AR based on the noise determination result information. Next, the pattern determination unit 40 sets one or a plurality of predetermined patterns based on the number of noise pixels.
次いで、パターン判定部４０は、ノイズ画素の配列と１または複数の所定パターンの各々とを比較する。具体的には、パターン判定部４０は、ノイズ画素の画素値を合計することで、ノイズ画素積算値を算出する。一方、パターン判定部４０は、所定パターンを構成する画素の画素値を合計することで、パターン画素積算値を算出する。次いで、パターン判定部４０は、ノイズ画素積算値とパターン画素積算値とが一致する場合には、ノイズ画素の配列と所定パターンとが一致すると判定し、ノイズ画素積算値とパターン画素積算値とが異なる場合には、ノイズ画素の配列が所定パターンに一致しないと判定する。 Next, the pattern determination unit 40 compares the array of noise pixels with each of one or more predetermined patterns. Specifically, the pattern determination unit 40 calculates the noise pixel integrated value by summing the pixel values of the noise pixels. On the other hand, the pattern determination unit 40 calculates the pattern pixel integrated value by summing the pixel values of the pixels constituting the predetermined pattern. Next, when the noise pixel integrated value and the pattern pixel integrated value match, the pattern determination unit 40 determines that the noise pixel array matches the predetermined pattern, and the noise pixel integrated value and the pattern pixel integrated value are determined. If they are different, it is determined that the arrangement of the noise pixels does not match the predetermined pattern.
パターン判定部４０は、ノイズ画素の配列が１または複数の所定パターンの全てに一致しないと判定した場合には、注目画素Ｐｃをノイズ除去処理の対象と判定する。そして、パターン判定部４０は、注目画素の座標を示す注目画素情報と、ノイズ除去処理を要求する旨のノイズ除去要求情報とを関連付けてノイズ除去部５０に出力する。一方、パターン判定部４０は、ノイズ画素の配列がいずれかの所定パターンに一致した場合、注目画素の座標を示す注目画素情報と、ノイズ除去処理を要求しない旨のノイズ除去不要情報とを関連付けてノイズ除去部５０に出力する。 When the pattern determination unit 40 determines that the arrangement of noise pixels does not match all of one or more predetermined patterns, the pattern determination unit 40 determines the target pixel Pc as a target for noise removal processing. Then, the pattern determination unit 40 associates the target pixel information indicating the coordinates of the target pixel with the noise removal request information indicating that the noise removal process is requested, and outputs the correlated information to the noise removal unit 50. On the other hand, when the arrangement of the noise pixels matches any predetermined pattern, the pattern determination unit 40 associates the target pixel information indicating the coordinates of the target pixel and the noise removal unnecessary information indicating that the noise removal process is not required. The noise is output to the noise removing unit 50.
ステップＳ６０において、ノイズ除去部５０は、撮像画像を構成する注目画素Ｐｃのうち、ノイズ除去要求情報が関連付けられた注目画素Ｐｃ、即ちノイズ画素に対してノイズ除去処理を行なう。具体的には、注目画素Ｐｃの画素値を、注目領域ＡＲ内の通常画素が有する画素値のうち、最近接値に置き換える。その後、情報処理装置１０は、処理を終了する。 In step S60, the noise removal unit 50 performs noise removal processing on the target pixel Pc associated with the noise removal request information, that is, the noise pixel among the target pixels Pc constituting the captured image. Specifically, the pixel value of the target pixel Pc is replaced with the closest value among the pixel values of the normal pixels in the target area AR. Thereafter, the information processing apparatus 10 ends the process.
以上により、本実施形態では、情報処理装置１０は、ノイズ画素の配列が所定パターンに一致しないと判定された場合に、ノイズ画素に対してノイズ除去処理を行うので、線状画像に対してノイズ除去処理が行われる可能性を低減することができる。したがって、情報処理装置１０は、撮像画像のディテールをより確実に維持しつつ、インパルスノイズを除去することができる。 As described above, in the present embodiment, the information processing apparatus 10 performs the noise removal process on the noise pixels when it is determined that the arrangement of the noise pixels does not match the predetermined pattern. The possibility that the removal process is performed can be reduced. Therefore, the information processing apparatus 10 can remove impulse noise while maintaining the details of the captured image more reliably.
さらに、情報処理装置１０は、撮像画像を構成するいずれかの画素を注目画素Ｐｃとし、注目画素Ｐｃを含む注目領域ＡＲからノイズ画素を抽出するので、ノイズ画素をより確実に抽出することができる。 Furthermore, since the information processing apparatus 10 uses any pixel constituting the captured image as the target pixel Pc and extracts the noise pixel from the target area AR including the target pixel Pc, the noise pixel can be extracted more reliably. .
さらに、情報処理装置１０は、ノイズ画素の個数に基づいて、所定パターンを１または複数設定し、ノイズ画素の配列と複数の所定パターンの各々とを比較する。そして、情報処理装置１０は、ノイズ画素の配列が１または複数の所定パターンの全てに一致しないと判定した場合に、ノイズ画素に対してノイズ除去処理を行う。したがって、情報処理装置１０は、線状画像に対してノイズ除去処理が行われる可能性をより確実に低減することができる。 Further, the information processing apparatus 10 sets one or a plurality of predetermined patterns based on the number of noise pixels, and compares the noise pixel array with each of the plurality of predetermined patterns. When the information processing apparatus 10 determines that the arrangement of noise pixels does not match all of one or more predetermined patterns, the information processing apparatus 10 performs noise removal processing on the noise pixels. Therefore, the information processing apparatus 10 can more reliably reduce the possibility that the noise removal process is performed on the linear image.
さらに、情報処理装置１０は、注目領域ＡＲを直線的に横断する画素のパターンを所定パターンとして設定するので、線状画像に対してノイズ除去処理が行われる可能性をより確実に低減することができる。 Furthermore, since the information processing apparatus 10 sets a pattern of pixels that linearly cross the attention area AR as a predetermined pattern, it is possible to more reliably reduce the possibility that noise removal processing is performed on the linear image. it can.
さらに、情報処理装置１０は、ノイズ画素の数及び画素値の総和が所定パターンを構成する画素の数及び画素値の総和に一致する場合に、ノイズ画素の配列が所定パターンに一致すると判定するので、線状画像に対してノイズ除去処理が行われる可能性をより確実に低減することができる。 Furthermore, the information processing apparatus 10 determines that the arrangement of noise pixels matches the predetermined pattern when the number of noise pixels and the sum of the pixel values match the number of pixels constituting the predetermined pattern and the sum of the pixel values. The possibility that the noise removal process is performed on the linear image can be more reliably reduced.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
１０ 情報処理装置
２０ 画像取得部
３０ ノイズ画素抽出部
４０ パターン判定部
５０ ノイズ除去部
DESCRIPTION OF SYMBOLS 10 Information processing apparatus 20 Image acquisition part 30 Noise pixel extraction part 40 Pattern determination part 50 Noise removal part
Claims (6)
前記撮像画像から、インパルスノイズを構成する画素であるノイズ画素を抽出するノイズ画素抽出部と、
前記ノイズ画素の配列と所定パターンとが一致するか否かを判定するパターン判定部と、
前記ノイズ画素の配列が前記所定パターンに一致しないと判定された場合に、前記ノイズ画素に対してノイズ除去処理を行うノイズ除去部と、を備えることを特徴とする、情報処理装置。 An image acquisition unit for acquiring a captured image;
A noise pixel extraction unit that extracts a noise pixel that is a pixel constituting impulse noise from the captured image;
A pattern determination unit that determines whether or not the noise pixel array matches a predetermined pattern;
An information processing apparatus comprising: a noise removal unit that performs noise removal processing on the noise pixels when it is determined that the arrangement of the noise pixels does not match the predetermined pattern.
前記ノイズ除去部は、前記ノイズ画素の配列が１または複数の所定パターンの全てに一致しないと判定された場合に、前記ノイズ画素に対してノイズ除去処理を行うことを特徴とする、請求項２記載の情報処理装置。 The pattern determination unit sets one or more predetermined patterns based on the number of the noise pixels, compares the noise pixel array with each of the one or more predetermined patterns,
The noise removal unit performs noise removal processing on the noise pixels when it is determined that the arrangement of the noise pixels does not match all of one or a plurality of predetermined patterns. The information processing apparatus described.
前記撮像画像から、インパルスノイズを構成する画素であるノイズ画素を抽出するノイズ画素抽出ステップと、
前記ノイズ画素の配列と所定パターンとが一致するか否かを判定するパターン判定ステップと、
前記ノイズ画素の配列が前記所定パターンに一致しないと判定された場合に、前記ノイズ画素に対してノイズ除去処理を行うノイズ除去ステップと、を含むことを特徴とする、情報処理方法。
An image acquisition step of acquiring a captured image;
A noise pixel extraction step for extracting a noise pixel that is a pixel constituting impulse noise from the captured image;
A pattern determination step for determining whether or not the arrangement of the noise pixels matches a predetermined pattern;
And a noise removal step of performing a noise removal process on the noise pixels when it is determined that the arrangement of the noise pixels does not match the predetermined pattern.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011264554A JP5926043B2 (en) | 2011-12-02 | 2011-12-02 | Information processing apparatus and information processing method |
| KR1020120113479A KR20130062225A (en) | 2011-12-02 | 2012-10-12 | Apparatus and method for processing information |
| US13/687,564 US20130142441A1 (en) | 2011-12-02 | 2012-11-28 | Information processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011264554A JP5926043B2 (en) | 2011-12-02 | 2011-12-02 | Information processing apparatus and information processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013118478A true JP2013118478A (en) | 2013-06-13 |
| JP5926043B2 JP5926043B2 (en) | 2016-05-25 |
Family
ID=48712759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011264554A Expired - Fee Related JP5926043B2 (en) | 2011-12-02 | 2011-12-02 | Information processing apparatus and information processing method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5926043B2 (en) |
| KR (1) | KR20130062225A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7409035B2 (en) | 2019-11-19 | 2024-01-09 | 富士電機株式会社 | Semiconductor device, semiconductor manufacturing equipment, and semiconductor device manufacturing method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01265370A (en) * | 1987-12-04 | 1989-10-23 | Polaroid Corp | Intensifying of image data |
| JPH08163408A (en) * | 1994-12-02 | 1996-06-21 | Sony Corp | Noise detection circuit, noise elimination circuit and control emphasis circuit |
| JPH11275579A (en) * | 1998-03-23 | 1999-10-08 | Mitsubishi Electric Corp | Image coding method, image decoding method, image coder and image decoder |
| JP2007012043A (en) * | 2005-06-28 | 2007-01-18 | Lg Philips Lcd Co Ltd | Median filtering method and device |
| US20070296871A1 (en) * | 2006-06-22 | 2007-12-27 | Samsung Electronics Co., Ltd. | Noise reduction method, medium, and system |
| JP2009182735A (en) * | 2008-01-30 | 2009-08-13 | Kyocera Corp | Noise eliminating method, image processor, and information code reader |
-
2011
- 2011-12-02 JP JP2011264554A patent/JP5926043B2/en not_active Expired - Fee Related
-
2012
- 2012-10-12 KR KR1020120113479A patent/KR20130062225A/en not_active Application Discontinuation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01265370A (en) * | 1987-12-04 | 1989-10-23 | Polaroid Corp | Intensifying of image data |
| JPH08163408A (en) * | 1994-12-02 | 1996-06-21 | Sony Corp | Noise detection circuit, noise elimination circuit and control emphasis circuit |
| JPH11275579A (en) * | 1998-03-23 | 1999-10-08 | Mitsubishi Electric Corp | Image coding method, image decoding method, image coder and image decoder |
| JP2007012043A (en) * | 2005-06-28 | 2007-01-18 | Lg Philips Lcd Co Ltd | Median filtering method and device |
| US20070296871A1 (en) * | 2006-06-22 | 2007-12-27 | Samsung Electronics Co., Ltd. | Noise reduction method, medium, and system |
| JP2009182735A (en) * | 2008-01-30 | 2009-08-13 | Kyocera Corp | Noise eliminating method, image processor, and information code reader |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7409035B2 (en) | 2019-11-19 | 2024-01-09 | 富士電機株式会社 | Semiconductor device, semiconductor manufacturing equipment, and semiconductor device manufacturing method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130062225A (en) | 2013-06-12 |
| JP5926043B2 (en) | 2016-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103824258B (en) | Image processing apparatus and image processing method | |
| KR101223046B1 (en) | Image segmentation device and method based on sequential frame imagery of a static scene | |
| KR101114586B1 (en) | Apparatus and method for removing of defect pixel | |
| US8737762B2 (en) | Method for enhancing image edge | |
| KR101549495B1 (en) | An apparatus for extracting characters and the method thereof | |
| Al-Ani et al. | A novel image filtering approach for sensor fingerprint estimation in source camera identification | |
| JP2014120122A (en) | Area extraction device, area extraction method and computer program | |
| JP2013258596A (en) | Image pick-up device | |
| US9235882B2 (en) | Method for detecting existence of dust spots in digital images based on locally adaptive thresholding | |
| JP5926043B2 (en) | Information processing apparatus and information processing method | |
| EP2830020B1 (en) | Object detection device and program | |
| US8675971B2 (en) | Method and apparatus for classifying image pixels | |
| KR100869134B1 (en) | Image processing apparatus and method | |
| JP5754931B2 (en) | Image analysis apparatus, image analysis method, and program | |
| Hou et al. | Hue modification estimation using sensor pattern noise | |
| CN111414877B (en) | Table cutting method for removing color frame, image processing apparatus and storage medium | |
| KR101619776B1 (en) | RGB deblurring method using IR information at depth map system using 4 color sensor | |
| KR101707625B1 (en) | Method for detecting pattern information using image data | |
| JP2014127763A (en) | Image processing apparatus, image processing method, and program | |
| JP6339811B2 (en) | Noise judgment device and noise judgment method | |
| CN105809628B (en) | Capsule image filtering method based on local curvature flow analysis | |
| JP2005267510A (en) | Image processing device, image processing method, and intruder detection system | |
| CN105447816B (en) | A kind of multichannel image amplification method and device | |
| KR101067516B1 (en) | Fast shadow removal Method using Normalized Cross CorrelationNCC and Integral Image | |
| JP4089780B2 (en) | Color image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150910 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151211 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160421 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5926043 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |