JP2011259119A - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP2011259119A JP2011259119A JP2010130720A JP2010130720A JP2011259119A JP 2011259119 A JP2011259119 A JP 2011259119A JP 2010130720 A JP2010130720 A JP 2010130720A JP 2010130720 A JP2010130720 A JP 2010130720A JP 2011259119 A JP2011259119 A JP 2011259119A
- Authority
- JP
- Japan
- Prior art keywords
- blur
- image
- psf
- optical flow
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 56
- 238000004364 calculation method Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 43
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000015556 catabolic process Effects 0.000 abstract description 6
- 238000006731 degradation reaction Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000003672 processing method Methods 0.000 description 5
- 238000007476 Maximum Likelihood Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Abstract
Description
本発明は、画像の劣化（ぶれ、ぼけ、解像度不足）を除去して鮮明な画像を生成可能な画像処理装置に関する。 The present invention relates to an image processing apparatus capable of generating a clear image by removing image degradation (blurring, blurring, lack of resolution).
撮影した画像には、画像の劣化要因として、ぶれやぼけ（カメラの解像度不足によるものを含む）が含まれることがある。このようなぶれやぼけを取除いて劣化のない画像を生成することを目的とした画像処理方法は、従来から提案されている（例えば、特許文献１、２参照）。 The photographed image may include blurring and blurring (including those caused by insufficient resolution of the camera) as image degradation factors. 2. Description of the Related Art Conventionally, image processing methods aimed at removing such blurs and blurs and generating an image without deterioration have been proposed (see, for example, Patent Documents 1 and 2).
例えば、特許文献１に記載された画像処理手法は、車両の走行により画像に生じたぶれを補正することにより、ぶれのない画像を生成するもので、車両に搭載したカメラで連続して撮影した画像に基づいてオプティカルフローを算出し、このオプティカルフローにより画像のぶれ度合いを求めて画像を補正することにより、ぶれによる画像の劣化を除去して鮮明な画像を生成する。また、特許文献２に記載された画像処理手法は、複数の低解像度画像の位置合わせ処理により各低解像度画像の位置ずれ情報を取得し、取得した位置ずれ情報に基づいて、高解像度画像における各画素位置に複数の低解像度画像の各画素位置を当て嵌めるように複数の低解像度画像を合成することにより、ぼけや解像度不足による画像の劣化を除去して高解像度画像を生成する。 For example, the image processing method described in Patent Document 1 generates a non-blurred image by correcting a blur that has occurred in an image due to traveling of the vehicle, and was continuously photographed by a camera mounted on the vehicle. An optical flow is calculated on the basis of the image, the degree of blurring of the image is obtained by this optical flow, and the image is corrected, thereby removing a deterioration of the image due to the blur and generating a clear image. In addition, the image processing method described in Patent Document 2 acquires position shift information of each low-resolution image by alignment processing of a plurality of low-resolution images, and based on the acquired position shift information, By synthesizing a plurality of low-resolution images so that the pixel positions of the plurality of low-resolution images are fitted to the pixel positions, a high-resolution image is generated by removing image deterioration due to blurring or insufficient resolution.
ところで、実際に撮影された画像には、ぶれとぼけの両方が含まれていることが多い。ぶれとぼけの両方を含んだ画像の場合、特許文献１に記載された画像処理手法では、ぶれによる画像の劣化は除去できるが、ぼけ（解像度不足によるものを含む）に対しては何ら対処しておらず、ぼけによる画像の劣化は解消できないという問題がある。また、特許文献２に記載された画像処理手法では、ぶれが画像に含まれていると、画像間の位置ずれを高い精度で求めることが難しく、特に、各画像においてぶれ度合いが変化する場合には、位置ずれを高い精度で求めることがより困難であり、鮮明な高解像度画像が得られない虞れがあるという問題がある。 By the way, an actually shot image often includes both blurring and blurring. In the case of an image including both blurring and blurring, the image processing method described in Patent Document 1 can remove image degradation due to blurring, but it does not deal with blurring (including those due to insufficient resolution). In addition, there is a problem that image deterioration due to blur cannot be solved. In addition, in the image processing method described in Patent Document 2, if blur is included in an image, it is difficult to obtain a positional deviation between images with high accuracy, particularly when the blur degree changes in each image. However, it is more difficult to obtain the positional deviation with high accuracy, and there is a problem that a clear high-resolution image may not be obtained.
本発明は上記問題点に着目してなされたもので、ぶれとぼけの両方を含んだ画像でも鮮明な画像を生成することができる画像処理装置を提供することを目的とする。 The present invention has been made paying attention to the above-described problems, and an object thereof is to provide an image processing apparatus capable of generating a clear image even with an image including both blurring and blurring.
このため、本発明の画像処理装置は、撮像部により連続して撮像された少なくとも２つ以上の撮像画像を記憶可能な撮像画像記憶部と、該撮像画像記憶部に記憶された連続する２つの撮像画像に基づいて画像間のオプティカルフローを算出するオプティカルフロー算出部と、該オプティカルフロー算出部で算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦ（ぶれ点拡がり関数）の値を算出するぶれＰＳＦ算出部と、前記算出したぶれＰＳＦ値に基づいて最新の撮像画像に対してぶれ除去処理するぶれ除去部と、該ぶれ除去部で得られたぶれ除去画像を複数記憶するぶれ除去画像記憶部と、前記撮像画像と前記ぶれ除去画像記憶部に記憶されたぶれ除去画像のいずれか一方の画像を用いて画像のぼけ度合いを表すぼけＰＳＦ（ぼけ点拡がり関数）の値を算出するぼけＰＳＦ算出部と、前記ぶれ除去画像記憶部に記憶された複数のぶれ除去画像の画像間の位置ずれを算出し、この位置ずれ情報と前記算出したぼけＰＳＦ値を用いた超解像処理によってぼけを除去した高解像度画像を生成するぼけ除去部と、を備えて構成したことを特徴とする。 For this reason, the image processing apparatus of the present invention includes a captured image storage unit capable of storing at least two or more captured images continuously captured by the imaging unit, and two consecutive images stored in the captured image storage unit. An optical flow calculation unit that calculates an optical flow between images based on the captured image, and a blur PSF (blurring point spread function) value that represents the degree of blurring of the image based on the optical flow calculated by the optical flow calculation unit. A blur PSF calculation unit, a blur removal unit that performs a blur removal process on the latest captured image based on the calculated blur PSF value, and a blur removal image storage that stores a plurality of blur removal images obtained by the blur removal unit A blur P that represents the degree of blurring of the image using one of the captured image and the blur-removed image stored in the blur-removed image storage unit. A blur PSF calculation unit that calculates a value of F (blur point spread function) and a positional deviation between images of a plurality of blur-removed images stored in the blur-removed image storage unit are calculated, and the positional deviation information and the calculation are calculated. And a blur removing unit that generates a high-resolution image from which blur is removed by super-resolution processing using the blurred PSF value.
かかる構成では、撮像部により連続して撮像された少なくとも２つ以上の撮像画像を撮像画像記憶部に記憶し、撮像画像記憶部に記憶された撮像画像の連続する２つの撮像画像に基づいて画像間のオプティカルフローをオプティカルフロー算出部で算出し、この算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦ（ぶれ点拡がり関数）の値をぶれＰＳＦ算出部で算出し、ぶれ除去部が、算出したぶれＰＳＦ値に基づいて最新の撮像画像に対してぶれ除去処理し、得られたぶれ除去画像をぶれ除去画像記憶部に複数記憶する。また、撮像画像とぶれ除去画像記憶部に記憶されたぶれ除去画像のいずれか一方の画像を用いて画像のぼけ度合いを表すぼけＰＳＦ（ぼけ点拡がり関数）の値をぼけＰＳＦ算出部で算出し、ぼけ除去部が、ぶれ除去画像記憶部に記憶された複数のぶれ除去画像の画像間の位置ずれを算出し、この位置ずれ情報と算出したぼけＰＳＦ値を用いた超解像処理によってぼけを除去した高解像度画像の生成を行う。 In such a configuration, at least two or more captured images continuously captured by the imaging unit are stored in the captured image storage unit, and an image based on two consecutive captured images stored in the captured image storage unit is stored. The optical flow calculation unit calculates an optical flow between them, a blur PSF (blurring point spread function) value representing the degree of blurring of the image based on the calculated optical flow is calculated by the blur PSF calculation unit, and the blur removal unit Based on the calculated blur PSF value, the latest captured image is subjected to blur removal processing, and a plurality of obtained blur-removed images are stored in the blur-removed image storage unit. Also, the blur PSF calculation unit calculates a blur PSF (blur point spread function) representing the degree of blur of the image using either one of the captured image and the blur-removed image stored in the blur-removed image storage unit. The blur removal unit calculates a positional shift between the images of the plurality of blur-removed images stored in the blur-removed image storage unit, and blurs by super-resolution processing using the positional shift information and the calculated blur PSF value. The removed high resolution image is generated.
本発明の画像処理装置によれば、撮像画像に対してぶれ除去処理を行ってぶれ除去画像を生成し、このぶれ除去画像の位置ずれ情報とぼけＰＳＦ値を用いた超解像処理によりぼけ除去処理を行ってぼけを除去し撮像画像より高解像度の画像を生成する構成としたので、ぶれとぼけの両方を含んだ撮像画像でも鮮明な画像を生成することができる。また、ぼけ除去過程で超解像処理を用いているので、画像の劣化要因として解像度不足によるぼけも除去され、より一層鮮明な画像を生成できるという利点がある。 According to the image processing device of the present invention, a blur removal process is performed on a captured image to generate a blur removal image, and the blur removal process is performed by super-resolution processing using the positional deviation information and the blur PSF value of the blur removal image. Since the blur is removed and an image having a higher resolution than the captured image is generated, a clear image can be generated even in a captured image including both blur and blur. In addition, since super-resolution processing is used in the blur removal process, there is an advantage that blur due to insufficient resolution can be removed as a cause of image degradation, and a clearer image can be generated.
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明に係る画像処理装置の第１実施形態を示す構成図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram showing a first embodiment of an image processing apparatus according to the present invention.
図１において、本実施形態の画像処理装置は、撮像部１と、画像の記憶部２と、オプティカルフロー算出部３と、ぶれＰＳＦ（ぶれ点拡がり関数）算出部４と、ぶれ除去部５と、ぼけＰＳＦ（ぼけ点拡がり関数）算出部６と、データベース７と、ぼけ除去部８と、画像出力部９とを備えて構成される。 In FIG. 1, the image processing apparatus of the present embodiment includes an imaging unit 1, an image storage unit 2, an optical flow calculation unit 3, a blur PSF (blur point spread function) calculation unit 4, and a blur removal unit 5. A blur PSF (blur point spread function) calculation unit 6, a database 7, a blur removal unit 8, and an image output unit 9.
前記撮像部１は、カメラやビデオ等の動画を撮像する撮像装置である。 The imaging unit 1 is an imaging device that captures a moving image such as a camera or a video.
前記記憶部２は、撮像画像記憶部２Ａと、ぶれ除去画像記憶部２Ｂとを備え、画像を記憶する。撮像画像記憶部２Ａは、撮像部１で撮像した動画を連続する複数の時系列的な画像フレーム列として記憶する。ぶれ除去画像記憶部２Ｂは、後述するぶれ除去部５で生成されるぶれを除去したぶれ除去画像を記憶する。 The storage unit 2 includes a captured image storage unit 2A and a blur removal image storage unit 2B, and stores images. The captured image storage unit 2A stores the moving images captured by the imaging unit 1 as a plurality of continuous time-series image frame sequences. The blur-removed image storage unit 2B stores a blur-removed image obtained by removing the blur generated by the blur-removing unit 5 described later.
前記オプティカルフロー算出部３は、撮像画像記憶部２Ａに記憶された連続する２つの画像フレーム（撮像画像）に基づいて画像間のオプティカルフローを算出するもので、従来公知の例えばブロックマッチング法やＬｕｃａｓ−Ｋａｎａｄｅ法等を用いてオプティカルフローを算出する。算出するオプティカルフローは、全画素に対して求めてもよく、一定間隔毎又はランダム間隔毎に求めてもよい。ここで、オプティカルフローについて図２を参照しながら簡単に説明する。例えば、図２の（Ａ）と（Ｂ）が図の右から左へ移動する自動車等に固定したカメラで撮像した連続する２つの画像とする。オプティカルフローは、図２の（Ａ）、（Ｂ）に示す連続する２つの画像間において、（Ａ）の前画像におけるある画素或いはある領域が（Ｂ）の後画像においてどの方向にどれだけ移動したかを示すものであり、図２で撮影物体が固定されたものであるとすれば、２つの画像間では物体は相対的に自動車の進行方向とは反対方向に移動し、図２の（Ｃ）の矢印で示す方向のベクトル量として算出される。 The optical flow calculation unit 3 calculates an optical flow between images based on two consecutive image frames (captured images) stored in the captured image storage unit 2A. For example, a conventionally known block matching method or Lucas is used. -Optical flow is calculated using the Kanade method or the like. The optical flow to be calculated may be obtained for all pixels, or may be obtained at regular intervals or at random intervals. Here, the optical flow will be briefly described with reference to FIG. For example, (A) and (B) in FIG. 2 are two continuous images captured by a camera fixed to an automobile or the like that moves from right to left in the figure. In the optical flow, between two consecutive images shown in FIGS. 2A and 2B, how much a pixel or a region in the previous image in (A) moves in which direction in the subsequent image in (B). If the object to be photographed is fixed in FIG. 2, the object moves relatively in the direction opposite to the traveling direction of the car between the two images. It is calculated as a vector quantity in the direction indicated by the arrow C).
前記ぶれＰＳＦ算出部４は、オプティカルフロー算出部３で算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦの値を算出するもので、オプティカルフロー算出部３で算出した画像全体のオプティカルフローの方向及び長さの平均（図２（Ｃ）の各矢印の方向及び長さの平均）をそれぞれ算出し、この算出値をぶれＰＳＦ値とする。ここで、ＰＳＦ（point spread function：点拡がり関数）は、例えば点を撮影したときにその点がどのように見えるかを表すものである。 The blur PSF calculation unit 4 calculates a blur PSF value representing the degree of blur of the image based on the optical flow calculated by the optical flow calculation unit 3, and the optical flow of the entire image calculated by the optical flow calculation unit 3 is calculated. The average of the direction and length (the average of the direction and length of each arrow in FIG. 2C) is calculated, and this calculated value is defined as the shake PSF value. Here, PSF (point spread function) represents how a point looks when a point is photographed, for example.
図３は、ＰＳＦの例である。図３の（Ａ）はぶれ及びぼけを含まない点画像、（Ｂ）はぶれを含んだ点画像、（Ｃ）はぼけを含んだ点画像、（Ｄ）はぶれとぼけの両方を含んだ点画像である。 FIG. 3 is an example of PSF. 3A is a point image that does not include blur and blur, (B) is a point image that includes blur, (C) is a point image that includes blur, and (D) is a point that includes both blur and blur. It is an image.
前記ぶれ除去部５は、ぶれＰＳＦ算出部４で算出したぶれＰＳＦ値に基づいて最新の撮像画像、即ち、連続する２つの画像にうちの後の画像に対して、従来公知のＬｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法、Ｉｔｅｒａｔｉｖｅ ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ法等を用いてぶれ除去処理を行い、ぶれ除去画像を生成する。ぶれ除去部５で生成したぶれ除去画像は、記憶部２のぶれ除去画像記憶部２Ｂに記憶する。ぶれ除去画像記憶部２Ｂには、予め設定した複数のぶれ除去画像を記憶する。 The blur removal unit 5 performs a conventionally known Lucy-Richardson method on the latest captured image based on the blur PSF value calculated by the blur PSF calculation unit 4, that is, the subsequent image of two consecutive images. Then, a blur removal process is performed using the iterative back projection method or the like to generate a blur removal image. The blur removal image generated by the blur removal unit 5 is stored in the blur removal image storage unit 2B of the storage unit 2. The blur-removed image storage unit 2B stores a plurality of preset blur-removed images.
前記ぼけＰＳＦ算出部６は、ぶれ除去画像記憶部２Ｂに記憶されたぶれ除去画像を用いて画像のぼけ度合いを表すぼけＰＳＦ（ぼけ点拡がり関数）の値を算出する。具体的には、ぶれ除去画像記憶部２Ｂに記憶された複数のぶれ除去画像のうちの最新に記憶されたぶれ除去画像を例えばＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタ等を用いてフィルタリングして微分画像を得る。この微分画像におけるｘ方向の微分画像ｄｘとｙ方向の微分画像ｄｙからエッジ強度（＝（ｄｘ2+ｄｙ2）1/2）を算出する。尚、エッジ強度をｄｘ2+ｄｙ2として算出してもよい。データベース７には、エッジ強度とぼけＰＳＦ値とを対応付けた対応データが予め記憶されており、前記対応データから、算出したエッジ強度に対応するぼけＰＳＦ値を検索してぼけＰＳＦ値を設定する。尚、ＰＳＦ値はガウス関数やベッセル関数で表すことができ、データベース７には、ガウス関数やベッセル関数のパラメータをぼけＰＳＦ値として記憶する。ここで、画像のぼけ度合いとエッジ強度の関係は、画像がぼけていればぼけている程、エッジ強度は弱い。尚、ぼけＰＳＦ値の算出は、最新に記憶されたぶれ除去画像を用いるのが好ましいが、ぶれ除去画像記憶部２Ｂに記憶されたぶれ除去画像であればどの画像でもよい。 The blur PSF calculation unit 6 calculates a value of a blur PSF (blur point spread function) representing the degree of blur of the image using the blur removal image stored in the blur removal image storage unit 2B. Specifically, a latest image stored among the plurality of image-removed images stored in the image-removed image storage unit 2B is filtered using, for example, a Sobel filter or a Prewitt filter to obtain a differential image. The edge intensity (= (dx 2 + dy 2 ) 1/2 ) is calculated from the differential image dx in the x direction and the differential image dy in the y direction in this differential image. Note that the edge strength may be calculated as dx 2 + dy 2 . Correspondence data in which the edge strength and the blurred PSF value are associated with each other is stored in the database 7 in advance, and the blurred PSF value corresponding to the calculated edge strength is searched from the correspondence data, and the blurred PSF value is set. The PSF value can be expressed by a Gaussian function or a Bessel function, and the database 7 stores parameters of the Gaussian function or the Bessel function as a blurred PSF value. Here, regarding the relationship between the degree of blur of an image and the edge strength, the more the image is blurred, the weaker the edge strength. The blur PSF value is preferably calculated using the latest stored blur-removed image, but any image may be used as long as it is a blur-removed image stored in the blur-removed image storage unit 2B.
図４は、ぼけＰＳＦの例であり、図４の（Ａ）のエッジ強度が最も強くぼけ度合いが最も小さい。そして、（Ｂ）→（Ｃ）→（Ｄ）の順で、エッジ強度が弱くなって行きぼけ度合いが大きくなる。 FIG. 4 shows an example of a blurred PSF, where the edge strength in FIG. 4A is the strongest and the degree of blur is the smallest. Then, in the order of (B) → (C) → (D), the edge strength decreases and the degree of blur increases.
前記ぼけ除去部８は、ぶれ除去画像記憶部２Ｂに記憶された複数のぶれ除去画像の各画素の位置関係を、従来公知の例えばブロックマッチングやＬｕｃａｓ−Ｋａｎａｄｅ法等を用いて算出し、算出した位置ずれ情報と、ぼけＰＳＦ算出部６で算出したぼけＰＳＦを用いて、従来公知である例えばＭＬ（Maximum likelihood）法、ＭＡＰ（Maximum a posteriori）法或いはＰＯＣＳ（Projection onto convexset）法に基づく超解像処理により、ぼけを除去した高解像度画像の生成を行う。 The blur removing unit 8 calculates the positional relationship of each pixel of a plurality of blur-removed images stored in the blur-removed image storage unit 2B by using, for example, block matching or Lucas-Kanade method that is conventionally known. Using the displacement information and the blurred PSF calculated by the blurred PSF calculation unit 6, a super solution based on a conventionally known ML (Maximum likelihood) method, MAP (Maximum a posteriori) method or POCS (Projection onto convex set) method, for example. A high-resolution image from which blur is removed is generated by image processing.
前記画像出力部９は、ぼけ除去部８でぼけＰＳＦを用いた超解像処理によるぼけ除去処理により生成した、撮像部１で撮像した撮像画像より高解像度の画像を出力するものである。 The image output unit 9 outputs a higher-resolution image than the captured image captured by the imaging unit 1 generated by the blur removal process by the super-resolution process using the blur PSF by the blur removal unit 8.
次に、本実施形態の画像処理装置の画像処理動作を、図５に示すフローチャートを参照して説明する。
ステップ１（図中、Ｓ１で示す。以下同様とする）では、オプティカルフロー算出部３で、撮像部１で撮像されて撮像画像記憶部２Ａに記憶された画像フレーム列の連続する２つの画像フレームから従来公知の例えばブロックマッチング法やＬｕｃａｓ−Ｋａｎａｄｅ法等を用いてオプティカルフローを算出する。
Next, the image processing operation of the image processing apparatus of this embodiment will be described with reference to the flowchart shown in FIG.
In step 1 (indicated by S1 in the figure, the same applies hereinafter), the optical flow calculation unit 3 captures two consecutive image frames of the image frame sequence captured by the imaging unit 1 and stored in the captured image storage unit 2A. Then, the optical flow is calculated by using a conventionally known block matching method, Lucas-Kanade method, or the like.
ステップ２では、ぶれＰＳＦ算出部４で、ステップ１で算出したオプティカルフローを用いて、画像全体におけるオプティカルフローの方向及び長さの平均値をぶれＰＳＦ値として算出する。 In step 2, the blur PSF calculation unit 4 uses the optical flow calculated in step 1 to calculate the average value of the direction and length of the optical flow in the entire image as a blur PSF value.
ステップ３では、ぶれ除去部５で、ステップ３で算出したぶれＰＳＦ値に基づいて連続する２つの画像のうちの最新の画像に対して、従来公知のＬｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法、Ｉｔｅｒａｔｉｖｅ ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ法等を用いてぶれ除去処理を行う。このぶれ除去処理で生成されたぶれ除去画像をぶれ除去画像記憶部２Ｂに記憶する。 In step 3, the blur removal unit 5 performs a conventionally known Lucy-Richardson method, an iterative back projection method, etc. on the latest image of the two consecutive images based on the blur PSF value calculated in step 3. Use it to perform blur removal processing. The blur removal image generated by the blur removal process is stored in the blur removal image storage unit 2B.
ステップ４では、ぼけＰＳＦ算出部６で、ぶれ除去画像記憶部２Ｂに記憶されたぶれ除去画像のエッジ強度を算出し、算出したエッジ強度に対応するぼけＰＳＦ値を、データベース７に記憶されているエッジ強度とぼけＰＳＦ値の対応データから検索してぼけＰＳＦ値を設定する。 In step 4, the blur PSF calculation unit 6 calculates the edge strength of the blur-removed image stored in the blur-removed image storage unit 2B, and the blur PSF value corresponding to the calculated edge strength is stored in the database 7. The blur PSF value is set by searching from the correspondence data of the edge strength and the blur PSF value.
ステップ５では、ぼけ除去部８で、ぶれ除去画像記憶部２Ｂに記憶された複数のぶれ除去画像の各画素の位置関係を、従来公知の例えばブロックマッチングやＬｕｃａｓ−Ｋａｎａｄｅ法等を用いて算出し、算出した位置ずれ情報と、ぼけＰＳＦ算出部６で算出したぼけＰＳＦを用いて、従来公知である例えばＭＬ（Maximum likelihood）法、ＭＡＰ（Maximum a posteriori）法或いはＰＯＣＳ（Projection onto convexset）法に基づく超解像処理によりぼけ除去処理を行って、ぼけを除去した高解像度画像の生成を行う。 In step 5, the blur removal unit 8 calculates the positional relationship of each pixel of the plurality of blur removal images stored in the blur removal image storage unit 2 </ b> B by using, for example, block matching or Lucas-Kanade method. Using the calculated misregistration information and the blurred PSF calculated by the blurred PSF calculation unit 6, for example, the ML (Maximum likelihood) method, the MAP (Maximum a posteriori) method, or the POCS (Projection onto convex set) method. A blur removal process is performed by the super-resolution process based on this, and a high-resolution image from which the blur is removed is generated.
ステップ６では、ステップ５で生成したぶれ及びぼけのない鮮明な高解像度の画像を画像出力部９から出力する。 In step 6, the image output unit 9 outputs a clear high-resolution image free from blurring and blurring generated in step 5.
かかる構成の本実施形態の画像処理装置によれば、撮像画像に対してぶれ除去処理とぼけ除去処理を順次行う構成としたので、ぶれとぼけの両方の画像劣化要因を含んだ撮像画像から、ぶれとぼけのない鮮明な画像を得ることができる。また、超解像処理によって複数枚の画像を合成するぼけ除去処理により、画像を１枚だけを使うぼけＰＳＦを用いた従来公知のＬｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法やｉｔｅｒａｔｉｖｅ ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ法を利用したぼけ除去処理の場合と比較してぼけ除去効果が高く、撮像画像より高解像度の鮮明な画像を得ることができる。 According to the image processing apparatus of the present embodiment having such a configuration, the blur removal process and the blur removal process are sequentially performed on the captured image. Therefore, from the captured image including both blur and blur image degradation factors, the blur and blur are detected. A clear image can be obtained. In addition, the blur removal process that combines a plurality of images by super-resolution processing, the blur removal process using the well-known Lucy-Richardson method or the iterative back projection method using a blurred PSF that uses only one image. Compared to the case, the effect of removing blur is high, and a clear image with higher resolution than the captured image can be obtained.
図６は、本発明に係る画像処理装置の第２実施形態を示す構成図である。尚、第１実施形態と同一要素には同一符号を付して説明を省略する。
図６に示す第２実施形態は、ぼけＰＳＦ値を、撮像部１の撮像画像を用いて算出することが第１実施形態と異なるだけで、その他の構成は第１実施形態と同様である。
FIG. 6 is a block diagram showing a second embodiment of the image processing apparatus according to the present invention. In addition, the same code | symbol is attached | subjected to the same element as 1st Embodiment, and description is abbreviate | omitted.
The second embodiment shown in FIG. 6 is different from the first embodiment in that the blurred PSF value is calculated using the captured image of the imaging unit 1, and the other configuration is the same as that of the first embodiment.
ぶれ除去処理を行った画像には、ぶれ除去処理により例えばリンギングと呼ばれるアーチファクト（データエラー）が含まれることが多い。このようなアーチファクトが強いエッジ強度を持った場合、ぼけＰＳＦ値の算出に悪影響を及ぼす事が考えられる。第２実施形態では、ぼけＰＳＦ値を撮像画像を用いて算出する構成とすることで、ぶれ除去画像に含まれることが多いアーチファクトに関係なくぼけＰＳＦ値を算出できるようになり、ぼけＰＳＦ値の算出精度が向上する。 An image subjected to the blur removal process often includes, for example, an artifact (data error) called ringing due to the blur removal process. If such an artifact has a strong edge strength, it may have an adverse effect on the calculation of the blurred PSF value. In the second embodiment, the blur PSF value is calculated using the captured image, so that the blur PSF value can be calculated regardless of artifacts that are often included in the blur-removed image. Calculation accuracy is improved.
ところで、手ぶれや車載カメラ等のようにカメラが移動する状態で撮影する場合は、画像全体にぶれが生じるが、シーン中に移動物体が存在する場合には、画像内で局所的にぶれが生じたり、移動物体の動く方向が異なると複数の種類のぶれが画像内に存在したりする場合が考えられる。このような場合、画像内でぶれが存在する領域を特定してその領域毎にぶれＰＳＦ値を算出することが望ましい。 By the way, when shooting with the camera moving, such as camera shake or in-vehicle camera, the entire image is blurred, but when there is a moving object in the scene, the image is locally blurred. In addition, there are cases where a plurality of types of blurs exist in an image when the moving direction of the moving object is different. In such a case, it is desirable to specify a region where blur exists in the image and calculate a blur PSF value for each region.
図７は、本発明に係る画像処理装置の第３実施形態を示す構成図で、ぶれの存在する領域を特定してその領域毎にぶれＰＳＦ値を算出する構成例である。
第３実施形態は、第２実施形態の構成に加えてオプティカルフロー算出部３の後段に領域分割部１０を設ける構成である。
FIG. 7 is a block diagram showing a third embodiment of the image processing apparatus according to the present invention, which is an example of a configuration in which a blur region is specified and a blur PSF value is calculated for each region.
In the third embodiment, in addition to the configuration of the second embodiment, an area dividing unit 10 is provided in the subsequent stage of the optical flow calculation unit 3.
前記領域分割部１０は、オプティカルフロー算出部３で算出したオプティカルフローに基づいて画像内の移動物体毎の領域に撮像画像を分割するものである。具体的には、オプティカルフロー算出部３で撮像画像を予め定めた多数の小領域毎に算出したオプティカルフローに基づいて、オプティカルフローが近似する画素領域は同一の動きをしている領域と見なすことにより、分割領域を決定して画像内を領域分割する。図８は、オプティカルフローに基づく領域分割の例を示すもので、同図（Ａ）のように画像内で異なるオプティカルフローが算出された領域ｘ、ｙが存在する場合、算出されたオプティカルフローが異なる領域毎に同図（Ｂ）のように画像内を領域分割する。尚、オプティカルフローを算出する小領域としては、領域内に模様が含まれるように設定することが望ましいが、各画素としてもよい。 The region dividing unit 10 divides the captured image into regions for each moving object in the image based on the optical flow calculated by the optical flow calculating unit 3. Specifically, based on the optical flow calculated by the optical flow calculation unit 3 for each of a large number of predetermined small areas, the pixel area approximated by the optical flow is regarded as an area having the same movement. Thus, a divided region is determined and the image is divided into regions. FIG. 8 shows an example of area division based on optical flow. When there are areas x and y in which different optical flows are calculated in the image as shown in FIG. 8A, the calculated optical flow is The image is divided into regions as shown in FIG. The small area for calculating the optical flow is preferably set so that a pattern is included in the area, but may be each pixel.
第３実施形態の画像処理動作を図９のフローチャートを参照して説明する。
ステップ１１では、撮像画像記憶部２Ａに記憶された画像フレーム列の連続する２つの画像フレームについてオプティカルフローを算出する小領域を設定して各領域ついて、第１、２実施形態と同様にして例えばブロックマッチング法やＬｕｃａｓ−Ｋａｎａｄｅ法等を用いてオプティカルフローを算出する。
The image processing operation of the third embodiment will be described with reference to the flowchart of FIG.
In step 11, a small area for calculating an optical flow is set for two consecutive image frames of the image frame sequence stored in the captured image storage unit 2A, and each area is set in the same manner as in the first and second embodiments, for example. An optical flow is calculated using a block matching method, a Lucas-Kanade method, or the like.
ステップ１２では、領域分割部１０により、ステップ１１で算出した各小領域のオプティカルフローに基づいて、オプティカルフローが近似する小領域を同一領域と見なして画像内を領域分割する。 In step 12, the region dividing unit 10 divides the image into regions based on the optical flow of each small region calculated in step 11, regarding the small regions that approximate the optical flow as the same region.
ステップ１３では、ぶれＰＳＦ算出部４で、ステップ１２で分割した領域毎にそのオプティカルフローを用いて、各分割領域のオプティカルフローの方向及び長さの平均値をその分割領域のぶれＰＳＦ値として算出する。 In step 13, the blur PSF calculation unit 4 uses the optical flow for each area divided in step 12, and calculates the average value of the direction and length of the optical flow of each divided area as the blurred PSF value of the divided area. To do.
その後のステップ１４〜１７は、図５のステップ３〜６と同様であり、ここでは説明を省略する。 Subsequent steps 14 to 17 are the same as steps 3 to 6 in FIG. 5, and a description thereof is omitted here.
かかる構成の第３実施形態の画像処理装置によれば、画像内に移動物体が存在する場合でも、ぶれとぼけのない鮮明な高解像度画像を生成することができる。 According to the image processing apparatus of the third embodiment having such a configuration, it is possible to generate a clear high-resolution image without blurring and blurring even when a moving object is present in the image.
シーンによっては、複数の移動物体が様々な奥行きに存在する場合がある。このように奥行きがあるシーンでは、近い所と遠い所のどちらか一方のピントがずれてぼやけることが考えられる。このような場合、ぶれＰＳＦ値だけでなくぼけＰＳＦ値も領域毎に算出することが望ましい。 Depending on the scene, a plurality of moving objects may exist at various depths. In such a scene with depth, it is conceivable that either one of the near and far points is out of focus and blurred. In such a case, it is desirable to calculate not only the blurred PSF value but also the blurred PSF value for each region.
図１０は、本発明に係る画像処理装置の第４実施形態を示す構成図であり、領域毎にぶれＰＳＦ値とぼけＰＳＦ値を算出する構成例である。
本第４実施形態は、ぼけＰＳＦ算出部６が領域分割部１０の分割領域毎にぼけＰＳＦ値を算出することが第３実施形態と異なるだけで、その他の構成は第３実施形態と同じである。
FIG. 10 is a block diagram showing a fourth embodiment of the image processing apparatus according to the present invention, which is a configuration example for calculating a blur PSF value and a blurred PSF value for each region.
The fourth embodiment differs from the third embodiment only in that the blurred PSF calculation unit 6 calculates a blurred PSF value for each divided region of the region dividing unit 10, and the other configurations are the same as those of the third embodiment. is there.
本実施形態のぼけＰＳＦ算出部６では、領域分割部１０によって分割された撮像画像の各分割領域毎に、前述したと同様にエッジ強度を算出しデータベース７からぼけＰＳＦ値を検索することにより、各分割領域のぼけＰＳＦ値を設定する。 In the blurred PSF calculation unit 6 of the present embodiment, edge strength is calculated in the same manner as described above for each divided region of the captured image divided by the region dividing unit 10 and the blurred PSF value is searched from the database 7. The blurred PSF value of each divided area is set.
第４実施形態の画像処理動作を図１１のフローチャートを参照して説明する。
第４実施形態の画像処理動作は、ステップ２５のぼけＰＳＦ値を分割領域毎に算出する動作が第３実施形態と異なるだけで、ステップ２１〜２４とステップ２６、２７の動作は第３実施形態のステップ１１〜１４とステップ１６、１７と同じである。
The image processing operation of the fourth embodiment will be described with reference to the flowchart of FIG.
The image processing operation of the fourth embodiment is different from the third embodiment only in the operation of calculating the blurred PSF value in step 25 for each divided region, and the operations of steps 21 to 24 and steps 26 and 27 are the same as those of the third embodiment. Steps 11 to 14 and Steps 16 and 17 are the same.
かかる構成の第４実施形態の画像処理装置によれば、画像内に複数の移動物体が存在し、それぞれの奥行きに移動物体がある場合でも、ぶれとぼけのない鮮明な高解像度画像を生成することができる。 According to the image processing apparatus of the fourth embodiment having such a configuration, even when there are a plurality of moving objects in the image and there are moving objects at each depth, a clear high-resolution image without blurring and blurring can be generated. Can do.
尚、上記第３、４実施形態では、ぼけＰＳＦ値を撮像画像から算出する構成の第２実施形態に領域分割部１０を追加する例を示したが、ぶれ除去画像からぼけＰＳＦ値を算出する構成の第１実施形態に領域分割部１０を追加する構成でもよいことは言うまでもない。 In the third and fourth embodiments, the example in which the region dividing unit 10 is added to the second embodiment configured to calculate the blurred PSF value from the captured image has been described. However, the blurred PSF value is calculated from the blur-removed image. Needless to say, the configuration may be such that the area dividing unit 10 is added to the first embodiment of the configuration.
また、第１〜第４の実施形態では、ぶれ除去処理及びぼけ除去処理を別に求めたＰＳＦを用いて行っているが、ぶれ除去処理とぼけ除去処理の両方又はどちらか一方の処理を、従来公知の手法である、ＰＳＦ推定と同時に行うブラインドデコンボリュージョン処理としてもよい。この場合、第１及び第２実施形態では、オプティカルフロー算出部３、ぶれＰＳＦ算出部４、ぶれ除去部５をまとめたものがブラインドデコンボリュージョン処理によるぶれ除去部となり、領域分割を含む第３及び第４実施形態では、ぶれＰＳＦ算出部４、ぶれ除去部５をまとめたものがブラインドデコンボリュージョン処理によるぶれ除去部となる。また、ブラインドデコンボリュージョン処理によるぼけ除去部については、ぼけＰＳＦ算出部６、データベース７、ぼけ除去部８をまとめたものとなる。 In the first to fourth embodiments, the PSF obtained separately for the blur removal process and the blur removal process is used. However, either or both of the blur removal process and the blur removal process are conventionally known. It is good also as the blind deconvolution process performed simultaneously with PSF estimation. In this case, in the first and second embodiments, a combination of the optical flow calculation unit 3, the blur PSF calculation unit 4, and the blur removal unit 5 becomes a blur removal unit by blind deconvolution processing, and includes a third region including region division. In the fourth embodiment, a combination of the blur PSF calculation unit 4 and the blur removal unit 5 is a blur removal unit by blind deconvolution processing. Further, the blur removal unit by the blind deconvolution process is a combination of the blur PSF calculation unit 6, the database 7, and the blur removal unit 8.
１ 撮像部
２ 記憶部
２Ａ 撮像画像記憶部
２Ｂ ぶれ除去画像記憶部
３ オプティカルフロー算出部
４ ぶれＰＳＦ算出部
５ ぶれ除去部
６ ぼけＰＳＦ算出部
７ データベース
８ ぼけ除去部
９ 画像出力部
１０ 領域分割部
DESCRIPTION OF SYMBOLS 1 Image pick-up part 2 Memory | storage part 2A Image pick-up image memory | storage part 2B Blur removal image memory | storage part 3 Optical flow calculation part 4 Blur PSF calculation part 5 Blur removal part 6 Blur PSF calculation part 7 Database 8 Blur removal part 9 Image output part 10 Area division part
Claims (6)
該撮像画像記憶部に記憶された連続する２つの撮像画像に基づいて画像間のオプティカルフローを算出するオプティカルフロー算出部と、
該オプティカルフロー算出部で算出したオプティカルフローに基づいて画像のぶれ度合い表すぶれＰＳＦ（ぶれ点拡がり関数）の値を算出するぶれＰＳＦ算出部と、
前記算出したぶれＰＳＦ値に基づいて最新の撮像画像に対してぶれ除去処理するぶれ除去部と、
該ぶれ除去部で得られたぶれ除去画像を複数記憶するぶれ除去画像記憶部と、
前記撮像画像と前記ぶれ除去画像記憶部に記憶されたぶれ除去画像のいずれか一方の画像を用いて画像のぼけ度合いを表すぼけＰＳＦ（ぼけ点拡がり関数）の値を算出するぼけＰＳＦ算出部と、
前記ぶれ除去画像記憶部に記憶された複数のぶれ除去画像の画像間の位置ずれを算出し、この位置ずれ情報と前記算出したぼけＰＳＦ値を用いた超解像処理によってぼけを除去した高解像度画像を生成するぼけ除去部と、
を備えて構成したことを特徴とする画像処理装置。 A captured image storage unit capable of storing at least two or more captured images continuously captured by the imaging unit;
An optical flow calculation unit that calculates an optical flow between images based on two consecutive captured images stored in the captured image storage unit;
A blur PSF calculator that calculates a blur PSF (blur point spread function) value representing the degree of blur of the image based on the optical flow calculated by the optical flow calculator;
A shake removal unit that performs a shake removal process on the latest captured image based on the calculated shake PSF value;
A blur removal image storage unit that stores a plurality of blur removal images obtained by the blur removal unit;
A blur PSF calculation unit that calculates a blur PSF (blur point spread function) value representing the degree of blur of the image using one of the captured image and the blur-removed image stored in the blur-removed image storage unit; ,
A high resolution obtained by calculating a positional deviation between images of a plurality of blur-removed images stored in the blur-removed image storage unit, and removing the blur by super-resolution processing using the positional deviation information and the calculated blur PSF value. A blur removing unit for generating an image;
An image processing apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010130720A JP5622192B2 (en) | 2010-06-08 | 2010-06-08 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010130720A JP5622192B2 (en) | 2010-06-08 | 2010-06-08 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011259119A true JP2011259119A (en) | 2011-12-22 |
| JP5622192B2 JP5622192B2 (en) | 2014-11-12 |
Family
ID=45474829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010130720A Active JP5622192B2 (en) | 2010-06-08 | 2010-06-08 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5622192B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016110312A (en) * | 2014-12-04 | 2016-06-20 | 株式会社東芝 | Image processing method, and image processor and program |
| WO2016199214A1 (en) * | 2015-06-09 | 2016-12-15 | 株式会社日立国際電気 | Image processing device, image processing method, and vehicle-installed camera |
| JP2018515857A (en) * | 2015-02-18 | 2018-06-14 | ソニー株式会社 | System and method for smoke detection during anatomical surgery |
| US10346956B2 (en) | 2015-07-22 | 2019-07-09 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device |
| WO2021181965A1 (en) * | 2020-03-09 | 2021-09-16 | ソニーグループ株式会社 | Image processing device, image processing method, and program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005332381A (en) * | 2004-04-22 | 2005-12-02 | Fuji Photo Film Co Ltd | Image processing method, device and program |
| JP2008109482A (en) * | 2006-10-26 | 2008-05-08 | Olympus Corp | Imaging apparatus, image recording processing method and image recording processing program |
-
2010
- 2010-06-08 JP JP2010130720A patent/JP5622192B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005332381A (en) * | 2004-04-22 | 2005-12-02 | Fuji Photo Film Co Ltd | Image processing method, device and program |
| JP2008109482A (en) * | 2006-10-26 | 2008-05-08 | Olympus Corp | Imaging apparatus, image recording processing method and image recording processing program |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016110312A (en) * | 2014-12-04 | 2016-06-20 | 株式会社東芝 | Image processing method, and image processor and program |
| JP2018515857A (en) * | 2015-02-18 | 2018-06-14 | ソニー株式会社 | System and method for smoke detection during anatomical surgery |
| WO2016199214A1 (en) * | 2015-06-09 | 2016-12-15 | 株式会社日立国際電気 | Image processing device, image processing method, and vehicle-installed camera |
| JPWO2016199214A1 (en) * | 2015-06-09 | 2018-03-29 | 株式会社日立国際電気 | Video processing apparatus, video processing method, and in-vehicle camera |
| US10346956B2 (en) | 2015-07-22 | 2019-07-09 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device |
| WO2021181965A1 (en) * | 2020-03-09 | 2021-09-16 | ソニーグループ株式会社 | Image processing device, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5622192B2 (en) | 2014-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8233745B2 (en) | Image processing apparatus and image processing method | |
| JP4775700B2 (en) | Image processing apparatus and image processing method | |
| US9898803B2 (en) | Image processing apparatus, image processing method, and recording medium storing image processing program | |
| Tai et al. | Image/video deblurring using a hybrid camera | |
| JP4377932B2 (en) | Panorama image generating apparatus and program | |
| JP5794705B2 (en) | Imaging apparatus, control method thereof, and program | |
| CN108141509B (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
| JP5917054B2 (en) | Imaging apparatus, image data processing method, and program | |
| CN103914810B (en) | Image super-resolution for dynamic rearview mirror | |
| KR101426095B1 (en) | Image processing device, image picking-up device, and image processing method | |
| JP5622192B2 (en) | Image processing device | |
| JP5499050B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| US20080025628A1 (en) | Enhancement of Blurred Image Portions | |
| JP2008146643A (en) | Method and device for reducing blur caused by movement in image blurred by movement, and computer-readable medium executing computer program for reducing blur caused by movement in image blurred by movement | |
| KR20120099713A (en) | Algorithms for estimating precise and relative object distances in a scene | |
| JP2009118483A (en) | Device and method for correcting camera shake in digital by using object tracking | |
| JP2009164857A (en) | Image data processing method, and image processing apparatus | |
| EP1680916A2 (en) | Image processing device and method | |
| JP5184574B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
| JP2007006045A (en) | Method and device for correcting camera shake, and imaging apparatus | |
| JP6282133B2 (en) | Imaging device, control method thereof, and control program | |
| JP2016181023A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2007036799A (en) | Image processing apparatus | |
| JP2007179211A (en) | Image processing device, image processing method, and program for it | |
| JP5511403B2 (en) | Image processing apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130610 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131024 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
| RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20140417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140501 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140530 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20140530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140909 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140916 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5622192 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |