JP2011022805A - Image processor - Google Patents
Image processor Download PDFInfo
- Publication number
- JP2011022805A JP2011022805A JP2009167372A JP2009167372A JP2011022805A JP 2011022805 A JP2011022805 A JP 2011022805A JP 2009167372 A JP2009167372 A JP 2009167372A JP 2009167372 A JP2009167372 A JP 2009167372A JP 2011022805 A JP2011022805 A JP 2011022805A
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- image
- reference frame
- point set
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009466 transformation Effects 0.000 claims abstract description 105
- 239000011159 matrix material Substances 0.000 claims abstract description 85
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 57
- 238000010586 diagram Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
Images
Abstract
Description
本発明は、超解像処理により複数枚の低解像度画像を合成して高解像度画像を生成する画像処理装置に関する。 The present invention relates to an image processing apparatus that generates a high-resolution image by combining a plurality of low-resolution images by super-resolution processing.
複数枚の低解像度画像の中から任意に選択した基準画像に対する変動量を、各画像について１画素以内の精度で求め、その変動量を基に複数枚の低解像度画像を合成して高解像度画像を生成する超解像処理と呼ばれる画像処理が知られている。超解像処理において、変動量の算出は、画像中に移動物体、変形を伴う物体或いは奥行きが大きい物体が含まれなければ、画像単位にどの方向にどれだけ移動したかを算出すればよいが、移動物体、変形を伴う物体或いは奥行きが大きい物体が含まれる場合、画像単位で変動量を算出するとアーチファクト（データエラー）を含む合成画像が得られてしまう。そこで、移動物体、変形を伴う物体或いは奥行きが大きい物体が含まれる画像については、画像を領域分割し領域単位で変動量を算出する手法が用いられており、従来、三角形分割によって局所領域を生成してその局所領域単位で変動量を算出する方法が、例えば、特許文献１に記載されている。 The amount of variation with respect to a reference image arbitrarily selected from a plurality of low-resolution images is obtained with an accuracy of within one pixel for each image, and a plurality of low-resolution images are synthesized based on the amount of variation to obtain a high-resolution image. Image processing called super-resolution processing for generating the image is known. In the super-resolution processing, the amount of variation can be calculated by calculating how much the image unit moves in which direction unless the image contains a moving object, an object with deformation, or an object with a large depth. When a moving object, an object with deformation, or an object with a large depth is included, if a variation amount is calculated for each image, a composite image including an artifact (data error) is obtained. Therefore, for images that include moving objects, objects with deformation, or objects with a large depth, a method is used in which the image is divided into regions and the amount of variation is calculated in units of regions. Conventionally, local regions are generated by triangulation. For example, Patent Document 1 discloses a method of calculating the fluctuation amount in units of local regions.
特許文献１に記載された三角形分割による局所領域処理は、超解像度処理に使用する低解像度画像の複数のフレームから任意に基準フレームを選択し、選択した基準フレームの画像中から特徴点を抽出し、基準フレーム以外の画像フレーム上で、基準フレームで検出した特徴点に対応する点の追跡処理、即ち、特徴点追跡処理（トラッキング）を行う。この特徴点追跡処理の後、各フレームについて特徴点を頂点とする三角形領域に分割して局所領域として三角形パッチを生成し、生成した三角形パッチを同じ平面と見なして各三角形パッチ毎に変動量を求めるようにしている。この場合、特徴点追跡処理によって各フレーム間での特徴点位置の対応関係が分かっており、基準フレームで生成した各三角形パッチが他のフレーム上のどの三角形パッチに対応しているかを知ることができるので、基準フレーム上の各三角形パッチが他のフレーム上のどこに移動したかを知ることができ、各三角形パッチの変動量を算出することができる。こうすることにより、移動物体、変形を伴う物体或いは奥行きが大きい物体が含まれる画像でも、各フレーム内の物体の変動量を算出でき、超解像処理を可能としている。 The local region processing by triangulation described in Patent Document 1 arbitrarily selects a reference frame from a plurality of frames of a low-resolution image used for super-resolution processing, and extracts feature points from the image of the selected reference frame. On the image frame other than the reference frame, a point tracking process corresponding to the feature point detected in the reference frame, that is, a feature point tracking process (tracking) is performed. After this feature point tracking process, each frame is divided into triangular regions with the feature points as vertices to generate triangular patches as local regions, and the generated triangular patches are regarded as the same plane, and the amount of variation for each triangular patch is calculated. I want to ask. In this case, the feature point tracking process knows the correspondence of the feature point positions between the frames, and can know which triangle patch on each other frame each triangle patch generated in the reference frame corresponds to. Therefore, it is possible to know where each triangular patch on the reference frame has moved on another frame, and to calculate the amount of fluctuation of each triangular patch. In this way, even in an image including a moving object, an object with deformation, or an object with a large depth, the amount of variation of the object in each frame can be calculated, and super-resolution processing is possible.
しかしながら、特許文献１に記載された三角形分割方法は、特徴点追跡処理を行い、その後、各フレーム毎に特徴点を頂点とする三角形に分割する三角形分割処理を行って三角形パッチを生成するようにしているため、三角パッチが変動量の異なる平面間に跨って生成される可能性がある。そして、三角パッチが異なる平面間に跨っているにも拘わらずその三角パッチを同一平面と見なして変動量を算出するので、変動量を精度よく算出できず、合成した高解像度画像にアーチファクトが存在するという問題がある。 However, the triangulation method described in Patent Document 1 performs a feature point tracking process, and then performs a triangulation process for dividing each frame into triangles having the feature points as vertices to generate a triangle patch. Therefore, there is a possibility that the triangular patch is generated across the planes having different fluctuation amounts. And even though the triangular patch straddles between different planes, the triangular patch is regarded as the same plane and the fluctuation amount is calculated, so the fluctuation amount cannot be calculated accurately and artifacts exist in the synthesized high resolution image There is a problem of doing.
本発明は上記問題点に着目してなされたもので、アーチファクトのない高精細な高解像度画像の生成が可能な画像処理装置を提供することを目的とする。 The present invention has been made paying attention to the above-described problems, and an object thereof is to provide an image processing apparatus capable of generating a high-definition high-resolution image without artifacts.
このため、本発明は、複数の画像からこれら画像より高解像度の画像を生成する画像処理装置であって、同一の対象物を撮像した複数の低解像度画像を入力する撮像画像入力部と、前記複数の低解像度画像から高解像度化の基準とする画像を基準フレームとして選択する基準フレーム選択部と、基準フレーム以外の他の画像を参照フレームとして前記基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出する画像変動量算出部と、該画像変動量算出部で算出した前記変動量に基づいて、前記基準フレームと各参照フレームの各画素位置を高解像度画像の各画素位置に射影して合成し前記高解像度の画像を生成する画像合成部と、を備え、前記画像変動量算出部は、基準フレームで抽出した特徴点を各参照フレームについて追跡処理し、少なくとも３つ以上の特徴点を選択して基準フレームと各参照フレーム間の特徴点の対応関係に基づいて射影変換行列を算出し、算出した射影変換行列に適合する特徴点を探索して同一平面上の特徴点集合を生成し、各参照フレームの各画素について、特徴点集合から得られる射影変換行列を用いて基準フレームの画像の異なる平面毎に生成される前記特徴点集合の中で最も適合する特徴点集合を選択し、各参照フレームの各画素について、選択された特徴点集合から得られる射影変換行列を用いて基準フレームの対応する画素に対する変動量を算出して基準フレームの画像に対する各参照フレームの画像の前記変動量を算出する構成であることを特徴とする。 For this reason, the present invention is an image processing device that generates a higher resolution image than a plurality of images from a plurality of images, and a captured image input unit that inputs a plurality of low resolution images obtained by capturing the same object, A reference frame selection unit that selects, as a reference frame, an image serving as a reference for high resolution from a plurality of low resolution images, and each reference frame for each pixel on the image of the reference frame using an image other than the reference frame as a reference frame An image variation amount calculation unit that calculates a variation amount of each pixel on the image of the image, and based on the variation amount calculated by the image variation amount calculation unit, each pixel position of the reference frame and each reference frame is a high-resolution image. An image composition unit that projects and synthesizes each pixel position to generate the high-resolution image, and the image variation amount calculation unit uses the feature points extracted in the reference frame as the reference frames. A feature that conforms to the calculated projective transformation matrix by calculating at least three or more feature points and calculating a projective transformation matrix based on the correspondence between the feature points between the reference frame and each reference frame. A feature point set on the same plane is generated by searching for points, and for each pixel of each reference frame, the feature is generated for each different plane of the image of the base frame using a projective transformation matrix obtained from the feature point set The most suitable feature point set in the point set is selected, and the amount of variation with respect to the corresponding pixel of the reference frame is calculated for each pixel of each reference frame using the projective transformation matrix obtained from the selected feature point set. Thus, the variation amount of each reference frame image with respect to the base frame image is calculated.
かかる構成では、同一の対象物を撮像した複数の低解像度画像を撮像画像入力部から入力し、基準フレーム選択部で複数の低解像度画像から高解像度化の基準とする画像を基準フレームとして選択する。画像変動量算出部は、基準フレームで抽出した特徴点を各参照フレームについて追跡処理し、少なくとも３つ以上の特徴点を選択して基準フレームと各参照フレーム間の特徴点の対応関係に基づいて射影変換行列を算出し、算出した射影変換行列に適合する特徴点を探索して同一平面上の特徴点集合を生成し、各参照フレームの各画素について、各特徴点集合から得られる射影変換行列を用いて基準フレームの画像の異なる平面毎に生成される前記特徴点集合の中で最も適合する特徴点集合を選択し、各参照フレームの各画素について、選択された特徴点集合から得られる射影変換行列を用いて基準フレームの対応する画素に対する変動量を算出して基準フレームの画像に対する各参照フレームの画像の変動量を算出する。そして、画像合成部は、画像変動量算出部で算出した変動量に基づいて、基準フレームと各参照フレームの各画素位置を高解像度画像の各画素位置に射影して合成し高解像度の画像を生成する。これにより、基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量の算出処理が、変動量を同じ変換行列で表現できる同一平面領域毎に行えるので、変動量の算出精度が向上して合成した高解像度画像についてアーチファクト（データエラー）を低減できるようになる。 In such a configuration, a plurality of low-resolution images obtained by capturing the same object are input from the captured image input unit, and a reference frame selection unit selects, from the plurality of low-resolution images, a reference image for high resolution as a reference frame. . The image fluctuation amount calculation unit tracks the feature points extracted in the reference frame for each reference frame, selects at least three feature points, and based on the correspondence between the feature points between the reference frame and each reference frame A projective transformation matrix is calculated, a feature point set on the same plane is generated by searching for feature points matching the calculated projective transformation matrix, and a projective transformation matrix obtained from each feature point set for each pixel of each reference frame Is used to select the most suitable feature point set among the feature point sets generated for different planes of the image of the base frame, and for each pixel of each reference frame, a projection obtained from the selected feature point set A variation amount for the corresponding pixel of the base frame is calculated using the transformation matrix, and a variation amount of the image of each reference frame with respect to the image of the base frame is calculated. Then, based on the fluctuation amount calculated by the image fluctuation amount calculation unit, the image synthesis unit projects and synthesizes each pixel position of the base frame and each reference frame on each pixel position of the high-resolution image, and synthesizes the high-resolution image. Generate. As a result, the fluctuation amount calculation process for each pixel on each reference frame image for each pixel on the base frame image can be performed for each same plane area in which the fluctuation amount can be expressed by the same transformation matrix. Artifacts (data errors) can be reduced for high-resolution images synthesized with improved accuracy.
前記画像変動量算出部は、請求項２のように、基準フレーム上の画像から特徴点を抽出し、抽出した特徴点を各参照フレームについて追跡処理する特徴点追跡部と、前記基準フレーム上の特徴点から少なくとも３つ以上の特徴点を選択して初期特徴点集合を生成し、前記特徴点追跡部から得られた基準フレームと各参照フレーム間の特徴点の対応関係に基づいて前記初期特徴点集合から射影変換行列を算出し、基準フレームの全ての特徴点について算出した前記射影変換行列に適合する特徴点を探索し、適合する特徴点を前記初期特徴点集合に追加して初期特徴点集合を更新し、同一平面上の特徴点集合を生成する同一平面上特徴点集合生成部と、各参照フレームの各画素について、前記同一平面上特徴点集合生成部により基準フレームの画像の異なる平面毎に生成される前記各特徴点集合から得られる各射影変換行列を用いて基準フレーム上に射影し、射影結果に基づいて前記異なる平面毎に生成される特徴点集合の中で最も適合する特徴点集合を選択し、各参照フレームの各画素について、選択された特徴点集合から得られる射影変換行列を用いて基準フレームの対応する画素に対する変動量を算出して基準フレームの画像に対する各参照フレームの画像の前記変動量を算出する平面選択部と、を備えて構成される。 The image variation amount calculation unit extracts a feature point from an image on a base frame and tracks the extracted feature point for each reference frame, and a feature point tracking unit on the base frame. At least three or more feature points are selected from the feature points to generate an initial feature point set, and the initial feature is based on the correspondence between the feature points between the reference frame and each reference frame obtained from the feature point tracking unit. A projective transformation matrix is calculated from the point set, a feature point that matches the projected transformation matrix calculated for all feature points of the reference frame is searched, and a matching feature point is added to the initial feature point set to obtain an initial feature point. A set of feature points on the same plane that updates the set and generates a set of feature points on the same plane, and an image of the reference frame for each pixel of each reference frame by the feature point set generator on the same plane. Projecting onto a reference frame using each projection transformation matrix obtained from each feature point set generated for each different plane, and the most among the feature point sets generated for each different plane based on the projection result A matching feature point set is selected, and for each pixel of each reference frame, a variation amount for the corresponding pixel of the base frame is calculated using a projective transformation matrix obtained from the selected feature point set, and an image of the base frame is calculated. A plane selection unit that calculates the variation amount of the image of each reference frame.
請求項３のように、前記同一平面上特徴点集合生成部は、前記初期特徴点集合から算出される射影変換行列を用いて基準フレームの全ての特徴点を射影し、射影結果の特徴点位置と前記特徴点追跡部から得られた各参照フレームの特徴点位置とのずれ量を算出し、前記ずれ量が予め定めた閾値未満のとき前記射影変換行列に対する適合度合いが高いと判定し、その特徴点を前記初期特徴点集合に加えて初期特徴点集合を更新し、特徴点集合に変動がなくなったときの特徴点集合を、同一平面上の特徴点集合として生成する構成とするとよい。 The feature point set generation unit on the same plane projects all the feature points of the reference frame using a projective transformation matrix calculated from the initial feature point set, and the feature point position of the projection result And the feature point position of each reference frame obtained from the feature point tracking unit is calculated, and when the amount of deviation is less than a predetermined threshold, it is determined that the degree of conformity to the projective transformation matrix is high, The feature point set may be added to the initial feature point set to update the initial feature point set, and the feature point set may be generated as a feature point set on the same plane when there is no change in the feature point set.
請求項３の構成において、請求項４のように、前記同一平面上特徴点集合生成部は、前記ずれ量の算出結果に基づいて、前記初期特徴点集合から特徴点数が増加しないときは、前記特徴点集合が異なる平面に跨る特徴点で構成される特徴点集合であると判断し、再度、基準フレーム上の他の特徴点を選択して初期特徴点集合を生成する構成とするとよい。 In the configuration of claim 3, as in claim 4, when the feature point set generation unit on the same plane does not increase the number of feature points from the initial feature point set based on the calculation result of the deviation amount, The feature point set may be determined as a feature point set composed of feature points straddling different planes, and another feature point on the reference frame may be selected again to generate an initial feature point set.
請求項５のように、前記閾値は、生成する高解像度画像を低解像度画像のｎ倍の解像度にするとき、１／ｎピクセルに設定するとよい。 The threshold value may be set to 1 / n pixel when the generated high resolution image has a resolution n times that of the low resolution image.
請求項６のように、前記平面選択部は、各参照フレームの各画素について、前記同一平面上特徴点集合生成部により基準フレームの画像の異なる平面毎に生成される前記各特徴点集合から得られる各射影変換行列を用いて基準フレーム上に射影し、射影したそれぞれの各参照フレームの各画素の画素値と基準フレームの対応する画素の画素値との差分をそれぞれ算出し、差分が最小となる射影変換行列に対応する特徴点集合を最も適合する特徴点集合として選択する構成とするとよい。 According to a sixth aspect of the present invention, the plane selection unit obtains each pixel of each reference frame from each feature point set generated for each different plane of the image of the base frame by the same plane feature point set generation unit. Each of the projected transformation matrices is projected onto the base frame, and the difference between the pixel value of each pixel of each projected reference frame and the pixel value of the corresponding pixel of the base frame is calculated, and the difference is minimized. The feature point set corresponding to the projective transformation matrix may be selected as the most suitable feature point set.
請求項６の構成において、請求項７のように、前記画素値を、輝度値とするとよい。 In the configuration of claim 6, as in claim 7, the pixel value may be a luminance value.
請求項８のように、前記射影変換行列は、４つ以上の特徴点から算出する射影変換行列とし、この場合、請求項９のように、前記同一平面上特徴点集合生成部は、前記基準フレーム上から１つの特徴点を選択し、この選択した特徴点近傍の少なくとも３つ以上の特徴点を選択して初期特徴点集合を生成するようになる。 As in claim 8, the projective transformation matrix is a projective transformation matrix calculated from four or more feature points, and in this case, as in claim 9, the coplanar feature point set generation unit includes the reference plane One feature point is selected from the frame, and at least three or more feature points near the selected feature point are selected to generate an initial feature point set.
請求項１０のように、前記射影変換行列は、３つ以上の特徴点から算出するアフィン変換行列とし、この場合、請求項１１のように、前記同一平面上特徴点集合生成部は、前記基準フレーム上から１つの特徴点を選択し、この選択した特徴点近傍の少なくとも２つ以上の特徴点を選択して初期特徴点集合を生成するようになる。 As in claim 10, the projective transformation matrix is an affine transformation matrix calculated from three or more feature points, and in this case, as in claim 11, the coplanar feature point set generation unit includes the reference plane One feature point is selected from the frame, and at least two or more feature points near the selected feature point are selected to generate an initial feature point set.
本発明の画像処理装置によれば、基準フレームで抽出した特徴点の追跡処理で得られる基準フレームと各参照フレーム間の特徴点の対応関係に基づいて射影変換行列を算出し、算出した射影変換行列に適合する特徴点を探索して同一平面上の特徴点集合を生成し、各参照フレームの各画素について、同一平面上の特徴点集合から得られる射影変換行列を用いて，基準フレームの画像の異なる平面毎に生成される特徴点集合の中で最も適合する特徴点集合を選択し、各参照フレームの各画素について、選択された特徴点集合から得られる射影変換行列を用いて基準フレームの対応する画素に対する変動量を算出して基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出する構成としたので、変動量を同じ変換行列で表現できる同一平面領域毎に、基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出することが可能となり、画像の変動量の算出精度を向上できる。従って、アーチファクト（データエラー）の極めて少ない高精細な高解像度画像を得ることができる超解像処理を提供することができる。 According to the image processing device of the present invention, a projective transformation matrix is calculated based on a correspondence relationship between feature points between a reference frame and each reference frame obtained by tracking processing of feature points extracted from the reference frame, and the calculated projective transformation Search for feature points that match the matrix to generate a set of feature points on the same plane, and use the projective transformation matrix obtained from the set of feature points on the same plane for each pixel in each reference frame to generate an image of the base frame A feature point set that is most suitable among feature point sets generated for different planes of the reference frame is selected, and for each pixel of each reference frame, a projection transformation matrix obtained from the selected feature point set is used. Since the variation amount for the corresponding pixel is calculated to calculate the variation amount of each pixel on each reference frame image for each pixel on the base frame image, the variation amount is converted to the same Flush each region that can be represented by the column, it is possible to calculate the variation of each pixel on the image of the reference frame for each pixel in the image of the reference frame, thereby improving the calculation accuracy of the variation of image. Therefore, it is possible to provide a super-resolution process capable of obtaining a high-definition high-resolution image with very little artifact (data error).
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明に係る画像処理装置の一実施形態を示す構成図である。
図１において、本実施形態の画像処理装置は、撮像画像入力部１と、撮像画像記憶部２と、基準フレーム選択部３と、画像変動量算出部４と、画像合成部５と、高解像度画像出力部６とを備えて構成される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing an embodiment of an image processing apparatus according to the present invention.
In FIG. 1, the image processing apparatus of the present embodiment includes a captured image input unit 1, a captured image storage unit 2, a reference frame selection unit 3, an image fluctuation amount calculation unit 4, an image composition unit 5, and a high resolution. And an image output unit 6.
前記撮像画像入力部１は、カメラやビデオ等の撮像装置で撮像した低解像度の画像を入力する。例えば、異なる角度、距離、時間等の変位を持った同一の対象物を撮影した複数の画像や、ビデオ映像における一連のシーケンス等、若干の位置ずれを持つ複数の画像を時系列的に低解像度の画像フレーム列として入力する。尚、入力する画像は、必ずしも時系列な画像でなくともよい。 The captured image input unit 1 inputs a low-resolution image captured by an imaging device such as a camera or a video. For example, multiple images with the same object at different angles, distances, time, etc., and multiple images with slight misalignment, such as a series of sequences in video images, have low resolution over time. As an image frame sequence. Note that the input image does not necessarily have to be a time-series image.
前記撮像画像記憶部２は、撮像画像入力部１によって入力された入力画像の中、超解像処理に利用する数の画像を記憶する。 The captured image storage unit 2 stores the number of images used for super-resolution processing among the input images input by the captured image input unit 1.
前記基準フレーム選択部３は、撮像画像記憶部２に記憶された低解像度の画像フレーム列の中から１つの画像フレームを任意に基準フレーム選択として選択する。選択する基準フレームは、画像列の最初、中間、最後のいずれの位置の画像フレームでもよい。 The reference frame selection unit 3 arbitrarily selects one image frame as a reference frame selection from the low-resolution image frame sequence stored in the captured image storage unit 2. The reference frame to be selected may be an image frame at any of the first, middle, and last positions in the image sequence.
画像変動量算出部４は、基準フレーム以外の画像を参照フレームとして基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量（移動量と移動方向）を算出するもので、特徴点追跡部４Ａと、同一平面上特徴点集合生成部４Ｂと、平面選択部４Ｃとを備える。
The image fluctuation amount calculation unit 4 calculates the fluctuation amount (movement amount and movement direction) of each pixel on each reference frame image with respect to each pixel on the reference frame image using an image other than the reference frame as a reference frame. , A feature
前記特徴点追跡部４Ａは、基準フレーム上の画素から特徴点を抽出し、抽出した特徴点が各参照フレームのどの位置に対応するかを追跡処理（トラッキング）する。特徴点の抽出及び追跡（トラッキング）には、従来公知の例えばＴｏｍａｓｉ等の方法（Carlo Tomasi and Takeo Kanade. Detection and tracking of point features. Carnegie Mellon University Technical Report CMU-CS pages 91-132, April 1991）を使用することができる。この方法は、物体の角や輪郭等の追跡し易い特徴的な点を特徴点として自動選択するもので、画像の１次微分成分が大きく、且つ垂直成分と水平成分の相関がないものが選択される。基準フレーム上で特徴点を抽出してその座標リストを作成する。各参照フレームについて基準フレームで抽出した特徴点に関して勾配法による追跡処理を行い、基準フレーム上の各特徴点と対応する各特徴点の座標リストを、各参照フレームについてそれぞれ作成する。
The feature
前記同一平面上特徴点集合生成部４Ｂは、基準フレーム上の特徴点から少なくとも３つ以上の特徴点を選択して初期特徴点集合を生成し、特徴点追跡部４Ａから得られた基準フレームと各参照フレーム間の特徴点の対応関係に基づいて初期特徴点集合から基準フレームの部分領域（同一平面領域）とそれに対応する参照フレームの部分領域（同一平面領域）の変換を表す射影変換行列を算出し、基準フレームの全ての特徴点について算出した射影変換行列に適合する特徴点を探索し、適合する特徴点を初期特徴点集合に追加して初期特徴点集合を更新し、３次元空間で同一平面上に存在すると思われる特徴点集合を生成して同一平面上特徴点集合として記憶する。本実施形態では、基準フレーム上の特徴点から４つ以上の特徴点を選択して初期特徴点集合を生成し、算出する射影変換行列として平面射影変換行列を算出する構成である。
The feature point set
前記平面選択部４Ｃは、各参照フレームの各画素が同一平面上特徴点集合生成部４Ｂで記憶された同一平面上特徴点集合の中のどの特徴点集合のなす平面に所属するのが適切かを決定し、その決定結果を基に各画素の対応位置を算出し、基準フレームの対応する画素に対する各参照フレームの各画素の変動量を算出して基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出する。具体的には、各参照フレームの各画素について、同一平面上特徴点集合生成部４Ｂにより基準フレームの画像の異なる平面毎に生成され記憶された各特徴点集合から得られる各平面射影変換行列を用いて基準フレーム上に射影し、射影結果に基づいて全ての特徴点集合の中で最も適合する特徴点集合を選択し、各参照フレームの各画素について、選択された特徴点集合から得られる平面射影変換行列を用いて基準フレームの対応する画素に対する変動量を算出して基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出する。
In the
前記画像合成部５は、画像変動量算出部４で算出された基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量に基づいて、高解像度画像の各画素位置にそれぞれの低解像度画像の各画素位置を射影することにより、低解像画像である基準フレームの画像と各参照フレームの画像を合成して高解像度画像を生成する。 The image synthesizing unit 5 is arranged at each pixel position of the high-resolution image based on the variation amount of each pixel on each reference frame image with respect to each pixel on the base frame image calculated by the image variation amount calculation unit 4. By projecting each pixel position of each low-resolution image, a high-resolution image is generated by synthesizing the image of the reference frame, which is a low-resolution image, and the image of each reference frame.
高解像度画像出力部６は、画像合成部５で合成した高解像度画像を出力する。 The high resolution image output unit 6 outputs the high resolution image synthesized by the image synthesis unit 5.
次に、本実施形態の画像処理装置の超解像処理動作を、図２〜図５に示すフローチャートを参照しながら説明する。
ステップ１（図中、Ｓ１で示す。以下同様とする）では、異なる角度、距離、時間等の変位を持った同一の対象物を撮影した複数の画像や、ビデオ映像における一連のシーケンス等、若干の位置ずれを持つ複数の画像を、低解像度の画像フレーム列として撮像画像入力部１に入力し、入力した画像フレーム列の中から超解像処理に利用する枚数分、撮像画像記憶部２に保存する。
Next, the super-resolution processing operation of the image processing apparatus according to the present embodiment will be described with reference to the flowcharts shown in FIGS.
In step 1 (indicated by S1 in the figure, the same shall apply hereinafter), a plurality of images obtained by photographing the same object having different angles, distances, time, and the like, a series of sequences in a video image, etc. Are input to the captured image input unit 1 as low-resolution image frame sequences, and the number of images to be used for super-resolution processing is input to the captured image storage unit 2 from the input image frame sequences. save.
ステップ２では、基準フレーム選択部３で、撮像画像記憶部２に記憶した複数枚の画像列から任意に１枚の画像を基準フレームとして選択する。 In step 2, the reference frame selection unit 3 arbitrarily selects one image as a reference frame from a plurality of image sequences stored in the captured image storage unit 2.
ステップ３では、画像変動量算出部４で、同一平面上に存在すると思われる特徴点集合を生成するための同一平面上特徴点集合算出処理を実行する。同一平面上特徴点集合算出処理は、例えば、図３のフローチャートのように実行する。 In step 3, the image variation amount calculation unit 4 executes a feature point set calculation process on the same plane for generating a feature point set that seems to exist on the same plane. The feature point set calculation processing on the same plane is executed as shown in the flowchart of FIG. 3, for example.
図３において、ステップ１１で、基準フレーム以外の他の画像を参照フレームとして、特徴点追跡部４Ａで、従来公知の上述したＴｏｍａｓｉ等の方法を使用して、基準フレーム上の特徴点を自動選択し、その特徴点の座標リストを作成する。次いで、各参照フレームについて基準フレームで抽出した特徴点に関して勾配法による追跡処理（トラッキング）を行い、基準フレームの各特徴点と対応する参照フレーム上の各特徴点の座標リストを各参照フレーム毎に作成する。
In FIG. 3, the feature
ステップ１２では、同一平面上特徴点集合生成部４Ｂにより、基準フレームにおいて未選択且つ何れの平面にも所属していない特徴点が存在するか否かを判定し、存在していればステップ１３に進む。同一平面上特徴点集合算出処理の初回では、判定はＮＯでステップ１３に進むことになる。
In step 12, the feature point set
ステップ１３では、新しい同一平面上特徴点候補集合として未選択且つ何れの集合にも所属していない１つの特徴点を任意に選択し、その近傍の３つ以上の特徴点を選択して初期特徴点候補集合を生成する。 In step 13, one feature point that is not selected as a new feature point candidate set on the same plane and does not belong to any set is arbitrarily selected, and three or more feature points in the vicinity thereof are selected, and initial features are selected. A point candidate set is generated.
ステップ１４では、ステップ１３で生成した初期特徴点候補集合とし、３次元空間で初期特徴点候補集合と同一平面上に存在すると思われる特徴点の集合を生成するために、同一平面上特徴点候補集合更新処理を実行する。同一平面上特徴点候補集合更新処理は、図４のフローチャートのように実行する。 In step 14, the initial feature point candidate set generated in step 13 is used, and a feature point candidate on the same plane is generated in order to generate a set of feature points that are supposed to exist on the same plane as the initial feature point candidate set in the three-dimensional space. Perform set update processing. The feature point candidate set update process on the same plane is executed as shown in the flowchart of FIG.
図４において、ステップ２１では、図３の同一平面上特徴点集合算出処理におけるステップ１３で生成した４つ以上の特徴点で構成される初期の同一平面上特徴点候補集合を用いて各参照フレームとの間の平面射影変換行列を算出する。 In FIG. 4, in step 21, each reference frame is used by using an initial coplanar feature point candidate set composed of four or more feature points generated in step 13 in the coplanar feature point set calculation process of FIG. The plane projection transformation matrix between is calculated.
ここで、平面射影変換行列について簡単に説明する。平面射影変換行列は、下記の数１に示す（１）式のような行列で表される。
変換前の座標を（ｘ，ｙ）、射影先の座標を（ｘ′，ｙ′）とすると、平面射影変換行列によって下記の数２に示す（２）式から射影先の座標（ｘ′，ｙ′）を求めることができる。
平面射影変換行列は８つの未知パラメータを持つため、８元方程式を解くことで、これら８つの未知パラメータを求めることができる。（２）式は下記の数３に示す（３）式のように展開できるため、基準フレームと参照フレーム間で対応関係が分かっている少なくとも４組の特徴点座標があれば、未知パラメータを算出することができる。
従って、ステップ２１では、基準フレームの特徴点と各参照フレームの特徴点との対応関係は、前述の特徴点追跡処理によって既に既知であることから、基準フレームの特徴点座標を（ｘ，ｙ）とし、この特徴点に対応する各参照フレームの特徴点座標を（ｘ′，ｙ′）として、数３に示す（３）式を用いて初期の同一平面上特徴点候補集合を構成する４組以上の特徴点から未知パラメータａ〜ｈを算出し、初期の同一平面上特徴点候補集合から各参照フレームとの間のそれぞれの平面射影変換行列を算出する。 Therefore, in step 21, since the correspondence between the feature points of the base frame and the feature points of each reference frame is already known by the above feature point tracking process, the feature point coordinates of the base frame are set to (x, y). 4 sets that constitute the initial feature point candidate set on the same plane using the equation (3) shown in Equation 3 with the feature point coordinates of each reference frame corresponding to this feature point as (x ′, y ′) The unknown parameters a to h are calculated from the above feature points, and the respective plane projective transformation matrices between the reference frames are calculated from the initial set of feature points on the same plane.
図６は、例えば立方体を例として、４つの特徴点で構成される同一平面上特徴点集合から平面射影変換行列を算出する様子を説明する図である。図６中、立方体の各平面内の黒丸は特徴点を示す。図６で、基準フレームの立方体前面の点線で囲まれた４つの特徴点を選択すると、基準フレームの特徴点と各参照フレームの特徴点との対応関係は特徴点追跡処理によって既知であるので、各参照フレームにおいても図の点線で囲まれた４つの対応する特徴点が分かる。従って、参照フレーム数がｎ枚であれば、図６に示すように基準フレームと各参照フレームとの間で平面射影変換行列Ｈ１〜Ｈｎが算出される。 FIG. 6 is a diagram for explaining how a plane projective transformation matrix is calculated from a set of feature points on the same plane composed of four feature points, for example, a cube. In FIG. 6, black circles in each plane of the cube indicate feature points. In FIG. 6, when four feature points surrounded by dotted lines in front of the cube of the base frame are selected, the correspondence between the feature points of the base frame and the feature points of each reference frame is known by the feature point tracking process. In each reference frame, four corresponding feature points surrounded by dotted lines in the figure can be seen. Therefore, if the number of reference frames is n, plane projective transformation matrices H1 to Hn are calculated between the base frame and each reference frame as shown in FIG.
ステップ２２では、各参照フレーム上の全て特徴点について、算出した平面射影変換行列との適合度合いを判定する。ここでは、算出した平面射影変換行列によって（２）式から射影先の座標（ｘ′，ｙ′）を算出し、この算出した座標（ｘ′，ｙ′）と特徴点追跡部４Ａの追跡処理により既に得られた対応する特徴点の座標とのずれ量を算出し、そのずれ量が予め設定した閾値未満か否かを判定してその特徴点の平面射影変換行列との適合度合いを判定する。前記閾値としては、超解像処理で解像度をｎ倍とするのであれば、ずれ量は１／ｎピクセル（１／ｎ画素）未満であることが望ましく１／ｎピクセルに設定すればよい。そして、平面射影変換行例により算出した座標とトラッキングで得られている各参照フレームの特徴点座標とのずれ量が閾値未満のときは適合度合いが高いと判定し、同一平面上の特徴点であると判断する。尚、特徴点の追跡処理の誤差を考慮して、１／ｎ〜２／ｎ未満の誤差を許容するようにした方が望ましく、この場合は、前記閾値を２／ｎピクセルに設定するとよい。
In step 22, the degree of matching with the calculated planar projective transformation matrix is determined for all feature points on each reference frame. Here, the coordinates (x ′, y ′) of the projection destination are calculated from the equation (2) using the calculated plane projection transformation matrix, and the calculated coordinates (x ′, y ′) and the tracking process of the feature
ステップ２３では、ステップ２２で適合度合いが高いと判定した特徴点が存在すれば、その特徴点を初期の同一平面上特徴点候補集合に追加し、初期の同一平面上特徴点候補集合を更新して新たな同一平面上特徴点候補集合とする。 In step 23, if there is a feature point determined to have a high degree of matching in step 22, the feature point is added to the initial feature point candidate set on the same plane, and the initial feature point candidate set on the same plane is updated. To a new feature point candidate set on the same plane.
ステップ２４では、ステップ２３の処理で生成された同一平面上特徴点候補集合に特徴点数の変動がないか否かを判定し、変動があった場合はステップ２１に戻り、新たな特徴点候補集合を構成する特徴点で未知パラメータａ〜ｈを算出して新たな平面射影変換行列を算出し、ステップ２２で、再度、各参照フレーム上の全ての特徴点について新たな平面射影行列との適合度合いを判定し、ステップ２３で、適合度合いが高い特徴点があれば特徴点候補集合に追加する。ステップ２１〜２３の処理を、同一平面上特徴点候補集合における特徴点数に変動がなくなるまで繰返す。ステップ２３で生成された同一平面上特徴点候補集合の特徴点数に変動がなければ、ステップ２４の判定がＹＥＳとなり、同一平面上特徴点候補集合更新処理を終了する。 In step 24, it is determined whether or not the feature point candidate set on the same plane generated in the process of step 23 has a change in the number of feature points. If there is a change, the process returns to step 21, and a new feature point candidate set is obtained. The unknown parameters a to h are calculated from the feature points constituting the new plane projection transformation matrix to calculate a new plane projection transformation matrix, and in step 22, again, all feature points on each reference frame are matched with the new plane projection matrix. In step 23, if there is a feature point having a high degree of matching, it is added to the feature point candidate set. The processes in steps 21 to 23 are repeated until there is no change in the number of feature points in the same plane feature point candidate set. If there is no change in the number of feature points in the same plane feature point candidate set generated in step 23, the determination in step 24 is YES, and the same plane feature point candidate set update process is terminated.
図３に戻り、ステップ１５で、初期の同一平面上特徴点候補から集合内の特徴点が増加しているか否かを判定する。増加していればステップ１６に進み、増加していなければステップ１２に戻る。 Returning to FIG. 3, in step 15, it is determined whether or not the feature points in the set have increased from the initial feature point candidates on the same plane. If it has increased, the process proceeds to step 16, and if it has not increased, the process returns to step 12.
ステップ１６では、ステップ１４の同一平面上特徴点候補集合更新処理で得られた同一平面上特徴点候補集合を同一平面上特徴点集合として登録する。そして、未選択且つ何れの平面にも所属しない特徴点が存在しなくなるまで、ステップ１３〜１６の動作を繰返し、未選択且つ何れの平面にも所属しない特徴点が存在せずステップ１２の判定がＮＯになると、同一平面上特徴点集合算出処理を終了する。 In step 16, the same plane feature point candidate set obtained in the same plane feature point candidate set update process in step 14 is registered as the same plane feature point set. The operations in steps 13 to 16 are repeated until there are no feature points that are not selected and do not belong to any plane, and the feature points that are not selected and do not belong to any plane do not exist and the determination of step 12 is performed. If NO, the feature point set calculation process on the same plane is terminated.
図７の（Ａ）〜（Ｃ）は、図４の同一平面上特徴点候補集合更新処理による図６に示す立方体の前面、上面、側面の特徴点集合の変動の様子を示している。図中の破線で囲んだように特徴点数が更新され、同一平面上特徴点候補集合更新処理により、下段に示すように同じ平面内に存在する特徴点集合が生成される。即ち、ステップ１３〜１６の動作を繰返し行うことで、図７の（Ａ）〜（Ｃ）のように、前面、上面、側面のそれぞれの面について同一平面上特徴点集合が求められる。 FIGS. 7A to 7C show how the feature point sets on the front surface, the upper surface, and the side surface of the cube shown in FIG. 6 change by the same-plane feature point candidate set update processing of FIG. The number of feature points is updated as surrounded by a broken line in the figure, and a feature point set existing in the same plane is generated as shown in the lower row by the same plane feature point candidate set update processing. That is, by repeating the operations in steps 13 to 16, a set of feature points on the same plane is obtained for each of the front surface, the upper surface, and the side surfaces as shown in FIGS.
初期の特徴点候補集合を生成する際、任意に１つの特徴点を選択し、その近傍の３点以上を選択して生成するので、初期の特徴点候補集合が、図８のように異なる平面に跨った特徴点で構成されることが考えられる。このような初期の特徴点候補集合から算出される平面射影変換行列と適合度合いが高い特徴点は存在せず、このような初期の特徴点候補集合は特徴点数が増加せず、ステップ１５でＮＯと判定される。従って、初期の特徴点候補集合が更新されずにステップ１５の判定がＮＯとなることで、図８のような初期の特徴点候補集合が生成されていると判断できる。図８のような初期特徴点候補集合が生成されていると判断したときは、別の特徴点を選択して初期の特徴点候補集合を生成し直せばよい。 When an initial feature point candidate set is generated, one feature point is arbitrarily selected, and three or more neighboring points are selected and generated. Therefore, the initial feature point candidate set has different planes as shown in FIG. It may be composed of feature points straddling the There is no feature point having a high degree of matching with the planar projection transformation matrix calculated from such an initial feature point candidate set, and the number of feature points does not increase in such an initial feature point candidate set. It is determined. Therefore, if the initial feature point candidate set is not updated and the determination in step 15 is NO, it can be determined that an initial feature point candidate set as shown in FIG. 8 has been generated. When it is determined that the initial feature point candidate set as shown in FIG. 8 has been generated, another feature point may be selected to generate the initial feature point candidate set again.
図２に戻り、ステップ３の同一平面上特徴点集合算出処理が終了すると、ステップ４で、平面選択処理を実行する。平面選択処理は、各参照フレームの各画素がステップ３の同一平面上特徴点集合算出処理で得られた特徴点集合平面のどの平面に存在するのが適切かを決定するための処理であり、この処理によって基準フレームの各画素と各参照フレームの各画素と対応位置関係が分かる。平面選択処理は、図５のフローチャートのように実行する。 Returning to FIG. 2, when the feature point set calculation process on the same plane in step 3 is completed, the plane selection process is executed in step 4. The plane selection process is a process for determining which plane of the feature point set plane obtained by the feature point set calculation process on the same plane in step 3 is appropriate for each pixel of each reference frame. By this processing, the corresponding positional relationship between each pixel of the base frame and each pixel of each reference frame is known. The plane selection process is executed as shown in the flowchart of FIG.
図５において、ステップ３１では、各参照フレームの全ての画素についてその画素値と基準フレームの対応する画素の画素値との差分を算出したかを判定する。判定がＮＯであれば、ステップ３２に進む。平面選択処理の初回ではステップ３２の判定はＮＯとなり、ステップ３２に進む。 In FIG. 5, in step 31, it is determined whether the difference between the pixel value of all the pixels in each reference frame and the pixel value of the corresponding pixel in the base frame has been calculated. If the determination is no, the process proceeds to step 32. In the first plane selection process, the determination in step 32 is NO and the process proceeds to step 32.
ステップ３２では、各参照フレームの各画素について、図２のステップ３の同一平面上特徴点集合算出処理で登録された各同一平面上特徴点集合から得られるそれぞれの平面射影変換行列を用いて、基準フレームに近い画像となるように各参照フレームの画素を射影変換する。 In step 32, for each pixel of each reference frame, using the respective planar projective transformation matrices obtained from the same plane feature point set registered in the same plane feature point set calculation process of step 3 in FIG. Projective transformation is performed on the pixels of each reference frame so as to obtain an image close to the reference frame.
ステップ３３では、ステップ３２で変換した各参照フレームの各画素について、その画素値と基準フレームの対応する画素の画素値との差分を算出する。 In step 33, for each pixel of each reference frame converted in step 32, the difference between the pixel value and the pixel value of the corresponding pixel in the base frame is calculated.
ステップ３１に戻り、判定がＹＥＳになれば、ステップ３４に進む。 Returning to step 31, if the determination is yes, the process proceeds to step 34.
ステップ３４では、ステップ３３の算出結果に基づいて各画素について最も適合度合いの高い同一平面上特徴点集合を選択する。具体的には、ステップ３３で算出した差分が最小となる平面射影変換行列に対応する特徴点集合を、最も適合度合いの高い同一平面上特徴点集合として選択する。これにより、平面選択処理を終了する。 In step 34, a set of feature points on the same plane having the highest degree of matching is selected for each pixel based on the calculation result of step 33. Specifically, the feature point set corresponding to the planar projective transformation matrix that minimizes the difference calculated in step 33 is selected as the feature point set on the same plane having the highest degree of matching. Thereby, the plane selection process is terminated.
図９〜図１２は、平面選択処理の処理過程の様子を説明する図である。例えば、図９に示すような４枚の低解像度の画像列が入力されたとする。この図は、丸い物体と四角い物体がそれぞれ移動している状況を想定したものである。この画像列の１つを基準フレームとして選択し、図３の同一平面上特徴点集合算出処理によって、図１０のような丸い物体領域と四角い物体領域について特徴点集合が得られたとする。これら特徴点集合から得られるそれぞれの平面射影変換行列を用いて他の３枚の各参照フレーム１〜３の画像を基準フレームの画像に近づくように射影変換する。かかる射影変換処理（図５のステップ３２）によって、図１１に示すような画像が得られる。図１１の上段は、各参照フレーム１〜３において、丸い物体領域の特徴点集合から得られるそれぞれの平面射影変換行列Ｈ１１〜Ｈ３１を用いて各参照フレーム１〜３の画像を基準フレームの画像に近づくように射影変換した画像である。図１１の下段は、各参照フレーム１〜３において、四角い物体領域の特徴点集合から得られるそれぞれの平面射影変換行列Ｈ１２〜Ｈ３２を用いて各参照フレーム１〜３の画像を基準フレームの画像に近づくように射影変換した画像である。ここで、Ｈ１１〜Ｈ３１は、基準フレームに対する各参照フレーム１〜３の丸い物体領域の特徴点集合から得られる平面射影変換行列であり、Ｈ１２〜Ｈ３２は、基準フレームに対する各参照フレーム１〜３の四角い物体領域の特徴点集合から得られる平面射影変換行列である。 FIG. 9 to FIG. 12 are diagrams for explaining the process of the plane selection process. For example, assume that four low-resolution image sequences as shown in FIG. 9 are input. This figure assumes a situation where a round object and a square object are moving. Assume that one of the image sequences is selected as a reference frame, and a feature point set is obtained for a round object region and a square object region as shown in FIG. 10 by the same plane feature point set calculation processing of FIG. Using the respective planar projective transformation matrices obtained from these feature point sets, the projective transformation is performed so that the images of the other three reference frames 1 to 3 approach the base frame image. By such projective transformation processing (step 32 in FIG. 5), an image as shown in FIG. 11 is obtained. In the upper part of FIG. 11, the images of the reference frames 1 to 3 are converted into the images of the reference frames using the respective plane projection transformation matrices H11 to H31 obtained from the feature point sets of the round object regions in the reference frames 1 to 3. It is an image obtained by projective transformation so as to approach. In the lower part of FIG. 11, the images of the reference frames 1 to 3 are converted into the images of the reference frames using the respective plane projection transformation matrices H12 to H32 obtained from the feature point sets of the square object regions in the reference frames 1 to 3. It is an image obtained by projective transformation so as to approach. Here, H11 to H31 are plane projective transformation matrices obtained from the feature point set of the round object region of each reference frame 1 to 3 for the reference frame, and H12 to H32 are the reference frames 1 to 3 for the reference frame. This is a planar projective transformation matrix obtained from a feature point set of a square object region.
次に、各参照フレーム１〜３について、図１１の上段に示す丸い物体領域の特徴点集合から得られる平面射影変換行列Ｈ１１〜Ｈ３１を用いた変換画像の各画素の画素値と基準フレームの対応する画素の画素値との差分を算出する。同じく、各参照フレーム１〜３について、図１１の下段に示す四角い物体領域の特徴点集合から得られる平面射影変換行列Ｈ１２〜Ｈ３２を用いた変換画像の各画素の画素値と基準フレームの対応する画素の画素値との差分を算出する。そして、どちらの差分が小さいかを判定し、差分の小さい方の平面射影変換行列に対応する特徴点集合で構成される平面を適合度合いの高い平面として選択する。これにより、各参照フレーム１〜３の各画素について適合度合いの高い平面射影変換行列が求まり、各画素の変動量を算出できる。 Next, for each of the reference frames 1 to 3, the correspondence between the pixel value of each pixel of the converted image using the planar projective transformation matrices H11 to H31 obtained from the feature point set of the round object region shown in the upper part of FIG. The difference from the pixel value of the pixel to be calculated is calculated. Similarly, for each of the reference frames 1 to 3, the pixel value of each pixel of the converted image using the planar projection transformation matrix H12 to H32 obtained from the feature point set of the rectangular object region shown in the lower part of FIG. 11 corresponds to the reference frame. The difference from the pixel value of the pixel is calculated. Then, it is determined which difference is smaller, and a plane constituted by the feature point set corresponding to the plane projection transformation matrix having the smaller difference is selected as a plane having a high degree of matching. As a result, a plane projection transformation matrix having a high degree of conformity is obtained for each pixel of each reference frame 1 to 3, and the variation amount of each pixel can be calculated.
例えば、図１２において、図の上段に示す基準フレームの丸い物体領域内の「○」で囲われた領域と、四角い物体領域内の「△」で囲われた領域を考える。各参照フレーム１〜３について、丸い物体領域の特徴点集合から得られる平面射影変換行列Ｈ１１〜Ｈ３１で変換した場合は図の中段に示すような画像が得られる。四角い物体領域の特徴点集合から得られる平面射影変換行列Ｈ１２〜Ｈ３２で変換した場合は図の下段に示すような画像が得られる。各参照フレーム１〜３について、基準フレームの画像と比較した場合、「○」で囲われた領域については、丸い物体領域の特徴点集合から得られる平面射影変換行列Ｈ１１〜Ｈ３１で変換した中段の画像の方が基準フレームに近似しており適合度合いが高い。「△」で囲われた領域については、四角い物体領域の特徴点集合から得られる平面射影変換行列Ｈ１２〜Ｈ３２で変換した下段の画像の方が基準フレームに近似しており適合度合いが高いことが分かる。これにより、基準フレームの各画素に対応する各参照フレームの各画素の平面射影変換行列が求まり、その平面射影変換行列を用いて基準フレームの各画素に対する各参照フレームの各画素の変動量が算出できる。 For example, in FIG. 12, an area surrounded by “◯” in the round object area of the reference frame shown in the upper part of the figure and an area surrounded by “Δ” in the square object area are considered. When each of the reference frames 1 to 3 is converted by the planar projective transformation matrices H11 to H31 obtained from the feature point set of the round object region, an image as shown in the middle of the figure is obtained. When the transformation is performed using the planar projective transformation matrices H12 to H32 obtained from the feature point set of the square object region, an image as shown in the lower part of the figure is obtained. When each reference frame 1 to 3 is compared with the image of the base frame, the area surrounded by “◯” is the middle stage transformed by the plane projective transformation matrix H11 to H31 obtained from the feature point set of the round object area. The image is closer to the reference frame and has a higher degree of matching. For the region surrounded by “Δ”, the lower image transformed by the plane projection transformation matrix H12 to H32 obtained from the feature point set of the square object region is closer to the reference frame and has a higher degree of matching. I understand. As a result, a plane projection transformation matrix of each pixel of each reference frame corresponding to each pixel of the base frame is obtained, and a variation amount of each pixel of each reference frame with respect to each pixel of the base frame is calculated using the plane projection transformation matrix. it can.
図２に戻り、ステップ４の平面選択処理が終了すると、ステップ５で、画像合成部５により画像合成処理を実行する。平面選択部４Ｃでは、各参照フレームの各画素について平面射影変換行列により基準フレームの対応する各画素とのずれ量（移動方向と移動量）が算出される。画像合成部５は、解像度倍率に基づいて予め設定した高解像度画像の適切な画素位置に、前記変動量に応じて基準フレームと各参照フレームの各画素を射影して画像を合成する。具体的には、例えば、解像度をｎ倍に設定した場合、基準フレームの画素位置と対応する各参照フレームにおける各画素の、基準フレームに対するずれ量が１／ｎピクセル未満であれば、高解像度画像における画素位置において、参照フレームの画素を基準フレームの画素と同じ位置に射影し、参照フレームの画素の、基準フレームに対するずれ量が１／ｎピクセル以上であれば、そのずれ量に応じて基準フレームの画素とは異なる高解像度画像における画素位置に射影する。これにより、高解像度の画像が生成される。
Returning to FIG. 2, when the plane selection process in step 4 is completed, the image composition process is executed by the image composition unit 5 in step 5. In the
ステップ６では、ステップ５で生成された高解像度画像を高解像度画像出力部６によって外部に出力する。 In step 6, the high resolution image generated in step 5 is output to the outside by the high resolution image output unit 6.
本実施形態の画像処理装置によれば、４つ以上の特徴点からなる初期特徴点集合を生成して平面射影変換行列を算出し、算出した平面射影変換行列に適合する同一平面上特徴点集合を生成し、各参照フレームの各画素について、同一平面上特徴点集合から得られる平面射影変換行列を用いて，基準フレームの画像の異なる平面毎に生成される特徴点集合の中で最も適合する特徴点集合を選択し、選択された特徴点集合から得られる平面射影変換行列を用いて、各参照フレームの各画素について基準フレームの対応する画素に対する変動量を算出して基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出するので、変動量を同じ変換行列で表現できる同一平面領域毎に、基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出することが可能となり、画像の変動量の算出精度を向上できる。従って、アーチファクト（データエラー）の極めて少ない高精細な高解像度画像を得ることができる超解像処理を提供することができる。 According to the image processing apparatus of the present embodiment, an initial feature point set including four or more feature points is generated to calculate a plane projective transformation matrix, and the same plane feature point set that matches the calculated plane projective transformation matrix For each pixel in each reference frame, using the planar projective transformation matrix obtained from the same plane feature point set, the best match among the feature point sets generated for different planes of the base frame image A feature point set is selected, and using a planar projective transformation matrix obtained from the selected feature point set, a variation amount with respect to the corresponding pixel of the reference frame is calculated for each pixel of each reference frame, and an image on the reference frame image is calculated. Since the variation amount of each pixel on the image of each reference frame for each pixel is calculated, the variation amount can be represented for each pixel on the image of the reference frame for each same plane area where the variation amount can be expressed by the same transformation matrix. It is possible to calculate the variation of each pixel on the image of the reference frame, it is possible to improve the calculation accuracy of the variation of image. Therefore, it is possible to provide a super-resolution process capable of obtaining a high-definition high-resolution image with very little artifact (data error).
上記実施形態では、同一平面上の特徴点集合算出処理において、初期の特徴点候補集合を４つ以上の特徴点で構成して平面射影変換行列を算出する構成としたが、例えば、奥行きのない画像や画像の変動が微小な画像等の場合は、射影変換の特殊な場合であるアフィン変換を用いてもよい。アフィン行列は、（１）式の平面射影変換行列における未知パラメータｇ、ｈが０のものであり６つの未知パラメータを持つ。アフィン変換を用いる場合、初期の特徴点候補集合を３つ以上の特徴点で構成すればよく、基準フレームから任意に選択した１つの特徴点の近傍の２点を選択して初期の特徴点集合を生成してアフィン変換行列を算出すればよい。画像の変動がアフィン変換で表現できる場合は平面射影変換ではなくアフィン変換を用いることで、各画素の変動量を求める計算が簡素化できる利点がある。 In the above embodiment, in the feature point set calculation processing on the same plane, the initial feature point candidate set is configured by four or more feature points to calculate the plane projective transformation matrix. However, for example, there is no depth In the case of an image or an image with minute fluctuations, affine transformation, which is a special case of projective transformation, may be used. The affine matrix has zero unknown parameters g and h in the planar projective transformation matrix of equation (1) and has six unknown parameters. When affine transformation is used, the initial feature point candidate set may be composed of three or more feature points, and two points in the vicinity of one feature point arbitrarily selected from the reference frame are selected and the initial feature point set is selected. To calculate the affine transformation matrix. When the variation of the image can be expressed by affine transformation, there is an advantage that the calculation for obtaining the variation amount of each pixel can be simplified by using affine transformation instead of planar projection transformation.
また、同一平面上特徴点集合算出処理に関して、図１３のフローチャートに示すように、図３のフローチャートのステップ１５の判定動作を省略してもよい。その後の図５の平面選択処理において図８のような特徴点集合に適合する画素が存在しないので、図３のフローチャートのステップ１５の判定動作を省略しても問題はない。 Further, regarding the same plane feature point set calculation processing, as shown in the flowchart of FIG. 13, the determination operation in step 15 of the flowchart of FIG. 3 may be omitted. In the subsequent plane selection process of FIG. 5, there is no pixel that matches the feature point set as shown in FIG. 8, so there is no problem even if the determination operation of step 15 in the flowchart of FIG. 3 is omitted.
１ 撮像画像入力部
２ 撮像画像記憶部
３ 基準フレーム選択部
４ 画像変動量算出部
４Ａ 特徴点追跡部
４Ｂ 同一平面上特徴点集合生成部
４Ｃ 平面選択部
５ 画像合成部
６ 高解像度画像出力部
DESCRIPTION OF SYMBOLS 1 Captured image input part 2 Captured image storage part 3 Reference frame selection part 4 Image fluctuation
Claims (11)
同一の対象物を撮像した複数の低解像度画像を入力する撮像画像入力部と、
前記複数の低解像度画像から高解像度化の基準とする画像を基準フレームとして選択する基準フレーム選択部と、
基準フレーム以外の他の画像を参照フレームとして前記基準フレームの画像上の各画素に対する各参照フレームの画像上の各画素の変動量を算出する画像変動量算出部と、
該画像変動量算出部で算出した前記変動量に基づいて、前記基準フレームと各参照フレームの各画素位置を高解像度画像の各画素位置に射影して合成し前記高解像度の画像を生成する画像合成部と、を備え、
前記画像変動量算出部は、基準フレームで抽出した特徴点を各参照フレームについて追跡処理し、少なくとも３つ以上の特徴点を選択して基準フレームと各参照フレーム間の特徴点の対応関係に基づいて射影変換行列を算出し、算出した射影変換行列に適合する特徴点を探索して同一平面上の特徴点集合を生成し、各参照フレームの各画素について、特徴点集合から得られる射影変換行列を用いて基準フレームの画像の異なる平面毎に生成される前記特徴点集合の中で最も適合する特徴点集合を選択し、各参照フレームの各画素について、選択された特徴点集合から得られる射影変換行列を用いて基準フレームの対応する画素に対する変動量を算出して基準フレームの画像に対する各参照フレームの画像の前記変動量を算出する構成であることを特徴とする画像処理装置。 An image processing apparatus that generates a higher resolution image than a plurality of images,
A captured image input unit for inputting a plurality of low-resolution images obtained by capturing the same object;
A reference frame selection unit that selects, as a reference frame, an image serving as a reference for high resolution from the plurality of low resolution images;
An image fluctuation amount calculating unit that calculates a fluctuation amount of each pixel on the image of each reference frame with respect to each pixel on the image of the reference frame using an image other than the reference frame as a reference frame;
An image for generating the high-resolution image by projecting and synthesizing each pixel position of the base frame and each reference frame to each pixel position of the high-resolution image based on the variation amount calculated by the image variation amount calculation unit A synthesis unit,
The image fluctuation amount calculation unit tracks the feature points extracted in the base frame for each reference frame, selects at least three feature points, and based on the correspondence of the feature points between the base frame and each reference frame To calculate a projective transformation matrix, search for feature points that match the calculated projective transformation matrix to generate a feature point set on the same plane, and obtain a projective transformation matrix obtained from the feature point set for each pixel of each reference frame Is used to select the most suitable feature point set among the feature point sets generated for different planes of the image of the base frame, and for each pixel of each reference frame, a projection obtained from the selected feature point set The configuration is such that the variation amount for the corresponding pixel of the reference frame is calculated using a transformation matrix, and the variation amount of each reference frame image with respect to the reference frame image is calculated. The image processing apparatus according to claim.
前記基準フレーム上の特徴点から少なくとも３つ以上の特徴点を選択して初期特徴点集合を生成し、前記特徴点追跡部から得られた基準フレームと各参照フレーム間の特徴点の対応関係に基づいて前記初期特徴点集合から射影変換行列を算出し、基準フレームの全ての特徴点について算出した前記射影変換行列に適合する特徴点を探索し、適合する特徴点を前記初期特徴点集合に追加して初期特徴点集合を更新し、同一平面上の特徴点集合を生成する同一平面上特徴点集合生成部と、
各参照フレームの各画素について、前記同一平面上特徴点集合生成部により基準フレームの画像の異なる平面毎に生成される前記各特徴点集合から得られる各射影変換行列を用いて基準フレーム上に射影し、射影結果に基づいて前記異なる平面毎に生成される特徴点集合の中で最も適合する特徴点集合を選択し、各参照フレームの各画素について、選択された特徴点集合から得られる射影変換行列を用いて基準フレームの対応する画素に対する変動量を算出して基準フレームの画像に対する各参照フレームの画像の前記変動量を算出する平面選択部と、
を備えて構成される請求項１に記載の画像処理装置。 The image fluctuation amount calculation unit extracts a feature point from an image on a standard frame, and a feature point tracking unit that tracks the extracted feature point for each reference frame;
An initial feature point set is generated by selecting at least three feature points from the feature points on the reference frame, and a correspondence relationship between the reference points obtained from the feature point tracking unit and each reference frame is determined. Based on the initial feature point set, a projective transformation matrix is calculated, a feature point that matches the projected transformation matrix calculated for all feature points of the reference frame is searched, and a matching feature point is added to the initial feature point set. Updating the initial feature point set and generating a feature point set on the same plane,
For each pixel of each reference frame, projection is performed on the reference frame using each projective transformation matrix obtained from each feature point set generated for each different plane of the image of the reference frame by the same plane feature point set generation unit. Then, the most suitable feature point set is selected from among the feature point sets generated for each different plane based on the projection result, and the projective transformation obtained from the selected feature point set for each pixel of each reference frame A plane selection unit that calculates the amount of variation of each reference frame image with respect to the image of the base frame by calculating the amount of variation for the corresponding pixel of the base frame using a matrix;
The image processing apparatus according to claim 1, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009167372A JP5499261B2 (en) | 2009-07-16 | 2009-07-16 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009167372A JP5499261B2 (en) | 2009-07-16 | 2009-07-16 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011022805A true JP2011022805A (en) | 2011-02-03 |
| JP5499261B2 JP5499261B2 (en) | 2014-05-21 |
Family
ID=43632826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009167372A Active JP5499261B2 (en) | 2009-07-16 | 2009-07-16 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5499261B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101308946B1 (en) | 2012-02-02 | 2013-09-24 | 한국과학기술연구원 | Method for reconstructing three dimensional facial shape |
| US8774551B2 (en) | 2011-09-14 | 2014-07-08 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for reducing noise |
| KR20160136145A (en) * | 2015-05-19 | 2016-11-29 | 국방과학연구소 | Apparatus and method for target tracking of image |
| CN107346546A (en) * | 2017-07-17 | 2017-11-14 | 京东方科技集团股份有限公司 | A kind of image processing method and device |
| WO2018066027A1 (en) * | 2016-10-03 | 2018-04-12 | オリンパス株式会社 | Image processing device, image capture system, image processing method, and image processing program |
| WO2018221224A1 (en) * | 2017-05-29 | 2018-12-06 | オリンパス株式会社 | Image processing device, image processing method, and image processing program |
| CN109035145A (en) * | 2018-08-02 | 2018-12-18 | 广州市鑫广飞信息科技有限公司 | Video frequency image self adaption joining method and device based on video frame match information |
| WO2021149136A1 (en) * | 2020-01-21 | 2021-07-29 | オリンパス株式会社 | Image processing device, image processing method, and image processing program |
| US11164320B2 (en) * | 2017-12-14 | 2021-11-02 | Olympus Corporation | Image processing apparatus and method for appropriately synthesizing a plurality of images using projection transform matrix calculation |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0762871B2 (en) * | 1987-03-30 | 1995-07-05 | 工業技術院長 | Image processing method |
| WO2005088244A1 (en) * | 2004-03-17 | 2005-09-22 | Sony Corporation | Plane detector, plane detecting method, and robot apparatus with plane detector |
| JP2007000205A (en) * | 2005-06-21 | 2007-01-11 | Sanyo Electric Co Ltd | Image processing apparatus, image processing method, and image processing program |
| JP2007193508A (en) * | 2006-01-18 | 2007-08-02 | Sanyo Electric Co Ltd | Image processor and image processing program |
| JP2008197917A (en) * | 2007-02-13 | 2008-08-28 | Fuji Xerox Co Ltd | Image processing device and image processing program |
| JP2008276621A (en) * | 2007-05-01 | 2008-11-13 | Casio Comput Co Ltd | Image processor, image transformation method and program |
-
2009
- 2009-07-16 JP JP2009167372A patent/JP5499261B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0762871B2 (en) * | 1987-03-30 | 1995-07-05 | 工業技術院長 | Image processing method |
| WO2005088244A1 (en) * | 2004-03-17 | 2005-09-22 | Sony Corporation | Plane detector, plane detecting method, and robot apparatus with plane detector |
| JP2007000205A (en) * | 2005-06-21 | 2007-01-11 | Sanyo Electric Co Ltd | Image processing apparatus, image processing method, and image processing program |
| JP2007193508A (en) * | 2006-01-18 | 2007-08-02 | Sanyo Electric Co Ltd | Image processor and image processing program |
| JP2008197917A (en) * | 2007-02-13 | 2008-08-28 | Fuji Xerox Co Ltd | Image processing device and image processing program |
| JP2008276621A (en) * | 2007-05-01 | 2008-11-13 | Casio Comput Co Ltd | Image processor, image transformation method and program |
Non-Patent Citations (2)
| Title |
|---|
| CSNG200700235003; 島村 潤、外３名: '"プロジェクタ・カメラシステムにおける射影変換行列と直線パターン検出に基づく複数平面の検出"' 映像情報メディア学会誌 Ｖｏｌ．６１， Ｎｏ．１, 200711, ｐ．７６-８４, （社）映像情報メディア学会 * |
| JPN6013024629; 島村 潤、外３名: '"プロジェクタ・カメラシステムにおける射影変換行列と直線パターン検出に基づく複数平面の検出"' 映像情報メディア学会誌 Ｖｏｌ．６１， Ｎｏ．１, 200711, ｐ．７６-８４, （社）映像情報メディア学会 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8774551B2 (en) | 2011-09-14 | 2014-07-08 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for reducing noise |
| KR101308946B1 (en) | 2012-02-02 | 2013-09-24 | 한국과학기술연구원 | Method for reconstructing three dimensional facial shape |
| US8903139B2 (en) | 2012-02-02 | 2014-12-02 | Korea Institute Of Science And Technology | Method of reconstructing three-dimensional facial shape |
| KR20160136145A (en) * | 2015-05-19 | 2016-11-29 | 국방과학연구소 | Apparatus and method for target tracking of image |
| KR101703515B1 (en) | 2015-05-19 | 2017-02-07 | 국방과학연구소 | Apparatus and method for target tracking of image |
| US10715723B2 (en) | 2016-10-03 | 2020-07-14 | Olympus Corporation | Image processing apparatus, image acquisition system, image processing method, and image processing program |
| WO2018066027A1 (en) * | 2016-10-03 | 2018-04-12 | オリンパス株式会社 | Image processing device, image capture system, image processing method, and image processing program |
| CN109791685A (en) * | 2016-10-03 | 2019-05-21 | 奥林巴斯株式会社 | Image processing apparatus, camera system, image processing method and image processing program |
| JPWO2018066027A1 (en) * | 2016-10-03 | 2019-07-18 | オリンパス株式会社 | Image processing apparatus, imaging system, image processing method and image processing program |
| CN109791685B (en) * | 2016-10-03 | 2023-01-10 | 奥林巴斯株式会社 | Image processing device, imaging system, image processing method, and image processing program |
| WO2018221224A1 (en) * | 2017-05-29 | 2018-12-06 | オリンパス株式会社 | Image processing device, image processing method, and image processing program |
| WO2018220681A1 (en) * | 2017-05-29 | 2018-12-06 | オリンパス株式会社 | Image processing device, image processing method, and image processing program |
| US11037310B2 (en) | 2017-05-29 | 2021-06-15 | Olympus Corporation | Image processing device, image processing method, and image processing program |
| CN107346546A (en) * | 2017-07-17 | 2017-11-14 | 京东方科技集团股份有限公司 | A kind of image processing method and device |
| CN107346546B (en) * | 2017-07-17 | 2021-05-04 | 京东方科技集团股份有限公司 | Image processing method and device |
| US11164320B2 (en) * | 2017-12-14 | 2021-11-02 | Olympus Corporation | Image processing apparatus and method for appropriately synthesizing a plurality of images using projection transform matrix calculation |
| CN109035145A (en) * | 2018-08-02 | 2018-12-18 | 广州市鑫广飞信息科技有限公司 | Video frequency image self adaption joining method and device based on video frame match information |
| WO2021149136A1 (en) * | 2020-01-21 | 2021-07-29 | オリンパス株式会社 | Image processing device, image processing method, and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5499261B2 (en) | 2014-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5499261B2 (en) | Image processing device | |
| US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
| JP6236118B2 (en) | 3D data processing apparatus, 3D data processing system, 3D data processing method and program | |
| KR100793838B1 (en) | Appratus for findinng the motion of camera, system and method for supporting augmented reality in ocean scene using the appratus | |
| JP7058277B2 (en) | Reconstruction method and reconfiguration device | |
| JP2007000205A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2007323615A (en) | Image processor and processing method thereof | |
| CN106530322B (en) | Method for tracking target in jittering video | |
| US10311576B2 (en) | Image processing device and image processing method | |
| JP2009109666A (en) | Resolution conversion apparatus, method and program | |
| WO2019093457A1 (en) | Information processing device, information processing method and program | |
| JP2017053795A (en) | Information processing apparatus, position attitude measurement method, and position attitude measurement program | |
| JPWO2009096520A1 (en) | Corresponding point search apparatus and corresponding point searching method | |
| JP2014216813A (en) | Camera attitude estimation device and program therefor | |
| JP2010128608A (en) | Stereo matching processing system, stereo matching processing method, and program | |
| JP3557168B2 (en) | Lens distortion coefficient calculation device and calculation method, computer-readable recording medium storing lens distortion coefficient calculation program | |
| JP4605716B2 (en) | Multi-view image compression encoding method, apparatus, and program | |
| JP4851240B2 (en) | Image processing apparatus and processing method thereof | |
| JP2021018676A (en) | Information processor, information processing method, and program | |
| JP4102386B2 (en) | 3D information restoration device | |
| JP2009237846A (en) | Information processor, information processing method, and computer program | |
| JP2007322404A (en) | Image processing device and its processing method | |
| JP4775903B2 (en) | Free viewpoint image generation method, apparatus and program using multi-viewpoint images | |
| JP2009282762A (en) | Corresponding point retrieval device | |
| JP2013101592A (en) | Three-dimensional coordinate calculation device, three-dimensional coordinate calculation method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120720 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130726 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5499261 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |