WO2019008693A1 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 - Google Patents

画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 Download PDF

Info

Publication number
WO2019008693A1
WO2019008693A1 PCT/JP2017/024579 JP2017024579W WO2019008693A1 WO 2019008693 A1 WO2019008693 A1 WO 2019008693A1 JP 2017024579 W JP2017024579 W JP 2017024579W WO 2019008693 A1 WO2019008693 A1 WO 2019008693A1
Authority
WO
WIPO (PCT)
Prior art keywords
images
image
resolution
low
image processing
Prior art date
Application number
PCT/JP2017/024579
Other languages
English (en)
French (fr)
Inventor
古川　英治
隼一 古賀
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/024579 priority Critical patent/WO2019008693A1/ja
Publication of WO2019008693A1 publication Critical patent/WO2019008693A1/ja
Priority to US16/715,837 priority patent/US11146746B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, an image processing program, and a storage medium, and more particularly to a technology for synthesizing a higher resolution image from a plurality of images.
  • a technique for increasing the resolution of an image a plurality of images are acquired while shifting the imaging device in a direction orthogonal to the optical axis, and pixels of the plurality of images are high resolution images of higher resolution than the plurality of images.
  • a method of generating a high resolution composite image by arranging in space taking into consideration the positional displacement amount see, for example, Patent Document 1).
  • a aliasing noise occurs in an image obtained by photographing a subject such as a fine pattern.
  • aliasing noise is removed by synthesizing a plurality of images whose positions are mutually shifted, and high frequency components are reproduced, so that the effect of improving the resolution can be obtained.
  • Patent Document 1 calculates the degree of similarity between a plurality of images, and controls the composition ratio between the images based on the degree of similarity.
  • one of a plurality of images is used as a reference image, and the other image is used as a reference image, the difference is calculated for each area between the reference image and the reference image, and the similarity between both images is calculated from the difference amount Judging, the synthesis ratio of the reference image is high in the area with high similarity, and the synthesis ratio of the reference image is low in the area with low similarity to prevent the occurrence of artefacts due to the movement or displacement of the subject. .
  • Patent Document 1 when trying to apply the technique of Patent Document 1 to increase the resolution of an image, it is not possible to accurately identify the area of a moving subject (moving body area) and the area of a stationary subject (static area). There is a problem that the composition processing of a single image can not be properly controlled.
  • the present invention has been made in view of the above-described circumstances, and when synthesizing a higher resolution image from a plurality of images, suppression of artifacts in the area of a moving object and aliasing noise occur.
  • an image processing apparatus which combines a plurality of time-series images in which positions of subjects are shifted from each other and combines an image of higher resolution than the plurality of images.
  • the plurality of images are mutually aligned on a high resolution image space having a resolution higher than that of the plurality of images based on the displacement amount between the plurality of images, and the plurality of images are synthesized
  • the images are mutually aligned with the plurality of images on the low resolution image space of the same or lower resolution based on the positional displacement amount, and the two or more images are combined by weighted addition to obtain at least Two low resolution composites
  • a low resolution combining unit that generates an image; a feature amount calculating unit that calculates, in each region, a feature amount related to the correlation between the at least two low resolution combined images generated by the low resolution combining unit;
  • an image correction unit that corrects the high-resolution composite image based on the feature amount calculated by the unit.
  • a plurality of images are mutually aligned on the high resolution image space and then combined, thereby eliminating aliasing noise in the individual images.
  • An image is generated.
  • an artifact occurs in the area of the moving subject (moving body area) in the high resolution composite image.
  • the low resolution combining unit a plurality of images used to generate the high resolution combined image are divided into at least two groups, and two or more images in each group are mutually positioned on the low resolution image space After being combined, they are combined by weighted addition to generate at least two low-resolution combined images from which aliasing noises included in the individual images have been removed.
  • the feature amount calculation unit calculates a feature related to the correlation between low resolution images in each region without being affected by aliasing noise.
  • the region may be a single pixel or a region consisting of a plurality of pixels.
  • the stationary area and the moving body area can be accurately identified based on the feature amount, and appropriate image processing is performed on each of the stationary area and the moving body area in the high resolution composite image. it can. As a result, it is possible to achieve both suppression of artefacts in a moving object region and improvement in resolution of a stationary region in which aliasing noise is generated.
  • the image processing apparatus may further include a positional deviation detection unit that detects the amount of movement between the plurality of images as the amount of positional deviation between the plurality of images. By doing this, it is possible to easily calculate the amount of positional deviation between a plurality of images.
  • the high resolution combining unit may arrange each pixel of the plurality of images on the high resolution image space based on the positional displacement amount. By doing this, it is possible to easily generate a high resolution composite image.
  • the high resolution combining unit may interpolate non-disposed pixels based on pixel information disposed in the high resolution image space. By doing this, it is possible to fill in pixel information of an area in which pixels are not arranged between pixels of one high resolution synthesized image obtained by synthesizing a plurality of images by pixel arrangement, and the resolution is further improved. can do.
  • the low resolution combining unit may arrange each pixel of the two or more images on the low resolution image space based on the positional deviation amount. By doing this, it is possible to easily generate a low resolution composite image.
  • the low resolution combining unit may interpolate unplaced pixels based on pixel information placed in the low resolution image space. By doing this, it is possible to fill in pixel information of an area where there is no pixel arrangement between pixels of one low resolution synthesized image obtained by synthesizing two or more images by pixel arrangement, and the resolution It can be improved.
  • the feature amount calculation unit may extend the distribution of the feature amounts to the resolution of the high-resolution composite image. By doing this, the spatial resolution of the feature amount calculated using at least two low resolution composite images can be made to coincide with the high resolution composite image, and correction in the image correction unit can be facilitated. .
  • the image correction unit enlarges one of the plurality of images to the same image size as the high resolution composite image to generate a magnified image, and the high resolution composite image And the enlarged image may be synthesized at a synthesis ratio based on the feature amount.
  • the image correction unit may increase the synthesis ratio of the high-resolution composite image as the correlation is higher, and may increase the synthesis ratio of the enlarged image as the correlation is lower. .
  • the resolution improvement effect is further enhanced in the region where the correlation is high, and the effect of suppressing the artifact due to the blur of the subject is further enhanced in the region where the correlation is low.
  • an image acquisition unit for acquiring a plurality of time-series images
  • the image processing apparatus for processing the plurality of images acquired by the image acquisition unit.
  • An imaging device comprising the
  • the image acquisition unit includes an imaging element, a sensor shift mechanism that shifts the position of the imaging element in the direction of arrangement of pixels of the imaging element, and a shift of the imaging element by the sensor shift mechanism.
  • a sensor shift control unit may be provided to control the direction and the shift amount. By doing this, the sensor shift mechanism shifts the position of the imaging device with respect to the subject according to the shift direction and the shift amount controlled by the sensor shift control unit, and a plurality of images in which the position of the subject is shifted is acquired. Ru.
  • the image forming apparatus may further include a positional deviation detection unit that calculates the positional deviation amount from the shift direction and the shift amount of the imaging device by the sensor shift control unit. By doing this, the amount of positional deviation between a plurality of images can be calculated more easily.
  • a fourth aspect of the present invention causes a computer to execute image processing for combining a plurality of time-series images in which positions of subjects are shifted from each other and combining an image having a resolution higher than that of the plurality of images.
  • An image processing program wherein the plurality of images are mutually aligned on a high resolution image space having a resolution higher than that of the plurality of images based on the positional displacement amount between the plurality of images,
  • the two or more images of a group are mutually registered on the low resolution image space of the same or lower resolution as the plurality of images based on the displacement amount, and the two or more images are weighted Addition In each area, a low-resolution combining step of combining at least two low-resolution combined images to generate at least two sheets, and a feature amount related to the
  • the present invention when synthesizing a higher resolution image from a plurality of images, it is possible to suppress the artifact in the area of the moving subject and improve the resolution of the area of the stationary subject in which aliasing noise is generated. The effect of being able to be compatible is exhibited.
  • FIG. 1 is a block diagram showing an overall configuration of an image processing apparatus and an imaging apparatus according to an embodiment of the present invention. It is a conceptual diagram explaining the image processing by the image processing apparatus of FIG. It is a figure which shows the example of the high resolution synthetic
  • FIG. 1 shows a block configuration of the imaging device 10. As shown in FIG. 1, the imaging device 10 processes an image acquisition unit 2 that images a subject and takes it as an image, and a plurality of images taken by the image acquisition unit 2 to be processed more than the plurality of images. And an image processing apparatus 1 for generating a high resolution image.
  • the imaging device 4 has a large number of pixels arranged two-dimensionally along horizontal and vertical directions orthogonal to each other.
  • the imaging element 4 has a so-called Bayer array structure in which four types of color filters of R, Gr, Gb, and B are arranged in two rows and two columns, and one color filter corresponds to one pixel.
  • the imaging device 4 acquires a plurality of time-series images by performing imaging a plurality of times.
  • the acquired image is output from the imaging device 4 to the frame memory 11 in the image processing apparatus 1 and stored in the frame memory 11 in time series.
  • the sensor shift mechanism 5 includes an actuator (not shown) capable of shifting the imaging device 4 in units of sub-pixels in the horizontal direction and the vertical direction of the imaging device 4.
  • the sensor shift control unit 6 controls the actuator of the sensor shift mechanism 5 to control the shift direction and the shift amount of the imaging element 4.
  • the sensor shift control unit 6 controls the sensor shift mechanism 5 to shift the imaging element 4 during execution of multiple shootings of the imaging element 4 and also performs sensor shift including information on the shift direction and shift amount of the imaging element 4
  • the control information is output to the misalignment detection unit 12 in the image processing apparatus 1.
  • the frame memory 11 stores a plurality of images input from the image acquisition unit 2 in time series. At this time, the frame memory 11 stores one image inputted first as a reference image and one or more images inputted thereafter as a reference image.
  • the frame memory 11 can be accessed from any of the image acquisition unit 2 and each unit 12, 13, 14, 15, 16 in the image processing apparatus 1.
  • the positional deviation detection unit 12 detects the positional deviation amount between the reference image and the reference image based on the sensor shift control information from the sensor shift control unit 6, and detects the detected positional deviation amount as the high resolution combining unit 13 It is output to the low resolution synthesis unit 14.
  • the high resolution combining unit 13 reads the reference image and the reference image from the frame memory 11. Next, the high resolution combining unit 13 aligns the reference image and the reference image based on the amount of positional deviation from the positional deviation detection unit 12, and high resolution for each color channel (R, Gr, Gb, B) Arrange on the image space.
  • FIG. 3 shows a process of generating a high resolution composite image of each color channel from one reference image and 16 reference images.
  • the high resolution combining unit 13 arranges each pixel of the reference image on a high resolution image space having a resolution higher than that of the reference image and the reference image, as shown in the left row of FIG.
  • Each pixel of the reference image is arranged on the high resolution image space based on the positional displacement amount for.
  • the high resolution combining unit 13 aligns each pixel based on twice the displacement amount (shift amount). Do.
  • Pixel values may be updated by averaging.
  • subscript numbers of R, Gr, Gb and B indicate the imaging order. That is, the subscript number “1” indicates that it is a pixel of the reference image photographed on the first sheet, and the subscript numbers “2” to “16” are reference images photographed on the second to sixteenth sheets Indicates that the pixel is FIG. 3 and FIG. 4 show the pixel arrangement when the sensor shift control unit 6 controls the position of the imaging device 4 as follows at the time of shooting by the imaging device 4.
  • Reference image 2: One pixel horizontally with respect to the reference image, 0 pixel vertically, 3: 0 pixel in the horizontal direction, 1 pixel in the vertical direction with respect to the reference image, 4: One pixel in the horizontal direction and one pixel in the vertical direction with respect to the reference image, 5: 0.5 pixels horizontally and 0.5 pixels vertically with respect to the reference image 6: 1.5 pixels horizontally and 0.5 pixels vertically with respect to the reference image 7: 0.5 pixels horizontally and 1.5 pixels vertically with respect to the reference image 8: 1.5 pixels horizontally and 1.5 pixels vertically with respect to the reference image 9: 0.5 pixels in the horizontal direction with respect to the reference image, 0 pixels in the vertical direction 10: 1.5 pixels in the horizontal direction with respect to the reference image, 0 pixels in the vertical direction 11: horizontally with respect to the reference image 0.5 pixels, 1 pixel in the vertical direction 12: 1.5 pixels horizontally to the reference image, 1 pixel in the vertical direction 13: 1 pixel horizontally to the reference image, 0.5 pixels in the vertical direction 14: 0 pixels
  • the low resolution composition unit 14 reads the reference image and the reference image from the frame memory 11. Next, the low resolution combining unit 14 divides the read image into two in the time direction to form two groups each including two or more time series images. Next, the low resolution combining unit 14 generates, from two or more images in each group, low resolution combined images of the Gr channel and the Gb channel that contain a large amount of luminance information and are suitable for calculating the feature amount. Specifically, the low resolution combining unit 14 arranges two or more images on the low resolution image space of the Gr channel and the Gb channel while aligning the two or more images based on the positional shift amount from the positional shift detection unit 12. Thus, low resolution composite images of the Gr channel and the Gb channel are generated.
  • FIG. 4 is a process of generating a low resolution composite image of Gr and Gb channels from the first to eighth images, and generating a low resolution composite image of Gr and Gb channels from the ninth to sixteenth images.
  • the low resolution combining unit 14 is a low resolution image having the same or lower resolution than the first to eighth images, as shown in the left column of FIG. Then, the pixels of the second to eighth images are arranged on the low resolution image space based on the positional displacement amount with respect to the first image. As an example, FIG. 4 shows the case where the low resolution image space has the same resolution as the reference image and the reference image. Therefore, the low resolution combining unit 14 aligns each pixel based on one time the displacement amount (shift amount).
  • the value of the upper left pixel of the Gr channel low resolution composite image is the average of the pixels of the fourth and eighth images
  • the value of the upper left pixel of the Gb channel low resolution composite image is It is an average value of the pixels of the first and fifth images.
  • two pixel values may be weighted differently from each other.
  • the low resolution combining unit 14 mutually averages the low resolution combined images of the Gr channel and the Gb channel combined from the first to eighth images to generate a low resolution combined image of the G channel. . Similarly, the low resolution combining unit 14 mutually averages the low resolution combined images of the Gr channel and the Gb channel combined from the ninth to sixteenth images to generate a low resolution combined image of the G channel. .
  • the generated low resolution composite image of two G channels is output from the low resolution combining unit 14 to the feature amount calculating unit 15.
  • the feature quantity calculation unit 15 uses the two low resolution composite images input from the low resolution composition unit 14 to calculate SAD (sum of absolute differences) representing the correlation between the two low resolution composite images. Calculated as Specifically, as shown in FIG. 5, the feature amount calculation unit 15 sets a predetermined size (for example, 5 ⁇ 5) around one target pixel at the same position in the two low resolution composite images. The block of pixels is set, and the SAD between the set blocks is calculated as the feature amount of the pixel of interest. The feature amount calculation unit 15 repeats the calculation of the feature amount by sequentially setting the pixels at all positions in the two low resolution composite images as the pixel of interest. Therefore, feature quantities equal in number to the number of pixels of the low resolution composite image are calculated.
  • the feature amount is not limited to the SAD, but may be an arbitrary index value representing the correlation of each region between two low resolution composite images, for example, an SSD (Segment Squared Sum).
  • the spatial resolution (the number of feature amounts) of the distribution of the feature amounts on the low resolution image space is lower than the resolution (the number of pixels of the high resolution image space) of the high resolution image space.
  • the feature amount calculation unit 15 performs processing of extending the resolution of the distribution of the feature amount to the resolution of the high resolution image space.
  • a method of expanding the resolution of the feature amount a method of increasing the number of feature amounts by the nearest neighbor method, the bilinear method, the bicubic method, or the like, such as image enlargement processing, is used.
  • the number of feature amounts is increased to the same number as the number of pixels of the high resolution composite image, and the feature amount for each pixel of the high resolution composite image is obtained.
  • the calculated feature amount is output from the feature amount calculation unit 15 to the image correction unit 16.
  • two low-resolution composite images may be enlarged to the same resolution as the high-resolution composite image, and then the feature amount of each pixel in the two high-resolution low-resolution composite images may be calculated. .
  • the image correction unit 16 calculates the combination ratio based on the feature amount input from the feature amount calculation unit 15, and the reference image stored in the frame memory 11.
  • the color interpolation processing unit 18 performs demosaicing processing on RAW data of the image data
  • the enlargement processing unit 19 expands the colorized reference image to the same image size as the composite image
  • the high resolution combining unit 13 The high-resolution composite image and the enlarged reference image (enlarged image) are combined according to the combining ratio calculated by the combining ratio calculating unit 17 to generate a corrected image.
  • the combination ratio calculation unit 17 includes a map in which the correlation (SAD), which is a feature quantity, is associated with the combination ratio.
  • FIG. 7 shows an example of the map.
  • the composition ratio calculation unit 17 calculates the composition ratio of the high resolution composite image and the reference image at each pixel by reading out the composition ratio corresponding to the feature amount of each pixel of the high resolution composite image from the map.
  • the low resolution combining unit 14 generates a low resolution combined image of the Gr channel by weighting and adding the Gr channels of the ninth to sixteenth images to each other, and the ninth to sixteenth images are generated.
  • the Gb channels are weighted and added to each other to generate a low resolution composite image of the Gb channel (low resolution composition step).
  • another G channel low resolution composite image is generated by averaging the Gr channel low resolution composite image and the Gb channel low resolution composite image with each other.
  • the feature amount calculation unit 15 the correlation between the low resolution combined images is calculated as the feature amount of each pixel of the two low resolution combined images of G channel (feature amount calculating step).
  • the combining ratio calculation unit 17 of the image correcting unit 16 the combining ratio for each pixel of the high resolution combined image is calculated based on the correlation. Further, in the image correction unit 16, the color interpolation processing unit 18 performs demosaicing processing on the reference image read from the frame memory 11, and the enlargement processing unit 19 makes the reference image the same image size as the high resolution composite image. It is expanded. Then, in the composition processing unit 20, the high resolution composite images of the four color channels and the enlarged reference image sent from the high resolution composition unit 13 are calculated based on the composition ratio calculated in the composition ratio calculation unit 17. It is synthesized. This generates a composite image in which artifacts in the high resolution composite image are corrected (image correction step).
  • aliasing noise may occur, for example, in a subject area such as a fine pattern in each image acquired by the image acquisition unit 2.
  • the positions of the objects in the 16 images acquired while shifting the position of the imaging device 4 are mutually shifted by 0.5 to 3.5 pixels.
  • the stationary area and the moving body area can be accurately identified. Therefore, it is preferable to appropriately control the composition ratio so that the composition ratio of the high resolution composite image becomes higher in the stationary region, while the composition ratio of the enlarged reference image becomes higher in the moving object region. It becomes possible. As a result, in the stationary region, the high resolution effect by combining a plurality of images is maintained regardless of the occurrence of aliasing noise, and in the moving object region, a corrected image in which an artifact is suppressed can be obtained.
  • the image correction unit 16 corrects the high-resolution composite image by combining the high-resolution composite image and the enlarged reference image, but instead, filter processing is performed on the high-resolution composite image
  • the high resolution composite image may be corrected by applying That is, as shown in FIG. 8, the image correction unit 16 is a filter processing unit 21 having two types of low pass filters 21A and 21B having different low pass effects, instead of the color interpolation processing unit 18 and the enlargement processing unit 19. May be provided.
  • FIG. 9 shows an example of the first filter 21A and the second filter 21B.
  • the first filter 21A has a filter coefficient that exhibits a weak low-pass characteristic
  • the second filter 21B has a filter coefficient that exhibits a strong low-pass characteristic.
  • the filter coefficients shown in FIG. 9 are an example, and the first filter 21A has the property of not reducing the high resolution of the high resolution composite image, and the second filter 21B is a moving object in the high resolution composite image.
  • the filter coefficients can be arbitrarily set as long as they have the characteristic of natural blurring.
  • the combination ratio calculation unit 17 includes a map in which the correlation (SAD), which is a feature quantity, is associated with the combination ratio.
  • FIG. 10 shows an example of the map.
  • the composition ratio calculation unit 17 calculates the composition ratio of the high resolution composite image and the reference image at each pixel by reading out the composition ratio corresponding to the feature amount of each pixel of the high resolution composite image from the map.
  • the low resolution combining unit 14 generates the low resolution combined image of two G channels, but as illustrated in FIG. 12, the low resolution combined images of three or more G channels are generated. May be generated.
  • FIG. 12 shows an example of dividing 24 time-series images into three groups in the time direction to generate three low-resolution composite images. That is, one low-resolution composite image is generated from the first to eighth images, another low-resolution composite image is generated from the second to sixteenth images, and the seventeenth to twenty-fourth images are generated. Another low resolution composite image is generated from the first image.
  • the positional deviation detection unit 12 calculates the positional deviation amount between the images based on the sensor shift control information from the sensor shift control unit 6 of the image acquisition unit 2, but instead of this, Alternatively, the reference image and the reference image may be read from the frame memory 11, and the amount of movement between the reference image and each reference image may be calculated as the amount of positional deviation.
  • the motion amount may be a global motion amount of the entire image or may be a local motion amount for each area.
  • the image may be divided into a plurality of blocks each having 32 ⁇ 32 pixels, and the motion vector in the horizontal direction and the vertical direction may be calculated for each block using a block matching method or the like.
  • the amount of movement is not limited to only the amount of movement in the horizontal direction and the vertical direction, and may be a change in the amount of movement in the rotational direction or scaling.
  • a plurality of images in which the positions of the subject are mutually shifted may be acquired by, for example, shifting the imaging device 4 with respect to the subject due to camera shake or the like.
  • the high resolution processing by the image processing apparatus 1 can be applied by detecting the positional displacement amount from the image by image processing. .
  • the image processing method can be implemented by an image processing program as well as when executed by the image processing apparatus 1 comprising a circuit.
  • the image processing apparatus 1 is a computer readable non-temporary storage in which a processor such as a CPU, a main storage device such as a RAM, and an image processing program for realizing all or a part of the above processing are stored. It has a medium.
  • the storage medium is a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory or the like.
  • the image processing program is read from the storage medium to the main storage device, and the processor executes information processing and arithmetic processing in accordance with the image processing program, whereby the same processing as the above-described image processing apparatus 1 is realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

画像処理装置（１）は、被写体の位置が相互にずれている複数枚の画像を高解像度画像空間上で相互に位置合わせし、複数枚の画像を合成して高解像度合成画像を生成する高解像度合成部（１３）と、複数枚の画像を時間方向に分割して各々２枚以上の画像からなる少なくとも２つのグループを生成し、各グループの２枚以上の画像を低解像度画像空間上で相互に位置合わせし、２枚以上の画像を重み付け加算により合成して、少なくとも２枚の低解像度合成画像を生成する低解像度合成部（１４）と、少なくとも２枚の低解像度合成画像間の相関に関する特徴量を各領域において算出する特徴量算出部（１５）と、特徴量に基づいて高解像度合成画像を補正する画像補正部（１６）とを備える。

Description

画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
　本発明は、画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体に関し、特に、複数枚の画像からより高解像度の画像を合成する技術に関するものである。
　画像を高解像度化する技術として、撮像素子を光軸に直交する方向にずらしながら複数枚の画像を取得し、複数枚の画像の画素を、該複数枚の画像よりも高い解像度の高解像度画像空間上に位置ずれ量を考慮しながら配置することで、高解像度合成画像を生成する方法が知られている（例えば、特許文献１参照。）。細かい模様等の被写体を撮影した画像には、折り返しノイズ（エイリアシング）が生じる。上記技術によれば、相互に位置がずれた複数枚の画像を合成することで折り返しノイズが除去され、高周波成分が再現されるため、解像度の向上効果が得られる。
　しかし、上記の技術には、被写体が動いた領域において多重像などのアーティファクトが発生する課題がある。このような課題を解決する手段として、特許文献１の技術の応用が考えられる。この技術は、複数枚の画像間の類似度を算出し、類似度に基づいて画像間の合成比率を制御するものである。例えば、複数枚の画像のうち、１枚を基準画像、それ以外の画像を参照画像とし、基準画像と参照画像との間で領域毎に差分を算出し、差分量から両画像の類似度を判定し、類似度が高い領域では参照画像の合成比率を高くし、類似度が低い領域では参照画像の合成比率を低くすることで、被写体の動きや位置ずれによるアーティファクトの発生を防止している。
特開２０１１－１９９７８６号公報
　しかしながら、画像の高解像度化に特許文献１の技術を適用しようとした場合、動く被写体の領域（動体領域）と静止した被写体の領域（静止領域）とを正確に識別することができないため、複数枚の画像の合成処理を適切に制御することができないという問題がある。
　すなわち、動体領域は、画像間の差分が大きくなることで類似度が低いと判定される。一方、静止領域であっても折り返しノイズが発生している細かい模様の被写体の領域は、画像間の差分は大きくなることで類似度が低いと誤判定される。本来、折り返しノイズが発生している静止領域では、複数枚の画像の合成によって高い解像度向上効果が得られる。したがって、静止領域では、基準画像に参照画像を合成するように制御し、動体領域では、基準画像に参照画像を合成しないように制御するべきである。しかし、このような２種類の領域に対する異なる制御を両立することが難しい。
　本発明は、上述した事情に鑑みてなされたものであって、複数枚の画像からより高解像度の画像を合成する際に、動く被写体の領域でのアーティファクトの抑制と、折り返しノイズが発生している静止した被写体の領域の解像度向上とを両立することができる画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の第１の態様は、被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理装置であって、前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成部と、前記複数枚の画像を時間方向に分割して各々２枚以上の画像からなる少なくとも２つのグループを生成し、各該グループの前記２枚以上の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記２枚以上の画像を重み付け加算により合成して、少なくとも２枚の低解像度合成画像を生成する低解像度合成部と、該低解像度合成部によって生成された前記少なくとも２枚の低解像度合成画像間の相関に関する特徴量を各領域において算出する特徴量算出部と、該特徴量算出部によって算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正部とを備える画像処理装置である。
　本態様によれば、高解像度合成部において、複数枚の画像が高解像度画像空間上で相互に位置合わせされた後に合成されることで、個々の画像内の折り返しノイズが除去された高解像度合成画像が生成される。複数枚の画像のいずれかに動く被写体が含まれる場合、高解像度合成画像には、動く被写体の領域（動体領域）にアーティファクトが発生する。
　一方、低解像度合成部において、高解像度合成画像の生成に使用された複数枚の画像が少なくとも２つのグループに分割され、各グループ内の２枚以上の画像が低解像度画像空間上で相互に位置合わせされた後に重み付け加算によって合成されることで、個々の画像に含まれる折り返しノイズが除去された少なくとも２枚の低解像度合成画像が生成される。特徴量算出部では、このような少なくとも２枚の低解像度合成画像を用いることで、折り返しノイズに影響されることなく、各領域における低解像度画像間の相関に関する特徴量が算出される。領域とは、１つの画素であってもよく、複数の画素からなる領域であってもよい。
　したがって、画像補正部では、特徴量に基づいて静止領域および動体領域を正確に識別することができ、高解像度合成画像内の静止領域および動体領域の各々に対して適切な画像処理を施すことができる。これにより、動体領域でのアーティファクトの抑制と、折り返しノイズが発生している静止領域の解像度向上とを両立することができる
　上記第１の態様においては、前記複数枚の画像間の動き量を前記複数枚の画像間の位置ずれ量として検出する位置ずれ検出部を備えていてもよい。
　このようにすることで、複数枚の画像間の位置ずれ量を容易に算出することができる。
　上記第１の態様においては、前記高解像度合成部が、前記位置ずれ量に基づいて前記高解像度画像空間上に前記複数枚の画像の各画素を配置してもよい。
　このようにすることで、簡易に高解像度合成画像を生成することができる。
　上記第１の態様においては、前記高解像度合成部が、前記高解像度画像空間上に配置された画素情報に基づいて、配置されてない画素を補間してもよい。
　このようにすることで、複数枚の画像を画素配置により合成した１枚の高解像度合成画像の画素間に存在する画素配置がされていない領域の画素情報を埋めることができ、解像度をより向上することができる。
　上記第１の態様においては、前記低解像度合成部が、前記位置ずれ量に基づいて前記低解像度画像空間上に前記２枚以上の画像の各画素を配置してもよい。
　このようにすることで、簡易に低解像度合成画像を生成することができる。
　上記第１の態様においては、前記低解像度合成部が、前記低解像度画像空間上に配置された画素情報に基づいて、配置されてない画素を補間してもよい。
　このようにすることで、２枚以上の画像を画素配置により合成した１枚の低解像度合成画像の画素間に存在する画素配置がされていない領域の画素情報を埋めることができ、解像度をより向上することができる。
　上記第１の態様においては、前記特徴量算出部が、前記特徴量の分布を前記高解像度合成画像の解像度に拡張してもよい。
　このようにすることで、少なくとも２枚の低解像度合成画像を用いて算出された特徴量の空間的な解像度を高解像度合成画像と一致させて、画像補正部における補正を容易にすることができる。
　上記第１の態様においては、前記画像補正部は、前記高解像度合成画像に対して、前記相関が高い程、より弱いローパスフィルタ処理を施し、前記相関が低い程、より強いローパスフィルタ処理を施してもよい。
　相関が高い領域では、被写体の動きや位置ずれが小さいため、複数の画像の合成による高い解像度向上効果が得られる。したがって、相関が高い領域には弱いローパスフィルタ処理を施すことで、高い解像度を維持することができる。一方、相関が低い領域では、被写体の動きや位置ずれが大きいため、アーティファクトの発生が予想される。したがって、相関が低い領域には強いローパスフィルタ処理を施すことで、ぼけを増大させてアーティファクトの発生を抑制することができる。
　上記第１の態様においては、前記画像補正部が、前記複数枚の画像の内の１枚を前記高解像度合成画像と同一の画像サイズに拡大して拡大画像を生成し、前記高解像度合成画像と前記拡大画像とを前記特徴量に基づく合成比率で合成してもよい。
　このようにすることで、画像サイズが一致している拡大画像と高解像度合成画像とを容易に合成することができる。
　上記第１の態様においては、前記画像補正部は、前記相関が高い程、前記高解像度合成画像の合成比率を高くし、前記相関が低い程、前記拡大画像の合成比率を高くしてもよい。
　このようにすることで、相関が高い領域では、解像度向上効果がより高められ、相関が低い領域では、被写体のぼけによるアーティファクトの抑制効果がより高められる。
　本発明の第２の態様は、複数枚の時系列の画像を取得する画像取得部と、該画像取得部により取得された前記複数枚の画像を処理する上記いずれかに記載の画像処理装置とを備える撮像装置である。
　上記第２の態様においては、前記画像取得部が、撮像素子と、該撮像素子の位置を該撮像素子の画素の配列方向にシフトさせるセンサシフト機構と、該センサシフト機構による前記撮像素子のシフト方向とシフト量とを制御するセンサシフト制御部とを備えていてもよい。
　このようにすることで、センサシフト制御部によって制御されたシフト方向およびシフト量に従って、センサシフト機構が被写体に対する撮像素子の位置をずらすことで、被写体の位置がずれた複数枚の画像が取得される。
　上記第２の態様においては、前記センサシフト制御部による前記撮像素子のシフト方向およびシフト量から前記位置ずれ量を算出する位置ずれ検出部を備えていてもよい。
　このようにすることで、複数枚の画像間の位置ずれ量をより容易に算出することができる。
　本発明の第３の態様は、被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理方法であって、前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成工程と、前記複数枚の画像を時間方向に分割して各々２枚以上の画像からなる少なくとも２つのグループを生成し、各該グループの前記２枚以上の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記２枚以上の画像を重み付け加算により合成して、少なくとも２枚の低解像度合成画像を生成する低解像度合成工程と、該低解像度合成工程において生成された前記少なくとも２枚の低解像度合成画像間の相関に関する特徴量を各領域において算出する特徴量算出工程と、該特徴量算出工程において算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正工程とを含む画像処理方法である。
　本発明の第４の態様は、被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理をコンピュータに実行させる画像処理プログラムであって、前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成工程と、前記複数枚の画像を時間方向に分割して各々２枚以上の画像からなる少なくとも２つのグループを生成し、各該グループの前記２枚以上の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記２枚以上の画像を重み付け加算により合成して、少なくとも２枚の低解像度合成画像を生成する低解像度合成工程と、該低解像度合成工程において生成された前記少なくとも２枚の低解像度合成画像間の相関に関する特徴量を各領域において算出する特徴量算出工程と、該特徴量算出工程において算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正工程とをコンピュータに実行させる、画像処理プログラムである。
　本発明の第５の態様は、被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理をコンピュータに実行させる画像処理プログラムが記憶された非一時的なコンピュータ読み取り可能な記憶媒体であって、前記画像処理プログラムが、前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成工程と、前記複数枚の画像を時間方向に分割して各々２枚以上の画像からなる少なくとも２つのグループを生成し、各該グループの前記２枚以上の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記２枚以上の画像を重み付け加算により合成して、少なくとも２枚の低解像度合成画像を生成する低解像度合成工程と、該低解像度合成工程において生成された前記少なくとも２枚の低解像度合成画像間の相関に関する特徴量を各領域において算出する特徴量算出工程と、該特徴量算出工程において算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正工程とをコンピュータに実行させる、記憶媒体である。
　本発明によれば、複数枚の画像からより高解像度の画像を合成する際に、動く被写体の領域でのアーティファクトの抑制と、折り返しノイズが発生している静止した被写体の領域の解像度向上とを両立することができるという効果を奏する。
本発明の一実施形態に係る画像処理装置および撮像装置の全体構成を示すブロック図である。 図１の画像処理装置による画像処理を説明する概念図である。 高解像度合成部によって生成された各チャネルの高解像度合成画像の例を示す図である。 低解像度合成部による２枚の低解像度合成画像の生成方法を説明する図である。 特徴量算出部による特徴量の算出方法を説明する図であり、２枚の低解像度合成画像の一部分を示す図である。 図１の画像処理装置の画像補正部の内部構成を示すブロック図である。 図６の合成比率算出部において相関から合成比率を算出する際に使用されるマップの一例を示す図である。 画像補正部の変形例の内部構成を示すブロック図である。 図８のフィルタ処理部における第１のフィルタおよび第２のフィルタの例を示す図である。 図８の画像補正部の合成比率算出部において相関から合成比率を算出する際に使用されるマップの一例を示す図である。 図８の画像補正部を備える画像処理装置による画像処理を説明する概念図である。 図１の画像処理装置のもう１つの変形例による画像処理を説明する概念図である。
　本発明の一実施形態に係る画像処理装置１およびこれを備える撮像装置１０について図面を参照して説明する。
　本実施形態に係る撮像装置１０は、例えば、静止画や動画像を撮影して記録するデジタルビデオカメラ、デジタルスチルカメラ等である。図１は、撮像装置１０のブロック構成を示している。図１に示されるように、撮像装置１０は、被写体を撮像して画像として取り込む画像取得部２と、画像取得部２によって取り込まれた複数枚の画像を処理して該複数枚の画像よりも高解像度の画像を生成する画像処理装置１とを備えている。
　画像取得部２は、例えば、被写体からの光を集光して光学像を形成する撮像レンズ３と、撮像レンズ３によって形成された光学像を撮像して画像を取得する撮像素子４と、撮像素子４の位置を画素の配列方向にシフトさせるセンサシフト機構５と、センサシフト機構５による撮像素子４のシフト方向およびシフト量を制御するセンサシフト制御部６とを備えている。
　撮像素子４は、相互に直交する水平方向および垂直方向に沿って２次元配列された多数の画素を有する。撮像素子４は、Ｒ、Ｇｒ、Ｇｂ、Ｂの４種類のカラーフィルタが２行２列に配置された、いわゆるベイヤ配列構造を有し、１つの画素に１つのカラーフィルタが対応している。撮像素子４は、撮影を複数回実行することによって時系列の複数枚の画像を取得する。取得された画像は、撮像素子４から画像処理装置１内のフレームメモリ１１に出力され、フレームメモリ１１に時系列に記憶される。
　センサシフト機構５は、撮像素子４を該撮像素子４の水平方向および垂直方向にサブピクセル単位でシフトさせることができるアクチュエータ（図示略）を備える。
　センサシフト制御部６は、センサシフト機構５のアクチュエータを制御することで、撮像素子４のシフト方向およびシフト量を制御する。センサシフト制御部６は、撮像素子４の複数回の撮影の実行中にセンサシフト機構５を制御して撮像素子４をシフトさせるとともに、撮像素子４のシフト方向およびシフト量の情報を含むセンサシフト制御情報を画像処理装置１内の位置ずれ検出部１２に出力する。
　画像処理装置１は、フレームメモリ１１と、位置ずれ検出部１２と、高解像度合成部１３と、低解像度合成部１４と、特徴量算出部１５と、画像補正部１６とを備えている。図２は、画像処理装置１における画像処理のプロセスを示している。
　フレームメモリ１１は、画像取得部２から入力された複数枚の画像を時系列に記憶する。このときに、フレームメモリ１１は、最初に入力された１枚の画像を基準画像として、その後に入力された１枚以上の画像を参照画像として、それぞれ記憶するようになっている。フレームメモリ１１は、画像取得部２および画像処理装置１内の各部１２，１３，１４，１５，１６のいずれからもアクセスすることができる。
　位置ずれ検出部１２は、センサシフト制御部６からのセンサシフト制御情報に基づき、基準画像と参照画像との間の位置ずれ量を検出し、検出された位置ずれ量を高解像度合成部１３および低解像度合成部１４に出力する。
　高解像度合成部１３は、フレームメモリ１１から基準画像および参照画像を読み出す。次に、高解像度合成部１３は、基準画像および参照画像を、位置ずれ検出部１２からの位置ずれ量に基づいて位置合わせしながら、色チャネル（Ｒ、Ｇｒ、Ｇｂ、Ｂ）毎の高解像度画像空間上に配置する。
　図３は、１枚の基準画像および１６枚の参照画像から、各色チャネルの高解像度合成画像を生成する処理を示している。高解像度合成部１３は、図３の左段に示されるように、基準画像の各画素を、基準画像および参照画像よりも高い解像度を有する高解像度画像空間上に配置し、次に、基準画像に対する位置ずれ量に基づいて参照画像の各画素を高解像度画像空間上に配置する。図３の例において、高解像度画像空間は基準画像および参照画像の４倍の解像度を有するので、高解像度合成部１３は、位置ずれ量（シフト量）の２倍に基づいて各画素を位置合わせする。画素を配置する際に、配置する画素の色と同色の画素が既に配置されている場合には、画素を新たに配置しなくてもよいし、配置する画素と既に配置されている画素とを加算平均して画素値を更新してもよい。
　図３において、Ｒ、Ｇｒ、ＧｂおよびＢの添字番号は、撮影順を示している。すなわち、添字番号「１」は、１枚目に撮影された基準画像の画素であることを示し、添字番号「２」～「１６」は、２枚目から１６枚目に撮影された参照画像の画素であることを示している。図３および図４は、撮像素子４による撮影時にセンサシフト制御部６によって以下のように撮像素子４の位置を制御したときの画素配置を示している。
　１：基準画像、
　２：基準画像に対して水平方向に１画素、垂直方向に０画素、
　３：基準画像に対して水平方向に０画素、垂直方向に１画素、
　４：基準画像に対して水平方向に１画素、垂直方向に１画素、
　５：基準画像に対して水平方向に０．５画素、垂直方向に０．５画素、
　６：基準画像に対して水平方向に１．５画素、垂直方向に０．５画素、
　７：基準画像に対して水平方向に０．５画素、垂直方向に１．５画素、
　８：基準画像に対して水平方向に１．５画素、垂直方向に１．５画素、
　９：基準画像に対して水平方向に０．５画素、垂直方向に０画素
　１０：基準画像に対して水平方向に１．５画素、垂直方向に０画素
　１１：基準画像に対して水平方向に０．５画素、垂直方向に１画素
　１２：基準画像に対して水平方向に１．５画素、垂直方向に１画素
　１３：基準画像に対して水平方向に１画素、垂直方向に０．５画素
　１４：基準画像に対して水平方向に０画素、垂直方向に０．５画素
　１５：基準画像に対して水平方向に１画素、垂直方向に１．５画素
　１６：基準画像に対して水平方向に０画素、垂直方向に１．５画素
　図３の例では、高解像度合成画像の全ての領域がいずれかの画像の画素によって埋まるが、撮像素子４のシフト方向およびシフト量によっては、基準画像および参照画像の全ての画素を配置した後に、高解像度合成画像の画素間に、いずれの画像の画素も配置されない空白領域が発生し得る。このような場合、高解像度合成部１３は、空白領域を補間して埋める処理を行う。補間の方法は、例えば、配置された周囲の画素を用いて、エッジ方向を考慮した方向判別補間であってもよく、最も近くに存在する画素をコピーすることにより補間する方法であってもよい。
　低解像度合成部１４は、フレームメモリ１１から基準画像および参照画像を読み出す。次に、低解像度合成部１４は、読み出した画像を時間方向に２つに分割することで、それぞれ２枚以上の時系列の画像からなる２つのグループを形成する。次に、低解像度合成部１４は、各グループ内の２枚以上の画像から、輝度情報を多く含み特徴量の算出に適したＧｒチャネルおよびＧｂチャネルの低解像度合成画像を生成する。具体的には、低解像度合成部１４は、２枚以上の画像を位置ずれ検出部１２からの位置ずれ量に基づいて位置合わせしながら、ＧｒチャネルおよびＧｂチャネルの低解像度画像空間上に配置することで、ＧｒチャネルおよびＧｂチャネルの低解像度合成画像を生成する。
　図４は、１枚目から８枚目の画像からＧｒおよびＧｂチャネルの低解像度合成画像を生成し、９枚目から１６枚目の画像からＧｒおよびＧｂチャネルの低解像度合成画像を生成する処理を説明するものである。低解像度合成部１４は、図４の左段に示されるように、１枚目の画像の各画素を、１枚目から８枚目の画像と同一またはこれよりも低い解像度を有する低解像度画像空間上に配置し、次に、１枚目の画像に対する位置ずれ量に基づいて２枚目から８枚目の画像の各画素を低解像度画像空間上に配置する。
　図４には、一例として、低解像度画像空間が基準画像および参照画像と同一の解像度を有する場合が示されている。したがって、低解像度合成部１４は、位置ずれ量（シフト量）の１倍に基づいて各画素を位置合わせする。
　低解像度画像空間は基準画像および参照画像と同一またはそれよりも低い解像度を有するので、低解像度画像空間上の同一位置には、異なる画像由来の複数の画素が位置合わせされる。低解像度合成部１４は、配置する画素の色と同色の画素が既に配置されている場合には、配置する画素の画素値を既に配置されている画素の画素値と重み付け加算することによって画素値を更新する。これにより、複数枚の画像が重み付け加算された低解像度合成画像が生成される。
　図４には、重み付け加算の例として、２つの画素値に０．５の重みをそれぞれ付して加算する加算平均が示されている。例えば、Ｇｒチャネルの低解像度合成画像の左上の画素の値は、４枚目と８枚目の画像の画素の加算平均値であり、Ｇｂチャネルの低解像度合成画像の左上の画素の値は、１枚目と５枚目の画像の画素の加算平均値である。重み付け加算において、２つの画素値に相互に異なる重みを付してもよい。
　同様にして、低解像度合成部１４は、９枚目の画像の各画素を低解像度画像空間上に配置し、次に、９枚目の画像に対する位置ずれ量に基づいて１０枚目から１６枚目の画像の各画素を低解像度画像空間上に配置することで、もう１組のＧｒおよびＧｂチャネルの低解像度合成画像を生成する。
　次に、低解像度合成部１４は、１枚目から８枚目の画像から合成されたＧｒチャネルおよびＧｂチャネルの低解像度合成画像を相互に加算平均してＧチャネルの低解像度合成画像を生成する。同様に、低解像度合成部１４は、９枚目から１６枚目の画像から合成されたＧｒチャネルおよびＧｂチャネルの低解像度合成画像を相互に加算平均してＧチャネルの低解像度合成画像を生成する。生成された２枚のＧチャネルの低解像度合成画像は、低解像度合成部１４から特徴量算出部１５に出力される。
　なお、図４の例では、各画像の画素の低解像度画像空間上の画素位置を位置ずれ量から算出する際に、位置ずれ量の０．５画素以下を切り捨て、０．５画素よりも大きい値は切り上げているが、位置ずれ量の小数点以下を四捨五入してもよい。
　また、図４の例では、低解像度合成画像の全ての領域がいずれかの画像の画素によって埋まるが、撮像素子４のシフト方向およびシフト量によっては、低解像度合成画像にも、いずれの画像の画素も配置されない空白領域が発生し得る。このような場合には、高解像度合成画像内の空白領域の補間と同様にして、低解像度合成画像内の空白領域にも画素が補間される。
　特徴量算出部１５は、低解像度合成部１４から入力された２枚の低解像度合成画像を用いて、該２枚の低解像度合成画像間の相関を表すＳＡＤ（差分絶対値和）を特徴量として算出する。具体的には、特徴量算出部１５は、２枚の低解像度合成画像内の同一位置に、図５に示されるように、１つの注目画素を中心とする所定のサイズ（例えば、５×５画素）のブロックを設定し、設定されたブロック間のＳＡＤを注目画素の特徴量として算出する。特徴量算出部１５は、２枚の低解像度合成画像内の全ての位置の画素を順番に注目画素に設定して特徴量の算出を繰り返す。したがって、低解像度合成画像の画素数と同数の特徴量が算出される。
　特徴量は、ＳＡＤに限らず、２枚の低解像度合成画像間の各領域の相関を表す任意の指標値、例えば、ＳＳＤ（差分二乗和）であってもよい。
　低解像度画像空間上における特徴量の分布の空間的な解像度（特徴量の数）は高解像度画像空間の解像度（高解像度画像空間の画素数）よりも低い。特徴量算出部１５は、特徴量の分布の解像度を高解像度画像空間の解像度まで拡張する処理を行う。特徴量の解像度を拡張する方法としては、画像拡大処理のように、ニアレストネイバ法やバイリニア法、バイキュービック法等によって特徴量の数を増大する方法が使用される。これにより、特徴量の数は、高解像度合成画像の画素数と同数まで増大され、高解像度合成画像の各画素に対する特徴量が得られる。算出された特徴量は、特徴量算出部１５から画像補正部１６へ出力される。
　あるいは、２枚の低解像度合成画像をそれぞれ高解像度合成画像と同一の解像度まで拡大してから、高解像度化された２枚の低解像度合成画像内の各画素の特徴量を算出してもよい。
　画像補正部１６は、図６に示されるように、特徴量算出部１５から入力された特徴量に基づいて合成比率を算出する合成比率算出部１７と、フレームメモリ１１に記憶されている基準画像のＲＡＷデータをデモザイキング処理してカラー化する色補間処理部１８と、カラー化された基準画像を合成画像と同一の画像サイズに拡大する拡大処理部１９と、高解像度合成部１３によって生成された高解像度合成画像と拡大された基準画像（拡大画像）とを、合成比率算出部１７によって算出された合成比率に従って合成して補正画像を生成する合成処理部２０とを備えている。
　合成比率算出部１７は、特徴量である相関（ＳＡＤ）と合成比率とを対応づけたマップを備えている。図７は、マップの一例を示している。このように、マップにおいて、相関が高い程、高解像度合成画像の合成比率が高くなり、相関が低い程、基準画像の合成比率が高くなっている。合成比率算出部１７は、高解像度合成画像の各画素の特徴量に対応する合成比率をマップから読み出すことにより、各画素における高解像度合成画像および基準画像の合成比率を算出する。
　図２の画像内のボールのように動く被写体の領域（動体領域）では、相関が低くなる（ＳＡＤが高くなる）。このような低相関の領域では画素の位置合わせが失敗しており、ベイヤ配列の画素に基づいて合成された高解像度合成画像において、不自然な模様のアーティファクトとなる。そこで、図７に示されるように、相関が低い程、拡大された基準画像と高解像度合成画像との合成において拡大された基準画像の合成比率を高めることで、アーティファクトを低減するように、合成処理部２０によって高解像度合成画像が補正される。
　一方、相関が高い（ＳＡＤが小さい）領域は、位置合わせが成功している領域であり、複数枚の画像の合成による解像度向上効果が高い領域である。したがって、このような高相関の領域では、拡大された基準画像と高解像度合成画像との合成において高解像度合成画像の合成比率が高く設定される。
　次に、このように構成された本実施形態に係る画像処理装置１および撮像装置１０の作用について説明する。
　撮像装置１０は、撮像レンズ３によって形成された被写体の像を撮像素子４によって１６回連続撮影することで、１６枚の画像を取得する。このときに、センサシフト制御部６からの指令信号に基づいてセンサシフト機構５が撮像素子４をシフトさせながら撮像素子４が撮影を実行することで、被写体の位置が相互にずれた１６枚の時系列の画像が取得される。取得された１６枚の画像はフレームメモリ１１に記憶される。
　この後に、フレームメモリ１１に記憶された１６枚の画像を使用して本発明の一実施形態に係る画像処理方法が実施される。
　まず、位置ずれ検出部１２によって基準画像と各参照画像との間の位置ずれ量が検出され、位置ずれ量が高解像度合成部１３および低解像度合成部１４に入力される。また、フレームメモリ１１から高解像度合成部１３および低解像度合成部１４に基準画像および参照画像が読み出される。
　高解像度合成部１３では、１６枚の画像の各画素が、位置ずれ量に基づいて位置合わせされながら色チャネル毎に高解像度画像空間上に配置されることで、高解像度合成画像が色チャネル毎に生成される（高解像度合成工程）。
　高解像度合成画像の生成と並行して、低解像度合成部１４では、１枚目から８枚目の画像のＧｒチャネルが相互に重み付け加算されることでＧｒチャネルの低解像度合成画像が生成され、１枚目から８枚目の画像のＧｂチャネルが相互に重み付け加算されることでＧｂチャネルの低解像度合成画像が生成される（低解像度合成工程）。次に、Ｇｒチャネルの低解像度合成画像とＧｂチャネルの低解像度合成画像とが相互に加算平均されることで、Ｇチャネルの低解像度合成画像が生成される。
　また、低解像度合成部１４では、９枚目から１６枚目の画像のＧｒチャネルが相互に重み付け加算されることでＧｒチャネルの低解像度合成画像が生成され、９枚目から１６枚目の画像のＧｂチャネルが相互に重み付け加算されることでＧｂチャネルの低解像度合成画像が生成される（低解像度合成工程）。次に、Ｇｒチャネルの低解像度合成画像とＧｂチャネルの低解像度合成画像とが相互に加算平均されることで、もう１枚のＧチャネルの低解像度合成画像が生成される。
　次に、特徴量算出部１５において、２枚のＧチャネルの低解像度合成画像の各画素の特徴量として、低解像度合成画像間の相関が算出される（特徴量算出工程）。
　次に、画像補正部１６の合成比率算出部１７において、高解像度合成画像の各画素用の合成比率が相関に基づいて算出される。また、画像補正部１６では、フレームメモリ１１から読み出された基準画像に色補間処理部１８においてデモザイキング処理が施され、拡大処理部１９において基準画像が高解像度合成画像と同一の画像サイズに拡大される。そして、合成処理部２０において、高解像度合成部１３から送られてきた４つの色チャネルの高解像度合成画像と拡大された基準画像とが、合成比率算出部１７において算出された合成比率に基づいて合成される。これにより、高解像度合成画像内のアーティファクトが補正された合成画像が生成される（画像補正工程）。
　この場合に、画像取得部２によって取得された個々の画像には、例えば、細かい模様のような被写体領域において折り返しノイズ（エイリアシング）が発生し得る。本実施形態によれば、撮像素子４の位置をシフトさせながら取得された１６枚の画像内の被写体の位置は、０．５～３．５画素だけ相互にずれている。このような１６枚の画像の画素を、被写体の位置ずれ量に応じて位置合わせしながら高解像度画像空間上に配置することで、折り返しノイズが除去されるとともに高解像度化された高解像度合成画像が得られる。
　その一方で、１６枚の画像のいずれかに動く被写体が含まれている場合、動く被写体の領域（動体領域）は、高解像度化されず（解像度向上効果が得られず）にアーティファクトとして高解像度合成画像内に現れる。
　低解像度合成画像においても、被写体の位置が相互に異なる８枚の画像を重み付け加算によって合成することで、折り返しノイズが低減されるとともに、ランダムノイズも低減される。特徴量の算出に、画像取得部２によって取得されたそのままの画像を使用した場合には、折り返しノイズが発生している静止した被写体の領域（静止領域）において相関を正確に算出することが非常に難しい。これに対し、折り返しノイズおよびランダムノイズが低減された２枚の低解像度合成画像を用いることで、折り返しノイズが発生していた静止領域においても相関を正確に算出することができる。また、動く被写体は、一方のみの低解像度合成画像内に現れるか、または、２枚の低解像度画像の相互に異なる位置に現れるので、２枚の低解像度画像間の低い相関に基づいて動く被写体の領域（動体領域）を正確に判定することができる。
　このような正確な相関に基づいて、静止領域と動体領域とを正確に識別することができる。したがって、静止領域においては高解像度合成画像の合成比率がより高くなるように、一方、動体領域においては拡大された基準画像の合成比率がより高くなるように、合成比率を適切に制御することが可能となる。これにより、静止領域においては、折り返しノイズの発生の有無に関わらず複数枚の画像の合成による高解像度化効果が維持され、動体領域においてはアーティファクトが抑制された補正画像を得ることができる。
　本実施形態においては、画像補正部１６が、高解像度合成画像と拡大された基準画像との合成によって高解像度合成画像を補正することとしたが、これに代えて、高解像度合成画像にフィルタ処理を施すことによって高解像度合成画像を補正してもよい。すなわち、画像補正部１６は、図８に示されるように、色補間処理部１８および拡大処理部１９に代えて、ローパス効果が相互に異なる２種類のローパスフィルタ２１Ａ，２１Ｂを有するフィルタ処理部２１を備えていてもよい。
　図９に、第１のフィルタ２１Ａおよび第２のフィルタ２１Ｂの例を示す。図９に示されるように、第１のフィルタ２１Ａは、弱いローパス特性を発揮するフィルタ係数を有し、第２のフィルタ２１Ｂは、強いローパス特性を発揮するフィルタ係数を有する。図９に示されるフィルタ係数は一例であり、第１のフィルタ２１Ａが、高解像度合成画像の高解像度を低下させない特性を有し、第２のフィルタ２１Ｂが、高解像度合成画像内の動く被写体を自然にぼかす特性を有する限りにおいて、フィルタ係数は任意に設定することができる。
　フィルタ処理部２１には、高解像度合成部１３から高解像度合成画像が入力される。フィルタ処理部２１は、高解像度合成画像を第１のフィルタ２１Ａによって処理することで、高い解像度が維持された鮮鋭な高解像度合成画像である第１のフィルタ画像を生成する。また、フィルタ処理部２１は、高解像度合成画像を第２のフィルタ２１Ｂによって処理することで、ぼやけた高解像度合成画像である第２のフィルタ画像を生成する。２枚のフィルタ画像は、フィルタ処理部２１から合成処理部２０に出力される。
　合成比率算出部１７は、特徴量である相関（ＳＡＤ）と合成比率とを対応づけたマップを備えている。図１０は、マップの一例を示している。このように、マップにおいて、相関が高い程、第１のフィルタ画像の合成比率が高くなり、相関が低い程、第２のフィルタ画像の合成比率が高くなっている。合成比率算出部１７は、高解像度合成画像の各画素の特徴量に対応する合成比率をマップから読み出すことにより、各画素における高解像度合成画像および基準画像の合成比率を算出する。
　合成処理部２０は、合成比率算出部１７によって算出された合成比率に従って２枚のフィルタ画像を合成する。すなわち、高い相関が得られる静止領域においては、鮮鋭な第１のフィルタ画像が合成比率をより高くなるように、一方、低い相関が得られる動体領域においては、ぼやけた第２のフィルタ画像の合成比率が高くなるように、合成比率が制御される。これにより、図１１に示されるように、静止している被写体は尖鋭であり、動く被写体にはぼかし処理が施された補正画像を得ることができる。
　本実施形態においては、低解像度合成部１４が、２枚のＧチャネルの低解像度合成画像を生成することとしたが、図１２に示されるように、３枚以上のＧチャネルの低解像度合成画像を生成してもよい。
　図１２は、２４枚の時系列の画像を時間方向に３つのグループに分割して３枚の低解像度合成画像を生成する例を示している。すなわち、１枚目から８枚目の画像から１枚の低解像度合成画像が生成され、２枚目から１６枚目の画像からもう１枚の低解像度合成画像が生成され、１７枚目から２４枚目の画像からさらにもう１枚の低解像度合成画像が生成される。
　特徴量算出部１５では、同一位置の画素について、第１および第２の低解像度画像間の相関と、第２および第３の低解像度画像間の相関と、第１および第３の低解像度画像間の相関とが算出される。したがって、各画素の特徴量として、３つの相関の最小値、和、または平均が用いられる。
　このように、特徴量の算出に用いる低解像度合成画像の数を増やすことで、さらに正確な特徴量を算出することができ、特徴量に基づいて、高解像度合成画像内の静止領域と動体領域とをさらに正確に識別することができる。
　本実施形態においては、位置ずれ検出部１２が、画像取得部２のセンサシフト制御部６からのセンサシフト制御情報に基づいて、画像間の位置ずれ量を算出することとしたが、これに代えて、フレームメモリ１１から基準画像および参照画像を読み出し、基準画像と各参照画像との間の動き量を位置ずれ量として算出してもよい。動き量は、画像全体のグローバルな動き量であってもよく、領域毎のローカルな動き量であってもよい。例えば、各々３２×３２画素からなる複数のブロックに画像を分割し、各ブロックについてブロックマッチング法等を用いて水平方向と垂直方向の動きベクトルを算出してもよい。動き量は、水平方向および垂直方向の動き量のみに限らず、回転方向の動き量や拡大縮小の変化であってもよい。
　被写体の連続撮影において、例えば手ぶれ等によって被写体に対する撮像素子４がシフトすることで、被写体の位置が相互にずれた複数枚の画像が取得されることがある。このように、撮像素子４のシフト方向およびシフト量が不明である場合にも、画像処理によって画像から位置ずれ量を検出することで、画像処理装置１による高解像度化処理を適用することができる。
　本実施形態に係る画像処理方法は、回路からなる画像処理装置１によって実行される場合の他、画像処理プログラムによっても実施することができる。この場合、画像処理装置１は、ＣＰＵのようなプロセッサ、ＲＡＭ等の主記憶装置、上記処理の全てまたは一部を実現させるための画像処理プログラムが記憶されたコンピュータ読み取り可能な非一時的な記憶媒体を備える。記憶媒体は、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または半導体メモリ等である。記憶媒体から主記憶装置に画像処理プログラムが読み出され、画像処理プログラムに従ってプロセッサが情報の加工や演算処理を実行することにより、上述の画像処理装置１と同様の処理が実現される。
１　画像処理装置
２　画像取得部
３　撮像レンズ
４　撮像素子
５　センサシフト機構
６　センサシフト制御部
１０　撮像装置
１１　フレームメモリ
１２　位置ずれ検出部
１３　高解像度合成部
１４　低解像度合成部
１５　特徴量算出部
１６　画像補正部
１７　合成比率算出部
１８　色補間処理部
１９　拡大処理部
２０　合成処理部
２１　フィルタ処理部
２１Ａ　第１のフィルタ
２１Ｂ　第２のフィルタ

Claims (17)

  1. 　被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理装置であって、
    　前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成部と、
    　前記複数枚の画像を時間方向に分割して各々２枚以上の画像からなる少なくとも２つのグループを生成し、各該グループの前記２枚以上の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記２枚以上の画像を重み付け加算により合成して、少なくとも２枚の低解像度合成画像を生成する低解像度合成部と、
    　該低解像度合成部によって生成された前記少なくとも２枚の低解像度合成画像間の相関に関する特徴量を各領域において算出する特徴量算出部と、
    　該特徴量算出部によって算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正部とを備える画像処理装置。
  2. 　前記複数枚の画像間の動き量を前記複数枚の画像間の位置ずれ量として検出する位置ずれ検出部を備える請求項１に記載の画像処理装置。
  3. 　前記高解像度合成部が、前記位置ずれ量に基づいて前記高解像度画像空間上に前記複数枚の画像の各画素を配置する請求項１または請求項２に記載の画像処理装置。
  4. 　前記高解像度合成部が、前記高解像度画像空間上に配置された画素情報に基づいて、配置されてない画素を補間する請求項３に記載の画像処理装置。
  5. 　前記低解像度合成部が、前記位置ずれ量に基づいて前記低解像度画像空間上に前記２枚以上の画像の各画素を配置する請求項１から請求項４のいずれかに記載の画像処理装置。
  6. 　前記低解像度合成部が、前記低解像度画像空間上に配置された画素情報に基づいて、配置されてない画素を補間する請求項５に記載の画像処理装置。
  7. 　前記特徴量算出部が、前記少なくとも２枚の低解像度合成画像間における各領域の相関を前記特徴量として算出する請求項１から請求項６のいずれかに記載の画像処理装置。
  8. 　前記特徴量算出部が、前記特徴量の分布を前記高解像度合成画像の解像度に拡張する請求項７に記載の画像処理装置。
  9. 　前記画像補正部は、前記高解像度合成画像に対して、前記相関が高い程、より弱いローパスフィルタ処理を施し、前記相関が低い程、より強いローパスフィルタ処理を施す請求項７または請求項８に記載の画像処理装置。
  10. 　前記画像補正部が、前記複数枚の画像の内の１枚を前記高解像度合成画像と同一の画像サイズに拡大して拡大画像を生成し、前記高解像度合成画像と前記拡大画像とを前記特徴量に基づく合成比率で合成する請求項１から請求項９のいずれかに記載の画像処理装置。
  11. 　前記画像補正部は、前記相関が高い程、前記高解像度合成画像の合成比率を高くし、前記相関が低い程、前記拡大画像の合成比率を高くする請求項１０に記載の画像処理装置。
  12. 　複数枚の時系列の画像を取得する画像取得部と、
    　該画像取得部により取得された前記複数枚の画像を処理する請求項１から請求項１１のいずれかに記載の画像処理装置とを備える撮像装置。
  13. 　前記画像取得部が、
    　撮像素子と、
    　該撮像素子の位置を該撮像素子の画素の配列方向にシフトさせるセンサシフト機構と、
    　該センサシフト機構による前記撮像素子のシフト方向とシフト量とを制御するセンサシフト制御部とを備える請求項１２に記載の撮像装置。
  14. 　前記センサシフト制御部による前記撮像素子のシフト方向およびシフト量から前記位置ずれ量を算出する位置ずれ検出部を備える請求項１３に記載の撮像装置。
  15. 　被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理方法であって、
    　前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成工程と、
    　前記複数枚の画像を時間方向に分割して各々２枚以上の画像からなる少なくとも２つのグループを生成し、各該グループの前記２枚以上の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記２枚以上の画像を重み付け加算により合成して、少なくとも２枚の低解像度合成画像を生成する低解像度合成工程と、
    　該低解像度合成工程において生成された前記少なくとも２枚の低解像度合成画像間の相関に関する特徴量を各領域において算出する特徴量算出工程と、
    　該特徴量算出工程において算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正工程とを含む画像処理方法。
  16. 　被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理をコンピュータに実行させる画像処理プログラムであって、
    　前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成工程と、
    　前記複数枚の画像を時間方向に分割して各々２枚以上の画像からなる少なくとも２つのグループを生成し、各該グループの前記２枚以上の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記２枚以上の画像を重み付け加算により合成して、少なくとも２枚の低解像度合成画像を生成する低解像度合成工程と、
    　該低解像度合成工程において生成された前記少なくとも２枚の低解像度合成画像間の相関に関する特徴量を各領域において算出する特徴量算出工程と、
    　該特徴量算出工程において算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正工程とをコンピュータに実行させる、画像処理プログラム。
  17. 　被写体の位置が相互にずれている複数枚の時系列の画像を合成して該複数枚の画像よりも高解像度の画像を合成する画像処理をコンピュータに実行させる画像処理プログラムが記憶された非一時的なコンピュータ読み取り可能な記憶媒体であって、
    　前記画像処理プログラムが、
    　前記複数枚の画像を該複数枚の画像間の位置ずれ量に基づいて該複数枚の画像よりも高い解像度の高解像度画像空間上で相互に位置合わせし、前記複数枚の画像を合成して高解像度合成画像を生成する高解像度合成工程と、
    　前記複数枚の画像を時間方向に分割して各々２枚以上の画像からなる少なくとも２つのグループを生成し、各該グループの前記２枚以上の画像を前記位置ずれ量に基づいて前記複数枚の画像と同一またはそれよりも低い解像度の低解像度画像空間上で相互に位置合わせし、前記２枚以上の画像を重み付け加算により合成して、少なくとも２枚の低解像度合成画像を生成する低解像度合成工程と、
    　該低解像度合成工程において生成された前記少なくとも２枚の低解像度合成画像間の相関に関する特徴量を各領域において算出する特徴量算出工程と、
    　該特徴量算出工程において算出された前記特徴量に基づいて前記高解像度合成画像を補正する画像補正工程とをコンピュータに実行させる、記憶媒体。
PCT/JP2017/024579 2017-07-05 2017-07-05 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 WO2019008693A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/024579 WO2019008693A1 (ja) 2017-07-05 2017-07-05 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
US16/715,837 US11146746B2 (en) 2017-07-05 2019-12-16 Image processing device, image capturing device, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/024579 WO2019008693A1 (ja) 2017-07-05 2017-07-05 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/715,837 Continuation US11146746B2 (en) 2017-07-05 2019-12-16 Image processing device, image capturing device, image processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2019008693A1 true WO2019008693A1 (ja) 2019-01-10

Family

ID=64950714

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024579 WO2019008693A1 (ja) 2017-07-05 2017-07-05 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体

Country Status (2)

Country Link
US (1) US11146746B2 (ja)
WO (1) WO2019008693A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021044750A1 (ja) * 2019-09-02 2021-03-11 ソニー株式会社 撮像装置、画像処理装置及び画像処理方法
US11445109B2 (en) 2017-07-05 2022-09-13 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
US11882247B2 (en) 2019-12-04 2024-01-23 Olympus Corporation Image acquisition apparatus and camera body

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP6562492B1 (ja) * 2019-05-16 2019-08-21 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007142109A1 (ja) * 2006-05-31 2007-12-13 Nec Corporation 画像高解像度化装置及び画像高解像度化方法並びにプログラム
WO2015145856A1 (ja) * 2014-03-27 2015-10-01 オリンパス株式会社 画像処理装置および画像処理方法
JP2015204599A (ja) * 2014-04-16 2015-11-16 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2017064807A1 (ja) * 2015-10-16 2017-04-20 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037460A (ja) * 2007-08-02 2009-02-19 Sanyo Electric Co Ltd 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
US8315474B2 (en) * 2008-01-18 2012-11-20 Sanyo Electric Co., Ltd. Image processing device and method, and image sensing apparatus
JP2009237650A (ja) 2008-03-26 2009-10-15 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
JP2010140460A (ja) 2008-11-13 2010-06-24 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011199786A (ja) 2010-03-23 2011-10-06 Olympus Corp 画像処理装置及び画像処理方法並びにプログラム
JP5837572B2 (ja) * 2011-03-28 2015-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体
CN107736010A (zh) 2015-06-24 2018-02-23 奥林巴斯株式会社 图像处理装置、摄像装置、图像处理方法、图像处理程序和存储介质
WO2019008692A1 (ja) 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007142109A1 (ja) * 2006-05-31 2007-12-13 Nec Corporation 画像高解像度化装置及び画像高解像度化方法並びにプログラム
WO2015145856A1 (ja) * 2014-03-27 2015-10-01 オリンパス株式会社 画像処理装置および画像処理方法
JP2015204599A (ja) * 2014-04-16 2015-11-16 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2017064807A1 (ja) * 2015-10-16 2017-04-20 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11445109B2 (en) 2017-07-05 2022-09-13 Olympus Corporation Image processing device, image capturing device, image processing method, and storage medium
WO2021044750A1 (ja) * 2019-09-02 2021-03-11 ソニー株式会社 撮像装置、画像処理装置及び画像処理方法
JP7424383B2 (ja) 2019-09-02 2024-01-30 ソニーグループ株式会社 撮像装置、画像処理装置及び画像処理方法
US11882247B2 (en) 2019-12-04 2024-01-23 Olympus Corporation Image acquisition apparatus and camera body

Also Published As

Publication number Publication date
US20200120272A1 (en) 2020-04-16
US11146746B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
JP5847228B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2019008693A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP6592523B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP6553826B1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6326180B1 (ja) 画像処理装置
US10389952B2 (en) Image-processing device which generates a high-resolution image by combining images, imaging device, image-processing method, and storage-medium
US11445109B2 (en) Image processing device, image capturing device, image processing method, and storage medium
JP2012019337A (ja) 画像処理装置及び方法並びにプログラム
JP2011248576A (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP4649171B2 (ja) 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム
JP6045767B1 (ja) 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体
WO2015053080A1 (ja) 撮像装置及び撮像方法
JP5683858B2 (ja) 撮像装置
JP6532328B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2016201788A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP2013126123A (ja) 画像処理装置、撮像装置及び画像処理方法
JP5505072B2 (ja) 画像データ処理装置および画像データ処理方法
KR20140117242A (ko) 영상 처리 장치 및 방법
JPH0795595A (ja) カラー撮像装置
JP4733448B2 (ja) 視差生成装置及び視差生成プログラム
JP2013125999A (ja) 画像処理装置、撮像装置及び画像処理方法
JP2012099870A (ja) 撮像装置及び撮像方法
JP2012119852A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17916882

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17916882

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP