JP2009194896A - Image processing device and method, and imaging apparatus - Google Patents

Image processing device and method, and imaging apparatus Download PDF

Info

Publication number
JP2009194896A
JP2009194896A JP2008306297A JP2008306297A JP2009194896A JP 2009194896 A JP2009194896 A JP 2009194896A JP 2008306297 A JP2008306297 A JP 2008306297A JP 2008306297 A JP2008306297 A JP 2008306297A JP 2009194896 A JP2009194896 A JP 2009194896A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
resolution
low
reference
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008306297A
Other languages
Japanese (ja)
Inventor
Seiji Okada
Satoru Takeuchi
誠司 岡田
悟 竹内
Original Assignee
Sanyo Electric Co Ltd
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

<P>PROBLEM TO BE SOLVED: To improve the quality of a high-resolution image obtained by super-resolving processing. <P>SOLUTION: A super-resolving portion (50) for creating a high-resolution image from a plurality of low-resolution images by super-resolving processing, includes a blur-amount estimation portion (52) for estimating the magnitude of blur contained in each low-resolution image, a reference image setting portion (53) for setting as a reference image a low-resolution image whose magnitude of blur is the smallest based on the estimation results, and setting the other low-resolution images as comparison images, and a position-shift detection portion (54) for finding position shift amounts between the reference image and the comparison images with sub-pixel accuracy. By using the found position shift amounts and the plurality of low-resolution images, and performing resolution enhancement using the reference image as the reference, a higher-resolution image is created. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像処理を行う画像処理装置及び画像処理方法並びにそれらを利用した撮像装置に関する。 The present invention relates to an image processing apparatus and an image processing method and an imaging apparatus using them for performing image processing. 特に本発明は、複数の低解像度画像から高解像度画像を生成する超解像処理技術に関する。 In particular, the present invention relates to a super-resolution processing technique for generating a high-resolution image from multiple low-resolution images.

低い解像度の画像を高解像度化する画像処理技術として超解像処理が提案されている。 Super-resolution processing has been proposed as an image processing technology for high resolution and low resolution images. 超解像処理を行う装置は、位置ずれのある複数の低解像度画像を参照し、複数の低解像度画像間の位置ずれ量と複数の低解像度画像の画像データに基づいて低解像度画像の高解像度化を行うことにより1枚の高解像度画像を生成する。 Apparatus for performing super-resolution processing, with reference to the plurality of low-resolution images with a positional deviation, a high-resolution low-resolution image based on the image data of the positional deviation amount and a plurality of low-resolution images between a plurality of low-resolution images generating a high resolution image of one by performing the reduction. この高解像度化は、複数の低解像度画像の中から選択された基準画像を基準として行なわれ、位置ずれ量算出などは、基準画像を基準として行われる。 This high resolution is carried out a reference image selected from a plurality of low-resolution image as a reference, etc. positional shift amount calculating is performed a reference image as a reference. このため、得られる高解像度画像の内容(画質や構図を含む)は、基準画像に大きく依存する。 Therefore, the content of the high-resolution image obtained (including quality and composition) will depend largely on the reference image. 尚、基準画像は、基準フレーム、ターゲットフレーム又は対象画像などとも呼ばれる。 The reference image, the reference frame is also referred to such a target frame or target image.

一般的には、基準画像は、連続的な撮影によって得られた時系列で並ぶ画像列の内の、最も早く生成された画像とされる(例えば、特許文献1参照)。 In general, the reference image, in the image rows arranged in time series obtained by continuous shooting, are earliest generated image (e.g., see Patent Document 1).

特開2005−197910号公報 JP 2005-197910 JP 特開2007−151080号公報 JP 2007-151080 JP

上述したように、高解像度化によって得られる高解像度画像の内容は基準画像に大きく依存するため、より望ましい高解像度画像を得るためには、基準画像の選択方法に工夫が必要である。 As described above, because the content of the high-resolution image obtained by the high resolution depends largely on the reference image, in order to obtain a more desirable high-resolution image, the selection method of the reference image it is necessary to devise.

そこで本発明は、望ましい高解像度画像の生成に寄与する画像処理装置及び画像処理方法並びに撮像装置を提供することを目的とする。 Accordingly, the present invention aims to provide an image processing apparatus and image processing method and an imaging apparatus which contributes to the generation of the desired high resolution image.

本発明に係る画像処理装置は、複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する画像処理装置において、前記複数の低解像度画像の画像情報に基づいて前記複数の低解像度画像の中から基準画像を選択する基準画像設定手段を備え、前記基準画像を基準として、解像度を増大させる高解像度化処理を前記複数の低解像度画像に対して実行することにより前記高解像度画像を生成することを特徴とする。 The image processing apparatus according to the present invention is an image processing apparatus for generating a high-resolution image having a resolution higher than the resolution of the low-resolution image from multiple low-resolution images, based on image information of the plurality of low-resolution images comprising a reference image setting means for selecting a reference image from among the plurality of low-resolution images, based on the reference image, by performing a resolution enhancement process to increase the resolution with respect to the plurality of low-resolution images and generating the high resolution image.

具体的には例えば、当該画像処理装置は、前記画像情報に基づいて各低解像度画像に含まれるぼけの大きさを推定するぼけ量推定手段を更に備え、前記基準画像設定手段は、前記ぼけ量推定手段の推定結果に基づいて前記基準画像を選択する。 Specifically, for example, the image processing apparatus further includes a blur amount estimating means for estimating the size of the blur contained in the respective low-resolution image based on the image information, the reference image setting unit, the blur amount selecting the reference image based on the estimation result of the estimating means.

これにより、得られる高解像度画像の画質向上が期待される。 Thus, the image quality improvement of the high-resolution image obtained is expected.

更に具体的には例えば、前記ぼけ量推定手段は、各低解像度画像における高域周波数成分の量に基づいて、各低解像度画像に含まれるぼけの大きさを推定する。 More specifically, for example, the blur amount estimating means based on the amount of high frequency components in each low resolution image, to estimate the size of the blur included in each lower resolution image.

或いは具体的には例えば、前記複数の低解像度画像は、撮像装置による順次撮影にて得られた時系列に並ぶ低解像度画像列を形成し、前記ぼけ量推定手段は、前記低解像度画像列中の時間的に隣接する低解像度画像間の位置ずれ量に基づいて前記低解像度画像列の撮影期間中における前記撮像装置のぶれの状態を検出し、前記ぶれの状態の検出結果から、前記複数の低解像度画像間における、前記ぼけの大きさの大小関係を推定する。 Or, specifically, for example, the plurality of low-resolution images, to form a low-resolution image sequence arranged in time series obtained by sequentially imaging by the imaging device, the blur amount estimating means, the low-resolution image sequence in temporally detect the blur state of the image pickup device in the shooting period of the low-resolution image sequence on the basis of the positional shift amount between adjacent low-resolution images, the detection result of the state of the blurring, the plurality of between the low-resolution image, to estimate the magnitude relationship between the size of the blur.

そして例えば、前記基準画像設定手段は、前記複数の低解像度画像の内、推定されたぼけの大きさが最も小さい低解像度画像を前記基準画像として選択する。 And for example, the reference image setting means, among the plurality of low-resolution images, to select the smallest low-resolution image is the magnitude of the estimated blur as the reference image.

高解像度化の基準となる基準画像としてぼけの小さい画像を選択するようにすれば、無作為に基準画像を選択した場合と比べて、得られる高解像度画像の画質を向上させることができる。 If to select a smaller image blur as a reference image serving as a reference for higher resolution, as compared with the case where randomly selected reference image, it is possible to improve the image quality of high-resolution images obtained.

また例えば、各低解像度画像は撮像装置の撮影によって得られ、前記画像情報は、各低解像度画像の露光期間中における前記撮像装置のぶれの状態を検出するセンサの検出データを含み、前記基準画像設定手段は、前記センサの検出データに基づいて前記基準画像を選択する。 Further, for example, the low-resolution images obtained by photographing the imaging apparatus, the image information includes the detection data of the sensor for detecting the state of the shake of the imaging device during the exposure period of each low-resolution image, the standard image setting means selects the reference picture based on the detection data of the sensor.

そして例えば、前記基準画像設定手段は、前記複数の低解像度画像の内、露光期間中における前記撮像装置のぶれの大きさが最も小さい低解像度画像を前記基準画像として選択する。 And for example, the reference image setting means, among the plurality of low-resolution images, to select the smallest low-resolution image is the size of the blur of the imaging device during the exposure period as the reference image.

高解像度化の基準となる基準画像として露光期間中における撮像装置のぶれが小さい画像を選択するようにすれば、無作為に基準画像を選択した場合と比べて、得られる高解像度画像の画質を向上させることができる。 If so shake of the image pickup device during the exposure period as a reference image serving as a reference for higher resolution selects a smaller image than when randomly selected reference image in, the image quality of high-resolution images obtained it is possible to improve.

また例えば、当該画像処理装置は、前記画像情報に基づいて、各低解像度画像に含まれる特定被写体の、画像上の大きさを検出する被写体サイズ検出手段を更に備え、前記基準画像設定手段は、検出された前記特定被写体の大きさに基づいて前記基準画像を選択するようにしてもよい。 Further, for example, the image processing apparatus, based on the image information, of a particular subject included in the low-resolution image, further comprising a subject size detection means for detecting the size of the image, the reference image setting means, may be selected the reference image based on the magnitude of said detected specific object.

或いは例えば、当該画像処理装置は、前記画像情報に基づいて各低解像度画像の中から人物の顔を検出するとともに前記顔の状態を検出する顔状態検出手段を更に備え、前記基準画像設定手段は、前記顔状態検出手段の検出結果に基づいて前記基準画像を選択するようにしてもよい。 Alternatively, for example, the image processing apparatus, further comprising a face state detecting means for detecting a state of the face and detects a human face from each low-resolution image based on the image information, the reference image setting means , may be selected for the reference image based on a detection result of the face state detecting means.

また具体的には例えば、前記基準画像設定手段は、前記複数の低解像度画像の内の、前記基準画像以外の低解像度画像を参照画像として設定し、当該画像処理装置は、前記基準画像と前記参照画像との間の位置ずれ量を前記基準画像の画素間隔よりも高い分解能で求める位置ずれ検出手段と、求められた位置ずれ量と前記複数の低解像度画像を用い、前記基準画像を基準として前記高解像度化処理を行うことにより前記高解像度画像を生成する高解像度画像生成手段と、を更に備えている。 Specifically, for example, the reference image setting means, wherein of the plurality of low-resolution images, set the low-resolution images other than the reference image as a reference image, the image processing apparatus, the said reference image a position error detection means for obtaining a positional shift amount between the reference image with a resolution higher than the pixel interval of the reference image, using the position displacement amount and the plurality of low-resolution images obtained, based on said reference image further comprising a high resolution image generation means for generating the high resolution image by performing the high-resolution processing.

本発明に係る第1の撮像装置は、順次撮影によって時系列に並ぶ複数の低解像度画像を取得する撮像手段と、前記複数の低解像度画像に対する高解像度化処理によって高解像度画像を生成する上記の画像処理装置と、を備えたことを特徴とする。 First imaging apparatus according to the present invention includes an imaging means for obtaining a plurality of low-resolution images arranged in chronological order by photographing the above to generate a high resolution image by a high resolution processing for the plurality of low-resolution images characterized by comprising an image processing device.

本発明に係る第2の撮像装置は、撮像素子及び被写体に応じた光学像を前記撮像素子上に結像させるための光学系を有して撮影によって撮影画像を得る撮像手段と、前記撮影画像内に設けられた焦点評価領域の映像信号に基づいて焦点評価値を導出する焦点評価値導出手段とを備え、前記焦点評価値に基づいて前記光学系を駆動制御してオートフォーカス制御を行う撮像装置において、前記撮像手段から得た複数の撮影画像を複数の低解像度画像として参照して、前記複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する画像処理装置を更に備え、前記画像処理装置は、各低解像度画像に対して導出された前記合焦評価値に基づいて前記複数の低解像度画像の中から基準画像を選択する基準画 Second imaging apparatus according to the present invention includes an imaging means for obtaining captured image by photographing an optical system for forming an optical image corresponding to the image pickup element and the subject on the imaging device, the captured image based on the image signal of the focus evaluation area provided within a focus evaluation value deriving means for deriving a focus evaluation value, the imaging performing autofocus control the optical system controls and drives, based on the focus evaluation value in the apparatus, with reference to the plurality of photographed images obtained from the imaging unit as a plurality of low-resolution images, the image to generate a high resolution image having a plurality of higher resolution than the resolution of the low resolution image from a low resolution image processor further wherein the image processing apparatus, the reference image to select a reference image from among the plurality of low-resolution image based on the focus evaluation value derived for each low resolution image 設定手段を備え、前記基準画像を基準として、解像度を増大させる高解像度化処理を前記複数の低解像度画像に対して実行することにより前記高解像度画像を生成することを特徴とする。 Comprising a setting means, based on the reference image, and generates the high resolution image by performing a resolution enhancement process to increase the resolution with respect to the plurality of low-resolution images.

これにより、ユーザにとってより望ましい内容の高解像度画像を生成することが可能となる。 Thus, it is possible to generate a high resolution image of more desirable content for the user.

具体的には例えば、前記オートフォーカス制御では、前記焦点評価値が極大値をとるように前記光学系が駆動制御され、前記基準画像設定手段は、前記複数の低解像度画像の内、最大の合焦評価値に対応する低解像度画像を前記基準画像として選択する。 Specifically, for example, in the auto-focus control, the focus evaluation value the optical system to take a maximum value is controlled drive, the reference image setting means, among the plurality of low-resolution images, the maximum focus selecting a low-resolution image corresponding to the focus evaluation value as the reference image.

これにより、ユーザの着目被写体が焦点評価領域に配置された構図を有する低解像度画像が基準画像として選択されやすくなる。 Thus, the low-resolution image is likely to be selected as a reference image having a composition that focuses a subject users are arranged in the focus evaluation area. 結果、ユーザにとってより望ましい構図の高解像度画像を生成することが可能となる。 Result, it is possible to generate a high resolution image of the more desirable composition for the user.

また具体的には例えば、第2の撮像装置において、前記基準画像設定手段は、前記複数の低解像度画像の内の、前記基準画像以外の低解像度画像を参照画像として設定し、前記画像処理装置は、前記基準画像と前記参照画像との間の位置ずれ量を前記基準画像の画素間隔よりも高い分解能で求める位置ずれ検出手段と、求められた位置ずれ量と前記複数の低解像度画像を用い、前記基準画像を基準として前記高解像度化処理を行うことにより前記高解像度画像を生成する高解像度画像生成手段と、を更に備えている。 Specifically, for example, in the second imaging apparatus, the reference image setting means, wherein of the plurality of low-resolution images, set the low-resolution images other than the reference image as a reference image, the image processing apparatus uses a plurality of low-resolution images the positional displacement amount and a positional displacement detecting means for obtaining a higher resolution than the pixel interval of the reference image, the obtained positional deviation amount and between the reference image and the reference image further comprises a, a high resolution image generation means for generating the high resolution image by performing the high-resolution processing the reference image as a reference.

本発明に係る画像処理方法は、複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する画像処理方法において、前記複数の低解像度画像の画像情報に基づいて前記複数の低解像度画像の中から基準画像を選択し、前記基準画像を基準として、解像度を増大させる高解像度化処理を前記複数の低解像度画像に対して実行することにより前記高解像度画像を生成することを特徴とする。 Image processing method according to the present invention is an image processing method for generating a high-resolution image having a plurality of higher resolution than the resolution of the low resolution image from a low resolution image, based on image information of the plurality of low-resolution images generating the high resolution image by selecting the reference image from among the plurality of low-resolution images, based on the reference image, to perform the resolution increasing process of increasing the resolution with respect to the plurality of low-resolution images characterized in that it.

尚、本発明に係る低解像度画像の画像情報は、低解像度画像の各画素の輝度及び/又は色を表す画像データを含み、更に、上述の検出データを含みうる。 The image information of the low-resolution image according to the present invention includes an image data representative of a luminance and / or color of each pixel of the low resolution image, further, it may include detection data above.

本発明によれば、望ましい高解像度画像の生成に寄与する画像処理装置及び画像処理方法並びに撮像装置を提供することができる。 According to the present invention, it is possible to provide a contributing image processing apparatus and image processing method and an imaging apparatus to generate the desired high resolution image.

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。 The significance and benefits of the present invention will become more apparent from the description of the embodiments below. ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。 However, the form the following exemplary, merely a one embodiment of the present invention, the meanings of the terms of the present invention and its features are not limited to those described in the following embodiments .

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。 Hereinafter, embodiments of the present invention will be specifically described with reference to the accompanying drawings. 参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。 In the drawings to be referenced, the same portions are denoted by the same reference numerals in principle redundant description for the same parts. 後に第1〜第8実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。 The first to eighth embodiments described later, first described matters referred to by the reference matter or each example common to each embodiment.

図1は、本発明の実施形態に係る撮像装置1の全体ブロック図である。 Figure 1 is an overall block diagram of an imaging apparatus 1 according to an embodiment of the present invention. 撮像装置1は、例えば、デジタルビデオカメラである。 Imaging apparatus 1 is, for example, a digital video camera. 撮像装置1は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。 The imaging device 1, as well has become capable of shooting video and still pictures, and also capable of simultaneously capturing a still image during moving image shooting. 尚、動画撮影機能を省略し、撮像装置1を静止画のみを撮影可能なデジタルスチルカメラとすることも可能である。 Incidentally, omitted video recording function, it is possible to a digital still camera capable of capturing only still pictures imaging device 1.

[基本的な構成の説明] [Description of basic configuration]
撮像装置1は、撮像部11と、AFE(Analog Front End)12と、映像信号処理部13と、マイク14と、音声信号処理部15と、圧縮処理部16と、SDRAM(Synchronous Dynamic Random Access Memory)などの内部メモリ17と、SD(Secure Digital)カードや磁気ディスクなどの外部メモリ18と、伸張処理部19と、VRAM(Video Random Access Memory)20と、音声出力回路21と、TG(タイミングジェネレータ)22と、CPU(Central Processing Unit)23と、バス24と、バス25と、操作部26と、表示部27と、スピーカ28と、を備えている。 Imaging apparatus 1 includes an imaging unit 11, an AFE (Analog Front End) 12, a video signal processing unit 13, a microphone 14, an audio signal processing section 15, a compression processing unit 16, SDRAM (Synchronous Dynamic Random Access Memory ) and internal memory 17, such as, an external memory 18 such as an SD (Secure Digital) card or a magnetic disk, a decompression processing unit 19, a VRAM (Video Random Access memory) 20, an audio output circuit 21, TG (timing generator ) 22, a CPU (Central Processing unit) 23, a bus 24, a bus 25, an operation unit 26, a display unit 27, a speaker 28, a. 操作部26は、録画ボタン26a、シャッタボタン26b及び操作キー26c等を有している。 Operation unit 26 includes recording button 26a, and a shutter button 26b, the operation key 26c or the like. 撮像装置1内の各部位は、バス24又は25を介して、各部位間の信号(データ)のやり取りを行う。 Each site in the imaging apparatus 1 via the bus 24 or 25, for exchanging signals (data) between the sites.

TG22は、撮像装置1全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置1内の各部に与える。 TG22 generates a timing control signal for controlling the timing of each operation in the entire imaging apparatus 1, and feeds the generated timing control signal to each part of the imaging device 1. タイミング制御信号は、垂直同期信号Vsyncと水平同期信号Hsyncを含む。 The timing control signal includes a vertical synchronizing signal Vsync and a horizontal synchronizing signal Hsync. CPU23は、撮像装置1内の各部の動作を統括的に制御する。 CPU23 performs overall control of the operation of each unit of the imaging apparatus 1. 操作部26は、ユーザによる操作を受け付ける。 Operation unit 26 receives an operation by a user. 操作部26に与えられた操作内容は、CPU23に伝達される。 Operation content given on the operation unit 26 is transmitted to the CPU 23. 撮像装置1内の各部は、必要に応じ、信号処理時に一時的に各種のデータ(デジタル信号)を内部メモリ17に記録する。 Each unit in the imaging device 1, as necessary, to record temporarily during signal processing various data (digital signal) in the internal memory 17.

撮像部11は、撮像素子(イメージセンサ)33の他、光学系、絞り及びドライバ(図1において不図示)を備える。 Imaging unit 11, in addition to the image sensor 33 includes an optical system, a diaphragm and a driver (not shown in FIG. 1). 被写体からの入射光は、光学系及び絞りを介して、撮像素子33に入射する。 Incident light from an object through the optical system and the aperture is incident on the image sensor 33. 光学系を構成する各レンズは、被写体の光学像を撮像素子33上に結像させる。 Each lens constituting the optical system forms an optical image of a subject on the image sensor 33. TG22は、上記タイミング制御信号に同期した、撮像素子33を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子33に与える。 TG22 is synchronized with the timing control signal, it generates a drive pulse for driving the imaging device 33, giving the driving pulses to the image sensor 33.

撮像素子33は、例えばCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等からなる。 Imaging device 33 is made of, for example, CCD (Charge Coupled Devices) and CMOS (Complementary Metal Oxide Semiconductor) image sensor or the like. 撮像素子33は、光学系及び絞りを介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をAFE12に出力する。 The image sensor 33 photoelectrically converts the optical image incident through the optical system and the diaphragm, and outputs an electric signal obtained by the photoelectric conversion to the AFE 12. より具体的には、撮像素子33は、マトリクス状に二次元配列された複数の画素(受光画素;不図示)を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。 More specifically, the image sensor 33 has a plurality of pixels arrayed in a two-dimensional matrix; includes a (light receiving pixels not shown), in each imaging, the signal charges of the charge amount each pixel in accordance with the exposure time store. 蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、TG22からの駆動パルスに従って、後段のAFE12に順次出力される。 Electrical signals from each pixel having a magnitude proportional to the charge amount of the accumulated signal charges in accordance with the drive pulses from the TG 22, it is sequentially output to the subsequent AFE 12.

AFE12は、撮像素子33から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部13に出力する。 AFE12 amplifies the analog signal output from the image sensor 33, and outputs to the video signal processing unit 13 the amplified analog signal after converting into a digital signal. AFE12における信号増幅の増幅度はCPU23によって制御される。 Amplification degree of the signal amplification in AFE12 is controlled by the CPU 23. 映像信号処理部13は、AFE12の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。 Video signal processing unit 13 performs various image processing on the image represented by the output signal of the AFE 12, generates a video signal of the image after the image processing. 映像信号は、画像の輝度を表す輝度信号Yと、画像の色を表す色差信号U及びVと、から構成される。 Video signal is composed of a luminance signal Y representing the brightness of the image, and the color difference signals U and V representing the color of an image, from.

マイク14は撮像装置1の周辺音をアナログの音声信号に変換し、音声信号処理部15は、このアナログの音声信号をデジタルの音声信号に変換する。 Microphone 14 converts the ambient sound of the image pickup apparatus 1 into an analog audio signal, the audio signal processing unit 15 converts the audio signal of the analog to digital audio signals.

圧縮処理部16は、映像信号処理部13からの映像信号を、所定の圧縮方式を用いて圧縮する。 Compression processing unit 16, a video signal from the video signal processing unit 13, by using a predetermined compression method. 動画または静止画の撮影及び記録時において、圧縮された映像信号は外部メモリ18に記録される。 Video or the still image shooting and recording, the compressed video signal is recorded in the external memory 18. また、圧縮処理部16は、音声信号処理部15からの音声信号を、所定の圧縮方式を用いて圧縮する。 The compression processing section 16, the audio signal from the audio signal processing section 15, by a predetermined compression scheme. 動画撮影及び記録時において、映像信号処理部13からの映像信号と音声信号処理部15からの音声信号は、圧縮処理部16にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ18に記録される。 During movie shooting and recording, the audio signal from the video signal and the audio signal processing section 15 from the video signal processing section 13 is compressed while temporally associated with each other by the compression processing section 16, they are outside the compressed It is recorded in the memory 18.

録画ボタン26aは、動画の撮影及び記録の開始/終了を指示するための押しボタンスイッチであり、シャッタボタン26bは、静止画の撮影及び記録を指示するための押しボタンスイッチである。 Record button 26a is a push button switch for instructing start / end of video shooting and recording, the shutter button 26b is a push button switch for instructing still image shooting and recording.

撮像装置1の動作モードには、動画及び静止画の撮影が可能な撮影モードと、外部メモリ18に格納された動画及び静止画を表示部27に再生表示する再生モードと、が含まれる。 The operation mode of the imaging apparatus 1, the video and capable still image shooting photography mode, a playback mode for reproducing and displaying the moving image and still image stored in the external memory 18 to the display unit 27, are included. 操作キー26cに対する操作に応じて、各モード間の遷移は実施される。 In response to the operation on the operation key 26c, the transition between the modes is performed. 撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子33から時系列で並ぶ画像列が取得される。 In shooting mode, sequential shooting is performed at a predetermined frame period, an image sequence is acquired arranged in time series from the image sensor 33. この画像列を形成する各画像を「フレーム画像」と呼ぶ。 Each image forming the image sequence is referred to as a "frame image".

撮影モードにおいて、ユーザが録画ボタン26aを押下すると、CPU23の制御の下、その押下後に得られる各フレーム画像の映像信号及びそれに対応する音声信号が、順次、圧縮処理部16を介して外部メモリ18に記録される。 In shooting mode, when the user presses the record button 26a, under the control of the CPU 23, the audio signal corresponding video signal and that of each frame image obtained after depression thereof, sequentially, the external memory 18 via the compression processing section 16 It is recorded in the. 動画撮影の開始後、再度ユーザが録画ボタン26aを押下すると、映像信号及び音声信号の外部メモリ18への記録は終了し、1つの動画の撮影は完了する。 After starting the moving image photographing, the user again presses the record button 26a, a recording of the external memory 18 of the video and audio signals are terminated, taking one moving is completed. また、撮影モードにおいて、ユーザがシャッタボタン26bを押下すると、静止画の撮影及び記録が行われる。 Further, in the shooting mode, when the user presses the shutter button 26b, the still image shooting and recording is performed.

再生モードにおいて、ユーザが操作キー26cに所定の操作を施すと、外部メモリ18に記録された動画又は静止画を表す圧縮された映像信号は、伸張処理部19にて伸張されてからVRAM20に書き込まれる。 In playback mode, performs a predetermined operation on the user operation key 26c, compressed video signal representing a moving image or a still image stored in the external memory 18, written into the VRAM20 from being decompressed by the decompression processing unit 19 It is. 尚、撮影モードにおいては、通常、録画ボタン26a及びシャッタボタン26bに対する操作内容に関係なく、映像信号処理13による映像信号の生成が逐次行われており、その映像信号は順次VRAM20に書き込まれる。 Incidentally, in the imaging mode, typically record button 26a and regardless the operation contents for the shutter button 26b, a video signal processing 13 generates a video signal have been sequentially performed by, the video signal is sequentially written into the VRAM 20.

表示部27は、液晶ディスプレイなどの表示装置であり、VRAM20に書き込まれた映像信号に応じた画像を表示する。 Display unit 27 is a display device such as a liquid crystal display, and displays an image corresponding to the video signal written to the VRAM 20. また、再生モードにおいて動画を再生する際、外部メモリ18に記録された動画に対応する圧縮された音声信号も、伸張処理部19に送られる。 Further, when reproducing the moving image in the playback mode, the compression audio signal corresponding to the moving image recorded in the external memory 18, sent to the decompression processing unit 19. 伸張処理部19は、受け取った音声信号を伸張して音声出力回路21に送る。 Decompression processing unit 19 sends to the audio output circuit 21 decompresses the audio signal received. 音声出力回路21は、与えられたデジタルの音声信号をスピーカ28にて出力可能な形式の音声信号(例えば、アナログの音声信号)に変換してスピーカ28に出力する。 The audio output circuit 21, printable format audio signal a digital audio signal given by a speaker 28 (e.g., an analog audio signal) and outputs to the speaker 28. スピーカ28は、音声出力回路21からの音声信号を音声(音)として外部に出力する。 Speaker 28 outputs the audio signal from the audio output circuit 21 to the outside as audio (sound).

映像信号処理部13は、CPU23と協働しつつ、超解像処理を実施することが可能に形成されている。 Video signal processing section 13, cooperates with CPU 23, and is formed to be capable of performing the super-resolution processing. 超解像処理によって、複数の低解像度画像から1枚の高解像度画像が生成される。 The super-resolution processing, one high-resolution image from multiple low-resolution image is generated. この高解像度画像の映像信号を、圧縮処理部16を介して外部メモリ18に記録することができる。 The video signal of the high-resolution image can be recorded in the external memory 18 via the compression processing section 16. 高解像度画像の解像度は、低解像度画像のそれよりも高く、高解像度画像の水平方向及び垂直方向の画素数は、低解像度画像のそれよりも多い。 Resolution of the high resolution image is higher than that of the low-resolution image, the number of pixels in the horizontal direction and the vertical direction of the high-resolution image is larger than that of the low-resolution image. 例えば、静止画の撮影指示がなされた時に、複数の低解像度画像としての複数のフレーム画像を取得し、それらに対して超解像処理を実施することにより高解像度画像を生成する。 For example, when a shooting instruction of a still image is made, it acquires a plurality of frame images as a plurality of low-resolution image to generate a high resolution image by performing the super-resolution processing on them. 或いは例えば、動画撮影時に得られた複数の低解像度画像としての複数のフレーム画像に対して、超解像処理は実施される。 Alternatively, for example, for a plurality of frame images as a plurality of low-resolution images obtained during moving image shooting, the super-resolution processing is carried out.

超解像処理の基本概念について簡単に説明する。 Briefly describes the basic concept of the super-resolution processing. 例として、再構成型方式を用いた超解像処理を説明する。 As an example, illustrating the super-resolution processing using the reconstruction-method. 図2に、再構成型方式の一種であるMAP(Maximum A Posterior)方式を用いた超解像処理の概念図を示す。 Figure 2 shows a type is a MAP (Maximum A Posterior) conceptual diagram of the super-resolution processing using the method of reconstruction-method. この超解像処理では、実際の撮影によって得られた複数の低解像度画像から1枚の高解像度画像を推定し、この推定した高解像度画像を劣化させることによって元の複数の低解像度画像を推定する。 The super-resolution processing estimates a high-resolution image of a single from the actual multiple low-resolution images obtained by photographing, estimates the original plurality of low-resolution images by degrading the high resolution image the estimated to. 実際の撮影によって得られた低解像度画像を特に「観測低解像度画像」と呼び、推定された低解像度画像を特に「推定低解像度画像」と呼ぶ。 Particularly called "observation low-resolution images," the low-resolution image obtained by the actual photographing, the low-resolution image estimated particularly referred to as "estimated low-resolution images". その後、観測低解像度画像と推定低解像度画像との誤差が最小化されるように、高解像度画像と低解像度画像を反復推定し、最終的に取得される高解像度画像を出力する。 Thereafter, the observation so that the error between the low-resolution image and the estimated low-resolution image is minimized, a high-resolution image and the low resolution image and iterative estimation, and outputs the final high-resolution image acquired.

図3に、超解像処理の流れをフローチャートにて表す。 Figure 3 depicts the flowchart of the flow of super-resolution processing. まず、ステップS11にて初期高解像度画像が生成される。 First, an initial high-resolution image is generated at step S11. この初期高解像度画像は、後述の基準画像から生成される。 The initial high-resolution image is generated from below of the reference image. 続くステップS12にて、現時点の高解像度画像を構築する元の観測低解像度画像を推定する。 In subsequent step S12, it estimates the original observation low-resolution images to construct a high-resolution image current. 推定された画像を、上述したように推定低解像度画像と呼ぶ。 The estimated image is referred to as the estimated low-resolution image as described above. 続くステップS13では、観測低解像度画像と推定低解像度画像との差分画像に基づいて現時点の高解像度画像に対する更新量を導出する。 In step S13, it derives the update amount with respect to the high-resolution image of the current based on the difference image between the observed low-resolution image and the estimated low-resolution images. この更新量は、ステップS12〜S14の各処理の反復実行によって観測低解像度画像と推定低解像度画像との誤差が最小化されるように導出される。 The update amount, the error between the observed low-resolution image and the estimated low-resolution images by repeated execution of the processing in steps S12~S14 are derived as is minimized. そして、続くステップS14にて、その更新量を用いて現時点の高解像度画像を更新し、新たな高解像度画像を生成する。 Then, at subsequent step S14, and updates the high-resolution image of the present time using the update amount, to generate a new high-resolution images. この後、ステップS12に戻り、新たに生成された高解像度画像を現時点の高解像度画像と捉えて、ステップS12〜S14の各処理が反復実行される。 Thereafter, the flow returns to step S12, and regarded as newly generated high resolution image of the current high-resolution image, the processes of steps S12~S14 are repeatedly performed. 基本的に、ステップS12〜S14の各処理の反復回数が増大するほど、得られる高解像度画像の解像度が実質的に向上し、理想に近い高解像度画像が得られる。 Basically, as the number of iterations of the processes of steps S12~S14 increases, the resolution of the high resolution image obtained is substantially improved, high-resolution image can be obtained close to the ideal.

上述した動作の流れを基本とする超解像処理が、撮像装置1内にて実施される。 Super-resolution processing which is based on the flow of operations described above is performed by the imaging apparatus 1. 撮像装置1にて実施される超解像処理は、どのような方式の超解像処理であっても構わないが、本実施形態では再構成型方式の超解像処理を採用した場合を説明する。 Super-resolution processing performed by the imaging apparatus 1, any type but may be a super-resolution processing, in the present embodiment described the case of employing the super-resolution processing of reconstruction-method to. 再構成型方式は、ML(Maximum-Likelihood)法、MAP(Maximum A Posterior)法、POCS(Projection Onto Convex Set)法、IBP(Iterative Back Projection)法などを含むが、本実施形態では、MAP法を採用した構成を例にとる。 Reconfigurable system, ML (Maximum-Likelihood) method, MAP (Maximum A Posterior) method, POCS (Projection Onto Convex Set) method, and the like IBP (Iterative Back Projection) process, in the present embodiment, MAP method take as an example the adopted constitute a.

超解像処理に関する実施例として、以下に第1〜第8実施例を説明する。 As an example of super-resolution processing will be described first to eighth embodiments below. 或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能される。 Matters described in a certain embodiment, unless inconsistent, is also applicable to other embodiments.

<<第1実施例>> << First embodiment >>
まず、第1実施例について説明する。 First, a first example will be described. 図4は、超解像処理を担う超解像部50の内部ブロック図である。 Figure 4 is an internal block diagram of the super-resolution unit 50 responsible for the super-resolution processing. 符号51、52及び54〜57にて参照される各部位は図1の映像信号処理部13内に設けられ、第1、第2、第3、第4のフレームメモリ61、62、63及び64は図1の内部メモリ17内に設けられる。 Individual units denoted by numerals 51, 52 and 54 to 57 are provided in the video signal processing unit 13 of FIG. 1, first, second, third, fourth frame memories 61, 62, 63 and 64 It is provided in the internal memory 17 of FIG. 1. 基準画像設定部53の機能はCPU23にて実現される。 Function of the reference image setting unit 53 is realized by CPU 23. 但し、基準画像設定部53の機能を映像信号処理部13にて実現させるようにしてもよい。 However, the function of the reference image setting unit 53 may be configured to be realized by the video signal processing unit 13. 以下、第1、第2、第3、第4のフレームメモリを、単に、フレームメモリと略記する。 Hereinafter, first, second, third, and fourth frame memories, simply abbreviated as a frame memory. フレームメモリ61〜63は、観測低解像度画像としてのフレーム画像の画像データを記憶するためのメモリであり、フレームメモリ64は、高解像度画像の画像データを記憶するためのメモリである。 Frame memories 61 to 63 is a memory for storing image data of the frame image as an observation low-resolution image, the frame memory 64 is a memory for storing image data of a high resolution image. 図5は、図4の各部位の動作の流れを時系列的に示した図であり、図5の横方向が時間方向に対応する。 Figure 5 is a diagram showing a time-series manner the flow of the operation of each part in FIG. 4, horizontal direction in FIG. 5 corresponds to the time direction. 尚、或る注目した画像の画像データとは、その注目した画像の輝度及び色を表すデータ(例えば、RGB信号やYUV信号)である。 Note that the image data of a certain target image is data representing the brightness and color of the target image (eg, RGB signal or YUV signal).

第1実施例では、3枚の観測低解像度画像から1枚の高解像度画像を生成する場合を例にとる。 In the first embodiment, taken from the three observed low-resolution image as an example a case of generating one high-resolution image. 3枚の観測低解像度画像は、連続して撮影された3つのフレーム画像である。 Three observed low-resolution image is a three frame images captured in succession. この3枚の観測低解像度画像をL 1 、L 2及びL 3にて表すこととし、観測低解像度画像L 1 、L 2及びL 3の順番で撮影がなされたものとする。 The three observation low-resolution images and be represented by L 1, L 2 and L 3, it is assumed that the observed low-resolution image L 1, taken at the order of L 2 and L 3 were made. 以下の説明において、観測低解像度画像L 1 、L 2及びL 3をそれぞれ画像L 1 、L 2及びL 3と略記することもある(後述のL 4等についても同様)。 In the following description, (the same is true for L 4 described later or the like) that the observed low-resolution image L 1, is L 2 and L 3 each image L 1, L also 2 and L 3 and the abbreviated. 画像L 1 、L 2及びL 3の内、異なる2枚の画像間には、手ぶれ等に由来する位置ずれが生じているものとする。 Of the image L 1, L 2 and L 3, the two images are assumed misregistration resulting from camera shake or the like has occurred.

画像L 1 、L 2及びL 3の順番で撮影が行われるため、選択部51及びぼけ量推定部52に、まず画像L 1を表す画像データが入力され、次に画像L 2を表す画像データが入力され、更にその次に画像L 3を表す画像データが入力される。 Because imaging in the order of the image L 1, L 2 and L 3 are performed, the selection unit 51 and the blur amount estimating unit 52, the input image data is first representative of the image L 1, then the image data representing the image L 2 There are input, the input is further image data representing the image L 3 to the next. 選択部51は、入力された観測低解像度画像の画像データが記憶されるフレームメモリを選択する。 Selecting unit 51 selects a frame memory in which the image data of the inputted observed low-resolution image is stored. 具体的には、選択部51は、画像L 1の画像データ、画像L 2の画像データ及び画像L 3の画像データを、夫々、フレームメモリ61、62及び63に送って記憶させる。 More specifically, the selection unit 51, the image data of the image L 1, the image data of the image data and the image L 3 of the image L 2, respectively, is sent and stored in the frame memory 61, 62, and 63.

ぼけ量推定部52は、入力された画像に含まれるぼけの大きさ(以下、ぼけ量という)を推定するための部位であり、ぼけ量に応じたぼけ量評価値を算出する。 Blur estimation unit 52, the size of the blur contained in the input image (hereinafter, referred to as blur) a part for estimating, calculating the blur evaluation value corresponding to the amount of blur. ぼけ量推定部52は、最初に画像L 1の画像データに基づいて画像L 1のぼけ量に応じたぼけ量評価値を算出し、次に画像L 2の画像データに基づいて画像L 2のぼけ量に応じたぼけ量評価値を算出し、更にその次に画像L 3の画像データに基づいて画像L 3のぼけ量に応じたぼけ量評価値を算出する。 Blur estimation unit 52 first calculates the blur evaluation value corresponding to the blur of the image L 1 on the basis of the image data of the image L 1, the image L 2 and then based on the image data of the image L 2 calculating a blur evaluation value corresponding to the amount of blur, further calculates the blur evaluation value corresponding to the blur of the image L 3 on the basis of the image data of the image L 3 to the next. 各ぼけ量評価値は、順次、基準画像設定部53に伝達される。 Each blur evaluation value is sequentially transmitted to the reference image setting unit 53.

撮像装置1を手で支持する場合などにおいては、観測低解像度画像の露光期間中に、撮像装置1の筐体に所謂手ぶれが作用しうる。 In a case that supports the imaging device 1 by hand, observed during an exposure period of the low-resolution image, the so-called camera shake can act on the housing of the imaging device 1. また、所謂被写体ぶれが生じる場合もある。 In some cases, the so-called object shake occurs. 被写体ぶれとは、露光期間中に被写体が実空間上で動くことによって生じる、画像上における被写体のぶれのことを意味する。 The subject shake, the subject during the exposure period occurs by moving in the real space, it means that the blurring of the subject in the image. 着目した観測低解像度画像に関して手ぶれや被写体ぶれが生じると、着目した観測低解像度画像の全体又は一部が手ぶれや被写体ぶれに由来してぼける。 When the focused observed low-resolution image shake and subject blur respect occurs, it blurs all or a portion of the focused observed low resolution image derived from a camera shake or subject blur. ぼけ量推定部52は、観測低解像度画像の画像データに基づいて、この手ぶれや被写体ぶれに由来するぼけの大きさを推定する。 Blur estimation unit 52 based on the image data of the observed low-resolution image, to estimate the size of the blur resulting from camera shake or subject blur.

ぼけ量推定部52は、例えば、手ぶれや被写体ぶれが生じると画像内の高域周波数成分が減衰するという特性を利用してぼけ量を推定する。 Blur estimation unit 52, for example, high frequency components in the image when the camera shake or subject blur occurs to estimate the blur by using the property of attenuation. つまり、観測低解像度画像における所定の高域周波数成分を抽出し、抽出した高域周波数成分の量に基づいてぼけ量を推定する。 That is, it extracts a predetermined high frequency component in the observation low-resolution image, to estimate the blur amount based on the amount of the extracted high frequency component. 高域周波数成分の量は、高域周波数成分の強度とも換言される。 The amount of the high frequency component is in other words with the intensity of the high frequency components.

図6を参照して、1枚の観測低解像度画像に対するぼけ量評価値の算出方法を説明する。 Referring to FIG. 6, illustrating a method of calculating the blur evaluation value for one of the observed low-resolution image. 図6は、ぼけ量推定部52として利用可能なぼけ量推定部の内部ブロック図である。 Figure 6 is an internal block diagram of the available blur estimator as blur estimator 52. 図6のぼけ量推定部は、抽出部71、HPF(ハイパスフィルタ)72及び積算部73を有して構成される。 Blur estimation unit of FIG. 6, the extraction section 71, HPF configured with a (high-pass filter) 72 and integrating unit 73.

抽出部71には、観測低解像度画像の映像信号が与えられる。 The extraction unit 71, a video signal of the observed low-resolution image is given. 抽出部71は、その映像信号の中から、観測低解像度画像内に定義された評価領域内の輝度信号を抽出する。 Extraction unit 71, from among the video signal, and extracts a luminance signal of the defined evaluation area in the observation low-resolution image. 評価領域は、例えば、観測低解像度画像内の全体領域である。 Evaluation region, for example, an entire area in the observation low-resolution image. 但し、観測低解像度画像内の一部領域(例えば、後述の第5実施例にて述べる主要被写体領域)を評価領域として設定することも可能である。 However, the observation part region in the low-resolution image (e.g., main subject area described in the fifth embodiment to be described later) can be set as the evaluation area. HPF72は、抽出部71によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。 HPF72 extracts only predetermined high frequency components in the extracted luminance signal by the extracting unit 71. 例えば、HPF72を、図7に示すような空間フィルタとしての、3×3のフィルタサイズを有するラプラシアンフィルタにて形成し、そのラプラシアンフィルタを評価領域内の各画素に作用させる空間フィルタリングを行う。 For example, the HPF 72, as the spatial filter shown in FIG. 7, formed by a Laplacian filter having a filter size of 3 × 3, performs spatial filtering which applies the Laplacian filter to the pixels in the evaluation area. そうすると、HPF72からは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。 Then, from the HPF 72, the output value corresponding to the filter characteristics of the Laplacian filter is sequentially obtained. 尚、HPF72を周波数フィルタにて形成するようにし、フーリエ変換を用いて周波数領域上で高域周波数成分を抽出するようにしてもよい。 Incidentally, so as to form a HPF72 at frequency filter, it may be extracted high frequency components in the frequency domain using a Fourier transform.

積算部73は、HPF72によって抽出された高域周波数成分の大きさ(即ち、HPF72の出力値の絶対値)を積算し、積算値をぼけ量評価値として出力する。 Integration unit 73, the magnitude of the high frequency components extracted by the HPF 72 (i.e., the absolute value of the output value of the HPF 72) is integrated, and outputs the integrated value as a blur evaluation value. 或る観測低解像度画像に対するぼけ量評価値は、その観測低解像度画像におけるぼけ量が小さくなるに従って増大する。 Blur evaluation value for a certain observation low-resolution image increases as the amount of blur in the observation low-resolution image is reduced.

3枚の観測低解像度画像L 1 〜L 3を高解像度化することによって1枚の高解像度画像を生成する際、3枚の画像L 1 〜L 3の内の1枚が高解像度化の基準となる基準画像として設定され、他の2枚が参照画像として設定される。 Three observation low-resolution images L 1 ~L 3 when generating one high-resolution image by the resolution of the reference one of the three images L 1 ~L 3 is a high-resolution It is set as a reference image serving as the other two is set as a reference image. 基準画像を、基準フレーム又は基準フレーム画像と読み替えることもでき、参照画像を、参照フレーム又は参照フレーム画像と読み替えることもできる。 The reference image can also be read as a reference frame or reference frame image, the reference image can also be read as a reference frame or reference frame picture. 高解像度画像を生成するために必要な位置ずれ量は基準画像を基準にして算出される。 High resolution image position shift amount required to produce a is calculated based on the reference image. また、基準画像は初期高解像度画像の生成の元ともされる。 The reference image is also based on the generation of an initial high-resolution image. このため、最終的に得られる高解像度画像の画質は基準画像に大きく依存する。 Therefore, image quality of high-resolution image finally obtained is highly dependent on the reference image. そこで、基準画像設定部53は、ぼけ量評価値に基づいて基準画像及び参照画像を設定する処理を行う。 Therefore, the reference image setting unit 53 performs the process of setting the reference image and the reference image based on the blur evaluation value. 具体的には、観測低解像度画像L 1 〜L 3の内、最もぼけ量が小さいと推定された観測低解像度画像を基準画像として設定すると共に残りの2枚の観測低解像度画像を参照画像として設定する。 Specifically, among the observed low-resolution image L 1 ~L 3, as a reference image the remaining two observed low-resolution image and sets the observed low-resolution image estimated most blur amount is small as the reference image set to. ぼけ量が小さいとぼけ量評価値は大きくなるため、ぼけ量評価値が最も大きい観測低解像度画像が基準画像として設定される。 Since the amount of blur increases less blur amount evaluation value, the largest observed low resolution image blur evaluation value is set as the reference image.

今、基準画像に対応する観測低解像度画像の番号をaで表し、且つ、2枚の参照画像に対応する観測低解像度画像の番号をb及びcで表す。 Now, it represents the number of observed low resolution image corresponding to the reference image in a, and represents the number of the corresponding observation low-resolution images to two reference images in b and c. 基準画像が画像L 1である場合はa=1且つb=2且つc=3であり、基準画像が画像L 2である場合はa=2且つb=1且つc=3であり、基準画像が画像L 3である場合はa=3且つb=1且つc=2である。 If the reference image is the image L 1 is a = 1 and b = 2 and c = 3, if the reference image is the image L 2 is a = 2 and b = 1 and c = 3, the reference image If There is an image L 3 is a = 3 and b = 1 and c = 2. 基準画像の設定後、図4の基準画像設定部53は、a、b及びcの値に基づいて、位置ずれ検出部54、初期高解像度画像生成部55及び超解像度処理部57が読み出すべき観測低解像度画像の順番を制御する。 After setting the reference image, the reference image setting unit 53 of FIG. 4, a, based on the values ​​of b and c, the observation to be read positional shift detection unit 54, the initial high-resolution image generating unit 55 and the super-resolution processing unit 57 controlling the order of the low-resolution image. つまり、それらが、どのタイミングでどのフレームメモリの画像データを読み出すべきかを制御する。 That is, they controls the should read the image data of which the frame memory at any time.

位置ずれ検出部54は、代表点マッチング法やブロックマッチング法、勾配法などを用いて、2枚の観測低解像度画像間の位置ずれ量を算出する。 Positional shift detection unit 54, the representative point matching method or a block matching method, by using a gradient method to calculate the positional shift amount between the two observed low resolution images. ここで算出される位置ずれ量は、観測低解像度画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有している。 Position shift amount calculated here, the observed higher resolution than the pixel interval of the low-resolution image has the resolution of the so-called sub-pixel. つまり、観測低解像度画像内の隣接する2つの画素の間隔よりも短い距離を最小単位として位置ずれ量が算出される。 That is, the position deviation amount as a minimum unit distance shorter than the distance between two adjacent pixels in the observation low-resolution image is calculated. 位置ずれ量は、水平成分及び垂直成分を含む二次元量であり、動き量又は動きベクトルとも呼ばれる。 Positional deviation amount is a two-dimensional quantity containing a horizontal and a vertical component, also referred to as motion amount or a motion vector.

位置ずれ検出部54は、基準画像を基準とし、基準画像と各参照画像との間における位置ずれ量を算出する。 Positional shift detection unit 54, a reference image as a reference, calculates the positional deviation amount between the reference image and each reference image. 従って、基準画像の設定後、位置ずれ検出部54には、まず観測低解像度画像L a及びL bの画像データが入力され、観測低解像度画像L aを基準とした、観測低解像度画像L aとL bとの間の位置ずれ量V abが算出される(図5参照)。 Therefore, after setting the reference image, the position shift detecting unit 54, first observed image data of the low resolution image L a and L b are input, relative to the observed low-resolution image L a, the observed low-resolution image L a position deviation amount V ab between L b is calculated (see FIG. 5). 次に、位置ずれ検出部54には、観測低解像度画像L a及びL cの画像データが入力され、観測低解像度画像L aを基準とした、観測低解像度画像L aとL cとの間の位置ずれ量V acが算出される。 Next, the positional shift detection unit 54, the observed image data of the low resolution image L a and L c are input, relative to the observed low-resolution image L a, between the observed low-resolution image L a and L c position deviation amount V ac of is calculated.

一方において、基準画像の設定後、初期高解像度画像生成部55(以下、生成部55と略記する)は、基準画像である観測低解像度画像L aに基づいて初期高解像度画像H 0を生成する(図5参照)。 On the other hand, after setting the reference image, the initial high resolution image generation unit 55 (hereinafter, abbreviated as generator 55) generates an initial high resolution image H 0 on the basis of a reference image observed low-resolution image L a (see Figure 5). この生成処理は、図3のステップS11の処理に相当する。 This generation process corresponds to step S11 of FIG. 初期高解像度画像H 0は、最終的に生成されるべき高解像度画像の初期画像に相当する。 Initial high resolution image H 0 corresponds to the final high-resolution image to be generated initial image. 以下、初期高解像度画像H 0を、単に高解像度画像H 0又は画像H 0と呼ぶこともある。 Hereinafter, the initial high-resolution image H 0, may be simply referred to as a high-resolution image H 0 or image H 0. 例えば、線形補間やバイキュービック補間を用いて観測低解像度画像L aの水平及び垂直方向の画素数を増大させた画像を画像H 0として生成する。 For example, to generate an image with an increased number of pixels in the horizontal and vertical directions of the observed low-resolution image L a using linear interpolation or bicubic interpolation as the image H 0. 生成された画像H 0の画像データはフレームメモリ64に記憶される。 Image data of the generated image H 0 is stored in the frame memory 64.

図4の選択部56は、生成部55にて生成された画像(即ち、画像H 0 )及びフレームメモリ64に記憶されている画像の内の一方を選択し、選択した画像の画像データを超解像処理部57に与える。 Selector 56 of FIG. 4, the image generated by the generating unit 55 (i.e., the image H 0) select one of and images stored in the frame memory 64, the image data of the selected image super give to the resolution processing unit 57. 画像H 0が生成された直後は画像H 0が選択部56にて選択され、画像H 0と異なる高解像度画像が超解像処理部57にて生成された後は、フレームメモリ64に記憶されている画像が選択部56にて選択される。 Immediately after the image H 0 is generated image H 0 is selected by the selecting section 56, after the different high-resolution image image H 0 is generated by the super-resolution processing unit 57 is stored in the frame memory 64 and has an image is selected by the selection unit 56.

また、超解像処理部57には、フレームメモリ61〜63から観測低解像度画像L a 、L b及びL cの画像データが入力される。 In addition, the super-resolution processing unit 57, observed from the frame memory 61 to 63 low-resolution image L a, the image data of the L b and L c are input. 超解像処理部57は、MAP法に基づき、画像H 0と観測低解像度画像L a 、L b及びL cと位置ずれ量V ab及びV acを用い、推定低解像度画像の生成を介して画像H 0に対する更新量を求める。 Super-resolution processing unit 57, based on the MAP method, the image H 0 and the observed low-resolution image L a, using a L b and L c and the position deviation amount V ab and V ac, via the generation of the estimated low-resolution images determining an update amount to the image H 0. この処理は、1回目のステップS12及びS13の処理に相当する(図3参照)。 This process corresponds to the first process of the steps S12 and S13 (see FIG. 3). そして、画像H 0を該更新量にて更新することにより高解像度画像H 1 (以下、画像H 1と略記することがある)を生成する。 Then, the image H 0 by updating by the updating amount high-resolution image H 1 (hereinafter, sometimes abbreviated as image H 1) to generate a. これは、1回目のステップS14の処理に相当する(図3参照)。 This corresponds to the first process of step S14 (see FIG. 3). 尚、画像H 1が生成された後は、図4において太線で示されたラインだけが有意に機能する。 Incidentally, after the image H 1 is generated, only the line indicated by thick lines in FIG. 4 functions significantly.

生成された画像H 1の画像データはフレームメモリ64に上書き記憶されると共に選択部56を介して超解像処理部57に再度入力される。 Image data of the generated image H 1 is again inputted through the selector 56 while being overwritten stored in the frame memory 64 to the super-resolution processing unit 57. 超解像処理部57は、画像H 0から画像H 1を生成したのと同様の方法にて画像H 1を更新することにより高解像度画像H 2 (以下、画像H 2と略記することがある)を生成する。 Super-resolution processing unit 57, by updating the image H 1 from the image H 0 in the same manner as that generated the image H 1 high-resolution image H 2 (hereinafter, sometimes abbreviated as image H 2 ) to generate. 画像H 2の画像データはフレームメモリ64に上書き記憶される。 Image data of the image H 2 is overwritten stored in the frame memory 64. 画像H 1から画像H 2が生成される処理は、2回目のステップS12〜S14の処理に相当する。 Processing the image H 1 image H 2 is generated, it corresponds to the second step S12~S14 process.

このように、超解像処理部57にて、高解像度画像を更新して新たな高解像度画像を生成するための、ステップS12〜S14の各処理から成る演算処理が反復実行される。 Thus, in the super-resolution processing unit 57, for generating a new high-resolution image by updating the high-resolution image, the processing is repeatedly performed consisting processing of steps S12 to S14. この演算処理を、以下、超解像演算処理と呼ぶ。 This calculation process is hereinafter referred to as super-resolution processing. nを自然数とした場合、n回目の超解像演算処理によって高解像度画像H n-1から高解像度画像H nが生成される。 If was a natural number n, the high-resolution image H n is generated from the high resolution image H n-1 by n-th super-resolution processing. 以下の説明では、nは0以上の整数であるとする。 In the following description, n is an integer of 0 or more.

図8に、超解像処理部57の内部ブロック図を示す。 Figure 8 shows an internal block diagram of a super-resolution processing unit 57. 今、行列表現された高解像度画像H nをx nで表し、行列表現された観測低解像度画像L kをy kで表す。 Now, represents a high-resolution image H n which is a matrix represented by x n, representative of the matrix representation observed low resolution images L k in y k. 即ち例えば、行列x nは、高解像度画像H nを形成する各画素の画素値を書き並べたものである。 That is, for example, the matrix x n is obtained by arranging write pixel value of each pixel forming the high-resolution image H n. kは1、2又は3の値をとる。 k has a value of 1, 2 or 3.

そうすると、高解像度画像H n+1に対する行列x n+1は下記式(A−1)に従って導出され、この導出によって高解像度画像H n+1が生成される。 Then, the matrix x n + 1 with respect to the high-resolution image H n + 1 is derived according to the following formula (A-1), high-resolution image H n + 1 are produced by this derivation. 式(A−1)の右辺第2項は、超解像処理部57によって算出されるべき、高解像度画像H nに対する更新量を表している。 The second term of the right side of the formula (A-1) may be calculated by super-resolution processing unit 57 represents the update amount with respect to the high-resolution image H n. NUMは観測低解像度画像の枚数を表し、今の例においてk NUM =3である。 k NUM represents the number of observed low resolution image, a k NUM = 3 in this example. 式(A−1)に基づいて高解像度画像を更新していくことにより、下記式(A−2)に表す、MAP法における評価関数Iが最小化されることになる。 By going to update the high-resolution image based on the formula (A-1), represented by the following formula (A-2), so that the evaluation function I in the MAP method is minimized. 式(A−2)におけるxは、或る回数分だけ超解像演算処理を行った時の、行列表現された高解像度画像を表している。 x in the formula (A-2), only certain number of times when performing super-resolution processing, represents the high resolution image matrix representation.

行列W kと行列x nとの積によって、観測低解像度画像L kの推定画像としての推定低解像度画像が表される。 By the product of the matrix W k and the matrix x n, estimated low-resolution image as the estimated image of the observed low-resolution image L k it is represented. kは、高解像度画像H nから観測低解像度画像L kの推定画像を生成するための行列であって、位置ずれ検出部54で算出した位置ずれ量、高解像度画像から低解像度画像への低解像度化によって生じる画像ぼけを表す点広がり関数(Point Spread Function)、及び、高解像度画像から低解像度画像へのダウンサンプリングを含めた画像変換行列である。 W k is a matrix for generating an estimated image of the observed low-resolution images L k from the high resolution image H n, the position deviation amount calculated by the displacement detection unit 54, from the high resolution image into low-resolution images point spread represents the image blur caused by the low-resolution function (point spread function), and an image transformation matrix, including down-sampling from the high resolution image into low-resolution image. (y k −W kn )は、観測低解像度画像L kとそれの推定画像に相当する推定低解像度画像との差分画像を表している。 (Y k -W k x n) represents a difference image between the estimated low-resolution image corresponding to the observed low-resolution images L k and its estimation image. 尚、添え字Tが付された行列は、元の行列の転置行列を表す。 Incidentally, the matrix subscript T is attached represents a transposed matrix of the original matrix. 従って例えば、W k Tは行列W kの転置行列を表す。 Thus, for example, W k T denotes a transposed matrix of the matrix W k.

また、Cは正則化のための行列であり、αは正則化パラメータである。 Further, C is a matrix for regularization, alpha is a regularization parameter. 行列Cは、例えば「高解像度画像には高域成分が少ない」という事前知識に基づき設定され、行列表現されたラプラシアンフィルタなどによって形成される。 Matrix C, for example, "the high-resolution image high frequency component is small" is set based on prior knowledge that is formed by a matrix representation Laplacian filter. また、βは、フィードバック量を制御するためのパラメータである。 Moreover, beta is a parameter for controlling the feedback amount.

超解像処理部57における超解像演算処理の反復回数が規定回数に達すると、規定回数分の超解像演算処理によって得られた最新の高解像度画像が、最終的に求められるべき高解像度画像として超解像処理部57から出力される。 When the number of iterations of the super-resolution processing in the super resolution processing unit 57 reaches a predetermined number, the most recent high-resolution image obtained by the super-resolution processing of the predetermined number of times is, high resolution to be finally determined output from the super-resolution processing section 57 as an image. また、超解像演算処理の反復回数に関わらず、最新の高解像度画像に対する更新量が十分に小さくなり更新量が収束したと判断される場合は、その最新の高解像度画像を最終的に求められるべき高解像度画像として超解像処理部57から出力するようにしてもよい。 Further, regardless of the number of iterations of the super-resolution processing, if the update amount update amount relative to the latest high-resolution image becomes sufficiently small is determined to have converged, finally obtains the latest high-resolution image it may be output from the super-resolution processing unit 57 as a high-resolution image to be.

ぼけ量の大きな画像を基準画像として設定すると、算出される位置ずれ量の精度が悪くなる。 Setting a large image blur as the reference image, the positional deviation amount of accuracy to be calculated is deteriorated. 超解像処理では、算出された位置ずれ量に基づいて高解像度化が図られるため、位置ずれ量の精度劣化は高解像度画像の画質劣化に繋がる。 In super-resolution processing, since the high resolution can be achieved based on the position shift amount calculated, the accuracy deterioration of the positional shift amount leads to deterioration in image quality of the high resolution image. また、ぼけ量の大きな画像を基準画像として設定すると、最終的に得るべき高解像度画像の初期状態(即ち、初期高解像度画像)の画質が悪くなり、理想的な高解像度画像を得がたくなる。 Further, by setting a large image blur as the reference image, the initial state of the high-resolution image to be obtained finally (i.e., the initial high-resolution image) quality of deteriorates, it becomes difficult to obtain an ideal high-resolution image . 本実施例では、ぼけ量の小さい画像を基準画像として選択するようにしているため、得られる高解像度画像の画質が向上する。 In this embodiment, since the small image blur amount is to be selected as the reference image, the image quality of high-resolution images obtained is improved.

ぼけ量が比較的大きい図9(a)の画像201とぼけ量が比較的小さい図9(b)の画像202を用い、ぼけ量の小さい画像を基準画像として選択することによる効果を実験によって検証した。 Using the image 202 of the image 201 blur of the blur amount is relatively large Figure 9 (a) is relatively small FIG. 9 (b), the was verified by effect experiments by selecting the small image blur amount as the reference image . この実験では、用意した理想的な高解像度画像の解像度を縮小率50%の間引き処理によって低下させることで3枚の画像を生成し、3枚の画像の内の1つを意図的にぼけさせることで、その画像に大きなぼけを含ませた。 In this experiment, to produce three images by decreasing the reduction ratio of 50% thinning processing resolution ideal high-resolution image is prepared, and blurs one of three images intentionally it is, was included large blur to the image. そして、ぼけの少ない2枚の画像を2枚の観測低解像度画像として且つぼけの多い1枚の画像を1枚の観測低解像度画像として取り扱い、観測低解像度画像の2倍の解像度を有する高解像度画像を超解像処理によって再構成した。 The high resolution with handle, a double resolution of the observed low-resolution image two images less blur and the one image with much blurring as one of the observed low-resolution image as a two observed low resolution images images were reconstructed by super-resolution processing. ぼけの少ない2枚の観測低解像度画像は図9(b)の画像202に相当し、ぼけの多い1枚の観測低解像度画像は図9(a)の画像201に相当する。 Two observation low-resolution image with less blurring corresponds to the image 202 of FIG. 9 (b), 1 sheet of the observed low-resolution image with much blurring corresponds to the image 201 of FIG. 9 (a). また、異なる2枚の観測低解像度画像間に位置ずれを生じさせた。 Further, it caused a positional shift between different two observed low resolution images.

図10(a)及び(b)は、夫々、画像201及び202にハイパスフィルタ(図7のラプラシアンフィルタ)を適用した場合に得られる画像201及び202の高域抽出画像211及び212を表している。 Figure 10 (a) and (b), respectively, represent the high-frequency extraction image 211 and 212 of the image 201 and 202 is obtained by applying the high-pass filter (Laplacian filter of FIG. 7) in the image 201 and 202 . 図10(a)及び(b)では、高域抽出画像における画素値が小さい画素ほど黒く示している。 In FIG. 10 (a) and (b), it shows black as pixel pixel value is smaller in the high-frequency extraction image. 画像201に含まれる大きなぼけに起因して、高域抽出画像211の全体が黒くなっている。 Due to the large blur contained in the image 201, the whole of the high frequency extraction image 211 becomes black. 画像201及び202を図6のぼけ量推定部に与えた時、画像201に対して算出されるぼけ量評価値(HPF積算値)は、画像202に対して算出されるそれの1/20程度であった。 When given the image 201 and 202 to the blur amount estimating section of FIG. 6, blur evaluation value calculated for the image 201 (HPF integration value) is about 1/20 of that calculated for the image 202 Met.

実験では、図4の超解像処理部57から出力される高解像度画像と理想的な高解像度画像とのPSNR(Peak Signal to Noise Ratio)を求めた。 In the experiment, it was determined PSNR (Peak Signal to Noise Ratio) of the high resolution image and the ideal high resolution image output from the super-resolution processing unit 57 of FIG. 周知の如く、PSNRは対比される画像間の類似性を表す指標であり、その類似性が高いほどPSNRは高くなる。 As is well known, PSNR is an index representing the similarity between images to be compared, PSNR increases as the similarity is high. 図11は、このPSNRの、超解像演算処理の反復回数依存性を表すグラフである。 11, the PSNR, which is a graph showing the number of iterations dependent of the super-resolution processing. 図11の折れ線221は、画像201に対応するぼけの多い観測低解像度画像を基準画像に設定した場合におけるPSNRの反復回数依存性を表し、図11の折れ線222は、画像202に対応するぼけの少ない観測低解像度画像を基準画像に設定した場合におけるPSNRの反復回数依存性を表している。 Polygonal line 221 in FIG. 11 represents the number of iterations dependent PSNR in case of setting a blur-rich observed low-resolution image corresponding to the image 201 in the reference image, line 222 in FIG. 11, the blur corresponding to the image 202 it represents the number of iterations dependent PSNR in case of setting the reference image with less observed low resolution images. ぼけの多い画像を基準画像に設定する場合と比べてぼけの少ない画像を基準画像に設定した方が、2dBほどPSNRが高くなっている。 Who image with little blur as compared with the case of setting the large image blur in the reference image is set as a reference image, PSNR is higher as 2 dB. この実験からも、ぼけ量の小さい画像を基準画像として選択することの優位性が理解される。 From this experiment, advantage of selecting a small image blur amount as the reference image is understood.

尚、フレームメモリ61〜64を含む内部メモリ17に対する画像データの読み書きタイミングについて補足説明を加える。 Note that adding supplementary explanation for read and write timing of the image data to internal memory 17 that includes a frame memory 61 to 64. 図12を参照する(図5も参照)。 Referring to FIG. 12 (see also FIG. 5). 図12は、画像データの読み書きタイミングについて特に着目した、超解像処理の動作の流れを表すフローチャートである。 12 was particularly focused on reading and writing timing of image data is a flow chart showing the flow of operations of the super-resolution processing.

最初に、ステップS21において、観測低解像度画像L 1 〜L 3の画像データが順次内部メモリ17に書き込まれる。 First, in step S21, the image data of the observed low-resolution image L 1 ~L 3 are sequentially written in the internal memory 17. 画像L 1 〜L 3から基準画像が選択された後、ステップS21からステップS22に移行する。 After the reference image is selected from the image L 1 ~L 3, it shifts from step S21 to step S22. ステップS22では、位置ずれ検出部54が、基準画像としての画像L a及び参照画像としての画像L bの各画像データを内部メモリ17から読み出して位置ずれ量V abを算出し、続いて、基準画像としての画像L a及び参照画像としての画像L cの各画像データを内部メモリ17から読み出して位置ずれ量V acを算出する。 In step S22, the position shift detection unit 54, reads the image data of the image L b as the image L a and the reference image as a reference image from the internal memory 17 to calculate the positional shift amount V ab, followed by the reference It reads each image data of the image L c as an image L a and the reference image as an image from the internal memory 17 and calculates the position deviation amount V ac with. 一方、ステップS23において、生成部55は、画像L aの画像データを内部メモリ17から読み出して初期高解像度画像を生成する。 On the other hand, in step S23, generating unit 55 reads the image data of the image L a from the internal memory 17 to generate an initial high resolution image. 生成された初期高解像度画像の画像データは内部メモリ17に書き込まれる。 Image data of the generated initial high-resolution image is written in the internal memory 17. その後、続くステップS24では、画像L 1 〜L 3と現時点の高解像度画像の各画像データが内部メモリ17から読み出され、上述の超解像演算処理によって高解像度画像が更新され、且つ、更新された高解像度画像の画像データが内部メモリ17に書き込まれる。 Then, in subsequent step S24, the image data of the image L 1 ~L 3 and the current high-resolution image is read out from the internal memory 17, the high-resolution image is updated by the super-resolution processing described above, and update image data of a high resolution image is written to the internal memory 17. 超解像演算処理を反復実行する場合は、ステップS24の処理が繰り返し実行される。 When executing repeated super-resolution processing, the processing of step S24 is repeatedly executed. 尚、ステップS22、S23及びS24における内部メモリ17からの同一の画像データの読み出しを同時に行うようにしても構わない。 Incidentally, it may also be read out the same image data from the internal memory 17 simultaneously in the step S22, S23 and S24. 例えば、ステップS22における画像L aの画像データの読み出しとステップS23におけるそれを同時に行っても構わない。 For example, it may be performed that simultaneously the image L a reading of the image data and step S23 in the step S22.

上述の如く、画像L 1 〜L 3から基準画像が選択された後に位置ずれ量の算出処理を実行する場合は、ステップS22の段階で、内部メモリ17から観測低解像度画像の画像データを4回(4枚分)読み出す必要がある(画像L a及びL bの画像データの読み出しと、画像L a及びL cの画像データの読み出し)。 As described above, when the process of calculating a position displacement amount after the reference image is selected from the image L 1 ~L 3 is at the stage of Step S22, 4 times the image data of the observed low-resolution images from the internal memory 17 (4 sheets) must be read (and reading of the image data of the image L a and L b, the image data of the image L a and L c read).

この読み出し回数の低減に寄与すべく、基準画像の選択処理と位置ずれ量の算出処理を並行して行うようにしても良い。 To contribute to the reduction of the read count, it may be performed in parallel calculation process of the selection process and the position displacement amount of the reference image. この場合、観測低解像度画像が得られる度に、時間的に隣接する2枚の観測低解像度画像間で位置ずれ量(後述のV 12及びV 23 )の算出を行うようにし、基準画像が設定された後に、算出しておいた位置ずれ量を、基準画像と各参照画像との間の位置ずれ量(上述のV ab及びV ac )に変換すればよい。 In this case, observation each time the low-resolution image is obtained, so as to calculate the positional shift amount (V 12 and V 23 to be described later) between the two observed low-resolution images that are temporally adjacent, reference image setting after being, the positional displacement amount that has been calculated, the amount of positional deviation between the reference image and each reference image may be converted to (V ab and V ac above).

具体的には以下のように処理する。 Specifically processed as follows. 画像L 1が取得されて画像L 1の画像データが内部メモリ17に書き込まれた後、画像L 2が取得されると、画像L 2の画像データが内部メモリ17に書き込まれ且つ位置ずれ検出部54に送られる。 After the image L 1 is acquired image data of the image L 1 is written in the internal memory 17, the image L 2 are acquired, image data of the image L 2 is written in the internal memory 17 and positional shift detection unit It is sent to the 54. これと同時に、画像L 1の画像データが内部メモリ17から読み出されて位置ずれ検出部54に送られる(この段階で、1回目の画像データ読み出しが実行される)。 At the same time, image data of the image L 1 is transmitted is the position shift detecting unit 54 is read from the internal memory 17 (at this stage, the first image data reading is performed). そして、位置ずれ検出部54は、画像L 1を基準とした、画像L 1と画像L 2との間の位置ずれ量V 12を算出する。 The positional deviation detecting unit 54, the image L 1 as a reference, and calculates the position deviation amount V 12 between the image L 1 and the image L 2.

この後、画像L 3が取得されると、画像L 3の画像データが内部メモリ17に書き込まれ且つ位置ずれ検出部54に送られる。 Thereafter, the image L 3 is obtained, the image data of the image L 3 is transmitted to the written and positional shift detection unit 54 in the internal memory 17. これと同時に、画像L 2の画像データが内部メモリ17から読み出されて位置ずれ検出部54に送られる(この段階で、2回目の画像データ読み出しが実行される)。 At the same time, image data of the image L 2 is transmitted is the position shift detecting unit 54 is read from the internal memory 17 (at this stage, second image data reading is performed). そして、位置ずれ検出部54は、画像L 2を基準とした、画像L 2と画像L 3との間の位置ずれ量V 23を算出する。 The positional deviation detecting unit 54, the image L 2 as a reference, and calculates the position deviation amount V 23 between the image L 2 and the image L 3.

他方、位置ずれ量V 12及びV 23の算出と並行し、ぼけ量推定部52によって画像L 1 〜画像L 3に対するぼけ量評価値の算出が行われ、算出されたぼけ量評価値に基づいて基準画像が設定される。 On the other hand, in parallel with the calculation of the positional deviation amount V 12 and V 23, the calculation of the blur evaluation value for the image L 1 ~ image L 3 is performed by the blur estimator 52, based on the calculated blur evaluation value reference image is set. 位置ずれ検出部54は、設定された基準画像が画像L 1 〜L 3の何れであるかに基づいて、位置ずれ量V 12及びV 23を基準画像からみた参照画像の位置ずれ量V ab及びV acに変換する。 Positional shift detection unit 54, based on the reference image is set to which of the image L 1 ~L 3, positional shift amount V ab and the reference image viewed positional shift amount V 12 and V 23 from the reference image It converted to V ac. この変換によってV ab及びV acが求められた後の動作は、上述してきた通りである。 Operation after the V ab and V ac is obtained by this conversion is as has been described above. 例えば、V 12 =(0.5,0.5)且つV 23 =(−0.25,−0.25)であると共にa=3、b=1且つc=2である時は、V ab =V 31 =V 32 +V 21 =−V 23 −V 12 =(0.25,0.25)−(0.5,0.5)=(−0.25,−0.25)に従ってV abが求められ、V ac =V 32 =−V 23 =(0.25,0.25)に従ってV acが求められる。 For example, V 12 = (0.5,0.5) and V 23 = (- 0.25, -0.25 ) a = 3 with a, b = 1 and when a c = 2 is, V ab = V 31 = V 32 + V 21 = -V 23 -V 12 = (0.25,0.25) - (0.5,0.5) = (- 0.25, -0.25) according V ab is determined, V ac is calculated according to V ac = V 32 = -V 23 = (0.25,0.25).

このように、基準画像の選択処理と位置ずれ量の算出処理を並行して行うことにより、位置ずれ量の変換処理が必要となることに由来して位置ずれ量V ab及びV acの検出精度が若干劣化するものの、画像データの読み出し回数が2回分低減され、消費電力の低減が図られる。 Thus, by performing in parallel the calculation process of the selection process and the position displacement amount of the reference image, the detection accuracy of the position shift amount V ab and V ac derived from the necessary conversion processing of the position displacement amount although but slightly degraded, read count of the image data is reduced twice, reducing power consumption. 尚、基準画像の選択処理と位置ずれ量の算出処理を並行して行うことは、後述の他の実施例にも適用可能である。 Incidentally, it is performed in parallel calculation process of the selection process and the position displacement amount of the reference image can be applied to other embodiments described later.

<<第2実施例>> << Second Embodiment >>
次に、第2実施例を説明する。 Next, a description will be given of a second embodiment. 第2実施例においても図4の超解像部50を用いることができるが、第1及び第2実施例間でぼけ量の推定方法が異なる。 Although also can be used super-resolution unit 50 of FIG. 4 in the second embodiment, the method of estimating the blur amount is different between the first and second embodiments. この相違点について説明する。 This difference will be described. 第2実施例において特に述べない事項は、第1実施例に記載の事項が適用される。 Especially mentioned not matter in the second embodiment, items described is applied to the first embodiment.

説明の便宜上、第2実施例では、4枚の観測低解像度画像から1枚の高解像度画像を生成する場合を例にとる。 For convenience of explanation, in the second embodiment, taken from four observed low-resolution image as an example a case of generating one high-resolution image. 4枚の観測低解像度画像は、連続して撮影された4つのフレーム画像である。 Four observed low-resolution image is a four-frame images photographed continuously. この4枚の観測低解像度画像をL 1 、L 2 、L 3及びL 4にて表すこととし、画像L 1 、L 2 、L 3及びL 4の順番で撮影がなされたものとする。 The four observation low-resolution images and be represented by L 1, L 2, L 3 and L 4, it is assumed that the image L 1, L 2, L 3 and imaging in the order of L 4 was made. 尚、超解像処理に利用される観測低解像度画像の枚数が4枚であることに鑑み、超解像部50のフレームメモリの個数は図4のそれから変更される。 Incidentally, considering that the number of observed low resolution images used for the super-resolution process is four, the frame number of the memory of the super-resolution unit 50 is changed from that of FIG.

第2実施例において、図4の位置ずれ検出部54は、時間的に隣接する2枚の観測低解像度画像間の位置ずれ量(所謂フレーム間動きベクトル)を順次算出する。 In the second embodiment, the positional deviation detecting unit 54 of FIG. 4 sequentially calculates a positional displacement amount between the two observed low-resolution images that are temporally adjacent (motion vector between a so-called frame). 即ち、第1実施例でも述べた位置ずれ量V 12及びV 23と、画像L 3を基準とした、画像L 3と画像L 4との間の位置ずれ量V 34を算出する。 In other words, it calculates a position deviation amount V 12 and V 23 described in the first embodiment, the image L 3 as a reference, the position shift amount V 34 between the image L 3 and the image L 4. ぼけ量推定部52は、算出された位置ずれ量V 12 、V 23及びV 34に基づき、画像列L 1 〜L 4の撮影期間中において撮像装置1に作用した手ぶれの状態(換言すれば、撮像装置1のぶれの状態)を推定し、その推定結果に基づいて観測低解像度画像L 1 〜L 4のぼけ量の大小関係を推定する。 Blur estimation unit 52, based on the positional deviation amount V 12, V 23 and V 34 calculated, if the state (i.e. the shake acting on the image pickup device 1 during the shooting period of the picture sequence L 1 ~L 4, It estimates the state) of the shake of the image pickup apparatus 1 estimates the blur of magnitude of the observed low-resolution image L 1 ~L 4 based on the estimation result. 基準画像設定部53は、ぼけ量推定部52の推定結果に基づき、最小のぼけ量に対応する観測低解像度画像を基準画像として設定し、残りの3枚の観測低解像度画像を参照画像として設定する。 Reference image setting unit 53, based on the estimation result of the blur amount estimating unit 52, the observed low-resolution image corresponding to the smallest amount of blur is set as the reference image, setting the remaining three observed low-resolution image as a reference image to.

図13等を参照して、より具体的に説明する。 Referring to FIG. 13 or the like will be described more specifically. 図13の曲線240は、第1具体例における、位置ずれ量の大きさの変化の様子を示している。 Curve 240 in FIG. 13, in the first embodiment, shows how the change in the size of the positional deviation amount. 図13及び後述の図14のグラフにおいて、横軸は時間を表し且つ縦軸は位置ずれ量の大きさを表しており、横軸はフレーム番号にも対応している。 In the graph of FIG. 13 and described below FIG. 14, the horizontal axis and the vertical axis represents the time represents the magnitude of the positional deviation amount, the horizontal axis corresponds to the frame number. 画像L 1 〜L 4のフレーム番号は、夫々、1〜4である。 Frame number of the image L 1 ~L 4 each show a 1-4.

点241、242及び243は、夫々、第1具体例における位置ずれ量V 12 、V 23及びV 34の大きさを表す点である。 Points 241, 242 and 243, respectively, a point representing the magnitude of positional displacement amount V 12, V 23 and V 34 in the first embodiment. 二次元量である位置ずれ量V 12 、V 23及びV 34の大きさを、夫々、|V 12 |、|V 23 |及び|V 34 |にて表現する。 The magnitude of the positional deviation amount V 12, V 23 and V 34 is a two-dimensional quantity, respectively, | V 12 |, | V 23 | and | expressed by | V 34. 点241〜243が曲線240上にのるように補間法を用いて曲線240が形成される。 Point 241-243 curve 240 using an interpolation method to rest on the curve 240 is formed. 曲線240のような、補間法を用いて位置ずれ量V 12 、V 23及びV 34の大きさを繋ぎ合わせて形成される線を手ぶれ量軌跡と呼ぶ。 Such as curve 240, the line formed by connecting the magnitude of the positional deviation amount V 12, V 23 and V 34 using an interpolation method referred to as a shake amount trajectory. 手ぶれ量軌跡は、画像L 1 〜L 4の撮影期間(それらの露光期間を含む)中において撮像装置1に作用した手ぶれの大きさ(換言すれば、手ぶれに由来する撮像装置1のぶれの大きさ)の時間変化を表すものである、と解釈することができる。 Shake amount trajectory, if the size (i.e. the shake acting on the image pickup device 1 during the shooting period of the image L 1 ~L 4 (including their exposure period), the shake of the image pickup apparatus 1 from shake size It illustrates a time variation of is), and can be interpreted. 図13に示す例の如く不等式「|V 12 |>|V 23 |<|V 34 |」が成立する場合、スプライン補間等によって手ぶれ量軌跡が描かれる。 As in the example shown in FIG. 13 inequality "| V 12 |> | V 23 | <| V 34 | " If is satisfied, shake amount trajectory drawn by spline interpolation or the like.

尚、補間法を用いて手ぶれ量軌跡を形成するに際し、位置ずれ量V 12 、V 23及びV 34の大きさに加えて、画像L 1の撮影直前に撮影されるフレーム画像L 0と画像L 1との間の位置ずれ量V 01 、及び、画像L 4と画像L 4の撮影直後に撮影されるフレーム画像L 5との間の位置ずれ量V 45をも利用するようにしてもよい。 Incidentally, when forming a shake amount trajectory using interpolation, in addition to the magnitude of the positional deviation amount V 12, V 23 and V 34, the frame image L 0 to be captured immediately before the captured image L 1 and the image L 1 position shift amount V 01 between, and may be also used a positional deviation amount V 45 between the frame image L 5 which is immediately after shooting an image L 4 and the image L 4.

点245は、手ぶれ量軌跡240上の位置ずれ量の大きさが極小となる点を表している。 Point 245, the position shift amount of size on the shake amount locus 240 represents a point at which a minimum. ぼけ量推定部52は、この極小点245の、時間方向における位置に最も近いフレーム番号を最小手ぶれフレーム番号として特定する。 Blur estimation unit 52 identifies the minimum point 245, the closest frame number to a position in the time direction as a minimum camera shake frame number. そして、最小手ぶれフレーム番号に対応する観測低解像度画像の露光期間中に作用した手ぶれの大きさが他の何れの観測低解像度画像のそれよりも小さく、結果、最小手ぶれフレーム番号に対応する観測低解像度画像のぼけ量(手ぶれに由来するぼけ量)が他の何れの観測低解像度画像のそれよりも小さいと推定する。 The size of the hand shake acting on the minimum camera shake frame number during the exposure period of the corresponding observation low-resolution image is smaller than that of any other observed low-resolution images, a result, the low observed corresponding to the minimum camera shake frame number blur resolution image (blur resulting from camera shake) is small and the estimated than that of any other observed low resolution images.

基準画像設定部53は、最小手ぶれフレーム番号に対応する観測低解像度画像を基準画像として設定し且つ残りの3枚の観測低解像度画像を参照画像として設定する。 Reference image setting unit 53 sets the set and the remaining three observed low-resolution image as a reference image the observed low-resolution image corresponding to the minimum camera shake frame number as a reference picture. 図13の例においては、点245は点242と点243の間に位置するため、最小手ぶれフレーム番号は「3」であると共に最小手ぶれフレーム番号に対応する観測低解像度画像はL 3である。 In the example of FIG. 13, the point 245 to a position between the point 242 and the point 243, the minimum camera shake frame number observed low-resolution image corresponding to the frame number blur minimum hand with a "3" is L 3. 故に、画像L 3が基準画像に設定され、画像L 1 、L 2及びL 4が参照画像に設定される。 Thus, the image L 3 is set to the reference image, the image L 1, L 2 and L 4 is set to the reference image.

不等式「|V 12 |>|V 23 |<|V 34 |」が成立しない場合における最小手ぶれフレーム番号の決定方法を説明する。 Inequality "| V 12 |> | V 23 | <| V 34 | " is described a method for determining a minimum camera shake frame number in the case of not satisfied. 図14の手ぶれ量軌跡250は、第2具体例における、位置ずれ量の大きさの変化の様子を示している。 Shake amount trajectory 250 in FIG. 14, in the second embodiment, it shows the manner of change of the displacement amount of the size. 点251、252及び253は、夫々、第2具体例における位置ずれ量V 12 、V 23及びV 34の大きさを表す点であり、補間法を用いて点251〜253を繋ぎ合わせることにより手ぶれ量軌跡250が形成される。 Points 251, 252 and 253, respectively, a point representing the magnitude of positional displacement amount V 12, V 23 and V 34 in the second embodiment, camera shake by joining the points 251 to 253 by using the interpolation method the amount trajectory 250 is formed.

図14に対応する第2具体例においては、不等式「|V 12 |>|V 23 |>|V 34 |」が成立しているため、画像L 1 〜L 4の撮影期間(それらの露光期間を含む)中において撮像装置1に作用した手ぶれの大きさは徐々に減少していたことが分かる。 In a second example corresponding to FIG. 14, the inequality "| V 12 |> | V 23 |> | V 34 | " because is established, the shooting period of the image L 1 ~L 4 (their exposure period it can be seen that the magnitude of camera shake acting on the image pickup apparatus 1 was gradually decreased during including) a. この場合、最小手ぶれフレーム番号は「4」であると決定される。 In this case, the minimum camera shake frame number is determined to be "4". 逆に、不等式「|V 12 |<|V 23 |<|V 34 |」が成立している場合は、最小手ぶれフレーム番号は「1」であると決定される。 Conversely, the inequality "| V 12 | <| V 23 | <| V 34 | " If is satisfied, the minimum camera shake frame number is determined to be "1". また、不等式「|V 12 |<|V 23 |>|V 34 |」及び「|V 12 |>|V 34 |」が成立する場合は最小手ぶれフレーム番号を「4」に決定し、不等式「|V 12 |<|V 23 |>|V 34 |」及び「|V 12 |<|V 34 |」が成立する場合は最小手ぶれフレーム番号を「1」に決定すればよい。 Also, the inequality "| V 12 | <| V 23 |> | V 34 | " and "| V 12 |> | V 34 | " determines the minimum camera shake frame number if is established to "4", the inequality " | V 12 | <| V 23 |> | V 34 | "and" | V 12 | <| V 34 | a minimum camera shake frame number if "holds may be determined to" 1 ". 最小手ぶれフレーム番号が決定された後の処理内容は、上述した通りである。 Processing contents after the minimum camera shake frame number is determined, as described above.

尚、以下のようにして最小手ぶれフレーム番号を決定するようにしてもよい。 Incidentally, it is also possible to determine the minimum camera shake frame number as follows. 位置ずれ量V 01及びV 12の大きさの和、位置ずれ量V 12及びV 23の大きさの和、位置ずれ量V 23及びV 34の大きさの和、及び、位置ずれ量V 34及びV 45の大きさの和を、夫々、フレーム番号1、2、3及び4に対応付けて求め、それらの4つの和の内の最小値に対応するフレーム番号を最小手ぶれフレーム番号に決定する。 Magnitude sum of the positional deviation amount V 01 and V 12, the sum of the magnitude of the positional shift amount V 12 and V 23, the sum of the magnitude of the positional shift amount V 23 and V 34, and the positional deviation amount V 34 and the size of the sum of the V 45, respectively, determined in association with the frame number 1, 2, 3 and 4, determines a frame number corresponding to the minimum value of those four sums to minimize camera shake frame number.

<<第3実施例>> << Third Embodiment >>
第1及び第2実施例で述べたぼけ量の推定方法は一例であって、それらと異なる方法にてぼけ量の推定を行っても構わない。 Method of estimating blur described in the first and second embodiment is a mere example, it may be performed to estimate the blur at their different methods. ぼけ量の推定方法の変形例を示す実施例として第3実施例を説明する。 The third embodiment will be explained as an example showing a modification of the method of estimating the blur amount. 第3実施例は第1実施例と組み合わせて実施される。 The third embodiment is implemented in combination with the first embodiment.

例えば、観測低解像度画像の輝度値のヒストグラムにおける分散に基づいてぼけ量の推定を行うようにしてもよい。 For example, it may be to estimate the blur amount based on the variance in the histogram of the luminance values ​​of the observed low-resolution image. この方法を用いる場合、図4のぼけ量推定部52は、観測低解像度画像の各画素の輝度信号を抽出して観測低解像度画像の輝度値(即ち、輝度信号の値)のヒストグラムを生成する。 When using this method, the blur amount estimating unit 52 of FIG 4 generates a histogram of luminance values ​​of the observed low-resolution image by extracting a luminance signal of each pixel of the observed low-resolution image (i.e., the value of the luminance signal) . そして、そのヒストグラムの分散をぼけ量評価値として算出する。 Then, to calculate the variance of the histogram as blur evaluation value. ヒストグラムの生成及び分散の算出は、観測低解像度画像ごとに行われる。 Calculation of generation and distribution of the histogram is performed for each observation low-resolution images. 尚、ヒストグラムを形成する輝度信号は、観測低解像度画像の全体領域から抽出されてもよいし、観測低解像度画像の一部領域から抽出されてもよい。 Incidentally, the luminance signal for forming a histogram, observation may be extracted from the whole region of the low-resolution image may be extracted from a portion of the observed low resolution image region.

3枚の観測低解像度画像L 1 〜L 3は連続して撮影された3つのフレーム画像であるため、基本的にそれらの構図は同じである。 For three observed low resolution images L 1 ~L 3 is a three frame images taken successively, essentially their composition are the same. 同じ構図の画像であれば、露光期間中に生じた手ぶれが大きいほど隣接画素間の輝度が平滑化され、中間階調の画素の割合が増加して輝度値のヒストグラムにおける分布が中間階調に集中化する。 If images of the same composition, as the camera shake that occurred during the exposure period is large is luminance smoothing between adjacent pixels, the distribution in the histogram of brightness values ​​proportion of halftone pixel is increased to the intermediate gray scale centralized. 上記の平滑化の程度が大きいほどヒストグラムにおける分散が小さくなってぼけ量評価値が小さくなるため、ぼけ量評価値が大きいほど、それに対応する観測低解像度画像のぼけ量は小さいと推定できる。 Since the blur evaluation value dispersed in the histogram greater the degree of smoothing of the large becomes small decreases the larger the blur evaluation value, the blur amount of the observed low-resolution image corresponding thereto can be estimated to be small. 従って、図4の基準画像設定部53は、ヒストグラムの分散に基づく、観測低解像度画像L 1 〜L 3のぼけ量評価値の内、最も大きなぼけ量評価値に対応する観測低解像度画像を基準画像として設定し、残りの2枚の観測低解像度画像を参照画像として設定する。 Therefore, the reference image setting unit 53 of Figure 4, based on the variance of the histogram, of the blur evaluation value of the observed low-resolution image L 1 ~L 3, based on the observed low-resolution image corresponding to the most significant blur evaluation value It sets as the image, setting the remaining two of the observed low-resolution image as a reference image.

観測低解像度画像の例として、図15(a)に画像261を示すと共に図15(b)に画像262を示す。 Examples of observed low resolution images, shows an image 262 in FIG. 15 (b) together show an image 261 in Figure 15 (a). 画像261は鮮明な画像である一方、画像262の露光期間中に大きな手ぶれが生じたことにより画像262には大きなぼけが含まれている。 While the image 261 is a sharp image, it includes a large blur in the image 262 by a large camera shake during the exposure period of the image 262 occurs. また、図16(a)及び(b)に、夫々、画像261及び262に対して生成されたヒストグラムを示す。 Further, in FIGS. 16 (a) and 16 (b), respectively show, the histogram generated for the image 261 and 262. 画像261のヒストグラムとの対比おいて(図16(a)参照)、画像262のヒストグラム(図16(b)参照)では中間階調への分布の集中化が見られる。 Keep comparison with the histogram of the image 261 (see FIG. 16 (a)), the histogram of the image 262 (FIG. 16 (b)) is for centralized distribution of the halftone is observed. この集中化によって、分散は小さくなる。 This centralized, distributed becomes small.

この他、画像のぼけ量を推定する任意の方法を用いることが可能である。 In addition, it is possible to use any method of estimating the blur of the image. 例えば、特開平11−27574号公報に記載の方法を用いて、観測低解像度画像のぼけ量を推定するようにしてもよい。 For example, using the method described in JP-A-11-27574, a blur amount of observed low resolution images may be estimated. この場合、着目した観測低解像度画像をフーリエ変換することによって2次元周波数領域上の変換画像を生成し、周波数座標の原点を中心とした円に変換画像を投影する。 In this case, the observed low-resolution image focusing generates converted image on the two-dimensional frequency domain by Fourier transform, projecting the converted image into a circle centered on the origin of the frequency coordinate. そして、その投影データから、着目した観測低解像度画像のぼけ量を推定する。 Then, from the projection data, to estimate the amount of blur the focused observed low-resolution image. 尚、特開平11−27574号公報における「手ぶれの大きさ」が、ぼけ量に相当する。 Incidentally, "size of the hand shake" in JP-A-11-27574 discloses corresponds to blur.

<<第4実施例>> << Fourth Embodiment >>
次に、第4実施例を説明する。 Next, a fourth embodiment. 図17は、第4実施例に係る超解像部50aの内部ブロック図である。 Figure 17 is an internal block diagram of a super-resolution unit 50a according to the fourth embodiment. 超解像部50aに設けられる符号51、54〜57及び61〜64によって参照される各部位は、図4のそれらと同じものである。 Portions indicated by reference numbers 51,54~57 and 61 to 64 provided on the super-resolution unit 50a are the same as those of FIG. 超解像部50aに設けられる基準画像設定部53aの機能は、図1のCPU23又は映像信号処理部13にて実現される。 Function of the reference image setting section 53a provided on the super-resolution unit 50a is realized by CPU23 or the video signal processing unit 13 of FIG. 1. 基準画像の設定方法が異なる点を除き、超解像部50aと第1実施例に係る超解像部50(図4)は同様である。 Except that setting of the reference image are different, the super-resolution portion 50a and the first example super-resolution unit 50 (FIG. 4) is similar. 故に、以下では、第4実施例に係る基準画像の設定方法を説明する。 Thus, the following explanation of the method for setting the reference image according to the fourth embodiment. 第4実施例では、第1実施例と同様、3枚の観測低解像度画像L 1 〜L 3から1枚の高解像度画像を生成することを想定する。 In the fourth embodiment, like the first embodiment, it is assumed that produces one high-resolution image from the three observed low resolution images L 1 ~L 3.

第4実施例において、撮像装置1には、図18のセンサ部75が設けられている。 In the fourth embodiment, the imaging apparatus 1, the sensor unit 75 of FIG. 18 is provided. 基準画像設定部53aは、センサ部75から出力されるセンサ検出データに基づき、観測低解像度画像L 1 〜L 3の中から基準画像を設定する。 Reference image setting unit 53a, based on the sensor detection data outputted from the sensor unit 75 sets a reference image from the observed low-resolution image L 1 ~L 3. センサ部75は、手ぶれ等に由来する撮像装置1のぶれ(撮像装置1の筐体のぶれ)を検出する。 Sensor unit 75 detects the shake of the image pickup apparatus 1 from camera shake or the like (blurring of the housing of the imaging apparatus 1). 具体的には、センサ部75は、撮像装置1のヨー方向(水平方向)の角速度を検出して、その検出結果を表す信号を出力する角速度センサ75Aと、撮像装置1のピッチ方向(垂直方向)の角速度を検出して、その検出結果を表す信号を出力する角速度センサ75Bとを備え、角速度センサ75A及び75Bの出力信号がセンサ検出データとして出力される。 Specifically, the sensor unit 75 detects an angular velocity in the yaw direction of the image pickup apparatus 1 (the horizontal direction), and the angular velocity sensor 75A for outputting a signal indicating the detection result, the pitch direction (the vertical direction of the image pickup apparatus 1 ) detects the angular velocity of a angular velocity sensor 75B outputs a signal indicating the detection result, the output signal of the angular velocity sensor 75A and 75B is outputted as the sensor detection data.

センサ検出データによって、撮像装置1のぶれ(撮像装置1の筐体のぶれ)の大きさ及び方向が示される。 The sensor detection data, the magnitude and direction of the shake of the image pickup apparatus 1 (blurring of the housing of the imaging apparatus 1) is shown. 基準画像設定部53aは、観測低解像度画像L 1 〜L 3の夫々の露光期間中におけるセンサ検出データに基づいて基準画像を設定する。 Reference image setting unit 53a sets a reference image based on the sensor detection data during the observation low-resolution images L 1 ~L 3 of each of the exposure period. 具体的には、画像L 1 〜L 3の夫々の露光期間中におけるセンサ検出データから、画像L 1の露光期間中における撮像装置1のぶれの大きさQ 1 、画像L 2の露光期間中における撮像装置1のぶれの大きさQ 2及び画像L 3の露光期間中における撮像装置1のぶれの大きさQ 3を求め、大きさQ 1 〜Q 3の内の最小の大きさに対応する観測低解像度画像を基準画像に設定すると共に残りの2枚の観測低解像度画像を参照画像に設定する。 Specifically, the sensor detection data during the exposure period of each of the image L 1 ~L 3, the size to Q 1 shake of the image pickup apparatus 1 during the exposure period of the image L 1, during the exposure period of the image L 2 obtains the magnitude Q 3 of the shake of the image pickup apparatus 1 in the size of the exposure period of the Q 2 and the image L 3 of the shake of the image pickup apparatus 1, corresponds to the minimum size of the magnitude Q 1 to Q 3 observation to configure the remaining two observed low-resolution image in the reference image and sets the low-resolution image as a reference image. 例えば、図19に示す如く、不等式「Q 1 >Q 3 >Q 2 」が成立する場合は、画像L 2が基準画像に設定されると共に画像L 1及びL 3が参照画像に設定される。 For example, as shown in FIG. 19, when the established inequality "Q 1> Q 3> Q 2", the image L 1 and L 3 are set in the reference image with the image L 2 is set to the reference image.

大きさQ 1は、例えば、実空間上で静止した点光源からの光による点像が、画像L 1の露光期間中における撮像装置1のぶれによって、画像L 1上で描く軌跡の長さ(又は該軌跡の始点と終点との間の距離)を表す。 The size Q 1 is, for example, a point image with light from the point light source is stationary in the real space, the blur of the image pickup apparatus 1 during the exposure period of the image L 1, a locus drawn on the image L 1 length ( or representing the distance) between the start and end points of the trajectory. 大きさQ 2及びQ 3についても同様である。 The same applies to the size Q 2 and Q 3.

尚、超解像部50aに、ぼけ量推定部(不図示)が内在していると考えることも可能である。 Incidentally, the super-resolution unit 50a, it is also possible to consider a blur amount estimating unit (not shown) is inherent. この場合、超解像部50aにおけるぼけ量推定部は、画像L 1 〜L 3の夫々の露光期間中におけるセンサ検出データから撮像装置1のぶれの大きさQ 1 〜Q 3を求めて、撮像装置1のぶれの大きさが大きいほど、対応する観測低解像度画像のぼけ量は大きいと推定し、その推定結果を基準画像設定部53aに与える。 In this case, the blur amount estimating section in the super-resolution unit 50a is seeking image L 1 from the sensor detection data during the exposure period of each of ~L 3 of the shake of the image pickup apparatus 1 size Q 1 to Q 3, imaging as the size of the blur of the device 1 is large, the blur of the corresponding observation low-resolution image is estimated to be greater, and provides the estimation result to the reference image setting section 53a. 基準画像設定部53aは、この推定結果に基づいて基準画像を設定することができる。 Reference image setting unit 53a can set a reference image based on the estimation result. 従って例えば、不等式「Q 1 >Q 3 >Q 2 」が成立する場合は、画像L 1 〜L 3のぼけ量の内、画像L 1のぼけ量が最も大きく且つ画像L 2のぼけ量が最も小さいと推定され、その推定結果が基準画像設定部53aに与えられることによって画像L 2が基準画像に設定されると共に画像L 1及びL 3が参照画像に設定される。 Thus, for example, if the established inequality "Q 1> Q 3> Q 2", of the blur of the image L 1 ~L 3, the blur amount of the largest and the image L 2 blur of the image L 1 is the most is estimated to be small, the image L 1 and L 3 are set in the reference image with the image L 2 is set in the reference image by the estimation result is supplied to the reference image setting section 53a.

また、センサ部75を角速度センサにて構成する例を上述したが、撮像装置1のぶれを表す、角速度以外の物理量を検出するセンサにて、センサ部75を構成しても良い。 Further, the sensor unit 75 has been described above an example of configuring at an angular velocity sensor, representing the shake of the image pickup apparatus 1, by the sensor for detecting a physical quantity other than the angular velocity may constitute a sensor unit 75. 例えば、撮像装置1の加速度を検出する加速度センサ又は撮像装置1の角加速度を検出する角加速度センサにてセンサ部75を形成するようにしてもよい。 For example, it is also possible to form the sensor portion 75 at an angular acceleration sensor for detecting an angular acceleration of the acceleration sensor or the imaging apparatus 1 detects the acceleration of the imaging device 1.

ところで、画像L 1が撮影された場合、画像L 1の輝度及び色を表す画像データと共に画像L 1の露光期間中におけるセンサ検出データが取得され、それらのデータは互いに関連付けられて必要に応じて外部メモリ18(図1参照)に記録される。 Incidentally, when the image L 1 is captured, the sensor detection data during the exposure period of the image L 1 together with the image data representing the luminance and color of the image L 1 is obtained, these data are optionally associated with each other It is recorded in the external memory 18 (see FIG. 1). 画像L 1に関するそれらのデータが外部メモリ18に記録される場合、例えば、本体領域とヘッダ領域から成る1つの画像ファイルが外部メモリ18内に設けられ、該画像ファイルの本体領域に画像データが格納される共にヘッダ領域にセンサ検出データが格納される。 If those data relating to the image L 1 is recorded in the external memory 18, for example, one image file composed of the body region and the header region is provided in the external memory 18, the image data is stored in the body region of the image file sensor detection data together in the header area are is stored. 画像L 1のセンサ検出データは、画像L 1の画像データに付随する、画像L 1の撮影条件を表す情報であると考えることができる。 Sensor detection data of the image L 1 is attached to the image data of the image L 1, imaging conditions of the image L 1 can be considered to be information representing. 画像L 1以外の画像(L 2など)についても同様である。 The same applies to the image L 1 other than the image (such as L 2).

本明細書では、図20に示す如く、画像データ及びセンサ検出データを含む情報を画像情報と呼ぶ。 In this specification, as shown in FIG. 20, it referred to information including the image data and the sensor detection data and image information. 画像L 1の画像情報は、画像L 1の撮影条件をも含めた、画像L 1の特徴を表している(画像L 2等についても同様)。 Image information of the image L 1 has also including an imaging condition of the image L 1, (same for the image L 2, etc.) representing the characteristics of the image L 1.

<<第5実施例>> << Fifth Embodiment >>
次に、第5実施例を説明する。 Next, a description will be given of a fifth embodiment. 撮影者が注目する主要被写体の、画像上における大きさが大きいほど、画像上で主要被写体をより詳細に表現することができる。 Of the main object the photographer to note, as the size of the image is large, it is possible to express the main object in the image in more detail. 従って、主要被写体がより大きく現れている画像を、撮影者を含むユーザに提供することが望ましい。 Accordingly, an image that the main subject has appeared larger, it is desirable to provide the users, including the photographer. 一方、超解像処理によって得られる高解像度画像は、基準画像としての観測低解像度画像を基準にして生成されるため、基準画像上における主要被写体の大きさが比較的大きければ高解像度画像上におけるそれも比較的大きくなる。 On the other hand, the high-resolution image obtained by the super-resolution processing, in order to be generated by the observed low resolution image as a reference image in the reference, the main subject in the reference image size is relatively large if the high-resolution image it is also relatively large. これを考慮し、第5実施例では、主要被写体がより大きく現れている観測低解像度画像を基準画像として設定する。 Considering this, in the fifth embodiment sets the observed low-resolution image main subject has appeared larger as the reference image.

図21は、第5実施例に係る超解像部50bの内部ブロック図である。 Figure 21 is an internal block diagram of a super-resolution unit 50b according to the fifth embodiment. 超解像部50bに設けられる符号51、54〜57及び61〜64によって参照される各部位は、図4のそれらと同じものである。 Portions indicated by reference numbers 51,54~57 and 61 to 64 provided on the super-resolution unit 50b are the same as those of FIG. 超解像部50bに設けられる基準画像設定部53b及び被写体サイズ検出部76の機能は、図1のCPU23又は映像信号処理部13にて実現される。 Function of the reference image setting unit 53b and the subject size detection unit 76 is provided to the super-resolution unit 50b is realized by CPU23 or the video signal processing unit 13 of FIG. 1. 基準画像の設定方法が異なる点を除き、超解像部50bと第1実施例に係る超解像部50(図4)は同様である。 Except that setting of the reference image are different, the super-resolution unit 50b and according to a first embodiment the super-resolution unit 50 (FIG. 4) is similar. 故に、以下では、基準画像の設定に関わる基準画像設定部53b及び被写体サイズ検出部76の機能について説明する。 Thus, in the following, a description will be given of a function of the reference image setting unit 53b and the subject size detection unit 76 relating to the setting of the reference image. 第5実施例では、第1実施例と同様、3枚の観測低解像度画像L 1 〜L 3から1枚の高解像度画像を生成することを想定する。 In the fifth embodiment, similarly to the first embodiment, it is assumed that produces one high-resolution image from the three observed low resolution images L 1 ~L 3.

被写体サイズ検出部76は、観測低解像度画像ごとに、観測低解像度画像の画像データに基づいて観測低解像度画像上における主要被写体の大きさを検出する。 Subject size detection unit 76, for each observation low-resolution image, detects the size of the main subject on the observed low-resolution image based on the image data of the observed low-resolution image. 基準画像設定部53bは、観測低解像度画像L 1 〜L 3の内、主要被写体の大きさが最も大きくなる観測低解像度画像を基準画像に設定すると共に他の2枚の観測低解像度画像を参照画像に設定する。 Reference image setting unit 53b, among the observed low-resolution image L 1 ~L 3, referring to other two observed low-resolution image and sets the observed low resolution image size of the main subject is maximized in the reference image to set the image.

具体例を挙げて、被写体サイズ検出部76の検出方法を説明する。 A specific example will be described a method of detecting the subject size detection unit 76. まず、第1の検出方法として、被写体サイズ検出部76が顔検出処理を実行可能に形成されている場合を説明する。 As a first detection method, the case where the subject size detection unit 76 is executable form the face detection process. 顔検出処理は、観測低解像度画像の画像データに基づいて、人物の顔の画像データが存在している画像領域を顔領域として観測低解像度画像の全体画像領域から抽出する処理である。 Face detection processing, based on the image data of the observed low-resolution images, a process of extracting from the entire image area of ​​the observed low-resolution image an image area where the image data of the face of the person is present as the face area. 第1の検出方法において、被写体サイズ検出部76は、画像L 1 〜L 3の夫々に対して顔検出処理を実行することにより画像L 1 〜L 3の夫々から顔領域を抽出する。 In the first detection method, subject size detection unit 76 extracts a face region from each of the image L 1 ~L 3 by executing the face detection processing for each of the image L 1 ~L 3. 顔領域の大きさは、その顔領域内に存在する顔の大きさが増大するにつれて増大する。 The size of the face region increases as the size of the face to be present in the face area increases.

第1の検出方法において、被写体サイズ検出部76は、顔領域の大きさを表す情報を含む顔検出結果を基準画像設定部53bに送り、基準画像設定部53bは、その顔検出結果に基づき、最も大きな顔領域が抽出された観測低解像度画像を基準画像に設定する。 In the first detection method, subject size detection unit 76 sends the face detection result that includes information indicating the size of the face area in the reference image setting unit 53b, the reference image setting unit 53b, based on the face detection result, setting the most observed low-resolution image a large face area is extracted in the reference image. 例えば、画像L 1 〜L 3として図22の画像301〜303が取得されると共に画像301〜303から顔領域311〜313が抽出され、画像上における顔領域312の大きさが顔領域311及び313の大きさよりも大きい場合、画像302及び顔領域312に対応する画像L 2が基準画像に設定される。 For example, the image L 1 ~L 3 face region 311 to 313 from the image 301 to 303 together with the image 301 to 303 is obtained in FIG. 22 is extracted as the size of the face region 312 in the image is the face region 311 and 313 for larger than the size, the image L 2 corresponding to the image 302 and the face region 312 is set as the reference image. 上述の例では、人物の顔又は人物そのものが主要被写体であると考えられる。 In the above example, the face or person itself of a person is considered to be the main subject.

ところで、画像301〜303のような顔領域の大きさが不揃いの画像列が取得される原因の一つとして、画像301〜303の撮影期間中に撮像装置1が撮影方向に沿って動く(即ち前後に動く)ことが考えられる。 Meanwhile, as one of the causes of the uneven image sequence the size of the face area, such as an image 301 to 303 are acquired, the image pickup apparatus 1 is moved along the imaging direction during the shooting period of the image 301 to 303 (i.e. moves back and forth) can be considered. このような場合は、画像301〜303間で顔領域の大きさが一致するように画像301及び303の全体に対して線形変換(所謂電子ズーム)を施し、線形変換後の画像301及び303を参照画像として用いて超解像処理を行うようにすると良い。 In such a case, performing a linear transformation (so-called electronic zooming) for the entire image 301 and 303 as the size of the face area between images 301 to 303 are matched, the images 301 and 303 after the linear transformation used as a reference image it may be to perform super-resolution processing.

但し、画像301〜303の撮影期間中に撮像装置1ではなく顔領域311〜313に対応する人物が撮影方向に沿って動くことも考えられる。 However, the person corresponding to the image pickup apparatus 1, rather than the face region 311-313 during the shooting period of the image 301 to 303 are also contemplated to move along the shooting direction. このような場合においても、上記線形変換後の画像301及び303を参照画像として用いて超解像処理を行えばよいが、人物が動いた場合は、基準画像としての画像302と線形変換後の画像301及び303との間で、顔領域の大きさは一致するものの背景領域の大きさが一致しなくなる。 In such a case, it is sufficient to super-resolution processing using images 301 and 303 after the linear transformation as a reference picture, but if a person moves, the image 302 as a reference image and after linear transformation between the image 301 and 303, the size of the face area size of the background region of a match will not match. 背景領域の大きさが不揃いの画像列を用いて超解像処理を行うと、背景領域において二重像が生じうる。 Doing super-resolution processing using the image sequence irregular size of the background region, a double image can occur in the background region.

一方において、このような不一致が発生すると位置ずれ検出部54による位置ずれ量算出の信頼度が低下するため、該信頼度を位置ずれ量と共に算出するようにしておけば上記不一致の発生を検出可能である。 On the other hand, the positional deviation amount calculation by the position shift detecting unit 54 such a discrepancy occurs because the reliability is lowered, the reliability of the detectable occurrence of the mismatch if be calculated with the position displacement amount it is. 例えば、公知の如く、位置ずれ量算出時に生成されるデータ(例えば、ブロックマッチング法にて位置ずれ量を求める際に導出されるSSD(Sum of squared difference)の値)から上記信頼度を求めることが可能である。 For example, as is well known, data generated during the position shift amount calculation (e.g., SSD (the value of Sum of squared difference) derived when obtaining the positional displacement amount in the block matching method) to determine the reliability of it is possible.

従って、上記不一致が検出された場合は、人物が動いたと判断して、線形変換後の画像301及び303内の画像領域であって且つ顔領域(又は人物の画像データが存在する画像領域)以外の画像領域を超解像処理に用いないようにすればよい。 Therefore, if the mismatch is detected, it is determined that the person has moved, except and the face region an image region of the image 301 and 303 after the linear conversion (image area or person image data is present) the image region may be so as not used in the super-resolution processing. 例えば、画像302の全体画像領域と線形変換後の画像301及び303の顔領域311及び313のみを用いて高解像度画像を生成するようにする。 For example, so as to generate a high-resolution image using only the face region 311 and 313 of the image 301 and 303 of the entire image area and after a linear transformation of the image 302. そのようにすると、高解像度画像内の顔領域は3枚の低解像度画像の顔領域から生成される一方で、高解像度画像内の顔領域以外の部分は画像302のみから生成されることになるが、主要被写体としての顔の高解像度化が図られるため十分に有益である。 In so doing, the face area in the high-resolution image while the generated from the face area of ​​the three low-resolution images, portions other than the face area in the high-resolution image will be generated from only the image 302 but it is sufficiently beneficial for resolution of the face as the main subject can be achieved. 尚、高解像度画像の生成に必要となる、画像302の顔領域311と線形変換後の画像301及び303の顔領域311及び313との間における位置ずれ量は、顔検出処理の実行時に求められる各顔領域の位置から決定することができる。 Incidentally, it is necessary to generate a high resolution image, the positional deviation amount between the face regions 311 and 313 of the face region 311 and the linear conversion after the image 301 and 303 of the image 302 is obtained during execution of the face detection processing it can be determined from the position of the face region. このような、線形変換後の観測低解像度画像内の一部画像領域を超解像処理に用いないという方法は、後述の第2の検出方法に対しても適用可能である。 Such a method of the partial image area in the observation low-resolution image after the linear transformation is not used in the super-resolution processing is also applicable to the second detection method described below.

被写体サイズ検出部76による第2の検出方法を説明する。 Describing a second detecting method by the subject size detection unit 76. 第2の検出方法において、被写体サイズ検出部76は、各観測低解像度画像に対して主要被写体領域を設定する。 In the second detection method, subject size detection unit 76 sets a main subject region with respect to each observation low-resolution images. 主要被写体領域とは、観測低解像度画像の一部画像領域であって且つ主要被写体の画像データが存在していると推測される画像領域である。 The main subject area is an image area where the image data of the observation and a partial image region of the low-resolution image main subject is presumed to be present. 例えば、一般的に主要被写体が画像の中央付近に存在している可能性が高いとことに鑑み、観測低解像度画像の中央付近に位置する、予め設定された画像領域を主要被写体領域として用いることができる。 For example, generally the main object in view of the fact that there is likely to exist in the vicinity of the center of the image, is located near the center of the observed low-resolution image, using the preset image area as the main subject area can. 或いは、後述の第7実施例にて述べられるAF評価領域を主要被写体領域として用いるようにしてもよい。 Alternatively, it is also possible to use an AF evaluation area mentioned in the seventh embodiment described below as the main subject area. 更に或いは、ピントの合っている被写体の画像データが存在する画像領域を主要被写体領域として用いるようにしてもよい。 Further alternatively, may be used an image area where the image data of the object are focused is present as the main subject area. ピントの合っている被写体の画像データが存在する画像領域の位置を、観測低解像度画像の高域周波数成分から決定することが可能である。 The position of the image area where the image data of the object are focused is present, the observation can be determined from the high frequency components of the low resolution image.

今、画像L 1 〜L 3として図23の画像321〜323が取得されると共に画像321〜323に対して主要被写体領域331〜333が設定された場合を考える。 Now, consider a case where the main subject area 331 to 333 to the image 321 to 323 is configured with an image L 1 ~L 3 images 321 to 323 in FIG. 23 is obtained. 被写体サイズ検出部76は、主要被写体領域331〜333の中央付近に、夫々、基準領域341〜343を設定する。 Subject size detection unit 76, near the center of the main subject area 331 to 333, respectively, to set the reference region 341 to 343. 主要被写体領域の位置及び大きさ並びに基準領域の位置及び大きさは、画像321〜323間で同じである。 Position and size as well as position and size of the reference area of ​​the main subject region is the same between the image 321 to 323.

被写体サイズ検出部76は、画像321〜323の画像データに基づいて、画像321の基準領域341内の色、画像322の基準領域342内の色及び画像323の基準領域343内の色を、夫々、第1〜第3の基準色として求める。 Subject size detection unit 76 based on the image data of the image 321 to 323, in the reference region 341 of the image 321 colors, the color of the reference area 343 of the color and the image 323 of the reference region 342 of the image 322, respectively , determined as the first to third reference color. 基準領域341内の色は、例えば、基準領域341内に属する各画素の平均色である(基準領域342内の色及び基準領域343内の色についても同様)。 The color of the reference area 341 is, for example, an average color of each pixel belonging to the reference area 341 (the same applies to the color of the color and the reference area 343 of the reference region 342). 画像データがRGB形式の信号で表されている場合は、基準領域341内に属する各画素の色信号であるR、G及びB信号から第1の基準色を求めればよく、画像データがYUV形式の信号で表されている場合は、基準領域341内に属する各画素の色差信号であるU及V信号から第1の基準色を求めればよい(第2及び第3の基準色についても同様)。 If the image data is represented by a signal of the RGB format is the color signal of each pixel belonging to the reference region 341 R, it may be determined first reference color from G and B signals, the image data is YUV format If, represented by the signal, the U 及 V signals as the color difference signal of each pixel belonging to the reference region 341 may be obtained first reference color (same applies to the second and third reference color) . 或る画素に関し、R、G及びB信号は、その画素の赤、緑及び青の強度を表す。 It relates certain pixel, R, G and B signals representing the intensity of red, green and blue for that pixel. 尚、第1〜第3の基準色を全て同じ色に設定してもよい。 It is also possible to set all of the first to third reference colors to the same color. この場合、第1〜第3の基準色を、基準領域341、342又は343内の色に設定することができる。 In this case, it is possible first to third reference color is set to the color of the reference area 341, 342 or within 343.

被写体サイズ検出部76は、観測低解像度画像ごとに、基準色と同一又は類似する画素が主要被写体領域内に幾つ存在しているかを計数することによって、観測低解像度画像上の主要被写体の大きさを検出する。 Subject size detection unit 76, observed in each low-resolution image, by counting how are many present in the reference color the same as or similar to the pixel the main subject area, the size of the main object on the observed low-resolution image to detect.

具体的には、観測低解像度画像ごとに以下の処理を行う。 Specifically, the following process is performed for each observation low-resolution images. 基準色の、RGB色空間上における位置を基準位置として設定する一方で、主要被写体領域内に属する各画素の色の、RGB色空間上における位置を検出し、前者の位置(基準位置)と後者の位置とのユークリッド距離を求める。 The reference color, the latter while setting the position in the RGB color space as a reference position, the color of each pixel belonging to the main subject area, and detects the position in the RGB color space, the former position (reference position) Euclidean distance between the position of the. そして、主要被写体領域内の画素の内、ユークリッド距離が所定の閾値D TH以下となる画素の個数を、主要被写体の大きさとして検出する。 Then, among the pixels of the main subject area, the number of pixels Euclidean distance is equal to or less than the predetermined threshold D TH, detected as the magnitude of the main subject. 図23に示す例の場合、画像L 2に対して計数される上記個数は、画像L 1及びL 3に対するそれらよりも大きくなり、結果、画像L 2が基準画像に設定される。 In the example shown in FIG. 23, the number to be counted for the image L 2 is greater than those for the image L 1 and L 3, a result, the image L 2 is set to the reference image.

第5実施例によれば、主要被写体が大きく表れた、ユーザにとって好ましい高解像度画像を生成することが可能となる。 According to the fifth embodiment, the main subject appeared large, it is possible to generate a preferred high-resolution image for the user.

<<第6実施例>> << sixth embodiment >>
次に、第6実施例を説明する。 Next, a description will be given of a sixth embodiment. ユーザにとって好ましくない、目のつぶっている画像や表情の良くない画像を基準画像として選択すると、高解像度画像も好ましい画像とならない。 Undesirable for the user, by selecting the poor image of the image and expressions which have turned a blind the eyes as a reference picture, also not a desirable image high resolution image. そこで、第6実施例では、顔の状態を考慮して基準画像の設定を行う。 Therefore, in the sixth embodiment, the setting of the reference image in consideration of the state of the face.

図24は、第6実施例に係る超解像部50cの内部ブロック図である。 Figure 24 is an internal block diagram of a super-resolution unit 50c according to the sixth embodiment. 超解像部50cに設けられる符号51、54〜57及び61〜64によって参照される各部位は、図4のそれらと同じものである。 Portions indicated by reference numbers 51,54~57 and 61 to 64 provided on the super-resolution unit 50c are the same as those of FIG. 超解像部50cに設けられる基準画像設定部53c及び顔状態検出部77の機能は、図1のCPU23又は映像信号処理部13にて実現される。 Function of the reference image setting unit 53c and the face state detecting unit 77 provided on the super-resolution unit 50c is realized by CPU23 or the video signal processing unit 13 of FIG. 1. 基準画像の設定方法が異なる点を除き、超解像部50cと第1実施例に係る超解像部50(図4)は同様である。 Except that setting of the reference image are different, the super-resolution portion 50c and the first example super-resolution unit 50 (FIG. 4) is similar. 故に、以下では、基準画像の設定に関わる基準画像設定部53c及び顔状態検出部77の機能について説明する。 Thus, in the following, a description will be given of a function of the reference image setting unit 53c and the face state detecting unit 77 relating to the setting of the reference image. 第6実施例では、第1実施例と同様、3枚の観測低解像度画像L 1 〜L 3から1枚の高解像度画像を生成することを想定する。 In the sixth embodiment, similarly to the first embodiment, it is assumed that produces one high-resolution image from the three observed low resolution images L 1 ~L 3.

顔状態検出部77は、第5実施例で述べた顔検出処理を各観測低解像度画像に対して実行して、観測低解像度画像上における人物の顔領域を抽出する。 Face state detecting unit 77, the face detection processing described in the fifth embodiment are executed for each observation low-resolution image, it extracts the face region of a person on the observed low-resolution image. その後、顔状態検出部77は、観測低解像度画像の画像データに基づき、顔領域内から眼が存在する眼領域を抽出し、更に眼の開閉状態を検出する瞬き検出処理を実行する。 Thereafter, the face state detection unit 77, based on the image data of the observed low-resolution image, extracts the eye regions including the eyes from the face region, further performing a blink detection process for detecting the open or closed state of the eye. 瞬き検出処理に、公知の方法を含む任意の方法を利用可能である。 A blink detection process, it is possible to use any method including known methods. 例えば、標準的な瞳孔を表す画像をテンプレートとして用いたテンプレートマッチングを行うことで眼領域内における瞳孔の有無を検出し、その有無検出結果から眼が開いているか否かを検出することができる。 For example, to detect the presence or absence of the pupil in the eye region by performing template matching using the image representing the standard pupil as a template, it is possible to detect whether the eye is open from the presence detection result.

基準画像設定部53cは、観測低解像度画像L 1 〜L 3の内、瞬き検出処理によって眼が開いていると判断された観測低解像度画像を基準画像に設定する。 Reference image setting unit 53c, the observation of the low-resolution image L 1 ~L 3, sets the observed low-resolution image is judged with the eye is opened by the blink detection process in the reference image. 例えば、画像L 2及びL 3上の眼が開いており且つ画像L 1上の眼が閉じていると判断された場合、画像L 2又はL 3を基準画像に設定すると共に残りの2枚(画像L 1及びL 2 、又は、画像L 1及びL 3 )を参照画像に設定する。 For example, if the eye on the image L 2, and L and the image L 1 eye is open on 3 is determined to be closed, two remaining sets the image L 2 or L 3 in the reference image ( image L 1 and L 2, or, to set the image L 1 and L 3) in the reference image.

尚、画像L 2及びL 3上の眼が開いており且つ画像L 1上の眼が閉じていると判断された場合、高解像度画像上に二重像が現れることを防止すべく、画像L 1の眼領域(又は顔領域全体)を超解像処理に用いないようにするとよい。 Incidentally, if the eye on the image L 2 and L and the image L 1 eye is open on 3 it is determined to be closed in order to prevent that the double image will appear on the high resolution image, the image L 1 eye region (or the entire face area) may be prevented using the super-resolution processing. この場合、高解像度画像の眼領域(又は顔領域全体)以外の部分は画像L 1 〜L 3から生成される一方で、高解像度画像の眼領域(又は顔領域全体)は画像L 2及びL 3のみから生成されることになる。 In this case, portions other than the eye region of the high-resolution image (or the entire face area) while being generated from the image L 1 ~L 3, eye area (whole or face area) of the high-resolution image is the image L 2 and L It will be produced from 3 only.

観測低解像度画像上における顔領域を抽出した後、顔状態検出部77に、瞬き検出処理ではなく笑顔検出処理を行わせるようにしてもよい。 After extracting the face region on the observed low-resolution image, the face state detection unit 77, may be configured to perform the smile detection process rather than a blink detection process. 笑顔検出処理は、観測低解像度画像ごとに実行される。 Smile detection process is executed for each observation low-resolution images. 笑顔検出処理では、観測低解像度画像の画像データに基づき、顔領域内における顔が笑顔であるか否かが判断される。 Smile detection process, observation based on the image data of the low resolution image, whether the face in the face region is smiling or not. 笑顔検出処理に、公知の方法を含む任意の方法を利用可能である。 Smile detection process, it is possible to use any method including known methods.

笑顔検出処理が実行された場合、基準画像設定部53cは、観測低解像度画像L 1 〜L 3の内、笑顔検出処理によって顔領域内の顔が笑顔であると判断された観測低解像度画像を基準画像に設定する。 If smile detection process is performed, the reference image setting unit 53c of the observed low-resolution image L 1 ~L 3, the observed low-resolution image by smile detection process is the face in the face region is determined to be smiling to set the reference image. 例えば、画像L 2及びL 3上の顔が笑顔であって且つ画像L 1上の顔が笑顔でないと判断された場合、画像L 2又はL 3を基準画像に設定すると共に残りの2枚(画像L 1及びL 2 、又は、画像L 1及びL 3 )を参照画像に設定する。 For example, when the face on the image L 2 and L 3 is a face on an in and the image L 1 is smiling is judged not to be smiling, two remaining sets the image L 2 or L 3 in the reference image ( image L 1 and L 2, or, to set the image L 1 and L 3) in the reference image.

尚、画像L 2及びL 3上の顔が笑顔であって且つ画像L 1上の顔が笑顔でないと判断された場合、高解像度画像上に二重像が現れることを防止すべく、画像L 1の顔領域全体を超解像処理に用いないようにするとよい。 Incidentally, when the face on the image L 2 and L 3 is a face on an in and the image L 1 is smiling is judged not to be smiling, in order to prevent a double image will appear on the high resolution image, the image L an entire face region may be prevented using the super-resolution processing. この場合、高解像度画像の顔領域以外の部分は画像L 1 〜L 3から生成される一方で、高解像度画像の顔領域は画像L 2及びL 3のみから生成されることになる。 In this case, portions other than the face area of the high-resolution image while being generated from the image L 1 ~L 3, the face area of the high-resolution image will be generated from only the image L 2 and L 3.

また、上述の瞬き検出処理と笑顔検出処理の双方を用いて基準画像を設定することも可能である。 It is also possible to set the reference image by using both the blink detection process and the smile detection process described above. この場合、瞬き検出処理によって眼が開いていると判断され且つ笑顔検出処理によって顔領域内の顔が笑顔であると判断された観測低解像度画像を基準画像に設定すればよい。 In this case, it is sufficient to set the observation low-resolution images the face of the face region by to and smile detection process determines that the eyes are open is determined to be smiling by blink detection process in the reference image.

第6実施例によれば、顔の状態の良い、ユーザにとって好ましい高解像度画像を生成することが可能となる。 According to the sixth embodiment, good condition of the face, it is possible to produce a preferred high-resolution image for the user.

<<第7実施例>> << seventh embodiment >>
次に、第7実施例を説明する。 Next, a description will be given of a seventh embodiment. 第7実施例では、オートフォーカス制御に用いられるAF評価値に基づいて基準画像を設定する。 In the seventh embodiment sets the reference image on the basis of the AF evaluation value used for autofocus control.

まず、図25を参照して、図1の撮像部11の内部構成を詳細に説明する。 First, referring to FIG. 25, detailed description of the internal configuration of the imaging unit 11 of FIG. 1. 図25は、撮像部11の内部構成図である。 Figure 25 is a diagram showing the internal configuration of the imaging unit 11. 撮像部11は、光学系35と、絞り32と、撮像素子33と、ドライバ34を有している。 Imaging unit 11 includes an optical system 35, an aperture stop 32, an imaging device 33, a driver 34. 光学系35は、ズームレンズ30及びフォーカスレンズ31を含む複数枚のレンズを備えて構成される。 The optical system 35 is configured with a plurality of lenses including a zoom lens 30 and focus lens 31. ズームレンズ30及びフォーカスレンズ31は光軸方向に移動可能である。 The zoom lens 30 and focus lens 31 is movable in an optical axis direction.

ドライバ34は、CPU23からの制御信号に基づいて、ズームレンズ30及びフォーカスレンズ31の移動を制御し、光学系35のズーム倍率や焦点位置を制御する。 Driver 34, based on a control signal from the CPU 23, controls the movement of the zoom lens 30 and focus lens 31, and controls the zoom magnification and the focal position of the optical system 35. また、ドライバ34は、CPU23からの制御信号に基づいて絞り32の開度(開口部の大きさ)を制御する。 The driver 34 controls the 32 throttle opening degree based on a control signal from the CPU 23 (the size of the opening). 被写体からの入射光は、光学系35を構成する各レンズ及び絞り32を介して、撮像素子33に入射する。 Incident light from an object through the lenses and the aperture 32 constituting the optical system 35 is incident on the image sensor 33. 光学系35を構成する各レンズは、被写体の光学像を撮像素子33上に結像させる。 Each lens constituting the optical system 35 forms an optical image of a subject on the image sensor 33. 撮像素子33を駆動するための駆動パルスがTG22から与えられる。 Driving pulses for driving the image sensor 33 is given from the TG 22.

撮像装置1では、TTL(Through The Lens)方式によるオートフォーカス制御が行われる。 In the imaging apparatus 1, the autofocus control by the TTL (Through The Lens) method is performed. このオートフォーカス制御を行うために、図1の映像信号処理部13にはAF評価部(焦点評価値導出手段)が設けられる。 In order to perform this automatic focusing control, AF evaluation unit (focus evaluation value deriving means) is provided in the video signal processing unit 13 of FIG. 1. 図26は、映像信号処理部13に設けられたAF評価部80の内部ブロック図である。 Figure 26 is an internal block diagram of the AF evaluation portion 80 provided in the video signal processing unit 13.

AF評価部80は、抽出部81、HPF(ハイパスフィルタ)82及び積算部83を有して構成される。 AF evaluation section 80, extraction section 81, HPF configured with a (high-pass filter) 82 and integrating unit 83. AF評価部80は、1つのフレーム画像について1つのAF評価値(焦点評価値)を算出する。 AF evaluation unit 80 calculates one AF evaluation value (focus evaluation value) for one frame image.

抽出部81には、フレーム画像の映像信号が与えられる。 The extraction unit 81, a video signal of the frame image is given. 抽出部81は、その映像信号の中から、フレーム画像内に定義されたAF評価領域(焦点評価領域)内の輝度信号を抽出する。 Extraction unit 81, from among the video signal, and extracts a luminance signal in the AF evaluation area defined in the frame image (focus evaluation area). AF評価領域は、互いに分離した複数の要素領域から形成される。 AF evaluation area is formed of a plurality of element regions separated from each other. 図27(a)にAF評価領域の設定例を示す。 Figure 27 (a) shows a setting example of the AF evaluation area. 例えば、フレーム画像を垂直方向及び水平方向に夫々3等分することでフレーム画像内に9つの分割領域を定義する。 For example, to define the nine divided regions in the frame image by respectively 3 equal parts the frame image in the vertical and horizontal directions. そして、図27(a)に示す如く、その9つの分割領域の内、フレーム画像の中央に位置する分割領域の全体又は一部を要素領域AR1とし、要素領域AR1の上下左右に位置する分割領域の全体又は一部を要素領域AR2〜AR5とする。 Then, as shown in FIG. 27 (a), the divided areas of its nine divided areas, that the entire or part of the divided regions located in the center of the frame image and the element region AR1, located vertically and horizontally in the element regions AR1 all or part of the the element region AR2~AR5. この場合、要素領域AR1〜AR5の合計領域がAF評価領域に相当する。 In this case, the total area of ​​the element region AR1~AR5 correspond to the AF evaluation area. 尚、1つの要素領域にてAF評価領域を形成することも可能である。 It is also possible to form the AF evaluation area in one element region. 例えば、要素領域AR1そのものをAF評価領域としても構わない。 For example, it may be an element region AR1 itself as the AF evaluation area. 以下の説明では、AF評価領域が要素領域AR1〜AR5から形成されていることを想定する。 In the following description, it is assumed that the AF evaluation area are formed from the element region AR1 to AR5.

HPF82は、抽出部81によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。 HPF82 extracts only predetermined high frequency components in the extracted luminance signal by the extracting unit 81. 例えば、HPF82を図7に示すような3×3のフィルタサイズを有するラプラシアンフィルタにて形成し、そのラプラシアンフィルタをAF評価領域内の各画素に作用させる空間フィルタリングを行う。 For example, it was formed by Laplacian filter with a 3 filter size × 3 as shown to HPF82 7 performs spatial filtering which applies the Laplacian filter to the pixels in the AF evaluation area. そうすると、HPF82からは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。 Then, from HPF82, output value corresponding to the filter characteristics of the Laplacian filter is sequentially obtained.

積算部83は、HPF82によって抽出された高域周波数成分の大きさ(即ち、HPF82の出力値の絶対値)を積算する。 Integrating unit 83 integrates the magnitude of the high frequency components extracted by HPF82 (i.e., the absolute value of the output value of HPF82). この積算は、要素領域ごとに個別に行われる。 This integration is carried out individually for each element region. 従って、要素領域AR1〜AR5についての各積算値が算出される。 Therefore, the integrated value of the element regions AR1~AR5 is calculated. 積算部83は、事前に定められた重み付け係数に従って各積算値を重み付け加算することによりAF評価値を算出する。 Integrating unit 83 calculates an AF evaluation value by weighting and adding each integrated value according to the weighting coefficients defined in advance. 要素領域AR1に対する重み付け係数が、他の要素領域に対するそれよりも高いことを想定する。 Weighting factor for the element region AR1 is, it is assumed that higher than that for the other element regions. 例えば、図27(b)に示す如く、要素領域AR1に対する重み付け係数が2.0であって且つ他の要素領域AR2〜AR5に対する重み付け係数が1.0である場合を考える。 For example, as shown in FIG. 27 (b), the weighting factor for and other element regions AR2~AR5 a weighting factor of 2.0 for the element region AR1 Consider the case is 1.0. そうすると、要素領域AR1に対して算出された積算値に2を乗じた値と、要素領域AR2〜AR5に対して算出された積算値との総和がAF評価値として算出される。 Then, a value obtained by multiplying 2 to the integrated value calculated for the element region AR1, the sum of the integrated values ​​calculated for the element regions AR2~AR5 is calculated as an AF evaluation value.

順次得られるフレーム画像に対して算出された各AF評価値は、図1のCPU23に逐次伝達される。 Each AF evaluation value calculated for sequentially obtained frame images are sequentially transmitted to the CPU23 of FIG. 或るフレーム画像についてのAF評価値は、そのフレーム画像のAF評価領域内の高域周波数成分の量に概ね比例し、その量が増大するにつれて増大する。 AF evaluation values ​​for the certain frame image is generally proportional to the amount of high frequency components in the AF evaluation area of ​​the frame image increases as the amount increases. 高域周波数成分の量は、高域周波数成分の強度とも換言される。 The amount of the high frequency component is in other words with the intensity of the high frequency components.

オートフォーカス制御の実行時には、フォーカスレンズ31を少しずつ動かしながら順次AF評価値が求められ、AF評価値が最大(或いは極大)となるフォーカスレンズ31の位置を合焦レンズ位置として求める。 During auto focus control execution, sequentially AF evaluation value is determined while moving the focus lens 31 slightly, determine the position of the focus lens 31 at which the AF evaluation value is maximized (or maximum) as the in-focus lens position. そして、例えば、フォーカスレンズ31を合焦レンズ位置に配置した状態で連続して撮影された3枚のフレーム画像を、上述の観測低解像度画像L 1 〜L 3として取り扱う。 Then, for example, a three frame images captured in succession in the state in which the focus lens 31 to the in-focus lens position, handled as an observation low-resolution images L 1 ~L 3 above.

この観測低解像度画像L 1 〜L 3もAF評価部80に与えられ、観測低解像度画像L 1 〜L 3の夫々に対するAF評価値も上述のようにして求められる。 The observed low-resolution image L 1 ~L 3 also given to the AF evaluation unit 80, an AF evaluation value for each of the observed low-resolution image L 1 ~L 3 is also determined as described above. そして、第7実施例では、観測低解像度画像L 1 〜L 3のAF評価値の内、最大のAF評価値に対応する観測低解像度画像を基準画像として設定するようにする。 Then, in the seventh embodiment, of the AF evaluation value of the observed low-resolution image L 1 ~L 3, so as to set the observation low-resolution image corresponding to the maximum AF evaluation value as a reference image.

図28は、第7実施例に係る超解像処理を担う超解像部50dの内部ブロック図である。 Figure 28 is an internal block diagram of a super-resolution unit 50d responsible for super-resolution processing according to the seventh embodiment. 超解像部50dは、符号51、80、53d及び54〜57にて参照される各部位と、フレームメモリ61〜64とを備えて構成される。 Super-resolution unit 50d is configured to include a individual units denoted by numerals 51,80,53d and 54 to 57, a frame memory 61 to 64. 即ち、図4の超解像部50におけるぼけ量推定部52及び基準画像設定部53をAF評価部80及び基準画像設定部53dに置換することによって超解像部50dは形成される。 That is, the super-resolution portion 50d by replacing the blur estimator 52 and the reference image setting unit 53 in the super-resolution unit 50 of FIG. 4 to the AF evaluation unit 80 and a reference image setting unit 53d is formed. 超解像部50d内の、AF評価部80及び基準画像設定部53d以外の部位の動作は、図4の超解像部50のそれと同じであるため、共通部位に対する重複する説明を割愛する。 In super-resolution unit 50d, the operation of the portion other than the AF evaluation unit 80 and a reference image setting unit 53d is the same as that of the super-resolution unit 50 of FIG. 4, a description thereof will not be repeated overlapping to a common site. 基準画像設定部53dはCPU23によって実現される。 Reference image setting unit 53d is realized by the CPU 23. 但し、基準画像設定部53dの機能を映像信号処理部13に担わせるようにしても構わない。 However, it may be caused borne to the video signal processing unit 13 a function of the reference image setting unit 53d.

AF評価値80は、観測低解像度画像L 1 〜L 3についてのAF評価値を基準画像設定部53dに送る。 AF evaluation value 80 sends the AF evaluation values for the observed low-resolution image L 1 ~L 3 in the reference image setting unit 53d. 基準画像設定部53dは、画像L 1 〜L 3についてのAF評価値に基づいて基準画像及び参照画像を設定する処理を行う。 Reference image setting unit 53d performs processing for setting the reference image and the reference image on the basis of the AF evaluation value for the image L 1 ~L 3. 具体的には、画像L 1 〜L 3に対して求められた3つのAF評価値の内の最大のAF評価値を特定し、その最大のAF評価値に対応する観測低解像度画像を基準画像として設定する一方で残りの2枚の観測低解像度画像を参照画像として設定する。 Specifically, the image L 1 identifies the maximum AF evaluation value of the three AF evaluation values obtained for ~L 3, the reference image observation low-resolution image corresponding to the maximum AF evaluation value thereof to configure the remaining two observed low resolution image as the reference image while setting a. 基準画像及び参照画像が設定された後の動作は、第1実施例と同じである。 Operation after the reference image and the reference image is set is the same as the first embodiment.

今、撮像装置1の視野内に動被写体が含まれている場合を考える。 Now, consider the case that contains the moving subject within the field of view of the imaging device 1. 動被写体とは、実空間上で移動する被写体を意味する。 The moving subject means a subject that moves in the real space. そして、図29のフレーム画像361、362及び363が取得され、フレーム画像361、362及び363がそれぞれ観測低解像度画像L 1 、L 2及びL 3であった場合を想定する。 Then, the acquired frame images 361, 362 and 363 in FIG. 29, it is assumed that the frame image 361, 362 and 363 were respectively observed low-resolution image L 1, L 2 and L 3. フレーム画像361〜363には動被写体としての動物が含まれており、その動物が撮像装置1に対して相対的に移動することにより、その動物はフレーム画像361内では右側よりに描画され、フレーム画像362内では略中央に描画され、フレーム画像363内では左側よりに描画されている。 Frame images 361 to 363 are included animal as a moving subject, by the animal moves relative to the imaging apparatus 1, the animal is drawn to the more right side in the frame image 361, the frame drawn in a substantially central within image 362 is drawn in from the left in the frame image 363. また、フレーム画像361〜363の撮影時において、その動物にピントが合うようにフォーカスレンズ31のレンズ位置が固定されているものとする。 Further, at the time of shooting of the frame image 361 to 363, a lens position of the focus lens 31 to focus is to assumed to be fixed to the animal.

この場合、AF評価値の算出方法から理解されるように、画像L 1 、L 2及びL 3に対するAF評価値の内、画像L 2に対するAF評価値が最大となる可能性が高い。 In this case, as will be understood from the calculation method of the AF evaluation value, among the AF evaluation values for image L 1, L 2 and L 3, AF evaluation values for image L 2 is likely to be maximized. そして実際に画像L 2に対するAF評価値が最大となっていると、画像L 2が基準画像として設定されて超解像処理がなされるので、画像L 2と同様、得られる高解像度画像内において着目した動物は略中央に位置することとなる。 When the actual AF evaluation value for the image L 2 is the largest, since the image L 2 is set as the reference image super-resolution processing is performed, similar to the image L 2, in the high-resolution image obtained the focused animal is to be positioned substantially at the center.

本実施例によれば、撮影者が着目した動被写体(即ち、ピントの合っている動被写体)が中央に配置された高解像度画像が得られることとなる。 According to this embodiment, so that the moving subject photographer focused (i.e., the moving subject are focused) is high-resolution image is placed in the center is obtained. つまり、撮影者の意図に合致した、望ましい構図の高解像度画像を自動的に得ることが可能となる。 In other words, matching the intention of the photographer, it is possible to obtain the automatic high-resolution image of the desired composition.

尚、本実施形態における超解像処理では、線形補間等を用いて基準画像から初期高解像度画像が生成される。 In the super-resolution processing in the present embodiment, the initial high-resolution image is generated from the reference image by using the linear interpolation or the like. そして、基準画像を基準とする基準画像と各参照画像との位置ずれ量に従って高解像度画像(最初は、初期高解像度画像)から推定低解像度画像が生成され、その推定低解像度画像と観測低解像度画像との誤差が最小化されるように高解像度画像が更新される。 Then, the high-resolution image (first, initial high-resolution image) in accordance with positional deviation amount between the reference image and each reference image relative to the reference image estimation low-resolution image is generated from the observation low-resolution and the estimated low-resolution images high-resolution image is updated so that an error between the image is minimized. このため、最終的に得られる高解像度画像は、基準画像の解像度を向上させた画像と言える(参照画像は、その解像度の向上のために参照される画像である)。 Therefore, high-resolution image finally obtained, it can be said that an image with improved resolution of the reference image (reference image is an image that is referenced in order to improve its resolution). 故に、図29のフレーム画像362が基準画像として設定されると、得られる高解像度画像内において、着目した動物は略中央に位置することとなる。 Thus, when the frame image 362 in FIG. 29 is set as the reference image, in the high-resolution image obtained, the focused animal is to be positioned substantially at the center.

<<第8実施例>> << eighth embodiment >>
次に、第8実施例を説明する。 Next, a description will be given of an eighth embodiment. 第8実施例では、複数の観測低解像度画像から高解像度画像を得るための要素技術を詳細に説明する。 In the eighth embodiment, illustrating the elemental technologies for obtaining high-resolution image from a plurality of observed low resolution images in detail. 第8実施例に記載した事項を、上述の第1〜第7実施例に適用することができる。 The matters described in the eighth embodiment can be applied to the first to seventh embodiments described above.

第8実施例では、説明の簡略化上、3×3の画像サイズを有する2枚の観測低解像度画像から6×6の画像サイズを有する1枚の高解像度画像を生成する場合を例にとる。 In the eighth embodiment, for simple explanation, taken as an example a case of generating one high-resolution image having an image size of the two observed low-resolution images from the 6 × 6 having an image size of 3 × 3 . 2枚の観測低解像度画像の内、一方を第1の観測低解像度画像と呼び、他方を第2の観測低解像度画像と呼ぶ。 Of the two observed low resolution images, one is referred to as the first observation low-resolution image, called the other as second observation low-resolution images. 第1の観測低解像度画像が基準画像として、第2の観測低解像度画像が参照画像として設定されたものとする。 The first observation low-resolution image as a reference image, it is assumed that the second observation low-resolution image is set as a reference image. 尚、以下の説明において、第1及び第2の観測低解像度画像を、夫々、第1及び第2の観測画像と略記することがある。 In the following description, the first and second observation low-resolution images, respectively, may be abbreviated to the first and second observed images.

図30(a)及び(b)に第1及び第2の観測画像の画素配列を表し、図30(c)に高解像度画像の画素配列を示す。 Represents a pixel arrangement of the first and second observation image in FIG. 30 (a) and (b), shows the pixel arrangement of the high-resolution image in FIG. 30 (c). 図30(c)の画素配列は、初期高解像度画像H 0を含む高解像度画像H nの画素配列である(nは0以上の整数)。 Pixel array of FIG. 30 (c) is a pixel array of a high-resolution image H n containing initial high resolution image H 0 (n is an integer of 0 or more). また、超解像演算処理の過程において高解像度画像から推定低解像度画像及び差分画像が生成されるが(図8参照)、第kの観測画像に対応する推定低解像度画像及び差分画像の画素配列も第kの観測画像のそれと同じである(第8実施例において、kは1又は2)。 Further, the estimated (see FIG. 8) is low-resolution image and the difference image is generated from the high resolution image in the process of the super-resolution processing, the pixel sequence of the putative low resolution image and the difference image corresponding to the observation image of the k also the same as that of the observation image of the k (in the eighth embodiment, k is 1 or 2). 第kの観測画像に対応する推定低解像度画像及び差分画像を、以下、夫々、第kの推定低解像度画像及び差分画像と呼ぶ。 The estimated low-resolution image and the difference image corresponding to the observation image of the k, hereinafter respectively referred to as the estimated low-resolution image and the difference image of the k.

図30(a)〜(c)並びに後述の図32、図33(a)及び(b)及び図35において、黒く塗りつぶされた四角形は第1の観測画像又は第1の推定低解像度画像又は第1の差分画像の画素が配置される点を表し、黒く塗りつぶされた三角形は第2の観測画像又は第2の推定低解像度画像又は第2の差分画像の画素が配置される点を表し、黒く塗りつぶされた丸は高解像動画像の画素が配置される点を表している。 Figure 30 (a) ~ (c), as well as later in FIG. 32, in shown in FIG. 33 (a) and (b) and 35, blackened squares or the first observed image or the first estimated low-resolution images first It represents the point at which pixels of the first difference image is arranged, blackened triangles represent points where the pixel of the second observation image or the second estimated low-resolution image or the second difference image is arranged, black filled circles represent a point at which the pixels of the high resolution moving image is disposed.

各画像において画素は行列状に配置されている。 Pixels in each image are arranged in a matrix. 1枚の観測画像(又は推定低解像度画像又は差分画像)における合計9個の画素の位置を表す座標を、0≦i≦2且つ0≦j≦2の範囲内のi及びjを用いて(i,j)で表す。 The coordinates representing the position of the total of nine pixels in one observation image (or estimated low-resolution image or differential image) by using the i and j in the range of 0 ≦ i ≦ 2 and 0 ≦ j ≦ 2 ( i, represented by j). 但し、i及びjは整数である。 However, i and j are integers. 高解像度画像における合計36個の画素の位置を表す座標を、0≦i≦5且つ0≦j≦5の範囲内のi及びjを用いて(i,j)で表す。 The coordinates representing the position of the total 36 pixels in the high resolution image, represented by using i and j in the range of 0 ≦ i ≦ 5 and 0 ≦ j ≦ 5 (i, j). iは行方向(換言すれば垂直方向)の座標値を表し、jは列方向(換言すれば水平方向)の座標値を表している。 i represents the coordinate values ​​of the row direction (vertical direction in other words), j represents the coordinate value in the column direction (horizontal direction in other words).

更に、行列表現された第1及び第2の観測画像を夫々y 1及びy 2で表す。 Further, representing the first and second observation images matrix representation with respective y 1 and y 2. また、第1実施例で述べたように、行列表現された高解像度画像H nをx nで表す。 Further, as described in the first embodiment, representing a high-resolution image H n which is a matrix represented by x n. そして、第1の観測画像内の座標(i,j)における画素の画素値をy 1 (i,j)で表し、且つ、第2の観測画像内の座標(i,j)における画素の画素値をy 2 (i,j)で表し、且つ、高解像度画像H n内の座標(i,j)における画素の画素値をx n (i,j)で表す。 Then, the coordinates of the first in the observation image (i, j) represents a pixel value of the pixel in the y 1 (i, j) in and, the pixels of the pixel at the coordinate in the second observation image (i, j) It represents a value y 2 (i, j) in and represents the pixel value of the pixel at the coordinates in the high-resolution image H n (i, j) in x n (i, j). そうすると、y 1 、y 2及びx nは、式(B−1)、(B−2)及び(B−3)によって表される。 Then, y 1, y 2 and x n is formula (B-1), is represented by (B-2) and (B-3). 尚、上述したように、添え字Tが付された行列は元の行列の転置行列を表す。 As described above, the matrix subscript T is attached represents a transposed matrix of the original matrix.

[サブピクセル精度の位置ずれ量の算出方法] [Method of calculating the positional deviation amount of the sub-pixel accuracy]
まず、基準画像としての第1の観測画像を基準とした、第1及び第2の観測画像間の位置ずれ量の算出方法を説明する。 First, the first observed image as the reference image as a reference, a method of calculating the amount of positional deviation between the first and second observed images. 第1実施例で述べたように、位置ずれ量は、代表点マッチング法やブロックマッチング法、勾配法などを用いて、サブピクセルの分解能を有するように算出される。 As described in the first embodiment, the positional deviation amount, the representative point matching method or a block matching method, by using a gradient method, it is calculated to have a resolution of subpixel. 例として、代表点マッチング法を用いる場合を説明する。 As an example, the case of using the representative point matching method.

第1の観測画像に設定された代表点が座標(0,0)における画素であり、代表点マッチング法における検出ブロックサイズを1×1とした場合、位置(i,j)に対応する相関値E(i,j)は式(B−4)で表される。 The first is a pixel representative point set in the observed image is at coordinates (0, 0), when the a 1 × 1 detected block size at the representative point matching method position (i, j) correlation values ​​corresponding to the E (i, j) is represented by the formula (B-4). (i,j)=(0,0)、(0,1)、・・・(2,2)の夫々に対して相関値E(i,j)を求め、得られた合計9個の相関値E(0,0)〜E(2,2)の内、最小の相関値を特定する。 (I, j) = (0,0), (0,1), ··· the correlation value E (i, j) for each of (2,2), the resulting total of nine correlation of the values ​​E (0,0) ~E (2,2), to identify the minimum correlation value. この最小の相関値をE(i O ,j O )で表すとすると、i O及びj Oによって、第1及び第2の観測画像間の、整数精度における位置ずれ量が定まる。 The minimum correlation value E (i O, j O) When expressed in, by i O and j O, between the first and second observation image, the positional deviation amount in the integer precision is determined.

位置ずれ量の小数点部分は、最小の相関値E(i O ,j O )を与える画素の上下左右の画素に対する相関値及び相関値E(i O ,j O )に基づき、例えば図31に示すような放物線近似を利用して算出する。 Decimal portion of the positional deviation amount on the basis of the minimum correlation value E (i O, j O) correlation values and correlation values E for vertical and horizontal pixels of the pixel which gives a (i O, j O), shown in FIG. 31 for example It is calculated using the parabolic approximation, such as. 例えば、i O =1且つj O =1である場合、位置ずれ量の小数点部分の行方向成分i SUB及び列方向成分j SUBは、下記式(B−5)及び(B−6)に従って求められる。 For example, if i O = 1 and a j O = 1, the row direction component i SUB and column components j SUB decimal portion of the displacement amount is calculated according to the following formula (B-5) and (B-6) It is. 但し、線形近似を用いる等、公知の任意の方法を用いて小数点部分の位置ずれ量を導出するようにしても構わない。 However, such use of the linear approximation, may be derived positional deviation amount of the decimal part using any methods known.

最終的に第1及び第2の観測画像間の位置ずれ量は、i O及びj Oとi SUB及びj SUBとによって表現されることとなる。 Positional deviation amount between the final first and second observation image will be represented by a i O and j O and i SUB and j SUB. つまり、その位置ずれ量の行方向成分及び列方向成分(換言すれば、垂直成分及び水平成分)は、夫々、(i O +i SUB )及び(j O +j SUB )で表される。 In other words, (in other words, the vertical and horizontal components) that position deviation amount in the row direction component and column components, respectively, are represented by (i O + i SUB) and (j O + j SUB).

[初期高解像度画像の生成方法] [Method of generating the initial high-resolution image]
初期高解像度画像H 0は、線形補間やバイキュービック補間を用い、基準画像としての第1の観測画像から生成する。 Initial high resolution image H 0 is using linear interpolation or bicubic interpolation to generate the first observed image as the reference image. 例えば、y 1 (0,0)=x 0 (0,0)とし、線形補間を用いて第1の観測画像を2倍の拡大率にて拡大することで初期高解像度画像H 0を生成する場合、図32の星型マークで表された、画像H 0内の座標(1,3)における画素値x 0 (1,3)は、下記式(B−7)に従って算出される。 For example, the y 1 (0,0) = x 0 (0,0), generates an initial high-resolution image H 0 by expanding the first observed image using linear interpolation at twice the magnification If, expressed in the star mark in FIG. 32, the pixel value at the coordinates (1,3) in the image H 0 x 0 (1,3) is calculated according to the following formula (B-7).

[推定低解像度画像及び差分画像の生成方法] [Method of generating the estimated low-resolution image and difference image]
図4等の超解像処理部57にて実行される超解像演算処理では、高解像度画像に行列W kを作用させることによって低解像度画像(上述の推定低解像度画像)を再構成する(図8参照)。 In the super-resolution processing executed by the FIG. 4 and the like of the super-resolution processing unit 57 reconstructs the low resolution image (above the estimated low-resolution images) by the action of the matrix W k to the high resolution image ( see Figure 8). 行列W kは、上述したように、位置ずれ検出部54で算出した位置ずれ量、高解像度画像から低解像度画像への低解像度化によって生じる画像ぼけを表す点広がり関数(Point Spread Function)、及び、高解像度画像から低解像度画像へのダウンサンプリングを含めた画像変換行列である。 Matrix W k, as described above, the positional deviation amount calculated by the position deviation detection unit 54, the point spread represents the image blur caused by the low resolution from the high resolution image into low-resolution image function (Point Spread Function), and an image transformation matrix, including down-sampling from the high resolution image into low-resolution image. この行列W kに含められる点広がり関数として、例えば、下記式(B−8)で表されるガウス関数PSF k (i,j)が用いられる。 As a point spread function to be included in the matrix W k, for example, a Gaussian function PSF k (i, j) represented by the following formula (B-8) is used.

ここで、v k x及びv k yは、高解像度画像に対する第kの観測画像の位置ずれ量の小数点部分を表し、v k x及びv k yは、夫々、その位置ずれ量の行方向成分及び列方向成分の小数点部分である。 Here, v k x and v k y represents a decimal portion of the positional shift amount of the k-th observation image with respect to the high-resolution image, v k x and v k y, respectively, the row direction component of the position shift amount and a point portion of the column component. 但し、v k x及びv k yは、高解像度画像上の値として表現される。 However, v k x and v k y is represented as a value on a high-resolution image. 即ち例えば、高解像度画像上における、0.5画素分の行方向成分の位置ずれをv k x =0.5で表す。 That is, for example, on the high-resolution image, representing the displacement of the row direction component of 0.5 pixels in v k x = 0.5.

x及びs yは、高解像度画像から推定低解像度画像を生成する時に高解像度画像に作用させる空間フィルタの大きさ(フィルタ台の大きさ)を表す。 s x and s y represents the magnitude of the spatial filter to be applied to the high resolution image (the size of the filter base) when generating the estimated low-resolution image from a high resolution image. x及びs yは、整数値をとる。 s x and s y takes an integer value. 今の例において、s x =s y =2とされる。 In this example, are s x = s y = 2. k x又はv k yの値が小数部を含まないときは、その空間フィルタの行方向及び列方向のタップ数は夫々(2s x +1)及び(2s y +1)とされ、v k x又はv k yの値が小数部を含むときは、その空間フィルタの行方向及び列方向のタップ数は夫々3s x及び3s yとされる。 v If the value of k x or v k y contains no decimal part, the tap number of the row and column directions of the space filter is a respective (2s x +1) and (2s y +1), v k x or v when the value of k y contains a fractional part, the number of taps of the row and column directions of the spatial filter are respectively 3s x and 3s y. また、σ 2は、ガウス関数における分散を表す。 Further, sigma 2 represents a variance in the Gaussian function.

例として、高解像度画像に対する第1及び第2の観測画像の位置ずれ量の整数部分がゼロであって且つv 1 x =0、v 1 y =0、v 2 x =0.5、v 2 y =0.5である場合において、高解像度画像から第1及び第2の推定低解像度画像の座標(1,1)の画素を生成することを考える。 As an example, and v 1 x = 0 integer portion is zero the positional deviation amount of the first and second observed images with respect to the high-resolution image, v 1 y = 0, v 2 x = 0.5, v 2 in the case of y = 0.5, considering that generates a pixel of the coordinates (1,1) of the first and second estimated low resolution image from a high resolution image.

この場合、第1の推定低解像度画像に関しては、v 1 x =0且つv 1 y =0であるため、高解像度画像に作用させる空間フィルタの行方向及び列方向におけるタップ数は共に5(=2×2+1)とされる。 In this case, with respect to the first estimated low-resolution images, v 1 x = 0 and v 1 for y = 0, number of taps in the row and column directions of the spatial filter to be applied to the high resolution image are both 5 (= It is 2 × 2 + 1). 図33(a)の正方形411は、第1の推定低解像度画像内における座標(1,1)の画素412を生成するために高解像度画像に作用させるべき空間フィルタのフィルタ台(フィルタのインパルス応答がゼロでない範囲)を示している。 Figure 33 square 411 (a) is first estimated low-resolution coordinates in the image (1, 1) High-resolution filter stage of the spatial filter to be applied to the image to produce a pixel 412 (the impulse response of the filter There are shown a range) non-zero. 再構成によって画素412を生成するために、フィルタ台411内に位置する、高解像度画像の25画素(即ち、座標(0,0)〜(4,4)の画素)の画素値が参照されることになる。 To generate the pixel 412 by the reconstruction, located in the filter table 411, the pixel value is referred to the 25 pixels of the high resolution image (i.e., the pixel at the coordinate (0,0) to (4,4)) It will be. 図33(a)の下側に、この25画素に作用させる行列W 1における点広がり関数(低解像度画像を基準とした点広がり関数)を示す。 On the lower side of FIG. 33 (a), the shows the point spread function in the matrix W 1 to act on the 25 pixel (point spread with respect to the low-resolution image function).

また、第2の推定低解像度画像に関しては、v 2 x =0.5且つv 2 y =0.5であるため、高解像度画像に作用させる空間フィルタの行方向及び列方向におけるタップ数は共に6(=3×2)とされる。 Regarding the second estimated low-resolution images, v 2 x = 0.5 and for v is 2 y = 0.5, the tap number at the row and column directions of the spatial filter to be applied to the high resolution image are both It is 6 (= 3 × 2). 図33(b)の正方形421は、第2の推定低解像度画像内における座標(1,1)の画素422を生成するために高解像度画像に作用させるべき空間フィルタのフィルタ台を示している。 Figure 33 square 421 (b) shows a filter table of the spatial filter to be applied to high-resolution images to produce pixel 422 of coordinates (1,1) in the second estimated low-resolution image. 再構成によって画素422を生成するために、フィルタ台421内に位置する、高解像度画像の36画素(即ち、座標(0,0)〜(5,5)の画素)の画素値が参照されることになる。 To generate the pixel 422 by the reconstruction, located in the filter table 421, the pixel value is referred to the 36 pixels of the high resolution image (i.e., the pixel at the coordinate (0,0) to (5,5)) It will be. 図33(b)の下側に、この36画素に作用させる行列W 2における点広がり関数(低解像度画像を基準とした点広がり関数)を示す。 On the lower side of FIG. 33 (b), it shows the point spread function in the matrix W 2 to act on the 36 pixel (point spread with respect to the low-resolution image function).

knは、高解像度画像H nから再構成された第kの推定低解像度画像を行列表現したものであり、下記式(B−9)によって表される。 W k x n is obtained by reconstituted matrix representing the estimated low-resolution image of the k from the high resolution image H n, it is represented by the following formula (B-9). 図34に、行列W 1の例を示す。 Figure 34 shows an example of a matrix W 1. 今の例の場合、行列W 1は9×36の行列となる。 For this example, the matrix W 1 is the matrix of 9 × 36. そして、第kの観測画像の各画素値から第kの推定低解像度画像の各画素値を差し引くことによって第kの差分画像が生成される(図8参照)。 Then, the difference image of the k is generated by the pixel value of the observed image of the k subtracting each pixel value of the estimated low-resolution image of the k (see FIG. 8). 第kの差分画像を表す行列(y k −W kn )は、下記式(B−10)によって表される。 Matrix representing the difference image of the k (y k -W k x n ) is represented by the following formula (B-10).

[差分画像に基づく高解像度画像の更新] [Update of the high-resolution image based on the difference image]
各低解像度画像に対する差分画像が得られた後、各差分画像を高解像度画像の座標面上にフィードバックすることで高解像度画像を更新する。 After the difference image for each low resolution image is obtained, it updates the high-resolution image by feeding back the respective difference images on the coordinate plane of the high resolution image.

例えば、図35に示す如く、高解像度画像上の座標(2,3)の画素432にフィードバックされる、第1の差分画像内の画素は四角枠431内の6画素(黒四角の画素)であり、画素432にフィードバックされる、第2の差分画像内の画素は四角枠431内の9画素(黒三角の画素)である。 For example, as shown in FIG. 35, in is fed back to the pixel 432 of the coordinates on the high resolution image (2, 3), pixels in the first difference image 6 pixels in the rectangular frame 431 (black squares of pixels) There, it is fed back to the pixel 432, pixels in the second difference image is 9 pixels in a square frame 431 (closed triangles pixels). 但し、上述したように、高解像度画像に対する第1及び第2の観測画像の位置ずれ量の整数部分がゼロであって且つv 1 x =0、v 1 y =0、v 2 x =0.5、v 2 y =0.5であるものとする。 However, as described above, the high first and the positional deviation amount of the integer part of the second observation image for resolution image and a zero v 1 x = 0, v 1 y = 0, v 2 x = 0. 5, v is assumed to be 2 y = 0.5.

画素432に対応するフィードバック値error(2,3)は、下記式(B−11)にて表されることとなる。 Feedback value corresponding to the pixel 432 error (2,3) is a be represented by the following formula (B-11). ここで、PSF 1 (0,1)等の値は上記式(B−8)に従う。 Here, the value of such PSF 1 (0,1) follows the above formula (B-8). 図36(a)及び(b)に、error(2,3)を算出する時に使用される転置行列W 1 T及びW 2 Tにおける点広がり関数(高解像度画像を基準とした点広がり関数)を示す。 Figure 36 (a) and (b), error (the point spread function relative to the high resolution image) transposed matrix W 1 T and W the point spread function in the 2 T, which is used when calculating the (2,3) show.

フィードバック値は高解像度画像を形成する各画素に対して求められる。 Feedback value is determined for each pixel forming the high-resolution image. 求められた全フィードバック値を表す行列errorは、下記式(B−12)に示す如く、第kの差分画像を表す行列(y k −W kn )とW kの転置行列との積和演算によって求められる。 Matrix error representing a total feedback value obtained, as shown in the following formula (B-12), product-sum of the transposed matrix of the k-th matrix representing the difference image (y k -W k x n) and W k It is determined by calculation. 尚、図37に、図34の行列W 1の転置行列を示す。 Incidentally, FIG. 37 shows a transposed matrix of the matrix W 1 in FIG. 34. 行列errorが求められた後、式(B−13)に従って行列x nを更新して行列x n+1を生成する。 After the matrix error has been determined, to generate a matrix x n is updated and the matrix x n + 1 according to Equation (B-13). 即ち、高解像度画像H nを更新して高解像度画像H n+1を生成する。 That is, to generate a high-resolution image H n + 1 and updates the high-resolution image H n. 式(B−13)は、第1実施例で述べた式(A−1)と等価である。 Formula (B-13) is equivalent to the equation described in the first embodiment (A-1).

<<変形等>> Modifications and Variations >>
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。 The specific values ​​given in the description above are merely examples, needless to say, can be changed to various values. 上述の実施形態の変形例または注釈事項として、以下に、注釈1〜注釈6を記す。 As a variant or explanatory notes of the above embodiments, the following, referred to annotation 1 annotation 6. 各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。 The contents of these notes, unless inconsistent, can be combined arbitrarily.

[注釈1] [Note 1]
2枚、3枚又は4枚の低解像度画像から1枚の高解像度画像を生成する例を上述したが、高解像度画像を生成するための低解像度画像の枚数は2以上であれば何枚でも良い。 Two, three or four have been described above the example of generating one high-resolution image from the low resolution images, the number of low-resolution images for generating a high-resolution image in many pieces as long as it is two or more good.

[注釈2] [Note 2]
上述の実施形態では、超解像処理として再構成型方式の一種であるMAP方式を用いた超解像処理を例示したが、本発明にて利用可能な超解像処理はどのような方式の超解像処理であっても構わない。 In the above embodiment, the reconstruction-method as a super-resolution processing is a super-resolution processing using the MAP method is a type exemplified, the super-resolution processing any method available in the present invention a super-resolution processing may be. 上述の実施形態では、初期高解像度画像を生成した後、更新量の算出及び該更新量による高解像度画像の更新を含む超解像演算処理を繰り返し実行しているが、この超解像演算処理の繰り返しは必須ではなく、1回だけ超解像演算処理を行って得た高解像度画像H 1を最終的に求めるべき高解像度画像として取り扱うことも可能である。 In the embodiment described above, after generating the initial high resolution image, but running repeatedly calculating the update amount and the super-resolution processing that includes the updated high-resolution image by said update value, the super-resolution processing 's repeated not essential, it is also possible to handle only one obtained by performing super-resolution processing a high resolution image H 1 as a high-resolution image be definitively determined.

[注釈3] [Note 3]
上述の各実施例において、基準画像の選択に用いる様々な指標を個別に説明した。 In each of the above embodiments, the various indicators to be used for selection of the reference image described individually. 例えば、この指標として、第1〜第3実施例では低解像度画像のぼけ量を用い、第4実施例ではセンサ検出データを用い、第5実施例では画像上における主要被写体の大きさを用い、第6実施例では顔領域内の顔の状態(眼の開閉状態や顔の表情)を用いている。 For example, as the index, in the first to third embodiment using the blur of the low-resolution image, using the sensor detection data in the fourth embodiment, in the fifth embodiment using the size of the main subject on the image, in the sixth embodiment uses a state of the face of the face region (the expression of the open or closed state or face of the eye).

これらの様々な指標の内、任意の2以上の指標を組み合わせて用いて基準画像の選択を行うことも可能である。 Of these various indicators, it is also possible to perform the selection of the reference image by using a combination of any two or more indicators. 例えば、ぼけ量と顔領域内の顔の状態とに基づいて基準画像の選択を行うようにしても良い。 For example, it is also possible to perform the selection of the reference image based on the state of the face of the blur amount and the face region. より具体的には例えば、瞬き検出処理により眼が開いていると判断された観測低解像度画像が複数ある場合、眼が開いていると判断された複数の観測低解像度画像の内、ぼけ量が最も少ない観測低解像度画像を基準画像に設定するようにしてもよい。 More specifically, for example, if the observed low-resolution image is judged with the eye is opened by the blink detection process there are a plurality of a plurality of observed low resolution images is determined with the eye is open, the blur amount lowest observed low-resolution image may be set as a reference image. ぼけ量と顔領域内の顔の状態とに基づいて基準画像の選択を行う方法は、当然、ぼけ量に基づいて基準画像の選択を行う方法でもあるし、顔領域内の顔の状態に基づいて基準画像の選択を行う方法でもある。 How the selection of the reference image on the basis of the state of the face of the blur amount and the face region is, of course, to also a method for selecting a reference image based on the blur amount, based on the state of the face in the face region It is also a method for selecting a reference image Te.

[注釈4] [Note 4]
図1の撮像装置1は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。 Imaging apparatus 1 in FIG. 1, the hardware, or can be realized by a combination of hardware and software. 特に、図4、図17、図21、図24又は図28の超解像部50、50a、50b、50c又は50d内で実行される演算処理の一部又は全部を、ソフトウェアを用いて実現することも可能である。 In particular, FIG. 4, 17, 21, the super-resolution unit 50,50a in FIG. 24 or FIG. 28, 50b, a part or all of the processing executed in 50c or in 50d, is implemented by means of software it is also possible. 勿論、超解像部50、50a、50b、50c又は50dをハードウェアのみで形成することも可能である。 Of course, it is also possible to form the super-resolution unit 50, 50a, 50b, and 50c or 50d in hardware alone. ソフトウェアを用いて撮像装置1を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。 When configuring the imaging apparatus 1 by using software, a block diagram of a part realized in software serves as a functional block diagram of that portion.

[注釈5] [Note 5]
超解像部50、50a、50b、50c又は50dの機能を撮像装置1と異なる外部機器(例えば、パーソナルコンピュータ;不図示)にて実現することも可能である。 Super-resolution unit 50, 50a, 50b, 50c or 50d imaging apparatus 1 is different from the external device the function of (e.g., a personal computer; not shown) can also be realized by. この場合、その外部機器内に超解像部50、50a、50b、50c又は50dと同等の超解像部を設けるようにし、撮像装置1にて複数の低解像度画像を取得した後、その複数の低解像度画像の画像情報を無線又は有線にて或いは記録媒体を介して上記外部機器に供給すればよい。 In this case, the super-resolution unit 50,50a in its external devices, 50b, so as to provide a 50c or 50d equivalent super-resolution unit, after acquiring the plurality of low-resolution images in the imaging apparatus 1, the plurality may be supplied to the external device via the or a recording medium the image information of the low-resolution image in a wireless or wired.

[注釈6] [Note 6]
例えば、以下のように考えることができる。 For example, it can be considered as follows. 超解像部50、50a、50b、50c又は50dを、画像処理装置と呼ぶこともできる。 Super-resolution unit 50, 50a, 50b, and 50c or 50d, can also be referred to as an image processing apparatus. 超解像処理部57は、高解像度画像生成手段として機能する。 Super-resolution processing unit 57 functions as a high-resolution image generation means. この高解像度画像生成手段に、生成部55が含まれていると考えることもできる。 This high-resolution image generating unit, it can be considered that the generation unit 55 includes.

本発明の実施形態に係る撮像装置の全体ブロック図である。 It is an overall block diagram of an imaging apparatus according to an embodiment of the present invention. MAP方式を用いた超解像処理の概念図である。 It is a conceptual diagram of the super-resolution processing using the MAP method. 本発明の実施形態に係る超解像処理の流れを表すフローチャートである。 Is a flow chart showing the flow of the super-resolution processing according to the embodiment of the present invention. 本発明の第1実施例に係る超解像処理を担う超解像部の内部ブロック図である。 Play a super-resolution processing according to the first embodiment of the present invention is an internal block diagram of a super-resolution unit. 図4の各部位の動作の流れを時系列的に示した図である。 It is a view chronologically shows the flow of operations of each part of FIG. 本発明の第1実施例に係るぼけ量推定部の内部ブロック図である。 It is an internal block diagram of a blur amount estimating unit according to the first embodiment of the present invention. 図6のハイパスフィルタ(HPF)の例としてのラプラシアンフィルタを表す図である。 It is a diagram illustrating a Laplacian filter as an example of a high-pass filter (HPF) in Fig. 図4の超解像処理部の内部ブロック図である。 It is an internal block diagram of a super-resolution processing unit of FIG. 本発明の第1実施例に係る実験内容を説明する図であって、実験で用いたぼけ量の大きい画像(a)とぼけ量の小さい画像(b)を示す図である。 A diagram illustrating the experimental details in accordance with a first embodiment of the present invention, showing a small image (b) of large picture (a) blur of the blur amount used in the experiment. 図9(a)及び(b)の各画像の高域抽出画像を示す図である。 Is a diagram showing a high-frequency extraction image of the image of FIG. 9 (a) and (b). 本発明の第1実施例の実験に係り、超解像演算処理の反復回数と、実験によって得た高解像度画像と理想的な高解像度画像とのPSNRと、の関係を示す図である。 It relates to experiments of the first embodiment of the present invention, showing the number of iterations of the super-resolution processing, and PSNR of the high resolution image and the ideal high-resolution image obtained by the experiments, the relationship. 本発明の第1実施例に係り、画像データの読み書きタイミングについて特に着目した、超解像処理の動作の流れを表すフローチャートである。 Relates to the first embodiment of the present invention, in particular attention is paid to read and write timing of the image data is a flow chart showing the flow of operations of the super-resolution processing. 本発明の第2実施例に係り、位置ずれ量の大きさの変化の様子を示す図である。 Relates to the second embodiment of the present invention, it is a diagram illustrating a change in the size of the positional deviation amount. 本発明の第2実施例に係り、位置ずれ量の大きさの変化の様子を示す図である。 Relates to the second embodiment of the present invention, it is a diagram illustrating a change in the size of the positional deviation amount. 本発明の第3実施例に係るぶれ量推定方法を説明するための図であって、ぼけの小さい画像(a)とぼけの大きい画像(b)を示す図である。 A diagram for explaining a blur amount estimation method according to the third embodiment of the present invention, showing a small image (a) blur of the large picture (b) blurring. 図15(a)及び(b)に示された各画像の輝度ヒストグラムを示す図である。 Is a diagram showing a luminance histogram of each image shown in FIG. 15 (a) and (b). 本発明の第4実施例に係る超解像処理を担う超解像部の内部ブロック図である。 Play a super-resolution processing according to the fourth embodiment of the present invention is an internal block diagram of a super-resolution unit. 本発明の第4実施例に係る撮像装置に設けられたセンサ部の内部ブロック図である。 It is an internal block diagram of a sensor unit provided in the image pickup apparatus according to a fourth embodiment of the present invention. 図18のセンサ部によって検出された、撮像装置のぶれの大きさを表す図である。 Detected by the sensor unit of FIG. 18 is a diagram representing the magnitude of shake of the image pickup device. 画像情報が画像データとセンサ検出データを含むことを明示した図である。 Image information is a view that clearly to include image data and the sensor detection data. 本発明の第5実施例に係る超解像処理を担う超解像部の内部ブロック図である。 Play a super-resolution processing according to the fifth embodiment of the present invention is an internal block diagram of a super-resolution unit. 本発明の第5実施例に係る3枚の観測低解像度画像の第1例を示す図である。 It is a diagram showing a first example of the three observed low-resolution image according to a fifth embodiment of the present invention. 本発明の第5実施例に係る3枚の観測低解像度画像の第2例を示す図である。 It is a diagram showing a second example of the three observed low-resolution image according to a fifth embodiment of the present invention. 本発明の第6実施例に係る超解像処理を担う超解像部の内部ブロック図である。 Play a super-resolution processing according to the sixth embodiment of the present invention is an internal block diagram of a super-resolution unit. 図1の撮像部の内部構成図である。 It is an internal block diagram of an imaging unit of FIG. 図1の映像信号処理部内に設けられるAF評価部の内部ブロック図である。 It is an internal block diagram of the AF evaluation unit which is provided to the video signal processing section of FIG. 図26のAF評価部によってフレーム画像内に定義されるAF評価領域と、AF評価値算出の際に設定される重み付け係数を表す図である。 And AF evaluation area defined in the frame image by the AF evaluation unit of FIG. 26 is a diagram showing a weighting factor that is set when the AF evaluation value calculation. 本発明の第7実施例に係る超解像処理を担う超解像部の内部ブロック図である。 Play a super-resolution processing according to the seventh embodiment of the present invention is an internal block diagram of a super-resolution unit. 本発明の第7実施例に係る3枚の観測低解像度画像の例を示す図である。 A seventh example of three observed low-resolution image according to an embodiment of the present invention; FIG. 本発明の第8実施例に係り、第1及び第2の観測低解像度画像の画素配列と高解像度画像の画素配列を示す図である。 Relates to the eighth embodiment of the present invention, it is a diagram illustrating a pixel arrangement of a pixel array and a high resolution image of the first and second observation low-resolution images. 本発明の第8実施例に係り、放物線近似によって位置ずれ量がサブピクセル精度で算出される様子を示す図である。 It relates to the eighth embodiment of the present invention, showing a state in which the position deviation amount by parabolic approximation is calculated with subpixel precision. 本発明の第8実施例に係り、第1の観測低解像度画像から初期高解像度画像が生成される様子を示す図である。 Relates to the eighth embodiment of the present invention, is a diagram showing how the initial high-resolution image is generated from the first observation low-resolution image. 本発明の第8実施例に係り、高解像度画像から低解像度画像を再構成するために、高解像度画像に空間フィルタを作用させる様子を示す図である。 Relates to the eighth embodiment of the present invention, a high resolution image to reconstruct the low resolution image is a diagram showing how to apply a spatial filter to the high resolution image. 本発明の第8実施例に係り、高解像度画像から低解像度画像を再構成するための行列の例を示す図である。 Relates to the eighth embodiment of the present invention, is a diagram showing an example of a matrix for reconstructing low resolution image from a high resolution image. 本発明の第8実施例に係り、更新されるべき高解像度画像の画素配列と、その更新に用いられる低解像度画像の画素配列と、の関係を示す図である。 Relates to the eighth embodiment of the present invention, the pixel array of high-resolution images to be updated, is a diagram illustrating the pixel array of low-resolution images used the update, the relationship. 本発明の第8実施例に係り、フィードバック値を算出する時に使用される転置行列W 1 T及びW 2 Tにおける点広がり関数を示す図である。 It relates to the eighth embodiment of the present invention, showing a point spread function in the transposed matrix W 1 T and W 2 T, which is used when calculating the feedback value. 図34の行列の転置行列を示す図である。 It is a diagram illustrating a transpose matrix of the matrix of Figure 34.

符号の説明 DESCRIPTION OF SYMBOLS

1 撮像装置 11 撮像部 13 映像信号処理部 23 CPU 1 imaging apparatus 11 imaging unit 13 the video signal processing unit 23 CPU
50、50a、50b、50c、50d 超解像部 51 選択部 52 ぼけ量推定部 53、53a、53b、53c、53d 基準画像設定部 54 位置ずれ検出部 55 初期高解像度画像生成部 56 選択部 57 超解像処理部 75 センサ部 76 被写体サイズ検出部 77 顔状態検出部 80 AF評価部 50,50a, 50b, 50c, 50d super-resolution unit 51 selecting section 52 blur estimator 53,53a, 53b, 53c, 53d reference image setting unit 54 positional shift detection unit 55 initial high-resolution image generating unit 56 selector 57 super-resolution processing unit 75 sensor unit 76 subject size detection unit 77 face state detector 80 AF evaluation unit

Claims (15)

  1. 複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する画像処理装置において、 An image processing apparatus for generating a high-resolution image having a plurality of higher resolution than the resolution of the low resolution image from a low resolution image,
    前記複数の低解像度画像の画像情報に基づいて前記複数の低解像度画像の中から基準画像を選択する基準画像設定手段を備え、 Comprising a reference image setting means for selecting a reference image from among the plurality of low-resolution image based on the image information of the plurality of low-resolution images,
    前記基準画像を基準として、解像度を増大させる高解像度化処理を前記複数の低解像度画像に対して実行することにより前記高解像度画像を生成することを特徴とする画像処理装置。 Image processing apparatus and generates the high resolution image based on the reference image, by performing a resolution enhancement process to increase the resolution with respect to the plurality of low-resolution images.
  2. 前記画像情報に基づいて各低解像度画像に含まれるぼけの大きさを推定するぼけ量推定手段を更に備え、 Further comprising a blur amount estimating means for estimating the size of the blur contained in the respective low-resolution image based on the image information,
    前記基準画像設定手段は、前記ぼけ量推定手段の推定結果に基づいて前記基準画像を選択することを特徴とする請求項1に記載の画像処理装置。 The reference image setting means, the image processing apparatus according to claim 1, characterized by selecting the reference image based on the estimation result of the blur amount estimating means.
  3. 前記ぼけ量推定手段は、各低解像度画像における高域周波数成分の量に基づいて、各低解像度画像に含まれるぼけの大きさを推定することを特徴とする請求項2に記載の画像処理装置。 The blur amount estimating means, each based on the amount of high frequency components in the low-resolution image, the image processing apparatus according to claim 2, characterized in that to estimate the size of the blur included in each lower resolution image .
  4. 前記複数の低解像度画像は、撮像装置による順次撮影にて得られた時系列に並ぶ低解像度画像列を形成し、 Wherein the plurality of low-resolution images, to form a low-resolution image sequence arranged in time series obtained by sequentially imaging by the imaging device,
    前記ぼけ量推定手段は、前記低解像度画像列中の時間的に隣接する低解像度画像間の位置ずれ量に基づいて前記低解像度画像列の撮影期間中における前記撮像装置のぶれの状態を検出し、前記ぶれの状態の検出結果から、前記複数の低解像度画像間における、前記ぼけの大きさの大小関係を推定することを特徴とする請求項2に記載の画像処理装置。 The blur amount estimating means, the detected blur state of the image pickup device in the shooting period of the low-resolution image sequence on the basis of the positional deviation amount between the low-resolution images that are temporally adjacent in the low-resolution image sequence , from the detection result of the state of the blurring, the image processing apparatus according to claim 2, characterized in that the estimated among the multiple low-resolution images, the magnitude relationship between the size of the blur.
  5. 前記基準画像設定手段は、前記複数の低解像度画像の内、推定されたぼけの大きさが最も小さい低解像度画像を前記基準画像として選択することを特徴とする請求項2〜請求項4の何れかに記載の画像処理装置。 The reference image setting means, among the plurality of low-resolution images, either the smallest low-resolution image is the magnitude of the estimated blur of claims 2 to 4, characterized by selecting as said reference image the image processing apparatus of crab according.
  6. 各低解像度画像は撮像装置の撮影によって得られ、 Each low-resolution images obtained by photographing the imaging device,
    前記画像情報は、各低解像度画像の露光期間中における前記撮像装置のぶれの状態を検出するセンサの検出データを含み、 Wherein the image information includes the detection data of the sensor for detecting the state of the shake of the imaging device during the exposure period of each low-resolution images,
    前記基準画像設定手段は、前記センサの検出データに基づいて前記基準画像を選択することを特徴とする請求項1に記載の画像処理装置。 The reference image setting means, the image processing apparatus according to claim 1, characterized by selecting the reference image based on the detection data of the sensor.
  7. 前記基準画像設定手段は、前記複数の低解像度画像の内、露光期間中における前記撮像装置のぶれの大きさが最も小さい低解像度画像を前記基準画像として選択することを特徴とする請求項6に記載の画像処理装置。 The reference image setting means, among the plurality of low-resolution images, a low resolution image size of blur of the image pickup device is smallest during the exposure period to claim 6, characterized by selecting as said reference image the image processing apparatus according.
  8. 前記画像情報に基づいて、各低解像度画像に含まれる特定被写体の、画像上の大きさを検出する被写体サイズ検出手段を更に備え、 Based on the image information, further comprising the specific subject included in the low-resolution image, the subject size detection means for detecting the size of the image,
    前記基準画像設定手段は、検出された前記特定被写体の大きさに基づいて前記基準画像を選択することを特徴とする請求項1に記載の画像処理装置。 The reference image setting means, the image processing apparatus according to claim 1, characterized by selecting the reference image based on the magnitude of said detected specific object.
  9. 前記画像情報に基づいて各低解像度画像の中から人物の顔を検出するとともに前記顔の状態を検出する顔状態検出手段を更に備え、 Further comprising a face state detecting means for detecting a state of the face and detects a human face from each low-resolution image based on the image information,
    前記基準画像設定手段は、前記顔状態検出手段の検出結果に基づいて前記基準画像を選択することを特徴とする請求項1に記載の画像処理装置。 The reference image setting means, the image processing apparatus according to claim 1, characterized by selecting the reference image based on a detection result of the face state detecting means.
  10. 前記基準画像設定手段は、前記複数の低解像度画像の内の、前記基準画像以外の低解像度画像を参照画像として設定し、 The reference image setting unit sets of the plurality of low-resolution images, low resolution images other than the reference image as a reference image,
    当該画像処理装置は、 The image processing apparatus,
    前記基準画像と前記参照画像との間の位置ずれ量を前記基準画像の画素間隔よりも高い分解能で求める位置ずれ検出手段と、 A position error detection means for obtaining a higher resolution than the pixel interval of the reference image position shift amount between the reference image and the reference image,
    求められた位置ずれ量と前記複数の低解像度画像を用い、前記基準画像を基準として前記高解像度化処理を行うことにより前記高解像度画像を生成する高解像度画像生成手段と、を更に備えたことを特徴とする請求項1〜請求項9の何れかに記載の画像処理装置。 Using the plurality of low-resolution images and the position deviation amount obtained, that the high resolution image generation means for generating the high resolution image by performing the high-resolution processing the reference image as a reference, further comprising the image processing apparatus according to any one of claims 1 to 9, characterized in.
  11. 順次撮影によって時系列に並ぶ複数の低解像度画像を取得する撮像手段と、 Imaging means for obtaining a plurality of low-resolution images arranged in chronological order by shooting,
    前記複数の低解像度画像に対する高解像度化処理によって高解像度画像を生成する、請求項1〜請求項10の何れかに記載の画像処理装置と、を備えたことを特徴とする撮像装置。 Wherein the plurality of generating a high resolution image by a high resolution processing on the low resolution image, an imaging apparatus characterized by comprising a, an image processing apparatus according to any one of claims 1 to 10.
  12. 撮像素子及び被写体に応じた光学像を前記撮像素子上に結像させるための光学系を有して撮影によって撮影画像を得る撮像手段と、前記撮影画像内に設けられた焦点評価領域の映像信号に基づいて焦点評価値を導出する焦点評価値導出手段とを備え、前記焦点評価値に基づいて前記光学系を駆動制御してオートフォーカス制御を行う撮像装置において、 Imaging means for obtaining captured image by photographing an optical system for forming an optical image corresponding to the image pickup element and the subject on the imaging element, video signal of the focus evaluation areas provided in the captured image in the image pickup apparatus which performs autofocus control by driving and controlling the optical system based on the focus and a evaluation value deriving means, the focus evaluation value to derive a focus evaluation value based on,
    前記撮像手段から得た複数の撮影画像を複数の低解像度画像として参照して、前記複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する画像処理装置を更に備え、 With reference to plural photographed images obtained from the imaging unit as a plurality of low-resolution images, the image processing apparatus for generating a high-resolution image having a plurality of higher resolution than the resolution of the low resolution image from a low resolution image further comprising,
    前記画像処理装置は、各低解像度画像に対して導出された前記合焦評価値に基づいて前記複数の低解像度画像の中から基準画像を選択する基準画像設定手段を有し、前記基準画像を基準として、解像度を増大させる高解像度化処理を前記複数の低解像度画像に対して実行することにより前記高解像度画像を生成することを特徴とする撮像装置。 The image processing apparatus has a reference image setting means for selecting a reference image from among the plurality of low-resolution image based on the focus evaluation value derived for each low-resolution image, the reference image as a reference, an image pickup apparatus and generates the high resolution image by performing a resolution enhancement process to increase the resolution with respect to the plurality of low-resolution images.
  13. 前記オートフォーカス制御では、前記焦点評価値が極大値をとるように前記光学系が駆動制御され、 The auto In focus control, the focus evaluation value the optical system to take a maximum value is controlled drive,
    前記基準画像設定手段は、前記複数の低解像度画像の内、最大の合焦評価値に対応する低解像度画像を前記基準画像として選択することを特徴とする請求項12に記載の撮像装置。 The reference image setting means, among the plurality of low-resolution images, the imaging apparatus according to the low-resolution image corresponding to the evaluation value maximum focus in claim 12, characterized by selecting as said reference image.
  14. 前記基準画像設定手段は、前記複数の低解像度画像の内の、前記基準画像以外の低解像度画像を参照画像として設定し、 The reference image setting unit sets of the plurality of low-resolution images, low resolution images other than the reference image as a reference image,
    前記画像処理装置は、 The image processing apparatus,
    前記基準画像と前記参照画像との間の位置ずれ量を前記基準画像の画素間隔よりも高い分解能で求める位置ずれ検出手段と、 A position error detection means for obtaining a higher resolution than the pixel interval of the reference image position shift amount between the reference image and the reference image,
    求められた位置ずれ量と前記複数の低解像度画像を用い、前記基準画像を基準として前記高解像度化処理を行うことにより前記高解像度画像を生成する高解像度画像生成手段と、を更に備えたことを特徴とする請求項12又は請求項13に記載の撮像装置。 Using the plurality of low-resolution images and the position deviation amount obtained, that the high resolution image generation means for generating the high resolution image by performing the high-resolution processing the reference image as a reference, further comprising the imaging apparatus according to claim 12 or claim 13, characterized in.
  15. 複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する画像処理方法において、 An image processing method for generating a high-resolution image having a higher resolution than the resolution of the low-resolution image from multiple low-resolution images,
    前記複数の低解像度画像の画像情報に基づいて前記複数の低解像度画像の中から基準画像を選択し、 You select the reference image from among the plurality of low-resolution image based on the image information of the plurality of low-resolution images,
    前記基準画像を基準として、解像度を増大させる高解像度化処理を前記複数の低解像度画像に対して実行することにより前記高解像度画像を生成することを特徴とする画像処理方法。 Image processing method characterized by generating the high resolution image based on the reference image, by performing a resolution enhancement process to increase the resolution with respect to the plurality of low-resolution images.
JP2008306297A 2008-01-18 2008-12-01 Image processing device and method, and imaging apparatus Pending JP2009194896A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008009242 2008-01-18
JP2008306297A JP2009194896A (en) 2008-01-18 2008-12-01 Image processing device and method, and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008306297A JP2009194896A (en) 2008-01-18 2008-12-01 Image processing device and method, and imaging apparatus
US12353447 US8315474B2 (en) 2008-01-18 2009-01-14 Image processing device and method, and image sensing apparatus

Publications (1)

Publication Number Publication Date
JP2009194896A true true JP2009194896A (en) 2009-08-27

Family

ID=40891097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008306297A Pending JP2009194896A (en) 2008-01-18 2008-12-01 Image processing device and method, and imaging apparatus

Country Status (2)

Country Link
JP (1) JP2009194896A (en)
CN (1) CN101488216A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003584A (en) * 2010-06-18 2012-01-05 Hoya Corp Moving image emphasis processing system and method
JP2012003503A (en) * 2010-06-16 2012-01-05 Canon Inc Image processing device, method for controlling the same, and program
WO2012018282A1 (en) * 2010-08-06 2012-02-09 Shmunk Dmitry Valerievich Method for producing super-resolution images and nonlinear digital filter for implementing same
JP2012044510A (en) * 2010-08-20 2012-03-01 Ricoh Co Ltd Imaging device, imaging method and program
JP2012065125A (en) * 2010-09-15 2012-03-29 Ricoh Co Ltd Imaging device, electronic apparatus, image processing system, and computer readable recording medium
EP2793186A2 (en) 2013-04-15 2014-10-22 Omron Corporation Image processing apparatus, method of controlling image processing apparatus, and non-transitory computer-readable recording medium
US10049432B2 (en) 2014-09-10 2018-08-14 Mitsubishi Electric Corporation Image processing apparatus, image processing method, program and recording medium

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5339954B2 (en) * 2009-02-17 2013-11-13 キヤノン株式会社 Focusing device and focusing method
JP5505007B2 (en) * 2010-03-18 2014-05-28 富士通株式会社 Image processing apparatus, image processing method and an image processing computer program
CN102186016B (en) * 2011-04-27 2013-03-20 西安电子科技大学 Super-resolution imaging method based on spherical aberration aliasing observation
JP5847228B2 (en) * 2014-04-16 2016-01-20 オリンパス株式会社 Image processing apparatus, image processing method and image processing program
CN104392411B (en) * 2014-12-12 2017-06-16 中国农业大学 The image processing method based on the sparse representation of wavelet Shannon-Blackman and means
CN105719236B (en) * 2016-01-14 2018-08-14 北京师范大学 The method of generating a full resolution image vegetation cover seasonal variations sequence
CN106101545A (en) * 2016-06-30 2016-11-09 维沃移动通信有限公司 Image processing method and mobile terminal

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210288A (en) * 2004-01-21 2005-08-04 Fuji Photo Film Co Ltd Imaging device and method, and program
WO2006068292A1 (en) * 2004-12-21 2006-06-29 Sony Corporation Image processing device, image processing method and image processing program
JP2006270238A (en) * 2005-03-22 2006-10-05 Nikon Corp Image processing apparatus, electronic camera, and image processing program
JP2007013269A (en) * 2005-06-28 2007-01-18 Olympus Corp Imaging apparatus
JP2007074114A (en) * 2005-09-05 2007-03-22 Olympus Imaging Corp Electronic camera
JP2007251626A (en) * 2006-03-16 2007-09-27 Olympus Imaging Corp Camera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210288A (en) * 2004-01-21 2005-08-04 Fuji Photo Film Co Ltd Imaging device and method, and program
WO2006068292A1 (en) * 2004-12-21 2006-06-29 Sony Corporation Image processing device, image processing method and image processing program
JP2006270238A (en) * 2005-03-22 2006-10-05 Nikon Corp Image processing apparatus, electronic camera, and image processing program
JP2007013269A (en) * 2005-06-28 2007-01-18 Olympus Corp Imaging apparatus
JP2007074114A (en) * 2005-09-05 2007-03-22 Olympus Imaging Corp Electronic camera
JP2007251626A (en) * 2006-03-16 2007-09-27 Olympus Imaging Corp Camera

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003503A (en) * 2010-06-16 2012-01-05 Canon Inc Image processing device, method for controlling the same, and program
JP2012003584A (en) * 2010-06-18 2012-01-05 Hoya Corp Moving image emphasis processing system and method
WO2012018282A1 (en) * 2010-08-06 2012-02-09 Shmunk Dmitry Valerievich Method for producing super-resolution images and nonlinear digital filter for implementing same
US20130156345A1 (en) * 2010-08-06 2013-06-20 Dmitry Valerievich Shmunk Method for producing super-resolution images and nonlinear digital filter for implementing same
US9020302B2 (en) 2010-08-06 2015-04-28 Dmitry Valerievich Shmunk Method for producing super-resolution images and nonlinear digital filter for implementing same
JP2012044510A (en) * 2010-08-20 2012-03-01 Ricoh Co Ltd Imaging device, imaging method and program
JP2012065125A (en) * 2010-09-15 2012-03-29 Ricoh Co Ltd Imaging device, electronic apparatus, image processing system, and computer readable recording medium
EP2793186A2 (en) 2013-04-15 2014-10-22 Omron Corporation Image processing apparatus, method of controlling image processing apparatus, and non-transitory computer-readable recording medium
JP2014206926A (en) * 2013-04-15 2014-10-30 オムロン株式会社 Image processor, method for controlling image processor, image processing program and recording medium therefor
US9230307B2 (en) 2013-04-15 2016-01-05 Omron Corporation Image processing apparatus and method for generating a high resolution image
US10049432B2 (en) 2014-09-10 2018-08-14 Mitsubishi Electric Corporation Image processing apparatus, image processing method, program and recording medium

Also Published As

Publication number Publication date Type
CN101488216A (en) 2009-07-22 application

Similar Documents

Publication Publication Date Title
US7142723B2 (en) System and process for generating high dynamic range images from multiple exposures of a moving scene
Ben-Ezra et al. Video super-resolution using controlled subpixel detector shifts
US20060222260A1 (en) Image capture apparatus, image processing method for captured image, and recording medium
US20070019887A1 (en) Computing a higher resolution image from multiple lower resolution images using model-base, robust bayesian estimation
US20100046906A1 (en) Image Processing Method, Image Recording Method, Image Processing Device and Image File Format
US20100265357A1 (en) Generation of simulated long exposure images in response to multiple short exposures
US20110090352A1 (en) Image deblurring using a spatial image prior
US20120307099A1 (en) Image processing apparatus, image processing method and program
US20100321539A1 (en) Image processing apparatus and image processing method
US8199222B2 (en) Low-light video frame enhancement
US20100053346A1 (en) Image Processing Apparatus, Imaging Apparatus, Solid-State Imaging Device, Image Processing Method and Program
JP2008294741A (en) Imaging system
US8130278B2 (en) Method for forming an improved image using images with different resolutions
JP2000020691A (en) Image processing device and method, image-pickup device, control method, and storage medium therefor
JP2008271240A (en) Imaging apparatus, image processing apparatus, imaging method, and image processing method
US20120287308A1 (en) Electronic device
US20110205381A1 (en) Tone mapping for low-light video frame enhancement
WO2011093994A1 (en) High dynamic range (hdr) image synthesis with user input
JP2011114649A (en) Imaging device
US20100149358A1 (en) Method and apparatus for producing a panoramic plurality of partly overlapping unit images
JP2009147727A (en) Imaging apparatus and image reproducing device
JP2008092297A (en) Image processor, image processing program, image manufacturing method, and recording medium
JP2008233470A (en) Diaphragm controller and image processor
US20100265353A1 (en) Image Processing Device, Image Sensing Device And Image Reproduction Device
JP2007135133A (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130125

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130515

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130605