CN101896934A - 图像处理装置以及拍摄控制装置 - Google Patents

图像处理装置以及拍摄控制装置 Download PDF

Info

Publication number
CN101896934A
CN101896934A CN2008801210688A CN200880121068A CN101896934A CN 101896934 A CN101896934 A CN 101896934A CN 2008801210688 A CN2008801210688 A CN 2008801210688A CN 200880121068 A CN200880121068 A CN 200880121068A CN 101896934 A CN101896934 A CN 101896934A
Authority
CN
China
Prior art keywords
image data
mentioned
captured image
pixel
high resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2008801210688A
Other languages
English (en)
Other versions
CN101896934B (zh
Inventor
山本修平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN101896934A publication Critical patent/CN101896934A/zh
Application granted granted Critical
Publication of CN101896934B publication Critical patent/CN101896934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

本发明的超分辨处理部(25)包括：差分图像生成部(33)，生成差分图像数据；图像更新部(37)，根据上述差分图像数据算出评价值，且在该评价值为预定的阈值以上时更新上述高分辨率图像数据，以使该评价值减小；区域提取部(35)，从拍摄图像数据中提取包含不恰当曝光像素的第1区域；加权差分图像生成部(36)，对与上述差分图像数据的上述第1区域相对应的像素进行加权。上述图像更新部(37)使用被施以了上述加权的多个差分图像数据来更新上述高分辨率图像数据，因此，即使拍摄图像数据中含有不恰当曝光像素，也能够生成正确反映有拍摄对象的形状或色彩的高精度的高分辨率图像数据。由此，拍摄图像数据中包含的不恰当曝光像素在高分辨率图像数据中的影响便得以减轻。

Description

图像处理装置以及拍摄控制装置
技术领域
本发明涉及根据多个低分辨率图像数据生成1个高分辨率图像数据的图像处理装置等。
背景技术
关于通过区域感应器等拍摄装置进行拍摄所获得的图像，其分辨率受该拍摄装置所具备的拍摄元件的密度的限制。拍摄装置的用户所要求的是能够拍摄分辨率更高的图像的拍摄装置，各相机厂商为了满足用户对于分辨率的需求，不断推出拍摄元件密度高的高分辨率相机。
但是，问题在于拍摄元件的高密度化也有限度，并且由于高密度化会导致拍摄装置的制造成本增加。对此，以往使用有以下的高分辨率化技术，即，对同一拍摄对象进行多次拍摄，并且每次都稍微错开拍摄位置，然后对拍摄到的多个拍摄图像数据进行合成，从而生成分辨率比拍摄图像数据高的高分辨率图像数据。
图像的高分辨率化技术一般包括图像偏移处理和超分辨处理这两种。进行图像偏移处理时，对同一拍摄对象进行多次拍摄，并且每次都稍微错开拍摄位置。然后，找出多个拍摄图像数据各自包含的像素与高分辨率图像数据的像素之间的位置对应关系，并将拍摄图像数据的各像素的亮度值映射(mapping)到高分辨率图像数据的各个像素，从而生成反映有多个拍摄图像数据的高分辨率图像数据。
在图像偏移处理中，由于必须将拍摄图像数据的所有像素都映射到高分辨率图像数据的像素，因此，必须对拍摄图像数据的拍摄位置以及拍摄数量进行固定。因此，图像偏移处理虽然具有能以较低的计算成本(cost)生成高分辨率图像数据的优点，但是存在难以大幅度提高分辨率的问题。
另一方面，进行超分辨处理时，首先，与图像偏移处理同样，对同一个拍摄对象进行多次拍摄，并且每次都稍微错开拍摄位置。然后，在超分辨处理中，先对高分辨率图像数据进行推定，然后，为了使该推定的高分辨率图像与通过上述多次拍摄所获得的多个拍摄图像数据之间的差缩小，对上述假定的高分辨率图像数据进行更新。
上述方式的超分辨处理称为重建式超分辨处理。作为重建式超分辨处理，例如有ML(Maximum-likelihood：最大似然)法、MAP(Maximum APosterier：最终后验概率)法和POC(Projection On to Convex Set：凸集投影)法等周知的方法，这些方法在下述非专利文献1以及专利文献1中也有介绍。
在重建式超分辨处理中，由于对所用的低分辨率图像数据(拍摄图像数据)的数量没有限制，因此能够大幅度提高分辨率。但是，在重建式超分辨处理中，更新高分辨率图像数据时要反复进行演算，因此，其计算成本一般都高于图像偏移处理。
以下，对超分辨处理进行详细说明。在超分辨处理(重建式)中，关于用以对生成的高分辨率图像进行定义的评价函数，就该评价函数的优化问题进行定规化。即，超分辨处理最终将归结到：基于了“推定出的拍摄图像数据(高分辨率图像数据)”与“观测到的拍摄图像数据(拍摄图像数据)”之间的平方误差的、评价函数(误差项)的优化问题上。在此，由于超分辨处理是未知数非常大的优化计算处理，因此，多采用例如最速下降法等反复计算的计算法来实现超分辨处理中的评价函数的优化。
另外，若已得知高分辨率图像数据的特性，可以将基于该高分辨率图像数据的特性的评价函数(约束项)附加于上述评价函数(误差项)。例如，若事先得知高分辨率图像数据的边缘成分为较小，便可附加基于以下图像数据的评价函数(约束项)，该图像数据是：以拉普拉斯算子(laplacianfilter)对高分辨率图像数据进行运算后所得到的图像数据。由此，能够使边缘成分较小的高分辨率图像数据反映在超分辨处理中，因此能够提高高分辨率化的精度。
接下来，参照图22说明现有的超分辨处理方法的处理流程。图22是表示现有的超分辨处理方法的一个例子的流程图。在此，设想根据m个拍摄图像数据来生成1个高分辨率图像数据(m为正数)，该m个拍摄图像数据是通过每次稍微错开拍摄位置并对同一个拍摄对象进行拍摄而获得的。其中，m根据拍摄图像数据的高分辨率化倍数而定。具体而言，若要对拍摄图像数据进行x倍高分辨率化，便至少需要x2个拍摄图像数据。
以下，参照图23说明拍摄对象的拍摄方法。图23是表示超分辨处理中所使用的拍摄图像数据的、拍摄方法的例图。在该图中，为简单化，例举使用9个拍摄图像数据来生成1个高分辨率图像数据，即，m＝9，对拍摄图像数据进行3倍高分辨率化。此外，设想各拍摄图像数据由图中所示的纵为5像素横为5像素的25个像素构成。
对拍摄图像数据进行3倍高分辨率化时，每次以拍摄图像数据的1个像素幅的1/3为间距来移动拍摄位置，并在每个拍摄位置上进行1次拍摄。如此，可获得如图23中所示的、拍摄位置每次移动相当于拍摄图像数据的1个像素幅的1/3的间距时的9个拍摄图像数据。在该图中，以数字1～9表示各拍摄图像数据的拍摄位置。即，各像素上附加的数字表示了拍摄位置。例如，图23左上部分的拍摄图像数据的各像素被付加有数字1，这表示图23左上部分的拍摄图像数据的各像素是在拍摄位置1上拍摄的。
为了生成正确反映有拍摄对象的形状以及色彩的高分辨率图像数据，需要在同一个拍摄条件下拍摄各拍摄图像数据。在此，拍摄条件是指曝光时间(快门速度)、照明强度、拍摄灵敏度、所使用的滤光器以及光圈的其中至少一者。在图23的例子中，以上所述的拍摄条件在各拍摄位置时都为相同，另外在图23中以a表示该拍摄条件。即，各像素上附加的英文字母表示了拍摄条件。
返回到流程的说明。在现有的超分辨处理方法中，取得通过上述拍摄所获得的第1个至第m个的m个拍摄图像数据ym(S101)。在此，ym是表示上述第1个至第m个的m个拍摄图像数据的矢量，可用以下的数式(1)来表示。
[式1]
y m = x 1 . . . x m
(数式1)
在此，图像数据的矢量表示是指，如上述数式(1)所示，将图像数据的构成要素表示成排成列的1列矢量。例如，若构成图像数据的要素尺寸为横W×纵H，该图像数据则被表示为1行×(W×H)列的矢量。
如以上所述，超分辨处理最终归结到基于了“推定出的拍摄图像数据(高分辨率图像数据)”与“观测到的拍摄图像数据(拍摄图像数据)”之间的平方误差的、评价函数(误差项)的优化问题上。即，为了进行超分辨处理，需要多个拍摄图像数据和根据该多个拍摄图像数据推定出的高分辨率图像数据。
但是，在获得了拍摄图像数据ym的这一阶段时，还不能获得根据拍摄图像数据ym推定出的高分辨率图像数据。因此，在接下来的步骤中取得初期高分辨率图像数据h(S102)。初期高分辨率图像数据h是分辨率高于拍摄图像数据(构成图像的像素数较多)的图像数据。在此，h是表示高分辨率图像数据的矢量。
以下，参照图24说明初期高分辨率图像数据。图24是表示初期高分辨率图像数据的例图。在该图中，与图23中例举的拍摄图像数据同样，对由纵为5像素横为5像素的25个像素构成的拍摄图像数据进行3倍高分辨率化。
在对由纵5×横5的25个像素构成的拍摄图像数据进行3倍高分辨率化时，将生成具有纵为5×3像素横为5×3像素的合计225个像素的高分辨率图像数据。在此，预先把以矢量表示的纵5×3像素横5×3像素的图像数据作为初期高分辨率图像数据h。对拍摄图像数据进行3倍高分辨率化时，高分辨率图像数据的各像素的尺寸相当于拍摄图像数据的各像素的尺寸的1/3倍。
通过进行超分辨处理，初期高分辨率图像数据被更新，以使初期高分辨率图像数据与拍摄图像数据之间的差缩小，因此，高分辨率图像数据的初期值即、初期高分辨率图像数据的各像素的亮度值可以是任意的值。例如，能够使用全面均匀的灰色图像或黑图像、或白图像来作为初期高分辨率图像数据。另外，也可以使用从拍摄图像数据中选择的任意1个拍摄图像数据来作为初期高分辨率图像数据。
在此，通过对比图23和图24可看出，初期高分辨率图像数据h的各像素尺寸以及像素数与拍摄图像数据ym的各像素尺寸以及像素数不同，并且拍摄对象的拍摄位置也不同。因此，无法直接计算出高分辨率图像数据h与拍摄图像数据ym之间的差分。对此，在通过S101以及S102获得了拍摄图像数据ym以及高分辨率图像数据h之后，使高分辨率图像数据h与拍摄图像数据ym对位，并对高分辨率图像数据h进行低分辨率化，从而生成m个虚拟低分辨率图像数据Bmh(S103)。
在此，Bm是，使高分辨率图像数据h与拍摄图像数据ym对位并对高分辨率图像数据h进行了低分辨率化时的项列。如以下数式(2)所示，Bm是用M1～Mm和C的积来表示的项列。项列M1～Mm用以表示以下处理：在使高分辨率图像数据h与拍摄图像数据ym对位之后，对与拍摄图像数据ym的各像素位置相对应的像素进行亮度值采样。另外，项列C表示了使用有点扩散函数(PSF：Poing Spread Function)的卷积(convolution)处理(通过卷缩来使图像模糊的处理)，另外，点扩散函数在观测模式(拍摄装置的拍摄模式(camera model))中是导致失焦的原因。
[式2]
B m = M I C . . . M m C
(数式2)
虚拟低分辨率图像数据例如可以是图25所示的图像数据。图25是表示虚拟低分辨率图像数据的一个例图。在图25中，表示有使图24的高分辨率图像数据对位至图23的拍摄图像数据而生成的虚拟低分辨率图像数据的例子。如图25所示，虚拟低分辨率图像数据由与拍摄图像数据拍摄位置1～9分别相对应的9个图像数据构成。
接着，计算上述S103中生成的虚拟低分辨率图像数据Bmh与拍摄图像数据ym之间的差分，以算出差分图像数据Xm(S104)。该差分图像数据Xm是“推定出的拍摄图像数据(高分辨率图像数据)”和“观测到的拍摄图像数据(拍摄图像数据)”之间的误差。
接下来，将上述算出的差分图像数据Xm代入评价函数，求取表示高分辨率化的精度(高分辨率图像数据与拍摄图像数据的相异程度)的评价值E(S105)。作为评价函数，可使用周知的各种函数。例如能够使用以下数式(3)所表示的评价函数来求出评价值E。
[式3]
E = | | B m h - y m | | 2 2 + w | | Lh | | 2 2
(数式3)
上述数式(3)是在被称之为MAP法的超分辨处理手法中运用的评价函数。数式(3)由误差项和约束项构成，数式(3)右侧的Bmh-ym(即、差分图像数据Xm)是误差项。数式(3)右侧的包含有w、L以及h等文字的项是约束项。其中，L是表示高分辨率图像数据h的事前概率信息的项列，w是表示约束项的强度的参数。通过将上述的约束项加入评价函数，便能够反映出高分辨率图像数据的事前概率信息，从而能够实现精度更高的超分辨处理。
将差分图像数据Xm代入该数式(3)所获得的值便是评价值E。高分辨率图像数据h越正确地反映出拍摄图像数据ym，误差项的值就越小，评价值E也随之越小。因此，可以说，超分辨处理是寻求评价值E呈最小时的高分辨率图像数据h的处理。
接着，对上述算出的评价值E的值和预定的阈值进行比较(S106)。如果评价值E的值小于上述阈值(在S106中为“是”)，作为超分辨处理的处理结果，把算出该评价值E时所使用的高分辨率图像数据h作为最终的高分辨率图像数据h，并结束超分辨处理。
在此，可根据所要求的高分辨率化的精度，适宜改变上述阈值。例如，若要求更高精度的高分辨率化，将上述阈值设定得较小即可，若并不要求太高的高分辨率化精度但要求迅速的处理速度，将上述阈值设定得较大即可。即，上述阈值是用于决定超分辨处理的精度的值，可根据超分辨处理中所要求的各种条件，适宜对该阈值进行设定。
另一方面，若评价值E的值为上述阈值以上(在S106中为“否”)，便通过反复演算来使评价值E的值变小，从而更新高分辨率图像数据h(S107)。例如，能够使用以下数式(4)来对高分辨率图像数据h进行更新。
[式4]
h k + l = h k - β ∂ E ( h k ) ∂ h
(数式4)
数式(4)是用于最速下降法的数式。根据数式(4)，从高分辨率图像数据hk中减去差分图像数据乘以预定权数β后所得的值，从而生成新的高分辨率图像数据hk+1。通过反复进行该演算，生成评价值呈更小的高分辨率图像数据h。反复演算并不限定是最速下降法，也可使用周知的反复演算手法。
关于通过上述方法更新后的高分辨率图像数据h，其在S103中被再次进行虚拟的低分辨率化，并在S104以及S105中被用以计算评价值E。然后，通过S106再次对评价值和阈值进行比较。即，在超分辨处理中，反复进行S103～S107的处理，直至评价值E的值小于阈值。然后，作为超分辨处理的处理结果，把评价值E的值小于阈值时的高分辨率图像数据h作为最终的高分辨率图像数据h，并结束超分辨处理。如此，能够获得以期望倍率以及期望精度进行高分辨率化后的高分辨率图像数据h。
如此，通过超分辨处理和图像偏移处理，能够根据多个低分辨率图像数据来生成高分辨率图像数据，因此能够生成超过拍摄装置的分辨率的、精细的图像数据。
非专利文献1：杉本茂树、奥富正敏著；《图像的超分辨率化处理》；日本机器人学会志；2005年；Vol.23，No.3，p.305-309。
专利文献1：日本国专利公开公报，特开2006-127241号公报(公开日：2006年5月18日)。
然而，拍摄元件一次可捕捉到的光范围(动态范围)比人眼窄。因此，对具有较广的动态范围的拍摄对象进行拍摄时，拍摄图像数据中有时会发生白化(whiteout)或者黑化(underexposed)。发生白化或者黑化的部分无法成为拍摄对象的色彩或形状的表示数据。
因此，当用于超分辨处理或图像偏移处理的多个低分辨率图像数据(拍摄图像数据)中包含有白化或黑化的成分时，便无法在高分辨率图像数据中正确反映出拍摄对象的形状或色彩，从而发生高分辨率化处理精度下降的问题。
本发明是鉴于上述问题而开发的，其目的在于实现一种即使超分辨处理时所用的多个低分辨率图像数据(拍摄图像数据)中含有白化或者黑化的成分，也能够生成正确反映有拍摄对象的形状或颜色的高精度的高分辨率图像数据的图像处理装置等。
发明内容
为了解决上述问题，本发明的图像处理装置根据与高分辨率化倍率相对应的数量的低分辨率的拍摄图像数据，对拍摄对象进行高分辨率化，并生成高分辨率图像数据，该图像处理装置的特征在于：具备，差分图像生成部，使上述高分辨率图像数据与上述多个拍摄图像数据中的一者进行对位，并将上述高分辨率图像数据变换成与上述拍摄图像数据相同的分辨率，然后乘以点扩散函数，以生成虚拟低分辨率图像数据，并就上述多个拍摄图像数据的各者，进行求取该虚拟低分辨率图像数据与该拍摄图像数据之间的差分的处理，以生成多个差分图像数据，其中，上述点扩散函数根据拍摄该拍摄图像数据时所用的拍摄装置的拍摄模式而获得；图像更新部，根据上述差分图像生成部生成的上述多个差分图像数据，算出表示上述高分辨率图像数据与上述多个拍摄图像数据之间的误差的评价值，并且在该评价值为预定的阈值以上时，对上述高分辨率图像数据进行更新，以使该评价值减小；恰当曝光像素判断部，判断上述多个拍摄图像数据的各像素的亮度值是否属于预定的正常范围内；加权差分图像生成部，就上述多个差分图像数据的各者，对与上述多个拍摄图像数据的一者相对应的一个差分图像数据中的目标像素进行加权处理，以减小上述目标像素给上述评价值带来的作用，其中，上述目标像素位于与上述多个拍摄图像数据的一者中的、被上述恰当曝光像素判断部判断为不属于正常范围内的像素相对应的位置，上述图像更新部使用由上述加权差分图像生成部施以加权后的上述多个差分图像数据，更新上述高分辨率图像数据。
另外，为了解决上述课题，在本发明的图像处理装置的控制方法中，上述图像处理装置根据与高分辨率化倍率相对应的数量的低分辨率的拍摄图像数据，对拍摄对象进行高分辨率化，以生成高分辨率图像数据，本发明的图像处理装置的控制方法的特征在于：包括，差分图像生成步骤，使上述高分辨率图像数据与上述多个拍摄图像数据的一者进行对位，并将上述高分辨率图像数据变换成与上述拍摄图像数据相同的分辨率，然后乘以点扩散函数，以生成虚拟低分辨率图像数据，并就上述多个拍摄图像数据的各者，进行求取该虚拟低分辨率图像数据与该拍摄图像数据之间的差分的处理，以生成多个差分图像数据，其中，上述点扩散函数根据拍摄该拍摄图像数据时所用的拍摄装置的拍摄模式而获得；图像更新步骤，根据上述差分图像生成步骤中生成的上述多个差分图像数据，算出表示上述高分辨率图像数据与上述多个拍摄图像数据之间的误差的评价值，并且在该评价值为预定的阈值以上时，对上述高分辨率图像数据进行更新，以使该评价值减小；恰当曝光像素判断步骤，判断上述多个拍摄图像数据的各像素的亮度值是否属于预定的正常范围内；加权差分图像生成步骤，就上述多个差分图像数据的各者，对与上述多个拍摄图像数据的一者相对应的一个差分图像数据中的目标像素进行加权处理，以减小上述目标像素给上述评价值带来的作用，其中，上述目标像素位于与上述多个拍摄图像数据的一者中的、在上述恰当曝光像素判断步骤中被判断为不属于正常范围内的像素相对应的位置，在上述图像更新步骤中，使用在上述加权差分图像生成步骤中被施以加权后的上述多个差分图像数据，更新上述高分辨率图像数据。
根据上述结构，对于生成1个高分辨率图像数据时所用的多个拍摄图像数据的各者，判断各像素是否属于预定的正常范围内。在此，正常范围是指，能够使得该像素被视为是适当曝光的、亮度值范围(动态范围)。
另外，在上述结构中，对差分图像数据中的目标像素进行加权处理，以减小目标像素给评价值带来的作用，其中，目标像素位于与拍摄图像数据中的、被判断为不属于正常范围内的像素相对应的位置。然后，使用施以了加权后的差分图像数据，对高分辨率图像数据进行更新。
差分图像数据是表示拍摄图像数据和虚拟低分辨率图像数据之间差分的数据，因此，上述目标数据中反映有被判断为不属于正常范围内的、拍摄图像数据中的像素的亮度值。即，由于反映有不恰当曝光的像素的像素值，因此，上述目标像素的亮度值是无法正确表示拍摄对象的形状以及色彩的数据。因此，使用包含此类数据的差分图像数据来进行高分辨率图像数据的更新时，便会生成无法正确反映出拍摄对象的形状以及色彩的低精度的高分辨率图像数据。
对此，在上述结构中，通过对与被判断是不属于正常范围内的像素相对应的位置上的目标像素进行加权，使得该目标像素带给评价值的作用减小。由此，能够减小来自不恰当曝光像素(根据不恰当曝光像素生成)的数据对于高分辨率图像数据的更新的影响。
因此，根据上述结构，即使在拍摄图像数据中包含有发生了白化或者黑化的不恰当曝光像素，也能够生成正确反映出拍摄对象的形状或色彩的高精度的高分辨率图像数据。
另外，为了解决上述课题，本发明的图像处理装置根据与高分辨率化倍率相对应的数量的低分辨率的拍摄图像数据，对拍摄对象进行高分辨率化，以生成高分辨率图像数据，该图像处理装置的特征在于：根据多组拍摄图像组来生成上述高分辨率图像数据，其中，与上述高分辨率化倍率相对应的数量的拍摄图像数据被作为一组，上述拍摄图像组各自中包含的拍摄图像数据是以同一拍摄条件拍摄的拍摄图像数据，不同的拍摄图像组中包含的拍摄图像数据是以相互不同的拍摄条件拍摄的拍摄图像数据，具备，恰当曝光像素判断部，判断上述多组拍摄图像组中包含的各拍摄图像数据的各像素的亮度值是否属于预定的正常范围内；拍摄图像校正部，在上述恰当曝光像素判断部判断了亮度值是否属于预定的正常范围内之后，对各拍摄图像数据的各像素的亮度值进行校正，使得上述多组拍摄图像组中包含的拍摄图像数据都能够被视为是以选自上述不同拍摄条件的一个拍摄条件所拍摄的拍摄图像数据；图像合成部，在选自上述多组拍摄图像组的一组拍摄图像组所包含的各拍摄图像数据的像素中，关于被上述恰当曝光像素判断部判断为不属于上述正常范围内的替换对象像素，若其他拍摄图像组中的与上述替换对象像素呈对应的位置上存在有被上述恰当曝光像素判断部判断为属于上述正常范围内的替换候补像素，便将上述替换对象像素的亮度值替换成上述替换候补像素的亮度值，以生成一组合成拍摄图像数据；差分图像生成部，使上述高分辨率图像数据与上述一组合成拍摄图像数据中包含的一个合成拍摄图像数据进行对位，并将上述高分辨率图像数据变换成与该合成拍摄图像数据相同的分辨率，然后乘以点扩散函数，以生成虚拟低分辨率图像数据，并就上述一组合成拍摄图像数据中包含的各个合成拍摄图像数据，进行通过求取该合成拍摄图像数据与上述生成的虚拟低分辨率图像数据之间的差分来生成差分图像数据的处理，以生成一组差分图像数据，其中，上述点扩散函数根据拍摄上述多个拍摄图像数据时所用的拍摄装置的拍摄模式而获得；图像更新部，根据由上述差分图像生成部生成的上述一组差分图像数据，算出表示上述高分辨率图像数据与上述一组合成拍摄图像数据之间的误差的评价值，并且在该评价值为预定的阈值以上时，对上述高分辨率图像数据进行更新，以使该评价值减小；上述恰当曝光像素判断部还判断上述一组合成拍摄图像数据中包含的各合成拍摄图像数据的像素的亮度值是否属于预定的正常范围内，还具备，加权差分图像生成部，关于上述一组合成拍摄图像数据中的被上述恰当曝光像素判断部判断为不属于正常范围内的、上述合成拍摄图像数据的像素，为了减少差分图像数据中的与该像素呈对应位置的像素给上述评价值带来的作用，对上述差分图像生成部生成的一组差分图像数据的各像素进行加权，上述图像更新部使用由上述加权差分图像生成部施以加权后的上述多个差分图像数据，更新上述高分辨率图像数据。
在上述结构中，对于拍摄条件不同的多个拍摄图像组进行合成，以生成合成拍摄图像数据。另外，关于合成拍摄图像数据，当选自上述多个拍摄图像组的一个拍摄图像组所包含的各拍摄图像数据中含有替换对象像素(不恰当曝光像素)，且该替换对象像素的替换候补像素(其他拍摄图像组中的、与上述替换对象像素呈对应位置的恰当曝光像素)存在时，通过将上述替换对象像素的亮度值替换成上述替换候补像素的亮度值来生成合成拍摄图像数据。
即，上述一组合成拍摄图像数据是指，上述被选择的一个拍摄图像组所包含的各拍摄图像数据中含有的不恰当曝光像素被替换成未被选择的拍摄图像组所包含的各拍摄图像数据中含有的恰当曝光像素后，而生成的拍摄图像组。
另外，在上述结构中，对各拍摄图像数据的各像素的亮度值进行校正，使得上述多组拍摄图像组所包含的所有拍摄图像数据能够都被视为是在以选自不同拍摄条件的1个拍摄条件所拍摄的，因此，能够使用上述替换生成的合成拍摄图像数据来生成高分辨率图像数据。通过进行上述亮度值的校正和上述亮度值的替换，可以使合成拍摄图像数据的动态范围比上述各拍摄图像数据组大。
由此，通过使用上述一组合成拍摄图像，可正确反映出拍摄对象的形状以及颜色的像素的比率与上述各拍摄图像数据组相比而得以增加，因此，通过使用上述一组合成拍摄图像数据，能够生成高精度的高分辨率图像数据。
另外，有可能会发生以下情况，即，选自多个拍摄图像组的一个拍摄图像组所包含的各拍摄图像数据中含有替换对象像素(不恰当曝光像素)，然而却不存在上述替换候补像素。
对此，根据上述结构，对于所生成的一组合成拍摄图像数据的像素，还判断其亮度值是否属于预定的正常范围内。然后根据该判断结果，对差分图像数据进行加权。
因此，根据上述结构，即使发生了：选自多个拍摄图像组的一个拍摄图像组所包含的各拍摄图像数据中含有替换对象像素(不恰当曝光像素)，然而却不存在上述替换候补像素的这一情况，也能够减小不恰当曝光像素的影响，并生成高精度的高分辨率图像数据。
另外，如果图像处理系统具备了上述图像处理装置和上述拍摄装置，就能够通过拍摄装置拍摄多个拍摄图像数据，通过上述图像处理装置使用该拍摄到的多个拍摄图像数据生成高分辨率图像数据，并且，即使在拍摄图像数据中包含有发生了白化或者黑化的不恰当曝光像素，也能够生成正确反映出拍摄对象的形状或色彩的高精度的高分辨率图像数据。
如以上所述，关于拍摄条件不同的多个拍摄图像组，对应拍摄条件来对亮度值进行校正，并进行合成，由此能够生成动态范围比拍摄图像数据广的合成拍摄图像数据。然后，通过使用该合成拍摄图像数据，能够生成动态范围得以扩大的高分辨率图像数据。
但是，在使用拍摄条件不同的多个拍摄图像组时，所拍摄的拍摄图像数据的个数会增加，因此会出现拍摄所需时间增加的问题。
对此，为了解决上述课题，本发明的拍摄控制装置通过控制用以对拍摄对象进行拍摄的拍摄装置，使得能够根据与高分辨率化倍率相对应的数量的低分辨率拍摄图像数据来对上述拍摄对象进行高分辨率化，以使高分辨率图像数据得以生成，该拍摄控制装置的特征在于，具备：拍摄条件控制部，通过对上述各拍摄图像数据的拍摄条件进行控制，使得上述高分辨率图像数据中的与上述拍摄图像数据的一个像素相对应的区域各自包含有来自以不同拍摄条件拍摄的拍摄图像数据的、高分辨率图像数据像素。
另外，为了解决上述课题，在本发明的拍摄控制装置的控制方法中，该拍摄控制装置通过控制用以对拍摄对象进行拍摄的拍摄装置，使得能够根据与高分辨率化倍率相对应的数量的低分辨率拍摄图像数据来对上述拍摄对象进行高分辨率化，从而使高分辨率图像数据得以生成。本发明的拍摄控制装置的控制方法的特征在于包括：拍摄条件控制步骤，通过对上述各拍摄图像数据的拍摄条件进行控制，使得上述高分辨率图像数据中的与上述拍摄图像数据的一个像素相对应的区域各自包含有来自以不同拍摄条件拍摄的拍摄图像数据的、高分辨率图像数据像素。
在上述结构中，对各拍摄图像数据的拍摄条件进行控制，使得高分辨率图像数据中的与拍摄图像数据的一个像素相对应的区域各自包含有来自以不同拍摄条件拍摄的拍摄图像数据的、高分辨率图像数据像素。在此，拍摄条件是指曝光时间(快门速度)、所使用的拍摄装置、照明强度、拍摄灵敏度、所使用的滤光器以及光圈的其中至少一者。
因此，使用通过上述结构拍摄的、与高分辨率化倍率相对应的数量的低分辨率拍摄图像数据来生成高分辨率图像时，所生成的高分辨率图像数据的、与拍摄图像数据的1个像素相对应的区域将各自包含有：来自以互不相同拍摄条件拍摄的拍摄图像数据的、高分辨率图像数据像素。
由于该高分辨率图像数据中反映有以不同拍摄条件拍摄的拍摄图像数据，因此，与使用以同一拍摄条件拍摄的拍摄图像数据来生成高分辨率图像数据时相比，动态范围能够得以增大。
因此，根据上述结构，能够生成动态范围得以扩大的高分辨率图像数据，且不用增加对期望高分辨率倍率的高分辨率图像数据进行生成时的所需拍摄图像数据。
另外，上述图像处理装置以及拍摄控制装置也可以通过计算机来实现。此时，使计算机作为上述图像处理装置以及拍摄控制装置的各部发生动作，由此使计算机来实现上述图像处理装置以及拍摄控制装置的控制程序、记录有该控制程序的计算机可读取记录介质也属于本发明的范畴内。
本发明的其他目的、特征和优越点在以下的记述中会变得十分明了。另外，本发明的益处将通过以下的说明和附图而变得明确。
附图说明
图1是表示本发明的实施方式的超分辨处理部的主要结构的框图。
图2是表示本发明的实施方式的图像处理系统的主要结构的框图。
图3是拍摄元件和高分辨率图像数据的像素之间的位置关系的说明图。
图4是表示本发明的实施方式的拍摄图像数据的合成方法的例图。
图5是表示在上述图像处理系统中执行的超分辨处理例的流程图。
图6是表示上述图像处理系统中使用的拍摄图像组的例图。
图7是表示对上述拍摄图像组中包含的拍摄图像数据进行合成而生成的合成拍摄图像数据的例图。
图8是表示在图像偏移处理中使用上述合成拍摄图像数据而生成的高分辨率图像数据的图。
图9是表示上述图像处理系统中使用的拍摄对象的例图。
图10是表示通过拍摄上述拍摄对象而获得的拍摄图像数据的例图。
图11是表示对上述拍摄图像数据施以标准化后的状态的例图。
图12的(a)～(d)是表示上述图像处理系统中使用的初期高分辨率图像数据的例图。
图13是表示通过上述图像处理系统所生成的虚拟低分辨率图像数据的例图。
图14是说明本发明参考例中的拍摄方法的图。
图15是表示使用通过上述拍摄方法拍摄到的拍摄图像数据进行图像偏移处理而生成的高分辨率图像数据的图。
图16是表示本发明参考例中的与上述不同的拍摄方法的图。
图17是表示根据通过上述拍摄方法拍摄到的拍摄图像数据而生成的高分辨率图像数据的图。
图18是，在本发明的参考例中以3种曝光时间进行拍摄时的拍摄方法的说明图。
图19是表示根据通过上述拍摄方法拍摄到的拍摄图像数据而生成的高分辨率图像数据的图。
图20是说明本发明参考例中的与上述不同的拍摄方法的图。
图21是表示根据通过上述拍摄方法拍摄到的拍摄图像数据而生成的高分辨率图像数据的图。
图22是表示现有的超分辨处理方法例的流程图。
图23是表示超分辨处理中所用的拍摄图像数据的、拍摄方法的例图。
图24是表示超分辨处理中所用的初期高分辨率图像数据的例图。
图25是表示超分辨处理中所用的虚拟低分辨率图像数据的例图。
<标号说明>
1     图像处理系统
2     拍摄装置
3     控制装置
21    拍摄控制部
25    超分辨处理部
31    标准化部
32    图像合成部
33    差分图像生成部(差分图像生成单元)
34    虚拟低分辨率图像生成部
35    区域提取部(恰当曝光像素判断部)
36    加权差分图像生成部(加权差分图像生成单元)
37    图像更新部(图像更新单元)
具体实施方式
(图像处理系统1的结构)
以下，参照图1至图13，说明本发明的一个实施方式。首先，参照图2说明本实施方式的图像处理系统1的结构。图2是表示图像处理系统1的主要结构的框图。如该图所示，图像处理系统1包括有拍摄装置2和控制装置3。
拍摄装置2是根据控制装置3的指示进行拍摄的装置。如图2所示，拍摄装置2具备物镜11、拍摄元件12以及致动器13。即，在拍摄装置2中，拍摄对象的反射光通过物镜11在拍摄装置2内的拍摄元件12上进行光学成像。然后，拍摄元件12对光学成像后的拍摄对象的像进行空间离散处理并进行取样，以转换成图像信号，从而获得作为图像数据的拍摄对象的像。
作为拍摄元件12，例如可使用CCD(charge-coupled device：电荷耦合器件)或CMOS(complementary mental-oxide semiconductor：互补金属氧化物半导体)等。在此，设想拍摄装置2是通过呈矩阵排列的多个拍摄元件12来进行拍摄的区域传感器。
致动器13用于改变拍摄对象与拍摄元件12之间的相对位置。致动器13被固定于拍摄装置2的壳体的内壁上，拍摄元件12被致动器13所支持。即，致动器13使拍摄元件12在垂直于光轴的平面上进行二维移动，从而来改变拍摄对象与拍摄元件12之间的相对位置。其中，拍摄对象和物镜11位于光轴上。
即，由致动器13来改变拍摄对象与拍摄元件12之间的相对位置，从而改变拍摄装置2针对拍摄对象的、拍摄位置(拍摄区域中的拍摄对象上的位置)。在此，致动器13除了使拍摄元件12进行二维移动，还可以使拍摄元件12进行包括旋转动作在内的三维移动。
作为致动器13，例如可使用压电致动器或者步进式马达等。致动器13只要能够改变拍摄对象与拍摄元件12之间的相对位置即可，对此并无特别限定。在此，设想所使用的是压电致动器。
控制装置3对拍摄装置2进行动作控制，还对拍摄装置2所取得的拍摄对象的图像数据(以下称为拍摄图像数据)进行超分辨处理，以生成高分辨率图像数据。通过控制装置3所执行的超分辨处理，即使在拍摄图像数据中发生了白化或者黑化，也能够生成精度较高的高分辨率图像数据。另外，通过控制装置3所执行的超分辨图像处理，可生成具有比现有超分辨处理更大的动态范围的高分辨率图像数据。
如图2所示，控制装置3具备拍摄控制部21、拍摄条件存储部22、低分辨率图像存储部23、高分辨率图像存储部24以及超分辨处理部25，上述的控制装置3的功能通过这些结构得以实现。
如图2所示，拍摄控制部21具备致动控制部26以及拍摄定时控制部27。致动控制部26通过使致动器13移动来控制拍摄装置2的拍摄位置。具体为，致动控制部26对致动器13的移动开始以及停止的定时、移动速度、移动距离等进行控制。
拍摄定时控制部27对拍摄装置2的拍摄开始定时以及停止定时进行控制。具体为，拍摄定时控制部27根据致动控制部26所发送的表示拍摄装置2当前拍摄位置的信息和存储于拍摄条件存储部22中的拍摄条件，向拍摄装置2发送控制信号，从而对各拍摄位置时的拍摄时间即、曝光时间进行控制。
接下来，参照图3说明在拍摄控制部21的控制下所拍摄的拍摄图像数据。图3是拍摄元件12与高分辨率图像数据的像素之间的位置关系的说明图。在该图中，标有字母“a”并且呈矩阵状排列的各个矩形表示了高分辨率图像数据的像素，以粗线显示的矩形A表示了1个的拍摄元件12。即，矩形A所包含的区域代表拍摄图像数据中的1个像素。
如图3的(a)～(d)所示，矩形A的一个边的长度是高分辨率图像数据的像素的2倍。即，图3表示了将拍摄图像数据的分辨率增为2倍时的拍摄位置(拍摄图像数据的像素的位置)与高分辨率图像数据的像素之间的位置关系。
如图3所示，每次使拍摄位置移动相当于高分辨率图像数据的1个像素幅的距离。在各拍摄位置时取得的拍摄对象的亮度值数据作为拍摄位置中包含的高分辨率图像数据的像素中的最左上位置的像素(在图示的例子中，以不同于其他像素的颜色来表示该像素)的亮度值数据，被反映在高分辨率图像数据中。通过如上述那样拍摄，能够取得为了推定出高分辨率图像数据中各像素的亮度值而所需的一组拍摄图像数据。
在图像处理系统1中，根据拍摄定时控制部27的指示，在某拍摄位置进行拍摄之后，拍摄装置2在低分辨率图像存储部23中存储所拍摄到的摄图像数据以及拍摄时的拍摄位置和拍摄条件(例如曝光时间)，且使它们相互具备对应关系。然后，致动控制部26使拍摄位置移动相当于高分辨率图像数据的像素幅的距离，并再次根据拍摄定时控制部27的指示进行拍摄。
通过反复进行上述处理，对拍摄对象全体的图像进行拍摄。然后，通过上述拍摄而生成的拍摄图像数据作为与该拍摄位置以及该拍摄条件相对应的拍摄图像数据28，被存储至低分辨率图像存储部23。在以下的说明中，将生成1个高分辨率图像数据时所需的拍摄图像数据的个数设定为m(m为正数)，并且把与1个高分辨率图像数据相对应的、m个为一组的拍摄图像数据作为拍摄图像组。
在图像处理系统1中，通过使用曝光时间不同的多个拍摄图像组，能够扩大通过以超分辨处理所生成的高分辨率图像数据的动态范围，关于其详细内容，将在以后说明。在此，设拍摄图像组的个数为n(n为正数)。因此，在图像处理系统1中，为了进行超分辨处理，将使用m×n个拍摄图像数据。
使用低分辨率图像存储部23中存储的m×n个拍摄图像数据进行超分辨处理而生成的高分辨率图像数据29被存储于高分辨率图像存储部24。与上述现有的超分辨处理同样，为了进行超分辨处理，需要使用初期高分辨率图像数据，因此，在进行超分辨处理之前，在高分辨率图像存储部24中预先存储初期高分辨率图像数据。
初期高分辨率图像数据只要具备在超分辨处理中要期望生成的分辨率即可，对此并无特别限定。例如，当要将拍摄图像数据的分辨率增大为2倍时，能够使用各像素尺寸为拍摄图像数据的1/2的、全面均匀的黑图像或白图像，或灰色图像来作为初期高分辨率图像数据。
另外，可以对从拍摄图像数据中任意选择出的1个拍摄图像数据进行插值处理，以增加像素数，并把像素数增加后的拍摄图像数据作为初期高分辨率图像数据。如以上所述，当根据拍摄图像数据生成了高分辨率图像数据时，在进行超分辨处理前的阶段，拍摄图像数据便可以被反映至高分辨率图像数据。其结果，能够减少超分辨处理中的反复演算的次数，从而能够在短时间内生成高精度的高分辨率图像数据。
作为上述插值处理方法，例如有以下方法，即：从m个拍摄图像数据中选择任意1个拍摄图像数据，然后把该拍摄图像数据中的、对拍摄对象的某位置进行拍摄而得到的像素的亮度值设定成高分辨率图像数据中的与拍摄对象的上述同一位置相对应的像素的亮度值。
高分辨率图像数据是分辨率比拍摄图像数据高的数据，因此，拍摄图像数据的1个像素与高分辨率图像数据的多个像素相对应。例如，若要将拍摄图像数据的分辨率增大为3倍，便可以使拍摄图像数据的1个像素对应高分辨率图像数据的3×3个像素。
另外，在上述插值处理方法中，由于与拍摄图像数据的1个像素相对应的、高分辨率图像数据中的多个像素的亮度值都为相同的亮度值，因此，处理虽然简单，但是存在拍摄图像数据难以正确反映至高分辨率图像数据的问题。对此，可根据与上述拍摄图像数据的1个像素相邻接的像素的亮度值，来改变与该拍摄图像数据的1个像素相对应的、高分辨率图像数据中多个像素的亮度值。
例如，当要将拍摄图像数据的分辨率增大为3倍时，可以从m个拍摄图像数据中选择任意1个拍摄图像数据，然后针对该拍摄图像数据中的、对拍摄对象的某位置进行拍摄而得到的像素的亮度值，将该亮度值设定成与拍摄对象的上述同一位置相对应的3×3的9个像素中的、位于中心的像素的亮度值。然后，根据拍摄图像数据中的与对拍摄对象的上述同一位置进行拍摄而得到的像素相邻接的像素的亮度值，决定高分辨率图像数据中的、上述3×3的9个像素中位于中心的像素的周围的8个像素的亮度值。
根据上述方法，可获得更正确反映出拍摄图像数据的高分辨率图像数据，因此能够减少超分辨处理中的反复演算的次数，并能够在短时间内生成高精度的高分辨率图像数据。
另外，通过使用多个拍摄图像数据，能够获得进一步正确反映出拍摄图像数据的高分辨率图像数据。例如，通过将一组拍摄图像组的各像素的亮度值映射至高分辨率图像数据，便能够获得更正确反映出拍摄图像数据的高分辨率图像数据。在此，使用一组拍摄图像组来进行映射，从而生成高分辨率图像数据的上述这一处理是所谓的图像偏移处理。
此外，当事先就已得知拍摄对象的形状以及色彩的其中至少一者时，能够使用以下的设计数据来作为初期高分辨率图像数据，该设计数据为：表示了拍摄对象的形状以及颜色的其中至少一者且具有期望的分辨率(像素数)的图像数据。通过使用设计数据，能够将拍摄对象的设计值反映在高分辨率图像数据中，因此可进一步减少超分辨处理中的反复演算的次数，从而能够在短时间内生成高精度的高分辨率图像数据。
超分辨处理部25进行超分辨处理，即，对拍摄图像存储部中存储的拍摄图像数据进行高分辨率化，从而生成高分辨率图像数据。具体为，超分辨处理部25根据拍摄图像存储部中存储的拍摄图像数据和高分辨率图像存储部24中存储的高分辨率图像数据29，生成新的高分辨率图像数据，并将生成的高分辨率图像数据存储到高分辨率图像存储部24中。关于超分辨处理部25执行的超分辨处理的详细内容，将以后说明。
(超分辨处理部25的结构)
接下来，参照图1说明超分辨处理部25的详细结构。图1是表示超分辨处理部25的主要结构的框图。如该图所示，超分辨处理部25包括标准化部31、图像合成部32、差分图像生成部(差分图像生成单元)33、虚拟低分辨率图像生成部34、区域提取部(恰当曝光像素判断部)35、加权差分图像生成部36(加权差分图像生成单元)以及图像更新部(图像更新单元)37。
当拍摄图像组中包含了以不同拍摄条件拍摄而得的拍摄图像数据时，标准化部31对各拍摄图像数据的各像素的亮度值进行校正，使得上述拍摄图像组所包含的所有拍摄图像数据都能够被视为是以上述不同拍摄条件中的某同一条件拍摄而得的拍摄图像数据。由此，包含了以不同拍摄条件拍摄而得的拍摄图像数据的、拍摄图像组便能够被用于进行超分辨处理。
例如，设想有拍摄图像数据A、B、C，并且各拍摄图像数据的曝光时间分别是a、b、c(a＜b＜c)。此时，若选择曝光时间a作为基准，那么拍摄图像数据B以及C的亮度值例如能够以下述数式(5)来表示。
[式5]
B &prime; = B a b
C &prime; = C a c
(数式5)
即，关于曝光时间为b的拍摄图像数据B，其曝光时间是曝光时间为a的拍摄图像数据A的b/a倍，因此推测拍摄图像数据B的亮度值也是拍摄图像数据A的b/a倍。同样，关于曝光时间为c的拍摄图像数据C，其曝光时间是曝光时间为a的拍摄图像数据A的c/a倍，因此推测拍摄图像数据C的亮度值是拍摄图像数据A的c/a倍。
因此，当以曝光时间为a的拍摄图像数据A为基准时，将曝光时间为b的拍摄图像数据的亮度值校正成a/b倍，将曝光时间为c的拍摄图像数据的亮度值校正成a/c倍，由此能够使拍摄图像数据A～C的亮度值都成为同等的值。在此，关于基准的曝光时间，可从拍摄图像数据A～C中任意选择一者来作为基准。
标准化的方法并不限定于上述例子。例如，可求出拍摄图像数据的亮度值的平均值，基于该求出的平均值进行校正，以使得各拍摄图像数据的亮度值相互为同程度，从而达到标准化。另外，除了曝光时间以外，当所使用的拍摄装置、照明强度、拍摄灵敏度、所使用的滤光器以及光圈等这些拍摄条件不同时，也对各拍摄图像数据的各像素的亮度值进行校正(标准化)，使得超分辨处理中所要用的所有拍摄图像数据都能够被视为是以上述不同拍摄条件中的某同一条件拍摄而得的拍摄图像数据。
另外，超分辨处理部25对拍摄条件不同的多组拍摄图像组进行合成，以生成合成拍摄图像数据。该处理的详细内容将在以后说明。在此，为了对拍摄条件不同的拍摄图像数据进行合成，需要通过校正来使各拍摄图像数据的拍摄条件被视为同一。对此，标准化部31对于拍摄条件不同的多个拍摄图像组也进行亮度值的标准化。
图像合成部32对被标准化部31施以了标准化后的、拍摄条件不同的多组拍摄图像组进行合成，以生成合成拍摄图像数据。通过由图像合成部32对拍摄图像数据进行合成，拍摄图像组的数量变为1。因此，合成拍摄图像数据便为m个。
合成拍摄图像数据反映了多个在不同的拍摄条件下拍摄的拍摄图像数据，因此，通过使用合成拍摄图像数据进行超分辨处理，能够扩大所生成的高分辨率图像数据的动态范围。关于合成拍摄图像数据的生成方法，将在以后说明。
差分图像生成部33将拍摄图像数据和虚拟低分辨率图像数据之间的差分作为差分图像数据来算出，并将该算出的差分图像数据发送给加权差分图像生成部36。当拍摄图像组为多个时(n≥2)，差分图像生成部33将图像合成部32生成的合成拍摄图像数据与虚拟低分辨率图像数据之间的差分作为差分图像数据来算出。在此，使用由虚拟低分辨率图像数据生成部34生成的虚拟低分辨率图像数据。
虚拟低分辨率图像数据生成部34读取高分辨率图像存储部24中存储的高分辨率图像数据，并对读取的高分辨率图像数据进行低分辨率化，以使该读取的高分辨率图像数据的分辨率成为与拍摄图像数据相同的分辨率。在此，虚拟低分辨率图像数据生成部34利用PSF(点扩散函数)对高分辨率图像数据进行变换，从而生成多个(m个)分别与拍摄图像数据实现了对位的虚拟低分辨率图像数据。虚拟低分辨率图像数据被发送给差分图像生成部33，以用于生成差分图像数据。
区域提取部35对拍摄图像数据中的不适合于超分辨处理的不恰当曝光区域进行检测。不恰当曝光区域是指，具有处于拍摄装置2的有效动态范围外的亮度值的、区域，也是白化或者黑化的发生可能性较高的区域。如果在超分辨处理中使用包含有此类区域的拍摄图像数据，将导致超分辨处理的精度下降，或导致反复演算所需时间的增加。
具体而言，区域提取部35就m×n个拍摄图像数据中的每个拍摄图像数据，对亮度值超出预定正常范围的第1区域进行提取，并记录所提取区域在的各拍摄图像数据中的对应位置。此外，在拍摄图像数据中，上述被提取的第1区域以外的区域称为第2区域。即，通过由区域提取部35来提取第1区域，各拍摄图像数据被划分成亮度值为正常范围外的第1区域和亮度值为正常范围内的第2区域。
上述正常范围是指，能够被视为是恰当曝光时的亮度上限值和亮度下限值所规定的亮度值范围。关于呈现出大于上限值的亮度值的区域，可以认为该区域发生有白化等晕影(halation)。关于呈现出小于下限值的亮度值的区域，可以认为该区域是处于黑化状态的区域。因此，拥有上述正常范围内的亮度值的第2区域便具有在拍摄装置2的有效动态范围内拍摄而得的亮度值。
例如，若拍摄图像数据的亮度值范围是0～255的256灰阶，可以将10～245的这一亮度值范围视为正常范围即、第2范围。另外，可以将可能会发生白化的0～9的这一亮度值范围和可能会发生有黑化的226～255的这一亮度值范围视为非正常范围即、第1区域。当然，上述的数值范围仅为一列，可根据需要适宜改变用于区域提取的数值范围。
另外，还可以按像素单位进行区域提取，也可以以多个像素所构成的一个块(block)为单位来进行区域提取。例如，以x×y像素的区域(x、y为正数)为1个块，从而将拍摄图像数据划分成多个块，然后根据各块中所含的像素的亮度值的平均值，判断各块是否属于第1区域。
关于区域提取部35存储上述提取的区域的存储方法，只要能够就各拍摄图像数据的所有像素来表示其是属于第1区域还是第2区域即可。但通过以下的存储方式，能够实现后续的处理的高速化。
即，区域提取部35设定存储空间Zmn，该存储空间Zmn具有与m×n个拍摄图像数据相同的大小。然后，向上述存储空间Zmn中的与拍摄图像数据中被判断是第1区域的像素呈对应的、像素位置设定1，向上述存储空间Zmn中的与被判断是第2区域的像素呈对应的像素位置设定255。如此，在存储空间Zmn中，发生了白化或者黑化的像素位置被存储有值1，处于动态范围内的像素的位置被存储有值225。
在此，把区域提取部35如上述那样生成的数据称为提取区域数据Zmn。提取区域数据Zmn在加权差分图像生成部36中被用于差分图像数据的加权，还在图像合成部32中被用于进行图像合成。
换而言之，在图像合成部32中，当要将拍摄位置相同但曝光时间不同的拍摄图像数据统合成1个图像数据时，通过参照提取区域数据Zmn来进行统合，以使得合成拍摄图像数据中所含的第1区域减少。当使用多组拍摄图像组时，在图像合成部32生成了合成拍摄图像数据后，区域提取部35将提取区域数据Zmn更新成表示有合成拍摄图像数据的各像素是属于第1区域还是第2区域的、提取区域数据Zm。
具体为，图像合成部32参照提取区域数据Zmn，以判断拍摄位置相同但曝光时间不同的拍摄图像数据的各像素是属于第1区域还是属于第2区域。关于同一位置上的像素，如果检测出属于第1区域的像素和属于第2区域的像素，图像合成部32采用属于第2区域的像素的亮度值来作为上述位置上的像素在合成拍摄图像数据中的亮度值。另外，图像合成部32把上述位置的像素值作为提取区域数据Zm中的第2区域，从而对提取区域数据Zm进行更新。
关于同一位置的像素，如果检测出多个属于第2区域的像素，可例如采用曝光时间最长的像素的亮度值。另外，关于同一位置的像素，如果只检测出了属于第1区域的像素，便采用其中任意1个像素的亮度值。因此，例如可以把曝光时间最长的拍摄图像组作为基准，将该拍摄图像组所包含的像素中的属于第1区域的像素替换成其他拍摄图像组中同一对应位置上的属于第2区域的像素的亮度值。
由此，m×n个标准化后的拍摄图像数据被统合成具有m个拍摄图像数据的合成拍摄图像数据，并且，根据m×n个标准化后的拍摄图像数据而生成的提取区域数据Zmn被更新为，与该具有m个拍摄图像数据的合成拍摄图像数据相对应的提取区域数据Zm。在此，提取区域数据Zm与提取区域数据Zmn同样，第1区域的像素位置被存储有值1，第2区域的像素位置被存储有值225。
通过该合成处理而生成的合成拍摄图像数据中反映有以多个曝光时间拍摄而得的拍摄图像数据，因此，与拍摄图像数据相比，动态范围得到了扩大。因此，相比于使用拍摄图像数据进行超分辨处理，通过使用上述合成拍摄图像数据进行超分辨处理，能够生成动态范围较广的高分辨率图像数据。
另外，在通过上述合成处理所生成的合成拍摄图像数据中，在替换可能的情况下，将属于第1区域的像素的亮度值替换成其他拍摄图像数据中的同一位置上的属于第2区域的像素的亮度值。由此，相比于使用拍摄图像数据进行超分辨处理，通过使用上述合成拍摄图像数据进行超分辨处理，超分辨处理时的有用数据的比例会增大，因此能够提高超分辨处理的精度，并能够缩短超分辨处理的演算时间。
以下，参照图4说明对拍摄图像数据进行合成的具体例子。图4是表示拍摄图像数据的合成方法的一个例子的图。在图4中，a～c表示采用3种曝光时间(a＜b＜c)在1～m的m种不同拍摄位置上分别进行拍摄，以取得m个为一组的3组拍摄图像组的例子。在此，为简单起见，只对P1～P4的4个区域进行说明。但拍摄图像数据的各像素也被进行同样的处理。
如图4所示，关于P1～P3，它们在拍摄图像数据中的位置都相同。像这样，对包含于不同的拍摄图像组但拍摄位置呈相同的拍摄图像数据，对该拍摄图像数据中位置(对于拍摄对象的同一个位置进行拍摄)呈相同的像素进行合成。然后，在合成拍摄图像数据中，在位置与P1～P3相同的P4上反映出对P1～P3的像素进行合成的结果。即，P1～P3是进行合成的对象区域，像素P4是合成后的区域。
例如，在P1以及P2属于第2区域且P3属于第1区域时，采用属于第2区域的像素之中的曝光时间最长的P2的亮度值来作为P4的亮度值。即，在合成对象的像素之中，只要存在1个属于第2区域的像素，该像素在合成后便属于第2区域。若P1～P3都属于第1区域，可以把P1～P3的其中任意一者的亮度值作为合成后的像素的亮度值。
在加权差分图像生成部36中，基于区域提取部35生成的提取区域数据Zm，对差分图像生成部33算出的差分图像数据进行对应于第1图像区域及第2图像区域的加权，以生成加权差分图像数据。通过由加权差分图像生成部36进行加权，可减小亮度值呈正常范围外的第1区域给超分辨处理带来的影响，因此，即使拍摄图像数据上发生了白化或者黑化，也能够进行高精度的超分辨处理。然后，加权差分图像生成部36将上述生成的加权差分图像数据发送给图像更新部37。
关于加权处理，只要其能够使第1图像区域对超解析处理的作用小于第2图像区域对超解析处理的作用便可，对此并无特别限定。在此，在提取区域数据Zm中，第1区域的像素的位置上被存储有值1，第2区域的像素的位置上被存储有值255。在此，以提取区域数据Zm乘以1/255后所得的值作为权数，并将该权数与上述差分图像数据相乘。
由此，与合成图像数据中的第1区域相对应的、差分图像数据中的区域的像素的亮度值便为1/255。另一方面，与合成图像数据中的第2区域相对应的、差分图像数据中的区域的像素的亮度值不被进行校正。因此，根据上述结构，在差分图像数据中，与合成图像数据中的第1区域相对应的区域的像素所带来作用便能够足够小于与合成图像数据中的第2区域相对应的区域的像素所带来的作用。
在上述说明例中，通过乘算提取区域数据Zm来对差分图像数据进行加权，但也能够不使用提取区域数据Zm或者提取区域数据Zmn来进行加权。例如，加权差分图像生成部36可以参照标准化后拍摄图像数据的各像素位置的亮度值或者拍摄图像数据的各像素位置的亮度值，判断差分图像数据的各像素的亮度值是基于第1区域的像素算出的值还是基于第2区域的像素算出的值，并根据该判断结果来赋予权数。
另外，在以上的说明例中，虽然相关于第1区域和第2区域这2个区域来进行加权，但也可以分为3个以上的区域。例如，在拍摄装置2的有效动态范围中，当入射光量和输出不是线性时，优选分为3以上的区域来赋予与各区域相对应的权数。
举具体例而言，当亮度值处于0～255的256个灰阶内时，可以将亮度值为0～2的这一范围的权数设定成0，将亮度值为3～7的这一范围以及亮度值为248～252的这一范围的权数设定成第2区域的权数的1/4，将亮度值为253～255的这一范围的权数设定成0。像这样，通过进行分级式的加权，使得越是靠近有效动态范围的区域，亮度值对超分辨处理的作用越大，从而能够生成正确反映有拍摄图像数据的高精度的高分辨率图像数据。
图像更新部37使用上述加权差分图像数据，对高分辨率图像数据进行更新。然后，图像更新部37将更新后的高分辨率图像数据存储在高分辨率图像存储部24中。
(超分辨处理的流程)
以下，参照图5说明在图像处理系统1中执行的超分辨处理。图5是表示在图像处理系统1中执行的超分辨处理例的流程图。
首先，控制装置3的拍摄控制部21指示拍摄装置2对拍摄对象进行拍摄。接到指示的拍摄控制部21从拍摄条件存储部22读取拍摄条件，并根据读取到的拍摄条件，对拍摄对象进行拍摄(S1)。具体为，根据拍摄控制部21的指示，每次都稍微错开拍摄位置，并且在m个不同的拍摄位置对同一个拍摄对象进行拍摄。然后，根据拍摄控制部21的指示，对曝光时间进行变更，并且在曝光时间变更后的拍摄条件下，再次在上述在m种不同拍摄位置上进行拍摄。然后将拍摄到的m个×n组的拍摄图像数据存储在低分辨率拍摄图像存储部23中。
如上述那样拍摄所得的m个×n组的拍摄图像数据例如可以是图6所示的图像数据数据。图6是表示拍摄图像组的一个例子的图。在此，与图23所示的现有技术例同样，图6表示的是使用9个拍摄图像数据生成1个高分辨率图像数据的例子，即，所表示的是，m＝9时且对拍摄图像数据进行3倍高分辨率化时的例子。另外，设想各拍摄图像数据如图6所示那样，由纵为5像素横为5像素的25像素构成。并且，如该图所示，设想使用以不同曝光时间拍摄所得的3组拍摄图像组。
即，图中所示的拍摄图像组1是，在拍摄位置1至拍摄位置9的9个拍摄位置上以曝光时间a进行拍摄而得到的拍摄图像数据的组。同样，拍摄图像组2是在拍摄位置1至拍摄位置9的9个拍摄位置上以曝光时间b进行拍摄而得到的拍摄图像数据的组，拍摄图像组3是在拍摄位置1至拍摄位置9的9个拍摄位置上以曝光时间c进行拍摄而得到的拍摄图像数据的组。关于曝光时间，是a＜b＜c。
另外，每次都使拍摄位置错开拍摄图像数据的1个像素幅的1/3的间距。即，拍摄位置2是从拍摄位置1向图中的右方向移动了拍摄图像数据的1个像素幅的1/3后的位置，拍摄位置4是从拍摄位置1向图中的下方向移动了拍摄图像数据的1个像素幅的1/3后的位置。
如以上所述，通过使拍摄位置每次都错开拍摄图像数据的1个像素幅的1/3间距来进行拍摄，拍摄图像数据的每1个像素被进行9次拍摄。如此，能够求取具有摄图像数据的3倍分辨率即、具有9倍像素数的高分辨率图像数据的各像素值。即，若要进行x倍的高分辨率化，可以使拍摄位置每次都错开拍摄图像数据的1个像素幅的1/x间距来进行拍摄。
如图6所示，当采用3种曝光时间进行拍摄，并取得了3组拍摄图像组时，对应拍摄位置1～9分别生成了以3种曝光时间进行拍摄的拍摄图像数据。在此，为方便说明，只对作为拍摄条件的曝光时间进行变更，但此外还可以对曝光时间以外的拍摄条件进行变更。另外，包含于同一拍摄图像组的各拍摄图像数据之间也可采用相互不同的拍摄条件。在此，虽然对使用多组拍摄图像组进行超分辨处理时的例子进行说明，但只要有1组拍摄图像组就能够进行超分辨处理。
返回流程的说明。在m个×n组的拍摄结束后，将m×n个拍摄图像数据ymn存储至低分辨率图像存储部23，然后，区域提取部35以及标准化部31取得上述存储的m×n个的拍摄图像数据ymn，并且从拍摄条件存储部22中读取上述m×n个的拍摄图像数据ymn被拍摄时所用的拍摄条件(S2)。
区域提取部35取得拍摄图像数据ymn之后，根据拍摄图像数据ymn的亮度值分布，从m×n个的拍摄图像数据ymn的各个拍摄图像数据中特定出白化区域或者黑化区域等这些不恰当曝光区域，并将这些区域作为第1区域来提取(S3)。然后，区域提取部35生成：表示m×n个的标准化后拍摄图像数据中的各像素是属于第1区域还是属于第2区域的、提取区域数据Zmn。
例如，当使用图6所示的25像素×9个×3组的拍摄图像数据时，区域提取部35设定出提取区域数据Zmn，该提取区域数据Zmn具有相当于25像素×9个×3组＝675像素的数据区域。然后，就所设定的提取区域数据Zmn的各像素位置，如果与该像素位置相对应的拍摄图像数据的像素属于第1区域，便存储值1，如果与该像素位置相对应的拍摄图像数据的像素属于第2区域，便存储值255。
另一方面，标准化部31根据上述取得的拍摄条件得到各拍摄图像数据ymn的曝光时间，并根据该取得的曝光时间对拍摄图像数据ymn进行标准化(S4)。然后，标准化部31将通过标准化所生成的拍摄图像数据ymn发送给图像合成部32。
例如，在图6所示的例子中，拍摄图像组1～3的拍摄条件(曝光时间)分别不同，因此，通过进行标准化，使得各拍摄图像组能够被视为是以同一曝光时间拍摄的拍摄图像组。具体为，若以曝光时间为a的拍摄图像数据A为基准，标准化部31便将曝光时间为b的拍摄图像数据的亮度值校正为a/b倍，并将曝光时间为c的拍摄图像数据的亮度值校正为a/c倍。即，标准化部31将拍摄图像组2所包含的像素1b～9b的各个亮度值校正为a/b倍，并将拍摄图像组3所包含的像素1c～9c的各个亮度值校正为a/c倍。在此，当1个拍摄图像组内包含有拍摄条件不同的拍摄图像数据时，标准化部31也对这些数据进行标准化。进行标准化的定时并不限于此例。在生成下述差分图像数据之前完成标准化即可。
标准化部31完成了拍摄图像数据ymn的标准化之后，确认拍摄图像组数n是否是1(S5)。若拍摄组数n不是1，即，若进行了多个组的拍摄(在S5中为“是”)，标准化部31便向图像合成部32发送标准化后的拍摄图像数据ymn。另一方面，若拍摄组数n是1(在S5中为“否”)，标准化部31便向差分图像生成部33发送标准化后的拍摄图像数据ymn。
图像合成部32接收到拍摄图像数据ymn之后，就各拍摄图像组，对以相同拍摄位置拍摄的拍摄图像数据进行合成，以生成m个为1组的合成拍摄图像数据ym，并把该生成的m个的合成拍摄图像数据ym发送给差分图像生成部33。另外，图像合成部32指示区域提取部35将与m×n个的拍摄图像数据ymn相对应的提取区域数据Zmn更新成与m个的合成拍摄图像数据ym相对应的提取区域数据Zm。
例如，对图6的拍摄图像组1～3进行合成时，对在拍摄位置1～9分别拍摄所得的拍摄图像数据进行合成，以生成合成拍摄图像数据ym。合成拍摄图像数据ym例如可以是图7所示的拍摄图像数据。图7是表示合成拍摄图像数据ym的例子的图。
在图7中，关于以曝光时间a拍摄的拍摄图像数据，设想构成该拍摄图像数据的所有25像素都属于第2区域(恰当曝光)。另外，关于以较长曝光时间b拍摄的拍摄图像数据，设想构成该拍摄图像数据的像素中的位于中央的1个像素属0于第1区域(曝光过度)，其他的24个像素属于第1区域。关于以更长曝光时间c拍摄的拍摄图像数据，设想构成该拍摄图像数据的像素中的位于最外侧的16个像素属于第2区域，位于中央部的9个像素属于第1区域(曝光过度)。
在该情况时，由于位于中央的1个像素仅在以曝光时间a拍摄的拍摄图像数据中属于第2区域，因此，作为该像素的亮度值，可以使用以曝光时间a拍摄的拍摄图像数据的亮度值a1～a9。另外，围着位于中央的1个像素的8个像素在以曝光时间a拍摄的拍摄图像数据中以及以曝光时间b拍摄的拍摄图像数据中属于第2区域，因此，可以使用以较长曝光时间b拍摄的拍摄图像数据的亮度值b1～b9。位于最外侧的16个像素在所有拍摄图像数据中都属于第2区域，因此，可以使用以更长曝光时间c拍摄的拍摄图像数据的亮度值c1～c9。如此，生成如图7所示的9个合成拍摄图像数据。
如以上所述，关于以多个拍摄条件(例如曝光时间)拍摄获得的拍摄图像数据，从其包含的各像素的亮度值数据中，对有效的数据即、第2区域的亮度值数据进行组合，从而够构成合成拍摄图像数据。因此，相比于拍摄图像数据，合成拍摄图像数据具有更大的动态范围。
在此，虽然图像处理系统1使用合成拍摄图像数据来进行超分辨处理，但也可以使用合成拍摄图像数据来进行图像偏移处理。使用合成拍摄图像数据来进行图像偏移处理时，与使用拍摄图像数据进行图像偏移处理时相比，能够生成动态范围较广的高分辨率图像数据。另外，图像偏移处理是通过将合成拍摄图像数据的各像素的亮度值映射至高分辨率图像数据的各像素来进行的。
在此，对映射的方法进行说明。如以上所述，映射是通过将合成拍摄图像数据的各像素的亮度值应用至高分辨率图像数据的各像素来进行的。如图7所示，若使用9个5×5像素的合成拍摄图像数据，便是进行3倍的高分辨率化，因此高分辨率图像数据是具有纵5×3像素×横5×3像素的图像数据。因此，在图示的例子中，将合成图像数据的各像素的亮度值应用到纵15×横15的各像素的亮度值，从而进行映射。
具体为，使用图7最左上的合成拍摄图像数据中的最左上位置的像素的亮度值(c1)来作为高分辨率图像数据的最左上的像素的亮度值。同样，使用图7最上列的从左起第2个合成拍摄图像数据中的最左上位置的像素的亮度值(c2)来作为高分辨率图像数据的最上列的从左起第2个像素的亮度值。
通过进行上述处理，将9个合成拍摄图像数据的所有像素都映射至高分辨率图像数据，以获得图8所示的高分辨率图像数据。图8是将图7所示的合成拍摄图像数据运用于图像偏移处理而生成的高分辨率图像数据的图。在图7和图8中，各像素的大小被表示为同等程度。但实际上高分辨率图像数据的各像素的尺寸相当于合成拍摄图像数据的各像素的1/3。
在此，在图7的例子中，设想所有合成拍摄图像数据的所有像素都属于第2区域，但在以同一拍摄位置拍摄的所有拍摄图像数据中有可能也包含属于第1区域的像素。若包含有此类像素，便难以进行高精度的超分辨处理。对此，在超分辨处理部25中，在进行合成之后，将提取区域数据Zmn更新成与m个的合成拍摄图像数据ym相对应的提取区域数据Zm，并使用该提取区域数据Zm进行加权，以减少第1区域的像素对超分辨处理的作用。
在图像合成部32生成了合成拍摄图像数据ym后，或者当拍摄图像组数为1(在S5中为“否”)时，虚拟低分辨率图像生成部34取得高分辨率图像存储部24中存储的初期高分辨率图像数据h(S7)。
然后，虚拟低分辨率图像生成部34使上述取得的初期高分辨率图像数据h与m个拍摄图像数据中的各个拍摄图像数据实现对位，并且在考虑光学劣化要因和缩减采样等的要因的同时对初期高分辨率图像数据h进行低分辨率化，以生成虚拟低分辨率图像数据(S8)。
具体为，虚拟低分辨率图像生成部34把Bm乘以初期高分辨率图像数据h，以生成虚拟低分辨率图像数据Bmh。初期高分辨率图像数据h只有1个，而虚拟低分辨率图像数据Bmh由于与各个拍摄图像数据呈一一对位，因此虚拟低分辨率图像数据Bmh的个数是m个(参照图25)。然后，虚拟低分辨率图像生成部34将上述生成的虚拟低分辨率图像数据Bmh发送给差分图像生成部33。
差分图像生成部33接收到虚拟低分辨率图像数据Bmh之后，从该接收到的虚拟低分辨率图像数据Bmh中减去由图像合成部32生成的合成拍摄图像数据ym，从而算出m个差分图像数据Xm(S9)。然后，差分图像生成部33将算出的m个差分图像数据Xm发送给加权差分图像生成部36。另外，当只有1组拍摄图像数据组时，差分图像生成部33从虚拟低分辨率图像数据Bmh中减去拍摄图像数据ym，从而算出m个差分图像数据Xm。
加权差分图像生成部36收到差分图像数据Xm之后，根据由区域提取部35生成的提取区域数据Zm来进行加权(S10)。具体为，差分图像生成部33将αZm乘以差分图像数据Xm，以校正差分图像数据Xm的各像素的亮度值，由此生成加权差分图像数据XmαZm，并将该生成的加权差分图像数据XmαZm发送给图像更新部37。其中，α是要与提取区域数据Zm相乘的权数，α的值可根据需要适当设定。
例如，在此，由于提取区域数据Zm中的属于第1区域的像素的亮度值已被设想为1，属于第2区域的像素的亮度值已被设想为255，因此将α的值设定为1/255即可。由此，加权差分图像数据XmαZm中属于第1区域的像素的亮度值全被校正为1以下的值，而属于第2区域的像素的亮度值与差分图像数据Xm相同。因此，能够使属于第1区域的像素的亮度值的作用小于属于第2区域的像素，从而能够提高超分辨处理的精度。
图像更新部37收到加权差分图像数据XmαZm后，将该收到的加权差分图像数据XmαZm代入评价函数，以算出评价值E。在此，关于评价函数，例如可运用与背景技术中叙述的现有超分辨处理相同的数式(3)。然后，图像更新部37对上述算出的评价值E和预先设定的阈值进行比较(S12)。在此，与上述现有的超分辨处理同样，可根据所要的高分辨率化的精度来适当改变上述阈值。
若评价值E的值小于上述阈值(在S12中为“是”)，图像更新部37便结束超分辨处理。此时存储在高分辨率图像存储部24中的高分辨率图像数据h便是作为超分辨处理结果的高分辨率图像数据。
反之，若评价值E的值为上述阈值以上(在S12中为“否”)，图像更新部37便对计算该评价值E时所用的高分辨率图像数据h进行更新，以减小评价值E的值(S13)。例如，图像更新部37能够与上述现有的超分辨处理同样地运用上述数式(4)来更新高分辨率图像数据h。
然后，图像更新部37将更新的高分辨率图像数据h存储在高分辨率图像存储部24。在高分辨率图像存储部24中存储了新的高分辨率图像数据h之后，低分辨率图像生成部34对新的高分辨率图像数据h进行虚拟的低分辨率化，以生成虚拟低分辨率化图像数据Bmh(S8)。
像这样，超分辨处理部25反复进行S8～S13的处理，直至评价值E的值小于上述阈值。由此，能够获得被施以了期望倍率的高分辨率化的、具有期望精度的高分辨率图像数据h。
在此，如以上所述，当从高分辨率图像数据h生成虚拟低分辨率化图像数据Bmh时，进行PSF的卷积处理。通过该PSF的卷积处理，关于通过加权而被校正成充分小的亮度值的像素，利用该像素周围的像素的亮度值的影响，对该像素的亮度值进行插值更新。因此，对于发生了白化或者黑化的第1区域的像素的像素值，也可通过反复进行S8～S13的处理来使第1区域的像素的像素值接近可反映出拍摄对象的形状以及色彩的值。
另外，在进行反复演算时，对差分图像数据(上述例子中的加权差分图像数据)也进行PSF的卷积处理。即，在此设想使用数式(4)来更新高分辨率图像数据。在数式(4)中，由于要取数式(3)中的评价函数E的偏微分，因此可通过下述数式(6)来表示偏微分后的数式(4)。
[式6]
&PartialD; E ( h k ) &PartialD; h = 2 B m T ( B m h - ym ) + 2 w L T Lh
(数式6)
如以上所述，在数式(6)中，差分图像数据(Bmh-ym)与Bm相乘，因此是通过反复演算对差分图像数据(Bmh-ym)进行PSF的卷积处理。由此，在更新高分辨率图像数据时，利用差分图像数据的各像素的周围的像素的影响来对该差分图像数据的各像素进行插值更新。
即，如上述那样进行加权时，对于高分辨率图像数据的像素中的反映了拍摄图像数据中不恰当曝光像素的像素，利用该像素周围的正常曝光像素的亮度值来进行插值更新。因此，根据上述结构，与不进行加权时相比，能够生成正确反映有拍摄对象的形状以及色彩的高分辨率图像数据。
上述流程表示了本发明的超分辨处理的一个例子，本发明并不限定于此例。例如，在只使用1组拍摄图像组时，可省略图5的流程中的S5以及S6的处理。另外，若超分辨处理中所用的所有拍摄图像数据是以同一拍摄条件拍摄的拍摄图像数据，可省略S4的标准化处理。
(具体例)
以下，举具体例来说明本发明的超分辨处理方法。在此，设想是对具有图9所示的形状以及色彩的拍摄对象进行拍摄。图9是表示拍摄对象的一个例子的图。
如图9所示，在此设想拍摄对象是由6个按照2行3列方式呈等间距排列的、具有不同灰阶的圆形区域构成的图像。另外，如该图所示，6个圆形区域中，越靠近该图的右侧位置，圆形区域的灰阶越低，排列在上侧的3个圆形区域的灰阶低于排列在下侧的3个圆形区域的灰阶。当然，拍摄对象并不限于图示的例子，其可以是任何形状以及色彩。
通过在1～m的m个不同的拍摄位置上拍摄该拍摄对象，能够取得m个为1组的拍摄图像组。然后，改变拍摄条件，再次在1～m的m个不同的拍摄位置上拍摄该拍摄对象，由此能够取得n组拍摄图像组。为简单起见，在所说明的例子中，仅对作为拍摄条件的曝光时间进行变更。
m个×n组的拍摄图像数据例如可以是图10所示的拍摄图像数据。图10是表示拍摄图像数据的一个例子的图。如该图所示，同一个拍摄图像组中所包含的m个拍摄图像数据是在不同的拍摄位置上进行拍摄而获得的，因此，拍摄图像数据中所显现的拍摄对象的像也互不相同。另外，如图10所示，由于拍摄装置2的分辨率不够，因此在拍摄图像数据中，拍摄对象的像较模糊。在图10中，为了表现出各拍摄图像数据的拍摄位置之间存有错位，夸张显示了错位，但是实际的拍摄位置的错位最大相当于拍摄像素数据的1个像素幅。
另外，由于拍摄的是n个组，因此如图中所示，对应每一个拍摄位置可分别拍摄获得n个拍摄图像数据。在同一个拍摄位置上拍摄获得的n个拍摄图像数据的曝光时间各不相同，因此，拍摄图像数据的亮度值也随曝光时间而不同。即，越是在曝光时间长的拍摄条件下拍摄的拍摄图像数据，其亮度值就越大。
在此，图10中的D1以及D3表示的是发生有白化的区域，D2以及D4表示的是发生有黑化的区域。发生这些的原因在于曝光时间等条件所致的曝光过度或者曝光不足。所显示的是与图9所示的拍摄对象不同的是，区域D1～D4以不同颜色来表示。也就是说，由于区域D1～D4未正确反映出拍摄对象的形状以及色彩，因此如果使用这些区域的亮度值数据进行超分辨处理，将导致超分辨处理的精度下降。
在本发明的超分辨处理中，将对拍摄图像数据进行标准化。通过进行标准化能够获得例如图11所示的图像数据。图11是表示标准化后的拍摄图像数据的一个例子的图。如图11所示，通过进行标准化，各组的拍摄图像数据的亮度值成为同程度。通过进行上述的标准化，能够使得超分辨处理中要使用的所有拍摄图像数据都被视为是在同一拍摄条件下拍摄的拍摄图像数据，从而能够使用以各种拍摄条件拍摄获得的拍摄图像数据来进行超分辨处理。
进行标准化之后，对于同一拍摄位置的拍摄图像数据进行图像合成，以生成合成拍摄图像数据。在本例中，可对拍摄图像数据进行标准化，也可以在进行拍摄图像数据的合成之后，对合成拍摄图像数据进行标准化。
接下来，说明在本例中使用的初期高分辨率图像数据。如以上所述，作为初期高分辨率图像数据，可使用各种各样的图像数据，例如可使用如图12的(a)～(d)所示的图像数据。图12的(a)～(d)是表示初期高分辨率图像数据的一个例子的图。
即，如图12的(a)所示，作为初期高分辨率图像数据，可使用图像数据全体呈白色的白色图像。同样，作为初期高分辨率图像数据也可使用图像数据全体呈黑色的黑色图像。另外，如图12的(b)所示，作为初期高分辨率图像数据还可使用图像数据中的处于全面白色和全面黑色的中间灰阶的灰色图像。
另外，如图12(c)所示，作为初期高分辨率图像数据，还可使用对从拍摄图像数据中选择的任意的图像数据进行插值处理而获得的图像数据。在此，由于已得知拍摄对象具有图9所示的形状以及色彩，因此，作为初期高分辨率图像数据，能够使用如图12的(d)所示的表示了拍摄对象的形状以及色彩的设计数据。
在超分辨处理中，对高分辨率图像数据依次进行更新，以缩小高分辨率图像数据和拍摄图像数据之间的差距，因此，高分辨率图像数据和拍摄图像数据之间的差距越小，超分辨处理的所需时间就越短。因此，在图12的(a)～(d)所示的初期高分辨率图像数据中，相比于使用该图的(a)或者(b)所示的图像数据，使用该图的(c)或者(d)所示的图像数据时，能够抑制超分辨处理的处理时间以及演算量。
当使用图12的(c)或者图12的(d)所示的图像数据来作为初期高分辨率图像数据时，虚拟低分辨率图像数据便是例如图13所示的数据。图13是表示虚拟低分辨率图像数据的一个例子的图。如图13所示，虚拟低分辨率图像数据由拍摄位置分别与m个拍摄图像数据相同的m个图像数据构成，并且各图像数据的分辨率(像素大小)与拍摄图像数据相同(参照图25)。
当对如图12(a)或者图12(b)所示的初期高分辨率图像数据进行虚拟低分辨率化时，并不生成如图13所示的图像数据，而是生成灰色图像，或是生成分辨率(像素数)与拍摄图像数据呈相等的全面均匀的黑色图像或白色图像等。
根据上述生成的虚拟低分辨率图像数据和合成拍摄图像数据之间的差分，生成差分图像数据，并对差分图像数据进行加权，以生成加权差分图像数据。然后，使用该加权差分图像数据来反复进行演算，从而对初期高分辨率图像数据依次进行更新，由此生成具有期望精度的高分辨率图像数据。
(参考例)
在上述图像处理系统1的结构中，通过对曝光时间不同的多个拍摄图像数据进行标准化并进行合成来进行超分辨处理，因此能够生成动态范围得以扩大的高分辨率图像数据。
另外，在图像处理系统1的结构中，通过进行加权，使白化或者黑化发生可能性较高的第1区域的作用小于亮度值处于有效动态范围内的第2区域的作用，因此，能够以较少的演算量在短时间内生成高精度的高分辨率图像数据。
但是，在图像处理系统1中，由于使用曝光时间不同的多个拍摄图像组，因此存在拍摄所需时间长的问题。即，若在超分辨处理时要将分辨率变更为N倍，便需要进行N2次的拍摄，因此，当以用多个曝光时间进行拍摄时，拍摄时间将会显著增加。
例如，当要将分辨率变更为3倍时，便需要进行9次拍摄。此时，如果将曝光时间设定为100毫秒，那么拍摄时间便需要900毫秒。然而，若将曝光时间设定为100毫秒、200毫秒、300毫秒这3个时间，那么拍摄时间最快也需要5400毫秒。
通过图像处理来扩大动态范围是以往使用的方法。例如在《多重光圈彩色图像解析》(浅田尚纪、松山隆司、望月孝俊；信息处理学会论文志；1991年10月；Vol.32；No.10；p.1338～1348)和日本国专利申请公开公报“特开平02-174470号公报(1990年7月5日公开)”以及日本国专利申请公开公报“特开2007-49228号公报(2007年2月22日公开)”等中，揭示了通过使用曝光时间不同的多个图像进行合成处理来扩大动态范围的方法。
根据上述文献中所记载的方法，采用短时间曝光以及长时间曝光这2种曝光时间来对作为动态范围扩大对象的拍摄对象进行拍摄。然后，对以2种曝光时间拍摄获得的各图像，检测其中的白化像素、黑化像素等不恰当曝光区域，并对这些不恰当曝光区域，使用短时间曝光图像或者长时间曝光图像来进行替换。
具体为，在特开平02-174470号公报中揭示了交替输出长时间曝光图像和短时间曝光图像的技术。即，输出短时间曝光图像时，将亮度值在规定值以下的像素判断为黑化，并将该像素替换成存储部中存储的长时间曝光像素信号。同样，输出长时间曝光图像时，将亮度值在规定值以上的像素判断为白化，并将该像素替换成存储部中存储的短时间曝光像素信号。
根据上述现有的方法，成为替换对象的像素必须是拍摄位置呈相同的像素。即，根据上述现有的方法，需要使用在像素级别中拍摄位置呈一致的1组图像。其理由在于，如果使用拍摄位置错位的图像数据来进行上述的现有方法，在替换后的像素部分和未替换的像素部分之间便会出现不连续的问题。
因此，上述现有的动态范围扩大方法并未被考虑到应用于移动拍摄位置来拍摄的超分辨处理中。另外，如上所述，超分辨处理中，通过使用由多组拍摄图像组合成而成的合成拍摄图像数据，能够扩大高分辨率图像数据的动态范围，但是存在拍摄时间长的难题。
在本参考例中，将参照图14～图21来说明不增加拍摄所需时间也能够生成动态范围得以扩大的高分辨率图像数据的例子。详细为，在本参考例中，对拍摄对象进行拍摄时，对应拍摄位置来变更曝光时间并进行拍摄，从而取得随每一拍摄位置用不同的曝光时间来拍摄的拍摄图像数据。
通过使用上述拍摄获得的拍摄图像数据来进行超分辨处理或者图像偏移处理，能够生成动态范围得以扩大的高分辨率图像数据。即，本参考例中记述的发明的主要特色在于其拍摄方法。
图14是说明本参考例的拍摄方法的图。该图表示了对由纵5×横5的25个像素构成的拍摄图像数据进行3倍高分辨率化时的例子。进行3倍的高分辨率化时，与图6所示的例子同样，需要9个拍摄图像数据。另外，在该情况时，与图6的例子同样，该9个拍摄图像数据的拍摄位置的错位距离相当于拍摄图像数据的1个像素幅的1/3。
在此，通过与图6的例子进行对比可看出，在图14的拍摄图像数据中，该图的最上段以及最下段的曝光时间为a，而第2段的曝光时间为b。即，根据本参考例的拍摄方法，在用于生成1个高分辨率图像数据的拍摄图像组中，包含有以多个不同曝光时间拍摄的拍摄图像数据。在此，为简单起见，以仅对作为拍摄条件的曝光时间进行变更时为例进行说明。
通过图2所示的图像处理系统能够取得此类拍摄图像组。即，致动控制部26通过驱动致动器13，使拍摄元件12移动到预定的拍摄位置。然后，在该拍摄位置上，拍摄定时控制部27以曝光时间a对拍摄对象进行拍摄。由此，拍摄出图14中最上段的最左侧的拍摄图像数据。
拍摄结束后，致动控制部26通过驱动致动器13来移动拍摄元件12，使得拍摄区域向图14中的右方向移动相当于拍摄图像数据的1个像素幅的1/3的距离。移动结束后，与上述情况同样，拍摄定时控制部27以曝光时间a对拍摄对象进行拍摄。由此，使拍摄位置移动相当于1个像素幅的1/3的距离来以曝光时间a进行拍摄，从而拍摄出图14的最上段的中央的拍摄图像数据。同样，使拍摄位置再次移动相当于图像数据的1个像素幅的1/3的距离，并以曝光时间a进行拍摄，从而拍摄出图14的最上段的最右侧的拍摄图像数据。
拍摄出图14的最上段的3个拍摄图像数据后，致动控制部26驱动致动器13来移动拍摄元件12，使得拍摄区域向图14中的下方向移动相当于拍摄图像数据的1个像素幅的1/3的距离。移动结束后，拍摄定时控制部27以曝光时间b对拍摄对象进行拍摄。由此，拍摄出图14的第2段的最右侧的拍摄图像数据。即，图14的最上段的拍摄图像数据是以曝光时间a被拍摄的，而拍摄图14的第2段的拍摄图像数据时，将曝光时间变为了曝光时间b。
以后，同样地使拍摄位置每次都移动相当于1个像素幅的1/3的距离，并以曝光时间b进行拍摄，从而拍摄出图14的第2段的中央以及最左侧的拍摄图像数据。然后，致动控制部26驱动致动器13来移动拍摄元件12，使得拍摄区域向图14中的下方向移动相当于拍摄图像数据的1个像素幅的1/3的距离。在此，拍摄定时控制部27再次以曝光时间a进行拍摄。然后，与上述同样，使拍摄位置向图14的右方向移动相当于拍摄图像数据的1个像素幅的1/3的距离，并以曝光时间b进行拍摄，从而获得图14的最下段的3个拍摄图像数据。
如以上所述，根据本发明的拍摄方法，在用于生成高分辨率图像数据的1组拍摄图像组中，包含多个以不同曝光时间(拍摄条件)拍摄的拍摄图像数据。例如，在图14的例子中，在拍摄图像组所包含的9个拍摄图像数据中，6个是以曝光时间a进行拍摄的，3个是以曝光时间b进行拍摄的。
相比于使用仅以1种曝光时间拍摄的拍摄图像数据，通过使用多个以不同曝光时间(拍摄条件)拍摄的拍摄图像数据，能够生成动态范围得以扩大的高分辨率图像数据。在此，高分辨率图像数据可以是通过图像偏移处理所生成的高分辨率图像数据，也可以是通过重建式超分辨处理所生成的高分辨率图像数据。
接下来，首先说明通过图像偏移处理来生成动态范围得以扩大的高分辨率图像数据的例子。如以上所述，通过将拍摄图像数据的各像素的亮度值映射到高分辨率图像数据的各像素位置来进行图像偏移处理。
例如，使用图14的9个拍摄图像数据进行图像偏移处理时，可生成图15所示的高分辨率图像数据。图15是表示使用图14的拍摄图像数据进行图像偏移处理而生成的高分辨率图像数据的图。
如图15所示，使用图14的9个拍摄图像数据进行图像偏移处理时，以曝光时间a拍摄的拍摄图像数据的亮度值被映射至高分辨率图像数据的最上行的各像素。然后，以曝光时间b拍摄的拍摄图像数据的亮度值被映射至上起第2行，以曝光时间a拍摄的拍摄图像数据的亮度值被映射至上起第3行以及第4行。以下同样，以曝光时间b、曝光时间a、曝光时间a、曝光时间b的顺序，拍摄图像数据的亮度值被映射至高分辨率图像数据的各行。
在此，判断上述生成的高分辨率图像数据的各像素的亮度值是否处于正常范围内。即，在此判断高分辨率图像数据的各像素的亮度值是属于正常曝光的第2区域还是属于不恰当曝光的第1区域。关于判断方法，已在上述的实施方式中进行了说明，所以在此省略重复。
接下来，对于在上述判断处理中被判断为不恰当曝光像素的像素进行插值处理。在插值处理中，从与上述不恰当曝光像素相邻接的像素(例如，邻接于该不恰当曝光像素的上下左右4方向的像素，或者上下左右以及斜方向上的计8个的像素)之中，以上述判断处理中被判断是正常曝光像素的像素的亮度值的平均值或者中间值来替换掉上述不恰当曝光像素的亮度值。
通过进行上述插值处理，例如，即使以曝光时间b或者曝光时间a中的任何1者所拍摄的拍摄图像数据中发生了白化或者黑化，也能够通过正常曝光像素进行插值更新。即，高分辨率图像数据的动态范围通过插值处理而得以扩大。
在被施以了上述插值处理后的高分辨率图像数据的像素中，包含来自以不同拍摄条件(例如，曝光时间)拍摄的拍摄图像数据的像素，因此，要对各像素进行标准化。关于标准化的方法，在上述的实施方式中已有说明。如此，可生成动态范围得以扩大的高分辨率图像数据。
接下来，说明以超分辨处理来生成动态范围得以扩大的高分辨率图像数据的例子。通过上述实施方式中的超分辨处理部25，能够实行本参考例的超分辨处理。即，通过由图1所示的超分辨处理部25进行图5所示流程中的处理，来执行本参考例的超分辨处理。
使用以上述拍摄方法取得的1组拍摄图像组来作为图5的流程中的拍摄图像数据，并进行超分辨处理，从而能够生成动态范围得以扩大的高分辨率图像数据，而不必使用多组的拍摄图像组。在本参考例中，由于只使用1组拍摄图像组，因此不进行图5的流程中的S5以及S6的处理。
在图5的流程中，使在S13中被更新了的高分辨率图像数据与拍摄图像数据进行对位，并对该高分辨率图像数据进行低分辨率化，以生成虚拟低分辨率图像数据(S8)。此时，通过PSF对高分辨率图像数据的各像素进行缩减采样。例如，对图15的高分辨率图像数据进行虚拟低分辨率化时，纵3×横3像素的区域中包含的9个像素的像素值便对应成为虚拟低分辨率图像数据的1个像素的亮度值。
其结果，在进行低分辨率化时，高分辨率图像数据的各像素根据该像素周围的像素的亮度值而被施以插值更新。由此，当高分辨率图像数据的像素中含有因加权而导致作用下降的像素时，且在该像素的周围配置有正常曝光的像素时，该像素根据其周围的像素的像素值而被更新。
因此，关于高分辨率图像数据中的与虚拟低分辨率图像数据的1个像素相对应的区域中包含的多个像素，优选该多个像素均等地包含有来自以各拍摄条件拍摄的拍摄图像数据(根据以各拍摄条件拍摄的拍摄图像数据而生成)的像素。例如，在图15的例子中，在高分辨率图像数据的纵3×横3像素的区域(与虚拟低分辨率图像数据的1个像素相对应的区域)的9个像素中，6个是来自以曝光时间a拍摄的拍摄图像数据的像素，3个是来自以曝光时间b拍摄的拍摄图像数据的像素。
由此，例如即使以曝光时间b拍摄的拍摄图像数据中发生了白化，如果以曝光时间a拍摄的拍摄图像数据是正常曝光的图像数据，那么在生成虚拟低分辨率图像数据时，能够根据来自以曝光时间a拍摄的拍摄图像数据的、像素的像素值，对来自以曝光时间b拍摄的拍摄图像数据的、像素的像素值进行插值更新。如此，可生成动态范围得以扩大的高分辨率图像数据。
采用图14的拍摄方法进行拍摄时，如图15所示，来自以曝光时间a拍摄的拍摄图像数据的像素和、来自以曝光时间b拍摄的拍摄图像数据的像素呈条纹(stripe)状排列。在该情况时，如果以曝光时间a或者b的其中一者所拍摄的拍摄图像数据中发生了广范围的曝光不良，那么便可能难以进行充分的插值更新。这是由于，如图15所示，高分辨率图像数据的各像素在左右方向上相邻接的像素的曝光时间为相同的缘故。
另外，以图14的拍摄方法进行拍摄时，如图15所示，来自以曝光时间a拍摄的拍摄图像数据的像素个数比来自以曝光时间b拍摄的拍摄图像数据的像素个数多。因此，若以曝光时间a拍摄的拍摄图像数据中发生了广范围曝光不良，便可能难以进行充分的插值更新。
对此，通过使用图16所示的拍摄图像数据，能够解决上述问题。图16是用以说明与本参考例的上述拍摄方法不同的拍摄方法的图。图16所示的拍摄图像数据的拍摄方法大体上与图14的例子大致相同，不同点在于曝光时间的变更定时(timing)。
即，在图16的例子中，在拍摄时，使拍摄位置呈上下相邻或左右相邻的各个拍摄图像数据的曝光时间(拍摄条件)互不相同。通过将上述拍摄到的拍摄图像数据的各像素值映射到高分辨率图像数据的像素位置，便可生成图17所示的高分辨率图像数据。
在重建式超分辨处理中，虽然不进行映射处理，但是拍摄图像数据的各像素会被反映在与进行映射处理时相同的位置上。因此，使用图16的拍摄图像组进行超分辨处理时，可生成如图17所示的高分辨率图像数据。
图17表示了根据图16的拍摄图像数据所生成的高分辨率图像数据。如图所示，在图17的例子中，来自以曝光时间a拍摄的拍摄图像数据的像素以及、来自以曝光时间b拍摄的拍摄图像数据的像素在该图的左右方向以及上下方向上交互排列。
在图15的例子中，在上下方向以及斜方向上，来自以不同曝光时间拍摄的拍摄图像数据的各像素是呈交互排列的，但在左右方向上，排列的只是来自以相同曝光时间拍摄的拍摄图像数据的像素。因此，可能无法在左右相邻接的像素之间进行充分的插值处理。
与此相比，在图17的例子中，在上下、左右、斜方向的任何一方向上，都交互排列有来自以不同曝光时间拍摄的拍摄图像数据的各像素。根据这种排列方法，可在相邻接的像素之间进行充分的插值处理，其结果，可生成比图15的例子更为高精度的高分辨率图像数据。
另外，在图15的例子中，在高分辨率图像数据的纵3×横3像素区域(与虚拟低分辨率图像数据的1个像素相对应的区域)所包含的9个像素中，6个是来自以曝光时间a拍摄的拍摄图像数据的像素，3个是来自以曝光时间b拍摄的拍摄图像数据的像素。即，在图15的例子中，来自以曝光时间a拍摄的拍摄图像数据的像素的比例较高，因此，来自以曝光时间a拍摄的拍摄图像数据的像素的影响便较大。
与之相比，在图17的例子中，在高分辨率图像数据的纵3×横3像素区域(与虚拟低分辨率图像数据的1个像素相对应的区域)所包含的9个像素中，5个是来自以曝光时间a拍摄的拍摄图像数据的像素，4个是来自以曝光时间b拍摄的拍摄图像数据的像素。
即，在图17的例子中，在高分辨率图像数据中，与虚拟低分辨率图像数据的1个像素相对应的区域所包含的来自不同曝光时间的拍摄图像数据的、像素数的差小于图15的例子。由此，即使以某一曝光时间所拍摄的拍摄图像中发生了广范围曝光不良，也能够进行充分的插值更新，因此，能够以较好的精度来生成的动态范围得以扩大的高分辨率图像数据。
在图14图～图17的例子中，使用了9个拍摄图像数据，并以a及b这2种曝光时间进行了拍摄。因此，在高分辨率图像数据中，无法使来自以曝光时间a拍摄的拍摄图像数据的像素和来自以曝光时间b拍摄的拍摄图像数据的像素呈相等，因此，以其中一个曝光时间拍摄的拍摄图像数据的影响会大于以另一个曝光时间拍摄的拍摄图像数据的影响。
对此，使用9个拍摄图像数据时，可采用3种或者9种曝光时间进行拍摄。如此便能够使得高分辨率图像数据中的、来自以各曝光时间拍摄的拍摄图像数据的像素数相等。图18是用以说明以3种曝光时间进行拍摄的拍摄方法的图。图18也与图14和图16同样，表示了对由纵5×横5的25像素构成的拍摄图像数据进行3倍高分辨率化的例子。
如图18所示，在采用3种曝光时间进行拍摄时，其拍摄位置的移动方法也与图14和图16时相同。只是在图18的例子中，是对最上段的3个拍摄图像数据、第2段的3个拍摄图像数据和最下段的3个拍摄图像数据分别以不同曝光时间来进行拍摄的。即，在图18的例子中，采用曝光时间a来拍摄最上段的3个拍摄图像数据，采用曝光时间b来拍摄第2段的3个拍摄图像数据，采用曝光时间c来拍摄最下段的3个拍摄图像数据。
通过使用图18的例子中的拍摄图像数据，能够获得图19所示的高分辨率图像数据。图19表示了根据图18的拍摄图像数据所生成的高分辨率图像数据。
如图19所示，在高分辨率图像数据的纵3×横3像素的区域(与虚拟低分辨率图像数据的1个像素相对应的区域)所包含的9个像素中，来自以曝光时间a～c拍摄的拍摄图像数据的像素各为3个。由此，能够使得来自以曝光时间a～c拍摄的拍摄图像数据的像素在高分辨率图像数据中发挥同等的作用。其结果，例如，即使以某一曝光时间拍摄的拍摄图像数据中发生了广范围的曝光不良，也能够进行充分的插值更新，因此能够以良好的精确来生成的动态范围得以扩大的高分辨率图像数据。
在图19的例子中，在上下方向以及斜方向上，来自以各曝光时间拍摄的拍摄图像数据的像素是呈交互排列的，但在左右方向上仅排列的是来自以同一曝光时间拍摄的拍摄图像数据的像素。因此，图19的例子与图15的例子同样，在左右相邻接的像素之间可能无法进行充分的插值处理。
对此，例如可采用图20所示的拍摄方法进行拍摄。图20是用以说明与上述拍摄方法不同的拍摄方法的图。在图20中，也与图18一样，表示了以3种曝光时间进行拍摄来取得9个拍摄图像数据的例子。另外，设想各拍摄图像数据由纵5×横5的25像素构成，并对该拍摄图像数据进行3倍的高分辨率化。
在图20的例子中，拍摄位置的移动方法与图14或图16以及、图18同样。但是在图20的例子中，从最上段至最下段的各个段的3个拍摄图像数据是分别以不同的曝光时间被拍摄的。并且，在图20的例子中，从最左列至最右列的各个列的3个拍摄图像数据也是分别以不同的曝光时间被拍摄的。即，在图20的例子中，采用曝光时间a拍摄了最上段的最左列、第2段的第2列以及第3段的最右列的拍摄图像数据，采用曝光时间b拍摄了最上段的第2列、第2段的最右列以及第3段的最左列的拍摄图像数据，采用曝光时间c拍摄了最上段的最右列、第2段的最左列以及第3段的第2列的拍摄图像数据。
通过使用图20的例子的拍摄图像数据，能够获得图21所示的高分辨率图像数据。图21是表示根据图20的拍摄图像数据所生成的高分辨率图像数据的图。
如图21所示，在高分辨率图像数据的纵3×横3像素的区域(与虚拟低分辨率图像数据的1个像素相对应的区域)所包含的9个像素中，来自以曝光时间a～c拍摄的拍摄图像数据的像素各为3个。由此，能够使来自以曝光时间a～c拍摄的拍摄图像数据的像素在高分辨率图像数据中的作用相同。其结果，例如，即使在以某曝光时间拍摄的拍摄图像数据中发生了广范围的曝光不良，也能够进行充分的插值更新，因此能够以良好的精度生成动态范围得以扩大的高分辨率图像数据。
在图21的例子中，在上下方向以及左右方向上，来自以各曝光时间拍摄的拍摄图像数据的像素呈交互排列。因此，在图21的例子中，可以在上下及左右方向上进行充分的插值处理。其结构，通过图21的例子，能够以良好的精度生成动态范围得以扩大的高分辨率图像数据。
在图21的例子中，虽然在斜方向上排列的仅是来自以同一曝光时间拍摄的拍摄图像数据的、像素，但相比于图19所例示的在左右方向上排列的仅是来自以同一曝光时间拍摄的拍摄图像数据的像素的例子，优选图21中例示的排列方法。其理由在于，用于超分辨处理的PSF是具有高斯分布(Gaussian Distribution)的点扩散函数，因此在进行卷积处理时，优选目标像素的附近存在尽量多的正常值像素。另外，在图像偏移时的插值处理中，有时会使用位于目标像素的上下左右侧的4个像素，因此，优选避免在该目标像素的上下左右侧排列来自以同一曝光时间拍摄的拍摄图像数据的像素。
如以上所述，根据本参考例的拍摄方法，即使使用1组拍摄图像数据，也能够生成动态范围得以扩大的高分辨率图像数据。当然，上述方法仅表示本参考例的拍摄方法的一个例子，本参考例的拍摄方法并不限于此例。
即，在上述例子中，虽然是对由纵5×横5的25像素构成的拍摄图像数据进行3倍的高分辨率化，但可根据需要，适当变更拍摄图像数据的像素数以及高分辨率化的倍率。另外，在上述例子中，虽然只对作为拍摄条件的曝光时间进行变更，但也可以对所使用的拍摄装置、照明强度、拍摄灵敏度、所使用的滤光器以及光圈等拍摄条件的其中至少一者进行变更。
如以上所述，根据本参考例的拍摄方法，1组拍摄图像组中只要包含有至少1个不同于其他拍摄图像数据之拍摄条件的、拍摄图像数据，便能够扩大动态范围。
在高分辨率图像数据中，通过对包含在与拍摄图像数据的1个像素相对应的区域中的、来自以不同拍摄条件拍摄的拍摄图像数据的像素进行配置调整，能够生成更具高精度的高分辨率图像数据。
即，根据本参考例的拍摄方法，关于高分辨率图像数据，优选对各拍摄图像数据的拍摄条件进行控制，使得与拍摄图像数据的1个像素相对应的区域所包含的多个像素中的、来自以不同拍摄条件拍摄的拍摄图像数据的像素之间的像素数差呈最小。
例如，在图15的例子中，在高分辨率图像数据中，与拍摄图像数据的1个像素相对应的区域内包含6个来自以曝光时间a拍摄的拍摄图像数据的像素、3个来自以曝光时间b拍摄的拍摄图像数据的像素。与此相比，在图17的例子中，在高分辨率图像数据中，与拍摄图像数据的1个像素相对应的区域内包含5个来自以曝光时间a拍摄的拍摄图像数据的像素、4个来自以曝光时间b拍摄的拍摄图像数据的像素。
即，在图17的例子中，来以不同拍摄条件拍摄的拍摄图像数据的像素之间的像素数差为最小。因此，相比于图14所示的用于生成图15的例子中的高分辨率图像数据的拍摄方法，优选使用图16所示的用于生成图17的例子中的高分辨率图像数据的拍摄方法。
另外，根据本参考例的拍摄方法，关于高分辨率图像数据，优选对拍摄条件进行控制，使得与拍摄图像数据的1个像素相对应的区域所包含的来自以同一拍摄条件拍摄的拍摄图像数据的像素中的、在上述各区域的纵方向或者横方式上连续配置的像素的数量呈最小。
如以上所述，当把根据本参考例的拍摄方法所生成的拍摄图像数据用以(重建式)超分辨处理时，在生成虚拟低分辨率图像数据时，对与拍摄图像数据的1个像素相对应的区域所包含的、来自不同拍摄图像数据的像素进行插值更新。因此，优选高分辨率图像数据中所包含的来自以不同拍摄条件拍摄的拍摄图像数据的、像素在该高分辨率图像数据的全体中呈均匀排列。
换而言之，优选高分辨率图像数据所包含的、来自以不同拍摄条件拍摄的拍摄图像数据的像素在该高分辨率图像数据的水平方向、垂直方向、斜方向上均匀分布，并且来自以不同拍摄条件拍摄的拍摄图像数据的像素的分布密度之差呈较小。
例如，在图15的例子中，在高分辨率图像数据中，来自以曝光时间a拍摄的拍摄图像数据的像素以及、来自以曝光时间b拍摄的拍摄图像数据的像素在图15的横方向上呈15个连续排列。与此相比，在图17的例子中，来自以曝光时间a拍摄的拍摄图像数据的像素以及、来自以曝光时间b拍摄的拍摄图像数据的像素在图17的横方向上连续排列的个数最多为2个。
即，在图17的例子中，在横方向上连续排列的像素个数实现了最少化。因此，相比于图14所示的用于生成图15的例子中的高分辨率图像数据的拍摄方法，优选使用图16所示的用于生成图17的例子中的高分辨率图像数据的拍摄方法。
本发明并不局限于上述实施方式，在权利要求的范围内可进行种种变更。即，对在权利要求的范围内适宜变更的技术手段进行组合而获得的实施方式也属于本发明的技术范畴内。
最后，控制装置3的各功能块，尤其是拍摄控制部21以及超分辨处理部25，可通过硬件逻辑来实现，也可通过使用CPU以软件来实现。
即，控制装置3具有：执行用于实现各功能的控制程序的命令的CPU(central processing unit：中央处理器)、存储了上述控制程序的ROM(readonly memory：只读存储器)、用于展开上述程序的RAM(random accessmemory：随机存取存储器)、用于存储上述程序及各种数据的存储器等的存储装置(记录介质)等。另外，向上述控制装置3提供记录介质，该记录介质记录有计算机可读取的、控制装置3的控制程序的程序代码(执行形式程序、中间代码程序、源程序)，该控制程序是用以实现上述功能的软件，通过由控制装置3的计算机(或CPU或MPU)读取并执行记录介质中记录的上述程序代码，也能够实现本发明的目的。
作为上述记录介质，例如，可以是磁带或盒式带等带类；包括有软盘(注册商标)、硬盘等磁盘或CD-ROM、MO、MD、DVD、CD-R等光盘的盘类IC卡(包括存储卡)、光卡等卡类；或是掩模型ROM、EPROM、EEPROM、闪存ROM等半导体存储器类。
另外，控制装置3也可连接通信网络，从而借助于通信网络来提供上述程序代码。关于上述通信网络，并没有特别的限制，例如能够利用互联网(internet)、内联网(intranet)、外联网(extranet)、LAN、ISDN、VAN、CATV通信网、虚拟专用网络(virtual private network)、电话回线网络、移动通信网络、卫星通信网络等。另外，关于构成通信网络的传输介质，并没有特别的限制，例如能够利用IEEE1394、USB、电力线传送、电缆电视回线、电话线、ADSL回线等有线技术，也可以利用诸如IrDA或遥控技术中的红外线、Bluetooth(注册商标)、802.11无线通信、HDR、便携式电话网络、卫星回线、地面数字广播网络(terrestrial digital net)等无线技术。另外，即使是通过电子传输而实现了上述程序代码的、载置于载波的计算机数字信号的形态，也可以实现本发明。
如上所述，本发明的图像处理装置具备：差分图像生成部，使高分辨率图像数据与多个拍摄图像数据中的一者进行对位，并将上述高分辨率图像数据变换成与上述拍摄图像数据相同的分辨率，然后乘以点扩散函数，以生成虚拟低分辨率图像数据，并就上述多个拍摄图像数据的各者，进行求取该虚拟低分辨率图像数据与该拍摄图像数据之间的差分的处理，以生成多个差分图像数据，其中，上述点扩散函数根据拍摄该拍摄图像数据时所用的拍摄装置的拍摄模式而获得；图像更新部，根据上述差分图像生成部生成的上述多个差分图像数据，算出表示上述高分辨率图像数据与上述多个拍摄图像数据之间的误差的评价值，并且在该评价值为预定的阈值以上时，对上述高分辨率图像数据进行更新，以使该评价值减小；恰当曝光像素判断部，判断上述多个拍摄图像数据的各像素的亮度值是否属于预定的正常范围内；加权差分图像生成部，就上述多个差分图像数据的各者，对与上述多个拍摄图像数据的一者相对应的一个差分图像数据中的目标像素进行加权处理，以减小上述目标像素给上述评价值带来的作用，其中，上述目标像素位于与上述多个拍摄图像数据的一者中的、被上述恰当曝光像素判断部判断为不属于正常范围内的像素相对应的位置，上述图像更新部使用由上述加权差分图像生成部施以加权后的上述多个差分图像数据，更新上述高分辨率图像数据。
因此，即使在拍摄图像数据中包含有发生了白化或者黑化的部分，也能够生成正确反映有拍摄对象的形状或色彩的高精度的高分辨率图像数据。
另外，在上述图像处理装置中，作为优选，上述多个拍摄图像数据中含有以不同拍摄条件拍摄的拍摄图像数据；还具备拍摄图像校正部，该拍摄图像校正部在上述恰当曝光像素判断部判断了亮度值是否属于预定的正常范围内之后，对各拍摄图像数据的各像素的亮度值进行校正，使得上述一组的拍摄图像数据都能够被视为是以选自上述不同拍摄条件的一个拍摄条件所拍摄的拍摄图像数据。
在现有的超分辨处理中，用于生成1个高分辨率图像数据的多个拍摄图像数据都是以同一条件拍摄的。而通过进行上述校正，便能够使用以不同拍摄条件拍摄的拍摄图像数据来生成高分辨率图像数据。在此，拍摄条件是指曝光时间(快门速度)、所使用的拍摄装置、照明强度、拍摄灵敏度、所使用的滤光器以及光圈的其中至少一者。
根据上述结构，在高分辨率图像数据被更新之后，可根据该更新后的高分辨率图像数据，生成虚拟低分辨率图像数据。此时，高分辨率图像数据中相当于虚拟低分辨率图像数据的1个像素的区域所包含的各像素的亮度值数据会被统合成虚拟低分辨率图像数据的1个像素的亮度值数据。
因此，若高分辨率图像数据中相当于虚拟低分辨率图像数据的1个像素的区域包含有来自以不同拍摄条件拍摄的拍摄图像数据的、像素时，这些像素的亮度值将被统合。即，在虚拟低分辨率图像数据的各像素中将会反映出来自以不同拍摄条件拍摄的拍摄图像数据的、像素的亮度值，因此所生成的高分辨率图像数据的动态范围也得以扩大。
另外，如上所述，本发明的拍摄控制装置具备拍摄条件控制部，通过由该拍摄条件控制部控制上述各拍摄图像数据的拍摄条件，使得上述高分辨率图像数据中的与上述拍摄图像数据的一个像素相对应的区域各自包含有来自以不同拍摄条件拍摄的拍摄图像数据的、高分辨率图像数据像素。因此，能够生成动态范围得以扩大的高分辨率图像数据，且不用增加对期望高分辨率倍率的高分辨率图像数据进行生成时的所需拍摄图像数据。
另外，作为优选，上述拍摄条件控制部对上述各拍摄图像数据的拍摄条件进行控制，使得上述各区域中的来自以同一拍摄条件拍摄的拍摄图像数据的像素在上述各区域的纵方向或横方向上的连续排列数呈最小。
在此，当以某拍摄条件拍摄的拍摄图像数据中出现了广范围的不恰当曝光像素时，若来自以上述拍摄条件拍摄的拍摄图像数据的像素在各区域内的纵方向或者横方向上呈连续排列，那么不恰当曝光像素在高分辨率图像数据中便会很明显。
例如，若在拍摄图像数据的广范围内发生了因曝光过度导致的白化，且来自该拍摄图像数据的像素在各区域内的纵方向或者横方向上呈连续排列，那么在高分辨率图像数据中将会目视到呈纵方向或横方向的白线。
对此，在上述结构中，使来自以同一拍摄条件拍摄的拍摄图像数据的像素在各区域的纵方向或横方向上的连续排列数呈最小。由此，即使以特定拍摄条件拍摄的拍摄图像数据中出现了广范围的不恰当曝光像素，高分辨率图像数据中的、来自不恰当曝光像素的像素也不明显。
另外，使用由上述拍摄控制装置控制拍摄的拍摄图像数据来进行超分辨处理时，在高分辨率图像数据中，与拍摄图像数据的1个像素相对应的区域所包含的多个像素被施以插值更新。由此，关于来自不恰当曝光像素的像素，根据与该像素相邻接的正常曝光像素的亮度值，将该像素的亮度值更新成恰当的值。因此，能够生成高精度的高分辨率图像数据。
此外，作为优选，上述拍摄条件控制部对上述各拍摄图像数据的拍摄条件进行控制，使得上述各区域中包含的来自以相互不同的拍摄条件拍摄的拍摄图像数据的像素的、像素数量差呈最小。
在此，当以某拍摄条件拍摄的拍摄图像数据出现了广范围的不恰当曝光像素时，若来自以上述拍摄条件拍摄的拍摄图像数据的像素在各区域内所占的比例较高，那么不恰当曝光像素在高分辨率图像数据中便会很明显。
对此，在上述结构中，使来自以互不相同条件拍摄的拍摄图像数据的像素的、像素数量差呈最小。由此，即使以特定拍摄条件拍摄的拍摄图像数据中出现了广范围的不恰当曝光像素，高分辨率图像数据中的、来自不恰当曝光像素的像素也不明显。另外，使用由上述拍摄控制装置控制拍摄的拍摄图像数据来进行超分辨处理时，在高分辨率图像数据中，与拍摄图像数据的1个像素相对应的区域所包含的多个像素被施以插值更新。由此，关于来自不恰当曝光像素的像素，根据与该像素相邻接的正常曝光像素的亮度值，将该像素的亮度值更新成恰当的值。因此，能够生成高精度的高分辨率图像数据。
另外，本发明的图像处理装置具备：拍摄图像校正部，通过对各拍摄图像数据的各像素的亮度值进行校正，使得在上述拍摄控制装置的控制下拍摄的一组拍摄图像数据都能够被视为是以选自上述不同拍摄条件的一个拍摄条件所拍摄的拍摄图像数据；超分辨处理部，使用上述拍摄图像校正部所校正的一组拍摄图像数据，进行超分辨处理。通过该图像处理装置，能够生成动态范围得以扩大的高分辨率图像数据，且不用增加对期望高分辨率倍率的高分辨率图像数据进行生成时的所需拍摄图像数据。
其理由在于：在生成虚拟低分辨率图像数据时，以超分辨处理而得到的高分辨率图像数据中的、与拍摄图像数据的1个像素相对应的每一区域所含有的来自以不同拍摄条件拍摄的拍摄图像数据的高分辨率图像数据像素会被被统合成1个像素的缘故。
即，来自以不同拍摄条件拍摄的拍摄图像数据的、高分辨率图像数据像素的亮度值被统合成虚拟低分辨率图像数据的1个像素，且被用于高分辨率图像数据的更新，因此，更新后的高分辨率图像数据中反映有以不同拍摄条件拍摄的拍摄图像数据的、亮度值。其结果，高分辨率图像数据的动态范围得以扩大。
另外，本发明的图像处理装置具备：映射部，把在上述拍摄控制装置的控制下拍摄的一组拍摄图像数据的各像素映射至上述高分辨率图像数据的各像素位置，以生成高分辨率图像数据；恰当曝光像素判断部，判断上述映射部生成的高分辨率图像数据的各像素的亮度值是否属于预定的正常范围内。插值部，对上述高分辨率图像数据中的被上述恰当曝光像素判断部判断为不属于正常范围内的像素的、亮度值，根据与该像素邻接的像素中的被上述恰当曝光像素判断部判断为属于正常范围内的像素的、亮度值，进行插值。拍摄图像校正部，对上述高分辨率图像数据的各像素的亮度值进行校正，使得上述映射部生成的高分辨率图像数据的所有像素都能够被视为是以选自上述不同拍摄条件的一个拍摄条件所拍摄的像素。通过该图像处理装置，能够生成动态范围得以扩大的高分辨率图像数据，且不用增加对期望高分辨率倍率的高分辨率图像数据进行生成时的所需拍摄图像数据。
在发明内容中介绍的具体实施方式或实施例仅仅是揭示本发明的技术内容的示例，本发明并不限于上述具体示例，不应对本发明进行狭义的解释，上述具体实施方式或实施例可在本发明的精神和权利要求的范围内进行各种变更来实施。
(工业上的利用可能性)
根据本发明能够生成动态范围得以扩大的高分辨率图像数据，因此本发明适用于对静止图像或者动图像进行高分辨率化的装置。

Claims (15)

1.一种图像处理装置，根据与高分辨率化倍率相对应的数量的低分辨率的拍摄图像数据，对拍摄对象进行高分辨率化，并生成高分辨率图像数据，
该图像处理装置的特征在于：
具备，
差分图像生成部，使上述高分辨率图像数据与上述多个拍摄图像数据中的一者进行对位，并将上述高分辨率图像数据变换成与上述拍摄图像数据相同的分辨率，然后乘以点扩散函数，以生成虚拟低分辨率图像数据，并就上述多个拍摄图像数据的各者，进行求取该虚拟低分辨率图像数据与该拍摄图像数据之间的差分的处理，以生成多个差分图像数据，其中，上述点扩散函数根据拍摄该拍摄图像数据时所用的拍摄装置的拍摄模式而获得；
图像更新部，根据上述差分图像生成部生成的上述多个差分图像数据，算出表示上述高分辨率图像数据与上述多个拍摄图像数据之间的误差的评价值，并且在该评价值为预定的阈值以上时，对上述高分辨率图像数据进行更新，以使该评价值减小；
恰当曝光像素判断部，判断上述多个拍摄图像数据的各像素的亮度值是否属于预定的正常范围内；
加权差分图像生成部，就上述多个差分图像数据的各者，对与上述多个拍摄图像数据的一者相对应的一个差分图像数据中的目标像素进行加权处理，以减小上述目标像素给上述评价值带来的作用，其中，上述目标像素位于与上述多个拍摄图像数据的一者中的、被上述恰当曝光像素判断部判断为不属于正常范围内的像素相对应的位置，
上述图像更新部使用由上述加权差分图像生成部施以加权后的上述多个差分图像数据，更新上述高分辨率图像数据。
2.根据权利要求1所述的图像处理装置，其特征在于：
上述多个拍摄图像数据中含有以不同拍摄条件拍摄的拍摄图像数据；
具备拍摄图像校正部，上述拍摄图像校正部在上述恰当曝光像素判断部判断了亮度值是否属于预定的正常范围内之后，对各拍摄图像数据的各像素的亮度值进行校正，使得上述一组的拍摄图像数据都能够被视为是以选自上述不同拍摄条件的一个拍摄条件所拍摄的拍摄图像数据。
3.一种图像处理装置，根据与高分辨率化倍率相对应的数量的低分辨率的拍摄图像数据，对拍摄对象进行高分辨率化，以生成高分辨率图像数据，
该图像处理装置的特征在于：
根据多组拍摄图像组来生成上述高分辨率图像数据，其中，与上述高分辨率化倍率相对应的数量的拍摄图像数据被作为一组，
上述拍摄图像组各自中包含的拍摄图像数据是以同一拍摄条件拍摄的拍摄图像数据，
不同的拍摄图像组中包含的拍摄图像数据是以相互不同的拍摄条件拍摄的拍摄图像数据，
具备，
恰当曝光像素判断部，判断上述多组拍摄图像组中包含的各拍摄图像数据的各像素的亮度值是否属于预定的正常范围内；
拍摄图像校正部，在上述恰当曝光像素判断部判断了亮度值是否属于预定的正常范围内之后，对各拍摄图像数据的各像素的亮度值进行校正，使得上述多组拍摄图像组中包含的拍摄图像数据都能够被视为是以选自上述不同拍摄条件的一个拍摄条件所拍摄的拍摄图像数据；
图像合成部，在选自上述多组拍摄图像组的一组拍摄图像组所包含的各拍摄图像数据的像素中，关于被上述恰当曝光像素判断部判断为不属于上述正常范围内的替换对象像素，若其他拍摄图像组中的与上述替换对象像素呈对应的位置上存在有被上述恰当曝光像素判断部判断为属于上述正常范围内的替换候补像素，便将上述替换对象像素的亮度值替换成上述替换候补像素的亮度值，以生成一组合成拍摄图像数据；
差分图像生成部，使上述高分辨率图像数据与上述一组合成拍摄图像数据中包含的一个合成拍摄图像数据进行对位，并将上述高分辨率图像数据变换成与该合成拍摄图像数据相同的分辨率，然后乘以点扩散函数，以生成虚拟低分辨率图像数据，并就上述一组合成拍摄图像数据中包含的各个合成拍摄图像数据，进行通过求取该合成拍摄图像数据与上述生成的虚拟低分辨率图像数据之间的差分来生成差分图像数据的处理，以生成一组差分图像数据，其中，上述点扩散函数根据拍摄上述多个拍摄图像数据时所用的拍摄装置的拍摄模式而获得；
图像更新部，根据由上述差分图像生成部生成的上述一组差分图像数据，算出表示上述高分辨率图像数据与上述一组合成拍摄图像数据之间的误差的评价值，并且在该评价值为预定的阈值以上时，对上述高分辨率图像数据进行更新，以使该评价值减小；
上述恰当曝光像素判断部还判断上述一组合成拍摄图像数据中包含的各合成拍摄图像数据的像素的亮度值是否属于预定的正常范围内，
还具备，
加权差分图像生成部，关于上述一组合成拍摄图像数据中的被上述恰当曝光像素判断部判断为不属于正常范围内的、上述合成拍摄图像数据的像素，为了减少差分图像数据中的与该像素呈对应位置的像素给上述评价值带来的作用，对上述差分图像生成部生成的一组差分图像数据的各像素进行加权，
上述图像更新部使用由上述加权差分图像生成部施以加权后的上述多个差分图像数据，更新上述高分辨率图像数据。
4.一种图像处理系统，其特征在于包括：
权利要求1至3中的任何一项所述的图像处理装置以及上述拍摄装置。
5.一种图像处理装置的控制方法，其中，上述图像处理装置根据与高分辨率化倍率相对应的数量的低分辨率的拍摄图像数据，对拍摄对象进行高分辨率化，以生成高分辨率图像数据，
该图像处理装置的控制方法特征在于：
包括，
差分图像生成步骤，使上述高分辨率图像数据与上述多个拍摄图像数据的一者进行对位，并将上述高分辨率图像数据变换成与上述拍摄图像数据相同的分辨率，然后乘以点扩散函数，以生成虚拟低分辨率图像数据，并就上述多个拍摄图像数据的各者，进行求取该虚拟低分辨率图像数据与该拍摄图像数据之间的差分的处理，以生成多个差分图像数据，其中，上述点扩散函数根据拍摄该拍摄图像数据时所用的拍摄装置的拍摄模式而获得；
图像更新步骤，根据上述差分图像生成步骤中生成的上述多个差分图像数据，算出表示上述高分辨率图像数据与上述多个拍摄图像数据之间的误差的评价值，并且在该评价值为预定的阈值以上时，对上述高分辨率图像数据进行更新，以使该评价值减小；
恰当曝光像素判断步骤，判断上述多个拍摄图像数据的各像素的亮度值是否属于预定的正常范围内；
加权差分图像生成步骤，就上述多个差分图像数据的各者，对与上述多个拍摄图像数据的一者相对应的一个差分图像数据中的目标像素进行加权处理，以减小上述目标像素给上述评价值带来的作用，其中，上述目标像素位于与上述多个拍摄图像数据的一者中的、在上述恰当曝光像素判断步骤中被判断为不属于正常范围内的像素相对应的位置，
在上述图像更新步骤中，使用在上述加权差分图像生成步骤中被施以加权后的上述多个差分图像数据，更新上述高分辨率图像数据。
6.一种图像处理装置控制程序，用于使权利要求1至3中的任何一项所述的图像处理装置进行动作，其特征在于：
使计算机作为上述各部来发生功能。
7.一种计算机可读取记录介质，其特征在于：
记录有权利要求6所述的图像处理装置控制程序。
8.一种拍摄控制装置，通过控制用以对拍摄对象进行拍摄的拍摄装置，使得能够根据与高分辨率化倍率相对应的数量的低分辨率拍摄图像数据来对上述拍摄对象进行高分辨率化，以使高分辨率图像数据得以生成，
该拍摄控制装置的特征在于，具备：
拍摄条件控制部，通过对上述各拍摄图像数据的拍摄条件进行控制，使得上述高分辨率图像数据中的与上述拍摄图像数据的一个像素相对应的区域各自包含有来自以不同拍摄条件拍摄的拍摄图像数据的、高分辨率图像数据像素。
9.根据权利要求8所述的拍摄控制装置，其特征在于：
上述拍摄条件控制部对上述各拍摄图像数据的拍摄条件进行控制，使得上述各区域中的来自以同一拍摄条件拍摄的拍摄图像数据的像素在上述各区域的纵方向或横方向上的连续排列数呈最小。
10.根据权利要求8或者9所述的拍摄控制装置，其特征在于：
上述拍摄条件控制部对上述各拍摄图像数据的拍摄条件进行控制，使得上述各区域中包含的来自以相互不同的拍摄条件拍摄的拍摄图像数据的像素的、像素数量差呈最小。
11.一种图像处理装置，其特征在于，具备：
拍摄图像校正部，通过对各拍摄图像数据的各像素的亮度值进行校正，使得在权利要求8或9所述的拍摄控制装置的控制下拍摄的一组拍摄图像数据都能够被视为是以选自上述不同拍摄条件的一个拍摄条件所拍摄的拍摄图像数据；
超分辨处理部，使用上述拍摄图像校正部所校正的一组拍摄图像数据，进行超分辨处理。
12.一种图像处理装置，其特征在于具备：
映射部，把在权利要求8或9所述的拍摄控制装置的控制下拍摄的一组拍摄图像数据的各像素映射至上述高分辨率图像数据的各像素位置，以生成高分辨率图像数据；
恰当曝光像素判断部，判断上述映射部生成的高分辨率图像数据的各像素的亮度值是否属于预定的正常范围内。
插值部，对上述高分辨率图像数据中的被上述恰当曝光像素判断部判断为不属于正常范围内的像素的、亮度值，根据与该像素邻接的像素中的被上述恰当曝光像素判断部判断为属于正常范围内的像素的亮度值，进行插值。
拍摄图像校正部，对上述高分辨率图像数据的各像素的亮度值进行校正，使得上述映射部生成的高分辨率图像数据的所有像素都能够被视为是以选自上述不同拍摄条件的一个拍摄条件所拍摄的像素。
13.一种拍摄控制装置的控制方法，其中，该拍摄控制装置通过控制用以对拍摄对象进行拍摄的拍摄装置，使得能够根据与高分辨率化倍率相对应的数量的低分辨率拍摄图像数据来对上述拍摄对象进行高分辨率化，从而使高分辨率图像数据得以生成，
该拍摄控制装置的控制方法的特征在于包括：
拍摄条件控制步骤，通过对上述各拍摄图像数据的拍摄条件进行控制，使得上述高分辨率图像数据中的与上述拍摄图像数据的一个像素相对应的区域各自包含有来自以不同拍摄条件拍摄的拍摄图像数据的、高分辨率图像数据像素。
14.一种拍摄控制装置控制程序，是用于使权利要求8或9所述的拍摄控制装置进行动作的图像处理装置控制程序，其特征在于：
使计算机作为上述各部来发生功能。
15.一种计算机可读取记录介质，其特征在于：
记录有权利要求14所述的拍摄控制装置控制程序。
CN200880121068.8A 2007-12-17 2008-12-17 图像处理装置以及拍摄控制装置 Active CN101896934B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-325271 2007-12-17
JP2007325271A JP4355744B2 (ja) 2007-12-17 2007-12-17 画像処理装置
PCT/JP2008/072977 WO2009078437A1 (ja) 2007-12-17 2008-12-17 画像処理装置及び撮像制御装置

Publications (2)

Publication Number Publication Date
CN101896934A true CN101896934A (zh) 2010-11-24
CN101896934B CN101896934B (zh) 2012-06-13

Family

ID=40795550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880121068.8A Active CN101896934B (zh) 2007-12-17 2008-12-17 图像处理装置以及拍摄控制装置

Country Status (3)

Country Link
JP (1) JP4355744B2 (zh)
CN (1) CN101896934B (zh)
WO (1) WO2009078437A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970462A (zh) * 2011-08-31 2013-03-13 株式会社东芝 图像处理装置和图像处理方法
CN105934944A (zh) * 2013-11-26 2016-09-07 株式会社尼康 电子设备、摄像装置及摄像元件
CN107180210A (zh) * 2016-03-09 2017-09-19 手持产品公司 用于使用子像素移位来产生高分辨率图像的成像设备和使用所述成像设备的方法
CN111164959A (zh) * 2017-11-10 2020-05-15 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011024249A1 (ja) * 2009-08-24 2011-03-03 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5527035B2 (ja) * 2010-06-16 2014-06-18 株式会社ニコン 画像処理プログラム、画像処理装置および撮像装置
US8654205B2 (en) 2009-12-17 2014-02-18 Nikon Corporation Medium storing image processing program and imaging apparatus
JP2012019337A (ja) * 2010-07-07 2012-01-26 Olympus Corp 画像処理装置及び方法並びにプログラム
WO2012132183A1 (ja) * 2011-03-28 2012-10-04 パナソニック株式会社 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体
JP6995535B2 (ja) 2017-08-31 2022-01-14 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN113487477B (zh) * 2021-06-24 2023-12-01 Tcl华星光电技术有限公司 超分辨率图像重构方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3530652B2 (ja) * 1995-09-26 2004-05-24 キヤノン株式会社 画像合成方法及び画像合成装置
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
JP4818031B2 (ja) * 2005-10-27 2011-11-16 キヤノン株式会社 画像処理装置及び画像処理方法
CN100413316C (zh) * 2006-02-14 2008-08-20 华为技术有限公司 一种视频图像超分辨率重构方法
CN100481937C (zh) * 2006-05-12 2009-04-22 北京理工大学 一种高动态、超分辨率图像重建装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970462A (zh) * 2011-08-31 2013-03-13 株式会社东芝 图像处理装置和图像处理方法
CN105934944A (zh) * 2013-11-26 2016-09-07 株式会社尼康 电子设备、摄像装置及摄像元件
CN107180210A (zh) * 2016-03-09 2017-09-19 手持产品公司 用于使用子像素移位来产生高分辨率图像的成像设备和使用所述成像设备的方法
CN107180210B (zh) * 2016-03-09 2022-01-25 手持产品公司 用于使用子像素移位来产生高分辨率图像的成像设备和使用所述成像设备的方法
CN114492493A (zh) * 2016-03-09 2022-05-13 手持产品公司 用于使用子像素移位来产生高分辨率图像的成像设备和使用所述成像设备的方法
CN111164959A (zh) * 2017-11-10 2020-05-15 奥林巴斯株式会社 图像处理装置、图像处理方法以及图像处理程序
CN111164959B (zh) * 2017-11-10 2021-08-03 奥林巴斯株式会社 图像处理装置、图像处理方法以及记录介质

Also Published As

Publication number Publication date
JP4355744B2 (ja) 2009-11-04
CN101896934B (zh) 2012-06-13
WO2009078437A1 (ja) 2009-06-25
JP2009147830A (ja) 2009-07-02

Similar Documents

Publication Publication Date Title
CN101896934B (zh) 图像处理装置以及拍摄控制装置
US20210133927A1 (en) Systems and Methods for Synthesizing High Resolution Images Using Images Captured by an Array of Independently Controllable Imagers
CN103201766B (zh) 产生高动态范围图像的方法
EP1924966B1 (en) Adaptive exposure control
CN104301635B (zh) 产生数字图像的方法及成像系统
CN106161926B (zh) 摄像装置和摄像装置的控制方法
CN101743755B (zh) 图像处理装置、图像处理方法
CN102714737B (zh) 图像处理设备和使用图像处理设备的图像捕获装置
US6570613B1 (en) Resolution-enhancement method for digital imaging
CN102197639B (zh) 用于形成图像的方法以及数字成像设备
CN103782586B (zh) 成像设备
US20140036130A1 (en) Image sensing apparatus and method of controlling the image sensing apparatus
CN103125112B (zh) 成像设备以及成像方法
WO2012111401A1 (ja) 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
US8508618B2 (en) Image pickup apparatus and restoration gain data generation method
CN104885440B (zh) 图像处理装置、摄像装置及图像处理方法
DE69030165T2 (de) Kamera mit Driftdetektor
CN101755448A (zh) 校正曝光期间的成像设备运动
JPWO2007102377A1 (ja) 撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録媒体
CN101204083A (zh) 利用颜色数字图像对动作如锐度修改进行控制的方法
CN104041004B (zh) 摄像设备及其控制方法和摄像系统
CN108737696A (zh) 摄像设备、控制方法和非暂时性存储介质
CN105721798A (zh) 用于hdr成像的系统及方法
CN106530226A (zh) 获取高分辨率高清晰工业图像的实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant