CN101867723A - 图像处理装置、摄像装置及图像再生装置 - Google Patents

图像处理装置、摄像装置及图像再生装置 Download PDF

Info

Publication number
CN101867723A
CN101867723A CN201010163973.9A CN201010163973A CN101867723A CN 101867723 A CN101867723 A CN 101867723A CN 201010163973 A CN201010163973 A CN 201010163973A CN 101867723 A CN101867723 A CN 101867723A
Authority
CN
China
Prior art keywords
image
picture
scale change
processing apparatus
shot object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201010163973.9A
Other languages
English (en)
Inventor
古山贯一
森幸夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN101867723A publication Critical patent/CN101867723A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Abstract

本发明提供一种图像处理装置、摄像装置及图像再生装置。图像处理装置，利用在互不相同的时刻进行摄影而得到的主图像及副图像来生成输出图像，所述图像处理装置具备被摄物体检测部，所述被摄物体检测部从所述主图像及所述副图像中分别检测特定被摄物体，并且检测所述主图像上的所述特定被摄物体的位置及大小和所述副图像上的所述特定被摄物体的位置及大小，所述图像处理装置基于所述主图像及所述副图像间的所述特定被摄物体的位置变化及大小变化，使所述主图像产生模糊以生成所述输出图像。

Description

图像处理装置、摄像装置及图像再生装置
本申请基于35U.S.C.§119(a)主张2009年4月16日在日本申请的申请号为2009-099535的专利申请和2010年4月1日在日本申请的申请号为2010-085177的专利申请的优选权，并将其全部内容引用于本申请。
技术领域
本发明涉及对图像实施图像处理的图像处理装置。另外，本发明涉及利用了图像处理装置的摄像装置及图像再生装置。
背景技术
在赛车等中拍摄行驶的车辆等时，作为强调其速度感的特殊摄影手法而存在所谓“移动拍摄”的摄影手法。以往，按照与车辆等移动体的运动速度一致地跟踪移动体的方式横向移动摄像装置进行拍摄，从而实现了移动拍摄。按照跟踪移动体的方式横向移动摄像装置这一相机操作需要摄影经验以及相当于专业摄影师的技巧。因此，一般的用户难以得到合适的移动拍摄的效果。
鉴于此，在以往采用的一个方法中，检测横向移动的移动体的运动，并根据该检测结果使光轴变化以跟踪移动体。由此，容易取得与横向移动的移动体对焦且背景中包括如流动那样的模糊的扣人心弦的图像。
但是，上述移动拍摄是使摄像装置与横向移动的移动体对焦的移动拍摄。为了方便起见，将其称为“横向移动拍摄”。在移动拍摄中存在另一种移动拍摄、即纵向移动拍摄。纵向移动拍摄是与按照靠近摄像装置的方式移动的移动体或按照远离摄像装置的方式移动的移动体对焦的移动拍摄。
以往的纵向移动拍摄是通过在曝光期间持续与移动体对焦的方式变更光学变焦倍率来实现的。为了实现这种纵向移动拍摄，需要极高的摄影技术并且也限定了摄影用的器材。此外，在使光轴变化的上述以往方法中，无法对应纵向移动拍摄。
发明内容
本发明的一种图像处理装置，利用在互不相同的时刻进行摄影而得到的主图像及副图像来生成输出图像，其特征在于，所述图像处理装置具备被摄物体检测部，所述被摄物体检测部从所述主图像及所述副图像中分别检测特定被摄物体，并且检测所述主图像上的所述特定被摄物体的位置及大小和所述副图像上的所述特定被摄物体的位置及大小，所述图像处理装置基于所述主图像及所述副图像间的所述特定被摄物体的位置变化及大小变化，使所述主图像产生模糊以生成所述输出图像。
本发明的另一种图像处理装置，使输入图像产生模糊来生成输出图像，其特征在于，具备：比例尺变换部，其对所述输入图像进行利用了多个放大率或多个缩小率的比例尺变换来生成多个比例尺变换图像；和图像合成部，其合成所述多个比例尺变换图像，并通过将合成结果应用到所述输入图像中来产生所述模糊。
本发明的另一种图像处理装置，其使输入图像产生模糊以生成输出图像，其特征在于，具备：图像劣化函数导出部，其将所述输入图像的背景区域分割为多个小块，按每个所述小块导出用于使所述小块内的图像产生模糊的图像劣化函数；和滤波处理部，其按每个所述小块对所述小块内的图像实施与所述图像劣化函数相应的滤波来生成所述输出图像；所述输入图像的整个图像区域由所述背景区域和基准区域构成，按每个所述小块的所述图像劣化函数是与连接所述基准区域的位置和该小块的方向的图像劣化矢量相应的图像劣化函数。
本发明的摄像装置具备：上述任意一项所述的图像处理装置和拍摄应提供给所述图像处理装置的主图像及副图像的摄像部。
本发明的图像再生装置具备：上述任意一项所述的图像处理装置和显示由所述图像处理装置生成的输出图像的显示部。
本发明的意义及效果通过以下所述的实施方式的说明变得更清楚。其中，以下的实施方式只是本发明的一个实施方式，本发明及各构成要件的术语的意义并不限定于以下实施方式所示的内容。
附图说明
图1是本发明第一实施方式的摄像装置的整体框图。
图2是本发明第一实施方式的在图1的摄像装置中所包括的承担图像处理的部分的框图。
图3是表示四张帧图像和各帧图像中的跟踪对象区域的图。
图4是表示本发明第一实施方式的输出模糊图像的生成过程的图。
图5是表示成为输出模糊图像的基础的帧图像的例子的图。
图6(a)～(c)是表示通过对图5的帧图像实施放大比例尺变换所得到的比例尺变换图像的图。
图7是表示通过合成图6(a)～(c)所示的三张比例尺变换图像而得到的中间合成图像的图。
图8是表示基于图5的帧图像和图7的中间合成图像的输出模糊图像的图。
图9是本发明第一实施方式的在摄影模式下生成输出模糊图像的动作的流程图。
图10是本发明第一实施方式的摄影模式的动作的变形流程图。
图11是本发明第一实施方式的在再生模式下生成输出模糊图像的动作的流程图。
图12是表示本发明第二实施方式的在图1的摄像装置中所包括的承担图像处理的部分的框图。
图13是表示本发明第二实施方式的被运算图像的图像区域被分割为多个小块的样子的图。
图14(a)及(b)是用于说明本发明第二实施方式的与跟踪对象区域的位置相关的坐标值的图。
图15是用于说明本发明第二实施方式的相邻帧图像间的跟踪对象区域的变化的图。
图16是表示本发明第二实施方式的帧图像的整个图像区域被分割为四个图像区域的样子的图。
图17(a)是表示本发明第二实施方式的跟踪对象靠近摄像装置时得到的图像劣化矢量的图。图17(b)是表示本发明第二实施方式的跟踪对象远离摄像装置时得到的图像劣化矢量的图。
图18是本发明第二实施方式的在摄影模式下生成输出模糊图像的动作的流程图。
图19是本发明第四实施方式的在图1的摄像装置中所包括的承担图像处理的部分的框图。
图20是本发明第四实施方式的生成输出模糊图像的动作的流程图。
图21是表示在本发明第四实施方式的对象输入图像上设有模糊基准区域的样子的图。
图22是表示本发明第四实施方式的输出模糊图像的生成过程的图。
图23是本发明第五实施方式的在图1的摄像装置中所包括的承担图像处理的部分的框图。
图24是用于说明本发明第五实施方式的图像劣化矢量的方向的图。
图25是本发明第五实施方式的生成输出模糊图像的动作的流程图。
具体实施方式
以下，参照附图对本发明的几个实施方式进行具体说明。在表示的图中，对同一部分附同一符号，原则上省略与同一部分相关的重复说明。
《第一实施方式》
对本发明的第一实施方式进行说明。图1是第一实施方式的摄像装置1的整体框图。摄像装置1具有由符号11～28表示的各部分。摄像装置1为数码摄像机，可拍摄运动图像及静止图像，并且可以在运动图像摄影中同时拍摄静止图像。其中，也可以将摄像装置1构成为只可拍摄静止图像的数码相机。摄像装置1内的各部分经由总线24或25进行各部分间的信号(数据)交换。此外，显示部27和/或扬声器28可以设置在摄像装置1的外部装置(未图示)上。
摄像部11除了具备摄像元件(图像传感器)33之外还具备未图示的光学系统、光圈及驱动器。摄像元件33通过在水平及垂直方向上排列多个受光像素而形成的。摄像元件33是由CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)图像传感器等构成的固体摄像元件。摄像元件33的各受光像素对经由光学系统及光圈入射来的被摄物体的光学像进行光电变换，并将由该光电变换得到的电信号输出到AFE12(Analog Front End)中。构成光学系统的各透镜使被摄物体的光学像成像于摄像元件33上。
AFE12对从摄像元件33(各受光像素)输出的模拟信号进行放大，并将放大后的模拟信号变换为数字信号后输出到影像信号处理部13中。AFE12中的信号放大的放大率是通过CPU(Central Processing Unit)23控制的。影像信号处理部13对由AFE12的输出信号所表示的图像实施必要的图像处理，生成针对图像处理后的图像的影像信号。麦克风14将摄像装置1的周边音变换为模拟的声音信号，声音信号处理部15将该模拟的声音信号变换为数字的声音信号。
压缩处理部16利用规定的压缩方式压缩来自影像信号处理部13的影像信号及来自声音信号处理部15的声音信号。内部存储器17由DRAM(Dynamic Random Access Memory)等构成，暂时保存各种数据。作为记录介质的外部存储器18是半导体存储器或磁盘等非易失性存储器，记录由压缩处理部16压缩后的影像信号及声音信号。
扩展处理部19对从外部存储器18读出的压缩后的影像信号及声音信号进行扩展。由扩展处理部19扩展后的影像信号或来自影像信号处理部13的影像信号经由显示处理部20而发送到由液晶显示器等构成的显示部27中，并作为图像进行显示。另外，由扩展处理部19扩展后的声音信号经由声音输出电路21而发送到扬声器28中并作为声音进行输出。
TG(定时发生器)22生成用于控制摄像装置1整体中的各动作的定时的定时控制信号，并将生成的定时控制信号提供给摄像装置1内的各部。定时控制信号包括垂直同步信号Vsync和水平同步信号H sync。CPU23综合性控制摄像装置1内的各部分的动作。操作部26包括用于指示运动图像的摄影及记录的开始/结束的录像按钮26a、用于指示静止图像的摄影及记录的快门按钮26b、及操作键26c等，并接受用户进行的各种操作。针对操作部26的操作内容被传递到CPU23。
在摄像装置1的动作模式中含有摄影模式和再生模式，其中所述摄影模式下可摄影及记录图像(静止图像或运动图像)，所述再生模式下在显示部27上再生显示外部存储器18中记录的图像(静止图像或运动图像)。根据对操作键26c的操作来实施各模式间的转变。
在摄影模式下，以规定的帧周期周期性进行被摄物体的摄影，并依次取得被摄物体的摄影图像。将表示图像的数字影像信号称为“图像数据”。将与某一像素相对的图像数据称为“像素信号”。像素信号例如包括亮度信号及色差信号。由一个帧周期的图像数据表现一张图像。将由一个帧周期的图像数据表现的一张图像称为“帧图像”。此外，在本说明书中，单将图像数据称为“图像”。
摄像装置1具备如下的功能：通过图像处理生成与由上述纵向移动拍摄得到的图像类似的图像。如上述，所谓纵向移动拍摄是指，与以靠近摄像装置1的方式移动的移动体或以远离摄像装置1的方式移动的移动体对焦的移动拍摄。由于该图像处理有意地使图像包括模糊，故将由该功能生成的图像称为“输出模糊图像”。图2示出承担该功能的部分的框图。能够在图1的影像信号处理部13中预先设置图2的跟踪处理部51、比例尺变换部52及图像合成部53。能够在图1的内部存储器17中预先设置图2的缓存器54。
跟踪处理部51执行跟踪处理，所述跟踪处理在帧图像列中跟踪摄像装置1的被摄物体中所包括的某一关注被摄物体。所谓帧图像列是指，通过按帧周期进行周期性摄影而得到的在时间序列上排列的多个帧图像的集合。以下，将由跟踪处理应跟踪的关注被摄物体称为“跟踪对象”。将跟踪对象以外的被摄物体(例如地面或建筑物等静止物体)称为“背景”。
在跟踪处理中，基于帧图像列的图像数据依次检测各帧图像中的跟踪对象的位置及大小。首先，跟踪处理部51捕捉形成帧图像列的多个帧图像中的其中一个帧图像作为初始帧图像，并基于初始帧图像的图像数据来检测初始帧图像中的跟踪对象的位置及大小。
能够基于初始帧图像的图像数据来设定跟踪对象。例如，通过利用包括初始帧图像在内的多个帧图像进行基于背景差分法的移动体检测或基于帧间差分法的移动体检测，来检测帧图像列上的移动体并将该移动体设定为跟踪对象。又例如，基于初始帧图像的图像数据来检测初始帧图像上的人物的面部，利用面部检测结果将该人物设定为跟踪对象。
也能按照用户的指示来设定跟踪对象。例如，还能在使显示部27显示初始帧图像的状态下使用户指定应成为跟踪对象的被摄物体所表示的显示区域，并根据该指定内容来设定跟踪对象。
在某一关注帧图像中，将存在表示跟踪对象的图像数据的图像区域称为“跟踪对象区域(被摄物体区域)”，将除此之外的图像区域(即，存在表示背景的图像数据的图像区域)称为“背景区域”。因此，关注帧图像的整个图像区域被分类为跟踪对象区域和背景区域。跟踪对象区域包括跟踪对象且设定得尽量小。检测关注帧图像中的跟踪对象区域的位置及大小，与检测关注帧图像中的跟踪对象的位置及大小的意义相同。在应检测的跟踪对象区域的位置中含有跟踪对象区域的中心位置。故能够认为：在各帧图像中，跟踪对象区域的中心位置表示跟踪对象的位置，跟踪对象区域的大小表示跟踪对象的大小。
在检测出初始帧图像中的跟踪对象的位置及大小之后，跟踪处理部51将初始帧图像的摄影以后所拍摄到的各帧图像作为跟踪对象帧图像，并基于跟踪对象帧图像的图像数据来检测跟踪对象帧图像中的跟踪对象的位置及大小(即，检测跟踪对象帧中的跟踪对象区域的中心位置及大小)。
在以下的说明中，除非特别记载，帧图像都指应检测跟踪对象的位置及大小的初始帧图像或跟踪对象帧图像。另外，虽然跟踪对象区域的形状可以设为任意形状，但是在以下的说明中假设跟踪对象区域的形状为矩形。
能够按照下述方式执行第一及第二帧图像间的跟踪处理。其中，第一帧图像是指已经检测出跟踪对象的位置及大小的帧图像，第二帧图像是指即将要检测跟踪对象的位置及大小的帧图像。第二帧图像是在第一帧图像后拍摄到的帧图像。
例如，跟踪处理部51能够基于跟踪对象具有的图像特征来进行跟踪处理。图像特征包括亮度信息及颜色信息。更具体地说，例如在第二帧图像内设定推断出具有与跟踪对象区域大小相同程度的大小的跟踪框，一边在探索区域内依次变更跟踪框的位置，一边执行第二帧图像中的跟踪框内的图像的图像特征和第一帧图像中的跟踪对象区域内的图像的图像特征之间的相似性评价，并判断出在得到最大相似性的跟踪框的中心位置处存在第二帧图像中的跟踪对象区域的中心位置。与第二帧图像相对的探索区域是基于第一帧图像中的跟踪对象的位置进行设定的。通常，该探索区域被设为以第一帧图像中的跟踪对象的位置作为中心的矩形区域，探索区域的大小(图像尺寸)小于帧图像的整个图像区域的大小。
帧图像上的跟踪对象的大小会根据跟踪对象与摄像装置1之间的实际空间上的距离变化等而发生变化。因此，需要根据帧图像上的跟踪对象的大小来适当变更上述跟踪框的大小，该变更可通过利用公知的跟踪算法中所用到的被摄物体尺寸检测方法来实现。例如，在帧图像中，认为与预计存在跟踪对象的点充分远离的点处会出现背景，鉴于此，根据前者的点及后者的点的图像特征来分类前者的点与后者的点之间配置的各像素属于背景及跟踪对象中的哪一个。图像特征包括亮度信息及颜色信息。通过该分类推断跟踪对象的轮廓。此外，也可以根据公知的轮廓提取处理来推断跟踪对象的轮廓。并且，根据该轮廓推断跟踪对象的大小，并根据推断出的大小来设定跟踪框的大小。
由于跟踪框的大小表示应成为跟踪对象区域的图像区域的大小，故根据跟踪框的大小的设定能够检测帧图像中的跟踪对象的大小(换言之，检测跟踪对象区域的大小)。因此，通过上述跟踪处理能够检测各帧图像中的跟踪对象的位置及大小。将包括表示检测出的位置及大小的信息(换言之，表示跟踪对象区域的位置及大小的信息)在内的跟踪结果信息中所需的信息暂时存储在缓存器54中。存储在缓存器54中的跟踪结果信息根据需要提供给比例尺变换部52及图像合成部53。
此外，作为推断帧图像上的跟踪对象的位置及大小的方法，也能采用与上述方法不同的其他任意方法(例如，日本专利特开2004-94680号公报所述的方法或日本特开2009-38777号公报所述的方法)。
比例尺变换部52基于跟踪结果信息对关注帧图像实施比例尺变换。其中的比例尺变换是用于放大图像的线性变换或用于缩小图像的线性变换。用于放大图像的线性变换一般被称为“电子变焦(electronic zoom)”。比例尺变换是通过利用了插补的重采样而实现的。详细见后述，比例尺变换部52对关注帧图像实施利用了n种放大率或n种缩小率的比例尺变换，由此生成第1～第n比例尺变换图像。在此，n为2以上的整数。
以下，将用于放大图像的比例尺变换特别称为“放大比例尺变换”，将用于缩小图像的比例尺变换特别称为“缩小比例尺变换”。在放大比例尺变换中，图像水平方向的放大率和图像垂直方向的放大率相同(即，图像的纵横比在放大比例尺变换的前后是不变的)。在缩小比例尺变换中也同样。
图像合成部53基于跟踪结果信息对第1～第n比例尺变换图像和关注帧图像进行合成，来生成输出模糊图像。
参照图3及图4，对具体的输出模糊图像的生成方法进行说明。在图3及图4的具体例中，作为比例尺变换而实施放大比例尺变换。此外，在以下的说明中，有时通过附符号而省略或略记与该符号对应的名称。例如，在符号201是表示帧图像的符号的情况下，帧图像201和图像201是指相同的内容。另外，利用定义二维图像的二维坐标系上的坐标值(x，y)来表现二维图像上的任意位置。在本说明书中所述的全部图像除了特别标记之外都是二维图像。x及y分别表示二维图像的水平方向及垂直方向的坐标值。另外，跟踪对象区域等关注图像区域的大小例如通过图像上的该关注图像区域的面积来表现。
假设连续拍摄到的帧图像201～204。即，按照帧图像201、202、203及204的顺序进行的拍摄。因此，图像203紧前面拍摄到的图像是图像202，图像203接下来拍摄到的图像是图像204。通过对包括帧图像201～204在内的帧图像列的跟踪处理，从帧图像201～204中分别提取出跟踪对象区域211～214，并且检测出跟踪对象区域211～214的中心位置分别是(x1，y1)、(x2，y2)、(x3，y3)及(x4，y4)、跟踪对象区域211～214的大小分别是SIZE1、SIZE2、SIZE3及SIZE4。
在图3及图4的具体例子中，由于时间的经过及跟踪对象逐渐靠近摄像装置1，因而不等式“SIZE1＜SIZE2＜SIZE3＜SIZE4”成立。为了得到与跟踪对象对焦的纵向移动拍摄的效果，用户在取得帧图像203之前按下快门按钮26b。快门按钮26b的按下是指示静止图像摄影的操作。此时，帧图像203成为随着快门按钮26b的按下而应拍摄到的静止图像。将随着快门按钮26b的按下而应拍摄到的静止图像特别称为“基准图像(主图像)”。在本例中，帧图像203为基准图像。
在拍摄帧图像203或204之后，比例尺变换部52根据关于跟踪结果信息中所包括的跟踪对象区域的大小的信息，来判断拍摄帧图像203的时刻周边的跟踪对象区域的大小的变化方向。例如，在不等式“SIZE2＜SIZE3”成立的情况下判断出该变化方向为增加方向，在不等式“SIZE2＞SIZE3”成立的情况下判断出该变化方向为减小方向。又例如，在不等式“SIZE3＜SIZE4”成立的情况下判断出该变化方向为增加方向，在不等式“SIZE3＞SIZE4”成立的情况下判断出该变化方向为减小方向。此外，也可以基于三张以上的帧图像中的跟踪对象区域的大小来判断上述变化方向。
比例尺变换部52对帧图像203选择性实施放大比例尺变换或缩小比例尺变换。在判断出上述变化方向为增加方向的情况下对帧图像203实施放大比例尺变换，在判断出上述变化方向为减小方向的情况下对帧图像203实施缩小比例尺变换。在图3及图4所示的具体例子中，由于上述变化方向为增加方向，故选择对帧图像203执行放大比例尺变换。
另外，比例尺变换部52基于拍摄基准图像的时刻周边的跟踪对象区域的大小的变化量来计算上限放大率SAMAX或下限缩小率SBMAX。在对基准图像实施放大比例尺变换的情况下计算放大率SAMAX，在对基准图像实施缩小比例尺变换的情况下计算下限缩小率SBMAX。在图3及图4的具体例子中，由于对作为基准图像的帧图像203实施了放大比例尺变换，故计算出上限放大率SAMAX。
上限放大率SAMAX是根据SAMAX＝(SIZE3/SIZE2)×k或SAMAX＝(SIZE4/SIZE3)×k计算的。在不等式“SIZE2＞SIZE3”或“SIZE3＞SIZE4”成立的情况下所计算出的下限缩小率SBMAX是根据SBMAX＝(SIZE3/SIZE2)/k或SBMAX＝(SIZE4/SIZE3)/k计算的。在此，k是预先设定的1以上的系数，例如2。此外，也可以根据用户经由操作部26等的指定来确定上限放大率SAMAX或下限缩小率SBMAX。
在计算出上限放大率SAMAX之后，比例尺变换部52以0.05倍刻度来设定比等倍率大且在上限放大率SAMAX以下的放大率。例如，在上限放大率SAMAX为1.30倍的情况下，设定有6种放大率，即，1.05倍、1.10倍、1.15倍、1.20倍、1.25倍及1.30倍的放大率。由于利用设定的各放大率执行对基准图像的放大比例尺变换，故放大率的设定个数与由放大比例尺变换生成的比例尺变换图像的张数(即上述的n值)一致。放大率的值越大，则基于放大比例尺变换的图像的放大程度就越大。
此外，在计算出下限缩小率SBMAX的情况下，也同样地设定多个缩小率。即，在计算出下限缩小率SBMAX的情况下，以0.05倍刻度设定比等倍率小且在下限缩小率SBMAX以上的缩小率。例如，在下限缩小率SBMAX为0.80倍的情况下，设定有4种缩小率，即，0.95倍、0.90倍、0.85倍及0.80倍的缩小率。缩小率的值越小，则基于缩小比例尺变换的图像的缩小程度就越大。
现在，为了说明的具体化，假设上限放大率SAMAX在1.15倍以上且小于1.20倍的情况。此时，比例尺变换部52设定3种放大率，即，1.05倍、1.10倍及1.15倍。并且，如图4所示，通过以放大率1.05倍对帧图像203进行放大比例尺变换来生成比例尺变换图像203A，通过利用放大率1.10倍对帧图像203进行放大比例尺变换来生成比例尺变换图像203B，通过利用放大率1.15倍对帧图像203进行放大比例尺变换来生成比例尺变换图像203C。
放大比例尺变换按照放大比例尺变换前后的图像的图像尺寸(即，水平及垂直方向上的像素数)彼此相同、且比例尺变换图像上的跟踪对象区域的中心位置与比例尺变换图像的中心位置一致的方式来进行(缩小比例尺变换也同样)。
具体地说，比例尺变换图像203A～203C如下生成(参照图4)。在帧图像203内设定具有以位置(x3，y3)作为自身中心位置的矩形的提取框223，通过以放大率1.05倍对提取框223内的图像进行放大比例尺变换来生成比例尺变换图像203A。生成比例尺变换图像203A时的提取框223的大小在水平及垂直方向的每一个中都是帧图像203的大小的(1/1.05)倍。比例尺变换图像203B及203C分别是通过以放大率1.10倍及1.15倍对提取框223内的图像进行放大比例尺变换而生成的。其中，生成比例尺变换图像203B时的提取框223的大小在水平及垂直方向的每一个中都是帧图像203的大小的(1/1.10)倍，生成比例尺变换203C时的提取框223的大小在水平及垂直方向的每一个中都是帧图像203大小的(1/1.15)倍。
在图4中，矩形区域213A、213B及213C分别表示比例尺变换图像203A、203B及203C中的跟踪对象区域，位置(xA，yA)、(xB，yB)及(xC，yC)分别表示跟踪对象区域213A、213B及213C的中心位置。
虽然由比例尺变换部52生成的n张比例尺变换图像会通过图像合成部53来合成，但是在合成之前对各比例尺变换图像实施用于平行移动各比例尺变换图像的几何变换。将该几何变换称为“位置校正”。虽然也可以在比例尺变换部52中进行位置校正，但是在本实施方式中在图像合成部53中进行位置校正。
n张比例尺变换图像由第1～第n比例尺变换图像构成，由利用了第i放大率的放大比例尺变换而得到的比例尺变换图像是第i比例尺变换图像。在此，i为1以上n以下的整数，第(i+1)的放大率比第i放大率大。在图3及图4的具体例子中，第1、第2及第3放大率分别为1.05倍、1.10倍及1.15倍。
图像合成部53按照使第一比例尺变换图像上的跟踪对象区域的中心位置与在基准图像紧前面拍摄的帧图像上的跟踪对象区域的中心位置(xS，yS)一致、且第n比例尺变换图像上的跟踪对象区域的中心位置与基准图像上的跟踪对象区域的中心位置(xT，yT)一致的方式，对第1及第n比例尺变换图像进行位置校正。
针对第i比例尺变换图像的位置校正，是以随着变量i从1向n增大而位置校正后的跟踪对象区域的中心位置从位置(xS，yS)向位置(xT，yT)线性变化的方式进行的。因此，按照使第2、第3、…、第(n-1)比例尺变换图像上的跟踪对象区域的中心位置分别与位置(xS+1×(xT-xS)/(n-1)，yS+1×(yT-yS)/(n-1))、(xS+2×(xT-xS)/(n-1)，yS+2×(yT-yS)/(n-1))、…、(xS+(n-2)×(xT-xS)/(n-1)，yS+(n-2)×(yT-yS)/(n-1))一致的方式，实施针对第2～第(n-1)比例尺变换图像的位置校正。
在图3及图4的具体例子中，位置(xS，yS)及(xT，yT)分别为位置(x2，y2)及(x3，y3)，位置校正前的第1、第2及第3比例尺变换图像分别为图像203A、203B及203C。由符号203A’、203B’及203C’分别表示位置校正后的第1、第2及第3比例尺变换图像。于是，通过对图像203A实施使位置(xA，yA)上的像素向位置(x2，y2)上的像素平行移动的位置校正从而能得到图像203A’，通过对图像203B实施使位置(xB，yB)上的像素向位置((x2+x3)/2，(y2+y3)/2)上的像素平行移动的位置校正从而能得到图像203B’，通过对图像203C实施使位置(xC，yC)上的像素向位置(x3，y3)中的像素平行移动的位置校正从而能得到图像203C’。在图4中，矩形区域213A’、213B’及213C’分别表示位置校正后的比例尺变换图像203A’、203B’及203C’中的跟踪对象区域。
此外，在上述例子中，虽然在比例尺变换后执行了用于校正位置的几何变换，但是也可以通过将用于校正位置的几何变换预先包含在用于比例尺变换的线性变换中，来从帧图像203直接生成比例尺变换图像203A’、203B’及203C’。
图像合成部53通过对位置校正后的第1～第n比例尺变换图像进行合成来生成中间合成图像。该合成是通过将配置在同一位置上的像素的像素信号在位置校正后的第1～第n比例尺变换图像间进行混合而进行的。这种合成一般也被称为α混合。
在图3及图4的具体例子中，通过合成比例尺变换图像203A’、203B’及203C’能得到中间合成图像230。中间合成图像230中的位置(x3，y3)的像素信号，是通过对图像203A’、203B’及203C’中的位置(x3，y3)的像素信号进行单纯平均或者加权平均而生成的。对于位置(x3，y3)以外的像素信号也同样。
其后，图像合成部53通过将帧图像203的跟踪对象区域213内的图像嵌入合成到中间合成图像230中来生成输出模糊图像240。该嵌入合成是在使跟踪对象区域213上的中心位置(x3，y3)与中间合成图像230上的位置(x3，y3)一致的状态下进行的，通过将中间合成图像230内的以位置(x3，y3)为中心的一部分图像替换为跟踪对象区域213内的图像，从而生成了输出模糊图像240。因此，在输出模糊图像240的位置(x3，y3)上存在帧图像203的位置(x3，y3)的图像数据。
此外，根据帧图像203上的跟踪对象区域213的位置(x3，y3)，有时提取框223的一部分会从帧图像203的外形框中露出。在露出的部分的图像区域中不存在基于拍摄得到的图像数据。另外，在由上述位置校正得到的图像203A’～203C’间也不存在彼此对应的像素。对于不存在彼此对应的像素的图像区域而言，无法进行上述的像素信号的混合。在通过像素信号的混合生成中间合成图像时，能够忽略不存在图像数据的图像区域、及比例尺变换图像间不存在彼此对应的像素的图像区域。此时，中间合成图像及输出模糊图像的视野比基准图像的视野略小。
在图5～图8中示出与图3及图4对应的图像组的例子。图5的图像253是作为基准图像的帧图像203的例子，图6(a)～(c)的图像253A～253C分别表示比例尺变换图像203A～203C的例子。在图5中矩形263内的区域表示图像253中的跟踪对象区域，在图6(a)～(c)中矩形263A～263C内的区域表示图像253A～253C中的跟踪对象区域。图7的图像280是基于图像253A～253C的中间合成图像，图8的图像290是基于中间合成图像280和基准图像253的输出模糊图像。
通过利用多个放大率得到的多个比例尺变换图像的合成，在中间合成图像280中，在整个图像区域内产生从跟踪对象区域的中心向外侧的模糊。通过将无模糊的跟踪对象区域263内的图像嵌入到该中间合成图像280中，从而能够得到模糊只残留在背景区域内且与跟踪对象对焦的有身临其境之感的输出模糊图像290。上述处理内容也能够按下述方式来表现。通过将比例尺变换图像253A～253C的合成结果应用到基准图像253的背景区域内的图像中，使基准图像253的背景区域内的图像产生从跟踪对象区域的中心向外侧的模糊，由此生成输出模糊图像290。
虽然主要说明了进行放大比例尺变换的情况下的动作，但是在进行缩小比例尺变换的情况下也进行同样的动作。即，在进行缩小比例尺变换的情况下，对由缩小比例尺变换生成的第1～第n比例尺变换图像进行上述同样的位置校正。其中，在进行缩小比例尺变换的情况下，由利用第i缩小率的缩小比例尺变换所得到的比例尺变换图像为第i比例尺变换图像。在此，i为1以上n以下的整数，第(i+1)的缩小率比第i缩小率小。例如，在n＝3的情况下，第1、第2及第3缩小率分别为0.95倍、0.90倍及0.85倍。图像合成部53通过对利用缩小比例尺变换及位置校正所得到的第1～第n比例尺变换图像进行合成来生成中间合成图像，通过将基准图像的跟踪对象区域内的图像嵌入到该中间合成图像中来生成输出模糊图像。用于生成中间合成图像的合成方法及嵌入合成的方法与上述相同。
接着，参照图9对在摄影模式下生成输出模糊图像的动作的流程进行说明。图9是表示该动作流程的流程图。其中，与图9的流程图对应的动作以及与后述的图10及图11的流程图对应的动作，以作为比例尺变换进行放大比例尺变换且上限放大率SAMAX是基于跟踪结果信息导出的为前提。
首先，在步骤S11中，通过摄像部11的拍摄取得此次的帧图像。接着，在步骤S12中，通过对此次的帧图像进行跟踪处理从而取得跟踪结果信息，该跟踪结果信息被保存(存储)于缓存器54中。其后，在步骤S13中，CPU23判断是否按下了快门按钮26b。在快门按钮26b按下的情况下，将刚刚按下快门按钮26b后得到的最新的帧图像确定为基准图像(主图像)(步骤S14)，以后顺序执行步骤S15～S20的处理。另一方面，在未按下快门按钮26b的情况下，返回到步骤S11并反复执行步骤S11～S13的处理。
在步骤S15中，比例尺变换部52基于包括基准图像在内的相邻帧图像间的跟踪对象区域的大小的变化量(与图3的例子中的(SIZE3/SIZE2)或(SIZE4/SIZE3)对应)来计算上限放大率SAMAX，进而基于上限放大率SAMAX设定第1～第n放大率。并且，在步骤S16中，通过对基准图像实施利用了第1～第n放大率的放大比例尺变换来生成第1～第n比例尺变换图像。对得到的第1～第n比例尺变换图像实施上述位置校正，在步骤S17中，图像合成部53通过合成位置校正后的第1～第n比例尺变换图像来生成中间合成图像。其后，在步骤S18中，通过将基准图像的跟踪对象区域内的图像嵌入到中间合成图像中来生成输出模糊图像。
在步骤S19中，生成的输出模糊图像的图像数据被记录在外部存储器18中。此时，也可以将基准图像的图像数据记录在外部存储器18中。在记录图像数据之后，若有指示摄影结束的操作则结束图9的动作，若无该操作则返回到步骤S 11并反复执行步骤S 11以后的处理(步骤S20)。
也可以不是在摄影模式下生成输出模糊图像而是在再生模式下执行用于生成输出模糊图像的图像处理。此时，在摄影时按照图10的流程图预先记录必要的数据，再生时按照图11的流程图并根据记录数据来生成输出模糊图像。
按照图10的流程图对摄影模式下的动作进行说明。首先，依次执行步骤S11～S13的处理。这些处理内容与上述相同。
在步骤S13中按下了快门按钮26b的情况下，将刚刚按下快门按钮26b后得到的最新的帧图像确定为基准图像(主图像)(步骤S14)，接着执行步骤S30的处理。另一方面，在步骤S13中未按下快门按钮26b的情况下，在步骤S31中CPU23判断是否有向再生模式转移的转移指示。用户能够根据对操作部26的规定操作来进行该转移指示。在有向再生模式转移的转移指示的情况下，摄像装置1的动作模式从摄影模式变更为再生模式，接着执行图11所示的步骤S33的处理。另一方面，在没有向再生模式转移的转移指示的情况下，从步骤S31返回到步骤S11并反复执行步骤S11～S13的处理。包括图11所示的步骤S33处理的说明在内的再生模式下的动作说明在后面描述，首先进行步骤S30的处理说明。
在步骤S30中，基准图像的图像数据被记录在外部存储器18中。此时，用于根据基准图像生成输出模糊图像所需的信息(以下称为“关联记录信息”)预先与基准图像的图像数据建立关联地进行记录。建立关联的方法是任意的。例如，可以在外部存储器18中作成具有主体区域和首部区域的图像文件，将基准图像的图像数据存储在该图像文件的主体区域中，另一方面将关联记录信息存储在该图像文件的首部区域中。由于同一图像文件内的主体区域和首部区域是彼此建立关联后的记录区域，故通过这种存储，基准图像的图像数据和关联记录信息建立了关联。
应包括在关联记录信息中的信息，是存储在缓存器54中的与作为基准图像的帧图像及与该基准图像在时间上相邻的帧图像相应的跟踪结果信息、或基于该跟踪结果信息的信息。在基准图像为上述的帧图像203的情况下，例如将帧图像202及203的跟踪结果信息包括在关联记录信息中即可。
在步骤S30中的记录处理之后，若有指示摄影结束的操作则结束图10的动作，若无该操作则返回到步骤S11并反复执行步骤S11以后的处理(步骤S32)。
按照图11的流程图对再生模式下的动作进行说明。在从图10的步骤S31转移的步骤S33中，从外部存储器18读取基准图像的图像数据。读取出的基准图像的图像数据提供给图2的比例尺变换部52及图像合成部53，并且经由图1的显示处理部20提供给显示部27，在步骤S34中，在显示部27中显示基准图像。
其后，在步骤S35中，CPU23判断是否有相当于输出模糊图像的纵向移动拍摄图像的生成指示。用户能够根据针对操作部26的规定操作进行该生成指示。在无该生成指示的情况下返回到步骤S34中，在有该生成指示的情况下依次执行步骤S15～S18的处理。
步骤S15～S18的处理内容与参照图9所述的处理内容相同。其中，为了在再生模式下执行步骤S15～S18的处理所需的跟踪结果信息是从记录在外部存储器18上的关联记录信息中取得的。此外，在图10及图11所示的动作例子中，虽然在再生模式下进行了上限放大率SAMAX的计算及第1～第n放大率的设定，但是也可以在图10的步骤S30阶段计算上限放大率SAMAX并将上限放大率SAMAX预先包括在关联记录信息中，也可以在图10的步骤S30阶段设定第1～第n放大率并将第1～第n放大率预先包括在关联记录信息中。
在步骤S36中，由图11的步骤S18生成的输出模糊图像的图像数据被记录在外部存储器18中。也可以在删除基准图像的图像数据之后将输出模糊图像的图像数据记录在外部存储器18中，也可以不进行该删除而将输出模糊图像的图像数据记录在外部存储器18中。另外，在显示部27中显示所生成的输出模糊图像(步骤S37)。假设在由用户进行了用于变更上限放大率SAMAX的操作的情况下，也可以利用变更后的上限放大率SAMAX重新生成输出模糊图像。由此，能够一边确认影像一边如用户希望的那样使纵向移动拍摄的效果最优化。
此外，在图9～图11所示的动作例子中，虽然上限放大率SAMAX是基于跟踪对象区域的大小的变化量计算出的，但是如上述也可以由用户指定上限放大率SAMAX。另外，在图9～图11所示的动作例子中，虽然作为比例尺变换而假设进行了放大比例尺变换的情况，但是进行缩小比例尺变换的情况下的动作也同样。
根据本实施方式，不需要特别的摄影技术及特别的器材，能简单地取得具有纵向移动拍摄的效果的有身临其境之感的图像。
《第二实施方式》
对本发明第二实施方式的摄像装置进行说明。第二实施方式的摄像装置的整体构成与图1所示的整体构成相同。因此，第二实施方式的摄像装置也通过符号1来参照。第二实施方式相当于对第一实施方式的一部分进行变形后的实施方式。在第二实施方式中，关于不特别叙述的事项而言，第一实施方式的记载也适用于第二实施方式。
在第二实施方式中，取代进行多个比例尺变换图像的合成，而通过对基准图像进行与跟踪对象区域的大小变化及位置变化相应的滤波来使背景区域产生模糊。
图12示出用于生成第二实施方式的输出模糊图像的部分的框图。图12所示的跟踪处理部51及缓存器54与图2所示的内容相同。能够将图12的跟踪处理部51、图像劣化函数导出部62及滤波处理部63预先设置在图1的影像信号处理部13中。由摄影部11的拍摄得到的帧图像的图像数据提供给跟踪处理部51及滤波处理部63。
图像劣化函数导出部62(以下简称为“导出部62”)为了得到纵向移动拍摄效果，基于存储在缓存器54中的跟踪结果信息导出应作用于帧图像上的图像劣化函数。在滤波处理部63中，通过对帧图像实施与该图像劣化函数相应的滤波来生成输出模糊图像。
与第一实施方式同样地假设拍摄到图3所示的帧图像201～204，对导出部62及滤波处理部63的动作进行详细说明。与第一实施方式同样地，帧图像203是随着快门按钮26b的按下而应拍摄的静止图像、即基准图像(主图像)。
在导出部62中，任意的帧图像被作为被运算图像进行处理。并且，如图13所示，被运算图像的整个图像区域在水平方向及垂直方向上被分割为多个，从而被运算图像内设置有多个小块。现在，将水平方向及垂直方向的分割数分别设为P及Q(P及Q为2以上的整数)。各小块由二维排列的多个像素构成。另外，作为表示被运算图像内的小块的水平位置及垂直位置的记号而导入p及q(p为满足1≤p≤P的整数值，且q为满足1≤q≤Q的整数值)。P越大其水平位置越靠右，q越大其垂直位置越靠下。将水平位置为p、垂直位置为q的小块记为小块[p，q]。
导出部62基于包括基准图像在内的相邻图像间的跟踪对象区域的大小的变化量及位置的变化量，按每个小块导出图像劣化函数。在本例中，由于帧图像203为基准图像，故具体地说例如能够基于帧图像202及203间的跟踪对象区域的大小的变化量及位置的变化量导出各块的图像劣化函数。
如图14(a)及(b)所示，设定在帧图像202及203中的跟踪对象区域212及213为矩形区域，通过(x2A，y2A)、(x2B，y2B)、(x2C，y2C)及(x2D，y2D)来表示跟踪对象区域212的外形即矩形的四个顶点的位置，并且通过(x3A，y3A)、(x3B，y3B)、(x3C，y3C)及(x3D，y3D)来表示跟踪对象区域213的外形即矩形的四个顶点的位置。其中，x2A＝x2D＜x2B＝x2C、y2A＝y2B＜y2D＝y2C、x3A＝x3D＜x3B＝x3C、y3A＝y3B＜y3D＝y3C。图14(a)及(b)中的从左向右的方向对应于x坐标值的增加方向，图14(a)及(b)中的从上向下的方向对应于y坐标值的增加方向。这些顶点的位置也包括在跟踪结果信息中。
导出部62能够根据跟踪对象区域212的四个顶点的位置及跟踪对象区域213的四个顶点的位置导出各块的图像劣化函数。由于若可知跟踪对象区域的四个顶点的位置则能自动确定跟踪对象区域的大小，故可以说跟踪对象区域的四个顶点的位置包括表示跟踪对象区域的大小的信息。因此，可以说跟踪对象区域212的四个顶点的位置及跟踪对象区域213的四个顶点的位置不仅表示帧图像202及203间的跟踪对象区域的位置的变化量，还表示帧图像202及203间的跟踪对象区域的大小的变化量。
图15是在帧图像203上重叠图示帧图像203中的跟踪对象区域213和帧图像202中的跟踪对象区域212的图。矢量VECA是以位置(x2A，y2A)作为起点且以位置(x3A，y3A)作为终点的矢量，矢量VECB是以位置(x2B，y2B)作为起点且以位置(x3B，y3B)作为终点的矢量，矢量VECC是以位置(x2C，y2C)作为起点且以位置(x3C，y3C)作为终点的矢量，矢量VECD是以位置(x2D，y2D)作为起点且以位置(x3D，y3D)作为终点的矢量。
导出部62按每个小块求出图像劣化矢量。在不等式“SIZE2＜SIZE3”或“SIZE3＜SIZE4”成立且帧图像203的摄影时刻周边的跟踪对象区域的大小的变化方向为增加方向的情况下，对小块[p，q]求出具有从跟踪对象区域213的中心位置(x3，y3)朝向该小块[p，q]的中心位置的方向或与该方向大致相同的方向的图像劣化矢量。另一方面，在该变化方向为减小方向的情况下，对小块[p，q]求出从该小块[p，q]的中心位置朝向跟踪对象区域213的中心位置(x3，y3)的方向或与该方向大致相同的方向的图像劣化矢量。利用V[p，q]表示针对小块[p，q]的图像劣化矢量。
能够基于矢量VECA、VECB、VECC及VECD来确定各图像劣化矢量的大小。
具体地说，例如为了确定图像劣化矢量的大小，如图16所示利用通过位置(x3，y3)的水平线301及垂直线302，将帧图像203的整个图像区域分割为四块来设定四个图像区域311～314。水平线301及垂直线302分别是与帧图像203的水平方向及垂直方向平行的线。图像区域311、312、313及314分别为包括位置(x3A，y3A)上的像素、位置(x3B，y3B)上的像素、位置(x3C，y3C)上的像素及位置(x3D，y3D)上的像素在内的帧图像203的一部分图像区域。图像区域311位于水平线301的上侧且垂直线302的左侧，图像区域312位于水平线301的上侧且垂直线302的右侧，图像区域313位于水平线301的下侧且垂直线302的右侧，图像区域314位于水平线301的下侧且垂直线302的左侧。
并且，例如基于矢量VECA、VECB、VECC及VECD的大小分别确定属于图像区域311、312、313及314的小块的图像劣化矢量的大小。
例如，单纯地使属于图像区域311、312、313及314的小块的图像劣化矢量的大小与矢量VECA、VECB、VECC及VECD的大小一致。
或者，例如，也可以随着距位置(x3，y3)的距离的增大来增大图像劣化矢量的大小。即，在关注属于图像区域311的任意的小块的情况下，也可以随着关注小块的中心位置与位置(x3，y3)之间的距離dis的增大并以矢量VECA的大小|VECA|为基准来增大关注小块的图像劣化矢量的大小|V|。例如，根据|V|＝k1×|VECA|+k2×|VECA|×dis求出大小|V|(k1及k2为规定的正的系数)。对于属于图像区域312～314的小块的图像劣化矢量也是同样的。其中，属于图像区域312～314的小块的图像劣化矢量的大小分别以矢量VECB、VECC及VECD的大小为基准来确定。
图17(a)是在基准图像的例子即图像401上重叠了表示基准图像的摄影时刻周边的跟踪对象区域的大小的变化方向为增加方向的情况下所导出的各图像劣化矢量的图。图17(b)是在基准图像的例子即图像402上重叠了表示基准图像的摄影时刻周边的跟踪对象区域的大小的变化方向为减小方向的情况下所导出的各图像劣化矢量的图。图17(a)中的矩形区域411是图像401的跟踪对象区域本身或包括在图像401的跟踪对象区域中的区域，图17(b)中的矩形区域412是图像402的跟踪对象区域本身或包括在图像402的跟踪对象区域中的区域。虽然在后面进行叙述，但是由于在生成输出模糊图像时无需使区域411及412内的图像劣化，故未对区域411及412计算出图像劣化矢量。
将未计算出图像劣化矢量的小块特别称为“被摄物体块”，将除此以外的小块特别称为“背景块”。如上述的说明能够理解，在被摄物体块内存在表示跟踪对象的图像数据。虽然在背景块内主要存在背景的图像数据，但是在跟踪对象区域附近的背景块内也能存在表示跟踪对象的端部的图像数据。
因此，例如若帧图像203的跟踪对象区域213与小块[8，6]、[9，6]、[8，7]及[9，7]的合成区域一致、或是包括该合成区域且比该合成区域大的区域，则小块[8，6]、[9，6]、[8，7]及[9，7]成为被摄物体块，其他小块成为背景块。
若假设帧图像203的背景块[p，q]内的点像在帧图像203的曝光期间中，向图像劣化矢量V[p，q]的方向移动了图像劣化矢量V[p，q]的大小(例如匀速移动)，则该点像在帧图像203内成为模糊的像。将有意地包括该模糊在内的图像作为劣化图像。于是，可以认为劣化图像是通过基于图像劣化矢量的上述点像的移动使帧图像203劣化后的图像。表示该劣化过程的函数是作为图像劣化函数的一种的点扩展函数(PointSpread Function；以下称为PSF)。导出部62按每个背景块求出与图像劣化矢量相应的PSF以作为图像劣化函数。
在滤波处理部63中，通过按每个背景块对基准图像(在本例中为帧图像203)进行利用了PSF的卷积运算来生成输出模糊图像。实际上，在滤波处理部63中安装有用于使PSF作用于基准图像上的二维空间滤波器，在导出部62中按每个背景块根据PSF计算该空间滤波器的滤波器系数。滤波处理部63利用计算出的滤波器系数按每个背景块对基准图像进行空间滤波。通过该空间滤波而基准图像的背景块内的图像劣化，且在该基准图像的背景块内的图像中包括了上述的模糊。通过对基准图像(在本例中为帧图像203)实施空间滤波后得到的结果图像，作为输出模糊图像而从滤波处理部63中输出。
参照图18对在摄影模式下生成输出模糊图像的动作流程进行说明。图18是表示该动作流程的流程图。图18的流程图相当于将第一实施方式中的图9的步骤S11～S20内的步骤S15～S18替换为步骤S51及S52后的流程图。
因此，首先在摄影模式下执行与第一实施方式相同的步骤S11～S14的处理，在步骤S14中确定基准图像之后执行步骤S51及S52的处理。如上述，在步骤S51中，导出部62基于包括基准图像在内的相邻帧图像间的跟踪对象区域的大小的变化量及位置的变化量按每个小块导出图像劣化函数。接着，在步骤S52中，滤波处理部63通过对基准图像实施与在步骤S52中导出的图像劣化函数相应的滤波来生成输出模糊图像。其后，在步骤S19中，在外部存储器18中记录输出模糊图像的图像数据。此时，也可以将基准图像的图像数据记录在外部存储器18中。在记录图像数据之后，若有指示摄影结束的操作则结束图18的动作，若无该操作则返回到步骤S11中并反复执行步骤S11以后的处理(步骤S20)。
与将图9的动作变更为图10及图11的动作的程序同样，也可以不在摄影模式下生成输出模糊图像而在再生模式下执行用于生成输出模糊图像的图像处理。此时，也可以在摄影模式下将基准图像的图像数据和为了根据基准图像生成输出模糊图像所需的关联记录信息建立关联后记录在外部存储器18中，在再生模式下从外部存储器18中读取该关联记录信息及基准图像的图像数据后提供给导出部62及滤波处理部63。
关联记录信息的方式只要利用该关联信息能生成输出模糊图像就可以是任意的。例如，在帧图像203为基准图像的情况下，第二实施方式中的关联记录信息可以是帧图像202及203的跟踪结果信息本身，也可以是由该跟踪结果信息求出的表示图像劣化矢量的信息，还可以是与该图像劣化矢量相应的表示上述滤波系数的信息。
根据第二实施方式也能得到与第一实施方式同样的效果。
《第三实施方式》
对本发明的第三实施方式进行说明。基于外部存储器18的记录数据根据基准图像生成输出模糊图像的图像处理，也能够在与摄像装置不同的电子设备中实现(摄像装置也是电子设备的一种)。所谓与摄像装置不同的电子设备例如是指具备与显示部27相同的显示部，且能在该显示部上显示任意图像的个人计算机等的图像再生装置(未图示)。
此时，如第一或第二实施方式所述，在摄像装置1的摄影模式下将基准图像的图像数据及关联记录信息相互建立关联后预先记录在外部存储器18中。另一方面，例如在上述图像再生装置中设置图2的比例尺变换部52及图像合成部53，从而能够通过将记录在外部存储器18中的基准图像的图像数据及关联记录信息提供给图像再生装置内的比例尺变换部52及图像合成部53来生成输出模糊图像。或者，例如，在上述图像再生装置中设置图12的导出部62及滤波处理部63，从而能够通过将记录在外部存储器18中的基准图像的图像数据及关联记录数据提供给图像再生装置内的导出部62及滤波处理部63来生成输出模糊图像。能够在图像再生装置的显示部上显示由图像再生装置生成的输出模糊图像。
《第四实施方式》
对本发明的第四实施方式的摄像装置进行说明。第四实施方式的摄像装置的整体构成与图1所述的整体构成相同。因此，第四实施方式的摄像装置也由符号1来参照。第四实施方式相当于对第一实施方式的一部分进行变形后的方式。在第四实施方式中，关于不特别叙述的事项而言，第一实施方式的记载也适用于第四实施方式。
第四及后述的第五实施方式的摄像装置1能够根据对象输入图像生成与在第一实施方式中得到的输出模糊图像相同或类似的输出模糊图像。所谓对象输入图像是指通过快门按钮26b的按下而由摄像部11拍摄到的静止图像或者由用户指定的任意的静止图像。将作为对象输入图像的静止图像的图像数据预先记录在内部存储器17或外部存储器18中，并能够在需要时读取该图像数据。对象输入图像相当于第一实施方式中的基准图像(主图像)。
第四实施方式的摄像装置1具备图19的比例尺变换部52及图像合成部53，这些部件与图2所示的部件相同。参照图20对生成第四实施方式的输出模糊图像的动作流程进行说明。图20是表示该动作流程的流程图。依次执行步骤S101～S107的处理。步骤S101～S107的处理可以在摄影模式下执行，也可以在再生模式下执行。也可以在摄影模式下执行步骤S101～S107的处理内的一部分的处理，在再生模式下执行剩余的处理。
首先，在步骤S101中，取得对象输入图像的图像数据。在摄影模式下执行步骤S101时，对象输入图像是根据在步骤S101之前进行的快门按钮26b的按下而得到的一张帧图像，在再生模式下执行步骤S101时，对象输入图像是从外部存储器18或其他任意记录介质(未图示)中读取出的一张静止图像。
接着，在步骤S102中，CPU23设定模糊基准区域，并将该设定结果提供给比例尺变换部52(参照图19)。模糊基准区域是对象输入图像的整个图像区域的一部分，在步骤S102中设定了模糊基准区域的中心位置及大小。现在，在步骤S101中取得的对象输入图像为图21的图像503。对象输入图像503对应于图3的帧图像203。在图21中，矩形区域513为设定在对象输入图像503中的模糊基准区域，利用(x3’，y3’)表示模糊基准区域513的中心位置。
用户能够通过在摄像装置1中进行规定的中心位置设定操作来自由指定中心位置(x3’，y3’)，并且能够通过在摄像装置1中进行规定的大小设定操作来自由指定模糊基准区域513的大小(水平及垂直方向的大小)。中心位置设定操作及大小设定操作可以是对操作部26的操作，在显示部27具备触摸面板的情况下，中心位置设定操作及大小设定操作也可以是对该触摸面板的操作。利用了触摸面板的操作的实现也与操作部26有关，在本实施方式中，对操作部26的操作也包括利用了触摸面板的操作(在上述或后述的其他实施方式中也相同)。另外，用户也能够通过对操作部26的规定操作来自由指定模糊基准区域的形状。模糊基准区域513的形状也可以不是矩形，但是在此模糊基准区域513为矩形。
在对操作部26进行了指定模糊基准区域513的中心位置、大小及形状的全部或一部分的操作的情况下，能够根据该操作内容设定模糊基准区域513。其中，模糊基准区域513的中心位置可以预先确定为固定的位置(例如，对象输入图像503的中心位置)。同样，模糊基准区域513的大小及形状也可以预先确定为固定的大小及形状。
除了规定模糊基准区域513的信息之外，规定模糊量的信息也提供给图19的比例尺变换部52。模糊量是对应于第一实施方式中的“跟踪对象区域的大小的变化量”的量，并对输出模糊图像上的模糊的大小有影响。用户能够经由操作部26自由指定模糊量。或者，模糊量也可以是预先确定为固定的量。若模糊量被确定则自动确定了上限放大率SAMAX。因此，可以说第四实施方式中的上限放大率SAMAX是由用户指定的或者预先确定为固定的，也可以将上限放大率SAMAX本身作为模糊量。
在步骤S103中，比例尺变换部52根据给予的模糊量设定上限放大率SAMAX，并且基于上限放大率SAMAX设定第1～第n放大率。上限放大率SAMAX及第1～第n放大率的意义如第一实施方式所述。
在设定第1～第n放大率之后，通过步骤S104～S107的处理能够生成基于对象输入图像503的输出模糊图像540。参照图22对该生成方法进行说明。
现在，为了说明的具体化，假设上限放大率SAMAX在1.15倍以上且小于1.20倍的情况。此时，比例尺变换部52设定3种放大率，即，1.05倍、1.10倍及1.15倍。并且，如图22所示，通过以放大率1.05倍对对象输入图像503进行放大比例尺变换来生成比例尺变换图像503A，通过利用放大率1.10倍对对象输入图像503进行放大比例尺变换来生成比例尺变换图像503B，通过利用放大率1.15倍对对象输入图像503进行放大比例尺变换来生成比例尺变换图像503C。
用于生成比例尺变换图像503A、503B及503C的放大比例尺变换是以对象输入图像503的中心O为基准进行的。即，在对象输入图像503内设定自身中心配置在中心O上的矩形提取框523，通过以放大率1.05倍对提取框523内的图像进行放大比例尺变换来生成比例尺变换图像503A。生成比例尺变换图像503A时的提取框523的大小在水平及垂直方向的每一个中都是对象输入图像503的大小的(1/1.05)倍。比例尺变换图像503B及503C分别是通过以放大率1.10倍及1.15倍对提取框523内的图像进行放大比例尺变换而生成的。其中，生成比例尺变换图像503B时的提取框523的大小在水平及垂直方向的每一个中都是对象输入图像503的大小的(1/1.10)倍，生成比例尺变换503C时的提取框523的大小在水平及垂直方向的每一个中都是对象输入图像503大小的(1/1.15)倍。
在图22中，矩形区域513A、513B及513C分别表示比例尺变换图像503A、503B及503C中的模糊基准区域，位置(xA’，yA’)、(xB’，yB’)及(xC’，yC’)分别表示模糊基准区域513A、513B及513C的中心位置。
虽然比例尺变换图像503A、503B及503C会通过图像合成部53进行合成，但是在合成之前对各比例尺变换图像实施用于平行移动各比例尺变换图像的几何变换。将该几何变换与第一实施方式同样地称为“位置校正”。虽然在图像合成部53中进行位置校正，但是也可以在比例尺变换部52中进行位置校正。
n张比例尺变换图像由第1～第n比例尺变换图像构成，由利用了第i放大率的放大比例尺变换所得到的比例尺变换图像是第i比例尺变换图像。在此，i为1以上n以下的整数，第(i+1)的放大率比第i放大率大。在图22的具体例子中，第1、第2及第3放大率分别为1.05倍、1.10倍及1.15倍。在步骤S104中进行如下处理：通过利用了第1～第n放大率的放大比例尺变换，得到作为第1～第n比例尺变换图像的图像503A、503B及503C的处理。
在步骤S104或S105中，图像合成部53进行使第i比例尺变换图像上的模糊基准区域的中心位置向位置(x3’，y3’)平行移动的位置校正。即，图像合成部53通过对比例尺变换图像503A实施比例尺变换图像503A上的位置(xA’，yA’)的像素向位置(x3’，y3’)的像素平行移动的位置校正来生成位置校正后的比例尺变换图像503A’。同样地，通过对比例尺变换图像503B实施比例尺变换图像503B上的位置(xB’，yB’)的像素向位置(x3’，y3’)的像素平行移动的位置校正来生成位置校正后的比例尺变换图像503B’，通过对比例尺变换图像503C实施比例尺变换图像503C上的位置(xC’，yC’)的像素向位置(x3’，y3’)的像素平行移动的位置校正来生成位置校正后的比例尺变换图像503C’。在图22中，矩形区域513A’、513B’及513C’分别表示比例尺变换图像503A’、503B’及503C’中的模糊基准区域。
此外，在上述的例子中，虽然在比例尺变换之后执行了用于校正位置的几何变换，但是也可以通过将用于校正位置的几何变换预先包括在用于比例尺变换的线性变换中，来从对象输入图像中直接生成比例尺变换图像503A’、503B’及503C’。另外，在位置(x3’，y3’)与中心位置O一致的情况下，不需要进行上述位置校正(换言之，在位置(x3’，y3’)与中心O的位置一致的情况下，图像503A、503B及503C分别与图像503A’、503B’及503C’相同)。
在步骤S105中，图像合成部53利用与第一实施方式相同的方法，通过合成位置校正后的第1～第n比例尺变换图像来生成中间合成图像。在图22的具体例子中，通过合成比例尺图像503A’、503B’及503C’能够得到中间合成图像530。中间合成图像530中的位置(x3’，y3’)的像素信号是通过对图像503A’、503B’及503C’中的位置(x3’，y3’)的像素信号进行单纯平均或加权平均而生成的。对于位置(x3’，y3’)以外的像素信号而言也同样。
在步骤S106中，图像合成部53利用与第一实施方式同样的方法通过将对象输入图像503的模糊基准区域513内的图像嵌入合成到中间合成图像530中来生成输出模糊图像540。该嵌入合成是在使模糊基准区域513上的中心位置(x3’，y3’)与中间合成图像530上的位置(x3’，y3’)一致的状态下进行的，通过将中间合成图像530内的以位置(x3’，y3’)为中心的一部分图像替换为跟踪对象区域513内的图像，从而生成了输出模糊图像540。因此，在输出模糊图像540的位置(x3’，y3’)上存在对象输入图像503的位置(x3’，y3’)的图像数据。
在步骤S107中，所生成的输出模糊图像540的图像数据被记录在外部存储器18中。此时，对象输入图像503的图像数据也可以记录在外部存储器18中。
虽然通过利用了放大比例尺变换的图20的处理，能够生成与以靠近摄像装置1的方式移动的移动体对焦的具有纵向移动拍摄效果的输出模糊图像，但是也能代替放大比例尺变换而利用缩小比例尺变换。此时，在步骤S103中替代上限放大率SAMAX及第1～第n放大率而基于模糊量设定下限缩小率SBMAX及第1～第n缩小率，在步骤S104中通过利用了第1～第n缩小率的缩小比例尺变换生成第1～第n比例尺变换图像。在第一实施方式中所述的利用缩小比例尺变换生成输出模糊图像的方法也适用于本实施方式。用户能够经由操作部26指定利用放大比例尺变换来生成输出模糊图像或是利用缩小比例尺变换来生成输出模糊图像。
根据本实施方式也能得到与第一实施方式相同的效果。即，若对象输入图像为图5的图像253，则能够从图像253中生成与图8的输出模糊图像290相同的输出模糊图像。进而，根据本实施方式，能够由一张图像生成这样的输出模糊图像。
《第五实施方式》
对本发明的第五实施方式进行说明。第五实施方式的摄像装置的整体构成与图1所示的整体构成相同。因此，第五实施方式的摄像装置也由符号1参照。在第五实施方式中，关于未特别叙述的事项而言，第一、第二及第四实施方式的记载也适用于第五实施方式。
第五实施方式的摄像装置1利用与第二实施方式所述的方法类似的方法从对象输入图像中生成输出模糊图像。在第五实施方式的摄像装置1中具备图23的图像劣化函数导出部62及滤波处理部63，这些部件与图12所示的部件相同。
在第五实施方式中，第四实施方式所述的规定模糊基准区域及模糊量的信息被提供给导出部62。模糊基准区域及模糊量的设定方法如第四实施方式所述。现在，为了说明的具体化，与第四实施方式的具体例子同样地，对象输入图像及模糊基准区域分别为对象输入图像503及模糊基准区域513，并假设模糊基准区域513的中心位置为位置(x3’，y3’)(参照图21)。
如第二实施方式所述，在作为被运算图像的对象输入图像503的整个图像区域内设定有多个小块(参照图13)。导出部62基于规定模糊基准区域及模糊量的信息按每个小块导出图像劣化函数。如图24所示，成为小块[p，q]的图像劣化函数的基础的图像劣化矢量V[p，q]具有从位置(x3’，y3’)朝向小块[p，q]的中心位置的方向。因此，若图17(a)的图像401为对象输入图像503，则能导出如图17(a)的多个箭头所示的多个图像劣化矢量。在此，对矩形区域411实施图像劣化矢量的导出。在图17(a)的图像401为对象输入图像503的情况下，矩形区域411为模糊基准区域513本身及包括在模糊基准区域513中的区域。
与第二实施方式同样地，将未计算出图像劣化矢量的小块特别称为“被摄物体块”，将除此以外的小块特别称为“背景块”。因此，例如若对象输入图像503的模糊基准区域513与小块[8，6]、[9，6]、[8，7]及[9，7]的合成区域一致、或者是包括该合成区域且比该合成区域稍大的区域，则小块[8，6]、[9，6]、[8，7]及[9，7]成为被摄物体块，其他小块成为背景块。所有背景块的合成区域相当于背景区域。
能够基于所设定的模糊量确定各背景块的图像劣化矢量的大小。各背景块的图像劣化矢量的大小随着所设定的模糊量的增大而增大。
此时，能够在所有背景块间将图像劣化矢量的大小设为相同。或者，也可以随着距位置(x3’，y3’)的距离的增大来增大图像劣化矢量的大小。即，随着关注背景块的中心位置与位置(x3’，y3’)之间的距离dis’的增大，以所设定的模糊量的大小为基准来增大关注背景块的图像劣化矢量的大小。再或者，在利用操作部26由用户指定各背景块的模糊量的情况下，也可以基于各背景块的模糊量按每个背景块来确定图像劣化矢量的大小。
导出部62按每个背景块求出与图像劣化矢量相应的PSF来作为图像劣化函数，滤波处理部63通过按每个背景块对对象输入图像进行利用了PSF的卷积运算来生成输出模糊图像。利用按各背景块的图像劣化矢量由对象输入图像生成输出模糊图像的方法，与第二实施方式所述的利用按各背景块的图像劣化矢量由基准图像生成输出模糊图像的方法相同。在将第二实施方式的记载应用于本实施方式的情况下，也可以将第二实施方式中的帧图像203或基准图像替换为对象输入图像503。
参照图25对生成第五实施方式的输出模糊图像的动作流程进行说明。图25是表示该动作流程的流程图。依次执行步骤S121～S125的处理。步骤S121～S125的处理也可以在摄影模式下执行，也可以在再生模式下执行。也可以在摄影模式下执行步骤S121～S125的处理内的一部分处理，在再生模式下执行剩余的处理。
步骤S121及S122的处理与图20的步骤S101及S102相同。即，在步骤S121中取得对象输入图像的图像数据，在步骤S122中CPU23基于经由操作部26的用户的指定内容来设定模糊基准区域或者基于预先确定为固定的内容来设定模糊基准区域。在该设定内容中包括模糊基准区域的中心位置、大小及形状。
在步骤S123中，导出部62基于经由操作部26由用户指定的模糊量或预先确定为固定的模糊量、和在步骤S122中设定的内容，按每个背景块导出图像劣化函数。接着，在步骤S124中，滤波处理部63通过对对象输入图像实施与在步骤S123中导出的图像劣化函数相应的滤波来生成输出模糊图像。其后，在步骤S125中，输出模糊图像的图像数据被记录在外部存储器18中。此时，对象输入图像的图像数据也可以记录在外部存储器18中。
在上述的具体例子中，生成了与以靠近摄像装置1的方式移动的移动体对焦的输出模糊图像(以下称为“第一输出模糊图像”)，但是也能够生成与以远离摄像装置1的方式移动的移动体对焦的输出模糊图像(以下称为“第二输出模糊图像”)。在生成第二输出模糊图像时，只要使背景块的图像劣化矢量的方向与生成第一输出模糊图像的情况下的方向相反即可。用户能够利用操作部26指定生成第一及第二输出模糊图像的任一个。
如上述，通过按照与连接模糊基准区域的位置及关注背景块的位置间的方向平行的方式设定关注背景块的图像劣化矢量的方向，从而在输出模糊图像上产生从模糊基准区域发出或朝向基准区域的模糊，能得到将模糊基准区域内的被摄物体作为移动体的纵向移动拍摄效果。即，根据第五实施方式也能得到与第四实施方式相同的效果。
《第六实施方式》
对本发明的第六实施方式进行说明。由对象输入图像生成输出模糊图像的图像处理也能够在与摄像装置不同的电子设备中实现(摄像装置也是电子设备的一种)。所谓与摄像装置不同的电子设备例如是指具备与显示部27相同的显示部且能在该显示部上显示任意图像的个人计算机等的图像再生装置(未图示)。
例如在上述图像再生装置中设置图9的比例尺变换部52及图像合成部53，从而能够通过将记录在外部存储器18中的对象输入图像的图像数据提供给图像再生装置内的比例尺变换部52及图像合成部53来生成输出模糊图像。又例如，在上述图像再生装置中设置图23的导出部62及滤波处理部63，从而能够通过将记录在外部存储器18中的对象输入图像的图像数据提供给图像再生装置内的导出部62及滤波处理部63来生成输出模糊图像。能够在图像再生装置的显示部上显示由图像再生装置生成的输出模糊图像。若将与操作部26等同的操作部设置在上述图像再生装置中，则用户能够经由该操作部指定模糊基准区域及模糊量。
在上述说明书中所示的具体数值指示例示，当然也能够将这些数值变更为各种数值。
能够通过硬件或硬件和软件的组合来构成图1的摄像装置1。特别是，跟踪处理部51、比例尺变换部52、图像合成部53、导出部62及滤波处理部63的功能能够只通过硬件来实现，也能够只通过软件来实现，还能够通过硬件和软件的组合来实现。也可以通过将这些功能的全部或一部分记述为程序并在程序执行装置(例如，计算机)中执行该程序来实现该功能的全部或一部分。

Claims (20)

1.一种图像处理装置，利用在互不相同的时刻进行摄影而得到的主图像及副图像来生成输出图像，其特征在于，
所述图像处理装置具备被摄物体检测部，所述被摄物体检测部从所述主图像及所述副图像中分别检测特定被摄物体，并且检测所述主图像上的所述特定被摄物体的位置及大小和所述副图像上的所述特定被摄物体的位置及大小，
所述图像处理装置基于所述主图像及所述副图像间的所述特定被摄物体的位置变化及大小变化，使所述主图像产生模糊以生成所述输出图像。
2.根据权利要求1所述的图像处理装置，其特征在于，还具备：
比例尺变换部，其基于所述副图像及所述主图像间的所述特定被摄物体的大小变化，对所述主图像进行利用了多个放大率或多个缩小率的比例尺变换来生成多个比例尺变换图像；和
图像合成部，其基于所述主图像及副图像上的所述特定被摄物体的位置，对所述多个比例尺变换图像进行合成，并将合成结果应用到所述主图像中来产生所述模糊。
3.根据权利要求1所述的图像处理装置，其特征在于，
将所述主图像的整个图像区域分类为存在所述特定被摄物体的图像数据的被摄物体区域和除此以外的背景区域，基于所述主图像及所述副图像间的所述特定被摄物体的位置变化及大小变化，使所述主图像的所述背景区域内的图像产生模糊来生成所述输出图像。
4.根据权利要求2所述的图像处理装置，其特征在于，
所述图像合成部基于所述主图像及副图像上的所述特定被摄物体的位置对所述多个比例尺变换图像进行合成，并将合成结果应用到所述主图像的所述背景区域内的图像中来产生所述模糊。
5.根据权利要求2所述的图像处理装置，其特征在于，
所述比例尺变换部，在基于所述副图像及所述主图像间的所述特定被摄物体的大小变化判断为图像上的所述特定被摄物体的大小随着时间经过而增大时，利用所述多个放大率进行所述多个比例尺变换图像的生成，或者，在基于所述副图像及所述主图像间的所述特定被摄物体的大小变化判断为图像上的所述特定被摄物体的大小随着时间经过而减小时，利用所述多个缩小率进行所述多个比例尺变换图像的生成。
6.根据权利要求2所述的图像处理装置，其特征在于，
所述比例尺变换部基于所述副图像及所述主图像间的所述特定被摄物体的大小的变化量导出上限放大率或下限缩小率，
在导出了所述上限放大率的情况下，将从等倍率到所述上限放大率之间的互不相同的多个变换率设定为所述多个放大率，
在导出了所述下限缩小率的情况下，将从等倍率到所述下限缩小率之间的互不相同的多个变换率设定为所述多个缩小率。
7.根据权利要求6所述的图像处理装置，其特征在于，
在导出了所述上限放大率的情况下，作为所述多个放大率而设定第1～第n放大率，其中n为2以上的整数，
第(i+1)放大率比第i放大率大，其中i为1以上且(n-1)以下的整数，
所述被摄物体检测部检测所述主图像上的所述被摄物体区域的中心位置及所述副图像上的所述被摄物体区域的中心位置，来作为所述主图像上的所述特定被摄物体的位置及所述副图像上的所述特定被摄物体的位置，
所述比例尺变换部通过利用了第1～第n放大率的所述比例尺变换生成第1～第n比例尺变换图像，来作为所述多个比例尺变换图像，
所述图像合成部，按照使第1比例尺变换图像上的所述特定被摄物体的中心位置与在所述主图像前拍摄到的图像即所述副图像上的所述特定被摄物体的中心位置一致、使第n比例尺变换图像上的所述特定被摄物体的中心位置与所述主图像上的所述特定被摄物体的中心位置一致、且使第2～第(n-1)比例尺变换图像上的所述特定被摄物体的中心位置配置在所述副图像上的所述特定被摄物体的中心位置与所述主图像上的所述特定被摄物体的中心位置之间的方式，对所述第1～第n比例尺变换图像进行位置校正后合成所述第1～第n比例尺变换图像。
8.根据权利要求6所述的图像处理装置，其特征在于，
在导出了所述下限缩小率的情况下，作为所述多个缩小率而设定第1～第n缩小率，其中n为2以上的整数，
第(i+1)缩小率比第i缩小率小，其中i为1以上且(n-1)以下的整数，
所述被摄物体检测部检测所述主图像上的所述被摄物体区域的中心位置及所述副图像上的所述被摄物体区域的中心位置，来作为所述主图像上的所述特定被摄物体的位置及所述副图像上的所述特定被摄物体的位置，
所述比例尺变换部通过利用了第1～第n缩小率的所述比例尺变换生成第1～第n比例尺变换图像，来作为所述多个比例尺变换图像，
所述图像合成部，按照使第1比例尺变换图像上的所述特定被摄物体的中心位置与在所述主图像前拍摄到的图像即所述副图像上的所述特定被摄物体的中心位置一致、使第n比例尺变换图像上的所述特定被摄物体的中心位置与所述主图像上的所述特定被摄物体的中心位置一致、且使第2～第(n-1)比例尺变换图像上的所述特定被摄物体的中心位置配置在所述副图像上的所述特定被摄物体的中心位置与所述主图像上的所述特定被摄物体的中心位置之间的方式，对所述第1～第n比例尺变换图像进行位置校正后合成所述第1～第n比例尺变换图像。
9.根据权利要求1所述的图像处理装置，其特征在于，
该图像处理装置还具备：
图像劣化函数导出部，其将所述主图像的背景区域分割为多个小块，基于所述主图像及所述副图像间的所述特定被摄物体的位置变化及大小变化，按每个所述小块导出用于使所述小块内的图像产生模糊的图像劣化函数；和
滤波处理部，其按每个所述小块对所述小块内的图像实施与所述图像劣化函数相应的滤波来生成所述输出图像；
所述背景区域是存在所述特定被摄物体的图像数据的图像区域以外的图像区域。
10.一种图像处理装置，使输入图像产生模糊来生成输出图像，其特征在于，具备：
比例尺变换部，其对所述输入图像进行利用了多个放大率或多个缩小率的比例尺变换来生成多个比例尺变换图像；和
图像合成部，其合成所述多个比例尺变换图像，并通过将合成结果应用到所述输入图像中来产生所述模糊。
11.根据权利要求10所述的图像处理装置，其特征在于，
所述图像合成部通过对合成图像和所述输入图像的基准区域内的图像进行合成来生成所述输出图像，所述合成图像通过合成所述多个比例尺变换图像而得到，
所述输入图像上的所述基准区域的位置是经由操作部指定的位置或预先确定的位置。
12.根据权利要求10所述的图像处理装置，其特征在于，
所述比例尺变换部基于经由操作部指定的模糊量或预先确定的模糊量来设定所述多个放大率或所述多个缩小率。
13.一种图像处理装置，使输入图像产生模糊以生成输出图像，其特征在于，具备：
图像劣化函数导出部，其将所述输入图像的背景区域分割为多个小块，按每个所述小块导出用于使所述小块内的图像产生模糊的图像劣化函数；和
滤波处理部，其按每个所述小块对所述小块内的图像实施与所述图像劣化函数相应的滤波来生成所述输出图像；
所述输入图像的整个图像区域由所述背景区域和基准区域构成，
按每个所述小块的所述图像劣化函数是与连接所述基准区域的位置和该小块的方向的图像劣化矢量相应的图像劣化函数。
14.根据权利要求13所述的图像处理装置，其特征在于，
所述输入图像上的所述基准区域的位置是经由操作部指定的位置或预先确定的位置。
15.一种摄像装置，其特征在于，具备：
权利要求1所述的图像处理装置；和
摄像部，其拍摄应提供给所述图像处理装置的主图像及副图像。
16.一种摄像装置，其特征在于，具备：
权利要求10所述的图像处理装置；和
摄像部，其拍摄应提供给所述图像处理装置的输入图像。
17.一种摄像装置，其特征在于，具备：
权利要求13所述的图像处理装置；和
摄像部，其拍摄应提供给所述图像处理装置的输入图像。
18.一种图像再生装置，其特征在于，具备：
权利要求1所述的图像处理装置；和
显示部，其显示由所述图像处理装置生成的输出图像。
19.一种图像再生装置，其特征在于，具备：
权利要求10所述的图像处理装置；和
显示部，其显示由所述图像处理装置生成的输出图像。
20.一种图像再生装置，其特征在于，具备：
权利要求13所述的图像处理装置；和
显示部，其显示由所述图像处理装置生成的输出图像。
CN201010163973.9A 2009-04-16 2010-04-16 图像处理装置、摄像装置及图像再生装置 Pending CN101867723A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-099535 2009-04-16
JP2009099535 2009-04-16
JP2010085177A JP2010268441A (ja) 2009-04-16 2010-04-01 画像処理装置、撮像装置及び画像再生装置
JP2010-085177 2010-04-01

Publications (1)

Publication Number Publication Date
CN101867723A true CN101867723A (zh) 2010-10-20

Family

ID=42959264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010163973.9A Pending CN101867723A (zh) 2009-04-16 2010-04-16 图像处理装置、摄像装置及图像再生装置

Country Status (3)

Country Link
US (1) US20100265353A1 (zh)
JP (1) JP2010268441A (zh)
CN (1) CN101867723A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927767A (zh) * 2014-04-18 2014-07-16 北京智谷睿拓技术服务有限公司 图像处理方法及图像处理装置
CN104240180A (zh) * 2014-08-08 2014-12-24 沈阳东软医疗系统有限公司 一种实现图像自动调整的方法及装置
CN106506965A (zh) * 2016-11-29 2017-03-15 努比亚技术有限公司 一种拍摄方法及终端
CN107409166A (zh) * 2015-04-10 2017-11-28 高通股份有限公司 摇摄镜头的自动生成
CN108108733A (zh) * 2017-12-19 2018-06-01 北京奇艺世纪科技有限公司 一种新闻字幕检测方法及装置
CN108616687A (zh) * 2018-03-23 2018-10-02 维沃移动通信有限公司 一种拍照方法、装置和移动终端
CN110800287A (zh) * 2018-05-30 2020-02-14 深圳市大疆创新科技有限公司 移动体、图像生成方法、程序以及记录介质
CN113460076A (zh) * 2020-03-30 2021-10-01 本田技研工业株式会社 车辆控制装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5300756B2 (ja) * 2010-02-05 2013-09-25 キヤノン株式会社 撮像装置及び画像処理方法
JP5471794B2 (ja) * 2010-05-10 2014-04-16 富士通株式会社 情報処理装置、画像送信プログラム及び画像表示方法
WO2013047405A1 (ja) * 2011-09-30 2013-04-04 富士フイルム株式会社 画像処理装置及び方法、並びにプログラム
US9338354B2 (en) * 2011-10-03 2016-05-10 Nikon Corporation Motion blur estimation and restoration using light trails
KR101896026B1 (ko) * 2011-11-08 2018-09-07 삼성전자주식회사 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법
JP6120169B2 (ja) 2012-07-25 2017-04-26 パナソニックＩｐマネジメント株式会社 画像編集装置
JP6153318B2 (ja) * 2012-11-30 2017-06-28 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
CN104919791A (zh) * 2013-01-09 2015-09-16 索尼公司 图像处理设备、图像处理方法以及程序
US9432575B2 (en) * 2013-06-28 2016-08-30 Canon Kabushiki Kaisha Image processing apparatus
US10944917B2 (en) * 2013-09-16 2021-03-09 Kyle L. Baltz Camera and image processing method
JP6191421B2 (ja) * 2013-12-02 2017-09-06 富士通株式会社 画像表示制御プログラム、情報処理システム、及び画像表示制御方法
JP6057386B2 (ja) * 2014-08-06 2017-01-11 日本電気株式会社 画像生成システム、及び合成画像出力方法
US10091432B2 (en) 2015-03-03 2018-10-02 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof and storage medium storing control program therefor
CN105100616B (zh) * 2015-07-27 2021-02-19 联想(北京)有限公司 一种图像处理方法及电子设备
JP6762737B2 (ja) 2016-03-10 2020-09-30 キヤノン株式会社 画像処理装置
JP7026450B2 (ja) * 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6543859B1 (ja) * 2018-03-22 2019-07-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
KR102597518B1 (ko) * 2019-02-20 2023-11-03 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
JP7201554B2 (ja) * 2019-08-08 2023-01-10 Kddi株式会社 人物検知装置、方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141512A (ja) * 1997-07-24 1999-02-12 Olympus Optical Co Ltd 画像処理装置
JP3861641B2 (ja) * 2001-09-17 2006-12-20 カシオ計算機株式会社 画像合成装置、画像合成方法及びプログラム
JP2006080844A (ja) * 2004-09-09 2006-03-23 Nikon Corp 電子カメラ
JP2006092156A (ja) * 2004-09-22 2006-04-06 Namco Ltd プログラム、情報記憶媒体及び画像生成装置
CN100366050C (zh) * 2005-03-11 2008-01-30 华亚微电子（上海）有限公司 一种图像缩放方法及图像缩放器系统
JP4762089B2 (ja) * 2006-08-31 2011-08-31 三洋電機株式会社 画像合成装置及び方法並びに撮像装置
JP4832349B2 (ja) * 2007-03-30 2011-12-07 三洋電機株式会社 デジタルカメラ
JP4561845B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置と画像処理プログラム
JP4720859B2 (ja) * 2008-07-09 2011-07-13 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927767A (zh) * 2014-04-18 2014-07-16 北京智谷睿拓技术服务有限公司 图像处理方法及图像处理装置
US10123024B2 (en) 2014-04-18 2018-11-06 Beijing Zhigu Rui Tuo Tech Co., Ltd Image processing methods and image processing apparatuses
CN104240180A (zh) * 2014-08-08 2014-12-24 沈阳东软医疗系统有限公司 一种实现图像自动调整的方法及装置
CN107409166A (zh) * 2015-04-10 2017-11-28 高通股份有限公司 摇摄镜头的自动生成
CN106506965A (zh) * 2016-11-29 2017-03-15 努比亚技术有限公司 一种拍摄方法及终端
CN108108733A (zh) * 2017-12-19 2018-06-01 北京奇艺世纪科技有限公司 一种新闻字幕检测方法及装置
CN108616687A (zh) * 2018-03-23 2018-10-02 维沃移动通信有限公司 一种拍照方法、装置和移动终端
CN110800287A (zh) * 2018-05-30 2020-02-14 深圳市大疆创新科技有限公司 移动体、图像生成方法、程序以及记录介质
CN110800287B (zh) * 2018-05-30 2021-09-28 深圳市大疆创新科技有限公司 移动体、图像生成方法、程序以及记录介质
CN113460076A (zh) * 2020-03-30 2021-10-01 本田技研工业株式会社 车辆控制装置

Also Published As

Publication number Publication date
US20100265353A1 (en) 2010-10-21
JP2010268441A (ja) 2010-11-25

Similar Documents

Publication Publication Date Title
CN101867723A (zh) 图像处理装置、摄像装置及图像再生装置
CN103002210B (zh) 图像处理装置以及图像处理方法
JP4823179B2 (ja) 撮像装置及び撮影制御方法
CN101485192B (zh) 图像生成装置以及图像生成方法
US8638374B2 (en) Image pickup apparatus, image pickup system, and image pickup method
CN101682691B (zh) 图像处理装置及图像处理方法
EP1599035B1 (en) Television camera
CN105407266B (zh) 摄像装置及其控制方法
US8767096B2 (en) Image processing method and apparatus
CN103503432A (zh) 图像处理装置、图像处理方法和图像处理程序
CN101715144B (zh) 图像生成装置
US6876386B1 (en) Digital camera with downsampling and zoom processing and method of controlling operation of same
CN102739961A (zh) 能够生成广角图像的图像处理装置
CN103248815A (zh) 摄像装置、摄像方法
JP2006352529A (ja) 撮像装置
CN102625044A (zh) 摄像装置
CN101959042A (zh) 移动图像记录方法和装置、移动图像编码方法和移动图像编码器
CN101888478A (zh) 摄像装置、数据生成装置及数据构造
JP5149861B2 (ja) 中間画像生成装置およびその動作制御方法
US8711239B2 (en) Program recording medium, image processing apparatus, imaging apparatus, and image processing method
JP5267279B2 (ja) 画像合成装置及びプログラム
CN102209199B (zh) 图像拍摄装置
JP4157003B2 (ja) 画像処理装置
JP2010239464A (ja) 画像合成装置、画像再生装置及びプログラム
JP5476900B2 (ja) 画像合成装置、画像合成方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101020