CN116458168A - 检测装置、摄像装置、检测方法及程序 - Google Patents

Abstract

作为一例，本发明提供一种能够根据在图像传感器的移动前后由图像传感器拍摄而得到的多个图像从图像传感器所具有的多个物理像素中检测缺陷物理像素的检测装置、摄像装置、检测方法及程序。检测装置的处理器执行如下：进行如下控制，即，在具有沿第1方向及与第1方向交叉的第2方向排列的多个物理像素的图像传感器的移动前后的物理像素配置中，使图像传感器向移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位的部位移动；在移动前后使图像传感器进行拍摄；根据由图像传感器拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素。

Description

检测装置、摄像装置、检测方法及程序

技术领域

本发明的技术涉及一种检测装置、摄像装置、检测方法及程序。

背景技术

在专利文献1中公开有一种光电检测器，其特征在于，具备垂直CCD部、电荷积蓄栅极部、水平CCD部及浮动扩散放大器。垂直CCD部具有将光转换为电荷且沿垂直方向传送所产生的电荷的TDI功能。电荷积蓄栅极部将从垂直CCD部传送的电荷根据来自外部的驱动信号积蓄1像素量或多个像素量的时间。水平CCD部沿水平方向传送从电荷积蓄栅极部传送的电荷。针对从水平CCD部传送的电荷，浮动扩散放大器根据来自外部的驱动信号进行1像素量或多个像素量的时间的电荷积蓄，将其转换为与所积蓄的电荷量相对应的强度的电压信号而进行输出。

在专利文献2中公开有一种固体摄像装置，其在相对于通过光学系统成像的被摄体像不使摄像元件的位置相对位移的状态下得到摄像数据，并且沿水平、垂直方向仅相对位移规定量而得到1张以上的摄像数据，对它们进行合成而制作1张图像数据。该固体摄像装置的特征在于，具有要拍摄的图像数据的张数不同的多个摄像模式。

在专利文献3中公开有一种相机的高画质图像生成方法。在该相机的高画质图像生成方法中，经由位移电路构件使从CCD(电荷耦合元件)输出的原来的视频信号沿规定方向位移规定距离并将其存储于临时内存中，合成保存于临时内存中的视频信号并进行信号处理之后，记录在记录介质中或者输出到视频显示装置。在该相机的高画质图像生成方法中，使从上述CCD输出的原来的视频信号沿水平方向位移相当于N/2像素的间距、N像素的间距及3N/2像素的间距的距离，沿垂直方向位移相当于N/2像素的间距、N像素的间距及3N/2像素的间距的距离。然后，在该相机的高画质图像生成方法中，生成具有比原来的视频信号矩阵所具有的像素数2N倍的像素数的视频信号矩阵。

在专利文献4中公开有一种数字图像数据的记录装置。该数字图像数据的记录装置为如下装置：预先规定有将表示一帧图像的帧单位图像数据记录在记录介质中的记录区域的大小及为了记录上述帧单位图像数据而所需要的记录时间，将上述帧单位图像数据分割为两个场单位图像数据之后，记录在上述记录区域中。该数字图像数据的记录装置具备摄像构件、存储构件、读出构件及记录控制构件。摄像构件包括针对一帧图像生成上述帧单位图像数据的n倍(n为2以上的正整数)数据量的图像数据的固体电子摄像元件，并输出表示使用上述固体电子摄像元件拍摄被摄体而得到的被摄体像的图像数据。分割构件将从上述摄像构件输出的图像数据划分为每一个表示一帧图像的2n个上述场单位图像数据。存储构件临时存储由上述分割构件划分的2n个上述场单位图像数据中的(2n-1)个场单位图像数据。读出构件按每个上述场单位图像数据依次从上述存储构件中读出存储于上述存储构件中的(2n-1)个上述场单位图像数据。记录控制构件将由上述分割构件划分的2n个上述场单位图像数据中除存储于上述存储构件中的上述场单位图像数据以外的一个上述场单位图像数据和由上述读出构件从上述存储构件中读出的(2n-1)个上述场图像数据在n个记录区域中在n倍的记录时间内依次记录在上述记录介质中。

在专利文献5中公开有一种像素缺陷校正装置，其具备多个固体摄像元件、采样电路、提取电路、第1运算处理电路、第2运算处理电路、第3运算处理电路、第4运算处理电路、逻辑积电路及校正电路。在多个固体摄像元件中，相对于第1固体摄像元件，第2固体摄像元件配置于偏移半个像素的位置。采样电路对从多个固体摄像元件中读出的信号进行采样。提取电路从采样电路的输出中提取第1固体摄像元件的第1像素的值、与第1像素相邻半个像素的第2固体摄像元件的第2、第3像素的值及与第1像素相邻1个像素的第1固体摄像元件的第4、第5像素的值。第1运算处理电路求出第1像素的值与第4像素的值之差，并将其与第1恒定值进行比较。第2运算处理电路求出第1像素的值与第5像素的值之差，并将其与第2恒定值进行比较。第3运算处理电路求出第2像素的值与第4像素的值之差，并将其与对第1像素的值与第4像素的值之差乘以第3系数的值进行比较。第4运算处理电路求出第3像素的值与第5像素的值之差，并将其与对第1像素的值与第5像素的值之差乘以第4系数的值进行比较。逻辑积电路取第1、第2、第3及第4运算处理电路的输出的逻辑积。校正电路通过逻辑积电路的输出来校正采样电路的输出。

以往技术文献

专利文献

专利文献1：日本特开2008-236156号公报

专利文献2：日本特开2006-279990号公报

专利文献3：日本特开2000-244937号公报

专利文献4：日本特开平10-51736号公报

专利文献5：日本特开平6-245149号公报

发明内容

作为一个方面，本发明的技术所涉及的一个实施方式提供一种能够根据在图像传感器的移动前后由图像传感器拍摄而得到的多个图像从图像传感器所具有的多个物理像素中检测缺陷物理像素的检测装置、摄像装置、检测方法及程序。

用于解决技术课题的手段

本发明的技术所涉及的第1方式为一种检测装置，其具备：处理器；及内存，连接或内置于处理器，处理器执行如下：进行如下控制，即，在具有沿第1方向及与第1方向交叉的第2方向排列的多个物理像素的图像传感器的移动前后的物理像素配置中，使图像传感器向移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位的部位移动；在移动前后使图像传感器进行拍摄；根据由图像传感器拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素。

本发明的技术所涉及的第2方式为第1方式所涉及的检测装置，其中，处理器执行如下：进行将由图像传感器拍摄而得到的多个图像存储于内存中的处理；根据存储于内存中的多个图像的每一个中所包含的多个图像像素中的图像像素间的像素值的差异度来检测缺陷物理像素。

本发明的技术所涉及的第3方式为第1方式或第2方式所涉及的检测装置，其中，将多个物理像素间的第1方向或第2方向的间距设为1时，处理器进行使图像传感器以大于1的小数的移动量沿第1方向或第2方向移动的控制。

本发明的技术所涉及的第4方式为第1方式至第3方式中任一方式所涉及的检测装置，其中，将多个物理像素间的第1方向或第2方向的间距设为p，将自然数设为n并将纯小数设为d时，处理器进行使图像传感器以(n+d)×p的移动量沿第1方向或第2方向移动的控制。

本发明的技术所涉及的第5方式为第1方式至第4方式中任一方式所涉及的检测装置，其中，处理器对与缺陷物理像素对应的第1图像像素的像素值根据与第1图像像素相邻的第2图像像素的像素值来进行校正。

本发明的技术所涉及的第6方式为第1方式至第5方式中任一方式所涉及的检测装置，其中，处理器输出与缺陷物理像素的位置对应的位置信息。

本发明的技术所涉及的第7方式为第1方式至第6方式中任一方式所涉及的检测装置，其中，处理器根据像素值脱离预先规定的范围的规定外图像像素的像素值和与规定外图像像素相邻的图像像素的像素值的差异度来检测缺陷物理像素。

本发明的技术所涉及的第8方式为第1方式至第7方式中任一方式所涉及的检测装置，其中，图像传感器为单色型的图像传感器。

本发明的技术所涉及的第9方式为第8方式所涉及的检测装置，其中，将多个物理像素间的第1方向或第2方向的间距设为p时，处理器进行使图像传感器以1.5×p的移动量沿第1方向或第2方向移动的控制。

本发明的技术所涉及的第10方式为第1方式至第7方式中任一方式所涉及的检测装置，其中，图像传感器为对多个物理像素以具有周期性的基底排列分配有不同颜色的滤色器的彩色型的图像传感器，将多个物理像素间的第1方向或第2方向的间距设为p，将自然数设为n并将基底排列的每1周期的物理像素数设为T时，处理器进行使图像传感器以{(T-1)+0.5}×n×p的移动量沿第1方向或第2方向移动的控制。

本发明的技术所涉及的第11方式为第10方式所涉及的检测装置，其中，基底排列为拜耳排列，移动量规定为1.5×p。

本发明的技术所涉及的第12方式为第10方式所涉及的检测装置，其中，基底排列为X-Trans(注册商标)型排列，移动量规定为5.5×p。

本发明的技术所涉及的第13方式为第1方式至第7方式中任一方式所涉及的检测装置，其中，图像传感器为对多个物理像素以具有周期性的基底排列分配有不同颜色的滤色器的彩色型的图像传感器，处理器执行如下：进行如下控制，即，在图像传感器的移动前后的物理像素配置中，使图像传感器向移动后的第3物理像素位于与分配有与移动前的第3物理像素相同颜色的滤色器的第4物理像素重叠的部位的部位移动；在移动前后使图像传感器进行拍摄；根据由图像传感器拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的第4物理像素及移动后的第3物理像素分别对应的相同颜色的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素。

本发明的技术所涉及的第14方式为第1方式至第7方式及第13方式中任一方式所涉及的检测装置，其中，图像传感器为对多个物理像素以具有周期性的基底排列分配有不同颜色的滤色器的彩色型的图像传感器，处理器执行如下：进行如下控制，即，在图像传感器的移动前后的物理像素配置中，使图像传感器向移动后的第1物理像素位于分配有与移动前的第1物理像素相同颜色的滤色器的第2物理像素相邻的部位的部位移动；在移动前后使图像传感器进行拍摄；根据由图像传感器拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的第2物理像素及移动后的第1物理像素分别对应的相同颜色的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素。

本发明的技术所涉及的第15方式为第14方式所涉及的检测装置，其中，将多个物理像素间的第1方向或第2方向的间距设为p，将m设为2以上的自然数并将纯小数设为d时，处理器进行使图像传感器以(m+d)×p的移动量沿第1方向或第2方向移动的控制。

本发明的技术所涉及的第16方式为第15方式所涉及的检测装置，其中，移动量规定为2.5×p。

本发明的技术所涉及的第17方式为第13方式至第16方式中任一方式所涉及的检测装置，其中，处理器对多个图像进行超分辨率化而针对滤色器的各颜色生成多个单色超分辨率化图像，并合成多个单色超分辨率化图像。

本发明的技术所涉及的第18方式为一种摄像装置，其具备：第1方式至第17方式中任一方式所涉及的检测装置；图像传感器；及移动机构，使图像传感器沿第1方向及第2方向中的至少一个方向移动。

本发明的技术所涉及的第19方式为一种检测方法，其包括如下步骤：进行如下控制，即，在具有沿第1方向及与第1方向交叉的第2方向排列的多个物理像素的图像传感器的移动前后的物理像素配置中，使图像传感器向移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位的部位移动；在移动前后使图像传感器进行拍摄；及根据由图像传感器拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素。

本发明的技术所涉及的第20方式为一种程序，其用于使计算机执行包括如下步骤的处理：进行如下控制，即，在具有沿第1方向及与第1方向交叉的第2方向排列的多个物理像素的图像传感器的移动前后的物理像素配置中，使图像传感器向移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位的部位移动；在移动前后使图像传感器进行拍摄；及根据由图像传感器拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素。

附图说明

图1是表示摄像装置的外观的一例的立体图。

图2是表示图1所示的摄像装置的背面侧的外观的一例的背视图。

图3是表示图1所示的摄像装置的硬件结构的一例的概略结构图。

图4是表示图3所示的控制器的结构的一例的框图。

图5是表示图4所示的CPU的主要部分功能的一例的框图。

图6是表示第1实施方式所涉及的图像传感器的结构的一例的主视图。

图7A是说明由图6所示的图像传感器拍摄多个图像的情形的一例的概念图。

图7B是说明从图7A所示的多个图像生成超分辨率化图像的情形的一例的概念图。

图7C是说明根据图7B所示的超分辨率化图像检测缺陷物理像素的情形的一例的概念图。

图8是表示由图5所示的CPU执行的摄像处理的流程的一例的流程图。

图9是表示第2实施方式所涉及的图像传感器的结构的一例的主视图。

图10A是说明由图9所示的图像传感器拍摄多个图像的情形的一例的概念图。

图10B是说明从图10A所示的多个图像生成超分辨率化图像的情形的一例的概念图。

图10C是说明根据图10B所示的超分辨率化图像检测缺陷物理像素的情形的一例的概念图。

图11是表示第3实施方式所涉及的图像传感器的结构的一例的主视图。

图12A是说明由图11所示的图像传感器拍摄多个图像的情形的一例的概念图。

图12B是说明从图12A所示的多个图像生成超分辨率化图像的情形的一例的概念图。

图12C是说明根据图12B所示的超分辨率化图像检测缺陷物理像素的情形的一例的概念图。

图13A是说明由第4实施方式所涉及的图像传感器拍摄多个图像并从该多个图像生成多个单色图像的情形的一例的概念图。

图13B是说明从图13A所示的多个单色图像生成多个单色超分辨率化图像的情形的一例的概念图。

图13C是表示放大图13B所示的单色超分辨率化图像的一例的放大图。

图14是表示摄像装置的第1变形方式的一例的框图。

图15是表示摄像装置的第2变形方式的一例的框图。

图16是表示超分辨率化图像的第1比较例的主视图。

图17是表示超分辨率化图像的第2比较例的主视图。

图18是表示超分辨率化图像的第3比较例的主视图。

图19是表示单色超分辨率化图像的比较例的主视图。

具体实施方式

以下，按照附图对本发明的技术所涉及的检测装置、摄像装置、检测方法及程序的实施方式的一例进行说明。

首先，对以下说明中所使用的词语进行说明。

CPU是指“Central Processing Unit(中央处理器)”的简称。RAM是指“RandomAccess Memory(随机存取存储器)”的简称。IC是指“Integrated Circuit(集成电路)”的简称。ASIC是指“Application Specific Integrated Circuit(专用集成电路)”的简称。PLD是指“Programmable Logic Device(可编程逻辑器件)”的简称。FPGA是指“Field-Programmable Gate Array(现场可编程门阵列)”的简称。SoC是指“System-on-a-chip(片上系统)”的简称。SSD是指“Solid State Drive(固态驱动器)”的简称。USB是指“UniversalSerial Bus(通用串行总线)”的简称。HDD是指“Hard Disk Drive(硬盘驱动器)”的简称。EEPROM是指“Electrically Erasable and Programmable Read Only Memory(电可擦可编程只读存储器)”的简称。EL是指“Electro-Luminescence(电致发光)”的简称。I/F是指“Interface(接口)”的简称。UI是指“User Interface(用户界面)”的简称。CMOS是指“Complementary Metal Oxide Semiconductor(互补金属氧化物半导体)”的简称。CCD是指“Charge Coupled Device(电荷耦合器件)”的简称。LAN是指“Local Area Network(局域网)”的简称。WAN是指“Wide Area Network(广域网)”的简称。

在本说明书的说明中，“垂直”是指除了完全的垂直以外，包含本发明的技术所属的技术领域中一般允许且不违反本发明的技术的宗旨的程度的误差的含义上的垂直。在本说明书的说明中，“一致”是指除了完全的一致以外，包含本发明的技术所属的技术领域中一般允许且不违反本发明的技术的宗旨的程度的误差的含义上的一致。

[第1实施方式]

首先，对第1实施方式进行说明。作为一例，如图1所示，摄像装置10为镜头可换式且省略了反光镜的数码相机。摄像装置10具备摄像装置主体12和可更换地安装于摄像装置主体12的可更换镜头14。

另外，作为摄像装置10的一例，可以举出镜头可换式且不使用反光镜的数码相机。但是，本发明的技术并不限定于此，也可以为镜头固定式的数码相机，也可以为使用反光镜的数码相机，可以为内置于智能器件、可穿戴终端、细胞观察装置、眼科观察装置或外科显微镜等各种电子设备中的数码相机。

在摄像装置主体12中设置有图像传感器40。作为一例，图像传感器40为CMOS图像传感器。图像传感器40拍摄包含被摄体组的摄像区域。当可更换镜头14安装于摄像装置主体12时，表示被摄体的被摄体光透射可更换镜头14并在图像传感器40上成像，并由图像传感器40生成表示被摄体的图像的图像数据。

另外，作为图像传感器40，例示出CMOS图像传感器，但本发明的技术并不限定于此，例如，即使图像传感器40为CCD图像传感器等其他种类的图像传感器，本发明的技术也会成立。

在摄像装置主体12的上表面设置有释放按钮18及转盘20。在设定摄像系统的工作模式及再生系统的工作模式等时操作转盘20，通过操作转盘20，在摄像装置10中，选择性地设定摄像模式和再生模式作为工作模式。

释放按钮18作为摄像准备指示部及摄像指示部发挥作用，能够检测摄像准备指示状态和摄像指示状态这两个阶段的按压操作。摄像准备指示状态是指例如从待机位置按压至中间位置(半按位置)的状态，摄像指示状态是指按压至超出中间位置的最终按压位置(全按位置)的状态。

另外，以下将“从待机位置按压至半按位置的状态”称为“半按状态”，将“从待机位置按压至全按位置的状态”称为“全按状态”。根据摄像装置10的结构，摄像准备指示状态可以为用户的手指接触到释放按钮18的状态，摄像指示状态可以为进行操作的用户的手指从接触到释放按钮18的状态过渡到分离的状态的状态。

作为一例，如图2所示，在摄像装置主体12的背面设置有触摸面板显示器22及指示键24。触摸面板显示器22具备显示器26及触摸面板28。作为显示器26的一例，可以举出有机EL显示器。显示器26也可以为液晶显示器或无机EL显示器等其他种类的显示器，而不是有机EL显示器。

显示器26显示图像和/或字符信息等。当摄像装置10为摄像模式时，显示器26用于进行即时预览图像用的摄像即连续摄像而得到的即时预览图像的显示。“即时预览图像”是指由图像传感器40拍摄而得到的基于图像数据的显示用的动态图像。即时预览图像一般也被称为实时取景图像。

当经由释放按钮18对摄像装置10赋予静止图像用的摄像的指示时，显示器26还用于进行静止图像用的摄像而得到的静止图像的显示。此外，显示器26还用于摄像装置10为再生模式时的再生图像的显示及菜单画面等的显示。

触摸面板28为透射型的触摸面板，重叠于显示器26的显示区域的表面。触摸面板28通过检测基于手指或触控笔等指示体的接触而接收来自用户的指示。另外，以下，为了便于说明，上述的“全按状态”中还包括用户经由触摸面板28开启摄像开始用的软键的状态。

并且，在本实施方式中，作为触摸面板显示器22的一例，举出触摸面板28重叠于显示器26的显示区域的表面的外挂型的触摸面板显示器，但这只不过是一例。例如，作为触摸面板显示器22，还能够适用外嵌型或内嵌型的触摸面板显示器。

指示键24接收各种指示。在此，“各种指示”例如是指能够选择各种菜单的菜单画面的显示指示、一个或多个菜单的选择指示、选择内容的确定指示、选择内容的删除指示、放大、缩小及帧传送等各种指示等。并且，这些指示也可以由触摸面板28进行。

作为一例，如图3所示，可更换镜头14具备摄像透镜30。摄像透镜30具备物镜30A、聚焦透镜30B及光圈30C。物镜30A、聚焦透镜30B及光圈30C从被摄体侧(物体侧)到摄像装置主体12侧(像侧)沿着光轴OA(也参考图1)以物镜30A、聚焦透镜30B及光圈30C的顺序配置。

并且，可更换镜头14具备滑动机构32、马达34及马达36。在滑动机构32中以能够沿着光轴OA滑动的方式安装有聚焦透镜30B。并且，在滑动机构32上连接有马达34，滑动机构32通过接受马达34的动力进行动作而使聚焦透镜30B沿着光轴OA移动。光圈30C为开口的大小可变的光圈。在光圈30C上连接有马达36，光圈30C通过接受马达36的动力进行动作而调节曝光。另外，根据需要能够变更可更换镜头14的构成物和/或工作方法。

马达34及马达36经由安装座(省略图示)连接于摄像装置主体12，其驱动按照来自摄像装置主体12的命令而受到控制。另外，作为马达34及马达36的一例，采用步进马达。因此，马达34及马达36根据来自摄像装置主体12的命令同步于脉冲信号而进行工作。在图3所示的例子中，示出马达34及马达36设置于可更换镜头14的例子。但是，并不限于此，马达34及马达36中的一个可以设置于摄像装置主体12，马达34及马达36这两个也可以设置于摄像装置主体12。

摄像装置主体12具备图像传感器40、信号处理电路42、抖动量检测传感器44及抖动校正机构46。

图像传感器40具有受光面40A。作为一例，图像传感器40为光电转换元件。图像传感器40有时被称为固体摄像元件。作为一例，图像传感器40以受光面40A的中心与光轴OA一致的方式配置于摄像装置主体12(参考图1)内。图像传感器40可以为单色型的图像传感器，也可以为对多个物理像素分配有不同颜色的滤色器的彩色型的图像传感器。在第1实施方式中，作为一例，图像传感器40为单色型的图像传感器。另外，作为一例，第1实施方式所涉及的单色型的图像传感器40为不具备多个滤色器的图像传感器，但本发明的技术并不限定于此。即使为对多个物理像素分配有单色的多个滤色器的单色型的图像传感器，也可得到与第1实施方式相同的效果。

信号处理电路42与图像传感器40连接。当可更换镜头14安装于摄像装置主体12时，入射到摄像透镜30中的被摄体光通过摄像透镜30成像于受光面40A。图像传感器40在后述的光电转换元件驱动器68的控制下对由受光面40A接收到的被摄体光进行光电转换，并将与被摄体光的光量相对应的电信号作为表示被摄体光的模拟图像数据输出到信号处理电路42。信号处理电路42对从图像传感器40输入的模拟图像数据进行数字化而生成数字图像数据。

抖动量检测传感器44例如为包含陀螺仪传感器的器件，检测沿相对于光轴OA垂直的方向的摄像装置10的抖动量。抖动量检测传感器44将所检测出的抖动量输出到后述的CPU60A。

作为相对于光轴OA垂直的方向的一例，抖动量检测传感器44检测沿X方向及Y方向的各方向的摄像装置10的抖动量。作为一例，X方向为与摄像装置10的俯仰轴平行的方向，Y方向为与摄像装置10的偏航轴平行的方向。X方向及Y方向彼此正交。包含于抖动量检测传感器44中的陀螺仪传感器检测摄像装置10围绕俯仰轴、偏航轴及滚动轴(与光轴OA平行的轴)的各轴的旋转抖动量。抖动量检测传感器44将由陀螺仪传感器检测出的围绕俯仰轴的旋转抖动量及围绕偏航轴的旋转抖动量转换为与俯仰轴及偏航轴平行的二维状的面内的抖动量来检测沿X方向及Y方向的各方向的摄像装置10的抖动量。

另外，作为抖动量检测传感器44的一例，举出了包含陀螺仪传感器的器件，但这只不过是一例，抖动量检测传感器44也可以为加速度传感器。加速度传感器检测摄像装置10在与俯仰轴和偏航轴平行的二维状的面内的抖动量。

并且，举出了利用抖动量检测传感器44这一物理传感器检测抖动量的方式例，但本发明的技术并不限定于此。例如，也可以将通过比较存储于后述的图像内存62中并在时间序列上前后的图像而得到的移动矢量用作抖动量。并且，可以根据由物理传感器检测出的抖动量和通过图像处理得到的移动矢量来导出最终使用的抖动量。

抖动校正机构46为如下机构：通过将由马达(例如，音圈马达)等驱动源生成的动力赋予到图像传感器40而使图像传感器40沿相对于光轴OA垂直的方向移动，由此校正抖动。作为相对于光轴OA垂直的方向的一例，抖动校正机构46使图像传感器40沿X方向及Y方向移动。抖动校正机构46为本发明的技术所涉及的“移动机构”的一例。

抖动校正机构46具备位移用驱动器50、致动器52及位置检测传感器54。基于抖动校正机构46的抖动的校正方法中能够采用周知的各种方法。作为抖动的校正方法，采用如下方法：根据由抖动量检测传感器44检测出的抖动量，位移用驱动器50按照来自CPU60A的指示使图像传感器40经由致动器52移动，由此校正抖动。具体而言，通过使图像传感器40沿消除抖动的方向仅移动与消除抖动的量相当的量来进行抖动的校正。

致动器52例如为搭载有音圈马达的位移机构，通过使音圈马达驱动而使图像传感器40沿X方向及Y方向移动。另外，作为致动器52的一例，采用搭载有音圈马达的位移机构，但本发明的技术并不限定于此，也可以代替音圈马达而适用步进马达或压电元件等其他动力源。

位置检测传感器54检测图像传感器40的位置，并输出表示所检测出的位置的位置信号。作为位置检测传感器54的一例，采用包含霍尔元件的器件。由位置检测传感器54检测的图像传感器40的位置是指与图像传感器40的受光面40A平行的二维平面内的位置。该二维平面为相对于光轴OA垂直的面。另外，在本实施方式中，作为位置检测传感器54的一例，采用包含霍尔元件的器件，但本发明的技术并不限定于此，也可以代替霍尔元件而采用磁传感器或光传感器等。

并且，摄像装置主体12具备控制器60、图像内存62、UI系统器件64、外部I/F66、光电转换元件驱动器68、机械快门驱动器74、机械快门致动器76、机械快门78及输入输出接口80。

在输入输出接口80上连接有控制器60、图像内存62、UI系统器件64、外部I/F66、光电转换元件驱动器68、机械快门驱动器74、信号处理电路42、抖动量检测传感器44及位移用驱动器50。

控制器60具备CPU60A、存储器60B及内存60C。CPU60A为本发明的技术所涉及的“处理器”的一例，内存60C及图像内存62为本发明的技术所涉及的“内存”的一例，控制器60为本发明的技术所涉及的“检测装置”及“计算机”的一例。

CPU60A、存储器60B及内存60C经由总线82连接，总线82连接于输入输出接口80。

另外，在图3所示的例子中，为了方便图示，作为总线82，图示出一根总线，但也可以为多根总线。总线82可以为串行总线，也可以为包括数据总线、地址总线及控制总线等的并行总线。

存储器60B存储各种参数及各种程序。存储器60B为非易失性存储装置。作为存储器60B的一例，采用EEPROM。EEPROM只不过是一例，作为存储器60B，可以代替EEPROM而适用HDD和/或SSD等，或者与EEPROM一同适用HDD和/或SSD等。并且，内存60C临时存储各种信息，用作工作内存。作为内存60C的一例，可以举出RAM，但并不限于此，也可以为其他种类的存储装置。

在存储器60B中存储有各种程序。CPU60A从存储器60B中读出所需要的程序，并在内存60C上执行所读出的程序。CPU60A按照在内存60C上执行的程序控制摄像装置主体12整体。在图3所示的例子中，图像内存62、UI系统器件64、外部I/F66、光电转换元件驱动器68、机械快门驱动器74及位移用驱动器50由CPU60A控制。

在光电转换元件驱动器68上连接有图像传感器40。光电转换元件驱动器68将规定由图像传感器40进行的摄像的定时的摄像定时信号按照来自CPU60A的指示供给到图像传感器40。图像传感器40按照从光电转换元件驱动器68供给的摄像定时信号进行重置(reset)、曝光及电信号的输出。

作为一例，机械快门78为焦平面快门，配置于光圈30C与受光面40A之间。机械快门78具备前帘(省略图示)及后帘(省略图示)。前帘及后帘的每一个具备多片叶片。前帘配置于比后帘更靠被摄体侧的位置。

机械快门致动器76为具有前帘用螺线管(省略图示)及后帘用螺线管(省略图示)的致动器。前帘用螺线管为前帘的驱动源，机械连结于前帘。后帘用螺线管为后帘的驱动源，机械连结于后帘。机械快门驱动器74按照来自CPU60A的指示控制机械快门致动器76。

前帘用螺线管在机械快门驱动器74的控制下生成动力，并将所生成的动力赋予到前帘，由此选择性地进行前帘的卷起及拉下。后帘用螺线管在机械快门驱动器74的控制下生成动力，并将所生成的动力赋予到后帘，由此选择性地进行后帘的卷起及拉下。在摄像装置10中，前帘的开闭和后帘的开闭由CPU60A控制，由此控制针对图像传感器40的曝光量。

在摄像装置10中，以曝光顺序读出方式(卷帘快门方式)进行即时预览图像用的摄像和用于记录静止图像和/或动态图像的记录图像用的摄像。图像传感器40具有电子快门功能，即时预览图像用的摄像在将机械快门78设为全开状态的情况下不动作，而通过启动电子快门功能来实现。

相对于此，伴随主曝光的摄像即静止图像用的摄像(以下，也称为“主曝光摄像”)通过启动电子快门功能且以使机械快门78从前帘闭状态过渡到后帘闭状态的方式使机械快门78动作来实现。进行即时预览图像用的摄像和用于记录静止图像和/或动态图像的记录图像用的摄像而得到的图像为本发明的技术所涉及的“图像”的一例。

由信号处理电路42生成的数字图像数据作为图像存储于图像内存62中。CPU60A从图像内存62中获取数字图像数据，并使用所获取的数字图像数据执行各种处理。

UI系统器件64具备显示器26，CPU60A使显示器26显示各种信息。并且，UI系统器件64具备接收器件84。接收器件84具备触摸面板28及硬键部86。硬键部86为包含指示键24(参考图2)的多个硬键。CPU60A按照由触摸面板28接收到的各种指示进行工作。另外，在UI系统器件64中包含硬键部86，但本发明的技术并不限定于此，例如，硬键部86也可以连接于外部I/F66。

外部I/F66控制与存在于摄像装置10的外部的装置(以下，也称为“外部装置”)之间的各种信息的收发。作为外部I/F66的一例，可以举出USB接口。USB接口上直接或间接连接有智能器件、个人电脑、服务器、USB存储器、存储卡和/或打印机等外部装置(省略图示)。

可更换镜头14具备透镜CPU(省略图示)。透镜CPU为设置于可更换镜头14的CPU，通过执行既定的程序来控制可更换镜头14的工作。并且，在可更换镜头14内设置有第1马达驱动器(省略图示)及第2马达驱动器(省略图示)。透镜CPU经由第1马达驱动器连接于马达34。并且，透镜CPU经由第2马达驱动器连接于马达36。马达34经由第1马达驱动器及透镜CPU连接于摄像装置主体12的输入输出接口80，马达36经由第2马达驱动器及透镜CPU连接于摄像装置主体12的输入输出接口80。透镜CPU按照从CPU60经由输入输出接口80赋予的指示控制可更换镜头14的工作。

透镜CPU按照来自CPU60A的指示经由第1马达驱动器控制马达34。如此，通过控制马达34，经由滑动机构32控制聚焦透镜30B在光轴OA上的位置。并且，透镜CPU按照来自CPU60A的指示经由第2马达驱动器控制马达36。如此，通过控制马达36来控制光圈30C的开口的大小。

位移用驱动器50连接于致动器52。CPU60A获取由抖动量检测传感器44检测出的抖动量，并将根据所获取的抖动量控制抖动校正机构46的指令输出到位移用驱动器50。

作为一例，如图4所示，在存储器60B中存储有摄像处理程序88。摄像处理程序88为本发明的技术所涉及的“程序”的一例。CPU60A从存储器60B中读出摄像处理程序88，并在内存60C上执行所读出的摄像处理程序88。CPU60A按照在内存60C上执行的摄像处理程序88进行摄像处理。

作为一例，如图5所示，CPU60A通过执行摄像处理程序88而作为摄像控制部90、存储处理部92、生成部94、检测部96、校正部98及输出部100进行工作。

作为一例，如图6所示，图像传感器40具有多个物理像素48。作为一例，多个物理像素48沿X方向及Y方向排列。作为一例，多个物理像素48间的X方向的间距相同，多个物理像素48间的Y方向的间距相同。并且，作为一例，多个物理像素48间的X方向的间距与多个物理像素48间的Y方向的间距相同。另外，多个物理像素48间的X方向的间距也可以与多个物理像素48间的Y方向的间距不同。

X方向为本发明的技术所涉及的“第1方向”的一例，Y方向为本发明的技术所涉及的“与第1方向交叉的第2方向”的一例。多个物理像素48间的X方向的间距相当于X方向上的多个物理像素48的中心间的距离。多个物理像素48间的Y方向的间距相当于Y方向上的多个物理像素48的中心间的距离。

在图6所示的例子中，示出多个物理像素48中的一部分即3×3＝9个物理像素48。并且，在图4中示出多个物理像素48的X方向的地址及Y方向的地址。例如，地址(1，1)表示X方向的地址为1及Y方向的地址为1，地址(2，1)表示X方向的地址为2及Y方向的地址为1。多个物理像素48面对受光面40A(也参考图3)。作为一例，多个物理像素48的每一个具有光电二极管，对所接收到的光进行光电转换，并输出与受光量相对应的电信号。

作为一例，如图7A所示，摄像控制部90对抖动校正机构46的致动器52进行使图像传感器40沿X方向移动的控制。此时，摄像控制部90进行使图像传感器40移动的控制，以便得到后述的超分辨率化图像120(参考图7B)。

例如，对应于图像传感器40为单色型的图像传感器，摄像控制部90如下进行使图像传感器40移动的控制。即，将多个物理像素48间的间距设为p[μm]时，摄像控制部90进行在固定图像传感器40的Y方向的位置的状态下使图像传感器40以1.5×p[μm]的移动量沿X方向移动的控制。

并且，摄像控制部90通过控制光电转换元件驱动器68而在移动前后使图像传感器40进行拍摄。由此，摄像控制部90获取在移动前后由图像传感器40拍摄而得到的图像110A及110B。图像110A为由移动前的图像传感器40拍摄而得到的图像，图像110B为由移动后的图像传感器40拍摄而得到的图像。图像110B为在相对于图像110A沿X方向仅偏移1.5×p[μm]的位置处由图像传感器40拍摄而得到的图像。在图7A所示的例子中，为了容易区分图像110A和图像110B，对由移动后的图像传感器40拍摄而得到的图像110B标注了点状的阴影线。图像110A及图像110B为本发明的技术所涉及的“多个图像”的一例。

图像110A中包含多个图像像素A，图像110B中包含多个图像像素B。多个图像像素A对应于移动前的图像传感器40的多个物理像素48，多个图像像素B对应于移动后的图像传感器40的多个物理像素48。在图7A所示的例子中，示出在图像传感器40的移动前得到的多个图像像素A中的一部分及在图像传感器40的移动后得到的多个图像像素B中的一部分，即3×3＝9个图像像素A和3×3＝9个图像像素B。例如，地址(1，1)的图像像素A及B对应于地址(1，1)的物理像素48，地址(2，1)的图像像素A及B对应于地址(2，1)的物理像素48。另外，以下，为了便于说明，当无需区分说明图像像素A和图像像素B时，不标注符号而称为“图像像素”。

存储处理部92进行将由图像传感器40拍摄而得到的图像110A及110B存储于图像内存62中的处理。

作为一例，如图7B所示，生成部94对由图像传感器40拍摄而得到的多个低分辨率图像(例如，图像110A及110B)进行超分辨率化。在此，超分辨率化例如是指通过错开图像像素的位置而合成多个低分辨率图像来生成比低分辨率图像高分辨率的图像即高分辨率图像的处理。如此生成的高分辨率图像一般也被称为超分辨率化图像。

在图7B所示的例子中，生成部94对由图像传感器40拍摄而得到的图像110A及110B进行超分辨率化而生成超分辨率化图像120。使用单色型的图像传感器40时的超分辨率化例如以如下要领实现。即，针对在图像传感器40的移动前后分别得到的沿X方向排列的3个图像像素A及B，根据图像传感器40的移动前后的绝对位置确定排列顺序。绝对位置为以图像像素A的中心和图像像素B的中心为基准的位置。

接着，根据上述排列顺序来排列在图像传感器40的移动前得到的图像110A中所包含的多个图像像素A和在图像传感器40的移动后得到的图像110B中所包含的多个图像像素B。由此，得到图像110A及图像110B被超分辨率化而得到的超分辨率化图像120。在图7B所示的例子中，示出超分辨率化图像120的一部分，即在图像传感器40的移动前后分别得到的9个×2＝18个图像像素A及B。

如上述例示那样，摄像控制部90进行使图像传感器40以1.5×p[μm]的移动量沿X方向移动的控制。由此，如超分辨率化图像120中所示，将与移动前的任意的物理像素48对应的图像像素A设为第1图像像素A，将与该第1图像像素A不同的其他图像像素A设为第2图像像素A，并将与移动后的前述的任意的物理像素48对应的图像像素B设为第1图像像素B时，第1图像像素B与第2图像像素A相邻。

在图7A及图7B所示的例子中，例如将地址(1，1)的图像像素A设为第1图像像素A，将地址(2，1)的图像像素A设为第2图像像素A，并将地址(1，1)的图像像素B设为第1图像像素B时，地址(1，1)的图像像素B即第1图像像素B与地址(2，1)的图像像素A即第1图像像素A相邻。

多个图像像素A及B的每一个与图像传感器40的移动前后的多个物理像素48的每一个的位置对应。因此，超分辨率化图像120表示图像传感器40的移动前后的物理像素配置。例如，将与上述的第1图像像素A及第1图像像素B对应的物理像素48设为第1物理像素，并将与第2图像像素A对应的物理像素48设为第2物理像素时，摄像控制部90进行如下控制，即，在由超分辨率化图像120表示的图像传感器40的移动前后的物理像素配置中，使图像传感器40向移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位的部位移动。

换言之，摄像控制部90使图像传感器40移动，以使由超分辨率化图像120表示的图像传感器40的移动前后的物理像素配置成为使超分辨率化图像120中所包含的相邻的图像像素成为与互不相同的物理像素48对应的图像像素的物理像素配置。

作为这样的控制的一例，在上述例示中，摄像控制部90进行使图像传感器40以1.5×p[μm]的移动量沿X方向移动的控制。如上所述，图像传感器40的移动前后的物理像素配置例如由超分辨率化图像120表示，无论在图像传感器40的物理像素间有无与一个物理像素相当的量的空间，均可实现上述物理像素配置。

另外，在图7A及图7B所示的例子中，例如将地址(1，1)的物理像素48设为图像传感器40的移动前的第1物理像素时，该地址(1，1)的物理像素48相当于本发明的技术所涉及的“第1物理像素”的一例，与移动前的地址(1，1)的物理像素48不同的第2物理像素即地址(2，1)的物理像素48相当于本发明的技术所涉及的“第2物理像素”的一例。

并且，例如，地址(1，1)的图像像素A为本发明的技术所涉及的“与移动前的第1物理像素对应的图像像素”的一例，地址(2，1)的图像像素A为本发明的技术所涉及的“与不同于移动前的第1物理像素的第2物理像素对应的图像像素”的一例，地址(1，1)的图像像素B为本发明的技术所涉及的“与移动后的第1物理像素对应的图像像素”的一例。

作为一例，如图7C所示，检测部96计算出超分辨率化图像120中所包含的多个图像像素A及多个图像像素B中与移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素A及B之间的像素值的差异度。当图像传感器40沿X方向移动时，选择在X方向上彼此相邻的图像像素。另外，当图像传感器40沿Y方向移动时，选择在Y方向上彼此相邻的图像像素。图像像素A的像素值与从与图像像素A对应的物理像素48输出的电信号的值成正比，图像像素B的像素值与从与图像像素及B对应的物理像素48输出的电信号的值成正比。

检测部96根据所计算出的差异度从多个物理像素48中检测缺陷物理像素。缺陷物理像素是指发生了缺陷的物理像素48。作为一例，检测部96依次计算出成为缺陷物理像素的检测对象(以下，简称为“检测对象”)的所有图像像素A及B之间的像素值的差异度。在图7C中，作为成为检测对象的图像像素A及B的一例，对地址(2，1)的图像像素A和地址(1，1)的图像像素B标注有高亮显示(用圆显示)。而且，示出计算出该地址(2，1)的图像像素A与地址(1，1)的图像像素B之间的像素值的差异度的情形。

基于检测部96的缺陷物理像素的检测方法中能够适用各种方法。例如，检测部96以如下要领检测缺陷物理像素。

即，例如检测部96计算出成为检测对象的图像像素A及B之间的像素值的减算值或除算值作为成为检测对象的图像像素A及B之间的像素值的差异度，当所计算出的差异度超出预先设定的阈值时，分别获取成为差异度的计算对象的图像像素A及B的各像素值和其周边的图像像素A及B的各像素值。例如，当地址(2，1)的图像像素A与地址(1，1)的图像像素B之间的像素值的差异度超出预先设定的阈值时，检测部96获取地址(2，1)的图像像素A的像素值及地址(1，1)的图像像素B的像素值，且获取其周边的地址(1，1)的图像像素A、地址(3，1)的图像像素A、地址(2，1)的图像像素B及地址(3，1)的图像像素B的每一个的像素值。

然后，当所获取的多个像素值的排列即像素值图案与将地址(2，1)的图像像素A及与其对应的地址(2，1)的图像像素B作为白色划痕或黑色划痕而预先规定的异常像素值图案一致时，检测部96检测为与地址(2，1)的图像像素A及地址(2，1)的图像像素B对应的地址(2，1)的物理像素48为缺陷物理像素。

另外，在该情况下，当所获取的像素值图案与包含白色划痕的异常像素值图案一致时，检测部96可以检测为地址(2，1)的图像像素A及地址(2，1)的图像像素B为白色划痕。并且，当所获取的像素值图案与包含黑色划痕的异常像素值图案一致时，检测部96可以检测为地址(2，1)的图像像素A及地址(2，1)的图像像素B为黑色划痕。

白色划痕是指因从缺陷物理像素输出的电信号被保持为最大值的缺陷而像素看似白色的现象。黑色划痕是指因从缺陷物理像素不输出电信号的缺陷而像素看似黑色的现象。

并且，当所获取的多个像素值的排列即像素值图案与地址(1，1)的图像像素B及与其对应的地址(1，1)的图像像素A作为白色划痕或黑色划痕而预先规定的异常像素值图案一致时，检测部96检测为与地址(1，1)的图像像素B及地址(1，1)的图像像素A对应的地址(1，1)的物理像素48为缺陷物理像素。

另外，在该情况下，当所获取的像素值图案与包含白色划痕的异常像素值图案一致时，检测部96可以检测为地址(1，1)的图像像素B及地址(1，1)的图像像素A为白色划痕。并且，当所获取的像素值图案与包含黑色划痕的异常像素值图案一致时，检测部96可以检测为地址(1，1)的图像像素B及地址(1，1)的图像像素B为黑色划痕。

校正部98对与由检测部96检测出的缺陷物理像素对应的图像像素的像素值根据与该图像像素相邻的图像像素的像素值来进行校正。校正像素值的方法能够适用各种方法。例如，校正部98以如下要领校正像素值。

即，校正部98通过将与由检测部96检测出的缺陷物理像素对应的第1图像像素的像素值设为与该第1图像像素相邻的第2图像像素的像素值的平均值或中央值来进行校正。

例如，当检测为地址(2，1)的物理像素48为缺陷物理像素时，校正部98通过将地址(2，1)的图像像素A设为与该地址(2，1)的图像像素A相邻的图像像素A及B的像素值的平均值或中央值来进行校正，并通过将地址(2，1)的图像像素B设为与该地址(2，1)的图像像素B相邻的图像像素A及B的像素值的平均值或中央值来进行校正。并且，例如当检测为地址(1，1)的物理像素48为缺陷物理像素时，校正部98通过将地址(1，1)的图像像素B设为与该地址(1，1)的图像像素B相邻的图像像素A及B的像素值的平均值或中央值来进行校正，并通过将地址(1，1)的图像像素A设为与该地址(1，1)的图像像素A相邻的图像像素A及B的像素值的平均值或中央值来进行校正。如此，通过校正与缺陷物理像素对应的图像像素的像素值，可得到校正完毕的超分辨率化图像120。例如，当与缺陷物理像素对应的图像像素为白色划痕或黑色划痕时，可得到以该白色划痕或黑色划痕不显眼的方式进行了校正的超分辨率化图像120。

另外，在本例示中，当检测为地址(2，1)的物理像素48为缺陷物理像素时，地址(2，1)的图像像素A及地址(2，1)的图像像素B相当于本发明的技术所涉及的“与缺陷物理像素对应的第1图像像素”的一例，与地址(2，1)的图像像素A及地址(2，1)的图像像素B的每一个相邻的图像像素A及B相当于本发明的技术所涉及的“与第1图像像素相邻的第2图像像素”的一例。并且，当检测为地址(1，1)的物理像素48为缺陷物理像素时，地址(1，1)的图像像素B及地址(1，1)的图像像素A相当于本发明的技术所涉及的“与缺陷物理像素对应的第1图像像素”的一例，与地址(1，1)的图像像素B相邻的图像像素A及与地址(1，1)的图像像素A相邻的图像像素B相当于本发明的技术所涉及的“与第1图像像素相邻的第2图像像素”的一例。

输出部100进行将校正完毕的超分辨率化图像120输出到显示器26的处理。由此，在与缺陷物理像素对应的图像像素的像素值被校正的状态下，超分辨率化图像120显示于显示器26。例如，当与缺陷物理像素对应的图像像素为白色划痕或黑色划痕时，以该白色划痕或黑色划痕不显眼的方式进行了校正的超分辨率化图像120显示于显示器26。

接着，参考图8对第1实施方式所涉及的摄像装置10的作用(摄像装置10的工作)进行说明。

在图8中示出对摄像装置10设定了摄像模式时由CPU60A执行的摄像处理的流程的一例。摄像处理的流程为本发明的技术所涉及的“摄像方法”的一例。

在图8所示的摄像处理中，首先，在步骤ST100中，摄像控制部90对抖动校正机构46的致动器52进行使图像传感器40沿X方向移动的控制。并且，摄像控制部90在进行使图像传感器40移动的控制时，通过控制光电转换元件驱动器68而在图像传感器40的移动前后使图像传感器40进行拍摄。

在接下来的步骤ST102中，存储处理部92进行将由图像传感器40拍摄而得到的图像110A及110B存储于图像内存62中的处理。

在接下来的步骤ST104中，生成部94对由图像传感器40拍摄而得到的图像110A及110B进行超分辨率化而生成超分辨率化图像120。

在接下来的步骤ST106中，检测部96计算出超分辨率化图像120中所包含的图像像素A及B中与移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素A及B之间的像素值的差异度。并且，检测部96根据所计算出的差异度从多个物理像素48中检测缺陷物理像素。

在接下来的步骤ST108中，校正部98对与由检测部96检测出的缺陷物理像素对应的图像像素的像素值根据与该图像像素相邻的图像像素的像素值来进行校正。

在接下来的步骤ST110中，输出部100进行将校正完毕的超分辨率化图像120输出到显示器26的处理。

如以上所说明，在摄像装置10中，进行如下控制，即，在具有多个物理像素48的图像传感器40的移动前后的物理像素配置中，使图像传感器40向移动后的第1任意的物理像素48位于与移动前的任意的第1物理像素不同的第2物理像素相邻的部位的部位移动。并且，通过利用摄像控制部90经由光电转换元件驱动器68控制图像传感器40来在移动前后利用图像传感器40进行拍摄。然后，根据由图像传感器40拍摄而得到的图像110A及110B的每一个中所包含的多个图像像素A及多个图像元件B中与移动前的第2物理像素对应的图像像素A和与移动后的第1物理像素对应的图像像素B之间的像素值的差异度，从多个物理像素48中检测缺陷物理像素。因此，能够根据在移动前后由图像传感器40拍摄而得到的图像110A及110B从多个物理像素48中检测缺陷物理像素。

并且，在摄像装置10中，进行将由图像传感器40拍摄而得到的图像110A及110B存储于图像内存62中的处理。然后，根据存储于图像内存62中的图像110A及110B的每一个中所包含的多个图像像素A及多个图像像素B中上述的图像像素A及B之间的像素值的差异度从多个物理像素48中检测缺陷物理像素。因此，能够根据存储于图像内存62中的图像110A及110B从多个物理像素48中检测缺陷物理像素。

并且，在摄像装置10中，对与缺陷物理像素对应的第1图像像素的像素值根据与该第1图像像素相邻的第2图像像素的像素值来进行校正。因此，能够校正与缺陷物理像素对应的图像像素的缺陷。

并且，在摄像装置10中，作为一例，图像传感器40为单色型的图像传感器。因此，能够从单色型的图像传感器40中所包含的多个物理像素48中检测缺陷物理像素。

并且，在摄像装置10中，作为一例，将多个物理像素48间的间距设为p时，摄像控制部90进行使图像传感器40以1.5×p[μm]的移动量沿X方向移动的控制。因此，在单色型的图像传感器40的移动前后的物理像素配置中，能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

并且，摄像装置10具备检测缺陷物理像素的控制器60、图像传感器40及使图像传感器40移动的抖动校正机构46。因此，在摄像装置10中，能够连续进行基于图像传感器40的摄像、图像传感器40的移动及缺陷物理像素的检测。

另外，在上述第1实施方式中，摄像控制部90使图像传感器40沿X方向移动，但也可以沿Y方向移动。并且，摄像控制部90也可以使图像传感器40沿X方向及Y方向移动。并且，即使在图像传感器40沿Y方向移动时或当图像传感器40沿X方向及Y方向移动时，也可通过与上述第1实施方式相同的方法来执行从多个物理像素48中检测缺陷物理像素的处理及将与缺陷物理像素对应的第1图像像素的像素值根据与该第1图像像素相邻的第2图像像素的像素值来进行校正的处理。

并且，在上述第1实施方式中，摄像控制部90使图像传感器40以1.5×p[μm]的移动量移动，但将多个物理像素48间的间距设为1时，摄像控制部90也可以在得到上述超分辨率化图像120的条件下使图像传感器40以大于1的小数的移动量沿X方向或Y方向移动。通过该结构，在图像传感器40的移动前后的物理像素配置中，也能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

并且，在上述第1实施方式中，将自然数设为n并将纯小数设为d时，摄像控制部90可以在得到上述超分辨率化图像120的条件下使图像传感器40以(n+d)×p[μm]的移动量沿X方向或Y方向移动。通过该结构，在图像传感器40的移动前后的物理像素配置中，也能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

另外，若摄像控制部90使图像传感器40以1.5×p[μm]的移动量移动，则例如与使图像传感器40以大于1.5×p的小数的移动量或小于1.5×p且大于1.0×p[μm]的小数的移动量移动的情况相比，能够得到分辨率高的超分辨率化图像120。

并且，在上述第1实施方式中，输出部100可以输出与缺陷物理像素的位置对应的位置信息。该位置信息例如为与物理像素48的地址对应的信息。根据该结构，能够根据与所输出的缺陷物理像素的位置对应的位置信息来确定缺陷物理像素的位置。

并且，在上述第1实施方式中，检测部96可以提取多个图像像素中像素值脱离预先规定的范围的规定外图像像素，并根据该规定外图像像素的像素值和与该规定外图像像素相邻的图像像素的像素值的差异度来检测缺陷物理像素。根据该结构，与计算出与所有的移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素间的像素值的差异度的情况相比，能够减少差异度的计算次数。

并且，在上述第1实施方式中，检测部96在生成超分辨率化图像120的过程中从多个物理像素48中检测缺陷物理像素，但本发明的技术并不限定于此。例如，也可以在与生成超分辨率化图像120的过程不同的处理中，检测部96通过与上述相同的方法根据在移动前后由图像传感器40拍摄而得到的图像110A及110B从多个物理像素48中检测缺陷物理像素。

另外，在图16中示出通过相对于第1实施方式的比较例得到的超分辨率化图像420。该超分辨率化图像420为通过使上述的图像传感器40(参考图7A)以0.5×p[μm]的移动量移动(代替以1.5×p[μm]移动)而得到的图像。在该情况下，在图像传感器40的移动前后的物理像素配置中，移动后的第1物理像素位于移动前的第1物理像素相邻的部位。因此，在超分辨率化图像420中相邻的图像像素间的像素值相同，因此无法从多个物理像素中检测缺陷物理像素。

[第2实施方式]

接着，对第2实施方式进行说明。在第2实施方式中，相对于第1实施方式，如下变更摄像装置10的结构。另外，在第2实施方式中，对与第1实施方式相同的要件及部件等标注与第1实施方式相同的符号，并省略详细说明。并且，关于第2实施方式所涉及的摄像装置10的整体结构，参考图1～图5。

作为一例，如图9所示，在第2实施方式中，使用彩色型的图像传感器130。图像传感器130具有多个物理像素138。作为一例，多个物理像素138沿X方向及Y方向排列。作为一例，多个物理像素138间的X方向的间距相同，多个物理像素138间的Y方向的间距相同。并且，作为一例，多个物理像素138间的X方向的间距与多个物理像素138间的Y方向的间距相同。另外，多个物理像素138间的X方向的间距也可以与多个物理像素138间的Y方向的间距不同。

在图9所示的例子中，示出多个物理像素138中的一部分即4×3＝12个物理像素138。对多个物理像素138以具有周期性的基底排列分配有不同颜色的滤色器。基底排列例如可以为条形(strip)排列、三角(delta)排列、拜耳排列及X-Trans(注册商标)型排列等任何排列。作为基底排列的一例，图像传感器130中适用拜耳排列。

拜耳排列例如是指将2×2＝4个滤色器作为一个整体的排列。该2×2＝4个滤色器为与红色的波长区域对应的一个滤色器、与绿色的波长区域对应的两个滤色器及与蓝色的波长区域对应的一个滤色器。以下，当使用对多个物理像素138分配的滤色器识别多个物理像素138时，将分配有与红色的波长区域对应的滤色器的物理像素138称为R物理像素，将分配有与绿色的波长区域对应的滤色器的物理像素138称为G物理像素，将分配有与蓝色的波长区域对应的滤色器的物理像素138称为B物理像素。

2×2＝4个物理像素138如下排列。即，第1列的两个物理像素138以R物理像素及G物理像素的顺序排列。第2列的两个物理像素138以G物理像素及B物理像素的顺序排列。

在图9中示出多个物理像素138的X方向的地址及Y方向的地址。例如，地址(1，1)表示X方向的地址为1及Y方向的地址为1，地址(2，1)表示X方向的地址为2及Y方向的地址为1。作为一例，多个物理像素138的每一个具有光电二极管，对所接收到的光进行光电转换，并输出与受光量相对应的电信号。

接着，对第2实施方式所涉及的摄像控制部90、存储处理部92、生成部94、检测部96及输出部100(参考图6)进行说明。

作为一例，如图10A所示，摄像控制部90对抖动校正机构46的致动器52进行使图像传感器130沿X方向移动的控制。此时，摄像控制部90进行使图像传感器130移动的控制，以便得到后述的超分辨率化图像150(参考图10B)。

例如，对应于图像传感器130为以拜耳排列分配有不同颜色的滤色器的彩色型的图像传感器，摄像控制部90如下进行使图像传感器130移动的控制。即，将多个物理像素138间的间距设为p[μm]，将自然数设为n并将拜耳排列的每1周期的物理像素数设为T时，摄像控制部90进行在固定图像传感器130的Y方向的位置的状态下使图像传感器130以{(T-1)+0.5}×n×p[μm]的移动量沿X方向移动的控制。例如，拜耳排列的每1周期的物理像素数T为2，因此当设为n＝1时，移动量规定为1.5×p。作为一例，摄像控制部90进行使图像传感器130以1.5×p[μm]的移动量移动的控制。

并且，摄像控制部90通过控制光电转换元件驱动器68而在移动前后使图像传感器130进行拍摄。由此，摄像控制部90获取在移动前后由图像传感器130拍摄而得到的图像140A及140B。图像140A为由移动前的图像传感器130拍摄而得到的图像，图像140B为由移动后的图像传感器130拍摄而得到的图像。图像140B为在相对于图像140A沿X方向仅偏移1.5×p[μm]的位置处由图像传感器130拍摄而得到的图像。在图10A所示的例子中，为了容易区分图像140A和图像140B，对由移动后的图像传感器130拍摄而得到的图像140B标注了点状的阴影线。图像140A及图像140B为本发明的技术所涉及的“多个图像”的一例。

图像140A中包含多个图像像素A，图像140B中包含多个图像像素B。多个图像像素A对应于移动前的图像传感器130的多个物理像素48，多个图像像素B对应于移动后的图像传感器130的多个物理像素48。以下，当以图像像素A及B的颜色识别图像像素A及B时，将红色的图像像素A及B称为R图像像素A及B，将绿色的图像像素A及B称为G图像像素A及B，将蓝色的图像像素A及B称为B图像像素A及B。在图10A所示的例子中，示出在图像传感器130的移动前得到的多个图像像素A中的一部分及在图像传感器130的移动后得到的多个图像像素B中的一部分，即4×3＝12个图像像素A和4×3＝12个图像像素B。例如，地址(1，1)的R图像像素A及B与地址(1，1)的R物理像素对应，地址(2，1)的G图像像素A及B与地址(2，1)的G物理像素对应。另外，以下，为了便于说明，当无需区分说明图像像素A和图像像素B时，不标注符号而称为“图像像素”。

存储处理部92进行将由图像传感器130拍摄而得到的图像140A及140B存储于图像内存62中的处理。

作为一例，如图10B所示，生成部94对由图像传感器130拍摄而得到的多个低分辨率图像(例如，图像140A及140B)进行超分辨率化。在此，超分辨率化例如是指通过错开图像像素的位置而合成多个低分辨率图像来生成比低分辨率图像高分辨率的图像即高分辨率图像的处理。如此生成的高分辨率图像一般也被称为超分辨率化图像。

在图10B所示的例子中，生成部94对由图像传感器130拍摄而得到的图像140A及140B进行超分辨率化而生成超分辨率化图像150。使用以拜耳排列分配有不同颜色的滤色器的彩色型的图像传感器130时的超分辨率化例如以如下要领实现。即，针对在图像传感器130的移动前后分别得到的沿X方向排列的4个图像像素A及B，根据图像传感器130的移动前后的绝对位置确定排列顺序。绝对位置为以图像像素A的中心和图像像素B的中心为基准的位置。

接着，根据上述排列顺序来排列在图像传感器130的移动前得到的图像140A中所包含的多个图像像素A和在图像传感器130的移动后得到的图像140B中所包含的多个图像像素B。由此，得到图像140A及图像140B被超分辨率化而得到的超分辨率化图像150。在图10B所示的例子中，示出超分辨率化图像150的一部分，即在图像传感器130的移动前后分别得到的12个×2＝24个图像像素A及B。

如上述例示那样，摄像控制部90进行使图像传感器130以1.5×p[μm]的移动量沿X方向移动的控制。

由此，如超分辨率化图像150中所示，将与移动前的任意的物理像素138对应的图像像素A设为第1图像像素A，将与该第1图像像素A不同的其他图像像素A设为第2图像像素A，并将与移动后的前述的任意的物理像素138对应的图像像素B设为第1图像像素B时，第1图像像素B与第2图像像素A相邻。

在图10A及图10B所示的例子中，例如将地址(1，1)的R图像像素A设为第1图像像素A，将地址(2，1)的G图像像素A设为第2图像像素A，并将地址(1，1)的R图像像素B设为第1图像像素B时，地址(1，1)的R图像像素B即第1图像像素B与地址(2，1)的G图像像素A即第1图像像素A相邻。

多个图像像素A及B的每一个与图像传感器130的移动前后的多个物理像素138的每一个的位置对应。因此，超分辨率化图像150表示图像传感器130的移动前后的物理像素配置。例如，将与上述的第1图像像素A及第1图像像素B对应的物理像素138设为第1物理像素，并将与第2图像像素A对应的物理像素138设为第2物理像素时，摄像控制部90进行如下控制，即，在由超分辨率化图像150表示的图像传感器130的移动前后的物理像素配置中，使图像传感器130向移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位的部位移动。

换言之，摄像控制部90使图像传感器130移动，以使由超分辨率化图像150表示的图像传感器130的移动前后的物理像素配置成为使超分辨率化图像150中所包含的相邻的图像像素成为与互不相同的物理像素138对应的图像像素的物理像素配置。

作为这样的控制的一例，在上述例示中，摄像控制部90进行使图像传感器130以1.5×p[μm]的移动量沿X方向移动的控制。如上所述，图像传感器130的移动前后的物理像素配置例如由超分辨率化图像150表示，无论在图像传感器130的物理像素间有无与一个物理像素相当的量的空间，均可实现上述物理像素配置。

另外，在图10A及图10B所示的例子中，例如将地址(1，1)的R物理像素设为图像传感器130的移动前的第1物理像素时，该地址(1，1)的R物理像素相当于本发明的技术所涉及的“第1物理像素”的一例，与移动前的地址(1，1)的R物理像素不同的第2物理像素即地址(2，1)的G物理像素相当于本发明的技术所涉及的“第2物理像素”的一例。

并且，例如地址(1，1)的R图像像素A为本发明的技术所涉及的“与移动前的第1物理像素对应的图像像素”的一例，地址(2，1)的G图像像素A为本发明的技术所涉及的“与不同于移动前的第1物理像素的第2物理像素对应的图像像素”的一例，地址(1，1)的R图像像素B为本发明的技术所涉及的“与移动后的第1物理像素对应的图像像素”的一例。

作为一例，如图10C所示，检测部96计算出超分辨率化图像150中所包含的多个图像像素A及多个图像像素B中与移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素A及B之间的像素值的差异度。当图像传感器130沿X方向移动时，选择在X方向上彼此相邻的图像像素。另外，当图像传感器130沿Y方向移动时，选择在Y方向上彼此相邻的图像像素。图像像素A的像素值与从与图像像素A对应的物理像素138输出的电信号的值成正比，图像像素B的像素值与从与图像像素B对应的物理像素138输出的电信号的值成正比。

检测部96根据所计算出的差异度从多个物理像素138中检测缺陷物理像素。缺陷物理像素是指发生了缺陷的物理像素138。作为一例，检测部96依次计算出成为缺陷物理像素的检测对象(以下，简称为“检测对象”)的所有图像像素A及B之间的像素值的差异度。在图10C中，作为成为检测对象的图像像素A及B的一例，示出对地址(2，1)的G图像像素A和地址(1，1)的R图像像素B标注有高亮显示(用圆显示)并且计算出该地址(2，1)的G图像像素A与地址(1，1)的R图像像素B之间的像素值的差异度的情形。

基于检测部96的缺陷物理像素的检测方法中能够适用各种方法。例如，检测部96以如下要领检测缺陷物理像素。

即，例如检测部96计算出成为检测对象的图像像素A及B之间的像素值的减算值或除算值作为成为检测对象的图像像素A及B之间的像素值的差异度，当所计算出的差异度超出预先设定的阈值时，分别获取成为差异度的计算对象的图像像素A及B的各像素值和其周边的图像像素A及B的各像素值。例如，当地址(2，1)的G图像像素A与地址(1，1)的R图像像素B之间的像素值的差异度超出预先设定的阈值时，检测部96获取地址(2，1)的G图像像素A的像素值及地址(1，1)的R图像像素B的像素值，且获取其周边的地址(1，1)的R图像像素A、地址(3，1)的R图像像素A、地址(2，1)的G图像像素B及地址(3，1)的R图像像素B及地址(4，1)的G图像像素B的每一个的像素值。

然后，当所获取的多个像素值的排列即像素值图案与将地址(2，1)的G图像像素A及与其对应的地址(2，1)的G图像像素B作为白色划痕或黑色划痕而预先规定的异常像素值图案一致时，检测部96检测为与地址(2，1)的G图像像素A及地址(2，1)的G图像像素B对应的地址(2，1)的G物理像素为缺陷物理像素。

另外，在该情况下，当所获取的像素值图案与包含白色划痕的异常像素值图案一致时，检测部96可以检测为地址(2，1)的G图像像素A及地址(2，1)的G图像像素B为白色划痕。并且，当所获取的像素值图案与包含黑色划痕的异常像素值图案一致时，检测部96可以检测为地址(2，1)的G图像像素A及地址(2，1)的G图像像素B为黑色划痕。

并且，当所获取的多个像素值的排列即像素值图案与将地址(1，1)的R图像像素B及与其对应的地址(1，1)的R图像像素A作为白色划痕或黑色划痕而预先规定的异常像素值图案一致时，检测部96检测为与地址(1，1)的R图像像素B及地址(1，1)的R图像像素A对应的地址(1，1)的R物理像素为缺陷物理像素。

另外，在该情况下，当所获取的像素值图案与包含白色划痕的异常像素值图案一致时，检测部96可以检测为地址(1，1)的R图像像素B及地址(1，1)的R图像像素A为白色划痕。并且，当所获取的像素值图案与包含黑色划痕的异常像素值图案一致时，检测部96可以检测为地址(1，1)的R图像像素B及地址(1，1)的R图像像素A为黑色划痕。

校正部98对与由检测部96检测出的缺陷物理像素对应的图像像素的像素值根据与该图像像素相邻的图像像素的像素值来进行校正。校正像素值的方法能够适用各种方法。例如，校正部98以如下要领校正像素值。

即，校正部98通过将与由检测部96检测出的缺陷物理像素对应的第1图像像素的像素值设为与该第1图像像素相邻的第2图像像素的像素值的平均值或中央值来进行校正。

例如，当检测为地址(2，1)的G物理像素为缺陷物理像素时，校正部98通过将地址(2，1)的G图像像素A设为与该地址(2，1)的G图像像素A相邻的图像像素A及B的像素值的平均值或中央值来进行校正，并通过将地址(2，1)的G图像像素B设为与该地址(2，1)的G图像像素B相邻的图像像素A及B的像素值的平均值或中央值来进行校正。并且，例如，当检测为地址(1，1)的R物理像素为缺陷物理像素时，校正部98通过将地址(1，1)的R图像像素B设为与该地址(1，1)的R图像像素B相邻的图像像素A及B的像素值的平均值或中央值来进行校正，并通过将地址(1，1)的R图像像素A设为与该地址(1，1)的R图像像素A相邻的图像像素A及B的像素值的平均值或中央值来进行校正。如此，通过校正与缺陷物理像素对应的图像像素的像素值，可得到校正完毕的超分辨率化图像150。例如，当与缺陷物理像素对应的图像像素为白色划痕或黑色划痕时，可得到以该白色划痕或黑色划痕不显眼的方式进行了校正的超分辨率化图像150。

另外，在本例示中，当检测为地址(2，1)的G物理像素为缺陷物理像素时，地址(2，1)的G图像像素A及地址(2，1)的G图像像素B相当于本发明的技术所涉及的“与缺陷物理像素对应的第1图像像素”的一例，与地址(2，1)的G图像像素A及地址(2，1)的G图像像素B的每一个相邻的图像像素A及B相当于本发明的技术所涉及的“与第1图像像素相邻的第2图像像素”的一例。并且，当检测为地址(1，1)的R物理像素为缺陷物理像素时，地址(1，1)的R图像像素B及地址(1，1)的R图像像素A相当于本发明的技术所涉及的“与缺陷物理像素对应的第1图像像素”的一例，与地址(1，1)的R图像像素B相邻的图像像素A及与地址(1，1)的R图像像素A相邻的图像像素B相当于本发明的技术所涉及的“与第1图像像素相邻的第2图像像素”的一例。

输出部100进行将校正完毕的超分辨率化图像150输出到显示器26的处理。由此，在与缺陷物理像素对应的图像像素的像素值被校正的状态下，超分辨率化图像150显示于显示器26。例如，当与缺陷物理像素对应的图像像素为白色划痕或黑色划痕时，以白色划痕或黑色划痕不显眼的方式进行了校正的超分辨率化图像150显示于显示器26。

另外，关于第2实施方式所涉及的摄像装置10的作用(摄像装置10的工作)，与第1实施方式相同。

如以上所说明，在第2实施方式所涉及的摄像装置10中，进行如下控制，即，在具有多个物理像素138的图像传感器130的移动前后的物理像素配置中，使图像传感器130向移动后的第1任意的物理像素138位于与移动前的任意的第1物理像素不同的第2物理像素相邻的部位的部位移动。并且，通过利用摄像控制部90经由光电转换元件驱动器68控制图像传感器130来在移动前后利用图像传感器130进行拍摄。然后，根据由图像传感器130拍摄而得到的图像140A及140B的每一个中所包含的多个图像像素A及多个图像元件B中与移动前的第2物理像素对应的图像像素A和与移动后的第1物理像素对应的图像像素B之间的像素值的差异度，从多个物理像素138中检测缺陷物理像素。因此，能够根据在移动前后由图像传感器130拍摄而得到的图像140A及140B从多个物理像素138中检测缺陷物理像素。

并且，在第2实施方式所涉及的摄像装置10中，在摄像装置10中进行将由图像传感器130拍摄而得到的图像140A及140B存储于图像内存62中的处理。然后，根据存储于图像内存62中的图像140A及140B的每一个中所包含的多个图像像素A及多个图像像素B中上述的图像像素A及B之间的像素值的差异度从多个物理像素138中检测缺陷物理像素。因此，能够根据存储于图像内存62中的图像140A及140B从多个物理像素138中检测缺陷物理像素。

并且，在第2实施方式所涉及的摄像装置10中，对与缺陷物理像素对应的第1图像像素的像素值根据与该第1图像像素相邻的第2图像像素的像素值来进行校正。因此，能够校正与缺陷物理像素对应的图像像素的缺陷。

并且，在第2实施方式所涉及的摄像装置10中，作为一例，图像传感器130为对多个物理像素138以具有周期性的基底排列分配有不同颜色的滤色器的彩色型的图像传感器。因此，能够从彩色型的图像传感器130中所包含的多个物理像素138中检测缺陷物理像素。

并且，在第2实施方式所涉及的摄像装置10中，作为一例，将多个物理像素138间的间距设为p时，摄像控制部90进行使图像传感器130以1.5×p[μm]的移动量沿X方向移动的控制。因此，在具有拜耳排列的彩色型的图像传感器130的移动前后的物理像素配置中，能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

并且，第2实施方式所涉及的摄像装置10具备检测缺陷物理像素的控制器60、图像传感器130及使图像传感器130移动的抖动校正机构46。因此，在摄像装置10中，能够连续进行基于图像传感器130的摄像、图像传感器130的移动及缺陷物理像素的检测。

另外，在上述第2实施方式中，摄像控制部90使图像传感器130沿X方向移动，但也可以沿Y方向移动。并且，摄像控制部90也可以使图像传感器130沿X方向及Y方向移动。并且，即使在图像传感器130沿Y方向移动时或当图像传感器130沿X方向及Y方向移动时，也可通过与上述第2实施方式相同的方法来执行从多个物理像素138中检测缺陷物理像素的处理及将与缺陷物理像素对应的第1图像像素的像素值根据与该第1图像像素相邻的第2图像像素的像素值来进行校正的处理。

并且，在上述第2实施方式中，摄像控制部90使图像传感器130以1.5×p[μm]的移动量移动，但将多个物理像素138间的间距设为1时，摄像控制部90也可以在得到上述超分辨率化图像150的条件下使图像传感器130以大于1的小数的移动量沿X方向或Y方向移动。通过该结构，在图像传感器130的移动前后的物理像素配置中，也能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

并且，在上述第2实施方式中，将自然数设为n并将纯小数设为d时，摄像控制部90可以在得到上述超分辨率化图像150的条件下使图像传感器130以(n+d)×p[μm]的移动量沿X方向或Y方向移动。通过该结构，在图像传感器130的移动前后的物理像素配置中，也能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

并且，在上述第2实施方式中，将自然数设为n并将基底排列的每1周期的物理像素数设为T时，摄像控制部90可以使图像传感器130以{(T-1)+0.5}×n×p[μm]的移动量沿X方向或Y方向移动。通过该结构，在图像传感器130的移动前后的物理像素配置中，也能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

另外，若摄像控制部90使图像传感器130以1.5×p[μm]的移动量移动，则例如与使图像传感器130以大于1.5×p的小数的移动量或小于1.5×p且大于1.0×p[μm]的小数的移动量移动的情况相比，能够得到分辨率高的超分辨率化图像150。

并且，在上述第2实施方式中，输出部100可以输出与缺陷物理像素的位置对应的位置信息。该位置信息例如为与物理像素138的地址对应的信息。根据该结构，能够根据与所输出的缺陷物理像素的位置对应的位置信息来确定缺陷物理像素的位置。

并且，在上述第2实施方式中，检测部96可以提取多个图像像素中像素值脱离预先规定的范围的规定外图像像素，并根据该规定外图像像素的像素值和与该规定外图像像素相邻的图像像素的像素值的差异度来检测缺陷物理像素。根据该结构，与计算出与所有的移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素间的像素值的差异度的情况相比，能够减少差异度的计算次数。

并且，在上述第2实施方式中，检测部96在生成超分辨率化图像150的过程中从多个物理像素138中检测缺陷物理像素，但本发明的技术并不限定于此。例如，也可以在与生成超分辨率化图像150的过程不同的处理中，检测部96通过与上述相同的方法根据在移动前后由图像传感器130拍摄而得到的图像140A及140B从多个物理像素138中检测缺陷物理像素。

另外，在图17中示出通过相对于第2实施方式的比较例得到的超分辨率化图像450。该超分辨率化图像450为通过使上述的图像传感器130(参考图10A)以0.5×p[μm]的移动量移动(代替以1.5×p[μm]移动)而得到的图像。在该情况下，在图像传感器130的移动前后的物理像素配置中，移动后的第1物理像素位于移动前的第1物理像素相邻的部位。因此，在超分辨率化图像150中相邻的图像像素间的像素值相同，因此无法从多个物理像素中检测缺陷物理像素。

[第3实施方式]

接着，对第3实施方式进行说明。在第3实施方式中，相对于第1实施方式，如下变更摄像装置10的结构。另外，在第3实施方式中，对与第1实施方式相同的要件及部件等标注与第1实施方式相同的符号，并省略详细说明。并且，关于第3实施方式所涉及的摄像装置10的整体结构，参考图1～图5。

作为一例，如图11所示，在第3实施方式中，使用彩色型的图像传感器160。图像传感器160具有多个物理像素168。作为一例，多个物理像素168沿X方向及Y方向排列。作为一例，多个物理像素168间的X方向的间距相同，多个物理像素168间的Y方向的间距相同。并且，作为一例，多个物理像素168间的X方向的间距与多个物理像素168间的Y方向的间距相同。另外，多个物理像素168间的X方向的间距也可以与多个物理像素168间的Y方向的间距不同。

在图11所示的例子中，示出多个物理像素168中的一部分即7×7＝49个物理像素168。对多个物理像素168以具有周期性的基底排列分配有不同颜色的滤色器。作为基底排列的一例，图像传感器160中适用X-Trans(注册商标)型排列。

X-Trans(注册商标)型排列例如是指将6×6＝36个滤色器作为一个整体的排列。该6×6＝36个滤色器为与红色的波长区域对应的8个滤色器、与绿色的波长区域对应的20个滤色器及与蓝色的波长区域对应的8个滤色器。以下，当使用对多个物理像素168分配的滤色器识别多个物理像素168时，将分配有与红色的波长区域对应的滤色器的物理像素168称为R物理像素，将分配有与绿色的波长区域对应的滤色器的物理像素168称为G物理像素，将分配有与蓝色的波长区域对应的滤色器的物理像素168称为B物理像素。

6×6＝36个物理像素168如下排列。即，第1列的6个物理像素168以G物理像素、R物理像素、B物理像素、G物理像素、B物理像素及R物理像素的顺序排列。第2列的6个物理像素168以B物理像素、G物理像素、G物理像素、R物理像素、G物理像素及G物理像素的顺序排列。第3列的6个物理像素168以R物理像素、G物理像素、G物理像素、B物理像素、G物理像素及G物理像素的顺序排列。第4列的6个物理像素168以G物理像素、B物理像素、R物理像素、G物理像素、R物理像素及B物理像素的顺序排列。第5列的6个物理像素168以R物理像素、G物理像素、G物理像素、B物理像素、G物理像素及G物理像素的顺序排列。第6列的6个物理像素168以B物理像素、G物理像素、G物理像素、R物理像素、G物理像素及G物理像素的顺序排列。

在图11中示出多个物理像素168的X方向的地址及Y方向的地址。例如，地址(1，1)表示X方向的地址为1及Y方向的地址为1，地址(2，1)表示X方向的地址为2及Y方向的地址为1。作为一例，多个物理像素168的每一个具有光电二极管，对所接收到的光进行光电转换，并输出与受光量相对应的电信号。

接着，对第2实施方式所涉及的摄像控制部90、存储处理部92、生成部94、检测部96及输出部100(参考图6)进行说明。

作为一例，如图12A所示，摄像控制部90对抖动校正机构46的致动器52进行使图像传感器160沿X方向移动的控制。此时，摄像控制部90进行使图像传感器160移动的控制，以便得到后述的超分辨率化图像180(参考图12B)。

例如，对应于图像传感器160为以X-Trans(注册商标)型排列分配有不同颜色的滤色器的彩色型的图像传感器，摄像控制部90如下进行使图像传感器160移动的控制。即，将多个物理像素168间的间距设为p[μm]，将自然数设为n，并将X-Trans(注册商标)型排列的每1周期的物理像素数设为T时，摄像控制部90进行在固定图像传感器160的Y方向的位置的状态下使图像传感器160以{(T-1)+0.5}×n×p[μm]的移动量沿X方向移动的控制。例如，X-Trans(注册商标)型排列的每1周期的物理像素数T为6，因此当设为n＝1时，移动量规定为5.5×p。作为一例，摄像控制部90进行使图像传感器160以5.5×p[μm]的移动量移动的控制。

并且，摄像控制部90通过控制光电转换元件驱动器68而在移动前后使图像传感器160进行拍摄。由此，摄像控制部90获取在移动前后由图像传感器160拍摄而得到的图像170A及170B。图像170A为由移动前的图像传感器160拍摄而得到的图像，图像170B为由移动后的图像传感器160拍摄而得到的图像。图像170B为在相对于图像170A沿X方向仅偏移5.5×p[μm]的位置处由图像传感器160拍摄而得到的图像。在图12A所示的例子中，为了容易区分图像170A和图像170B，对由移动后的图像传感器160拍摄而得到的图像170B标注了点状的阴影线。图像170A及图像170B为本发明的技术所涉及的“多个图像”的一例。

图像170A中包含多个图像像素A，图像170B中包含多个图像像素B。多个图像像素A对应于移动前的图像传感器160的多个物理像素168，多个图像像素B对应于移动后的图像传感器160的多个物理像素168。在图12A所示的例子中，示出在图像传感器160的移动前得到的多个图像像素A中的一部分及在图像传感器160的移动后得到的多个图像像素B中的一部分，即7×3＝21个图像像素A和7×3＝21个图像像素B。例如，地址(1，1)的G图像像素A及B对应于地址(1，1)的G物理像素，地址(6，1)的B图像像素A及B对应于地址(6，1)的B物理像素。另外，以下，为了便于说明，当无需区分说明图像像素A和图像像素B时，不标注符号而称为“图像像素”。

存储处理部92进行将由图像传感器160拍摄而得到的图像170A及170B存储于图像内存62中的处理。

作为一例，如图12B所示，生成部94对由图像传感器160拍摄而得到的多个低分辨率图像(例如，图像170A及170B)进行超分辨率化。在此，超分辨率化例如是指通过错开图像像素的位置而合成多个低分辨率图像来生成比低分辨率图像高分辨率的图像即高分辨率图像的处理。如此生成的高分辨率图像一般也被称为超分辨率化图像。

在图12B所示的例子中，生成部94对由图像传感器160拍摄而得到的图像170A及170B进行超分辨率化而生成超分辨率化图像180。使用以X-Trans(注册商标)型排列分配有不同颜色的滤色器的彩色型的图像传感器160时的超分辨率化例如以如下要领实现。即，针对在图像传感器160的移动前后分别得到的沿X方向排列的7个图像像素A及B，根据图像传感器160的移动前后的绝对位置确定排列顺序。绝对位置为以图像像素A的中心和图像像素B的中心为基准的位置。

接着，根据上述排列顺序来排列在图像传感器160的移动前得到的图像170A中所包含的多个图像像素A和在图像传感器160的移动后得到的图像170B中所包含的多个图像像素B。由此，得到图像170A及图像170B被超分辨率化而得到的超分辨率化图像180。在图12B所示的例子中，示出超分辨率化图像180的一部分，即在图像传感器160的移动前后分别得到的42个×2＝84个图像像素A及B。

如上述例示那样，摄像控制部90进行使图像传感器160以5.5×p[μm]的移动量沿X方向移动的控制。由此，如超分辨率化图像180中所示，将与移动前的任意的物理像素168对应的图像像素A设为第1图像像素A，将与该第1图像像素A不同的其他图像像素A设为第2图像像素A，并将与移动后的前述的任意的物理像素168对应的图像像素B设为第1图像像素B时，第1图像像素B与第2图像像素A相邻。

在图12A及图12B所示的例子中，例如将地址(1，1)的G图像像素A设为第1图像像素A，将地址(6，1)的B图像像素A设为第2图像像素A，并将地址(1，1)的G图像像素B设为第1图像像素B时，地址(1，1)的G图像像素B即第1图像像素B与地址(6，1)的B图像像素A即第1图像像素A相邻。

多个图像像素A及B的每一个与图像传感器160的移动前后的多个物理像素168的每一个的位置对应。因此，超分辨率化图像180表示图像传感器160的移动前后的物理像素配置。例如，将与上述的第1图像像素A及第1图像像素B对应的物理像素168设为第1物理像素，并将与第2图像像素A对应的物理像素168设为第2物理像素时，摄像控制部90进行如下控制，即，在由超分辨率化图像180表示的图像传感器160的移动前后的物理像素配置中，使图像传感器160向移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位的部位移动。

换言之，摄像控制部90使图像传感器160移动，以使由超分辨率化图像180表示的图像传感器160的移动前后的物理像素配置成为使超分辨率化图像180中所包含的相邻的图像像素成为与互不相同的物理像素168对应的图像像素的物理像素配置。

作为这样的控制的一例，在上述例示中，摄像控制部90进行使图像传感器160以5.5×p[μm]的移动量沿X方向移动的控制。如上所述，图像传感器160的移动前后的物理像素配置例如由超分辨率化图像180表示，无论在图像传感器160的物理像素间有无与一个物理像素相当的量的空间，均可实现上述物理像素配置。

另外，在图12A及图12B所示的例子中，例如将地址(1，1)的G物理像素设为图像传感器160的移动前的第1物理像素时，该地址(1，1)的G物理像素相当于本发明的技术所涉及的“第1物理像素”的一例，与移动前的地址(1，1)的G物理像素不同的第2物理像素即地址(6，1)的B物理像素相当于本发明的技术所涉及的“第2物理像素”的一例。

并且，例如地址(1，1)的G图像像素A为本发明的技术所涉及的“与移动前的第1物理像素对应的图像像素”的一例，地址(6，1)的B图像像素A为本发明的技术所涉及的“与不同于移动前的第1物理像素的第2物理像素对应的图像像素”的一例，地址(1，1)的G图像像素B为本发明的技术所涉及的“与移动后的第1物理像素对应的图像像素”的一例。

作为一例，如图12C所示，检测部96计算出超分辨率化图像180中所包含的多个图像像素A及多个图像像素B中与移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素A及B之间的像素值的差异度。当图像传感器160沿X方向移动时，选择在X方向上彼此相邻的图像像素。另外，当图像传感器160沿Y方向移动时，选择在Y方向上彼此相邻的图像像素。图像像素A的像素值与从与图像像素A对应的物理像素168输出的电信号的值成正比，图像像素B的像素值与从与图像像素B对应的物理像素168输出的电信号的值成正比。

检测部96根据所计算出的差异度从多个物理像素168中检测缺陷物理像素。缺陷物理像素是指发生了缺陷的物理像素168。作为一例，检测部96依次计算出成为缺陷物理像素的检测对象(以下，简称为“检测对象”)的所有图像像素A及B之间的像素值的差异度。在图12C中，作为成为检测对象的图像像素A及B的一例，示出对地址(6，1)的B图像像素A和地址(1，1)的G图像像素B标注有高亮显示(用圆显示)并且计算出该地址(6，1)的B图像像素A与地址(1，1)的G图像像素B之间的像素值的差异度的情形。

基于检测部96的缺陷物理像素的检测方法中能够适用各种方法。例如，检测部96以如下要领检测缺陷物理像素。

即，例如检测部96计算出成为检测对象的图像像素A及B之间的像素值的减算值或除算值作为成为检测对象的图像像素A及B之间的像素值的差异度，当所计算出的差异度超出预先设定的阈值时，分别获取成为差异度的计算对象的图像像素A及B的各像素值和其周边的图像像素A及B的各像素值。

即，例如检测部96计算出成为检测对象的图像像素A及B之间的像素值的减算值或除算值作为成为检测对象的图像像素A及B之间的像素值的差异度，当所计算出的差异度超出预先设定的阈值时，分别获取成为差异度的计算对象的图像像素A及B的各像素值和其周边的图像像素A及B的各像素值。

例如，当地址(6，1)的B图像像素A与地址(1，1)的G图像像素B之间的像素值的差异度超出预先设定的阈值时，检测部96获取地址(6，1)的B图像像素A及地址(1，1)的G图像像素B的像素值，且获取其周边的地址(1，1)的G图像像素A、地址(2，1)的B图像像素A、地址(3，1)的R图像像素A、地址(4，1)的G图像像素A、地址(5，1)的R图像像素A、地址(7，1)的G图像像素A、地址(2，1)的B图像像素B、地址(3，1)的R图像像素B、地址(4，1)的G图像像素B、地址(5，1)的R图像像素B、地址(6，1)的R图像像素B及地址(7，1)的G图像像素B的每一个的像素值。

然后，当所获取的多个像素值的排列即像素值图案与将地址(6，1)的B图像像素A及与其对应的地址(6，1)的B图像像素B作为白色划痕或黑色划痕而预先规定的异常像素值图案一致时，检测部96检测为与地址(6，1)的B图像像素A及地址(6，1)的B图像像素B对应的地址(6，1)的B物理像素为缺陷物理像素。

另外，在该情况下，当所获取的像素值图案与包含白色划痕的异常像素值图案一致时，检测部96可以检测为地址(6，1)的B图像像素A及地址(6，1)的B图像像素B为白色划痕。并且，当所获取的像素值图案与包含黑色划痕的异常像素值图案一致时，检测部96可以检测为地址(6，1)的B图像像素A及地址(6，1)的B图像像素B为黑色划痕。

并且，当所获取的多个像素值的排列即像素值图案与地址(1，1)的G图像像素B及与其对应的地址(1，1)的G图像像素A作为白色划痕或黑色划痕而预先规定的异常像素值图案一致时，检测部96检测为与地址(1，1)的G图像像素B及地址(1，1)的G图像像素A对应的地址(1，1)的G物理像素为缺陷物理像素。

另外，在该情况下，当所获取的像素值图案与包含白色划痕的异常像素值图案一致时，检测部96可以检测为地址(1，1)的图像像素B及地址(1，1)的图像像素A为白色划痕。并且，当所获取的像素值图案与包含黑色划痕的异常像素值图案一致时，检测部96可以检测为地址(1，1)的图像像素B及地址(1，1)的图像像素B为黑色划痕。

校正部98对与由检测部96检测出的缺陷物理像素对应的图像像素的像素值根据与该图像像素相邻的图像像素的像素值来进行校正。校正像素值的方法能够适用各种方法。例如，校正部98以如下要领校正像素值。

即，校正部98通过将与由检测部96检测出的缺陷物理像素对应的第1图像像素的像素值设为与该第1图像像素相邻的第2图像像素的像素值的平均值或中央值来进行校正。例如，当检测为地址(6，1)的B物理像素为缺陷物理像素时，校正部98通过将地址(6，1)的B图像像素A设为与该地址(6，1)的B图像像素A相邻的图像像素A及B的像素值的平均值或中央值来进行校正，并通过将地址(6，1)的B图像像素B设为与该地址(6，1)的B图像像素B相邻的图像像素A及B的像素值的平均值或中央值来进行校正。并且，例如，当检测为地址(1，1)的G物理像素为缺陷物理像素时，校正部98通过将地址(1，1)的G图像像素B设为与该地址(1，1)的G图像像素B相邻的图像像素A及B的像素值的平均值或中央值来进行校正，并通过将地址(1，1)的G图像像素A设为与该地址(1，1)的G图像像素A相邻的图像像素A及B的像素值的平均值或中央值来进行校正。如此，通过校正与缺陷物理像素对应的图像像素的像素值，可得到校正完毕的超分辨率化图像180。例如，当与缺陷物理像素对应的图像像素为白色划痕或黑色划痕时，可得到以该白色划痕或黑色划痕不显眼的方式进行了校正的超分辨率化图像180。

另外，在本例示中，当检测为地址(6，1)的B物理像素为缺陷物理像素时，地址(6，1)的B图像像素A及地址(6，1)的B图像像素B相当于本发明的技术所涉及的“与缺陷物理像素对应的第1图像像素”的一例，与地址(6，1)的B图像像素A及地址(6，1)的B图像像素B的每一个相邻的图像像素A及B相当于本发明的技术所涉及的“与第1图像像素相邻的第2图像像素”的一例。并且，当检测为地址(1，1)的G物理像素为缺陷物理像素时，地址(1，1)的G图像像素B及地址(1，1)的G图像像素A相当于本发明的技术所涉及的“与缺陷物理像素对应的第1图像像素”的一例，与地址(1，1)的G图像像素B相邻的图像像素A及与地址(1，1)的G图像像素A相邻的图像像素B相当于本发明的技术所涉及的“与第1图像像素相邻的第2图像像素”的一例。

输出部100进行将校正完毕的超分辨率化图像180输出到显示器26的处理。由此，在与缺陷物理像素对应的图像像素的像素值被校正的状态下，超分辨率化图像180显示于显示器26。例如，当与缺陷物理像素对应的图像像素为白色划痕或黑色划痕时，以白色划痕或黑色划痕不显眼的方式进行了校正的超分辨率化图像180显示于显示器26。

另外，关于第3实施方式所涉及的摄像装置10的作用(摄像装置10的工作)，与第1实施方式相同。

如以上所说明，在第3实施方式所涉及的摄像装置10中，进行如下控制，即，在具有多个物理像素168的图像传感器160的移动前后的物理像素配置中，使图像传感器160向移动后的第1任意的物理像素168位于与移动前的任意的第1物理像素不同的第2物理像素相邻的部位的部位移动。并且，通过利用摄像控制部90经由光电转换元件驱动器68控制图像传感器160来在移动前后利用图像传感器160进行拍摄。然后，根据由图像传感器160拍摄而得到的图像170A及170B的每一个中所包含的多个图像像素A及多个图像元件B中与移动前的第2物理像素对应的图像像素A和与移动后的第1物理像素对应的图像像素B之间的像素值的差异度，从多个物理像素168中检测缺陷物理像素。因此，能够根据在图像传感器160的移动前后进行拍摄而得到的图像170A及170B从多个物理像素168中检测缺陷物理像素。

并且，在第3实施方式所涉及的摄像装置10中，进行将由图像传感器160拍摄而得到的图像170A及170B存储于图像内存62中的处理。然后，根据存储于图像内存62中的图像170A及170B的每一个中所包含的多个图像像素A及多个图像像素B中上述的图像像素A及B之间的像素值的差异度从多个物理像素168中检测缺陷物理像素。因此，能够根据存储于图像内存62中的图像170A及170B从多个物理像素168中检测缺陷物理像素。

并且，在第3实施方式所涉及的摄像装置10中，对与缺陷物理像素对应的第1图像像素的像素值根据与该第1图像像素相邻的第2图像像素的像素值来进行校正。因此，能够校正与缺陷物理像素对应的图像像素的缺陷。

并且，在第3实施方式所涉及的摄像装置10中，作为一例，图像传感器160为对多个物理像素168以具有周期性的基底排列分配有不同颜色的滤色器的彩色型的图像传感器160。因此，能够从彩色型的图像传感器160中所包含的多个物理像素168中检测缺陷物理像素。

并且，在第3实施方式所涉及的摄像装置10中，作为一例，将多个物理像素168间的间距设为p时，摄像控制部90进行使图像传感器160以5.5×p[μm]的移动量沿X方向移动的控制。因此，在具有X-Trans(注册商标)型排列的彩色型的图像传感器160的移动前后的物理像素配置中，能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

并且，第3实施方式所涉及的摄像装置10具备检测缺陷物理像素的控制器60、图像传感器160及使图像传感器160移动的抖动校正机构46。因此，在摄像装置10中，能够连续进行基于图像传感器160的摄像、图像传感器160的移动及缺陷物理像素的检测。

另外，在上述第3实施方式中，摄像控制部90使图像传感器160沿X方向移动，但也可以沿Y方向移动。并且，摄像控制部90也可以使图像传感器160沿X方向及Y方向移动。并且，即使在图像传感器160沿Y方向移动时或当图像传感器160沿X方向及Y方向移动时，也可通过与上述第3实施方式相同的方法来执行从多个物理像素168中检测缺陷物理像素的处理及将与缺陷物理像素对应的第1图像像素的像素值根据与该第1图像像素相邻的第2图像像素的像素值进行校正的处理。

并且，在上述第3实施方式中，摄像控制部90使图像传感器160以5.5×p[μm]的移动量移动，但将多个物理像素168间的间距设为1时，摄像控制部90也可以在得到上述超分辨率化图像180的条件下使图像传感器160以大于1的小数的移动量沿X方向或Y方向移动。通过该结构，在图像传感器160的移动前后的物理像素配置中，也能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

并且，在上述第3实施方式中，将自然数设为n并将纯小数设为d时，摄像控制部90可以在得到上述超分辨率化图像180的条件下使图像传感器160以(n+d)×p[μm]的移动量沿X方向或Y方向移动。通过该结构，在图像传感器160的移动前后的物理像素配置中，也能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

并且，在上述第3实施方式中，将自然数设为n并将基底排列的每1周期的物理像素数设为T时，摄像控制部90可以使图像传感器160以{(T-1)+0.5}×n×p[μm]的移动量沿X方向或Y方向移动。通过该结构，在图像传感器160的移动前后的物理像素配置中，也能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

另外，若摄像控制部90使图像传感器160以5.5×p[μm]的移动量移动，则例如与使图像传感器160以大于5.5×p的小数的移动量或小于5.5×p且大于5.0×p的小数的移动量移动的情况相比，能够得到分辨率高的超分辨率化图像180。

并且，在上述第3实施方式中，输出部100可以输出与缺陷物理像素的位置对应的位置信息。该位置信息例如为与物理像素168的地址对应的信息。根据该结构，能够根据与所输出的缺陷物理像素的位置对应的位置信息来确定缺陷物理像素的位置。

并且，在上述第3实施方式中，检测部96可以提取多个图像像素中像素值脱离预先规定的范围的规定外图像像素，并根据该规定外图像像素的像素值和与该规定外图像像素相邻的图像像素的像素值的差异度来检测缺陷物理像素。根据该结构，与计算出与所有的移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素间的像素值的差异度的情况相比，能够减少差异度的计算次数。

并且，在上述第3实施方式中，检测部96在生成超分辨率化图像180的过程中从多个物理像素168中检测缺陷物理像素，但本发明的技术并不限定于此。例如，也可以在与生成超分辨率化图像180的过程不同的处理中，检测部96通过与上述相同的方法根据在移动前后由图像传感器160拍摄而得到的图像170A及170B从多个物理像素168中检测缺陷物理像素。

另外，在图18中示出通过相对于第3实施方式的比较例得到的超分辨率化图像480。该超分辨率化图像480为通过使图像传感器160(参考图12A)以0.5×p[μm]的移动量移动(代替以5.5×p[μm]移动)而得到的图像。在该情况下，在图像传感器160的移动前后的物理像素配置中，移动后的第1物理像素位于移动前的第1物理像素相邻的部位。因此，在超分辨率化图像480中相邻的图像像素间的像素值相同，因此无法从多个物理像素中检测缺陷物理像素。

[第4实施方式]

接着，对第4实施方式进行说明。在第4实施方式中，相对于第2实施方式，如下变更摄像装置10的结构。另外，在第4实施方式中，对与第2实施方式相同的要件及部件等标注与第2实施方式相同的符号，并省略详细说明。并且，关于第4实施方式所涉及的摄像装置10的整体结构，参考图1～图5及图9。

在第4实施方式中，作为彩色型的图像传感器130的一例，使用对多个物理像素以拜耳排列分配有不同颜色的滤色器的图像传感器130(参考图9)。

第4实施方式所涉及的摄像控制部90、存储处理部92、生成部94、检测部96及输出部100(参考图6)如下构成。

作为一例，如图13A～图13C所示，摄像控制部90进行使图像传感器130移动的控制及在移动前后使图像传感器130进行拍摄的控制，以便得到后述的多个单色超分辨率化图像200R、200G、200B(参考图13B)。在图13A及图13B中，“R”表示分配有红色的滤色器的物理像素及与其对应的红色的图像像素，“G”表示分配有绿色的滤色器的物理像素及与其对应的绿色的图像像素，“B”表示分配有滤色器的蓝色的物理像素及与其对应的蓝色的图像像素。

作为一例，如图13A所示，摄像控制部90进行使移动前的图像传感器130进行拍摄的控制。由此，得到与多个滤色器的排列对应的图像1-1。接着，摄像控制部90进行使图像传感器130以1.0×p[μm]的移动量沿+X方向移动的控制，并进行使移动后的图像传感器130进行拍摄的控制。由此，得到图像1-2。接着，摄像控制部90进行使图像传感器130以1.0×p[μm]的移动量沿-Y方向移动的控制，并进行使移动后的图像传感器130进行拍摄的控制。由此，得到图像1-3。接着，摄像控制部90进行使图像传感器130以1.0×p[μm]的移动量沿-X方向移动的控制，并进行使移动后的图像传感器130进行拍摄的控制。由此，得到图像1-4。在图13A中分别示出图像1-1～1-4的一部分即在图像传感器130的移动前后分别得到的4×4＝16个图像像素量的图像。

如此得到的图像1-1～1-4表示图像传感器130的移动前后的物理像素配置。如上所述，摄像控制部90进行使图像传感器130以1.0×p[μm]的移动量沿X方向或Y方向移动的控制。由此，例如，在图像1-1～1-4中，将移动前的任意的物理像素设为移动前的第3物理像素并将分配有与该移动前的第3物理像素相同颜色的滤色器的移动前的物理像素设为第4物理像素时，移动后的第3物理像素与移动前的第4物理像素重叠。例如，在图13A所示的例子中，得到图像1-1的位置处的绿色的物理像素在得到图像1-3的位置处与其他绿色的物理像素重叠。同样地，在图13A所示的例子中，得到图像1-2的位置处的绿色的物理像素在得到图像1-4的位置处与其他绿色的物理像素重叠。

如此，摄像控制部90进行在图像传感器130的移动前后的物理像素配置中使图像传感器130向移动后的第3物理像素位于与分配有与移动前的第3物理像素相同颜色的滤色器的第4物理像素重叠的位置的部位移动的控制，以便得到图像1-1～1-4。

在图13A所示的例子中，将得到图像1-1的位置处的绿色的物理像素设为图像传感器130的移动前的任意的物理像素时，该绿色的物理像素相当于本发明的技术所涉及的“第3物理像素”的一例，得到图像1-3的位置处的其他绿色的物理像素相当于本发明的技术所涉及的“第4物理像素”的一例。并且，在图13B所示的例子中，将得到图像1-2的位置处的绿色的物理像素设为图像传感器130的移动前的任意的物理像素时，该绿色的物理像素相当于本发明的技术所涉及的“第3物理像素”的一例，得到图像1-4的位置处的其他绿色的物理像素相当于本发明的技术所涉及的“第4物理像素”的一例。

并且，例如，对应于图像传感器130为以拜耳排列分配有不同颜色的滤色器的彩色型的图像传感器，摄像控制部90如下进行使图像传感器130移动的控制。即，将多个物理像素间的间距设为p[μm]，将2以上的自然数设为m并将纯小数设为d时，摄像控制部90进行在固定图像传感器130的Y方向的位置的状态下使图像传感器130以(m+d)×p[μm]的移动量沿+X方向移动的控制。作为一例，当设为m＝2、d＝0.5时，移动量规定为2.5×p。作为一例，摄像控制部90进行使图像传感器130以2.5×p[μm]的移动量沿+X方向移动的控制。然后，摄像控制部90进行使移动后的图像传感器130进行拍摄的控制。由此，得到图像2-1。并且，摄像控制部90以与得到上述的图像1-2～1-4时相同的要领进行使图像传感器130移动的控制及使移动后的图像传感器130进行拍摄的控制。由此，得到图像2-2～2-4。

同样地，摄像控制部90进行在固定图像传感器130的X方向的位置的状态下使图像传感器130以2.5×p[μm]的移动量沿-Y方向移动的控制。然后，摄像控制部90进行使移动后的图像传感器130进行拍摄的控制。由此，得到图像3-1。并且，摄像控制部90以与得到上述的图像1-2～1-4时相同的要领进行使图像传感器130移动的控制及使移动后的图像传感器130进行拍摄的控制。由此，得到图像3-2～3-4。

同样地，摄像控制部90进行在固定图像传感器130的Y方向的位置的状态下使图像传感器130以2.5×p[μm]的移动量沿-X方向移动的控制。然后，摄像控制部90进行使移动后的图像传感器130进行拍摄的控制。由此，得到图像4-1。并且，摄像控制部90以与得到上述的图像1-2～1-4时相同的要领进行使图像传感器130移动的控制及使移动后的图像传感器130进行拍摄的控制。由此，得到图像4-2～4-4。

存储处理部92进行将由图像传感器130拍摄而得到的多个图像1-1～4-4存储于图像内存62中的处理。

作为一例，如图13A所示，生成部94根据多个图像1-1～4-4针对滤色器的各颜色生成多个单色图像R-1～B-4。单色图像R-1为图像1-1～1-4中的根据红色的像素生成的红色的图像，单色图像R-2为图像2-1～2-4中的根据红色的像素生成的红色的图像，单色图像R-3为图像3-1～3-4中的根据红色的像素生成的红色的图像，单色图像R-4为图像4-1～4-4中的根据红色的像素生成的红色的图像。

同样地，单色图像G-1为图像1-1～1-4中的根据绿色的像素生成的绿色的图像，单色图像G-2为图像2-1～2-4中的根据绿色的像素生成的绿色的图像，单色图像G-3为图像3-1～3-4中的根据绿色的像素生成的绿色的图像，单色图像G-4为图像4-1～4-4中的根据绿色的像素生成的绿色的图像。

同样地，单色图像B-1为图像1-1～1-4中的根据蓝色的像素生成的蓝色的图像，单色图像B-2为图像2-1～2-4中的根据蓝色的像素生成的蓝色的图像，单色图像B-3为图像3-1～3-4中的根据蓝色的像素生成的蓝色的图像，单色图像B-4为图像4-1～4-4中的根据蓝色的像素生成的蓝色的图像。

基于多个图像1-1～4-4的单色图像R-1～B-4的生成例如以如下要领实现。即，针对滤色器的各颜色，根据图像传感器130的移动前后的绝对位置对在图像传感器130的移动前后分别得到的多个图像像素确定排列顺序。绝对位置为以图像像素A的中心和图像像素B的中心为基准的位置。接着，根据上述排列顺序来排列在图像传感器130的移动前后得到的多个图像的每一个中所包含的多个图像像素。例如，在图像传感器130的移动前后重叠的图像像素的像素值采用该重叠的图像像素的平均值或中央值。由此，得到单色图像R-1～B-4。在图13A中分别示出单色图像R-1～B-4的一部分即4×4＝16个图像像素量的图像。

作为一例，如图13B所示，生成部94通过对由图像传感器40拍摄而得到的多个单色图像R-1～B-4进行超分辨率化而针对滤色器的各颜色生成多个单色超分辨率化图像200R、200G、200B。单色超分辨率化图像200R为根据单色图像R-1～4生成的红色的超分辨率化图像，单色超分辨率化图像200G为根据单色图像G-1～4生成的绿色的超分辨率化图像，单色超分辨率化图像200B为根据单色图像B-1～4生成的蓝色的超分辨率化图像。

基于多个单色图像R-1～B-4的单色超分辨率化图像200R、200G、200B的超分辨率化例如以如下要领实现。即，针对滤色器的各颜色，根据图像传感器130的移动前后的绝对位置对在图像传感器130的移动前后分别得到的多个图像像素确定排列顺序。绝对位置为以图像像素的中心和图像像素的中心为基准的位置。接着，根据上述排列顺序来排列在图像传感器130的移动前后得到的多个图像的每一个中所包含的多个图像像素。由此，得到单色超分辨率化图像200R、200G、200B。在图13B中分别示出单色超分辨率化图像200R、200G、200B的一部分即8×8＝64个图像像素量的图像。

作为一例，在图13C中示出蓝色的单色超分辨率化图像200B。在图13C中，分别示出蓝色的单色超分辨率化图像200B的一部分，即在图像传感器130的移动前后分别得到的13×12＝156个图像像素量的图像。并且，在图13中示出多个图像像素的X方向的地址及Y方向的地址。X方向的地址x及Y方向的地址y表示1以上的任意的自然数。

如上述例示，摄像控制部90反复进行如下控制：使图像传感器130以1.0×p[μm]的移动量沿+X方向移动，接着，使图像传感器130以1.0×p[μm]的移动量沿-Y方向移动，接着，使图像传感器130以1.0×p[μm]的移动量沿-X方向移动，接着，使图像传感器130以2.5×p[μm]的移动量沿X方向或Y方向移动。由此，如蓝色的单色超分辨率化图像200B所示，将与移动前的任意的物理像素对应的图像像素设为第1图像像素，将分配有与该第1图像像素相同颜色的滤色器的其他图像像素设为第2图像像素，并将与移动后的前述的任意的物理像素对应的图像像素设为第1图像像素时，第1图像像素与第2图像像素相邻。

在图13C所示的例子中，例如，将地址(x，y)的图像像素设为第1图像像素，将地址(x+1，y)的图像像素设为第2图像像素，并将地址(x，y)的图像像素设为第1图像像素时，第1图像像素即地址(x，y)的图像像素与第2图像像素即地址(x+1，y)的图像像素相邻。

多个图像像素的每一个与图像传感器130的移动前后的多个物理像素的每一个的位置对应。因此，单色超分辨率化图像200B表示图像传感器130的移动前后的物理像素配置。例如，将与上述的第1图像像素对应的物理像素设为第1物理像素，并将与第2图像像素对应的物理像素设为第2物理像素时，摄像控制部90进行如下控制，即，在由超分辨率化图像120表示的图像传感器130的移动前后的物理像素配置中，使图像传感器130向移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位的部位移动。换言之，摄像控制部90使图像传感器130移动，以使由单色超分辨率化图像200B表示的图像传感器130的移动前后的物理像素配置成为使单色超分辨率化图像200B中所包含的相邻的图像像素成为与互不相同的物理像素对应的图像像素的物理像素配置。

作为这样的控制的一例，在上述例示中，摄像控制部90反复进行如下控制：使图像传感器130以1.0×p[μm]的移动量沿+X方向移动，接着，使图像传感器130以1.0×p[μm]的移动量沿-Y方向移动，接着，使图像传感器130以1.0×p[μm]的移动量沿-X方向移动，接着，使图像传感器130以2.5×p[μm]的移动量沿X方向或Y方向移动。如上所述，图像传感器40的移动前后的物理像素配置例如由超分辨率化图像120表示，无论在图像传感器40的物理像素间有无与一个物理像素相当的量的空间，均可实现上述物理像素配置。

另外，在图13C所示的例子中，例如，将地址(x，y)的物理像素设为图像传感器130的移动前的第1物理像素时，该地址(x，y)的物理像素相当于本发明的技术所涉及的“第1物理像素”的一例，与移动前的地址(x，y)的物理像素不同的第2物理像素即地址(x+1，y)的物理像素相当于本发明的技术所涉及的“第2物理像素”的一例。并且，例如，移动前的地址(x，y)的图像像素为本发明的技术所涉及的“与移动前的第1物理像素对应的图像像素”的一例，地址(x+1，y)的图像像素为本发明的技术所涉及的“与不同于移动前的第1物理像素的第2物理像素对应的图像像素”的一例，移动后的地址(1，1)的图像像素为本发明的技术所涉及的“与移动后的第1物理像素对应的图像像素”的一例。

作为一例，如图13C所示，检测部96计算出单色超分辨率化图像200B中所包含的多个图像像素中与移动前的第2物理像素及移动后的第1物理像素分别对应的相同颜色的图像像素间的像素值的差异度。作为一例，检测部96依次计算出成为对象的所有图像像素间的像素值的差异度。在图13C中，作为成为对象的图像像素的一例，示出对地址(x，y)的图像像素和地址(x+1，y)的图像像素标注有高亮显示(用圆显示)并且计算出该地址(x，y)的图像像素与地址(x+1，y)的图像像素之间的像素值的差异度的情形。

并且，检测部96根据所计算出的差异度从多个物理像素中检测缺陷物理像素。检测缺陷物理像素的方法中能够适用各种方法。例如，如上述的第2实施方式中所说明，检测部96使用比较计算出差异度的图像像素及其周边的图像像素的像素值的图案与预先规定的异常像素值图案的图案匹配方法来检测缺陷物理像素。

并且，与单色超分辨率化图像200B同样地，检测部96对红色的单色超分辨率化图像200R及绿色的单色超分辨率化图像200G也检测缺陷物理像素。

另外，如上所述，在生成单色图像R-1～B-4的过程中，将移动前的任意的物理像素设为移动前的第3物理像素并将分配有与该移动前的第3物理像素相同颜色的滤色器的移动前的物理像素设为第4物理像素时，移动后的第3物理像素与移动前的第4物理像素重叠。在如图13A所示生成单色图像R-1～B-4的过程中，检测部96可以利用移动后的第3物理像素与移动前的第4物理像素重叠的情况来检测缺陷物理像素。即，检测部96可以根据多个图像的每一个中所包含的多个图像像素中与移动前的第4物理像素及移动后的第3物理像素分别对应的相同颜色的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素。并且，作为一例，检测部96可以依次计算出成为对象的所有的图像像素间的像素值的差异度。然后，检测部96可以根据所计算出的差异度从多个物理像素中检测缺陷物理像素。并且，也可以仅对多个单色超分辨率化图像200B、200R、200G中的任一个或两个进行缺陷物理像素的检测。

校正部98对与由检测部96检测出的缺陷物理像素对应的图像像素的像素值根据与该图像像素相邻的图像像素的像素值来进行校正。校正像素值的方法能够适用各种方法。例如，如上述的第2实施方式中所说明，校正部98通过将与由检测部96检测出的缺陷物理像素对应的图像像素的像素值设为与该图像像素相邻的图像像素的像素值的平均值或中央值来进行校正。

另外，在本例示中，当检测为地址(x，y)的物理像素为缺陷物理像素时，地址(x，y)的图像像素相当于本发明的技术所涉及的“与缺陷物理像素对应的第1图像像素”的一例，与地址(x，y)的图像像素相邻的图像像素相当于本发明的技术所涉及的“与第1图像像素相邻的第2图像像素”的一例。

并且，与单色超分辨率化图像200B同样地，针对红色的单色超分辨率化图像200R及绿色的单色超分辨率化图像200G，检测部96也对与缺陷物理像素对应的图像像素的像素值根据与该图像像素相邻的图像像素的像素值来进行校正。

输出部100进行合成校正完毕的多个单色超分辨率化图像200R、200G、200B并将该合成的合成图像输出到显示器26的处理。由此，在与缺陷物理像素对应的图像像素的像素值被校正的状态下合成校正完毕的多个单色超分辨率化图像200R、200G、200B而成的合成图像显示于显示器26。例如，当与缺陷物理像素对应的图像像素为白色划痕或黑色划痕时，以白色划痕或黑色划痕不显眼的方式进行了校正的合成图像显示于显示器26。

另外，关于第4实施方式所涉及的摄像装置10的作用(摄像装置10的工作)，与第1实施方式相同。

如以上所说明，在第4实施方式所涉及的摄像装置10中，进行如下控制，即，在具有多个物理像素的图像传感器130的移动前后的物理像素配置中，使图像传感器130向移动后的第1任意的物理像素位于与移动前的任意的第1物理像素不同的第2物理像素相邻的部位的部位移动。并且，进行在移动前后使图像传感器130进行拍摄的控制。然后，根据由图像传感器130拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素。因此，能够根据在移动前后由图像传感器130拍摄而得到的多个图像从多个物理像素中检测缺陷物理像素。

并且，在第4实施方式所涉及的摄像装置10中，进行如下控制，即，在图像传感器130的移动前后的物理像素配置中，使图像传感器130向移动后的第1物理像素位于分配有与移动前的任意的第1物理像素相同颜色的滤色器的第2物理像素相邻的部位的部位移动。并且，进行在移动前后使图像传感器130进行拍摄的控制。然后，根据由图像传感器130拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的第2物理像素及移动后的第1物理像素分别对应的相同颜色的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素。因此，例如，与根据不同颜色的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素的情况相比，能够提高缺陷物理像素的检测精度。

并且，在第4实施方式所涉及的摄像装置10中，例如进行如下控制，即，在图像传感器130的移动前后的物理像素配置中，使图像传感器130向移动后的第3物理像素位于与分配有与移动前的第3物理像素相同颜色的滤色器的第4物理像素重叠的位置的部位移动。并且，进行在移动前后使图像传感器130进行拍摄的控制。然后，根据由图像传感器130拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的第4物理像素及移动后的第3物理像素分别对应的相同颜色的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素。因此，与仅根据由图像传感器130拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的第2物理像素及移动后的第1物理像素分别对应的相同颜色的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素的情况相比，能够提高缺陷物理像素的检测精度。

并且，在第4实施方式所涉及的摄像装置10中，进行将由图像传感器130拍摄而得到的多个图像存储于图像内存62中的处理。然后，根据存储于图像内存62中的多个图像的每一个中所包含的多个图像像素中上述的图像像素间的像素值的差异度从多个物理像素中检测缺陷物理像素。因此，能够根据存储于图像内存62中的多个图像从多个物理像素中检测缺陷物理像素。

并且，在第4实施方式所涉及的摄像装置10中，对与缺陷物理像素对应的第1图像像素的像素值根据与该第1图像像素相邻的第2图像像素的像素值来进行校正。因此，能够校正与缺陷物理像素对应的图像像素的缺陷。

并且，在第4实施方式所涉及的摄像装置10中，对多个图像进行超分辨率化而针对滤色器的各颜色生成多个单色超分辨率化图像200R、200G、200B，并合成多个单色超分辨率化图像200R、200G、200B。因此，与输出未被超分辨率化的图像的情况相比，能够将分辨率高的图像显示于显示器26。

并且，摄像装置10具备检测缺陷物理像素的控制器60、图像传感器130及使图像传感器130移动的抖动校正机构46。因此，在摄像装置10中，能够连续进行基于图像传感器130的摄像、图像传感器130的移动及缺陷物理像素的检测。

另外，在上述第4实施方式中，摄像控制部90反复进行如下控制：使图像传感器130以1.0×p[μm]的移动量沿+X方向移动，接着，使图像传感器130以1.0×p[μm]的移动量沿-Y方向移动，接着，使图像传感器130以1.0×p[μm]的移动量沿-X方向移动，接着，使图像传感器130以2.5×p[μm]的移动量沿X方向或Y方向移动，但使图像传感器130移动的顺序及方向可以为上述以外。

并且，在上述第4实施方式中，摄像控制部90使图像传感器130以2.5×p[μm]的移动量移动，但将多个物理像素间的间距设为1时，摄像控制部90也可以在得到上述单色超分辨率化图像200R、200G、200B的条件下使图像传感器130以大于1的小数的移动量沿X方向或Y方向移动。通过该结构，在图像传感器130的移动前后的物理像素配置中，也能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

并且，在上述第4实施方式中，将自然数设为n并将纯小数设为d时，摄像控制部90可以在得到上述单色超分辨率化图像200R、200G、200B的条件下使图像传感器130以(n+d)×p[μm]的移动量沿X方向或Y方向移动。通过该结构，在图像传感器130的移动前后的物理像素配置中，也能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

并且，在上述第4实施方式中，将m设为2以上的自然数并将纯小数设为d时，摄像控制部90可以在得到上述超分辨率化图像120的条件下使图像传感器130以(m+d)×p[μm]的移动量沿X方向或Y方向移动。通过该结构，在图像传感器130的移动前后的物理像素配置中，也能够使移动后的第1物理像素位于与移动前的第1物理像素不同的第2物理像素相邻的部位。

另外，若摄像控制部90使图像传感器130以2.5×p[μm]的移动量移动，则例如与使图像传感器130以大于2.5×p的小数的移动量或小于2.5×p且大于2.0×p的小数的移动量移动的情况相比，能够得到分辨率高的超分辨率化图像120。

并且，在上述第4实施方式中，输出部100可以输出与缺陷物理像素的位置对应的位置信息。该位置信息例如为与物理像素的地址对应的信息。根据该结构，能够根据与所输出的缺陷物理像素的位置对应的位置信息来确定缺陷物理像素的位置。

并且，在上述第4实施方式中，检测部96可以提取多个图像像素中像素值脱离预先规定的范围的规定外图像像素，并根据该规定外图像像素的像素值和与该规定外图像像素相邻的图像像素的像素值的差异度来检测缺陷物理像素。根据该结构，与计算出与所有的移动前的第2物理像素及移动后的第1物理像素分别对应的图像像素间的像素值的差异度的情况相比，能够减少差异度的计算次数。

并且，在上述第4实施方式中，检测部96在生成单色超分辨率化图像200R、200G、200B的过程中从多个物理像素中检测缺陷物理像素。但是，也可以在与生成单色超分辨率化图像200R、200G、200B的过程不同的处理中，通过与上述相同的方法根据在移动前后由图像传感器130拍摄而得到的多个图像从多个物理像素中检测缺陷物理像素。

并且，在上述第4实施方式中，作为彩色型的图像传感器130的一例，使用具有拜耳排列的彩色型的图像传感器。但是，例如也可以使用具有条形排列、三角排列、拜耳排列及X-Trans(注册商标)型排列等其他排列的彩色型的图像传感器。使用这样的具有其他排列的彩色型的图像传感器时，也能够通过与上述相同的方法根据在移动前后由图像传感器130拍摄而得到的多个图像从多个物理像素中检测缺陷物理像素。

另外，在图19中示出通过相对于第4实施方式的比较例得到的超分辨率化图像500。该超分辨率化图像500为通过使图像传感器130(参考图13A)以0.5×p[μm]的移动量移动(代替以2.5×p[μm]移动)而得到的图像。在该情况下，在图像传感器130的移动前后的物理像素配置中，移动后的第1物理像素位于移动前的第1物理像素相邻的部位。因此，在超分辨率化图像500中相邻的图像像素间的像素值相同，因此无法从多个物理像素中检测缺陷物理像素。

接着，对上述实施方式中共同的变形例进行说明。在上述实施方式中，举出由摄像装置10内的控制器60执行摄像处理的方式例进行了说明，但本发明的技术并不限定于此。例如，如图14所示，也可以由经由LAN或WAN等网络310与摄像装置10能够通信地连接的外部装置312内的计算机314执行摄像处理。在图14所示的例子中，计算机314具备CPU316、存储器318及内存320。在存储器318中构建有分类数据库322，并存储有摄像处理程序88。

摄像装置10经由网络310请求外部装置312执行摄像处理。对应于此，外部装置312的CPU316从存储器318中读出摄像处理程序88，并在内存320上执行摄像处理程序88。CPU316按照在内存320上执行的摄像处理程序88进行摄像处理。然后，CPU316将执行摄像处理而得到的处理结果经由网络310提供到摄像装置10。

并且，可以由摄像装置10和外部装置312分散执行摄像处理，也可以由摄像装置10和包括外部装置312的多个装置分散执行摄像处理。

并且，在上述实施方式中，作为摄像装置10，例示出物理上的相机(以下，也称为“物理相机”)。但是，本发明的技术并不限定于此，也可以代替物理相机而适用虚拟相机，该虚拟相机根据由设置于不同位置的多个物理相机进行拍摄而得到的摄像图像数据，从虚拟的视点虚拟地拍摄被摄体，由此生成虚拟视点图像数据。在该情况下，由虚拟视点图像数据表示的图像即虚拟视点图像为本发明的技术所涉及的“图像”的一例。

并且，在上述实施方式中，举出在存储器60B中存储有摄像处理程序88的方式例进行了说明。但是，本发明的技术并不限定于此。例如，如图15所示，摄像处理程序88也可以存储于存储介质330中。存储介质330为非临时性存储介质。作为存储介质330的一例，可以举出SSD或USB存储器等任意的便携式的存储介质。

存储于存储介质330中的摄像处理程序88安装在控制器60中。CPU60A按照摄像处理程序88执行摄像处理。

并且，也可以经由通信网(省略图示)在连接于控制器60的其他计算机或服务器装置等的存储部中存储摄像处理程序88，根据摄像装置10的请求下载摄像处理程序88，并将其安装在控制器60中。

另外，无需在连接于控制器60的其他计算机或服务器装置等的存储部或存储器60B中存储摄像处理程序88的全部，也可以存储摄像处理程序88的一部分。

在图15所示的例子中，示出在摄像装置10中内置有控制器60的方式例，但本发明的技术并不限定于此，例如，控制器60也可以设置于摄像装置10的外部。

在图15所示的例子中，CPU60A为单个CPU，但也可以为多个CPU。并且，也可以代替CPU60A而适用GPU。

在图15所示的例子中，例示出控制器60，但本发明的技术并不限定于此，也可以代替控制器60而适用包含ASIC、FPGA和/或PLD的器件。并且，也可以代替控制器60而使用硬件结构及软件结构的组合。

作为执行在上述实施方式中所说明的摄像处理的硬件资源，能够使用如下所示的各种处理器。作为处理器，例如可以举出通过执行软件即程序而作为执行摄像处理的硬件资源发挥作用的通用的处理器即CPU。并且，作为处理器，例如可以举出FPGA、PLD或ASIC等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路。在任何内存中均内置或连接有内存，任何处理器均通过使用内存来执行摄像处理。

执行摄像处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。并且，执行摄像处理的硬件资源也可以为一个处理器。

作为由一个处理器构成的例子，第一，有以一个以上的CPU与软件的组合构成一个处理器，该处理器作为执行摄像处理的硬件资源发挥作用的方式。第二，有以SoC等为代表那样，使用由一个IC芯片实现包括执行摄像处理的多个硬件资源的系统整体的功能的处理器的方式。如此，使用上述各种处理器中的一个以上作为硬件资源来实现摄像处理。

另外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件组合而成的电路。并且，上述的摄像处理只不过是一例。因此，在不脱离宗旨的范围内，当然可以删除不必要的步骤，或者追加新的步骤，或者调换处理顺序。

以上所示的记载内容及图示内容为关于本发明的技术所涉及的一部分的详细说明，只不过是本发明的技术的一例。例如，与上述结构、功能、作用及效果有关的说明为与本发明的技术所涉及的部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术宗旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加或替换新的要件。并且，为了避免错综复杂的情况，并且容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中省略了与在使得能够实施本发明的技术的方面不需要特别说明的技术常识等有关的说明。

在本说明书中，“A和/或B”的含义与“A及B中的至少一个”相同。即，“A和/或B”的含义是可以仅为A，也可以仅为B，也可以为A与B的组合。并且，在本说明书中，将3个以上的情况用“和/或”连结而表现的情况也适用与“A和/或B”相同的思路。

本说明书中所记载的所有文献、专利申请及技术标准与具体地且分别地记载通过参考而被并入的各个文献、专利申请及技术标准的情况相同程度地，通过参考而被并入本说明书中。

关于以上的实施方式，还公开以下的附记。

(附记1)

一种检测装置，其具备：

处理器；及

内存，连接或内置于所述处理器，

所述处理器执行如下：

获取在图像传感器向如下部位移动的移动前后由所述图像传感器拍摄而得到的多个图像，所述部位为在具有沿第1方向及与所述第1方向交叉的第2方向排列的多个物理像素的图像传感器的移动前后的物理像素配置中，移动后的第1物理像素位于与移动前的所述第1物理像素不同的第2物理像素相邻的部位的部位；

计算出所获取的所述多个图像的每一个中所包含的多个图像像素中与移动前的所述第2物理像素及移动后的所述第1物理像素分别对应的图像像素间的像素值的差异度；

根据所述差异度从所述多个物理像素中检测缺陷物理像素。

(附记2)

一种检测装置，其具备：

处理器；

内存，连接或内置于所述处理器，

所述处理器执行如下：

进行如下控制，即，在对多个物理像素以具有周期性的基底排列分配有不同颜色的滤色器的彩色型的图像传感器的移动前后的物理像素配置中，使所述图像传感器向移动后的第3物理像素位于与分配有与移动前的所述第3物理像素相同颜色的滤色器的第4物理像素重叠的部位的部位移动；

在移动前后使所述图像传感器进行拍摄；

根据由所述图像传感器拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的所述第4物理像素及移动后的所述第3物理像素分别对应的相同颜色的图像像素间的像素值的差异度从所述多个物理像素中检测缺陷物理像素。

(附记3)

一种检测装置，其具备：

存储器；及

内存，连接或内置于所述处理器，

所述处理器执行如下：

进行如下控制，即，在对多个物理像素以具有周期性的基底排列分配有不同颜色的滤色器的彩色型的图像传感器的移动前后的物理像素配置中，使所述图像传感器向移动后的第1物理像素位于分配有与移动前的所述第1物理像素相同颜色的滤色器的第2物理像素相邻的部位的部位移动；

在移动前后使所述图像传感器进行拍摄；

根据由所述图像传感器拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的所述第2物理像素及移动后的所述第1物理像素分别对应的相同颜色的图像像素间的像素值的差异度从所述多个物理像素中检测缺陷物理像素。

(附记4)

一种检测装置，其具备：

处理器；

内存，连接或内置于所述处理器，

所述处理器执行如下：

进行如下控制，即，在对多个物理像素以具有周期性的基底排列分配有不同颜色的滤色器的彩色型的图像传感器的移动前后的物理像素配置中，使所述图像传感器分别向移动后的第1物理像素位于分配有与移动前的所述第1物理像素相同颜色的滤色器的第2物理像素相邻的部位的部位和移动后的第3物理像素位于与分配有与移动前的所述第3物理像素相同颜色的滤色器的第4物理像素重叠的部位的部位移动；

在移动前后使所述图像传感器进行拍摄；

根据由所述图像传感器拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的所述第2物理像素及移动后的所述第1物理像素分别对应的相同颜色的图像像素间的像素值的差异度从所述多个物理像素中检测缺陷物理像素。

(附记5)

根据附记4所述的检测装置，其中，

所述处理器根据由所述图像传感器拍摄而得到的所述多个图像的每一个中所包含的多个图像像素中与移动前的所述第4物理像素及移动后的所述第3物理像素分别对应的相同颜色的图像像素间的像素值的差异度，从所述多个物理像素中检测缺陷物理像素。

符号说明

10-摄像装置，12-摄像装置主体，14-可更换镜头，18-释放按钮，20-转盘，22-触摸面板显示器，24-指示键，26-显示器，28-触摸面板，30-摄像透镜，30A-物镜，30B-聚焦透镜，32-滑动机构，34-马达，36-马达，40-图像传感器，40A-受光面，42-信号处理电路，44-抖动量检测传感器，46-抖动校正机构，48-物理像素，50-位移用驱动器，52-致动器，54-位置检测传感器，60-控制器，60A-CPU，60B-存储器，60C-内存，62-图像内存，64-UI系统器件，66-外部I/F，68-光电转换元件驱动器，74-机械快门驱动器，76-机械快门致动器，78-机械快门，80-输入输出接口，82-总线，84-接收器件，86-硬键部，88-摄像处理程序，90-摄像控制部，92-存储处理部，94-生成部，96-检测部，98-校正部，100-输出部，110A、110B-图像，120-超分辨率化图像，130-图像传感器，138-物理像素，140A、140B-图像，150-超分辨率化图像，160-图像传感器，168-物理像素，170-图像，170A、170B-图像，180-超分辨率化图像，200R、200G、200B-单色超分辨率化图像，310-网络，312-外部装置，314-计算机，318-存储器，320-内存，322-分类数据库，330-存储介质，420-超分辨率化图像，450-超分辨率化图像，480-超分辨率化图像，500-超分辨率化图像，A、B-图像像素，1-1～1-4-图像，R-1～4-红色的单色图像，G-1～4-绿色的单色图像，B-1～4-蓝色的单色图像，OA-光轴。

Claims (20)

1.一种检测装置，其具备：

处理器；及

内存，连接或内置于所述处理器，

所述处理器执行如下：

进行如下控制，即，在具有沿第1方向及与所述第1方向交叉的第2方向排列的多个物理像素的图像传感器的移动前后的物理像素配置中，使所述图像传感器向移动后的第1物理像素位于与移动前的所述第1物理像素不同的第2物理像素相邻的部位的部位移动；

在移动前后使所述图像传感器进行拍摄；

根据由所述图像传感器拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的所述第2物理像素及移动后的所述第1物理像素分别对应的图像像素间的像素值的差异度从所述多个物理像素中检测缺陷物理像素。

2.根据权利要求1所述的检测装置，其中，

所述处理器执行如下：

进行将由所述图像传感器拍摄而得到的所述多个图像存储于所述内存中的处理；

根据存储于所述内存中的所述多个图像的每一个中所包含的多个图像像素中的所述图像像素间的像素值的差异度来检测所述缺陷物理像素。

3.根据权利要求1或2所述的检测装置，其中，

将所述多个物理像素间的所述第1方向或所述第2方向的间距设为1时，所述处理器进行使所述图像传感器以大于1的小数的移动量沿所述第1方向或所述第2方向移动的控制。

4.根据权利要求1至3中任一项所述的检测装置，其中，

将所述多个物理像素间的所述第1方向或所述第2方向的间距设为p，将自然数设为n并将纯小数设为d时，

所述处理器进行使所述图像传感器以(n+d)×p的移动量沿所述第1方向或所述第2方向移动的控制。

5.根据权利要求1至4中任一项所述的检测装置，其中，

所述处理器对与所述缺陷物理像素对应的第1图像像素的像素值根据与所述第1图像像素相邻的第2图像像素的像素值来进行校正。

6.根据权利要求1至5中任一项所述的检测装置，其中，

所述处理器输出与所述缺陷物理像素的位置对应的位置信息。

7.根据权利要求1至6中任一项所述的检测装置，其中，

所述处理器根据像素值脱离预先规定的范围的规定外图像像素的像素值和与所述规定外图像像素相邻的图像像素的像素值的差异度来检测所述缺陷物理像素。

8.根据权利要求1至7中任一项所述的检测装置，其中，

所述图像传感器为单色型的图像传感器。

9.根据权利要求8所述的检测装置，其中，

将所述多个物理像素间的所述第1方向或所述第2方向的间距设为p时，所述处理器进行使所述图像传感器以1.5×p的移动量沿所述第1方向或所述第2方向移动的控制。

10.根据权利要求1至7中任一项所述的检测装置，其中，

所述图像传感器为对所述多个物理像素以具有周期性的基底排列分配有不同颜色的滤色器的彩色型的图像传感器，

将所述多个物理像素间的所述第1方向或所述第2方向的间距设为p，将自然数设为n并将所述基底排列的每1周期的物理像素数设为T时，

所述处理器进行使所述图像传感器以{(T-1)+0.5}×n×p的移动量沿所述第1方向或所述第2方向移动的控制。

11.根据权利要求10所述的检测装置，其中，

所述基底排列为拜耳排列，

所述移动量规定为1.5×p。

12.根据权利要求10所述的检测装置，其中，

所述基底排列为X-Trans型排列，其中X-Trans为注册商标，

所述移动量规定为5.5×p。

13.根据权利要求1至7中任一项所述的检测装置，其中，

所述图像传感器为对所述多个物理像素以具有周期性的基底排列分配有不同颜色的滤色器的彩色型的图像传感器，

所述处理器执行如下：

进行如下控制，即，在所述图像传感器的移动前后的物理像素配置中，使所述图像传感器向移动后的第3物理像素位于与分配有与移动前的所述第3物理像素相同颜色的滤色器的第4物理像素重叠的部位的部位移动；

在移动前后使所述图像传感器进行拍摄；

根据由所述图像传感器拍摄而得到的所述多个图像的每一个中所包含的多个图像像素中与移动前的所述第4物理像素及移动后的所述第3物理像素分别对应的相同颜色的图像像素间的像素值的差异度从所述多个物理像素中检测缺陷物理像素。

14.根据权利要求1至7及13中任一项所述的检测装置，其中，

所述图像传感器为对所述多个物理像素以具有周期性的基底排列分配有不同颜色的滤色器的彩色型的图像传感器，

所述处理器执行如下：

进行如下控制，即，在所述图像传感器的移动前后的物理像素配置中，使所述图像传感器向移动后的所述第1物理像素位于分配有与移动前的所述第1物理像素相同颜色的滤色器的所述第2物理像素相邻的部位的部位移动；

在移动前后使所述图像传感器进行拍摄；

根据由所述图像传感器拍摄而得到的所述多个图像的每一个中所包含的多个图像像素中与移动前的所述第2物理像素及移动后的所述第1物理像素分别对应的相同颜色的图像像素间的像素值的差异度从所述多个物理像素中检测缺陷物理像素。

15.根据权利要求14所述的检测装置，其中，

将所述多个物理像素间的所述第1方向或所述第2方向的间距设为p，将m设为2以上的自然数并将纯小数设为d时，

所述处理器进行使所述图像传感器以(m+d)×p的移动量沿所述第1方向或所述第2方向移动的控制。

16.根据权利要求15所述的检测装置，其中，

所述移动量规定为2.5×p。

17.根据权利要求13至16中任一项所述的检测装置，其中，

所述处理器执行如下：

对所述多个图像进行超分辨率化而针对所述滤色器的各颜色生成多个单色超分辨率化图像；

合成所述多个单色超分辨率化图像。

18.一种摄像装置，其具备：

权利要求1至17中任一项所述的检测装置；

所述图像传感器；及

移动机构，使所述图像传感器沿所述第1方向及所述第2方向中的至少一个方向移动。

19.一种检测方法，其包括如下步骤：

进行如下控制，即，在具有沿第1方向及与所述第1方向交叉的第2方向排列的多个物理像素的图像传感器的移动前后的物理像素配置中，使所述图像传感器向移动后的第1物理像素位于与移动前的所述第1物理像素不同的第2物理像素相邻的部位的部位移动；

在移动前后使所述图像传感器进行拍摄；及

根据由所述图像传感器拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的所述第2物理像素及移动后的所述第1物理像素分别对应的图像像素间的像素值的差异度从所述多个物理像素中检测缺陷物理像素。

20.一种程序，其用于使计算机执行包括如下步骤的处理：

进行如下控制，即，在具有沿第1方向及与所述第1方向交叉的第2方向排列的多个物理像素的图像传感器的移动前后的物理像素配置中，使所述图像传感器向移动后的第1物理像素位于与移动前的所述第1物理像素不同的第2物理像素相邻的部位的部位移动；

在移动前后使所述图像传感器进行拍摄；及

根据由所述图像传感器拍摄而得到的多个图像的每一个中所包含的多个图像像素中与移动前的所述第2物理像素及移动后的所述第1物理像素分别对应的图像像素间的像素值的差异度从所述多个物理像素中检测缺陷物理像素。