CN113287295A - 摄像元件、摄像装置、摄像元件的工作方法及程序 - Google Patents

摄像元件、摄像装置、摄像元件的工作方法及程序 Download PDF

Info

Publication number
CN113287295A
CN113287295A CN201980086363.2A CN201980086363A CN113287295A CN 113287295 A CN113287295 A CN 113287295A CN 201980086363 A CN201980086363 A CN 201980086363A CN 113287295 A CN113287295 A CN 113287295A
Authority
CN
China
Prior art keywords
image data
output
image
processing
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980086363.2A
Other languages
English (en)
Other versions
CN113287295B (zh
Inventor
长谷川亮
河合智行
樱武仁史
小林诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN113287295A publication Critical patent/CN113287295A/zh
Application granted granted Critical
Publication of CN113287295B publication Critical patent/CN113287295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/14—Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/06—Viewfinders with lenses with or without reflectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

摄像元件内置有存储器及处理器。存储器存储通过以第1帧速率拍摄被摄体而得到的图像数据。处理器进行如下处理：导出通过拍摄作为图像数据得到的第1图像数据与在第1图像数据之前作为图像数据得到并存储于存储部的第2图像数据的差异度，在所导出的差异度为阈值以上的情况下，进行将第1图像数据及第2图像数据中的至少一个确定为输出图像数据的处理。处理器以第2帧速率输出所确定的所述输出图像数据。

Description

摄像元件、摄像装置、摄像元件的工作方法及程序
技术领域
本发明的技术涉及一种摄像元件、摄像装置、摄像元件的工作方法及程序。
背景技术
在日本特开2017-108368号公报中公开了如下技术，即求出第1帧与第2帧之间的差分数据，在未检测到差分的情况下输出差分数据，在检测到差分的情况下，将与第3帧的摄像数据对应的图像显示于显示装置上。
在日本特开2009-296353号公报中公开了一种摄像元件模块，该摄像元件模块具备：存储器，其以数字信号存储摄像图像数据；及压缩构件，其对从存储器读出的摄像图像数据进行压缩并将其输出到外部。在专利文献2中记载的摄像元件模块中，上次的摄像图像数据与本次的摄像图像数据的差分数据被用作压缩数据。
发明内容
本发明的技术所涉及的一个实施方式是提供一种与输出通过拍摄而得到的所有图像数据的情况相比能够减少输出图像数据所需的耗电量的摄像元件、摄像装置、摄像元件的工作方法及程序。
用于解决技术课题的手段
本发明的技术的第1方式所涉及的摄像元件包括：存储部，其存储通过以第1帧速率拍摄被摄体而得到的图像数据，且内置于摄像元件中；处理部，其进行使用图像数据的处理，且内置于摄像元件中；及输出部，其基于处理部中的处理结果，以第2帧速率输出基于图像数据的输出图像数据，且内置于摄像元件中，处理部导出通过拍摄而作为图像数据得到的第1图像数据与在第1图像数据之前作为图像数据得到并存储于存储部中的第2图像数据的差异度，在所导出的差异度为阈值以上的情况下，进行将第1图像数据及第2图像数据中的至少一个确定为输出图像数据的处理，输出部输出由处理部确定的输出图像数据。由此，与输出通过拍摄而得到的所有图像数据的情况相比，能够减少输出图像数据所需的耗电量。
在本发明的技术的第2方式所涉及的摄像元件中，处理部对第1图像数据及第2图像数据进行间隔剔除处理，导出间隔剔除处理后的第1图像数据与间隔剔除处理后的第2图像数据的差异度。由此，与不对第1图像数据及第2图像数据进行间隔剔除处理的情况相比，能够减少输出图像数据所需的耗电量。
在本发明的技术的第3方式所涉及的摄像元件中，处理部从第1图像数据及第2图像数据的其中一个检测表示主要被摄体的图像的主要被摄体图像数据，从第1图像数据及第2图像数据中的另一个检测表示根据相当于由第1图像数据表示的图像内的主要被摄体的图像的位置的位置确定的图像的特定图像数据，差异度是由处理部检测到的主要被摄体图像数据与由处理部检测到的特定图像数据的差异度。由此，与导出整个第1图像数据与整个第2图像数据的差异度的情况相比，能够减轻施加于处理部的负载。
在本发明的技术的第4方式所涉及的摄像元件中，处理部在差异度小于阈值的状态持续了预先确定的时间的情况下，至少降低第1帧速率及第2帧速率中的第1帧速率。由此，与在对被摄体不进行明显的动作的期间不降低第1帧速率而进行拍摄的情况相比，能够减少摄像元件的耗电量。
在本发明的技术的第5方式所涉及的摄像元件中，处理部从图像数据中检测表示眼睑闭合的状态的眼睛的图像的闭眼图像数据，输出部在由处理部检测到闭眼图像数据的情况下，不输出检测到闭眼图像数据的图像数据。与输出包含闭眼图像数据的输出图像数据的情况相比，能够减少输出图像数据所需的耗电量。
在本发明的技术的第6方式所涉及的摄像元件中，输出部在差异度为阈值以上的情况下，以通过处理部未检测到闭眼图像数据为条件，将第1图像数据及第2图像数据中的至少一个确定为输出图像数据。由此，能够向用户提供可预想对用户而言必要性高的输出图像数据。
在本发明的技术的第7方式所涉及的摄像元件中，处理部导出表示对图像数据的对焦程度的评价值，输出部在由处理部导出的评价值小于规定评价值的情况下，不输出作为小于规定评价值的评价值的导出对象的图像数据。由此，与输出与小于规定评价阈值的对焦评价值对应的输出图像数据的情况相比，能够减少输出图像数据所需的耗电量。
在本发明的技术的第8方式所涉及的摄像元件中，处理部在差异度为阈值以上的情况下，以评价值为规定评价值以上为条件，将第1图像数据及第2图像数据中的至少一个确定为输出图像数据。由此，能够向用户提供可预想对用户而言必要性高的输出图像数据。
在本发明的技术的第9方式所涉及的摄像元件中，输出部在差异度小于阈值的情况下，输出第1虚拟数据。由此，与在差异度小于阈值的情况下输出输出图像数据的情况相比，能够减小数据的触发率。
在本发明的技术的第10方式所涉及的摄像元件中，输出部即使在差异度为阈值以上的情况下，在输出图像数据是满足特定条件的图像数据的情况下，也不输出输出图像数据而输出第2虚拟数据。由此，与在差异度为阈值以上的情况下始终输出所有输出图像数据的情况相比，能够减小数据的触发率。
本发明的技术的第11方式所涉及的摄像元件至少将光电转换元件和存储部单芯片化。由此，与未将光电转换元件和存储部单芯片化的情况相比，能够提高摄像元件的便携性。
本发明的技术的第12方式所涉及的摄像元件是存储部层叠于光电转换元件上的层叠型摄像元件。由此，与存储部未层叠于光电转换元件上的非层叠型摄像元件相比，能够提高从光电转换元件向存储部的数据的传送速度。
本发明的技术的第13方式所涉及的一种摄像装置，其包括：第1方式至第12方式中任一项所述的摄像元件；及显示控制部，其进行使显示部显示基于由输出部输出的输出图像数据的图像的控制。由此，与显示由通过拍摄被摄体而得到的所有图像数据的每一个表示的各图像的情况相比，能够减少耗电量。
本发明的技术的第14方式所涉及的摄像装置包括：第1方式至第12方式中任一项所述的摄像元件；及存储控制部，其进行将由输出部输出的输出图像数据存储于存储装置中的控制。由此，与通过拍摄被摄体而得到的所有图像数据存储于存储装置中的情况相比，能够减少耗电量。
本发明的技术的第15方式所涉及的摄像元件的工作方法中，摄像元件包括：存储部，其存储通过以第1帧速率拍摄被摄体而得到的图像数据；处理部，其进行使用图像数据的处理；及输出部，其基于处理部中的处理结果，以第2帧速率输出基于图像数据的输出图像数据，所述摄像元件内置有存储部、处理部及输出部，所述摄像元件的工作方法包括如下步骤：处理部导出通过拍摄而作为图像数据得到的第1图像数据与在第1图像数据之前作为图像数据得到并存储于存储部中的第2图像数据的差异度，在所导出的差异度为阈值以上的情况下，进行将第1图像数据及第2图像数据中的至少一个确定为输出图像数据的处理，输出部输出由处理部确定的输出图像数据。由此，与输出通过拍摄而得到的所有图像数据的情况相比，能够减少输出图像数据所需的耗电量。
本发明的技术的第16方式所涉及的程序是一种用于使计算机作为摄像元件中所包括的处理部及输出部发挥功能的程序，该摄像元件包括：存储部，其存储通过以第1帧速率拍摄被摄体而得到的图像数据；处理部，其进行使用图像数据的处理；及输出部，其基于处理部中的处理结果，以第2帧速率输出基于图像数据的输出图像数据，所述摄像元件内置有存储部、处理部及输出部，处理部导出通过拍摄而作为图像数据得到的第1图像数据与在第1图像数据之前作为图像数据得到并存储于存储部中的第2图像数据的差异度，在所导出的差异度为阈值以上的情况下，进行将第1图像数据及第2图像数据中的至少一个确定为输出图像数据的处理，输出部输出由处理部确定的输出图像数据。由此，与输出通过拍摄而得到的所有图像数据的情况相比，能够减少输出图像数据所需的耗电量。
本发明的技术的第17方式所涉及的摄像元件包括：存储器，其存储通过以第1帧速率拍摄被摄体而得到的图像数据，且内置于摄像元件中；及处理器，其进行使用图像数据的处理，基于处理部中的处理结果，以第2帧速率输出基于图像数据的输出图像数据，且内置于摄像元件中，处理器进行如下处理：导出通过拍摄作为图像数据得到的第1图像数据与在第1图像数据之前作为图像数据得到并存储于存储器中的第2图像数据的差异度，在所导出的差异度为阈值以上的情况下，进行将第1图像数据及第2图像数据中的至少一个确定为输出图像数据的处理，输出所确定的输出图像数据。
附图说明
图1是表示第1～第6实施方式所涉及的摄像装置的一例的概略立体图。
图2是表示第1～第6实施方式所涉及的摄像装置的一例的概略后视图。
图3是表示第1～第6实施方式所涉及的摄像装置的电气系统的硬件结构的一例的框图。
图4是表示第1～第6实施方式所涉及的摄像装置中所包括的混合式取景器的结构的一例的概略结构图。
图5是表示第1～第6实施方式所涉及的摄像装置中所包括的摄像元件的层叠结构的一例的概略结构图。
图6是表示第1～第6实施方式所涉及的摄像元件的结构的一例的框图。
图7A是用于说明第1～第6实施方式所涉及的摄像装置的摄像帧速率的概念图。
图7B是用于说明第1～第6实施方式所涉及的摄像装置的输出帧速率的概念图。
图8是表示第1实施方式所涉及的摄像装置的摄像元件中所包括的处理电路的结构的一例的框图。
图9是用于说明图8所示的图像数据获取部的概念图。
图10是表示从图8所示的存储器输出到图像数据获取部的摄像图像数据的输出方式的一例的概念图。
图11是用于说明图8所示的差分图像数据生成部的概念图。
图12是用于说明图8所示的差分图像数据生成部及二值化图像数据生成部的概念图。
图13是用于说明图8所示的二值化图像数据生成部及输出图像数据确定部的概念图。
图14是用于详细说明图8及图13所示的输出图像数据确定部的概念图。
图15是表示第1实施方式所涉及的摄像处理流程的一例的流程图。
图16是表示由第1实施方式所涉及的摄像装置的处理电路中所包括的输出电路输出的图像数据的变形例的概念图。
图17是表示第1实施方式所涉及的摄像处理流程的变形例的流程图。
图18是表示第2实施方式所涉及的摄像装置的摄像元件中所包括的处理电路的结构的一例的框图。
图19是表示通过由第2实施方式所涉及的摄像装置中所包括的摄像元件拍摄而得到的摄像图像数据及间隔剔除图像数据的每一个的数据结构的一例的概念图。
图20是用于说明图18所示的间隔剔除图像数据生成部及差分图像数据生成部的概念图。
图21是表示第2实施方式所涉及的摄像处理流程的一例的流程图。
图22是表示第3实施方式所涉及的摄像装置的摄像元件中所包括的处理电路的结构的一例的框图。
图23是用于说明图22所示的间隔剔除图像数据生成部、检测部及差分图像数据生成部的概念图。
图24是用于说明图22所示的图像处理电路、输出电路及控制器的概念图。
图25是表示第3实施方式所涉及的摄像处理流程的一例的流程图。
图26是表示第4实施方式所涉及的摄像装置的摄像元件中所包括的处理电路的结构的一例的框图。
图27是表示第4实施方式所涉及的摄像装置中所包括的控制器的结构的一例的框图。
图28是表示第4实施方式所涉及的摄像装置中所包括的控制器的CPU的功能的一例的功能框图。
图29是表示第4实施方式所涉及的帧速率设定指示处理流程的一例的流程图。
图30是表示第4实施方式所涉及的标准帧速率设定处理流程的一例的流程图。
图31是表示第4实施方式所涉及的低帧速率设定处理流程的一例的流程图。
图32是表示第5实施方式所涉及的摄像装置的摄像元件中所包括的处理电路的结构的一例的框图。
图33是用于说明图32所示的输出图像数据确定部及图像数据分选部的概念图。
图34A是用于说明图33所示的图像数据分选部的概念图。
图34B是用于详细说明图33所示的图像数据分选部的概念图。
图35是表示由第5实施方式所涉及的摄像装置的处理电路中所包括的输出电路输出的图像数据的一例的概念图。
图36是表示第5实施方式所涉及的摄像处理流程的一例的流程图。
图37是表示第6实施方式所涉及的摄像装置的摄像元件中所包括的处理电路的结构的一例的框图。
图38是用于说明图37所示的输出图像数据确定部及图像数据分选部的概念图。
图39是用于详细说明图38所示的图像数据分选部的概念图。
图40是表示与拜耳排列对应的摄像图像数据及间隔剔除图像数据的每一个的数据结构的一例的概念图。
图41是表示从存储有程序的存储介质将程序安装于摄像元件内的计算机中的方式的一例的概念图。
图42是表示组装有实施方式所涉及的摄像元件的智能设备的概略结构的一例的框图。
具体实施方式
以下，按照附图对本发明的技术所涉及的摄像装置的实施方式的一例进行说明。
首先，对在以下说明中使用的术语的含义进行说明。
并且，在以下说明中，CPU是指“Central Processing Unit：中央处理单元”的简称。并且，在以下说明中，RAM是指“Random Access Memory：随机存取存储器”的简称。并且，在以下说明中，ROM是指“Read Only Memory：只读存储器”的简称。并且，在以下说明中，DRAM是指“Dynamic Random Access Memory：动态随机存取存储器”的简称。并且，在以下说明中，SRAM是指“Static Random Access Memory：静态随机存取存储器”的简称。
并且，在以下说明中，LSI是指“Large-Scale Integration：大规模集成”的简称。并且，在以下说明中，ASIC是指“Application Specific Integrated Circuit：专用集成电路”的简称。并且，在以下说明中，PLD是指“Programmable Logic Device：可编程逻辑器件”的简称。并且，在以下说明中，FPGA是指“Field-Programmable Gate Array：现场可编程门阵列”的简称。
并且，在以下说明中，SSD是指“Solid State Drive：固态驱动器”的简称。并且，在以下说明中，DVD-ROM是指“Digital Versatile Disc Read Only Memory：数字通用光盘只读存储器”的简称。并且，在以下说明中，USB是指“Universal Serial Bus：通用串行总线”的简称。并且，在以下说明中，HDD是指“Hard Disk Drive：硬盘驱动器”的简称。并且，在以下说明中，EEPROM是指“Electrically Erasable and Programmable Read Only Memory：带电可擦可编程只读存储器”的简称。
并且，在以下说明中，CCD是指“Charge Coupled Device：电荷耦合元件”的简称。并且，在以下说明中，CMOS是指“Complementary Metal Oxide Semiconductor：互补型金属氧化物半导体”的简称。并且，在以下说明中，EL是指“Electro-Luminescence：电致发光”的简称。并且，在以下说明中，A/D是指“Analog/Digital：模拟/数字”的简称。并且，在以下说明中，FIFO是指“First in First out：先进先出”的简称。并且，在以下说明中，I/F是指“Interface：接口”的简称。并且，在以下说明中，AF是指“Auto-Focus：自动对焦”的简称。并且，在以下说明中，AE是指“Automatic Exposure：自动曝光”的简称。
作为一例，如图1所示，摄像装置10是镜头可换式相机。摄像装置10是数码相机，其包括摄像装置主体12和可更换镜头14，并省略了反光镜。
在摄像装置主体12上设置有混合式取景器(注册商标)16。这里所说的混合式取景器16是指例如选择性地使用光学取景器(以下，称为“OVF”)及电子取景器(以下，称为“EVF”)的取景器。另外，OVF是指“optical view finder：光学取景器”的简称。并且，EVF是指“electronic viewfinder：电子取景器”的简称。
在摄像装置主体12的主视中央部设置有摄像元件44。摄像元件44例如是CMOS图像传感器。详细内容将后述，摄像元件44是本发明的技术所涉及的“层叠型摄像元件”的一例。另外，在此，作为摄像元件44而例示出CMOS图像传感器，但本发明的技术并不限定于此，例如即使摄像元件44是CCD图像传感器，本发明的技术也成立。
可更换镜头14以可更换的方式安装于摄像装置主体12。在可更换镜头14的镜筒上设置有摄像透镜40。当可更换镜头14安装于摄像装置主体12上时，摄像透镜40的光轴L1位于摄像元件44的受光面44A的中央部，表示被摄体的被摄体光经由摄像透镜40在受光面44A上成像。
在可更换镜头14上设置有在摄像装置10为手动聚焦模式的情况下使用的聚焦环13。摄像透镜40具有聚焦透镜40A，伴随聚焦环13的手动的旋转操作，聚焦透镜40A沿光轴方向移动，在与被摄体距离对应的对焦位置，被摄体光在受光面44A上成像。在此，“对焦位置”是指对焦的状态下的聚焦透镜40A的光轴L1上的位置。
在摄像装置主体12的前表面上设置有取景器切换杆18。通过使取景器切换杆18沿箭头SW方向转动，从而切换能够用OVF视觉辨认的光学像和能够用EVF视觉辨认的电子图像即即时预览图像。这里所说的“即时预览图像”是指通过由摄像元件44拍摄被摄体而得到的显示用动态图像。即时预览图像通常也被称为实时取景图像。
在摄像装置主体12的上表面设置有释放按钮20及转盘22。转盘22在设定摄像系统的动作模式及再生系统的动作模式等时被操作。
释放按钮20作为摄像准备指示部及摄像指示部而发挥功能，并能够检测摄像准备指示状态和摄像指示状态这两个阶段的按压操作。摄像准备指示状态例如是指从待机位置被按下至中间位置(半按位置)的状态，摄像指示状态是指被按下至超过中间位置的最终按下位置(全按位置)的状态。另外，以下，将“从待机位置被按下至半按位置的状态”称为“半按状态”，将“从待机位置被按下至全按位置的状态”称为“全按状态”。
在摄像装置10中，作为动作模式，拍摄模式和回放模式根据用户的指示被选择性地设定。拍摄模式大致分为显示动画用拍摄模式和记录用拍摄模式。
显示动画用拍摄模式是通过连续拍摄而得到的连续的多个帧量的即时预览图像显示于后述第1显示器32和/或第2显示器86(参考图3)上的动作模式。
记录用拍摄模式大致分为静止图像用拍摄模式和动态图像用拍摄模式。静止图像用拍摄模式是记录通过由摄像装置10拍摄被摄体而得到的静止图像的动作模式，动态图像用拍摄模式是记录通过由摄像装置10拍摄被摄体而得到的动态图像的动作模式。
记录用拍摄模式是即时预览图像显示于后述第1显示器32和/或第2显示器86，且记录用图像数据记录于后述辅助存储装置80(参考图3)和/或存储卡等的动作模式。记录用图像数据大致分为静止图像数据和动态图像数据，静止图像数据是在静止图像用拍摄模式下获得的图像数据，动态图像数据是在动态图像用拍摄模式下获得的图像数据。
若设定拍摄模式，则首先摄像装置10成为显示动画用拍摄模式。在显示动画用拍摄模式下，在释放按钮20被按压操作的情况下，摄像装置10从显示动画用拍摄模式转移到记录用拍摄模式。
在拍摄模式下，手动聚焦模式和自动聚焦模式根据用户的指示被选择性地设定。在自动聚焦模式下，通过将释放按钮20设为半按状态而调整摄像条件，然后，若紧接着设为全按状态，则进行曝光。即，通过将释放按钮20设为半按状态而启动AE功能以设定曝光状态之后，启动AF功能以控制对焦，若将释放按钮20设为全按状态，则进行拍摄。
作为一例，如图2所示，在摄像装置主体12的背面上设置有触摸面板显示器26、指示键28及取景器目镜部30。
触摸面板显示器26具备第1显示器32及触摸面板34(也参考图3)。作为第1显示器32，可以举出液晶显示器或有机EL显示器。
第1显示器32显示图像及字符信息等。第1显示器32用于显示当摄像装置10为拍摄模式时通过连续拍摄而得到的即时预览图像。并且，第1显示器32也用于显示当被赋予静止图像用拍摄的指示时通过拍摄而得到的静止图像。此外，第1显示器32也用于显示当摄像装置10为回放模式时的回放图像及菜单画面等。
触摸面板34是透射型触摸面板，并与第1显示器32的显示区域的表面重叠。触摸面板34例如检测手指或手写笔等指示体的接触，将检测结果输出到后述CPU46A(参考图3)等规定的输出目的地。
指示键28接收一个或多个菜单的选择、选择内容的确定、选择内容的删除、变焦及帧传送等各种的指示。
作为一例，如图3所示，摄像装置10具备卡口36、38。卡口36设置于摄像装置主体12。卡口38设置于可更换镜头14中与卡口36的位置对应的位置。可更换镜头14通过卡口38键合于卡口36而以可更换的方式安装于摄像装置主体12。
作为一例，如图3所示，可更换镜头14具有摄像透镜40。除了聚焦透镜40A以外，摄像透镜40还具备物镜40B及光圈40C。聚焦透镜40A、物镜40B及光圈40C从被摄体侧到摄像装置主体12侧，沿着光轴L1，依次配置有物镜40B、聚焦透镜40A及光圈40C。
摄像镜头40包括滑动机构41及马达45、47。光圈40C上连接有马达47，光圈40C根据从马达47施加的动力而进行工作来调节曝光。
滑动机构41通过受到动力而使聚焦透镜40A沿着光轴L1移动。在滑动机构41上连接有马达45及聚焦环13，对滑动机构41施加来自马达45的动力或通过操作聚焦环13而得到的动力。即，滑动机构41按照来自马达45的动力或通过操作聚焦环13而得到的动力，使聚焦透镜40A沿着光轴L1移动。
马达45、47经由卡口36、38连接于摄像装置主体12，并按照来自摄像装置主体12的命令而控制驱动。另外，在本实施方式中，作为马达45、47的一例而适用步进马达。因此，马达45、47根据来自摄像装置主体12的命令，与脉冲电力同步进行动作。并且，在图3所示的例子中示出马达45、47设置于摄像镜头40的示例，但并不限定于此，马达45、47中的至少一个也可以设置于摄像装置主体12。
在摄像装置主体12上设置有旋转编码器43。旋转编码器43经由卡口36、38连接于摄像装置主体12。旋转编码器43检测聚焦环13的位置，将检测结果输出到摄像装置主体12。
摄像装置主体12具备机械快门42。机械快门42在后述CPU46A的控制下，通过受到来自马达等驱动源(省略图示)的动力而进行工作。在可更换镜头14经由卡口36、38安装于摄像装置主体12的情况下，被摄体光透过摄像透镜40，经由机械快门42在受光面44A上成像。
摄像装置主体12具备控制器46及UI系统设备48。控制器46控制整个摄像装置10。UI系统设备48是向用户提示信息或接收来自用户的指示的设备。在控制器46上经由总线88连接有UI系统设备48，控制器46进行来自UI系统设备48的各种信息的获取及UI系统设备48的控制。
控制器46具备CPU46A、ROM46B、RAM46C、控制I/F46D及输入I/F46E。CPU46A、ROM46B、RAM46C、控制I/F46D及输入I/F46E经由总线88彼此连接。
在ROM46B中存储有各种程序。CPU46A从ROM46B读出各种程序，并将所读出的各种程序扩展到RAM46C。CPU46A按照扩展到RAM46C的各种程序来控制整个摄像装置10。
控制I/F46D是具有FPGA的设备，连接于摄像元件44。CPU46A经由控制I/F46D控制摄像元件44。并且，控制I/F46D经由卡口36、38连接于马达45、47，CPU46A经由控制I/F46D控制马达45、47。此外，控制I/F46D经由卡口36、38连接于旋转编码器43，CPU46A基于从旋转编码器43输入的检测结果来确定聚焦环13的位置。
辅助存储装置80及外部I/F82连接于总线88。辅助存储装置80是闪存、SSD、HDD、或EEPROM等非易失性存储器。CPU46A对辅助存储装置80进行各种信息的读写。
外部I/F82是具有FPGA的设备。USB存储器及存储卡等外部装置(省略图示)连接于外部I/F82。外部I/F82控制CPU46A与外部装置之间的各种信息的授受。
CPU46A将后述输出图像数据70(参考图6)存储于辅助存储装置80和/或上述外部装置中。另外，CPU46A是本发明的技术所涉及的“存储控制部”的一例。并且，辅助存储装置80及上述外部装置是本发明的技术所涉及的“存储装置”的一例。
UI系统设备48具备混合式取景器16、触摸面板显示器26及接收部84。第1显示器32及触摸面板34连接于总线88。因此，CPU46A使第1显示器32显示各种信息，并按照由触摸面板34接收到的各种指示进行动作。
接收部84具备触摸面板34及硬键部25。硬键部25是多个硬键，并且具有释放按钮20、转盘22及指示键28。硬键部25连接于总线88，CPU46A按照由硬键部25接收到的各种指示进行动作。
混合式取景器16具备第2显示器86。CPU46A使第2显示器86显示各种信息。
作为一例，如图4所示，混合式取景器16包括OVF90及EVF92。OVF90是反向伽利略取景器，并且具有目镜透镜94、棱镜96及物镜98。EVF92具有第2显示器86、棱镜96及目镜透镜94。
沿着物镜98的光轴L2在比物镜98更靠被摄体侧配置有液晶快门100，当使用EVF92时，液晶快门100进行遮光以免光学像入射到物镜98。
棱镜96反射显示于第2显示器86上的电子图像或各种信息并引导到目镜透镜94，并且将光学像和显示于第2显示器86上的电子图像和/或各种信息合成。作为显示于第2显示器86上的电子图像的一例，可举出即时预览图像。
在OVF模式的情况下，CPU46A控制成液晶快门100成为非遮光状态，以使能够从目镜透镜94视觉辨认光学像。并且，在EVF模式的情况下，CPU46A控制成液晶快门100成为遮光状态，以使能够从目镜透镜94仅视觉辨认显示于第2显示器86上的电子图像。
另外，以下，为了便于说明，在不需要区分说明第1显示器32(参考图3)及第2显示器86的情况下，不标注符号而称为“显示器”。显示器是本发明的技术所涉及的“显示部”的一例。并且，CPU46A是本发明的技术所涉及的“显示控制部”的一例。
作为一例，如图5所示，在摄像元件44中内置有光电转换元件61、处理电路62及存储器64。在摄像元件44中，处理电路62及存储器64层叠于光电转换元件61上。摄像元件44是将光电转换元件61、处理电路62及存储器64单芯片化的摄像元件。即，光电转换元件61、处理电路62及存储器64被封装。具体而言，光电转换元件61及处理电路62通过铜等具有导电性的凸块(省略图示)彼此电连接，处理电路62及存储器64也通过铜等具有导电性的凸块(省略图示)彼此电连接。另外，存储器64是本发明的技术所涉及的“存储部”的一例。
处理电路62例如是LSI，存储器64例如是DRAM。然而，本发明的技术并不限定于此，可以采用SRAM来代替DRAM作为存储器64。
处理电路62由ASIC及FPGA来实现，并且在与控制器46之间进行各种信息的授受。另外，在此，举出了处理电路62由ASIC及FPGA来实现的例子，但本发明的技术并不限定于此。例如，处理电路62可以仅由ASIC、PLD、或FPGA来实现，也可以由ASIC、PLD及FPGA中的ASIC及PLD的组合、或PLD及FPGA的组合来实现。并且，可以采用包括CPU、ROM及RAM的计算机。CPU可以是一个，也可以是多个。并且，处理电路62可以通过硬件结构及软件结构的组合来实现。
光电转换元件61具有配置成矩阵状的多个光电二极管。作为多个光电二极管的一例，可以举出“4896×3265”像素量的光电二极管。
光电转换元件61具备滤色器，滤色器包括最有助于用于得到亮度信号的与G(绿色)对应的G滤色器、与R(红色)对应的R滤色器及与B(蓝色)对应的B滤色器。在本实施方式中，针对光电转换元件61的多个光电二极管，G滤色器、R滤色器及B滤色器在行方向(水平方向)及列方向(垂直方向)上分别以规定的周期性配置。因此，当进行R、G、B信号的去马赛克处理等时，摄像装置10能够按照重复模式进行处理。另外，去马赛克处理是指如下处理：从与单板式彩色摄像元件的滤色器排列对应的马赛克图像中，按每个像素计算所有颜色信息。例如，在由RGB三色滤色器构成的摄像元件的情况下，去马赛克处理是指如下处理：从由RGB构成的马赛克图像中，按每个像素计算RGB所有颜色信息。
摄像元件44具有所谓的电子快门功能，在控制器46的控制下，通过启动电子快门功能而控制光电转换元件61内的各光电二极管的电荷积蓄时间。电荷积蓄时间是指所谓的快门速度。
在摄像装置10中，以滚动快门方式进行静止图像用拍摄和动态图像用拍摄。静止图像用拍摄通过启动电子快门功能且使机械快门42(参考图3)工作来实现，即时预览图像用拍摄通过不使机械快门42工作而启动电子快门功能来实现。另外，在此，例示出滚动快门方式，但本发明的技术并不限定于此，可以适用全局快门方式来代替滚动快门方式。
作为一例，如图6所示，处理电路62包括读出电路62A、数字处理电路62B、图像处理电路62C、输出电路62D及控制电路62E。读出电路62A、数字处理电路62B、图像处理电路62C及控制电路62E由ASIC来实现，输出电路62D由FPGA来实现。另外，图像处理电路62C是本发明的技术所涉及的“处理部”的一例，输出电路62D是本发明的技术所涉及的“输出部”的一例。
控制电路62E连接于控制器46。具体而言，控制电路62E连接于控制器46的控制I/F46D(参考图3)，按照CPU46A(参考图3)的指示，控制整个摄像元件44。
读出电路62A连接于光电转换元件61、数字处理电路62B及控制电路62E。存储器64连接于数字处理电路62B、图像处理电路62C及控制电路62E。图像处理电路62C连接于输出电路62D、控制电路62E及存储器64。
输出电路62D连接于控制电路62E及控制器46。具体而言，输出电路62D连接于控制器46的输入I/F46E(参考图3)。
读出电路62A在控制电路62E的控制下，从光电转换元件61读出作为积蓄在光电转换元件61中的信号电荷的模拟摄像图像数据69A。具体而言，读出电路62A按照从控制电路62E输入的垂直同步信号，按每1帧读出摄像图像数据69A。并且，读出电路62A在1帧的读出期间内按照从控制电路62E输入的水平同步信号，按每1行读出摄像图像数据69A。
数字处理电路62B对由读出电路62A读出的模拟摄像图像数据69A进行相关双采样的信号处理后进行A/D转换，由此将模拟摄像图像数据69A进行数字化。并且，数字处理电路62B将对摄像图像数据69A进行数字化而得到的摄像图像数据69B存储于存储器64。另外，以下，在不需要区分说明摄像图像数据69A、69B的情况下，称为“摄像图像数据69”。
存储器64是能够存储多个帧的摄像图像数据69B的存储器。存储器64具有像素单位的存储区域(省略图示)，摄像图像数据69B通过数字处理电路62B以像素单位存储于存储器64中的对应的存储区域中。
图像处理电路62C进行使用摄像图像数据69B的处理。具体而言，图像处理电路62C从存储器64获取摄像图像数据69B，并对所获取的摄像图像数据69B实施各种信号处理。这里所说的“各种信号处理”除了包括色调校正、白平衡调整、清晰度调整、伽马校正及灰度校正等公知的信号处理以外，还包括本发明的技术所涉及的信号处理。详细内容将后述，本发明的技术所涉及的信号处理例如是指基于图8所示的图像数据获取部62C1、差分图像数据生成部62C2、二值化图像数据生成部62C3及输出图像数据确定部62C4的信号处理。
图像处理电路62C通过对摄像图像数据69A实施各种信号处理来生成输出图像数据70，并将所生成的输出图像数据70输出到输出电路62D。
输出电路62D基于图像处理电路62C中的各种信号处理的结果，输出基于摄像图像数据69B的输出图像数据70。具体而言，输出电路62D将从图像处理电路62C输入的输出图像数据70输出到控制器46。
在摄像元件44中，以摄像帧速率拍摄被摄体，以输出帧速率将输出图像数据70输出到控制器46。摄像帧速率是本发明的技术所涉及的“第1帧速率”的一例，输出帧速率是本发明的技术所涉及的“第2帧速率”的一例。另外，这里所说的“拍摄”是指光电转换元件61中的1帧量的曝光开始到1帧量的摄像图像数据69B存储于存储器64为止的处理。
摄像帧速率是光电转换元件61、读出电路62A、数字处理电路62B、控制电路62E及存储器64协作进行的拍摄所需的帧速率。与此相对，输出帧速率是与摄像元件44的后级的设备中使用的帧速率相同的帧速率。
摄像帧速率和输出帧速率具有“摄像帧速率≥输出帧速率”的关联性即可。例如，如图7A所示，摄像帧速率是在期间T内进行8帧量的拍摄的帧速率，如图7B所示，输出帧速率是在期间T内进行3帧量的输出的帧速率即可。
另外，在本实施方式中，作为摄像帧速率而采用了240fps(frames per second：每秒帧)，作为输出帧速率而采用了60fps，但本发明的技术并不限定于此。例如，可以采用300fps作为摄像帧速率，采用120fps作为输出帧速率，摄像帧速率和输出帧速率也可以相同。
作为一例，如图8所示，图像处理电路62C具有图像数据获取部62C1、差分图像数据生成部62C2、二值化图像数据生成部62C3及输出图像数据确定部62C4。图像数据获取部62C1连接于存储器64。差分图像数据生成部62C2连接于图像数据获取部62C1。二值化图像数据生成部62C3连接于差分图像数据生成部62C2。输出图像数据确定部62C4连接于二值化图像数据生成部62C3。输出电路62D连接于输出图像数据确定部62C4。
作为一例，如图9所示，图像数据获取部62C1从存储器64获取摄像图像数据69B。在图9所示的例子中，作为摄像图像数据69B，示出了由图像数据获取部62C1获取最新帧图像数据和过去帧图像数据的方式。
存储器64以FIFO方式输入输出摄像图像数据69B，图像数据获取部62C1依次获取从存储器64输出的摄像图像数据69B。图像数据获取部62C1临时保持从存储器64依次获取的一对摄像图像数据69B。在由图像数据获取部62C1保持的一对摄像图像数据69B中，从存储器64获取的最新的摄像图像数据69B是上述最新帧图像数据。并且，在由图像数据获取部62C1保持的一对摄像图像数据69B中，在最新帧图像数据的前1帧从存储器64获取的摄像图像数据69B是上述过去帧图像数据。
即，作为一例，如图10所示，在存储器64中以FIFO方式输入输出摄像图像数据69B，图像数据获取部62C1每当在存储器64中存储摄像图像数据69B时获取从存储器64输出的摄像图像数据69B。图像数据获取部62C1临时保持从存储器64获取的时刻相邻的一对摄像图像数据69B。
当从存储器64获取新的摄像图像数据69B时，图像数据获取部62C1输出过去帧图像数据。并且，当从存储器64获取新的摄像图像数据69B时，图像数据获取部62C1将最新帧图像数据保持为过去帧图像，将新获取的摄像图像数据69B保持为最新帧图像数据。如此，每当通过图像数据获取部62C1从存储器64获取摄像图像数据69B时，更新由图像数据获取部62C1保持的一对摄像图像数据69B。
作为一例，如图11所示，从图像数据获取部62C1输出的摄像图像数据69B输入到差分图像数据生成部62C2。差分图像数据生成部62C2从图像数据获取部62C1获取摄像图像数据69B，与图像数据获取部62C1同样地，作为最新帧图像数据和过去帧图像数据来保持。此外，当从图像数据获取部62C1获取新摄像图像数据69B时，差分图像数据生成部62C2与图像数据获取部62C1同样地，更新保持对象的最新帧图像数据及过去帧图像数据，将作为过去帧图像数据保持的摄像图像数据69B输出到二值化图像数据生成部62C3(参考图8及图12)。
差分图像数据生成部62C2计算在当前时刻保持的一对摄像图像数据69B，即最新帧图像数据和过去帧图像数据的差分的绝对值(以下，称为“差分绝对值”)，生成基于差分绝对值的差分图像数据。在此，在将过去帧图像数据设为Ipast(x，y)，将最新帧图像数据设为Icurr(x，y)的情况下，差分图像数据Idiff(x，y)按照下式(1)来计算。
Idiff(x，y)＝|Icurr(x，y)-Ipast(x，y)|……(1)
当计算差分图像数据Idiff(x，y)时，差分图像数据生成部62C2将所计算的差分图像数据Idiff(x，y)输出到二值化图像数据生成部62C3(参考图12)。
作为一例，如图12所示，二值化图像数据生成部62C3从差分图像数据生成部62C2获取差分图像数据，并根据所获取的差分图像数据生成二值化图像数据。二值化图像数据生成部62C3对差分图像数据Idiff(x，y)进行二值化。例如，按照以下式(2)及式(3)，差分图像数据Idiff(x，y)被转换为二值化图像数据Ibin(x，y)。
Ibin(x，y)＝1(Idiff(x，y)＞阈值T1)……(2)
Ibin(x，y)＝0(Idiff(x，y)≤阈值T1)……(3)
另外，从差分图像数据生成部62C2输出的摄像图像数据69B输入到二值化图像数据生成部62C3。二值化图像数据生成部62C3从差分图像数据生成部62C2获取摄像图像数据69B，与图像数据获取部62C1同样地，作为最新帧图像数据和过去帧图像数据来保持。此外，当从差分图像数据生成部62C2获取新摄像图像数据69B时，二值化图像数据生成部62C3与图像数据获取部62C1同样地，更新保持对象的最新帧图像数据及过去帧图像数据，将作为过去帧图像数据保持的摄像图像数据69B输出到输出图像数据确定部62C4(参考图8)。
在图13所示的例子中，在二值化图像数据内包含“Ibin(x，y)＝1”的二值化差分区域SA，SB。输出图像数据确定部62C4计算二值化差分区域SA及二值化差分区域SB的总面积(＝ΣIbin(x，y))，判定所计算的总面积是否为规定面积以上。在此，在所计算的总面积为规定面积以上的情况下，输出图像数据确定部62C4将用于生成包括二值化差分区域SA及二值化差分区域SB的二值化图像数据的最新帧图像数据及过去帧图像数据中的最新帧图像数据确定为输出图像数据70。
另外，上述“规定面积”例如是作为在进行2帧量的拍摄的期间能够视觉上识别为被摄体有动作时的二值化差分区域的面积从使用了计算机模拟和/或实机的感官试验等的结果获得的面积。在本第1实施方式中，采用了由二值化图像数据表示的图像整体的面积中的20％的面积作为上述“规定面积”。上述“规定面积”可以是能够根据由接收部84(参考图3)接收到的指示变更的可变值，也可以是固定值。上述“规定面积”是本发明的技术所涉及的“阈值”的一例，二值化差分区域SA及二值化差分区域SB的总面积是本发明的技术所涉及的“差异度”的一例。以下，为了便于说明，将二值化差分区域SA及二值化差分区域SB的总面积也简称为“二值化差分区域的面积”。
作为一例，如图14所示，每当从二值化图像数据生成部62C3输入摄像图像数据69B时，输出图像数据确定部62C4将与所输入的摄像图像数据69B对应的二值化图像数据的二值化差分区域的总面积和规定面积进行比较。输出图像数据确定部62C4基于比较结果，判定是否将所输入的摄像图像数据69B输出到输出电路62D。并且，输出图像数据确定部62C4将确定为应输出的摄像图像数据69B的输出图像数据70依次输出到输出电路62D。
输出电路62D基于图像处理电路62C中的处理结果以输出帧速率输出图像数据。具体而言，输出电路62D基于通过图像处理电路62C对摄像图像数据69B进行处理而得到的处理结果，以输出帧速率输出基于摄像图像数据69B的输出图像数据70。
接着，对摄像装置10的作用进行说明。
首先，参考图15，对由摄像元件44的处理电路62执行的摄像处理流程进行说明。
在图15所示的摄像处理中，首先，在步骤ST10中，读出电路62A判定是否已到使光电转换元件61开始曝光的时刻(以下，称为“曝光开始时刻”)。曝光开始时刻是根据上述摄像帧速率周期性地规定的时刻。在步骤ST10中，在未到曝光开始时刻的情况下判定为“否”，摄像处理转移到步骤ST30。在步骤ST10中，在已到曝光开始时刻的情况下判定为“是”，摄像处理转移到步骤ST12。
在步骤ST12中，读出电路62A使光电转换元件61进行1帧量的曝光。
在下一步骤ST14中，读出电路62A从光电转换元件61读出1帧量的摄像图像数据69A。
在下一步骤ST16中，数字处理电路62B对在步骤ST14中读出的摄像图像数据69A进行相关双采样的信号处理后进行A/D转换，由此将摄像图像数据69A进行数字化。
在下一步骤ST18中，数字处理电路62B将进行数字化而得到的摄像图像数据69B存储于存储器64。存储于存储器64中的摄像图像数据69B由图像数据获取部62C1获取。
在下一步骤ST20中，图像数据获取部62C1判定是否具有过去帧图像数据。即，图像数据获取部62C1判定是否保持最新帧图像数据和过去帧图像数据的一对摄像图像数据69B。在步骤ST20中，在不具有过去帧图像数据的情况下判定为“否”，摄像处理转移到步骤ST30。在步骤ST20中，在具有过去帧图像数据的情况下判定为“是”，摄像处理转移到步骤ST22。
在步骤ST22中，首先，差分图像数据生成部62C2计算通过图像数据获取部62C1获取的最新帧图像数据和过去帧图像数据的差分绝对值，根据所计算的差分绝对值生成上述差分图像数据。接着，二值化图像数据生成部62C3通过对差分图像数据进行二值化而生成上述二值化图像数据。并且，输出图像数据确定部62C4根据由二值化图像数据生成部62C3生成的二值化图像数据值计算上述二值化差分区域。
在下一步骤ST24中，输出图像数据确定部62C4判定二值化差分区域的面积是否为上述规定面积以上。在步骤ST24中，在二值化差分区域的面积不是规定面积以上的情况下判定为“否”，摄像处理转移到步骤ST30。在步骤ST24中，在二值化差分区域的面积为规定面积以上的情况下判定为“是”，摄像处理转移到步骤ST26。
在步骤ST26中，输出图像数据确定部62C4将用于生成包括二值化差分区域的二值化图像数据的最新帧图像数据及过去帧图像数据中的最新帧图像数据确定为输出图像数据70。
在下一步骤ST28中，输出电路62D将在步骤ST26中确定的输出图像数据70输出到控制器46。
控制器46将从输出电路62D输入的输出图像数据70作为即时预览图像或静止图像显示于显示器上，或存储于辅助存储装置80和/或存储卡(省略图示)中。
在步骤ST30中，控制电路62E判定是否满足结束摄像处理的条件(以下，称为“摄像处理结束条件”)。作为摄像处理结束条件，例如可举出由接收部84接收到结束摄像处理的指示的条件。在步骤ST30中，在不满足摄像处理结束条件的情况下判定为“否”，摄像处理转移到步骤ST10。在步骤ST30中，在满足摄像处理结束条件的情况下，摄像处理结束。
如以上说明，摄像元件44具备存储器64、图像处理电路62C及存储器64。在存储器64中存储通过以摄像帧速率拍摄被摄体而得到的摄像图像数据69B。在图像处理电路62C中，计算作为一对摄像图像数据69B的最新帧图像数据与过去帧图像数据的差异度。
在本第1实施方式中，差异度是指上述二值化差分区域的面积。二值化差分区域的面积越大，意味着被摄体的动作越大，因此可预想此时通过拍摄而得到的摄像图像数据69对用户而言是值得显示或存储的图像数据。相反，二值化差分区域的面积越小，意味着被摄体的动作越小，因此可预想此时通过拍摄而得到的摄像图像数据69对用户而言是不值得显示或存储的图像数据。
因此，在图像处理电路62C中，在二值化差分区域的面积为规定阈值以上的情况下，用于计算差异度的最新帧图像数据被确定为输出图像数据70。并且，通过输出电路62D将输出图像数据70输出到控制器46。由此，与输出通过拍摄而得到的所有图像数据的情况相比，能够减少输出图像数据所需的耗电量。
并且，摄像元件44是将光电转换元件61、处理电路62及存储器64单芯片化的摄像元件。由此，与未将光电转换元件61、处理电路62及存储器64单芯片化的摄像元件相比，摄像元件44的便携性提高。并且，与未将光电转换元件61、处理电路62及存储器64单芯片化的摄像元件相比，能够提高设计的自由度。此外，与未将光电转换元件61、处理电路62及存储器64单芯片化的摄像元件相比，也能够有助于摄像装置主体12的小型化。
并且，如图5所示，作为摄像元件44，采用了在光电转换元件61上层叠有存储器64的层叠型摄像元件。由此，与未层叠光电转换元件61和存储器64的情况相比，能够提高从光电转换元件61向存储器64的摄像图像数据69的传送速度。传送速度的提高也有助于整个处理电路62中的处理的高速化。并且，与未层叠光电转换元件61和存储器64的情况相比，也能够提高设计的自由度。此外，与未层叠光电转换元件61和存储器64的情况相比，也能够有助于摄像装置主体12的小型化。
并且，在摄像装置10中，基于输出图像数据70的即时预览图像等显示于第2显示器86上。由此，能够使用户视觉辨认由输出图像数据70表示的图像。并且，与通过拍摄被摄体而得到的所有摄像图像数据69B显示于显示器上的情况相比，能够减少耗电量。并且，能够使用户仅视觉辨认可预想对用户而言必要性高的图像。
此外，在摄像装置10中，输出图像数据70存储于辅助存储装置80和/或存储卡等中。由此，与通过拍摄被摄体而得到的所有摄像图像数据69B存储于辅助存储装置80等中的情况相比，能够使辅助存储装置80和/或存储卡的存储容量持续较长。
另外，在上述第1实施方式中，对在步骤ST26中未确定为输出图像数据70的最新帧图像数据举出未通过输出电路62D输出到控制器46的方式例进行了说明，但本发明的技术并不限定于此。例如，在二值化差分区域的面积小于规定面积的情况下，如图16所示，也可以输出虚拟数据70a来代替用于生成包括二值化差分区域的二值化图像数据的最新帧图像数据及过去帧图像数据中的最新帧图像数据。即，输出电路62D也可以设为代替在上述摄像处理的步骤ST26中未确定为输出图像数据70的最新帧图像数据而将虚拟数据70a输出到控制器46。作为虚拟数据70a，例如，可举出关于所有像素的像素值相同的图像数据。关于所有像素的像素值相同的图像数据例如是指关于所有像素的像素值为“0”的图像数据。
在输出电路62D输出虚拟数据70a的情况下，作为一例，通过处理电路62执行图17所示的摄像处理。在图17所示的例子中，在摄像处理的步骤ST24中判定为“否”的情况下，摄像处理转移到步骤ST32。并且，在步骤ST32中，输出电路62D将虚拟数据70a输出到控制器46，然后，摄像处理转移到步骤ST30。
如此，在二值化差分区域的面积小于规定面积的情况下，虚拟数据70a通过输出电路62D输出到控制器46。可预想二值化差分区域的面积小于规定面积是指此时通过拍摄而得到的摄像图像数据69对用户而言是不值得显示或存储的图像数据。在该情况下，通过将虚拟数据70a输出到控制器46，与仅不输出图像数据的情况相比，能够减小摄像元件44与控制器46之间的数据变化的程度，即数据的触发率。其结果，与在二值化差分区域的面积小于规定面积的情况下将某些摄像图像数据69输出到控制器46的情况相比，能够减少输出图像数据所需的耗电量。另外，虚拟数据70a是本发明的技术所涉及的“第1虚拟数据”的一例。
并且，在上述第1实施方式中，作为本发明的技术所涉及的“差异度”的一例，例示出二值化差分区域的面积，但本发明的技术并不限定于此。例如，也可以适用最新帧图像数据和过去帧图像数据的单纯的差分的绝对值来代替二值化差分区域的面积。
并且，在上述第1实施方式中，例示出差分绝对值，但并不限定于此，也可以是最新帧图像数据与过去帧图像数据的比例。最新帧图像数据与过去帧图像数据的比例例如是指“Ipast(x，y)/Icurr(x，y)”。
并且，在上述第1实施方式中，对一对摄像图像数据69A存储于存储器64中的情况进行了说明，但本发明的技术并不限定于此。例如，也可以将作为与过去帧图像数据的比较对象的最新帧图像数据不存储于存储器64中，而从数字处理电路62B直接输出到图像处理电路62C。在该情况下，例如，从数字处理电路62B向存储器64按每1帧输入摄像图像数据69B作为过去帧图像数据。并且，在图像处理电路62C中，计算从存储器64作为过去帧图像数据输入的摄像图像数据69B与从数字处理电路62B直接输入的最新帧图像数据的差异度。
并且，在上述第1实施方式中，举出在二值化差分区域的面积为规定面积以上的情况下通过输出电路62D仅输出最新帧图像数据的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以在二值化差分区域的面积为规定面积以上的情况下，通过输出电路62D输出最新帧图像数据及过去帧图像数据这两者。
并且，在上述第1实施方式中，过去帧图像数据是比最新帧图像数据前1帧的摄像图像数据69B，但本发明的技术并不限定于此。例如，过去帧图像数据也可以是比最新帧图像数据前2帧以上的摄像图像数据69B。
并且，在上第1实施方式中，基于输出图像数据70的即时预览图像等显示于第2显示器86上，但本发明的技术并不限定于此。例如，基于输出图像数据70的即时预览图像等可以显示于第1显示器32上，也可以显示于第1显示器32及第2显示器86这两者上。
并且，在上述第1实施方式中，作为摄像元件44，例示出将光电转换元件61、处理电路62及存储器64单芯片化的摄像元件，但本发明的技术并不限定于此。例如，只要将光电转换元件61、处理电路62及存储器64中的至少光电转换元件61及存储器64单芯片化即可。
在上述第1实施方式中，举出以2帧量的摄像图像数据69B的所有像素为对象生成差分图像数据的方式例进行了说明，但在本第2实施方式中，对根据摄像图像数据69B的压缩图像数据生成差分图像数据的情况进行说明。
另外，在本第2实施方式中，对与上述第1实施方式相同的构成要件标注相同的符号，并省略其说明。以下，对与上述第1实施方式不同的部分进行说明。
作为一例，如图1～图3所示，本第2实施方式所涉及的摄像装置200与在上述第1实施方式中说明的摄像装置10相比，不同点在于具有摄像装置主体212来代替摄像装置主体12。作为一例，如图3所示，摄像装置主体212与摄像装置主体12相比，不同点在于具有摄像元件244来代替摄像元件44。作为一例，如图5所示，摄像元件244与摄像元件44相比，不同点在于具有处理电路262来代替处理电路62。
作为一例，如图6所示，处理电路262与处理电路62相比，不同点在于具有图像处理电路262C来代替图像处理电路62C及具有输出电路262D来代替输出电路62D。图像处理电路262C与图像处理电路62C相比，不同点在于基于摄像图像数据69B而生成输出图像数据270来代替基于摄像图像数据69B而生成输出图像数据70。输出电路262D与输出电路62D相比，不同点在于输出输出图像数据270来代替输出图像数据70。
作为一例，如图18所示，图像处理电路262C具有图像数据获取部262C1、间隔剔除图像数据生成部262F、差分图像数据生成部262C2、二值化图像数据生成部262C3及输出图像数据确定部262C4。
与上述第1实施方式的图像数据获取部62C1同样地，图像数据获取部262C1从存储器64获取摄像图像数据69B。即，与上述第1实施方式的图像数据获取部62C1同样地，图像数据获取部262C1从存储器64获取最新帧图像数据及过去帧图像数据。
间隔剔除图像数据生成部262F对由图像数据获取部262C1获取的摄像图像数据69B进行间隔剔除处理。具体而言，间隔剔除图像数据生成部262F对由图像数据获取部262C1获取的最新帧图像数据及过去帧图像数据分别进行间隔剔除处理。间隔剔除处理是通过从摄像图像数据69B中间隔剔除像素来压缩摄像图像数据69B的处理。
差分图像数据生成部262C2与在上述第1实施方式中说明的差分图像数据生成部62C2相比，不同点在于根据间隔剔除图像数据69B1生成差分图像数据来代替根据摄像图像数据69B生成差分图像数据。
二值化图像数据生成部262C3与在上述第1实施方式中说明的二值化图像数据生成部62C3相比，不同点在于代替由差分图像数据生成部62C2生成的差分图像数据，根据由差分图像数据生成部262C2生成的差分图像数据生成二值化图像数据。
输出图像数据确定部262C4与在上述第1实施方式中说明的输出图像数据确定部62C4相比，不同点在于代替基于由二值化图像数据生成部62C3生成的二值化图像数据而确定输出图像数据70，基于由二值化图像数据生成部262C3生成的二值化图像数据而生成输出图像数据270。输出图像数据确定部262C4将输出图像数据270输出到输出电路262D。输出图像数据270与输出图像数据70相比，不同点在于不是摄像图像数据69B的最新帧图像数据，而是间隔剔除处理后的最新帧图像数据。
作为一例，如图19所示，摄像图像数据69B是具有R像素、G像素及B像素的彩色图像数据。摄像图像数据69B是多个原色像素周期性地排列的图像数据。具体而言，在摄像图像数据69B中，R像素、G像素及B像素以与X-Trance(注册商标)排列对应的周期性排列。
在图19所示的例子中，在第1行中，R像素、G像素及B像素在行方向上依次循环排列有G像素、B像素、R像素、G像素及R像素。并且，在第2行中，R像素、G像素及B像素在行方向上依次循环排列有R像素、G像素、G像素、B像素、G像素及G像素。并且，在第3行中，R像素、G像素及B像素在行方向上依次循环排列有B像素、G像素、G像素、R像素、G像素及G像素。并且，在第4行中，R像素、G像素及B像素在行方向上依次循环排列有G像素、R像素、B像素、G像素、B像素及R像素。并且，在第5行中，R像素、G像素及B像素在行方向上依次循环排列有B像素、G像素、G像素、R像素、G像素及G像素。此外，在第6行中，R像素、G像素及B像素在行方向上依次循环排列有R像素、G像素、G像素、B像素、G像素及G像素。并且，通过以6行单位在列方向上重复第1行～第6行的R像素、G像素及B像素的排列模式，形成整个摄像图像数据69B的R像素、G像素及B像素的排列模式。
间隔剔除图像数据69B1是通过对摄像图像数据69B进行以行单位的间隔剔除处理而得到的图像数据。具体而言，作为一例，如图19所示，间隔剔除图像数据69B1是表示通过从由摄像图像数据69B表示的摄像图像间隔剔除在列方向上偶数行的行的像素而得到的垂直1/2间隔剔除图像的图像数据。即，垂直1/2间隔剔除图像的各行的像素是相当于摄像图像的奇数行的像素的像素。
作为一例，如图20所示，差分图像数据生成部262C2从间隔剔除图像数据生成部262F获取间隔剔除图像数据69B1。通过间隔剔除图像数据生成部262F对最新帧图像数据及过去帧图像数据分别进行以行单位的间隔剔除处理来间隔剔除图像数据69B1。即，间隔剔除图像数据69B1是间隔剔除处理后的最新帧图像数据和间隔剔除处理后的过去帧图像数据。另外，间隔剔除处理后的最新帧图像数据是本发明的技术所涉及的“间隔剔除处理后的第1图像数据”的一例，间隔剔除处理后的过去帧图像数据是本发明的技术所涉及的“间隔剔除处理后的第2图像数据”的一例。
与在上述第1实施方式中说明的差分图像数据生成部62C2同样地，差分图像数据生成部262C2根据间隔剔除处理后的最新帧图像数据及间隔剔除处理后的过去帧图像数据生成差分图像数据。
接着，对摄像装置200的作用进行说明。
首先，参考图21，对由摄像元件244的处理电路262执行的摄像处理流程进行说明。另外，图21所示的摄像处理与图15所示的摄像处理相比，不同点在于具有步骤ST200。并且，图21所示的摄像处理与图15所示的摄像处理相比，不同点在于具有步骤ST222～步骤ST228来代替步骤ST22～步骤ST28。因此，在图21所示的摄像处理的流程图中，对与图15所示的摄像处理相同的步骤标注相同的步骤编号。以下，关于图21所示的摄像处理，仅对与图15所示的摄像处理的不同点进行说明。
在图21所示的摄像处理中，当在步骤ST20中判定为“是”时，摄像处理转移到步骤ST200。在步骤ST200中，如上所述，间隔剔除图像数据生成部262F根据摄像图像数据69B生成间隔剔除图像数据69B1。
步骤ST222的处理与图15所示的步骤ST22的处理相比，不同点在于代替摄像图像数据69B而基于间隔剔除图像数据69B1来计算二值化差分区域的面积。
步骤ST224的处理与图15所示的步骤ST24的处理相比，不同点在于代替基于摄像图像数据69B计算出的二值化差分区域的面积，将基于间隔剔除图像数据69B1计算出的二值化差分区域的面积与规定面积进行比较。
步骤ST226的处理与图15所示的步骤ST26的处理相比，不同点在于输出间隔剔除处理后的最新帧图像数据来代替摄像图像数据69B的最新帧图像数据。
步骤ST228的处理与图15所示的步骤ST28的处理相比，不同点在于输出输出图像数据270来代替输出图像数据70。
如以上说明，在图像处理电路262C中，基于通过对摄像图像数据69B进行间隔剔除处理而得到的间隔剔除图像数据69B1来生成差分图像数据及二值化图像数据，确定输出图像数据270。由于间隔剔除图像数据69B1的数据量比摄像图像数据69B少，因此减轻了图像处理电路262C中的处理所施加的负载。并且，输出图像数据270的数据量比输出图像数据70少。因此，能够减少输出图像数据所需的耗电量。
另外，在上述第2实施方式中，作为间隔剔除图像数据69B1例示出表示垂直1/2间隔剔除图像的图像数据，但本发明的技术并不限定于此。例如，在将n设为3以上的自然数的情况下，也可以将表示垂直1/n间隔剔除图像的图像数据作为间隔剔除图像数据来适用。并且，可以将表示以列单位间隔剔除的水平间隔剔除图像的图像数据作为间隔剔除图像数据适用，也可以将表示以行单位及列单位间隔剔除的图像的图像数据作为间隔剔除图像数据适用。
在上述第2实施方式中，举出将摄像图像数据69B以行单位进行间隔剔除来实现数据量的削减的方式例进行了说明，但在本第3实施方式中，对以与上述第2实施方式不同的方法实现数据量的削减的方式例进行说明。另外，在本第3实施方式中，对与上述第2实施方式相同的构成要件标注相同的符号，并省略其说明。以下，对与上述第2实施方式不同的部分进行说明。
作为一例，如图1～图3所示，本第3实施方式所涉及的摄像装置300与在上述第2实施方式中说明的摄像装置200相比，不同点在于具有摄像装置主体312来代替摄像装置主体212。作为一例，如图3所示，摄像装置主体312与摄像装置主体212相比，不同点在于具有摄像元件344来代替摄像元件244。作为一例，如图5所示，摄像元件344与摄像元件244相比，不同点在于具有处理电路362来代替处理电路262。
作为一例，如图6所示，处理电路362与处理电路262相比，不同点在于具有图像处理电路362C来代替图像处理电路262C及具有输出电路362D来代替输出电路262D。
作为一例，如图22所示，图像处理电路362C与在上述第2实施方式中说明的图像处理电路262C相比，不同点在于具有检测部362F。并且，图像处理电路362C与在上述第2实施方式中说明的图像处理电路262C相比，不同点在于具有差分图像数据生成部362C2来代替差分图像数据生成部262C2。并且，图像处理电路362C与在上述第2实施方式中说明的图像处理电路262C相比，不同点在于具有二值化图像数据生成部362C3来代替二值化图像数据生成部262C3。并且，图像处理电路362C与在上述第2实施方式中说明的图像处理电路262C相比，不同点在于具有输出图像数据确定部362C4来代替输出图像数据确定部262C4。
作为一例，如图23所示，检测部362F从间隔剔除图像数据生成部262F获取间隔剔除图像数据69B1。如在上述第2实施方式中也说明的那样，间隔剔除图像数据69B1是间隔剔除处理后的最新帧图像数据和间隔剔除处理后的过去帧图像数据。在本第3实施方式中，为了便于说明，将间隔剔除处理后的最新帧图像数据简称为“最新帧图像数据”，将间隔剔除处理后的过去帧图像数据简称为“过去帧图像数据”。
检测部362F具备主要被摄体图像数据检测部362F1及特定图像数据检测部362F2。主要被摄体图像数据检测部362F1从过去帧图像数据中检测表示主要被摄体的图像的主要被摄体图像数据69B1a。
主要被摄体图像数据检测部362F1从过去帧图像数据中检测与基准图像数据的一致度为规定的一致度以上的图像数据作为主要被摄体图像数据69B1a。例如，将与基准图像数据一致90％以上的图像数据检测为主要被摄体图像数据69B1a。另外，在本第3实施方式中，作为基准图像数据的一例，采用作为相当于主要被摄体图像数据69B1a的图像数据预先登记的图像数据。
特定图像数据检测部362F2从最新帧图像数据中检测特定图像数据69B1b，该特定图像数据69B1b表示从与由过去帧图像数据表示的图像内的由主要被摄体图像数据69B1a表示的图像的位置相当的位置确定的图像。
检测部362F将主要被摄体图像数据69B1a及特定图像数据69B1b输出到差分图像数据生成部362C2。
作为一例，如图24所示，差分图像数据生成部362C2计算主要被摄体图像数据69B1a和特定图像数据69B1b的差分绝对值，生成基于所计算的差分绝对值的差分图像数据。
二值化图像数据生成部362C3基于由差分图像数据生成部362C2生成的差分图像数据而生成二值化图像数据。
输出图像数据确定部362C4基于由二值化图像数据生成部362C3生成的二值化图像数据，以与在上述第2实施方式中说明的二值化图像数据生成部262C3相同的方法确定输出图像数据270。并且，输出图像数据确定部362C4将所确定的输出图像数据270输出到输出电路262D。
接着，对摄像装置300的作用进行说明。
首先，参考图25，对由摄像元件344的处理电路262执行的摄像处理流程进行说明。另外，图25所示的摄像处理与图21所示的摄像处理相比，不同点在于具有步骤ST300。并且，图25所示的摄像处理与图21所示的摄像处理相比，不同点在于具有步骤ST322～步骤ST324来代替步骤ST222～步骤ST224。因此，在图25所示的摄像处理的流程图中，对与图21所示的摄像处理相同的步骤标注相同的步骤编号。以下，关于图25所示的摄像处理，仅对与图21所示的摄像处理的不同点进行说明。
作为一例，如图25所示，在执行了步骤ST200的处理后，摄像处理转移到步骤ST300。在步骤ST300中，主要被摄体图像数据检测部362F1从过去帧图像数据中检测上述主要被摄体图像数据69B1a。并且，特定图像数据检测部362F2从最新帧图像数据中检测上述特定图像数据69B1b。
步骤ST322的处理与图21所示的步骤ST222的处理相比，不同点在于基于主要被摄体图像数据69B1a及特定图像数据69B1b来计算二值化差分区域的面积，来代替基于间隔剔除图像数据69B1来计算二值化差分区域的面积。
步骤ST324的处理与图21所示的步骤ST224的处理相比，不同点在于代替基于间隔剔除图像数据69B1计算出的二值化差分区域的面积，将基于主要被摄体图像数据69B1a及特定图像数据69B1b计算出的二值化差分区域的面积与规定面积进行比较。另外，基于主要被摄体图像数据69B1a及特定图像数据69B1b计算出的二值化差分区域的面积是本发明的技术所涉及的“差异度”的一例。
如以上说明，在图像处理电路362C中，根据通过对摄像图像数据69B进行间隔剔除处理而得到的间隔剔除图像数据69B1来检测主要被摄体图像数据69B1a及特定图像数据69B1b。并且，基于主要被摄体图像数据69B1a及特定图像数据69B1b计算出二值化差分区域的面积。由于主要被摄体图像数据69B1a及特定图像数据69B1b的数据量比摄像图像数据69B少，因此减轻了图像处理电路362C中的处理所施加的负载。并且，输出图像数据270的数据量比输出图像数据70少。因此，能够减少输出图像数据所需的耗电量。
另外，在上述第3实施方式中，举出使用预先登记的基准图像数据检测主要被摄体图像数据的方式例进行了说明，但本发明的技术并不限定于此。例如，可以使用公知的脸部检测功能将表示脸部图像的脸部图像数据检测为主要被摄体图像数据。
在上述第3实施方式中，对摄像帧速率为恒定的情况进行了说明，但在本第4实施方式中对摄像帧速率为可变的情况进行说明。另外，在本第4实施方式中，对与上述第3实施方式相同的构成要件标注相同的符号，并省略其说明。以下，对与上述第3实施方式不同的部分进行说明。
作为一例，如图1～图3所示，本第4实施方式所涉及的摄像装置400与在上述第3实施方式中说明的摄像装置300相比，不同点在于具有摄像装置主体412来代替摄像装置主体312。作为一例，如图3所示，摄像装置主体412与摄像装置主体312相比，不同点在于具有摄像元件444来代替摄像元件344。作为一例，如图5所示，摄像元件444与摄像元件344相比，不同点在于具有处理电路462来代替处理电路362。
作为一例，如图6所示，处理电路462与处理电路362相比，不同点在于具有图像处理电路462C来代替图像处理电路362C及具有控制电路462E来代替控制电路62E。
作为一例，如图26所示，控制电路462E与控制电路62E相比，不同点在于具有帧速率设定部462E1。另外，在此，示出了帧速率设定部462E1内置于控制电路462E的方式例，但本发明的技术并不限定于此，帧速率设定部462E1也可以与控制电路462E分开地组装在处理电路462中。
控制器46基于从输出电路262D输入的输出图像数据270，将标准FR设定指示信号46FR1及低FR设定指示信号46FR2选择性地输出到帧速率设定部462E1。另外，在此，“标准FR”及“低FR”中所包括的“FR”是指“Frame Rate：帧速率”的简称。
在上述第1实施方式中说明的摄像帧速率(参考图7A)是能够变更为标准帧速率和低帧速率的帧速率。低帧速率是比标准帧速率低，且比输出帧速率(参考图7B)高的帧速率。在此，作为标准帧速率的一例而适用240fps，作为低帧速率的一例而适用120fps。
标准FR设定指示信号46FR1是指示将标准帧速率设定为摄像帧速率的信号。低FR设定指示信号46FR2是指示将低帧速率设定为摄像帧速率的信号。
在从控制器46输入了标准FR设定指示信号46FR1的情况下，帧速率设定部462E1将标准帧速率设定为摄像帧速率。并且，在从控制器46输入了低FR设定指示信号46FR2的情况下，帧速率设定部462E1将低帧速率设定为摄像帧速率。
作为一例，如图27所示，在控制器46的ROM46B中存储有帧速率设定指示程序46B1。CPU46A将帧速率设定指示程序46B1扩展到RAM46C。CPU46A从ROM46B读出帧速率设定指示程序46B1，并将其扩展到RAM46C。并且，CPU46A通过执行扩展到RAM46C的帧速率设定指示程序46B1，作为一例，作为图28所示的图像数据接收部46C1、计数指示部46C2、计数器46C3、第1信号输出部46C4及第2信号输出部46C5进行动作。计数器46C3具有计数值复位部46C3a及计数部46C3b。
作为一例，如图28所示，图像数据接收部46C1接收从输出电路262D输出的输出图像数据270。图像数据接收部46C1在接收到输出图像数据270的情况下，将表示接收到输出图像数据270的接收信号输出到计数器46C3。图像数据接收部46C1在尽管已到预先确定的接收时刻但未接收到输出图像数据270的情况下，将表示未接收到输出图像数据270的未接收信号输出到计数指示部46C2。在此，预先确定的接收时刻是指按照输出帧速率确定的时刻。预先确定的接收时刻按照输出帧速率周期性地到来。例如，在输出帧速率为60fps的情况下，预先确定的接收时刻以1/60秒的时间间隔到来。
计数指示部46C2在接收到未接收信号的情况下，将指示计数的计数信号输出到计数器46C3。
计数部46C3b对初始值为“0”的计数值进行计数。具体而言，在计数器46C3中，当从计数指示部46C2输入计数信号时，计数部46C3b将计数值加1。当计数值到达阈值时，计数部46C3b将表示计数值到达阈值的阈值到达信号输出到第2信号输出部46C5。另外，在图28所示的例子中，作为阈值采用“2”。阈值可以是能够根据由接收部84(参考图3)接收到的指示变更的可变值，也可以是固定值。
计数值复位部46C3a对计数值进行复位。具体而言，在计数器46C3中，当从图像数据接收部46C1输入接收信号时，计数值复位部46C3a将计数值复位为“0”。并且，当将计数值复位为“0”时，计数值复位部46C3a将表示复位完成的复位完成信号输出到第1信号输出部46C4。
当从计数值复位部46C3a输入复位完成信号时，第1信号输出部46C4将标准FR设定指示信号46FR1输出到帧速率设定部462E1。当从计数部46C3b输入阈值到达信号时，第2信号输出部46C5将低FR设定指示信号46FR2输出到帧速率设定部462E1。
接着，对摄像装置400的作用进行说明。另外，在摄像装置400的作用的说明中，仅对与上述第3实施方式不同的部分进行说明。
首先，参考图29，对按照帧速率设定指示程序46B1由CPU46A执行的帧速率设定指示处理流程进行说明。
在图29所示的帧速率设定指示处理中，首先，在步骤ST400中，图像数据接收部46C1判定是否接收到输出图像数据270。在步骤ST400中，在接收到输出图像数据270的情况下判定为“是”，帧速率设定指示处理转移到步骤ST402。在步骤ST400中，在未接收到输出图像数据270的情况下判定为“否”，帧速率设定指示处理转移到步骤ST410。
在步骤ST402中，计数值复位部46C3a判定计数值是否超过“0”。在步骤ST402中，在计数值超过“0”的情况下判定为“是”，帧速率设定指示处理转移到步骤ST408。在步骤ST402中，在计数值为“0”的情况下判定为“否”，帧速率设定指示处理转移到步骤ST420。
在步骤ST404中，计数值复位部46C3a将计数值复位为“0”，然后，帧速率设定指示处理转移到步骤ST406。
在步骤ST406中，第1信号输出部46C4判定在当前时刻的摄像元件444的摄像帧速率是否为低帧速率。在步骤ST406中，在当前时刻的摄像元件444的摄像帧速率是低帧速率的情况下判定为“是”，帧速率设定指示处理转移到步骤ST408。在步骤ST406中，在当前时刻的摄像元件444的摄像帧速率不是低帧速率的情况，即在当前时刻的摄像元件444的摄像帧速率是标准帧速率的情况下判定为“否”，帧速率设定指示处理转移到步骤ST420。
在步骤ST408中，第1信号输出部46C4将标准FR设定指示信号46FR1输出到帧速率设定部462E1，然后，帧速率设定指示处理转移到步骤ST420。
在步骤ST410中，图像数据接收部46C1判定是否经过了上述预先确定的接收时刻。在步骤ST410中，在未经过上述预先确定的接收时刻的情况下判定为“否”，帧速率设定指示处理转移到步骤ST400。在步骤ST410中，判定是否经过了上述预先确定的接收时刻。在步骤ST410中，在经过了上述预先确定的接收时刻的情况下判定为“是”，帧速率设定指示处理转移到步骤ST412。
在步骤ST412中，计数指示部46C2将计数信号输出到计数器46C3。并且，在计数器46C3中，当输入计数信号时，计数部46C3b将计数值加1，然后，帧速率设定指示处理转移到步骤ST414。
在步骤ST414中，计数部46C3b判定计数值是否到达阈值。在步骤ST414中，在计数值到达阈值的情况下判定为“是”，帧速率设定指示处理转移到步骤ST416。在步骤ST414中，在计数值未到达阈值的情况下判定为“否”，帧速率设定指示处理转移到步骤ST420。
在步骤ST416中，第2信号输出部46C5判定在当前时刻的摄像元件444的摄像帧速率是否为标准帧速率。在步骤ST416中，在当前时刻的摄像元件444的摄像帧速率是标准帧速率的情况下判定为“是”，帧速率设定指示处理转移到步骤ST418。在步骤ST416中，在当前时刻的摄像元件444的摄像帧速率不是标准帧速率的情况，即在当前时刻的摄像元件444的摄像帧速率是低帧速率的情况下判定为“否”，帧速率设定指示处理转移到步骤ST420。
在步骤ST418中，第2信号输出部46C5将低FR设定指示信号46FR2输出到帧速率设定部462E1，然后，帧速率设定指示处理转移到步骤ST420。
接着，参考图30，对由摄像元件444的处理电路462执行的标准帧速率设定处理流程进行说明。
在图30所示的标准帧速率设定处理中，首先，在步骤ST440中，帧速率设定部462E1判定是否接收到标准FR设定指示信号46FR1。在步骤ST440中，在未接收到标准FR设定指示信号46FR1的情况下判定为“否”，标准帧速率设定处理转移到步骤ST444。在步骤ST440中，在接收到标准FR设定指示信号46FR1的情况下判定为“是”，标准帧速率设定处理转移到步骤ST442。
在步骤ST442中，帧速率设定部462E1将标准帧速率设定为摄像帧速率，然后，标准帧速率设定处理转移到步骤ST444。
在步骤ST444中，帧速率设定部462E1判定是否满足结束标准帧速率设定处理的条件(以下，称为“标准帧速率设定处理结束条件”)。作为标准帧速率设定处理结束条件，例如可举出由接收部84(参考图3)接收到结束标准帧速率设定处理的指示的条件。在步骤ST444中，在不满足标准帧速率设定处理结束条件的情况下判定为“否”，标准帧速率设定处理转移到步骤ST440。在步骤ST444中，在满足标准帧速率设定处理结束条件的情况下，标准帧速率设定处理结束。
接着，参考图31，对由摄像元件444的处理电路462执行的低帧速率设定处理流程进行说明。
在图31所示的低帧速率设定处理中，首先，在步骤ST450中，帧速率设定部462E1判定是否接收到低FR设定指示信号46FR2。在步骤ST450中，在未接收到低FR设定指示信号46FR2的情况下判定为“否”，低帧速率设定处理转移到步骤ST454。在步骤ST450中，在接收到低FR设定指示信号46FR2的情况下判定为“是”，低帧速率设定处理转移到步骤ST452。
在步骤ST452中，帧速率设定部462E1将低帧速率设定为摄像帧速率，然后，低帧速率设定处理转移到步骤ST454。
在步骤ST454中，帧速率设定部462E1判定是否满足结束低帧速率设定处理的条件(以下，称为“低帧速率设定处理结束条件”)。作为低帧速率设定处理结束条件，例如可举出由接收部84(参考图3)接收到结束低帧速率设定处理的指示的条件。在步骤ST454中，在不满足低帧速率设定处理结束条件的情况下判定为“否”，低帧速率设定处理转移到步骤ST450。在步骤ST444中，在满足低帧速率设定处理结束条件的情况下，低帧速率设定处理结束。
如以上说明，在摄像元件444中，由计数部46C3b将输出图像数据270未从输出电路262D持续输出的期间作为计数值进行计数。并且，在计数值到达阈值的情况下，由第2信号输出部46C5输出低FR设定指示信号46FR2。在帧速率设定部462E1中，当输入低FR设定指示信号46FR2时，将低帧速率设定为摄像帧速率。即，在输出图像数据270未从输出电路262D输出的时间持续了预先确定的时间的情况下，摄像帧速率降低。
未从输出电路262D输出输出图像数据270是指二值化差分区域的面积小于规定面积。这意味着被摄体未进行明显的动作。即使在被摄体未进行明显的动作的期间通过拍摄被摄体而得到的摄像图像数据69的帧数不那么多，对用户而言也不那么麻烦，并且，当帧数增加时，处理电路462中的耗电量也增大。在本第4实施方式所涉及的摄像元件444中，在输出图像数据270未从输出电路262D输出的时间持续了预先确定的时间的情况下，摄像帧速率降低，因此与在被摄体未进行明显的动作的期间以标准帧速率进行拍摄的情况相比，能够减少摄像元件444中的耗电量。
另外，在上述第4实施方式中，对输出图像数据270未从输出电路262D输出的时间持续了预先确定的时间的情况下摄像帧速率降低的方式例进行了说明，但本发明的技术并不限定于此。例如，在输出图像数据270未从输出电路262D输出的时间持续了预先确定的时间的情况下，不仅可以使摄像帧速率降低，也可以使输出帧速率降低。例如，帧速率设定部462E1也可以将输出帧速率从60fps降低至30fps。
在上述第4实施方式中，输出由输出图像数据确定部362C4确定的所有输出图像数据270，但在本第5实施方式中，对输出分选的输出图像数据270的方式例进行说明。另外，在本第5实施方式中，对与上述第4实施方式相同的构成要件标注相同的符号，并省略其说明。以下，对与上述第4实施方式不同的部分进行说明。
作为一例，如图1～图3所示，本第5实施方式所涉及的摄像装置500与在上述第4实施方式中说明的摄像装置400相比，不同点在于具有摄像装置主体512来代替摄像装置主体412。作为一例，如图3所示，摄像装置主体512与摄像装置主体412相比，不同点在于具有摄像元件544来代替摄像元件444。作为一例，如图5所示，摄像元件544与摄像元件444相比，不同点在于具有处理电路562来代替处理电路462。作为一例，如图6所示，处理电路562与处理电路462相比，不同点在于具有图像处理电路562C来代替图像处理电路362C及具有输出电路562D来代替输出电路262D。
作为一例，如图32所示，图像处理电路562C与图像处理电路362C相比，不同点在于具有图像数据分选部562C1。图像数据分选部562C1判定由输出图像数据确定部362C4确定的输出图像数据270是否为适合输出的图像数据，并分选输出图像数据270。另外，在本第5实施方式中，将由输出图像数据确定部362C4进行的输出图像数据270的确定称为“临时确定”。
图像数据分选部562C1具有闭眼被摄体检测部562C1a，基于闭眼被摄体检测部562C1a中的检测结果来分选输出图像数据270。
作为一例，如图33所示，图像数据分选部562C1获取由输出图像数据确定部362C4确定的输出图像数据270。并且，闭眼被摄体检测部562C1a使用公知的脸部检测功能判定在输出图像数据270中是否包含表示脸部图像的脸部图像数据。由图像数据分选部562C1分选未包含脸部图像数据的输出图像数据270作为被确定为适合输出的图像数据的输出确定图像数据270A，输出到输出电路562D。
闭眼被摄体检测部562C1a在输出图像数据270中包含脸部图像数据的情况下，从脸部图像数据中检测表示眼睑闭合的状态的眼睛的图像的闭眼图像数据。由此，即使在输出图像数据270中包含脸部图像数据的情况下，作为一例，如图34A所示，通过闭眼被摄体检测部562C1a将脸部图像数据分类为闭眼图像数据和眼睑打开的睁眼图像数据。
作为一例，如图34A及图34B所示，图像数据分选部562C1将包含睁眼图像数据的输出图像数据270作为输出确定图像数据270A输出到输出电路562D，将包含闭眼图像数据的输出图像数据270作为不输出确定图像数据270B，不输出到输出电路562D。
作为一例，如图35所示，除了输出确定图像数据270A以外，输出电路562D还输出与在图16所示的例子中说明的虚拟数据70a相当的第1虚拟数据270C和作为不输出确定图像数据270B的代替图像数据的第2虚拟数据270D。与第1虚拟数据270C同样地，第2虚拟数据270D也是关于所有像素的像素值为“0”的图像数据。
接着，对摄像装置500的作用进行说明。
首先，参考图36，对由摄像元件544的处理电路562执行的摄像处理流程进行说明。另外，以下，为了便于说明，以在输出图像数据270中包含脸部图像数据为前提进行说明。并且，以下，为了便于说明，关于图35所示的第1虚拟数据270C的输出方法，由于与图16所示的例子相同，因此省略。
并且，图36所示的摄像处理与图25所示的摄像处理相比，不同点在于具有步骤ST500～步骤ST506来代替步骤ST226～步骤ST228。因此，在图36所示的摄像处理的流程图中，对与图25所示的摄像处理相同的步骤标注相同的步骤编号。以下，关于图36所示的摄像处理，仅对与图25所示的摄像处理的不同点进行说明。
在图36所示的摄像处理中，在步骤ST324中判定为“是”的情况下，摄像处理转移到步骤ST500。在步骤ST500中，输出图像数据确定部362C4将最新帧图像数据临时确定为输出图像数据270。
在步骤ST502中，闭眼被摄体检测部562C1a判定在步骤ST500中临时确定的输出图像数据270中是否包含闭眼图像数据。在步骤ST502中，在步骤ST500中临时确定的输出图像数据270中未包含闭眼图像数据的情况下判定为“否”，摄像处理转移到步骤ST504。在步骤ST502中，在步骤ST500中临时确定的输出图像数据270中包含闭眼图像数据的情况下判定为“是”，摄像处理转移到步骤ST506。
在步骤ST500中临时确定的输出图像数据270未包含闭眼图像数据的情况下，通过图像数据分选部562C1将在步骤ST500中临时确定的输出图像数据270作为输出确定图像数据270A输出到输出电路562D。
在步骤ST504中，输出电路562D将输出确定图像数据270A输出到控制器46，然后，摄像处理转移到步骤ST30。
在步骤ST506中，输出电路562D将第2虚拟数据270D输出到控制器46，然后，摄像处理转移到步骤ST30。
如以上说明，在摄像元件544中，在由输出图像数据确定部362C4临时确定的输出图像数据270中包含脸部图像数据，在从脸部图像数据中检测到闭眼图像数据的情况下，临时确定的输出图像数据270不输出到控制器46。由此，与将包含闭眼图像数据的输出图像数据270输出到控制器46的情况相比，能够减少输出图像数据所需的耗电量。
并且，在摄像元件544中，在由输出图像数据确定部362C4临时确定的输出图像数据270中包含脸部图像数据，在从脸部图像数据中检测到睁眼图像数据的情况下，临时确定的输出图像数据270输出到控制器46。由此，能够向用户提供包含可预想对用户而言必要性比包含闭眼图像数据的输出图像数据270更高的睁眼图像数据的输出图像数据270。
并且，在摄像元件544中，在由输出图像数据确定部362C4临时确定的输出图像数据270中包含脸部图像数据，在从脸部图像数据中检测到闭眼图像数据的情况下，第2虚拟数据270D输出到控制器46。在该情况下，通过将第2虚拟数据270D输出到控制器46，与仅不输出图像数据的情况相比，能够减小摄像元件544与控制器46之间的数据变化的程度，即数据的触发率。
另外，在上述第5实施方式中，举出将第2虚拟数据270D输出到控制器46的方式例进行了说明，但本发明的技术并不限定于此，也可以不将第2虚拟数据270D输出到控制器46。在该情况下，从图36所示的摄像处理中去除步骤ST506的处理即可。
在上述第5实施方式中，对输出分选的输出图像数据270的方式例进行了说明，但在本第6实施方式中，对输出以与上述第5实施方式不同的方法分选的输出图像数据270的方式例进行说明。另外，在本第6实施方式中，对与上述第5实施方式相同的构成要件标注相同的符号，并省略其说明。以下，对与上述第5实施方式不同的部分进行说明。
作为一例，如图1～图3所示，本第6实施方式所涉及的摄像装置600与在上述第5实施方式中说明的摄像装置500相比，不同点在于具有摄像装置主体612来代替摄像装置主体512。作为一例，如图3所示，摄像装置主体612与摄像装置主体512相比，不同点在于具有摄像元件644来代替摄像元件544。作为一例，如图5所示，摄像元件644与摄像元件544相比，不同点在于具有处理电路662来代替处理电路562。作为一例，如图6所示，处理电路662与处理电路562相比，不同点在于具有图像处理电路662C来代替图像处理电路562C。
作为一例，如图37所示，图像处理电路662C与图像处理电路562C相比，不同点在于具有图像数据分选部662C1来代替图像数据分选部562C1。图像数据分选部662C1与图像数据分选部562C1相比，不同点在于具有对焦评价值计算部662C1a来代替闭眼被摄体检测部562C1a。
作为一例，如图38所示，对焦评价值计算部662C1a以由输出图像数据确定部362C4临时确定的输出图像数据270为对象，计算表示对焦状态的程度的对焦评价值。作为对焦评价值，可举出由输出图像数据270表示的图像的对比度值。并且，例如，在光电转换元件61中包含相位差像素的情况下，基于相位差像素中的像素值确定的相位差也能够用作对焦评价值。
在图38所示的例子中，作为每一帧的对焦评价值示出α1～α8。作为一例，如图39所示，图像数据分选部662C1将对焦评价值α1～α8的每一个与阈值TH进行比较，将与小于阈值TH的对焦评价值对应的输出图像数据270作为输出确定图像数据270A1输出到输出电路562D。并且，图像数据分选部662C1将与阈值TH以上的对焦评价值对应的输出图像数据270作为不输出确定图像数据270B1，不输出到输出电路562D。
另外，与小于阈值TH的对焦评价值对应的输出图像数据270是指作为对焦评价值的计算对象的输出图像数据270。并且，阈值TH是本发明的技术所涉及的“规定评价值”的一例。阈值TH可以是能够根据由接收部84(参考图3)接收到的指示变更的可变值，也可以是固定值。
作为一例，如图35所示，输出电路562D将输出确定图像数据270A1输出到控制器46，输出第2虚拟数据270D1作为不输出确定图像数据270B1的代替图像数据。第2虚拟数据270D1是与在上述第5实施方式中说明的第2虚拟数据270D相同的图像数据。
如以上说明，在摄像元件644中，在与由输出图像数据确定部362C4临时确定的输出图像数据270有关的对焦评价值小于阈值TH的情况下，临时确定的输出图像数据270不输出到控制器46。由此，与将与小于阈值TH的对焦评价值对应的输出图像数据270输出到控制器46的情况相比，能够减少输出图像数据所需的耗电量。
并且，在摄像元件644中，在与由输出图像数据确定部362C4临时确定的输出图像数据270有关的对焦评价值为阈值TH以上的情况下，临时确定的输出图像数据270输出到控制器46。由此，能够向用户提供可预想对用户而言必要性比与小于阈值TH的对焦评价值对应的输出图像数据270更高的输出图像数据270。
另外，在上述第6实施方式中，即使是由输出图像数据确定部362C4临时确定的输出图像数据270，在与输出图像数据270有关的对焦评价值小于阈值的情况下，作为输出图像数据270的代替图像数据输出第2虚拟数据270D1，但本发明的技术并不限定于此。例如，关于由在上述第5实施方式中说明的输出图像数据确定部362C4临时确定的输出图像数据270，在包含闭眼图像数据且对焦评价值小于阈值的情况下，也可以输出第2虚拟数据270D1。如此，即使是由输出图像数据确定部362C4临时确定的输出图像数据270，在输出图像数据270是满足特定条件的图像数据的情况下，输出电路562D不输出输出图像数据270而输出第2虚拟数据270D1即可。
并且，在上述第2～第6实施方式中，对输出输出图像数据270的情况进行了说明，但本发明的技术并不限定于此。例如，也可以在显示动画用拍摄模式下，输出输出图像数据270，在记录用拍摄模式下，输出数据量比输出图像数据270多的输出图像数据70。
并且，在上述第2实施方式中，例示出R像素、G像素及B像素为X-Trance排列的摄像图像数据69B，但本发明的技术并不限定于此。例如，如图40所示，也可以使用摄像图像数据700来代替摄像图像数据69B。在摄像图像数据700中，R像素、G像素及B像素以与拜耳排列对应的周期性排列。
在图40所示的例子中，在第1行中，R像素及G像素在行方向上依次循环排列有R像素及G像素。并且，在第2行中，B像素及G像素在行方向上依次循环排列有G像素及B像素。并且，第1行的R像素及G像素的排列模式每隔1行在列方向上重复，第2行的B像素及G像素的排列模式每隔1行在列方向上重复，由此形成整个摄像图像数据700的R像素、G像素及B像素的排列模式。
在该情况下，对摄像图像数据700进行间隔剔除处理。例如，图40所示的间隔剔除图像数据702是表示通过从由摄像图像数据700表示的图像每隔2行间隔剔除在列方向上相邻的2行的行而得到的垂直1/2间隔剔除图像的图像数据。
并且，在上述各实施方式中，例示出表示使用运算式导出解的“计算”，但本发明的技术并不限定于此。例如，可以适用使用了查找表的“导出”来代替“计算”，也可以同时使用运算式及查找表。使用了查找表的“导出”例如包括使用查找表导出作为输出值的解的处理，该查找表具有作为运算式的独立变量的输入值和作为运算式的从属变量(解)的输出值。
并且，在上述各实施方式中，举出处理电路62、262、362、462、562、662(以下，简称为“处理电路”)由ASIC来实现的方式例进行了说明，但本发明的技术并不限定于此。例如，上述摄像处理也可以通过计算机的软件结构来实现。
在该情况下，例如，如图41所示，将摄像处理程序902存储到存储介质900，所述摄像处理程序902用于使内置于与摄像元件44、244、344、444、544、644相当的摄像元件800中的计算机852执行上述摄像处理。并且，用于执行上述标准帧速率设定处理的标准帧速率设定程序904也存储到存储介质900。此外，上述低帧速率设定程序906也存储到存储介质900。
计算机852具备CPU852A、ROM852B及RAM852C。并且，存储介质900的摄像处理程序902安装于计算机852，计算机852的CPU852A按照摄像处理程序902执行上述摄像处理。并且，存储介质900的标准帧速率设定程序904安装于计算机852，计算机852的CPU852A按照标准帧速率设定程序904执行上述标准帧速率设定处理。此外，存储介质900的低帧速率设定程序906安装于计算机852，计算机852的CPU852A按照低帧速率设定程序906执行上述低帧速率设定处理。
在此，作为CPU852A而例示出一个CPU，但本发明的技术并不限定于此，也可以采用多个CPU来代替CPU852A。另外，作为存储介质900的一例，可以举出SSD或USB存储器等任意的便携式存储介质。
在图41所示的例子中，在存储介质900中存储有摄像处理程序902、标准帧速率设定程序904及低帧速率设定程序906，但本发明的技术并不限定于此。例如，也可以在ROM852B中预先存储摄像处理程序902、标准帧速率设定程序904及低帧速率设定程序906中的至少一个程序，CPU852A从ROM852B读出程序，扩展到RAM852C，并执行所扩展的程序。
并且，也可以将摄像处理程序902、标准帧速率设定程序904及低帧速率设定程序906存储于经由通信网络(省略图示)连接于计算机852的其他计算机或服务器装置等存储部中，根据摄像装置10、200、300、400、500、600(以下，简称为“摄像装置”)的请求将摄像处理程序902、标准帧速率设定程序904及低帧速率设定程序906下载到计算机852。在该情况下，所下载的摄像处理程序902、标准帧速率设定程序904及低帧速率设定程序906由计算机852的CPU852A来执行。
并且，计算机852可以设置于摄像元件44、244、344、444、544、644的外部。在该情况下，计算机852按照摄像处理程序902、标准帧速率设定程序904及低帧速率设定程序906控制处理电路即可。
作为执行在上述各实施方式中说明的摄像处理的硬件资源，能够使用以下所示的各种处理器。作为处理器，例如可以举出通用的处理器即CPU，如上所述，通过执行软件即程序，作为执行摄像处理的硬件资源而发挥功能。并且，作为处理器，例如可以举出作为处理器的专用电路，所述处理器具有FPGA、PLD、或ASIC等为了执行特定的处理而专门设计的电路结构。
执行摄像处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合、或CPU与FPGA的组合)构成。并且，执行本发明的技术所涉及的各种处理的硬件资源可以是一个处理器。
作为由一个处理器构成的例子，第一、存在如下方式：如以客户端及服务器等计算机为代表，由一个以上的CPU和软件的组合来构成一个处理器，该处理器作为执行摄像元件内处理的硬件资源而发挥功能。第二、存在如下方式：如以SoC(System-on-a-chip：片上系统)等为代表，使用由一个IC芯片来实现包括执行摄像处理的多个硬件资源的整个系统的功能的处理器。如此，摄像元件内处理通过使用一个以上上述各种处理器作为硬件资源来实现。
此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件进行了组合的电路。
并且，在上述各实施方式中，作为摄像装置而例示出镜头可换式相机，但本发明的技术并不限定于此。例如，可以将本发明的技术适用于图42所示的智能设备950。作为一例，图42所示的智能设备950是本发明的技术所涉及的摄像装置的一例。摄像元件800搭载于智能设备950上。即使是如此构成的智能设备950，也可以获得与在上述各实施方式中说明的摄像装置相同的作用及效果。另外，本发明的技术并不限定于智能设备950，还能够适用于个人计算机或可穿戴终端装置。
并且，在上述各实施方式中，例示出第1显示器32及第2显示器86，但本发明的技术并不限定于此。例如，可以将附接到摄像装置主体12、212、312、412、512、612的单独的显示器用作本发明的技术所涉及的“显示部”。
并且，上述摄像处理、标准帧速率设定处理及低帧速率设定处理仅为一例。因此，在不脱离主旨的范围内，当然可以删除不必要的步骤，或者追加新的步骤，或者切换处理顺序。
以上所示的记载内容及图示内容是关于本发明的技术所涉及部分的详细说明，只是本发明的技术的一例。例如，与上述结构、功能、作用及效果有关的说明是与本发明的技术所涉及部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术的主旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加新的要素，或者进行替换。并且，为了避免复杂化，并且为了容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了在能够实施本发明的技术的方面不需要特别说明的与技术常识等有关的说明。
在本说明书中，“A和/或B”与“A及B中的至少一个”的含义相同。即，“A和/或B”是指可以只是A，可以只是B，也可以是A及B的组合。并且，在本说明书中，附加“和/或”来表现3个以上的事项的情况下，也可以适用与“A和/或B”相同的概念。
本说明书中所记载的所有文献、专利申请及技术标准，以与具体且分别记载通过参考而援用各文献、专利申请及技术标准的情况相同程度，通过参考而援用于本说明书中。

Claims (16)

1.一种摄像元件，其包括：
存储器，存储通过以第1帧速率摄像被摄体而得到的图像数据，且内置于所述摄像元件中；及
处理器，进行使用了所述图像数据的处理，基于处理结果，以第2帧速率输出基于所述图像数据的输出图像数据，且内置于所述摄像元件中，
所述处理器进行如下处理：
导出通过摄像而作为所述图像数据得到的第1图像数据与在所述第1图像数据之前作为所述图像数据得到并存储于所述存储器中的第2图像数据的差异度，
在所导出的所述差异度为阈值以上的情况下，进行将所述第1图像数据及所述第2图像数据中的至少一个确定为所述输出图像数据的处理，
输出所确定的所述输出图像数据。
2.根据权利要求1所述的摄像元件，其中，
所述处理器进行如下处理：
对所述第1图像数据及所述第2图像数据进行间隔剔除处理，
导出所述间隔剔除处理后的所述第1图像数据与所述间隔剔除处理后的所述第2图像数据的差异度。
3.根据权利要求1或2所述的摄像元件，其中，
所述处理器进行如下处理：
从所述第1图像数据及所述第2图像数据的其中一个，检测对主要被摄体的图像进行表示的主要被摄体图像数据，
从所述第1图像数据及所述第2图像数据中的另一个，检测对根据如下位置确定的图像进行表示的特定图像数据，所述位置相当于由所述第1图像数据表示的图像内的所述主要被摄体的图像的位置，
所述差异度是通过所述处理器检测到的所述主要被摄体图像数据与通过所述处理器检测到的所述特定图像数据的差异度。
4.根据权利要求1至3中任一项所述的摄像元件，其中，
所述处理器在所述差异度小于所述阈值的状态持续了预先确定的时间的情况下，至少降低所述第1帧速率及所述第2帧速率中的所述第1帧速率。
5.根据权利要求1至4中任一项所述的摄像元件，其中，
所述处理器进行如下处理：
从所述图像数据中检测对眼睑闭合的状态的眼睛的图像进行表示的闭眼图像数据，
在检测出所述闭眼图像数据的情况下，不输出检测出所述闭眼图像数据的所述图像数据。
6.根据权利要求5所述的摄像元件，其中，
所述处理器在所述差异度为所述阈值以上的情况下，以未检测出所述闭眼图像数据为条件，将所述第1图像数据及所述第2图像数据中的至少一个确定为所述输出图像数据。
7.根据权利要求1至4中任一项所述的摄像元件，其中，
所述处理器进行如下处理：
导出对与所述图像数据相关的对焦程度进行表示的评价值，
在所导出的所述评价值小于规定评价值的情况下，不输出小于所述规定评价值的所述评价值的作为导出对象的所述图像数据。
8.根据权利要求7所述的摄像元件，其中，
所述处理器在所述差异度为所述阈值以上的情况下，以所述评价值为所述规定评价值以上为条件，将所述第1图像数据及所述第2图像数据中的至少一个确定为所述输出图像数据。
9.根据权利要求1至8中任一项所述的摄像元件，其中，
所述处理器在所述差异度小于所述阈值的情况下，输出第1虚拟数据。
10.根据权利要求1至9中任一项所述的摄像元件，其中，
即使在所述差异度为所述阈值以上的情况下，在所述输出图像数据是满足特定条件的图像数据的情况下，所述处理器也不输出所述输出图像数据而输出第2虚拟数据。
11.根据权利要求1至10中任一项所述的摄像元件，是至少将光电转换元件和所述存储器单芯片化而成的摄像元件。
12.根据权利要求11所述的摄像元件，其中，
所述摄像元件是所述存储器层叠于所述光电转换元件上而成的层叠型摄像元件。
13.一种摄像装置，包括：
权利要求1至12中任一项所述的摄像元件；及
显示控制处理器，进行控制,以使显示部显示基于由所述处理器输出的所述输出图像数据的图像。
14.一种摄像装置，包括：
权利要求1至12中任一项所述的摄像元件；及
存储控制处理器，进行控制,以使由所述处理器输出的所述输出图像数据存储于存储装置。
15.一种摄像元件的工作方法，所述摄像元件包括：存储器，存储通过以第1帧速率摄像被摄体而得到的图像数据；及处理器，进行使用了所述图像数据的处理，基于处理结果，以第2帧速率输出基于所述图像数据的输出图像数据，所述摄像元件内置有所述存储器及所述处理器，所述摄像元件的工作方法包括如下步骤：
导出通过摄像而作为所述图像数据得到的第1图像数据与在所述第1图像数据之前作为所述图像数据得到并存储于所述存储器中的第2图像数据的差异度，
在所导出的所述差异度为阈值以上的情况下，进行将所述第1图像数据及所述第2图像数据中的至少一个确定为所述输出图像数据的处理，
输出所确定的所述输出图像数据。
16.一种程序，用于使适用于摄像元件的计算机执行如下处理，所述摄像元件包括：存储器，存储通过以第1帧速率摄像被摄体而得到的图像数据；及处理器，进行使用了所述图像数据的处理，基于处理结果，以第2帧速率输出基于所述图像数据的输出图像数据，所述摄像元件内置有所述存储器及所述处理器，所述处理包括如下步骤：
导出通过摄像而作为所述图像数据得到的第1图像数据与在所述第1图像数据之前作为所述图像数据得到并存储于所述存储器中的第2图像数据的差异度，
在所导出的所述差异度为阈值以上的情况下，进行将所述第1图像数据及所述第2图像数据中的至少一个确定为所述输出图像数据的处理，
输出所确定的所述输出图像数据。
CN201980086363.2A 2018-12-26 2019-12-16 摄像元件、摄像装置、摄像元件的工作方法及存储介质 Active CN113287295B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018243663 2018-12-26
JP2018-243663 2018-12-26
PCT/JP2019/049219 WO2020137663A1 (ja) 2018-12-26 2019-12-16 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN113287295A true CN113287295A (zh) 2021-08-20
CN113287295B CN113287295B (zh) 2023-07-25

Family

ID=71129817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980086363.2A Active CN113287295B (zh) 2018-12-26 2019-12-16 摄像元件、摄像装置、摄像元件的工作方法及存储介质

Country Status (4)

Country Link
US (1) US11438504B2 (zh)
JP (1) JP7004852B2 (zh)
CN (1) CN113287295B (zh)
WO (1) WO2020137663A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020136899A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および撮像方法
JP7279169B2 (ja) * 2019-08-14 2023-05-22 富士フイルム株式会社 撮像装置、撮像装置の作動方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333429A (ja) * 2000-05-24 2001-11-30 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
JP2010088050A (ja) * 2008-10-02 2010-04-15 Nikon Corp 撮像装置および画像記録方法
CN101742319A (zh) * 2010-01-15 2010-06-16 北京大学 基于背景建模的静态摄像机视频压缩方法与系统
CN104364824A (zh) * 2012-06-13 2015-02-18 松下知识产权经营株式会社 物体检测装置
CN107102647A (zh) * 2017-03-30 2017-08-29 中国人民解放军海军航空工程学院青岛校区 基于图像的无人机目标跟踪控制方法
WO2017175492A1 (ja) * 2016-04-05 2017-10-12 ソニー株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8154606B2 (en) * 2006-10-24 2012-04-10 Sony Corporation Image pickup apparatus and reproduction control apparatus
JP5238365B2 (ja) 2008-06-05 2013-07-17 富士フイルム株式会社 撮像装置
JP6681780B2 (ja) 2015-05-07 2020-04-15 株式会社半導体エネルギー研究所 表示システムおよび電子機器
KR102641894B1 (ko) * 2017-02-03 2024-02-29 삼성전자주식회사 이미지를 촬영하는 센서 및 그 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333429A (ja) * 2000-05-24 2001-11-30 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
JP2010088050A (ja) * 2008-10-02 2010-04-15 Nikon Corp 撮像装置および画像記録方法
CN101742319A (zh) * 2010-01-15 2010-06-16 北京大学 基于背景建模的静态摄像机视频压缩方法与系统
CN104364824A (zh) * 2012-06-13 2015-02-18 松下知识产权经营株式会社 物体检测装置
WO2017175492A1 (ja) * 2016-04-05 2017-10-12 ソニー株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
CN107102647A (zh) * 2017-03-30 2017-08-29 中国人民解放军海军航空工程学院青岛校区 基于图像的无人机目标跟踪控制方法

Also Published As

Publication number Publication date
JP7004852B2 (ja) 2022-01-21
US11438504B2 (en) 2022-09-06
WO2020137663A1 (ja) 2020-07-02
CN113287295B (zh) 2023-07-25
JPWO2020137663A1 (ja) 2021-10-28
US20210314486A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
JP5029268B2 (ja) 電子カメラ
CN113498604B (zh) 成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质
CN113287295B (zh) 摄像元件、摄像装置、摄像元件的工作方法及存储介质
JP2023145575A (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
US20240080410A1 (en) Imaging apparatus, image data processing method of imaging apparatus, and program
CN113316928B (zh) 成像元件、摄像装置、图像数据处理方法及计算机可读存储介质
JP2020017807A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
CN113228611B (zh) 成像元件、摄像装置、成像元件的工作方法及计算机可读存储介质
CN113454977A (zh) 成像元件、摄像装置、成像元件的工作方法及程序
CN113491107A (zh) 成像元件、摄像装置、成像元件的工作方法及程序
CN112640430A (zh) 成像元件、摄像装置、图像数据处理方法及程序
JP7410088B2 (ja) 撮像素子、撮像装置、画像データ出力方法、及びプログラム
CN114208159A (zh) 成像元件、摄像装置、成像元件的工作方法及程序
JP2015203817A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant