CN101600046B - 摄像设备及其控制方法 - Google Patents
摄像设备及其控制方法 Download PDFInfo
- Publication number
- CN101600046B CN101600046B CN 200910146963 CN200910146963A CN101600046B CN 101600046 B CN101600046 B CN 101600046B CN 200910146963 CN200910146963 CN 200910146963 CN 200910146963 A CN200910146963 A CN 200910146963A CN 101600046 B CN101600046 B CN 101600046B
- Authority
- CN
- China
- Prior art keywords
- image
- information
- zoom operation
- dust
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本发明涉及一种摄像设备及其控制方法。该摄像设备包括:摄像单元,其具有图像传感器;光学构件,其布置在图像传感器的前方;异物检测单元,用于从包括附着至光学构件的表面的异物的图像的异物检测图像中检测异物信息;记录单元,用于在拍摄运动图像时,记录基于从摄像单元连续输出的图像信号而生成的运动图像数据,并且以与该运动图像数据相关联的方式记录异物信息和镜头信息;以及镜头信息获得单元,用于当在运动图像拍摄期间通过用户操作摄像镜头而更新了镜头信息时,获得更新后的镜头信息。当镜头信息获得单元获得了更新后的镜头信息时,记录单元以与运动图像数据相关联的方式记录更新后的镜头信息。
Description
技术领域
本发明涉及一种在使用CCD传感器或CMOS传感器等图像传感器的摄像设备中抑制由附着至光学低通滤波器等的表面上的异物所引起的图像劣化的技术。
背景技术
在传统的镜头可互换的数字照相机中,灰尘或尘埃等的异物(下文中简称为灰尘)有时附着至光学系统或布置在图像传感器前方的图像传感器保护玻璃或光学滤波器(将被统称为图像传感器光学组件)的表面上。当灰尘附着至图像传感器光学组件时,该灰尘阻挡了光,并且位于光阻挡部分的图像未被拍摄到,从而降低了所拍摄图像的质量。
通常图像传感器上的这种灰尘并非附着至该图像传感器的表面而是附着至保护玻璃或光学滤波器的表面。成像状态根据摄像镜头的光圈值或光瞳位置(pupil position)而改变。更具体地,当光圈值几乎为全光圈(full-aperture)值时,灰尘图像模糊,并且即使附着了小的灰尘,也无影响。当光圈值大时,形成了清晰的灰尘图像,并且甚至小的灰尘也不利地影响了整个图像。为了解决该问题,已知一种使灰尘不太显著的方法。根据该方法,通过在将镜头设置为大的光圈值时拍摄白墙等预先准备了只有图像传感器上的灰尘的图像。将该图像与所拍摄到的静止图像结合使用(参见日本特开2004-222231号公报)。
近来已经提出的数字照相机除具有静止图像拍摄功能以外,还具有运动图像拍摄功能。当镜头可互换的数字照相机具有运动图像拍摄功能时,摄像镜头的光圈值和光瞳位置在运动图像拍摄期间根据镜头操作(例如,变焦操作)而改变。结果,图像传感器上的灰尘的成像状态在运动图像的每个帧中改变。需要注意为灰尘检测而拍摄到的图像和与之相关联的实际拍摄到的图像之间的对应关系。如果将日本特开2004-222231号公报中说明的方法简单地应用于运动图像拍摄,则对于运动图像的各帧,必须繁琐地检查该对应关系。
发明内容
本发明用以克服传统缺陷,并抑制附着至布置在图像传感器前方的保护玻璃、滤波器等上的灰尘等异物对运动图像的影响。
根据本发明的第一方面,提供了一种摄像设备,包括:摄像单元,其具有对通过摄像镜头形成的被摄体图像进行光电转换的图像传感器;光学构件,其布置在所述图像传感器的前方;异物检测单元,其从包括附着至所述光学构件的表面的异物的图像的异物检测图像中检测异物信息,所述异物信息是包括至少与所述异物的位置和大小有关的信息的信息;记录单元,用于在拍摄运动图像时,记录基于从所述摄像单元连续输出的图像信号而生成的运动图像数据,并且以与所述运动图像数据相关联的方式记录包括所述异物信息、所述摄像镜头的光圈值的信息以及光瞳位置的信息的镜头信息;以及镜头信息获得单元,用于当在运动图像拍摄期间通过用户操作所述摄像镜头而更新了所述镜头信息时,获得更新后的镜头信息,其中,当所述镜头信息获得单元获得了所述更新后的镜头信息时,所述记录单元以与所述运动图像数据相关联的方式记录所述更新后的镜头信息。
根据本发明的第二方面,提供了一种摄像设备的控制方法,所述摄像设备包括:摄像单元,其具有对通过摄像镜头形成的被摄体图像进行光电转换的图像传感器;以及光学构件,其布置在所述图像传感器的前方,所述控制方法包括以下步骤:异物检测步骤,用于从包括附着至所述光学构件的表面的异物的图像的异物检测图像中检测异物信息,所述异物信息是包括至少与所述异物的位置和大小有关的信息的信息;记录步骤,用于在拍摄运动图像时,记录基于从所述摄像单元连续输出的图像信号而生成的运动图像数据,并且以与所述运动图像数据相关联的方式记录包括所述异物信息、所述摄像镜头的光圈值的信息以及光瞳位置的信息的镜头信息;以及镜头信息获得步骤,用于当在运动图像拍摄期间通过用户操作所述摄像镜头而更新了所述镜头信息时,获得更新后的镜头信息,其中,在所述记录步骤中,当在所述镜头信息获得步骤中获得了所述更新后的镜头信息时,以与所述运动图像数据相关联的方式记录所述更新后的镜头信息。
根据本发明的第三方面,提供了一种摄像设备,包括:摄像单元,用于对被摄体图像进行光电转换以生成图像信号;异物检测单元,用于从由所述摄像单元获得的异物检测图像信号中检测异物信息,所述异物信息是至少与所述摄像单元的摄像帧中的所述异物的位置和大小有关的信息;镜头信息获得单元,用于获得用于拍摄被摄体的镜头的镜头信息;以及记录单元,用于在拍摄运动图像时,记录基于从所述摄像单元连续输出的图像信号而生成的运动图像数据,并且以与所述运动图像数据相关联的方式记录由所述异物检测单元检测到的所述异物信息和由所述镜头信息获得单元获得的所述镜头信息,其中,所述记录单元对所述运动图像数据进行分割,记录片断,将由所述镜头信息获得单元所获得的镜头信息添加至各片断,并记录所述镜头信息。
根据本发明的第四方面,提供了一种摄像设备的控制方法,所述摄像设备具有用于对被摄体图像进行光电转换以生成图像信号的摄像单元,所述控制方法包括以下步骤:异物检测步骤,用于从由所述摄像单元获得的异物检测图像信号中检测异物信息,所述异物信息是至少与所述摄像单元的摄像帧中的所述异物的位置和大小有关的信息;镜头信息获得步骤,用于获得用于拍摄被摄体的镜头的镜头信息;以及记录步骤,用于在拍摄运动图像时,记录基于从所述摄像单元连续输出的图像信号而生成的运动图像数据,并且以与所述运动图像数据相关联的方式记录在所述异物检测步骤中检测到的所述异物信息以及在所述镜头信息获得步骤中获得的所述镜头信息,其中,在所述记录步骤中,对所述运动图像数据进行分割以记录片断,并且将在所述镜头信息获得步骤中获得的所述镜头信息添加至各片断,并记录所述镜头信息。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是示出镜头可互换的单镜头反光数字照相机的外观的透视图;
图2是示出镜头可互换的单镜头反光数字照相机的内部结构的垂直截面图;
图3是示出镜头可互换的单镜头反光数字照相机的电路结构的框图;
图4是用于说明灰尘检测处理的流程图;
图5是示出灰尘校正数据的数据格式的示例的图;
图6是用于说明图4的步骤S27中的灰尘区域获得例程的细节的流程图;
图7是示出图6的步骤S62中的灰尘区域判断处理的处理单位的图;
图8是示出在图6的步骤S63中计算灰尘区域的大小的概要的图;
图9是用于说明图4的步骤S24中的摄像处理例程的细节的流程图;
图10是用于说明灰尘去除处理的细节的流程图;
图11是用于说明插值例程的细节的流程图;
图12是用于说明MP4文件格式或类似文件格式下的元数据和媒体数据的概念的图;
图13是用于说明片断动画(Fragmented Movie)的概念的图;
图14是第一实施例中的基本处理的流程图;
图15是示出灰尘位置校正数据的数据格式的示例的图;
图16是示出第一实施例中的运动图像文件分割/生成处理的图;
图17A和17B是第一实施例中的基本文件结构的示意图;
图18A和18B是示出第一实施例中的文件结构的第二示例的示意图;
图19A和19B是示出第一实施例中的文件结构的第三示例的示意图;
图20A和20B是示出第一实施例中的文件结构的第四示例的示意图;
图21是示出图像处理设备的示意系统结构的框图;
图22是示出图像处理设备中的GUI的示例的图;
图23是第二实施例中的基本处理的流程图;
图24是示出第三实施例中在变焦驱动时的分割方法的流程图;
图25是示出第四实施例中在变焦驱动时的分割方法的流程图;以及
图26是示出第五实施例中在变焦驱动时的分割方法的流程图。
具体实施方式
现在将参考附图详细说明本发明的实施例。
第一实施例
图1是示出本发明的全部实施例通用的数字照相机120的外观的透视图。图2是图1的垂直截面图。
参考图1,照相机体100的上部包括附件插座110、光学取景器104、AE(Auto Exposure,自动曝光)锁定按钮111、AF距离测量点选择按钮113和用于进行拍摄操作的释放按钮114。照相机体100的上部还包括电子拨盘411、模式拨盘60和外部显示器409。电子拨盘411是用于与其它操作按钮相结合地将数值输入至照相机或者切换拍摄模式的多功能信号输入装置。外部显示器409由液晶显示器形成并且显示拍摄条件(例如,快门速度、光圈值和拍摄模式)以及其它种类的信息。
照相机体100的背面包括用于显示所拍摄图像和各种设置窗口的LCD监视器417、用于在LCD监视器417上重放所拍摄图像的重放开关66、单拍/连拍开关68、十字选择器开关116、菜单按钮124和电源开关72。
单拍/连拍开关68可以设置单拍模式和连拍模式,在单拍模式下,当用户按下(后面要说明的)快门开关SW2 64时,进行一帧的拍摄然后照相机待机;在连拍模式下,当用户按下快门开关SW2 64时连续进行拍摄。
十字选择器开关116包括布置在上下右左的四个按钮和布置在中央的设置按钮117。用户使用十字选择器开关116来指示照相机选择或执行显示在LCD监视器417上的菜单项等。
用户使用菜单按钮124以将用于进行照相机的各种设置的菜单窗口显示在LCD监视器417上。例如,当选择和设置拍摄模式时,用户按下菜单按钮124,并操作十字选择器开关116的上下右左按钮以选择该用户想要的模式。当选择了模式时,用户按下设置按钮117,从而完成设置。
实施例中的LCD监视器417是透过型的。通过仅驱动LCD监视器,用户不能够看见图像。如图2所示,LCD监视器417需要位于其后面的背光照明单元416。如图3所示,LCD监视器417和背光照明单元416构成图像显示单元28。
如图2所示,根据实施例的摄像设备主要包括照相机体100和镜头可互换的镜头单元300。在图2中,附图标记401表示摄像光轴。
镜头单元300包括由多个透镜形成的摄像镜头310、光圈312和机械地将镜头单元300连接至照相机体100的镜头座306。镜头单元300可通过镜头座306从照相机体100卸下。
在照相机体100中,将反射镜130插入至摄像光路中,并且反射镜130可以在反射镜130将来自镜头单元300的被摄体光引导至光学取景器系统的位置(将被称为倾斜反射镜位置的图2所示的位置)与反射镜130从摄像光路撤出的位置(称为撤出位置)之间移动。反射镜130还可以是快速复原镜(quick return mirror)或半镜(half mirror)。
参考图2,从反射镜130引导至光学取景器104的被摄体光在聚焦屏204上形成图像。聚光透镜205提高了取景器的可视性。五角屋脊棱镜(pentagonal roof prism)132将已经通过了聚焦屏204和聚光透镜205的被摄体光引导至用于取景器观察的目镜透镜208和光学取景器104。
第二帘幕209和第一帘幕210构成快门。打开第二帘幕209和第一帘幕210以对布置在第二帘幕209和第一帘幕210后方的用于对被摄体图像进行光电转换的图像传感器14曝光必要时间。光学低通滤波器418布置在图像传感器14的前方,并调整要形成在图像传感器14上的被摄体图像的空间频率。不利地影响所拍摄图像的灰尘(异物)附着至光学低通滤波器418。该灰尘在形成于图像传感器14上的被摄体图像中显现为阴影,从而降低了所拍摄图像的质量。
印刷板211保持图像传感器14。作为其它印刷板的显示板215布置在印刷板211的后方。LCD监视器417和背光照明单元416布置在与印刷板211相对的显示板215的表面上。
记录介质200记录图像数据。照相机使用电池(便携式电源)86。记录介质200和电池86可从照相机体卸下。
图3是示出本发明的全部实施例通用的镜头可互换的数字照相机的电路结构的框图。
将说明镜头单元300的结构。
镜头座306包括用于将镜头单元300电连接至照相机体100的各种功能。在镜头座306中,接口320将镜头单元300连接至照相机体100。连接器322将镜头单元300电连接至照相机体100。
连接器322还具有用于在照相机体100和镜头单元300之间交换控制信号、状态信号和数据信号以及接收各种电压的电流的功能。连接器322还可以通过电信、光学通信或语音通信进行通信。
光圈控制单元340基于来自测光控制单元46的测光信息,与控制照相机体100的快门12的(后面要说明的)快门控制单元40协作地控制光圈312。调焦控制单元342控制摄像镜头310的调焦。变焦控制单元344控制摄像镜头310的变焦。
镜头系统控制电路350控制整个镜头单元300。镜头系统控制电路350具有用于存储动作用的常量、变量和程序的存储器。镜头系统控制电路350还具有用于保持识别信息(例如,镜头单元300固有的编号)、管理信息、功能信息(例如,全光圈值、最小光圈值和焦距)以及当前和过去的设置值的非易失性存储器。
接着将说明照相机体100的结构。
镜头座106将照相机体100机械地连接至镜头单元300。快门12包括第二帘幕209和第一帘幕210。根据单镜头反光方法,通过用作光量限制单元的光圈312、镜头座306和106、反射镜130和快门12引导已进入摄像镜头310的光束,并在图像传感器14上形成光学图像。
A/D转换器16将从图像传感器14输出的模拟信号转换成数字信号。时序发生器18将时钟信号和控制信号提供给图像传感器14、A/D转换器16和D/A转换器26。存储器控制电路22和系统控制电路50控制时序发生器18。
图像处理电路20对来自A/D转换器16的数据或来自存储器控制电路22的数据执行预定的像素插值处理和颜色转换处理。若有必要,图像处理电路20使用从A/D转换器16输出的图像数据进行预定的运算处理。基于所获得的运算结果,系统控制电路50可以执行TTL(Through The Lens,通过镜头)方案的自动调焦(AF)处理、自动曝光(AE)处理和预电子闪光(EF)处理以控制快门控制单元40和焦点调节单元42。图像处理电路20还使用从A/D转换器16输出的图像数据执行预定的运算处理,并基于所获得的运算结果进行TTL方案的自动白平衡(AWB)处理。
在实施例中的图3所示的例子中,提供专用的焦点调节单元42和测光控制单元46。因此,还可以不使用图像处理电路20而使用焦点调节单元42和测光控制单元46来进行AF处理、AE处理和EF处理。可选地,还可以首先使用焦点调节单元42和测光控制单元46然后再使用图像处理电路20来进行AF处理、AE处理和EF处理。
存储器控制电路22控制A/D转换器16、时序发生器18、图像处理电路20、图像显示存储器24、D/A转换器26、存储器30和压缩/解压缩电路32。通过图像处理电路20和存储器控制电路22或者仅通过存储器控制电路22将从A/D转换器16输出的图像数据写入图像显示存储器24或存储器30中。
图像显示单元28包括LCD监视器417和背光照明单元416。通过D/A转换器26将写入图像显示存储器24中的显示图像数据显示在图像显示单元28上。图像显示单元28顺序显示所拍摄到的图像数据,从而实现电子取景器(EVF)功能。图像显示单元28可以根据来自系统控制电路50的指令任意打开/关闭(ON/OFF)其显示。当显示为OFF时,可以极大地降低照相机体100的功耗。
存储器30存储所拍摄到的静止图像并具有足够存储预定数量的静止图像的存储容量。即使在用于连续拍摄多个静止图像的连拍或全景拍摄中,存储器30也允许将多个图像高速写入其内。在运动图像拍摄时,存储器30用作用于以预定速率连续写入图像的帧缓冲器。存储器30还可用作系统控制电路50的工作区。
压缩/解压缩电路32使用已知的压缩方法对图像数据进行压缩/解压缩。压缩/解压缩电路32从存储器30读出图像,对该图像进行压缩或解压缩并将处理后的数据再次写入存储器30。
快门控制单元40基于来自测光控制单元46的测光信息,与控制光圈312的光圈控制单元340协作地控制快门12。焦点调节单元42执行AF(Auto Focus,自动调焦)处理。根据单镜头反光方法,通过光圈312、镜头座306和106、反射镜130和焦点调节副镜(未示出)引导已进入镜头单元300的摄像镜头310的光束。焦点调节单元42检测作为光学图像的由该光束所形成的图像的聚焦状态。
测光控制单元46执行AE(Auto Exposure,自动曝光)处理。根据单镜头反光方法,通过光圈312、镜头座306和106、反射镜130和测光副镜(未示出)引导已进入镜头单元300的摄像镜头310的光束。测光控制单元46测量作为光学图像的由该光束所形成的图像的曝光状态。电子闪光灯48具有AF辅助光投射功能和电子闪光控制功能。测光控制单元46与电子闪光灯48协作还具有EF(Electronic Flash control,电子闪光控制)处理功能。
还可以使用焦点调节单元42的测量结果和通过由图像处理电路20对来自A/D转换器16的图像数据进行运算处理所获得的运算结果,进行AF控制。还可以使用测光控制单元46的测量结果和通过由图像处理电路20对来自A/D转换器16的图像数据进行运算处理所获得的运算结果,进行曝光控制。
系统控制电路50控制整个照相机体100并且包括已知的CPU。存储器52存储系统控制电路50的动作用的常量、变量和程序。
通知单元54根据系统控制电路50对程序的执行,使用文本、图像和声音向外部通知工作状态和消息。通知单元54是例如用于提供视觉显示的LCD或LED等的显示单元或者用于通过声音生成通知的声音生成元件。通知单元54包括它们中的一个或其组合。特别在通知单元54是显示单元时,与外部显示器409一样,将通知单元54布置在位于照相机体100的操作单元70附近的用户能够容易地看见通知的一个或多个位置处。通知单元54的一些功能配置在光学取景器104中。
在通知单元54的显示内容中,LCD等图像显示单元28呈现与包括单拍/连拍以及自拍在内的拍摄模式相关联的显示。图像显示单元28还呈现与包括压缩率、记录像素数、已记录图像的数量和可记录图像的数量在内的记录相关联的显示。此外,图像显示单元28呈现与包括快门速度、光圈值、曝光补偿、亮度校正、外部闪光灯发光量和红眼缓和在内的拍摄条件相关联的显示。图像显示单元28还显示微距拍摄、蜂鸣器设置、电池水平、错误消息、多个数字的信息以及记录介质200和PC 210的安装/拆卸状态。另外,图像显示单元28显示镜头单元300的安装/拆卸状态、通信I/F操作、日期和时间以及外部计算机的连接状态。
在通知单元54的显示内容中,光学取景器104显示以下内容:对焦、准备拍摄、照相机抖动警告、闪光灯充电、闪光灯充电完成、快门速度、光圈值、曝光补偿和记录介质写入操作。
非易失性存储器56是EEPROM等的电可擦除/可编程存储器,并且存储(后面要说明的)程序等。
附图标记60、62、64、66、68和70表示用于将各种类型的操作指令输入至系统控制电路50的操作单元。各个操作单元包括开关、拨盘、触摸面板、通过视线检测的指示和语音识别装置中的一个或其组合。
这里将详细说明这些操作单元。
模式拨盘开关60可以选择性地设置诸如自动拍摄模式、编程拍摄模式、快门速度优先拍摄模式、光圈优先拍摄模式、手动拍摄模式或焦深优先(深度)拍摄模式等的拍摄模式。模式拨盘开关60还可以选择性地设置诸如肖像拍摄模式、风景拍摄模式、特写拍摄模式、运动拍摄模式、夜景拍摄模式、全景拍摄模式和运动图像拍摄模式等的拍摄模式。
通过操作释放按钮114一半(即,半程)接通快门开关SW162,以指定开始AF处理、AE处理、AWB处理或EF处理等的操作。
通过完全操作释放按钮114(即,全程)接通快门开关SW264,以指定开始包括曝光、显影和记录的一系列处理。在曝光处理中,通过A/D转换器16和存储器控制电路22将从图像传感器14读出的信号写入存储器30中。然后,使用通过图像处理电路20或存储器控制电路22的计算进行显影处理。在记录处理中,从存储器30读出图像数据,由压缩/解压缩电路32对该图像数据进行压缩并将其写入或发送至记录介质200或PC 210。
重放开关66指定开始以下重放操作:从存储器30、记录介质200或PC 210读出在拍摄模式下拍摄到的图像并将该图像显示在图像显示单元28上。重放开关66可以设置诸如重放模式、多窗口重放/擦除模式或PC连接模式等的功能模式。
单拍/连拍开关68可以设置单拍模式和连拍模式,在单拍模式下,当用户按下快门开关SW2 64时,进行一帧的拍摄然后照相机待机,在连拍模式下,当用户按下快门开关SW2 64时连续进行拍摄。
操作单元70包括各种按钮和触摸面板。例如,操作单元70包括实时取景开始/停止按钮、动画记录开始/停止按钮、菜单按钮124、设置按钮117、多窗口重放/换页按钮、电子闪光灯设置按钮、单拍/连拍/自拍开关按钮、十字选择器开关116、AE(自动曝光)锁定按钮111、AF距离测量点选择按钮113和电子拨盘411。此外,操作单元70包括重放图像移动+(加)按钮、重放图像移动-(减)按钮、拍摄图像质量选择按钮、曝光补偿按钮、亮度校正按钮、外部闪光灯发光量设置按钮和日期/时间设置按钮。当将旋转拨盘开关用于十字选择器开关116的上下右左按钮时,允许用户更容易地选择数值和功能。
另外,操作单元70包括用于打开/关闭图像显示单元28的图像显示ON/OFF开关和用于对在拍摄之后立即自动重放所拍摄到的图像数据的快速回放功能进行设置的快速回放ON/OFF开关。操作单元70还包括压缩模式开关,该压缩模式开关用于选择JPEG压缩的压缩率或选择对来自图像传感器的信号进行直接数字化并将其记录在记录介质上的RAW模式。此外,操作单元70包括能够设置单拍AF模式或伺服AF模式的AF模式设置开关。在单拍AF模式下,当用户按下快门开关SW1 62时,自动调焦操作开始。一旦获得对焦状态,则一直保持该状态。在伺服AF模式下,当用户按下快门开关SW1 62时,自动调焦操作继续进行。操作单元70还包括能够设置如后面所述的用于拍摄灰尘检测图像并获得灰尘信息的灰尘信息获得模式的设置开关。
电源开关72可以选择性地设置照相机体100的电源接通(ON)模式或电源断开(OFF)模式。电源开关72还可以选择性地设置包括连接至照相机体100的镜头单元300、外部闪光灯112、记录介质200和PC 210在内的各种附件各自的电源ON或电源OFF模式。
电源控制单元80包括电池检测电路、DC/DC转换器和用于切换要通电的块的切换电路。电源控制单元80检测电池的安装/拆卸、电池的类型和电池水平。电源控制单元80基于检测结果和来自系统控制电路50的指令,控制DC/DC转换器。电源控制单元80在必要的时间段内将必需电压供给至包括记录介质在内的各单元。
附图标记82和84表示连接器,并且附图标记86表示由一次电池(例如,碱性电池或锂(lithium)电池)、二次电池(例如,镍镉(NiCd)电池、镍氢(NiMH)电池、Li离子(Li-ion)电池或Li聚合物电池)或者AC适配器形成的电源单元。
附图标记90和94表示与PC和存储卡或硬盘等存储介质的接口;并且附图标记92和96表示用于连接PC和存储卡或硬盘等记录介质的连接器。记录介质安装检测电路98检测记录介质200和/或PC 210是否连接至连接器92和/或96。
在本实施例中,照相机具有用于连接记录介质的两个接口和两个连接器。然而,用于连接记录介质的接口和连接器的数量是任意的,并且照相机可以具有一个或多个接口或连接器。还可以组合不同标准的接口和连接器。
可以应用符合各种存储介质标准的接口和连接器。例子包括PCMCIA(Personal Computer Memory Card InternationalAssociation,个人计算机存储卡国际协会)卡、CF(Compact紧致型闪存)卡和SD卡。当接口90和94以及连接器92和96符合PCMCIA卡或卡的标准时,它们可以连接各种类型的通信卡。通信卡的例子包括LAN卡、调制解调器卡、USB(Universal Serial Bus,通用串行总线)卡和IEEE(Institute ofElectrical and Electronic Engineers,电器电子工程师协会)1394卡。还可使用P1284卡、SCSI(Small Computer System Interface,小型计算机系统接口)卡和PHS。可以连接各种类型的通信卡以将图像数据和与该图像数据相关联的管理信息传送至其它计算机或打印机等外围装置。
光学取景器104可以显示由已进入摄像镜头310并且通过单镜头反光方法经由光圈312、镜头座306和106以及反射镜130和132引导的光束所形成的光学图像。用户可以在不使用图像显示单元28的电子取景器功能的情况下,仅利用光学取景器来拍摄图片。光学取景器104显示通知单元54的一部分功能,如对焦状态、照相机抖动警告、闪光灯充电、快门速度、光圈值和曝光补偿等。
通过附件插座110安装外部闪光灯112。
在镜头座106中,接口121将照相机体100连接至镜头单元300。
连接器122将照相机体100电连接至镜头单元300。镜头安装检测单元(未示出)检测镜头单元300是否安装至镜头座106和连接器122。连接器122还具有用于在照相机体100和镜头单元300之间传输控制信号、状态信号和数据信号等并且还供给各种电压的电流的功能。
照相机体100的存储器30存储通过连接器122而通信的镜头单元300的各种类型的光学信息(例如,光圈值、变焦位置、光瞳距离和焦距)。在一些情况下,照相机请求信息的通信。每次更新信息时,镜头可以通信该信息。
连接器122还可以不仅通过电信而且通过光学通信或语音通信进行通信。
记录介质200是例如存储卡或硬盘。记录介质200包括由半导体存储器或磁盘等形成的记录单元202、与照相机体100的接口204以及用于连接照相机体100的连接器206。
PC 210包括由磁盘(HD)形成的记录单元212、与照相机体100的接口214和连接照相机体100的连接器216。接口214可以是USB或IEEE1394接口,但并未特别限定接口214。
接着,将说明在具有上述结构的摄像设备中进行图像处理以消除位于布置在图像传感器前方的低通滤波器或保护玻璃等光学构件上的灰尘的影响的处理。
在实施例中,照相机拍摄灰尘检测图像(异物检测图像)以获得作为与灰尘(异物)的附着位置和大小有关的信息的灰尘信息(异物信息)。然后,提取灰尘检测图像以生成灰尘数据。优选通过拍摄尽可能为均匀亮度的表面来获得灰尘检测图像。然而,由于期望在熟悉的场所容易地拍摄图像,因此均匀性无需严格。例如,本实施例假定拍摄蓝色天空或白墙。
将参考图4的流程图来说明用于检测附着在摄像光学系统中的灰尘的位置的处理的示例。系统控制电路50通过执行非易失性存储器56中所存储的灰尘检测处理程序而进行该处理。
在灰尘检测处理中,拍摄灰尘检测图像。当进行灰尘检测处理时,用户通过设置照相机以将镜头单元300的摄像光轴401指向表面光源的出射面或者如白墙等的具有均匀颜色的表面,来准备灰尘检测。用户还通过将灰尘检测光单元(代替透镜而安装的紧致型点光源)安装至镜头座106来准备灰尘检测。光单元的光源是例如白色LED,并且期望调节光发射面的大小以符合预定光圈值(例如,F32)。
本实施例将说明使用普通摄像镜头的灰尘检测。还可以通过将光单元安装至镜头座106来进行灰尘检测。在本实施例中,灰尘检测图像是具有均匀颜色的图像。
在准备结束之后,当用户通过十字选择器开关116指示照相机开始灰尘检测处理时,系统控制电路50首先设置光圈。图像传感器附近的灰尘的成像状态根据镜头的光圈值而改变,并且灰尘的位置根据镜头光瞳位置而改变。由于该原因,除灰尘的位置和大小以外,灰尘校正数据还需要保持检测时的光圈值和镜头光瞳位置。
然而,在创建灰尘校正数据时,如果即使对于不同的镜头也设置为总是使用相同的光圈值,则灰尘校正数据无需总是保持光圈值。对于光瞳位置,如果使用了光单元或者仅允许使用特定镜头,则灰尘校正数据无需总是保持该光瞳位置。
换言之,如果在创建灰尘校正数据时允许使用多种类型的镜头或者适当地改变了光圈值,则灰尘校正数据需要保持检测时的光圈值和镜头光瞳位置。注意,光瞳位置表示离出瞳(exitpupil)的摄像面(焦平面)的距离。
例如,指定了F32(步骤S21)。
然后,系统控制电路50通过连接器122使光圈控制单元340控制镜头单元300的光圈叶片并将光圈设置为在步骤S21中所指定的光圈值(步骤S22)。系统控制电路50使调焦控制单元342将聚焦位置设置为无限远(步骤S23)。
在设置了摄像镜头的光圈值和聚焦位置之后,系统控制电路50在灰尘检测模式下执行拍摄(步骤S24)。将参考图9说明步骤S24中的摄像处理例程的细节。存储器30存储所拍摄到的图像数据。
在结束拍摄之后,系统控制电路50获得拍摄时的光圈值和镜头光瞳位置(步骤S25)。系统控制电路50将与存储器30中所存储的所拍摄图像的各像素相对应的数据读出至图像处理电路20(步骤S26)。图像处理电路20进行图6所示的处理,从而获得存在灰尘的像素的位置和大小(步骤S27)。非易失性存储器56登记在步骤S27中已获得的存在灰尘的像素的位置和大小以及在步骤S25中已获得的光圈值和镜头光瞳位置信息(步骤S28)。当使用前述光单元时,不能获得镜头信息。当不能获得镜头信息时,系统控制电路50判断为已经使用了光单元。然后,非易失性存储器56登记预定的镜头光瞳位置信息以及根据光单元的光源直径而计算出的光圈值。
在步骤S28中,系统控制电路50将预先记录在非易失性存储器56中的制造时的缺陷像素(像素缺陷)的位置与读出的像素数据的位置进行比较,并判断目标像素是否有缺陷。非易失性存储器56还可以仅登记被判断为不具有像素缺陷的区域的位置。
图5示出非易失性存储器56中所存储的灰尘校正数据的数据格式的示例。如图5所示,灰尘校正数据存储当拍摄检测图像时所获得的镜头信息、灰尘位置和大小信息。
更具体地,将用于拍摄检测图像的实际光圈值(F值)和此时的镜头光瞳位置作为当拍摄检测图像时所获得的镜头信息而存储。然后,将检测到的灰尘区域的数量(整数值)存储在存储区域中。随后,将各灰尘区域的具体参数重复存储灰尘区域的数量次。各灰尘区域的参数是以下3个数值的集合:灰尘的半径(例如,2字节)、有效图像区域中的中心的x坐标(例如,2字节)和该中心的y坐标(例如,2字节)。
如果灰尘校正数据大小受非易失性存储器56的容量等限制,则优选从在步骤S27中所获得的灰尘区域的开头开始存储数据。这是因为在后面将说明的步骤S27的灰尘区域获得例程中,从最明显的灰尘开始按顺序对灰尘区域进行排序。
将参考图6~8说明图4的步骤S27中的灰尘区域获得例程的细节。
如图7所示,在存储器30中对读出的图像数据进行光栅化,并且以预定块为单位对该读出的图像数据进行处理以应对由于镜头或传感器特性而产生的临边昏暗(limb darkening)。临边昏暗是镜头周边处的亮度变得低于中心处的亮度的现象。已知可以通过将镜头设置为大的光圈值而一定程度地减轻临边昏暗。然而,即使将镜头设置为大的光圈值,当基于预定阈值确定所拍摄图像中灰尘的位置时,也可能不能基于镜头精确地检测到周边处的灰尘。据此,通过将图像分割成块来减轻临边昏暗的影响。
如果将图像简单地分割成块,则当阈值在块之间改变时,灰尘检测结果在这些块之间也可能改变。为了防止该问题,使块相互重叠。将重叠区域的任一块中的被判断为具有灰尘的像素作为灰尘区域而处理。
根据图6所示的处理序列执行对块中灰尘区域的判断。计算各个块中的最大亮度Lmax和平均亮度Lave。通过下式计算出各块中的阈值T1:
T1=Lave×0.6+Lmax×0.4
将亮度不超过阈值的像素确定为灰尘像素(步骤S61)。将由灰尘像素形成的各个孤立区域定义为灰尘区域di(i=0,1,...,n)(步骤S62)。如图8所示,获得了落入灰尘区域的像素的水平坐标的最大值Xmax和最小值Xmin以及它们的垂直坐标的最大值Ymax和最小值Ymin。计算表示灰尘区域di的大小的半径ri(步骤S63):
图8示出Xmax、Xmin、Ymax、Ymin和ri之间的关系。
在步骤S64,计算各个灰尘区域的平均亮度值。
灰尘校正数据的大小有时受非易失性存储器56的容量等限制。为了应对该情况,按灰尘区域的大小或平均亮度值对多个灰尘位置信息进行排序(步骤S65)。在本实施例中,按ri的降序来排序多个灰尘位置信息。如果全部的灰尘区域都具有相同的ri,则按平均亮度值的升序对灰尘区域进行排序。结果,优选可以将明显的灰尘登记在灰尘校正数据中。Di表示排序后的灰尘区域并且Ri表示灰尘区域Di的半径。
如果存在大于预定大小的灰尘区域,则还可以从排序对象排除该灰尘区域并将其添加至排序后的灰尘区域列表的末尾。如果大的灰尘区域经过了稍后的插值处理,则该大的灰尘区域可能使图像质量下降。期望最后校正这种大的灰尘区域。
将参考图9所示的流程图来说明图4的步骤S24中的摄像处理例程的细节。系统控制电路50通过执行非易失性存储器56中所存储的摄像处理程序来进行该处理。
当摄像处理例程开始时,在步骤S201中系统控制电路50操作图3所示的反射镜130以使反射镜130上翻并且将反射镜130从摄像光路撤出。
在步骤S202中,图像传感器14开始累积电荷。在步骤S203中,图3所示的快门12行进以进行曝光。在步骤S204中,图像传感器14的电荷累积结束。在步骤S205中,从图像传感器14读出图像信号,并且将由A/D转换器16和图像处理电路20处理后的图像数据临时存储在存储器30中。
在步骤S206中,从图像传感器对全部图像信号的读取结束。在步骤S207中,使反射镜130下翻并且返回至倾斜反射镜位置。然后,一系列的摄像操作结束。
在步骤S208中,系统控制电路50判断拍摄模式是静止图像拍摄还是灰尘检测图像拍摄。如果拍摄模式是静止图像拍摄,则处理进入步骤S209以将所拍摄到的静止图像记录在记录介质200上。
第一实施例涉及一种在拍摄运动图像时进行图像处理以校正因灰尘而劣化的图像质量的方法。在说明运动图像处理之前,先说明静止图像处理。
将参考图10来说明使用上述灰尘校正数据通过图像处理对静止图像文件进行灰尘去除的操作的序列。
指定要经过灰尘去除处理的静止图像文件并将其加载至用于进行灰尘去除处理的设备(可以是照相机中的图像处理电路20或者照相机外部的图像处理设备)(步骤S1801)。
用于进行灰尘去除处理的设备获得在图6的步骤S65中所创建的灰尘校正数据(步骤S1802)。
从在步骤S1802中获得的灰尘校正数据中获得坐标序列Di(i=1,2,...,n)、半径序列Ri(i=1,2,...,n)、光圈值f1和镜头光瞳位置L1(步骤S1803)。Ri表示位于图6的步骤S65中计算出的坐标Di处的灰尘的大小。在步骤S1804中,获得拍摄时的光圈值f2和镜头光瞳位置L2。在步骤S1805中,通过以下等式对Di进行转换。通过下式来定义转化后的坐标Di’和转换后的半径Ri’:
Di′(x,y)=(L2×(L1-H)×d/((L2-H)×L1))×Di(x,y)
Ri′=(Ri×f1/f2+3) ...(1)
其中,d是从图像中心至坐标Di的距离,并且H是从图像传感器14的表面至灰尘的距离。
单位为像素,并且Ri’的“+3”表示余量。
在步骤S1806中,检测由坐标Di’和半径Ri’所定义的区域中的灰尘,并且若有必要,则应用插值处理。后面将说明插值处理的细节。在步骤S1807中,判断全部的坐标是否都经过了灰尘去除处理。如果判断为已经处理了全部的坐标,则处理结束。如果判断为未处理全部的坐标,则处理返回到步骤S1806。
将说明灰尘区域插值处理的细节。图11是示出插值例程的序列的流程图。
在步骤S1901中,进行灰尘区域的判断。该灰尘区域是满足以下全部条件的区域:
(1)亮度低于阈值T2的区域,其中使用落入由在图10的步骤S1805中计算出的中心坐标Di’和半径Ri’(通过等式(1)计算出的Di’和Ri’)所限定的区域内的像素的平均亮度Yave和最大亮度Ymax来计算该阈值T2:
T2=Yave×0.6+Ymax×0.4
(2)与由中心坐标Di’和半径Ri’所限定的圆不接触的区域。
(3)在基于条件(1)而选择出的并且由低亮度像素形成的孤立区域中,由与图6的步骤S63相同的方法计算出的半径值等于或大于x1个像素并且小于x2个像素的区域。
(4)包含该圆的中心坐标Di的区域。
在第一实施例中,x1表示3个像素,并且x2表示30个像素。利用该设置,仅能够将小的孤立区域作为灰尘区域而处理。当不能够精确地获得镜头光瞳位置时,还可以放宽条件(4)。例如,当感兴趣的区域包含在X方向和Y方向上与坐标Di距离±3个像素的范围内的坐标时,将该区域确定为灰尘区域。
如果在步骤S1902中存在这种区域,则处理进入步骤S1903以进行灰尘区域插值。如果不存在这种区域,则处理结束。在步骤S1903中执行的灰尘区域插值处理采用已知的缺陷区域插值方法。已知的缺陷区域插值方法的例子是在日本特开2001-223894号公报中所公开的模式替换(pattern replacement)。在日本特开2001-223894号公报中,使用红外光指定缺陷区域。在本实施例中,将在步骤S1901中检测到的灰尘区域作为缺陷区域而处理,并且通过使用正常周围像素进行模式替换来进行插值。对于不能通过模式替换进行插值的像素,从已经经过了模式校正的图像数据中最接近要插值的像素的像素中顺序选择p个正常像素,并且使用它们的平均色对目标像素进行插值。
接着,将说明MP4。MP4是近来的数字照相机、数字摄像机等中用于记录运动图像数据的运动图像文件格式。
MP4文件格式(参见ISO/IEC 14496-14;“Informationtechnology-Coding of audio-visual objects-Part 14:MP4 fileformat”;ISO/IEC;2003-11-24)从通用文件格式“ISO基本媒体文件格式”(参见ISO/IEC 14496-12;“Informationtechnology-Coding of audio-visual objects-Part 12:ISO basemedia file format”;ISO/IEC;2004-01-23)扩展而来。MP4文件格式目的在于记录由ISO/IEC JTC1/SC29/WG11(InternationalOrganization for Standardization/International EngineeringConsortium,国际标准化组织/国际电工委员会)标准化的MPEG数据等运动图像/音频内容数据的文件。第一实施例不仅可应用于MP4,还可应用于其它类似的文件格式。例如,ISO已经建立了标准“运动JPEG 2000文件格式”(ISO/IEC 15444-3)和“AVC文件格式”(ISO/IEC 14496-15)作为具有与MP4相同的基本结构的文件格式标准。
图12是用于说明MP4文件格式的数据结构的概念图。
MP4文件1001包含表示视频和音频数据的物理位置、时间位置和特性信息的元数据(头信息)1002和表示编码后的视频和音频数据的实体的媒体数据1003。在MP4格式中,将全体内容的呈现称为“动画(movie)”,并且将形成内容的媒体流的呈现称为“轨道(track)”。元数据1002通常包含用于逻辑地处理全体运动图像数据的视频轨道1004和用于逻辑地处理全体音频数据的音频轨道1005。视频轨道1004和音频轨道1005具有几乎相同的结构内容。更具体地,各个轨道记录了实际媒体数据的各种类型的元数据信息。内容根据媒体数据的特性而略有不同。
视频轨道1004中所包含的数据例如包括用于对编码数据进行解码的所谓的解码器的结构信息以及与运动图像的矩形大小有关的信息。另外,该数据包括表示实际记录媒体数据的文件中的位置的偏移量1006和表示媒体数据的各个帧数据(还称为图片)的大小的样本大小1007。视频轨道1004还记录表示各个帧数据的解码时间的时间戳1008。
媒体数据1003将运动图像数据和音频数据的实体记录在数据结构“组块(chunk)”中,该数据结构“组块”连续记录一个或多个表示编码数据的基本单位的“样本”。根据元数据1002的轨道,组块包括包含运动图像的媒体数据的视频组块1009和包含音频数据的媒体数据的音频组块1010。
在图12所示的结构中,交替记录(交插)视频组块1009和音频组块1010,但记录位置和顺序不限于图12所示的记录位置和顺序。图12所示的记录位置和顺序仅是一般记录格式的示例。然而,由于要几乎同时重放的运动图像数据和音频数据布置在接近的位置处,因此该交插布置能够提高对文件中所记录的数据的易访问性。因而,该交插布置非常流行。
组块包含各媒体数据的一个或多个样本。例如,如图12所示,视频组块1009顺序记录视频样本(帧)1011。通常,各视频样本(帧)1011与视频数据的一个帧数据(图片)相对应。各个轨道和各个组块如下相互关联。
例如,对于运动图像数据,视频轨道1004中所包含的信息包括与媒体数据1003中所包含的各个视频组块1009有关的信息。偏移量1006由表示视频组块1009在相应文件中的相对位置的信息的表组成。通过查找该表的各个条目,不管视频组块被记录在何处,都可以指定实际视频组块的位置。样本大小1007在表中描述了各个样本即多个组块中所包含的视频帧的大小。视频轨道1004还描述了与各组块中所包含的样本的数量有关的信息。根据该信息,可以精确地获得各视频组块1009中所包含的样本。时间戳1008将各个样本的解码时间作为样本之间的差异而记录在表中。通过查找该表,可以通过计算累积时间来获得各样本的所谓的时间戳。轨道和组块之间的关系定义成即使在音频轨道1005和音频组块1010之间也同样成立。在MP4文件格式和ISO基本媒体文件格式中,元数据1002和媒体数据1003可以连同时间戳等的附加信息一起从任意位置以所需单位来提供编码数据。为了说明方便,并未描述全部的标准化记录信息。可以从ISO/IEC 14496的相应部分获取该标准的定义内容的细节。
在MP4文件格式中,在数据结构“存储箱(BOX)”中描述了文件中所记录的数据。将各存储箱的数据记录在文件中。存储箱由以下字段形成:
大小:包括大小字段本身的整个存储箱的大小。
类型:表示存储箱的类型的4字节的类型识别符。通常,类型识别符包括4个字母数字字符。
其它字段是依赖于存储箱的选项,因此将省略对其的说明。
根据数据的类型将文件中所记录的数据保持在不同类型的存储箱中。例如,将媒体数据1003记录为媒体数据存储箱(类型字段=‘mdat’:当在以下说明中使用表示存储箱类型的识别符时,其表示这种类型的存储箱)。将元数据1002记录为存储全体内容的元数据信息的动画存储箱‘moov’。同样,针对各轨道将与上述组块和样本有关的信息作为具有固有识别符的存储箱而记录在moov中。
MP4文件格式不仅将全部元数据记录在moov中,而且允许按时间序列将元数据分割成多个区域并记录这些区域。该格式被称为“片断动画”。
图13示出片断动画格式的文件结构。片断动画格式允许以任意时间对内容的媒体数据和元数据进行分割。按时间序列从文件的开头起记录“片断”。例如,在图13中,moov 1101表示第一片断的元数据,并且保持与mdat 1102中所包含的数据有关的信息。位于mdat 1102之后的moof 1003表示第二片断的元数据,并且保持关于mdat 1104的信息。以这种方式来记录片断。当采用片断动画格式时,需要将表示存在片断的动画扩展存储箱(‘mvex’)1105添加至moov 1101。mvex 1105中所包含的信息是例如包括全部片断的全体内容的持续时间(时间长度)。在MP4文件格式的文件中,将与媒体数据相关联的各种属性作为元数据区域与该媒体数据分离保持。因而,不管如何物理地存储媒体数据,都能够容易地访问期望的样本数据。
在以下说明中,如图13所示,第一实施例中用于记录运动图像数据和音频数据的运动图像文件格式是MP4片断动画格式。将说明在运动图像记录时将上述灰尘校正数据与视频样本(帧)1101相关联的方法。
根据第一实施例的方法还可应用于采用与在MP4中定义的文件格式和结构类似的文件格式和结构的标准,如标准“运动JPEG 2000文件格式”(ISO/IEC 15444-3)和“AVC文件格式”(ISO/IEC 14496-15)以及用作在包括第三代蜂窝式电话的无线终端上使用的前提下受到制约的运动图像文件的3GPP(3rdGeneration Partnership Project,第三代合作伙伴项目)文件格式(参见3GPP TS 26.244″Technical Specification Group Servicesand System Aspects Transparent end-to-end packet switchedstreaming service(PSS);3GPP file format(3GP)(Release 6)″3rdGeneration Partnership Project;2003-02-28)。
图14是示出用于将灰尘校正数据与帧1011相关联并记录运动图像的处理的流程图。系统控制电路50通过执行非易失性存储器56中所存储的运动图像记录处理程序而进行该处理。假定非易失性存储器56存储灰尘校正数据。还假定存储器30已经将光圈值(F值)和镜头光瞳位置作为在开始运动图像拍摄时所安装的镜头的镜头信息而存储。在开始运动图像记录时,将镜头信息复制至存储器52。系统控制电路50通过与镜头单元300通信而获得该镜头信息。
为了拍摄运动图像,用户需要使用菜单按钮124或模式拨盘60将拍摄模式从静止图像拍摄模式改变至运动图像拍摄模式。当设置了运动图像拍摄模式时,系统控制电路50使反射镜130上翻以将其从摄像光路撤出。系统控制电路50打开快门12以将图像传感器14暴露至被摄体光。将通过曝光所获得的图像数据以预定速率连续写入用作帧缓冲器的存储器30。LCD监视器417用作电子取景器(EVF)以顺序显示所写入的图像数据。在运动图像拍摄模式下,操作单元70检测用户是否已按下了运动图像记录开始按钮(例如,在运动图像拍摄模式下用户是否已按下了设置按钮117)。如果是,则运动图像拍摄开始以将图像数据以MP4文件格式顺序记录在记录介质200上。
返回参考图14,当在运动图像拍摄模式下按下运动图像记录开始按钮时运动图像拍摄开始时,首先生成新的文件。创建用作第一片断的元数据的存储箱的moov和用作媒体数据的存储箱的mdat(步骤S1201)。然后,创建灰尘位置校正数据(步骤S1202)。图15示出所创建的灰尘位置校正数据的数据格式的示例。
如图15所示,灰尘位置校正数据存储作为在运动图像拍摄时所使用的镜头的镜头信息的光圈值和镜头光瞳位置信息以及图5所示的灰尘校正数据。存储器52存储所创建的灰尘位置校正数据。
在步骤S1203中,读取存储器52中所存储的灰尘位置校正数据,并象图17A的灰尘位置校正数据1502那样将其写入当前片断的元数据的moov中。在这种情况下,系统控制电路50用作信息记录单元和片断信息存储单元。注意,后面将说明图17A和17B中的数据结构。
在运动图像拍摄、图像处理和压缩处理(步骤S1204)之后,将运动图像数据写入当前片断的mdat中(步骤S1205)。在这种情况下,系统控制电路50用作片断记录单元。
然后,判断用户是否已请求了结束运动图像记录,即,用户是否已按下了运动图像记录停止按钮(例如,在运动图像记录期间用户是否已按下了设置按钮117)(步骤S1206)。如果用户已经请求了结束运动图像记录,则处理结束(步骤S1210)。如果用户未请求结束,则检查镜头信息是否已更新(步骤S1207)。在用户操作镜头以放大/缩小被摄体图像时镜头光瞳位置变化时或者在用户利用电子拨盘411等的操作构件改变光圈值时,更新镜头信息。变焦控制单元344通过连接器322和122向系统控制电路50通知光瞳位置的变化。此外,向系统控制电路50通知作为包括电子拨盘411的多个开关的信号的光圈值的变化。在这种情况下,变焦控制单元344和操作单元70用作镜头信息更新通知单元。
在接收到该通知时,系统控制电路50用作镜头信息获得单元。系统控制电路50将所通知的当前镜头信息存储在存储器30中,并在存储器52中所存储的镜头信息上覆盖所通知的当前镜头信息。当测光控制单元46检测到被摄体的亮度的急剧变化时,向系统控制电路50通知该变化。然后,系统控制电路50使光圈控制单元340驱动并控制光圈叶片。系统控制电路50获得所通知的镜头信息。当镜头光瞳位置在镜头的自动调焦(AF)驱动、用于防止照相机抖动的防振动偏移镜头的驱动等时变化时,变焦控制单元344和调焦控制单元342向系统控制电路50通知该变化,并且系统控制电路50获得镜头信息。
如果检测到镜头信息的更新,则要存储在存储器52中的镜头信息覆盖当获得灰尘位置校正数据(图15)时所使用的光圈值和镜头光瞳位置(步骤S1208)。将用作新片断的元数据的存储箱的moof和用作媒体数据的存储箱的mdat添加至写入期间的当前片断,从而更新创建了写入位置的片断(步骤S1209)。在这种情况下,系统控制电路50用作片断创建单元和片断改变控制单元。之后,处理返回步骤S1203以象图17A的灰尘位置校正数据1503那样,将在步骤S1208中更新后的灰尘位置校正数据写入所添加的片断的元数据的moof中。
如果在步骤S1207中未检测到镜头位置的更新,则进行运动图像拍摄、图像处理和压缩处理(步骤S1204)而无需进行分割。将运动图像数据写入当前片断的mdat中(步骤S1205)。
重复这一系列处理(步骤S1203、S1204、S1205、S1206、S1207、S1208和S1209),直到用户发出结束请求为止。
尽管未详细说明,但在接收到结束请求(步骤S1210)时所创建的运动图像文件记录了各片断的moov和moof中的各种类型的元数据信息、片断格式所必需的mvex以及mdat中的媒体数据,以便与标准相兼容。
在该例子中,针对各个片断记录了灰尘位置校正数据。然而,灰尘校正数据在运动图像拍摄期间不改变。由于该原因,还可以将灰尘位置校正数据以图15的格式仅记录在第一元数据的moov中。在这种情况下,仅将在运动图像拍摄期间变化的拍摄期间的光圈值和镜头光瞳位置记录在分割之后的元数据的moof中。
图16是示出所生成的运动图像文件的分割的示例的图。记录在时刻1301开始并在时刻1304停止。在时刻1302和1303,发生当在检测到放大/缩小等镜头信息的变化和光圈值的变化时的分割事件。第一片断1305存储从记录开始时刻1301至当第一分割事件发生时的时刻1302的包括镜头信息的灰尘位置校正数据和运动图像数据。
当第一分割事件发生时(时刻1302),生成第二片断1306作为新的片断。第二片断1306存储从第一分割事件发生时刻1302至第二分割事件发生时刻1303的包括镜头信息的灰尘位置校正数据和运动图像数据。
当第二分割事件发生时(时刻1303),生成第三片断1307作为新的片断。第三片断1307存储从第二分割事件发生时刻1303至当用户请求停止记录时的时刻1304的包括镜头信息的灰尘位置校正数据和运动图像数据。
这样,创建了这样一个运动图像文件:该运动图像文件具有每当镜头信息变化时生成的第一片断1305、第二片断1306和第三片断1307等的多个片断。
代替一个运动图像文件,还可以在分割事件的定时(时刻1302和时刻1303)不创建新的片断而创建新的运动图像文件。当创建新的运动图像文件时,在步骤S1209中创建新的文件。在步骤S1203中,总是将灰尘位置校正数据添加至元数据的moov。在步骤S1210中,生成了多个运动图像文件。
图17A和17B是用于说明第一实施例中的MP4文件格式的数据结构的示意图。图17A和17B是当图16所示的两个分割事件(时刻1302和1303)发生以改变镜头信息并在运动图像文件中生成3个片断时的示意图。
参考图17A,将灰尘位置校正数据1502添加至视频轨道1004以将灰尘校正数据与运动图像的各帧相关联。MP4文件格式允许通过使用类型为‘uuid’的扩展存储箱或使用用户数据存储箱(‘udta’)来记录系统固有的数据,
利用该机制,如图17A所示,将uuid 1501设置在各片断的moov或moof的视频轨道中以将灰尘位置校正数据作为固有数据而写入。与直到更新了镜头信息为止的各帧相关联地存储该灰尘位置校正数据。
MP4文件格式还不仅允许将‘uuid’记录在moov和moof的视频轨道中,而且允许象18A中的‘uuid’2001那样,与媒体数据和元数据并行地记录‘uuid’。还可以如图18A和18B所示,记录灰尘位置校正数据。
如图19B所示,还可以将‘uuid’2101设置在运动图像文件的末尾。在这种情况下,按时间序列描述与第一、第二和第三片断相对应的灰尘位置校正数据2102、2103和2104。
还可以象图20A中的灰尘位置校正数据文件2201那样,将灰尘位置校正数据作为单独的文件而存储。在这种情况下,如图20A和20B所示,为了将MP4文件1001与灰尘位置校正数据文件2201相关联,它们需要具有扩展名不同的相同文件名。可选地,MP4文件1001需要将灰尘位置校正数据文件的名称作为固有数据udta而描述。不用说,udta还可以记录灰尘位置校正数据。
将说明用于对包含灰尘位置校正数据的运动图像文件进行灰尘去除处理的序列。将说明在单独准备的图像处理设备中将图10中的灰尘去除处理应用于运动图像的情况。将仅说明当对具有图17A和17B中的文件格式的运动图像文件进行图10中的去除处理时的不同之处。
图21是示出图像处理设备的示意系统结构的框图。CPU1601控制整个系统,并且执行主存储装置1602中所存储的程序。主存储装置1602主要是存储器。主存储装置1602从次存储装置1603加载程序并存储该程序。次存储装置1603例如是硬盘。通常,主存储装置在容量上小于次存储装置。次存储装置存储不能完全存储在主存储装置中的程序、数据等。次存储装置还存储需要长时间存储的数据。在第一实施例中,次存储装置1603存储程序。当执行程序时,将该程序加载至主存储装置1602并且由CPU 1601执行该程序。
输入装置1604包括用于控制系统的鼠标和键盘以及输入图像数据所必需的卡读取器、扫描器和胶片扫描器。输出装置1605是例如监视器或打印机。该设备还可以采用其它各种结构,但这不是本发明的主旨并且将省略对其的说明。
图像处理设备包含能够并行执行多个程序的操作系统。用户可以使用GUI(Graphical User Interface,图形用户界面)以操作在该设备上运行的程序。
图22是示出图像处理设备中的图像编辑程序的GUI的图。该窗口具有关闭按钮1700和标题栏1701。用户通过按下关闭按钮结束该程序。用户通过将要校正的运动图像文件拖放至图像显示区域1702来指定要校正的运动图像文件。当确定了要校正的图像时,标题栏1701显示文件名。当用户指定了要校正的运动图像文件时,图像显示区域1702将各片断的第一帧2301作为缩略图并排显示。用户点击并选择所显示的片断的第一帧。然后,图像显示区域1702将片断中的包括第一帧的全部帧作为缩略图并排显示。用户在作为缩略图而显示的全部帧中点击并指定要经过灰尘去除处理的帧。显示要校正的帧以适合图像显示区域1702。当用户按下执行按钮1703时,执行(后面要说明的)灰尘去除处理。图像显示区域1702显示处理后的图像。当用户按下步骤执行按钮1704时,执行(后面要说明的)灰尘去除处理的步骤。在处理全部的灰尘区域结束时,图像显示区域1702显示处理后的图像。当用户按下保存按钮1705时,将目标帧替换为处理后的帧以保存由此得到的运动图像文件。
用于指定要通过灰尘去除处理校正的帧的方法不限于此。例如,当用户指定了要校正的运动图像文件时,还可以将全部帧象第一帧2301那样,首先作为缩略图进行显示以提示用户选择要校正的帧。用户还可以在将片断显示为缩略图时指定片断。在这种情况下,自动逐一地提取所指定的片断中的全部帧。所提取出的帧作为要校正的帧顺序经过灰尘去除处理。可选地,用户可以指定运动图像文件。同样在这种情况下,自动逐一地提取全部的帧。所提取出的帧作为要校正的帧顺序经过灰尘去除处理。
如上所述,用户指定要通过灰尘去除处理校正的帧。这与图10中的步骤S1801相对应。然后,获得添加至包含要校正的指定帧在内的片断的灰尘位置校正数据1502。这与步骤S1802相对应。从所获得的灰尘位置校正数据1502中提取灰尘校正数据以进行步骤S1803中的处理。在步骤S1804中,从灰尘位置校正数据获得拍摄时的光圈值和镜头光瞳位置。基于该信息执行步骤S1805。在步骤S1806中,重复进行校正处理直到完成了灰尘去除为止(步骤S1807)。
已经说明了使用单独准备的图像处理设备的灰尘去除处理,但还可以在数字照相机体内进行该灰尘去除处理。当在数字照相机体内进行灰尘去除处理时,系统控制电路50通过执行非易失性存储器56中所存储的灰尘去除处理程序来执行与图10的流程图所示的处理相同的处理。例如,当用户利用十字选择器开关116指定开始灰尘去除处理时,系统控制电路50将存储器30中所存储的静止图像数据读出至图像处理电路20。图像处理电路20进行图10所示的处理,并且执行灰尘像素插值处理。最后,记录介质200将插值处理结果作为新的运动图像文件而记录。
如上所述,在光圈值或镜头光瞳位置等的镜头信息变化时的定时,对运动图像文件进行分割。将包括拍摄期间的镜头信息和灰尘位置信息的灰尘位置校正数据添加至各片断。该结构使得不必注意灰尘位置校正数据和运动图像文件中的各帧之间的对应关系。灰尘位置校正数据是由灰尘位置、大小和转换数据(光圈值和镜头光瞳位置信息)所形成的紧致型数据,并且并未过度增加moov和moof等的媒体数据的大小。仅对包含由灰尘位置校正数据所指定的像素的区域进行插值处理,因此可以极大降低检测错误的概率。
第二实施例
在第一实施例中,每当在运动图像拍摄期间进行镜头操作时更新了镜头信息时,对运动图像文件进行分割。第二实施例将说明根据镜头信息的变化量对运动图像文件进行分割的方法。
图23是示出用于根据镜头信息的变化量对运动图像文件进行分割的控制的流程图。与图14中的步骤编号相同的步骤编号表示与图14中的操作相同的操作,并且将主要说明与图14的不同之处。
当运动图像拍摄开始时,创建新的文件(步骤S1201),并且创建灰尘位置校正数据(步骤S2301)。此时,存储器52将当前镜头信息中的镜头光瞳位置存储为P。
该文件存储所创建的灰尘位置校正数据(步骤S1203)。在步骤S1204中,进行运动图像拍摄、图像处理和压缩处理以将运动图像存储在该文件中(步骤S1205)。
在步骤S1206中,检查用户是否已请求结束运动图像记录。如果用户未请求结束,则检查镜头信息是否已更新(步骤S1207)。
如果镜头信息已更新,则将更新后的镜头信息中的镜头光瞳位置与在步骤S2301中所存储的P进行比较以检查镜头光瞳位置的变化量是否等于或大于预定值P0,即变化量≥P0(步骤S2302)。P0是任意值,或者是当在图10的步骤S1804中使用等式(1)计算灰尘的中心坐标时中心坐标Di’在光瞳位置P与更新后的光瞳位置之间差别不大的范围。当变化量≥P0时,如果在步骤S1804中使用P进行计算则中心坐标Di’发生很大变化。在灰尘区域判断(图11中的步骤S1901)中,未满足任何条件,并且尽管灰尘实际存在但仍判断为灰尘不存在。为了防止该问题,覆盖灰尘位置校正数据中的镜头位置以将当前镜头光瞳位置设置为P(步骤S2303)。
在步骤S1209中,更新片断位置,并且处理返回步骤S1203。如果变化量<P0,则不执行分割,并且处理返回步骤S1204以进行运动图像拍摄、图像处理和压缩处理。
在上述说明中,获得镜头光瞳位置的变化量。替代地,还可以获得镜头光圈值的变化量或这两个变化量的组合。
如上所述,根据镜头信息的变化量对运动图像文件进行分割。这能够防止运动图像文件大小的增加并防止在重放时由不必要的文件分割引起的文件易访问性的下降。
第三实施例
在第三实施例中,参考图1~13所述的内容与第一实施例中的内容相同。
将说明第三实施例的操作。
运动图像拍摄例程
将说明第三实施例中在运动图像拍摄时的操作。
系统控制电路50通过执行非易失性存储器56中所存储的运动图像拍摄处理程序而进行该处理。
为了拍摄运动图像,用户需要使用模式拨盘60等将拍摄模式从静止图像拍摄模式改变为运动图像拍摄模式。
当运动图像拍摄例程开始时,系统控制电路50操作图3所示的快速复原镜130以使其上翻并且将其从摄像光路撤出。系统控制电路50打开快门12以将图像传感器14暴露至被摄体光。将通过曝光图像传感器14所获得的图像数据以预定速率顺序写入用作帧缓冲器的存储器30中。LCD监视器417用作电子取景器(EVF)以顺序显示所写入的图像数据。在运动图像拍摄模式下,检测用户是否已按下了运动图像记录开始按钮(例如,在运动图像拍摄模式下用户是否已按下了设置按钮117)。如果是,则运动图像拍摄开始以将图像数据以MP4文件格式顺序记录在记录介质200上。
当在运动图像拍摄模式下按下运动图像记录开始按钮时运动图像拍摄开始时,首先生成新的文件。创建用作第一片断的元数据的存储箱的moov和用作媒体数据的存储箱的mdat。
然后,创建灰尘位置校正数据。该灰尘位置校正数据存储作为在运动图像拍摄时所使用的镜头的镜头信息的光圈值和镜头光瞳位置信息以及图5所示的灰尘校正数据。存储器52存储所创建的灰尘位置校正数据。读取存储器52中所存储的灰尘位置校正数据并将其写入当前片断的元数据的moov中。
图24是示出当在运动图像拍摄期间驱动镜头单元300以进行变焦时的操作的流程图。
在第三实施例中,当系统控制电路50检测到在运动图像拍摄期间变焦控制单元344已开始变焦驱动时,系统控制电路50进行以下处理。
在检测到变焦驱动开始时,系统控制电路50新创建片断(步骤S1401)。对拍摄到的运动图像数据进行分割以记录片断。
然后,系统控制电路50曝光图像传感器14以进行运动图像拍摄处理。存储器30存储所生成的运动图像数据。图像处理电路20对运动图像数据的各帧顺序进行图像处理,并且存储器30记录这些帧(步骤S1402)。
系统控制电路50从变焦控制单元344接收表示镜头是否处于变焦驱动期间的信息。系统控制电路50判断镜头单元300是否处于变焦驱动(变焦操作)期间(步骤S1403)。
如果在步骤S1403中系统控制电路50判断为镜头单元300处于变焦驱动期间,则系统控制电路50获得镜头信息(步骤S1404)。该镜头信息包括光圈值和光瞳位置。
系统控制电路50判断在步骤S1404中已获得的当前帧的镜头信息是否已从前一帧的镜头信息而改变(步骤S1405)。
如果在步骤S1405中系统控制电路50判断为镜头信息已改变,则系统控制电路50将当前帧的镜头信息记录在当前片断的元数据的moof中(步骤S1406)。
如果在步骤S1405中系统控制电路50判断为镜头信息未改变,则系统控制电路50在未分割的情况下进行运动图像拍摄、图像处理和压缩处理,并将该运动图像数据写入当前片断的mdat中。
在变焦驱动期间,将改变后的镜头信息附加写入一个片断的元数据的moof中。在将镜头信息记录在头中的同时,还写入了与表示与相同的镜头信息相对应的帧的范围的帧的数量等有关的信息。表示与相同的镜头信息相对应的帧的范围的信息不限于帧的数量,并且还可以是其它信息,只要其能够指定镜头信息和相应的帧即可。
如果在步骤S1403中系统控制电路50判断为镜头单元300不处于变焦驱动期间,则系统控制电路50进行分割以新创建片断,并且结束变焦驱动期间的操作。
重复这一系列处理(步骤S1402~S1406),直到系统控制电路50判断为变焦驱动已结束为止。
在运动图像重放时,当在图10的灰尘去除处理中的步骤S1805中转换灰尘校正参数时,从片断的moof中读出与各帧相对应的镜头信息以进行灰尘去除。
第三实施例提供了以下效果。
由于以上述方式将灰尘校正数据附加至图像,因此这使得不必注意灰尘校正图像数据与所拍摄到的图像数据之间的对应关系。灰尘校正数据是由位置、大小和转换数据(光圈值和镜头光瞳位置信息)形成的紧致型数据,并且没有过度增加拍摄到的图像数据的大小。仅对包含由灰尘校正数据所指定的像素的区域进行插值处理,因此能够极大降低检测错误的概率。
在镜头的变焦驱动期间,不执行分割,并且将多个镜头信息记录在一个片断中。由于没有不必要地执行分割,因而减少了数据量。
由于未进行不必要的分割,因此运动文件重放处理的负担减轻。
第四实施例
在第三实施例中,当在镜头的变焦驱动期间记录运动图像的各帧时,获得了镜头信息。如果镜头信息变化,则记录该镜头信息。
相反,在第四实施例中,仅在开始和结束镜头的变焦驱动时记录镜头信息。
图25是示出第四实施例中在变焦驱动期间的运动图像记录处理的流程图。
在第四实施例中,当系统控制电路50检测到在运动图像拍摄期间变焦控制单元344已开始变焦驱动时,系统控制电路50进行以下处理。
在检测到变焦驱动已开始时,系统控制电路50新创建片断(步骤S1501)。
然后,系统控制电路50获得镜头信息。将所获得的镜头信息作为在开始变焦驱动时的镜头信息记录在当前片断的元数据的moof中(步骤S1502)。镜头信息包括光圈值和光瞳位置。
系统控制电路50曝光图像传感器14以进行运动图像拍摄处理。存储器30存储所拍摄到的运动图像。图像处理电路20对所拍摄到的运动图像的各帧顺序进行图像处理,并且存储器30记录这些帧(步骤S1503)。
系统控制电路50从变焦控制单元344接收表示镜头是否处于变焦驱动期间的信息。系统控制电路50判断镜头是否处于变焦驱动期间(步骤S1504)。重复步骤S1503和S1504中的处理,直到系统控制电路50判断为镜头不处于变焦驱动期间为止。
如果在步骤S1504中系统控制电路50判断为镜头不处于变焦驱动期间,即变焦驱动已结束,则系统控制电路50获得镜头信息(步骤S1505)。将所获得的镜头信息作为在结束变焦驱动时的镜头信息记录在当前片断的元数据的moof中。镜头信息包括光圈值和光瞳位置。
系统控制电路50进行分割以新创建片断,并且结束变焦驱动期间的序列(步骤S1506)。
当在图10的灰尘去除处理中的步骤S1805中转换灰尘校正参数时,从片断的moof中读出在开始和结束变焦驱动时的多个镜头信息。对于在变焦驱动期间的中间帧,基于多个镜头信息之间的差异对镜头信息进行插值,从而进行灰尘去除。
第四实施例可以实现与第三实施例的效果几乎相同的效果。
此外,由于仅在开始和结束变焦驱动时记录镜头信息,因此第四实施例可以减少数据量。
第五实施例
将说明第五实施例。在第五实施例中,在镜头的变焦驱动期间以预定的帧间隔将镜头信息连同运动图像一起记录。
图26是示出第五实施例中在变焦驱动期间的运动图像记录处理的流程图。
在第五实施例中,当系统控制电路50检测到在运动图像拍摄期间变焦控制单元344已开始变焦驱动时,系统控制电路50进行以下处理。
在检测到变焦驱动已开始时,系统控制电路50新创建片断(步骤S1601)。
然后,系统控制电路50获得镜头信息,并将该镜头信息记录在当前片断的元数据的moof中(步骤S1602)。镜头信息包括光圈值和光瞳位置。
系统控制电路50开始对帧间隔进行计数。更具体地,系统控制电路50将“1”代入计数值(步骤S1603)。
系统控制电路50曝光图像传感器14以进行运动图像拍摄处理。存储器30存储所拍摄到的运动图像。图像处理电路20对所拍摄到的运动图像的各帧顺序进行图像处理,并且存储器30记录这些帧(步骤S1604)。
在拍摄运动图像的一帧时,系统控制电路50使用于对帧间隔进行计数的计数值增加1(步骤S1605)。
系统控制电路50从变焦控制单元344接收表示镜头是否处于变焦驱动期间的信息。系统控制电路50判断镜头是否处于变焦驱动期间(步骤S1606)。
重复这一系列处理(步骤S1602~S1607),直到系统控制电路50判断为镜头不处于变焦驱动期间为止。
在步骤S1607中,系统控制电路50判断计数值是否已达到预定的帧计数(图26中为10帧)。重复这一系列处理(步骤S1604~S1607),直到计数值达到预定的帧计数为止。如果计数值达到了预定的帧计数,则系统控制电路50在步骤S1602中记录镜头信息,在步骤S1603中再次开始计数并且进行一系列的处理(步骤S1604~S1607)。
如果在步骤S1606中系统控制电路50判断为镜头不处于变焦驱动期间,即变焦驱动已结束,则在步骤S1608中系统控制电路50进行分割以新创建片断,并且结束变焦驱动期间的序列。
当在图10的灰尘去除处理中的步骤S1805中转换灰尘校正参数时,从片断的moov中读出预定间隔的帧的多个镜头信息。对于未记录有镜头信息的中间帧,基于多个镜头信息的前后镜头信息之间的差异对镜头信息进行插值,从而进行灰尘去除。
如上所述,第五实施例可以实现与第三实施例的效果几乎相同的效果。另外,由于以预定的帧间隔记录镜头信息,因此第五实施例能够减少数据量。
其它实施例
还通过以下方法实现实施例的目的。向系统或设备提供存储有用于实现上述实施例的功能的软件程序代码的存储介质(或记录介质)。该系统或设备的计算机(或CPU或MPU)读出并执行存储介质中所存储的程序代码。在这种情况下,从存储介质读出的程序代码实现了上述实施例的功能。存储程序代码的存储介质构成了本发明。通过由计算机执行读出的程序代码实现上述实施例的功能。本发明还包括以下情况:运行在计算机上的操作系统(OS)等基于程序代码的指令执行部分或全部实际处理,从而实现上述实施例的功能。
本发明还包括以下情况。更具体地,将从存储介质读出的程序代码写入插入至计算机的功能扩展卡的存储器或连接至计算机的功能扩展单元的存储器中。功能扩展卡或功能扩展单元的CPU基于程序代码的指令执行部分或全部实际处理,从而实现了上述实施例的功能。
当将本发明应用于存储介质时,该存储介质存储与上述过程相对应的程序代码。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
Claims (6)
1.一种摄像设备,包括:
摄像单元,其具有用于对通过摄像镜头形成的被摄体图像进行光电转换的图像传感器;
异物检测单元,用于从由所述摄像单元获得的异物检测图像信号中所包括的异物的图像中检测异物信息,所述异物信息是至少与所述摄像单元的摄像帧中的所述异物的位置和大小有关的信息;
镜头信息获得单元,用于获得所述摄像镜头的镜头信息,所述镜头信息是至少与所述摄像镜头的光圈值和光瞳位置有关的信息;
记录单元,用于在拍摄运动图像时,记录基于从所述摄像单元连续输出的图像信号而生成的运动图像数据,并且以与所述异物信息和所述镜头信息相关联的方式记录所述运动图像数据;以及
变焦操作检测单元,用于检测变焦操作的开始和变焦操作的结束,
其中,当所述变焦操作检测单元检测到开始变焦操作时,所述记录单元创建新的片断,以及
在从所述变焦操作检测单元检测到开始变焦操作的时刻起直到所述变焦操作检测单元检测到结束变焦操作的时刻为止的时间段内,在所述镜头信息已改变的情况下,所述镜头信息获得单元更新所述镜头信息,并且所述记录单元将更新后的镜头信息记录在所述新的片断中。
2.根据权利要求1所述的摄像设备,其特征在于,在从所述变焦操作检测单元检测到开始变焦操作的时刻起直到所述变焦操作检测单元检测到结束变焦操作的时刻为止的时间段内,所述镜头信息获得单元获得多个更新后的镜头信息,以及
所述记录单元将所述多个更新后的镜头信息记录在所述新的片断中。
3.根据权利要求1所述的摄像设备,其特征在于,当所述变焦操作检测单元检测到开始变焦操作或者结束变焦操作时,所述镜头信息获得单元更新所述镜头信息。
4.根据权利要求1所述的摄像设备,其特征在于,当所述变焦操作检测单元检测到结束变焦操作时,所述记录单元创建新的片断。
5.根据权利要求2所述的摄像设备,其特征在于,所述记录单元以预定帧间隔记录所述更新后的镜头信息。
6.一种摄像设备的控制方法,所述摄像设备具有包括用于对通过摄像镜头形成的被摄体图像进行光电转换的图像传感器的摄像单元,所述控制方法包括以下步骤:
异物检测步骤,用于从由所述摄像单元获得的异物检测图像信号中所包括的异物的图像中检测异物信息,所述异物信息是至少与所述摄像单元的摄像帧中的所述异物的位置和大小有关的信息;
镜头信息获得步骤,用于获得所述摄像镜头的镜头信息,所述镜头信息是至少与所述摄像镜头的光圈值和光瞳位置有关的信息;
记录步骤,用于在拍摄运动图像时,记录基于从所述摄像单元连续输出的图像信号而生成的运动图像数据,并且以与所述异物信息和所述镜头信息相关联的方式记录所述运动图像数据;以及
变焦操作检测步骤,用于检测变焦操作的开始和变焦操作的结束,
其中,当在所述变焦操作检测步骤中检测到开始变焦操作时,在所述记录步骤中创建新的片断,以及
在从所述变焦操作检测步骤中检测到开始变焦操作的时刻起直到所述变焦操作检测步骤中检测到结束变焦操作的时刻为止的时间段内,在所述镜头信息已改变的情况下,在所述镜头信息获得步骤中更新所述镜头信息,并且在所述记录步骤中将更新后的镜头信息记录在所述新的片断中。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008-148319 | 2008-06-05 | ||
JP2008148319 | 2008-06-05 | ||
JP2008148319A JP5014262B2 (ja) | 2008-06-05 | 2008-06-05 | 撮像装置及びその制御方法及びプログラム |
JP2008174954 | 2008-07-03 | ||
JP2008174954A JP5241348B2 (ja) | 2008-07-03 | 2008-07-03 | 撮像装置及びその制御方法及びプログラム |
JP2008-174954 | 2008-07-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101600046A CN101600046A (zh) | 2009-12-09 |
CN101600046B true CN101600046B (zh) | 2013-07-17 |
Family
ID=41421271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200910146963 Expired - Fee Related CN101600046B (zh) | 2008-06-05 | 2009-06-05 | 摄像设备及其控制方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5014262B2 (zh) |
CN (1) | CN101600046B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8939374B2 (en) * | 2010-12-30 | 2015-01-27 | Hand Held Products, Inc. | Terminal having illumination and exposure control |
JP2014150362A (ja) * | 2013-01-31 | 2014-08-21 | Canon Inc | 撮像装置 |
US10638093B2 (en) | 2013-09-26 | 2020-04-28 | Rosemount Inc. | Wireless industrial process field device with imaging |
US11076113B2 (en) | 2013-09-26 | 2021-07-27 | Rosemount Inc. | Industrial process diagnostics using infrared thermal sensing |
US10823592B2 (en) | 2013-09-26 | 2020-11-03 | Rosemount Inc. | Process device with process variable measurement using image capture device |
US10914635B2 (en) | 2014-09-29 | 2021-02-09 | Rosemount Inc. | Wireless industrial process monitor |
CN104333705B (zh) * | 2014-11-28 | 2017-07-07 | 广东欧珀移动通信有限公司 | 一种图像增强方法及装置 |
CN109788274B (zh) * | 2018-12-19 | 2020-10-16 | 努比亚技术有限公司 | 相机镜片污点检测方法、终端及计算机可读存储介质 |
CN109884727B (zh) | 2019-03-15 | 2022-03-04 | Oppo广东移动通信有限公司 | 异物检测方法、异物检测装置和电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101001318A (zh) * | 2006-01-12 | 2007-07-18 | 佳能株式会社 | 图像拍摄设备及其控制方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4090254B2 (ja) * | 2002-03-12 | 2008-05-28 | 富士フイルム株式会社 | 情報記録装置 |
JP4466015B2 (ja) * | 2002-12-27 | 2010-05-26 | 株式会社ニコン | 画像処理装置および画像処理プログラム |
JP2005328279A (ja) * | 2004-05-13 | 2005-11-24 | Canon Inc | 記録装置 |
JP4590355B2 (ja) * | 2006-01-12 | 2010-12-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法及びプログラム |
-
2008
- 2008-06-05 JP JP2008148319A patent/JP5014262B2/ja not_active Expired - Fee Related
-
2009
- 2009-06-05 CN CN 200910146963 patent/CN101600046B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101001318A (zh) * | 2006-01-12 | 2007-07-18 | 佳能株式会社 | 图像拍摄设备及其控制方法 |
Non-Patent Citations (3)
Title |
---|
JP特开2005-260440A 2005.09.22 |
JP特开2005-328279A 2005.11.24 |
JP特开2006-340108A 2006.12.14 |
Also Published As
Publication number | Publication date |
---|---|
JP2009296360A (ja) | 2009-12-17 |
CN101600046A (zh) | 2009-12-09 |
JP5014262B2 (ja) | 2012-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101600046B (zh) | 摄像设备及其控制方法 | |
CN101686331B (zh) | 摄像装置及其控制方法 | |
CN101356800B (zh) | 内容拍摄装置 | |
JP5022370B2 (ja) | コンテンツ撮影装置 | |
CN101118366B (zh) | 摄像设备及其控制方法 | |
CN101382640B (zh) | 摄像设备、镜头单元和脸检测方法 | |
CN101388959B (zh) | 摄像设备及其控制方法 | |
US20100194963A1 (en) | Display control apparatus, image capturing apparatus, display control method, and program | |
US20110007135A1 (en) | Image processing device, image processing method, and program | |
CN101945212B (zh) | 图像捕获设备、图像处理方法 | |
US20090268038A1 (en) | Image capturing apparatus, print system and contents server | |
US9013608B2 (en) | Image sensing apparatus comprising foreign substance detection control method thereof, and program | |
CN101263706A (zh) | 摄像装置、记录方法 | |
CN104754274A (zh) | 图像再现装置及其控制方法 | |
US20080043135A1 (en) | Photographing apparatus and in-focus position searching method | |
CN101631195A (zh) | 摄像装置及其控制方法 | |
US20100074554A1 (en) | Image processing apparatus, control method therefor, and program | |
JP2010136191A (ja) | 撮像装置、記録装置、および、記録方法 | |
CN103248815A (zh) | 摄像装置、摄像方法 | |
KR20120085474A (ko) | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체 | |
CN103339925A (zh) | 摄像装置、图像处理装置以及摄像方法 | |
CN101026720A (zh) | 用于记录和再现多媒体数据的方法和设备 | |
JP5241348B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP5247346B2 (ja) | 撮像装置及びその制御方法及びプログラム及び画像処理装置及び画像処理方法 | |
JP2009033277A (ja) | ビデオカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130717 Termination date: 20190605 |