CN101388965B - 数据处理装置和数据处理方法 - Google Patents
数据处理装置和数据处理方法 Download PDFInfo
- Publication number
- CN101388965B CN101388965B CN2008101496776A CN200810149677A CN101388965B CN 101388965 B CN101388965 B CN 101388965B CN 2008101496776 A CN2008101496776 A CN 2008101496776A CN 200810149677 A CN200810149677 A CN 200810149677A CN 101388965 B CN101388965 B CN 101388965B
- Authority
- CN
- China
- Prior art keywords
- image capture
- capture mode
- image
- making body
- hunted down
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Abstract
本发明提供了一种数据处理装置和数据处理方法。该数据处理装置,包括:图像捕获模式存储装置,存储各自与特征值相关联的图像捕获模式,所述特征值与被拍体相关且作为用于根据所述被拍体选择图像捕获模式候选者的选择条件;特征值提取装置,提取在通过转换来自所述被拍体的入射光而捕获的被捕获数据中所包括的特征值;图像捕获模式候选者选择装置,基于从所述特征值提取装置中提取的特征值,从被存储在所述图像捕获模式存储装置中的所述图像捕获模式中选择图像捕获模式候选者;以及显示控制装置,在显示装置上显示所述图像捕获模式候选者选择装置所选择的图像捕获模式候选者。
Description
技术领域
本发明涉及数据处理装置,尤其涉及可以设置多个图像捕获模式的数据处理装置和数据处理方法。
背景技术
近年来,诸如数码相机之类的作为捕获诸如人之类的被拍体的图像并将该图像记录为图像数据的数据处理装置的一种图像捕获装置得到了广泛的使用。在这种图像捕获装置中,诸如快门速度、光圈、闪光(strobefiring)、宏设置和ISO感光度之类的各种图像捕获条件都由用户设置,从而可以记录适合于被拍体的漂亮的被捕获图像。然而,这些图像捕获条件的设置对于普通用户来说通常很困难。
因此,提出了这样一种图像捕获装置,其中,相对频繁使用的图像捕获条件被预先登记为图像捕获模式,并且用户从这些被登记的图像捕获模式中进行选择,从而使得可以设置适合于被拍体的图像捕获条件。根据该图像捕获装置,当用户选择了与用户要拍摄的被拍体的图像相匹配的图像捕获模式时,与该被选择的图像捕获模式相对应的图像捕获条件就被设置了。从而,可以容易地记录适合于用户喜好的被捕获图像。
此外,还提出了一种图像捕获装置,该装置使得可以选择与各个图像捕获场景相对应的大量可细微调节的图像捕获模式,以允许设置适合于用户喜好的合适的图像捕获条件。如果可以按照上述方式选择大量的图像捕获模式,则可以实现适合于用户喜好的设置。然而,从大量的图像捕获模式中选择所需要的图像捕获模式的操作可能会变得麻烦。此外,比较没有经验的用户可能会发现难以从大量的图像捕获模式中选出所需要的图像捕获模式。
因此,提出了一种利用作为图像识别技术的典型示例的面部检测技术来设置图像捕获模式的装置。例如,提出了一种相机,该相机识别在被拍体中是否包括面部,并且还检测被拍体的状态以基于这些信息片段来设置图像捕获模式(例如,参见日本未审查专利申请公布No.2003-344891(图1))。根据该现有技术,图像捕获模式被自动设置,所以用户不必为要设置哪个图像捕获模式而烦心。然而,例如在被拍体中所包括的面部转向侧面的情况下,该面部可能无法被正确地检测到。因而,用户所需要的图像捕获模式(例如,人像模式)可能无法被正确地设置。
如上所述,图像识别过程并不总是那么完美。取决于诸如图像的亮度、聚焦、尺寸和运动之类的条件,可能会防碍正确的图像识别。因此,有必要辅助对适合于用户喜好的合适的图像捕获模式的选择。因此,已经提出了大量辅助对适合于用户喜好的合适的图像捕获模式的选择的装置。
例如,提出了一种相机装置,其中与图像捕获模式相对应的样本图像被显示,并且通过从这些样本图像中进行选择来设置图像捕获模式(例如参见日本未审查专利申请公布No.2002-10133(图1))。此外,例如,提出了一种数码相机,其中被存储在服务器中的微缩图像经由网络被获取,并且在查看这些微缩图像的同时设置所需要的图像捕获条件(例如参见日本未审查专利申请公布No.2003-319327(图1))。
发明内容
根据上述相关技术,用户可以在查看预先准备的样本图像或微缩图像的同时设置图像捕获模式。然而,如果样本图像或微缩图像没有反映出用户喜好,则用户可能就难以作出合适的选择。此外,取决于被拍体,可能存在多组合适的图像捕获条件。在这种情况下,由于用户有各种喜好,所以很难方便地设置适合于用户喜好的合适的图像捕获条件。
因而,希望能够容易地设置适合于用户喜好的合适的图像捕获条件。
本发明的一个实施例涉及一种数据处理装置和用于该数据处理装置的数据处理方法。该数据处理装置包括:图像捕获模式存储装置,用于存储图像捕获模式,这些图像捕捉模式中的每个与特征值相关联的,所述特征值与被拍体相关且作为用于根据所述被拍体选择图像捕获模式候选者的选择条件;特征值提取装置,用于提取通过转换来自所述被拍体的入射光而捕获的被捕获数据中所包括的特征值;图像捕获模式候选者选择装置,用于基于从所述特征值提取装置中提取的特征值,从被存储在所述图像捕获模式存储装置中的所述图像捕获模式中选择图像捕获模式候选者;以及显示控制装置,用于在显示装置上显示所述图像捕获模式候选者选择装置所选择的图像捕获模式候选者。因此,捕获数据中所包括的特征值被提取出来,基于该被提取的特征值,图像捕获模式候选者从被存储在图像捕获模式存储装置中的多个图像捕获模式中被选择出来,并且所选择的图像捕获模式候选者被显示。
在上述实施例中,显示装置可以将指示符显示在显示装置上,这些指示符指示图像捕获模式候选者选择装置所选择的图像捕获模式候选者,并且每个指示符包括与每个所选择的图像捕获模式候选者相关的文字、符号、数字和图形中的至少一个。因此,各个包括与每个所选择的图像捕获模式候选者相关的文字、符号、数字和图形中的至少一个的指示符被显示作为指示图像捕获模式候选者的指示符。
在上述实施例中,数据处理装置还可以包括操作接受装置,用于接受用于从被显示在显示装置上的图像捕获模式候选者中选择所需要的图像捕获模式的选择操作;以及图像捕获模式设置装置,用于设置选择操作所选择的图像捕获模式。因此,当用于从被显示的图像捕获模式候选者中选择了所需要的图像捕获模式时,所选择的图像捕获模式被设置。
在上述实施例中,数据处理装置还包括缩小后图像生成装置,用于在用于选择所需要的图像捕获模式的选择操作被操作接受装置接受时通过缩小与选择操作被接受时的被捕获数据相对应的被捕获图像来生成缩小后图像,并且显示控制装置可以将所述缩小后图像与指示所述选择操作被接受时所设置的图像捕获模式的指示符一起显示在对其进行了选择操作的图像捕获模式候选者先前被显示的区域内。因此,当用于选择所需要的图像捕获模式的选择操作被接受时,被捕获图像在该选择操作被接受时被缩小以生成缩小后图像,并且该缩小后图像与指示在所述选择操作被接受时所设置的图像捕获模式的指示符被显示在对其进行了选择操作的图像捕获模式候选者先前被显示的区域内。
在上述实施例中,操作接受装置可以接受用于从被显示在显示装置上的图像捕获模式候选者或指示符中选择所需要的图像捕获模式的选择操作。因此,用于从被显示的图像捕获模式候选者或指示符中选择所需要的图像捕获模式的选择操作被接受。
在上述实施例中,数据处理装置还可以包括被拍体变化判定装置,用于基于从特征值提取装置中提取的特征值来判定被捕获图像中所包括的被拍体中所发生的特定变化,并且如果判定被捕获图像中所包括的被拍体中发生了特定变化,则显示控制装置可以擦除被显示的缩小后图像。因此,基于所提取的特征值判定被捕获图像中所包括的被拍体中发生的特定变化,并且如果判定该被拍体中发生了特定变化,则擦除被显示的缩小后图像。
在上述实施例中,如果判定在被捕获图像中所包括的被拍体中发生了特定变化,则显示控制装置可以在擦除被显示的缩小后图像之前显示声明被显示的缩小后图像要被擦除的消息。因此,如果判定在被拍体中发生了特定变化,则缩小后图像在显示了声明被显示的缩小后图像要被擦除之后被擦除。
在上述实施例中,图像捕获模式候选者选择装置可以基于所提取的特征值、通过判定被拍体是否明确地与存储在图像捕获模式存储装置中的图像捕获模式中的特定图像捕获模式相对应以及被拍体是否不明确对应于该特定图像捕获模式,来从图像捕获模式存储装置中所存储的图像捕获模式中选择图像捕获模式候选者。因此,基于所提取的特征值、通过判定被拍体是否明确对应于特定图像捕获模式以及被拍体是否不明确对应于该特定图像捕获模式,选择图像捕获模式候选者。
在上述实施例中,图像捕获模式存储装置可以存储各个与作为选择条件的关于预定目标对象的信息相关联的图像捕获模式存储,数据处理装置还可以包括用于检测被捕获数据中所包括的预定目标对象的目标对象检测装置,并且图像捕获模式候选者选择装置可以基于从特征值提取装置提取的特征值和目标对象检测装置所检测的目标对象,从存储在图像捕获模式存储装置中的图像捕获模式中选择图像捕获模式候选者。因此,被捕获数据中所包括的预定目标对象被检测到,并且图像捕获模式候选者基于所提取的特征值和所检测到的预定对象被选择。
在上述实施例中,目标对象检测装置可以检测到作为被捕获数据中所包括的预定目标对象的人的面部,并且图像捕获模式候选者选择装置可以基于与被捕获数据相对应的被捕获图像和被检测到的面部之间的相对关系,来从存储在图像捕获模式存储装置中的图像捕获模式中选择图像捕获模式候选者。因此,被捕获数据中所包括的面部被检测到,并且图像捕获模式候选者基于被捕获图像和被检测到的面部之间的相对关系而被选择。
此外,本发明的实施例涉及数据处理装置和用于该数据处理装置的数据处理方法。该数据处理装置包括:图像捕获模式存储装置,用于存储各个与特征值相关联的图像捕获模式,所述特征值与被拍体相关且作为用于根据被拍体选择图像捕获模式候选者的选择条件;目标对象检测装置,用于检测通过转换来自被拍体的入射光而捕获的被捕获数据中所包括的目标对象;图像捕获模式候选者选择装置,用于基于从目标对象检测装置检测的目标对象,来从存储在图像捕获模式存储装置中的图像捕获模式中选择图像捕获模式候选者;以及显示控制装置,用于在显示装置上显示图像捕获模式候选者选择装置所选择的图像捕获模式候选者。因此,被捕获数据中所包括的预定目标对象被检测到,图像捕获模式候选者从被存储在图像捕获模式存储装置中的多个图像捕获模式候选者中被选择出来,并且被选择的图像捕获模式候选者被显示。
本发明有利地使得可以容易地设置适合于用户喜好的图像捕获条件。
附图说明
图1是示出了图像捕获装置的功能配置的示例的框图;
图2A到2B是各自示出图像捕获装置的外观的视图;
图3是示出了图像捕获装置的功能配置的示例的框图;
图4是示出了与被存储在图像捕获模式存储部件中的图像捕获模式相关联的选择条件的示例的示图;
图5是示意性地示出了选择适合于被捕获图像中的被拍体的图像捕获模式作为图像捕获模式候选者的选择方法的示图;
图6是示意性地示出了选择适合于被捕获图像中的被拍体的图像捕获模式作为图像捕获模式候选者的选择方法的示图;
图7A和7B是各自示出了被捕获图像和图像捕获模式设置按钮的显示的示例的视图;
图8A和8B是各自示出了被捕获图像和图像捕获模式设置按钮的显示的示例的视图;
图9A和9B是各自示出了被捕获图像和图像捕获模式设置按钮的显示的示例的视图;
图10A和10B是各自示出了被捕获图像和图像捕获模式设置按钮的显示的示例的视图;
图11是示出了图像捕获装置所执行的图像捕获模式候选者显示处理的过程的流程图;
图12是示出了图像捕获装置所执行的图像捕获模式候选者选择过程的流程图;
图13是示出了图像捕获装置所执行的特定图像捕获模式判定过程的流程图;
图14是示出了图像捕获装置所执行的被拍体变化判定处理的过程的流程图;以及
图15A到15C是各自示出了通过修改图像捕获装置100的一部分所得到的图像捕获装置500的外观的视图。
具体实施方式
现在将参考附图详细描述本发明的实施例。
图1是示出了作为根据本发明实施例的数据处理装置的图像捕获装置100的功能配置的示例的框图。图像捕获装置100包括系统总线101、透镜102、光圈机构103、图像传感器104、模拟信号处理部件105、A/D转换部件106、透镜驱动电机107、光圈驱动电机108、电机驱动器109、垂直驱动器110、定时发生器(下文中被称为“TG”)111、陀螺传感器112、闪光部件113、数字信号处理部件(下文中被称为“DSP”)115、记录设备117、图像识别部件118、控制部件120、操作部件200和显示部件300。图像捕获装置100例如可以用能够设置多个图像捕获模式的数码相机来实现。
在图像捕获装置100中,控制部件120被连接到系统总线101,并且电机驱动器109、垂直驱动器110、TG111、陀螺传感器112、闪光部件113、操作部件200、DSP115和图像识别部件118也被连接到系统总线101。
透镜102接受来自被拍体的入射光,并将该入射光提供给光圈机构103。透镜102由透镜驱动电机107驱动,以相对于被拍体前后移动,从而实现聚焦或缩放。光圈机构103调节经过透镜102的入射光的量,并将所得到的入射光提供给图像传感器104。光圈机构103由光圈驱动电机108驱动,并且其光圈的开度被调节。
图像传感器104是接收从光圈机构103提供的入射光并将该入射光转换为电信号的光电转换元件。图像传感器104由垂直驱动器110驱动。应当注意,图像传感器104在每个像素的前侧具有例如使红(R)光、绿(G)光和蓝(B)光中的一种光通过的滤色器,并接收每种颜色的像素信号。CCD(电荷耦合器件)等被用作图像传感器。转换后的电信号被提供给模拟信号处理部件105。模拟信号处理部件105由TG111驱动,并对来自图像传感器104的电信号应用诸如噪声去除之类的模拟处理。经模拟信号处理部件105处理后的信号被提供给A/D转换部件106。A/D转换部件106由TG111驱动,并将来自模拟信号处理部件105的信号转换为数字信号。经A/D转换部件106转换后的信号被提供给DSP115。
透镜驱动电机107根据来自电机驱动器109的指示驱动透镜102。光圈驱动电机108根据来自电机驱动器109的指示驱动光圈机构103。电机驱动器109根据来自控制部件120的指示驱动透镜驱动电机107和光圈驱动电机108。垂直驱动器110根据来自控制部件120的指示驱动图像传感器104。TG111基于从控制部件120发送的基准时钟生成用于模拟信号处理部件105和A/D转换部件106中的每一个的驱动控制信号。
陀螺传感器112检测图像捕获时与被捕获图像在水平或垂直方向上的位置变化(所谓的相机抖动等)相对应的图像传感器104的变化,并将所检测到的变化量发送给控制部件120。闪光部件113根据来自控制部件120的指示,向被拍体发射光束以增加来自被拍体的光(反射光)的量。这使得即使在周围是低照度的条件下也能够进行图像捕获。
操作部件200是用于向控制部件120发送关于各种用户操作(各种快门和相机设置、图像选择等)的信息的开关、按钮等。操作部件200还可以被实现为触摸面板。应注意,后面将参考图2和图15A到15C来详细描述构成操作部件200的开关、按钮等。
DSP115根据来自控制部件120的指示,执行针对来自A/D转换部件106的数字信号的诸如黑电平校正、白平衡调节、γ校正等的图像处理。作为DSP115的输出,图像数据被发送到显示部件300、记录设备117、图像识别部件118等。
显示部件300是显示从DSP115发送来的图像数据的装置。在图像捕获之前,显示部件300显示经DSP115进行图像处理后的图像数据作为预览画面,并且在图像捕获之后,显示部件300显示记录设备117上所记录的图像。
记录设备117保存经DSP115进行图像处理后的图像数据。
图像识别部件118根据来自控制部件120的指示,从经DSP115进行图像处理后的图像数据中提取特征值。基于特征值,图像识别部件118判定该图像数据中的被拍体是否对应于特定的图像捕获场景,并将判定结果输出到控制部件120。此外,根据来自控制部件120的指示,图像识别部件118检测经DSP115进行图像处理后的图像数据中所包括的面部,并将检测结果输出到控制部件120。就是说,图像识别部件118识别或检测被捕获图像本身中所包括的被拍体、被拍体的状况和其周围的状况。
例如,有各种判定拍摄场景或被拍体的方法。例如,作为判定背光场景或夜景场景的方法,有一种创建被捕获图像的整个画面的亮度的直方图(histogram)并执行所创建的直方图的分布的模式匹配以判定背光场景或夜景场景的方法。此外,通过使用色调信息和光源估计信息以及基于关于被捕获图像的整个画面的亮度的直方图所作出的判定,可以确定更多的场景。例如,如果基于被捕获图像中所存在的色调和色调的位置判定出被捕获图像中的被拍体是在户外,则可以识别诸如海、雪山和水下之类的场景。
此外,利用面部检测技术来检测被拍体中所包括的人面部的面部检测方法是广泛公知的。作为这样的面部检测方法,例如有基于其中记录了面部亮度分布信息的模板与实际图像之间的匹配来检测面部的面部检测方法(例如参见日本未审查专利申请公布No.2004-133637)。利用这些面部检测方法,可以判定被拍体中是否包括人的面部。此外,被拍体中所包括的面部的大小和位置可以被检测到。
除了这些检测之外,可以根据被捕获图像的运动向量信息来估计被拍体的运动状况。此外,利用焦距信息和自动聚焦位置信息,可以知道被拍体与图像捕获装置100的距离。因而,可以进一步提高场景判定的准确度。就是说,在被捕获图像中的被拍体被判定为对应于夜景的情况下,如果被拍体中包括运动被拍体,则存在主要被拍体不是夜景而是运动被拍体的可能。因而,存在不能保证关于被拍体是夜景的判定的有效性的时候。此外,在焦点位置较远的情况下,与仅仅基于亮度直方图来判定夜景相比,是夜景的可能性可能会增加。
由于可以利用上述场景判定方法来判定每个拍摄场景,所以可以从存储在图像捕获模式存储部件250中的多个图像捕获模式中缩减针对当前被捕获图像中的被拍体的最佳图像捕获模式。
控制部件120包括处理器(CPU等)121、存储器(ROM)122、存储器(RAM)123和存储器(EEPROM)124。ROM122存储用于执行处理器121中的各种软件处理的程序,并且RAM123是工作存储器。EEPROM124是其中即使在图像捕获装置100的电源切断时也可以保存数据的存储器,并且记录各种设置条件等。此外,存储器(ROM)122存储与针对多个图像捕获模式的选择条件相关的各个信息片段。应注意,后面将参考图4详细描述存储在存储器(ROM)122中的图像捕获模式。此外,要被显示在显示部件200上的被捕获图像被保存在存储器(RAM)123中。
处理器121用作执行对整个图像捕获装置100等的操作控制的中心部件。处理器121有机地控制图像捕获装置100的各个组件的驱动,以进行整体的操作控制。在图像捕获时,基于从操作部件200输入的用户操作、来自陀螺传感器112的相机抖动信息、来自DSP115的图像信息和来自图像识别部件118的判定结果,处理器121将控制信号发送给电机驱动器109、闪光部件113、垂直驱动器110、TG111等以驱动透镜102、光圈机构103等,从而自动控制曝光、白平衡、聚焦和闪光。
当重放所记录的图像时,处理器121根据从操作部件200输入的用户操作向DSP115发送控制信号,从而将记录设备117上所记录的图像显示在显示部件300上。
此外,基于图像识别部件118的判定结果,处理器121从存储在存储器(ROM)122中的多个图像捕获模式中选择适合于当前被捕获的图像中的被拍体的图像捕获模式作为图像捕获模式候选者,并使得指示图像捕获模式候选者的指示符与被捕获图像一起被显示在显示部件300上。如果指示图像捕获模式候选者的指示符中的一个被用户选择,则在该选择时的被捕获图像被缩小,并且缩小后的图像被显示在该被选择的指示符的位置处。此外,与该被选择的指示符相对应的图像捕获模式被设置。
图2A到2C是各自示出了根据本发明实施例的图像捕获装置100的外观的视图。图2A是示出了图像捕获装置100的外观的前视图,图2B是示出了图像捕获装置100的外观的后视图,且图2C是示出了图像捕获装置100的外观的平面视图。
图像捕获装置100包括闪光部件113、外部透镜131、释放开关201、模式转盘202、缩放按钮203、上/下/左/右操作按钮204、输入按钮205、操作按钮206、电源开关207和液晶显示部件301。闪光部件113与图1中所示的相同,因而用相同的标号来表示,并且这里省略了对其的详细描述。释放开关201、模式转盘202、缩放按钮203、上/下/左/右操作按钮204、输入按钮205、操作按钮206和电源开关207对应于图1中所示的操作部件200。此外,液晶显示部件301对应于图1中所示的显示部件300。
外部透镜131是用于接受来自被拍体的入射光的透镜中被暴露给外界的透镜。所述入射光经由其它透镜和光圈机构103被提供给图像传感器104。
释放开关201是用于起动对静止或运动图像的捕获的释放开关。用户对释放开关201的完全按下或半按下操作被输出到控制部件120。当释放开关201被半按下或完全按下时,控制部件120执行最佳自动聚焦控制和对拍摄的自动控制。当释放开关201被完全按下时,这些自动聚焦控制和自动控制被执行,并且在该完全按下操作时所捕获的图像数据被记录到记录设备117上。
模式转盘202是在用户手动设置各种图像捕获模式时所使用的转盘。
缩放按钮203是用于接受用户所进行的缩放操作的按钮,并且所接受的缩放操作的信息被输出到控制部件120。具体而言,缩放按钮203包括图2B中所示的W(宽)按钮和T(远距摄影)按钮。当W按钮被按下时,缩放透镜(未示出)移向宽端侧(宽角度侧),并且当T按钮被按下时,缩放透镜移向远距摄影端侧(远距摄影侧)。
上/下/左/右操作按钮204是用于选择被显示在液晶显示部件301上的每个设置项等的操作按钮。取决于被按下的按钮,当前所选择的项向上、向下、向左或向右移动。当利用图7A到10B中所示的图像捕获模式设置按钮(401到404等)设置图像捕获模式时,可以通过按下上/下/左/右操作按钮204的上/下按钮来选择所需要的图像捕获模式设置按钮。在这种情况下,当前所选择的图像捕获模式设置按钮的显示变得不同于其它图像捕获模式设置按钮的显示。图像捕获模式设置按钮是在设置图像捕获模式时所使用的指示符。后面将参考图7A到10B来描述图像捕获模式设置按钮。
输入按钮205是用于验证在液晶显示部件301上所显示的每个设置项等的按钮。当利用图7A到10B中所示的图像捕获模式设置按钮来设置图像捕获模式时,可以通过在所需要的图像捕获模式设置按钮被选择的状态下按下输入按钮205来设置所需要的图像捕获模式。
操作按钮206是在进行各种操作时所使用的操作按钮。
液晶显示部件301是在其上显示从DSP115输出的被捕获图像等的显示部件。液晶显示部件301也可以被实现为触摸面板。
电源开关207是被用于开/关图像捕获装置100的电源的开关。
当用户利用图像捕获装置100进行拍照时,通过转换经外部透镜131所接受的入射光而得到的被捕获数据被显示在液晶显示部件301上。从而,用户可以容易地执行从展现在图像捕获装置100之前的空间中切出所需要的画面作为取景框(frame out)的操作(取景),或者清楚所拍摄的景物。
图3是示出了根据本发明实施例的图像捕获装置100的功能配置的示例的框图。图像捕获装置100包括操作部件200、图像捕获部件210、面部检测部件220、特征值提取部件230、被拍体变化判定部件240、图像捕获模式存储部件250、图像捕获模式候选者选择部件260、缩小后图像生成部件270、显示控制部件280、图像捕获模式设置部件290和显示部件230。
操作部件200对应于图1中所示的操作部件200,并将关于所接受的操作输入的信息输出到缩小后图像生成部件270、显示控制部件280和图像捕获模式设置部件290。
图像捕获部件210将来自被拍体的入射光转换为被捕获数据,并将转换后的被捕获数据输出到面部检测部件220、特征值提取部件230、缩小后图像生成部件270和显示控制部件280。此外,图像捕获部件210根据图像捕获模式设置部件290所设置的图像捕获模式,将来自被拍体的入射光转换成被捕获数据。
面部检测部件220检测与从面部捕获部件210输出的被捕获数据相对应的被捕获图像中所包括的人的面部。当人的面部被检测到时,面部检测部件220将包括所检测到的面部的大小和位置的面部检测信息输出到图像捕获模式候选者选择部件260。
特征值提取部件230从输出自图像捕获部件210的被捕获数据中提取各种特征值,并将所提取的特征值输出到被拍体变化判定部件240和图像捕获模式候选者选择部件260。
被拍体变化判定部件240基于从特征值提取部件230输出的特征值来判定被捕获图像中的被拍体中是否发生了特定变化,并将判定结果输出到图像捕获模式候选者选择部件260。
图像捕获模式存储部件250存储针对与图像捕获部件210所执行的图像捕获相关的图像捕获模式选择条件的选择条件,并将所存储的图像捕获模式选择条件提供给图像捕获模式候选者选择部件260。后面将参考图4详细描述图像捕获模式选择条件。
图像捕获模式候选者选择部件260基于从面部检测部件220输出的面部检测信息和从特征值提取部件230输出的特征值,从存储在图像捕获模式存储部件250中的多个图像捕获模式中选择适合于当前被捕获的图像中的被拍体的一个或多个图像捕获模式候选者。图像捕获模式候选者选择部件260将所选择的图像捕获模式候选者输出到显示控制部件280和图像捕获模式设置部件290。此外,基于从面部检测部件220输出的面部检测信息和从特征值提取部件230输出的特征值,图像捕获模式候选者选择部件260确定所选择的图像捕获模式候选者被显示在显示部件300上的显示顺序。所确定的显示顺序与所选择的图像捕获模式候选者一起被输出到显示控制部件280和图像捕获模式设置部件290。应注意,后面将参考图5和图6A和6B详细描述图像捕获模式候选者的选择和它们的显示顺序的确定。
当操作部件200接受了用于从被显示在显示部件300上的一个或多个图像捕获模式候选者中选择图像捕获模式候选者的选择操作时,缩小后图像生成部件270缩小与在选择操作被接受时从图像捕获部件210输出的被捕获数据相对应的被捕获图像,并将缩小后的被捕获图像输出到显示控制部件280。
根据从操作部件200输入的操作,显示控制部件280将与从图像捕获部件210输出的被捕获数据相对应的被捕获图像显示在显示部件300上,并将作为指示从图像捕获模式候选者选择部件260输出的图像捕获模式候选者的指示符的图像捕获模式设置按钮显示在显示部件300上以被叠加在被捕获图像上。此外,当用于从被显示在显示部件300上的一个或多个图像捕获模式候选者中选择图像捕获模式候选者的选择操作被操作部件200接受时,显示控制部件280将指示图像捕获模式的文字和从缩小后图像生成部件270输出的缩小后图像显示在对其进行了所述选择操作的图像捕获模式设置按钮的显示区域中。后面将参考图7A到10B来详细描述这种被捕获图像和图像捕获模式设置按钮的显示示例。
当用于从被显示在显示部件300上的一个或多个图像捕获模式候选者中选择图像捕获模式候选者的选择操作被操作部件200接受时,图像捕获模式设置部件290从输出自图像捕获模式候选者选择部件260的图像捕获模式候选者中选择针对其进行了选择操作的图像捕获模式,并将所选择的图像捕获模式设置为新的图像捕获模式。
显示部件300对应于图1中所示的显示部件300,并基于显示控制部件280的控制来显示被捕获的图像和图像捕获模式设置按钮。后面将参考图7A到10B来详细描述这种被捕获图像和图像捕获模式设置按钮的显示的示例。
图4是示出了与存储在图3中所示的图像捕获模式存储部件250中的图像捕获模式相关联的选择条件的示例的示图。
在图像捕获模式存储部件250中,多个图像捕获模式251被存储,同时,与被用于选择图像捕获模式候选者的各个特征值和面部相关信息相关联。在本发明的该实施例中,将针对例如图像捕获模式是风景模式、高速快门模式、夜景模式、焰火模式、夜景人像模式、高灵敏度模式、雪景模式、海滩模式、被拍体跟踪模式、水下模式和人像模式的情况进行描述。风景模式是其中焦点常常是远距离场景的适合于拍摄诸如天空、大海或山脉之类的风景的图像捕获模式。高速快门模式是适合于清楚地拍摄被拍体的运动的图像捕获模式。夜景模式是用于非常美地拍摄夜景而不破坏气氛的图像捕获模式。焰火模式是适合于非常美地拍摄诸如冲天火箭之类的焰火的图像捕获模式。夜景人像模式是适合于非常美地拍摄夜景和人的图像捕获模式。高灵敏度模式是用于自动设置适合于每个单独图像捕获场景的灵敏度,从而可以在不闪光的情况下在自然气氛下进行拍摄的图像捕获模式。雪景模式是用于在拍摄雪景等时防止白颜色变灰暗的图像捕获模式。海滩模式是用于更生动地再现水的蓝色等的图像捕获模式。被拍体跟踪模式是用于在防止模糊的同时捕获快速移动的被拍体的图像捕获模式,并且适合于拍摄动态图像。水下模式是适合于非常美地拍摄水的颜色的图像捕获模式。人像模式是用于拍摄作为被拍体的人物,从而可以使前景中的人与模糊的背景隔离开的图像捕获模式。
在图像捕获模式存储部件250中,亮度直方图252、色调信息253和运动值257被存储为特征值,并且面部254、面部大小255和面部位置256被存储为面部相关信息。应当注意,这些只是示例性的,并且包括诸如焦距信息或自动聚焦位置信息之类的图像信息、面部相关信息等的特征值可以被存储为要被用于判定的选择条件。
在执行被捕获图像的整个画面的亮度直方图的模式匹配时,亮度直方图252被使用。
色调信息253是包括存在于被捕获图像的画面上的色调和该色调所处的位置的信息。例如在识别大海、雪山、水下等时,色调信息253被使用。
当判定从被捕获图像中检测到的面部是否是主要被拍体时,面部254被使用。应当注意,在图4中,如果判定被检测到的面部是主要被拍体,则文字“主要”被显示在所选择的图像捕获模式的区域中。
在判定从被捕获图像中检测到的面部的大小是否落在指定范围内时,面部大小255被使用。应注意,在图4中,如果判定面部的大小落在指定范围内,则文字“在指定范围内”被显示在所选择的图像捕获模式的区域中。
在判定从被捕获图像中检测到的面部的位置是否落在指定范围内时,面部位置256被使用。应注意,在图4中,如果判定面部的位置落在指定范围内,则文字“在指定范围内”被显示在所选择的图像捕获模式的区域中。
运动257是指示被捕获图像中的运动量的运动向量,并且被用于估计被拍体的运动状况。应当注意,在图4中,如果判定被捕获图像的运动量较大,则在所选择的图像捕获模式的区域内显示文字“大”,并且如果判定被捕获图像没有运动,则在所选择的图像捕获模式的区域内显示文字“无”。例如,如果面部254、面部大小255、面部位置256和运动值257的全部选择条件都被满足,则只有人像模式被选择作为图像捕获模式候选者。
接下来,将参考附图对从存储在图像捕获模式存储部件250中的图像捕获模式中选择图像捕获模式候选者的选择方法进行详细描述。
图5是示意性地示出了从存储在图像捕获模式存储部件250中的图像捕获模式中选择适合于被捕获图像中的被拍体的图像捕获模式作为图像捕获模式候选者的选择方法的示图。
这里,将对其中基于被捕获图像中的被拍体是否是夜景场景以及在该被捕获图像中是否包括面部来选择图像捕获模式的情况进行描述。这里,例如,包括存储在图像捕获模式存储部件250中的所有图像捕获模式的图像捕获模式组被设为组A(311),包括适合于捕获夜景场景的图像捕获模式的图像捕获模式组被设为组B(312),并且包括适合于捕获非夜景场景的场景的图像捕获模式的图像捕获模式组被设为组C(313)。此外,例如,在组C(313)所包括的图像捕获模式中,包括适合于捕获面部作为主要被拍体的场景的图像捕获模式的图像捕获模式组被设为组D。此外,例如,在组D(314)所包括的图像捕获模式中,包括适合于捕获其中面部是静止的且面部的大小和位置落在指定范围内的场景的图像捕获模式的图像捕获模式组被设为组E(315),并且适合于捕获其中面部有一定运动的场景的图像捕获模式的图像捕获模式组被设为组F(316)。
首先,判定当前被捕获图像中的被拍体是否是夜景场景。如果该判定的结果是当前被捕获图像是夜景场景的图像,则从组A(311)中所包括的图像捕获模式中选择适合于捕获夜景场景的图像捕获模式。例如,如果判定当前被捕获图像是夜景场景的图像,则从组A(311)中所包括的图像捕获模式中选择组B(312)中所包括的图像捕获模式。另一方面,如果判定当前被捕获图像不是夜景场景的图像,则从组A(311)中所包括的图像捕获模式中选择组C(313)中所包括的图像捕获模式。
按照这种方式,如果可以判定被拍体是夜景场景,则可以从组A(311)中所包括的图像捕获模式中排除被认为是不相关的图像捕获模式(风景模式、高速快门模式、雪景模式、海滩模式、被拍体跟踪模式、水下模式和人像模式)。应注意,如果可以判定被拍体是夜景场景,则被拍体是黑暗场景,所以存在不希望的未检测到面部的情况。因此,由于有被拍体中包括面部的可能性,所以夜景人像模式未被排除。
另一方面,如果判定被拍体不是夜景场景,则可以从组A(311)中所包括的图像捕获模式中排除被认为是不相关的图像捕获模式(夜景模式、焰火模式、夜景人像模式和高灵敏度模式)。
然后,判定从当前被捕获图像中检测到的面部是否是主要被拍体。如果该判定的结果是判定所检测到的面部是主要被拍体,则从组C(313)中所包括的图像捕获模式中选择适合于捕获所检测到的面部为主要被拍体的场景的图像捕获模式。例如,如果判定从当前被捕获的图像中检测到的面部是主要被拍体,则从组C(313)中所包括的图像捕获模式中选择被包括在组D(314)中的图像捕获模式。另一方面,如果判定从当前被捕获的图像中检测到的面部不是主要被拍体,或者如果没有从当前被捕获图像中检测到面部,则组C(313)中所包括的图像捕获模式被按原样选择。
然后,判断被判定是主要被拍体的面部是否是静止的以及该面部的大小和位置是否落在指定的范围内。如果该判断的结果是判断出被判定是主要被拍体的面部是静止的并且该面部的大小和位置落在指定的范围内,则从组C(313)中所包括的图像捕获模式中选择适合于捕获静止的面部作为主要被拍体的场景的图像捕获模式。例如,如果判断出被判定是主要被拍体的面部是静止的并且该面部的大小和位置落在指定的范围内,则从组D(314)中所包括的图像捕获模式中选择作为组E(315)中所包括的图像捕获模式的人像模式。
另一方面,如果判断出被判定是主要被拍体的面部不是静止的,或者如果判断出该面部的大小和位置未落在指定范围内,则判断被判定是主要被拍体的面部中是否有特定运动。利用运动向量判定该特定运动。例如,如果判断出被判定是主要被拍体的面部有特定运动,则从组D(314)中所包括的图像捕获模式中选择被包括在组F(316)中的图像捕获模式。另一方面,如果判断出被判定为主要被拍体的面部不是静止的,如果判断出该面部的大小和位置没有落在指定范围内并且如果判断出在被判定是主要被拍体的面部有特定运动,则组D(314)中所包括的图像捕获模式被如其原样地选择。在如上所述的图像捕获模式候选者选择过程中,知道主要被拍体是什么是很关键的。此外,使用面部信息是非常有效的。例如,考虑面部出现在被拍体被判定为不是夜景的状况下的情况。在这种情况下,如果可以利用诸如面部的位置、大小和距离之类的信息判定该面部是主要被拍体,如组D(314)中所示,则可以排除风景模式。此外,如果面部是静止的,并且面部的大小和位置满足指定条件,如组E(315)中所示,则作为用于拍摄专用于面部的场景的最佳模式的人像模式可以被选择为图像捕获模式候选者。另一方面,如果判断出该面部是运动的,如组F(316)中所示,则最好是选择被拍体跟踪模式和高速快门模式作为图像捕获模式候选者。按这种方式,可以基于所检测到的面部和其背景中的被捕获图像之间的相对关系,选择合适的图像捕获模式。应当注意,如果向组E(315)的转变或向组F(316)的转变都没有发生,如图6A和6B中所示,则可以通过进一步进行水下场景判定或雪山场景判定来缩减图像捕获模式候选者。
虽然以上的描述是针对基于被捕获图像的场景是否是夜景场景和被捕获图像中是否包括面部来选择图像捕获模式候选者的示例来进行的,但是也可以基于其它条件(例如,利用色调信息的判定)来选择图像捕获模式候选者,或者可以利用这些方法的组合来选择图像捕获模式候选者。此外,虽然以上的描述是针对首先对被捕获图像的场景是否是夜景场景,然后再针对面部进行判定的示例进行的,但是也可以在首先针对面部进行判定之后再对被捕获图像的场景是否是夜景场景进行判定,或者可以按照预定的顺序进行这些判定的其它组合。
接下来,将参考附图详细描述特定图像捕获模式判定过程。
图6A和6B是示意性地示出了从存储在图像捕获模式存储部件250中的图像捕获模式中选择适合于被捕获图像中的被拍体的图像捕获模式作为图像捕获模式候选者的选择方法的示图。这里,将给出关于以下示例的描述,在该示例中,基于被捕获图像中的被拍体是否可以被明确判定为是特定场景以及该被拍体是否可以被明确判定为不是特定场景,选择图像捕获模式候选者。
图6A是示意性地示出了在利用水下场景作为特定场景从图5中所示的组C(313)中选择图像捕获模式候选者的情况下的选择方法的示图。例如可以基于色调信息来进行该水下场景判定。
首先,判断当前被捕获图像中的被拍体是否可以被明确判定为水下。如果明确判定该被拍体是水下,则从组C(313)中所包括的图像捕获模式中选择作为适合于捕获水下场景的图像捕获模式的水下模式(组G(317))。另一方面,在没有明确判定当前被捕获图像中的被拍体是水下的情况下,如果明确判定当前被捕获图像中的被拍体不是水下,则从组C(313)中所包括的图像捕获模式中选择除水下模式以外的图像捕获模式。例如,通过从组C(313)中所包括的图像捕获模式中排除水下模式所得到的图像捕获模式组被设置为组H(318)。
此外,如果不能明确判定当前被捕获图像中的被拍体是水下,并且如果不能明确判定当前被捕获图像中的被拍体不是水下,则组C(313)中所包括的图像捕获模式按原样被选择。
图6B是示意性地示出了在利用雪景作为特定场景从图5中所示的组D(314)中选择图像捕获模式候选者的情况下的选择方法的示图。
首先,判断当前被捕获图像中的被拍体是否可以被明确判定为雪景。如果明确判定该被拍体是雪景,则从组D(314)中所包括的图像捕获模式中选择作为适合于捕获雪景的图像捕获模式的雪景模式(组I(319))。另一方面,在没有明确判定当前被捕获图像中的被拍体是雪景的情况下,如果明确判定当前被捕获图像中的被拍体不是雪景,则从组D(314)中所包括的图像捕获模式中选择除雪景模式以外的图像捕获模式。例如,通过从组D(314)中所包括的图像捕获模式中排除雪景模式所得到的图像捕获模式组被设置为组J(320)。
此外,如果不能明确判定当前被捕获图像中的被拍体是雪景,并且如果不能明确判定当前被捕获图像中的被拍体不是雪景,则组D(314)中所包括的图像捕获模式按原样被选择。
按照这种方式,如果可以基于色调信息明确判定当前被捕获图像中的被拍体不是水下,则水下模式可以被排除。同样,如果可以明确判定被拍体不是雪景,则雪景模式可以被排除,并且如果可以明确判定被拍体不是海,则海滩模式可以被排除。同样的处理可以被应用于除了以上所提到的那些场景以外的场景。
如上所述,当判定被拍体或场景时,与结论性地断定被拍体或场景是特定场景相比,常常更容易断定被拍体或场景不是特定场景。在这种情况下,使用图6A和6B中所示的特定图像捕获模式判定过程是有效的。应注意,如果可以结论性地断定被拍体或场景是特定场景,则单个图像捕获模式候选者被确定。
接下来,将参考附图详细描述显示所选择的图像捕获模式候选者的方法。
图7A到10B是各自示出了被捕获图像和图像捕获模式设置按钮的显示示例的视图。应注意图7A和7B各自示出了在用户正在利用图像捕获装置100捕获正午时分行走在城市中的人358的图像的情况下的显示示例。此外,图8A和8B、9A和9B以及10A各自示出了在用户正在利用图像捕获装置100捕获夜间城市内的图像的情况下的显示示例。此外,图10B示出了在正在利用图像捕获装置100捕获在房间内的荧光照明下以一定速度移动的人450的图像的情况下的显示示例。
图7A示出了用户正在利用图像捕获装置100捕获正午时分在城市中行走的人358的图像,并且人358的面部359由于具有较小的大小而被判定为不是主要被拍体的情况。因而,图5中所示的组C(313)中所包括的图像捕获模式被选择为图像捕获模式候选者,并且指示组C(313)中所包括的图像捕获模式的指示符被显示为图像捕获模式设置按钮。
如图7A中所示,当从DSP115输出的被捕获图像350被显示在液晶显示部件301上时,与为被捕获图像350选择的图像捕获模式候选者相对应的图像捕获模式设置按钮351到354被显示以叠加在被捕获图像350上。应注意,当前图像捕获模式显示区域355被设在液晶显示部件301的左上部分。当前被显示的被捕获图像的图像捕获模式被显示在当前图像捕获模式显示区域355中。例如,如果当前被设置的图像捕获模式是作为图像捕获装置100的初始设置的标准模式(所谓的自动设置),则文字“自动(AUTO)”被显示在当前图像捕获模式显示区域355中。这允许用户容易地识别出当前被显示在液晶显示部件301上的被捕获图像350是在作为图像捕获模式的标准模式下所捕获的图像。应注意,当为被捕获图像350选择图像捕获模式候选者时,所选择的图像捕获模式候选者中被判定为具有最大可能性的图像捕获模式候选者可以被自动设置为当前图像捕获模式。
这里,图像捕获模式设置按钮是指示针对当前被捕获图像所选择的图像捕获模式候选者的指示符,并且包括与所选择的图像捕获模式候选者相关的文字、符号、数字和图形中的至少一个。此外,该图标可以被设置为包括图像、文字、符号、数字等的组合的图标。例如,如图7A中所示,图像捕获模式设置按钮351到354各自被显示为包括指示所选择的图像捕获模式的文字的方形区域。这里,图像捕获模式设置按钮351是用于设置高速快门模式的按钮,图像捕获模式设置按钮352是用于设置雪景模式的按钮,图像捕获模式设置按钮353是用于设置海滩模式的按钮,且图像捕获模式设置按钮354是用于设置被拍体跟踪模式的按钮。
图7B示出了用户正在利用图像捕获装置100捕获正午时分在城市中行走的人358的图像,并且人358的面部359由于具有较大的大小而被判定是主要被拍体的情况。在所图示的情况下,由于人358行走缓慢,所以未判断出面部359在运动,并且从而图5中所示的组D(314)被保持作为图像捕获模式候选者。在这种情况下,组D(314)中所包括的图像捕获模式被选择,并且指示组D(314)中所包括的图像捕获模式的指示符被显示为图像捕获模式设置按钮。
此外,如图7B中所示,当从DSP115输出的被捕获图像360被显示在液晶显示部件301上时,与为被捕获图像360选择的图像捕获模式候选者相对应的图像捕获模式设置按钮361到364被显示以叠加在被捕获图像360上。这里,图像捕获模式设置按钮361是被用于设置人像模式的按钮,图像捕获模式设置按钮362是被用于设置被拍体跟踪模式的按钮,图像捕获模式设置按钮363是被用于设置高速快门模式的按钮,并且图像捕获模式设置按钮364是被用于设置海滩模式的按钮。此外,文字“自动”被显示在当前图像捕获模式显示区域365内。
应注意,虽然图7A和7B、8A和8B、9A和9B以及10A的描述是针对其中四个图像捕获模式设置按钮被并排排列的示例进行的,但是也可以显示三个或更少,或者五个或更多个图像捕获设置按钮。如果所选择的图像捕获模式的数目大于能够被显示的图像捕获模式设置按钮的数目,则只有能够被显示的多个图像捕获模式设置按钮可以被显示,并且其它图像捕获模式设置按钮可以被滚动显示。例如,可以利用图7A中所示的滚动按钮356或357或者图7B中所示的滚动按钮366或367来进行滚动显示。此外,可以根据所选择的图像捕获模式的数目来改变图像捕获模式设置按钮301的显示区域或布局。
现在,将对显示在液晶显示部件301上的图像捕获模式设置按钮的显示顺序进行描述。
图像捕获模式设置按钮可以按照预先确定的显示顺序被显示,或者以随机确定的顺序被显示。此外,对过去所显示的图像捕获模式设置按钮所进行的选择操作的历史可以被保留,以使得图像捕获模式设置按钮以选择频率递减的顺序被显示。此外,根据被捕获图像中所包括的被拍体,图像捕获模式设置按钮可以按照从最大使用可能性开始的顺序来显示图像捕获模式设置按钮,或者与被判定为具有最大可能性的场景相对应的图像捕获模式候选者可以比其它图像捕获模式候选者优先被显示。例如,如图5中所示,如果判定被捕获图像中所包括的被拍体不是夜景,并且面部不是主要被拍体,则被捕获图像中所包括的被拍体的场景没有被明确识别,所以组C中所包括的图像捕获模式可以按照预定的显示顺序或者随机确定的顺序被显示。例如,如图7A中所示,图像捕获模式设置按钮351到354可以被显示。
此外,考虑如下情况,其中如图5中所示,虽然被拍体是面部,但是判断出上述针对面部的大小和运动的判定都不能被明确作出,并且因而组D被保持。在这种情况下,由于已经判定面部是主要被拍体,所以拍摄将很可能主要聚焦在面部。因此,人像模式作为最佳图像捕获模式的可能性变高。此外,由于人可能会突然移动,所以被拍体跟踪模式作为最佳图像捕获模式的可能性也变高。此外,如果人突然移动,则高速快门模式作为最佳图像捕获模式的可能性也变高。因此,例如,图像捕获模式设置按钮361到364可以按照如图7B中所示的方式被显示。按照这种方式,图像捕获模式设置按钮的显示顺序可以根据被捕获图像中所包括的被拍体而被改变。
当与所选择的图像捕获模式候选者相对应的图像捕获模式设置按钮被并排显示以按照这种方式提供所有或一些图像捕获模式设置按钮的列表时,适合于用户喜好的最佳图像捕获模式可以很容易地被选择。
图8A示出了在用户正在利用图像捕获装置100捕获夜间城市区域的图像的情况下的显示示例。因而,图5示出的组B(312)中所包括的图像捕获模式被选择,并且指示组B(312)中所包括的图像捕获模式的指示符被显示为图像捕获模式设置按钮401到404。
此外,如图8A中所示,当从DSP115输出的被捕获图像400被显示在液晶显示部件301上时,与为被捕获图像400选择的图像捕获模式候选者相对应的图像捕获模式设置按钮401到404被显示以叠加在被捕获图像400上。这里,图像捕获模式设置按钮401是被用于设置高灵敏度模式的按钮,图像捕获模式设置按钮402是被用于设置夜景模式的按钮,图像捕获模式设置按钮403是被用于设置夜景人像模式的按钮,并且图像捕获模式设置按钮404是被用于设置焰火模式的按钮。此外,文字“自动”被显示在当前图像捕获模式显示区域405中。
现在,将对设置与图像捕获模式设置按钮401到404相对应的图像捕获模式的情况进行描述。被显示在液晶显示部件301上的被捕获图像是以当前所设置的图像捕获模式所捕获的图像。例如,在图8A中,由于“自动”被显示在当前图像捕获模式显示区域405中,所以在标准模式下捕获的图像被显示为被捕获图像400。当设置与图像捕获模式设置按钮401到404相对应的图像捕获模式时,通过按上/下/左/右操作按钮204的上/下按钮来选择所需要的图像捕获模式设置按钮。然后,通过在选择了所需要的图像捕获模式设置按钮的状态下按下输入按钮205(通过对输入按钮205进行选择操作),可以设置所需要的图像捕获模式。
接下来,将参考附图详细描述在进行了图像捕获模式选择操作之后的显示示例。
图8B是示出了在从被显示在图8A中所示的液晶显示部件301上的图像捕获模式设置按钮401到404中确定了图像捕获模式设置按钮402时的情况下的显示示例的视图。如图8B中所示,当用户确定了用于设置夜景模式的图像捕获模式设置按钮402时,其中反映了针对夜景模式的图像捕获状况的被捕获图像被显示在液晶显示部件301上。例如,被捕获图像410是其中反映了针对夜景模式的图像捕获状况的图像。此外,指示所选择的图像捕获模式的文字“夜景”被显示在当前图像捕获模式显示区域411中。
在图像捕获模式设置按钮402被显示的区域内,指示直到就在对图像捕获模式设置按钮402的选择操作之前被设置的图像捕获模式的图像捕获模式设置按钮被显示。例如,在图8B中所示的液晶显示部件301中,用于设置标准模式的图像捕获模式设置按钮412被显示。此外,在图像捕获模式设置按钮402被显示的区域内,直到就在对图像捕获模式设置按钮402的选择操作之前被显示在液晶显示部件301上的被捕获图像400被显示为缩小后图像。例如,如图8B中所示,在图像捕获模式设置按钮412的区域内,文字“自动”与被捕获图像400的缩小后图像一起被显示。应注意,被捕获图像的缩小后图像继续被显示在图像捕获模式设置按钮的区域内,除非被拍体有一定量或更多的变化。
图9A是示出了在从被显示在图8B中所示的液晶显示部件301上的图像捕获模式设置按钮401、403、404和412中选择了图像捕获模式设置按钮403的情况下的显示示例的视图。如图9A中所示,当用户确定了用于设置夜景人像模式的图像捕获模式设置按钮403时,其中反映了针对夜景人像模式的图像捕获状况的被捕获图像被显示在液晶显示部件301上。例如,被捕获图像420是其中反映了针对夜景人像模式的图像捕获状况的图像。此外,指示所选择的图像捕获模式的文字“夜景人像”被显示在当前图像捕获模式显示区域421中。此外,在选择图像捕获模式设置按钮403时以夜景模式被显示在液晶显示部件301上的被捕获图像410被缩小,并且被捕获图像410的该缩小后图像被作为夜景模式设置按钮422显示在已显示有图像捕获模式设置按钮403的显示区域内。
图9B是示出了在从被显示在图9A中所示的液晶显示部件301上的图像捕获模式设置按钮401、404、412和422中选择了图像捕获模式设置按钮401的情况下的显示示例的视图。如图9B中所示,当用户确定了用于设置高灵敏度模式的图像捕获模式设置按钮401时,其中反映了针对高灵敏度模式的图像捕获状况的被捕获图像被显示在液晶显示部件301上。例如,被捕获图像430是其中反映了针对高灵敏度模式的图像捕获状况的图像。此外,指示所选择的图像捕获模式的文字“高灵敏度”被显示在当前图像捕获模式显示区域431中。此外,在选择图像捕获模式设置按钮401时以夜景人像模式被显示在液晶显示部件301上的被捕获图像420被缩小,并且被捕获图像420的该缩小后图像被作为图像模式设置按钮432显示在显示图像捕获模式设置按钮401的显示区域内。
按照这种方式,在已对其进行了选择操作的图像捕获模式设置按钮的显示区域内,在选择时被显示的被捕获图像的缩小后图像被顺序显示为图像捕获模式设置按钮,从而使得可以容易地检查过去的选择的历史。因而,例如,在用户在设置了夜景模式之后将图像捕获模式设置为夜景人像模式,但是用户不喜欢在夜景人像模式设置下所捕获的图像的情况下,用户可以快速地查看之前在夜景模式下所捕获的图像以及其它图像捕获状况。此外,用户可以容易地判断是否要选择另一个图像捕获模式,或者是否要通过将图像捕获模式返回到夜景模式来捕获图像。此外,在用户之前所尝试的图像捕获模式下所捕获的图像和在当前图像捕获模式下所捕获的图像可以被容易地且可视地彼此进行比较。这方便了用户对图像捕获模式的选择。由于指示当前所设置的图像捕获模式的文字被显示在液晶显示部件301的左上部分,所以可以防止用户不知道当前所设置的是哪个图像捕获模式的情形。此外,指示图像捕获模式的文字被附加到包括与之前被捕获的图像相对应的缩小后图像的每个图像捕获模式设置按钮上,以被叠加在缩小后图像上,从而使得用户可以容易地识别出图像捕获模式和缩小后图像之间的对应关系。此外,通过查看缩小后图像,用户可以容易地且可视地识别出实际进行了哪种设置改变。因而,当在尝试了几种其它设置之后将设置返回到所需要的设置时,设置可以被快速地返回到所需要的设置,而不会选择错误的设置。
图10A和10B是各自示出了在被拍体中发生了一定量或更多的变化的情况下被捕获图像和图像捕获模式设置按钮的显示示例的视图。在本发明的该实施例中,即使当基于被捕获图像中的被拍体选择了图像捕获模式候选者,并且指示这些图像捕获模式候选者的图像捕获模式设置按钮被显示在液晶显示部件301上时,选择图像捕获模式候选者的过程也继续在后台被执行。因而,存在被显示在液晶显示部件301上的图像捕获模式设置按钮的配置随着被拍体中的变化而被改变的可能。
图10A是示出了与图9A中所示的显示示例相同的显示示例的视图。图10B是示出了在正在捕获在房间内的荧光照明下以一定速度移动的人450的图像的情况下的显示示例的视图。如图10A中所示,在用户正在利用图像捕获装置100捕获夜间城市区域的图像的情况下,当图像捕获装置100计划捕获出现在房间内的荧光照明下的人450时,如图10B中所示,被拍体中发生了一定量或更多的变化。在这种情况下,指示针对当前被拍体所选择的图像捕获模式候选者的图像捕获模式设置按钮被显示在液晶显示部件301上。例如,指示图5中所示的组F(316)中所包括的高速快门模式和被拍体跟踪模式的图像捕获模式设置按钮442和443被显示。
当如在从图10A中所示的被捕获图像430转变到图10B中所示的被捕获图像440的情况下,被拍体的场景发生了很大变化时(例如,当发生了从捕获户外的夜景场景到捕获房间内的荧光照明下的场景的变化时),经常会发生以下情况:在发生该变化时被显示在各个图像捕获模式设置按钮的区域内的缩小后图像不作为用于该变化以后的图像捕获的参考。为此,在被拍体的场景发生了很大变化之后,不包括缩小后图像的图像捕获模式设置按钮被显示。例如,如图10B中所示,各自包括指示所选择的图像捕获模式候选者的图像捕获模式设置按钮442和443被显示。
如果如上所述在被拍体的场景发生了很大变化之后立即改变图像捕获模式设置按钮的显示,则存在图像捕获模式设置按钮的显示将被频繁改变的可能,这可能会导致图像捕获模式设置按钮显示的改变违背了用户的意愿的情况。因此,可以采用如下配置,其中,当被拍体的场景发生了很大变化时,图像捕获模式设置按钮的显示直到经过了预定的时间段时才被改变,并且在经过预定的时间段之后,图像捕获模式设置按钮的显示被改变。
此外,当如上所述在被拍体的场景发生了很大变化之后改变图像捕获模式设置按钮的显示时,声明当前图像捕获模式不再是最佳模式的消息可以被显示在液晶显示部件301上。或者,用于选择是否变为显示针对当前被拍体的最佳图像捕获模式设置按钮的显示选择按钮可以被显示在液晶显示部件301上,以使得只在该显示选择按钮被按下时才显示新的图像捕获模式设置按钮。
接下来,将参考附图描述根据本发明实施例的图像捕获装置100的操作。
图11是示出了图像捕获装置100所执行的图像捕获模式候选者显示过程的进程的流程图。
首先,作为标准图像捕获模式的标准模式被设置为当前图像捕获模式(步骤S901)。然后,以标准模式捕获的图像被显示在显示部件300上(步骤S902)。然后,图像捕获模式候选者选择过程被执行(步骤S920)。应注意,后面将参考图12描述该图像捕获模式候选者选择过程。
然后,与所选择的图像捕获模式候选者相对应的图像捕获模式设置按钮被显示在显示部件300上。然后,判断用户是否已针对显示在显示部件300上的图像捕获模式设置按钮进行了选择操作(步骤S904)。如果用户尚未针对显示在显示部件300上的图像捕获模式设置按钮进行选择操作(步骤S904),则以当前所设置的图像捕获模式所捕获的被捕获图像被显示在显示部件上(步骤S908)。另一方面,如果用户已针对显示在显示部件300上的图像捕获模式设置按钮进行了选择操作(步骤S904),则在进行该选择操作时按照在进行该选择操作时所设置的图像捕获模式所捕获的被捕获图像被缩小以创建缩小后图像(步骤S905)。然后,在针对其进行了选择操作的图像捕获模式设置按钮被显示的区域,作为与在该选择操作时所设置的图像捕获模式相对应的图像捕获模式设置按钮,指示该图像捕获模式的文字被显示以被叠加在所创建的缩小后图像上(步骤S906)。
然后,与针对其进行了选择操作的图像捕获模式设置按钮相对应的图像捕获模式被设置(步骤S907)。然后,以当前所设置的图像捕获模式所捕获的被捕获图像被显示在显示部件300上(步骤S908)。
然后,判断用户是否对释放开关201进行了完全按下操作(步骤S909)。如果用户已对释放开关201进行了完全按下操作(步骤S909),则以当前所设置的图像捕获模式所捕获的被捕获图像被记录到记录设备117上(步骤S910)。另一方面,如果用户没有对释放开关201进行完全按下操作(步骤S909),则判断是否判定已发生了被拍体的变化(步骤S911)。如果被拍体的变化被判定为已发生(步骤S911),则该过程返回到步骤S901,并且图像捕获模式候选者显示过程被重复(步骤S901到S909和S920)。另一方面,如果没有判定发生了被拍体的变化(步骤S911),则不需要选择新的图像捕获模式候选者,所以过程返回到步骤S904,并且图像捕获模式候选者选择过程被重复(步骤S904到S909)。应注意,后面将参考图14详细描述被拍体变化判定。
图12是示出了图像捕获装置100所执行的图像捕获模式候选者显示处理的过程中的图像捕获模式候选者选择过程(图11中所示的步骤S920的过程)。这里,将给出对以下示例的描述,在该示例中,基于夜景和所检测到的面部的存在/不存在来选择图像捕获模式候选者,并基于各种特征值从所选择的图像捕获模式候选者中进一步选择图像捕获模式候选者。
首先,从输出自图像捕获部件210的被捕获图像中提取特征值(步骤S921),并且还检测该被捕获图像中所包括的人的面部(步骤S922)。然后,基于所提取的特征值,判断从图像捕获部件210中输出的被捕获图像中所包括的被拍体是否对应于夜景场景(步骤S923)。如果被捕获图像中所包括的被拍体对应于夜景场景(步骤S923),则适合于捕获夜景场景的图像捕获模式被选择作为图像捕获模式候选者。例如,图5中所示的组B(312)中所包括的图像捕获模式被选择作为图像捕获模式候选者。
另一方面,如果被捕获图像中所包括的被拍体不对应于夜景场景(步骤S923),则适合于夜景场景以外的场景的图像捕获模式被选择作为图像捕获模式候选者(步骤S925)。例如,图5中所示的组C(313)中所包括的图像捕获模式被选择作为图像捕获模式候选者。
然后,判断从被捕获图像中检测到的面部是否是该被捕获图像中的主要被拍体(步骤S926)。如果从被捕获图像中检测到的面部是该被捕获图像中的主要被拍体(步骤S926),则适合于面部作为主要被拍体的情况的图像捕获模式被选择作为图像捕获模式候选者(步骤S927)。例如,图5中所示的组D(314)中所包括的图像捕获模式被选择作为图像捕获模式候选者。另一方面,如果从被捕获图像中检测到的面部不是该被捕获图像中的主要被拍体(步骤S926),则在步骤S925中所选择的图像捕获模式被保留(步骤S928),并且该过程进行到步骤S940。
然后,判断从捕获图像中检测到的面部是否是静止的,并且该被捕获图像中的面部的大小和位置是否落在指定范围内(步骤S929)。如果从被捕获图像中检测到的面部是静止的,并且被捕获图像中的面部的大小和位置落在指定范围内(步骤S929),则适合于捕获静止面部的图像捕获模式被选择作为图像捕获模式候选者(步骤S930)。例如,图5中所示的人像模式(组E(315))被选择作为图像捕获模式候选者。另一方面,如果未从被捕获图像中检测到面部,如果从被捕获图像中检测到的面部不是静止的,或者如果被捕获图像中的面部的大小和位置没有落在指定范围内(步骤S929),则判断从被捕获图像中检测到的面部是否发生了运动(步骤S931)。如果从被捕获图像中检测到的面部发生了运动(步骤S931),则适合于捕获运动面部的图像捕获模式被选择作为图像捕获模式候选者(步骤S932)。例如,图5中所示的高速快门模式和被拍体跟踪模式(组F(316))被选择作为图像捕获模式候选者。
另一方面,如果从被捕获图像中没有检测到面部,或者如果从被捕获图像中检测到的面部没有发生运动(步骤S931),则特定的图像捕获模式判断过程被执行(步骤S940)。应注意,后面将参考图13详细描述该特定的图像捕获模式判断过程。然后,所选择的图像捕获模式候选者被验证作为图像捕获模式候选者(步骤S933)。
图13是示出了图像捕获装置100所执行的图像捕获模式候选者选择处理的过程中的特定图像捕获模式判断过程(图12中所示的步骤S940的过程)的流程图。
首先,从存储在图像捕获模式存储部件250中的图像捕获模式中选择一个图像捕获模式作为判断目标,并且该被选择的图像捕获模式被设置为判断目标图像捕获模式A(步骤S941)。例如,从图5中所示的组A(311)中选择水下模式作为判断目标。
然后,判断被捕获图像中的被拍体是否明确对应于判断目标图像捕获模式A(步骤S942)。如果明确判定被捕获图像中的被拍体对应于判断目标图像捕获模式A(步骤S942),则判断目标图像捕获模式A被验证为图像捕获模式候选者(步骤S943),并且该过程进行到步骤S946。
另一方面,如果没有明确判定被捕获图像中的被拍体对应于判断目标图像捕获模式A(步骤S942),则判断被捕获图像中的被拍体是否不明确对应于判断目标图像捕获模式A(步骤S944)。如果明确判定被捕获图像中的被拍体不对应于判断目标图像捕获模式A(步骤S944),则从已选择的图像捕获模式候选者中删除判断目标图像捕获模式A(步骤S945),并且该过程进行到步骤S946。
另一方面,如果没有明确判定被捕获图像中的被拍体不对应于判断目标图像捕获模式A(步骤S944),则判断存储在图像捕获模式存储部件250中的所有图像捕获模式是否都已被选择作为判断目标(步骤S946)。如果所有的图像捕获模式都已被选为判断目标(步骤S946),则该特定图像捕获模式判定过程被终止。另一方面,如果不是所有的图像捕获模式都已被选择作为判断目标(步骤S946),则该过程返回到步骤S941,并且该特定图像捕获模式判定过程被重复(步骤S941到步骤S945)。应注意,虽然在上述示例中,所有被存储在图像捕获模式存储部件250中的图像捕获模式都被设置为判断目标,但是也可以只将预定的图像捕获模式设置为判断目标。
图14是示出了图像捕获装置100所执行的被拍体变化判断处理的过程的流程图。
首先,被拍体变化计时器t被清零并被初始化(步骤S951)。然后,判断被捕获图像中的被拍体是否发生了预定量或更多的变化(步骤S952)。例如,判断被捕获图像的亮度和色调的变化量是否大于或等于预定值。如果该变化量大于或等于预定值,则判断出被拍体的变化大于或等于预定值。如果被捕获图像中的被拍体没有发生大于或等于预定量的变化(步骤S952),则判断出被拍体没有发生变化(步骤S956)。
另一方面,如果被捕获图像中的被拍体发生了大于或等于预定量的变化(步骤S952),则被拍体变化计时器t被递增(步骤S953),并且判断被拍体变化计时器t是否指示出大于阈值T的值(步骤S954)。如果被拍体变化计时器t的值不大于阈值T(步骤S954),则被拍体变化计时器t被递增(步骤S953),并且预定时间段的逝去被监视(步骤S953和S954)。
如果被拍体变化计时器t变得大于阈值T(步骤S954),则判定被拍体已发生了变化(步骤S955)。
应注意,可以利用两个连续被捕获图像的亮度和色调的变化量来进行关于被捕获图像中的被拍体是否发生了大于或等于预定量的变化的判断,或者可以利用按预定间隔被捕获的两个图像的亮度和色调的变化量来进行判断。
图15A到15C是各自示出了通过修改图2A到2C中所示的图像捕获装置100的一部分而得到的图像捕获装置500的外观的视图。图15A是示出了图像捕获装置500的外观的前视图,图15B是示出了图像捕获装置500的外观的后视图,并且图15C是示出了图像捕获装置500的外观的平面图。代替被设置在图2A到2C中所示的图像捕获装置100中的缩放按钮203、上/下/左/右操作按钮204、输入按钮205、操作按钮206和液晶显示部件301,图像捕获装置500是被设有液晶显示部件302的图像捕获装置。由于除了这些组件以外的图像捕获装置500的配置与图2A到2C中所示的图像捕获装置100的配置是相同的,所以省略了对除了这些组件以外的配置的描述。
液晶显示部件302是用触摸面板来实现的液晶显示部件。被捕获图像510、图像捕获模式设置按钮511到514和当前图像捕获模式显示区域515被显示在液晶显示部件302中。此外,诸如缩放按钮等的各种设置按钮也被显示在液晶显示部件302上。为了利用图像捕获模式设置按钮511到514来设置所需要的图像捕获模式,用户按下与所需要的图像捕获模式相对应的图像捕获模式设置按钮。通过以这种方式使用触摸面板,可以选择手指等所触摸的区域。这实现了直观的操作,从而方便了对图像捕获模式设置按钮的选择操作。此外,进行选择所需要的输入操作步骤的数目可以被大大减少。应注意,上述的图像捕获模式设置按钮和当前图像捕获模式显示区域与图7A到10B中所示的那些是相同的,所以这里省略了相关描述。
应注意,在本发明的实施例中,图像捕获模式设置按钮可以始终被显示在液晶显示部件上,或者只是在用户进行了用于指挥要被显示的图像捕获模式设置按钮的操作时才可被显示。允许用户进行该指挥操作的软件开关或硬件开关都可以被提供给图像捕获装置。此外,图像捕获装置可以被设有用于在始终打开或关闭显示的功能或只是在图像捕获装置确定为必要时才打开显示的功能之间进行选择的选择装置。此外,关于根据用户喜好而被认为最好针对其改变相机设置的图像捕获模式,图像捕获装置可以按需要显示图像捕获模式候选者。
在本发明的实施例中,如果判断出被拍体发生了变化,则在图像捕获模式设置按钮中所包括的缩小后图像被擦除之后,包括文字的初始按钮被显示。然而,也可以采用这样的配置,其中,代替使用该初始按钮,总是根据被捕获图像来创建效果确认图像,该效果确认图像被显示以被包括在图像捕获模式设置按钮中,并且该效果确认图像在需要时被更新。
在本发明的实施例中,即使在释放开关201被半按下的状态下(在追踪(locking)期间),图像捕获模式候选者选择过程仍被执行。这是因为存在这样的情况,例如由于在释放开关201被半按下之后新的被拍体被聚焦,所以该被拍体被识别或被检测。然后,通过对该新的被拍体的识别或检测,新的图像捕获模式候选者可以被选择。此外,即使在当前所设置的图像捕获模式使得拍摄在追踪期间被自动起动的情况下,图像捕获模式候选者选择过程也以类似的方式被执行。这是为了留出一定的余地,使得用户在拍摄被起动之前改变图像捕获模式。应当注意,存在如下情况:当特定的图像捕获模式被选择时,拍摄在释放开关被深深地按下之前被起动。这种特定的图像捕获模式例如是适合于拍摄笑脸的图像捕获模式,从而一旦检测到笑脸就自动起动拍摄。
虽然本发明的实施例是针对面部作为充当被拍体的目标对象而被检测到的情况,但是本发明的实施例也可以应用于检测或识别另一种目标对象或场景的情况。例如,本发明的实施例可应用于检测或识别各种被拍体,例如诸如眼睛、鼻子或嘴巴之类的面部的构成部分、汽车、树木、房子、风景、动物或食物。
如上所述,根据本发明的实施例,图像捕获装置可以缩减图像捕获模式以只向用户呈现被假定为适合于要被拍摄的被拍体的图像捕获模式。从而,适合于用户喜好的最佳拍摄条件可以被快速、方便、可靠地设置,从而可以减少拍摄失败。此外,由于适合于当前被拍体的一个或多个图像捕获模式可以很容易地被重复选择,所以可以通过用户的主动使用来进一步减少拍摄失败。此外,与图像识别处理的融合使得可以减少与用户设置拍摄场景有关的烦恼,从而提供更好的快速拍摄能力。此外,对相机的高级图像识别技术的有效使用允许任何人来方便地记录最佳的被捕获图像。
应当理解,本发明的实施例仅仅是执行本发明的示例,并且与所附的权利要求中限制本发明的实质内容具有对应关系。然而,本发明并不局限于本实施例,并且在不脱落本发明的范围的情况下可以对本发明进行各种修改。
应当注意,本发明的实施例中所描述的过程均可以被理解为包括那些步骤序列的方法,或者被理解为使得计算机执行那些步骤序列的程序或者在其上存储该程序的记录介质。
本发明包含与2007年9月14日在日本专利局提交的日本专利申请JP2007-239096相关的被拍体,该申请的全部内容通过引用被合并于此。
Claims (12)
1.一种数据处理装置,包括:
图像捕获模式存储装置,用于存储各自与特征值相关联的图像捕获模式,所述特征值与被拍体有关且作为用于根据所述被拍体来选择图像捕获模式候选者的选择条件;
特征值提取装置,用于提取通过转换来自所述被拍体的入射光而捕获的被捕获数据中所包括的特征值;
图像捕获模式候选者选择装置,用于基于从所述特征值提取装置中提取的特征值,从被存储在所述图像捕获模式存储装置中的所述图像捕获模式中选择图像捕获模式候选者;
显示控制装置,用于在显示装置上显示所述图像捕获模式候选者选择装置所选择的图像捕获模式候选者;
操作接受装置,用于接受选择操作,该选择操作用于从被显示在所述显示装置上的图像捕获模式候选者中选择所需要的图像捕获模式;
图像捕获模式设置装置,用于设置所述选择操作所选择的图像捕获模式;以及
缩小后图像生成装置,用于通过在用于选择所需要的图像捕获模式的选择操作被所述操作接受装置接受时缩小在与所述选择操作被接受时的被捕获数据相对应的被捕获图像,来生成缩小后图像,
其中所述显示控制装置将所述缩小后图像与指示所述选择操作被接受时所设置的图像捕获模式的指示符一起显示在对其进行了选择操作的图像捕获模式候选者先前被显示的区域内。
2.根据权利要求1所述的数据处理装置,其中:
所述显示控制装置将指示符显示在所述显示装置上,所述指示符指示所述图像捕获模式候选者选择装置所选择的图像捕获模式候选者,并且每一个指示符包括与被选择的图像捕获模式候选者中的每一个相关的文字、符号、数字和图形中的至少一个。
3.根据权利要求1所述的数据处理装置,其中:
所述操作接受装置接受用于从被显示在所述显示装置上的图像捕获模式候选者或者所述指示符中选择所需要的图像捕获模式的选择操作。
4.根据权利要求1所述的数据处理装置,还包括:
被拍体变化判定装置,用于基于从所述特征值提取装置中提取的特征值来判定所述被捕获图像中所包括的被拍体中发生的特定变化,
其中如果判定在所述被捕获图像中所包括的被拍体中发生了特定变化,则所述显示控制装置擦除被显示的缩小后图像。
5.根据权利要求4所述的数据处理装置,其中:
如果判定在所述被捕获图像中所包括的被拍体中发生了特定变化,则所述显示控制装置在擦除所述被显示的缩小后图像之前显示声明所述被显示的缩小后图像将被擦除的消息。
6.根据权利要求1所述的数据处理装置,其中:
所述图像捕获模式候选者选择装置通过基于被提取的特征值判定所述被拍体是否明确与被存储在所述图像捕获模式存储装置中的图像捕获模式中的特定图像捕获模式相对应以及所述被拍体是否明确不与所述特定图像捕获模式相对应,来从被存储在所述图像捕获模式存储装置中的图像捕获模式中选择图像捕获模式候选者。
7.根据权利要求1所述的数据处理装置,还包括:
图像捕获装置,用于通过将来自被拍体的入射光转换为被捕获数据来执行图像捕获。
8.一种数据处理装置,包括:
图像捕获模式存储装置,用于存储各自与特征值相关联的图像捕获模式,所述特征值与被拍体有关且作为用于根据所述被拍体来选择图像捕获模式候选者的选择条件;
特征值提取装置,用于提取通过转换来自所述被拍体的入射光而捕获的被捕获数据中所包括的特征值;
图像捕获模式候选者选择装置,用于基于从所述特征值提取装置中提取的特征值,从被存储在所述图像捕获模式存储装置中的所述图像捕获模式中选择图像捕获模式候选者;以及
显示控制装置,用于在显示装置上显示所述图像捕获模式候选者选择装置所选择的图像捕获模式候选者,其中
所述图像捕获模式存储装置存储各自与作为所述选择条件的关于预定目标对象的信息相关联的图像捕获模式;
所述数据处理装置还包括用于检测所述被捕获数据中所包括的所述预定目标对象的目标对象检测装置;并且
所述图像捕获模式候选者选择装置基于从所述特征值提取装置中提取的特征值和所述目标对象检测装置所检测到的目标对象,从被存储在所述图像捕获模式存储装置中的图像捕获模式中选择图像捕获模式候选者。
9.根据权利要求8所述的数据处理装置,其中:
所述目标对象检测装置检测人的面部,作为所述被捕获数据中所包括的所述预定目标对象;并且
所述图像捕获模式候选者选择装置基于与所述被捕获数据相对应的被捕获图像与被检测的面部之间的相对关系,从被存储在所述图像捕获模式存储装置中的图像捕获模式中选择图像捕获模式候选者。
10.一种数据处理方法,包括以下步骤:
存储各自与特征值相关联的图像捕获模式,所述特征值与被拍体相关且作为用于根据所述被拍体来选择图像捕获模式候选者的选择条件;
提取通过转换来自所述被拍体的入射光而捕获的被捕获数据中所包括的特征值;
基于被提取的特征值,从被存储的图像捕获模式中选择图像捕获模式候选者;
在显示装置上显示被选择的图像捕获模式候选者;
接受选择操作,该选择操作用于从被显示在所述显示装置上的图像捕获模式候选者中选择所需要的图像捕获模式;
设置所述选择操作所选择的图像捕获模式;以及
通过在用于选择所需要的图像捕获模式的选择操作被接受时缩小在与所述选择操作被接受时的被捕获数据相对应的被捕获图像,来生成缩小后图像,
其中所述缩小后图像与指示所述选择操作被接受时所设置的图像捕获模式的指示符一起显示在对其进行了选择操作的图像捕获模式候选者先前被显示的区域内。
11.一种数据处理装置,包括
图像捕获模式存储装置,用于存储各自与特征值相关联的图像捕获模式,所述特征值与被拍体相关且作为用于根据所述被拍体来选择图像捕获模式候选者的选择条件;
目标对象检测装置,用于检测通过转换来自所述被拍体的入射光而捕获的被捕获数据中所包括的目标对象;
图像捕获模式候选者选择装置,用于基于由所述目标对象检测装置所检测的目标对象,从被存储在所述图像捕获模式存储装置中的所述图像捕获模式中选择图像捕获模式候选者;以及
显示控制装置,用于在显示装置上显示所述图像捕获模式候选者选择装置所选择的图像捕获模式候选者;
操作接受装置,用于接受选择操作,该选择操作用于从被显示在所述显示装置上的图像捕获模式候选者中选择所需要的图像捕获模式;
图像捕获模式设置装置,用于设置所述选择操作所选择的图像捕获模式;以及
缩小后图像生成装置,用于通过在用于选择所需要的图像捕获模式的选择操作被所述操作接受装置接受时缩小在与所述选择操作被接受时的被捕获数据相对应的被捕获图像,来生成缩小后图像,
其中所述显示控制装置将所述缩小后图像与指示所述选择操作被接受时所设置的图像捕获模式的指示符一起显示在对其进行了选择操作的图像捕获模式候选者先前被显示的区域内。
12.一种数据处理方法,包括以下步骤:
存储各自与特征值相关联的图像捕获模式,所述特征值与被拍体相关且作为用于根据所述被拍体来选择图像捕获模式候选者的选择条件;
检测通过转换来自所述被拍体的入射光而捕获的被捕获数据中所包括的目标对象;
基于所检测的目标对象,从被存储的图像捕获模式中选择图像捕获模式候选者;
在显示装置上显示被选择的图像捕获模式候选者;
接受选择操作,该选择操作用于从被显示在所述显示装置上的图像捕获模式候选者中选择所需要的图像捕获模式;
设置所述选择操作所选择的图像捕获模式;以及
通过在用于选择所需要的图像捕获模式的选择操作被接受时缩小在与所述选择操作被接受时的被捕获数据相对应的被捕获图像,来生成缩小后图像,
其中所述缩小后图像与指示所述选择操作被接受时所设置的图像捕获模式的指示符一起显示在对其进行了选择操作的图像捕获模式候选者先前被显示的区域内。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007239096 | 2007-09-14 | ||
JP2007-239096 | 2007-09-14 | ||
JP2007239096A JP4930302B2 (ja) | 2007-09-14 | 2007-09-14 | 撮像装置、その制御方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101388965A CN101388965A (zh) | 2009-03-18 |
CN101388965B true CN101388965B (zh) | 2011-02-23 |
Family
ID=40454012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101496776A Expired - Fee Related CN101388965B (zh) | 2007-09-14 | 2008-09-16 | 数据处理装置和数据处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7978248B2 (zh) |
JP (1) | JP4930302B2 (zh) |
CN (1) | CN101388965B (zh) |
Families Citing this family (75)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4888711B2 (ja) * | 2006-05-19 | 2012-02-29 | カシオ計算機株式会社 | シーン選択画面生成装置、シーン選択画面追加システム、シーン選択画面生成方法、シーン選択画面追加方法、及びプログラム |
EP2015568B1 (en) * | 2007-06-14 | 2019-02-13 | FUJIFILM Corporation | Digital image pickup apparatus |
JP4561919B2 (ja) * | 2008-04-21 | 2010-10-13 | ソニー株式会社 | 撮像装置、画像処理装置及び画像処理方法 |
JP4645685B2 (ja) * | 2008-06-02 | 2011-03-09 | カシオ計算機株式会社 | カメラ、カメラ制御プログラム及び撮影方法 |
US7860387B2 (en) * | 2008-08-12 | 2010-12-28 | Canon Kabushiki Kaisha | Imaging apparatus and control method therefor |
KR101495079B1 (ko) * | 2008-11-18 | 2015-02-24 | 삼성전자주식회사 | 장면 정보 표시 방법 및 장치, 및 이를 이용한 디지털 촬영장치 |
KR20100070043A (ko) * | 2008-12-17 | 2010-06-25 | 삼성전자주식회사 | 디지털 영상 신호 처리 장치의 장면 인식 표시 방법, 이를 기록한 기록 매체, 상기 표시 방법을 적용한 디지털 영상 신호 처리 장치 |
JP5116652B2 (ja) * | 2008-12-24 | 2013-01-09 | 三洋電機株式会社 | 撮像装置および笑顔記録プログラム |
KR101532610B1 (ko) * | 2009-01-22 | 2015-06-30 | 삼성전자주식회사 | 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터판독가능 저장매체 |
KR101595254B1 (ko) * | 2009-02-20 | 2016-02-18 | 삼성전자주식회사 | 화이트 밸런스 조정 방법, 상기 방법을 기록한 기록 매체, 화이트 밸런스 조정 장치 |
US20100245610A1 (en) * | 2009-03-31 | 2010-09-30 | Electronics And Telecommunications Research Institute | Method and apparatus for processing digital image |
JP5313043B2 (ja) * | 2009-05-22 | 2013-10-09 | オリンパスイメージング株式会社 | 撮影条件制御装置、カメラ、プログラム |
JP5695335B2 (ja) * | 2009-05-22 | 2015-04-01 | オリンパスイメージング株式会社 | 撮影条件制御装置、カメラ、画質制御装置およびプログラム |
JP5383354B2 (ja) * | 2009-07-07 | 2014-01-08 | キヤノン株式会社 | 撮像装置及びその制御方法 |
KR101594295B1 (ko) * | 2009-07-07 | 2016-02-16 | 삼성전자주식회사 | 촬영 장치 및 촬영 방법 |
JP5402409B2 (ja) * | 2009-08-31 | 2014-01-29 | ソニー株式会社 | 撮影条件設定装置、撮影条件設定方法及び撮影条件設定プログラム |
KR101599886B1 (ko) * | 2009-09-29 | 2016-03-04 | 삼성전자주식회사 | 장면 모드 표시에 따른 영상 처리 장치 및 방법 |
EP2483767B1 (en) | 2009-10-01 | 2019-04-03 | Nokia Technologies Oy | Method relating to digital images |
JP5550305B2 (ja) * | 2009-10-22 | 2014-07-16 | キヤノン株式会社 | 撮像装置 |
SE534551C2 (sv) | 2010-02-15 | 2011-10-04 | Scalado Ab | Digital bildmanipulation innefattande identifiering av ett målområde i en målbild och sömlös ersättning av bildinformation utifrån en källbild |
US20110205397A1 (en) * | 2010-02-24 | 2011-08-25 | John Christopher Hahn | Portable imaging device having display with improved visibility under adverse conditions |
JP2011193066A (ja) * | 2010-03-12 | 2011-09-29 | Sanyo Electric Co Ltd | 撮像装置 |
US20110228074A1 (en) * | 2010-03-22 | 2011-09-22 | Parulski Kenneth A | Underwater camera with presssure sensor |
US20110228075A1 (en) * | 2010-03-22 | 2011-09-22 | Madden Thomas E | Digital camera with underwater capture mode |
US20110242395A1 (en) * | 2010-04-01 | 2011-10-06 | Sanyo Electric Co., Ltd. | Electronic device and image sensing device |
EP2577951A1 (en) * | 2010-05-26 | 2013-04-10 | Sony Ericsson Mobile Communications AB | Camera system and method for taking photographs that correspond to user preferences |
JP2012108838A (ja) * | 2010-11-19 | 2012-06-07 | Sanyo Electric Co Ltd | 表示制御装置 |
US20120236173A1 (en) * | 2011-03-17 | 2012-09-20 | Telek Michael J | Digital camera user interface which adapts to environmental conditions |
JP5136669B2 (ja) * | 2011-03-18 | 2013-02-06 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5868021B2 (ja) * | 2011-05-02 | 2016-02-24 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
JP5845464B2 (ja) * | 2011-05-31 | 2016-01-20 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法並びにデジタルカメラ |
SE1150505A1 (sv) | 2011-05-31 | 2012-12-01 | Mobile Imaging In Sweden Ab | Metod och anordning för tagning av bilder |
EP2718896A4 (en) | 2011-07-15 | 2015-07-01 | Mobile Imaging In Sweden Ab | METHOD FOR PROVIDING ADJUSTED DIGITAL GRAPHIC REPRESENTATION OF VIEW AND APPROPRIATE APPARATUS |
US8908007B2 (en) * | 2011-07-15 | 2014-12-09 | Panasonic Corporation | Transmission device and transmission method |
JP5904773B2 (ja) * | 2011-12-02 | 2016-04-20 | オリンパス株式会社 | カメラシステム、交換レンズ、およびカメラ |
JP2013149034A (ja) * | 2012-01-18 | 2013-08-01 | Canon Inc | 画像表示装置、画像表示方法及びプログラム |
US9143679B2 (en) * | 2012-01-26 | 2015-09-22 | Canon Kabushiki Kaisha | Electronic apparatus, electronic apparatus control method, and storage medium |
US9049382B2 (en) * | 2012-04-05 | 2015-06-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
US9148582B2 (en) * | 2012-06-29 | 2015-09-29 | Intel Corporation | Method and system for perfect shot imaging from multiple images |
US9019415B2 (en) * | 2012-07-26 | 2015-04-28 | Qualcomm Incorporated | Method and apparatus for dual camera shutter |
JP2014053749A (ja) * | 2012-09-06 | 2014-03-20 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
CN109522280B (zh) * | 2012-09-16 | 2022-04-19 | 哈尔滨华强电力自动化工程有限公司 | 一种图像文件格式及生成方法及装置及应用 |
JP5854280B2 (ja) * | 2012-10-03 | 2016-02-09 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP5729407B2 (ja) * | 2013-02-28 | 2015-06-03 | カシオ計算機株式会社 | 撮像装置、表示制御方法及びプログラム |
JP6159105B2 (ja) | 2013-03-06 | 2017-07-05 | キヤノン株式会社 | 撮像装置及びその制御方法 |
KR102063915B1 (ko) * | 2013-03-14 | 2020-01-08 | 삼성전자주식회사 | 사용자 기기 및 그 동작 방법 |
KR102077675B1 (ko) * | 2013-07-26 | 2020-02-14 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어방법 |
US10015308B2 (en) * | 2013-07-26 | 2018-07-03 | Lg Electronics Inc. | Mobile terminal and method of controlling the same |
JP5754012B2 (ja) * | 2013-12-25 | 2015-07-22 | オリンパス株式会社 | 表示制御装置、表示制御方法、及びプログラム |
GB2531758A (en) * | 2014-10-29 | 2016-05-04 | Nokia Technologies Oy | Method and apparatus for determining the capture mode following capture of the content |
JP2018022932A (ja) * | 2014-12-08 | 2018-02-08 | 株式会社ジャパンディスプレイ | 表示システム及び表示装置 |
CN105827929A (zh) * | 2015-01-06 | 2016-08-03 | 中兴通讯股份有限公司 | 一种移动终端相机的拍照方法及装置 |
CN105100624B (zh) * | 2015-08-28 | 2019-03-01 | Oppo广东移动通信有限公司 | 一种拍摄方法及终端 |
KR102462644B1 (ko) | 2016-04-01 | 2022-11-03 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
US9854156B1 (en) | 2016-06-12 | 2017-12-26 | Apple Inc. | User interface for camera effects |
CN106657773A (zh) * | 2016-11-15 | 2017-05-10 | 维沃移动通信有限公司 | 一种移动终端的拍摄方法和移动终端 |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
CN107257439B (zh) | 2017-07-26 | 2019-05-17 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
KR102369805B1 (ko) * | 2017-08-23 | 2022-03-03 | 한화테크윈 주식회사 | 카메라의 동작모드 결정 방법 및 장치 |
KR20190106251A (ko) * | 2018-03-08 | 2019-09-18 | 삼성전자주식회사 | 이미지 센서와 연결된 인터페이스 및 복수의 프로세서들간에 연결된 인터페이스를 포함하는 전자 장치 |
US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
US10674072B1 (en) | 2019-05-06 | 2020-06-02 | Apple Inc. | User interfaces for capturing and managing visual media |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
JP2020136900A (ja) * | 2019-02-19 | 2020-08-31 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、画像記録装置、および撮像方法 |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
JP2021158489A (ja) * | 2020-03-26 | 2021-10-07 | キヤノン株式会社 | 撮像装置、撮像方法、プログラムおよび記録媒体 |
US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
EP3979618A1 (en) * | 2020-10-01 | 2022-04-06 | Axis AB | A method of configuring a camera |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60119418T2 (de) | 2000-03-22 | 2007-05-24 | Kabushiki Kaisha Toshiba, Kawasaki | Gesichtsbildaufnehmendes Erkennungsgerät und Passüberprüfungsgerät |
JP3543135B2 (ja) | 2000-06-21 | 2004-07-14 | カシオ計算機株式会社 | カメラ装置 |
JP2002152567A (ja) * | 2000-11-06 | 2002-05-24 | Olympus Optical Co Ltd | 電子カメラ |
JP2003224747A (ja) * | 2002-01-29 | 2003-08-08 | Fuji Photo Film Co Ltd | パラメータ選択装置 |
JP2003319327A (ja) | 2002-04-22 | 2003-11-07 | Minolta Co Ltd | デジタルカメラおよびサーバ |
JP2003344891A (ja) | 2002-05-23 | 2003-12-03 | Canon Inc | 撮影モード自動設定カメラ |
JP3804067B2 (ja) | 2003-03-28 | 2006-08-02 | ソニー株式会社 | 撮像装置及び撮像方法 |
JP4333394B2 (ja) * | 2004-02-13 | 2009-09-16 | カシオ計算機株式会社 | カメラ装置、撮像方法及びそのプログラム |
JP2006238076A (ja) * | 2005-02-25 | 2006-09-07 | Fuji Photo Film Co Ltd | 撮影装置 |
JP4534816B2 (ja) * | 2005-03-16 | 2010-09-01 | カシオ計算機株式会社 | 撮影装置及びプログラム |
JP4288612B2 (ja) * | 2005-09-14 | 2009-07-01 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP4840848B2 (ja) * | 2005-09-21 | 2011-12-21 | ソニー株式会社 | 撮影装置、情報処理方法、並びにプログラム |
JP4816336B2 (ja) * | 2006-02-07 | 2011-11-16 | 日本ビクター株式会社 | 撮像方法及び撮像装置 |
JP4799511B2 (ja) * | 2007-08-30 | 2011-10-26 | 富士フイルム株式会社 | 撮像装置および方法並びにプログラム |
-
2007
- 2007-09-14 JP JP2007239096A patent/JP4930302B2/ja not_active Expired - Fee Related
-
2008
- 2008-09-12 US US12/209,632 patent/US7978248B2/en not_active Expired - Fee Related
- 2008-09-16 CN CN2008101496776A patent/CN101388965B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009071666A (ja) | 2009-04-02 |
JP4930302B2 (ja) | 2012-05-16 |
US20090073285A1 (en) | 2009-03-19 |
US7978248B2 (en) | 2011-07-12 |
CN101388965A (zh) | 2009-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101388965B (zh) | 数据处理装置和数据处理方法 | |
US8570422B2 (en) | Apparatus, method, and recording medium containing program for photographing | |
CN101567976B (zh) | 图像拍摄设备 | |
CN101123687B (zh) | 图像摄影装置、图像摄影装置的控制方法 | |
JP4819001B2 (ja) | 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム | |
CN101355631B (zh) | 图像处理装置及数字式照相机 | |
CN101494738B (zh) | 图像捕获设备、图像处理设备和方法 | |
US9667888B2 (en) | Image capturing apparatus and control method thereof | |
CN103733607B (zh) | 用于检测运动物体的装置和方法 | |
KR100547992B1 (ko) | 디지털 카메라와 그의 제어 방법 | |
CN101547311B (zh) | 摄像装置 | |
US8493494B2 (en) | Imaging apparatus with subject selecting mode | |
US20100194963A1 (en) | Display control apparatus, image capturing apparatus, display control method, and program | |
CN103139466A (zh) | 信息处理装置、成像装置、信息处理方法和程序 | |
US8830374B2 (en) | Image capture device with first and second detecting sections for detecting features | |
KR20080016631A (ko) | 카메라 장치,촬상 방법 및 컴퓨터 프로그램 기록매체 | |
CN103842903B (zh) | 成像设备、成像方法以及程序 | |
US20070237513A1 (en) | Photographing method and photographing apparatus | |
GB2599012A (en) | Image processing apparatus, and control method, program and storage medium thereof | |
CN103095987A (zh) | 成像控制设备、成像装置及用于成像控制设备的控制方法 | |
KR101613438B1 (ko) | 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법 | |
US8149317B2 (en) | Display device, photographing apparatus, and display method | |
KR101613617B1 (ko) | 디지털 영상 촬영 장치 및 그 제어 방법 | |
KR20100091845A (ko) | 플리커 발생을 방지하는 디지털 촬영 장치, 이의 제어 방법및 상기 제어 방법을 기록한 기록 매체 | |
CN101076086B (zh) | 场景选择画面生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110223 |