CN101877753A - 图像处理设备、图像处理方法和程序 - Google Patents
图像处理设备、图像处理方法和程序 Download PDFInfo
- Publication number
- CN101877753A CN101877753A CN201010167524.1A CN201010167524A CN101877753A CN 101877753 A CN101877753 A CN 101877753A CN 201010167524 A CN201010167524 A CN 201010167524A CN 101877753 A CN101877753 A CN 101877753A
- Authority
- CN
- China
- Prior art keywords
- image
- item
- data item
- view data
- playback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32106—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
- H04N1/32112—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate computer file, document page or paper sheet, e.g. a fax cover sheet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
- H04N2201/3214—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
- H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3242—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of processing required or performed, e.g. for reproduction or before recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
- H04N2201/3264—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of sound signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3273—Display
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
在此公开了图像处理设备、图像处理方法和程序。所述图像处理设备包括:图像效果确定单元,其被配置为基于图像数据项抓取时的环境信息项,确定在显示图像数据项时针对所显示的图像数据项生成视觉变化的动态图像效果,其中所述环境信息项与所述图像数据项相关联;以及显示控制单元,其被配置为针对图像数据项的显示,控制显示操作以使得应用已经由所述图像效果确定单元所确定的动态图像效果。
Description
技术领域
本发明涉及图像处理设备、图像处理方法和程序,具体而言,涉及用于在显示抓取图像的情况下提供图像效果的技术。
背景技术
在日本待审专利申请公开No.2005-250977中,公开了用于在诸如照片之类的图像中反映抓取图像的人的情绪的技术。在此技术中,针对抓取图像的人的情绪确定情绪反映参数,并且根据情绪反映参数执行图像处理,从而改变图像的色调等。然后,显示已经经受了上述图像处理的图像。公开了以此方式执行图像抓取时的情绪得以表达的图像的显示。
发明内容
期望使得(例如)在用户以常规方式拍摄照片之后更加令人愉悦地观看照片。
换言之,期望正观看抓取图像的人察觉到图像抓取时的周围环境。
根据本发明实施例的图像处理设备包括下列要素:图像效果确定单元,其被配置为基于图像数据项抓取时的环境信息项,确定在显示图像数据项时针对所显示图像数据项生成视觉变化的动态图像效果,其中所述环境信息项与所述图像数据项相关联;以及显示控制单元,其被配置为针对图像数据项的显示,控制显示操作以使得应用已经由所述图像效果确定单元所确定的动态图像效果。
此外,动态图像效果可以是至少针对一时间段生成连续视觉变化的图像效果,其中所述时间段是显示静止图像的时间段的一部分。
而且,显示控制单元可以通过在正在显示静止图像的同时改变显示参数,来执行控制以使得在显示屏幕上应用所述动态图像效果。
另外,显示控制单元可以通过在正在显示静止图像的同时对静止图像执行图像合成处理,来执行控制以使得在显示屏幕上应用所述动态图像效果。
此外,图像效果确定单元可以基于通过将与要回放并显示的回放目标图像数据项相关联的环境信息项和作为比较目标的预定环境信息项进行比较而获得的环境信息差异,来确定对于回放目标图像数据项的动态图像效果。
作为比较目标的预定环境信息项可以是这样的环境信息项:其与在回放目标图像数据项是回放目标之前的时间点作为回放目标的图像数据项相关联。
而且,当顺序地回放并显示多个图像数据项时,作为比较目标的预定环境信息项可以是这样的环境信息项:其与紧接在回放目标图像数据项是回放目标之前作为回放目标的图像数据项相关联。
此外,根据实施例的图像处理设备可以进一步包括顺序回放控制单元,其被配置为根据选择参数来选择要顺序地回放并显示的多个图像数据项。
另外,作为比较目标的预定环境信息项可以是这样的环境信息项:其与对应于指示如下时间的时间信息项的图像数据项相关联,所述时间是与回放目标图像数据项对应的时间信息项所指示的时间之前的时间,并且最接近于与回放目标图像数据项对应的时间信息项所指示的时间。
而且,作为比较目标的预定环境信息项可以是被设置为固定值的环境信息项。
进而,所述图像效果确定单元可以将与要回放并显示的回放目标图像数据项相关联的环境信息项转换为体感环境信息项,并且使用体感环境信息项来确定对于回放目标图像数据项的动态图像效果。
另外,图像效果确定单元可以将与要回放并显示的回放目标图像数据项相关联的环境信息项以及作为比较目标的预定环境信息项转换为体感环境信息项,并且可以基于通过将各体感环境信息项相互比较所获得的体感环境信息差异,来确定对于回放目标图像数据项的动态图像效果。
此外,所述图像效果确定单元可以基于图像数据项抓取时的环境信息项,确定是应用还是不应用动态图像效果,或者确定用于确定是应用还是不应用动态图像效果的标准,其中所述环境信息项与所述图像数据项相关联。
而且,基于图像数据项的图像内容,所述图像效果确定单元可以确定是应用还是不应用动态图像效果,或者确定用于确定是应用还是不应用动态图像效果的标准。
进而,在所述环境信息项中,可以包括以下信息项中的至少一个:关于图像数据项抓取时的周围环境温度的信息项、关于图像数据项抓取时的外部光量的信息项、关于图像数据项抓取的时间的信息项以及关于抓取图像数据项的地点的信息项。
根据本发明实施例的图像处理方法包括以下步骤:基于图像数据项抓取时的环境信息项,确定在显示图像数据项时针对所显示的图像数据项生成视觉变化的动态图像效果,其中所述环境信息项与所述图像数据项相关联;以及针对图像数据项的显示,控制显示操作以使得应用所确定的动态图像效果。
根据本发明实施例的程序是促使信息处理设备执行所述图像处理方法的程序。
在本发明的实施例中,通过使用图像抓取时的环境信息项,为要回放和显示的图像数据项提供了动态图像效果。利用动态图像效果,为正观看图像的人表达了图像抓取时的环境,如抓取图像数据项作为图像的人经历的环境(亮/暗程度、热/冷程度、时间、地点等)。
根据本发明的实施例,正观看所抓取的图像数据项的回放和显示的人可以察觉到图像抓取时的周围环境。因此,可以使得照片或视频的原始效果更加有效,并且可以使得图像(如,照片)的回放更加令人愉悦。
此外,通过为图像提供动态图像效果,可以向观看该图像的人动态地传递周围环境。
附图说明
图1A~图1D是用于说明可以应用本发明实施例的设备的示例的图;
图2是根据实施例的图像处理设备的配置的框图;
图3是与根据实施例的图像处理设备对应的图像抓取设备的框图;
图4是用于说明实施例中的图像数据项和环境信息项的图;
图5是在实施例中的图像抓取设备中执行图像抓取时的处理的流程图;
图6A~图6C是实施例中的标准值设置处理的流程图;
图7是实施例中的幻灯片回放处理的流程图;
图8包括图像效果计算处理的流程图以及实施例中特定值的示例;
图9A~图9C是用于说明实施例中的环境信息项和体感(body-sensory)环境信息项的图;
图10是用于说明实施例中的效果模板的图;
图11是用于说明实施例中的各图像效果之间的兼容性以及优先级为低的各图像效果的强度的图;
图12是用于说明实施例中的动态图像效果的示例的图;
图13是用于说明实施例中的动态图像效果的示例的图;
图14是用于说明实施例中的动态图像效果的示例的图;
图15是用于说明实施例中的动态图像效果的示例的图;
图16是用于说明实施例中的动态图像效果的示例的图;
图17是用于说明实施例中的动态图像效果的示例的图;
图18是用于说明实施例中的动态图像效果的示例的图;
图19是用于说明实施例中的动态图像效果和静态图像效果的图;
图20A和图20B是用于说明实施例中的图像效果的示例的图;
图21是实施例中的幻灯片选择回放处理的流程图;
图22A和图22B是实施例中的幻灯片性能设置处理的流程图以及回放目标图像准备处理的流程图;
图23是实施例中针对回放目标图像的图像效果计算处理的流程图;
图24是实施例中用于修改效果模板中的设置的处理的流程图;
图25A和图25B是用于说明实施例中的幻灯片性能设置的图;
图26是用于说明实施例中两个连续图像之间的关系对于图像效果的影响的图;
图27是用于说明实施例中图像内容对于图像效果的影响的图;
图28是实施例中使用一个图像数据项设置图像效果的处理的流程图;以及
图29是根据实施例的信息处理设备的框图。
具体实施方式
在下文中,将以如下部分标题的顺序来描述本发明的实施例。
1.本发明的应用一根据实施例的图像处理设备
2.作为实施例的图像抓取设备的配置
3.图像抓取时的处理以及环境信息项的示例
4.提供了动态图像效果的幻灯片回放
5.图像效果的示例
6.幻灯片选择回放
7.使用一幅图像的图像效果的设置
8.各种类型的修改示例和应用示例
9.信息处理设备/程序
1.本发明的应用一根据实施例的图像处理设备
根据实施例的图像处理设备通过使用在抓取被确定为回放目标图像的图像数据项时的环境信息项,来确定对于显示图像数据项的情况的图像效果。图像处理设备对提供了图像效果的图像数据项执行回放和显示。于是,图像处理设备执行与图像一起重建图像抓取时的周围环境的显示。
图像处理设备的上述操作是以各种类型的设备或系统来实现的。
图1A~图1D中图示应用了本发明的各种示例。
图1A图示用作数码相机的图像抓取设备1。图像抓取设备1具有用作根据本实施例的图像处理设备的功能。于是,当图像抓取设备1在显示面板6上执行抓取的图像数据项的回放和显示时,图像抓取设备1可以执行提供了基于环境信息项所确定的图像效果的显示。
换言之,图像抓取设备1执行图像抓取处理,从而将抓取的图像数据项存储在内部存储器或记录介质(如存储卡)中。在此情况下,图像抓取设备1还获得图像抓取时的环境信息项,并且还以环境信息项与抓取的图像数据项相关联的状态来存储环境信息项。
然后,当图像抓取设备1执行图像数据项的回放时,图像抓取设备1还读取对应于图像数据项的环境信息项,并且基于环境信息项确定图像效果。当图像抓取设备1执行图像数据项的回放和显示时,图像抓取设备1提供所确定的图像效果,并且在显示面板6上执行图像数据项的显示。
于是,当用户使用单个图像抓取设备1来执行抓取图像的回放时,用户可以观看图像抓取时的周围环境得以重建的图像的显示。
图1B图示这样的示例:其中,图像抓取设备1与外部监视器设备100连接,并且执行图像的回放。监视器设备100可以是专用于图像抓取设备1的监视器设备。可替代地,将电视图像接收设备或用于个人计算机的监视器假定为监视器设备100。
图像抓取设备1具有在将图像抓取设备1抓取的图像显示在与图像抓取设备1连接的监视器设备100上时,用作上述图像处理设备的功能。于是,当回放图像时,用户可以在监视器设备100上观看提供了基于环境信息项所确定的图像效果的显示。
图1C图示图像回放设备101和监视器设备100。将图像回放设备101看作为能够回放图像数据项的设备,如视频播放器或静态图像回放设备。
图像回放设备101对附于图像回放设备101的便携式记录介质中所记录的图像数据项、内部存储器或记录介质(如,硬盘驱动器(HDD))上所记录的图像数据项等进行回放。图像回放设备101将对应于图像数据项的回放图像信号输出至监视器设备100。
将图像抓取设备1等抓取的图像数据项记录在存储卡中。该存储卡等可以附于图像回放设备101。可替换地,可以从图像抓取设备1传送图像数据项,并且可以将其记录在图像回放设备101的内部HDD等上。在此情况下,与图像数据项一起还将环境信息项记录在记录介质上。
当图像回放设备101对从记录介质获取的图像数据项执行回放时,图像回放设备101还读取对应于图像数据项的环境信息项,并且基于环境信息项确定图像效果。然后,图像回放设备101生成提供了图像效果的回放图像信号,并且将回放图像信号输出至监视器设备100。于是,当用户通过使用图像回放设备101来回放抓取图像时,用户可以观看图像抓取时的周围环境得以重现的图像的显示。
注意,当假定如图1B或图1C中所示那样使用监视器设备100的系统时,监视器设备100可以具有用作图像处理设备的功能。
换言之,监视器设备100接收已从另一设备(如,数码相机、视频播放器等)传送的图像数据项和环境信息项。然后,基于监视器设备100中的环境信息项,确定图像数据项回放时要使用的图像效果,并且执行提供了图像效果的回放和显示。
图1D图示个人计算机102。例如,将图像抓取设备1所抓取的图像数据项与环境信息项存储在存储卡中。存储卡等附于个人计算机102。可替代地,从图像抓取设备1传送图像数据项和环境信息项,并且将其作为数据文件记录在内部HDD等上。在个人计算机102中,当使用预定应用程序软件执行图像数据项的回放时,该应用程序软件还读取对应于图像数据项的环境信息项,并且基于环境信息项确定图像效果。然后,应用程序软件生成提供了图像效果的回放图像信号,并且在监视显示器上显示和输出该回放图像信号。
上述各设备仅仅是示例。关于本发明的实施例,假定实施例的实现的各种示例(如,上述各设备)。例如,可以以诸如各种类型的设备(如,视听(AV)设备、移动电话和个人数字助理(PDA))之类的设备来实现本发明的实施例。
在以各种类型的设备或使用了各种类型的设备的系统中的每一个来实现本实施例的情况下,将设备或系统中所提供的配置的示例图示在图2中。
在图2中,图示了图像存储单元200、控制单元201、图像处理/显示控制单元202、显示单元203、图像输出单元204、操作输入单元205和图像分析单元206。
图像存储单元200是这样的单元:在该单元中,使用图像抓取操作所获得的图像数据项和环境信息项以图像数据项和环境信息项彼此关联的状态来存储。
将图像存储单元200配置为便携式记录介质(如存储卡或光盘)以及用于便携式记录介质的回放单元、配置为HDD、或配置为内部存储器(如,随机存取存储器(RAM)或闪存)。此外,可以将图像存储单元200配置为连接的外部装置、或者配置为能够经由网络等执行通信的外部装置。
在图像存储单元200中,例如将多个图像数据项存储在每个文件夹中。例如,在文件夹FLD1中包括图像数据项PCT11、PCT12...。此外,在文件夹FLD2中包括图像数据项PCT21、PCT22...。
在每个文件夹中,不仅存储图像数据项PCT,而且还以图像数据项PCT和环境信息项CI彼此关联的状态存储在抓取图像数据项PCT时的环境信息项CI。例如,分别与图像数据项PCT(PCT11、PCT12...)对应地存储环境信息项CI(CI11、CI12...)。
注意,用于管理文件夹的上述管理形式是一个示例。可以将任意管理形式用作管理图像数据项PCT和环境信息项CI的管理形式(包括文件夹配置、目录结构等)。在本实施例中,仅需要管理形式是至少以图像数据项PCT和环境信息项CI彼此关联的状态存储图像数据项PCT和环境信息项CI的管理形式。
控制单元201包括至少一个中央处理单元(CPU)、控制电路、用于控制并可被重新配置的硬件。
控制单元201执行数据读取处理、图像效果确定处理、图像回放控制处理等。
数据读取处理是这样的处理:从图像存储单元200读取要回放的图像数据项PCT以及环境信息项CI。
图像效果确定处理是这样的处理:使用图像数据项PCT抓取时的对应一个环境信息项CI来针对被确定为回放目标图像的每个图像数据项PCT的显示的情况确定图像效果。
图像回放控制处理是控制用于回放(如,幻灯片回放或根据用户操作而执行的回放)的回放操作的处理。
图像处理/显示控制单元202执行对于要回放和显示的图像数据项提供图像效果的处理以及显示和输出图像数据项的处理。图像处理/显示控制单元202例如执行在显示图像时改变显示参数(如改变亮度、改变彩色平衡以及改变对比度)的处理,或者使用字符图像、概念图像(conceptual image)等执行图像合成处理,来作为图像效果。
图像处理/显示控制单元202根据控制单元201已确定的图像效果的类型或图像效果的量,对要回放的图像数据项执行处理,从而生成显示图像信号。
然后,在显示单元203上显示并输出生成的显示图像信号。可替代地,将生成的显示图像信号从图像输出单元204输出至外部监视器装置,并且将其进行显示。
于是,当执行图像数据项PCT的回放时,基于环境信息项CI确定图像效果的类型和图像效果的量,并且执行根据图像效果的类型和图像效果的量提供图像效果的显示。
操作输入单元205是用户用以执行各种类型的操作来提供输入的单元。例如,在操作输入单元205上提供各操作元件,如键或拨盘。操作输入单元205例如被配置为接收遥控器的操作信号的单元。
控制单元201检测操作输入单元205所提供的操作信息项。控制单元201执行根据操作来进行处理的控制。例如,控制单元201根据操作信息项,执行图像回放控制处理、回放目标图像选择处理等。
图像分析单元206通过分析图像数据项而确定图像内容。例如,图像分析单元206确定图像是风景图像还是包括人物的图像。基于分析结果,控制单元201例如可以选择回放目标图像,或者可以使用分析结果作为用于确定图像效果的一个要素。
例如,图1A~图1D中所示的图像抓取设备1、图像回放设备101、个人计算机102具有上述配置,从而可以在每个设备中实现根据本实施例的图像处理设备的操作。
2.作为实施例的图像抓取设备的配置
在下文中,作为更具体的实施例,将描述把本发明应用于(例如)用作数码相机的图像抓取设备1的示例。使用该示例详细描述图像处理设备的配置和操作。
参考图3,描述根据实施例的图像抓取设备1的配置。
如图3所示,图像抓取设备1包括图像抓取系统2、控制系统3、相机数字信号处理器(DSP)4、操作单元5、显示面板6、显示控制器7和图像输出单元11。此外,图像抓取设备1包括外部接口8、传感器单元12、网络接口29、同步动态随机存取存储器(SDRAM)9以及介质接口10。
提供图像抓取系统2作为执行图像抓取操作的系统。图像抓取系统2包括镜头机构单元21、孔径/中性密度(ND,neutral density)滤波器机构22、图像抓取元件单元23、模拟信号处理单元24和模数(A/D)转换器单元25。此外,图像抓取系统2包括镜头驱动单元26、镜头位置检测单元27、定时生成电路28、图像抖动检测单元13、发光驱动单元14、闪光发射单元15、镜头驱动器17、孔径/ND驱动器18和图像抓取元件驱动器19。
来自被摄体的入射光经由镜头机构单元21和孔径/ND滤波器机构22而引至图像抓取元件单元23。
镜头机构单元21包括一组光学镜头,其含有覆盖镜头、聚焦镜头、变焦镜头等。
提供镜头驱动单元26作为传送机构,其在光轴方向上传送聚焦镜头和变焦镜头。镜头驱动器17将驱动能量施加给镜头驱动单元26,并且镜头驱动单元26传送聚焦镜头或变焦镜头。下面所述的CPU 31控制镜头驱动器17,从而促使镜头驱动单元26执行聚焦控制或变焦操作。
孔径/ND滤波器机构22包括孔径机构;以及ND过滤器机构,其通过插入在镜头光学系统中而衰减(调节)入射光量。孔径/ND滤波器机构22执行光量的调节。
孔径/ND驱动器18通过打开/闭合孔径机构,执行入射光量的调节。此外,孔径/ND驱动器18通过对于入射光在光轴上输入/输出ND过滤器,执行入射光量的调节。CPU 31控制孔径/ND驱动器18驱动孔径结构和ND过滤器,从而CPU 31可以控制入射光量(控制曝光的调节)。
来自被摄体的光通量穿过镜头机构单元21和孔径/ND滤波器机构22。在图像抓取元件单元23上形成被摄体图像。
图像抓取元件单元23对形成的被摄体图像执行光电转换,并且输出对应于被摄体图像的抓取的图像信号。
图像抓取元件单元23具有提供了多个像素的矩形图像抓取区域。图像抓取元件单元23以像素为单元,依次向模拟信号处理单元24输出抓取的图像信号,所述抓取的图像信号是与各个像素中累积的电荷对应的模拟信号。作为图像抓取元件单元23,例如可以使用电荷耦合器件(CCD)传感器阵列、互补金属氧化物半导体(CMOS)传感器阵列。
模拟信号处理单元24在其之中具有相关双采样(CDS)电路、自动增益控制(AGC)电路等。模拟信号处理单元24对已经从图像抓取元件单元23输入的抓取的图像信号执行预定的模拟处理。
A/D转换器单元25将模拟信号处理单元24已处理的模拟信号转换为数字信号,并且将该数字信号输出至相机DSP 4。
定时生成电路28受控于CPU 31,并且控制图像抓取元件单元23、模拟信号处理单元24和A/D转换器单元25的各个操作的定时。
换言之,为了控制图像抓取元件单元23的图像抓取操作的定时,定时生成电路28经由图像抓取元件驱动器19,向图像抓取元件单元23提供用于电荷曝光/读取的定时信号、用于电子快门功能的定时信号、根据传送时钟和帧速而确定的同步信号等。此外,为了与图像抓取元件单元23执行的抓取图像信号的传送同步地执行模拟信号处理单元24中的处理,定时生成电路28还将上述各个定时信号提供给模拟信号处理单元24。
CPU 31控制定时生成电路28生成的各个定时信号,从而CPU 31可以针对图像抓取修改帧速,并且可以执行电子快门控制(针对一帧的曝光时间的可变控制)。此外,CPU 31例如将增益控制信号经由定时生成电路28提供给模拟信号处理单元24,从而CPU 31对于抓取的图像信号执行增益的可变控制。
图像抖动检测单元13检测手动所导致的图像抖动量或图像抓取设备1的移动量。例如使用加速度传感器或振动传感器来配置图像抖动检测单元13,并且所述图像抖动检测单元13将检测信息项作为图像抖动量提供给CPU 31。
闪光发射单元15受到发光驱动单元14驱动而发光。CPU 13以根据用户操作等所确定的预定定时,将用于闪光发射的指令提供给发光驱动单元14,从而CPU 31可以促使闪光发射单元15发光。
相机DSP 4对已经从图像抓取系统2的A/D转换器单元25输入的抓取图像信号执行各种类型的数字信号处理。
在相机DSP 4中,例如如图3中所示,通过内部硬件和软件来实现用于执行各处理的功能(其为图像信号处理单元41、压缩/解压缩处理单元42、SDRAM控制器43等的功能)。
图像信号处理单元41对已经输入的抓取图像信号执行处理。图像信号处理单元41例如执行自动聚焦(AF,automatic focus)的处理以及自动光圈(自动曝光(AE,automatic exposure))的处理,作为使用抓取的图像信号的驱动图像抓取系统2的控制的计算处理。另外,图像信号处理单元41执行自动白平衡(AWB,automatic white balance)处理等,作为对于已经输入的抓取图像信号的处理。
例如,作为用于自动聚焦的处理,图像信号处理单元41检测已经输入的抓取图像信号的对比度,并且向CPU 31通知检测信息项。作为自动聚焦控制方案,各种类型的控制方案是常见的。然而,在被称为所谓的对比度AF的方案中,图像信号处理单元41在强制控制聚焦镜头的同时,在每个时间点检测抓取图像信号的对比度。图像信号处理单元41确定处于最佳对比度状态的聚焦镜头的位置。换言之,在图像抓取操作之前,CPU 31在执行移动聚焦镜头的控制的同时,检查图像信号处理单元41检测到的对比度检测值。CPU 31执行确定作为最佳聚焦位置的、处于最佳对比度状态的聚焦镜头的位置的控制。
此外,可以在执行图像抓取的同时,执行被称为所谓的摆动AF的检测方案作为聚焦控制。在图像抓取期间,CPU 31在以聚焦镜头来回地略微改变的方式经常地移动聚焦镜头位置的同时,检查图像信号处理单元41检测到的对比度检测值。当然,聚焦镜头的最佳聚焦位置依据被摄体的状态而改变。然而,通过在聚焦镜头的位置来回地略微改变的同时检测对比度,可以确定根据被摄体的状态变化而出现的沿着格式(format)控制方向的变化。于是,可以执行自动聚焦,使得自动聚焦跟随被摄体的状态。
注意,将传送位置地址分配给作为镜头驱动单元26的传送机构中的每一传送位置。使用传送位置地址确定镜头的位置。
镜头位置检测单元27可以通过确定作为聚焦镜头的目前位置的地址,来计算距处于焦点对准状态的被摄体的距离,并且可以将计算出的距离作为距离信息项提供给CPU 31。以此方式,CPU 31可以确定距处于焦点对准状态的主被摄体的距离。
作为相机DSP 4的图像信号处理单元41所执行的自动光圈的处理,例如,执行被摄体亮度的计算。例如,计算已经输入的抓取图像信号的平均亮度,并且将该平均亮度作为被摄体亮度信息项(即,关于曝光量的信息项)提供给CPU 31。作为用于计算平均亮度的方案,考虑各种方案,诸如从一帧的抓取图像数据项中计算所有像素的亮度信号值的平均值的方案,以及通过将权重分配给图像的中心位置来获得亮度信号值的平均值的方案。
CPU 31可以基于关于曝光量的信息项来执行自动曝光控制。换言之,CPU 31可以通过使用在孔径机构、ND滤波器或图像抓取元件单元23中执行的电子快门控制以及对模拟信号处理单元24执行的增益可变控制,来执行曝光调节。
相机DSP 4的图像信号处理单元41执行生成用于自动聚焦操作和自动光圈操作的各信号的处理。进一步,图像信号处理单元41执行自动白平衡处理、γ校正处理、边缘增强处理和校正手动所导致的图像抖动的处理等,作为对于抓取的图像信号的处理。
相机DSP 4的压缩/解压缩处理单元42对抓取的图像信号执行压缩处理,并且对压缩的图像数据项执行解压缩处理。压缩/解压缩处理单元42例如通过使用诸如联合图像专家组(JPEG,joint photographic experts group)或运动图像专家组(MPEG,moving picture experts group)之类的方案来执行压缩处理/解压缩处理。
SDRAM控制器43向/自SDRAM 9写入/读取数据项。SDRAM 9例如用于暂存已经从图像抓取系统2输入的抓取图像信号,并且在图像信号处理单元41或压缩/解压缩处理单元42执行的处理的过程中保存数据项并保留工作区域。
SDRAM控制器43向/自SDRAM 9写入/读取上述数据项。
控制系统3包括CPU 31、RAM 32、闪速只读存储器(ROM)33、时钟电路34和图像分析单元35。控制系统3的各个单元、相机DSP 4、图像抓取系统2的各个单元、显示控制器7、外部接口8和介质接口10可以通过使用系统总线,相互传递图像数据项和控制信息项。
CPU 31执行图像抓取设备1的总体控制。换言之,根据内部ROM等中保存的程序以及根据使用操作单元5而执行的用户操作,CPU 31执行各种类型的计算处理和控制信号等向/从各个单元的发送/接收,从而促使各个单元执行必要的操作。
更具体地,对于要在显示面板6上显示的图像或者要输出至外部监视器设备的显示图像信号,CPU 31具有执行处理的功能(其为参考图2所述的控制单元201的功能)。CPU 31执行必要的计算处理以及控制处理。
换言之,作为数据读取处理,CPU 31执行从记录介质90、闪速ROM 33等读取要回放的图像数据项以及环境信息项的处理。
此外,作为图像效果确定处理,CPU 31执行如下的处理:在进行被确定为回放目标图像的图像数据项的显示时,通过使用抓取图像数据项时的环境信息项来确定图像效果。
进而,作为图像回放确定处理,CPU 31执行控制用于回放(如,幻灯片回放或者根据用户操作而执行的回放)的回放操作的处理。
RAM 32暂存已经由相机DSP 4处理的抓取图像信号(每一帧的图像数据项),并且存储与CPU 31所执行的各种处理相关联的信息项。
闪速ROM 33用于保存作为抓取图像(由用户作为静止图像或运动图像而抓取的)而获得的图像数据项。进一步,由于需要以非易失性方式保存信息项,因此闪速ROM 33用于存储信息项。在某些情况下,闪速ROM 33存储用于控制图像抓取设备1的软件程序、关于相机设置的数据项等。
时钟电路34执行时间计数以确定当前时间信息项(年、月、日、小时、分钟和秒)。
图像分析单元35对应于参考图2所述的图像分析单元206。图像分析单元35例如对要通过CPU 31执行的回放控制而显示和输出的图像数据项执行图像分析,并且执行各种类型的图像识别。
例如,图像分析单元35执行识别人物的处理以及识别被摄体图像中所包括的面部的处理。此外,图像分析单元35确定图像是否为主被摄体是风景的图像。此外,在某些情况下,图像分析单元35检测可以使用针对被确定为回放目标图像的图像数据项的图像分析而识别出的各种类型的信息项。各种类型的信息项的示例包括关于图像抓取时的外部光的状态的信息项、图像抓取时的天气信息项(晴天天气/多云天气)、位置信息项(室内/室外/水中/等)等。
操作单元5包括这样的单元:其根据由用户操作的各种操作元件以及使用各种操作元件的操作而生成信号。将关于用户使用各种操作元件所执行的操作的信息项从操作单元5传送至CPU 31。
作为操作元件,例如提供了快门操作键、用于模式选择的拨盘、广角/长焦操作键、十字键或用于菜单项选择、图像选择等的光标键。
注意,可以配置操作单元5,以使得用户不仅可以操作操作元件,而且可以执行触摸板操作。例如,可以将触摸传感器放置在显示面板6上,并且提供输入的操作可以是在屏幕显示器上由用户执行的触摸操作。
操作单元5对应于图2中所示的操作输入单元205。
显示控制器7根据由CPU 31执行的控制,促使显示面板6执行必要的显示操作。此外,显示控制器7执行将来自图像输出单元11的显示图像信号输出至外部装置的处理。
显示控制器7、显示面板6和图像输出单元11分别对应于图2中所示的图像处理/显示控制单元202、显示单元203和图像输出单元204。
例如,提供显示面板6作为如图1A所示的图像抓取设备1的外壳上的液晶面板或有机电致发光(EL,electroluminescence)面板。
提供图像输出单元11作为模拟图像信号输出端、数字图像信号输出端等。
显示控制器7根据由CPU 31执行的控制,执行为要回放和显示的图像数据项提供图像效果的处理,以及显示和输出图像数据项的处理。作为提供图像效果的处理,显示控制器7执行在显示图像时改变显示参数(如,改变亮度、改变彩色平衡以及改变对比度)的处理、使用字符图像、概念图像等的图像合成处理。
显示控制器7根据CPU 31已经确定的图像效果的类型或图像效果的量,对要回放的图像数据项执行处理,从而生成显示图像信号。
然后,在显示面板6上显示和输出生成的显示图像信号。可替代地,将生成的显示图像信号从图像输出单元11输出至外部监视器装置(例如,图1B中所示的监视器设备100),并且将其进行显示。
于是,当执行图像数据项的回放时,基于环境信息项来确定图像效果的类型和图像效果的量,并且执行根据图像效果的类型或图像效果的量提供图像效果的显示。
此外,除了回放和显示已经从记录介质90或闪速ROM 33读取的图像的操作之外,显示控制器7还执行显示操作菜单的操作、显示各种图标的操作、显示时间的处理等,作为对显示面板6或外部监视器设备执行的显示操作。
介质接口10根据由CPU 31执行的控制,向/从设置在图像抓取设备1内部的记录介质90(如,存储卡(卡形可拆卸存储器))写入/读取数据项。例如,介质接口10执行将作为图像抓取结果的静止图像数据项或运动图像数据项记录在记录介质90上的操作。此外,介质接口10在图像抓取设备1处于回放模式时,执行从记录介质90读取图像数据项的操作。
注意,这里尽管通过示例将记录介质90实施为便携式存储卡,但是记录介质90可以是用于记录作为静止图像或运动图像的图像数据项(其将要作为图像抓取的结果而保存)的任何其他记录介质。例如,可以使用诸如光盘之类的便携式盘介质,或者可以安装HDD并将其用于记录。
记录介质90或上述闪速ROM 33对应于图2中所示的图像存储单元200。换言之,在记录介质90或上述闪速ROM 33上,例如在每一文件夹FLD中存储图像数据项PCT和环境信息项CI。
外部接口8根据诸如通用串行总线(USB)标准之类的信号标准,经由预定线缆而向/从外部设备发送/接收各种数据项。当然,外部接口8可以是遵循USB标准以外的标准(如,电气电子工程协会(IEEE)1394标准)的外部接口。
此外,外部接口8不限于使用有线传输方案的接口。外部接口8可以配置为使用无线传输方案(如,红外传输或近场通信)的接口。
图像抓取设备1可以经由外部接口8,向/从各种类型的装置(其包括个人计算机等)发送/接收数据项。例如,图像抓取设备1可以将抓取的图像数据项PCT和环境信息项CI传送至外部装置。
网络接口29执行经由网络(如,因特网)访问外部服务器设备、网站等的通信处理。CPU 31也可以通过使用经由网络接口29所执行的网络通信,从预定的服务器设备等获取环境信息项(如,天气、温度、当前位置处的地点的属性)。
传感器单元12以集中方式指示可以安装在图像抓取设备1中的各种类型的传感器。在本示例中,具体地,将传感器单元12看作检测图像抓取时的环境信息项的传感器。
例如,假定在传感器单元12中安装了温度传感器、湿度传感器、光量传感器、紫外光量传感器、气体流量传感器、气体流速率传感器、气流方向传感器、速率传感器、加速度传感器、气压传感器、水压传感器、高度传感器、音量传感器等。
此外,也可以考虑在传感器单元12中提供作为位置传感器的全球定位系统(GPS,global positioning system)接收单元,其用于从GPS卫星接收无线电波,并且输出关于当前位置的纬度和经度的信息项等。
3.图像抓取时的处理以及环境信息项的示例
上面参考图2描述了将图像数据项PCT和环境信息项CI存储在图像存储单元200中。关于图3中所示的图像抓取设备1,在图像抓取时,将图像数据项PCT和环境信息项CI记录在记录介质90或闪速ROM 33上。这里,将描述在图像抓取时记录图像数据项PCT和环境信息项CI的处理。
图4是图示图像数据项PCT(x)和与其对应的环境信息项CI(x)的示例的图。将图像数据项PCT(x)看作用户(例如)使用图像抓取设备1而抓取的图像。环境信息项CI(x)与图像数据项(x)相关联。
这里,环境信息项CI(x)的内容如下:温度25℃;光量10,000lx;紫外光量100lx;湿度40%;以及气体流量4m/s。
环境信息项CI(x)的内容是在抓取图像数据项PCT(x)时所获得的环境值。换言之,环境信息项CI(x)的内容是指示在图像抓取时抓取图像数据项PCT(x)的用户所觉察到的周围环境的值(热/冷程度、亮/暗程度等)。
在图像抓取时,图像抓取设备1记录图像数据项PCT。另外,图像抓取设备1从传感器单元12、图像分析单元35、图像信号处理单元41、网络接口29和时钟电路34获取各种类型的环境值,并且生成环境信息项CI。
图5中图示了图像抓取设备1中执行的图像抓取时的处理。
例如,当图像抓取设备1上电时,图像抓取设备1开始步骤F1中的监视处理。注意,还存在当图像抓取设备1上电时图像抓取设备1进入回放操作模式的情况(如,用户从断电状态执行回放指令操作的情况)。回放操作模式用于回放抓取的图像(其在下面描述)。图5中省略了回放操作模式中的处理。
当用户通过使用图像抓取设备1来连续地抓取静止图像等时,首先执行监视处理,作为利用图像抓取系统2执行图像抓取的处理。
监视处理是用于促使显示面板6显示被摄体图像(通过图像(throughimage))的处理。
换言之,在监视处理中,CPU 31促使图像抓取系统2和相机DSP 4均执行在图像抓取时所需要的处理。然后,CPU 31将从相机DSP 4提供的每一帧的所抓取的图像数据项加载至(例如)RAM 32。然后,CPU 31将每一帧的所抓取的图像数据项传给显示控制器7,并且促使显示面板6执行监视显示。
利用监视处理,用户在观看显示面板6上的监视显示的同时,选择被摄体或等待按压快门释放的时间。
在用户不执行快门操作的时间段中,在尚未终止图像抓取(例如,图像抓取设备1尚未断电)的情况下,以步骤F2、F6和F1的顺序持续监视处理。
当CPU 31在执行监视处理的同时,检测到用户已经执行了快门操作时,CPU 31进入到步骤F3,并且执行抓取图像记录处理。
换言之,CPU 31执行将在进行快门操作时所抓取的一帧的图像数据项保存为静止图像数据项的处理。CPU 31将执行快门操作时所抓取的图像数据项传送至介质接口10,并且促使记录介质90将所抓取的图像数据项记录为图像数据项PCT。
注意,可以执行将所抓取的图像数据项记录在闪速ROM 33中(而不是记录介质90)的处理,作为根据快门操作而执行的记录处理。此外,可以使用诸如如下方案之类的处理方案:将所抓取的图像数据项通常记录在记录介质90上,以及在未附有记录介质90时将所抓取的图像数据项记录在闪速ROM 33中。
此外,在此情况下,CPU 31在步骤F4,获取时间点的环境值。CPU 31例如从传感器单元12、图像分析单元35、图像信号处理单元41、网络接口29和时钟电路34获取各种类型的环境值。
然后,在步骤F5,CPU 31生成环境信息项CI。在图4所示的示例中,例如,CPU 31从传感器单元12中所包括的温度传感器、光量传感器、紫外光量传感器、湿度传感器和气体流量传感器获取温度、光量、紫外光量、湿度、气体流量作为各个环境值。CPU 31生成环境信息项CI(如图4所示的环境信息项CI(x))。
接下来,CPU 31促使记录介质90(或闪速ROM 33)以环境信息项CI与图像数据项PCT相关联的状态记录生成的环境信息项CI。
CPU 31在图像抓取时执行图5所示的处理,从而以图像数据项PCT和环境信息项CI彼此对应的状态而将所抓取的图像数据项PCT和环境信息项CI记录在记录介质90或闪速ROM 33上。
可以在回放模式中,通过使用图像抓取设备1的操作而在显示面板6上回放记录介质90等上所记录的图像数据项PCT,而无需经受对于图像数据项PCT的任何处理。在这种情况下,CPU 31通过使用与要回放的图像数据项PCT对应的环境信息项CI,执行提供图像效果的控制(图1A所示的示例)。
此外,CPU 31可以将提供了图像效果的回放图像信号从图像输出单元11输出至监视器设备100等,并且可以促使监视器设备100等以与图1A所示的示例中的方式类似的方式来执行显示(图1B中所示的示例)。
另外,在记录介质90是便携式记录介质(如存储卡)的情况下,将记录介质90附于图像回放设备101、个人计算机102等,并且可以回放所记录的图像数据项PCT。在此情况下,图像回放设备101或个人计算机102包括用作图2中所示的控制单元201和图像处理/显示控制单元202的单元。于是,当执行图像的回放和显示时,可以提供基于环境信息项CI而确定的图像效果(图1C和1D中所示的示例)。
此外,图像抓取设备1可以通过使用外部接口8,将已经记录在记录介质90或闪速ROM 33上的图像数据项PCT和环境信息项CI传送到图像回放设备101或个人计算机102。此外,在这种情况下,当由图像回放设备101或个人计算机102执行图像的回放和显示时,可以提供基于环境信息项CI而确定的图像效果(图1C和1D中所示的示例)。
这里,将描述在本实施例中所假定的环境信息项CI的内容和用于获取环境信息项CI的途径的示例。环境信息项是用于指示执行图像抓取的地点的状态的信息项,以及由用户(摄影师)在图像抓取时觉察到的地点的状态。环境信息项包括指示执行图像抓取的地点的周围环境的各种类型的信息项。将考虑下面的示例。
光量(图像抓取时的外部光量值)
使用用户在图像抓取时觉察到其亮度的周围环境光的光量值。可以使用传感器单元12中提供的光量传感器来获取光量值。此外,由于在图像抓取时执行曝光控制,因此图像信号处理单元41从抓取的图像信号中计算亮度级别。也可以从已经根据抓取的图像信号计算出的亮度级别中估计和计算外部光量。此外,例如也可以从曝光值(EV)、国际标准化组织(ISO)胶片速度、孔径值、快门速度和镜头特性来计算光量值。另外,也可以考虑参考位置信息项(区域、是室外/室内等)和天气信息项(光强和区域的天气)来校正计算出的光量值。
紫外光量(图像抓取时的外部光量值)
使用图像抓取时、在执行图像抓取的地点的紫外光量。紫外光量影响用户所觉察到的亮度的程度。
可以由具有在传感器单元12中提供的波长滤波器的光量传感器获取紫外光量值。此外,也可以考虑参考从抓取的图像信号计算出的亮度级别、位置信息项、天气信息项等来计算紫外光量。
温度和湿度
使用图像抓取时、在执行图像抓取的地点处关于温度的信息项以及关于湿度的信息项。将关于温度的信息项和关于湿度的信息项看作指示用户所觉察到的热/冷程度、舒适/不舒适程度等的指示器。
可以分别通过传感器单元12中提供的温度传感器和湿度传感器来获取关于温度的信息项和关于湿度的信息项。此外,也可以考虑根据执行图像抓取的位置和日期以及时间、经由因特网等获取图像抓取时关于温度的信息项和关于湿度的信息项。
气体流量、气体流速和气体流向
使用图像抓取时、在执行图像抓取的地点处关于气流状况的信息项,并且将其看作为用户觉察到的环境的一个要素。
可以通过传感器单元12中提供的气体流量传感器等来获得关于气体流量、气体流速和气体流向的信息项。此外,也可以考虑根据执行图像抓取的位置和日期以及时间、经由因特网等获取图像抓取时、在执行图像抓取的地点处关于气体流动状况的信息项。
日期和时间(一天中的时间、时间帧、季节中的时间等)
图像抓取时关于日期和时间的信息项(时间信息项)的示例包括关于时间帧(如,晨时、午时、傍晚时间、午夜时间或黎明前时间)的信息项,以及关于年、月、星期中的一天、季节、假期或工作日等的信息项。将关于日期和时间的信息项看作重建用户在图像抓取时觉察到的周围环境的要素。
可以通过使用时钟电路34执行的时间计数来获取关于日期和时间的信息项。最好根据执行图像抓取的地点考虑时间差来修改一天中的时间。
位置(纬度和经度、室内/室外、海中/海外、水里、高度等)
将关于纬度和经度的信息项用作位置信息项。可以与地图信息项一起根据关于纬度和经度的信息项,来掌握特定地点、城镇、机构、区域、国家等。作为关于执行图像抓取的地点的环境信息项,关于纬度和经度的信息项是有用的。此外,关于室内/室外、海中/海外、水里、高度等的信息项是用于重建用户在图像抓取时直接觉察到的周围环境的信息项,并且其作为环境信息项是有用的。
可以通过传感器单元12中提供的GPS接收器获取关于纬度和经度的信息项。此外,可以依据关于纬度和经度的信息项以及地图信息项的精度,来确定地点位于室内还是室外,或者地点是否位于海外。
可以通过传感器单元12中提供的高度传感器来获得高度,或者如果考虑飞行器等,则可以通过连同地图信息项一起使用关于纬度和经度的信息项来计算高度。
此外,可以使用图像分析单元35对于图像数据项PCT的图像内容的分析,来估计是否在室内/室外、在海上/海外或者水中执行图像抓取。
音频(声音音量、关于声音的信息项等)
将执行图像抓取的地点的周围环境声音的音量、语音的音量、自然声音的音量等看作重建周围环境的要素(如,噪度、热闹或无声)。
可以通过传感器单元12中提供的声音音量传感器来获得声音的音量。此外,可以提供声音音量分析单元。声音音量分析单元可以确定声音是语音还是自然声音等,并且可以测量声音的音量。
(图像抓取设备侧/被摄体侧的)速率和加速度
也可以将图像抓取设备1或摄影师的运动速率或者被摄体的速率看作重建图像抓取时的周围环境的要素。例如,可以确定图像抓取的情况是否为在汽车中执行图像抓取的情况、抓取具有较高速率的被摄体的图像的情况等。
可以通过传感器单元12中提供的速率传感器、加速度传感器、角速率传感器等来提供关于图像抓取设备1或摄影师的运动速率的信息项。此外,可以使用图像分析单元35执行的分析(如,两个连续帧图像中运动被摄体的位置之间的比较)来估计和计算被摄体的速率(对于图像抓取设备1的相对速率)。
注意,也可以将手动所导致的图像抖动量用作关于图像抓取设备1的运动的信息项。也可以考虑将手动所导致的图像抖动量(其由图像抖动检测单元13获得)添加到环境信息项CI。
气压和水压
也可以将图像抓取时的气压或水压看作为重建图像抓取时的周围环境的要素。
可以通过传感器单元12中提供的气压传感器和水压传感器来分别获取气压或水压值。此外,可以使用位置信息项和地图信息项来计算执行图像抓取的地点的高度,并且也可以估计气压。
执行图像抓取的方向
也可以将被摄体在图像抓取时位于的方向(东、西、南或北)看作针对抓取的图像重建图像抓取时的周围环境的要素。
例如,可以通过传感器单元12中提供的方向传感器来获取关于执行图像抓取的方向的信息项。
天气
也可以将天气信息项看作重建图像抓取时的周围环境的要素。天气信息项的示例包括:关于晴天天气、日照量的信息项,关于多云天气的信息项,关于下雨天气、雨量、雨停止后经过的时间的信息项,关于下雪天气的信息项,关于雾天天气的信息项,关于打雷天气的信息项,关于雨夹雪的信息项,关于冰雹的信息项,关于飓风的信息项,关于台风的信息项,关于浓雾的信息项等。
可以通过经由(例如)因特网等使用执行图像抓取的位置和日期时间的信息项,来获得关于执行图像抓取的地点的天气的天气信息项。此外,可以通过使用由图像分析单元35执行的分析来确定是否下雨、下雪、雨夹雪、薄雾等。
例如,如上所述,可以假定环境信息项CI的各种内容。当然,也可以考虑上述内容以外的内容,并且可以将其包括在环境信息项CI中。
然后,可以使用传感器单元12所执行的检测、使用图像分析单元35所执行的图像内容的确定、使用图像信号处理单元41所执行的亮度等的检测、经由网络利用网络接口29的信息项的获取、使用考虑其他信息项(位置信息项等)的确定等,来获取各个信息项。
4.提供了动态图像效果的幻灯片回放
接下来,描述在回放与环境信息项CI相关联的图像数据项PCT时提供图像效果的处理的特定示例。例如,将描述在图像抓取设备1于显示面板6或监视设备100上执行回放和显示的情况下提供图像效果的处理的示例。
当用户执行指示图像抓取设备1执行回放操作的操作时,CPU 31在回放操作模式中执行处理。
在此情况下,CPU 31根据用户执行的操作,执行用于对记录介质90或闪速ROM 33上记录的图像进行回放的处理。CPU 31根据用户执行的操作,读取记录介质90或闪速ROM 33上记录的图像。CPU 31将指令提供给显示控制器7,从而控制显示控制器7促使显示面板6显示缩略图图像或一个回放目标图像。在此情况下,CPU 31执行控制以使得不仅只回放和显示图像数据项PCT,而且执行提供了基于环境信息项CI而确定的动态图像效果的显示。
动态图像效果是用于在执行回放时向用户提醒图像抓取时的环境的效果,并且是在显示静止图像的同时生成连续视觉变化的图像效果。例如,使用(例如)图像效果的类型、图像效果的强度、图像效果的时间序列表示、以及图像效果的类型、图像效果的强度、图像效果的时间序列表示的组合,来表示图像抓取时的环境。
在下文中,将描述在执行幻灯片回放的情况下提供图像效果的处理的示例。将幻灯片回放看作对(例如)用户所指定的每一文件夹中包括的多个图像数据项PCT依次进行回放的操作。假定将被确定为回放目标图像的图像数据项PCT记录在记录介质90上。
此外,如上所述,可以将各种内容看作环境信息项CI的内容。然而,这里,在下面的描述中假定环境信息项CI的内容例如包括温度、湿度、光量和紫外光量。
首先,参考图6A~图6C描述标准值设置处理。标准值是用于确定要在回放时提供的动态图像效果的值。图6A、6B和6C中图示了标准值设置处理的示例。
在图6A图示的示例中,在步骤F101,CPU 31读取与存储的所有图像对应的环境信息项。例如,CPU 31在时间点上,读取与记录介质90上存储的所有图像数据项PCT对应的所有环境信息项CI。
然后,在步骤F102,CPU 31计算环境信息项CI中每一环境项的平均值。在环境信息项CI的内容是温度、湿度、光量和紫外光量的情况下,计算针对作为温度、湿度、光量和紫外光量的各个环境项的平均值(平均温度、平均湿度、平均光量和平均紫外光量)。
在步骤F103,CPU 31将每一计算出的平均值(平均温度、平均湿度、平均光量和平均紫外光量)设置为针对对应一个环境项的标准值。
图6B图示标准值设置处理的另一示例。在本实施例中,在步骤F111,CPU 31读取与被确定为回放目标图像的所有图像对应的环境信息项。例如,当用户指定某一文件夹FDL1并且提供回放指令时,将幻灯片回放看作依次回放文件夹FLD1中包括的所有图像数据项PCT的操作。此外,当用户指定多个文件夹(如,文件夹FLD1和FLD2)并且提供回放指令时,将幻灯片回放看作依次回放文件夹FLD1和FLD2中包括的所有图像数据项PCT的操作。此外,当用户指定文件夹FLD1的一部分时,CPU 31依次回放文件夹FLD的该部分中包括的图像数据项PCT。在步骤F111,CPU 31在用户指定的回放范围中读取与被确定为回放目标图像的所有图像数据项PCT对应的所有环境信息项CI。
在步骤F112,CPU 31针对已经读取的环境信息项CI的各个环境项计算平均值(平均温度、平均湿度、平均光量和平均紫外光量)。然后,在步骤F113,CPU 31将每一计算出的平均值(平均温度、平均湿度、平均光量和平均紫外光量)设置为针对对应一个环境项的标准值。
换言之,图6B和图6A之间的差异在于:用于计算用以设置标准值的平均值的范围限于仅包括本次在幻灯片回放中所确定的回放目标图像的范围。
图6C图示标准值设置处理的又一示例。在本示例中,在步骤F121,CPU31检测当前环境值。用语“当前”意味着当用户试图执行幻灯片回放时的当前时间点。CPU 31(例如)从传感器单元12检测当前温度、当前湿度、当前光量和当前紫外光量,作为对于环境信息项CI的各个环境项的当前环境值。然后,在步骤F122,CPU 31将每一检测到的环境值(温度、湿度、光量和紫外光量)设置为针对对应一个环境项的标准值。
例如,在幻灯片回放之前执行上述多个标准值设置处理之一。注意,在幻灯片回放时,图6A所示的标准值设置处理的执行并不一定是必须的。可以在附接记录介质90的时间点、由于已经执行了图像抓取因此将新的图像数据项PCT和环境信息项CI记录在记录介质90上的时间点等来执行图6A所示的标准值设置处理。
图7中图示了在用户指定回放范围(例如,文件夹)并且执行提供幻灯片回放指令的操作的情况下由CPU 31执行的处理。
CPU 31根据提供幻灯片回放指令的操作,从步骤F201进入到F202。然后,CPU 31执行准备幻灯片回放的处理。例如,CPU 31根据用户提供的输入,确定执行幻灯片回放的回放范围。此外,CPU 31设置针对一个图像的回放时间、回放顺序等。
此外,在CPU 31执行图6B或图6C所示的标准值设置处理的情况下,可以考虑CPU 31执行步骤F202中的标准值设置处理。
另外,CPU 31从记录介质90读取要首先显示的图像数据项PCT以及对应于该图像数据项PCT的环境信息项CI,并且将图像数据项PCT和环境信息项CI加载到RAM 32中。
当CPU 31完成对于回放的准备时,CPU 31进入步骤F203,并且CPU 31开始指定回放范围中第一图像数据项PCT的回放。换言之,CPU 31向显示控制器7传送已经从记录介质90中读取出的第一图像数据项PCT。CPU 31促使显示控制器7执行第一图像数据项PCT在显示面板6(或监视器设备100)上的显示。
注意,在图7所示的示例中,基于与要依次回放的两个连续图像对应的环境信息项之间的差异来提供动态图像效果。于是,以正常方式显示第一图像(执行没有特别提供图像效果的显示)。然而,可以考虑这样的示例,其中也为第一图像提供动态图像效果。
在步骤F204,关于是否应当终止回放的确定,当用户在按照幻灯片回放执行一系列图像的回放的同时而执行用于终止回放的操作时,CPU 31确定应当终止回放。
当尚未检测到用于终止回放的操作时,CPU 31进入到步骤F205,并且执行用于准备下一回放目标图像的处理。
当幻灯片在步骤F203开始并且正在执行第一图像数据项PCT的回放和显示时,在步骤F205,CPU 31执行准备要第二个回放并显示的图像数据项PCT的处理。在此情况下,CPU 31确定要第二个回放和显示的图像数据项PCT,从记录介质90中读取图像数据项PCT以及与该图像数据项PCT对应的环境信息项CI,并且将图像数据项PCT和环境信息项CI加载到(例如)RAM 32中。
接下来,在步骤F206,CPU 31对已经加载到RAM 32中并且已经被确定为回放目标图像的图像数据项PCT执行动态图像效果的计算。换言之,CPU31确定在显示图像数据项PCT时是否要提供动态图像效果。此外,在要提供动态图像效果的情况下,CPU 31确定动态图像效果的类型、动态图像效果的量以及如何应用动态图像效果。基于对应于图像数据项PCT的环境信息项CI与对应于先前图像数据项PCT(即,当前作为静止图像显示的图像数据项)的环境信息项CI之间的比较,来确定动态图像效果的类型、动态图像效果的量以及如何应用动态图像效果。
下面参考图8、图9A~图9C以及图10和图11来描述图像效果计算处理的示例。
其后,在步骤F207,CPU 31等待幻灯片回放的图像切换定时。例如,当幻灯片回放中一个图像的回放显示时间是六秒时,CPU 31等待,直到开始当前显示的图像显示之后经过六秒为止。当图像切换定时到达时,CPU 31进入到步骤F208。CPU 31将被确定为下一回放目标图像的图像数据项PCT传送到显示控制器7,并且促使显示控制器7执行图像数据项PCT在显示面板6上的显示。在此情况下,CPU 31提供用于动态图像效果的类型、动态图像效果的量以及如何应用动态图像效果(其已经在步骤F206中确定出)的指令。当显示图像数据项PCT时,CPU 31促使显示控制器7应用动态图像效果。
根据CPU 31提供的指令,显示控制器7将传送的图像数据项PCT作为静止图像显示在显示面板6上。另外,显示控制器7提供图像在视觉上且动态地变化的动态图像效果。例如,显示控制器7在正在显示静止图像的同时改变显示参数,或者对静止图像执行图像合成处理,从而在显示屏幕上应用动态图像效果。
在步骤F209,CPU 31确定是否存在下一回放目标图像。在被看作一系列图像的所有图像数据项PCT的回放作为幻灯片回放而完成并且不存在下一回放目标图像的情况下,CPU 31从步骤F209进入到流程图的末尾以终止处理。在尚未完成幻灯片回放并且存在下一回放目标图像的情况下,CPU 31返回到步骤F204。在步骤F205,CPU 31执行准备下一回放目标图像的处理。注意,在重复执行幻灯片回放的情况下,为了在已经完成所有图像的回放之后回放第一图像数据项PCT,CPU 31即使在执行最后图像的显示的同时,也从步骤F209返回到步骤F204。
在幻灯片回放的上述过程中,在步骤F206,CPU 31确定动态图像效果,并且在步骤F208,CPU 31控制显示控制器7执行提供了动态图像效果的图像的显示。
在下文中,将详细描述步骤F206中的图像效果计算处理的示例。
图8的部分(a)图示了针对回放目标图像的图像效果计算处理的示例。图8的部分(b)图示了在图8的部分(a)中所示的每一步骤中计算出的特定值的示例。
在图8的部分(a)和(b)所示的示例中,将针对下一回放目标图像的环境信息项CI的每一环境项的环境值与针对先前回放目标图像(正显示的图像,在下文中称为“先前图像”)的环境信息项CI的每一环境项的环境值转换为体感环境信息项,并且基于各体感环境信息项之间的差异来确定图像效果。
首先,在步骤F301,CPU 31获取先前图像的环境信息项CI和回放目标图像的环境信息项CI。例如,CPU 31在图7所示的步骤F205(F202)中,获取已经从记录介质90中加载到RAM 32中的先前图像的环境信息项CI以及回放目标图像的环境信息项CI。
例如,如图8的部分(b)中所示,针对先前图像,CPU 31获得各个环境项的下列环境值:温度25℃;湿度10%;光量10,000lx;以及紫外光量100lx。另外,针对回放目标图像,CPU 31获得各个环境项的下列环境值:温度40℃;湿度60%;光量10lx;以及紫外光量0lx。
接下来,在步骤F302,CPU 31将环境信息项CI中包括的所获得的环境值转换为体感环境信息项。例如,CPU 31计算体感温度和体感光量作为体感环境信息项。图9A中图示了用于计算体感环境信息项的计算等式。
可以以使用温度t和湿度h的下列等式来计算体感温度M。
M=(1/2.3)×(t-10)×(0.8-(h/100))
此外,可以以使用光量α和紫外光量β的下列等式来计算体感光量N。
N=α+β×100
使用上述计算等式,例如,如图8的部分(b)所示,先前图像的体感环境信息项计算如下:体感温度21℃;以及体感光量20,000lx。回放目标图像的体感环境信息项计算如下:体感温度37℃;以及体感光量10lx。
在步骤F303,CPU 31将每一体感环境信息项转换为环境变化体感量,以使得将基于体感量来处理值的增量。然后,在步骤F304,CPU 31对环境变化体感量进行归一化,以使得可以相互比较环境变化体感量。
例如,图9B图示了通过将体感温度转换为环境变化体感量并且通过使用点值pt来归一化环境变化体感量而获得的关系。图9C图示了通过将体感光量转换为环境变化体感量并且通过使用点值pt来归一化环境变化体感量而获得的关系。
将体感温度到环境变化体感量的转换看作反映人的温度的感觉(人以其觉察温度的变化)的处理。例如,在温度从20℃变化10℃至10℃的情况下,人根据温度的感觉高敏感性地觉察到温度的变化而使得此人说“已经变冷了”。此外,在温度从-10℃变为-20℃的情况下,温度的变化同样为10℃的变化。然而,对于这两种情况,此人根据温度感觉,不一定高敏感性地觉察到温度的变化而使得此人说“非常冷”。人具有与温度感觉类似的亮度感觉。
在本实施例中,由于将图像抓取时的用户感觉反映在动态图像效果中,因此最好也反映各察觉方式之间的上述差异。
为此,设置图9B和图9C所示的曲线。利用这些曲线,将人的温度感觉与亮度感觉反映为环境变化体感量,并且使用点值pt归一化环境变化体感量。
例如,如图8的部分(b)中所图示,使用图9B中所示的曲线,将针对先前图像的体感温度21℃转换为67pt。类似地,使用图9B中所示的曲线,将针对回放目标图像的体感温度37℃转换为88pt。
此外,使用图9C中所示的曲线,将针对先前图像的体感光量20,000lx转换为90pt。类似地,使用图9C中所示的曲线,将针对回放目标图像的体感光量10lx转换为10pt。
接下来,在步骤F305,CPU 31计算体感温度差异与体感光量差异作为各个归一化的环境变化体感量的变化(下文称为“体感变化量”),即,先前图像的环境变化体感量与回放目标图像的环境变化体感量之间的差异。
使用等式88pt-67pt=+21pt来计算+21pt的体感量温度差异。
使用等式10pt-90pt=-80pt来计算-80pt的体感量光量差异。
在步骤F306,CPU 31通过考虑对应一个标准值,针对每一体感环境信息项确定图像效果的类型。该标准值是在如上所述的图6A~图6C所示的各标准值设置处理之一中所设置的值。
例如,使用图10中所示的效果模板来确定图像效果。该效果模板是预先设置的,并且例如存储在闪速ROM 33中。于是,CPU 31在需要时利用效果模板。
提供图10中所示的效果模板作为具有关于体感温度和体感光量的内容的效果模板的示例。效果模板包括下列项:“变化”;“变化和标准值之间的关系”;“针对应用的最小点pt”;“图像效果的类型”;以及“图像效果的细节”。
项“变化”是指示如下条件的设置:该条件用于确定体感温度或体感光量的变化的情况是增大的情况,还是减小的情况。
项“变化和标准值之间的关系”是指示如下条件的设置:该条件用于确定上述情况是体感温度或体感光量等于或高于体感温度或体感光量已经变化之后的对应标准值的情况,还是体感温度或体感光量低于所述标准值的情况。
项“针对应用的最小点pt”是指示如下条件的设置:该条件用于确定在使用变化的绝对值所计算出的体感变化量的绝对值低于该最小点的情况下不提供图像效果。在本示例中,将关于体感温度的应用的最小点pt设置为20pt,并且将关于体感光量的应用的最小点pt设置为30pt。
项“图像效果的类型”是指示期望表示为动态图像效果的周围环境的设置。
项“图像效果的细节”指示用于表示在项“图像效果的类型”中设置的周围环境的动态图像效果的内容(图像效果的类型、图像效果的量、图像效果的时间序列表示等)。
关于项“图像效果的细节”,将在幻灯片回放中显示静止图像的时间段分为三个时间段。初始阶段、中间阶段和最终阶段是三个时间段的示例。例如,如上所述,当一个图像的回放显示时间是六秒时,将两秒的时间段定义为初始阶段、中间阶段和最终阶段中的每一个。
例如,“已经变热”的图像效果的细节设置如下:在初始阶段中不提供图像效果;在中间阶段,色温逐步降低并且亮度(图像亮度)逐步增大;以及在最终阶段中布提供图像效果。
关于体感温度,使用在项“变化”中设置的条件来确定从先前图像的体感温度到回放目标图像的体感温度的变化的情况是增大的情况还是减小的情况。换言之,确定在步骤F305中计算出的体感温度差异是正值还是负值。
当确定该情况是增大的情况时,确定该情况是体感温度由于增大而已经变为等于或高于对应标准值的情况,还是体感温度即使在增大之后仍然低于标准值的情况。
当确定该情况是减小的情况时,确定该情况是体感温度即使在减小之后仍然等于或高于标准值的情况,还是体感温度由于减小而已经变为低于标准值的情况。
此外,根据项“针对应用的最小点pt”,例如,确定将在体感温度差异的绝对值(例如)等于或高于20pt的情况下提供图像效果。
例如,将体感温度差异为+21pt的情况(如图8的部分(b)中所示的示例中那样)确定为体感温度“增大”的情况。此外,由于体感温度差异等于或高于针对应用的最小点pt(20pt),因此确定将应用动态图像效果。
关于温度和标准值之间的比较,将回放目标图像的温度(40℃)(其包括在回放目标图像的环境信息项CI中)或体感温度(37℃)(其已在步骤F302中计算出)与标准值进行比较。
例如,假定将用作标准值的温度设置为23℃,在这种情况下,回放目标图像的温度或体感温度已经变为等于或高于增大之后的标准值。于是,确定图像效果的类型是“已经变热”。由此,如项“图像效果的细节”中所设置的那样具体确定动态图像效果的内容。
关于体感光量,使用项“变化”的条件来确定从先前图像的体感光量到回放目标图像的体感光量的变化的情况是增大的情况还是减小的情况。换言之,确定在步骤F305中计算出的体感光量差异是正值还是负值。
当确定此情况是增大的情况时,确定该情况是体感光量由于增大而已经变为等于或高于对应标准值的情况,还是体感光量即使在增大之后仍然低于标准值的情况。
当确定该情况是减小的情况时,确定该情况是体感光量即使在减小之后仍然等于或高于标准值的情况,还是体感光量由于减小而已经变为低于标准值的情况。
此外,根据项“针对应用的最小点pt”,例如,确定将在体感光量差异的绝对值(例如)等于或高于20pt的情况下提供图像效果。
例如,将体感光量差异为-80pt的情况(如图8的部分(b)中所示的示例中那样)确定为体感光量“减小”的情况。此外,由于体感光量差异等于或高于针对应用的最小点pt(30pt),因此确定将提供动态图像效果。
关于光量和标准值之间的比较,将回放目标图像的光量(10lx)(其包括在回放目标图像的环境信息项CI中)或体感光量(10lx)(其已在步骤F302中计算出)与标准值进行比较。
例如,假定将用作标准值的光量设置为1,000lx,在这种情况下,回放目标图像的光量或体感光量已经变为低于减小之后的标准值。于是,确定图像效果的类型是“已经变暗”。由此,如项“图像效果的细节”中所设置的那样来具体确定动态图像效果的内容。
CPU 31例如利用使用如上所述的效果模板,确定与体感温度和体感光量相关联的图像效果的内容。
接下来,在步骤F307,CPU 31以体感变化量的降序,将优先级分配给环境信息项的各环境项。在此情况下,将优先级分配给体感温度和体感光量。
在图8B所示的示例中,作为体感变化量的体感温度差异为21pt,而作为体感变化量的体感光量差异为80pt。于是,确定将第一优先级分配给体感光量,而将第二优先级分配给体感温度。换言之,将第一优先级分配给“已经变暗”的图像效果,而将第二优先级分配给“已经变热”的图像效果。
在步骤F308,CPU 31根据优先级检查各图像效果之间的兼容性。执行确定如何应用多种类型的图像效果的处理,如,如何根据兼容性同时应用图像效果,或者是否不应用优先级低的图像效果。
在图11中,图示了各图像效果之间的兼容性以及优先级低的图像效果的强度的设置的内容的示例。
在图11中,在垂直和水平方向上均列出了“已经变热”的图像效果、“已经变得没那么冷”的图像效果、“已经变得没那么热”的图像效果、“已经变冷”的图像效果、...以及“已经变暗”的图像效果,并且图示了垂直方向上的图像效果与水平方向上的图像效果之间的关系。
“x”表示作为优先级为第一和第二的图像效果(如“已经变热”的图像效果和“已经变冷”的图像效果)的组合不容易发生的情况。
“无”表示优先级为第一和第二的图像效果没有兼容性的情况。可以将图像效果没有兼容性的情况看作以特定方式的图像效果的同时应用不必要的情况。例如,在此情况下,当优先级为第一和第二的图像效果分别是“已经变得没那么热”的图像效果和“不再暗”的图像效果时,不考虑优先级为第二的图像效果。
处于“1%”~“99%”这一范围的每个值表示这样的情况:其中,图像效果具有兼容性,并且将该值用作优先级低的图像效果的强度(图像效果量的减小量)。例如,当优先级为第一和第二的图像效果分别是“已经变冷”的图像效果和“已经变暗”的图像效果时,关于优先级是第二的“已经变暗”的图像效果的量,应用图10中所示的效果模板的项“图像效果的细节”中所设置的50%的图像效果的量。
在图8B所示的示例中,将第一优先级分配给“已经变暗”的图像效果,并且将第二优先级分配给“已经变热”的图像效果。在此情况下,根据图11中所示的关系,关于优先级为第二的图像效果,应用10%的图像效果的量。换言之,关于“已经变热”的图像效果,应用效果模板的项“图像效果的细节”中所设置的10%的图像效果的量。
最后,在步骤F309,CPU 31根据体感变化量以及已经分配了优先级的各图像效果之间的兼容性,确定要应用的图像效果的类型以及每一个图像效果的强度。
在图8B所示的示例中,使用优先级为第一的“已经变暗”的图像效果和优先级为第二的“已经变热”的图像效果,来具体地确定图像效果的类型和图像效果的量。
例如,在初始阶段,亮度降低了80pt×1%,而锐度降低了80pt×0.5%。根据图10中所示的效果模板,关于“已经变热”的图像效果,不为初始阶段设置图像效果。于是,关于“已经变暗”的图像效果,仅应用为初始阶段所设置的图像效果。
在中间阶段,关于“已经变暗”的图像效果,设置亮度和锐度分别逐步变回原始亮度和原始锐度的图像效果。于是,应用图像效果而不经受任何处理。相比之下,关于“已经变热”的图像效果,设置色温逐步降低并且亮度逐步增大的图像效果。然而,将优先级为第二的图像效果的量乘以10%。于是,色温逐步降低了21pt×0.1%。亮度增大了21pt×0.02%。然而,由于0.02%的增大作为图像效果的量是十分小的,因此没有应用图像效果。
在最终阶段,针对“已经变暗”的图像效果和“已经变热”的图像效果两者均未设置图像效果。没有应用图像效果。
在图7所示的步骤F206,如上面给出的图8A中所示的那样,CPU 31针对回放目标图像具体地确定图像效果的类型、图像效果的量和图像效果的时间序列表示。
在步骤F208,CPU 31向显示控制器7提供用于应用所确定的图像效果的指令。当显示控制器7促使显示面板6显示回放目标图像时,显示控制器7例如改变显示参数(亮度、色温、锐度、对比度等),或者执行图像合成处理,从而控制提供了指令中所指定的图像效果的显示。
利用上述处理,正在观看抓取的图像数据项的幻灯片的人觉察到图像抓取时的周围环境的变化。更具体地,基于回放目标图像的环境信息项CI和先前图像的环境信息项CI之间的比较来确定图像效果。以此方式,可以在依次回放为幻灯片的各图像中适当地表示抓取各个图像时周围环境的变化以及抓取图像的人所经历的变化。因此,可以使得相片或视频的原始效果(如“记忆的回忆”或“印象的传递”)更加有效,并且可以使得图像(如,照片)的回放更加令人满意。
注意,描述上述处理作为在幻灯片回放中执行的处理。上述处理不仅可以应用于幻灯片回放,还可以类似地应用于如下的情况:其中,根据用户通常执行的、在显示屏幕上前进页面的操作,依次回放文件夹中包括的各个图像数据项。
此外,在图像效果确定处理中,使用环境信息项CI的内容确定体感环境信息项,并且基于体感环境信息项确定图像效果的类型、图像效果的量等。然而,代替使用体感环境信息项,可以在不对环境信息项CI执行任何处理的情况下,使用环境信息项CI的各个环境项的值(温度、光量等)来确定图像效果。
5.图像效果的示例
将描述图像效果的实际示例。
图12~图15是使用上面参考图8、图9A和图9B以及图10和图11所描述的各处理来确定图像效果的情况的示例。
例如,图12图示如下的情况:在幻灯片回放过程中当前正在显示图像数据项PCT1,并且将显示图像数据项PCT 2作为下一回放目标图像。图示了与图像数据项PCT1和PCT2中的每一个对应的环境信息项的示例。关于光量,图像数据项PCT1的光量为10,000lx,而图像数据项PCT2的光量为10lx。
作为图像抓取时用户所处的情形,指示了如下的情况:用户在外界的某个地点抓取图像数据项PCT1,并且此后当用户进入暗地点(如洞穴)时,用户执行下一图像抓取以抓取图像数据项PCT2。
图12底部的虚线区域中图示了通过提供动态图像效果所导致的显示屏幕上的显示图像的变化。该虚线区域指示如下情况的示例:其中,使用图8中所图示的、利用对应于图像数据项PCT1的环境信息项以及对应于图像数据项PCT2的环境信息项所执行的图像效果计算处理,来确定“已经变暗”的图像效果的提供。
利用该图像效果,重建用户在图像抓取时所经历的周围环境。换言之,在用户处于明亮的外界之后,用户进入洞穴,从而用户察觉到洞穴中非常暗。使用动态图像效果来表示用户在此情况(即,当用户移至黑暗地点时用户所处的情形)下察觉到的黑暗程度。更具体地,表示如下的情形:其中,用户可以在进入黑暗地点之前看见风景,用户在进入黑暗地点时由于黑暗而不能看见黑暗地点的内部,并且用户由于其瞳孔在一会之后逐步变得习惯黑暗而变得能够看见黑暗地点的内部。
如虚线区域中所示,在幻灯片回放的图像切换定时,显示从图像数据项PCT1的显示切换到图像数据项PCT2的显示。紧接此之后,在图像数据项PCT2的显示中,亮度和锐度降低,由此显示屏幕变暗(#2)。以此方式,使用亮度降低的动态图像效果表示如下的现象:当人进入黑暗地点时,此人由于黑暗而变得暂时不能看见周围。此外,由于人不能清楚地看见黑暗地点中的物体,因此锐度也降低。
此后,亮度和锐度分别逐步变回原始亮度和原始锐度(#3)。使用动态图像效果表示人的眼睛逐步变得习惯黑暗并且人逐步变得能够看见周围的现象。最后,图像数据项PCT2的显示变回图像数据项PCT2的正常显示(#4)。以此方式,表示了人的眼睛变得习惯黑暗并且用户变得能够观测到周围的现象。
图13图示了显示接下来从图像数据项PCT2的显示变为图像数据项PCT3的显示的状态。被确定为先前图像的图像数据项PCT2的光量为10lx,被确定为回放目标图像的图像数据项PCT2的光量为80,000lx。图示了应用“已经变得非常亮”的动态图像效果的情况。作为用户在图像抓取时所处的情形,指示了用户从洞穴移至明亮地点的情况。
虚线区域中所示的显示图像的变化指示了应用创建下列两种情形的动态图像效果的示例,所述情形为:在用户移至非常明亮的地点时,用户在短暂的瞬间感觉到其可以看到风景、用户由于非常明亮的光而变得暂时不能看到风景并且用户由于其瞳孔逐步变得习惯非常明亮的光而变得能够看到景物的情形;以及用户可以清楚且逼真地看到明亮地点中的边缘的情形。
如虚线区域中所示,在幻灯片回放的图像切换定时,显示从图像数据项PCT2的显示切换到图像数据项PCT3的显示(#1)。
紧接在此之后,应用对整个显示增大亮度而使得将亮度设置为非常高的值的图像效果(#2)。以此方式,使用动态图像效果表示这样的现象:当人已移至明亮地点时,此人变得暂时看不见以及费力地看到物体。
使用亮度逐步变回原始亮度的动态图像效果表示这样的现象:在看不到之后,此人的眼睛变得习惯非常亮的光;并且此人逐步变得能够看到周围(#3)。然后,最终将锐度、亮度和色彩度设置为合适的值,从而表示人可以清楚且逼真地看到明亮地点中的物体的现象(#4)。
接下来,图14图示在显示当用户移至热地点时所抓取的图像的情况下执行的处理的示例。
关于被确定为先前图像的图像数据项PCT10,环境信息项中包括的“温度”为25℃。指示了图像是在温度为25℃的环境下抓取的。另一方面,关于被确定为下一回放目标图像的图像数据项PCT11,环境信息项中包括的“温度”为45℃。指示了图像是在温度为45℃的环境下抓取的。
在这种情况下,图14中所示的虚线区域中所示的显示图像的变化指示重建如下情形的示例:当用户已移至热地点时,用户以他/她的视觉感觉识别出处于热地点的状态;以及此后,用户经由其皮肤逐步察觉到温度的变化。
首先,显示从图像数据项PCT10的显示切换到图像数据项PCT11的显示(#1)。
为了表示热的状态,例如,降低色温,增大亮度并且减小锐度。
当用户已经移至热地点时,取决于温度,用户在一会之后逐步感觉到热,而在大多数情况下不立即思考“天很热”。为此,首先色温、亮度和锐度的变化量减小(#2)。然后,为了表达用户随着其逐步识别出处于热地点的状态而逐步感觉到热的这一现象,逐步减小色温、增大亮度并且减小锐度(#3)。此后,最终,为了进一步清楚地表达处于热地点的状态,将包括色温等在内的各参数的变化量最大化(#4)。
图15图示了在显示用户移至冷地点时所抓取的图像的情况下执行的处理的示例。
关于被确定为先前图像的图像数据项PCT20,环境信息项中包括的“温度”为25℃。指示了图像是在温度为25℃的环境下抓取的。另一方面,关于被确定为下一回放目标图像的图像数据项PCT21,环境信息项中包括的“温度”为3℃。指示了图像是在温度为3℃的环境下抓取的。
在这种情况下,图15中所示的虚线区域中所示的显示图像的变化指示重建如下情形的示例:当用户已移至冷地点时,用户以他/她的视觉感觉识别出处于冷地点的状态;以及此后,用户经由其皮肤逐步察觉到温度的变化。
首先,显示从图像数据项PCT20的显示切换到图像数据项PCT21的显示(#1)。
为了表示冷的状态,例如,增大色温,减小亮度并且增大锐度。
当用户已经移至冷地点时,取决于温度,用户在一会之后逐步感觉到冷,而在大多数情况下不立即思考“天很冷”。为此,首先色温、亮度和锐度的变化量减小(#2)。然后,为了表达用户随着其逐步识别出处于冷地点的状态而逐步感觉到冷的现象,逐步增大色温、减小亮度并且增大锐度(#3)。此后,最终,为了进一步清楚地表达处于冷地点的状态,将包括色温等在内的各参数的变化量最大化(#4)。
显示控制器7例如根据使用图10中所图示的效果模板而确定的图像效果,在时间轴方向上动态地改变包括亮度(亮度变化(色调))、色温、锐度(边缘增强和模糊)等在内的各显示参数,从而实现了上面给出的图12~图15中所示的图像数据项的显示。
此外,可以考虑将下列效果作为使用了显示参数的图像效果而应用于图像数据项PCT:彩色平衡变化;图像特殊效果(波动、运动、变换等);对比度变化;以及色彩度变化。此外,例如也可以考虑下列效果的应用:伽玛值变化;分辨率变化;各图像彼此的重叠(相同透明图像彼此的移动和重叠);噪声添加;色彩梯度变化;以及光源增强(白色部分等的扩展)。
注意,在动态图像效果中,在不改变图像数据项的情况下在显示屏幕上提供可视动态变化。
从在不改变图像数据项的情况下改变显示图像的视角,描述如下方案的示例:动态地改变包括亮度、色温、锐度等在内的各显示参数。然而,也可以将用于在不改变图像数据项的情况下改变显示图像的另一方案看作除了改变显示参数的方案以外的方案。例如,显示面板的背光源的亮度动态地变化的方案对应于上述方案。
另外,可以将更多的各种示例看作用于重建图像抓取时的周围环境的图像效果的示例。例如,也可以考虑如下的方案:诸如,修改了要显示的图像数据项的方案以及添加显示图像的方案。参考图16到图19以及图20A和图20B,将描述图像效果的其他示例。
图16图示通过使用图像合成提供动态图像效果的示例。换言之,该示例是通过使用图像合成处理来改变作为显示目标的图像数据项的示例。
例如,关于被确定为先前图像的图像数据项PCT30,环境信息项中包括的“天气”是多云天气。关于作为下一回放目标图像所准备的图像数据项PCT31,环境信息项中包括的“天气”是下雨天气。
在此情况下,图16中所示的虚线区域中所示的显示图像的变化指示如下的示例:使用图像合成来重建在抓取图像数据项PCT31时开始下雨的情形。
首先,显示从图像数据项PCT30的显示切换到图像数据项PCT31的显示(#1)。
为了表示开始下雨这一事实,采用将雨滴的图像与图像数据项PCT31组合的示例。换言之,在显示已经切换至图像数据项PCT31的显示之后,增大组合的雨滴图像的量,从而逐步在显示器上增大雨滴数目(#1→#2→#3→#4)。
利用上述动态图像效果,可以表示图像抓取时的情形。
除了使用雨滴图像的图像合成之外,还可以根据天气考虑各种类型的图像合成的示例。例如,当环境信息项指示天气从多云变为晴天时,组合指示太阳光照亮的状态的图像(太阳光的图像)。将彩虹的图像与指示已经停止下雨的状态的图像进行组合。
图17图示使用图像合成添加日期的显示作为静态图像效果的示例。
例如,关于被确定为先前图像的图像数据项PCT40,环境信息项中包括的“日期”为2008.5.2。关于作为下一回放目标图像而准备的图像数据项PCT41,环境信息项中包括的“日期”为2008.5.3。
在这种情况下,图17所示的虚线中图示了在幻灯片回放中以此次序顺序地回放图像数据项PCT40、PCT41、PCT42和PCT43的状态。在日期改变时(即,显示图像数据项PCT41时)组合日期的显示。
利用上述图像效果,向用户示出了在执行幻灯片回放的同时在一系列回放目标图像中改变日期的这一事实(即,图像数据项PCT 41以及其随后的各图像数据项在下一天抓取这一事实)。这促使用户回忆起在图像抓取时已经使用了他/她的感觉。
也可以将图18中所示的图像效果看作使用日期作为环境信息项的示例。
在图18中,未将图像效果应用于抓取的图像数据项。图18图示了在幻灯片回放过程中显示插入图像的示例。
例如,如示例1中的虚线区域中所示,当执行从图像数据项PCT40的显示到图像数据项PCT41的显示的切换时,将指示图像数据项PCT41被抓取的日期“2008.5.3”的图像作为插入图像而插入。
此外,如示例2中那样,当执行从图像数据项PCT40的显示到图像数据项PCT41的显示的切换时,顺序地显示指示图像数据项PCT40被抓取的日期的插入图像#1和指示图像数据项PCT41被抓取的日期的插入图像#2。此后,显示图像数据项PCT 41。
此外,利用上述图像效果,可以向用户示出在执行幻灯片回放的同时在一系列回放目标图像中日期改变的这一事实。这促使用户回忆起在图像抓取时已经使用了他/她的感觉。
图19图示了动态图像效果和静态图像效果的组合的示例。
如同在图17和图18所示的上述情况下那样,将各日期用作对应于图像数据PCT40和PCT41的环境信息项。
如图19的虚线区域中所示那样,当执行从图像数据项PCT40的显示到图像数据项PCT41的显示的切换时,图像数据项PCT40淡出(#1→#2→#3)。
此外,在图像数据项PCT40已经淡出之后,显示切换到图像数据项PCT41的显示。在此情况下,组合日期的显示。
图像淡出的上述动态图像效果促使用户识别出该图像(图像数据项PCT41)指示一天的末尾并且下一图像(图像数据项PCT41)及其随后的各图像是在下一天抓取的。这可以向用户提醒图像抓取时的周围环境。
图20A图示根据作为环境信息项的“位置”添加静态图像效果的示例。将图像数据项PCT51看作在成田机场抓取到的图像。将图像数据项PCT52看作用户抵达夏威夷之后抓取的图像。
在与两个连续图像数据项对应的位置信息项为彼此不同的“成田机场”和“夏威夷”的情况下,在回放图像数据项PCT51时,组合字符“成田机场”的图像。然后,在显示切换至图像数据项PCT52的显示时,组合字符“抵达夏威夷”的图像。于是,可以向用户示出执行图像抓取的地点从一个地点切换到另一个地点的这一事实,并且这促使用户回忆起在旅行时已经使用了他/她的感觉。
图20B图示了在执行图像数据项PCT51和PCT51的显示时,根据不同的位置信息项而显示插入图像的示例。
在这种情况下,将地球的图像显示为插入图像。并且在地球的图像上将诸如红色圆圈R之类的指示器从成田机场移至夏威夷。上述显示可以使得用户实现向夏威夷的运动。
上面描述了各种类型图像效果的示例。当然,可以考虑图像效果(动态图像效果、静态图像效果以及其组合)的变型。也可以根据环境信息项的类型来考虑图像效果的变型。
可以考虑根据环境条件(如,气体流量或气体流速率)的显示屏幕的抖动、飘扬的树叶的图像的添加等。
此外,当位置是“水外”时,可以考虑随机地添加喷洒水的图像的图像效果。
另外,也可以考虑如下的图像效果:随着时间帧以黎明前时间、晨时、下午时间、傍晚时间和午夜时间等的顺序改变,来改变基本显示图像的色调(包括亮度、色温等)。
此外,也可以考虑如下的图像效果:根据诸如欢呼或嘈杂之类的声音音量来添加用于指示声音效果的字符的图像。
6.幻灯片选择回放
接下来,将描述幻灯片选择回放的操作。
在上述幻灯片回放中,用户指定文件夹等,顺序地回放根据说明(specification)而被确定为回放目标图像的图像数据项。幻灯片选择回放包括选择要确定为回放目标图像的图像数据项PCT的条件的设置。在幻灯片选择回放过程中提供了向用户提醒图像抓取时的周围环境的图像效果。
此外,如上述示例中那样,效果模板用于确定图像效果。然而,这里将描述如下的示例:其中,还添加通过考虑对应于两个连续图像数据项的环境信息项来修改效果模板中的设置的内容的处理。
图21中图示了CPU 31在幻灯片选择回放中执行的处理。
首先,在步骤F401,CPU 31执行幻灯片执行设置处理。图22A中图示了幻灯片执行设置处理。
在图22A所图示的步骤F451,CPU 31指示显示控制器7促使显示面板6(或监视器设备100)显示幻灯片执行设置屏幕。
幻灯片执行设置屏幕是用户用以设置选择要作为幻灯片回放的图像的条件的屏幕。例如,使用图25A所示的屏幕。这里,可以使用下拉菜单选择如下项中每一个的内容:“回放目标”、“回放图像的特性”和“要回放的图像质量的标准”。此外,显示了幻灯片开始按钮、取消按钮等。
在步骤F452,CPU 31执行在幻灯片设置屏幕上接受由用户提供的输入的处理。
图25B中图示了可以设置在幻灯片执行设置屏幕上的设置的内容的示例。
例如,关于项“回放目标”,用户可以选择作为选项的“所有”、“相同文件夹”或“相同日期”。
“所有”是将所有图像数据项PCT确定为回放目标图像的设置。
“相同文件夹”是将包含有当前显示图像的相同文件夹中所包括的各图像(图像数据项PCT)确定为回放目标图像组的设置。
“相同日期”是将具有当前显示图像的相同日期的各图像(图像数据项PCT)确定为回放目标图像组的设置。
关于项“回放图像的特性”,用户可以选择作为选项的“所有”、“婴儿”或“人物”。
“所有”是对图像内容的特性没有强加限制的设置。
“婴儿”是仅回放包括婴儿的图像的设置。
“人物”是仅回放包括人物的图像的设置。
当然,也可以考虑上述设置以外的其他设置的示例,诸如“仅风景”、“主被摄体是风景的图像”、“主被摄体是自然物体的图像”以及“主被摄体是虚拟物体的图像”。
关于项“要回放的图像质量的标准”,用户可以选择作为选项的“手动未引起图像抖动”、“所有”、“适当的构图”或“自动”。
“手动未引起图像抖动”是不回放手动引起的图像抖动量等于或高于预定量的图像的设置。
“所有”是对图像的品质没有强加限制的设置。
“适当的构图”是不回放具有不适当的构图的图像的设置。具有不适当的构图的图像的示例包括面部的一部分在框的角落等处被截去的图像。
“自动”是使用预定条件执行自动确定的设置。
此外,也可以考虑上述设置以外的其他设置的示例,诸如“非散焦”和“非逆光”。
用户通过使用幻灯片执行设置屏幕上的下拉菜单等,执行用于提供设置的输入的操作,从而选择设置。当用户通过选择设置来输入条件时,用户执行用于提供开始幻灯片的输入的操作。
在步骤F452,CPU 31接受用于设置的输入。当用户提供了用于开始幻灯片的输入时,CPU 31确定用于设置的输入已被确定,并且从步骤F453进入到步骤F454。在步骤F454,CPU 31确定回放图像选择参数。换言之,CPU31针对各个项“回放目标”、“回放图像的特性”和“要回放的图像质量的标准”确定用户已经输入的设置所指示的条件。
然后,在步骤F455,CPU 31通过使用项“回放目标”中的设置所指示的条件来确定回放目标图像组。例如,当选择“相同文件夹”时,将包括有当前显示图像的相同文件夹中所包含的所有图像数据项PCT确定为回放目标图像组。
注意,关于图21以及图22A和图22B,未描述参考图6A~图6C所描述的标准值设置处理。然而,在采用图6A中所示标准值设置处理的情况下,可以预先执行标准值设置处理。此外,在采用图6B中所示的标准值设置处理的情况下,在步骤F455确定回放目标图像组时的时间点,可以对回放目标图像组中的所有图像数据项执行标准值设置处理。
另外,同样在执行图6C所示的标准值设置处理的情况下,可以考虑在进行幻灯片执行设置处理时执行标准值设置处理。
当CPU 31以此方式完成幻灯片执行设置处理时,在图21所示的步骤F402,CPU 31执行第一回放目标图像的准备。
图22B中图示了回放目标图像准备处理。
在步骤F461,CPU 31从已经在幻灯片执行设置处理(在图22A所示的步骤F455)中确定的回放目标图像组中获取第一图像数据项。换言之,CPU31从记录介质90中读取要首先显示的图像数据项PCT以及对应于该图像数据项PCT的环境信息项CI,并且将图像数据项PCT和环境信息项CI加载到RAM 32。
然后,CPU 31针对各个项“回放图像的特性”和“要回放的图像质量的标准”,确定所获取的图像数据项PCT是否满足条件。
在此情况下,除非各个项中的设置为“所有”,否则CPU 31将图像数据项PCT传送至图像分析单元35,并且使用图像分析处理的结果来确定图像数据项PCT是否满足条件。
当在项“回放图像的特性”中选择“婴儿”或“人物”时,CPU 31使用图像分析来确定婴儿或人物是否包括在图像数据项PCT中。
关于项“要回放的图像质量的标准”,CPU 31使用图像分析来执行与“手动所引起的图像抖动”、“构图”等相关联的确定。注意,关于“手动所引起的图像抖动”,如果图像抓取时手动所引起的图像抖动的量(其已经由图像抖动检测单元13获得)已经添加到环境信息项CI或图像数据项PCT,则可以参考手动所引起的图像抖动的量的值。
CPU 31检查图像分析的结果。当CPU 31确定所获得的图像数据项PCT满足项“回放图像的特性”和“要回放的图像质量的标准”这两者中的设置所指示的条件时,CPU 31以此次序进入到步骤F462、F463和F464。然后,CPU 31确定图像数据项PCT作为目标图像。接下来,在步骤F465,CPU 31为幻灯片准备图像数据项PCT。
相比之下,当图像数据项PCT不满足项“回放图像的特性”和“要回放的图像质量的标准”这两者中的设置所指示的任一条件时,CPU 31返回到步骤F461。CPU 31从回放目标图像组中选择下一图像数据项PCT,并且从记录介质90中读取图像数据项PCT。然后,CPU 31以类似于上述的方式,对图像数据项PCT执行确定。
当CPU 31完成上面给出的回放目标图像准备处理时,CPU 31以此次序进入到图21中所示的步骤F403和F404。CPU 31开始作为幻灯片的图像的显示。
换言之,CPU 31向显示控制器7传送已经在图22B中所示的步骤F465中被确定为要首先回放的“目标图像”的图像数据项PCT。CPU 31促使显示控制器7将图像数据项PCT显示在显示面板6上。
注意,在步骤F403中确定应当终止回放的情况是这样的情况:其中,回放目标图像组中包括的所有图像数据项PCT都不满足步骤F402中的项“回放图像的特性”和“要回放的图像质量的标准”中的设置所指示的条件(图示在图22B中)。换言之,确定不存在满足用户所期望的条件的图像数据项,并且终止幻灯片选择回放。
当在步骤F404中开始幻灯片回放并且回放和显示第一图像数据项PCT时,在步骤F405,CPU 31执行准备下一个要回放并显示的图像数据项PCT的处理。
如步骤F402中的处理那样,还执行步骤F405中的处理,作为图22B中所示的回放目标图像准备处理。于是,确定满足了用户所期望的条件的下一回放目标。
在步骤F406,确定是否应当终止回放。在步骤F406,当用户在正在执行一系列图像的回放作为幻灯片回放的同时已经执行了用于终止回放的操作时,CPU 31确定应当终止回放。
当尚未检测到用于终止回放的操作时,CPU 31进入到步骤F407,并且对下一回放目标图像执行图像效果计算处理。
当在步骤F407中计算图像效果时,针对被确定为下一回放目标图像的图像数据项PCT,CPU 31确定在显示图像数据项PCT时是否要提供动态图像效果。此外,当要提供动态图像效果时,CPU 31确定图像效果的类型、图像效果的量和如何应用图像效果。基于对应于图像数据项PCT的环境信息项CI与先前图像(作为静止图像正在当前显示的图像数据项)的环境信息项CI之间的比较来执行确定。另外,还使用对应于图像数据项PCT的环境信息项CI与先前图像的环境信息项CI之间的比较结果,来修改效果模板中的设置。
图23中图示了步骤F407中的图像效果计算处理。
首先,在步骤F471,CPU 31获取先前图像的环境信息项CI以及回放目标图像的环境信息项CI。例如,CPU 31获取已经在图21中所示的步骤F405(或F402)从记录介质90中读取出并加载至RAM 32的先前图像的环境信息项CI以及回放目标图像的环境信息项CI。
接下来,在步骤F472,CPU 31修改效果模板中的设置(见图10)。下面将描述效果模板中的设置的修改。
然后,在步骤F474~F481,CPU 31确定图像效果的类型、图像效果的量以及图像效果的时间序列表示。步骤F474~F481中的处理与上述图8的部分(,a)中所示的步骤F302~F309中的处理类似。防止了冗余的描述。
关于步骤F474~F481,描述基于体感光量和体感温度确定图像效果的示例。然而,在本示例中,由于考虑亮度的变化和温度的变化来确定图像效果,因此依据下面描述的效果模板中的设置的修改,可出现不应用图像效果的情况。为此,当确定禁止图像效果时,CPU 31从步骤F473进入到流程图的末尾以终止图23中所示的图像效果计算处理(图21所示的步骤F407)。
然后,在图21所示的步骤F408,CPU 31等待幻灯片回放的图像切换定时。例如,当幻灯片回放中一个图像的回放显示时间是六秒时,CPU 31等待,直到自当前显示图像的显示开始之后经过六秒为止。
当图像切换定时到达时,CPU 31进入到步骤F409。CPU 31将被确定为下一回放目标图像的图像数据项传送给显示控制器7,并且促使显示控制器7将下一回放目标图像显示在显示面板6上。在此情况下,CPU 31为已经在步骤F407中确定的图像效果的类型、图像效果的量以及如何应用图像效果提供指令。当显示下一回放目标图像时,CPU 31促使显示控制器7应用动态图像效果。
根据CPU 31提供的指令,显示控制器7将所传送的图像数据项PCT作为静止图像显示在显示面板6上。另外,显示控制器7提供图像在视觉上动态变化的动态图像效果。例如,显示控制器7在正在显示静止图像的同时改变显示参数,或者对静止图像执行图像合成处理,从而在显示屏幕上应用动态图像效果。
在步骤F410,CPU 31确定是否存在下一回放目标图像。在被看作一系列图像的所有图像数据项PCT的回放作为幻灯片回放而完成并且不存在下一回放目标图像的情况下,CPU 31从步骤F410进入到流程图的末尾以终止处理。在尚未完成幻灯片回放以及存在下一回放目标图像的情况下,CPU 31返回到步骤F405。当尚未执行用于终止回放的操作时,在步骤F407,CPU 31执行用于准备下一回放目标图像的处理。
注意,在重复执行幻灯片回放的情况下,为了在已经完成了所有图像数据项PCT的回放之后回放第一图像数据项PCT,CPU 31即使在正在执行最后图像数据项PCT的显示的同时,也从步骤F410返回步骤F405。
在幻灯片选择回放的上述过程中,在步骤F407,CPU 31确定动态图像效果,并且在步骤F409,CPU 31控制显示控制器7执行提供了动态图像效果的图像的显示。
关于图21中所示的步骤F407,将参考图24、26和27,描述在图23所示的步骤F472中执行的效果模板中的设置的修改。
在图26中图示了一些情况。应当将所述情况看作为这样的条件:其用于修改设置,以便鉴于先前图像的环境信息项CI和回放目标图像的环境信息项CI的内容来应用适当的图像效果而重建周围环境。
作为示例所图示的情况如下:“执行跨越不同文件夹的选择的情况”;“图像抓取间隔等于或长于十二小时的情况”;“图像抓取间隔等于或长于七天的情况”;“发生从室内/室外到室外/室内的变化的情况”;以及“发生从水中/水外到水外/水中的变化的情况”。
此外,关于环境信息项CI的环境项,为了描述的简单,仅提供亮度和温度作为示例。
“执行跨越不同文件夹的选择的情况”是这样的情况:其中,在不同的文件夹FLD中包括被确定为当前显示的先前图像的图像数据项PCT以及被确定为当前看作效果计算目标的回放目标图像的图像数据项PCT。
通常,用户将抓取的图像分配到各文件夹,从而安排抓取的图像。例如,在大多情况下,用户针对每一事件(如,旅行或运动事件)分配抓取的图像。于是,即使在图像是要作为幻灯片连续回放的两个连续图像的情况下,当跨越不同的文件夹选择图像时,在大多情况下,在图像之间也不具有显著的关系。为此,当执行跨越不同文件夹的选择时,考虑最好不提供图像效果的情况。因此,在这种情况下,未反映从两个连续图像的环境信息项CI中获得的亮度的变化、温度的变化等。
在“图像抓取间隔等于或长于十二小时的情况”下,认为就用户在图像抓取时察觉到的周围环境的变化而言,两个连续图像之间的关系是相当不显著的。为此,在这种情况下,图10所示效果模板中的“针对应用的最小点pt”的值增大了十点。如上所述,将“针对应用的最小点pt”用作据以确定是否提供图像效果的阈值。于是,通过增大“针对应用的最小点pt”的值而减小要提供图像效果的概率。
在“图像抓取间隔等于或长于七天的情况”下,认为就用户察觉到的周围环境的变化而言,两个连续图像之间的关系更不显著,并且各图像彼此不是非常相关。为此,在这种情况下,未反映从两个连续图像的环境信息项CI的内容中获得的亮度的变化和温度的变化。
在两个连续图像之间“发生从室内/室外到室外/室内的变化的情况”下,在大多情况下,光量和温度改变了相当大的程度。此外,由于用户进行了从室内到室外的运动(反之亦然),因此在某种程度上,用户理所当然地认为室内和室外之间的环境变化是正常的。除非光量或温度显著地变化,否则用户不会高灵敏度地察觉到光量或温度的变化。为此,“针对应用的最小点pt”的值增大了十点。仅在温度或光量变化了较大程度的情况下提供图像效果。
在两个连续图像之间“发生从水中/水外到水外/水中的变化的情况”下,亮度的变化和温度的变化是相当大的。此外,在水中抓取的图像和从水外抓取的图像彼此是完全不同的。于是,也可以考虑有意不提供用于重建周围环境的图像效果的情况。为此,在这种情况下,可以确定未反映两个连续图像之间的亮度的变化和温度的变化。
例如,将上述情况假定为应当修改效果模板中的设置的情况。当然,上述情况仅仅是示例。也可以考虑上述情况之外的其他情况。
在图23所示的步骤F472中,CPU 31针对上述情况修改效果模板中的设置。例如,CPU 31执行图24中所示的处理。
图24所示的示例是考虑了图26所示的三种情况(即,“执行跨越不同文件夹的选择的情况”;“图像抓取间隔等于或长于十二小时的情况”;以及“图像抓取间隔等于或长于七天的情况”)的示例。
在图24所示的步骤F491,CPU 31确定先前图像的图像数据项PCT和回放目标图像的图像数据项PCT是否为不同文件夹FLD中包括的图像数据项。当图像数据项PCT包括在不同文件夹FLD中时,在步骤F494,CPU 31设置用于禁止图像效果的设置。
注意,在本示例中,如上所述,在图23所示的步骤F474到F481中,通过考虑亮度的变化和温度的变化来确定图像效果。关于图像效果的确定,如图26中所示,在执行跨越不同文件夹的选择的情况下,未反映亮度的变化和温度的变化。这意味着将不应用图像效果。于是,为了在步骤F494中不应用图像效果,CPU 31设置用于禁止图像效果的设置。
当在不确定图像效果的情况下在步骤F494禁止图像效果时,CPU 31从步骤F473进入到流程图的末尾以终止图23所示的图像效果计算处理。
然而,当在确定图像效果时反映了温度和亮度以外的其他要素(如,地点、日期和时间、气体流量以及天气)时,在步骤F494,CPU 31可以设置仅未反映温度和亮度的设置(而不是用于禁止图像效果的设置)。换言之,也可以基于与温度和亮度以外的其他要素有关的环境信息项来应用图像效果。
在图24所示的步骤F491,当CPU 31确定相同文件夹中包括了两个连续图像时,在步骤F492,CPU 31检查与两个连续图像的环境信息项CI中包括的日期和时间有关的信息项,并且确定图像抓取间隔。然后,当图像抓取间隔等于或长于七天时,在步骤F494,CPU 31设置用于禁止图像效果的设置。
相比之下,当图像抓取间隔短于七天时,在步骤F493,CPU 31依据图像抓取间隔是否等于或长于十二小时而进入到多个分支中之一。
当图像抓取间隔短于十二小时的时候,CPU 31终止图24所示的处理,而不特别地修改效果模板中的设置。
相比之下,当图像抓取间隔等于或长于十二小时的时候,CPU 31进入步骤F495。CPU 31针对亮度的变化和温度的变化中的每一个,修改设置以使得效果模板中“针对应用的最小点pt”的值增大十点。然后,CPU 31终止图24所示的处理。
换言之,在图24所示的修改效果模板中的设置的处理中,当回放目标图像是包括先前图像的相同文件夹中所包括的图像并且图像抓取间隔短于十二小时的时候,在图23所述的步骤F474到F481中,CPU 31根据效果模板中的一般设置来确定图像效果。
此外,当回放目标图像是包括先前图像的相同文件夹中所包括的图像并且图像抓取间隔等于或长于十二小时且短于七天的时候,修改效果模板中的设置(针对应用的“最小点pt”)。然后,在图23所示的步骤F474到F481中,CPU 31根据效果模板中的修改设置来确定图像效果。
进而,当回放目标图像是与包括先前图像的文件夹不同的文件夹中所包括的图像时,或者当图像抓取间隔等于或长于七天时,CPU 31设置用于禁止图像效果的设置,并且不执行图23所示的步骤F474到F481中的图像效果的确定。换言之,当显示回放目标图像时不应用图像效果。
上述处理是添加了效果模板中设置的修改的处理的示例。
在图24所示的处理中,当然,可以考虑向用于修改效果模板中的设置的条件添加图26中所示的如下情况:发生从室内/室外至室外/室内的变化的情况,以及发生从水中/水外到水外/水中的变化的情况。可以考虑用于修改设置的其他条件。
可以设计处理以使得用户可以选择应当在修改设置时反映的情况。
此外,关于修改效果模板中的设置的细节,不仅增大/减小了“针对应用的最小点pt”,而且例如可以增大/减小标准值,或者可以增大/减小项“图像效果的细节”中的系数。
另外,也可以考虑基于图像内容修改效果模板中的设置。
图27中图示了示例。关于设置的图像内容的情况如下:“主被摄体是面部”的图像的情况;“主被摄体是人物”的图像的情况;作为“组照片”抓取的图像的情况;“主被摄体是风景”的图像的情况;“发生手动引起的图像抖动”的图像的情况;以及具有“不适当的构图”的图像的情况。
可以在图21(图22B)所示的步骤F405执行的图像分析中,同时确定回放目标图像的内容是否为上述情况中指示的图像内容。
例如,当回放目标图像是“主被摄体为面部”的图像时,对于亮度变化和温度变化中的每一个,“针对应用的最小点pt”增大了十点。
当回放目标图像是“主被摄体为人物”的图像时,对于亮度变化和温度变化中的每一个,“针对应用的最小点pt”增大了五点。
当回放目标图像是作为“组相片”抓取的图像时,未反映亮度的变化和温度的变化。
当回放目标图像是“主被摄体为风景”的图像时,使用效果模板中的一般设置。换言之,不修改设置。
当回放目标图像是“发生手动所引起的图像抖动”的图像时,未反映亮度的变化和温度的变化。
当回放目标图像是具有“不适当的构图”的图像时,未反映亮度的变化和温度的变化。
当然,设置修改的情况和细节仅仅是示例。实际中,可以确定设置修改的情况和细节,以使得可以适当地应用用于重建图像抓取时的周围环境的图像效果。
例如,可以看作上述情况以外的其他情况的情况如下:“包括特定人物的图像”的情况;“包括等于或大于特定数量的人数的图像”的情况;“包括特定场景的图像”的情况;“在特定地点附近抓取的图像”的情况;以及“散焦”图像的情况。
此外,关于通过使用所谓的连续拍摄以非常短的间隔抓取大量图像而获得的一组图像数据项,也存在不期望当执行幻灯片时顺序地回放所有图像数据项的情况。
于是,关于使用连续拍摄抓取的图像,也可考虑如下的处理:通过考虑环境信息项、图像内容、图像质量等,来提取要回放的少量图像。
如上所述,在幻灯片选择回放中,首先,用户可以使用用于要作为幻灯片回放的图像的设置来选择条件。利用该设置,可以执行收集了用户所期望的图像的幻灯片。
此外,基于两个连续图像之间的关系、回放目标图像的图像内容等来修改效果模板中的设置,从而可以应用用于重建图像抓取时的周围环境的适当图像效果。
注意,效果模板中设置的修改不仅可以应用于幻灯片回放中所执行的处理,而且可以应用于根据用户通常执行的、在显示屏幕上前进页面的操作而顺序地回放文件夹中包括的各个图像数据项的情况。
7.使用一个图像的图像效果的设置
在幻灯片回放和幻灯片选择回放的上述示例中,基于回放目标图像的环境信息项CI与先前图像的环境信息项CI之间的比较而确定图像效果。于是,可以适当地表达图像抓取时的周围环境。然而,也可以通过仅考虑一个图像来重建周围环境。
换言之,可以考虑如下处理的示例:在不考虑先前图像的环境信息项CI的情况下,仅使用回放目标图像的环境信息项CI来确定图像效果。
图28图示了CPU31所执行的处理的示例。
在执行特定图像数据项的回放的情况下,CPU 31从步骤F501进入到步骤F502。该情况例如为如下的情况:其中,用户从作为缩略图列表而显示的各图像中指定特定图像,并且用户提供用于该特定图像的显示的指令。此外,该情况可以是执行回放幻灯片回放中的下一图像的处理的情况。
在步骤F502,CPU 31获取回放目标图像的环境信息项CI。换言之,CPU31从记录介质90中读取被确定为回放目标图像的图像数据项PCT以及对应于该图像数据项PCT的环境信息项CI。CPU 31将图像数据项PCT和环境信息项CI加载到(例如)RAM 32中。然后,CPU 31检查环境信息项CI。
接下来,在步骤F603,CPU 31获取标准环境信息项。标准环境信息项是为了确定图像效果而要与环境信息项CI比较的环境信息项。
可以认为,标准环境信息项与包括参考图6A到图6C所述的标准值的环境信息项相同。于是,如图6A所示的那样,包括对于所有图像数据项而计算出的环境项(如温度和亮度)的平均值的信息项可以被用作为标准环境信息项。包括对于当前所选文件夹中包括的图像数据项而计算出的平均值的信息项可被用作为标准环境信息项。可替代地,可以使用与图6C所示的处理类似的处理来获取标准环境信息项,作为关于当前温度、当前光量等的信息项。
此外,标准环境信息项可以是包括固定值的信息项。例如,可以使用关于运载目的地(日本、北美、南美、欧洲、东南亚等)的平均温度等的信息项。
而且,可以根据执行回放的地点以及日期和时间,经由网络从预定服务器获取标准环境信息。可替代地,也可以考虑用户所输入的作为标准环境信息项的任何信息项的设置。
接下来,在步骤F504,CPU 31执行将回放目标图像的环境信息项CI与标准环境信息项进行比较的处理。例如,计算出温度差异、光量差异等。
然后,在步骤F505,CPU 31基于比较结果,确定图像效果的类型、图像效果的量以及图像效果的时间序列表示。例如,可以使用(例如)上述的效果模板来确定图像效果的类型、图像效果的量以及图像效果的时间序列表示。
当CPU 31确定图像效果时,在步骤F506,CPU 31将被确定为回放目标图像的图像数据项PCT传送至显示控制器7,并且促使显示控制器7执行图像数据项PCT在显示面板6上的显示。在此情况下,CPU 31提供用于图像效果的类型、图像效果的量以及图像效果的时间序列表示(其已经在步骤F505中确定出)的指令。
根据CPU 31提供的指令,显示控制器7将传送的图像数据项PCT作为静止图像显示在显示面板6上。另外,显示控制器7执行控制显示的处理以使得提供指令中指定的图像效果。例如,显示控制器7在正在显示静止图像的同时改变显示参数,或者对静止图像执行图像合成处理,从而在显示屏幕上应用图像效果。
利用上述处理,基于对应于一个图像数据项的环境信息项CI,可以实现创建图像数据项抓取时的周围环境的图像数据项的回放和显示。
此外,在这种情况下,正在观看图像数据项的回放和显示的人可以察觉到图像抓取时的周围环境的变化。因此,可以使得照片或视频的原始效果更加有效,并且可以使得图像(如,照片)的回放更加令人愉悦。
8.各种类型的修改示例和应用示例
本发明不限于上述实施例,可以假定上述实施例以外的各种修改示例和应用示例。下文将描述各种修改示例和应用示例。
关于使用环境信息项的动态图像效果的设置,在上述图像效果确定处理中,描述了这样的示例:其中,使用温度变化值的程度与光量变化值的程度以及其组合来确定图像效果的强度。可以考虑使用环境信息项中包括的环境值的程度或者使用环境信息项的环境项的组合来计算图像效果的强度的各种示例。
例如,当获得稍高的温度时,图像变为稍红的图像。当获得稍低的温度时,图像变为非常红的图像。利用图像效果强度的这种设置,可以更加精确地重建周围环境。
考虑到要用于确定图像效果的环境信息项的环境项(位置、日期和时间、气体流量、气压、天气等),最好使用环境信息项的环境项的环境值及其组合来确定图像效果的强度。
当考虑环境信息项的大量环境项时,最好如上所述那样将优先级分配给环境项。然而,可以将优先级固定。可以使用这样的方案:其中,在未将优先级分配给环境项的情况下将所有环境项均等地反映在图像效果中。
除了图像效果的强度如图12等所示的每一示例中那样逐渐改变的时间序列表示之外,例如,也可以被看作图像效果的时间序列表示的时间序列表示如下:图像逐步改变到应用了图像效果的图像的时间序列表示;以及图像效果的强度改变的速度根据环境信息项中包括的环境值的程度及其组合而改变的时间序列表示。
例如,当抓取两个连续图像的日期彼此接近并且获得了较大温度变化时,图像效果的量变化的速度增大。相比之下,当获得较大温度变化并且图像抓取间隔较长时,图像效果的量低速地变化。
此外,图像效果动态变化的时间段至少是显示静止图像的时间段的一部分。
例如,在上述幻灯片回放中,在确定了从一个图像显示开始到显示结束的时间段的情况下,可以提供在显示图像的整个时间段上动态变化的图像效果。可替代地,可以提供仅针对显示一个图像的整个时间段中的一部分的时间段而动态变化的图像效果。当然,也可以考虑固定的图像效果。
另外,可以将显示一个图像的整个时间段分为多个时间段,并且可以为多个各时间段提供相同的图像效果或不同的图像效果。
而且,在根据用户执行的选择操作以正常方式回放图像数据项时,在未限定显示一个图像的时间段的情况下,例如在图像数据项的显示开始之后提供图像效果长达几秒等。然后,可以考虑不提供图像效果。然而,也可以考虑重复提供图像效果。当然,可以假定以几秒的间隔重复提供相同的图像效果或者提供不同的图像效果。
可以使用显示的抓取图像的环境信息项以及显示的抓取图像之前显示的或者显示的抓取图像之后要显示的抓取图像的环境信息项,来确定图像效果的类型、图像效果的强度、图像效果的时间序列表示及其组合。可以考虑图像效果的类型、图像效果的强度、图像效果的时间序列表示及其组合的各种示例。
在上述示例中,使用先前图像的环境信息项与回放目标图像的环境信息项之间的比较来确定图像效果。然而,可以使用回放目标图像的环境信息项与下一回放目标图像的环境信息项之间的比较来确定图像效果。
例如,假定这样的情况:其中,特定图像是包括特定地点的风景的图像,并且已经靠近风景中包括的特定建筑的用户抓取了下一图像。在此情况下,可以考虑的动态图像效果如下:在正在显示当前回放图像的同时,根据位置信息项和关于对当前和下一回放目标图像执行图像抓取的方向的信息项来执行建筑的图像被放大的显示;以及将显示切换至下一回放目标图像的显示。例如,可以考虑这样的动态图像效果:其中,与被确定为当前回放目标图像的图像数据项的一部分对应的建筑的图像被逐步放大。
此外,当执行回放目标图像的图像效果的确定时,将回放目标图像的环境信息项与先前图像的环境信息项进行比较。然而,先前图像不限于紧接的先前回放目标图像。
例如,在上述幻灯片选择回放中,根据条件将回放目标图像进行稀疏(thinout)。于是,紧接的先前目标图像不一定是紧接在当前回放目标之前抓取的图像。为此,在幻灯片选择回放中,考虑使用可能是在不回放的图像数据项的紧接的先前图像数据项(紧接在当前回放目标图像之前抓取的图像数据项)作为先前图像。然后,使用先前图像的环境信息项CI来确定回放目标图像的图像效果。
此外,在确定图像效果时,所考虑的先前图像的数量不限于一个。可以考虑多个先前图像。例如,参考作为待回放图像的先前图像、第二先前图像和第三先前图像的各个环境项CI,从而确定在长于特定值的时段内发生的周围环境的变化。然后,基于周围环境的变化来确定回放目标图像的图像效果。
当然,可以参考与包括要回放的图像数据项并且也包括不回放的图像数据项的多个图像数据项对应的环境信息项CI。
另外,可以使用先前图像的环境信息项CI和下一图像的环境信息项CI两者来确定图像效果。
而且,用户可以选择要用作为基本图像的图像数据项,并且可以使用与作为比较目标的图像数据项对应的环境信息项CI来确定图像效果。
此外,为了确定图像效果,不一定需要使用两个连续图像的环境信息项。也可以考虑使用与要显示的图像数据项对应的环境信息项CI以及与保存在记录介质90等上的其他图像数据项对应的环境信息项CI。
进而,为了确定图像效果,也可以考虑要显示的图像数据项被抓取的日期与记录介质90等上所保存的其他图像数据项被抓取的日期之间的间隔。
另外,也可以执行根据用户选择的主题的图像效果的确定,作为图像效果确定处理。
而且,用户可以选择要使用的环境信息项的环境项。用户也可以将优先级分配给多个环境项。
此外,为了选择要用以确定图像效果的环境信息项,也可以使用针对保存在记录介质90等上的所有或固定组的抓取图像的环境信息项的平均或方差(variance)。
进而,在幻灯片回放中,可以根据要应用的图像效果的类型等改变一个图像的回放显示时间。
关于回放时的图像效果,要应用的图像效果的类型数在某种程度上降低,从而可以将回放优化到处理性能较低的设备。另一方面,为了强烈地向用户提醒环境,也可以增大图像效果的类型数。
此外,虽然人可以仅说“天很热”或“天很冷”,但是此人如何觉察依据热的程度而不同。于是,可以针对每一用户改变图像效果。
当存在显著变化的多个环境条件时,可以缩减图像效果,从而确定一个图像效果。可替代地,可以使用图像效果的组合,或者可以为组合准备另一图像效果。
在上述实施例中,在记录介质90等上将图像数据项存储在每一文件夹中。然而,可以将各种管理形式看作用于管理图像数据项的管理形式(分组)。
例如,可以假定的管理形式如下:根据抓取图像的时间顺序以文件夹为单位来执行分组的管理形式;以日期为单位来执行分组的管理形式;考虑日期间隔、时间间隔等以事件为单位来执行分组的管理形式;以及至少考虑执行图像抓取的位置和日期来执行分组的管理形式。
此外,也可以考虑具有用户可以选择分组方案这一功能的管理形式。
另外,可以作为多组图像数据项(其已经在图像抓取设备1等中经受了分组)的回放方案使用的回放方案如下:具有用于从划分的多个组之中确定一组作为回放目标图像组这一功能的回放方案;以及具有用于从划分的多个组之中确定多个组作为回放目标图像组这一功能的回放方案。
此外,对于从组中首先选择出的图像,作为回放时的处理,可以考虑具有如下功能的处理:其中,不使用先前图像的环境信息项,或者以不同于正常方式的方式使用先前图像的环境信息项。
而且,当回放目标图像组包括多组时,对于从组中最后选择出的图像,也可以考虑具有如下功能的处理:其中,不使用下一图像的环境信息项,或者以不同于正常方式的方式使用下一图像的环境信息项。
另外,当回放目标图像组包括多组时,也可以考虑具有如下功能的处理:用户可以选择是否考虑各组之间的边界。
进而,显示控制器7例如通过改变显示参数或通过执行图像合成来实现图像效果。然而,除了使用了图像数据项(显示图像信号)的处理以外,显示控制器7也可以实现使用其他处理的图像效果。
例如,当诸如显示面板6之类的显示单元是使用背光方案的液晶显示器时,也可以通过链接(chain)背光源的亮度来表示显示屏幕上亮度的变化。
9.信息处理设备/程序
在上述实施例中,在图像抓取设备1中执行使用图像效果的回放。然而,也可以在如参考图1A到图1D所说明的诸如个人计算机102之类的其他设备中,以与上述类似的方式执行回放处理。
图29图示个人计算机(下文称为“PC”)102的配置。
如图29所示,PC 102包括CPU 211、存储器单元212、网络接口单元213、显示控制器214、输入装置接口单元215以及HDD接口单元216。此外,PC 102包括键盘217、鼠标218、HDD 219、显示装置220、总线221、外部装置接口单元222、存储卡接口单元223等。
作为PC 102的主控制器的CPU 211根据存储器单元212中存储的程序,执行各种类型的控制处理。CPU 211经由总线221连接至其他各个单元。
总线221上的每个装置均具有唯一的存储地址或输入/输出(I/O)地址,并且CPU 211可以使用该地址来访问装置。总线221的示例可以是外围组件互连(PCI)总线。
存储器单元212被配置为包括易失性存储器和非易失性存储器二者。例如,存储器单元212包括用于存储程序的ROM、用作计算工作区或用于暂存各种类型数据项的RAM、以及易失性存储器(如,电可擦除可编程只读存储器(EEPROM))。
存储器单元212用于存储CPU 211所执行的程序代码、对于PC 102唯一的识别信息项以及其他信息项,并且在执行程序代码的同时用作通信数据项的缓冲区,或者用作工作数据项的工作区。
网络接口单元213使用预定通信协议(如以太网(注册商标)),将PC 102连接至网络(如,因特网或局域网(LAN))。CPU 211可以经由网络接口单元213与连接至网络的各个设备通信。
显示控制器214是专用控制器,用于在实践中处理CPU 211发出的渲染(rendering)命令。例如,显示控制器214支持与超级视频图形阵列(SVGA)或扩展图形阵列(XGA)标准对应的位图渲染功能。例如,将显示控制器214处理的渲染数据项临时写入至帧缓冲器(未示出),然后输出至显示装置220。例如,显示装置220可以被配置为有机电致发光(EL)显示器、阴极射线管(CRT)显示器或液晶显示器。
输入装置接口单元215是用于将用户输入装置(其包括键盘217和鼠标218)连接至计算机系统(其实施为PC 102)的装置。
换言之,使用键盘217和鼠标218来执行把输入提供给PC 102的用户操作,并且将与提供输入的操作有关的信息项经由输入装置接口单元215提供给CPU 211。
HDD接口单元216执行用于向/自HDD 219写入/读取数据项的接口处理。
HDD 219是如同本领域中常见的那样,固定地安装有用作存储介质的磁盘的外部存储装置。HDD 219就存储容量、数据传输速率等而言,取代其他外部存储装置。在HDD 219上,以可执行状态存储已被安装至PC 102的各种类型的软件程序。通常,在HDD 219上,以非易失性状态存储CPU 211应当执行的操作系统(OS)、应用程序、装置驱动器等的程序代码。
存储在HDD 219上的各种类型的程序例如在PC 102启动时或用户层中的应用程序启动时而被加载至存储器单元212。CPU 211基于加载至存储器单元212的程序执行处理。
外部装置接口单元222是与使用诸如USB标准之类的标准而连接至外部装置接口单元222的外部装置的接口。
在本示例中,例如,将图像抓取设备1假定为外部装置。
PC 102例如可以使用经由外部装置接口单元222的通信,从图像抓取设备1中获取图像数据项。
例如,提供图像抓取设备1的外部接口8与PC 102的外部装置接口单元222之间的连接,并且可以获得图像抓取设备1抓取的图像数据项PCT以及环境信息项CI。
注意,外部装置接口单元222所支持的标准不限于USB标准,而可以是诸如IEEE 1394之类的任何其他接口标准。
存储卡接口单元223向/自记录介质90(如存储卡)写入/读取数据项。
例如,附有用于数码相机(如上述图像抓取设备1)的记录介质90。然后,也可以从记录介质90中读取图像数据项PCT和环境信息项CI。
在PC 102中,执行CPU 211的基于软件结构(即,基于诸如应用程序、OS和装置驱动器之类的软件)的计算处理/控制操作,从而执行各种类型的操作。
在此情况下,例如,HDD 219或记录介质90用作图2所示的图像存储单元200。CPU 211用作图2所示的控制单元201(和图像分析单元206)。显示控制器214用作图2所示的图像处理/显示控制单元202。
例如,用于执行图6A到6C以及图7和图8所示的各处理的程序、用于执行图21、图22A和图22B以及图23和图24所示的各处理的程序、或者用于执行图28所示的处理的程序被安装在HDD 219上。程序在启动的情况下加载至存储器单元212。CPU 211根据加载到存储器单元212中的程序,执行必要的计算处理或控制处理。
于是,通过CPU 211执行如下的处理:使用图6A到6C以及图7和图8所示的各处理来执行幻灯片的处理;使用图21、图22A和图22B以及图23和图24所示的各处理来执行幻灯片的处理;或者图28所示的处理。
于是,在PC 102中实现了使用上述各种类型的图像效果的回放操作。
注意,在具有CPU的微型计算机中,可以将促使CPU 211执行上述处理的程序预先记录在HDD(其用作安装在诸如PC 102之类的设备中的记录介质)、ROM或闪存等上。
可替代地,可以将程序暂时或永久地存储(记录)在可拆卸记录介质(如,软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝牙(注册商标)盘、磁盘、半导体存储器或存储卡)上。可以将这种可拆卸记录介质提供为所谓的封装软件。
进而,可以经由网络(如LAN或因特网)从下载站点下载程序,以及将其从可拆卸记录介质安装到个人计算机等中。
在本实施例中,以示例的方式将个人计算机102用作信息处理设备。例如,也可以在移动电话、个人数字助理(PDA)、游戏单元和视频编辑器以及使用了图像数据项的其他各种信息处理设备中,以与上述方式类似的方式执行图像的回放。
本发明包含与2009年5月1日向日本专利局提交的日本优先权专利申请JP 2009-111708中公开的主题有关的主题,将其全部内容通过引用的方式合并在此。
本领域的技术人员应该理解,取决于设计要求和其他因素,可以出现各种修改、组合、部分组合和变更,只要其落在所附权利要求及其等价物的范围内即可。
Claims (17)
1.一种图像处理设备,包括:
图像效果确定单元,其被配置为:基于图像数据项抓取时的环境信息项,确定在显示图像数据项时针对所显示的图像数据项生成视觉变化的动态图像效果,其中所述环境信息项与所述图像数据项相关联;以及
显示控制单元,其被配置为:针对图像数据项的显示,控制显示操作以使得应用已经由所述图像效果确定单元确定的动态图像效果。
2.如权利要求1所述的图像处理设备,其中,所述动态图像效果是至少针对一时间段生成连续视觉变化的图像效果,其中所述时间段是显示静止图像的时间段的一部分。
3.如权利要求2所述的图像处理设备,其中,所述显示控制单元通过在正在显示静止图像的同时改变显示参数,来执行控制以使得在显示屏幕上应用所述动态图像效果。
4.如权利要求2所述的图像处理设备,其中,所述显示控制单元通过在正在显示静止图像的同时对静止图像执行图像合成处理,来执行控制以使得在显示屏幕上应用所述动态图像效果。
5.如权利要求1所述的图像处理设备,其中,所述图像效果确定单元基于通过将与要回放并显示的回放目标图像数据项相关联的环境信息项和作为比较目标的预定环境信息项进行比较而获得的环境信息差异,来确定用于回放目标图像数据项的动态图像效果。
6.如权利要求5所述的图像处理设备,其中,作为比较目标的预定环境信息项是这样的环境信息项:其与在回放目标图像数据项是回放目标之前的时间点作为回放目标的图像数据项相关联。
7.如权利要求5所述的图像处理设备,其中,当顺序地回放并显示多个图像数据项时,作为比较目标的预定环境信息项是这样的环境信息项:其与紧接在回放目标图像数据项是回放目标之前作为回放目标的图像数据项相关联。
8.如权利要求7所述的图像处理设备,进一步包括顺序回放控制单元,其被配置为:根据选择参数来选择要顺序地回放并显示的多个图像数据项。
9.如权利要求5所述的图像处理设备,其中,作为比较目标的预定环境信息项是这样的环境信息项:其与对应于指示如下时间的时间信息项的图像数据项相关联,所述时间是与回放目标图像数据项对应的时间信息项所指示的时间之前的时间,并且最接近于与回放目标图像数据项对应的时间信息项所指示的时间。
10.如权利要求5所述的图像处理设备,其中,作为比较目标的预定环境信息项是被设置为固定值的环境信息项。
11.如权利要求1所述的图像处理设备,其中,所述图像效果确定单元将与要回放并显示的回放目标图像数据项相关联的环境信息项转换为体感环境信息项,并且使用体感环境信息项来确定对于回放目标图像数据项的动态图像效果。
12.如权利要求11所述的图像处理设备,其中,所述图像效果确定单元将与要回放并显示的回放目标图像数据项相关联的环境信息项以及作为比较目标的预定环境信息项转换为体感环境信息项,并且基于通过将各体感环境信息项相互比较所获得的体感环境信息差异,来确定对于回放目标图像数据项的动态图像效果。
13.如权利要求1所述的图像处理设备,其中,所述图像效果确定单元基于图像数据项抓取时的环境信息项,确定是应用还是不应用动态图像效果,或者确定用于确定是应用还是不应用动态图像效果的标准,其中所述环境信息项与所述图像数据项相关联。
14.如权利要求1所述的图像处理设备,其中,基于图像数据项的图像内容,所述图像效果确定单元确定是应用还是不应用动态图像效果,或者确定用于确定是应用还是不应用动态图像效果的标准。
15.如权利要求1所述的图像处理设备,其中,在所述环境信息项中,包括以下信息项中的至少一个:关于图像数据项抓取时的周围环境温度的信息项、关于图像数据项抓取时的外部光量的信息项、关于图像数据项抓取的时间的信息项以及关于抓取图像数据项的地点的信息项。
16.一种图像处理方法,包括以下步骤:
基于图像数据项抓取时的环境信息项,确定在显示图像数据项时针对所显示的图像数据项生成视觉变化的动态图像效果,其中所述环境信息项与所述图像数据项相关联;以及
针对图像数据项的显示,控制显示操作以使得应用所确定的动态图像效果。
17.一种促使信息处理设备执行图像处理方法的程序,所述图像处理方法包括以下步骤:
基于图像数据项抓取时的环境信息项,确定在显示图像数据项时针对所显示的图像数据项生成视觉变化的动态图像效果,其中所述环境信息项与所述图像数据项相关联;以及
针对图像数据项的显示,控制显示操作以使得应用所确定的动态图像效果。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP111708/09 | 2009-05-01 | ||
JP2009111708A JP5493455B2 (ja) | 2009-05-01 | 2009-05-01 | 画像処理装置、画像処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101877753A true CN101877753A (zh) | 2010-11-03 |
CN101877753B CN101877753B (zh) | 2012-11-28 |
Family
ID=43020208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101675241A Expired - Fee Related CN101877753B (zh) | 2009-05-01 | 2010-04-26 | 图像处理设备、图像处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8334921B2 (zh) |
JP (1) | JP5493455B2 (zh) |
CN (1) | CN101877753B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102867055A (zh) * | 2012-09-16 | 2013-01-09 | 吴东辉 | 一种图像文件格式及生成方法及装置及应用 |
CN103716536A (zh) * | 2013-12-17 | 2014-04-09 | 东软熙康健康科技有限公司 | 生成动态图片的方法及系统 |
CN103929594A (zh) * | 2014-04-28 | 2014-07-16 | 深圳市中兴移动通信有限公司 | 一种移动终端及其拍摄方法和装置 |
CN107506354A (zh) * | 2016-06-14 | 2017-12-22 | 深圳市蓝魔数码科技有限公司 | 一种智能天气实时转换显示的方法及装置 |
CN109886900A (zh) * | 2019-03-15 | 2019-06-14 | 西北大学 | 一种基于字典训练和稀疏表示的合成雨图除雨方法 |
US10853648B2 (en) | 2016-03-17 | 2020-12-01 | Sony Corporation | Image processing apparatus and image processing method |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5493456B2 (ja) * | 2009-05-01 | 2014-05-14 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
CN105007419B (zh) * | 2010-03-09 | 2018-05-08 | 松下电器产业株式会社 | 重叠于光的信息的检测装置以及检测系统 |
US8856656B2 (en) * | 2010-03-17 | 2014-10-07 | Cyberlink Corp. | Systems and methods for customizing photo presentations |
US20110282967A1 (en) * | 2010-04-05 | 2011-11-17 | Electronics And Telecommunications Research Institute | System and method for providing multimedia service in a communication system |
JP2012203668A (ja) * | 2011-03-25 | 2012-10-22 | Sony Corp | 情報処理装置、物体認識方法、プログラム及び端末装置 |
CA2771851C (en) * | 2011-04-12 | 2018-07-24 | Research In Motion Limited | Camera flash for improved color balance |
US9813632B2 (en) * | 2011-05-19 | 2017-11-07 | Foveon, Inc. | Method of adjusting digital camera image processing parameters |
US8797415B2 (en) * | 2011-09-26 | 2014-08-05 | Google Inc. | Device, system and method for image capture device using weather information |
JP2016039513A (ja) * | 2014-08-08 | 2016-03-22 | カシオ計算機株式会社 | 画像生成装置、画像生成方法及びプログラム |
US10880742B2 (en) * | 2016-12-15 | 2020-12-29 | Fotonation Limited | Iris recognition workflow |
JP2019154744A (ja) * | 2018-03-13 | 2019-09-19 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、医用画像診断装置、及び医用画像処理プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250977A (ja) * | 2004-03-05 | 2005-09-15 | Nikon Corp | 撮影装置、画像再生装置、画像鑑賞室、データ蓄積/解析装置、銀塩カメラ、スキャナ |
CN101017661A (zh) * | 2006-02-10 | 2007-08-15 | 逐点半导体(上海)有限公司 | 一种图像动态切换装置和切换方法 |
WO2008136286A1 (ja) * | 2007-04-27 | 2008-11-13 | Sharp Kabushiki Kaisha | 画像処理装置及び方法、画像表示装置及び方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69326364T2 (de) * | 1992-02-04 | 2000-02-24 | Ricoh Co., Ltd. | Informationsverarbeitungsapparat und -verfahren unter Verwendung eines zusätzlichen zweckmässigen Informationspakets |
JPH05303596A (ja) | 1992-02-04 | 1993-11-16 | Ricoh Co Ltd | ファイル情報作成方式及び電子ファイル装置 |
JP3371605B2 (ja) * | 1995-04-19 | 2003-01-27 | 日産自動車株式会社 | 大気効果表示機能付き鳥瞰図表示ナビゲーションシステム |
JPH09138767A (ja) | 1995-11-14 | 1997-05-27 | Fujitsu Ten Ltd | 感情表現の通信装置 |
JP3738310B2 (ja) * | 1997-08-04 | 2006-01-25 | カシオ計算機株式会社 | カメラ |
GB2378342A (en) * | 2001-07-31 | 2003-02-05 | Hewlett Packard Co | Selecting images based upon the similarity between images |
JP2003169225A (ja) | 2001-12-03 | 2003-06-13 | Olympus Optical Co Ltd | 画像処理装置、及びプログラム |
JP3832825B2 (ja) * | 2002-09-25 | 2006-10-11 | 富士写真フイルム株式会社 | 撮影システム、画像表示装置、及び画像表示プログラム |
JP2004140812A (ja) * | 2002-09-26 | 2004-05-13 | Oki Electric Ind Co Ltd | 体験記録情報処理方法とその通信システム及び情報記録媒体並びにプログラム |
JP2004134950A (ja) | 2002-10-09 | 2004-04-30 | Sony Corp | 画像合成方法および画像合成装置 |
JP2005012674A (ja) * | 2003-06-20 | 2005-01-13 | Canon Inc | 画像表示方法及びそれを実行するプログラム並びに画像表示装置 |
JP3931889B2 (ja) * | 2003-08-19 | 2007-06-20 | ソニー株式会社 | 画像表示システム、画像表示装置、画像表示方法 |
JP2006211324A (ja) * | 2005-01-28 | 2006-08-10 | Sony Corp | ディジタルカメラ装置、画像再生方法および画像再生プログラム、ならびに、データ構造体 |
JP2007258965A (ja) * | 2006-03-22 | 2007-10-04 | Casio Comput Co Ltd | 画像表示装置 |
JP4760725B2 (ja) * | 2007-02-02 | 2011-08-31 | カシオ計算機株式会社 | 画像再生装置、画像表示方法及びプログラム |
JP4984975B2 (ja) * | 2007-03-02 | 2012-07-25 | 株式会社ニコン | カメラおよび画像処理プログラム |
JP5493456B2 (ja) * | 2009-05-01 | 2014-05-14 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
KR101635103B1 (ko) * | 2009-10-26 | 2016-06-30 | 삼성전자주식회사 | 다이나믹한 이미지 효과 구현 장치 및 방법 |
-
2009
- 2009-05-01 JP JP2009111708A patent/JP5493455B2/ja not_active Expired - Fee Related
-
2010
- 2010-04-22 US US12/799,306 patent/US8334921B2/en active Active
- 2010-04-26 CN CN2010101675241A patent/CN101877753B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250977A (ja) * | 2004-03-05 | 2005-09-15 | Nikon Corp | 撮影装置、画像再生装置、画像鑑賞室、データ蓄積/解析装置、銀塩カメラ、スキャナ |
CN101017661A (zh) * | 2006-02-10 | 2007-08-15 | 逐点半导体(上海)有限公司 | 一种图像动态切换装置和切换方法 |
WO2008136286A1 (ja) * | 2007-04-27 | 2008-11-13 | Sharp Kabushiki Kaisha | 画像処理装置及び方法、画像表示装置及び方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109542849B (zh) * | 2012-09-16 | 2021-09-24 | 吴东辉 | 一种图像文件格式及生成方法及装置及应用 |
CN109284264B (zh) * | 2012-09-16 | 2021-10-29 | 吴东辉 | 一种图像文件格式及生成方法及装置及应用 |
CN109522280A (zh) * | 2012-09-16 | 2019-03-26 | 吴东辉 | 一种图像文件格式及生成方法及装置及应用 |
CN109522280B (zh) * | 2012-09-16 | 2022-04-19 | 哈尔滨华强电力自动化工程有限公司 | 一种图像文件格式及生成方法及装置及应用 |
CN109542849A (zh) * | 2012-09-16 | 2019-03-29 | 吴东辉 | 一种图像文件格式及生成方法及装置及应用 |
CN102867055B (zh) * | 2012-09-16 | 2019-01-25 | 吴东辉 | 一种图像文件格式及生成方法及装置及应用 |
CN109284264A (zh) * | 2012-09-16 | 2019-01-29 | 吴东辉 | 一种图像文件格式及生成方法及装置及应用 |
CN109471842B (zh) * | 2012-09-16 | 2021-11-23 | 吴东辉 | 一种图像文件格式及生成方法及装置及应用 |
CN102867055A (zh) * | 2012-09-16 | 2013-01-09 | 吴东辉 | 一种图像文件格式及生成方法及装置及应用 |
CN109471842A (zh) * | 2012-09-16 | 2019-03-15 | 吴东辉 | 一种图像文件格式及生成方法及装置及应用 |
CN103716536A (zh) * | 2013-12-17 | 2014-04-09 | 东软熙康健康科技有限公司 | 生成动态图片的方法及系统 |
CN103716536B (zh) * | 2013-12-17 | 2017-06-16 | 东软熙康健康科技有限公司 | 生成动态图片的方法及系统 |
CN103929594A (zh) * | 2014-04-28 | 2014-07-16 | 深圳市中兴移动通信有限公司 | 一种移动终端及其拍摄方法和装置 |
US10853648B2 (en) | 2016-03-17 | 2020-12-01 | Sony Corporation | Image processing apparatus and image processing method |
CN107506354A (zh) * | 2016-06-14 | 2017-12-22 | 深圳市蓝魔数码科技有限公司 | 一种智能天气实时转换显示的方法及装置 |
CN109886900A (zh) * | 2019-03-15 | 2019-06-14 | 西北大学 | 一种基于字典训练和稀疏表示的合成雨图除雨方法 |
CN109886900B (zh) * | 2019-03-15 | 2023-04-28 | 西北大学 | 一种基于字典训练和稀疏表示的合成雨图除雨方法 |
Also Published As
Publication number | Publication date |
---|---|
US8334921B2 (en) | 2012-12-18 |
CN101877753B (zh) | 2012-11-28 |
JP2010263340A (ja) | 2010-11-18 |
US20100277618A1 (en) | 2010-11-04 |
JP5493455B2 (ja) | 2014-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101877753B (zh) | 图像处理设备、图像处理方法 | |
CN101877756B (zh) | 图像处理装置和图像处理方法 | |
US11678050B2 (en) | Method and system for providing recommendation information related to photography | |
JP4895020B2 (ja) | 画像処理システム及びその方法と、それに用いられる端末及びサーバ | |
US7656451B2 (en) | Camera apparatus and imaging method | |
CN113727017B (zh) | 拍摄方法、图形界面及相关装置 | |
JP4984044B2 (ja) | 撮影システム及びその撮影条件の設定方法と、それに用いられる端末及びサーバ | |
US20030214530A1 (en) | Multiuser real-scene tour simulation system and method of the same | |
CN108391445B (zh) | 一种虚拟现实显示方法及终端 | |
US7672977B2 (en) | Image reproducing apparatus, method of controlling same and control program therefor | |
US7536260B2 (en) | Method and system for creating a weather-related virtual view | |
CN101547316A (zh) | 图像抓取设备和方法 | |
WO2013099472A1 (ja) | サーバ、クライアント端末、システム、および記録媒体 | |
JP5423052B2 (ja) | 画像処理装置、撮像装置及びプログラム | |
CN114125310B (zh) | 拍照方法、终端设备及云端服务器 | |
JP2004134950A (ja) | 画像合成方法および画像合成装置 | |
CN114640783A (zh) | 一种拍照方法及相关设备 | |
JP2012084052A (ja) | 撮像装置、制御方法及びプログラム | |
WO2022121796A1 (zh) | 图像处理方法及电子设备 | |
KR101873681B1 (ko) | 항공 촬영 정보 기반 가상 조망 시스템 및 방법 | |
JP2015195439A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2023210190A1 (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
US20240284041A1 (en) | Information processing apparatus and information processing method | |
WO2022019171A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2023163749A (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121128 Termination date: 20150426 |
|
EXPY | Termination of patent right or utility model |