CN104584529A - 图像处理装置、拍摄装置以及程序 - Google Patents

图像处理装置、拍摄装置以及程序 Download PDF

Info

Publication number
CN104584529A
CN104584529A CN201380043839.7A CN201380043839A CN104584529A CN 104584529 A CN104584529 A CN 104584529A CN 201380043839 A CN201380043839 A CN 201380043839A CN 104584529 A CN104584529 A CN 104584529A
Authority
CN
China
Prior art keywords
image
annotation
unit
image processing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380043839.7A
Other languages
English (en)
Inventor
藤绳展宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN104584529A publication Critical patent/CN104584529A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/24—Details of cameras or camera bodies; Accessories therefor with means for separately producing marks on the film

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明的课题是使同时显示基于拍摄到的图像的注释以及图像时的匹配感提高。一种图像处理装置，具有：输入图像的图像输入部(102)；进行所述图像的图像解析并生成注释的注释生成部(110)；基于所述解析的结果对所述图像进行加工的图像加工部(112)；以及输出由所述注释和进行了所述加工后的图像形成的输出图像的图像输出部(114)。

Description

图像处理装置、拍摄装置以及程序
技术领域
本发明涉及图像处理装置、拍摄装置以及程序。
背景技术
以往，开发有对拍摄到的图像添加文字信息的技术。例如，在专利文献1中公开有对拍摄图像添加与拍摄图像建立关联的注释(comment)的技术。
现有技术文献
专利文献
专利文献1：日本特开2010－206239
发明内容
发明所要解决的课题
本发明的目的在于，提供能够使同时显示基于拍摄到的图像的注释以及图像时的匹配(matching)感提高的图像处理装置、拍摄装置以及程序。
用于解决课题的方法
为达成上述的目的，本发明的图像处理装置的特征在于，具有：输入图像的图像输入部102；进行所述图像的图像解析并生成注释的注释生成部110；基于所述解析的结果对所述图像进行加工的图像加工部112；以及将由所述注释和进行了所述加工后的图像形成的输出图像输出的图像输出部114。
此外，为了易于理解地说明本发明，与表示实施方式的附图的标记相对应地进行了说明，但本发明并不限定于此。也可以将后述的实施方式的构成适当地改进，另外，也可以将至少一部分替换成其他的构成。再有，对其配置没有特别限定的构成要件并不限于实施方式中公开的配置，能够配置在能够实现其功能的位置。
附图说明
图1是本发明的一实施方式的相机的概要框图。
图2是图1所示的图像处理部的概要框图。
图3是表示图1以及图2所示的图像处理部所进行的处理的一个例子的流程图。
图4表示图1以及图2所示的图像处理部所进行的图像处理的一个例子。
图5表示图1以及图2所示的图像处理部所进行的图像处理的另一个例子。
图6表示图1以及图2所示的图像处理部所进行的图像处理的另一个例子。
图7表示图1以及图2所示的图像处理部所进行的图像处理的另一个例子。
图8表示图1以及图2所示的图像处理部所进行的图像处理的另一个例子。
图9表示图1以及图2所示的图像处理部所进行的图像处理的另一个例子。
图10表示图1以及图2所示的图像处理部所进行的图像处理的另一个例子。
图11表示图1以及图2所示的图像处理部所进行的图像处理的另一个例子。
具体实施方式
图1所示的相机50是所谓的紧凑型数码相机(compact digitalcamera)。在以下的实施方式中，以紧凑型数码相机为例进行说明，但本发明并不限于此。例如，也可以是透镜镜筒与相机机身独立构成的单反相机。另外，并不限于紧凑型数码相机或单反数码相机，还能够适用于移动电话等移动设备、PC、数码相框(photo frame)等。
如图1所示，相机50具备拍摄透镜1、拍摄元件2、A/D转换部3、缓冲存储器4、CPU5、存储部6、卡接口(card interface)(卡I/F)7、定时发生器(TG)9、透镜驱动部10、输入接口(输入I/F)11、温度测定部12、图像处理部13、GPS接收部14、GPS天线15、显示部16以及触摸面板按钮17。
TG9以及透镜驱动部10连接于CPU5，拍摄元件2以及A/D转换部3连接于TG9，拍摄透镜1连接于透镜驱动部10。缓冲存储器4、CPU5、存储部6、卡I/F7、输入I/F11、温度测定部12、图像处理部13、GPS接收部14以及显示部16经由总线18能够传递信息地连接。
拍摄透镜1由多个光学透镜构成，基于来自CPU5的指示而被透镜驱动部10驱动，将来自被拍摄体的光束在拍摄元件2的受光面上成像。
拍摄元件2接受CPU5的指令并基于TG9产生的定时脉冲而动作，获取利用设置于拍摄元件2前方的拍摄透镜1而成像的被拍摄体的图像。拍摄元件2能够适当选择使用CCD或CMOS的半导体图像传感器等。
从拍摄元件2输出的图像信号由A/D转换部3转换为数字信号。该A/D转换部3与拍摄元件2一同，根据CPU5的指令并基于由TG9产生的定时脉冲而动作。图像信号暂时存储于帧存储器(framememory)(未图示)后，存储于缓冲存储器4。此外，缓冲存储器4能够适当选择使用半导体存储器中的任意的非易失性存储器。
CPU5在由使用者按下电源按钮(未图示)而接通相机50的电源时，读取存储于存储部6中的相机50的控制程序，将相机50初始化。然后，CPU5在经由输入I/F11受理了来自使用者的指示时，基于控制程序进行如下控制，即，对拍摄元件2进行被拍摄体的拍摄的控制、对图像处理部13进行拍摄到的图像的图像处理的控制、进行该处理后的图像向存储部6或卡存储器8的记录或向显示部16的显示等的控制。
存储部6存储相机50拍摄到的图像、CPU5所使用的控制相机50的控制程序等各种程序以及注释列表，该注释列表成为用于对拍摄到的图像添加注释的注释生成的基础。存储部6能够适当选择使用普通的硬盘装置、光磁盘装置或闪存RAM等存储装置。
在卡I/F7上可拆装地安装卡存储器8。存储于缓冲存储器4的图像基于CPU5的指示而由图像处理部13进行图像处理，作为添加有如下拍摄信息来作为标头(header)信息的Exif形式等的图像文件，而存储于卡存储器8，其中，该拍摄信息包括焦距、快门速度、光圈值及ISO值等、图像拍摄时由GPS接收部14求得的拍摄位置、高度等。
透镜驱动部10在由拍摄元件2进行被拍摄体的拍摄前，基于通过对被拍摄体的亮度进行测光而求得的对焦状态和CPU5算出的快门速度、光圈值以及ISO值等，使拍摄透镜1驱动，使来自被拍摄体的光束在拍摄元件2的受光面上成像。
输入I/F11将与使用者的操作内容相应的操作信号输出至CPU5。在输入I/F11上连接有例如未图示的电源按钮、拍摄模式等的模式设定按钮以及释放按钮(release button)等操作部件。另外，在输入I/F11上连接有设置于显示部16前表面的触摸面板按钮17。
温度测定部12测定拍摄时的相机50周围的温度。温度测定部12能够适当选择使用普通的温度传感器。
在GPS接收部14上连接有GPS天线15，接收来自GPS卫星的信号。GPS接收部14基于接收到的信号，获取纬度、经度以及高度、日期时间等信息。
显示部16显示实时取景图像(through image)、拍摄到的图像或模式设定画面等。显示部16能够适当选择使用液晶显示器等。另外，在显示部16的前表面具备与输入I/F11连接的触摸面板按钮17。
图像处理部13是如下的数字电路，其进行插补处理、轮廓强化处理或白平衡校正等图像处理，并且进行添加有拍摄条件及/或拍摄信息等来作为标头信息的Exif形式等的图像文件生成。另外，如图2所示，图像处理部13具备图像输入部102、图像解析部104、注释生成部110、图像加工部112以及图像输出部114，对输入的图像进行后述的图像处理。
图像输入部102输入静止图像或实时取景图像等图像。图像输入部102输入例如从图1所示的A/D转换部3输出的图像、存储于缓冲存储器部4的图像、存储于卡存储器8的图像。此外，作为其他的例子，图像输入部也可以通过网络(未图示)输入图像。图像输入部102将所输入的输入图像输出至图像解析部104以及图像加工部112。
图像解析部104进行从图像输入部102输入的输入图像的解析。例如，图像解析部104对输入图像进行图像特征量(例如，颜色分布、亮度分布以及对比度)的运算、面部辨识等，将图像解析结果输出至注释生成部110。此外，在本实施方式中，使用已知的任意手法进行面部辨识。另外，图像解析部104基于对输入图像添加的标头信息，获取拍摄日期时间、拍摄场所以及温度等。图像解析部104将图像解析结果输出至注释生成部110。
另外，图像解析部104具有人物判定部106以及风景判定部108，基于图像解析结果进行输入图像的场景判定。人物判定部106将基于图像解析结果而判定输入图像是否为人物图像的场景判定结果输出至图像加工部112。风景判定部108将基于图像解析结果而判定输入图像是否为风景图像的场景判定结果输出至图像加工部112。
注释生成部110基于从图像解析部104输入的图像解析结果，生成对输入图像的注释。注释生成部110通过来自图像解析部104的图像解析结果与存储于存储部6的文本数据之间的对应关系而生成注释。另外，作为其他的例子，注释生成部110也可以将多个注释候补显示于显示部，通过使用者操作触摸面板按钮17来从多个注释候补中设定注释。注释生成部110将注释输出至图像加工部112以及图像输出部114。
图像加工部112基于来自人物判定部106或风景判定部108的场景判定结果，根据从图像输入部102输入的输入图像而生成显示图像。此外，生成的显示图像可以是一幅图像，也可以是多幅图像。另外，图像加工部112也可以同时利用场景判定结果、以及来自注释生成部110的注释及/或来自图像解析部104的图像解析结果而生成显示图像。
图像输出部114将由来自注释生成部110的注释与和来自图像加工部112的显示图像组合而成的输出图像输出至图1所示的显示部16。即，图像输出部114输入注释和显示图像，在显示图像中设定文本合成区域，在文本合成区域合成注释。作为对显示图像设定文本合成区域的手法，可以使用任意的手法。例如，在显示图像中，能够在除相对重要的被拍摄体所映现的重要区域以外的非重要区域中确定文本合成区域。具体来说，将映现人物的面部的区域分类为重要区域，将不包含重要区域的非重要区域设定为文本合成区域，使注释重叠于文本合成区域。另外，也可以通过由使用者操作触摸面板按钮17来设定文本合成区域。
接下来，使用图3以及图4来说明本实施方式中的图像处理的例子。首先，使用者操作图1所示的触摸面板按钮17，切换为进行本实施方式中的图像处理的图像处理模式。
在图3所示的步骤S02中，使用者操作图1所示的触摸面板按钮17，从显示于显示部13的图像的候补中选择决定要进行图像处理的图像。在本实施方式中，选择图4(a)所示的图像。
在步骤S04中，将在步骤S02中选择的图像经由图2所示的总线18从卡存储器8传输至图像输入部102。图像输入部102将输入的输入图像输出至图像解析部104以及图像加工部112。
在步骤S06中，图2所示的图像解析部104进行图4(a)所示的输入图像的图像解析。图像解析部104对于图4(a)所示的输入图像，进行例如面部辨识等，求得输入图像中拍摄到的人物的人数，并且进行各人物的性别判定以及基于嘴角上扬程度等的笑脸判定。在本实施方式中，使用已知的任意手法，进行各人物的性别判定以及笑脸判定。图像解析部104例如关于图4(a)所示的输入图像，将“1人，女性，笑脸”的图像解析结果输出至图2所示的注释生成部110。
在步骤S08中，图2所示的图像解析部104的人物判定部106根据步骤S06中的“1人，女性，笑脸”的图像解析结果，判定为图4(a)所示的输入图像是人物图像。人物判定部106将“人物图像”的场景判定结果输出至图像加工部112。在本实施方式中，因为是人物图像，所以转移至步骤S12(“是”侧)。
在步骤S12中，图2所示的注释生成部110根据来自图像解析部104的“1人，女性，笑脸”的图像解析结果，生成“哇！正在微笑(＾_＾)”的注释。注释生成部110将该注释输出至图像输出部114。
在步骤S14中，图2所示的图像加工部112根据来自人物判定部106的“人物图像”的场景判定结果，生成图4(b)所示的显示图像(但是，在该阶段中，没有添加注释)。即，图像加工部112基于“人物图像”的输入，以对图4(a)中虚线所包围的以人物的面部为中心的区域进行特写(closeup)的方式对输入图像进行加工。图像加工部112将对人物的面部进行特写的显示图像输出至图像输出部114。
在步骤S16中，图像输出部114将在上述步骤S12中生成的注释以及在步骤S14中生成的显示图像合成，将图4(b)所示的输出图像输出至图1所示的显示部16。
在步骤S18中，使用者确认显示于图1所示的显示部16的输出图像。使用者在满意图4(b)所示的输出图像的情况下，通过操作触摸面板按钮17，将输出图像存储于存储部6，结束图像处理。在保存输出图像时，作为添加有拍摄信息以及上述图像处理中的参数来作为标头信息的Exif形式等的图像文件，而存储于存储部6。
另一方面，在使用者不满意图4(b)所示的输出图像的情况下，通过操作触摸面板按钮17，前进至步骤S20(“否”侧)。此时，注释生成部110基于步骤S06中的图像解析结果，将多个注释的候补显示于显示部16。使用者通过操作触摸面板按钮17，从显示于显示部16的注释的候补中选择适于图像的注释。注释生成部112将由使用者选择的注释输出至图像输出部114。
接下来，在步骤S20中，图2所示的图像加工部112基于来自人物判定部106的场景判定结果以及步骤S20中使用者所选择的注释，生成显示图像。此外，图像加工部112也可以基于场景判定结果以及使用者所选择的注释，将多个显示图像的候补显示于显示部16。使用者通过操作触摸面板按钮17，从多个候补中选择显示图像，决定显示图像。图像加工部112将显示图像输出至图像输出部114，并转移至步骤S16。
此外，在上述的实施方式中，如图4(b)所示，输出图像为一幅，但也可以如图4(c)所示，为多个输出图像。
在该情况下，在步骤S14中，图2所示的图像加工部112基于来自人物判定部106的场景判定结果，生成图4(c)所示的多个显示图像(但是，在该阶段中，没有添加注释)。即，图像加工部112生成图4(c)所示的初始图像(1)(对应图4(a))、中间图像(2)(将初始图像(1)以人物为中心放大的图像)以及最终图像(3)(将中间图像(2)以人物为中心进一步放大的图像)。图像加工部112将由该多个图像形成的显示图像输出至图像输出部114。
在步骤S16中，图像输出部114将在骤S12中生成的注释以及在步骤S14中生成的显示图像合成，将图4(c)所示的输出图像输出至图1所示的显示部16。即，图像输出部114输出幻灯片(slideshow)，该幻灯片将注释与图4(c)的(1)～(3)所示的一系列图像一起依次显示。
此外，在本实施方式中，对图4(c)的(1)～(3)所示的所有图像添加有注释，但也可以不对初始图像(1)以及中间图像(2)添加注释，而仅对最终图像(3)添加注释。
另外，在本实施方式中，输出初始图像(1)、中间图像(2)以及最终图像(3)这三幅图像，但也可以输出初始图像(1)以及最终图像(3)这两幅图像。另外，也可以由两幅以上构成中间图像，从而更平滑地进行放大。
这样，在本实施方式中，将对表情进行记述的注释和表情被特写的显示图像进行合成而输出输出图像。因此，在本实施方式中，能够得到注释与显示图像匹配的输出图像。
第二实施方式
在第二实施方式中，如图5(b)所示，除对输出图像添加的注释不同这一点与第一实施方式不同以外，与第一实施方式相同。在以下的说明中，省略与上述的实施方式重复的部分的说明。
在图3所示的步骤S06中，图2所示的图像解析部104进行图5(a)所示的输入图像的图像解析。图像解析部104关于图4(a)所示的输入图像，与上述的第一实施方式相同地，将“1人，女性，笑脸”的图像解析结果输出至图2所示的注释生成部110。另外，图像解析部104根据输入图像的标头信息，获取“2008年4月14日”的信息并将其输出至注释生成部110。
在步骤S08中，图2所示的图像解析部104的人物判定部106根据步骤S06中的“1人，女性，笑脸”的图像解析结果，判定为图4(a)所示的输入图像是人物图像。人物判定部106将“人物图像”的场景判定结果输出至图像加工部112。在本实施方式中，因为是人物图像，所以转移至步骤S12(“是”侧)。
在步骤S12中，图2所示的注释生成部110根据来自图像解析部104的“2008年4月14日”以及“1人，女性，笑脸”的图像解析结果，生成“2008年春天的一张”以及“哇！正在微笑(＾_＾)”的注释。注释生成部110将该注释输出至图像输出部114。
在步骤S14中，图2所示的图像加工部112基于来自人物判定部106的“人物图像”的场景判定结果，生成图5(b)所示的多个显示图像(但是，在该阶段中，没有添加注释)。即，图像加工部112生成图5(b)所示的初始图像(1)(对应图5(a))、放大图像(2)(将初始图像(1)以人物为中心放大的图像)。图像加工部112将由该多个图像形成的显示图像输出至图像输出部114。
在步骤S16中，图像输出部114将在步骤S12中生成的注释以及在步骤S14中生成的显示图像合成，将图5(b)所示的输出图像输出至图1所示的显示部16。在本实施方式中，对多个图像分别添加与其相匹配的注释，具体来说，根据图像的放大程度，改变对这些图像添加的注释。即，图像输出部114输出幻灯片，该幻灯片是通过依次显示如图5(b)(1)所示那样对初始图像组合“2008年春天的一张”的注释而成的输出图像、以及如图5(b)(2)所示那样对放大图像组合“哇！正在微笑(＾_＾)”的注释而成的输出图像而形成的。
这样，在本实施方式中，使用对放大前的初始图像添加关于日期时间的注释而成的图像和对放大后的放大图像添加与该放大图像匹配的注释而成的图像来输出幻灯片。其结果是，在本实施方式中，能够一边通过对初始图像添加的关于日期时间的注释，联想回忆起拍摄时的记忆，一边通过添加于放大图像的与该放大图像匹配的注释，想起更多拍摄时的记忆。
第三实施方式
在第三实施方式中，如图6(a)所示，除输入图像中包含多个人物这一点与第一实施方式不同以外，与第一实施方式相同。在以下的说明中，省略与上述的实施方式重复的部分的说明。
在图3所示的步骤S06中，图2所示的图像解析部104进行图6(a)所示的输入图像的图像解析。在本实施方式中，图像解析部104例如关于图6(a)所示的输入图像，将“2人，男性1人女性1人，笑脸”的图像解析结果输出至图2所示的注释生成部110。
在步骤S08中，图2所示的图像解析部104的人物判定部106根据步骤S06中的“2人，男性1人女性1人，笑脸”的图像解析结果，判定为图6(a)所示的输入图像是人物图像。人物判定部106将“人物图像”的场景判定结果输出至图像加工部112。在本实施方式中，因为是人物图像所以转移至步骤S12(“是”侧)。
在步骤S12中，图2所示的注释生成部110根据来自图像解析部104的“2人，男性1人女性1人，笑脸”的图像解析结果，生成“大家表情很好！”的注释。注释生成部110将该注释输出至图像加工部112以及图像输出部114。
在步骤S14中，图2所示的图像加工部112基于来自人物判定部106的“人物图像”的场景判定结果和来自注释生成部110的“大家表情很好！”的注释，生成图6(b)所示的显示图像(但是，在该阶段中，没有添加注释)。即，图像加工部112基于“人物图像”以及“大家表情很好！”的输入，以对图6(a)中被虚线包围的以2人的面部为中心的区域进行特写的方式进行图像加工。图像加工部112将显示图像输出至图像输出部114。
在步骤S16中，图像输出部114将在上述的步骤S12中生成的注释以及在步骤S14中生成的显示图像合成，将图6(b)所示的输出图像输出至图1所示的显示部16。
第四实施方式
在第四实施方式中，如图7(b)所示，除输出图像为多个这一点以及对输出图像添加的注释不同这一点与第三实施方式不同以外，与第三实施方式相同。在以下的说明中，省略与上述的实施方式重复的部分的说明。
在图3所示的步骤S06中，图2所示的图像解析部104进行图7(a)所示的输入图像的图像解析。图像解析部104关于图7(a)所示的输入图像，与上述的第三实施方式相同地，将“2人，男性1人女性1人，笑脸”的图像解析结果输出至图2所示的注释生成部110。另外，图像解析部104根据输入图像的标头信息，获取“xx市xx镇xx(位置信息)”的信息并将其输出至注释生成部110。
在步骤S08中，图2所示的图像解析部104的人物判定部106根据步骤S06中的“2人，男性1人女性1人，笑脸”的图像解析结果，判定为图7(a)所示的输入图像是人物图像。人物判定部106将“人物图像”的场景判定结果输出至图像加工部112。在本实施方式中，因为是人物图像，所以移转至步骤S12(“是”侧)。
在步骤S12中，图2所示的注释生成部110根据来自图像解析部104的“xx市xx镇xx(位置信息)”以及“2人，男性1人女性1人，笑脸”的图像解析结果，生成“自己家”以及“大家表情很好！”的注释。注释生成部110将该注释输出至图像输出部114。
在步骤S14中，图2所示的图像加工部112基于来自人物判定部106的“人物图像”的场景判定结果，生成图7(b)所示的多个显示图像(但是，在该阶段中，没有添加注释)。即，图像加工部112生成图7(b)所示的初始图像(1)(对应图7(a))、放大图像(2)(对图7(a)中被虚线包围的以2人的面部为中心的区域进行特写的图像)。图像加工部112将由该多个图像形成的显示图像输出至图像输出部114。
在步骤S16中，图像输出部114将在步骤S12中生成的注释以及在步骤S14中生成的显示图像合成，将图7(b)所示的输出图像输出至图1所示的显示部16。在本实施方式中，添加分别与多个图像匹配的注释，具体来说，根据图像的放大程度，变更对这些图像添加的注释。即，图像输出部114输出幻灯片，该幻灯片是通过依次显示如图7(b)(1)所示地对初始图像组合“自己家”的注释而成的输出图像、以及如图7(b)(2)所示地对放大图像组合“大家表情很好！”的注释而成的输出图像而形成的。
这样，在本实施方式中，使用对放大前的初始图像添加关于位置信息的注释而成的图像和对放大后的放大图像添加与该放大图像匹配的注释而成的图像，来输出幻灯片。其结果是，在本实施方式中，能够一边通过与对初始图像添加的位置信息有关的注释，联想回忆起拍摄时的记忆，一边通过对放大图像添加的与该放大图像匹配的注释，想起更多拍摄时的记忆。
第五实施方式
在本发明的第五实施方式中，如图8(a)所示，除输入的图像为包含海岸的风景图像这一点与第一实施方式不同以外，与第一实施方式相同。在以下的说明中，省略与上述的实施方式重复的部分的说明。
在图3所示的步骤S06中，图2所示的图像解析部104进行图8(a)所示的输入图像的图像解析。图像解析部104关于图8(a)所示的图像，由于蓝色的颜色分布的比例以及亮度较大、而且焦距较长，所以将例如“晴天，大海”的图像解析结果输出至图2所示的图像加工部112。
在步骤S08中，图2所示的人物判定部106根据图像解析部104的“晴天，大海”的图像解析结果，判断为图8(a)所示的图像不是人物图像。
在步骤S10中，图2所示的风景判定部108根据“晴天，大海”的图像解析结果，判定为图8(a)所示的输入图像是风景图像，将“风景图像”的场景判定结果输出至图2所示的图像加工部112。
在步骤S12中，图2所示的注释生成部110根据来自图像解析部104的“晴天，大海”的图像解析结果，生成“风平浪静的瞬间的一张”的注释。注释生成部110将该注释输出至图像加工部112以及图像输出部114。
在步骤S14中，图像加工部112基于来自风景判定部108的“风景图像”的场景判定结果以及来自注释生成部110的“风平浪静的瞬间的一张”的注释，生成图8(b)所示的显示图像。即，在本实施方式中，生成使亮度逐渐变化的显示图像。具体来说，生成如下显示图像，即，从与图8(a)所示的输入图像相比亮度显示得暗一些的图8(b)所示的初始图像(1)，到最终图像(2)(对应图8(a))，而使亮度逐渐变亮的显示图像(但是在该阶段中，没有添加注释)。
在步骤S16中，图像输出部114将在步骤S12中生成的注释和在步骤S14中生成的显示图像组合，将图8(b)所示的输出图像输出至图1所示的显示部16。此时，图像输出部114在从图8(b)所示的初始图像(1)到最终图像(2)而使亮度逐渐变化的阶段不添加注释，在到达最终图像(2)时添加注释。此外，也可以在从初始图像(1)到最终图像(2)而使亮度逐渐变化的阶段中添加注释。
如上所述，在本实施方式中，通过使亮度逐渐变化，使最终显示的图像整体的颜色、气氛突出，能够使最终显示的图像与文本的匹配感进一步提高。
第六实施方式
在本发明的第四实施方式中，如图9(a)所示，除输入的图像为包含山的风景图像这一点与第五实施方式不同以外，与第三实施方式相同。在以下的说明中，省略与上述的实施方式重复的部分的说明。
在图3所示的步骤S06中，图2所示的图像解析部104进行图9(a)所示的输入图像的图像解析。图像解析部104关于图9(a)所示的输入图像，由于蓝色以及绿色的颜色分布的比例以及亮度较大、而且焦距长，所以例如解析为“晴天，山岳”。另外，图像解析部104根据输入图像的标头信息，获取是“2008年1月24日”所获取的图像这一内容的信息。图像解析部104将图像解析结果输出至图2所示的图像加工部112。此外，图像解析部104根据输入图像的标头信息获取拍摄场所，根据拍摄场所和“晴天，山岳”的图像解析结果，还能够解析山的名称。
在步骤S08中，图2所示的人物判定部106根据图像解析部104的“晴天，山岳”的图像解析结果，判定为图9(a)所示的输入图像不是人物图像。
在步骤S10中，图2所示的风景判定部108根据“晴天，山岳”的图像解析结果，判定为图9(a)所示的输入图像是风景图像，将“风景图像”的场景判定结果输出至图2所示的图像加工部112。
在步骤S12中，图2所示的注释生成部110根据来自图像解析部104的“晴天，山岳”以及“2008年1月24日”的图像解析结果，生成“清爽。。。”以及“2008/1/24”的注释。注释生成部110将该注释输出至图像加工部112以及图像输出部114。
在步骤S14中，图像加工部112基于来自风景判定部108的“风景图像”的场景判定结果以及来自注释生成部110的“晴天，山岳”的注释，生成图9(b)所示的显示图像。即，在本实施方式中，生成使焦点逐渐变化的显示图像。具体来说，生成如下显示图像，即，从使图9(a)所示的输入图像模糊而成的图9(b)的初始图像(1)，到最终图像(2)(对应图9(a))，而逐渐对焦的显示图像(但是在该阶段中，没有添加注释)。
在步骤S16中，图像输出部114将在步骤S12中生成的注释以及在步骤S14中生成的显示图像组合，如图9(b)所示，将一边逐渐对焦一边显示的输出图像输出至图1所示的显示部16。
如上所述，在本实施方式中，通过逐渐调整焦点，使最终显示的图像整体的颜色、气氛突出，从而能够提高最终显示的图像与文本的匹配感。
第七实施方式
在本发明的第七实施方式中，如图10(a)所示，除是包含人、建筑物、招牌、道路、天空等各种被拍摄体的图像这一点与第一实施方式不同以外，与第一实施方式相同。在以下的说明中，省略与上述的实施方式重复的部分的说明。
在图3所示的步骤S06中，图2所示的图像解析部104进行图10(a)所示的输入图像的图像解析。图像解析部104例如关于图10(a)所示的输入图像，由于包含各种颜色，所以解析为“其他图像”。另外，图像解析部104根据输入图像的标头信息，获取“2012年7月30日，大阪”的信息。图像解析部104将图像解析结果输出至图2所示的图像加工部112。
在步骤S08中，图2所示的人物判定部106根据图像解析部104的“其他图像”的图像解析结果，判定为图10(a)所示的输入图像不是人物图像。
在步骤S10中，图2所示的风景判定部108根据“其他图像”的图像解析结果，判定为图10(a)所示的输入图像不是风景图像。转移至步骤S24(“否”侧)。
在步骤S24中，图2所示的注释生成部110根据来自图像解析部104的“其他图像”以及“2012年7月30日，大阪”的图像解析结果，生成“大阪2012.7.30”的注释。注释生成部110将该注释输出至图像加工部112以及图像输出部114。
在步骤S26中，图像输入部102基于来自风景判定部108的“其他图像”的场景判定结果以及来自注释生成部110的“大阪2012.7.30”的注释，输入图10(b)所示的卡存储器8内的关联图像。即，图像输入部102基于“大阪2012.7.30”的信息，输入在大阪于2012年7月30日拍摄的图10(b)所示的关联图像。此外，图像输入部102也可以基于日期时间、场所、气温等信息，输入与这些的信息具有关联性的关联图像。
在步骤S14中，图像加工部112基于来自风景判定部108的“其他图像”的场景判定结果以及来自注释生成部110的“大阪2012.7.30」的注释，生成图10(c)所示的显示图像。即，在本实施方式中，图像加工部102将图10(a)所示的输入图像以及图10(b)所示的两幅关联图像组合。在本实施方式中，将图10(a)所示的输入图像配置于正中间，以使图10(a)所示的输入图像明显。图像加工部112将显示图像输出至图像输出部114。
在步骤S16中，图像输出部114将在步骤S12中生成的注释以及在步骤S14中生成的显示图像组合，将图10(c)所示的输出图像输出至图1所示的显示部16。
如上所述，在本实施方式中，将对日期时间以及场所进行记述的注释和对日期时间以及场所相近的图像进行分组化得到的显示图像进行组合而输出输出图像。因此，在本实施方式中，注释与显示图像匹配，能够根据注释和被分组化的显示图像联想回忆起拍摄时的记忆。
第八实施方式
在本发明的第八实施方式中，除在图11(b)所示的关联图像中包含人物图像这一点与第七实施方式不同以外，与第五实施方式相同。在以下的说明中，省略与上述的实施方式重复的部分的说明。
在图3所示的步骤S26中，图像输入部102基于来自风景判定部108的“其他图像”的场景判定结果以及来自注释生成部110的“大阪2012.7”的注释，输入图11(b)所示的卡存储器8内的关联图像。在本实施方式中，如图11(b)的左侧所示，关联图像中包含人物图像。在关联图像中包含人物图像的情况下，与上述的实施方式同样地，如图11(c)的右上所示，将人物图像放大，并对放大后的图像添加与人物图像的表情建立关联的注释。
在步骤S14中，图像加工部112基于来自风景判定部108的“其他图像”的场景判定结果以及来自注释生成部110的“大阪2012.7”的注释，生成图11(c)所示的显示图像。即，在本实施方式中，图像加工部102将图11(a)所示的输入图像以及图11(b)所示的两幅关联图像组合。在本实施方式中，以图11(a)所示的输入图像以及图11(b)的左侧所示的人物图像明显的方式，将这些图像显示得比其他的图像大。图像加工部112将显示图像输出至图像输出部114。
在步骤S16中，图像输出部114将在步骤S12中生成的注释以及在步骤S14中生成的显示图像组合，并将图11(c)所示的输出图像输出至图1所示的显示部16。
此外，本发明并不限定于上述的实施方式。
在上述的实施方式中，图2所示的图像解析部104包括人物判定部106以及风景判定部108，但还可以包括例如动物判定部或/及朋友判定部等其他的判定部。例如，在动物图像的场景判定结果的情况下，考虑进行对动物进行放大的图像处理，在朋友图像的场景判定结果的情况下，考虑生成对朋友的图像进行分组化的显示图像。
在上述的实施方式中，在相机50的编辑模式中进行图像处理，但也可以在相机50进行拍摄时进行图像处理并将输出图像显示于显示部16。例如，能够在使用者半按释放按钮时，生成输出图像并将其显示于显示部16。
在上述的实施方式中，将输出图像记录于存储部6，但也可以例如不将输出图像本身记录于存储部，而是将拍摄图像与图像处理的参数一起作为Exif形式等的图像文件而记录。
此外，也能够适用于使计算机具备用于实现本发明的图像处理装置的各工序的程序而使其作为图像处理装置发挥功能。
本发明能够在不超出其精神或其主要特征的范围内以其他方式实施。因此，上述的实施方式在所有方面均不过是简单的例示，不应被限定地解释。再有，属于权利要求书的均等范围的变形或改变全部在本发明的范围内。
附图标记说明
6…存储部
13…图像处理部
16…显示部
17…触摸面板按钮
50…相机
102…图像输入部
104…图像解析部
106…人物判定部
108…风景判定部
110…注释生成部
112…图像加工部
114…图像输出部

Claims (9)

1.一种图像处理装置，其特征在于，具有：
图像输入部，该图像输入部输入图像；
注释生成部，该注释生成部进行所述图像的图像解析并生成注释；
图像加工部，该图像加工部基于所述解析的结果对所述图像进行加工；以及
图像输出部，该图像输出部输出由所述注释和进行了所述加工后的图像形成的图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
进行了所述加工后的图像由多个图像构成，
所述图像输出部将进行了加工后的所述多个图像切换地输出。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所述注释由多个注释构成，
所述图像输出部将所述多个注释切换地输出。
4.根据权利要求2或从属于权利要求2的权利要求3所述的图像处理装置，其特征在于，
所述图像输出部从第一时刻到第二时刻切换地输出进行了加工后的所述多个图像，在到达所述第二时刻时，将所述注释与所述第二时刻的图像进行组合并输出。
5.根据权利要求1～4中任一项所述的图像处理装置，其特征在于，
还具备人物判定部，该人物判定部进行所述图像是否为人物图像的场景判定，
在所述图像为人物图像时，所述图像加工部从所述图像生成以所述人物为中心放大而得到的放大图像。
6.根据权利要求1～5中任一项所述的图像处理装置，其特征在于，
还具备风景判定部，该风景判定部进行所述图像是否为风景图像的场景判定，
在所述图像为风景图像时，所述图像加工部从所述图像生成使所述图像的画质变化而得到的比较图像。
7.根据权利要求1～6中任一项所述的图像处理装置，其特征在于，
所述注释生成部基于所述图像以及所述图像的拍摄信息进行所述图像解析，
在所述图像既不是人物图像且也不是风景图像的情况下，所述图像输入部基于所述拍摄信息进一步输入与所述图像相关联的关联图像，
所述图像加工部生成将所述注释、所述图像和所述关联图像组合并进行加工而得到的图像。
8.一种拍摄装置，其特征在于，
具备权利要求1～7中任一项所述的图像处理装置。
9.一种程序，其特征在于，使计算机执行：
输入图像的图像输入机构；
进行所述图像的图像解析并生成注释的注释生成机构；
基于所述解析的结果对所述图像进行加工的图像加工机构；以及
输出由所述注释和进行了所述加工后的图像形成的输出图像的图像输出机构。
CN201380043839.7A 2012-08-17 2013-08-14 图像处理装置、拍摄装置以及程序 Pending CN104584529A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-180746 2012-08-17
JP2012180746 2012-08-17
PCT/JP2013/071928 WO2014027675A1 (ja) 2012-08-17 2013-08-14 画像処理装置、撮像装置およびプログラム

Publications (1)

Publication Number Publication Date
CN104584529A true CN104584529A (zh) 2015-04-29

Family

ID=50685611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380043839.7A Pending CN104584529A (zh) 2012-08-17 2013-08-14 图像处理装置、拍摄装置以及程序

Country Status (4)

Country Link
US (1) US20150249792A1 (zh)
JP (3) JP6213470B2 (zh)
CN (1) CN104584529A (zh)
WO (1) WO2014027675A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107181908A (zh) * 2016-03-11 2017-09-19 松下电器（美国）知识产权公司 图像处理方法、图像处理装置及程序

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302315A (zh) * 2015-11-20 2016-02-03 小米科技有限责任公司 图片处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100396083C (zh) * 2003-11-27 2008-06-18 富士胶片株式会社 图像编辑装置及其方法
US20090040315A1 (en) * 2007-08-10 2009-02-12 Canon Kabushiki Kaisha Image pickup apparatus and image pickup method
CN101453573A (zh) * 2007-12-04 2009-06-10 奥林巴斯映像株式会社 图像显示装置和照相机、图像显示方法、程序及图像显示系统
CN101790035A (zh) * 2009-01-22 2010-07-28 奥林巴斯映像株式会社 照相机、图像显示装置、图像显示方法以及程序
US20100194906A1 (en) * 2009-01-23 2010-08-05 Nikon Corporation Display apparatus and imaging apparatus
JP2010206239A (ja) * 2009-02-27 2010-09-16 Nikon Corp 画像処理装置、撮像装置及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4578948B2 (ja) * 2003-11-27 2010-11-10 富士フイルム株式会社 画像編集装置および方法並びにプログラム
JP4735084B2 (ja) * 2005-07-06 2011-07-27 パナソニック株式会社 密閉型圧縮機
JP2009239772A (ja) * 2008-03-28 2009-10-15 Sony Corp 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
JP2010191775A (ja) * 2009-02-19 2010-09-02 Nikon Corp 画像加工装置、電子機器、プログラム及び画像加工方法
JP2010244330A (ja) * 2009-04-07 2010-10-28 Nikon Corp 画像演出プログラムおよび画像演出装置
JP4992932B2 (ja) * 2009-04-23 2012-08-08 村田機械株式会社 画像形成装置
JP5701040B2 (ja) * 2010-12-14 2015-04-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
US9117221B2 (en) * 2011-06-30 2015-08-25 Flite, Inc. System and method for the transmission of live updates of embeddable units
US9100724B2 (en) * 2011-09-20 2015-08-04 Samsung Electronics Co., Ltd. Method and apparatus for displaying summary video
US9019415B2 (en) * 2012-07-26 2015-04-28 Qualcomm Incorporated Method and apparatus for dual camera shutter

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100396083C (zh) * 2003-11-27 2008-06-18 富士胶片株式会社 图像编辑装置及其方法
US20090040315A1 (en) * 2007-08-10 2009-02-12 Canon Kabushiki Kaisha Image pickup apparatus and image pickup method
CN101453573A (zh) * 2007-12-04 2009-06-10 奥林巴斯映像株式会社 图像显示装置和照相机、图像显示方法、程序及图像显示系统
CN101790035A (zh) * 2009-01-22 2010-07-28 奥林巴斯映像株式会社 照相机、图像显示装置、图像显示方法以及程序
US20100194906A1 (en) * 2009-01-23 2010-08-05 Nikon Corporation Display apparatus and imaging apparatus
JP2010206239A (ja) * 2009-02-27 2010-09-16 Nikon Corp 画像処理装置、撮像装置及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107181908A (zh) * 2016-03-11 2017-09-19 松下电器（美国）知识产权公司 图像处理方法、图像处理装置及程序
CN107181908B (zh) * 2016-03-11 2020-09-11 松下电器（美国）知识产权公司 图像处理方法、图像处理装置及计算机可读记录介质

Also Published As

Publication number Publication date
JP2019169985A (ja) 2019-10-03
JPWO2014027675A1 (ja) 2016-07-28
JP6213470B2 (ja) 2017-10-18
WO2014027675A1 (ja) 2014-02-20
JP2017229102A (ja) 2017-12-28
US20150249792A1 (en) 2015-09-03

Similar Documents

Publication Publication Date Title
JP4799511B2 (ja) 撮像装置および方法並びにプログラム
CN102447912B (zh) 图像处理装置、白平衡校正方法以及摄像装置
JP2017220892A (ja) 画像処理装置及び画像処理方法
CN108259757A (zh) 摄像装置、图像处理装置、以及记录方法
JP2015231058A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
CN101742336B (zh) 图像处理装置以及图像处理方法
CN101668106B (zh) 图像处理装置、摄像装置以及图像处理方法
KR101737086B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
JP2007159095A (ja) 撮像装置
JP5185085B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2006081224A (ja) 電子スチルカメラ及び画像加工方法
JP2009071592A (ja) 撮像装置及び撮像制御方法
JP4725854B2 (ja) 画像表示装置及び画像表示方法
JP2006238311A (ja) 撮影装置及びプログラム
JP6706167B2 (ja) 撮像装置、画像合成方法、およびプログラム
JP2010141609A (ja) 撮像装置
CN104584529A (zh) 图像处理装置、拍摄装置以及程序
CN102291537B (zh) 图像处理装置、摄像装置以及图像处理方法
JP2010283504A (ja) 撮像装置、撮像方法、および、撮像プログラム
JP7378963B2 (ja) 画像処理装置、画像処理方法、及び、コンピュータプログラム
JP7395258B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP4374490B2 (ja) 撮影装置
JP2005275978A (ja) 撮影装置
JP2008172676A (ja) 画像合成装置、画像合成方法
WO2020189510A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150429

RJ01 Rejection of invention patent application after publication