CN102812490A - 图像处理装置以及电子设备 - Google Patents

图像处理装置以及电子设备 Download PDF

Info

Publication number
CN102812490A
CN102812490A CN2011800066380A CN201180006638A CN102812490A CN 102812490 A CN102812490 A CN 102812490A CN 2011800066380 A CN2011800066380 A CN 2011800066380A CN 201180006638 A CN201180006638 A CN 201180006638A CN 102812490 A CN102812490 A CN 102812490A
Authority
CN
China
Prior art keywords
image
correction
zone
input picture
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800066380A
Other languages
English (en)
Inventor
津田佳行
畑中晴雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyun Hyun Lee
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority claimed from PCT/JP2011/050648 external-priority patent/WO2011089996A1/ja
Publication of CN102812490A publication Critical patent/CN102812490A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/403—Discrimination between the two tones in the picture signal of a two-tone original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种简单去除图像上映入的不要目标的图像处理装置以及电子设备。本发明中，当人物(312)为不要目标时，用户通过利用触摸面板功能来指定人物(312)，将人物(312)的图像区域设定为不要区域。图像修正部设定包含不要区域的修正对象区域(320)，另一方面，将从修正对象区域(320)去除不要区域后的部分的图像用作模板，从输入图像(310)内搜索该图像的相似区域。若发现相似区域(331)，则图像修正部设定包含相似区域(331)的图像区域作为修正补丁区域(340)，并通过对修正对象区域(320)的图像数据与修正补丁区域(340)的图像数据进行混合，对修正对象区域(320)内的图像进行修正。

Description

图像处理装置以及电子设备
技术领域
本发明涉及进行图像处理的图像处理装置以及具有图像处理功能的电子设备。
背景技术
在通过使用数码相机的照片拍摄等得到的任意数字图像中，有时包含不想要的伤痕(如伤痕似的模样)或不想拍摄的不需要的物体。若使用图像编辑软件来编辑(修正)数字图像，则能够从数字图像中去除这些不需要的目标(object)(不要的物体或模样等)。
图18(a)的符号910表示出成为修正对象的数字图像。在输入图像910中出现两个人物911以及912。人物911是用户的关注人物，人物912是对用户而言不需要的目标。在图像编辑软件中，以使输入图像910在液晶显示器等的显示画面中进行显示的状态，接收由用户进行的编辑操作。用户将输入图像910上人物912的图像区域看作不要区域，使用适当的填充色来进行对该不要区域进行填充的编辑操作。由此，用户能够得到去除不要目标的所希望的图像。图18(b)表示编辑操作中的显示图像的样子，符号913表示填充用的图标(模拟笔的图标)。
在基于现有的图像编辑软件的方法中，需要全部通过手动进行上述编辑工作，非常麻烦。特别是在数码相机等便携型电子设备中，使用小型监视器以及十字光标来进行上述细微的编辑工作是非常困难的。
此外，在下述专利文献1以及2中，虽然提出有去除图像上的脸的斑点或皱纹的方法，但在该方法中，无法应对斑点或皱纹以外的不需要的目标去除。
此外，也开发有如下所示的图像处理软件(参照下述非专利文献1以及2)。包含图33所示的人物921～923的图像的输入图像920提供给该图像处理软件，当用户捕获到人物923作为不要目标时，用户通过用户界面来指定输入图像920中的不要区域(不要目标存在的区域)AA。如此，该图像处理软件，如图34(a)所示，自动地选择小区域BB，并使用小区域BB内的信号来生成结果图像930(参照图34(b))。在结果图像930中，去除在不要区域AA内存在的不要目标。
然而，对基于图像处理软件的小区域BB的选择方法而言，有时会生成与用户的意图相异的结果图像。例如，若选择如图35(a)所示的包含人物922的小区域BB′作为小区域BB，则得到如人物922的图像数据被反映到小区域AA的结果图像930′(参照图35(b))，即，得到如将同一人物922重复放映出似的结果图像930′。应极力避免输出这样与用户的意图相异的结果图像。
现有技术文献
专利文献
专利文献1：JP特开2009-20834号公报
专利文献2：JP特开2009-182423号公报
非专利文献1：“Photoshop CS5：与内容相应的涂抹(コンテンツに応じた塗り)”，[online]，平成22年5月，Adva-Soft，[平成22年12月14日检索]，互联网<URLhttp://www.adobe.com/jp/joc/photoshop/photoshop/whatsnew/whatsnew_05.h tml>
非专利文献2：“Touch Retouch”，“online”，平成22年，Adva-Soft，“检索平成22年12月14日”，互联网<URL：http://iphotomania.com/applications.html>
发明内容
发明的概要
发明所要解决的技术问题因此，本发明的目的在于，提供一种能够容易地修正输入图像的对象区域内的图像的图像处理装置以及电子设备。此外，本发明的目的在于，提供一种有助于生成按照用户的意图的修正结果的图像处理装置以及电子设备。
本发明的图像处理装置，具有对第一输入图像中所包含的对象区域内的图像进行修正的修正部，所述修正部具有：修正处理部，其使用与所述第一输入图像相同或不同的第二输入图像中所包含的修正用区域内的图像来修正所述对象区域内的图像；和修正用区域提取部，其根据所述对象区域的图像数据，从所述第二输入图像中提取所述修正用区域。
若根据图像数据自动地提取用于修正对象区域内的图像的修正用区域，则会减轻用户的作业负担，使对象区域内的图像的修正变得容易。
具体而言，例如，所述修正部还具有：提取禁止区域设定部，其根据所赋予的操作，在所述第二输入图像内设定提取禁止区域，所述修正用区域提取部从所述第二输入图像中的所述提取禁止区域以外的图像区域提取所述修正用区域。
若根据图像数据自动地提取用于修正对象区域内的图像的修正用区域，则会减轻用户的作业负担，使对象区域内的图像的修正变得容易。而且，通过设置提取禁止区域的设定功能，可避免提取与用户的意图相反的修正用区域，其结果是，能够得到按照用户的意图的修正结果。
更具体而言，例如，所述修正部还具有：对象区域设定部，其指定所述第一输入图像中所包含的不要区域，并将包含该不要区域的图像区域设定为所述对象区域，所述修正用区域提取部通过将所述对象区域内的所述不要区域以外的图像区域即剩余部分区域的图像数据与所述第二输入图像的图像数据进行对比，从所述第二输入图像中检测并提取所述修正用区域。
更具体而言，例如，所述修正用区域提取部从所述第二输入图像内搜索具有与所述剩余部分区域的图像特征相似的图像特征的图像区域，并从所述第二输入图像中提取包含所搜索到的图像区域的图像区域作为所述修正用区域。
若通过搜索不包含不要区域的剩余部分区域的相似区域来设定修正用区域，则能够不受不要目标的影响地提取适合去除不要目标的修正用区域。
此外，例如，可以使用与该图像处理装置连接的显示部，明示所述修正用区域。
此外，例如，在基于所述修正处理部进行的修正的执行过程中或执行后指示了重新执行所述修正时，所述修正用区域提取部从所述第二输入图像中提取与已经提取出的修正用区域不同的图像区域作为新的修正用区域，所述修正处理部使用新提取的修正用区域内的图像，来修正所述对象区域内的图像。
此外，例如，上述图像处理装置，当在所述第二输入图像内存在多个具有与所述剩余区域的图像特征相似的图像特征的图像区域时，可以从该多个图像区域中，按照外部操作来选择所述修正用区域所应包含的图像区域。
此外，例如，所述修正用区域提取部，在所述对象区域内不包含人物的脸的图像时，可以利用从所述第二输入图像中检测人物的脸的图像的脸检测处理的结果，来检测所述修正用区域。
此外，例如，所述修正处理部，可以通过以所设定的混合比率混合所述对象区域的图像数据与所述修正用区域的图像数据，对所述对象区域内的图像进行修正。
此外，例如，所述修正处理部，可以通过由所设定的混合比率混合所述对象区域的图像数据与所述修正用区域的图像数据来修正所述对象区域内的图像，并根据所述剩余部区域的图像特征与所述修正用区域所包含的图像区域的图像特征的相似度来设定所述混合比率。
此外，例如，上述图像处理装置，可以按照用于调整所述混合比率的调整操作来调整所述混合比率。
此外，例如，所述修正处理部，可以通过个别执行以彼此不同的多个混合比率混合所述对象区域的图像数据与所述修正用区域的图像数据的处理，来生成多个修正候补图像，并使显示部显示所述多个修正候补图像，根据来自外部的选择操作来选择所述多个修正候补图像中的一个，且使用与所选择的修正候补图像对应的混合比率来修正所述对象区域内的图像。
此外，例如，所述修正部，除了作为第一修正处理部的所述修正处理部以外，还具有：第二修正处理部，其使用用于缩小所述不要区域的膨胀处理来修正所述对象区域内的图像，所述修正部根据所述不要区域的形状，选择性地使用所述第一及第二修正处理部，来修正所述对象区域内的图像。
由此，能够进行与不要区域的形状相应的适合的修正。
此外，例如，所述修正部还具有：不要区域设定部，其接收指定位置的输入，以所述指定位置被包含于所述不要区域的方式，基于所述指定位置和所述第一输入图像的图像数据来设定所述不要区域。
由此，可谋求减轻用户的操作负担。
此外，例如，所述修正处理部可以分多次阶段性地执行针对所述对象区域内的图像的修正，且向显示部依次输出通过执行阶段性修正而得到的多个修正结果图像。
此外，例如，所述修正处理部可以分多次阶段性地执行针对所述对象区域内的图像的修正，且向显示部同时输出通过执行阶段性修正而得到的多个修正结果图像。
本发明的电子设备，具有上述图像处理装置。
本发明的其它电子设备，具有：图像处理装置，其具有对第一输入图像中所包含的对象区域内的图像进行修正的修正部；显示部，其显示所述第一输入图像的全部或一部分；和操作部，其接收指定所述第一输入图像中所包含的不要区域的不要区域指定操作，并接收指示所述不要区域内的图像的修正的修正指示操作，所述修正部具有：对象区域设定部，其将包含所述不要区域的图像区域设定为所述对象区域；修正处理部，其使用与所述第一输入图像相同或不同的第二输入图像中所包含的修正用区域内的图像来修正所述对象区域内的图像；和修正用区域提取部，其根据所述对象区域的图像数据从所述第二输入图像提取所述修正用区域，所述修正部根据所述修正指示操作来修正所述对象区域内的图像，在进行了该修正时，所述显示部显示修正后的对象区域内的图像。
若根据图像数据自动地提取用于修正对象区域内的图像的修正用区域，则会减轻用户的作业负担，使对象区域内的图像的修正变得容易。
具体而言，例如，所述修正部还具有：提取禁止区域设定部，其根据对所述操作部进行的提取禁止区域指定操作，在所述第二输入图像内设定提取禁止区域，所述修正部根据所述修正指示操作来修正所述对象区域内的图像，在进行了该修正时，所述显示部显示修正后的对象区域内的图像，所述修正用区域提取部从所述第二输入图像中的所述提取禁止区域以外的图像区域提取所述修正用区域。
若根据图像数据自动地提取用于修正对象区域内的图像的修正用区域，则会减轻用户的作业负担，使对象区域内的图像的修正变得容易。而且，通过设置提取禁止区域的设定功能，可避免提取与用户的意图相反的修正用区域，其结果是，能够得到按照用户的意图的修正结果。
此外，在上述其它电子设备中，所述修正部除了作为第一修正处理部的所述修正处理部以外，还具有：第二修正处理部，其使用用于缩小所述不要区域的膨胀处理来修正所述对象区域内的图像，当进行了所述修正指示操作时，可以根据所述不要区域的形状，选择性地使用所述第一及第二修正处理部来修正所述对象区域内的图像。
发明效果
根据本发明，提供一种能够容易地修正输入图像的对象区域内的图像的图像处理装置以及电子设备。
本发明的意义、效果，通过以下所示的实施方式的说明会更加明确。然而，以下的实施方式，也只是本发明的一个实施方式，本发明、各结构要件的用语的意义，不局限于以下实施方式所记载的内容。
附图说明
图1是表示本发明的实施方式的摄像装置的整体结构的方框图。
图2是表示本发明的实施方式的由输入图像生成输出图像的图像修正部的图。
图3是表示二维图像与二维坐标系XY的关系的图。
图4是表示针对图2的图像修正部的输入图像的示例的图。
图5是表示图4的输入图像的一部分即修正对象区域内的图像的图(a)、与表示由该图像生成的掩蔽图像的图(b)。
图6是表示上述掩蔽图像的相似区域的图(a)、与表示包含该相似区域的修正补丁区域的图(b)。
图7是表示基于图4的输入图像的输出图像的示例的图。
图8是在输入图像上表示出检测出多个上述掩蔽图像的相似区域时所设定的多个修正补丁区域候补的图(a)，与表示在显示图像上强调该多个修正补丁区域候补的样子的图(b)。
图9是表示使图像数据混合的系数(kMIX)变化时的修正对象图像的修正结果变化的图。
图10是表示放大显示修正对象区域内的图像时的显示画面的样子的图。
图11是表示放大显示修正对象区域内的图像时，通过用户进行触摸面板调整操作的样子的图。
图12是不要目标去除模式中的图1的摄像装置的动作流程图。
图13是表示不要区域与修正对象区域的关系的图。
图14是用于说明修正对象区域内的关注像素位置与修正对象区域的外周之间的距离的图。
图15是表示上述距离与图像数据混合的系数的关系示例的图。
图16是图12所示的调整处理的详细流程图。
图17是图1所示的图像修正部的内部方框图。
图18是用于说明基于现有的图像编辑软件的不要目标去除方法的图。
图19是用于说明本发明的第二实施方式的不要区域指定操作的图。
图20是表示本发明的第三实施方式的输入图像内的指定位置的图。
图21是用于说明本发明的第三实施方式的后头部检测处理的图。
图22是用于说明本发明的第三实施方式的线检测处理的图。
图23是用于说明本发明的第三实施方式的移动物体检测处理的图。
图24是用于说明本发明的第三实施方式的告示牌检测处理的图。
图25是用于说明本发明的第三实施方式的黑痣检测方法的图。
图26是本发明的第三实施方式的不要区域的设定动作流程图。
图27是本发明的第四实施方式的不要目标去除状态中的摄像装置的动作流程图。
图28是表示本发明的第四实施方式的依次显示多个修正结果图像的样子的图。
图29是表示本发明的第四实施方式的同时显示多个修正结果图像的样子的图。
图30是表示本发明的第四实施方式的显示画面的显示内容示例的图。
图31是表示本发明的第四实施方式的显示画面的显示内容例的图。
图32是用于说明本发明的第四实施方式的修正的再试行的图。
图33是表示针对现有的其它图像编辑软件的输入图像的图。
图34是用于说明基于现有的其它图像编辑软件的不要目标去除方法的图。
图35是用于说明基于现有的其它图像编辑软件的不要目标去除方法的图。
图36是用于说明本发明的第二十五实施方式的不要目标去除方法的图。
图37是表示本发明的第二十五实施方式的提取禁止区域设定部的图。
图38是本发明的第二十五实施方式的图像修正部的内部方框图。
图39是本发明的第二十五实施方式的摄像装置的动作流程图。
具体实施方式
以下，参照附图对本发明的每个实施方式具体地进行说明。在所参照的各图中，对相同部分赋予相同符号，作为原则而省略与相同部分相关的重复说明。
《第一实施方式》
对本发明的第一实施方式进行说明。图1是表示本发明的第一实施方式的摄像装置1的整体结构的方框图。摄像装置1具有由符号11～18所参照的各部位。摄像装置1是能够拍摄静止图像以及动态图像的数码摄像机。然而，摄像装置1也可以是只能拍摄静止图像的数码照相机。此外，显示部16也可以解释为是在与摄像装置1不同的显示装置等中所设置的显示部。
摄像部11通过使用摄像元件进行被摄体的拍摄，来获取被摄体的图像的图像数据。具体而言，摄像部11具有摄像元件，该摄像元件由未图示的光学系统、光圈、以及CCD(Charge Coupled Device：电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器等构成。该摄像元件对经由光学系统以及光圈入射的表示被摄体的光学像进行光电转换，输出由该光电转换得到的模拟电信号。未图示的AFE(Analog Front End：模拟前端)放大从摄像元件输出的模拟信号并转换为数字信号。所得到的数字信号，作为被摄体的图像的图像数据，被记录在由SDRAM(Synchronous Dynamic Random AccessMemory：同步动态随机存储器)等形成的图像存储器12中。
将由记录在图像存储器12中的一帧周期的图像数据所表示的一张图像称为帧图像。此外，在本说明书中，有时将图像数据简称为图像。此外，有时将针对某像素的图像数据称为像素信号。像素信号，例如，由表示像素的明亮度的亮度信号以及表示像素颜色的色差信号构成。
摄像控制部13，根据用户的指示或帧图像的图像数据，来调节摄像部11的视角(焦距)以及焦点位置和对摄像元件的入射光量。
图像处理部14，对帧图像进行规定的图像处理(解拼处理、降噪处理、边缘强调处理等)。
记录介质15，由非易失性的半导体存储器或磁盘等构成，且记录上述图像处理后的帧图像的图像数据或上述图像处理前的帧图像的图像数据等。显示部16是由液晶显示面板等构成的显示装置，进行帧图像等的显示。操作部(操作接收部)17，接受由用户进行的操作。对操作部17的操作内容被传输给主控制部18。主控制部18按照对操作部17进行的操作内容，统一控制摄像装置1内的各部位的动作。
在显示部16中设置有所谓触摸面板功能，用户能够通过由操作体触碰显示部16的显示画面，来完成触摸面板操作。所谓操作体，是指手指或规定的触摸笔。触摸面板功能的实现与操作部17有关，在本实施方式中，认为触摸面板操作也是一种对操作部17的操作(在后述的其它实施方式中也同样)。操作部17通过依次检测出显示画面上被操作体触碰的位置，来确认由用户进行的触摸面板操作的内容。此外，以下说明中的显示以及显示画面，若无特别说明，则是指显示部16中的显示以及显示画面，以下的说明中的所谓操作，若无特别说明，则是指操作部17的操作。
在图像处理部14中，设置有图像修正部(修正部)30。如图2所示，图像修正部30具有修正输入图像的功能，将已修正的输入图像生成为输出图像。输入图像可以是被记录在记录介质15中的图像(由摄像部11的拍摄所得到的图像)，也可以是由摄像装置1以外的装置提供的图像(例如，位于远处的文件服务器的记录图像)。本说明书所述的图像，若无特别说明，则为二维图像。
此外，如图3所示，定义配置任意二维图像300的空间区域(spatialdomain)的二维坐标系XY。二维图像300，例如，是上述输入图像、输出图像。X轴以及Y轴是沿着二维图像300的水平方向以及垂直方向的轴。二维图像300，分别在水平方向以及垂直方向上以矩阵状排列而形成多个像素，且以(x，y)表示二维图像300上的某个像素即像素301的位置。在本说明书中，将像素的位置简称为像素位置。x以及y分别是像素301的X轴以及Y轴方向的坐标值。此外，在本说明书中，有时也以(x，y)参照在像素位置(x，y)所配置的像素。在二维坐标系XY中，若某像素的位置向右侧偏移1像素，则该像素的X轴方向上的坐标值增大1，若某像素的位置向下侧偏移1像素，则该像素的Y轴方向上的坐标值增大1。因此，当像素301的位置为(x，y)时，与像素301的右侧、左侧、下侧以及上侧相邻的像素的位置，分别以(x+1，y)、(x-1，y)、(x，y+1)以及(x，y-1)表示。
[输入图像的修正方法]
若从开始说明，则在图像修正部30中，自动地检测出与在输入图像中存在的不要目标的图像区域相似、且不包含不要目标的图像区域，通过使用检测区域作为修正补丁区域来修正不要目标的图像区域(单纯而言，通过以修正补丁区域置换不要目标的图像区域)生成输出图像。由图像修正部30进行的修正处理，通过在显示部再现显示记录介质15所记录的图像等的再现模式来执行。以下的说明，若无特别说明，则是再现模式中的摄像装置1的动作说明。详细说明输入图像的修正方法。
图4的符号310表示出成为修正对象的输入图像。输入图像310在显示部16中显示。假设：对用户而言，不要的物体或模样等在输入图像310中已存在，且用户希望从输入图像310中排除该不要的物体或模样等。将不要的物体或模样等称为不要目标。将存在有不要目标的图像数据的图像区域称为不要区域。不要区域是输入图像的整个图像区域的一部分，是包含不要目标的封闭的区域。
如图4所示，在输入图像310中出现两个人物311以及312。人物311是用户的关注人物，人物312对用户而言成为不要目标。此时，用户对操作部17进行指定不要区域的不要区域指定操作。在进行不要区域指定操作时，在显示画面上显示输入图像310的整体。或者，在显示画面上以放大显示不要目标的方式显示输入图像310的一部分。用户为了易于指定不要区域，能够借助操作部17对摄像装置1指示应该进行该放大显示。
能够通过触摸面板操作来实现不要区域指定操作。例如，能够通过使用操作体指定显示作为不要目标的人物312的位置来指定不要区域。图像修正部30在指定了人物312的显示位置时，能够使用基于输入图像310的图像数据的公知的轮廓跟踪等来提取人物312的轮廓，并设定由人物312的轮廓包围的图像区域作为不要区域。然而，也能够由用户直接指定不要区域的轮廓。此外，也能够通过触摸面板操作以外的操作(例如，对操作部17所设置的十字键进行的操作)，进行不要区域指定操作。
图像修正部30，若进行不要区域指定操作，则设定包含不要区域的图像区域作为修正对象区域。不要区域是修正对象区域的一部分。修正对象区域的设定，不取决于用户的操作而自动进行。然而，用户也可以指定修正对象区域的位置以及大小。在图4中，以虚线包围的区域是修正对象区域320，在图5(a)中，表示修正对象区域320内的图像即修正对象图像321。当前，不要区域的轮廓就是人物312的轮廓。
在设定修正对象区域320之后，图像修正部30，生成仅遮蔽了修正对象区域320内的不要区域的部分的图像作为掩蔽图像322。图5(b)是掩蔽图像322示意图。在图5(b)中斜线区域表示进行了遮蔽的区域。虽然能够将修正对象区域320分解为不要区域和其以外的图像区域(剩余区域)，但仅由后者的图像区域的图像数据形成的图像(开孔二维图像)是掩蔽图像322。
在设定掩蔽图像322之后，图像修正部30，使用基于掩蔽图像322的图像数据与输入图像310的图像数据(其中，修正对象区域320以外的图像数据)的对比的图像匹配等，从输入图像310内搜索具有与掩蔽图像322相似的图像的图像区域(以下，称为与掩蔽图像322的相似区域)。即例如，使用掩蔽图像322作为模板，从输入图像310内搜索具有与掩蔽图像322的图像特征相似的图像特征的图像区域。然后，从输入图像310提取搜索到的包含相似区域的图像区域作为修正补丁区域(修正用区域)。
例如，在输入图像310上设定与掩蔽图像322的图像区域具有相同大小以及形状的评价区域，并求出掩蔽图像322内的图像信号与评价区域内的像素信号的SSD(Sum of Squared Difference)或SAD(Sum of AbsoluteDifference)，根据SSD或SAD，确定掩蔽图像322和评价区域间的相似度(若换言之，掩蔽图像322与评价区域内的图像的相似度)。相似度随着SSD或SAD增加而减少，随着SSD或SAD减少而增加。当在掩蔽图像322和评价区域的对应像素间求出掩蔽图像322内的像素信号(例如亮度值)与评价区域内的像素信号(例如亮度值)之差的平方时，针对掩蔽图像322的全体像素所求出的平方的合计值为SSD。当在掩蔽图像322和评价区域的对应像素值间求出掩蔽图像322内的像素信号(例如亮度值)与评价区域内的像素信号(例如亮度值)之差的绝对值时，针对掩蔽图像322的全体像素所求出的绝对值的合计值为SAD。图像修正部30，在输入图像310上，一边使评价区域在水平或垂直方向上每次移动一个像素，一边按每次的移动，求出SSD或SAD和相似度。然后，检测出所求出的相似度为规定的基准相似度以上的评价区域作为掩蔽图像322的相似区域。即，某关注图像区域为掩蔽图像322的相似区域，是指该关注图像区域内的图像与掩蔽图像322之间的相似度为规定基准相似度以上。
当前，设为将图6(a)所示的图像区域331作为掩蔽图像322的相似区域进行了搜索。此时，图像修正部30设定包含图像区域331的图6(b)所示的修正补丁区域340。图像区域331是图6(a)中以斜线填满的区域，修正补丁区域340是图6(b)中以斜线填满的区域。图像区域331的形状以及大小与掩蔽图像322的形状以及大小相同，修正补丁区域340的形状以及大小与修正对象区域320的形状以及大小相同。图像区域331，虽然是欠缺了矩形区域的一部分的区域，但在修正补丁区域340中没有该欠缺。修正补丁区域340，是将该欠缺的区域与图像区域331进行了合成的区域。
图像修正部30，在设定修正补丁区域340之后，通过将修正对象区域320内的图像数据与修正补丁区域340内的图像数据进行混合(换言之，通过加权相加)，对修正对象区域320内的图像进行修正。通过该混合得到的图像数据，被当为输出图像中的修正对象区域320内的图像数据来处理。即，基于输入图像310的输出图像，是针对输入图像310实施上述混合而得到的图像。
图7表示作为基于输入图像310的输出图像的示例的输出图像350。除了修正对象区域320内的图像数据在输入图像310和输出图像350之间不同以外，输入图像310和输出图像350相同。输出图像350是在将修正补丁区域340内的图像数据的混合比率设定得相当高时所得到的，且在输出图像350中，人物312完全或几乎看不到。修正补丁区域340内的图像数据的混合比率(后述的系数kMIX的值)也可以是1，在其混合比率为1时，成为：由修正补丁区域340内的图像数据其本身来置换修正对象区域320内的图像数据。如此，通过对输入图像310实施使用修正补丁区域340内的图像来修正修正对象区域320内的图像的处理，从而得到输出图像350。
修正对象区域320内的某像素位置为(x1，y1)，并且与在像素位置(x1，y1)所配置的像素对应的修正补丁区域340内的像素的像素位置为(x2，y2)时，输出图像350的像素位置(x1，y1)处的像素信号POUT(x1，y1)，根据下述式(1)算出。
POUT(x1，y1)＝(1-kMIX)·PIN(x1，y1)+kMIX·PIN(x2，y2)
                             …(1)
其中，PIN(x1，y1)以及PIN(x2，y2)分别表示输入图像310的像素位置(x1，y1)以及(x2，y2)处的像素信号。在输入图像310上，若将修正对象区域320的中心位置向右侧移动了Δx像素并且向下侧移动了Δy像素的位置为修正补丁区域340的中心位置，则x2＝x1+Δx且y2＝y1+Δy(Δx以及Δy是整数)。像素信号PIN(x1，y1)以及PIN(x2，y2)，是表示输入图像310的像素位置(x1，y1)以及(x2，y2)处的像素的亮度以及颜色的信号，例如，以RGB形式或YUV形式表现。同样地，像素信号POUT(x1，y1)是表示输出图像350的像素位置(x1，y1)处的像素的亮度以及颜色的信号，例如，以RGB形式或YUV形式表现。在各像素信号由R、G以及B信号构成时，只要按照每个R、G以及B信号分别通过混合像素信号PIN(x1，y1)和PIN(x2，y2)来得到像素信号POUT(x1，y1)即可。在像素信号PIN(x1，y1)等由Y、U以及V信号构成时也同样。
图像修正部30，在满足“0＜kMIX≤1”的范围内确定系数kMIX的值。系数kMIX相当于修正补丁区域340相对于输出图像350的混合比率(加权相加比率)，系数(1-kMIX)相当于修正对象区域320相对于输出图像350的混合比率(加权相加比率)。
假设，若使用修正对象区域320内的图像321(参照图5(a))其本身作为模板来搜索修正补丁区域，则设定包括人物311的图像区域作为修正补丁区域的可能性变大。若设定包括人物311的图像区域作为修正补丁区域，则会因混合(加权相加)上述图像数据，而在修正后的修正补丁区域中出现人物311的像。并不希望出现这样的像。考虑到它，在图像修正部30中，使用遮蔽了不要区域的掩蔽图像322来搜索设定修正补丁区域。因此，能够检测出适合于去除不要目标的修正补丁区域，而不受不要目标的影响。
此外，当检测出多个掩蔽图像322的相似区域时，可以让用户从该检测出的多个相似区域之中选择修正补丁区域中应包含的相似区域。例如，当搜索到五个相似区域作为掩蔽图像322的相似区域时，使用与根据图像区域331设定修正补丁区域340同样的方法(参照图6(a)及(b))，设定与各相似区域对应的修正补丁候补。图8(a)的符号361～365表示出在此设定的五个修正补丁区域候补。设定各修正补丁区域候补之后，图像修正部30明示了修正对象区域320以及修正补丁区域候补361～365，使显示部16显示如图8(b)所示的显示图像360。显示图像360是在输入图像310上叠加了用于视觉辨认修正对象区域320以及修正补丁区域候补361～365的框的图像。在显示了显示图像360的状态下，操作部17接受选择修正补丁区域候补361～365之中的一个的选择操作(包括触碰面板操作)，在进行该选择操作时，图像修正部30设定所选择的修正补丁区域候补作为修正补丁区域。由于能够设定这样的选择操作，用户不会承担过大的操作负担，能够通过去除不要目标来设定合适的修正补丁区域。
此外，在上述的示例中，虽然设为：在输入图像310内搜索掩蔽图像322的相似区域，但也可以设为：在与输入图像310不同的输入图像370(未图示)内搜索掩蔽图像322的相似区域，并从输入图像370中提取修正补丁区域。由此，即使在输入图像310中不包含掩蔽图像322的相似区域，也能够很好地去除不要目标。然而，在以下的各说明中，除了特别说明以外，都假设在共同的输入图像内设定修正对象区域以及修正补丁区域。输入图像370与输入图像310相同，可以是记录介质15所记录的图像(由摄像部11的拍摄得到的图像)，也可以是由摄像装置1以外的装置提供的图像(例如，位于远处的文件服务器的记录图像)。
此外，在上述的说明中，虽然仅使用修正对象区域320内的图像数据来形成了掩蔽图像322，但在掩蔽图像322中也包含修正对象区域320的周边像素的图像数据的基础上，还可以进行掩蔽图像322的相似区域的搜索以及基于搜索结果的修正补丁区域的设定。也就是说，例如，关注包含修正对象区域320的比修正对象区域还大的图像区域，并将由从该关注图像区域中除不要区域以外的剩余区域形成的图像作为掩蔽图像322。
此外，也可以在对人的皮肤或头发等进行修正时，利用人身体的各部位(脸、眼睛、鼻、腕等)的位置信息(表示输入图像上的位置的信息)来设定修正补丁区域。例如，在输入图像上包含第一以及第二人物的脸的情况下，当第一人物的外眼角的皱纹是不要目标时，首先，图像修正部30通过基于输入图像的图像数据的脸检测处理，从输入图像中检测出包含第一人物的脸的脸区域和包含第二人物的脸的脸区域，并在脸区域中，对外眼角所存在的部分的图像区域进行确定。然后，可以在修正对象区域中设定第一人物的外眼角所存在的部分的图像区域，另一方面，在修正补丁区域中设定第二人物的外眼角所存在的部分的图像区域，并通过将修正对象区域的图像数据与修正补丁区域的图像数据进行混合，或者，通过简单地由修正补丁区域置换修正对象区域，来修正输入图像。若第二人物的外眼角处不存在皱纹，则在通过该修正得到的输出图像上，第一人物的外眼角的皱纹会变得不明显或者第一人物的外眼角处会不存在皱纹。若使用这种方法，即使在使用模板的匹配中无法检测出相似区域时，也能够去除所希望的不要目标。
[修正强度的调整功能]
图像修正部30，具有通过调整上述系数kMIX的值来调整修正对象区域320的修正强度(修正量)的功能。例如，根据掩蔽图像322的图像特征与修正补丁区域340所包含的图像区域331(参照图6(a)以及(b))的图像特征的相似度DS(相似的程度)，图像修正部30能够决定系数kMIX的值。相似度DS低时，若过高地设定修正补丁区域340对输出图像的贡献度(kMIX)，则有时会得到修正部分的边界明显的不自然的输出图像。考虑这点，图像修正部30根据相似度来调整系数kMIX的值，以使相似度DS越大、系数kMIX的值越大，并且相似度越小、系数kMIX的值越小。由此，使修正部分的边界变得不明显。
此外，基于对修正对象区域内的图像数据与修正补丁区域内的图像数据进行混合的修正，可以说是将修正补丁区域内的图像数据移植到修正对象区域的方法(当kMIX＝1时，完全移植修正补丁区域内的图像数据，当kMIX＜1时，进行不完全的移植)。此外，以下，特别将基于对修正对象区域内的图像数据和修正补丁区域内的图像数据进行混合的修正称为混合修正，将混合修正后的修正对象区域内的图像称为混合结果图像。
图9表示使系数kMIX变化时的修正对象图像的修正结果变化。在图9中，图像381～384分别表示出基于修正对象区域320以及修正补丁区域340的混合结果图像。然而，图像382、383以及384，分别表示出系数kMIX为0.3、0.7以及1.0时的混合结果图像，图像381表示出系数kMIX几乎为零时的混合结果图像。如此，随着使系数kMIX增加而使修正对象区域320的修正强度增大，从而使不要目标的去除程度变大。
此外，用户能够通过对操作部17实施规定的调整操作来调整系数kMIX。通过利用如下所示的调整操作，能够通过简单的作业而使不要目标的像变淡，并使修正部分的边界难以明显。作为调整操作，能够采用利用触摸面板功能的触摸面板调整操作。
在执行包括触摸面板调整操作的调整操作时，图像修正部30能够使修正前或修正后的修正对象区域320内的图像在显示画面中放大显示。用户能够对摄像装置1指示应进行该放大显示。图10表示放大显示了修正对象区域320内的图像时的显示画面的样子。在图10以及后述的图11中，斜线区域表示了显示部16的壳体，位于斜线区域的内侧的部分表示了显示画面。若由调整操作来变更系数kMIX，则立即使用变更后的系数kMIX来进行针对修正对象区域320的混合修正，在显示画面显示使用变更后的系数kMIX而生成的混合结果图像。
使用触摸面板调整操作时，能够根据在显示部16的显示画面上使操作体振动运动时的操作体的振动次数、上述振动运动中的操作体的振动的频率、上述振动运动中的操作体的移动的速度、上述振动运动中的操作体的振幅、显示画面上的操作体的移动方向、显示画面所触碰的操作体的个数(例如手指个数)以及操作体针对显示画面赋予的压力的大小之中至少一个来调整系数kMIX。
当然，进行触摸面板调整操作时的操作体，设为在显示部16的显示画面上触碰着的操作体。
图11表示操作体为手指时的上述振动运动的示意图。上述所谓振动运动是指：使显示画面与操作体的接触位置在显示画面上的第一以及第二位置间往返的运动。其中，第一以及第二位置为彼此不同的位置。第一以及第二位置应被解释为具有某种程度的宽度的位置，也可以将第一以及第二位置分别换称为第一以及第二显示区域。
例如，可以设为：将系数kMIX的值为某个基准值的状态作为起点，且随着上述振动次数增加而使系数kMIX增大或减小。此时，上述振动次数每增加一次，系数kMIX每增加或减小Δk(Δk＞0)。此外，随着上述振动次数而使系数kMIX增大或减小时，可以随着上述频率、速度或振幅的增加而使系数kMIX的单位变化量即Δk增大。
典型而言，可以设为：随着上述振动次数的增加而使系数kMIX增大。此时，在显示画面上可见：随着每次使操作体在显示画面上往返运动而不要目标逐渐变淡的样子。此外，若还执行伴随上述速度等增加的Δk的增大，则在显示画面上可见：随着每次使操作体在显示画面上更快地往返运动而不要目标更快地变淡的样子。即，能够实现如用橡皮删除纸面上的不要记载那样的直观的用户界面。
此外，由于若kMIX＝0，则完全不修正修正对象区域内的图像，因此，虽然原则上在满足“0＜kMIX≤1”的范围内调整系数kMIX，但为了修正的效果确认等，仅限于执行调整操作时，可能将kMIX设为零。若通过调整操作而将kMIX设定得大于零，则根据kMIX的值来修正修正对象区域内的图像。因此，调整操作也可以认为是指示修正对象区域内的图像(不要区域内的图像)的修正的操作。
此外，例如，也可以根据显示画面上的操作体的移动方向来决定系数kMIX的增减方向。即例如，若上述移动方向与显示画面的水平方向平行，则可以在增加方向上调整系数kMIX，若上述移动方向与显示画面的垂直方向平行，则可以在减小方向上调整系数kMIX(当然，相反也可以)。能够组合基于操作体的移动方向进行的系数kMIX的增减方向决定与基于操作体的振动运动进行的系数kMIX的调整，在进行了这种组合时，可以根据操作体的振动运动中的操作体的移动方向来决定在增加方向上变更系数kMIX、还是在减小方向上变更系数kMIX。
此外，例如，也可以根据接触显示画面的操作体的个数，来决定系数kMIX的变化量或系数kMIX的增减方向。能够组合基于上述个数的系数kMIX进行的变化量决定与基于操作体的振动运动进行的系数kMIX的调整，在进行了这种组合时，例如，可以随着上述个数的增加而增大Δk。此时，与在显示画面上使一个操作体振动运动时相比，在显示画面上使两个操作体振动运动时，系数kMIX变化得更快。此外，能够组合基于上述个数进行的系数kMIX的增减方向决定与基于操作体的振动运动进行的系数kMIX的调整，在进行了该组合时，可以根据在显示画面上进行振动运动的操作体的个数来决定在增加方向上变更系数kMIX、还是在减小方向上变更系数kMIX。
此外，例如，可以设为：操作体对显示画面赋予的压力的大小越大，越增加系数kMIX(相反也可以)。此外，也可以组合压力的大小与振动运动来进行系数kMIX的调整。此时，例如，可以在随着压力大小的增加而增加Δk的基础上，进行基于操作体的振动运动进行的系数kMIX的调整。
此外，也可以通过触摸面板调整操作以外的调整操作来进行系数kMIX的增减方向决定以及系数kMIX的变更。例如，在操作部17设置有滑动式开关或拨盘式开关时，可以使用针对这些开关的操作作为调整操作，来进行系数kMIX的增减方向决定以及系数kMIX的变更。当在操作部17中设置有拨钮开关时，可以根据针对拨钮开关的操作来进行系数kMIX的增减方向决定以及系数kMIX的变更。此外，可以在显示画面上显示调整用菜单(例如，选择修正强度的强/中/弱)，并根据与调整用菜单对应的用户的操作，来进行系数kMIX的增减方向决定以及系数kMIX的变更。
此外，在由触摸面板调整操作调整了修正强度时，由于混合结果图像的显示位置，混合结果图像会被操作体所遮掩而难以确认。因此，在由触摸面板调整操作进行的修正强度的调整时(调整系数kMIX时)，可以在操作位置以外的显示位置显示混合结果图像。由此，修正强度的调整会变得容易。所谓操作位置，包括显示画面与操作体的接触位置，而且，也包括预想操作体要接触显示画面的位置(例如，上述振动运动中的显示画面和操作体间的接触位置的轨迹上的位置)。除此以外，由于假设在显示画面的下侧存在用户的手背等，因此可以在显示画面的上侧显示混合结果图像。
此外，也可以在图像修正部30中进行如以下的处理。准备应代入系数kMIX的彼此不同的第1～第n的系数值，并通过在将第i系数值代入系数kMIX的状态下进行混合修正来生成第i混合结果图像(n是2以上的整数，i是1以上n以下的整数)。通过针对i分别为1、2、…(n-1)、n时执行该生成处理，来生成第1～第n混合结果图像，并在显示画面中显示所得到的第1～第n混合结果图像(修正候补图像)。在进行该显示的状态下，操作部17接受对第1～第n混合结果图像中的一个进行选择的选择操作。图像修正部30使用由该选择操作所选择的混合结果图像来生成输出图像。例如，当n＝3时，生成作为第1～第3混合结果图像的混合结果图像382～384(参照图9)，并在显示画面中显示结果图像382～384。然后，例如，若通过上述选择操作选择了图像383，则使用图像383生成输出图像。即，由使用了与图像383对应的系数kMIX(＝0.7)的混合修正来对输入图像310的修正对象区域320进行修正，并生成包含由该修正所得到的混合结果图像383的输出图像。通过使这样的处理成为可能，用户能够通过简单的作业得到所希望的修正结果(输出图像)。
[基于膨胀处理的修正]
通过图像处理去除不要目标的方法，移植法与膨胀法有很大区别。移植法是如上述那样使用与修正对象区域不同的图像区域内的图像去除修正对象区域内的不要目标。膨胀法是通过采用使不要区域的周边区域膨胀的膨胀处理来缩减(shrinking)或完全删除不要区域的方法。在移植法中，有以下问题：当从输入图像中找不到相似区域时，无法修正。另一方面，在膨胀法中，有以下缺点：当不要目标为细的线状的物体(文字或电线等)时，虽然能够无不适感地去除不要目标，但当不要目标具有某种程度的厚度时，得到以单色填充的修正结果，会使修正部分的边界过于明显。考虑到这些特性，当不要区域的形状为细线状时，通过膨胀法对修正对象区域进行修正，当除此以外的情况时，可以通过移植法对修正对象区域进行修正。由此，进行与不要区域的形状相应的最佳修正。
在使用膨胀法时，图像修正部30仅根据输入图像的修正对象区域的图像数据使用膨胀处理对修正对象区域内的图像进行修正。修正方法的具体切换方法以及使用膨胀处理的修正对象区域的具体修正方法将后述。
[动作流程图]
接着，特别关注于图像修正部30的动作来说明摄像装置1的动作的流程。图12是表示该动作流程的流程图。
在再现模式下，用户能够在显示部16中显示记录介质15等中所记录的所希望的图像。当所显示的图像中映入有不要目标时，用户通过对操作部17进行规定操作，使摄像装置1的动作模式转移到作为再现模式的一种的不要目标去除模式。图12所示的各步骤的处理，是由不要目标去除模式所执行的处理。分别通过记号IIN以及IOUT参照该不要目标去除模式中的输入图像以及输出图像。
在不要目标去除模式中，首先，根据用户的指示对输入图像IIN的不要区域周边进行放大显示，用户在该状态下进行不要区域指定操作。图像修正部30在步骤S11中根据用户的不要区域指定了操作设定不要区域之后，在步骤S12中设定包含该不要区域的矩形区域作为修正对象区域A。如图13所示，该矩形区域，是例如将与不要区域外切的长方形(换言之，能够包围不要区域的最小的长方形)作为基准，将该长方形的大小沿上下左右分别放大了Δ像素的区域(Δ是正整数)。修正对象区域A的中心位置与不要区域的中心位置设为相同。能够将Δ的值设为预先确定的固定值。然而，当从修正对象区域A去除不要区域而剩余的区域的面积小于规定的基准面积(例如，相当于1024像素的面积)时，也可以调整Δ的值，以使该面积成为基准面积以上。
设定修正对象区域A之后，在步骤S13中，图像修正部30，通过与从修正对象区域320生成掩蔽图像322相同的方法，生成基于修正对象区域A的掩蔽图像AMSK。修正对象区域A以及掩蔽图像AMSK，分别与上述修正对象区域320以及掩蔽图像322对应。
接着，在步骤S14中，图像修正部30判定不要区域的形状是否为细线状。具体而言，首先，将修正对象区域A内的图像转换为二值化图像。在该二值化图像中，将属于不要区域的像素的像素值设为“0”，并且将除此以外的像素的像素值设为“1”。然后，在该二值化图像中的使不要区域缩减的方向上，对该二值化图像实施膨胀处理(被称为形态学膨胀处理)。在像素(x，y)或像素(x，y)的8个附近像素的至少一个中存在“1”的像素值时，通过膨胀处理将像素(x，y)的像素值设定为“1”。在通过对上述二值化图像执行规定次数(例如五次)这样的膨胀处理而得到的图像上，不要区域的面积为零时(即，具有“0”的像素值的区域不存在时)，判断为不要区域的形状为细线状，除此以外的情况时，判断为不要区域的形状为非细线状。
当判断为不要区域的形状为非细线状时(步骤S14“否”)，从步骤S14转移到步骤S15。图像修正部30在步骤S15中，进行使用掩蔽图像AMSK作为模板的模板匹配，从输入图像IIN中搜索掩蔽图像AMSK的相似区域。然后，在步骤S16中，强调显示所搜索到的多个相似区域。即，如上所述，对显示画面的输入图像IIN上的各修正补丁区域候补进行强调显示(即，显示如图8(b)所示的显示图像360)，以使能够识别与各相似区域对应的修正补丁区域候补，在步骤S17中，使用操作部17接受来自用户的选择操作的对多个修正补丁区域候补的一个的选择。然后，若进行选择操作，则在步骤S18中，在修正补丁区域B中设定所选择的修正补丁区域候补。
此外，当存在多个掩蔽图像AMSK的相似区域时，可以在对该多个相似区域求出的多个相似度之中，确定最大的相似度，且自动地在修正补丁区域B中设定针对与最大相似度对应的相似区域的修正补丁区域候补，而与上述选择操作无关。此外，当掩蔽图像AMSK的相似区域只存在一个时，省略执行步骤S16以及S17的处理，在步骤S18中，在修正补丁区域B中设定包含该一个相似区域的图像区域。
此外，当从输入图像IIN中未检测出掩蔽图像AMSK的相似区域时(即，从输入图像IIN中未检测出具有基准相似度以上的相似度的图像区域时)，向用户通知该意思，可以让用户手动设定修正补丁区域B，也可以停止执行输入图像IIN的修正。在步骤S18中设定的修正补丁区域B，与上述修正补丁区域340对应，修正补丁区域B的图像数据被存储在摄像装置1的存储器上。
另一方面，当判断为不要区域的形状为细线状时(步骤S14“是”)，从步骤S14转移到步骤S19。在转移到步骤S19时，图像修正部30，通过膨胀处理去除修正对象区域A内的不要区域。即，考虑到暂时删除修正对象区域A的不要区域内的像素，使用是修正对象区域A内的像素且位于不要区域的周边的像素以及像素信号，对修正对象区域A的不要区域内的各像素以及各像素信号进行插值。该插值通过公知的膨胀处理(被称为“形态学膨胀处理”)来实现。作为简单的示例，例如，若位于不要区域的周边的像素全部具有共同像素信号，则通过膨胀处理，在修正对象区域A的不要区域内的各像素的像素信号中设定该共同像素信号(即，不要区域内以单色填充)。当判断为不要区域的形状为细线状时，在修正补丁区域B设定步骤S19的膨胀处理后的修正对象区域A，且作为修正补丁区域B的图像数据而在摄像装置1的存储器上存储膨胀处理后的修正对象区域A的图像数据。
在步骤S18或步骤S19的处理之后，执行步骤S20的处理。在步骤S20中，图像修正部30，通过混合修正对象区域A的图像数据和修正补丁区域B的图像数据来生成混合结果图像。该混合方法，与针对上述修正对象区域320和修正补丁区域340的混合方法相同。即，当修正对象区域A内某个像素位置为(x1，y1)，并且与在像素位置(x1，y1)所配置的像素对应的修正补丁区域B内的像素的像素位置为(x2，y2)时，混合结果图像的像素位置(x1，y1)处的像素信号PC(x1，y1)，根据下式(2)计算。
PC(x1，y1)＝(1-kMIX)·PA(x1，y1)+kMIX·PB(x2，y2)
                                …(2)
其中，PA(x1，y1)以及PB(x2，y2)分别表示输入图像IIN的像素位置(x1，y1)以及(x2，y2)处的像素信号。如果在输入图像IIN上，将修正对象区域A的中心位置向右侧移动了Δx像素并且向下侧移动了Δy像素的位置，为修正补丁区域B的中心位置，则x2＝x1+Δx并且y2＝y1+Δy(Δx以及Δy是整数)。像素信号PA(x1，y1)以及PB(x2，y2)是表示输入图像IIN的像素位置(x1，y1)以及(x2，y2)处的像素的亮度以及颜色的信号。同样地，像素信号PC(x1，y1)是表示输出图像IOUT的像素位置(x1，y1)处的像素的亮度以及颜色的信号。然而，在执行了后述的步骤S26的调整处理时，像素信号PC(x1，y1)的具体的信号值可能被变更。当各像素信号由R、G以及B信号构成时，只要通过按照每个R、G以及B信号个别地混合像素信号PA(x1，y1)以及PB(x2，y2)来得到像素信号PC(x1，y1)即可。像素信号PA(x1，y1)等由Y、U以及V信号构成时也同样。
式(2)中的系数kMIX的设定方法以及意义如上所述。即，只要根据掩蔽图像AMSK的图像特征与修正补丁区域B所包含的相似区域的图像特征(修正补丁区域B所包含的掩蔽图像AMSK的相似区域的图像特征)的相似度DS1，来设定式(2)中的系数kMIX的值即可。这里的相似度DS1，相当于上述相似度DS，图像修正部30根据相似度DS1来调整系数kMIX的值，以使相似度DS1越大，系数kMIX的值越大，并且相似度DS1越小，系数kMIX的值越小。然而，若在步骤S19中设定了修正补丁区域B，则能够将式(2)中的系数kMIX设为预定的固定值kFIX。
当对修正对象区域A以及修正补丁区域B的图像数据进行混合时，虽然可以与混合对象的像素位置无关地使用共同的值作为系数kMIX的值，但为了使修正部分与非修正部分之间的边界难以变得明显，也可以设为：越接近修正对象区域A的周边的像素，越减小系数kMIX。
针对此进一步说明。当前，由kMIX(x，y)表示计算PC(x，y)时的系数kMIX，并且，如图14所示，由d(x，y)表示修正对象区域A内的像素位置(x，y)与修正对象区域A的外周的最短距离。d(x，y)是连接像素位置(x，y)与修正对象区域A的外周的线段之中具有最小长度的线段的长度。此时，可以设为：距离d(x，y)越小，越减小kMIX (x，y)。由此，越接近修正对象区域A的周边的像素，越减小系数kMIX，这是因为修正对象区域A对混合结果图像的图像数据的贡献率增大。具体而言，例如，如图15所示，可以设为：当d(x，y)＝0时，kMIX(x，y)＝0，并且，当0＜d(x，y)＜Δ时，随着d(x，y)从零向Δ增大，使kMIX(x，y)从零向ko线形或非线性增大，当Δ≤d(x，y)时，kMIX(x，y)＝ko。其中，ko是根据上述相似度DS1所设定的系数kMIX的值，或是固定值kFIX。
在步骤S20中生成的混合结果图像，在步骤S21中被显示在显示部16中。此时，可以在显示部16中并列显示混合结果图像与未进行混合修正的修正对象区域A内的图像。这是因为通过观察并列显示，用户能够确认有无修正效果以及因修正导致的危害发生。进行混合结果图像的显示的同时，在步骤S22中，摄像装置1使用消息显示等督促用户确定修正内容。
在步骤S22中，操作部17进行了规定的确定操作时，执行步骤S23以及S24的处理，来结束输出图像IOUT的生成处理。在步骤S23中，图像修正部30通过将在步骤S20或后述的步骤S34(参照图16)得到的最新的混合结果图像嵌入输入图像IIN的修正对象区域A中，来生成输出图像IOUT。即，通过由步骤S20或S34得到的最新的混合结果图像置换输入图像IIN的修正对象区域A的图像，来生成输出图像IOUT。在步骤S24中，在记录介质15中记录所得到的输出图像IOUT的图像数据。此时，根据用户的指示，可以在输入图像IIN的图像数据上覆写并保存输出图像IOUT的图像数据，也可以将输入图像IIN的图像数据保留在记录介质15中，而另外在记录介质15中记录输出图像IOUT的图像数据。
另一方面，在步骤S22中，操作部17未进行规定的确定操作时，从步骤S22转移到步骤S25。在步骤S25中，摄像装置1使用信息显示等询问是否从最初重新进行输入图像IIN的修正或是否进行修正强度的调整。在步骤S25中，进行了指示从最初重新修正的操作时，返回步骤S11再次重新执行步骤S11以后的处理。在步骤S25中，进行了指示进行修正强度的调整的操作时，执行步骤S26中的调整处理，调整处理结束后，返回步骤S22再次执行步骤S22以后的处理。此外，在包括步骤S26的调整处理的执行过程中的任何时刻都进行了规定的结束指示操作时，结束不要目标去除模式中的动作。
图16是步骤S26的调整处理的详细流程图。调整处理由步骤S31～S35的处理构成。若开始步骤S26的调整处理，则首先，执行步骤S31的处理。在步骤S31中，图像修正部30确认是否对操作部17进行了指示调整处理结束的调整结束操作，并在进行了调整结束操作时结束调整处理而返回步骤S22。另一方面，在未进行调整结束操作时，继续在步骤S32中，确认是否对操作部17进行了调整操作。在未进行调整操作时，虽然从步骤S32返回步骤S31，但在进行了调整操作时，从步骤S32转移到步骤S33，图像修正部30，在步骤S33中，根据调整操作来调整针对修正对象区域A的修正强度。即，根据调整操作来变更系数kMIX。其中的调整操作，与上述的调整操作相同，基于调整操作的系数kMIX的变更方法也如上所述。特别地，若能够通过触摸面板调整操作来变更系数kMIX，则使用非常方便。
在步骤S33至步骤S34中，按照使用了变更后的系数kMIX的式(2)，通过混合修正对象区域A的图像数据与修正补丁区域B的图像数据来生成混合结果图像。该生成方法与图12的步骤S20相同。在步骤S34所生成的混合结果图像在步骤S35中被显示在显示部16中，之后，返回步骤S31而反复执行步骤S31以后的处理。因此，在未进行调整结束操作而再次进行了调整操作时，继续修正强度(系数kMIX)的调整。
此外，虽然与上述说明不同，但也可以在步骤S18或S19中设定了修正补丁区域B之后，不进行步骤S20～S22的处理，而直接转移到步骤S26进行步骤S26的调整处理。此时，设定了修正补丁区域B之后，摄像装置1，在显示画面显示输入图像IIN的整体，或在显示画面中放大显示修正对象区域A内的图像的同时(即，在显示画面中显示输入图像IIN的一部分的同时)，等待进行调整结束操作或调整操作。在该状态下，例如，若用户在显示画面上使操作体进行上述振动运动(参照图11)，则该振动运动被处理为指示修正对象区域A内的图像(不要区域内的图像)的修正的操作，系数kMIX将初始值(例如零)作为起点在增大方向上变更(步骤S33)。其结果是，在步骤S34中进行混合修正，用户能够通过步骤S35的混合结果图像的显示，在显示画面上确认不要目标的去除效果。此时，如果通过反复执行操作体的振动运动来阶段性地增大了系数kMIX，则如用橡皮慢慢使纸面上的不要记载变淡那样，可确认在显示画面上慢慢变淡的样子。
[图像修正部的内部块]
接着，对图像修正部30的内部结构进行说明。图17是图像修正部30的内部方框图。图像修正部30具有由符号31～38所参照的各部位。
不要区域设定部31根据上述不要区域指定操作来设定不要区域。修正对象区域设定部32，设定包含所设定的不要区域的修正对象区域(上述修正对象区域320或修正对象区域A)。掩蔽图像生成部33，根据不要区域设定部31以及修正对象区域设定部32的设定内容，由输入图像生成掩蔽图像(上述掩蔽图像322或掩蔽图像AMSK)。
修正方法选择部34，通过判定不要区域的形状是否为细线状，从而使用移植法以及膨胀法的任一个来选择是否对修正对象区域进行修正(即，修正方法选择部34执行图12的步骤S14的处理)。修正方法选择部34的判定结果以及选择结果，被传输给修正补丁区域提取部35、第一修正处理部36以及第二修正处理部37。
修正补丁区域提取部(修正补丁区域检测部)35，当判定为不要区域的形状为非细线状时，通过使用了掩蔽图像的模板，从输入图像中检测并提取修正补丁区域(上述修正补丁区域340或步骤S18中的修正补丁区域B)。当判定为不要区域的形状为非细线状时，例如，修正补丁区域提取部35，通过执行图12的步骤S15至S18的处理来提前并设定修正补丁区域。另一方面，当判定为不要区域的形状为细线状时，修正补丁区域提取部35，通过针对修正对象区域的膨胀处理来生成修正补丁区域。即例如，当判定为不要区域的形状为细线状时，修正补丁区域提取部35，通过执行图12的步骤S19的处理来生成修正补丁区域。
第一修正处理部36以及第二修正处理部37，分别通过混合修正对象区域的图像数据与修正补丁区域的图像数据，来生成混合结果图像。然而，第一修正处理部36，仅在由修正方法选择部34判定为不要区域的形状为非细线状而选择了移植法时进行动作，第二修正处理部37，仅在由修正方法选择部34判定为不要区域的形状为细线状而选择了膨胀法时进行动作。在图17中，为了方便，虽然将第一修正处理部36与第二修正处理部37表示为不同的部位，但由于由它们进行的处理包括共同处理，因此，能够将第一修正处理部36与第二修正处理部37统一为一个部位。此外，当判定为不要区域的形状为细线状时，用于生成修正补丁区域的图像数据的膨胀处理可以由第二修正处理部37进行。图像合成部38，通过将来自第一修正处理部36或第二修正处理部37的混合结果图像嵌入输入图像的修正对象区域来生成输出图像。
[相似区域的其它检测方法]
虽然与上述的说明内容不同，但在图像修正部30中，可以如下搜索修正对象区域320的相似区域。首先，在设定了修正对象区域320之后，执行使输入图像310的整个图像区域模糊的晕映处理。在晕映处理中，例如，通过将输入图像310的整个像素作为对象执行使用了平均化滤波器等的空间滤波，从而使输入图像310的整体模糊。之后，通过使用晕映处理后的修正对象区域320内的图像Q1作为模板的模板匹配，从晕映处理后的输入图像310中检测以及提取具有与图像Q1的图像特征相似的图像特征的图像Q2。图像Q1以及Q2的形状以及大小设为彼此相同。
当图像Q1与关注图像之间的相似度在规定的基准相似度以上时，该关注图像，被判断为具有与图像Q1的图像特征相似的图像特征。对比图像间或对比图像区域间的相似度，如上所述，根据对比图像间或对比图像区域间的图像信号的SSD或SAD求出。
图像Q2位于的图像区域，被处理为修正对象区域320的相似区域。图像修正部30从晕映处理前的输入图像310中提取图像Q2位于的图像区域作为修正补丁区域。即，从晕映处理前的输入图像310中提取图像Q2位于的图像区域内的图像数据，并设定提取出的图像数据作为修正补丁区域的图像数据。然后，通过混合晕映处理前的修正对象区域320的图像数据与修正补丁区域的图像数据来生成混合结果图像，并通过将所生成的混合结果图像嵌入晕映处理前的输入图像310的修正对象区域320，来生成输出图像。即，通过以混合结果图像置换输入图像310的修正对象区域320内的图像，来生成输出图像。
采用这样的晕映处理来搜索修正对象区域的相似区域，能够省去遮蔽不要区域的处理。
《第二实施方式》
对本发明的第二实施方式进行说明。第二实施方式以及后述的其它实施方式，是以第一实施方式为基础的实施方式，只要不矛盾，就能够将第二实施方式以及后述的其它实施方式记载的技术与第一实施方式记载的技术相组合来实施。除此之外，对于在第二实施方式以及后述的其它实施方式中无特别说明的事项，只要不矛盾，就能够将第一实施方式的记载应用于第二实施方式以及后述的其它实施方式中。
在第一实施方式中，虽然描述了对用于指定不要区域(不要目标的图像数据存在的图像区域)的不要区域指定操作可以使用触摸面板操作，但在第二实施方式中，对使用了触摸面板操作的不要区域指定操作的进一步的具体示例进行说明。可以使用第二实施方式中的不要区域指定操作，来设定其它任意实施方式中的不要区域。在不要区域的设定中，包括输入图像中的不要区域的位置、大小、形状以及轮廓的设定(在其它任意实施方式中也同样)。在第二实施方式以及后述的其它实施方式中，为了说明的具体化，假设触摸面板操作中的操作体是用户的手指。
摄像装置1，在显示部16的显示画面中显示了对图2的图像修正部30的输入图像的状态下，接收不要区域指定操作。图17的不要区域设定部31，能够根据指示并表示不要区域指定操作的内容的不要区域指导信息来设定不要区域。希望去除不要目标的用户，例如，能够通过以下第一～第五操作方法的任一方法来进行不要区域指定操作。图19表示基于第一～第五操作方法的不要区域指定操作的概要。在接收不要区域指定操作的输入时，输入图像IIN在显示画面中显示。可以在显示画面中显示输入图像IIN的整体，也可以根据用户的指示来放大显示输入图像IIN的一部分。在图19中，赋予符号UR1～UR5的虚线内区域，分别表示通过第一～第五操作方法在输入图像IIN内所设定的矩形的不要区域。
对第一操作方法进行说明。基于第一操作方法的触摸面板操作，是用手指以需要的时间持续按压显示画面上的输入图像IIN内的所希望位置411的操作。不要区域设定部31，能够在不要区域UR1的中心位置处设定位置411，并且根据用手指按压位置411的时间来设定不要区域UR1的大小。例如，能够随着该时间的增加而使不要区域UR1的大小增大。在第一操作方法中，能够预定不要区域UR1的纵横比。
对第二操作方法进行说明。基于第二操作方法的触摸面板操作，是用手指按压显示画面上的输入图像IIN内的所希望位置421以及422的操作。位置421以及422是相互不同的位置。可以按顺序用手指按压位置421以及422，也可用两个手指同时按压位置421以及422。不要区域设定部31，能够将在对角线的两端配置了位置421以及422的矩形区域设定为不要区域UR2。
对第三操作方法进行说明。基于第三操作方法的触摸面板操作，是一边使手指触摸显示画面，一边用手指圈围显示画面上的输入图像IIN内的所希望区域(用户希望的区域)的操作。此时，描画圈围所希望区域的图形的手指，不离开显示画面。即，用户的手指以一笔画出圈围所希望区域的图形。不要区域设定部31，能够将用手指圈围的所希望区域其本身或包含该希望区域的矩形区域设定为不要区域UR3。
对第四操作方法进行说明。基于第四操作方法的触摸面板操作，是一边使手指触摸显示画面，一边用手指描画应成为不要区域UR4的区域的对角线的操作。具体而言，例如，用户用手指触碰显示画面上的输入图像IIN内的所希望位置441之后，在保持手指与显示画面的接触状态的状态下，使手指从输入图像IIN内的位置441移动到位置442，之后，将手指从显示画面离开。此时，不要区域设定部31能够将在对角线的两端配置了位置441以及442的矩形区域设定为不要区域UR4。
对第五操作方法进行说明。基于第五操作方法的触摸面板操作，是一边使手指触碰显示画面，一边用手指描画应成为不要区域UR5的区域的对角线的一半的操作。具体而言，例如，用户在用手指触碰显示画面上的输入图像IIN内的所希望位置451之后，以保持手指与显示画面的接触状态的状态下，使手指从输入图像IIN内的位置451移动到位置452，之后，将手指从显示画面离开。此时，不要区域设定部31，能够将不要区域UR5的中心位置设定为位置451，并且，将作为矩形区域的不要区域UR5的一个顶点配置在位置452。
此外，在上述说明中，虽然假设了不要区域URi为矩形区域，但不要区域URi也可以是具有矩形以外的形状的区域，只要是封闭区域，什么样的区域均可(i是整数)。例如，不要区域URi的形状可以是圆或多边形，以任意曲线包围的封闭区域也可以是不要区域URi。此外，上述第一～第五操作方法仅是示例，通过其它各种触摸面板操作，用户也能够指定不要区域。
《第三实施方式》
对本发明的第三实施方式进行说明。在第三实施方式中，例示采用了图像解析的不要区域的设定方法。可以使用第三实施方式中的不要区域的设定方法，来设定其它任意实施方式中的不要区域。此外，在以下的说明中，为了方便，将针对图1的操作部17所设置的按钮(未图示)等的操作称为按钮操作。在显示画面显示有针对图2的图像修正部30的输入图像IIN的状态下，用户能够由触摸面板操作或按钮操作来指定输入图像IIN内的所希望的位置SP(参照图20)。以下，将位置SP称为指定位置SP。指定位置SP是输入图像IIN上的不要目标的一部分的位置。表示指定位置SP的信息作为不要区域指定信息而被输入到不要区域设定部31(参照图17)。
不要区域设定部31，将包含指定位置SP的目标看作不要目标，设定输入图像IIN中的包含指定位置SP的图像区域作为不要区域(即，指定位置SP成为不要区域的一部分的位置)。此时，不要区域设定部31，能够利用基于输入图像IIN的图像数据的图像解析，来推定包含指定位置SP的不要目标的轮廓(外框)，并将所推定的不要目标的轮廓的内侧区域设定为不要区域。在说明这样的不要区域的设定动作步骤(参照图26)之前，对上述图像解析的要素技术例进行说明。
能够在上述图像解析中包含检测出在输入图像IIN内存在的人体的人体检测处理。在输入图像IIN上的人体的内侧区域存在指定位置SP时，不要区域设定部31能够通过基于输入图像IIN的图像数据的人体检测处理，从输入图像IIN中检测出人体区域，并将包含指定位置SP的人体区域设定为不要区域。人体区域的检测包括输入图像IIN上的人体的位置、大小、形状以及轮廓等的检测。人体区域是人体的图像数据存在的图像区域，能够将人体的轮廓的内侧区域作为人体区域。人体检测处理的方法由于众所周知，因此省略其处理方法的说明。
能够在上述图像解析中包含检测出输入图像IIN内存在的后头部(人体的后头部)的后头部检测处理。在输入图像IIN上的后头部的内侧区域存在指定位置SP时，不要区域设定部31能够通过基于输入图像IIN的图像数据的后头部检测处理从输入图像IIN中检测出后头部区域，并将包含指定位置SP的后头部区域设定为不要区域。后头部区域的检测包括输入图像IIN上的后头部的位置、大小、形状以及轮廓等的检测。后头部区域是后头部的图像数据存在的图像区域，能够将后头部的轮廓的内侧区域作为后头部区域。作为后头部的检测方法能够利用公知的方法。
参照图21对后头部检测处理的一个示例进行说明。图21表示作为输入图像IIN的一个示例的输入图像500。假设：输入图像500是通过在人群中拍摄名人501得到的图像。在图21中，输入图像500的下侧所示的半圆弧状的点部分，表示在拍摄输入图像500时，摄像装置1和名人501之间站立的其他人物的后头部。在后头部检测处理中，首先，通过将输入图像500的各像素信号进行二值化，从而将输入图像500转换为二值化图像502，并通过从二值化图像502中提取边缘(各目标的轮廓)来生成边缘提取图像504。通过对二值化图像502实施使用边缘提取滤波器(微分滤波器等)的空间滤波，从而得到边缘提取图像504。不要区域设定部31能够提取在边缘提取图像504的下侧区域存在的圆弧状的轮廓505，并检测出轮廓505内的图像区域(即，图21的斜线区域506)作为后头部区域。在图像中，上下方向与重力方向对应，所谓边缘提取图像504的下侧区域，是指边缘提取图像504中的地面侧的区域(例如，沿水平方向将边提取图像504等分割为多个图像区域，所得到的多个图像区域之中最靠地面侧的区域)。
能够在上述图像解析中包含检测出输入图像IIN内存在的线状目标的线检测处理。所谓线状目标，是具有线状(特别例如直线状)的形态的物体，例如，网、电线。在输入图像IIN上的线状目标的内侧区域存在指定位置SP时，不要区域设定部31能够通过基于输入图像IIN的图像数据的线检测处理，从输入图像IIN中检测出线区域，并将包含指定位置SP的线区域设定为不要区域。线区域的检测包括输入图像IIN上的线状目标的位置、大小、形状以及轮廓等的检测。线区域是线状目标的图像数据存在的图像区域，能够将线状目标的轮廓的内侧区域作为线区域。作为线状目标的检测方法，能够利用公知的方法。
例如，能够通过使用HOUGH变换的直线检测，从输入图像IIN中检测出线状目标。这里的直线也包含线段。在输入图像IIN中存在多个线状目标时，可以将多个线状目标汇总看作一个不要目标，将针对多个线状目标的多个线区域的合成区域设定为不要区域。
参照图22来说明线检测处理的一个示例。图22表示作为输入图像IIN的一个示例的输入图像510。输入图像510是通过隔着金属丝网拍摄长颈鹿511得到的图像。在图22的输入图像510中，以格子状所示的多个线段表示出金属丝网。在线检测处理中，通过对输入图像510的各像素信号进行二值化，从而将输入图像510转换为二值化图像512，并通过对二值化图像512实施HOUGH变换得到直线检测结果514。能够合成由针对二值化图像512的HOUGH变换所检测出的各直线的线区域，并将合成区域设定为不要区域。
此外，也可以按照用户能够指定在不要区域中应包含的直线(线状目标)的方向的方式形成摄像装置1。例如，在显示画面显示输入图像510的状态下，用户在用手指触碰了输入图像510上的金属丝网的一部分作为指定位置SP之后，保持手指与显示画面的接触状态，使该手指在输入图像510的水平方向(显示画面的水平方向)上移动时，可以在不要区域中仅包含在水平方向上延伸的线状不要目标(换言之，可以从不要区域中去除在垂直方向上延伸的线状目标)。
能够在上述图像解析中包含检测出在输入图像IIN内存在的移动物体的移动物体检测处理。在输入图像IIN上的移动物体的内侧区域存在指定位置SP时，不要区域设定部31能够通过基于输入图像IIN的图像数据的移动物体检测处理，从输入图像IIN中检测出移动物体区域，并将包含指定位置SP的移动物体区域设定为不要区域。移动物体区域的检测，包括输入图像IIN上的移动物体的位置、大小、形状以及轮廓等的检测。移动物体区域是移动物体的图像数据存在的图像区域，能够将移动物体的轮廓的内侧区域作为移动物体区域。
能够使用包括输入图像IIN的沿时序排列的多个帧图像进行移动物体检测处理。参照图23(a)以及(b)，来说明移动物体检测处理的一个示例。摄像装置1能够通过在规定的帧周期的依次拍摄来对帧图像依次进行拍摄，能够在记录介质15(参照图1)中记录规定的快门操作后的帧图像作为输入图像IIN。当前，假设图23(a)以及(b)所示的帧图像524作为输入图像IIN被记录在记录介质15中，并假设帧图像521、522、523以及524以该顺序依次被拍摄。图像处理部14(例如，不要区域设定部31)，在帧图像524的拍摄前或拍摄后，求出帧图像521和524间的差分、帧图像522和524间的差分以及帧图像523和524间的差分。然后，根据求出的差分，检测出由帧图像521～524构成的动态图像上的移动物体，并检测出帧图像524上的移动物体以及移动物体区域525(参照图23(b))。所谓移动物体，是指在包含帧图像524的动态图像上进行移动的物体。
摄像装置1，在记录介质15中记录帧图像524时，对帧图像524上的移动物体区域525进行确定的移动物体区域信息也与帧图像524的图像数据建立关联而记录在记录介质15中。帧图像524作为输入图像IIN被输入图像修正部30(参照图2)时，通过向不要区域设定部31赋予从记录介质15读出的移动物体区域信息，不要区域设定部31能够识别输入图像IIN上的移动物体区域525，若指定位置SP在移动物体区域525内存在，则能够将移动物体区域525设定为不要区域。
此外，在上述的示例中，虽然使用帧图像524和在帧图像524之前所拍摄的三张帧图像来进行了移动物体检测，但也能够使用帧图像524和在帧图像524之前所拍摄的一张以上的帧图像，或使用帧图像524和在帧图像524之后所拍摄的一张以上的帧图像来进行移动物体检测。此外，在帧图像524是记录介质15所记录的动态图像的一部分的情况下，在帧图像524的前后所拍摄的帧图像的图像数据也记录在记录介质15中时，也可以在帧图像524作为输入图像IIN而被输入图像修正部30之际，也使用记录介质15的记录数据来进行移动物体区域525的检测。
在上述图像解析中能够包含检测出输入图像IIN内存在的告示牌的告示牌检测处理。在输入图像IIN上的告示牌的内侧区域存在指定位置SP时，不要区域设定部31能够通过基于输入图像IIN的图像数据的告示牌检测处理，从输入图像IIN中检测出告示牌区域，并将包含指定位置SP的告示牌区域设定为不要区域。告示牌区域的检测包括输入图像IIN上的告示牌的位置、大小、形状以及轮廓等的检测。告示牌区域是告示牌的图像数据存在的图像区域，能够将告示牌的轮廓的内侧区域作为告示牌区域。
参照图24对告示牌检测处理的一个示例进行说明。图24表示出作为输入图像IIN的一个示例的输入图像530。输入图像530是通过拍摄树林以及树林前所设置的告示牌531所得到的图像。在告示牌检测处理中，使用公知的文字提取处理来提取输入图像530上描写的文字，提取包围所提取到的文字组的轮廓作为告示牌的轮廓。更具体而言，例如，通过将输入图像530的各像素信号进行二值化，将输入图像530转换为二值化图像532。然后，从二值化图像532中提取文字，另一方面，基于针对二值化图像532的边缘提取处理(轮廓提取处理)的结果来提取包围提取文字的轮廓作为告示牌531的轮廓(告示牌531的外框)，检测出所提取到的轮廓内的图像区域(图24的斜线区域533)作为告示牌区域。
在上述图像解析中能够包含检测出在输入图像IIN内存在的脸的脸检测处理以及检测出在脸上存在的黑痣的脸特定部检测处理。在输入图像IIN上的脸的内侧区域存在指定位置SP时，不要区域设定部31通过基于输入图像IIN的图像数据的脸检测处理，从输入图像IIN中检测出包含指定位置SP的脸区域。脸区域的检测包括输入图像IIN上的脸的位置、大小、形状以及轮廓等的检测。脸区域是脸的图像数据存在的图像区域，能够将脸的轮廓的内侧区域作为脸区域。
将包含指定位置SP的脸区域称为指定脸区域。若检测出指定脸区域，则不要区域设定部31通过基于输入图像IIN的图像数据的脸特定部检测处理，从指定脸区域内检测出黑痣。通过脸特定部检测处理，不仅可以检测出黑痣，也可以检测出例如斑、皱纹、印迹、伤等。并且，能够将黑痣、斑、皱纹、印迹、伤等图像数据存在的图像区域设定为不要区域。
参照图25对黑痣的检测方法的一个示例进行说明。图25表示出作为输入图像IIN的一个示例的输入图像540。输入图像540上的人物的脸上存在黑痣541。不要区域设定部31，在提取了输入图像540上的肤色区域之后，在肤色区域的内侧存在的肤色区域以外的区域(包含黑痣541的区域)进行缩减的方向上实施膨胀处理(换言之，使肤色区域的内侧存在的肤色区域以外的区域缩减)。另一方面，通过边缘提取处理从输入图像540中提取脉冲状的边缘，并检测出脉冲状的边缘的存在区域与膨胀处理后的肤色区域的共同区域作为黑痣541的图像数据存在的图像区域。此外，可以将指定脸区域的各像素的亮度值与规定的阈值进行比较，并检测出具有该阈值以下的亮度值的像素聚集了规定数以上的部分作为黑痣。
参照图26的流程图来说明不要区域的设定动作步骤。首先，用户使用触摸面板操作或按钮操作将上述的指定位置SP输入摄像装置1(步骤S51)。若输入了指定位置SP，则不要区域设定部31使用人体检测处理来判断输入图像IIN中包含指定位置SP的目标是否为人体(步骤S52)。然后，当判断为包含指定位置SP的目标是人体时，将使用人体检测处理检测出的包含指定位置SP的人体区域设定为不要区域(步骤S59)。
当判断为包含指定位置SP的目标不是人体时，不要区域设定部31使用后头部检测处理来判断在输入图像IIN中包含指定位置SP的目标是否为后头部(步骤S53)。然后，当判断为包含指定位置SP的目标为后头部时，将使用后头部检测处理检测出的包含指定位置SP的后头部区域设定为不要区域(步骤S59)。
当判断为包含指定位置SP的目标不是后头部时，不要区域设定部31使用线检测处理来判断在输入图像IIN中包含指定位置SP的目标是否为线状目标(步骤S54)。然后，当判断为包含指定位置SP的目标为线状目标时，将使用线检测处理检测出的包含指定位置SP的线区域设定为不要区域(步骤S59)。
当判断为包含指定位置SP的目标不是线状目标时，不要区域设定部31使用上述移动物体区域信息或移动物体检测处理来判断在输入图像IIN中包含指定位置SP的目标是否为移动物体(步骤S55)。然后，当判断为包含指定位置SP的目标为移动物体时，将使用对移动物体区域信息的指示或移动物体检测处理检测出的包含指定位置SP的移动物体区域设定为不要区域(步骤S59)。
当判断为包含指定位置SP的目标不是移动物体时，不要区域设定部31使用告示牌检测处理来判断在输入图像IIN中包含指定位置SP的目标是否为告示牌(步骤S56)。然后，当判断为包含指定位置SP的目标为告示牌时，将使用告示牌检测处理检测出的包含指定位置SP的告示牌区域设定为不要区域(步骤S59)。
当判断为包含指定位置SP的目标不是告示牌时，不要区域设定部31使用脸检测处理来判断在输入图像IIN中包含指定位置SP的目标是否为脸(步骤S57)。然后，当判断为包含指定位置SP的目标为脸时，提取使用脸检测处理检测出的包含指示位置SP的脸区域作为指定脸区域，并使用上述脸特定部检测处理(步骤S58)将黑痣等图像数据存在的图像区域设定为不要区域(步骤S59)。
当判断为包含指定位置SP的目标不是人体、后头部、线状目标、移动物体、告示牌以及脸的任何一个时，不要区域设定部31通过基于输入图像IIN的图像数据(颜色信息或边缘信息)的公知的区域分割处理，将输入图像IIN的整个图像区域分割为多个图像区域，并将所得到的多个图像区域内的包含指定位置SP的图像区域设定为不要区域(步骤S60)。
此外，在输入图像IIN中存在人的脸时，可以考虑脸的大小来判断是将人体区域还是将黑痣区域设定为不要区域。例如，在输入图像IIN中存在人的脸的情况下，在该脸中包含指定位置SP时，检测出输入图像IIN上的该脸的脸区域的大小FSIZE。然后，若大小FSIZE小于规定的基准值，则可以将包含指定位置SP的人体区域设定为不要区域。另一方面，若大小FSIZE在规定基准值以上，则对包含指定位置SP的指定脸区域使用脸特定部检测处理，并在指定脸区域内，将黑痣等图像数据存在的图像区域设定为不要区域。此外，在图26的动作例中，虽然步骤S52～S57的处理按照该顺序被执行，但也能够任意地变更步骤S52～S57的处理的执行顺序。
在第三实施方式中，用户应进行的不要区域指定操作通过输入指定位置SP的操作而结束。即例如，由于仅通过手指接触显示画面上的不要目标的一部分就自动地设定不要区域，因此会减轻用户的操作负担。
《第四实施方式》
对本发明的第四实施方式进行说明。图27是第四实施方式的摄像装置1的动作流程图。摄像装置1能够在不要目标去除模式中依次执行步骤S81～S88的处理。
首先，在步骤S81中，根据由用户进行的不要区域指定操作，在输入图像IIN内设定不要区域。能够使用其它任意实施方式所述的方法来设定不要区域。接着在步骤S82中，显示部16进行被设定的不要区域的确认显示。即，以用户能够视觉识别被设定的不要区域的方式，进行输入图像IIN的整体显示或部分显示，并在显示画面上明示不要区域(例如，进行不要区域的闪烁显示或轮廓强调显示)。在步骤S83中，用户能够根据需要，指示暂时所设定的不要区域的修正。该修正，例如，通过用户的手动操作或不要区域指定操作的再执行来实现。
在由用户进行不要区域的确认后，用户若进行了规定操作，则在步骤S84中，图像修正部30开始执行不要区域去除用的图像处理。不要区域去除用的图像处理，与第一实施方式所述相同。即，例如，作为不要区域去除用的图像处理，能够使用图12的步骤S12～S20的处理。
不要区域去除用的图像处理开始后，在步骤S85中，显示部16依次显示修正过程中的结果。参照图28(a)以及(b)来说明该显示的样子。当前，为了具体说明，假设图4的输入图像310为输入图像IIN，并且，由人物312的轮廓包围的图像区域为不要区域，并且，区域320为修正对象区域。此外，导入ti作为表示时刻的记号(i是整数)。时刻ti+1是比时刻ti滞后的时刻。
图28(a)的图像600[ti]，是在时刻ti在显示画面所显示的图像。在步骤S85中，显示部16依次显示图像600[t1]、600[t2]、…600[tm-1]以及600[tm]。m是3以上的整数。图像600[t1]是不要区域去除用的图像处理前的输入图像IIN，即输入图像310其本身。假设变量i为2以上时，图像600[ti]相当于在将值VALi代入系数kMIX(参照图9)的状态下，实施图12的步骤S12～S23的处理而得到的输出图像IOUT。其中，对于任意的整数i，值VALi+1大于值VALi。然而，值VALi大于0，并且值VALm为1。
此外，在时刻ti，也可以代替图28(a)的图像600[ti]而显示图28(b)的600′[ti]。即，在步骤S85中，可以进行图像600′[t1]、600′[t2]、…600′[tm-1]以及600′[tm]的依次显示。图像600′[t1]是不要区域去除用的图像处理前的修正对象区域内的图像，即输入图像310中的修正对象区域内的图像其本身。假设变量i为2以上时，图像600′[ti]相当于在将值VALi代入系数kMIX(参照图9)的状态下，实施图12的步骤S12～S20的处理而得到的混合结果图像。
如此，在图像修正部30中(在图17的第一修正处理部36或第二修正处理部37中)，对修正对象区域内的图像分多次阶段性地执行修正(使系数kMIX的值渐渐增加的同时，阶段性地执行)。通过阶段性地执行修正而得到的修正结果图像600[t2]～600[tm](或600′[t2]～600′[tm])，依次在显示部16输出显示。由于VALi＜VALi+1，因此，随着时间经过，得到在显示画面上的不要目标渐渐变淡的映像效果。
此外，用户能够在时刻tm之前，通过在摄像装置1进行规定的强制结束操作，使步骤S85中的显示强制结束。
在接着步骤S85的步骤S86中，摄像装置1接收由用户进行的修正强度(修正量)的调整指示，根据调整指示来调整修正强度。作为修正强度的调整方法，例示第一以及第二调整方法。
对第一调整方法进行说明。若未进行上述强制结束操作，则在从步骤S85转移到步骤S86的时刻，显示出图像600[tm]或600′[tm](参照图28(a)或(b))。在该状态下，用户能够进行第一实施方式所述的触摸面板调整操作，图像修正部30能够按照触摸面板调整操作的内容来调整修正强度。更具体而言，例如，在进行了触摸面板调整操作时，根据第一实施方式说明的操作体的振动次数等，使系数kMIX的值从1减少，实时显示使用减少后的系数kMIX的值得到的修正结果图像。减少后的系数kMIX的值例如为值VALm-1时，使用减少后的系数kMIX而得到的修正结果图像，是图像600[tm-1]或600′[tm-1](参照图28(a)或(b))。使用减少后的系数kMIX而得到的修正结果图像，相当于调整后的修正结果图像。此外，不进行触摸面板调整操作而进行了规定的调整结束操作时，图像600[tm]或600′[tm]作为调整后的修正结果图像发挥功能。
对第二调整方法进行说明。在采用第二调整方法时，图像修正部30，暂时存储在步骤S85中得到的各修正过程中的结果。然后，在步骤S86中，同时在显示部16输出所存储的多个修正过程中的结果。即，如图29所示，在水平以及垂直方向上排列地同时显示多个修正过程中的结果。例如，在水平以及垂直方向上排列地同时显示在对系数kMIX代入了0.25、0.5、0.75以及1的状态下实施图12的步骤S12～S20的处理而得到的四个混合结果图像601～604。在图29中，斜线区域表示了显示部16的壳体。在同时显示出混合图像601～604的状态下，用户能够通过触摸面板操作或按钮操作来选择混合结果图像601～604的任一个作为调整后的修正结果图像。当存在多张要显示的混合结果图像时，可以分多次显示混合结果图像。
关于第二调整方法，能够以如下的方式表现。在图像修正部30中(在图17的第一修正处理部36或第二修正处理部37中)，分多次阶段性地执行针对修正对象区域内的图像的修正(渐渐增加系数kMIX的值的同时，阶段性地执行)。通过阶段性执行修正而得到的多个修正结果图像(在图29的示例中图像601～604)，同时在显示部16被输出显示。在进行该显示的状态下，按照用户的选择操作来选择调整后的修正结果图像。
此外，在第一以及第二调整方法的实现中，在摄像装置1和用户之间需要保持互动的关系(例如，根据用户操作，需要实时更新应显示的修正结果图像)。因此，在确定调整内容之前，以缩小了输入图像IIN的状态执行修正处理(即，以低于最大分辨率的分辨率的状态执行修正处理)，在确定调整内容之后，优选以未缩小输入图像IIN的状态(以最大分辨率的状态)执行修正处理。
步骤S86中的调整之后，在步骤S87中，摄像装置1进行修正结果图像的确认显示。
简单地例如，显示从输入图像IIN中完全或部分地去除了不要目标的图像即输出图像IOUT。
或者例如，如图30(a)所示，以固定时间间隔自动地交替显示输入图像IIN与输出图像IOUT，或者，根据用户操作交替地进行显示。
或者例如，如图30(b)所示，以固定时间间隔自动地切换显示输入图像IIN、输出图像IOUT、修正之处(即不要目标或不要区域)，或者，根据用户操作进行切换显示。
或者例如，也可以同时并列显示输入图像IIN与输出图像IOUT。此时，也可以同时并列显示输入图像IIN的一部分与输出图像IOUT的一部分，以使对修正对象区域的部分进行放大显示。例如，图4以及图7的图像310以及350分别为输入图像IIN与输出图像IOUT时，如同图31所示，可以放大修正前后的修正对象区域内的图像(例如，图5(a)的图像321以及图9的图像384)而同时并列显示。显示的放大率是任意的，根据用户操作能够变更该放大率。既可以在进行了修正前后的修正对象区域内的图像的并列显示的状态下接收触摸面板调整操作，并按照触摸面板调整操作来更新修正后的修正对象区域内的图像，也可以实时地在显示内容中反映更新结果。
步骤S87之后，若由用户进行追加其它不要区域的指示，则返回步骤S81，对其它不要区域执行步骤S81～S87的处理(步骤S88)。若无追加其它不要区域的指示，则在记录介质15中记录在该时刻最终得到的输出图像IOUT。
此外，在步骤S84以及S85中所执行的不要区域去除用的图像处理中，虽然为了去除不要区域，提取以及设定了修正补丁区域(图6(b)的区域340等)，但在该提取以及设定的修正补丁区域中有问题时，有时无法良好地去除不要区域(不会如用户希望那样去除不要区域)。确认出未良好地去除不要区域的用户，能够进行规定的再试行执行操作。用户能够在步骤S85中在显示部16上正显示着修正过程中的结果时，或在步骤S85中的显示结束后的任意时刻，进行再试行指示操作。再试行指示操作，是指示不要区域去除用的图像处理的再试行(换言之，修正对象区域内的图像的重新修正)的操作，通过规定的按钮操作或触摸面板操作来实现。
参照图28(a)以及图32(a)等来说明进行再试行指示操作时的动作例以及显示画面例。为了具体说明，在步骤S85中，假设在显示部16依次显示图像600[t1]、600[t2]、…、600[tm-1]以及600[tm]。图像600[t1]在步骤S84中也被显示，此时，摄像装置1，如图32(a)所示，能够将删除图标631与图像600[t1]一起显示。斜线区域620表示不要区域。包含删除图标631的任意的图标，能够在应显示的图像上叠加显示或与应显示的图像排列显示。用户能够通过用手指接触显示画面上的图标来指示执行该图标所分配的处理。
若用户用手指触碰删除图标631，则图像修正部30通过上述方法提取以及设定不要区域去除用的修正补丁区域(修正用区域)641(参照图32(b))。修正补丁区域641，如上所述，通过搜索相似区域，从作为包含不要区域的输入图像的图像600[t1]中被提取。然而，如上所述，也可以从与图像600[t1]不同的输入图像中提取修正补丁区域641。之后，图像修正部30使用修正补丁区域641内的图像来进行不要区域去除用的图像处理，并在步骤S85中，依次显示修正结果图像600[t2]～600[tm](参照图28(a))。
在不要区域去除用的图像处理开始后的任意时刻，摄像装置1能够在显示画面上显示取消图标632以及重试图标(参照图32(c))。在图32(c)的示例中，与修正结果图像600[ti]一起显示出图标632以及633。当用手指按压取消图标632时，图像修正部30终止当前进行的不要区域去除用的图像处理。重试图标633也能够在使用了修正补丁区域641的不要区域去除用的图像处理结束后进行显示。即，能够在使用了修正补丁区域641的不要区域去除用的图像处理的执行中或执行后，显示重试图标633。用户能够在不满意由步骤S85所显示的修正结果图像600[ti]时，用手指按压重试图标633。修正结果图像的不满意，主要起因于修正补丁区域不恰当。
用户用手指按压重试图标633的操作是再试行指示操作的一种，若进行了再试行指示操作，则图像修正部30通过上述方法再次提取以及设定不要区域去除用的修正补丁区域。图32(d)的斜线区域642表示出在再试行指示操作后新提取以及设定的修正补丁区域。新的修正补丁区域642与修正补丁区域641不同。即，在再试行指示操作后，提取与已经被提取的修正补丁区域641不同的图像区域作为修正补丁区域642。修正补丁区域642，如上所述，通过搜索相似区域，从作为包含不要区域的输入图像的图像600[t1]中被提取。然而，如上所述，也可以从与图像600[t1]不同的输入图像中提取修正补丁区域642。之后，图像修正部30使用修正补丁区域642内的图像，重新进行不要区域去除用的图像处理。不要区域去除用的图像处理后的动作，与上述相同。此外，用户对使用了修正补丁区域642的修正结果也不满意时，还能够进行第二次再试行指示操作，此时，进行使用了与修正补丁区域641以及642不同的修正补丁区域643(未图示)的提取以及修正补丁区域643内的图像的修正。
此外，当提取了修正补丁区域641时，可以按照用户能够确认输入图像上的修正补丁区域641的位置以及大小等的方式，进行修正补丁区域641的明示(例如，修正补丁区域641的闪烁显示或轮廓强调显示)。同样地，当提取了修正补丁区域642时，可以按照用户能够确认输入图像上的修正补丁区域642的位置以及大小等的方式，进行修正补丁区域642的明示(例如，修正补丁区域642的闪烁显示或轮廓强调显示)。能够在任意的修正补丁区域中使用修正补丁区域的明示。即，在包括本实施方式的各实施方式中，既可以明示修正补丁区域，也可以不进行该明示。
若能够执行图32(a)～(d)所示的处理，则即使在暂时设定的修正补丁区域中有问题，最终也能够向用户提供满意的修正结果图像。
《第五实施方式》
对本发明的第五实施方式进行说明。
在第五实施方式中，对能够容易地避免生成如图35(b)的结果图像930′那样的与用户的意图相反的结果图像的方法进行说明。
参照图36(a)～(e)等对第五实施方式的方法进行说明。图37表示了能够在图像修正部30(参照图2以及图17)设置的提取禁止区域设定部39。图38表示了在图17的图像修正部30中追加提取禁止区域设定部39时的图像修正部30的内部结构例。
当前，假设输入了图36(a)所示的图像700作为对图像修正部30的输入图像IIN。在输入图像700中包含人物701～703的图像，用户将人物703捕获作为不要目标。此时，用户通过触摸面板操作或按钮操作，进行用于指定包围人物703的图像区域711作为不要区域的操作(参照图36(b))。作为该操作，能够利用上述任意不要区域指定操作。若表示不要区域指定操作的内容的信息被作为不要区域指定信息传输给不要区域设定部31(参照图38)，则不要区域设定部31根据不要区域指定信息将图像区域711设定为不要区域。
接着不要区域指定操作，用户能够通过触摸面板操作或按钮操作，进行用于指定提取禁止区域的提取禁止区域指定操作。提取禁止区域设定部39根据表示提取禁止区域指定操作的内容的提取禁止区域指定信息来设定提取禁止区域。在提取禁止区域的设定中，包括输入图像中的提取禁止区域的位置、大小、形状以及轮廓的设定。在此，通过提取禁止区域指定操作来指定包围人物702的图像区域作为提取禁止区域712(参照图36(c))。基于提取禁止区域指定操作的提取禁止区域的指定以及设定方法，与基于不要区域指定操作的不要区域的指定以及设定方法相同。
如上所述，虽然不要区域的去除是使用修正补丁区域的图像数据来进行的，但提取禁止区域内的图像数据被禁止用作修正补丁区域的图像数据。即，修正补丁区域，是从输入图像中的提取禁止区域以外的图像区域内被提取的，禁止将与提取禁止区域重合的图像区域提取作为修正补丁区域。在图36(c)的示例的情况下，将提取禁止区域712从输入图像700的整个图像区域去除后得到的剩余部分区域，搜索以及提取修正补丁区域。修正补丁区域的搜索以及提取方法与第一实施方式所示的方法相同。其结果是，提取以图36(d)的波状线713包围的框内的区域作为修正补丁区域。修正补丁区域713与提取禁止区域712不重合。此外，如第一实施方式所述，也能够从与输入图像700不同的输入图像700′(未图示)中提取修正补丁区域，此时，能够在输入图像700′内设定提取禁止区域。
在提取以及设定修正补丁区域之后，能够通过用第一实施方式所述的方法修正输入图像700，来得到作为结果图像的输出图像720(参照图36(e))。在图36(d)以及(e)的示例中，通过设定与提取禁止区域712不同的背景区域作为修正补丁区域713，能够在输出图像720中恰当地去除不要的人物703。此外，在上述示例中，虽然提取禁止区域的个数为1，但提取禁止区域的个数也可以为2以上(即，用户能够指定多个提取禁止区域)。
参照图39对不要目标去除模式中的摄像装置1的动作步骤进行说明。为了具体说明，假设通过设定不要区域711以及提取禁止区域712而从输入图像700得到输出图像720，并对图39的各处理进行说明。在图39的说明中，适当引用图12，且在图12的引用时，有时将包含不要区域711的修正对象区域称为修正对象区域A，并且，有时将所设定的修正补丁区域称为修正补丁区域B。图39所示的各处理，在不要目标去除模式下执行。例如，在刚拍摄输入图像700之后在显示部16显示着输入图像700时，进行规定的触摸面板操作或按钮操作之际，或者在再现模式下选择了规定菜单之际，转移至不要目标去除模式。
若转移到不要目标去除模式，则摄像装置1进行输入图像700的显示(步骤S100)，在步骤S101中，等待由用户进行的不要区域指定操作的输入。若进行了不要区域指定操作的输入，则在步骤S102中，不要区域设定部31按照不要区域指定操作来设定不要区域711。用户能够使用触摸面板操作来直接指定不要区域711的位置、大小、形状以及轮廓等(提取禁止区域712也同样)。或者，也可以让用户使用按钮操作从预先准备的多个图像区域中选择不要区域711(提取禁止区域712也同样)。
在设定不要区域711之后，在步骤S103中，摄像装置1向用户询问是否需要设定提取禁止区域。然后，当回答为需要设定提取禁止区域时，从步骤S103转移到步骤S104，在步骤S104以及S105的处理之后，转移到步骤S106。另一方面，当回答为不需要设定提取禁止区域时，从步骤S103直接转移到步骤S106。
在步骤S104中，摄像装置1等待由用户进行的提取禁止区域指定操作的输入。若进行了提取禁止区域指定操作的输入，则在步骤S105中，提取禁止区域设定部39按照提取禁止区域指定操作来设定提取禁止区域712。
若设定了提取禁止区域712，则从步骤S105转移到步骤S106。
从步骤S103或S105转移的步骤S106中，图像修正部30(修正补丁区域提取部35)，自动地提取以及设定修正补丁区域而与用户的操作为无关。作为修正补丁区域的提取以及设定方法，能够使用第一实施方式所述的方法。即，例如，在设定包含不要区域的图4的修正对象区域320之后，通过与从输入图像310提取图6(b)的修正补丁区域340相同的方法，在输入图像700内设定包含不要区域711的修正对象区域，并从输入图像700中提取与输入图像700内的修正对象区域对应的修正补丁区域。或者，例如，能够通过图12的步骤S12～S18的处理在输入图像700(或700′)内设定修正补丁区域。无论如何，在设定了提取禁止区域712时，从输入图像700(或700′)中的提取禁止区域712以外的图像区域内提取修正补丁区域。其结果是，例如，提取以及设定图36(d)的修正补丁区域713。
此外，在利用了图12的步骤S12～S18的处理的情况下搜索了多个相似区域时(步骤S15)，在第一实施方式中，让用户从多个相似区域中选择了修正补丁区域。相对于此，在本实施方式中，为了减轻用户的操作负担，在步骤S106中，可以不让用户承担该选择操作，而自动地设定修正补丁区域(然而，也可以让用户承担上述选择操作)。此外，在图39的步骤S106中使用了图12的步骤S12～S18的处理的情况下，当判断为不要区域的形状为细线状时(步骤S14“是”)，也可以通过图12的步骤19的处理来设定修正补丁区域。此时，在步骤S106中设定与修正补丁区域713不同的修正补丁区域。
此外，在步骤S106中设定了修正补丁区域之后，在步骤S107中，图像修正部30生成基于输入图像700的输出图像720。作为在设定不要区域以及修正补丁区域之后从输入图像生成输出图像的方法，能够使用第一实施方式所示的方法。例如，能够使用图12的步骤S20的处理。更具体而言，例如，通过混合包含不要区域711的修正对象区域A的图像数据与修正补丁区域B(例如，与修正补丁区域713或修正补丁区域713不同的修正补丁区域)的图像数据，来生成混合结果图像，并通过将生成的混合结果图像嵌入输入图像700的修正对象区域A来生成输出图像720。该混合中的系数kMIX的值可以为1，当kMIX＝1时，在输入图像700中，由修正补丁区域B内的图像数据其本身来置换修正对象区域A内的图像数据。
此外，能够从输入图像700(或700′)中的提取禁止区域712以外的图像区域内提取多个修正补丁区域，当提取了多个修正补丁区域时，也可以使用多个修正补丁区域的图像数据来生成输出图像720的修正对象区域A内的图像数据。
在步骤S107中，也进行所生成的输出图像720的显示。进行该显示的同时，在步骤S108中，摄像装置1向用户询问是否可以确定修正内容。对于该询问，用户能够使用触摸面板操作或按钮操作来进行规定的确定操作。
在未进行确定操作时，用户能够使用触摸面板操作或按钮操作，进行用于从提取禁止区域进行再指定的操作或用于从不用区域进行再指定的操作(步骤S110)。
在用户进行了前者的操作时，从步骤S108经由步骤S110返回步骤S104，再次执行步骤S104～S108的处理，在该处理中进行提取禁止区域的再指定和再设定、以及输出图像的再生成。
在用户进行了后者的操作时，从步骤S108经由步骤S110返回步骤S101，再次执行步骤S101～S108的处理，在该处理中进行不要区域以及提取禁止区域的再指定和再设定、以及输出图像的再生成。
在步骤S108中，在用户进行了确定操作时，在记录介质15中记录在步骤S107中生成的最新输出图像的图像数据(步骤S109)，结束图39的动作。此外，可以对在步骤S107生成的输出图像执行第一实施方式所述的调整处理(例如，参照图12的步骤S26)，并在记录介质15中记录调整处理后的输出图像。
通过设置如本实施方式的提取禁止区域的设定功能，以少的操作负担来避免提取不适合的修正补丁区域(避免提取用户禁止的区域作为修正补丁区域)，其结果是，避免生成与意图相反的输出图像。若换言之，能够以少的操作负担来生成按用户意图的输出图像。
虽然能够采用向多个用户提示能够使用的候补区域作为修正补丁区域，并让用户从多个候补区域中选择修正补丁区域的方法，但当存在多个候补区域时，或使用多个修正补丁区域对一个不要区域进行修正时，会稍微加重用户的操作负担。若在摄像装置1侧自动地进行修正补丁区域的选择以及设定，则即使存在多个候补区域时等，用户的操作负担也减轻。
此外，如上所述，能够通过与第一实施方式记载的技术相组合来实施第五实施方式记载的技术。因此，可以如下。
在第一实施方式中，可以在图像修正部30中追加提取禁止区域设定部39，并根据提取禁止区域指定操作在输入图像内设定提取禁止区域。然后，在第一实施方式中，可以从输入图像中的提取禁止区域以外的图像区域中提取修正补丁区域(即，可以禁止提取与提取禁止区域重合的图像区域作为修正补丁区域)。
此外，可以在摄像装置1中进行如下的变形动作。在变形动作的说明中，以对输入图像700设定不要区域711，并在输入图像700内设定包含不要区域711的修正对象区域A作为前提。此外，由记号AMSK表示基于修正对象区域A的掩蔽图像。此外，在变形动作中，在相似区域的搜索中能够利用图12的步骤S15的方法。
对第一变形动作进行说明。将从输入图像700或700′中搜索掩蔽图像AMSK的相似区域作为修正补丁区域B，且使用修正补丁区域B对修正对象区域A内的图像进行修正称为单位修正。单位修正通过在修正对象区域A的图像数据中混合修正补丁区域B的图像数据，或通过由修正补丁区域B的图像数据置换修正对象区域A的图像数据来实现，在第一变形动作中，多次反复执行单位修正。由记号A[0]表示一次都未进行过单位修正的状态下的修正对象区域A，由记号A[i]表示通过第i次的单位修正而得到的修正对象区域A，由记号AMSK[i]表示基于修正对象区域A[i]的掩蔽图像，由记号B[i]表示对掩蔽图像AMSK[i]进行了搜索的修正补丁区域B。
这样，在第一次的单位修正中，从输入图像700或700′中搜索掩蔽图像AMSK[0]的相似区域作为修正补丁区域B[0]，通过使用修正补丁区域B[0]来修正修正对象区域A[0]内的图像，得到修正对象区域A[1]。
在第二次的单位修正中，从输入图像700或700′中搜索基于修正对象区域A[1]的掩蔽图像AMSK[1]的相似区域作为修正补丁区域B[1]，通过使用修正补丁区域B[1]来修正修正对象区域A[1]内的图像，得到修正对象区域A[2]。第三次以后的单位修正也同样。
能够针对在修正对象区域A内的图像，通过新的单位修正来反复执行单位修正，直至几乎不再变化。例如，求出修正对象区域A[i-1]内的各像素信号与修正对象区域A[i]内的各像素信号之差，当判断为该差足够小时，结束单位修正的反复执行。当未判断为该差足够小时，为了得到修正对象区域A[i+1]，还执行第(i+1)次单位修正。可以预先确定单位修正的反复次数。在得到修正对象区域A[i]的时刻结束了单位修正的反复执行时，通过对输入图像700的修正对象区域A嵌入修正对象区域A[i]的图像数据，得到输出图像720。
对第二变形动作进行说明。在修正对象区域A比较大时等，有时无法搜索适合于修正对象区域A的一个修正补丁区域B。在这种情况下，利用第二变形动作是有益的。
在第二变形动作中，将修正对象区域A分割为多个图像区域。将通过分割得到的各图像区域称为分割区域。然后，按照每个分割区域搜索修正补丁区域来进行单位修正。为了具体说明，可考虑将修正对象区域A分割为四个分割区域A1～A4。伴随分割区域A1～A4的设定，掩蔽图像AMSK也被分割为四个分割掩蔽图像AMSK1～AMSK4。分割掩蔽图像AMSKj是与分割区域Aj对应的掩蔽图像(j是1、2、3或4)。
在第二变形动作中的一次单位修正中，从输入图像700或700′中搜索分割掩蔽图像AMSKi的相似区域作为修正补丁区域Bj，并使用修正补丁区域Bj按照每个分割区域进行修正分割区域Aj内的图像的处理。可以仅执行一次单位修正，也可以如第一变形动作中所述的方法那样，多次反复执行单位修正。当前，假设在执行了第i次单位修正的时刻结束单位修正的反复执行。这样，针对输入图像700的分割区域A1～A4，分别通过嵌入分割区域[A1]～[A4]的图像数据而得到输出图像720。分割区域Aj[i]，是针对一次都未进行过单位修正的状态下的分割区域Aj进行i次单位修正后得到的图像区域。
[变形等]
上述说明中所示的具体数值，仅是简单的示例，当然，能够将它们变更为各种数值。
在上述实施方式中，虽然假设在摄像装置1内设置有图像处理部14以及图像修正部30(参照图1)，但图像处理部14或图像修正部30，也可以搭载于与摄像装置1不同的电子设备(未图示)中。电子设备包括如电视接收机那样的显示装置、个人计算机、手机等，摄像装置也是一种电子设备。在上述电子设备中，除了图像处理部14或图像修正部30，还可以设置记录介质15、显示部16以及操作部17。
能够通过硬件或硬件与软件的组合来构成图1的摄像装置1或上述电子设备。使用软件构成摄像装置1或上述电子设备时，针对由软件实现的部位的方框图，表示该部位的功能方框图。也可以作为程序而记述使用软件实现的功能，并通过在程序执行装置(例如计算机)上执行该程序来实现该功能。
附图符号说明：
1-摄像装置，
11-摄像部，
14-图像处理部，
15-记录介质，
16-显示部，
17-操作部，
30-图像修正部。

Claims (13)

1.一种图像处理装置，具有对第一输入图像中所包含的对象区域内的图像进行修正的修正部，
所述修正部具有：
修正处理部，其使用与所述第一输入图像相同或不同的第二输入图像中所包含的修正用区域内的图像来修正所述对象区域内的图像；和
修正用区域提取部，其根据所述对象区域的图像数据，从所述第二输入图像中提取所述修正用区域。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述修正部还具有提取禁止区域设定部，该提取禁止区域设定部根据所赋予的操作，在所述第二输入图像内设定提取禁止区域，
所述修正用区域提取部从所述第二输入图像中的所述提取禁止区域以外的图像区域提取所述修正用区域。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所述修正部还具有对象区域设定部，该对象区域设定部指定所述第一输入图像中所包含的不要区域，并将包含该不要区域的图像区域设定为所述对象区域，
所述修正用区域提取部通过将所述对象区域内的所述不要区域以外的图像区域即剩余部分区域的图像数据与所述第二输入图像的图像数据进行对比，从所述第二输入图像中检测并提取所述修正用区域。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述修正用区域提取部从所述第二输入图像内搜索具有与所述剩余部分区域的图像特征相似的图像特征的图像区域，并从所述第二输入图像中提取包含所搜索到的图像区域的图像区域作为所述修正用区域。
5.根据权利要求1～4的任一项所述的图像处理装置，其特征在于，
使用与该图像处理装置连接的显示部，明示所述修正用区域。
6.根据权利要求1～5的任一项所述的图像处理装置，其特征在于，
在基于所述修正处理部进行的修正的执行过程中或执行后指示了重新执行所述修正时，
所述修正用区域提取部从所述第二输入图像中提取与已经提取出的修正用区域不同的图像区域作为新的修正用区域，
所述修正处理部使用新提取的修正用区域内的图像，来修正所述对象区域内的图像。
7.根据权利要求3～6的任一项所述的图像处理装置，其特征在于，
所述修正部，除了作为第一修正处理部的所述修正处理部以外，
还具有第二修正处理部，该第二修正处理部使用用于缩小所述不要区域的膨胀处理来修正所述对象区域内的图像，
所述修正部根据所述不要区域的形状，选择性地使用所述第一及第二修正处理部，来修正所述对象区域内的图像。
8.根据权利要求3～7的任一项所述的图像处理装置，其特征在于，
所述修正部还具有不要区域设定部，该不要区域设定部接收指定位置的输入，以所述指定位置被包含于所述不要区域的方式，基于所述指定位置和所述第一输入图像的图像数据来设定所述不要区域。
9.根据权利要求1～8的任一项所述的图像处理装置，其特征在于，
所述修正处理部，分多次阶段性地执行针对所述对象区域内的图像的修正，且向显示部依次输出通过执行阶段性修正而得到的多个修正结果图像。
10.根据权利要求1～8的任一项所述的图像处理装置，其特征在于，
所述修正处理部，分多次阶段性地执行针对所述对象区域内的图像的修正，且向显示部同时输出通过执行阶段性修正而得到的多个修正结果图像。
11.一种电子设备，具有权利要求1～10的任一项所述的图像处理装置。
12.一种电子设备，具有：
图像处理装置，其具有对第一输入图像中所包含的对象区域内的图像进行修正的修正部；
显示部，其显示所述第一输入图像的全部或一部分；和
操作部，其接收指定所述第一输入图像中所包含的不要区域的不要区域指定操作，并接收指示所述不要区域内的图像的修正的修正指示操作，
所述修正部具有：
对象区域设定部，其将包含所述不要区域的图像区域设定为所述对象区域；
修正处理部，其使用与所述第一输入图像相同或不同的第二输入图像中所包含的修正用区域内的图像来修正所述对象区域内的图像；和
修正用区域提取部，其根据所述对象区域的图像数据从所述第二输入图像提取所述修正用区域，
所述修正部根据所述修正指示操作来修正所述对象区域内的图像，
在进行了该修正时，所述显示部显示修正后的对象区域内的图像。
13.根据权利要求12所述的电子设备，其特征在于，
所述修正部还具有：
提取禁止区域设定部，其根据对所述操作部进行的提取禁止区域指定操作，在所述第二输入图像内设定提取禁止区域，
所述修正部根据所述修正指示操作来修正所述对象区域内的图像，
在进行了该修正时，所述显示部显示修正后的对象区域内的图像，
所述修正用区域提取部从所述第二输入图像中的所述提取禁止区域以外的图像区域提取所述修正用区域。
CN2011800066380A 2010-01-20 2011-01-17 图像处理装置以及电子设备 Pending CN102812490A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2010009896 2010-01-20
JP2010-009896 2010-01-20
JP2010-289389 2010-12-27
JP2010289389A JP2011170838A (ja) 2010-01-20 2010-12-27 画像処理装置及び電子機器
JP2011-002433 2011-01-07
JP2011002433A JP2011170840A (ja) 2010-01-20 2011-01-07 画像処理装置及び電子機器
PCT/JP2011/050648 WO2011089996A1 (ja) 2010-01-20 2011-01-17 画像処理装置及び電子機器

Publications (1)

Publication Number Publication Date
CN102812490A true CN102812490A (zh) 2012-12-05

Family

ID=44684852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800066380A Pending CN102812490A (zh) 2010-01-20 2011-01-17 图像处理装置以及电子设备

Country Status (3)

Country Link
US (1) US20130016246A1 (zh)
JP (2) JP2011170838A (zh)
CN (1) CN102812490A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014187265A1 (zh) * 2013-12-19 2014-11-27 中兴通讯股份有限公司 一种照片拍摄处理方法、设备和计算机存储介质
CN104349045A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种图像采集方法及电子设备
CN105323647A (zh) * 2014-05-28 2016-02-10 青岛海尔电子有限公司 电视观看环境的光线强度的检测方法和装置与智能电视
CN105706435A (zh) * 2013-11-08 2016-06-22 Nec照明株式会社 摄像装置、有机el元件、摄像方法、程序、和记录介质
CN106791449A (zh) * 2017-02-27 2017-05-31 努比亚技术有限公司 照片拍摄方法及装置
CN108234888A (zh) * 2018-03-14 2018-06-29 维沃移动通信有限公司 一种图像处理方法及移动终端
US11170511B2 (en) 2017-03-31 2021-11-09 Sony Semiconductor Solutions Corporation Image processing device, imaging device, and image processing method for replacing selected image area based on distance

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5766479B2 (ja) * 2011-03-25 2015-08-19 京セラ株式会社 電子機器、制御方法および制御プログラム
JP5785753B2 (ja) * 2011-03-25 2015-09-30 京セラ株式会社 電子機器、制御方法および制御プログラム
JP2013045316A (ja) * 2011-08-25 2013-03-04 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法
JPWO2013179560A1 (ja) * 2012-05-30 2016-01-18 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
US9361673B2 (en) 2013-03-25 2016-06-07 Panasonic Intellectual Property Management Co., Ltd. Image interpolation device, image processing device, and image interpolation method
JP5834253B2 (ja) 2013-03-27 2015-12-16 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5849206B2 (ja) * 2013-03-27 2016-01-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6137464B2 (ja) * 2013-04-04 2017-05-31 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
JP5899475B2 (ja) 2013-04-05 2016-04-06 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6071866B2 (ja) * 2013-12-18 2017-02-01 キヤノン株式会社 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
JP6434209B2 (ja) 2013-12-20 2018-12-05 株式会社リコー 画像生成装置、画像生成方法、およびプログラム
JP2015211233A (ja) * 2014-04-23 2015-11-24 キヤノン株式会社 画像処理装置および画像処理装置の制御方法
RU2015102523A (ru) * 2015-01-27 2016-08-20 Общество с ограниченной ответственностью "Аби Девелопмент" "умный" ластик
JP6458569B2 (ja) 2015-03-12 2019-01-30 オムロン株式会社 画像処理装置および画像処理方法
KR102271656B1 (ko) 2015-05-01 2021-07-02 로레알 화학적 처리 중 활성제의 용도
JP6540280B2 (ja) * 2015-06-30 2019-07-10 ブラザー工業株式会社 画像処理装置およびコンピュータプログラム
BR112018010341B1 (pt) 2015-11-24 2021-08-10 L'oreal Método para alteração da cor de cabelo
US10828244B2 (en) 2015-11-24 2020-11-10 L'oreal Compositions for treating the hair
WO2017091797A1 (en) 2015-11-24 2017-06-01 L'oreal Compositions for treating the hair
JP6789741B2 (ja) * 2016-09-15 2020-11-25 株式会社東芝 情報処理装置及び方法
US11135150B2 (en) 2016-11-21 2021-10-05 L'oreal Compositions and methods for improving the quality of chemically treated hair
US11433011B2 (en) 2017-05-24 2022-09-06 L'oreal Methods for treating chemically relaxed hair
US11596588B2 (en) 2017-12-29 2023-03-07 L'oreal Compositions for altering the color of hair
US11090249B2 (en) 2018-10-31 2021-08-17 L'oreal Hair treatment compositions, methods, and kits for treating hair
JP6666983B2 (ja) * 2018-11-08 2020-03-18 株式会社リコー 画像生成装置、画像生成方法、およびプログラム
US11419809B2 (en) 2019-06-27 2022-08-23 L'oreal Hair treatment compositions and methods for treating hair

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892853A (en) * 1996-08-02 1999-04-06 Sony Corporation Methods, apparatus and program storage device for removing scratch or wire noise, and recording media therefor
CN1567372A (zh) * 2003-07-02 2005-01-19 德鑫科技股份有限公司 数字图像的划痕处理方法
US20050157916A1 (en) * 2004-01-15 2005-07-21 Canon Kabushiki Kaisha Image processing device, image processing method, program, storage medium and image processing system
JP2005293521A (ja) * 2004-03-31 2005-10-20 Kazuo Ozeki 画像不要部分の除去方法及び除去装置
CN1731449A (zh) * 2005-07-14 2006-02-08 北京航空航天大学 一种图像修复方法
CN101482968A (zh) * 2008-01-07 2009-07-15 日电（中国）有限公司 图像处理方法和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10105700A (ja) * 1996-08-02 1998-04-24 Sony Corp 画像雑音の除去方法及び除去装置
JP2001069394A (ja) * 1999-06-22 2001-03-16 Canon Inc 画像処理システム、カメラ、画像出力装置、画像修正装置、画像修正システム、画像修正方法、及び画像修正プログラムを提供する媒体
JP2006148263A (ja) * 2004-11-16 2006-06-08 Ntt Communications Kk テロップ消去方法、テロップ消去装置、及びテロップ消去プログラム
JP2006332785A (ja) * 2005-05-23 2006-12-07 Univ Of Tokyo 画像補完装置及び画像補完方法並びにプログラム
JP4413971B2 (ja) * 2008-01-09 2010-02-10 日本電信電話株式会社 画像補間装置、画像補間方法、及び画像補間プログラム
US20090208053A1 (en) * 2008-02-19 2009-08-20 Benjamin Kent Automatic identification and removal of objects in an image, such as wires in a frame of video
JPWO2009142333A1 (ja) * 2008-05-22 2011-09-29 国立大学法人 東京大学 画像処理方法、画像処理装置及び画像処理プログラム並びに記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892853A (en) * 1996-08-02 1999-04-06 Sony Corporation Methods, apparatus and program storage device for removing scratch or wire noise, and recording media therefor
CN1567372A (zh) * 2003-07-02 2005-01-19 德鑫科技股份有限公司 数字图像的划痕处理方法
US20050157916A1 (en) * 2004-01-15 2005-07-21 Canon Kabushiki Kaisha Image processing device, image processing method, program, storage medium and image processing system
JP2005293521A (ja) * 2004-03-31 2005-10-20 Kazuo Ozeki 画像不要部分の除去方法及び除去装置
CN1731449A (zh) * 2005-07-14 2006-02-08 北京航空航天大学 一种图像修复方法
CN101482968A (zh) * 2008-01-07 2009-07-15 日电（中国）有限公司 图像处理方法和设备

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349045A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种图像采集方法及电子设备
CN104349045B (zh) * 2013-08-09 2019-01-15 联想(北京)有限公司 一种图像采集方法及电子设备
CN105706435A (zh) * 2013-11-08 2016-06-22 Nec照明株式会社 摄像装置、有机el元件、摄像方法、程序、和记录介质
CN105706435B (zh) * 2013-11-08 2019-04-02 Nec照明株式会社 摄像装置、有机el元件、摄像方法和记录介质
US9992408B2 (en) 2013-12-19 2018-06-05 Zte Corporation Photographing processing method, device and computer storage medium
WO2014187265A1 (zh) * 2013-12-19 2014-11-27 中兴通讯股份有限公司 一种照片拍摄处理方法、设备和计算机存储介质
CN104735364A (zh) * 2013-12-19 2015-06-24 中兴通讯股份有限公司 一种照片拍摄处理方法和设备
CN105323647B (zh) * 2014-05-28 2018-10-09 青岛海尔电子有限公司 电视观看环境的光线强度的检测方法和装置与智能电视
CN105323647A (zh) * 2014-05-28 2016-02-10 青岛海尔电子有限公司 电视观看环境的光线强度的检测方法和装置与智能电视
CN106791449A (zh) * 2017-02-27 2017-05-31 努比亚技术有限公司 照片拍摄方法及装置
CN106791449B (zh) * 2017-02-27 2020-02-11 努比亚技术有限公司 照片拍摄方法及装置
US11170511B2 (en) 2017-03-31 2021-11-09 Sony Semiconductor Solutions Corporation Image processing device, imaging device, and image processing method for replacing selected image area based on distance
CN108234888A (zh) * 2018-03-14 2018-06-29 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108234888B (zh) * 2018-03-14 2020-06-09 维沃移动通信有限公司 一种图像处理方法及移动终端

Also Published As

Publication number Publication date
JP2011170840A (ja) 2011-09-01
US20130016246A1 (en) 2013-01-17
JP2011170838A (ja) 2011-09-01

Similar Documents

Publication Publication Date Title
CN102812490A (zh) 图像处理装置以及电子设备
US11539876B2 (en) User interfaces for altering visual media
CN105609035B (zh) 图像显示装置及方法
EP3923234A1 (en) Training method and device for an image enhancement model, and storage medium
CN109584180A (zh) 人脸图像处理方法、装置、电子设备及计算机存储介质
CN101681506A (zh) 使用全色图像的噪声降低彩色图像
Gerstner et al. Pixelated image abstraction
Gerstner et al. Pixelated image abstraction with integrated user constraints
CN110456967A (zh) 信息处理方法、信息处理设备以及程序
KR20160142742A (ko) 메이크업 거울을 제공하는 디바이스 및 방법
JP6622289B2 (ja) 写真合成方法、装置、プログラム、及び記録媒体
US9262062B2 (en) Method of providing thumbnail image and image photographing apparatus thereof
CN106778773A (zh) 图片中目标物的定位方法及装置
CN107798654A (zh) 图像磨皮方法及装置、存储介质
CN105453534B (zh) 图像处理装置及方法
CN107295272A (zh) 一种图像处理的方法及终端
CN107038695A (zh) 一种图像融合方法及移动设备
US9412042B2 (en) Interaction with and display of photographic images in an image stack
CN109522869A (zh) 人脸图像处理方法、装置、终端设备及计算机存储介质
JP6010303B2 (ja) 画像再生装置
CN105279727B (zh) 图像处理方法及装置
JP2008004061A (ja) 対象画像検出システム，対象画像部分の一致判定装置および対象画像部分のソーティング装置ならびにそれらの制御方法
JP2013048405A (ja) 領域抽出装置、撮像装置、及び領域抽出プログラム
JP6155349B2 (ja) デコンボリューション画像において色収差を減じる方法、装置及びコンピュータプログラム製品
WO2011089996A1 (ja) 画像処理装置及び電子機器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: XACTI CO., LTD.

Free format text: FORMER OWNER: SANYO ELECTRIC CO., LTD.

Effective date: 20140825

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140825

Address after: Japan Osaka

Applicant after: Hyun Hyun Lee

Address before: Japan Osaka

Applicant before: Sanyo Electric Co., Ltd.

C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121205