CN109525772A - 图像处理装置、图像处理方法以及存储介质 - Google Patents

Abstract

本发明提供一种图像处理装置、图像处理方法以及记录介质，能够获取具有自然的映入的图像。根据图像处理装置(1)，具备内拍照相机(16)、和拍摄与内拍照相机(16)不同的方向的外拍照相机(17)，处理器(11)根据摄影指示使得由内拍照相机(16)获取内拍照相机图像并且使得由外拍照相机(17)获取外拍照相机图像，从内拍照相机图像检测给定区域，在检测出的区域合成外拍照相机图像。

Description

图像处理装置、图像处理方法以及存储介质

关于本申请，主张以2017年9月20日提出的日本国专利特愿2017-179761为基础的优先权，并将该基础申请的内容全部援引于本申请。

技术领域

本发明涉及图像处理装置、图像处理方法以及程序。

背景技术

在拍摄人物的情况下，若瞳孔中映入适度的光，则成为人物显得生动的照片(参照图6A)。但是，若实际试着进行拍摄，则可能会产生如下的问题：

(1)在瞳孔中光映入较少的情况下眼睛显得不生动(参照图6B)。

(2)在自拍的情况下，照相机或自己的手映入(参照图6C)。

例如，在JP特开2010-21739号公报中提出了如下技术：确定所拍摄的图像中包含的眼睛的亮点位置，在所确定的眼睛的亮点位置，合成从过去拍摄的摄影图像之中作为反光图像而选择出的图像。

但是，在JP特开2010-21739号公报中，由于将过去拍摄的图像作为反光图像来进行合成，因此与摄影时的周围不同的场景会映入，可能成为不自然的图像。

发明内容

本发明是鉴于这种问题而提出的，其目的在于获取具有自然的映入的图像。

根据本发明的一个方面，提供一种图像处理装置，其具备：第1摄像单元；第2摄像单元，摄像方向与所述第1摄像单元不同；摄影控制单元，根据摄影指示，使所述第1摄像单元获取第1图像并且使所述第2摄像单元获取第2图像；检测单元，从所述第1图像检测给定区域；和合成单元，在所述第1图像中的所述给定区域合成所述第2图像。

根据本发明的另一个方面，提供一种图像处理装置，其具备：存储单元，存储第1图像和第2图像，该第2图像是通过与所述第1图像的摄像同时地拍摄与所述第1图像不同的方向而获取的；检测单元，从所述第1图像检测给定区域；和合成单元，在所述第1图像中的所述给定区域合成所述第2图像。

根据本发明的又一个方面，提供一种图像处理方法，是具备第1摄像单元和摄像方向与所述第1摄像单元不同的第2摄像单元的图像处理装置中的图像处理方法，其包括：根据摄影指示使所述第1摄像单元获取第1图像并且使所述第2摄像单元获取第2图像的步骤；从所述第1图像检测给定区域的步骤；和在所述第1图像中的所述给定区域合成所述第2图像的步骤。

根据本发明的再一个方面，提供一种图像处理方法，是图像处理装置中的图像处理方法，其包括：将第1图像和第2图像存储于存储单元的步骤，其中该第2图像是通过与所述第1图像的摄像同时地拍摄与所述第1图像不同的方向而获取的；和从所述第1图像检测给定区域的步骤；和在所述第1图像中的所述给定区域合成所述第2图像的步骤。

根据本发明的又一个方面，提供一种记录介质，记录有程序，该程序使具备第1摄像单元、和摄像方向与所述第1摄像单元不同的第2摄像单元的图像处理装置中使用的计算机执行如下步骤：摄影控制步骤，根据摄影指示，使所述第1摄像单元获取第1图像并且使所述第2摄像单元获取第2图像；检测步骤，从所述第1图像检测给定区域；和合成步骤，在所述第1图像中的所述给定区域合成所述第2图像。

根据本发明的再一个方面，提供一种记录介质，记录有程序，该程序使计算机执行如下步骤：存储步骤，存储第1图像和第2图像，该第2图像是通过与所述第1图像的摄像同时地拍摄与所述第1图像不同的方向而获取的；检测步骤，从所述第1图像检测给定区域；和合成步骤，在所述第1图像中的所述给定区域合成所述第2图像。

附图说明

若结合以下附图来考虑以下的详细记载，则可获得本申请的更为深刻的理解。

图1A是图像处理装置的主视图。

图1B是图像处理装置的后视图。

图2是表示图像处理装置的功能性结构的框图。

图3是表示由图2的处理器执行的自拍处理A的流程图。

图4是表示由图2的处理器执行的自拍处理B的流程图。

图5是表示由图2的处理器执行的再现控制处理的流程图。

图6A是瞳孔中映入了适度的光的摄影图像。

图6B是瞳孔中光映入较少的摄影图像。

图6C是表示自拍中照相机或自己的手映入的摄影图像的图。

具体实施方式

以下，参照附图对本发明所涉及的实施方式进行详细说明。另外，本发明并不限定于图示例子。

<第1实施方式>

[图像处理装置1的结构]

图1A是本发明的实施方式中的图像处理装置1的主视图，图1B是图像处理装置1的后视图。如图1A所示，在图像处理装置1的正面侧，具备用于拍摄图像处理装置1的正面方向的内拍照相机16的镜头161，如图1B所示，在图像处理装置1的背面侧，具备用于拍摄图像处理装置1的背面方向的外拍照相机17的镜头171。

图2是表示本发明所涉及的图像处理装置1的功能性结构的框图。如图2所示，图像处理装置1构成为具备：处理器11、RAM12、存储部13、操作部14、显示部15、内拍照相机16、外拍照相机17和通信部18等。处理器11与各部通过总线进行连接。

处理器11是执行存储部13中存储的各种程序来进行规定的运算、各部的控制的处理器。例如，若通过操作部14设定了自拍模式，并输入摄影指示，则处理器11执行后述的自拍处理A，作为摄影控制单元、检测单元、合成单元而发挥功能。

RAM12向处理器11提供工作用的存储器空间，并暂时存储数据。

存储部13包含非易失性的半导体存储器或硬盘等。存储部13中存储由处理器11执行的系统程序、各种处理程序、以及这些程序的执行所需的数据等。

操作部14具备各种功能按键，接受由用户进行的各按键的按压输入，并将其操作信息输出至处理器11。此外，操作部14具有将透明电极配置成网格状以使得覆盖显示部15的表面的触摸面板等，对基于手指或触摸笔等的各种操作进行检测，将其操作信息输出至处理器11。

显示部15由LCD(Liquid Crystal Display：液晶显示器)等构成，按照来自处理器11的显示控制信号，在画面上进行各种显示。

内拍照相机16是用于获取图像处理装置1的正面方向的图像的摄像单元(第1摄像单元)，例如在自拍模式下的摄影时对摄影者(用户)进行拍摄。内拍照相机16构成为具备光学镜头组件(镜头161)、包含CCD(Charge Coupled Device：电荷耦合器件)或CMOS(Complementary Metal-oxide Semiconductor：互补金属氧化物半导体)等的图像传感器等的摄像元件、以及A/D变换电路等，由摄像元件将透过镜头的光学像变换为二维的图像信号，获取第1图像(称为内拍照相机图像)。

外拍照相机17是用于获取图像处理装置1的背面方向的图像的摄像单元(第2摄像单元)，拍摄装置背面侧的风景或人物。外拍照相机17构成为具备光学镜头组件(镜头171)、包含CCD或CMOS等的图像传感器等的摄像元件、以及A/D变换电路等，由摄像元件将透过镜头的光学像变换为二维的图像信号，获取第2图像(称为外拍照相机图像)。

通信部18是用于通过无线或者有线来与外部设备进行数据通信的接口。

[图像处理装置1的工作]

接下来，说明图像处理装置1的动作。

图3是表示由图像处理装置1的处理器11执行的自拍处理A的流程图。在通过操作部14设定自拍模式并指示了摄影的情况下，通过处理器11与存储部13中所存储的程序的协作来执行自拍处理A。

首先，处理器11使内拍照相机16和外拍照相机17同时进行摄像，获取内拍照相机图像和外拍照相机图像(步骤S1)。

在内拍照相机16中，能够获取反映了用户自身的内拍照相机图像。在外拍照相机17中，能够获取反映了应该映入用户瞳孔的场景的外拍照相机图像。

另外，优选内拍照相机16与外拍照相机17同时进行摄像，但是其定时也可以略有偏离。

接下来，处理器11从内拍照相机图像检测眼睛的区域(步骤S2)。

例如，处理器11对内拍照相机图像进行脸部识别处理来识别脸部区域，从识别出的脸部区域检测眼睛的区域。脸部检测处理能够采用例如利用了Haar-like特征(类哈尔特征)等的方法等公知的图像处理技术来进行。此外，眼睛的区域的检测能够采用例如利用了AAM(Active Appearance Model：主动表观模型)的方法等公知的图像处理技术来进行。检测出的脸部区域、眼睛的区域的位置坐标被存储于RAM12。眼睛的区域既可以设为仅仅是黑眼珠的区域，也可以设为将黑眼珠和白眼球组合的区域。

接下来，处理器11判断是否对内拍照相机图像的眼睛的区域进行合成(步骤S3)。

在此，本处理中，在光向瞳孔(眼睛)的映入不足的情况下，为了使得人物的表情生动而合成外拍照相机图像。因此，在光向瞳孔的映入充分的情况下，不需要合成。为此，例如在获取内拍照相机图像时进行了闪光摄影的情况下、或者光向瞳孔的映入充分的情况下，处理器11判断为不进行合成。关于光向瞳孔的映入是否充分，例如在内拍照相机图像的眼睛的区域的亮度(例如YUV数据的Y信号)为预先规定的阈值以上的区域占眼睛的区域的给定的比例以上的情况下，判断为光向瞳孔的映入充分。

另外，在步骤S2中，在未检测到眼睛的区域的情况下，也判断为不进行合成。

在判断为进行合成的情况下(步骤S3：是)，处理器11对外拍照相机图像实施加工(步骤S4)。

在步骤S4中，处理器11首先进行外拍照相机图像的缩小处理。例如，基于从内拍照相机图像检测出的眼睛的区域的大小来决定缩小率，以所决定的缩小率来缩小外拍照相机图像。接下来，处理器11例如以缩小的外拍照相机图像的中心作为变形中心，对缩小的外拍照相机图像进行与瞳孔的变形相应的变形加工处理。接下来，处理器11基于变形加工处理后的外拍照相机图像、和内拍照相机图像的合成对象的眼睛的区域的大小，对变形加工处理后的外拍照相机图像进行修整。

另外，在外拍照相机17为全景照相机，外拍照相机图像为全景图像的情况下，也可以省略变形加工处理。

接下来，处理器11对内拍照相机图像实施加工(步骤S5)。

例如，有可能在内拍照相机图像的眼睛的区域映入了用户的手或图像处理装置1(参照图6C)。为此，在步骤S5中，进行从内拍照相机图像的眼睛的区域去除这些不必要的映入的处理。例如，进行将黑眼珠的区域、白眼球的区域各自的像素值置换为该区域的像素值的代表值(平均值、最大值、最小值、中央值等)的处理等。

接下来，处理器11将加工结束的外拍照相机图像合成至加工结束的内拍照相机图像的眼睛的区域来生成合成图像(步骤S6)。

例如，由加工结束的外拍照相机图像的对应的像素的亮度值覆写内拍照相机图像的眼睛的区域的各像素的亮度值(例如YUV数据的Y信号)来进行合成。或者，也可以通过α混合等将外拍照相机图像作为透过图像而合成至内拍照相机图像的眼睛的区域。由此，能够使得合成图像不会产生不自然。

接下来，处理器11将合成图像保存至存储部13(步骤S7)，结束自拍处理A。

另一方面，在步骤S3中，在判断为不进行合成的情况下(步骤S3：否)，处理器11将内拍照相机图像保存至存储部13(步骤S8)，结束自拍处理A。

这样，在自拍处理A中，在由内拍照相机16获取的内拍照相机图像的眼睛的区域合成由外拍照相机图像获取的外拍照相机图像。因此，能够获取在用户的眼睛的区域映入了摄影时在用户的眼前展开的场景的具有自然映入的图像。

<第2实施方式>

接下来，对本发明的第2实施方式进行说明。

由于第2实施方式中的图像处理装置1的结构与第1实施方式中所说明的结构相同，因此援引其说明，以下对第2实施方式的动作进行说明。

在第2实施方式中，图像处理装置1具有自拍的静止图像摄影模式和动态图像摄影模式。在通过操作部14设定自拍的静止图像摄影模式，并指示了摄影时，处理器11执行第1实施方式中所说明的自拍处理A。在通过操作部14设定自拍的动态图像摄影模式，并指示了摄影时，处理器11执行自拍处理B。

图4是表示由处理器11执行的自拍处理B的流程图。通过处理器11与存储部13中存储的程序的协作来执行自拍处理B。

首先，处理器11使内拍照相机16进行静止图像摄影来获取内拍照相机图像(静止图像)，并且使外拍照相机17进行给定时间的动态图像摄影来获取外拍照相机图像(运动图像。称为外拍照相机运动图像)(步骤S11)。

接下来，处理器11将外拍照相机运动图像保存至存储部13(步骤S12)。

接下来，处理器11在内拍照相机图像的眼睛的区域合成外拍照相机运动图像的第1个帧图像来生成合成图像(步骤S13)。

在步骤S13中，处理器11例如将外拍照相机运动图像的第1个帧图像作为外拍照相机图像来执行图3的步骤S2、S4～S6的处理，由此在内拍照相机图像的眼睛的区域合成外拍照相机运动图像的第1个帧图像。

接下来，处理器11获取在步骤S12中保存至存储部13的外拍照相机图像的保存目的地的信息，将该保存目的地信息作为链接目的地信息附加于合成图像，并且将眼睛的区域的位置信息附加于合成图像并保存至存储部13(步骤S14)，结束自拍处理B。

在通过操作部14选择在上述自拍处理B中所生成的合成图像，并指示了显示时，处理器11执行再现控制处理，作为再现控制单元而发挥功能。

图5是表示由处理器11执行的再现控制处理的流程图。通过处理器11与存储至存储部13的程序的协作来执行再现控制处理。

首先，处理器11从存储部13读出合成图像并显示于显示部15(步骤S21)。

接下来，处理器11判断是否由操作部14检测出所显示的合成图像中的眼睛的区域的触摸操作(步骤S22)。

在判断为由操作部14未检测出合成图像中的眼睛的区域的触摸操作的情况下(步骤S22：否)，处理器11判断是否由操作部14检测出关闭合成图像的指示(步骤S23)。在判断为未检测出关闭合成图像的操作的情况下(步骤S23：否)，处理器11返回至步骤S22。在判断为检测出关闭合成图像的操作的情况下(步骤S23：是)，处理器11关闭合成图像并结束再现控制处理。

在判断为由操作部14检测出合成图像中的眼睛的区域的触摸操作的情况下(步骤S22：是)，处理器11对显示于显示部15的合成图像中的眼睛的区域进行放大变焦(步骤S24)。另外，也可以一边对眼睛的区域进行放大变焦一边渐变(morphing)地切换至外拍照相机运动图像。

然后，处理器11对与合成图像建立了对应的链接目的地的外拍照相机运动图像进行再现(步骤S25)。

这样，在第2实施方式中，在用户自拍的图像(内拍照相机图像)的眼睛的区域合成在自拍时在用户的眼前展开的场景的运动图像(外拍照相机运动图像)，若用户触摸合成图像的眼睛的区域，则再现所合成的运动图像，因此，能够在一个图像之中同时表现用户自身、和在摄影时在用户的眼前所展开的场景，用户能够观赏自拍照片和该照片的摄影时的场景。

如以上所说明，根据图像处理装置1，具备内拍照相机16和拍摄与内拍照相机16不同的方向的外拍照相机17，处理器11根据摄影指示，通过内拍照相机16获取内拍照相机图像，并且通过外拍照相机17获取外拍照相机图像，从内拍照相机图像检测给定的区域，在检测出的区域合成外拍照相机图像。因此，能够获取映入了在摄影时在用户的眼前展开的场景的具有自然映入的图像。

另外，上述实施方式中的记载内容是本发明所涉及的图像处理装置的适当的一例，并不是限定于此。

例如，在上述实施方式中，处理器11对外拍照相机图像(也包含外拍照相机运动图像。以下同样。)的整体进行加工并合成至内拍照相机图像，但是也可以从外拍照相机图像切割给定的区域，对切割出的图像进行加工并合成至内拍照相机图像(切割单元)。例如，也可以从外拍照相机图像提取亮度值(例如YUV数据的Y信号)为预先规定的阈值以上的区域，并切割出所提取的区域。由此，能够获得瞳孔中具有充分的映入的图像。此外，也可以给予从内拍照相机图像识别出的脸部区域来检测脸部所面向的方向(脸部方向检测单元)，切割出外拍照相机图像中的、内拍照相机图像的脸部所面向的方向的图像。例如能够根据从脸部检测出的左右眼睛的长度、黑眼珠与白眼球的比例等来判断脸部的朝向。由此，因为能够将摄影时用户所看到的方向的图像合成至内拍照相机图像的眼睛的区域，所以能够获得具有更为自然的映入的图像。

此外，在上述实施方式中，在内拍照相机图像的眼睛的区域合成外拍照相机图像，但是并不限定于此，例如也可以从内拍照相机图像检测饰品、眼镜、太阳镜等的反射光而映入了外部的像的区域，并对检测出的区域合成外拍照相机图像。由此，能够获得在眼睛以外的区域也具有自然的映入的图像。

此外，在上述实施方式中，说明了具备内拍照相机16和外拍照相机17这2个摄像单元，但是也可以设为具备对相互不同的方向进行摄影的3个以上的多个摄像单元的结构，在由一个摄像单元所获取的图像合成由其他多个摄像单元所获取的图像。

此外，在上述实施方式中，由内拍照相机16和外拍照相机17获取用户的图像和用户的眼前的场景的图像，但是也可以利用一个照相机拍摄用户从而获取其摄影图像之后改变朝向来进行摄影，以获取用户的眼前的场景的图像。然后，可以对用户的摄影图像实施与上述的内拍照相机图像相同的加工，对场景的图像实施与上述的外拍照相机图像相同的加工，并在用户的摄影图像的给定的区域(例如眼睛的区域)合成场景的图像。这样，也能够与上述实施方式同样地获取具有自然的映入的图像。

此外，在上述第2实施方式中，在内拍照相机图像的眼睛的区域合成外拍照相机运动图像的第1个帧图像，如果眼睛的区域被触摸则进行放大变焦并再现运动图像，但是也可以对外拍照相机运动图像的各帧图像实施图3的步骤S4中所说明的这种加工处理，在被指示了动态图像的再现的情况下，在内拍照相机图像的眼睛的区域依次嵌入帧图像从而再现运动图像。

此外，在上述第1以及第2实施方式中，说明了图像处理装置1具备作为摄像单元的内拍照相机16和外拍照相机17，但是在不具备摄像单元的图像处理装置中也可以生成上述合成图像。例如，可以在图像处理装置中将由外部装置的内拍照相机所拍摄的内拍照相机图像、和与该内拍照相机图像的摄像同时由上述外部装置的外拍照相机所拍摄的外拍照相机图像对应地存储于存储部中，图像处理装置的处理器通过与程序之间的协作，利用存储于存储部的内拍照相机图像和外拍照相机图像来进行图3所示的步骤S2～S7的处理、图4所示的步骤S13～S14的处理，将外拍照相机图像合成至内拍照相机图像的给定的区域(例如眼睛的区域)。

此外，例如在上述说明中，公开了作为本发明所涉及的程序的计算机可读取的介质而使用硬盘、半导体的非易失性存储器等的例子，但是并不限定于该例子。作为其他的计算机可读取的介质，能够采用CD-ROM等的可移动型记录介质。此外，作为经由通信线路来提供本发明所涉及的程序的数据的介质，也可采用载波(搬运波)。

此外，关于构成图像处理装置的各装置的细节结构以及细节动作，在不脱离本发明的主旨的范围内能够适当变更。

尽管说明了本发明的几个实施方式，但是本发明的范围并不限定于上述实施方式，包含权利要求书中记载的发明的范围和与其等同的范围。

Claims (15)

1.一种图像处理装置，其具备：

第1摄像单元；

第2摄像单元，摄像方向与所述第1摄像单元不同；

摄影控制单元，根据摄影指示，使所述第1摄像单元获取第1图像并且使所述第2摄像单元获取第2图像；

检测单元，从所述第1图像检测给定区域；和

合成单元，在所述第1图像中的所述给定区域合成所述第2图像。

2.根据权利要求1所述的图像处理装置，其中，

所述图像处理装置具备切割单元，所述切割单元对所述第2图像进行切割处理，

所述合成单元将由所述切割单元从所述第2图像切割出的图像合成至所述给定区域。

3.根据权利要求2所述的图像处理装置，其中，

所述图像处理装置具备脸部方向检测单元，所述脸部方向检测单元对所述第1图像进行脸部识别处理，检测识别出的脸部所面向的方向，

所述切割单元从所述第2图像切割所述脸部所面向的方向的图像。

4.根据权利要求1至3的任意一项所述的图像处理装置，其中，

所述摄影控制单元根据摄影指示，使所述第1摄像单元获取第1图像并且大致同时地使所述第2摄像单元获取第2图像。

5.根据权利要求1所述的图像处理装置，其中，

所述给定区域是眼睛的区域或者映入外部的像的区域。

6.根据权利要求2所述的图像处理装置，其中，

所述图像处理装置具备计算单元，所述计算单元计算变形程度，

所述计算单元对所述给定区域的变形程度进行计算，

所述切割单元根据由所述计算单元计算出的所述给定区域的变形程度，对所述第2图像进行切割处理。

7.根据权利要求1所述的图像处理装置，其中，

所述合成单元在对所述第2图像实施加工之后进行合成。

8.根据权利要求1所述的图像处理装置，其中，

所述合成单元在对所述第1图像实施加工之后进行合成。

9.根据权利要求1所述的图像处理装置，其中，

所述第2摄像单元获取运动图像来作为所述第2图像，

所述合成单元在所述第1图像中的所述给定区域合成所述运动图像。

10.根据权利要求9所述的图像处理装置，其中，

所述图像处理装置具备：

显示单元，显示在所述给定区域合成有所述运动图像的所述第1图像；和

再现控制单元，在显示于所述显示单元的所述第1图像的所述给定区域被触摸时，进行控制以使得开始所述运动图像的再现。

11.一种图像处理装置，其具备：

存储单元，存储第1图像和第2图像，该第2图像是通过与所述第1图像的摄像同时地拍摄与所述第1图像不同的方向而获取的；

检测单元，从所述第1图像检测给定区域；和

合成单元，在所述第1图像中的所述给定区域合成所述第2图像。

12.一种图像处理方法，是具备第1摄像单元和摄像方向与所述第1摄像单元不同的第2摄像单元的图像处理装置中的图像处理方法，其包括：

根据摄影指示使所述第1摄像单元获取第1图像并且使所述第2摄像单元获取第2图像的步骤；

从所述第1图像检测给定区域的步骤；和

在所述第1图像中的所述给定区域合成所述第2图像的步骤。

13.一种图像处理方法，是图像处理装置中的图像处理方法，其包括：

将第1图像和第2图像存储于存储单元的步骤，其中该第2图像是通过与所述第1图像的摄像同时地拍摄与所述第1图像不同的方向而获取的；和

从所述第1图像检测给定区域的步骤；和

在所述第1图像中的所述给定区域合成所述第2图像的步骤。

14.一种记录介质，记录有程序，该程序使具备第1摄像单元、和摄像方向与所述第1摄像单元不同的第2摄像单元的图像处理装置中使用的计算机执行如下步骤：

摄影控制步骤，根据摄影指示，使所述第1摄像单元获取第1图像并且使所述第2摄像单元获取第2图像；

检测步骤，从所述第1图像检测给定区域；和

合成步骤，在所述第1图像中的所述给定区域合成所述第2图像。

15.一种记录介质，记录有程序，该程序使计算机执行如下步骤：

存储步骤，存储第1图像和第2图像，该第2图像是通过与所述第1图像的摄像同时地拍摄与所述第1图像不同的方向而获取的；

检测步骤，从所述第1图像检测给定区域；和

合成步骤，在所述第1图像中的所述给定区域合成所述第2图像。