CN102111556A - 摄像装置以及图像处理方法 - Google Patents

Abstract

本发明提供一种摄像装置，具有：计算背景内存在被摄体的被摄体存在图像非平坦度的图像区域指定部；判定所计算的被摄体存在图像非平坦度在规定值以下的图像区域的范围是否在规定范围以上的图像判定部；在判定非平坦度在规定值以下的图像区域的范围在规定范围以上的场合中，生成用于由被摄体存在图像提取被摄体存在图像中包括被摄体S的被摄体区域的提取用背景图像的背景生成部；基于提取用背景图像和被摄体存在图像对应的各像素的差分信息，由被摄体存在图像抽取被摄体区域，从而获取被摄体区域图像的剪切图像生成部。

Description

摄像装置以及图像处理方法

技术领域

本申请基于并主张于2009年12月25日提交的在先日本专利申请NO.2009-293826的优先权，其全部内容通过参考包括于此文。

本发明涉及从被摄像的图像中提取被摄体区域的摄像装置及图像处理方法。

背景技术

现有技术中，已知有这样的申请：采用摄像装置，对背景内存在被摄体的图像和不存在被摄体的背景图像进行摄影，从背景图像和存在被摄体的图像中生成差分信息，并只提取被摄体图像(例如日本特开平JP10-21408号公报)。

但是，在现有技术的被摄体提取处理中，在背景图像和存在被摄体的图像内具有被摄体分离区域的场合，从这些分离的区域中，由于仅仅提取一个最大的连结区域作为被摄体，所以存在不能适当地提取被摄体的图像的问题。

另外，对于每一个存在被摄体的图像中，由于均需要被摄体提取用背景图像，所以对需要同时移动摄像装置的连拍摄影，取得与各摄像图像相对应的背景图像变得困难，从而不能适当地进行被摄体的提取。

发明内容

所以，本发明的目的在于提供一种能够从摄像图像中简便且适当地提取被摄体区域的摄像装置及图像处理方法。

根据本发明的一方式，提供一种摄像装置，具有：摄像背景内存在被摄体的被摄体存在图像的摄像部；指定非平坦度在规定值以下且包括在通过该摄像部摄像的上述被摄体存在图像中的图像区域的指定部；判定上述被摄体存在图像中的通过上述指定部指定的上述非平坦度在规定值以下的图像区域的范围是否在规定范围以上的判定部；在通过该判定部判定上述非平坦度在规定值以下的图像区域的范围在规定范围以上时，生成用于从该图像区域提取上述被摄体存在图像中包括被摄体的被摄体区域的提取用背景图像的背景生成部；和基于上述提取用背景图像和上述被摄体存在图像对应的各像素的差分信息，从上述被摄体存在图像中提取上述被摄体区域来获取被摄体区域图像的被摄体提取部。

附图说明

图1为示出适用本发明的一实施方式的摄像装置的概略结构的方块图。

图2为示出图1的摄像装置进行被摄体剪切处理涉及的动作的一个例子的流程图。

图3为示出图2的被摄体剪切处理中背景生成处理涉及的动作的一个例子的流程图。

图4为示出图2的被摄体剪切处理中区域检测处理涉及的动作的一个例子的流程图。

图5A、图5B、以及图5C为示出用于说明图2的被摄体剪切处理的图像的一个例子的示意图。

图6A和图6B为示出用于说明图2的被摄体剪切处理的图像的一个例子的示意图。

图7A、图7B和图7C为示出用于说明合成处理的图像的一个例子的示意图。

具体实施方式

下面，参照附图对本发明具体形态进行说明。其中，发明的范围并非限定于图示的例子中。

图1为示出适用本发明的一实施方式的摄像装置100的外观结构的方块图。

本实施方式的摄像装置100，判定在背景内存在被摄体S的被摄体存在图像P1(参照图5A)的非平坦度在规定值以下的图像区域的范围在规定范围以上时，从该被摄体存在图像P1生成被摄体区域的提取用的提取用背景图像，基于提取用背景图像和被摄体存在图像P1对应的各像素的差分信息，从被摄体存在图像P1中提取被摄体区域。

具体的，如图1所示，摄像装置100具有透镜部1、电子摄像部2、摄像控制部3、图像数据生成部4、图像存储器5、非平坦度计算部6、图像处理部8、记录介质9、显示控制部10、显示部11、操作输入部12和CPU13。

另外，摄像控制部3、非平坦度计算部6、图像处理部8和CPU13被设计成例如定制LSI1A。

透镜部1由多个透镜构成，包括变焦透镜和聚焦透镜等。

另外，透镜部1尽管未图示，但是也可以具有在摄像被摄体S时，使变焦透镜沿着光轴方向移动的变焦驱动部、使聚焦透镜沿着光轴方向移动的对焦驱动部等。

电子摄像部2例如由CCD(电荷耦合设备)或CMOS(补偿金属氧化物半导体)等图像传感器构成，将透过透镜部1的各种透镜的光学像转换成二维图像信号。

摄像控制部3尽管未图示，但是具有定时发生器、驱动器等。另外，摄像控制部3通过定时发生器、驱动器扫描驱动电子摄像部2，在每个规定周期内，采用电子摄像部2将光学像变换成2维图像信号，从该电子摄像部2的摄像区域每隔1个画面读取图像帧，并输出到图像数据生成部4。

另外，摄像控制部3还进行AF(自动对焦处理)，AE(自动曝光处理)，AWB(自动白平衡)等的被摄体S的摄像条件的调整控制。

透镜部1，电子摄像部2和摄像控制部3构成对背景内被摄体S存在的被摄体存在图像P1(参照图5A)进行摄像的摄像机构。被摄体S可以按照例如白板W上写入的文字列那样，具有分离的区域。

图像数据生成部4对电子摄像部2转送来的图像帧的模拟值信号按RGB各色成分进行适当的增益调整之后，由样本保持电路(未图示)进行样本保持，并用A/D转换器(省略图示)转换成数字数据，色彩处理电路(省略图示)在进行包括像素插值处理及γ补正处理的色彩处理之后，生成数字值的辉度信号Y和色差信号Cb，Cr(YUV数据)。

从色彩处理电路输出的辉度信号Y和色差信号Cb，Cr通过未图示的DMA控制器，DMA转送到作为缓存使用的图像存储器5中。

另外，对A/D转换后的数字数据进行展开(現像，develop)的去马赛克部(未图示)也可以安装在定制LSI1A上。

图像存储器5可以例如由DRAM等构成，暂时存储由非平坦度计算部6、图像处理部8和CPU13等处理的数据等。

非平坦度计算部6作为非平坦度计算单元计算被摄体存在图像P1的非平坦度。具体的，非平坦度计算部6具有分割部6a和偏差量计算部6b。

分割部6a在背景生成处理中，基于被摄体存在图像P1的YUV数据，将该被摄体存在图像P1分割成多个图像块B，...(参照图5B)。

其中，分割部6a构成将该被摄体存在图像P1分割成多个图像块(图像区域)B,...的分割单元。

偏差量计算部6b计算由分割部6a分割的图像块B内的像素值的偏差量(非平坦度)。具体的，偏差量计算部6b在背景生成处理中，针对被摄体存在图像P1的多个图像块B，...的每一个的偏差量根据下式(1)计算出标准偏差。

【数1】

$\stackrel{\‾}{b}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{b}_n$

${\mathrm{\σ}}_b=\sqrt{\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{(b_n-\stackrel{\‾}{b})}^2}\·\·\·\·\·\·\left(1\right)$

其中，bn：块中的像素值；

N：块中的像素数；

块中的平均像素值；

σb：块中的标准偏差。

在上式(1)中，b：作为各块区域的像素值，举出例如辉度值。

图像处理部8具有图像区域指定部8a，图像区域判定部8b，背景生成部8c，掩模生成部8d，和剪切图像生成部8e。

图像区域指定部8a指定被摄体存在图像中所含的非平坦度在规定值以下的图像区域。具体的，图像区域指定部8a具有对通过非平坦度计算部6计算的各图像块B的非平坦度进行判定的非平坦度判定部8f，基于该非平坦度判定部8f的判定结果，指定非平坦度在规定值以下的图像块B。

即，非平坦度判定部8f在背景生成处理中，判定块内的像素值的偏差量是否在规定值以下。举个判断例进行说明，如图5C所示，非平坦度判定部8f针对被摄体存在图像P1的多个图像块B，...中的包括被摄体S的图像块B(图5C的阴影部分)，在块内的像素值的偏差量大，不会判定为像素值的偏差量位于规定值以下。另一方面，对于非平坦度判定部8f，被摄体存在图像P1的多个图像块B中不包括被摄体S的图像块B，比块内像素值偏差量包括被摄体S的图像块B大幅减少，判定像素值的偏差量在规定值以下。

然后，图像区域指定部8a，根据非平坦度判定部8f的判定结果，指定包括至少一幅判定为块内像素值的非平坦度在规定值以下的图像块B组成的图像区域。

其中，图像区域指定部8a，构成指定包括在被摄体存在图像P1中的非平坦度在规定值以下的图像区域的指定单元。

图像区域判定部8b构成判定被摄体存在图像P1的块内像素值偏差量在规定值以下的图像块B的数量是否为必要块数以上的判定单元。

即，例如，图像区域判定部8b通过被摄体存在图像P1的块内的像素值偏差量在规定值以下的图像块B的数量是否为必要块数以上，判定被摄体存在图像P1的非平坦度在规定值以下的图像区域范围是否在规定范围以上。

另外，必要块数可以预先设定，该数为任意值，例如可以将全体图像块B的数量Bmax的半数设定为必要块数。

背景生成部8c利用色度键(クロマキ-)技术生成用于提取被摄体区域的提取用背景图像。

即，背景生成部8c通过图像区域判定部8b，在判定被摄体存在图像P1的块内的像素值的偏差量在规定值以下的图像块B的数为必要块数以上的情况下，生成将与该图像块B的颜色基本相同的颜色作为背景色的提取用背景图像。例如图5A所示，背景生成部8c在将如同白板W一样的单色的背景作为背面对被摄体S进行摄影的情况下，生成大致与单色背景相同颜色的提取用背景图像。

另外，色度键指的是利用特定的颜色背景从一个图像数据中剪切被摄体S的手法。对于色度键，通常采用在背景中具有与被摄体S成补色关系的蓝或绿的屏幕，生成与被摄体存在图像P1的块内像素值的偏差量在规定值以下的图像块B大致相同颜色的提取用背景图像，从而能够根据提取用背景图像和被摄体存在图像P1的颜色信息来分离背景部分和被摄体部分。

其中，背景生成部8c构成背景生成单元，其如果在判定被摄体存在图像P1的非平坦度在规定值以下的图像区域的范围在规定范围以上时，从包括在该被摄体存在图像P1中的非平坦度在规定值以下的图像区域，生成被摄体存在图像P1中包括被摄体S的被摄体区域的提取用的提取用背景图像。

掩模生成部8d生成从被摄体存在图像P1中提取被摄体区域的掩模图像P2(参照图6(A))。

即，掩模生成部8d根据下式(2)计算提取用背景图像和被摄体存在图像P1的对应的各像素的不同度D并生成不同度图(map)。

【数2】

D＝(Yc-Y)²+G×((Uc-U)²+(Vc-V)²)    ...(2)

另外，在上式中，背景图像的YUV数据用[Y]，[U]，[V]表示，被摄体存在图像的YUV用[Yc]，[Uc]，[Vc]表示。另外，G表示色差信号U，V的增益。

另外，掩模生成部8d用规定阈值对生成的不同度图进行二值化(0，255)而生成掩模图像P2。

另外，掩模生成部8d在进行用于除去细噪音的收缩处理除去比规定值更小的像素集合之后，进行用于修正收缩程度的膨胀处理。之后，通过对构成相同连接成分的像素集合进行给出相同号码的标签(labelling)处理，并且将有效区域的构成像素数中的规定比率以下的区域置换为有效区域，从而实施补偿(穴埋め)。进一步，掩模生成部8d对区域信息实施平均化滤波以在区域的边缘部实施合成灰度(階調)。

剪切图像生成部8e将被摄体S的图像合成为规定的单一色背景图像P4，生成被摄体剪切图像P3的图像数据。

即，剪切图像生成部8e，利用色度键技术，利用掩模生成部8d生成的掩模图像P2从被摄体存在图像P1中切出被摄体区域，与单一色背景图像P4合成，生成被摄体剪切图像P3的图像数据(参照图6B)。另外，在掩模图像P2的边缘部分，由于实施合成灰度，所以能够让切出的被摄体区域和单一色背景图像P4之间的边界部分给人一种界限不分明地自然地合成的感觉。单一色背景图像P4的颜色是任意的，例如可以为灰色等色。

其中，剪切图像生成部8e，基于提取用背景图像和被摄体存在图像P1的对应的各像素的差分信息，构成从被摄体存在图像P1提取被摄体区域的被摄体提取单元。

记录介质9例如由非易失性存储器(闪存)等构成，存储通过图像处理部8的JPEG压缩部(省略图示)被编码后的摄像图像的记录用图像数据。

另外，存储介质9对图像处理部8的掩模生成部8d生成的掩模图像P2和被摄体剪切图像P3的图像数据分别进行压缩，在此基础上分别对应地将该被摄体剪切图像P3的图像数据的扩展名作为[.jpe]保存下来。

显示控制部10进行控制，以读取临时存储在图像存储器5中的显示用图像数据并显示于显示部11上。

具体的，显示控制部10包括VRAM，VRAM控制器，数字视频编码器等。另外，数字视频编码器通过VRAM控制器从VRAM中定期地读出在CPU13的控制下从图像存储器5读取并存储于VRAM(未图示)的辉度信号Y和色差信号Cb，Cr，这些数据最初产生视频信号并向显示部11输出。

显示部11例如为液晶显示装置，基于来自显示控制部10的视频信号，将由电子摄像部2摄像的图像等显示于显示画面11a。具体的，显示部11在摄像模式中基于透镜部1，电子摄像部2和摄像控制部3进行的被摄体S的摄像所生成的多个图像帧，显示实时图像，显示作为本摄像图像被摄像的分支观看图像(RECview image)。

操作输入部12用于执行该摄像装置100的规定操作。具体的，操作输入部12具有被摄体S的摄影指示相关的快门键12a、菜单画面上具有的摄像模式及功能等选择指示相关的模式键12b、变焦量调整指示相关的变焦键(未图示)等，按照这些按键的操作，将规定操作信号输出到CPU13中。

CPU13控制摄像装置100的各部分。具体的，CPU13根据摄像装置100用的各种处理程序(未图示)进行各种控制操作。摄像装置100用的各种处理程序存储在ROM(未图示)等中，根据处理内容，CPU13将它们读取出来并执行处理。

下面参照图2～图8对摄像装置100的图像处理方法涉及的被摄体剪切处理进行说明。

图2和图3为示出被摄体剪切处理涉及的动作的一个例子的流程图。

被摄体剪切处理，是基于用户对操作输入部12的模式键12b的规定操作，从菜单画面显示的多个摄像模式中，选择指示被摄体剪切模式的情况下被执行的处理。

另外，在下面的说明中，尽管作为被摄体S，例示了写入白板W上的文字列，对被摄体S的摄像次数(M)为1次，但是，将摄像装置100在规定方向上移动的同时对规定的被摄体进行摄像的模式下，摄像次数(M)为多次也可以。

如图2所示，首先，基于用户对快门键12a的规定操作，摄像控制部3通过电子摄像部2在规定摄像条件下摄像被摄体S(例如白板W上书写的文字列等)的光学像(步骤S1)，基于从电子摄像部2转送的被摄体存在图像P1的图像帧，图像数据生成部4生成被摄体存在图像P1的YUV数据。

另外，基于步骤S1的处理，显示控制部10在CPU13的控制下，将被摄体存在图像P1显示于显示部11的显示画面11a上也可以。

然后，CPU13将步骤S 1中得到的摄像图像的张数设定为常数M(例如，M＝1)(步骤S2)，然后写入图像存储器中。

然后，CPU13对非平坦度计算部6和图像处理部8，进行提取用背景生成处理，由被摄体存在图像P 1生成用于提取被摄体区域的提取用背景图像(步骤S3)。

下面参照图3对提取用背景生成处理进行详细地说明。

图3为示出提取用背景生成处理涉及的动作的一个例子的流程图。

如图3所示，首先，CPU13将处理块计算器SBC和有效块计算器YBC的初始值分别设定为0(步骤S21)，并写入图像存储器5中。

然后，分割部6a基于被摄体存在图像P1的YUV数据，将该被摄体存在图像P1分割成多个图像块B、...(参照图5B)，将分割成的多个图像块的总数设定为常数Bmax(步骤S22)，并写入图像存储器5中。

然后，偏差量计算部6b，在被摄体存在图像P1的多个图像块B、...中，针对还没有计算作为像素值的偏差量的标准偏差的图像块B中的一个图像块B，根据式(1)计算作为像素值的偏差量的标准偏差(步骤S23)。

【数3】

$\stackrel{\‾}{b}=\frac{1}{N}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{b}_n$

${\mathrm{\σ}}_b=\sqrt{\frac{1}{N-1}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{(b_n-\stackrel{\‾}{b})}^2}\·\·\·\·\·\·\left(1\right)$

其中，bn：块中的像素值；

N：块中的像素数；

块中的平均像素值；

σb：块中的标准偏差。

然后，非平坦度判定部8f判定计算出的图像块B的偏差量是否在规定值以下(步骤S24)。

其中，如果判定偏差量在规定值以下(步骤S24：是)，图像处理部8计算在步骤S24中判断偏差量在规定值以下时的图像块B的平均色(步骤S25)。然后，CPU13对有效块计数器YBC上加1(YBC＝YBC+1)(步骤S26)。

然后，CPU13对处理块计数器SBC加1(SBC＝SBC+1)(步骤S27)。

另一方面，在步骤S24中，如果判定偏差量没有在规定值以下(步骤24：否)，则CPU13不进行步骤S25、S26的处理，而是将处理移到下一步骤S27，在处理块2计数器SBC上加上1(SBC＝SBC+1)。

步骤S27的处理后，CPU13判定处理块计数器SBC的值是否等于图像块总数Bmax的值(步骤S28)。

其中，如果判定处理块计数器SBC的值不等于图像块总数Bmax的值(步骤S28：否)，则CPU13将处理移到步骤S23，在各部进行之后的处理。换言之，偏差量计算部6b对全部的画像块B均计算出作为像素值的偏差量的标准偏差，非平坦度判定部8f判定像素值的偏差量是否在规定值以下。然后，CPU13通过有效块计数器YBC的值，来记数将偏差量判定为规定值以下的图像块B的数量。

在步骤S28中，判定处理块计数器SBC的值与图像块的总数Bmax的值相等(步骤S28：是)意味着，对所有的像素块的像素值的偏差量的标准偏差的计算及其偏差量是否在规定值以下的判断结束。

然后，如果判定处理块计数器SBC的值和图像块的总数Bmax的值相等(步骤S28：是)，图像区域判定部8b判定有效块计数器YBC的值是否在必要块数以上(步骤S29)。

在步骤S29中，如果判定有效块计数器YBC的值在必要块数以上(步骤S29：是)，则图像处理部8在判定偏差量在规定值以下的图像块B中，将能够看作同一色的颜色的块数作为同一块数而计算出来(步骤S30)。

然后，图像区域判定部8b指定同一块数中取最大值的最多同一块数，判定该最多同一块数是否在必要块数之上(步骤S31)。

在步骤S31中，如果判定最多同一块数在必要块数以上(步骤S31：是)，背景生成部8c生成将计数为最多同一块数的图像块B的平均色作为背景色的提取用背景图像的YUV数据(步骤S32)，并认为提取用背景生成成功(步骤S33)。

另一方面，如果在步骤S31中判定最多同一块数并非在必要块数以上的情况下(步骤S31：否)，即使对于没有发生偏离的稳定的图像块B，在大致相同颜色的块没有在必要块数以上的情况下等背景也不能指定，所以，背景生成部8c没有生成提取用背景图像，表明提取用背景生成失败(步骤S34)。

另外，在步骤S29中判定有效块计数器YBC的值没有在必要块数以上的场合(步骤S29：否)，因为没有偏离的稳定的图像块B不存在，所以背景不能被指定，因此，背景生成部8c没有生成提取用背景图像，表明提取用背景生成失败(步骤S34)。

这样，提取用背景生成处理结束。

然后，如图3所示，CPU13判定背景生成部8c提取用背景是否生成成功(步骤S4)。

其中，如果判定提取用背景生成成功(步骤S4：是)，那么CPU13将用于管理被摄体剪切处理结束的摄像图像的块数的计数器N的初始值设定为0(步骤S5)，并写入图像存储器5中。

然后，CPU13对于图像处理部8中尚未实施区域检测处理的摄像图像中的其中一个摄像图像，进行区域检测处理，从被摄体存在图像P1中检测出含被摄体S的被摄体区域(步骤S6)。

下面参照图4对区域检测处理进行详细地说明。

图4为示出区域检测处理涉及的动作的一个例子的流程图。

如图4所示，图像处理部的掩模生成部8d根据式(2)计算提取用背景图像(背景图像)的YUV数据和被摄体存在图像P1的YUV数据之间对应的各像素的不同度D并生成不同度图(步骤S41)。

【数4】

D＝(Yc-Y)²+G×((Uc-U)²+(Vc-V)²)    ...(2)

然后，掩模生成部8d以规定阈值对生成的不同度图进行二值化来生成掩模图像数据(步骤S42)。然后，掩模生成部8d判定例如背景(二值化；0)的区域是否显著减少等，从而判定二值化是否成功(步骤S43)。

其中，如果判定二值化成功(步骤S43：是)，掩模生成部8d由于一边修正被摄体区域的周边部的过分残缺一边除去细的噪音，所以在对掩模图像数据进行收缩处理来除去比规定值还小的像素集合之后(步骤S44)，进行用于修正收缩程度的膨胀处理(步骤S45)。

接下来，在被摄体S上具有与背景色相似的颜色的情况下，由于掩模图像P2的被摄体区域内缺损，所以掩模生成部8d通过进行对构成相同连接成分的像素集合给出相同号码的标签处理，将掩模图像数据的有效区域的构成像素数中的规定比率以下的区域置换为有效区域，从而实施补偿(步骤S46)。

之后，掩模生成部8d对掩模图像数据进行均化滤波，在被摄体区域的边缘部实施合成灰度(步骤S47)，至此区域检测成功(步骤S48)。

另一方面，在步骤S43中，如果判定二值化不成功(步骤S43：否)，例如背景(二值化：0)的区域显著小的场合等，则掩模生成部8d认为二值化失败，因此区域检测失败(步骤S49)。

至此，区域检测处理结束。

在区域检测处理(步骤S6)结束之后，CPU13判定，掩模生成部8d中，被摄体区域的检测是否成功(步骤S7)。

其中，如果判定被摄体区域的检测成功(步骤S23：是)，则CPU13在剪切图像生成部8e中，利用色度键技术，利用区域检测处理中生成的掩模图像P2，从被摄体存在图像P1中切出被摄体区域，与单一色背景图像P4合成，生成被摄体剪切图像P3(参照图6B)的图像数据(步骤S8)。

具体的，剪切图像生成部8e在读取被摄体存在图像P1、单一色背景图像P4以及掩模图像数据并在图像存储器5中展开之后，针对被摄体存在图像P1中、掩模图像数据的涂覆部分(被摄体S之外的部分)覆盖的像素，采用单一色背景图像P4的规定的单一色涂覆，另一方面，针对被摄体部分的像素，防止对任意规定单一色透过。在掩模图像P2的边缘部分，由于实施合成灰度，切出的被摄体区域和单一色背景图像P4的边界部分给人一种没有分离的自然的感觉。

然后，CPU13在记录介质9的规定存储区域，对应图像处理部8的掩模生成部8d生成的掩模图像数据和被摄体剪切图像P3的图像数据，将该被摄体剪切图像P3的图像数据的扩展名作为[.jpe]文件保存下来(步骤S9)。

然后，CPU13对计数器N加1(步骤S10)。

另一方面，在步骤S7中，如果判定被摄体区域检测失败(步骤S7：否)，CPU13不进行步骤S8、S9的处理而移到步骤S10进行处理，对计数器N加1。

在步骤S10的处理之后，CPU13判定计数器N的值是否等于摄像图像的块数M(步骤S11)。

其中，如果判定计数器N的值不等于摄像图像的块数M(步骤S11：否)，CPU13将处理移到步骤S6，进行后续的处理。换言之，CPU13对所有的摄像图像，判定区域检测处理、被摄体区域检测是否成功、对在被摄体区域检测成功的场合中的被摄体剪切图像P3的图像数据的生成和被摄体剪切图像P3的图像数据进行保存。

另一方面，在步骤S11中，如果判定计数器N的值与摄像图像的块数M相等(步骤S11：是)，CPU13结束被摄体剪切处理。

在步骤S4中，如果判定提取用背景生成不成功(步骤S4：否)，显示控制部10在CPU13的控制下，将被摄体S剪切失败涉及的规定的信息(例如“被摄体剪切失败”等)显示于显示部11的显示画面11a上，被摄体剪切处理结束。

以上，根据本实施方式的摄像装置100，指定背景内被摄体S存在的被摄体存在图像P1的非平坦度在规定值以下的图像区域，判断包括在该被摄体存在图像P1中的非平坦度在规定值以下的图像区域的范围在规定范围以上时，由被摄体存在图像P1生成被摄体区域的提取用的提取用背景图像，基于提取用背景图像和被摄体存在图像P1的对应的各像素的不同度D，从被摄体存在图像P1提取被摄体区域生成被摄体剪切图像P3。即，摄像装置100能够对提取用背景图像将非平坦区域作为被摄体构成区域而提取，所以，不仅是被摄体区域连续构成的一个区域，而且即使具备如文字那样的分离的区域，也能够对各区域分别地抽取出来。

因此，能够简便地、适当地进行具有从被摄体存在图像P1分离的构成区域的被摄体区域的提取。

另外，在一边移动摄像装置100一边对被摄体S连续摄像的场合，如果各被摄体存在图像P1中包括的非平坦度在规定值以下的图像区域的范围在规定范围以上，则被摄体区域的提取用提取用背景图像仅仅生成一个，利用该一个的提取用背景图像从多个被摄体存在图像P1的每一个中能够简便地、合适地提取被摄体S。

另外，摄像装置100将被摄体存在图像P1分割成多个图像块B、...，对每一个图像块B计算出非平坦度，基于非平坦度是否在规定值以下的判定结果，指定非平坦度在规定值以下的图像块B。具体的，作为非平坦度，偏差量计算部6b计算图像块B内的像素值的偏差量，非平坦度判定部8f判定计算的像素值的偏差量是否在规定值以下，基于该判定结果，指定非平坦度在规定值以下的图像块。这样，能够适当地进行与提取用背景图像的生成涉及的非平坦度在规定值以下的图像块B的指定。

然后，摄像装置判定非平坦度在规定值以下的图像块数对所有图像块数是否在规定比例以上，非平坦度在规定值以下的图像块数对所有图像块数如果判定为在规定比例以上，则由该图像块生成提取用背景图像。

因此，摄像装置100能够由上述处理从被摄体存在图像P1中良好地生成提取用背景图像，无需对背景图像与被摄体存在图像P1单独进行摄像，能够从被摄体存在图像P1中简便地提取被摄体区域。

另外，因为生成与非平坦度在规定值以下的图像区域的颜色大致相同的颜色的提取用背景图像，因此能够判断相对提取用背景图像不同色的图像区域作为被摄体区域，即使具有被摄体区域分离的区域，也能够分别适当地提取相对提取用背景图像不同的颜色的各区域。

另外，本发明不仅限于上述实施方式，只要不脱离本申请的宗旨的范围，即能够对其进行各种改良和设计的变更。

例如，还可以在摄像装置100中设置合成被摄体剪切图像P3的被摄体区域和被摄体存在图像P1之外的其他图像以生成被摄体合成图像的合成图像生成单元(未图示)。合成图像生成单元合成例如被摄体剪切图像P3和背景用图像(图7A的背景用图像P5))来生成被摄体合成图像(图7B的被摄体合成图像P6)。

在生成该被摄体合成图像的处理中，针对被摄体剪切图像P3的图像数据，就掩模图像数据涂覆部分(被摄体S之外的部分)覆盖的像素，使背景用图像P5的颜色透过，另一方面，针对被摄体部分的像素，防止任何一种相对背景用图像P5的颜色透过。因此，被摄体剪切图像P3的被摄体区域能够生成与规定的背景用图像P5重叠的被摄体合成图像P6。

在生成被摄体合成图像时，无需采用被摄体存在图像P1之外的其他的图像所必须的背景用图像。例如可以使用字框(ふきだし)等的规定的模式图像(例如图8的模式图像P8等)，也可以生成由该规定模式图像和被摄体剪切图像P3合成的被摄体合成图像(例如图7C的被摄体合成图像P7)。

另外，摄像装置100也可以将生成的被摄体合成图像存储在存储介质(存储单元)9中。

另外，规定背景用图像P5和规定模式图像P8也可以存储在记录介质9中，也可以存储在设置于摄像装置100的其他专用存储装置中。

这样，将各种背景用图像(例如背景用图像P5等)或模式图像(例如模式图像P8等)作为合成对象，生成采用被摄体剪切图像P3的各种被摄体合成图像P6、P7等，所以，能够得到采用被摄体剪切图像P3的兴趣性高的图像。因此，能够大幅扩展被摄体剪切图像P3的活用的可能性，能够提供一种更得心应手的摄像装置100。

另外，在摄像装置100中还可以设置对被摄体存在图像P1进行梯形补正的补正单元(未图示)。

例如，在对图5A、图5B、图5C所示的白板W等上记载的被摄体S进行摄像的场合，并不限于白板W相对摄像装置100的透镜部1平行保持的情况。因此，如果白板W相对摄像装置100的透镜部1不平行地存在一定倾角的话，对应该倾角，离透镜部1近的一侧摄像大，而离透镜部1远的侧摄像小，结果被摄体S产生梯形失真。

因此，通过在摄像装置100中设置进行梯形补正的补正单元，能够对包括产生梯形失真的被摄体S的被摄体存在图像P1进行梯形补正。作为梯形补正，补正单元以包括在被摄体存在图像P1中的白板W的四角为基准进行射影转换处理。这样，补正单元补正被摄体存在图像P1上产生的梯形失真。然后，图像区域指定部8a由补正单元进行梯形补正的被摄体存在图像P1指定非平坦度在规定值以下的图像区域。

因此，即使在被摄体存在图像P1中包括的被摄体S产生梯形失真的场合，也能够从被摄体存在图像P1中提取失真被剪切的便利性高的被摄体区域。即，例如将白板W上书写的文字列等作为被摄体S的场合，从被摄体剪切处理中提取的文字列中，也能够排除因白板W和摄像装置100之间的相对位置导致的失真，能够提取外形良好的文字列。

另外，在摄像装置100中，还可以设置改变所提取的被摄体区域图像的颜色的颜色变更单元(未图示)。被摄体区域图像的颜色例如可以变更成从规定的预色表(color preset)中选择的颜色。

即，通过改变被摄体区域图像的颜色，能够从一个被摄体剪切图像P3中得到各种颜色的被摄体区域图像，能够大幅度扩展被摄体剪切图像P3的活用的可能性，能够提供更加得心应手的摄像装置100。

另外，在上述实施方式中，掩模图像数据和被摄体剪切图像P3的图像数据以对应的方式保存为文件，然而，掩模图像数据和被摄体存在图像P1的图像数据以对应方式以文件形式保存于记录介质(存储单元)9上也可以。此时，对于该文件的再生，可以采用再生被摄体存在图像P1的模式，也可以采用再生时适用掩模图像数据来合成被摄体剪切图像P3并进行显示的2模式。

另外，在上述图2所示的流程图中示出的被摄体剪切处理中，在背景生成失败的情况下，结束该被摄体剪切处理，而在不能由被摄体存在图像P1生成提取用背景图像的场合，也可以仅对背景进行摄像而添加用于生成提取用背景图像用程序。这样，由被摄体存在图像P1不能生成提取用背景图像的场合，通过仅对背景进行摄像生成提取用背景图像，从而能够由被摄体存在图像P1得到被摄体剪切图像P3。

另外，摄像装置100还可以进一步具有，在被摄体剪切处理中，基于被摄体S进行光学文字辨认(Optical Character Recognition、OCR)的光学文字辨认单元。这样，在被摄体S为文字列的场合，能够在被摄体剪切处理时将被摄体S识别为文字列，所以，能够提高被摄体S的提取精度。

进一步，摄像装置100的结构只是上述实施方式中例示的一个例子，其并非仅限于此。

之外，上述实施方式中，作为指定单元、判定单元、提取用背景生成单元、被摄体提取单元的功能，是在CPU13的控制下，图像处理部8驱动下实现的，但是，并非仅限于此，也可以是通过CPU13执行规定程序等实现的结构。

即，在存储程序用程序存储器(未图示)中，存储包括图像区域指定处理程序、判定处理程序、提取用背景生成处理程序、被摄体提取处理路径的程序。然后，按照图像区域指定处理路径，CPU13实现作为指定单元的功能，即指定摄像单元摄像的被摄体存在图像P1的非平坦度在规定值以下的图像区域。另外，按照判定处理路径，CPU13还可以实现作为判定单元的功能，即判定由被摄体存在图像中的指定单元指定的非平坦度在规定值以下的图像区域的范围是否在规定范围以上。另外，按照提取用背景生成处理程序，CPU13还可以发挥作为提取用背景生成单元的功能，即在判定处理中判定非平坦度在规定值以下的图像区域的范围在规定范围以上的场合中，由被摄体存在图像P1生成被摄体存在图像P1中的包括被摄体S的被摄体区域的提取用的提取用背景图像的提取用背景生成单元。另外，按照被摄体提取处理程序，CPU13还可以实现作为被摄体提取单元的功能，即基于提取用背景图像和被摄体存在图像P1的对应的各像素的差分信息，由被摄体存在图像P1提取被摄体区域来获取被摄体区域图像。

同样，就合成图像生成单元、补正单元、及颜色变更单元而言，还可以采用通过CPU13执行规定程序等来实现的结构。

在以上的说明中，本发明涉及的程序的计算机可读介质例示使用ROM的例子，但是并非仅限于此例。

作为其他计算机可读介质，可以采用闪存等非易失性存储器，CD-ROM等移动存储介质。

另外，作为本发明涉及的通过通信线路提供程序数据的介质，本发明还可以通过载波(输送波)实现。

Claims (8)

1.一种摄像装置，具有：

摄像背景内存在被摄体的被摄体存在图像的摄像部；

指定非平坦度在规定值以下且包括在通过该摄像部摄像的上述被摄体存在图像中的图像区域的指定部；

判定上述被摄体存在图像中的通过上述指定部指定的上述非平坦度在规定值以下的图像区域的范围是否在规定范围以上的判定部；

在通过该判定部判定上述非平坦度在规定值以下的图像区域的范围在规定范围以上时，生成用于从该图像区域提取上述被摄体存在图像中包括被摄体的被摄体区域的提取用背景图像的背景生成部；和

基于上述提取用背景图像和上述被摄体存在图像对应的各像素的差分信息，从上述被摄体存在图像中提取上述被摄体区域来获取被摄体区域图像的被摄体提取部。

2.如权利要求1所述的摄像装置，其中，

还具有：将上述被摄体存在图像分割为多个图像块的分割部；

计算通过该分割部被分割的上述多个图像块各自的非平坦度的非平坦度计算部，

上述指定部进一步针对通过上述非平坦度计算部计算的上述多个图像块的每一个判定上述非平坦度是否在规定值以下，基于该判定结果，指定非平坦度在规定值以下的图像块，

上述判定部进一步判定通过上述指定部指定的上述非平坦度在规定值以下的图像块的数量是否相对所有图像块数量为规定比例以上，

上述背景生成部进一步在通过上述判定部判定上述非平坦度在规定值以下的图像块的数量相对所有图像块数量在规定比例以上的情况下，根据该图像块生成上述提取用背景图像。

3.如权利要求2所述的摄像装置，其中，

上述非平坦度计算部计算通过上述分割部分割的上述多个图像块内的像素值的偏差量作为上述非平坦度，

上述指定部进一步判定通过上述非平坦度计算部计算的上述多个图像块内的像素值的偏差量是否在规定值以下，基于该判定结果指定上述非平坦度在规定值以下的图像块。

4.如权利要求1所述的摄像装置，其中，

上述背景生成部以上述非平坦度在规定值以下的图像区域的颜色为基准，生成由与该图像区域的颜色大致相同的颜色构成的单一色的图像作为上述提取用背景图像。

5.如权利要求1所述的摄像装置，其中，

进一步具有对由上述摄像部摄像的上述被摄体存在图像实施梯形补正的补正部，

上述指定部从通过上述补正部实施了梯形补正后的上述被摄体存在图像中指定上述非平坦度在规定值以下的图像区域。

6.如权利要求1所述的摄像装置，其中，

进一步具有改变通过上述被摄体提取部获取的被摄体区域图像中的上述被摄体区域的颜色的颜色变更部。

7.如权利要求1所述的摄像装置，其中，

还具有：

合成通过上述被摄体提取部获取的上述被摄体区域图像和上述被摄体存在图像之外的其他的图像，生成合成图像的合成图像生成部；和

存储通过上述合成部生成的上述合成图像的存储部。

8.一种使摄像装置执行以下部分的图像处理方法，该摄像装置具有摄像背景内存在被摄体的被摄体存在图像的摄像部，

指定非平坦度在规定值以下且包括在通过该摄像部摄像的上述被摄体存在图像中的图像区域；

判定所指定的上述非平坦度在规定值以下的图像区域的范围是否在规定范围以上；

在判定上述非平坦度在规定值以下的图像区域的范围在规定范围以上的情况下，生成用于从该图像区域提取上述被摄体存在图像中的包括被摄体的被摄体区域的提取用背景图像；和

基于上述提取用背景图像和上述被摄体存在图像对应的各像素的差分信息，从上述被摄体存在图像中提取上述被摄体区域。

Images