CN107659799A - 摄像装置、图像处理方法和存储介质 - Google Patents

Abstract

本发明提供一种摄像装置、图像处理方法和存储介质。用于处理图像的图像处理方法包括判断、选择和替换。判断是否对图像中的包含多个像素并且比阈值暗的部分进行颜色替换。基于多个像素的至少部分的颜色，从多种预定颜色中选择一种预定颜色。基于判断，使用选择的一种预定颜色来替换所述部分的颜色。

Description

摄像装置、图像处理方法和存储介质

技术领域

本公开信息涉及用于替换图像的一部分的颜色的图像处理技术。

背景技术

近年来，诸如智能电话和平板个人计算机(PC)等的具有先进的信息处理功能的移动终端变得普及。这些移动终端设置有照相机，并且具有图像拍摄功能(照相机功能)。这些移动终端开始用于利用照相机功能来拍摄使用白板标记笔(以下，称为标记)绘制文字和图的白板面，并且将其作为图像数据存储在其存储器上。

当利用照相机功能拍摄白板面的图像时，移动终端受环境的影响。例如，由于照射白板面的光源的影响，白板面上的用标记绘制的文字和图可能以与标记的原色不同的颜色拍摄。例如，在一些情况下，可能难以在拍摄图像上区分以蓝色标记书写的文字和以黑色标记书写的文字。

在日本特开2015-207961中描述了用于校正原稿图像中的颜色的技术。在该技术中，描述了基于图像中的像素的颜色是否包含在荧光颜色的颜色范围中来提取替换颜色的像素，并且使用预定的颜色来替换提取的像素的颜色。

发明内容

根据本发明的一个方面，一种用于处理图像的图像处理方法，该图像处理方法包括：判断是否对图像中的包含多个像素且比阈值暗的部分进行颜色替换；基于所述多个像素的至少部分的颜色，从多种预定颜色中选择一种预定颜色；以及基于上述判断，使用所选择的一种预定颜色来替换所述部分的颜色。

一种用于处理图像的摄像装置，包括：一个或更多个处理器；和存储器，其存储当被所述一个或更多个处理器执行时使所述摄像装置进行包括以下项的操作的指令：判断是否对所述图像中的包含多个像素且比阈值暗的部分进行颜色替换；基于所述多个像素中的至少部分像素的颜色，从多种预定颜色中选择一种预定颜色；以及基于上述判断，使用所选择的一种预定颜色替换所述部分的颜色。

一种计算机可读存储介质，其存储使计算机执行上述图像处理方法的程序。

根据以下参考附图对实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出系统构成的示例。

图2A和图2B示出移动终端的外观的示例。

图3示出移动终端的硬件构成的示例。

图4示出移动终端的软件构成的示例。

图5是示出根据第一实施例的整个处理的流程图。

图6是示出根据第一实施例的标记部分提取处理的流程图。

图7是示出根据第一实施例的标记部分颜色替换处理的流程图。

图8是示出根据第一实施例的标记部分平滑化处理的流程图。

图9A～9F示出根据第一实施例的处理的示例。

图10(包括图10A和图10B)示出根据第一实施例的标记部分提取处理的示例。

图11是示出根据第一实施例的属性判断处理的流程图。

图12A～12C示出根据第一实施例的属性判断处理的示例。

图13A和图13B示出根据第一实施例的标记部分平滑化处理的示例。

图14是示出根据第二实施例的标记部分颜色替换处理的流程图。

图15是示出根据第三实施例的标记部分颜色替换处理的流程图。

具体实施方式

图1示出应用于第一实施例的系统的整体构成。局域网(LAN)110连接到无线路由器102和打印机103。移动终端101可以经由无线路由器102和LAN110连接到打印机103。根据以下描述的实施例，移动终端101用作图像处理设备。

<移动终端的构成>

图2A和2B示出了应用于本实施例的移动终端101的外观。存在各种类型的移动终端101，并且，图2A示出了移动终端101的前表面。移动终端101包括前表面上的触摸面板显示器201和操作按钮202。特别地，触摸面板显示器201是作为用于显示操作所需的信息、按钮和图像等的显示装置和以下输入装置的组合的装置，该输入装置用于输入人用手指等触摸的屏幕上的位置的坐标。图2B示出了移动终端101的后表面。在后表面上，配置图像拍摄单元(也称为照相机)203。公开的信息可以应用于具有包括图像拍摄单元203的照相机功能的移动终端。换句话说，公开的信息可以应用于具有照相机功能的智能电话和移动电话以及具有通讯功能的数字照相机中的任一个。另外，公开的信息可以应用于可以以非接触方式拍摄白板面的图像的文档照相机。

<移动终端101的硬件构成>

图3示出移动终端101的内部的硬件构成。但是，构成图是用于实现本实施例的构成的示例。在图3中，中央处理单元(CPU)301、随机存取存储器(RAM)302和只读存储器(ROM)303经由数据总线311传送和接收程序和数据。数据总线311还被连接到闪速存储器304、数据传送/接收单元305、图像拍摄单元306、显示单元307和操作单元308，并且，包括CPU 301、RAM 302和ROM 303在内，相互传送和接收程序和数据。

闪速存储器304是内置闪速存储器或外部安全数字(SD)闪速存储器卡，并且存储图像数据和各种程序。

数据传送/接收单元305包括无线LAN控制器，并经由无线路由器102实现与打印机103之间的数据的传送和接收。除了无线LAN，可采用Bluetooth(注册商标)、近场通信(NFC)以及可以实现数据的传送和接收的其它方式。

作为上述照相机203的图像拍摄单元306拍摄白板面的图像并获得拍摄图像。获得的拍摄图像的数据被存储于闪速存储器304和RAM 302中并被CPU 301处理。处理后的图像数据经受诸如在显示单元307上显示、在闪速存储器304中存储、通过CPU 301经由数据传送/接收单元305向外部传送等的后处理。

显示单元307是构成触摸面板显示器201的显示器，并且显示通过使用照相机功能拍摄白板面情况下的实时图像、根据本实施例的图像处理结果、处理过程的通知和操作所需要的信息等。

包括构成上述触摸面板显示器201的触摸面板和操作按钮202的操作单元308接收来自用户的收操作，并将操作的信息传送到各单元。

CPU 301进行存储于ROM 303和闪速存储器304中的程序(例如，照相机摄像应用403和图像校正应用404)，并因此进行下面描述的各流程图的处理。并且，CPU 301控制移动终端101中的组件。

<移动终端101的软件构成>

图4示出用于进行移动终端101的处理的软件构成。但是，构成图是用于实现本实施例的构成的示例。软件模块存储于移动终端101的闪速存储器304中并由CPU 301进行。

操作系统(OS)402管理整个系统和移动终端的操作，并且控制下面描述的照相机摄像应用403和图像校正应用404。

照相机摄像应用403通过来自OS 402的指令使图像拍摄单元306操作，因此，照相机203被驱动并拍摄图像。照相机摄像应用403从照相机203接收图像数据，并将图像数据存储于闪速存储器304中。

图像校正应用404包括摄像应用调用单元405、图像处理单元406、显示控制单元407和数据存储单元408。图像校正应用404通过来自OS 402的指示进行摄像应用的调用处理、拍摄图像的图像处理、经受图像处理的图像在显示器上的绘制以及存储。图像校正应用404从未示出的外部服务器被接收，并且根据来自OS 402的指示被安装。CPU 301通过使用RAM 302和闪速存储器304进行图像校正应用404。

摄像应用调用单元405在图像校正应用404中被调用并且指示OS 402进行照相机摄像应用403。摄像应用调用单元405经由OS 402调用照相机摄像应用403以拍摄图像。

图像处理单元406在图像校正应用404中被调用，并对拍摄图像和存储于闪速存储器304中的图像进行图像处理。

显示控制单元407在图像校正应用404中被调用，并且在显示单元307上显示拍摄图像、存储于闪速存储器304中的图像和经图像处理单元406处理(颜色替换)的图像。

数据存储单元408在图像校正应用404中被调用，并将经图像处理单元406处理的图像存储于闪速存储器304中。

<处理流程的详细说明>

图5、图6、图7和图8是示出根据本实施例的用于校正输入图像的处理的流程图。这些流程图由图像处理单元406进行。

下面描述的处理概述如下。基于输入图像中的前景像素组之间的相邻关系提取一个或多个前景像素组，并且针对每像素组判断该像素组是否由相似颜色像素构成。由相似颜色像素构成的像素组被视为用标记绘制的区域，并且替换其颜色。通过上述处理，用标记绘制的部分可以与诸如图片等的部分区分开，并且可以选择性地对用标记绘制的部分进行校正。

图5示出对输入图像进行的校正处理的整个流程。将通过包括图像拍摄单元203的照相机功能拍摄白板面的图像和存储于闪速存储器304中的图像作为输入图像来处理。作为替代方案，将从外部接收的图像作为输入图像来处理。作为来自照相机功能的指令，通过来自照相机摄像应用403的指令进行图像拍摄。假设输入图像是包括白板面的图像。当拍摄的图像包括除了白板面之外的背景区域时，提取白板面的区域，并且通过对提取的区域进行梯形校正以校正成矩形区域来获得输入图像。考虑在拍摄图像中白板面由四个最外侧构成。因此，图像处理单元406对拍摄的图像进行边缘提取处理，并且从提取的边缘中指定具有预定或更大长度并分别处于拍摄图像中的垂直侧和水平侧的最外侧的四个边。图像处理单元406将由指定的垂直侧和水平侧的四个边构成的矩形提取为白板面的图像。并且，图像处理单元406对提取的图像进行投影变换(梯形校正)，并获得矩形图像作为处理目标输入图像。

图9A示出输入图像的示例。图9B表示图9A中的各部分的属性。白板面的框架由附图标记600表示。用标记书写的文字由分别指示以黑色书写的文字、以红色书写的文字、以蓝色书写的文字和以绿色书写的文字的附图标记601～604来表示。用标记绘制的线条图由附图标记605和606表示。粘贴在白板面上的彩色图片由附图标记607表示。由附图标记601～606表示的用标记绘制的部分的绘制浓度根据标记的状态和绘制方法为淡，并且，浓部分和淡部分混合。可以看出，由于摄像环境，在文字部分和图像部分的背景上存在阴影。可以使用阴影去除技术去除背景上的阴影。

图9C是通过从图9A中的图像中去除阴影而获得的图像，其中图9A中的图像是作为本实施例中描述的输入图像而被处理的图像。阴影去除技术可以是已知的阴影去除技术，例如，通过从图像中提取长周期亮度分量(阴影分量)并从该图像中减去提取的阴影分量去除阴影的方法以及用于调整亮度和对比度的方法。在图9C中，由附图标记601～606表示的用标记绘制的区域的绘制浓度根据标记和绘制方法的状态为淡，并且可以看出，存在浓度为淡且可见性低的部分。

步骤S510中的标记部分提取处理从输入图像中提取用标记绘制的区域。以下参考图6所示的流程图详细描述标记部分提取处理。图9D中的黑色实线部分表示从图9C中的输入图像中提取的用标记的区域。可以看出，仅提取由附图标记601～606表示的用标记绘制的区域，并且，没有提取附图标记607的图像部分。

接下来，步骤S520中的标记部分颜色替换处理使用不同的颜色来替换步骤S510中所提取的标记区域的颜色。以下参考图7所示的流程图详细描述标记部分颜色替换处理。图9E示出通过使用特定颜色替换图9D中的用标记绘制的区域的颜色所获得的图像。图9E表示通过标记部分颜色替换处理提高了用标记绘制的部分的可见性。为了描述颜色信号值的差异，图9F示出处理之前(图9C中的部分区域的放大)的信号值和处理之后(图9E中的局部区域的放大)的信号值。

关于由附图标记601表示的黑色标记，处理之前的红色、绿色和蓝色(RGB)信号值为8位，并且，对于各文字的颜色是不同的，诸如{R,G,B}＝{50,60,40}和{R,G,B}＝{100,120,90}。另外，黑色不是严格的黑色，并且处于灰色状态和彩色状态。另一方面，处理后的RGB信号值为8位，并且作为{R,G,B}＝{0,0,0}在文字之间没有色差。并且，可以看出，颜色处于无彩色状态。类似地，可以看出，由附图标记602表示的用红色标记绘制的文字在文字间没有色差，并被转换为清晰的红色。

最后，步骤S530中的标记部分平滑化处理对用标记绘制的区域的经颜色替换的图像进行处理，并对由标记绘制的区域的轮廓进行平滑化处理。以下参考图8所示的流程图详细描述标记部分平滑化处理。通过进行标记部分平滑化处理，将替换了颜色的标记区域的轮廓平滑化，并且可以产生具有更好外观的图像。

<标记部分提取处理>

图6是示出标记部分提取处理的流程图。图10(包括图10A和10B)是处理的示意图。区域701包括用标记绘制的文字，区域702包括用标记绘制的线条图，区域703包括粘贴在其上的图片，区域704包括什么也没有绘制的白板面区域。将描述在区域701～704中的各图像上进行步骤S511、S512、S514和S515中的处理的结果的图像。

在随后的步骤S511和S512中，将具有小于预定亮度的亮度的像素视为前景像素，并将前景像素中的彼此相邻的像素归类为同一像素组(标签)。因此，提取一个或多个包括多个前景像素(即，背景区域中的前景区域)的像素组。

在步骤S511中，通过使用预定亮度作为阈值对输入图像进行二值化处理，以产生二进制图像。二值化处理使用代表前景像素的黑色像素替换具有小于预定亮度的亮度的像素，并且使用代表背景像素的白色像素替换具有大于或等于预定亮度的亮度的像素。通过二值化处理，从没有绘制文字且不粘贴图片的白板区域中分割出用标记绘制文字或绘图的区域和粘贴图片的区域。换句话说，二值化处理将输入图像分离成由前景像素(有色像素和非白色像素)构成的前景区域和由背景像素(白色像素)构成的背景区域。用于对图像进行二值化处理的方法可以是已知技术，只要该方法可以将图像转换成白色和黑色的两个灰度。

二进制图像705～708是在各区域701～704上进行二值化处理的结果。可以看出，图像中包含的灰度被转换成白色和黑色的两个灰度。输入图像可以是包括RGB信号的三通道图像或仅包括灰色信号的一通道图像。关于二值化处理后的图像输出，当输入图像是包括RGB信号的三通道图像时，可以对各通道进行二值化处理并使用一个通道图像合成图像，或者，可以通过将RGB信号转换成亮度信号来进行二值化处理。作为用于进行二值化处理的阈值的确定方法，可以对任何图像使用相同的固定值，或者可以采用用于通过使用辨别分析方法从各输入图像的直方图确定阈值的方法。另外，可以在图像表面中一致地使用固定阈值，或者可以采用针对各像素改变阈值的方法。在这方面，步骤S511中的处理不限于二值化处理，并且可以采用某一方法，只要该方法可以将输入图像转换为白色和黑色的两个灰度，诸如用于分割为边缘像素和非边缘像素的边缘提取处理。另外，作为要处理的输入图像，根据本实施例，使用经阴影去除的图像，但是可以对阴影去除之前的图像进行二值化。

在步骤S512中，对二进制图像进行标签化处理。基于黑色像素彼此相邻的事实，标签化处理将相邻的黑色像素归类为同一标签(像素组)。标签化处理基于黑色像素的相邻关系即前景像素的相邻关系提取像素组，并因此可以将用标记手写并且尺寸变化的文字作为像素组适当地提取出来。另外，由于将像素归类到标签中，因此可如后面描述的那样对具有同一标签的各像素组获得诸如尺寸和色散值的特征量，并因此可对各像素组进行属性判断。

作为对图像的标签化处理的方法，两个灰度的像素中，对垂直方向、水平方向和倾斜方向上连续的黑色像素(或白色像素)施加同一标签，并将其视为一个像素组。可以对非连续像素的组施加不同的标签。用于检测连续像素的方法可以是用于检测垂直和水平方向上的连续标签的4连接或用于检测垂直、水平和斜方向上的连续标签的8连接。标签化的二进制图像709～712是对图10中的各二进制图像705～708进行标签化处理的结果。可以看出，将二值化像素中同一标签施加各个连接的像素。

为了在后述的步骤S514中提取各标签(各像素组)的特征量，在步骤S513中，对输入图像进行颜色空间转换处理以产生颜色转换图像。具体地说，将具有RGB信号的颜色空间的输入图像转换为具有YUV信号的颜色空间的图像。将颜色空间转换成YUV信号的颜色空间，因此可以通过亮度(Y)和色差(亮度和蓝色之间的差值U以及亮度和红色之间的差值V)的组合表达颜色，并且可以从色差信号值准确地确定颜色类型。

根据本实施例，将要转换的颜色空间描述为YUV颜色空间，但是，颜色空间可以是诸如YCbCr颜色空间等的由亮度和色差表示的颜色空间，或者，如果可以确定颜色类型，则可以是RGB颜色空间本身。根据本实施例，对图像中的所有像素进行颜色空间转换处理，但是，不需要对图像中的所有像素进行色彩空间转换处理，并且可以仅对通过步骤S511中的二值化处理而被确定为前景像素的像素进行色彩空间转换处理。

如上所述，输入图像、标签化的二进制图像和YUV颜色空间中的多级图像彼此对应。换句话说，可以说，特定坐标上的输入图像中的像素具有与该特定坐标相同的坐标上的标签化二进制图像中的像素的标签和与该特定坐标相同的坐标上的YUV多级图像中的像素的YUV信号值来作为该像素的属性。

在步骤S514中，通过参照标签化的二进制图像和YUV多级图像，对具有同一标签的各像素组进行特征量提取处理。当对于下面描述的各同一标签进行属性判断时，使用提取的特征量。具体地，对于各标签，通过提取处理来提取诸如标签的外接矩形尺寸、构成标签的像素数量、对应于标签的平均颜色和色散值等的特征量。特征量提取结果713～716是关于图10中的标签化二进制图像709～712的各标签提取各标签的特征量的结果。可以看出，可以针对各同一标签获得特征量。

关于标签的外接矩形尺寸，获得具有同一标签的像素组的外接矩形，并且获得该外接矩形的宽度和高度作为外接矩形尺寸。

通过对构成标签的像素的数量进行计数获得标签的像素数。

标签的平均颜色是通过将颜色转换图像中对应于同一标签的各像素的YUV信号值(颜色值)累积并将累积的YUV信号值除以具有同一标签的像素组中包括的像素数获得的。关于平均颜色，产生具有同一标签的像素组中包括的像素的YUV信号值的直方图，并且，各直方图的具有最大频率的各YUV信号值可视为平均颜色。

可以通过获得在颜色转换图像中对应于同一标签的各像素的YUV信号值的各分散值，来计算标签的色散值。

可以针对Y、U和V通道(三个通道)中的每一个，或者针对最有助于颜色确定的U和V通道中的两个，计算YUV信号值的平均值和色散。另外，色散值可以是通过其它方法获得的特征量，只要该量是代表具有同一标签的像素组中的颜色的分散度(换句话说，相似度)的指标即可。例如，可以使用计算分散的正平方根的标准偏差或U信号和V信号的协方差值。

在步骤S515中，基于在步骤S514中对各标签提取的特征量，对各标签进行属性判断处理。进行图11所示的属性判断处理，因此，可以针对各同一标签将属性区分为用标记绘制的区域以及诸如粘贴图片的区域等的未用标记绘制的区域的属性。属性判断处理可以是针对各同一标签判断用标记绘制的区域和除此之外的区域的处理。

以下参考图11所示的流程图详细描述属性判断处理。属性判断处理基于通过特征量提取处理获得的特征量对各标签判断是用标记绘制的前景部分(标记属性)还是诸如图片等的不用标记绘制的前景部分(非标记属性)。

在白板的白色面上，可以用标记书写文字或者可以粘贴诸如图片等的片材。属性判断处理基于像素组的外接矩形尺寸、构摄像素组的像素数量、像素组的平均颜色和像素组的色散值来判断是使用单色标记还是使用多种颜色的图片来绘制拍摄图像中的有色前景像素组。

按照标签的外接矩形尺寸的升序对各标签重复以下描述的处理，直到没有处理目标标签为止。

在步骤S801中，比较并确定标签的外接矩形尺寸和输入图像尺寸。具体地，判断矩形尺寸的宽度与输入图像尺寸的宽度之间的差值的绝对值是否小于阈值以及矩形尺寸的高度与输入图像尺寸的高度之间的差值的绝对值是否小于阈值。通过该判断，具有与输入图像尺寸近似匹配的外接矩形的标签被视为白板中的不用标记绘制的部分，并且，在宽度的差值的绝对值和高度的差值的绝对值均小于阈值(在步骤S801中为“是”)的情况下，处理前进到步骤S808。否则(在步骤S801中为“否”)，存在具有标记的像素组是白板中的用标记绘制的部分的可能性，因此，处理进行到步骤S802以进一步判断。

在步骤S802中，判断标签的色散值是否小于第一阈值。具体地，判断U信号值的分散值和V信号值的分散值是否均小于第一阈值。在U信号值的分散值和V信号值的分散值均小于第一阈值(在步骤S802中为“是”)的情况下，处理前进到步骤S807。否则(在步骤S802中为“否”)，处理前进到步骤S803。

更具体地，在步骤S802中，将由U信号值和V信号值的分散值均小于第一阈值的相似颜色像素构成的像素组判断为具有标记属性。换句话说，在步骤S802中，将由被几乎白色区域(即，背景区域)包围的几乎单色区域(即由连续的相似颜色像素构成的前景区域)指定为经后面描述的颜色替换处理的区域。当拍摄白板面上用单色绘制的文字和绘图的图像时，对于各标签的分散值变得非常小。另一方面，当在白板面上粘贴颜色图片时，标签中的U信号值和V信号值中的任一个的分散值变大，因此，在这种情况下，判断为具有非标记属性。

与U信号值的分散值比较的阈值和与V信号值的分散值比较的阈值可以是不同的阈值。另外，对于人眼而言，U信号值(或V信号值)的变化(分散度)的可识别性根据Y信号值而变化，因此U信号值(和V信号值)的阈值可以响应于Y信号值而改变。

在步骤S803中，与步骤S802同样，判断YUV信号值的色散值是否小于第二阈值。在色散值小于第二阈值的情况下(即，当色散值大于或等于第一阈值且小于第二阈值、步骤S803中为“是”时)，处理进行到步骤S804。第二阈值大于在步骤S802中使用的第一阈值。换句话说，对通过步骤S803中的判断难以判断是否由相似的颜色像素构成的像素组，进行步骤S804和后续步骤的处理。在色散值大于或等于第二阈值(步骤S803中为“否”)的情况下，处理前进到步骤S808。换句话说，如后面描述的那样，将具有色散值大于或等于第二阈值的标签的像素组视为具有非标记属性，并且不对其进行后面描述的颜色替换。

在步骤S804中，提取在步骤S511中产生的二进制图像中的处理目标标签的像素组，并对提取的像素组进行细线化处理。对图12A所示的具有同一标签的二进制图像进行细线化处理(黑色像素的收缩处理或白色像素的扩展处理)，并产生图12B中的图像。在步骤S804中进行细线化处理，然后处理前进到步骤S805。

在步骤S805中，对细线化处理后的黑色像素的数量(剩余像素的个数)进行计数，并且计算剩余像素数与构成原始标签的像素组的像素数的比(剩余像素比)。处理基于如下概念：假设在白板上绘制的标记的线具有预定的粗细，当剩余像素比小于阈值时，像素组对应于用标记绘制的部分。

例如，对图12B所示的细线化处理后的剩余像素的数量进行计数，并且使用以下公式计算剩余像素比。

剩余像素比＝(细线化处理后的剩余像素数/同一标签的像素数)*100

在步骤S806中，判断计算的剩余像素比是否小于第三阈值。在剩余像素比小于第三阈值(步骤S806中为“是”)的情况下，处理前进到步骤S807。否则(步骤S806中为“否”)，处理前进到步骤S808。第三阈值被设定为例如50％，并且，将剩余像素比<50％成立的标签判断为具有标记属性，将该不等式不成立的标签判断为具有非标记属性。在用标记绘制的具有三像素线宽的文字的情况下，当进行一个像素的细线化时，剩余像素比下降到50％以下，因此可以将该文字判断为具有标记属性。根据本实施例，描述了通过进行细线化处理计算剩余像素比的方法，但是处理不限于上述处理，并且可以采用可提取标签的线宽并且判断线宽是粗还是细的处理。

在步骤S806中，在剩余像素比大于或等于第三阈值(步骤S806中为“否”)的情况下，处理前进到步骤S808。

在步骤S807中，将处理目标标签的属性判断为标记属性。

在步骤S808中，将处理目标标签的属性判断为非标记属性。

在步骤S809中，判断在判断为具有非标记属性的处理目标标签所包围的区域中是否存在具有标记属性的标签。判断为具有非标记属性的标签包围的另一标签具有非标记属性的可能性高，因此进行判断处理以校正另一标签的属性。

参照图12C描述该处理。在图12C中，具有标记属性的标签和具有非标记属性的标签存在于正处理的标签所包围的区域内。可以通过获得正处理的标签的外接矩形并且判断该区域内是否存在正处理的一个标签以外的标签，来进行正处理的标签所包围的区域的内部的判断。在具有标记属性的标签存在于包围区域内(步骤S809中为“是”)的情况下，处理前进到步骤S810。不处理具有非标记属性的标签。

在步骤S810中，将通过步骤S809中的处理找到的具有标记属性的标签的属性校正为非标记属性。重复该处理，直到具有非标记属性的处理目标标签所包围的区域内的、具有标记属性的所有标签的属性得到校正为止。

在步骤S811中，判断对所有标签的判断是否完成，并且，在存在还没有判断的标签(步骤S811中为“是”)的情况下，对下一个标签进行属性判断。在完成所有标签的判断(在步骤S811中为“否”)的情况下，图11所示的处理终止。

通过进行上述处理，图10中的由特征量提取结果713描述的用标记绘制的文字和由特征量提取结果714描述的用标记绘制的线条图具有低的色散值和细的对象，并因此可被判断具有标记属性。另一方面，由特征量提取结果715描述的粘贴图片的区域具有高的色散值和高的剩余像素比，并因此可将该区域判断为具有非标记属性。

如上所述，进行步骤S511～S515中的处理，完成步骤S510中的标记部分提取处理，并且进行下一步骤S520中的标记部分颜色替换处理。

图7是示出标记部分颜色替换处理的流程图。该处理使用基于具有标记属性的同一标签的像素组中包含的像素的颜色的颜色的信号值(灰度值)，替换像素组中包含的各像素的信号值(灰度值)。换句话说，该处理使用基于构摄像素组的至少一个像素的颜色所获得的一种颜色，替换被确定为由相似的颜色像素构成的像素组的颜色。

在步骤S521中，对各标签(即各像素组)进行同一标签颜色确定处理。在步骤S521中，计算在上述步骤S514中提取的各标签的YUV颜色空间中的平均颜色和与多个预定基准颜色(黑色、红色、蓝色和绿色)的距离(相似度)，并且确定平均颜色接近哪种基准颜色。

例如，分别计算具有特定标签的平均颜色的色差(U通道和V通道)的信号值与对应于各基准颜色的色差(U通道和V通道)的信号值之间的差值，并且计算各个差值的平方值之和的平方根。对应于各基准颜色的色差信号值被存储于图像处理单元406中。换句话说，计算平均颜色的色差与各基准颜色的色差之间的距离。另外，将计算出的与各基准颜色的距离中距离最近的基准颜色(即，具有最小平方根的基准颜色)确定为标签的颜色。例如，图9B所示的附图标记601～604的标签分别确定为黑色、红色、蓝色和绿色。

在步骤S522中，对各标签进行替换颜色选择处理。该处理针对各标签选择与步骤S521中确定的基准颜色相对应的RGB值，并将RGB值分配给标签。因此，在不依赖于具有不同标签的像素组(背景区域中的另一前景区域)的颜色的情况下，确定分配给特定标签的颜色(RGB值)。例如，在确定为黑色的标签的情况下，将RGB信号值{R,G,B}＝{0,0,0}分配给标签。在红色的情况下，分配RGB信号值{R,G,B}＝{255,0,0}。在绿色的情况下，分配RGB信号值{R,G,B}＝{0,255,0}。在蓝色的情况下，分配RGB信号值{R,G,B}＝{0,0,255}。RGB信号值预先存储在针对各基准颜色的表格中。该表格存储在图像处理单元406中。但是，可以进行以下处理。在具有尺寸等于或大于阈值尺寸的第一标签的像素组与具有尺寸小于阈值尺寸的第二标签的像素组之间的距离小于阈值距离并且分配给第一标签的颜色和分配给第二标签的颜色彼此不同的情况下，将分配给第二标签的颜色改变(修改)为分配给第一标签的颜色。

如图9F的上部所示，即使在信号值如RGB信号值{R,G,B}＝{50,60,40}和{100,120,90}那样不同的情况下，当在步骤S521中确定为黑色时，也将RGB信号值一致转换成{0,0,0)。类似地，如图9F的下部所示，当在步骤S521中确定为红色时，将具有RGB信号值{R,G,B}＝{200,30,20}和{180,40,40}的输入图像中的部分的RGB信号值转换为{255,0,0}。

在步骤S523中，对各标签进行颜色替换处理。颜色替换处理使用步骤S522中分配的颜色来替换构成与各标签的像素组对应的输入图像中的像素组的各像素的颜色。具体地，颜色替换处理使用分配给该标签的RGB信号值来替换与标签化的二进制图像中的具有同一标签的像素组相对应的输入图像中的像素组的RGB信号值(灰度值)。通过颜色替换处理，同一标签的信号值统一化并且使用一种颜色替换，因此，可以将白板上绘制的标记的颜色与图片区别开来并进行精确校正。甚至在具有不同标签的像素组中，当分配同一的所选颜色时，具有不同标签的像素组被相同的一种颜色替换。因此，图像中的颜色可具有统一感。

如上所述，进行步骤S521～S523中的处理，完成步骤S520中的标记部分替换处理，并且进行后续步骤S530中的标记部分平滑化处理。

图8是示出标记部分平滑化处理的流程图。步骤S520中的标记部分替换处理使用一种颜色的RGB信号值来替换与标签化的二进制图像中的具有相同标签的像素组相对应的输入图像中的像素的RGB信号值。基于通过步骤S511中的二值化处理所产生的二进制图像形成具有同一标签的像素组(标签化的二进制图像)。因此，如图13A所示，在颜色被替换的输入图像中的像素组的轮廓形状中可以明显看到锯齿状(台阶)。因此，如图13B所示，标记部分平滑化处理使台阶平滑化。

参照图13A和图13B描述步骤S531和S532。在步骤S531和S532中，通过基于属性判断处理的判断结果和具有同一标签的像素组的轮廓形状通过添加多级(multi-level)像素，来对经颜色替换处理的像素组的轮廓进行平滑化处理。换句话说，在步骤S531和S532中，基于具有同一标签(具有标记属性)的像素组的轮廓形状，确定要添加多级像素的轮廓上的位置和要对其添加的像素的灰度值，并且将具有该灰度值的像素添加到该位置。

在步骤S531中，进行标签轮廓步骤检测处理。在步骤S531中，通过图案匹配追踪具有标记属性的标签的像素组的轮廓，并且检测特定台阶。在图13A中，标签化的二进制图像中的像素组的轮廓由黑色像素指示，并且由图案901指示的黑色像素中的一个像素的台阶被视为特定台阶。跟踪轮廓，并且进行图案匹配以检测由图案901指示的三像素×三像素图案。当检测到图案901时，通过图案匹配的检测从此处进一步前进到X方向，并且检测由图案902指示的三像素×三像素图案。在这点上，从图案901到图案902的像素数903被计数。

在步骤S532中，基于从标签化的二进制图像中检测到的台阶进行平滑化处理。对步骤S531中精确地检测到的台阶，通过添加滤波器和多级像素来进行清晰度增强，并因此减少锯齿。换句话说，在步骤S532中，将与输入图像中的经步骤S523中的颜色替换处理的像素组相邻的至少一个像素的颜色替换为用于平滑化像素组的轮廓的颜色。图13B示出图案901和图案902之间的间隙平滑化的结果。图13B示出从A坐标的像素的RGB信号值(信号值A)和B坐标的像素的RGB信号值(信号值B)以及像素数903，确定要添加到像素组的轮廓区域904的多级像素的信号值。确定的信号值是用于平滑化像素组的轮廓的颜色。例如，如果像素数903是A坐标和B坐标之间的五个像素，则可将轮廓区域904中的四个像素的灰度值设定为从信号值A逐渐变化到信号值B的灰度值。换句话说，在轮廓区域904中，灰度值逐渐变化。

进行步骤S531～S532中的处理，并且完成步骤S530中的标记部分平滑化处理。

以上描述了用于检测和平滑化用标记绘制的区域中的特定台阶的处理，但是，关于具有标记属性的像素，可通过一致的平滑化滤波器进行平滑化处理。

通过进行上述的处理，可以在输入图像中精确地对用标记绘制的区域和未用标记绘制的区域进行分类。在对区域进行分类后，可以对用标记绘制的区域进行诸如颜色替换处理等的专用图像处理，从而可以提高标记绘制区域的可视性，并且可以解决标记的颜色难以区分的问题。另外，不对未用标记绘制的区域进行该处理，从而可以防止非标记绘制区域中的图像质量的劣化。

根据本实施例，对输入图像依序进行标记部分颜色替换处理(步骤S520)和标记部分平滑化处理(步骤S530)，但是可以如下面描述的那样进行处理。在步骤S523中，通过将标签化的二进制图像中的具有标记属性的黑色像素组转换为具有在步骤S521和S522中选择的多级信号值的像素组，产生多级图像。在步骤S531中，通过跟踪所产生的多级图像中的具有多级信号值的像素组的轮廓来检测台阶，并且在步骤S532中，基于检测的台阶及其形状、通过利用像素组的颜色(信号值)所确定的颜色(信号值)来使台阶平滑化。另外，在步骤S532中，将全部像素组中的经平滑化处理的多级图像与输入图像合成。在合成中，只有平滑化的多级图像中的白色以外的像素和与相关像素相邻的白色像素被重写到输入图像中的相应像素。通过该处理，可以将使用单色替换并且经平滑化处理的像素组与输入图像合成。

根据第一实施例，进行使用预先确定的颜色替换关于同一标签针对各标签确定的颜色的处理。但是，将通常用作标记颜色(例如黑色、红色，蓝色和绿色)的颜色确定为预先确定的颜色，但是，当存在除了预先确定的颜色之外的特殊颜色时，在一些情况下不能进行替换。

因此，根据第二实施例，描述在未预先确定替换颜色的情况下可自动确定替换颜色的配置。

图14是示出根据本实施例的包括用于在事先未确定替换颜色的情况下自动确定替换颜色的处理的标记部分颜色替换处理的流程图。除了图7的构成之外，图14还包括步骤S524中的替换颜色产生处理。

在步骤S521中，对各标签进行同一标签颜色确定处理。在步骤S521中，当标签的平均颜色不在任何基准颜色的预定距离内时，判断为不存在标签的替换颜色。

随后，在步骤S522中，与第一实施例类似，从预先确定的替换颜色表中对各标签选择替换颜色。但是，在步骤S521中判断为不存在标签的替换颜色的情况下，在步骤S522中，不从表中选择标签的替换颜色。这种标签的替换颜色通过下一步骤S524中的替换颜色产生处理来确定。

在步骤S524中，对在步骤S521中判断为不存在替换颜色的标签进行替换颜色产生处理。具体地，在步骤S524中，基于标签的YUV空间中的平均颜色确定标签的替换颜色。作为示例，确定方法包括以下方法。存在将标签的平均颜色(YUV信号值)转换为RGB信号值并将RGB信号值视为替换颜色的方法。另外，存在将平均颜色(YUV信号值)转换为HSV颜色空间的信号值(HSV信号值)、将饱和信号值增加预定量并将该HSV信号值转换为RGB信号值的值视为替换颜色的方法。

另外，在步骤S523中，与第一实施例类似，使用各标签的替换颜色进行颜色替换处理。

通过进行上述处理，当对用标记绘制的区域进行颜色替换处理时，如果未确定替换颜色，则自动产生替换颜色，并且可以替换标记绘制区域的颜色。

根据第一和第二实施例，对同一标签确定一种颜色并进行替换处理。但是，当在同一标签中存在具有不同颜色的多个像素组时，如果用一种颜色替换颜色，则存在可能会丢失颜色信息的可能性。另外，关于标签为具有根据第一实施例的步骤S802中的第一阈值附近的色散值的像素组，存在将同一标签分配给包括两种颜色的像素组的可能性。因此，根据第三实施例，描述可以向同一标签设定多种颜色并进行替换的配置。

图15是示出根据本实施例的包括用于选择多种颜色的处理和用于使用多种颜色替换的处理的标记部分颜色替换处理的流程图。在图15中，向图7的构成添加步骤S525、S526和S527。

在步骤S521中，对各标签进行同一标签颜色确定处理。在步骤S521中，当标签的平均颜色不在任何基准颜色的预定距离内时，对标签进行后续的簇化处理。该簇化针对与构成标签的像素组的各像素对应的YUV颜色空间中的多级图像中的像素的UV信号值进行。作为簇化，可以使用称为例如k-means方法和基于密度的空间簇化(DBSCAN)的已知簇化方法。作为簇化结果所获得的一个或多个簇的质心的UV信号值将是构成标签的像素组的像素的颜色的替换颜色的UV信号值。

在步骤S525中，进行颜色数量确定处理。颜色数量确定处理基于处理目标标签的YUV颜色空间的色散值和作为步骤S521中的簇化结果的簇数，确定标签中使用的颜色数量是一种颜色还是多种颜色。在色散值大于或等于阈值或簇的数量为两个或更多个的情况下，确定用多种颜色替换(在步骤S525中为“多色”)，并且处理进行到步骤S526。相反，当色散值小于阈值并且簇的数量仅为1时，确定用一种颜色替换(在步骤S525中为“一色”)，并且，与第一和第二实施例类似，处理进行到步骤S522。

在步骤S526中，进行多种替换颜色选择处理。在该处理中，基于作为在步骤S521中进行的簇化的结果所获得的各簇的中心的UV信号值所确定的各RGB信号值确定为多种替换颜色。

在步骤S527中，进行多种颜色替换处理。在多种颜色替换处理中，同一标签不使用一种颜色替代，而是使用多种颜色来替换该标签的像素组。具体地，确定，构成与标签对应的输入图像中的像素组的各像素接近步骤S526中确定的多种颜色的RGB值中的哪个RGB值，并且使用所确定的RGB值来替换输入图像中的像素的RGB值。

描述了用于在本处理中进行颜色替换时设定多种颜色的配置，但是，当在S512中进行标签化处理时，可以通过使用颜色信息来进行标签化，因此可以在色差大于或等于阈值的点分割标签。

通过进行上述处理，当对用标记绘制的区域进行颜色替换处理时，可以用多种颜色替换同一标签。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (15)

1.一种用于处理图像的图像处理方法，该图像处理方法包括：

判断是否对图像中的包含多个像素且比阈值暗的部分进行颜色替换；

基于所述多个像素中的至少部分像素的颜色，从多种预定颜色中选择一种预定颜色；以及

基于上述判断，使用所选择的一种预定颜色来替换所述部分的颜色。

2.根据权利要求1所述的图像处理方法，其中，判断包括基于所述多个像素的颜色的相似度来进行判断。

3.根据权利要求2所述的图像处理方法，其中，所述相似度通过所述多个像素的颜色的方差来估计。

4.根据权利要求3所述的图像处理方法，其中，所述方差是所述多个像素的颜色的色差分量的方差。

5.根据权利要求1所述的图像处理方法，还包括使用所述阈值来将所述图像二值化以找到比所述阈值暗的所述部分。

6.根据权利要求1所述的图像处理方法，其中，所述多种预定颜色包括预定红色、预定蓝色和预定黑色。

7.根据权利要求1所述的图像处理方法，其中，选择包括基于所述多个像素的颜色的代表性颜色值和所述预定颜色各自的颜色值进行选择。

8.根据权利要求1所述的图像处理方法，其中，

判断和选择是对所述图像中的比所述阈值暗的多个部分进行的，以及

在选择包括针对所述多个部分选择所述一种预定颜色的情况下，替换包括基于所述判断使用所选择的同一种预定颜色来替换所述多个部分的颜色。

9.根据权利要求1所述的图像处理方法，还包括：

判断是否对所述图像中的包含多个像素且比所述阈值暗的另一部分进行颜色替换；

基于所述另一部分所包括的多个像素的至少部分的颜色，从所述多种预定颜色中选择另一预定颜色；

判断所述部分与所述另一部分之间的距离是否小于阈值距离；以及

基于对所述另一部分进行颜色替换的判断结果以及所述距离小于所述阈值距离的判断结果，使用针对所述部分选择的一种预定颜色而不是选择的所述另一预定颜色来替换所述另一部分的颜色。

10.根据权利要求1所述的图像处理方法，还包括显示包括已使用选择的一种预定颜色进行了颜色替换的所述部分的图像。

11.根据权利要求1所述的图像处理方法，还包括对已使用所述一种预定颜色进行了颜色替换的所述部分的轮廓进行平滑化。

12.根据权利要求11所述的图像处理方法，其中，平滑化包括：

基于所述轮廓的形状确定将使用哪种颜色来替换与所述轮廓相邻的至少一个像素的颜色，以及

使用所确定的颜色来替换相邻的所述至少一个像素。

13.根据权利要求1所述的图像处理方法，其中，

所述图像是通过图像拍摄单元拍摄的白板的图像，以及

所述部分与用户使用标记笔在所述白板中绘制的部分相对应。

14.一种用于处理图像的摄像装置，包括：

一个或更多个处理器；和

存储器，其存储当被所述一个或更多个处理器执行时使所述摄像装置进行包括以下项的操作的指令：

判断是否对所述图像中的包含多个像素且比阈值暗的部分进行颜色替换；

基于所述多个像素中的至少部分像素的颜色，从多种预定颜色中选择一种预定颜色；以及

基于上述判断，使用所选择的一种预定颜色替换所述部分的颜色。

15.一种计算机可读存储介质，其存储使计算机执行根据权利要求1-13中任一项所述的图像处理方法的程序。