CN102194213A - 图像处理装置 - Google Patents

Abstract

一种图像处理装置，用于考虑原图像整体来生成进一步提高艺术性演绎效果的图像数据。大尺寸处理对象选择部(53)针对原图像的YUV分量，选择成为纹理处理对象的多个像素数据。大尺寸描绘方向决定部(54)根据在原图像的Y分量中的每规定像素单位的水平方向和垂直方向的边缘强度来决定运笔图式的描绘方向。大尺寸纹理处理部(55)针对大尺寸处理对象选择部(53)选择的多个像素数据，以大尺寸描绘方向决定部(54)决定的描绘方向的运笔图式来实施使用了该像素颜色的第一次纹理处理。小尺寸处理对象选择部(56)、小尺寸描绘方向决定部(57)和小尺寸纹理处理部(58)仅在图像的边缘部分附近执行与第一次相同的第二次纹理处理。

Description

图像处理装置

技术领域

本发明涉及图像处理装置以及存储图像处理程序的存储介质，特别是涉及能够实现以下处理的图像处理的技术：作为用于根据原图像来得到艺术性高的图像的图像处理，考虑原图像整体来生成进一步提高艺术性演绎效果的图像的数据。

背景技术

近年，以提高在鉴赏由摄像等取得的图像时的演绎效果为目的，开始对原图像的数据实施提高艺术性的加工的图像处理。例如，在JP特开平8-44867号公报中，为了实现上述目的，公开了这样一种技术：以像素单位来取得针对原图像的亮度、彩度、色调的信息，并利用这些信息，对在变换成能提高艺术性的图像(例如水彩画或油画)的数据时的运笔或色彩进行模拟描绘。

但是，在JP特开平8-44867号公报记载的技术中，在为了以像素单位进行模拟而考虑图像整体来提高艺术性的方面有不足点。

发明内容

本发明正是鉴于这种情况而提出的，其目的在于，实现这样一种图像处理：作为用于根据原图像来得到艺术性高的图像的图像处理，考虑原图像整体来生成进一步提高艺术性的演绎效果的图像的数据。

为了实现上述目的，技术方案1的发明包括：输入单元，其输入图像的数据；变换单元，其将由所述输入单元输入的所述图像的数据变换成包含亮度分量的颜色空间的形态；选择单元，其从由所述变换单元变换的所述图像的数据中选择多个像素的数据；第一决定单元，其根据在所述图像中的每规定像素单位的水平方向以及垂直方向的边缘强度来决定用于实施纹理处理的运笔图式的描绘方向；第一纹理处理单元，其针对由所述选择单元选择的所述多个像素的数据，以由所述第一决定单元决定的所述描绘方向的所述运笔图式来实施使用了该像素的颜色的所述纹理处理；和存储控制单元，其控制存储包含有所述第一纹理处理单元实施了处理的处理结果的图像的数据。

另外，技术方案2的发明，在上述技术方案1所述的发明中，还包括：第二决定单元，其根据在所述图像中的每规定像素单位的水平方向以及垂直方向的边缘强度来决定比所述第一决定单元所决定的所述运笔图式小的运笔图式的描绘方向；和第二纹理处理单元，其针对由所述第一纹理处理单元实施处理后的图像的数据，以由所述第二决定单元决定的所述描绘方向的所述运笔图式来实施所述纹理处理，其中，所述存储控制单元，除了控制存储包含有所述第一纹理处理单元实施了处理的处理结果的图像的数据，还控制存储包含有所述第二纹理处理单元实施了处理的处理结果的图像的数据。

此外，技术方案3的发明，在上述技术方案1或2所述的发明中，所述运笔图式是指笔状的图式。

另外，技术方案4的发明，在上述技术方案1至3中任意一方案所述的发明中，所述输入单元包含摄像单元。

为了实现上述目的，技术方案5的发明，在对所输入的图像的数据实施图像处理的计算机中，存储有用于使以下功能实现的程序：变换功能，将所输入的所述图像的数据变换成包含亮度分量的颜色空间的形态；选择功能，从由所述变换功能的实现而变换的所述图像的数据中选择多个像素的数据；决定功能，根据在所述图像中的每规定像素单位的水平方向以及垂直方向的边缘强度来决定用于实施纹理处理的运笔图式的描绘方向；第一纹理处理功能，针对由所述选择功能的实现而选择的所述多个像素的数据，以由所述决定功能的实现而决定的所述描绘方向的所述运笔图式来实施使用了这些像素的颜色的所述纹理处理；和存储控制功能，控制包含有由所述第一纹理处理功能的发挥而执行得到的处理结果的图像的数据的存储。

根据本发明，能够实现这样一种图像处理：作为用于根据原图像来得到艺术性高的图像的图像处理，考虑原图像整体来生成进一步提高艺术性的演绎效果的图像的数据。

附图说明

图1是表示本发明的一实施方式的摄像装置的硬件的构成的模块图。

图2是表示图1的摄像装置的功能构成的功能模块图。

图3是表示图2的摄像装置执行的油画风格图像生成处理的流程的一例的流程图。

图4是表示图3的油画风格图像生成处理的步骤S4的处理结果的一例的图。

图5是表示图3的油画风格图像生成处理的步骤S5的处理结果的一例的图。

图6是表示图3的油画风格图像生成处理的步骤S6的处理结果的一例的图。

图7是表示图3的油画风格图像生成处理的步骤S3的运笔图式决定处理所能够选择的运笔图式的一例的图。

图8是表示在图3的油画风格图像生成处理的步骤S3的运笔图式决定处理中，用于对边缘强度进行运算的索贝尔(Sobel)滤波的一例的图。

图9是表示，作为图3的油画风格图像生成处理的步骤S3的运笔图式决定处理的一部分，为了选择针对规定像素的描绘方向的运笔图式而所执行的描绘方向选择处理的流程的一例的流程图。

图10是表示，作为图3的油画风格图像生成处理的结果而得到的油画风格图像的一例的图。

图11是对图10的油画风格图像的一部分的区域进行放大后的图。

图12是对作为图10的油画风格图像的一部分的、与图10不同的区域进行放大后的图。

具体实施方式

以下，基于附图，说明本发明的一实施方式。

图1是表示作为本发明的图像处理装置的一实施方式的摄像装置1的硬件的构成的模块图。摄像装置1能够由诸如数字照相机构成。

摄像装置1包括：CPU(Central Processing Unit：中央处理器)11、ROM(Read Only Memory：只读存储器)12、RAM(Random Access Memory：随机存取存储器)13、总线14、输入输出接口15、摄像部16、操作部17、显示部18、存储部19、通信部20和驱动器21。

CPU11依照存储在ROM12中的程序来执行各种处理。或者，CPU11依照从存储部19调入到RAM13中的程序来执行各种处理。在RAM13中还存储CPU11执行各种处理所需要的数据。

例如，在本实施方式中，实现后述的图2的图像变换部52至存储控制部59的各功能的程序存储在ROM12或存储部19中。因此，CPU11通过执行依照这些程序的处理，能够实现后述的图2的图像变换部52至存储控制部59的各功能。

CPU11、ROM12以及RAM13经由总线14彼此连接。与总线14还连接有输入输出接口15。与输入输出接口15连接有摄像部16、操作部17、显示部18、存储部19以及通信部20。

摄像部16包括未图示的光学透镜部和图像传感器。

光学透镜部为了对被拍摄体进行摄影，由对光进行聚光的透镜，例如聚焦透镜(focus lens)或变焦透镜(zoom lens)等构成。聚焦透镜是使被拍摄体像成像在图像传感器的受光面上的透镜。变焦透镜是使焦点距离在一定范围内自由地变化的透镜。在光学透镜部中，根据需要，还设置对焦点、曝光、白平衡等的设定参数进行调整的周边电路。

图像传感器由光电变换元件、AFE(Analog Front End：模拟前端)等构成。光电变换元件由诸如CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)型的光电变换元件等构成。被拍摄体像从光学透镜部入射到光电变换元件。为此，光电变换元件每隔一定时间对被拍摄体进行光电变换(摄像)且积累图像信号，并将积累的图像信号作为模拟信号依次提供给AFE。

AFE对该模拟的图像信号执行A/D(Analog/Digital：模拟/数字)变换处理等的各种信号处理。通过此信号处理来生成数字信号，并作为摄像部16的输出信号进行输出。

此外，以下，将摄像部16的输出信号称作“摄像图像的数据”。因此，从摄像部16输出摄像图像的数据，并适当提供给CPU11等。

操作部17由各种按钮等构成，受理用户的指示操作。

显示部18显示各种图像。

存储部19由DRAM(Dynamic Random Access Memory：动态随机存取存储器)等构成，并临时存储从摄像部16输出的摄像图像。另外，存储部19还存储各种图像处理所需要的各种数据，例如，图像的数据，各种标记(flag)的值、阈值等。

通信部20控制经由包含互联网的网络来与其他装置(未图示)之间进行的通信。

在输入输出接口15上还适当安装有可拆卸介质31，该可拆卸介质31根据需要与驱动器21连接，并由磁盘、光盘、光磁盘、或者半导体存储器等构成。而且，根据需要，将从它们中读取的程序安装到存储部19中。另外，可拆卸介质31与存储部19相同，还能够存储在存储部19中所存储的图像数据等的各种数据。

图2是表示用于执行油画风格图像生成处理的摄像装置1的功能构成的功能模块图。

在此，油画风格图像生成处理是指：根据作为图像处理的对象而被输入的原始的图像(以下，称作“原图像”)的数据来生成作为艺术性高的图像的一种的、用笔描绘的像油画一样的图像(以下，称作“油画风格图像”)的数据为止的一系列的处理。

如图2所示，摄像装置1实现油画风格图像生成处理，包括：图像输入部51、图像变换部52、大尺寸处理对象选择部53、大尺寸描绘方向决定部54、大尺寸纹理(texture)处理部55、小尺寸处理对象选择部56、小尺寸描绘方向决定部57、小尺寸纹理处理部58、存储控制部59和图像存储部60。

图像输入部51在本实施方式中，在图1所示的构成中，由摄像部16、通信部20和驱动器21等构成，并输入原图像的数据。

即，在本实施方式中，不仅是从摄像部16输出的摄像图像的数据，而且从其他装置发送并由通信部20接收的图像的数据、或者由可拆卸介质31通过驱动器21读取的图像的数据等也作为原图像的数据而输入到图像输入部51中。

另外，在本实施方式中，图像变换部52至存储控制部59的每一个，在图1所示的构成之中，由诸如CPU11的硬件和存储在ROM12等中的程序(软件)的组合来构成。

另外，图像存储部60，在图1所示的构成之中，可由摄像装置1的RAM13或者存储部19、或者可拆卸介质31内的一区域构成。

图像变换部52执行将输入到图像输入部51的原图像的数据变换成包含亮度分量的颜色空间的形态这样的处理。以下，将这样的处理称作“图像变换处理”。

作为本实施方式的图像变换处理后的颜色空间，如图2所示，采用YUV空间。即，在本实施方式中，通过图像变换部52进行的图像变换处理来得到由亮度分量(以下，称作“Y分量”)、亮度分量与蓝色分量之间的色差分量(以下，称作“U分量”)、以及亮度分量与红色分量之间的色差分量(以下，称作“V分量”)构成的原图像的数据。

此外，以下，将集合了Y分量、U分量以及V分量的数据称作“YUV”分量。

大尺寸处理对象选择部53针对从图像变换部52输出的原图像的YUV分量，选择成为纹理处理的对象的多个像素的数据。

在此，“纹理处理”是指，将模仿了描绘油画的笔等的笔迹的纹理粘贴到图像的图像处理。在本说明书中，将此“模仿了笔等的笔迹的纹理”的图式称作“运笔图式”。

对于作为运笔图式而被采用的纹理的形状或大小等不作特别限定。然而，在本实施方式中，采用了描绘油画的笔状的运笔图式，且作为该笔状的运笔图式的描绘方向，预先规定了N种类的方向。在此，N为2以上的整数值，在本实施方式中，如后述的图7所示，将N设定为8。

为此，大尺寸描绘方向决定部54，根据在从图像变换部52输出的原图像的Y分量中的每规定像素单位的水平方向以及垂直方向的边缘强度，按每规定像素来从后述的图7所示的8种描绘方向之中逐类决定用于实施纹理处理的运笔图式的描绘方向。

大尺寸纹理处理部55针对大尺寸处理对象选择部53选择的多个像素的数据，在后述的图7所示的8种描绘方向之中，以由大尺寸描绘方向决定部54决定的种类的描绘方向的运笔图式来实施使用了这些像素的颜色的纹理处理。

通过对多个像素的数据的各个重复执行这样的纹理处理来得到油画风格图像的数据。

在此，上述的“使用了像素的颜色的纹理处理”不仅包含了粘贴像素的颜色本身的纹理的处理，还包含了将使用了像素的颜色信息进行运算的颜色的纹理进行粘贴的处理。

即，在本实施方式中，作为纹理的颜色，采用这样的颜色：对以纹理的亮度和粘贴纹理的像素位置的像素的颜色信息(YUV分量的各值)为基础进行运算的值，用加入了随机数的值来进行表现。

这样，通过不仅使用随机数，还兼用粘贴纹理的像素位置的像素的颜色信息，来选择随机颜色作为纹理的颜色，但所选择的颜色是与原图像的颜色相近的颜色。

关于大尺寸处理对象选择部53至大尺寸纹理处理部55的各处理的进一步详细情况，作为图3的步骤S3至步骤S7的处理，用图4至图9在后讲述。

这样的基于大尺寸处理对象选择部53至大尺寸纹理处理部55的第一次的纹理处理的结果是，得到油画风格图像的数据，但在本实施方式中，还以插补该油画风格图像的边缘为目的，执行第二次的纹理处理。

为了该第二次的纹理处理的执行，在摄像装置1中设置有：小尺寸处理对象选择部56、小尺寸描绘方向决定部57和小尺寸纹理处理部58。

小尺寸处理对象选择部56针对大尺寸处理对象选择部53至大尺寸纹理处理部55进行的第一次的纹理处理后的油画风格图像的数据，选择成为第二次的纹理处理的对象的多个像素的数据。

小尺寸描绘方向决定部57根据在从图像变换部52输出的原图像的Y分量中的每规定像素单位的水平方向以及垂直方向的边缘强度，按每规定像素来从后述的图7所示的8种描绘方向之中逐类决定用于实施纹理处理的运笔图式的描绘方向。但是，小尺寸描绘方向决定部57决定比由大尺寸描绘方向决定部54决定的运笔图式小的运笔图式的描绘方向。

小尺寸纹理处理部58针对由小尺寸处理对象选择部56选择的多个像素的数据，以由小尺寸描绘方向决定部57决定的描绘方向的运笔图式来实施使用了这些像素的颜色的第二次的纹理处理。

通过对多个像素的数据的每一个重复执行这样的第二次的纹理处理来得到插补了边缘的油画风格图像的数据。

关于小尺寸处理对象选择部56至大尺寸纹理处理部58的各处理的进一步详细情况，作为图3的步骤S8至步骤S12的处理，进行后述。

存储控制部59执行这样的控制处理(以下，称作“图像存储处理”)：将由小尺寸纹理处理部58实施了第二次的纹理处理的油画风格图像的数据存储到图像存储部60中。

接下来，关于具有这种功能构成的摄像装置1执行的油画风格图像生成处理进行说明。

图3是表示油画风格图像生成处理的流程的一例的流程图。

在步骤S1中，图像输入部51判定是否输入了原图像的数据。

在未输入原图像的数据的情况下，在步骤S1中判定为“否”，并再次执行步骤S1的判定处理。即，直到输入原图像的数据为止都重复步骤S1的判定处理，油画风格图像生成处理成为待机状态。

其后，若将原图像的数据输入图像输入部51，则在步骤S1中判定为“是”，处理进入到步骤S2。

在步骤S2中，图像变换部52执行针对从图像输入部51输入的原图像的数据的图像变换处理。这样，在本实施方式中，如上所述，得到原图像的YUV分量。

在步骤S3中，大尺寸描绘方向决定部54根据在步骤S2的图像变换处理后的原图像的Y成分中的每规定像素单位的水平方向以及垂直方向的边缘强度来决定用于实施纹理处理的运笔图式的描绘方向。

以下，将这样的步骤S3的处理称作“运笔图式决定处理”。关于运笔图式决定处理的详细情况，用图7至图9进行后述。

在步骤S4中，大尺寸处理对象选择部53从YUV分量中的多个行(line)中选择任意的行作为处理对象的行。

在步骤S5中，大尺寸处理对象选择部53从处理对象的行中选择处理对象的多个像素。例如，大尺寸处理对象选择部53使随机数产生，并从构成处理对象的行的像素串中选择多个像素。

在步骤S6中，大尺寸纹理处理部55基于由步骤S3的运笔图式决定处理决定的描绘方向的运笔图式、以及在步骤S5的处理中作为处理对象而被选择的多个像素，执行上述的纹理处理。

进一步地，参照图4至图6，关于步骤S4至S6的处理进行具体说明。

图4是表示步骤S4的处理结果的一例的图。图5是表示步骤S5的处理结果的一例的图。图6是表示步骤S6的处理结果的一例的图。图4至图6表示了与YUV分量对应的图像之中的一区域(相同区域)。在图4至图6中，1个正方形表示了一个像素。

在本例中，如图4的去空箭头所示，在步骤S4的处理中，将在图4的描绘范围内从上数第4行的行选择为处理对象的行。

如图5所示，在步骤S5的处理中，从构成该处理对象的行的像素串中选择4个像素P1至P4作为处理对象的像素。

在此，为了说明的方便，在步骤S3的运笔图式决定处理中，设定为：针对4个像素P1至P4的每一个，均选择了在后述的图7所示的8种描绘方向的运笔图式之中，描绘方向为45°的运笔图式。

在这种情况下，如图6所示，在步骤S6的处理中，在4个像素P1至P4的各像素位置上，分别粘贴作为描绘方向为45°的运笔图式的、具有基于4个像素P1至P4的各像素值(YUV分量的各值)进行运算的4个颜色的每一个的纹理T1至T4。

在此，在图6的例子中，为了说明方便，针对4个像素P1至P4的任意一个，采用了相同的描绘方向(45°)的运笔图式。

但是，实际上，由于4个像素P1至P4的每一个所粘贴的纹理的描绘方向在步骤S3的运笔决定处理中按每规定像素基于当时所选择的描绘方向来决定，故并不一定是相同的描绘方向。

以下，参照图7至图9，关于这样的步骤S3的运笔决定处理的详细情况进行说明。

图7是表示由步骤S3的运笔图式决定处理所能够选择的运笔图式的一例的图。

在本实施方式中，如图7所示，预先定义了相对于同图中右水平方向形成的角度为垂直(90°)、60°、45°、30°、水平(0°)、120°、135°以及150°的8种描绘方向的运笔图式。

因此，在本实施方式中，将用图3的步骤S2的处理执行了图像变换处理后的原图像的Y分量作为处理对象，来执行步骤S3的运笔决定处理，作为其结果，按每个Y分量的规定像素，分别选择图7所示8种描绘方向之中的规定的1种运笔图式。

具体而言，例如，图2的大尺寸描绘方向决定部54通过对用步骤S2的处理执行了图像变换处理后的原图像的Y分量实施缩小处理，来生成QVGA尺寸的数据。

接下来，大尺寸描绘方向决定部54按每个构成该QVGA尺寸的数据的各像素的数据，通过施加图8所示的索贝尔滤波来分别求取水平方向以及垂直方向的边缘强度。

图8是表示水平方向像素数×垂直方向像素数＝3×3的索贝尔滤波的一例的图。具体而言，图8(A)是表示垂直分量提取用索贝尔滤波的一例的图。图8(B)是表示水平分量提取用索贝尔滤波的一例的图。

大尺寸描绘方向决定部54将构成QVGA尺寸的数据的各像素的数据之中的规定的1个设定为要关注的关注像素的数据，作为处理的对象。

大尺寸描绘方向决定部54针对关注像素的数据，分别施加图8(A)所示的垂直分量提取用索贝尔滤波以及图8(B)所示的水平分量提取用索贝尔滤波。

此外，对关注像素的数据施加图8(A)所示的垂直分量提取用索贝尔滤波而得到的值是垂直方向的边缘强度。以下，将这样的垂直方向的边缘强度称作“Sobel(垂直)”或者仅称作“垂直分量”。

另外，对关注像素的数据施加图8(B)所示的水平分量提取用索贝尔滤波而得到的值是水平方向的边缘强度。以下，将这样的水平方向的边缘强度称作“Sobel(水平)”或者仅称作“水平分量”。

接下来，大尺寸描绘方向决定部54基于这样的Sobel(垂直)以及Sobel(水平)，在图7所示的8种描绘方向的运笔图式之中决定适合关注像素的数据的描绘方向的运笔图式。

以下，将这样的处理称作“描绘方向选择处理”。

图9是表示描绘方向选择处理的流程的一例的流程图。

在步骤S21中，大尺寸描绘方向决定部54判定水平或者垂直的其中一个的分量是否为0或者无穷大。

在水平或者垂直的其中一个的分量是0或者无穷大的情况下，在步骤S21中判定为“是”，处理进入到步骤S22。

在步骤S22中，大尺寸描绘方向决定部54判定水平方向是0还是无穷大。

在垂直分量是0或者无穷大的情况下，在步骤S22中判定为“否”，处理进入到步骤S23。

在步骤S23中，大尺寸描绘方向决定部54选择垂直的运笔图式。这样，描绘方向选择处理将结束。

与此对比，在水平分量是0或者无穷大的情况下，在步骤S22中判定为“是”，处理进入到步骤S24。

在步骤S24中，大尺寸描绘方向决定部54选择水平的运笔图式。这样，描绘方向选择处理将结束。

另外，在水平以及垂直的两分量既不是0且不能判断为无穷大的情况下，在步骤S21中判定为“否”，处理进入到步骤S25。

在步骤S25中，大尺寸描绘方向决定部54判定水平分量和垂直分量的绝对值是否均在阈值以下。

在水平分量和垂直分量之中至少其中一个的绝对值超过了阈值的情况下，在步骤S25中判定为“否”，处理进入到步骤S26。

在步骤S26中，大尺寸描绘方向决定部54判定水平分量和垂直分量两者的绝对值是否相等。

在水平分量和垂直分量两者的绝对值相等的情况下，在步骤S26中判定为“是”，处理进入到步骤S27。

在步骤S27中，大尺寸描绘方向决定部54选择60°的运笔图式。这样，描绘方向选择处理将结束。

与此对比，在水平分量和垂直分量两者的绝对值不相等的情况下，在步骤S26中判定为“否’，处理进入到步骤S28。

在步骤S28中，大尺寸描绘方向决定部54判定水平分量的绝对值是否更大。

在水平分量的绝对值更大的情况下，在步骤S28中判定为“是”，处理进入到步骤S29。

在步骤S29中，大尺寸描绘方向决定部54选择45°的运笔图式。这样，描绘方向选择处理将结束。

与此对比，在水平分量的绝对值更小的情况，即垂直分量的绝对值更大的情况下，在步骤S28中判定为“否”，处理进入到步骤S30。

在步骤S30中，大尺寸描绘方向决定部54选择30°的运笔图式。这样，描绘方向选择处理将结束。

另外，在水平分量和垂直分量两者的绝对值均在阈值以下的情况下，在步骤S25中判定为“是”，处理进入到步骤S31。

在步骤S31中，大尺寸描绘方向决定部54判定垂直分量是否略大。

具体而言，例如，在步骤S31中，判定是否满足下面的不等式(1)。

|Sobel(水平)|×3＜|Sobel(垂直)|×2        …(1)

在垂直分量略大的情况下，具体而言，例如，在满足上述不等式(1)的情况下，在步骤S31中判定为“是”，处理进入到步骤S32。

在步骤S32中，大尺寸描绘方向决定部54判定水平分量与垂直分量的乘积值是否为正。

在水平分量与垂直分量的乘积值为正的情况下，在步骤S32中判定为“是”，处理进入到步骤S27。

在步骤S27中，大尺寸描绘方向决定部54选择60°的运笔图式。这样，描绘方向选择处理将结束。

与此对比，在水平分量与垂直分量的乘积值为负的情况下，在步骤S32中判定为“否”，处理进入到步骤S33。

在步骤S33中，大尺寸描绘方向决定部54选择150°的运笔图式。这样，描绘方向选择处理将结束。

另外，在不能判断垂直分量略大的情况下，具体而言，例如，在不满足上述不等式(1)的情况下，在步骤S31中判定为“否”，处理进入到步骤S34。

在步骤S34中，大尺寸描绘方向决定部54判定水平方向是否略大。

具体而言，例如，在步骤S34中，判定是否满足下面的不等式(2)。

|Sobel(水平)|×2＞|Sobel(垂直)|×3    …(2)

在水平分量略大的情况下，具体而言，例如，在满足上述不等式(2)的情况下，在步骤S34中判定为“是”，处理进入到步骤S35。

在步骤S35中，大尺寸描绘方向决定部54判定水平分量与垂直分量的乘积值是否为正。

在水平分量与垂直分量的乘积值为正的情况下，在步骤S35中判定为“是”，处理进入到步骤S30。

在步骤S30中，大尺寸描绘方向决定部54选择30°的运笔图式。这样，描绘方向选择处理将结束。

与此对比，在水平分量与垂直分量的乘积值为负的情况下，在步骤S35中判定为“否”，处理进入到步骤S36。

在步骤S36中，大尺寸描绘方向决定部54选择120°的运笔图式。这样，描绘方向选择处理将结束。

另外，在不能判断水平分量略大的情况下，具体而言，例如，在不满足上述不等式(2)的情况下，在步骤S34中判定为“否”，处理进入到步骤S37。

在步骤S37中，大尺寸描绘方向决定部54判定水平分量与垂直分量的乘积值是否为正。

在水平分量与垂直分量的乘积值为正的情况下，在步骤S37中判定为“是”，处理进入到步骤S29。

在步骤S29中，大尺寸描绘方向决定部54选择45°的运笔图式。这样，描绘方向选择处理将结束。

与此对比，在水平分量与垂直分量的乘积值为负的情况下，在步骤S37中判定为“否”，处理进入到步骤S38。

在步骤S38中，大尺寸描绘方向决定部54选择135°的运笔图式。这样，描绘方向选择处理将结束。

如以上说明所述，在用步骤S2的处理执行图像变换处理后的原图像的Y分量被缩小，在得其结果的QVGA尺寸的数据之中将规定的像素的数据设定为关注像素的数据，并分别施加图8(A)所示的垂直分量提取用索贝尔滤波以及图8(B)所示的水平分量提取用索贝尔滤波。

将构成上述QVGA尺寸的数据的各像素的数据的每一个依此设定为关注像素的数据，并重复执行前面段落中记载的一系列处理。这样，按每个构成QVGA尺寸的数据的各像素的数据，各自独立选择规定的描绘方向的描绘图式。

即，在本实施方式中，按每QVGA尺寸的各像素，生成存储有表示各自所选择的描绘方向的描绘图式的信息的图表(map)。以下，将这样的图表称作“纹理选择用图表”。

大尺寸描绘方向决定部54通过对这样的QVGA尺寸的纹理选择用图表实施放大处理来生成与原图像相同尺寸的纹理选择用图表。这种与原图像相同尺寸的纹理选择用图表的各个数据表示了针对构成原图像的数据(YUV分量)的各像素的每一个所选择的描绘方向的运笔图式。

因此，在图3的步骤S6的处理中，针对在步骤S5的处理中作为处理对象被选择的多个像素的每一个，利用这种原图像的尺寸的纹理选择用图表来提取由步骤S3的运笔图式决定处理所选择的描绘方向的运笔图式。然后，使用各像素的颜色，将针对多个像素的每一个所提取的运笔图式的纹理粘贴到多个像素的各自的像素位置。

若这样的步骤S6的处理结束，则处理进入到步骤S7。

在步骤S7中，大尺寸纹理处理部55判定是否已结束大尺寸纹理处理。

在不满足结束大尺寸纹理处理的条件的情况下，在步骤S7中判定为“否”，处理返回到步骤S4，并重复在此之后的处理。

对结束大尺寸纹理处理的条件不作特定限定，能够采用诸如步骤S4至S6的处理的重复次数超过阈值等任意的条件。

直到满足结束大尺寸纹理处理的条件为止之间，重复S4至S7：“否”的循环处理，此时，在原图像的YUV分量之中将任意的行选择为处理对象的行，并分别执行：选择处理对象的多个像素的处理、和基于该多个像素的每一个的纹理处理。

其后，若满足结束大尺寸纹理处理的条件，则在步骤S7中判定为“是”，处理进入到步骤S8。

在处理进入到步骤S8的阶段，如上所述，得到了油画风格图像的数据，但在本实施方式中，作为以插补该油画风格图像的边缘为目的的第二次的纹理处理，执行步骤S8至S12的处理。

然而，作为第二次的纹理处理的步骤S8至S12的各处理是与作为第一次的纹理处理的步骤S3至S7的各处理大致相同的处理。

为此，以下，在作为第二次的纹理处理的步骤S8至S12的各处理之中，仅针对与作为第一次的纹理处理的步骤S3至S7的各处理不同的点进行说明。

作为第二次的纹理处理的步骤S8至S12的处理的动作主体与第一次的纹理处理不同，如下所示。

即，步骤S8的处理由小尺寸描绘方向决定部57执行，步骤S9以及S10的处理由小尺寸处理对象选择部56执行，步骤S11以及S12的处理由小尺寸纹理处理部58执行。

步骤S10的处理对象的像素的选择手法，直到使随机数产生并从构成处理对象的行的像素串中选择多个像素为止，与步骤S5的选择手法相同，但在进一步按以下来选择处理对象的像素方面不同。

即，在步骤S10的处理中，利用随机数所选择的时刻的多个像素仍是处理对象的候补。为此，小尺寸处理对象选择部56通过分别参照多个候补的各像素位置中的索贝尔滤波的结果来从多个候补中选拔处理对象的像素。

具体而言，例如，小尺寸描绘方向决定部57，作为步骤S8的运笔图式决定处理的一部分的处理，针对构成QVGA尺寸的数据的各像素的数据的每一个，分别施加图8(A)所示的垂直分量提取用索贝尔滤波以及图8(B)所示的水平分量提取用索贝尔滤波。

由于此时所得到的索贝尔滤波的结果是QVGA尺寸的数据，故小尺寸描绘方向决定部57通过对作为该索贝尔滤波的结果的QVGA尺寸的数据实施放大处理来生成与原图像相同尺寸的索贝尔滤波的结果。

为此，在步骤S10中，小尺寸处理对象选择部56在利用随机数选择多个处理对象的候补后，从这种与原图像相同尺寸的索贝尔滤波的结果之中各自提取多个候补的各像素位置上的索贝尔滤波的结果。

然后，小尺寸处理对象选择部56，在多个候补的各像素位置上的索贝尔滤波的结果之中，将具有水平分量和垂直分量的绝对值均比阈值高的索贝尔滤波的结果的像素位置的候补选拔为处理对象的像素。

此外，用于此选拨的阈值与图9的描绘方向选择处理用到的阈值是独立的，故可以是相同的值，也可以是不同的值。

关于步骤S11的第二次的纹理处理，在对处理对象的像素粘贴纹理的点上，与步骤S6的第一次的纹理处理相同。但是，在以下这点上与步骤S6的第一次的纹理处理不同：第二次的纹理处理用到的不是第一次的纹理处理用到的纹理本身，而是对其大小进行了缩小的纹理。

若这样的步骤S11的第二次的纹理处理结束，则处理进入到步骤S12。

在步骤S12中，小尺寸纹理处理部58判定是否已结束小尺寸纹理处理。

在此，对结束小尺寸纹理处理的条件不作特定限定，例如，能够采用步骤S9至S12的处理的重复次数超过阈值等的任意的条件。这种情况下的重复次数是与在结束步骤S7的大尺寸纹理处理条件下所采用的重复次数独立的，故可以是相同的值，也可以是不同的值。

直到满足结束小尺寸纹理处理的条件为止之间，重复S9至S12：“否”的循环处理，此时，在原图像的YUV分量之中将任意的行选择为处理对象的行，并分别执行：选择处理对象的多个像素的处理、和基于该多个像素的每一个的第二次的纹理处理。

其后，若满足结束小尺寸纹理处理的条件，则在步骤S12中判定为“是”，处理进入到步骤S13。

在步骤S13中，存储控制部59执行将这样实施了第二次的纹理处理而得到其结果的油画风格图像的数据存储到图像存储部60中的图像存储处理。这样，油画风格图像生成处理将结束。

图10是表示作为油画风格图像生成处理的结果而得到的油画风格图像的一例的图。图11是对图10的油画风格图像的一部分区域进行放大的图。图12是对作为图10的油画风格图像的一部分的、与图11不同的区域进行放大的图。

若针对包含有以机动车为被拍摄体的原图像(未图示)的数据，实施图3的油画风格图像生成处理，则生成图10所示的油画风格图像71的数据，并存储到图像存储部60(图2)中。

油画风格图像71之中的区域81，如图11的放大图所示，主要是仅实施了第一次的纹理处理的区域。在区域81中，由索贝尔滤波进行边缘检测，可知垂直分量以及水平分量选择了更加适当的纹理进行粘贴。

另一方面，在油画风格图像71的区域82之中，在机动车的本体的边界部分，如图12的放大图所示，可知纹理的尺寸变小，即除了第一次的纹理处理，还实施了以插补边缘为目的的第二次的纹理处理。

这样，可知在本实施方式中，仅在边缘部分附近实施第二次的纹理处理，从而仅在边缘部分追加纹理。

另外，从图10所示的油画风格图像71的整体可知，在本实施方式中，由于采用了在原图像(未图示)上粘贴纹理的手法，故即使减小纹理密度，也能够表现适当的油画风格。即，虽未图示，但若考虑在白色背景上粘贴纹理，则以与本实施方式相同的低纹理密度，未粘贴纹理的部分会醒目。与此对比，从图10所示的油画风格图像71的整体可知，若执行本实施方式的油画风格图像生成处理，则即使是未粘贴纹理的部分，由于残留了原图像的颜色，故未粘贴该纹理的部分不会醒目。此外，纹理密度的降低会带来处理速度的提高。

这样，通过执行本实施方式的油画风格图像生成处理，能够考虑原图像整体的水平以及垂直的边缘强度来生成进一步提高艺术性的演绎效果的油画风格图像71等的数据。

此外，本发明不局限于所述实施方式，在能够实现本发明的目的的范围内的变形、改良等均包含在本发明中。

例如，作为图2的大尺寸处理对象选择部53、大尺寸纹理处理部55、小尺寸处理对象选择部56以及小尺寸纹理处理部58的处理对象，在所述实施方式中，采用了与原图像相同尺寸的数据，但对此不作特别限定。

具体而言，存在诸如这样的情况：限制了图1的摄像装置1的RAM13等的存储器容量，从而处理尺寸大的纹理变得困难，而另一方面，为了表现用笔描绘后的样子，需要处理一定大小以上的尺寸的纹理。在这种情况下，可以对从图像变换部52输出的YUV分量实施缩小处理，并将得到其结果的缩小图像的数据提供给大尺寸处理对象选择部53。但是，在这种情况下，通过对小尺寸纹理处理部58的输出数据实施放大处理来使图像尺寸回到原图像的尺寸。

另外，例如，还可以根据需要来追加除图2所示的功能模块以外的功能模块。

具体而言，例如，如上所述，在对处理对象的图像的数据实施缩小处理后实施放大处理那样的情况下，有在放大处理后的图像中产生锯齿(jaggy)的情况。为此，为了去除这样的锯齿，在从小尺寸纹理处理部58输出的油画风格图像的YUV分量之中，针对Y分量追加实施DMD(Directional Median Filter：方向性中值滤波)的功能模块。

另外，例如，大尺寸描绘方向决定部54或小尺寸描绘方向决定部57实施的边缘强度的计算手法，在所述实施方式中，为了提高精度，采用了对从图像变换部52输出的Y分量进行了缩小的产物施加索贝尔滤波的手法，但并不局限于此。

具体而言，例如，可以采用这样的手法：对从图像变换部52输出的Y分量不进行缩小而直接用其来施加索贝尔滤波。在这种情况下，与人工地实施更大尺寸的索贝尔滤波等效。另外，处理速度也会更快。

另外，例如，在需要高速化的情况下，可以对从图像变换部52输出的Y分量或者对该Y分量进行了缩小的产物采用这样的手法：通过拉普拉斯(Laplacian)滤波等除索贝尔滤波以外的任意的滤波来求边缘强度。

另外，例如，在所述实施方式中，执行了两次的纹理处理，但纹理处理的次数并不受此限定。即，还可以根据需要执行1次纹理处理，或者反之，还可以执行3次以上的纹理处理。

另外，例如，在上述的实施方式中，关于应用了本发明的图像处理装置，作为数字照相机等的摄像装置而构成的例子进行了说明。但是，本发明并不特别限定是摄像装置，与有无摄像功能无关，能够应用在可执行上述的图像处理的电子设备中。具体而言，例如，本发明能够应用在个人计算机、摄像机、便携式导航装置、可移动型游戏机等。

关于上述一系列的处理，能够使硬件来执行，也能够使软件来执行。

在使软件执行上述一系列的处理的情况下，构成此软件的程序从互联网或记录介质安装到计算机等中。计算机可以是嵌入到专用的硬件中的计算机。另外，计算机还可以是通过安装各种程序而能够执行各种功能的计算机，例如通用个人计算机。

这样的包含程序的记录介质，不仅可以由用于向用户提供程序、与装置主体独立分布的图1的可拆卸介质31构成，还可以由在预先嵌入到装置主体的状态下提供给用户的记录介质等构成。可拆卸介质由诸如磁盘(包含软盘)、光盘或者光磁盘等构成。光盘由诸如CD-ROM(Compact Disk Read Only Memory：只读存储光盘)、DVD(Digital Versatile Disk：数字多功能光盘)等构成。光磁盘由MD(Mini-Disk：迷你光盘)等构成。另外，在预先嵌入到装置主体的状态下提供给用户的记录介质由例如记录有程序的图1的ROM12或包含在图1的存储部19中的硬盘等构成。

此外，在本说明书中，关于记述记录在记录介质中的程序的步骤，包含沿此顺序按时间序列进行的处理，但也并不一定非要按时间序列进行处理，还可以包含并列地或者单独地进行执行的处理。

Claims (4)

1.一种图像处理装置，其特征在于，包括：

输入单元，其输入图像的数据；

变换单元，其将由所述输入单元输入的所述图像的数据变换成包含亮度分量的颜色空间的形态；

选择单元，其从由所述变换单元变换的所述图像的数据中选择多个像素的数据；

第一决定单元，其根据在所述图像中的每规定像素单位的水平方向以及垂直方向的边缘强度来决定用于实施纹理处理的运笔图式的描绘方向；

第一纹理处理单元，其针对由所述选择单元选择的所述多个像素的数据，以由所述第一决定单元决定的所述描绘方向的所述运笔图式来实施使用了该像素的颜色的所述纹理处理；和

存储控制单元，其控制存储包含有所述第一纹理处理单元实施了处理的处理结果的图像的数据。

2.如权利要求1所述的图像处理装置，其特征在于，还包括：

第二决定单元，其根据在所述图像中的每规定像素单位的水平方向以及垂直方向的边缘强度来决定比所述第一决定单元所决定的所述运笔图式小的运笔图式的描绘方向；和

第二纹理处理单元，其针对由所述第一纹理处理单元实施处理后的图像的数据，以由所述第二决定单元决定的所述描绘方向的所述运笔图式来实施所述纹理处理，

其中，所述存储控制单元，除了控制存储包含有所述第一纹理处理单元实施了处理的处理结果的图像的数据，还控制存储包含有所述第二纹理处理单元实施了处理的处理结果的图像的数据。

3.如权利要求1所述的图像处理装置，其特征在于，

所述运笔图式是笔状的图式。

4.如权利要求1所述的图像处理装置，其特征在于，

所述输入单元包含摄像单元。

Images