CN102760298A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明公开了图像处理装置、图像处理方法和程序。提供了一种图像处理装置，包括：预放大图像处理单元，该预放大图像处理单元基于对应于图像信号的一个或多个流向量来处理图像信号；以及放大处理单元，该放大处理单元基于一个或多个流向量来放大由预放大图像处理单元所处理的图像信号所指示的图像。

Description

图像处理装置、图像处理方法和程序

技术领域

本公开涉及图像处理装置、图像处理方法和程序。

背景技术

近些年，提出了一些图像处理方法，这些图像处理方法为图像的每个区域定义了一组流向量(flow vector)，将要处理的图像信号指示该图像，并且，其基于流向量向图像信号执行图像处理。通过如上所述地基于流向量向图像信号执行图像处理，其变得可以为由图像信号所指示的图像给出绘画效果(painterly effect)(画笔笔触的效果)，例如就好像艺术画家已经绘制了图像一样。

作为涉及对应于一组流向量的图像处理的技术，存在日本专利申请早期公开No.2002-505784(US 6011536)中所描述的技术，该技术将绘画笔触图样(对应于流向量)给图像，并且，存在描述在以下非专利文献中的技术：

1.Henry Kang、Seungyong Lee、Charles K.Chui，“Flow-based ImageAbstraction”，IEEE TRANSACTIONS ON VISUALIZATION ANDCOMPUTER GRAPHICS，VOL 15，NO.1，2009年1/2月，第62页-第76页。

2.Jan Eric Kyprianidis、Henry Kang，“Image and Video Abstractionby Cocherence-Enhancing Filtering”，EUROGRAPHICS 2011，卷30(2011)，号码2。

3.Cabral，B.和Leedom，L.C.“Imaging vector fields using line integralconvolution”，第20届计算机图形和交互技术年会的会议集，1993，第263页-第270页。

发明内容

例如，如在日本专利申请早期公开No.2002-505784(US 6011536)中所描述的和如以上非专利文献1-3中所述的，通过利用涉及基于流向量的图像处理的技术，可以将将要处理的图像信号所指示的图像转换成添加了画笔笔触的效果的图像(以下，还称为“绘画图像”)，就好像艺术画家已经绘制了图像一样。当使用了如上所述的涉及基于流向量的图像处理的技术时，例如将由将要处理的图像信号所指示的图像转换成绘画图像所必须的计算量变大。因此，当使用了如上所述的涉及基于流向量的图像处理的技术时，当许多像素变大时，例如处理时间变长。

在本公开中，提出了新型和改进的图像处理装置、图像处理方法和程序，其能够将由将要处理的图像信号所指示的图像转换成具有比基于流向量所处理的图像的像素更多的像素的图像。

根据本公开的实施例，提供了一种图像处理装置，包括：预放大图像处理单元，该预放大图像处理单元基于对应于图像信号的一个或多个流向量来处理所述图像信号；以及放大处理单元，该放大处理单元基于所述一个或多个流向量来放大由所述预放大图像处理单元所处理的图像信号所指示的图像。

根据本公开的另一实施例，提供了一种图像处理方法，包括：基于对应于图像信号的一个或多个流向量来处理图像信号；并且，基于所述一个或多个流向量来放大由已处理的图像信号所指示的图像。

根据本公开的又一实施例，提供了一种程序，该程序导致计算机执行：基于对应于图像信号的一个或多个流向量，处理图像信号；并且，基于所述一个或多个流向量，放大由已处理的图像信号所指示的图像。

根据本公开，图像信号将要处理的图像可被转换成具有比基于流向量所处理的图像的像素更多的像素的图像。

附图说明

图1是示出了根据第一实施例的图像处理装置的配置的示例的框图；

图2是示出了由根据第一实施例的图像处理装置所执行的处理的示例的流程图；

图3是示出了包括在根据第一实施例的图像处理装置中的检测单元的配置示例的说明性示图；

图4是示出了由包括在根据第一实施例的图像处理装置的检测单元所执行的处理的示例的流程图；

图5是示出了包括在根据第一实施例的图像处理装置中的图像处理单元的配置示例的说明性示图；

图6是示出了由包括在根据第一实施例的图像处理装置中的图像处理单元所执行的处理的示例的流程图；

图7是示出了包括在根据第一实施例的图像处理装置中的放大处理单元的配置示例的说明性示图；

图8A至图8D是示出了由包括在根据第一实施例的图像处理装置中的放大处理单元所执行的对流向量的内插处理的示例的说明性示图；

图9是示出了由包括在根据第一实施例的图像处理装置中的放大处理单元所执行的处理的示例的流程图；

图10是示出了根据第二实施例的图像处理装置的配置示例的框图；

图11是示出了包括在根据第二实施例的图像处理帧装置中的放大处理单元的配置示例的说明性示图；

图12是示出了由包括在第二实施例的图像处理装置中的放大处理单元所执行的处理的示例的流程图；

图13是示出了根据第二实施例的图像处理装置的处理的示例的流程图；

图14是示出了根据第三实施例的图像处理装置的配置示例的框图；以及

图15是示出了包括在根据第三实施例的图像处理装置中的流向量更新单元的处理的示例的流程图。

具体实施方式

以下，将参照附图来详细描述本公开的优选实施例。注意，在本说明书和附图中，具有本质上相同功能和结构的结构元件被用相同的参考标号表示，并且，省略了对这些结构元件的重复说明。

以以下次序来执行说明。

1.根据本实施例的图像处理方法

2.根据本实施例的图像处理装置

3.根据本实施例的程序

(根据本实施例的图像处理方法)

在说明根据本实施例的图像处理装置的配置之前，说明根据本实施例的图像处理方法。以下，通过假定根据本实施例的图像处理装置执行根据本实施例的图像处理方法来说明该图像处理方法。

通过假定根据本实施例的图像处理装置处理指示图像(静止图像或运动图像，并且，以下同样适用)的图像信号，以下执行了该说明。在以下的说明中，由根据本实施例的图像处理装置所处理的图像信号还被表述为“输入图像信号”，并且，已经由根据本实施例的图像处理装置所处理的图像信号还被表述为“输出图像信号”。

作为根据本实施例的输入图像信号，存在图像信号，其作为接收(直接地，或经由机顶盒等间接地)从电视塔等发送的广播波并解码所接收的广播波的结果，该图像信号由根据本实施例的图像处理装置所获得。根据本实施例的图像处理装置还可接收例如经由网络(或直接地)从外部装置发送的图像信号并将所接收的图像信号作为输入图像信号处理。根据本实施例的图像处理装置可被布置为将通过解码存储在例如存储单元(将稍后描述)和可从图像处理装置分离的外部记录介质中的图像数据所获得的图像信号作为输入图像信号来处理。当根据本实施例的图像处理装置包括拾取图像的图像拾取单元(将稍后描述)时，即，当根据本实施例的图像处理装置用作图像拾取装置时，根据本实施例的图像处理装置还可被布置为例如将对应于由图像拾取单元(将稍后描述)所拾取的图像作为输入图像信号处理。

如上所述，作为将由将要处理的图像信号所指示的图像转换成绘画图像的技术，存在公开在日本专利申请早期公开No.2002-505784(US6011536)中和上述非专利文献中的技术。但是，当使用了涉及基于流向量的图像处理的技术时，当像素数增多时，例如，执行处理所必须的计算量也增加了。因此，当像素数增加时，处理时间也变长。因此，例如，当使用了应用了涉及基于上述流向量的图像处理的技术的图像处理装置时，存在如下风险：用于图像处理装置的用户等待时间随着执行基于流向量的图像处理所必须的时间的增加而增加。因此，例如，当使用了涉及基于上述流向量的图像处理的技术时，存在如下可能：用户的方便度降低了。

作为将要向图像信号执行的处理，通常执行放大由将要处理的图像信号所指示的图像的处理。作为放大图像的技术，存在公开在日本专利No.4150947中的技术以及在以下非专利文献中所描述的技术：

4.Wing-Shan Tam、Chi-Wah Kok、Wan-Chi Siu，“A MODIFIEDEDGE DIRECTED INTERPOLATION FOR IMAGES”，第17届欧洲信号处理会议(EUSIPCO 2009)，2009年8月24-28，第283页-第287页。

5.Xin Li Micheael T.Orchard，“New Edge-Directed Interpolation”，IEEE TRANSACTIONS ON IMAGE PROCESSING，VOL 10，NO.10，2001年10月，第1521页-第1527页。

作为用于获得具有比基于流向量所处理的图像的像素数更大的像素数同时限制执行基于一组流向量的图像处理所必须的计算量的增加的方法，存在如下方法，其通过例如向具有比所希望的像素数更小的像素数的图像执行基于流向量的图像处理来在基于流向量处理图像之后放大图像。当使用该方法时，通过向具有更小数目的像素的图像执行基于流向量的图像处理，可以缩短执行基于流向量的图像处理所必须的时间。另外，当涉及关于如在日本专利No.4150947和非专利文献4和5中所述的对图像的放大的技术的处理例如在图像基于流向量被处理之后被执行到该图像而非简单的放大处理被执行到该图像时，其变得可以防止诸如图像中的模糊之类的图像质量的恶化，例如，当简单的放大处理被执行到图像时，可能出现该图像中的模糊。

因此，通过利用如上所述的方法，存在如下可能：由将要被处理的图像信号所指示的图像可被转换成比基于流向量所处理的图像的像素数更大的像素数的图像，同时减小执行基于流向量的图像处理所必须的时间。

但是，根据涉及如在日本专利No.4150947和非专利文献4和5中所描述的对图像的放大的技术，例如，对用于检测图像的方向分量的方向分量的检测处理是必须的。因此，在使用了上述方法的情形中，存在如下风险：整个处理所必须的时间不能如所期望地被缩短(或增加)，因为执行对图像的方向分量的检测处理花费时间，即便当执行基于流向量的图像处理所必须的时间可被缩短时也是如此。

另外，例如当使用了涉及如在日本专利No.4150947和非专利文献4和5中所描述的对图像的放大的技术时，存在如下风险：由于包括在将要放大的图像中的噪声等的影响，图像的方向分量不能被正确地检测到。当如上所述图像的方向分量不能够被正确地检测到时，优选的内插结果不能被包含在放大处理中。另外，例如当涉及如上所述的放大处理的技术被用于例如基于由将图像转换成绘画图像所获得的图像的流向量所处理的图像时，例如存在如下可能：对应于流向量的方向分量不能被检测到。因此，例如，存在如下风险：当使用涉及如上所述的放大处理的技术时，图像质量恶化。

如上所述，即便当使用了上述方法时，并不一定可能将由将要处理的图像信号所指示的图像转换成具有比基于流向量所处理的图像的像素数更大的像素数的图像，同时缩短处理时间并防止图像质量恶化。

[对根据本实施例的图像处理方法的概述]

因此，根据本实施例的图像处理装置基于对应于由将要处理的图像信号所指示的图像的流向量来执行图像处理(预放大图像处理)。然后，根据本实施例的图像处理装置通过利用在基于一组流向量的图像处理(放大处理)中所使用的流向量来将基于流向量所处理的图像放大为具有所希望的像素数的图像。

在该情形中，例如，对应于根据本实施例的将要处理的图像信号所指示的流向量指针对每个像素定义了其方向的向量或针对包括多个像素的每个区域定义了其方向的向量。根据本实施例的流向量可以是基于图像信号所计算的向量，或可以是例如基于用户操作所设定的向量。作为根据本实施例的流向量，例如，是单位模(norm)向量。不用说，根据本实施例的流向量并不限于单位模向量。通过用图像的水平方向和流向量之间的角度(例如，逆时针方向的角度)来表述流向量而非将流向量表述为向量，根据本实施例的流向量还可被布置为由标量(scalar quantity)来表述。

如上所述，根据本实施例的图像处理装置可通过执行(1)基于流向量的图像处理和(2)如根据本实施例的根据图像处理方法的处理的扩展处理来将由将要处理的图像信号所指示的图像转换成比基于流向量所处理的图像的像素数更大的像素数的图像。

在(1)的处理(基于流向量的图像处理)中，根据本实施例的图像处理装置向具有比由(2)的处理(放大处理)所获得的所希望的像素数更小的像素数的图像执行基于流向量的图像处理。因此，当使用上述方法时，以类似的方式，根据本实施例的图像处理装置还可减少执行基于流向量的图像处理所必须的计算量。因此，还可减少执行基于流向量的图像处理所必须的时间。

在(2)的处理(放大处理)中，通过利用在(1)的处理(基于流向量的图像处理)中所使用的流向量，根据本实施例的图像处理装置还执行处理。因此，例如，不同于涉及如在日本专利No.4150947和非专利文献4和5中所描述的放大处理的技术的情形，根据本实施例的图像处理装置并不必新近检测图像的方向分量。因此，不同于使用了涉及放大处理的技术的情形，处理时间并为被延长以检测图像的方向分量。例如，不同于使用了涉及如上所述的放大处理的技术的情形，因为根据本实施例的图像处理装置通过利用在(1)的处理中所使用的流向量来执行放大处理，因此，不存在降低图像质量的风险。

因此，通过执行(1)的处理(基于流向量的图像处理)和(2)的处理(放大处理)，根据本实施例的图像处理装置可将由将要处理的图像信号所指示的图像转换成具有比基于流向量所处理的图像的像素数更大的像素数的图像，同时缩短处理时间并防止图像质量恶化。

以下说明了根据本实施例的图像处理装置的配置示例，并且，还说明了根据本实施例的根据图像处理方法的处理的详细示例。

(根据本实施例的图像处理装置)

[1]根据第一实施例的图像处理装置

图1是示出了根据第一实施例的图像处理装置100的配置示例的框图。图像处理装置100包括检测单元102、图像处理单元104(预放大图像处理单元)和放大处理单元106。

图像处理装置100还可被布置为包括控制单元(未示出)、ROM(只读存储器，未示出)、RAM(随机访问存储器，未示出)、存储单元(未示出)、用户可操作的操作单元(未示出)、在显示屏上显示各种屏幕的显示单元(未示出)和与外部装置进行通信的通信单元(未示出)。图像处理装置100具有由例如作为数据传输路径的总线彼此相连接的上述组成元件。

控制单元(未示出)控制由MPU(微处理单元)和各种处理电路所组成的图像处理装置100的整体。控制单元(未示出)还可被布置为扮演检测单元102、图像处理单元104和放大处理单元106的角色。控制单元(未示出)还可被布置为扮演向用根据本实施例中的图像处理方法的处理所执行的图像信号执行处理的角色，诸如，对由放大处理单元106所处理的图像信号(输出图像信号)进行编码、将已编码的图像信号记录在记录单元(未示出)中和/或导致由图像信号所指示的图像被显示在显示单元(未示出)上或外部显示装置的显示屏上。

ROM(未示出)存储数据，诸如，程序和由控制单元(未示出)所使用的算术参数。RAM(未示出)临时存储由控制单元(未示出)所执行的程序等。

存储单元(未示出)是包括在图像处理单元100中的存储功能，并且，例如存储各种数据，诸如，图像数据和应用。存储单元(未示出)包括诸如硬盘之类的磁记录介质和诸如EEPROM(电可擦除和可编程只读存储器)和例如闪存之类的非易失性存储器。存储单元(未示出)可被布置为可从图像处理装置100分离。

操作单元(未示出)包括诸如按钮、方向键和转点通(jog dial)之类的旋转类型选择器或这些单元的组合。另外，操作单元(未示出)可以是操作位置检测设备，诸如，触摸板，其能够检测到用户触摸的操作位置。图像处理装置100还可被连接至操作单元设备(例如，键盘和鼠标)，以作为例如图像处理装置100的外部装置。

例如，显示单元(未示出)包括液晶显示器(LCD)和有机EL显示器(有机电发光显示器，或还称为OLED显示器(有机发光二极管显示器))。例如，显示单元(未示出)还可以是可显示并可进行用户操作的设备，诸如，触摸板。图像处理装置100还可被连接至作为图像处理装置100的外部装置的显示设备(例如，外部显示器)，不管是否存在显示单元(未示出)。

通信单元(未示出)是包括在图像处理装置100中的通信功能，并且，其通过无线/经由网络通过有线(直接地)执行与外部装置的通信。例如，通信单元(未示出)包括通信天线和RF(射频)电路(无线通信)、IEEE802.15.1端口和发送/接收电路(无线通信)、IEEE802.11b端口和发送/接收电路(无线通信)、或LAN(局域网)和发送/接收电路(有线通信)。根据本实施例的网络包括诸如LAN和WAN(广域网)之类的有线网络、诸如经由基站的无线WAN(WWAN：无线广域网)之类的无线网络、或使用诸如TCP/IP(传输控制协议/因特网协议)之类的通信协议的因特网。

图2是示出了由根据第一实施例的图像处理装置100所执行的处理的示例的流程图。

图像处理装置100基于输入图像信号来获得一组流向量(S100)。在图1中，检测单元102扮演执行步骤S100的处理的角色。

在流向量在步骤S100处被获得之后，图像处理装置100通过使用流向量来处理输入图像信号(S102)。步骤S102的处理对应于上述(1)的处理(基于流向量的图像处理)。在图1中，图像处理单元104扮演执行步骤S102的处理的角色。

在步骤S102的处理被执行之后，图像处理装置100通过利用在步骤S100处所获得的流向量来放大由在步骤S102处所处理的图像信号所指示的图像。步骤S104的处理对应于上述(2)的处理(放大处理)。在图1中，放大处理单元106扮演处理步骤S104的处理的角色。

根据第一实施例的图像处理装置100例如通过执行图2中所示的处理来实现根据本实施例的图像处理方法。由根据第一实施例的图像处理装置100所执行的处理并不限于图2中所示的处理。例如，当通过利用诸如触摸板之类的操作位置检测设备或诸如鼠标之类的操作输入设备来基于用户操作(例如，追踪操作)设定流向量时，图像处理装置100并不必执行步骤S100的处理。在以上的情形中，图像处理装置100通过利用所设定的流向量来执行步骤S102的处理和步骤S104的处理。

图像处理装置100通过从诸如服务器之类的外部装置获得指示对应于输入图像信号的一组流向量的流向量信息并通过利用由所获得的流向量信息所指示的流向量还可执行步骤S102的处理和步骤S104的处理。例如，图像处理装置100通过从输入图像信号获得包括在输入图像信号中的元信息并通过将所获得的元信息发送到外部装置来从外部装置获得对应于输入图像信号的一组流向量的信息。

通过说明根据图1中所示的第一实施例的图像处理装置100的配置示例，以下说明了图像处理装置100的处理(根据图像处理方法的处理)的示例。

检测单元102基于输入图像信号来检测对应于输入图像的一组流向量。更具体地，检测单元102例如基于输入图像信号来获得由输入图像信号所指示的图像(以下，还称为“输入图像”)的每个像素的方向分量(流向量)。检测单元102输出指示每个所获得的像素的方向分量的流向量信息。

[检测单元102的配置示例]

图3是示出了包括在根据第一实施例的图像处理装置100中的检测单元102的配置示例的说明性示图。检测单元102还包括索贝尔滤波器(Sobel filter)110、方向向量计算单元112和平滑处理单元114。

索贝尔滤波器110是可检查亮度的梯度的滤波器。例如，索贝尔滤波器110将方程1中所示的水平方向上的系数矩阵T1和方程2中所示的垂直方向上的系数矩阵T2分别乘以位于输入图像的聚焦像素中心附近的3×3像素的像素值。然后，索贝尔滤波器110将通过将相乘结果相加所获得的值作为亮度梯度向量g输出。在图3中，水平方向上的处理结果(水平方向上的亮度梯度)被表达为“dx”，而垂直方向上的处理结果(垂直方向上的亮度梯度)被表达为“dy”。

$T1=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]...$ 方程1

$T2=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]...$ 方程2

在图3中，虽然检测单元102被示出为具有包括索贝尔滤波器110的配置，但是，检测单元102的配置并不限于该配置。例如，根据本实施例的检测单元102可被布置为包括诸如普利维特滤波器(Prewitt filter)之类的其他滤波器，而非索贝尔滤波器110。

方向向量计算单元112基于从索贝尔滤波器110所发送的亮度梯度g来计算每个像素的方向向量t。在该情形中，方向向量t是与亮度梯度向量g正交的单位向量。即，方向向量t对应于表示亮度梯度最小的方向的方向向量。

更具体地，方向向量计算单元112通过执行例如以下所示的方程3所表示的计算来计算方向向量t。方向向量计算单元112的方向向量t的计算方法并不限于方程3中所示的计算方法。例如，虽然执行了归一化的示例被由方程3表示，但是，方向向量计算单元112并不必执行归一化。

$t=\frac{1}{\left|g\right|}\·(\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]\·g)...$ 方程3

例如，平滑处理单元114包括系数计算单元116、卷积处理单元118和归一化处理单元120，并且，基于从索贝尔滤波器110发送的输出值g和从方向向量计算单元112发送的方向向量t，输出单位模流向量。系数计算单元116在像素位置处获得滤波器系数w。虽然系数计算单元116通过利用例如在非专利文献1中所描述的“边缘正切流”算法来计算滤波器系数w，但是，计算方法并不限于上述。卷积处理单元118基于所获得的系数w来平滑方向向量t，并且，归一化处理单元120对由卷积处理单元118所平滑的值进行归一化。

基于上述由平滑处理单元114所执行的平滑，检测单元102可获得更加稳定的方向向量(流向量)。通过利用稳定的流向量来执行(1)的处理(基于流向量的图像处理)，例如，用以获得绘画图像的画笔笔触的方向变得稳定。因此，变得可以进一步改善用于将输入图像转换成绘画图像的绘画图像转换处理(当该图像处理是用于将图像转换成绘画图像的绘画图像转换处理时)。

例如，通过图3中所示的配置，对应于第一实施例的检测单元102基于输入图像信号来检测对应于输入图像的一组流向量。以下，参照图4说明了图3中所示的检测单元102的一系列处理。图4是示出了由包括在根据第一实施例的图像处理装置100中的检测单元102所执行的处理的示例的流程图。

检测单元102基于输入图像信号来获得亮度梯度向量g(S200)。在图3中，索贝尔滤波器110扮演执行步骤S200的处理的角色。

在亮度梯度向量g在步骤S200处被获得之后，检测单元102从亮度梯度向量g计算方向向量t(S202)。在图3中，方向向量计算单元112扮演执行步骤S202的处理的角色。

在方向向量被在步骤S202中计算之后，检测单元102在像素位置P处获得滤波器系数(S204)。在图3中，系数计算单元116扮演执行步骤S204的处理的角色。像素位置P可由具有作为原点的特定像素位置的坐标所表示。

在像素位置P处的滤波系数被在步骤S204处获得之后，检测单元102平滑在像素位置P处的方向向量t(S206)。在图3中，卷积处理单元118扮演执行步骤S206的处理的角色。

在像素位置P处的方向向量t被在步骤S206处平滑之后，检测单元102对已平滑的方向向量t进行归一化(S208)。在图3中，归一化处理单元120扮演执行步骤S208的处理的角色。虽然检测单元102在每次当步骤S208的处理被执行时输出例如归一化的方向向量t’(流向量)，但是，由检测单元102所执行的处理并不限于上述。例如，检测单元102可被布置为当判定平滑在稍后描述的步骤S210处完成时输出对应于每个像素位置的归一化的方向向量t’(流向量)。

在已平滑的方向向量t被在步骤S208处归一化之后，检测单元102判定对对应于输入图像的所有像素的方向向量t的平滑是否完成(S210)。在图3中，平滑单元114(例如，包括在平滑单元114中的处理控制电路(未示出))例如扮演执行步骤S210的处理的角色。例如，每次当对在像素位置P处的方向向量t的平滑完成时，检测单元102保持对应于所有像素的每个像素位置的处理完成标志，并且，将对应于像素位置P的标志更新到完成状态。例如，当对应于所有像素的处理完成标志指示完成状态时，检测单元102判定对对应于输入图像的所有像素的方向向量t的平滑已完成。不必说，步骤S210处的判定方法并不限于上述。

当在步骤S210处判定对对应于所有像素的方向向量t的平滑已完成时，检测单元102变更像素位置P(S212)并之后重复步骤S204的处理。

当在步骤S210处判定对对应于所有像素的方向向量t的平滑已完成时，检测单元102结束处理。

例如，通过图3中所示的配置，通过执行图4中所示的处理，检测单元102基于输入图像信号检测对应于输入图像的一组流向量。

根据本实施例的检测单元102的配置并不限于图3中所示的配置，并且，由检测单元102所执行的处理并不限于图4中所示的处理。例如，检测单元102可被布置为检测包括多个像素的每个预定区域的流向量(代表值)，而非检测每个像素的流向量。例如，通过利用在非专利文献2中所描述的“平滑结构张量(tensor)”，检测单元102还可被布置为检测每个像素的流向量。

再次参照图1来说明根据第一实施例的图像处理装置100的配置示例。图像处理单元104主要扮演执行(1)的处理(基于流向量的图像处理)的角色，并且，基于例如由从检测单元102发送的流向量信息所指示的流向量来处理输入图像信号。

作为图像处理单元104基于流向量所执行的图像处理，存在用于将输入图像转换成具有画笔笔触的绘画图像的绘画图像转换处理。更具体地，例如，图像处理单元104基于流向量来指定将要在由输入图像信号所指示的输入图像中被平滑的像素，并且，基于所指定的像素来平滑输入图像。例如，图像处理单元104通过与由流向量所指示的方向分量一起执行滤波处理(例如，低通滤波处理)来将输入图像转换成具有画笔笔触的绘画图像。但是，由图像处理单元104所执行的处理并不限于上述。例如，图像处理单元104可被布置为通过对直指由流向量所指示的方向分量的方向执行低通滤波处理来检测轮廓部分、降低所检测到的轮廓部分的像素的信号水平、以及将输入图像转换成添加了轮廓的绘画图像。

基于根据本实施例的图像处理单元104的流向量的图像处理并不限于绘画图像转换处理。例如，图像处理单元104可被布置为执行任意图像处理，只要该处理是利用流向量的图像处理即可，诸如，利用流向量的渲染处理。通过图像处理单元104执行绘画图像转换处理的示例，以下说明了图像处理单元104的配置示例。

[图像处理单元104的配置示例]

图5是示出了包括在根据第一实施例的图像处理装置100中的图像处理单元104的配置示例的说明性示图。例如，图像处理单元104包括路径判定单元122、抽样单元124和平滑处理单元126。例如，图5示出了使用了非专利文献3中所描述的“线积分卷积”算法的情形中的配置示例。

路径判定单元122基于流向量来指定将要处理的像素的位置。更具体地，路径判定单元122执行如下处理：将沿着对应于聚焦像素的流向量的距离两个方向为L的聚焦像素追踪回每个聚焦像素。路径判定单元122将通过坐标来指示所指定的像素的位置的抽样坐标信息发送到抽样单元124。

抽样单元124基于从路径判定单元122所发送的抽样坐标信息来从输入图像提取对应于由抽样坐标信息所指示的坐标的像素的像素值。

平滑处理单元126包括诸如(2×L+1)抽头的低通滤波器和高斯滤波器之类的滤波器，并且，对由抽样单元124所提取的像素值进行平滑。平滑处理单元126输出指示通过平滑输入图像所获得的图像的图像信号(指示处理之后的图像的图像信号；以下，还称为“已处理的图像信号”)。

平滑处理单元126通过利用例如像素位置和滤波器系数被预先相关的函数或表来判定包括在平滑处理单元126中的滤波器的滤波器系数。不必说，根据本实施例的平湖处理单元126所用于判定滤波器系数的方法并不限于上述。

根据第一实施例的图像处理单元104基于流向量来处理输入图像信号，并且，例如通过图5中所示的配置，将输入图像转换成绘画图像。以下，参照图6说明了由图5中所示的图像处理单元104所执行的一系列处理。图6是示出了由包括在根据第一实施例的图像处理装置100中的图像处理单元104所执行的处理的示例的流程图。

通过利用对应于已处理的像素(聚焦像素)的流向量，图像处理单元104指定在已处理的像素的位置P处的流的方向D(S300)。例如，图像处理单元104通过利用由坐标所表示的位置P来执行处理。

在已处理的像素的流的方向D在步骤S300中被指定之后，图像处理单元104设定初始值(S302)。在该情形中，“Pp”指示在由流向量所规定的一个方向中的像素的位置，而“Pm”指示在由流向量所规定的另一方向中的像素的位置。“Dp”指示对应于Pp的流的方向，而“Dm”指示对应于Pm的流的方向。“I(P)”指示在位置P处的像素值。

在步骤S302的处理被执行之后，图像处理单元104计算下一抽样位置(S304)。在下一抽样位置被计算之后，图像处理单元104获得对应于下一抽样位置的滤波器系数F(S306)。图像处理单元104例如通过利用像素位置和滤波器系数被预先相关的函数或表来判定滤波器系数F。

在滤波器系数在步骤S306处被获得之后，图像处理单元104将通过将滤波器系数F与对应于位置Pp的像素值和对应于位置Pm的像素值相乘所获得的值相加到“Sum(和)”。

在“Sum”的值在步骤S308处被更新之后，图像处理单元104基于对应的流向量来获得在位置Pp处的流方向Dp’和在位置Pm处的流方向Dm’(S310)。

在流方向Dp’和Dm’被在步骤S310处获得之后，图像处理单元104更新流方向Dp(S312)并更新流方向Dm(S314)。在步骤S312和S314处，示出了图像处理单元104的处理，其更新例如对应于Dp和Dp’的内积值和Dm和Dm’的内积值的流方向Dp、Dm。例如，当检测单元102使用了“边缘内切流”算法时，不可能仅通过在步骤S310处所获得的流方向Dp’、Dm’来判定下一抽样位置。因此，例如，图像处理单元104通过执行在步骤S312和S314处所示出的处理来并排流。不必说，涉及并排流的处理并不限于步骤S312和S314的处理。例如，当检测单元102不能使用“边缘内切流”算法时，图像处理单元104例如可被布置为将在步骤S310处所获得的流方向Dp’更新到流方向Dp，并且，将流方向Dm’更新到流方向Dm。

在步骤S312和S314的处理被执行之后，图像处理单元104判定对应于许多抽头的滤波器的计算是否已完成(S316)。当在步骤S316处未判定对许多抽头的滤波器的计算已完成时，图像处理单元104之后重复步骤S304的处理。

当在步骤S316处判定对许多抽头的滤波器的计算已完成时，图像处理单元104记录输出图像(处理后的图像)在位置P处的计算值(Sum的值)(S318)。

在步骤S318的处理被执行之后，图像处理单元104判定对输入图像的所有像素的计算是否已完成(S320)。当在步骤S320处未判定对输入图像的所有像素的计算已完成时，图像处理单元104变更聚焦像素的位置P(S322)，并且，之后重复步骤S300的处理。当在步骤S320处判定对输入图像的所有像素的计算已完成时，图像处理单元104结束处理。

图像处理单元104基于流向量来处理输入图像信号，并且，例如通过图5中所示的配置，通过执行图6中所示的处理，将输入图像转换成绘画图像。

根据本实施例的图像处理单元104的配置并不限于图5中所示的配置，并且，由图像处理单元104所执行的处理并不限于图6中所示的处理。例如，图像处理单元104可被布置为通过对直指由流向量所指示的方向分量的方向执行低通滤波处理来检测轮廓部分、降低所检测到的轮廓部分的像素的信号水平、以及将输入图像转换成添加了轮廓的绘画图像。例如，图像处理单元104可被布置为执行任意图像处理，只要该处理是利用流向量的图像处理即可，诸如，利用流向量的渲染处理。

再次参照图1来说明根据第一实施例的图像处理装置100的配置示例。放大处理单元106主要扮演执行(2)的处理(放大处理)的角色，并且，基于例如由从检测单元102发送的流向量信息所指示的流向量来放大由图像处理单元104所处理的图像信号(已处理的图像信号)所指示的图像。

如上所述，当简单的放大处理被执行时，存在如下风险：例如，出现图像质量的恶化，诸如，图像中的模糊。因此，放大处理单元106对应于由已发送的流向量所指示的流向量所指示的方向分量，对由从图像处理单元104发送的已处理的图像信号所指示的图像进行内插，并且，将图像转换成具有大量像素的图像。更具体地，放大处理单元106基于由所发送的流向量信息所指示的流向量，针对内插像素的每个位置，计算对应于当执行放大时被内插的内插像素的位置的流向量。放大处理单元106基于对应于所计算的内插像素的每个位置并基于已处理的图像信号来获得每个内插像素的像素值。通过上述处理，变得可以将由已处理的图像信号所指示的图像转换成具有大量像素的图像，同时防止图像质量恶化。

[放大处理单元106的配置示例]

图7是示出了包括在根据第一实施例的图像处理装置100中的放大处理单元106的配置示例的说明性示图。放大处理单元106包括流内插处理单元128、内插系数判定单元130和像素内插处理单元132。

通过利用由从检测单元102发送的流向量信息所指示的流向量，流内插处理单元128获得在将要内插的像素(以下，还称为“内插像素”)的位置处的流向量。即，通过利用从检测单元102所发送的流向量，流内插处理单元128对对应于内插像素的流向量进行内插。例如，流内插处理单元128向内插系数判定单元130发送指示内插像素的相位的信息和指示对应于从检测单元102所发送的每个像素的流向量和对应于内插像素的流向量的信息(以下，还称为“内插流向量信息”)。

图8A至图8D是示出了由包括在根据第一实施例的图像处理装置100中的放大处理单元106所执行的流向量的内插处理的示例的说明性示图。参照图8A至图8D说明了放大处理单元106的流内插处理单元128所执行的对流向量的内插处理。

流内插处理单元128获得对应于内插像素的最近像素的流向量(图8A中所示)。图8A至图8D示出了获得流1的示例。

另外，流内插处理单元128获得在内插像素的外围处的流向量(例如，在图8A至图8D的示例中，流2、流3和流4)，并且，计算最近流向量和每个外部流向量之间的角度差θ(θ＜180[⁰])(图8B)。在该情形中，流内插处理单元128将0[⁰]设定为对应于最近流向量的像素的角度差。

通过执行利用所计算的角度差的双线性内插处理，流内插处理单元128计算内插像素的角度差θ’(图8C)。流内插处理单元128将作为把角度差θ’添加到对应于最近像素的流向量和参考方向(例如，水平方向)之间的角度差的结果所获得的向量设定为对应于内插像素的流向量(图8D)。

例如，通过执行上述参照图8A至图8D的处理，流内插处理单元128对对应于内插像素的流向量进行内插。由根据本实施例的流内插处理单元128所执行的对流向量的内插处理并不限于上述。例如，流内插处理单元128可被布置为将对应于最近像素的流向量用作对应于内插像素的流向量。如上所述，通过将对应于最近像素的流向量用作对应于内插像素的流向量，流内插处理的单元128可减少处理量。

再次参照图7来说明放大处理单元106的配置示例。内插系数判定单元130基于内插像素的相位和由对应于内插像素的流向量所指示的方向来判定用于内插像素的滤波器系数W(以下，还称为“内插系数W”)。

例如，通过参照相位和流向量的组合以及与滤波器系数相关的表，内插系数判定单元130唯一地判定滤波器系数W。该表例如被存储在包括在图像处理装置100中的ROM(未示出)等中，并且，通过参照ROM(未示出)等，内插系数判定单元130判定滤波器系数W。通过在执行处理之前读取该表或适当地参照ROM(未示出)等，内插系数判定单元130可被布置为保持该表。由内插系数判定单元130所执行的处理并不限于上述。例如，内插系数判定单元130可被布置为经由通信单元(未示出)来与诸如存储表的服务器之类的外部装置通信，并且，从该外部装置获得对应于内插像素的相位的滤波器系数W和内插像素。

根据本实施例的滤波器系数W包括具有如下特点的内插系数：其在与流正交的方向上抑制模糊并在平行方向上强烈平滑。通过利用上述具体的滤波器系数W，稍后描述的像素内插处理单元132可获得平滑并很少模糊的内插结果。另外，通过利用用于在平行方形上强烈平滑的具体的滤波器系数W，例如可减少参差不齐(jaggy)，即便当参差不齐出现在由已处理的图像信号所指示的图像中也是如此。当图像处理单元104执行绘画图像转换处理时，存在如下可能：在靠近边缘处出现所不希望的参差不齐。即便当如上所述出现了参差不齐时，通过利用在平行方向上强烈平滑的具体的滤波器系数W，像素内插处理单元132可减少参差不齐。因此，可实现更高的图像质量。

通过对内插像素的外围像素的像素值进行内插并通过执行利用由内插系数判定单元130所判定的滤波器系数W的卷积处理，像素内插处理单元132获得内插像素的像素值。

像素内插处理单元132输出图像信号(以下，还称为“输出图像信号”)，该图像信号指示通过内插而提升了许多像素的图像。例如，输出图像信号被控制单元(未示出)编码，其存储在存储单元(未示出)等中，并且/或由输出图像信号所指示的图像被显示在显示单元(未示出)或外部显示装置的显示屏上。

例如，基于图7中所示的配置的流向量，根据第一实施例的放大处理单元106放大由图像处理单元104所处理的已处理的图像信号所指示的图像。以下，参照图9说明了由图7中所示的放大处理单元106所执行的一系列处理。图9是示出了由包括在根据第一实施例的图像处理装置100中的放大处理单元106所执行的处理的示例的流程图。

放大处理单元106读取内插系数表(例如，相位和与滤波器系数相关的流向量的组合的表)(S400)。当放大处理单元106被布置为适当地参照内插系数表时，放大处理单元106并不必执行步骤S400的处理。

放大处理单元106计算对应于作为内插像素的位置的内插位置P的流向量(S402)。放大处理单元106通过执行例如图8A至图8D所示的处理来计算对应于内插位置P的流向量。

在对应于内插位置P的流向量被在步骤S402处计算之后，基于内插位置P的相位和流向量的方向，放大处理单元106判定内插系数W(S404)。例如通过利用在步骤S400处所读取的表，放大处理单元106判定内插系数W。

在内插系数W在步骤S404处被判定之后，通过将把内插系数W用作滤波器系数的滤波器卷积到内插位置P的外围像素，放大处理单元106获得内插像素的像素值(S406)。放大处理单元106输出内插像素(S408)。例如，当放大处理单元106在稍后描述的步骤S410处判定对对应于输出图像信号的图像(以下，还称为“输出图像”)的所有像素的计算已完成时，放大处理单元106可被布置为输出每个内插像素和对应于已处理的图像信号的每个像素。

在步骤S406和S408的处理被执行之后，放大处理单元106判定对对应于输出图像的所有像素的计算是否已完成(S410)。当在步骤S410处未判定对对应于输出图像的所有像素的计算已完成时，放大处理单元106变更内插位置P(S412)，并且，之后重复步骤S402的处理。当在步骤S410处判定对对应于输出图像的所有像素的计算已完成时，放大处理单元106结束处理。

例如，通过图7中所示的配置，通过执行图9中所示的处理，基于流向量，放大处理单元106放大由图像处理单元104所处理的已处理的图像信号所指示的图像。不必说，根据本实施例的放大处理单元106的配置并不限于图7中所示的配置，并且，由放大处理单元106所执行的处理并不限于图9中所示的处理。

例如，通过图1中所示的配置，通过执行根据本实施例的图像处理方法的(1)的处理(基于流向量的处理)和(2)的处理(放大处理)，根据第一实施例的图像处理装置100将由图像信号所指示的图像转换成具有比基于流向量所处理的图像的像素更多的像素的图像。

通过利用单组流向量，因为图1中所示的图像处理装置100执行绘画图像转换处理(根据本实施例的图像处理的示例)和内插处理(放大处理)，可以节省计算方向分量所必须的处理时间。通过利用共同的流向量，在绘画图像转换处理中所使用的滤波器的方向特点和在内插处理中所使用的滤波器的方向特点被布置。由于图像处理装置100可通过获得内插处理中所希望的方向分量来执行处理，因此，可防止由不合适的方向分量的内插所导致的图像质量的恶化。

因此，根据第一实施例的图像处理装置可将由将要处理的图像信号所指示的图像转换成具有比基于流向量所处理的图像的像素更多的像素的图像，同时缩短处理时间并防止图像质量恶化。

[对根据第一实施例的图像处理装置100的配置的修改]

根据第一实施例的图像处理装置100的配置并不限于图1中所示的配置。例如，虽然图1示出了如下配置：图像处理装置100包括检测单元102并通过利用检测单元102从输入图像信号所检测到的流向量来执行处理，但是，根据第一实施例的图像处理装置100并不限于包括检测单元102。例如，当流向量基于使用诸如触摸板之类的操作位置检测设备和诸如鼠标之类的操作输入设备的用户的操作而被设定时，图像处理装置100可被布置为通过利用基于从操作位置检测设备等发送的用户操作而被设定的流向量来执行处理。即便当如上所述通过利用用户操作而被设定的流向量来执行处理时，根据第一实施例的图像处理装置100具有类似于图1中所示的图像处理装置100所获得的优点的优点。

当基于用户操作设置流向量时一个或多个流向量的值基于用户操作被赋予。针对与根据用户操作被跟踪的位置相对应的多个像素，该向量值被设置为具有同样值的一组流向量。

此外，可以在与根据用户操作被跟踪的位置(用户操作的轨迹)相对应的每个位置上设置单独的流向量的值。

根据第一实施例的图像处理装置100可被布置为从诸如服务器之类的外部装置获得指示对应于由输入图像信号所指示的图像的一组流向量的流向量信息，并且，通过利用由所获得的流向量信息所指示的流向量来执行处理。例如，通过从输入图像信号获得包括在输入图像信号中的元信息并通过将所获得的元信息发送到外部装置，图像处理装置100从外部装置获得对应于由输入图像信号所指示的图像的流向量信息。如上所述，即便当通过利用对应于由输入图像信号所指示的图像的流向量来执行处理时，该输入图像信号由从外部装置所获得的流向量信息所指示，根据第一实施例的图像处理装置100也具有类似于图1中所示的图像处理装置100所获得的优点的优点。

例如，除了图1中所示的配置以外，根据第一实施例的图像处理装置100可被布置为还包括拾取运动图像的图像的图像拾取单元(未示出)。当包括了上述配置时，例如，图像处理装置100可处理由图像拾取单元(未示出)的图像拾取所生成的输入图像信号。

例如，根据本实施例的图像拾取单元(未示出)包括由透镜/图像拾取元件和信号处理电路所配置的图像拾取设备。例如，透镜/图像拾取元件由光学系统的透镜和利用诸如CCD(电荷耦合设备)或CMOS(互补金属氧化物半导体)等之类的多个图像拾取元件的图像传感器所配置。图像处理电路包括AGC(自动增益控制)电路和ADC(模拟到数字转换器)，将由图像拾取元件所生成的模拟信号转换成数字信号(图像数据)，并且，执行各种类型的信号处理。由信号处理电路所执行的信号处理包括白平衡校正处理、色度校正处理、伽玛校正处理、YCbCr转换处理、边缘强调处理等。

[2]根据第二实施例的图像处理装置

根据本实施例的图像处理装置的配置并不限于根据上述第一实施例的图像处理装置100的配置。例如，根据本实施例的图像处理装置可被布置为执行多个图像处理，诸如，顺序执行的多个绘画图像转换处理。接下来，说明根据对应于执行多个图像处理的情形的第二实施例的图像处理装置200的配置示例。

当多个绘画图像转换处理被顺序执行时，针对这些处理所最佳的图像大小有时是不同的。当如上所述针对处理所最佳的图像大小不同时，(2)的处理(放大处理)被执行，以将图像大小转换成合适的图像大小，并且，在这之后，向每个图像执行绘画图像转换处理。但是，例如，在向从图1中所示的图像处理装置100的放大处理单元106输出的输出图像信号进一步执行绘画图像转换处理的情形中，必须再次检测对应于已放大的图像的每个像素的流向量。因此，存在增加处理时间的风险。

根据第二实施例的图像处理装置200将通过在执行(2)的处理(放大处理)时内插并重新抽样流向量所获得的流向量(例如，由从流内插处理单元128输出的内插流向量信息所指示的流向量)设定为对应于已放大的图像的一组流向量。

如参照图7所说明的，例如，通过计算对应于内插像素的流向量并通过内插该内插像素，扮演执行(2)的处理(放大处理)的角色的放大处理单元106放大将要处理的图像。即，在根据本实施例的图像处理装置中，由在执行(2)的处理(放大处理)时内插所重新抽样的流向量对应于已放大的图像。因此，当根据第二实施例的图像处理装置200通过利用对应于已经被计算的已放大的图像的流向量来处理已放大的图像时，图像处理装置200不必再次检测对应于已放大的图像的每个像素的流向量。

因此，根据第二实施例的图像处理装置200可吹落多个图像，同时缩短处理时间。接下来，说明根据第二实施例的图像处理装置200的配置示例。

图10是示出了根据第二实施例的图像处理装置200的配置示例的框图。图像处理装置200包括检测单元102、图像处理单元104(预放大图像处理单元)、放大处理单元202和图像处理单元204(后放大图像处理单元)。

根据图10中所示的第二实施例的图像处理装置200基本上具有与根据图1中所示的第一实施例的图像处理装置的配置类似的配置。但是，与根据图1中所示的第一实施例的图像处理装置100相比，根据第二实施例的图像处理装置200还包括图像处理单元204。另外，在根据第二实施例的图像处理专职200中，放大处理单元202的功能不同于根据第一实施例的放大处理单元106的功能。

虽然放大处理单元202具有基本上类似于根据第一实施例的放大处理单元106的配置和功能，但是，放大处理单元202与根据第一实施例的放大处理单元106的不同之处在于：放大处理单元202将内插流向量信息发送到图像处理单元204。

[放大处理单元202的配置示例]

图11是示出了包括在根据第二实施例的图像处理装置200中的放大处理单元202的配置示例的说明性示图。如在图11中所示，例如，放大处理单元202包括具有类似于放大处理单元106的功能和配置的流内插处理单元128、内插系数判定单元130和图7中所示的像素内插处理单元132。在图11和图7之间进行比较，放大处理单元202与根据第一实施例的放大处理单元106的不同之处在于：从流内插处理单元128输出的内插流向量信息被输出到放大处理单元202的外部。

图12是示出了由包括在根据第二实施例的图像处理装置200中的放大处理单元202所执行的处理的示例的流程图。

通过类似于图9中所示的步骤S400处的方式，放大处理单元202读取内插系数表(例如，相位和与滤波器系数相关的流向量的组合的表)(S500)。当放大处理单元202被配置为适当地参照内插系数表时，放大处理单元202并不必执行步骤S500的处理。

通过类似于图9中所示的步骤S402处的方式，放大处理单元202计算对应于作为内插像素的位置的内插位置P的流向量(S502)。放大处理单元202输出对应于所计算的内插位置P的流向量(S504)。例如，当在稍后描述的步骤S512处判定对对应于输出图像的所有像素的计算已完成时，放大处理单元202可被布置为输出由从检测单元102发送的流向量信息所指示的流向量和对应于每个内插像素的流向量。当诸如绘画图像处理和其他放大处理之类的图像处理未在放大处理单元202的稍后阶段执行时，并不必执行步骤S504的处理。

在对应于内插位置P的流向量被在步骤S502处计算之后，基于内插位置P的相位和流向量的方向，以类似于图9中所示的步骤S404处的方式，放大处理单元202判定内插系数W(S506)。

在内插系数W被在步骤S506处判定之后，以类似于图9中所示的步骤S406处的方式，通过将把内插系数W用作滤波器系数的滤波器卷积到内插位置P的外围像素，放大处理单元202获得内插像素的像素值(S508)。放大处理单元202输出内插像素(S510)。例如，当放大处理单元202在稍后描述的步骤S512处判定对对应于输出图像的所有像素的计算已完成时，放大处理单元202可被布置为输出每个内插像素和对应于已处理的图像信号的每个像素。

在步骤S508和S510的处理被执行之后，放大处理单元202判定对对应于输出图像的所有像素的计算是否已完成(S512)。当在步骤S512处未判定对对应于输出图像的所有像素的计算已完成时，放大处理单元202变更内插位置P(S514)，并且，在这之后，重复步骤S502的处理。当在步骤S512处判定对对应于输出图像的所有像素的计算已完成时，放大处理单元202结束处理。

例如，通过图11中所示的配置，通过执行图12中所示的处理，基于流向量，放大处理单元202放大由图像处理单元104所处理的已处理的图像信号所指示的图像。不必说，根据本实施例的放大处理单元202的配置并不限于图11中所示的配置，并且，由放大处理单元202所执行的处理并不限于图12中所示的处理。

再次参照图10来说明根据第二实施例的图像处理装置200的配置。基于从放大处理单元202发送的内插流向量信息(指示对应于输入图像的流向量和对应于内插像素的每个位置的流向量的信息)，图像处理单元204处理指示从放大处理单元202发送的已放大的图像的图像信号。

作为图像处理单元204基于流向量所执行的图像处理，存在绘画图像转换处理，但是，图像处理单元204基于流向量所执行的图像处理并不限于绘画图像转换处理。例如，图像处理单元104可被布置为执行任意图像处理，只要该处理是利用流向量的图像处理即可，诸如，利用流向量的渲染处理。

例如，通过图10中所示的配置，根据第二实施例的图像处理装置200执行多个图像处理。以下，参照图13说明了由图10中所示的图像处理装置200所执行的一系列处理。图13是示出了由根据第二实施例的图像处理装置200所执行的处理的示例的流程图。

通过类似于图2中所示的步骤S100的方式，图像处理装置200基于输入图像信号来获得流向量(S600)。

在流向量在步骤S600处被获得之后，通过类似于图2中所示的步骤S102的方式，图像处理装置200通过利用流向量来处理输入图像信号(S602)。

在步骤S602的处理被执行之后，图像处理装置200判定对当前图像大小的图像处理是否完全完成(S604)。例如，当对对应于输入图像的所有像素的处理已完成时，图像处理装置200判定对当前图像大小的图像处理已完全完成。

当在步骤S604处未判定对当前图像大小的图像处理已完全完成时，在这之后，图像处理装置200重复步骤S602的处理。

当在步骤S604处判定对当前图像大小的图像处理已全部完成时，以类似于图2中所示的步骤S104处的方式，图像处理装置200通过利用在步骤S600处所获得的流向量来放大由在步骤S602处被处理的图像信号所指示的图像(S606)。

在步骤S606的处理被执行时，图像处理装置200判定基于所有流向量的图像处理是否已完成(S608)。当在步骤S608处未判定基于所有流向量的图像处理已完成时，在这之后，图像处理装置200重复步骤S602的处理。在再次执行步骤S602的处理中，图像处理装置200利用对应于已放大的图像的一组流向量。当在步骤S608处判定基于所有流向量的图像处理已完成时，图像处理装置200结束处理。

例如，通过执行图13中所示的处理，根据第二实施例的图像处理装置200实现根据本实施例的图像处理方法。由根据第二实施例的图像处理装置200所执行的处理并不限于图13中所示的处理。例如，当流向量基于用户操作而被设定时，图像处理装置200不必执行步骤S600的处理。在以上的情形中，图像处理装置200之后通过利用所设定的流向量来执行步骤S602的处理。之后，图像处理装置200还可通过利用由从诸如服务器之类的外部装置所获得的流向量信息所指示的一组流向量来执行步骤S602的处理。

例如，根据第二实施例的图像处理装置200具有如图10中所示的配置，其类似于根据第一实施例的图像处理装置100的配置。因此，通过执行根据本实施例的图像处理方法的(1)的处理(基于一组流向量的图像处理)和(2)的处理(放大处理)，图像处理装置200可将由将要处理的图像信号所指示的图像转换成具有比基于流向量所处理的图像的像素更多的像素的图像。

图像处理装置200将通过由放大处理单元202执行(2)的处理(放大处理)时的内插的重新抽样流向量所获得的一组流向量设定为对应于已放大的图像的一组流向量。因此，图像处理装置200可获得对应于已放大的图像的流向量而不再次执行检测处理，并且，可将对应于已放大的图像的流向量用于后续图像处理。

因此，根据第二实施例的图像处理装置200可执行多个图像处理，同时缩短处理时间。

[对根据第二实施例的图像处理装置200的配置的修改]

根据第二实施例的图像处理装置200的配置并不限于图10中所示的配置。例如，虽然图10示出了如下配置：一个图像处理单元(图像处理单元204)被包括在放大处理单元202的稍后阶段处，但是，根据第二实施例的图像处理装置200还可在放大处理单元202的稍后阶段包括多个图像处理单元。基于上述配置，设置在放大处理单元202的稍后阶段处的每个图像处理单元还可通过利用作为对应于已放大的图像的一组流向量的由放大处理单元202的内插所重新抽样的流向量来执行处理。因此，基于上述配置，根据第二实施例的图像处理装置200也具有类似于由图10中所示的图像处理装置200所获得的优点。

除了在放大处理单元202的稍后阶段处的多个图像处理单元，根据第二实施例的图像处理装置200可被布置为包括其他执行(2)的处理(放大处理)的放大处理单元。在上述配置中，包括在其他放大处理单元的稍后阶段处的图像处理单元可通过利用作为对应于已放大的图像的流向量的由其他放大处理单元的内插所重新抽样的流向量来执行处理。因此，当使用上述配置时，根据第二实施例的图像处理装置200可以以任意数量的处理分辨率基于任意数量的流向量来执行图像处理(例如，绘画图像转换处理)。

另外，根据第二实施例的图像处理装置200可采用类似于根据上述第一实施例的图像处理装置100的修改。

[3]根据第三实施例的图像处理装置

根据本实施例的图像处理装置的配置并不限于根据第一实施例的图像处理装置100和根据上述第二实施例的图像处理装置200的配置。接下来，说明根据第三实施例的图像处理装置300的配置示例。

在执行(1)的处理(基于流向量的图像处理)的情形中，当例如基于用户操作的渲染处理(不对应于流向量的图像处理的示例)被执行时，存在如下风险：已处理的图像并不对应于流向量。当过度处理已被执行时，存在如下可能：还发生已处理的图像不对应于流向量的风险，诸如，当通过渲染画笔笔触模式来执行绘画图像转换处理时，画笔笔触模式被从已处理的区域转移(deflect)。当处理后的图像没有对应于流向量时，存在如下可能：在(2)的处理中(放大处理)的像素内插中执行不希望的内插，并因而使图像质量恶化。

通过将已处理的图像关联到流向量，通过更新对应于执行(1)的处理(基于流向量的图像处理)的结果的流向量，根据第三实施例的图像处理装置300防止图像质量恶化。接下来，说明根据第三实施例的图像处理装置300的配置示例。

图14是示出了根据第三实施例的图像处理装置300的配置示例的框图。图像处理装置300包括检测单元102、图像处理单元302(预放大图像处理单元)、流向量更新单元304和放大处理单元106。

根据图14中所示的第三实施例的图像处理装置300基本上具有类似于根据图1中所示的第一实施例的图像处理装置100的配置。但是，与根据图1中所示的第一实施例的图像处理装置100相比，根据第三实施例的图像处理装置300还包括流向量跟新单元304。另外，在根据第三实施例的图像处理装置300中，图像处理单元302的功能不同于根据第一实施例的图像处理单元104的功能。

虽然图像处理单元302具有基本上类似于根据第一实施例的图像处理单元104的配置和功能，但是，图像处理单元302与根据第一实施例的图像处理单元104的不同之处在于：图像处理单元302将指示处理内容的处理信息发送到流向量更新单元304。例如，根据本实施例的处理信息包括指示其中执行了渲染的区域的信息(在长方形区域的情形中，其指示四个角的坐标)和当渲染被执行时的处理方向(例如，画笔笔触方向)。

图像处理单元302将对应于其中执行了渲染的所有区域的处理信息发送到流向量更新单元304，不管渲染是否根据流向量被执行。但是，由图像处理单元302所执行的处理并不限于上述。例如，图像处理单元302可被布置为将对应于基于用户操作而执行了渲染的区域的信息(即，对应于不对应于流向量的图像处理被执行的区域的处理信息)发送到流向量更新单元304。

例如，基于从图像处理单元302发送的处理信息，流向量更新单元304更新由从检测单元102发送的流向量信息所指示的流向量。流向量更新单元304将指示流向量基于处理信息而被有选择地更新的已更新的流向量信息发送到放大处理单元106。

图15是示出了包括在根据第三实施例的图像处理装置300中的流向量更新单元304的处理的示例的流程图。

例如，流向量更新单元304将由从检测单元102发送的流向量信息所指示的流向量读入到输出存储器(S700)。

基于从图像处理单元302发送的处理信息，流向量更新单元304指定一个渲染区域的形状和处理方向(例如，画笔笔触的方向)(S702)。

在步骤S702的处理被执行之后，流向量更新单元304将对应于所指定的渲染区域的流向量更新到所指定的处理方向(S704)。

在步骤S704的处理被执行之后，流向量更新单元304判定对应于由所发送的处理信息所指示的所有渲染区域的处理是否已完成(S706)。当在步骤S706处未判定对应于所有渲染区域的处理已完成时，流向量更新单元304之后重复步骤S702的处理。

当在步骤S706处判定对应于所有渲染区域的处理已执行时，流向量更新单元304输出更新流向量信息(S708)，并且，结束处理。

例如，基于从图像里单元302发送的处理信息，流向量更新单元304例如通过执行图15中所示的处理来更新由从检测单元102发送的流向量信息所指示的流向量。不必说，由根据本实施例的流向量更新单元304所执行的处理并不限于图15中所示的处理。

例如，根据第三实施例的图像处理装置300具有类似于根据图1中所示的第一实施例的图像处理装置100的配置的如图14中所示的配置。因此，通过执行根据本实施例的图像处理方法的(1)的处理(基于流向量的处理)和(2)的处理(放大处理)，图像处理装置300可将由将要处理的图像信号所指示的图像转换成具有比基于流向量所处理的图像的像素更多的像素的图像。

例如，基于从执行(1)的处理(基于流向量的图像处理)的图像处理单元302所发送的处理信息，图像处理装置300更新从检测单元102发送的流向量。因此，图像处理装置300变得可以将已处理的图像关联到流向量，并且因此，当已处理的图像未关联到流向量时，可防止潜在的图像质量的恶化。

[对根据第三实施例的图像处理装置300的配置的修改]

根据第三实施例的图像处理装置300的配置并不限于图10中所示的配置。例如，根据第三实施例的图像处理装置300可具有类似于根据第一实施例的图像处理装置100的修改。

以类似于根据第二实施例(包括修改)的图像处理装置200的方式，根据第三实施例的图像处理装置300可被配置为基于流向量来执行多个图像处理。在采用上述配置的情形中，根据第三实施例的图像处理装置300在每个图像处理单元的稍后阶段处包括流向量更新单元，该流向量更新单元基于从每个图像处理单元所发送的处理信息来更新流向量。

如上所述，根据本实施例的图像处理装置执行(1)的处理(基于流向量的图像处理)和(2)的处理(放大处理)。在该情形中，在(1)的处理(基于流向量的处理)中，根据本实施例的图像处理装置向其像素数小于通过(2)的处理(放大处理)所获得的所希望的像素数的图像执行基于流向量的图像处理。因此，根据本实施例的图像处理装置可减少执行基于流向量的图像处理所必须的计算量，并且因此，可缩短执行基于流向量的图像处理所必须的时间。

在(2)的处理(放大处理)中，根据本实施例的图像处理装置利用(1)的处理(基于流向量的图像处理)所使用的流向量来执行处理。因此，例如，不同于使用了涉及如在日本专利No.4150947和非专利文献4和5中所描述的放大处理的技术的情形，根据本实施例的图像处理装置并不必新近检测图像中的方向分量。因此，不同于使用了涉及放大处理的技术的情形，处理时间并未被延长以检测图像的方向分量。不同于使用了涉及上述放大处理的技术的情形，因为根据本实施例的图像处理装置通过利用(1)的处理中所使用的流向量来执行放大处理，不存在图像质量恶化的风险。

因此，根据本实施例的图像处理装置可将由将要处理的图像信号所指示的图像转换成具有比基于流向量所处理的图像的像素更多的像素的图像，同时处理时间并防止图像质量恶化。

虽然以上将图像处理装置100作为本实施例来说明，但是，本实施例并不限于该实施例。本实施例可被应用到各种装置，诸如，包括数字相机的图像拾取装置、包括诸如PC(个人计算机)和写字板终端之类的计算机的显示装置、包括便携电话的通信装置、视频/音乐再现装置(或视频/音乐记录/再现装置)、游戏机和包括电视接收装置的显示设备。本实施例还可被应用于例如图像处理IC(集成电路)中，该图像处理IC可被安装在上述装置中。

(根据本实施例的程序)

通过导致计算机用作根据本实施例的图像处理装置的程序(例如，使得计算机执行涉及根据本实施例的图像处理方法的处理，诸如，(1)的处理(基于流向量的图像处理)和(2)的处理(放大处理))，可以将由将要处理的图像信号所指示的图像转换成具有比基于流向量所处理的图像的像素更多的像素的图像。

虽然已经参照附图详细描述了本公开的优选实施例，但是，本公开并不限于此。对本领域技术人员而言，显然，各种修改或变化是可能的，只要它们在所附权利要求或其等同物的技术范围内即可。应当理解，这种修改或变化也在本公开的技术范围内。

例如，虽然以上描述了提供了导致计算机用作根据本实施例的图像处理装置的程序(计算机程序)，但是，本实施例还可提供分别存储上述程序的记录介质。

上述配置仅是对该实施例的阐释。这种配置自然在本公开的技术范围内。

另外，本技术还可配置如下。

(1)一种图像处理装置，包括：

预放大图像处理单元，该预放大图像处理单元基于对应于图像信号的一个或多个流向量来处理所述图像信号；以及

放大处理单元，该放大处理单元基于所述一个或多个流向量来放大由所述预放大图像处理单元所处理的图像信号所指示的图像。

(2)根据(1)所述的图像处理装置，还包括检测单元，该检测单元基于所述图像信号来检测对应于图像的所述一个或多个流向量。

(3)根据(1)所述的图像处理装置，

其中，基于用户操作，对应于图像的所述一个或多个流向量被设定。

(4)根据(1)至(3)中的任一项所述的图像处理装置，

其中，所述放大处理单元

基于所述一个或多个流向量中的一对应流向量来针对每个内插像素计算对应于在执行放大的情形中用于内插的内插像素的位置的流向量，并且

基于对应于所计算的内插像素的每个位置的流向量和已处理的图像信号，获得每个内插像素的像素值。

(5)根据(4)所述的图像处理装置，还包括后放大图像处理单元，该后放大图像处理单元基于对应于图像的一组流向量和对应于已计算的内插像素的每个位置的流向量来处理指示已放大的图像的图像信号。

(6)根据(1)至(5)中的任一项所述的图像处理装置，还包括流向量更新单元，该流向量更新单元基于指示由所述预放大图像处理单元所执行的处理的内容的处理信息来更新对应于图像的流向量中的至少一个，

其中，所述放大处理单元基于一个或多个已更新的流向量来放大由处理后的图像信号所指示的图像。

(7)根据(1)至(6)中的任一项所述的图像处理装置，其中所述预放大图像处理单元

基于所述一个或多个流向量，指定用于平滑由所述图像信号所指示的图像的像素，并且

基于所指定的像素，平滑由所述图像信号所指示的图像。

(8)一种图像处理方法，包括：

基于对应于图像信号的一个或多个流向量来处理图像信号；并且

基于所述一个或多个流向量来放大由已处理的图像信号所指示的图像。

(9)一种程序，该程序导致计算机执行：

基于对应于图像信号的一个或多个流向量来处理图像信号；并且

基于所述一个或多个流向量来放大由已处理的图像信号所指示的图像。

本公开包括与2011年4月26日递交日本专利局的日本优先权专利申请JP 2011-098443公开的内容有关的主题，其全部内容通过引用被结合于此。

Claims (9)

1.一种图像处理装置，包括：

预放大图像处理单元，该预放大图像处理单元基于对应于图像信号的一个或多个流向量来处理所述图像信号；以及

放大处理单元，该放大处理单元基于所述一个或多个流向量来放大由所述预放大图像处理单元所处理的图像信号所指示的图像。

2.根据权利要求1所述的图像处理装置，还包括检测单元，该检测单元基于所述图像信号来检测对应于图像的一个或多个流向量。

3.根据权利要求1所述的图像处理装置，

其中，基于用户操作，对应于图像的所述一个或多个流向量被设定。

4.根据权利要求1所述的图像处理装置，

其中，所述放大处理单元

基于所述一个或多个流向量中的一对应流向量来针对每个内插像素计算对应于在执行放大的情形中用于内插的内插像素的位置的流向量，并且

基于对应于所计算的内插像素的每个位置的流向量和已处理的图像信号，获得每个内插像素的像素值。

5.根据权利要求4所述的图像处理装置，还包括后放大图像处理单元，该后放大图像处理单元基于对应于图像的所述一个或多个流向量和对应于已计算的内插像素的每个位置的流向量来处理指示已放大的图像的图像信号。

6.根据权利要求1所述的图像处理装置，还包括流向量更新单元，该流向量更新单元基于指示由所述预放大图像处理单元所执行的处理的内容的处理信息来更新对应于图像的流向量中的至少一个，

其中，所述放大处理单元基于一个或多个已更新的流向量来放大由处理后的图像信号所指示的图像。

7.根据权利要求1所述的图像处理装置，其中

所述预放大图像处理单元

基于所述一个或多个流向量，指定用于平滑由所述图像信号所指示的图像的像素，并且

基于所指定的像素，平滑由所述图像信号所指示的图像。

8.一种图像处理方法，包括：

基于对应于图像信号的一个或多个流向量来处理所述图像信号；并且

基于所述一个或多个流向量来放大由已处理的图像信号所指示的图像。

9.一种程序，该程序导致计算机执行：

基于对应于由图像信号所指示的图像的一个或多个流向量来处理所述图像信号；并且

基于所述一个或多个流向量来放大由已处理的图像信号所指示的图像。

Images