CN108885777A - 图像处理装置、图像处理方法及图像处理程序 - Google Patents

Abstract

本发明涉及一种图像处理装置、图像处理方法及图像处理程序，作为图像处理装置发挥功能的计算机为图像处理装置，该图像处理装置由连结有多个对象的对象组来执行图像处理，所述多个对象对存储在存储区域中的输入图像数据执行图像处理，并输出输出图像数据，所述图像处理装置根据图像处理的各处理内容而判定能否用输出图像数据来覆盖输入图像数据，关于判定为能够覆盖的图像处理，进行将该图像处理的输出图像数据的存储区域设为包括存储有能够覆盖的输入图像数据的存储区域的区域的设定、以及执行基于对象组的图像处理的控制。

Description

图像处理装置、图像处理方法及图像处理程序

技术领域

本公开技术涉及一种图像处理装置、图像处理方法及图像处理程序。

背景技术

以往，已知有如下技术：在对存储在存储区域中的输入数据进行处理并输出输出数据的情况下，进行覆盖输入数据而存储输出数据的原位(In-place)处理(参考日本特表2007-524156号公报)。

并且，也已知有如下技术：将上述原位处理适用于图像处理中，并将对存储在存储区域中的输入图像数据进行图像处理而得到的输出图像数据覆盖输入图像数据并进行存储(参考日本特表2011-521370号公报及日本特表2015-508528号公报)。另外，以下，将在与存储有输入图像数据的存储区域不同的存储区域中存储输出图像数据的处理称作异位(Out-place)处理。

发明内容

发明要解决的技术课题

通过进行前述原位处理，与进行异位处理的情况相比，能够减少存储区域的使用量。然而，有时根据处理内容无法进行原位处理。该情况下，若进行原位处理，则导致存储在存储区域中的输出数据成为与正常地进行处理而得到的数据不同的数据。

在日本特表2007-524156号公报、日本特表2011-521370号公报及日本特表2015-508528号公报中所记载的技术中，未考虑到对输入数据的处理能否进行原位处理。并且，虽然可以考虑使用户判断对输入数据的处理能否进行原位处理，但该情况下，将导致用户的负担增大。

本公开技术提供一种与使用户判断能否进行原位处理的情况相比，减轻用户的负担，并能够减少图像处理的存储区域的使用量的图像处理装置、图像处理方法及图像处理程序。

用于解决技术课题的手段

本发明的第1方式的图像处理装置由连结有多个对象的对象组来执行图像处理，所述多个对象对存储在存储区域中的输入图像数据执行图像处理，并输出输出图像数据，所述图像处理装置具备：判定部，根据图像处理的各处理内容而判定能否用输出图像数据来覆盖输入图像数据；及控制部，关于由判定部判定为能够覆盖的图像处理，进行将该图像处理的输出图像数据的存储区域设为包括存储有能够覆盖的输入图像数据的存储区域的区域的设定、以及执行基于对象组的图像处理的控制。

另外，本发明的第2方式的图像处理装置在第1方式的图像处理装置中，在输出图像数据的大小大于能够覆盖的输入图像数据的大小的情况下，作为输出图像数据的存储区域，控制部可以设定相对于存储有能够覆盖的输入图像数据的存储区域增加了输出图像数据的大小与能够覆盖的输入图像数据的大小的差分以上的规定范围内的容量的区域。

并且，本发明的第3方式的图像处理装置在第1方式或第2方式的图像处理装置中，还具备：输出部，输出由对象组的末级对象来执行的图像处理的处理结果的输出图像数据；及接收部，接收来自用户的输入，在接收部接收到处理结果为异常的情况下，关于由判定部判定为能够覆盖的至少1个图像处理，控制部可以进行将输出图像数据的存储区域设为与输入图像数据的存储区域不同的区域的设定、以及再次执行基于对象组的图像处理的控制。

并且，本发明的第4方式的图像处理装置在第1方式至第3方式中任一方式的图像处理装置中，控制部可以由与通过判定部而执行判定的处理器不同的处理器来进行执行图像处理的控制。

尤其，本发明的第5方式的图像处理装置在第4方式的图像处理装置中，控制部可以进行由具有本地存储器的图形处理器来执行图像处理的控制。

并且，本发明的第6方式的图像处理装置在第1方式至第5方式中任一方式的图像处理装置中，还具备分割部，该分割部将输入图像数据的作为处理对象的部分分割为分割图像数据，控制部可以进行按每一个分割图像数据执行基于对象组的图像处理的控制。

尤其，本发明的第7方式的图像处理装置在第6方式的图像处理装置中，在由具有缓存存储器及本地存储器的图形处理器来执行图像处理的情况下，分割部可以以与图形处理器的末级缓存的容量对应的大小来分割输入图像数据。

并且，本发明的第8方式的图像处理装置在第6方式或第7方式的图像处理装置中，在由具有缓存存储器的中央处理器来执行图像处理的情况下，分割部可以以与中央处理器的除了末级缓存以外的预先设定的缓存存储器的容量对应的大小来分割输入图像数据。

本发明的第9方式的图像处理方法为通过图像处理装置而进行的图像处理方法，所述图像处理装置由连结有多个对象的对象组来执行图像处理，所述多个对象对存储在存储区域中的输入图像数据执行图像处理，并输出输出图像数据，所述图像处理装置的图像处理方法根据图像处理的各处理内容而判定能否用输出图像数据来覆盖输入图像数据，关于判定为能够覆盖的图像处理，进行将图像处理的输出图像数据的存储区域设为包括存储有能够覆盖的输入图像数据的存储区域的区域的设定、以及执行基于对象组的图像处理的控制。

本发明的第10方式的图像处理程序用于使计算机作为本发明的第1方式至第8方式中任一方式的图像处理装置的判定部及控制部发挥功能。

发明效果

根据本发明的一实施方式，与使用户判断能否进行原位处理的情况相比，能够减轻用户的负担，并能够减少图像处理的存储区域的使用量。

附图说明

图1是表示作为各实施方式所涉及的图像处理装置发挥功能的计算机的结构的一例的框图。

图2A是表示图像处理DAG的一例的概略图。

图2B是将输入输出用存储器添加到图像处理DAG的情况的概略图。

图3是表示图像处理DAG的一例的概略图。

图4是表示第1实施方式所涉及的处理控制部的功能性结构的一例的框图。

图5是表示各实施方式所涉及的特征信息的一例的概略图。

图6是表示进行原位处理的情况的图像处理DAG的一例的概略图。

图7是表示进行原位处理的情况的图像处理DAG的一例的概略图。

图8是表示第1实施方式所涉及的图像处理程序的处理流程的流程图。

图9是表示第2实施方式所涉及的处理控制部的功能性结构的一例的框图。

图10是表示用于说明输入图像的分割处理的概略图。

图11是表示图像处理模块被分割为部分处理的图像处理DAG的一例的概略图。

图12是表示第2实施方式所涉及的图像处理程序的处理流程的流程图。

具体实施方式

以下，参考附图对用于实施本公开技术的方式例详细地进行说明。

[第1实施方式]

首先，参考图1对作为图像处理装置发挥功能的计算机10的结构进行说明。另外，计算机10可以是组装到图像处理设备中的计算机，所述图像处理设备在复印机、打印机、传真装置、兼具这些装置的功能的复合机及扫描仪等的内部进行图像处理。并且，计算机10可以是PC(Personal Computer：个人电脑)等独立的计算机，也可以是组装到PDA(PersonalDigital Assistant：个人数字助理)及移动电话等移动设备中的计算机。

如图1所示，本实施方式所涉及的计算机10具备第1运算部12A、第2运算部12B、存储器14、显示部16、操作部18、存储部20、图像数据供给部22及图像输出部24。并且，第1运算部12A、第2运算部12B、存储器14、显示部16、操作部18、存储部20、图像数据供给部22及图像输出部24的各部经由总线26而彼此连接。

本实施方式所涉及的第1运算部12A是计算机10的主处理器，作为一例为CPU(Central Processing Unit：中央处理器)。并且，本实施方式所涉及的第2运算部12B作为一例为内部具有本地存储器13的GPU(Graphics Processing Unit：图形处理器)。另外，第2运算部12B可以是与第1运算部12A相同种类的CPU，也可以是不同种类的CPU。并且，第2运算部12B可以是内置于第1运算部12A中的GPU。并且，第2运算部12B可以是内部不具有本地存储器13的GPU。并且，第1运算部12A及第2运算部12B可以是FPGA(Field Programmable GateArray：现场可编程门阵列)等运算器。

存储器14是第1运算部12A及第2运算部12B临时存储数据的非易失性存储构件。在由本实施方式所涉及的第2运算部12B进行图像处理的情况下，第1运算部12A将存储在存储器14或存储部20的存储区域中的图像数据经由总线26而传送到第2运算部12B。然后，第2运算部12B将从第1运算部12A传送过来的图像数据存储到本地存储器13中，并对所存储的图像数据进行图像处理。另外，第2运算部12B可以直接读取存储在存储器14或存储部20中的图像数据并进行图像处理。

在计算机10组装到前述图像处理设备中的情况下，显示部16及操作部18例如适用设置在图像处理设备中的LCD(Liquid Crystal Display：液晶显示器)等显示面板及数字键等。并且，在计算机10为独立的计算机的情况下，显示部16及操作部18例如适用连接在计算机10上的显示器及键盘、鼠标等。并且，显示部16及操作部18可以是触控面板及显示器成一体化而构成的触控面板显示器等。并且，存储部20适用HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)及闪存等非易失性存储介质。

图像数据供给部22只要供给处理对象的图像数据即可，例如适用图像读取部，该图像读取部读取记录在纸张或胶卷等记录材料上的图像并输出图像数据。并且，图像数据供给部22例如适用经由通信线路而从外部装置接收图像数据的接收部、及存储图像数据的图像存储部(存储器14或存储部20)等。

图像输出部24只要输出经过图像处理的图像数据或经过图像处理的图像数据所表示的图像即可，例如适用将图像数据所表示的图像记录在纸张或感光材料等记录材料上的图像记录部。并且，图像输出部24适用将图像数据所表示的图像显示于显示器等上的显示部(显示部16)、将图像数据写入CD-ROM(Compact Disk Read Only Memory：光盘只读存储器)等记录介质上的写入装置。并且，图像输出部24适用经由通信线路而将经过图像处理的图像数据发送到外部装置的发送部。并且，图像输出部24可以是存储经过图像处理的图像数据的图像存储部(存储器14或存储部20)。

如图1所示，存储部20中存储有通过第1运算部12A及第2运算部12B而执行的各种程序。在存储部20中，作为各种程序而存储有资源管理、程序执行的管理及将计算机10与外部装置的通信等进行管理的操作系统30的程序。并且，在存储部20中，作为各种程序而存储有用于使计算机10作为图像处理装置发挥功能的图像处理程序组34。并且，在存储部20中，作为各种程序而存储有对上述图像处理装置进行所希望的图像处理的各种应用程序组32(以下，称作“应用程序32”。)。

图像处理程序组34是以减轻在开发由前述图像处理设备、移动设备及PC等执行的图像处理程序时的负担为目的所开发出来的程序。并且，图像处理程序组34是以在前述图像处理设备、移动设备及PC等各种设备(平台)中能够共同执行的方式开发出来的程序。

通过图像处理程序组34而实现的图像处理装置按照来自应用程序32的构建指示，构建进行由应用程序32指示的图像处理的图像处理DAG(Directed Acyclic Graph：定向非循环(非周期性)图)50A(详细内容将进行后述)。而且，上述图像处理装置按照来自应用程序32的执行指示而执行图像处理DAG50A的处理。因此，图像处理程序组34将界面提供于应用程序32，所述界面用于指示进行所希望的图像处理的图像处理DAG50A的构建，或者用于指示通过所构建的图像处理DAG50A而执行图像处理。

根据以上结构，在新开发出需要在内部进行图像处理的任意的设备等情况下，关于进行上述图像处理的程序的开发，也只要如下所示进行开发即可。该情况下，只要开发出利用上述界面使图像处理程序组34进行在上述任意的设备中所需要的图像处理的应用程序32即可。从而，开发人员不需要重新开发出实际进行图像处理的程序，可以减轻开发人员的负担。

接着，关于本实施方式所涉及的图像处理程序组34详细地进行说明。如图1所示，图像处理程序组34包括模块库36、处理构建部42的程序及处理控制部46A的程序。

模块库36中分别登录有进行预先设定的彼此不同的图像处理的多种图像处理模块38的程序。作为该图像处理，例如可以举出输入处理、过滤处理、色彩转换处理、放大/缩小处理(图1中标记为“缩放处理”)、倾斜角检测处理、图像旋转处理、图像合成处理及输出处理等。

并且，模块库36中也登录有图像处理的种类相同且所执行的图像处理的内容不同的图像处理模块38。在图1中，将这种图像处理模块在末尾标注数字而区别为“模块1”、“模块2”。例如关于进行放大/缩小处理的图像处理模块38，准备有进行缩小处理的图像处理模块38，所述缩小处理为在水平方向及垂直方向的各方向上均对所输入的图像数据每隔1个像素进行间隔剔除，由此将图像的纵横大小缩小为50％。而且，例如关于进行放大/缩小处理的图像处理模块38，准备有以所指定的放大/缩小率对所输入的图像数据进行放大/缩小处理的图像处理模块38等。

并且，例如关于进行色彩转换处理的图像处理模块38，准备有将RGB(Red(红)Green(绿)Blue(蓝))色彩空间的图像转换为CMYK(Cyan(青)Magenta(洋红)Yellow(黄)Key-Plate(黑))色彩空间的图像的图像处理模块38及将CMYK色彩空间的图像转换为RGB色彩空间的图像的图像处理模块38。进而，例如关于进行色彩转换处理的图像处理模块38，准备有将RGB色彩空间的图像转换为YCbCr色彩空间的图像的图像处理模块38及将YCbCr色彩空间的图像转换为RGB色彩空间的图像的图像处理模块38等。

并且，模块库36中也登录有具备用于存储图像数据的存储区域(缓冲)的缓冲模块40。

本实施方式所涉及的处理构建部42根据来自应用程序32的指示而构建DAG形式的图像处理DAG50A。在图像处理DAG50A中，作为一例，如图2A所示，1个以上的图像处理模块38经由配置在各图像处理模块38的前级及后级中的至少一方的缓冲模块40而被连结。

另外，各个图像处理模块38为对输入图像数据执行图像处理并输出输出图像数据的对象的一例。并且，图像处理DAG50A为连结有多个图像处理模块38的对象组的一例。并且，在图2A所示例中，在由前级的图像处理模块38进行的图像处理结束的情况下，经由缓冲模块40而在前级连结有图像处理模块38的图像处理模块38示出能够执行本身的图像处理。并且，在前级的多个图像处理模块38的所有图像处理结束的情况下，经由缓冲模块40而在前级连结有多个图像处理模块38的图像处理模块38示出能够执行本身的图像处理。

并且，图2A中示出只有各模块按处理顺序连接的DAG，在执行该DAG时，如图2B所示被输入存储在存储器14中的图像数据，并按照DAG进行图像处理。然后，最终在存储器14中存储完成处理的图像数据等处理结果。另外，由第2运算部12B执行通过各图像处理模块38而执行的图像处理的情况下，图2B中示出的存储器14成为本地存储器13。

接着，参考图3，作为一例，对通过第2运算部12B并根据异位处理依次执行色彩转换处理及缩小处理的情况进行说明。另外，在图3中，为了区别进行色彩转换处理的图像处理模块38和进行缩小处理的图像处理模块38，在符号的末尾标注英文字母。并且，在图3中，为了避免复杂化，代替缓冲模块40而图示出各图像处理模块38的输入输出目的地的存储区域即本地存储器13。

如图3所示，图像处理模块38A对存储在本地存储器13的存储区域13A中的图像数据进行色彩转换处理，并对本地存储器13的存储区域13B输出色彩转换处理后的图像数据。并且，图像处理模块38B对存储在存储区域13B中的图像数据进行缩小处理，并对本地存储器13的存储区域13C输出缩小处理后的图像数据。如此，若根据异位处理来执行通过图像处理模块38而执行的图像处理，则在图3所示例中需要3个图像数据分量的存储区域。

尤其，如GPU一样，在本地存储器13的容量小于存储器14的情况下，有时因存储区域的确保失败而图像处理异常结束。并且，根据通过图像处理模块38而执行的图像处理的内容，有时无法进行原位处理。于是，本实施方式所涉及的计算机10根据图像处理的内容对通过图像处理模块38而执行的图像处理进行判定能否进行原位处理(能够用输出图像数据来覆盖输入图像数据)。而且，关于判定为可以进行原位处理的图像处理，本实施方式所涉及的计算机10根据原位处理来执行图像处理。

接着，参考图4对本实施方式所涉及的处理控制部46A的功能性结构进行说明。如图4所示，处理控制部46A具备接收部60、特征信息存储部62、判定部66、控制部68及输出部70。

本实施方式所涉及的接收部60例如经由操作部18而接收来自用户的输入。另外，接收部60例如也可以经由通信线路而接收从外部装置发送过来的表示来自用户的指示的指示信息，由此接收来自用户的输入。

本实施方式所涉及的特征信息存储部62中预先存储有特征信息64，该特征信息64中由各图像处理模块38执行的图像处理的内容与有关能够进行原位处理的可否信息建立对应关联。作为一例，如图5所示，本实施方式所涉及的特征信息64中，作为大分类而包括图像处理的种类，作为小分类而包括图像处理的处理内容及可否信息，图像处理的处理内容的各内容与可否信息建立对应关联。

可否信息是“必须”、“能够”及“不能够”中3种信息的任一种信息，可否信息为“必须”的图像处理是必须进行原位处理的处理。并且，可否信息为“能够”的图像处理是可以进行原位处理，也可以进行异位处理的处理，可否信息为“不能够”的图像处理是必须进行异位处理的处理。

例如由将RGB色彩空间的图像转换为YCbCr色彩空间的图像的图像处理模块38所执行的图像处理表示的是可以进行原位处理，也可以进行异位处理的处理。并且，由通过线性插值而放大图像的图像处理模块38执行的图像处理表示的是必须进行异位处理的处理。并且，由通过复制图像边缘部的像素而进行对图像附加光晕区域的处理的图像处理模块38所执行的图像处理表示的是必须进行原位处理的处理。

本实施方式所涉及的判定部66基于特征信息64并根据图像处理的处理内容来判定通过由处理构建部42构建的图像处理DAG50A的各个图像处理模块38而执行的图像处理能否进行原位处理。作为一例，本实施方式所涉及的判定部66判定为特征信息64的可否信息为“必须”或“能够”的处理内容的图像处理能够进行原位处理。

并且，判定部66判定为特征信息64的可否信息为“不能够”的处理内容的图像处理不能够进行原位处理。另外，判定部66可以判定为特征信息64的可否信息为“能够”的处理也不能够进行原位处理。

关于由判定部66判定为能够进行原位处理的图像处理，本实施方式所涉及的控制部68进行将图像处理的输出图像数据的存储区域设为包括存储有能够进行原位处理的输入图像数据的存储区域的区域的设定。在本实施方式中，在输出图像数据的大小为输入图像数据的大小以下的情况下，控制部68进行将输出图像数据的存储区域设为与存储有能够进行原位处理的输入图像数据的区域相同的区域的设定。

并且，在输出图像数据的大小大于输入图像数据的大小的情况下，控制部68进行以下所示设定。该情况下，控制部68进行将相对于存储有输入图像数据的存储区域增加了输出图像数据的大小与输入图像数据的大小的差分的容量的区域设为输出图像数据的存储区域的设定。另外，该情况下，控制部68可以进行将相对于存储有输入图像数据的存储区域增加了在输出图像数据的大小与输入图像数据的大小的差分加上余量的大小的区域设为输出图像数据的存储区域的设定。

并且，控制部68根据已进行上述存储区域设定的图像处理DAG50A进行执行图像处理的控制。即，控制部68首先进行通过图像处理DAG50A的最初级的图像处理模块38而执行图像处理的控制。之后，控制部68进行如下控制，即，通过与前级连结的图像处理模块38而进行的图像处理结束，并依次执行通过能够执行的图像处理模块38而进行的图像处理。另外，本实施方式所涉及的控制部68进行由第2运算部12B来执行各图像处理的控制。

参考图6，作为一例，对进行简单间隔剔除缩小处理的情况进行说明，该简单间隔剔除缩小处理为在由第2运算部12B进行将RGB色彩空间的图像转换为YCbCr色彩空间的图像的图像处理之后，通过间隔剔除像素而缩小图像。另外，在图6中，为了区别进行将RGB色彩空间的图像转换为YCbCr色彩空间的图像的图像处理的图像处理模块38和进行简单间隔剔除缩小处理的图像处理模块38，在符号的末尾附加有英文字母。并且，在图6中，为了避免复杂化，代替缓冲模块40而图示出各图像处理模块38的输入输出目的地的存储区域即本地存储器13。

如图6所示，由于由图像处理模块38C来执行的图像处理能够进行原位处理，因此作为图像处理模块38C的输出目的地的存储区域13E，设定存储有图像处理模块38C的输入图像数据的存储区域13D。并且，由于由图像处理模块38D来执行的图像处理也能够进行原位处理，因此作为图像处理模块38D的输出目的地的存储区域13F，设定存储有图像处理模块38D的输入图像数据的存储区域13E。

如前所述，该存储区域13E设定为存储区域13D的结果，图像处理模块38D进行图像处理的结果而得到的输出图像数据被存储在存储区域13D中。从而，该情况下，与不进行原位处理的情况相比，本地存储器13的使用量减少为一半以下。

接着，参考图7，作为一例，对进行线性插值放大处理的情况进行说明，该线性插值放大处理为在由第2运算部12B进行将RGB色彩空间的图像转换为YCbCr色彩空间的图像的图像处理之后，通过进行线性插值而放大图像。另外，在图7中，为了区别进行将RGB色彩空间的图像转换为YCbCr色彩空间的图像的图像处理的图像处理模块38和进行线性插值放大处理的图像处理模块38，在符号的末尾附加有英文字母。并且，在图7中，为了避免复杂化，代替缓冲模块40而图示出各图像处理模块38的输入输出目的地的存储区域即本地存储器13。

如图7所示，由于由图像处理模块38C来执行的图像处理能够进行原位处理，因此作为图像处理模块38C的输出目的地的存储区域13H而设定存储有图像处理模块38C的输入图像数据的存储区域13G。并且，由于由图像处理模块38E执行的图像处理不能够进行原位处理，因此图像处理模块38E的输出目的地的存储区域13I设定通过操作系统30而重新得到确保的存储区域。从而，该情况下，与不进行原位处理的情况相比，本地存储器13的使用量减少输出图像数据的一份。

并且，在由接收部60接收到由图像处理DAG50A的末级对象执行的图像处理的处理结果为异常的情况下，控制部68进行以下所示的处理。该情况下，关于由判定部66判定为能够进行原位处理的至少1个图像处理，控制部68进行将输出图像数据的存储区域设为与输入图像数据的存储区域不同的区域的设定。进而，该情况下，控制部68进行根据已进行存储区域的再设定的图像处理DAG50A再次执行图像处理的控制。

本实施方式所涉及的输出部70输出由图像处理DAG50A的末级图像处理模块38执行的图像处理的结果而得到的输出图像数据。在本实施方式中，输出部70将所得到的输出图像数据显示于显示部16。另外，输出部70可以将输出图像数据输出(发送)到外部装置。并且，在计算机10组装到打印机的情况下，输出部70可以将由输出图像数据表示的输出图像输出(形成)到纸张等记录材料。

接着，参考图8对本实施方式所涉及的计算机10的作用进行说明。另外，图8是表示在由应用程序32输入了图像处理的开始执行指示的情况下，通过第1运算部12A而执行的图像处理程序的处理流程的流程图。并且，图像处理程序预先安装在存储部20中。并且，通过第1运算部12A执行图像处理程序，第1运算部12A作为前述处理构建部42、接收部60、判定部66、控制部68及输出部70发挥功能。

在图8的步骤100中，处理构建部42按照来自应用程序32的构建指示而构建进行应用程序32所指示的图像处理的图像处理DAG50A。在下一个步骤102中，判定部66从特征信息存储部62读取特征信息64。关于从下一个步骤104至步骤108的处理，将步骤100的处理中所构建的图像处理DAG50A的所有图像处理模块38中的1个选择性地作为处理对象(以下，称作“处理对象模块38”。)而反复执行。另外，在反复执行从步骤104至步骤108的处理的情况下，将到目前为止未作为处理对象的图像处理模块38作为处理对象。

在步骤104中，判定部66基于特征信息64判定由处理对象模块38执行的图像处理的处理内容是否为“必须”或“能够”进行原位处理。在该判定成为否定判定的情况下，判定部66视为“不能够”进行原位处理，从而转移到步骤108，另一方面，在成为肯定判定的情况下，转移到步骤106。

在步骤106中，如前所述，关于由处理对象模块38执行的图像处理，控制部68在进行了将图像处理的输出图像数据的存储区域设为包括存储有输入图像数据的存储区域的区域的设定之后转移到步骤110。另一方面，在步骤108中，关于由处理对象模块38执行的图像处理，控制部68在进行了将图像处理的输出图像数据的存储区域设为与输入图像数据的存储区域不同的区域的设定之后转移到步骤110。

在步骤110中，关于由步骤100构建的图像处理DAG50A的所有图像处理模块38，控制部68判定从上述步骤104至步骤108的处理是否结束。控制部68在该判定成为否定判定的情况下返回到步骤104，另一方面，在成为肯定判定的情况下转移到步骤112。

在步骤112中，控制部68进行由第2运算部12B来执行通过经过以上处理的图像处理DAG50A进行的图像处理。第2运算部12B将从第1运算部12A传送过来的输入图像数据存储在本地存储器13中，并按照图像处理DAG50A而执行图像处理。若通过图像处理DAG50A进行的图像处理结束，则第2运算部12B将最终得到的(即，从图像处理DAG50A的末级图像处理模块38输出的)输出图像数据从本地存储器13传送到第1运算部12A。

因此，在步骤114中，控制部68进行输出图像数据的接收等待。控制部68若接收输出图像数据，则步骤114成为肯定判定，处理将转移到步骤116。在步骤116中，输出部70将在步骤114中接收到的输出图像数据输出到显示部16。

用户确认由显示于显示部16的输出图像数据来表示的输出图像，在输出图像为异常的图像的情况下，经由操作部18而输入图像处理的再执行指示。

因此，在步骤118中，判定接收部60是否接收到图像处理的再执行指示。在该判定为肯定判定的情况下，接收部60转移到步骤120。

在步骤120中，关于在步骤104中判定为能够进行原位处理的至少1个图像处理，与上述步骤108同样地，控制部68进行以下所示处理。控制部68在进行了将图像处理的输出图像数据的存储区域设为与输入图像数据的存储区域不同的区域的设定之后返回到步骤112。另外，在本步骤120中，作为进行存储区域的再设定的对象的图像处理模块38的数量并无特别的限定，可以是1个，也可以是2个，也可以是在步骤104中判定为能够进行原位处理的所有图像处理模块38。

另一方面，接收部60即使经过规定期间也未接收到图像处理的再执行指示的情况下，步骤118的判定成为否定判定，结束该图像处理。

如以上说明，根据本实施方式，根据图像处理的处理内容来判定图像处理能否进行原位处理。而且，关于判定为能够进行原位处理的图像处理，进行将图像处理的输出图像数据的存储区域设为包括存储有能够覆盖的输入图像数据的存储区域的区域的设定。由此，与使用户判断能否进行原位处理的情况相比，能够减轻用户的负担，并能够减少图像处理的存储区域的使用量。

并且，根据本实施方式，在接收到图像处理的处理结果为异常的情况下，关于能够进行原位处理的至少1个图像处理，进行将输出图像数据的存储区域设为与输入图像数据的存储区域不同的区域的设定。其结果，在因原位处理而引起图像处理的处理结果为异常的情况下，用户仅通过进行再执行指示而再执行图像处理。由此，能够进一步减轻用户的负担。

并且，根据本实施方式，由与通过判定部66而执行判定的处理器(第1运算部12A)不同的处理器(第2运算部12B)来执行图像处理。由此，在由与通过判定部66而执行判定的处理器相同的处理器来执行图像处理的情况相比，能够高速执行图像处理。

并且，根据本实施方式，由GPU(第2运算部12B)执行图像处理。通常，GPU的本地存储器13的容量小于存储器14的容量，因此，若通过异位处理通过GPU而执行图像处理，则存储区域的确保失败的可能性较高。相对于此，根据本实施方式，由于能够减少图像处理的存储区域的使用量，因此能够降低存储区域的确保失败的可能性。

[第2实施方式]

在本第2实施方式中，与第1实施方式不同点在于将输入图像数据进行分割。另外，关于具有与上述第1实施方式相同的功能的构成要件，标注同一符号，并省略其说明。

首先，参考图1对本实施方式所涉及的计算机10的结构进行说明。如图1所示，本实施方式所涉及的图像处理程序组34包括处理控制部46B的程序。

并且，本实施方式所涉及的第2运算部12B具有本地存储器13，并具有多个(在本实施方式中为4个)处理器核心。并且，第2运算部12B具有1对1对应于各处理器核心而设置、且由处理器核心作为缓存存储器而使用的多个(在本实施方式中为4个)L1(Level1：1级)缓存。并且，第2运算部12B具有由各处理器核心作为共享的缓存存储器而使用、且容量大于1个L1缓存的1个L2(Level2：2级)缓存。

即，在本实施方式中，L2缓存为离第2运算部的处理器最远的级别的缓存存储器，为所谓的LLC(Last Level Cache：末级缓存)。另外，缓存存储器的级数并不限定于2个，也可以是3个以上。

并且，本实施方式所涉及的第1运算部12A也与第2运算部12B同样地具有多个处理器核心、L1缓存及L2缓存。

并且，本实施方式所涉及的各个图像处理模块38能够设定为通过第1运算部12A及第2运算部12B中的哪一个运算部而执行图像处理。另外，在本实施方式中，对各图像处理模块38中预先设定有通过第1运算部12A及第2运算部12B中的哪一个运算部根据图像处理模块38的处理内容而执行图像处理的情况进行说明，但并不限定于此。例如也可以由用户对每一个图像处理模块38设定通过第1运算部12A及第2运算部12B中的哪一个运算部而执行图像处理。

接着，参考图9对本实施方式所涉及的处理控制部46B的结构进行说明。如图9所示，处理控制部46B具备分割部72。

本实施方式所涉及的分割部72将由输入图像数据的作为处理对象的部分来表示的图像分割为多个分割图像。作为一例，如图10所示，分割部72将由输入图像数据的作为处理对象的部分来表示的图像G分割为多个(图10所示例中为3个)分割图像B1～B3。另外，以下，将表示分割图像的图像数据称作“分割图像数据”。并且，输入图像数据的作为处理对象的部分是指，如色彩转换处理一样，在将整个输入图像作为处理对象的图像处理中，整个输入图像数据作为处理对象的部分。并且，输入图像数据的作为处理对象的部分是指，如剪切(修剪)处理一样，在将输入图像的一部分作为对象的图像处理中，图像处理的作为处理对象的部分。以下，为了避免复杂化，将输入图像数据的作为处理对象的部分简称为“输入图像数据”。

并且，在图10所示例中，分割部72将图像G进行上下分割，但并不限定于此。例如分割部72可以将图像G进行左右分割，也可以进行上下左右分割。

在由第2运算部12B执行图像处理的情况下，分割部72将输入图像数据以与第2运算部12B的LLC(L2缓存)的容量对应的大小来分割为多个分割图像数据。在本实施方式中，分割部72将输入图像数据以第2运算部12B的LLC的容量以下且与LLC的容量尽量一致的大小来分割为多个相同大小的分割图像数据。即，例如在输入图像数据的大小为6MB、且第2运算部12B的LLC的容量为2MB的情况下，各分割图像数据的大小成为2MB。并且，在输入图像数据的大小为4.5MB、且第2运算部12B的LLC的容量为2MB的情况下，各分割图像数据的大小成为1.5MB。

另一方面，在由第1运算部12A执行图像处理的情况下，分割部72将输入图像数据以与第1运算部12A的除了LLC以外的缓存存储器(在本实施方式中为L1缓存)的容量对应的大小来分割为多个分割图像数据。在本实施方式中，分割部72将输入图像数据以第1运算部12A的L1缓存的容量以下且与L1缓存的容量尽量一致的大小来分割为多个相同大小的分割图像数据。另外，在第1运算部12A具有3个以上级别的缓存存储器的情况下，分割部72只要以与除了LLC以外的预先设定的1个缓存存储器(例如L2缓存)的容量对应的大小来分割输入图像数据即可。

并且，作为一例，如图11所示，分割部72相对于图像处理DAG50A，将由各图像处理模块38执行的图像处理分割为与各个分割图像数据对应的部分处理39(任务)，从而构建图像处理DAG50B。另外，在图11中，为了避免复杂化，省略了缓冲模块40的图示。并且，分割部72根据由图像处理模块38执行的图像处理的种类，在连结在前级的图像处理模块38的部分处理39与连结在后级的图像处理模块38的部分处理39之间赋予依赖关系。另外，在图11中，用虚线的箭头来表示该依赖关系。

例如，如色彩转换处理一样，在仅对作为处理对象的像素进行图像处理的处理中，各部分处理39也成为1对1的依赖关系。另一方面，例如，如过滤处理一样，在也需要作为处理对象的像素的周边像素的图像处理中，对周边像素进行图像处理的前级的部分处理39中也赋予依赖关系。在不存在与前级有存在依赖关系的部分处理39，或者在有依赖关系的所有部分处理39结束的情况下，能够执行各部分处理39。

接着，参考图12对本实施方式所涉及的计算机10的作用进行说明。另外，图12是表示在由应用程序32输入了图像处理的开始执行指示的情况下，通过第1运算部12A而执行的图像处理程序的处理流程的流程图。并且，图像处理程序预先安装在存储部20中。并且，通过第1运算部12A而执行图像处理程序，第1运算部12A作为前述处理构建部42、接收部60、判定部66、控制部68、输出部70及分割部72发挥功能。并且，关于执行图12中的与图8相同处理的步骤，标注与图8相同的步骤编号，并省略其说明。

在图12的步骤111中，如前所述，分割部72根据表示由哪一个运算部来执行通过图像处理DAG50A的各个图像处理模块38而进行的图像处理的信息，将输入图像数据分割为多个分割图像数据。而且，分割部72对经过以上处理的图像处理DAG50A，如前所述将由各图像处理模块38执行的图像处理分割为各个部分处理39，并在直接连结的图像处理模块38的部分处理39之间赋予依赖关系。即，在本步骤111中，分割部72构建图像处理DAG50B。

在下一个步骤113中，控制部68进行按照在步骤111中构建的图像处理DAG50B而执行图像处理的控制。即，控制部68进行通过第1运算部12A的各处理器核心而执行图像处理模块38的部分处理的控制，该图像处理模块38设定为由图像处理DAG50B中的第1运算部12A来执行。并且，控制部68进行通过第2运算部12B的各处理器核心而执行图像处理模块38的部分处理的控制，该图像处理模块38设定为由图像处理DAG50B中的第2运算部12B来执行。控制部68按照图像处理DAG50B对能够执行的部分处理39依次进行这些控制。

另外，在图像处理DAG50B的所有末级图像处理模块38设定为由第1运算部12A来执行的情况下，不需要步骤114的处理。

如以上说明，根据本实施方式，能够发挥与上述第1实施方式相同的效果。

并且，根据本实施方式，将由第2运算部12A(GPU)执行的图像处理模块38的输入图像数据以与第2运算部12A的LLC的容量对应的大小来分割为多个分割图像数据。在由第2运算部12A执行图像处理的情况下，若分割图像数据的数量过多，则第1运算部12A(CPU)与第2运算部12B之间的数据传送的额外负担变得较大。从而，在本实施方式中，与以L1缓存的大小来分割输入图像数据的情况相比，能够减小额外负担。并且，在并行化图像处理的基础上，提高LLC的命中率。从而，根据本实施方式，能够以更高速执行图像处理。

并且，根据本实施方式，将由第1运算部12A(CPU)执行的图像处理模块38的输入图像数据以与第1运算部12A的L1缓存的容量对应的大小来分割为多个分割图像数据。由此，在并行化图像处理的基础上，比LLC更高速的L1缓存的命中率提高，因此能够以更高速执行图像处理。

另外，在上述各实施方式中，分割部72可以以预先设定的数量或大小来分割输入图像数据。

并且，在上述各实施方式中，对各种程序预先存储(安装)在存储部20中的方式进行了说明，但并不限定于此。各种程序可以以记录在CD-ROM、DVD-ROM(Digital VersatileDisk Read Only Memory：数字多功能磁盘只读存储器)、USB(Universal Serial Bus：通用串行总线)存储器等记录介质中的形式而被提供。并且，各种程序也可以设为经由网络从外部装置下载的形式。

本申请主张基于2016年3月24日于日本申请的日本专利申请2016-060522号的公开通过参考而援用于本说明书中。

在本说明书中记载的所有文献、专利申请及技术标准中，通过参考而援用各文献、日本专利申请及技术标准的情况与通过具体且与分别记载的情况相同的程度，通过参考而援用于本说明书中。

符号说明

10-计算机，12A-第1运算部，12B-第2运算部，13-本地存储器，13A～13I-存储区域，14-存储器，16-显示部，18-操作部，20-存储部，22-图像数据供给部，24-图像输出部，26-总线，30-操作系统，32-应用程序组，34-图像处理程序组，36-模块库，38、38A～38E-图像处理模块，39-部分处理，40-缓冲模块，42-处理构建部，46A、46B-处理控制部，50A、50B-图像处理DAG，60-接收部，62-特征信息存储部，64-特征信息，66-判定部，68-控制部，70-输出部，72-分割部，B1～B3-分割图像，G-图像。

Claims (10)

1.一种图像处理装置，其由连结有多个对象的对象组来执行图像处理，所述多个对象对存储在存储区域中的输入图像数据执行图像处理，并输出输出图像数据，

所述图像处理装置具备：

判定部，根据所述图像处理的各处理内容而判定能否用所述输出图像数据来覆盖所述输入图像数据；及

控制部，关于由所述判定部判定为能够覆盖的图像处理，进行将该图像处理的输出图像数据的存储区域设为包括存储有能够覆盖的输入图像数据的存储区域的区域的设定、以及执行基于所述对象组的图像处理的控制。

2.根据权利要求1所述的图像处理装置，其中，

在输出图像数据的大小大于所述能够覆盖的输入图像数据的大小的情况下，作为所述输出图像数据的存储区域，所述控制部设定相对于存储有所述能够覆盖的输入图像数据的存储区域增加了输出图像数据的大小与所述能够覆盖的输入图像数据的大小的差分以上的规定范围内的容量的区域。

3.根据权利要求1或2所述的图像处理装置，其中，还具备：

输出部，输出由所述对象组的末级对象来执行的图像处理的处理结果的输出图像数据；及

接收部，接收来自用户的输入，

在所述接收部接收到所述处理结果为异常的情况下，关于由所述判定部判定为能够覆盖的至少1个图像处理，所述控制部进行将所述输出图像数据的存储区域设为与所述输入图像数据的存储区域不同的区域的设定、以及再次执行基于所述对象组的图像处理的控制。

4.根据权利要求1至3中任一项所述的图像处理装置，其中，

所述控制部进行由与执行所述判定部的判定的处理器不同的处理器来执行所述图像处理的控制。

5.根据权利要求4所述的图像处理装置，其中，

所述控制部进行由具有本地存储器的图形处理器来执行所述图像处理的控制。

6.根据权利要求1至5中任一项所述的图像处理装置，其中，

所述图像处理装置还具备分割部，该分割部将所述输入图像数据的作为处理对象的部分分割为多个分割图像数据，

所述控制部进行按每一个所述分割图像数据执行基于所述对象组的图像处理的控制。

7.根据权利要求6所述的图像处理装置，其中，

在由具有缓存存储器及本地存储器的图形处理器来执行所述图像处理的情况下，所述分割部以与所述图形处理器的末级缓存的容量对应的大小来分割所述输入图像数据。

8.根据权利要求6或7所述的图像处理装置，其中，

在由具有缓存存储器的中央处理器来执行所述图像处理的情况下，所述分割部以与所述中央处理器的除了末级缓存以外的预先设定的缓存存储器的容量对应的大小来分割所述输入图像数据。

9.一种图像处理方法，其为通过图像处理装置而进行的图像处理方法，所述图像处理装置由连结有多个对象的对象组来执行图像处理，所述多个对象对存储在存储区域中的输入图像数据执行图像处理，并输出输出图像数据，

所述图像处理方法根据所述图像处理的各处理内容而判定能否用所述输出图像数据来覆盖所述输入图像数据，

关于判定为能够覆盖的图像处理，进行将该图像处理的输出图像数据的存储区域设为包括存储有能够覆盖的输入图像数据的存储区域的区域的设定、以及执行基于所述对象组的图像处理的控制。

10.一种图像处理程序，其用于使计算机作为权利要求1至8中任一项所述的图像处理装置的判定部及控制部发挥功能。