CN102289783A - 信息处理系统、信息处理方法、和信息处理装置 - Google Patents

信息处理系统、信息处理方法、和信息处理装置 Download PDF

Info

Publication number
CN102289783A
CN102289783A CN201110165301A CN201110165301A CN102289783A CN 102289783 A CN102289783 A CN 102289783A CN 201110165301 A CN201110165301 A CN 201110165301A CN 201110165301 A CN201110165301 A CN 201110165301A CN 102289783 A CN102289783 A CN 102289783A
Authority
CN
China
Prior art keywords
thread parameter
parameter
image capture
processing unit
capture conditions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110165301A
Other languages
English (en)
Inventor
白木寿一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102289783A publication Critical patent/CN102289783A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了信息处理系统、信息处理方法、和信息处理装置。该信息处理装置包括:图形处理单元,其能够将对图像的处理划分为多个线程,并执行对图像的处理;确定部,被配置为搜索图形处理单元能够用来在给定的图像处理条件下以最高速度执行处理的线程参数,并将该线程参数确定为最佳线程参数;传输部,被配置为建立图像处理条件和确定部所确定的最佳线程参数之间的对应关系,并经由传输线将图像处理条件和最佳线程参数累积在数据库中;以及设置部,被配置为经由传输线从数据库获取最佳线程参数,并将最佳线程参数设置到图形处理单元。

Description

信息处理系统、信息处理方法、和信息处理装置
技术领域
本公开涉及使用GPU(图形处理单元)对图像执行效果(effect)处理的信息处理系统、信息处理方法、和信息处理装置。
背景技术
近些年,通用计算机硬件的增强性能和高功能性使得利用通用计算机硬件来进行以前只能由专用硬件执行的图像处理成为现实。具体地,在通用计算机硬件中,被用作主存储器的CPU(中央处理单元)和RAM(随机存取存储器)显示出了极高的速度,所以针对大容量图像数据的复杂效果处理可以在经济且令人满意的时间段内执行。
通过引入被设计专门用于并行的算术处理的算术处理设备GPU(图形处理单元),图像处理可以被以更高的速度执行。GPU的并行算术处理是通过这样的机制来实现的,该机制包括向多个算术单元发布相同的指令并利用各算术单元独立执行相同的指令。相反,在CPU中,不同的指令被发布到不同的算术单元,并且这些算术单元分别执行不同的指令。所以,GPU可以在诸如图像处理之类的其中部分处理的算术结果不会影响整个处理的处理中显示出了增强的性能。相反,CPU适用于串行处理。
另外最近,使得GPU不仅执行图像处理而且被用于其他数字处理的GPGPU(图形处理单元上的通用计算)技术领域被知晓。
日本专利申请早期公开No.2008-226038(第0005段)(下文中称为专利文献1)公开了一种搜索连接到网络的装置并显示有关各装置上的资源信息(有关规格和性能的信息)的列表信息的系统。该文献描述了以下内容:在该系统中,当基于用户输入的搜索条件(检索协议、用于搜索的通信系统、搜索范围等)搜索各装置上的资源信息时,在GPU执行对装置的搜索结果的显示处理的情况下线程数目被优化。通过优化线程数目,可以避免由于生成了多于资源信息的显示处理所必需的线程而导致的资源过渡消耗,以及相反由于线程太少而不能实现通过分担显示处理来改善处理速度的目的。
在通过GPU处理图像数据(诸如,效果)的过程中,线程数目的选择(线程参数)是决定处理速度的一项重要内容。然而,最佳线程数目(线程参数)取决于诸如GPU的规格、图像尺寸、以及效果的处理内容(诸如效果的种类和抽头(tap)尺寸之类的效果参数)之类的图像处理条件。在使用计算机的图像编辑环境中,用户可以自由设置包括要输出的图像尺寸、效果处理内容等的图像处理条件。结果,图像处理条件的种类数目变得很大。用户每次自己查找并设置图像处理条件下的最佳线程参数对于用户来说是极为低效的。
替代地,假设效果的开发者先前为图像处理条件的所有组合确定了最佳线程参数,那么预计这会花费很多时间和精力(这毕竟是不现实的)。
发明内容
鉴于上述情形,期望提供一种可以能够根据图像处理条件高效获取最佳线程参数从而使得全部图像处理高效的信息处理系统、信息处理方法、和信息处理装置。
根据本公开的实施例,提供了一种信息处理系统,包括多个信息处理装置、数据库、以及连接信息处理装置和数据库的传输线。每个信息处理装置包括:图形处理单元,其能够将对图像的处理划分成多个线程,并对图像执行处理;确定部,被配置为搜索图形处理单元能够用来在给定的图像处理条件下以最高速度执行处理的线程参数,并将该线程参数确定为最佳线程参数;传输部,被配置为建立图像处理条件和确定部所确定的最佳线程参数之间的对应关系,并经由传输线将图像处理条件和最佳线程参数累积在数据库中;以及设置部,被配置为经由传输线从数据库获取最佳线程参数,并将最佳线程参数设置到图形处理单元。
根据本公开,在新近获取给定的图像处理条件下的最佳线程参数的情况下,确定部搜索信息处理装置中的图形处理单元能够用来在该图像处理条件下以最高速度执行处理的线程参数,并将其确定为最佳线程参数。另外,图像处理条件和确定部所确定的最佳线程参数之间的对应关系被建立,并且图像处理条件和最佳线程参数被经由传输线而传输到数据库以被累积在数据库中。所以,在数据库中存在给定的图像处理条件下的最佳线程参数的情况下,信息处理装置可以经由传输线从数据库获取最佳线程参数,并将其设置到图形处理单元。所以,根据本公开,最佳线程参数可以在各种图像处理条件下被有效获取,并且图像可以被有效编辑。另外,根据本公开,一个数据库由多个信息处理装置共享,从而使得最佳线程参数被更高效地获取。
图像处理条件至少包括图形处理单元的种类、图像的尺寸、以及图像的处理内容。所以,当由于更高性能的图形处理单元的出现使得将来的图像处理条件增加时,本技术也可以适用。
设置部可以被配置为将确定部所确定的最佳线程参数设置到图形处理单元。所以,图像处理可以在新的图像处理条件下被立即执行。
确定部可以被配置为在更新设置到图形处理单元的线程参数的同时测量在给定的图像处理条件下针对每个线程参数的处理所需要的时间,并将使得处理所需要的时间最短的线程参数确定为最佳线程参数。所以,使得处理所需要的时间最短的线程参数可以被可靠地确定。
确定部可以设置线程参数的上限,并可以被配置为在不超过所设置的上限的范围内确定最佳线程参数。所以,在线程参数的上限被设置到图形处理单元时,本技术也可以适用。
根据本公开的另一个实施例,提供了一种信息处理方法,包括:通过信息处理装置的确定部将信息处理装置的确定部能够用来在给定的图像处理条件下以最高速度执行处理的线程参数确定为最佳线程参数;通过信息处理装置的传输部建立图像处理条件和确定部所确定的最佳线程参数之间的对应关系,并经由网络将图像处理条件和最佳线程参数传输到数据库,以将图像处理条件和最佳线程参数累积在数据库中;以及通过信息处理装置的设置部经由网络从数据库获取最佳线程参数,并将最佳线程参数设置到图形处理单元。
根据本公开的另一个实施例,提供了一种信息处理装置,包括:图形处理单元,其能够将对图像的处理划分成多个线程,并对图像执行处理;确定部,被配置为将图形处理单元能够用来在给定的图像处理条件下以最高速度执行处理的线程参数确定为最佳线程参数;传输部,被配置为建立图像处理条件和确定部所确定的最佳线程参数之间的对应关系,并经由传输线将图像处理条件和最佳线程参数传输到数据库,以将图像处理条件和最佳线程参数累积在数据库中;以及设置部,被配置为经由传输线从数据库获取最佳线程参数,并将最佳线程参数设置到图形处理单元。
如上所述,根据本公开,可以根据图像处理条件有效获取最佳线程参数,并可以高效执行全部图像处理。
通过附图中所示的以下最佳模式实施例的详细描述,本公开的其他目的、特征、和优点将变得显而易见。
附图说明
图1是示出根据本公开的实施例的使用计算机的图像编辑系统的结构的示图;
图2是示出图1的编辑装置的硬件结构的框图;
图3是示出效果处理的流程的流程图;
图4是示出图1的编辑装置的编辑环境屏幕的示例的示图;
图5是示出用于设置散焦参数(defocus parameter)的编辑环境屏幕的示例的示图;
图6是示出在图1的编辑装置中通过利用GPU来将效果应用于图像数据的情况下的图像处理流程的流程图;
图7是示意性地示出图1的编辑装置的图像处理功能的框图;
图8是关于线程参数定义的概念性示图;
图9也是关于线程参数定义的概念性示图;
图10是说明线程参数的示图;
图11是示出图1的编辑装置搜索最佳线程数目的过程的流程图;及
图12是示出修改后的示例1的编辑装置搜索最佳线程数目的过程的流程图。
具体实施方式
下文中,将参考附图描述本公开的实施例。
(第一实施例)
图1是示出作为根据本公开的实施例的信息处理系统的图像编辑系统的结构的示图。
(图像编辑系统)
如图1所示,图像编辑系统100包括作为信息处理装置的多个编辑装置10(10-1至10-5)、数据库20、以及作为连接它们的传输线的网络30。
数据库20累积大量图像数据等,并响应于来自编辑装置10的图像选择请求而经由网络30将适当的图像数据下载到编辑装置10上。另外,数据库20不仅可以响应于来自编辑装置10的请求而下载作为编辑目标的图像数据,而且可以下载通过减小图像数据的尺寸而得到的微缩的减小尺寸的图像数据。另外,由编辑装置10(10-1至10-5)获取的最佳线程参数和图像处理条件的组合可以被累积在数据库20中。
每个编辑装置10(10-1至10-5)是能够基于编辑者输入的操作对经由网络30从数据库20下载的图像数据分别执行诸如效果之类的处理的装置。更具体地,编辑装置10是包括计算机硬件的信息处理装置。
(编辑装置10的结构)
图2是示出编辑装置10的硬件结构的框图。
如图2所示,编辑装置10包括CPU单元11、GPU单元12、存储设备13、显示接口14、操作接口15、网络接口16、以及将它们相互连接的总线17。
CPU单元11包括CPU 111和存储器112(下文中,称为“CPU存储器”),并且执行CPU存储器112中存储的程序,从而执行CPU存储器112中的关于各种算术处理的指令。CPU单元11对用户从连接至操作接口15的操作输入设备18输入的命令进行解释,从而将它们反映到程序的动作(behavior)。例如,CPU单元11基于用户的命令等进行控制来下载累积在数据库20中的图像数据并将图像数据存储在存储设备13中,将图像数据从存储设备13读出到CPU存储器112,并对图像数据执行诸如效果之类的处理。CPU存储器112中保存的图像数据被提供给显示接口14,在显示接口14中被描画处理为可视的描画数据,根据需要被与由GPU单元12(后面描述)处理的图像的描画数据结合,并被输出到显示设备19。另外,CPU单元11可以根据需要进行控制来结合CPU存储器112中保存的处理后的图像数据和由GPU单元12处理后的图像数据,将图像数据写回在存储设备13中,并经由网络30将写回在存储设备13中的编辑后的图像数据传输到数据库20。
GPU单元12包括GPU 121和存储器122(下文中称为“GPU存储器122”),并且可以执行存储在GPU存储器122中的程序,从而通过GPU存储器122中的并行算术处理来执行诸如效果之类的图像处理。GPU存储器122中保存的图像数据被提供给显示接口14,在显示接口14中被描画处理为可视的描画数据,被根据需要与由上述GPU单元12处理后的图像的描画数据结合,并被输出到显示设备19。
显示接口14是到显示设备19的接口,其对由CPU单元11和GPU单元12提供的图像数据执行描画处理,根据需要将经过CPU单元11处理的图像的描画数据和经过GPU单元12处理的图像的描画数据结合在一起,并且将结合后的数据作为一个图像的描画数据提供给显示设备19。显示接口14的处理由例如上述GPU 121或者额外提供的GPU(未示出)执行。
操作接口15是到操作输入设备18的接口,其将用户从操作输入设备18输入的数据和命令提供给CPU单元11等。
存储设备13例如存储从数据库20获取的未编辑的图像数据以及编辑后的图像数据,并且累积促使CPU单元11和GPU单元12执行编辑处理等的各种程序。
网络接口16是用于连接到网络30的接口。
(效果处理)
将描述在图2的编辑装置10对作为运动图像的一部分的一个场景中包括的一个或多个帧图像应用效果(特殊效果)的情况下的处理流程。
图3是示出效果处理的流程的流程图。
首先,编辑装置10中的CPU 111根据用户的指令从数据库20下载用于选择运动图像中的场景的信息(步骤S101),并在显示设备19上显示所下载的用于选择场景的信息(步骤S102)。这里,用于选择场景的信息是例如,通过降低代表场景的帧图像的分辨率而获取的图像数据(微缩图像)等。
接着,在用户使用诸如鼠标之类的操作输入设备18根据显示设备19上显示的用于选择场景的信息选择用户希望应用效果的场景(步骤S103)的情况下,编辑装置10中的CPU 111向数据库20请求下载与所选择的场景相对应的一个或多个帧图像,获取该一个或多个帧图像,并将它们存储在存储设备13中(步骤S104)。
接着,通过使用操作输入设备18,用户设置图像的输出条件(步骤S105)。输出条件是设置运动图像的输出格式的条件,并且包括例如,放大/缩小率、帧率等。CPU 111将与所选择的场景相对应的每个帧图像从存储设备13读出到CPU存储器112。CPU 111根据上述输出条件放大/缩小每个帧图像、通过帧间内插改变帧率等。基于输出条件处理后的每个帧图像被显示在编辑环境屏幕(后面描述)的输出图像显示窗口和追踪显示窗口上(步骤S 106)。
接着,用户通过操作输入设备18输入效果开始指令(步骤S107)。接收到效果开始指令,CPU 111将编辑装置10中的预先准备的效果程序的列表显示在显示设备19上(步骤S 108)。多个效果程序被预先准备在编辑装置10中。在用户从中选择一个效果(步骤S109)的情况下,与所选择的效果相对应的效果程序被执行,并且对所显示的帧图像的效果处理被执行。
图4是示出编辑装置10的编辑环境屏幕40的示例的示图。如图4所示,输出图像显示窗口41、追踪显示窗口42、以及效果候选列表43等被显示在编辑环境屏幕40上。输出图像显示窗口41是这样的窗口:根据输出条件而被放大/缩小的帧图像被作为效果目标图像显示在该窗口上,或者效果结果图像被显示在该窗口上。追踪显示窗口42是同时显示与用户选择的部分场景相对应的多个连续帧图像的窗口。在追踪显示窗口42中,水平方向代表时间方向。用户通过操作输入设备18在左右水平方向操纵用于选择时间位置的滑块(未示出),追踪显示窗口42上同时显示的多个帧图像的时间位置被移动(改变)。通过改变,用户可以看到所选择的场景中包括的所有帧图像。另外,用户可以通过操作输入设备18从追踪显示窗口42上显示的多个帧图像中选择要显示在输出图像显示窗口41上的一个帧图像。效果候选列表43是要应用于输出图像显示窗口41上显示的帧图像的效果种类的列表。要应用于输出图像显示窗口41上显示的帧图像的效果种类由用户通过诸如鼠标之类的操作输入设备18选择。
在一个效果被从效果候选列表43中选出的情况下,CPU 111显示用于设置所选择的效果的各种参数的效果GUI窗口(步骤S110)。用户通过诸如鼠标之类的操作输入设备18来调整效果GUI窗口上的每个条目的参数(步骤S111)。
例如,将描述散焦被选择作为效果种类的情况。在散焦被选择的情况下,如图5所示,用于设置散焦参数的效果GUI窗口46被显示在编辑环境屏幕40上。通过用于散焦的效果GUI窗口46,用户可以通过操作按钮来选择虹膜(iris)的形状,并可以通过使用诸如鼠标之类的操作输入设备18操作滑块来调整诸如半径、角度、以及曲率之类的参数。
根据用户通过效果GUI窗口46选择的参数,CPU 111对输出图像显示窗口41上显示的帧图像执行效果处理。在这种情况下,效果处理被针对每个参数的选择操作实时执行,并被反映在输出图像显示窗口41上显示的帧图像中,从而使得可以针对每个条目有效地选择最佳参数。
在参数被调整之后(步骤S112,是),用户使用操作输入设备18输入包括参数调整结果的指令,以将所选择的场景中包括的所有帧图像中的效果反映到CPU 111中(步骤S 113)。这些指令是通过点击编辑环境屏幕40上提供的处理输出按钮等做出的。如图4和图5所示,处理输出按钮包括再现按钮44和记录按钮45。在再现按钮44被用户操作的情况下,包括应用于用户选择的帧图像的参数的调整结果的效果被类似地应用于场景中包括的其他帧图像,并且与该场景相对应的运动图像被输出到输出图像显示窗口41。用户可以观看输出图像显示窗41上显示的运动图像,并且可以确认应用于整个场景的效果的结果。另外,在记录按钮45被用户操作的情况下,包括应用于用户选择的帧图像的参数的调整结果的效果被类似地应用于该场景中包括的其他帧图像,并且被写在存储设备13中(步骤S114)。
注意,这里描述了散焦效果处理,但是上述描述适用于其他种类的效果处理。
接着,将描述使用GPU 121对图像数据应用效果的情况下的处理。
图6是示出使用GPU 121对图像数据应用效果的情况下的图像处理流程的流程图。
首先,用户选择效果(步骤S201)。如上所述,该操作通过从图4中所示的效果候选列表43选择效果来执行。在效果被选择的情况下,CPU111启动与所选择的效果相对应的效果程序(步骤S202)。在效果程序被启动之后,CPU 111执行下面的初始化处理。
作为初始化处理,CPU 111基于用户设置的图像数据的输出条件来确定一帧的水平/垂直图像尺寸(步骤S203)。接着,CPU 111指示GPU121预留用于一帧的水平/垂直图像尺寸的GPU存储器122(步骤S204)。随后,CPU 111定义GPU单元12执行处理的线程数目(步骤S205)。定义线程数目的操作将随后描述。
以上描述了初始化处理。随后,流程进行到图像处理。
图7是示意性地示出编辑装置10的图像处理功能的框图。如图7所示,首先,作为初始化之后的处理,图像数据被从存储设备13读出到CPU存储器112中(步骤S206)。这里,读出到CPU存储器112中的图像数据是CPU单元11在运动图像数据中指定的帧号的图像数据(帧图像)。CPU单元11指定的帧号是用户通过图5的追踪显示窗口42选择的帧图像的帧号。另外,在图5的编辑环境屏幕40上的再现按钮44或者记录按钮45被用户操作并且包括参数的调整结果的效果被应用于所有帧图像的情况下,场景中的开始帧图像到最后帧图像的帧号被顺序指定。
接着,CPU存储器112中加载的图像数据被传输到上述初始化处理中预留的GPU存储器122(步骤S207)。然后,当从GPU存储器122读出图像数据时,GPU 121根据要启动的效果程序对图像数据执行效果处理(步骤S208),并将结果写回在GPU存储器122中。当效果处理完成时,GPU 121将图像数据从GPU存储器122返回到CPU存储器112(步骤S209)。
这里,CPU 111检测记录按钮45是否被用户操作(步骤S210)。在记录按钮45没有被用户操作的情况下(步骤S210,否),CPU 111将其上应用了效果的图像数据从CPU存储器112提供到显示接14。显示接口14对从CPU存储器112提供的图像数据执行描画处理,并将描画数据提供给显示设备19。结果,图像被显示在图5的输出图像显示窗41上(步骤S211)。在再现按钮44被用户操作的情况下,类似于步骤S211的动作被执行。然而,在再现按钮44被用户操作的情况下,为了重复对场景中包括的所有帧图像顺次应用效果并重复显示结果,流程从步骤S213返回到步骤S206,从而将下个效果目标图像数据从存储设备13读出到CPU存储器112中的处理被重复。
另外,在CPU 111检测到记录按钮45被用户操作的情况下(步骤S210,是),CPU 111将其上应用了效果的图像数据从CPU存储器112写回到存储设备13中(步骤S212)。另外,在记录按钮45被用户操作的情况下,为了重复对场景中包括的所有帧图像顺次应用效果并重复将结果记录在存储设备13中,流程从步骤S213返回到步骤S206,从而使得将下一效果目标图像数据从存储设备13读出到CPU存储器112中的处理被重复。
在记录按钮45和再现按钮44没有被用户操作的情况下,类似地,流程进行到步骤S211,从而其上应用了效果的图像数据被显示。在这种情况下,在将图像数据提供给显示接口14之后,CPU 111处于等待下一指令的等待状态。在等待状态下,例如,在用户输入完成诸如用于关闭图5的效果GUI窗口46的操作之类的效果处理的指令的情况下(步骤S214,是),CPU 111释放GPU存储器122(步骤S215),并且完成效果处理。
接下来,将描述定义用于GPU单元12的线程参数的过程。
在GPGPU、CUDA(注册商标)的开发过程中,NVIDA公司(美国)提供的开发环境已知。在CUDA(注册商标)的编程过程中,“栅格”、“块”、以及“线程”被用作将实际处理划分为多个线程的参数。图8和图9是示出它们的概念性示图。例如,以执行将整个屏幕与滤波器系数相乘的卷积运算的图像处理为例,“线程”是与利用滤波器系数执行积和运算(product-sum operation)的处理所被分配给的像素相对应的参数,并且“块”与通过组合“线程”而获取的图像的矩形区域相对应。这里,假设“栅格”与整个屏幕相对应,“块”和“线程”的布局由开发者自由设置。开发者可以设置如图8中所示的一维布局,或者如图9中所示的二维布局。例如,水平方向中的“块”的数目(Blockx)和垂直方向中的“块”的数目(Blocky)分别由表达式1和表达式2定义,其中Threadx表示水平方向中的“线程”的数目,Thready表示垂直方向中的“线程”的数目,“宽度(Width)”表示水平方向中的图像的像素数目,并且“高度(Height)”表示垂直方向中的图像的像素数目。
Blockx=Width/Threadx          (1)
Blcoky=Height/Thready         (2)
在本实施例中,例如,假设Threadx、Thready、Blockx、以及Blocky被作为线程参数提供给GPU单元12。
根据GPU的种类,存在Threadx和Thready可以被作为线程参数提供的情况。
对于任意线程参数的全部处理的调度算法取决于CUDA(注册商标)。尽管没有公开细节,但是已知图像处理的速度随着提供线程参数的方式而改变。另外,最佳线程参数根据诸如目标图像的尺寸、用于“线程”的处理内容(效果的种类、效果参数)、执行处理的GPU 121的种类之类的条件而不同。例如,通过调整诸如Threadx、Thready、Blockx、以及Blocky之类的线程参数,通过将效果添加到运动图像所获取的结果可以被实时描画出来,也可以不被实时描画出来。
根据本实施例,提供了一种可以有效定义与图像处理条件相对应的最佳线程参数的技术。即,每个编辑装置10(10-1至10-5)搜索GPU 121在图像处理条件下可以以最高速度处理的线程的数目,并且将其确定为最佳线程参数。这里,图像处理条件至少包括(更具体地)例如,图10中所示的GPU的种类、图像的尺寸、以及效果的处理内容(效果的种类、效果参数)。GPU的种类可以是有关GPU的规格信息。
每个编辑装置10(10-1至10-5)将图像处理条件定义为ID,将该图像处理条件下的最佳线程参数定义为数据,建立ID和数据之间的对应关系,并将ID和数据传输到图1的数据库20以将ID和数据累积在数据库20中。另外,每个编辑装置10(10-1至10-5)再次使用数据库中累积的最佳线程参数。为了再次使用数据库20中累积的最佳线程参数,每个编辑装置10(10-1至10-5)向数据库20发送包括作为图像处理条件的ID的查询。数据库20搜索与查询中包括的ID相对应的最佳线程参数的数据,并将其返回给作为查询源的编辑装置10。下面将描述细节。
首先,将描述编辑装置10搜索与图像处理条件相对应的最佳线程参数的过程。
图11是示出该过程的流程图。
首先,编辑装置10的CPU 111定义作为ID的GPU 121的种类、图像尺寸、效果的处理内容(效果的种类、效果参数)的组合(其是要执行的图像处理的条件),并且经由网络30向数据库20查询是否存在用于该ID的最佳线程参数的数据(步骤S301)。
基于来自数据库20的答复,CPU 111确定数据库20中是否存在用于作为图像处理条件的ID的最佳线程参数的数据(步骤S302)。在用于ID的最佳线程参数的数据存在的情况下(步骤S302,是),CPU 111(设置部)从数据库20下载最佳线程参数的数据(步骤S312),将该数据设置到GPU单元12,并且促使GPU单元12对图像数据执行效果处理(步骤S311)。在数据库20中不存在用于作为要执行的图像处理的条件的ID的最佳线程参数的情况下(步骤S302,否),CPU 111(确定部)通过如下搜索确定最佳线程参数。
确定通过以下处理执行:
1.设置或更新搜索目标线程参数(步骤S303),
2.开始测量处理时间(步骤S304),
3.通过GPU 121执行处理(步骤S305),
4.停止测量处理时间(步骤S306),
5.确定处理时间是否最短(步骤S307),
6.保存使得处理时间最短的线程参数(步骤S308),
并且重复这些步骤直到针对所有搜索目标线程参数的测量都完成为止(步骤S309)。
所以,CPU 111(确定部)将所有搜索目标线程参数中的使得处理时间最短(即,使处理以最快速度执行)的线程参数作为最佳线程参数。
这里,线程参数包括例如,Threadx、Thready、Blockx、以及Blocky。当Threadx、Thready、Width、以及Height给定时,可以通过上述表达式(1)和表达式(2)来唯一地确定Blockx和Blocky。所以,CPU 111针对第一时间循环(time around)将默认值“1”设置到Threadx和Thready中的每一个,并且测量处理图像所需要的时间。然后,当针对一个周期更新Threadx和Thready的值的组合时,每当CPU 111更新该组合时CPU 111都要测量处理图像所需要的时间。
注意,GPU 121的处理目的在于测量处理时间。所以,尽管GPU存储器122被使用,也不必将实际的图像数据存储在GPU存储器122中。即,不必像在实际图像处理的情况中那样将图像数据从CPU存储器112传输到GPU存储器122。
然后,CPU 111(传输部)生成作为图像处理条件的ID(其是GPU121的种类、图像数据的尺寸、以及效果的处理内容(效果的种类、效果参数)的组合),并且经由网络30将ID和最佳线程参数的数据的组合传输到数据库20以将该组合累积在数据库20中(步骤S310)。然后,最佳线程参数可以被用作对于来自图像编辑系统100中的每个编辑装置10(10-1至10-5)的查询的答复的候选。
然后,CPU 111(设置部)向GPU单元12输出所确定的最佳线程参数,并使GPU 121执行实际的图像数据处理(步骤S311)。
上述搜索最佳线程参数在启动图7的效果之后的初始化阶段执行,并且不必对每帧执行搜索。另外,由于用于一帧的效果处理时间大约为数毫秒到数十毫秒,所以即使搜索被执行数百次,也只花费数秒。所以,由于搜索最佳线程参数导致的用户等待时间不是问题。
如上所述,根据本实施例的编辑装置10,在给定的图像处理条件下新近获取最佳线程参数的情况下,CPU 111搜索允许编辑装置10中的图形处理单元在该图像处理条件下以最高速度执行处理的线程参数,并且将该参数确定为最佳线程参数。另外,根据本实施例的编辑装置10,在数据库20中存在图像处理条件下的最佳线程参数的情况下,CPU 111可以经由网络30(传输线)从数据库20获取最佳线程参数,并将该参数提供给GPU单元12。所以,在GPU 121再次在以前使用的图像处理条件下执行效果处理的情况下,GPU 121可以再次使用数据库20中累积的线程参数。所以,可以在各种图像处理条件下有效地获取最佳线程参数,并且图像可以被有效编辑。
另外,根据本实施例的编辑装置10,一个数据库20被多个编辑装置10(10-1至10-5)共享,从而使得最佳线程参数可以更有效地被获取。
另外,根据本实施例的编辑装置10,GPU 121的种类、图像数据的尺寸、以及效果的处理内容(效果的种类、效果参数)的组合被确定为ID,并且ID和最佳线程参数的数据的组合被累积在数据库20中。所以,在由于更高性能的GPU的出现使得GPU的种类、效果的种类、以及效果参数的种类等在未来增多的情况下,本技术也适用(这是有利的)。
(修改后的示例1)
在一些种类的GPU 121中,存在高达例如,512或256的上限被设置于Threadx和Thready的乘积。在这种情况下,线程参数在不超过上限的范围内被更新。
图12是示出GPU 121具有上述限制的情况下的最佳线程参数搜索过程的流程图。
在该示例中,在步骤S302中确定用于ID的最佳线程参数的数据不存在之后,CPU 111生成在Threadx和Thready的乘积不超过依赖于GPU 121的种类的上限值这样的范围内的Threadx和Thready的所有组合(步骤S313)。然后,在步骤S303至步骤S309,Threadx和Thready的所有组合中的采用使得GPU 121的处理时间最短的Threadx和Thready的组合的线程参数被确定作为最佳线程参数。然后,所确定的最佳线程参数和ID的组合被传输到数据库20(步骤S310),最佳线程参数被输出到GPU单元12,并且GPU 121执行实际的图像数据处理(步骤S311)。
(修改后的示例2)
在一些种类的GPU 121中,存在搜索目标线程参数的数目太大而要花费太多时间的情况。在这种情况下,不是针对一个周期利用预定值来更新Threadx和Thready的值,而可以通过将值限制为2的幂来更新Threadx和Thready的值。
(修改后的示例3)
存在用户通过图5的编辑环境屏幕40频繁地重复调整一些种类的效果的效果参数的情况。在这种情况下,CPU 111可以使GPU 121使用调整中的任意线程参数执行处理,并且可以在转移到运动图像处理(诸如实际被以高速处理的再现或记录)之前定义最佳线程参数。
注意,本公开不限于上述实施例,但是可以在本公开的技术思想的范围内做出各种修改。
本公开包含有涉及于2010年6月18日在日本专利局递交的日本优先权专利申请JP 2010-139718的主题,该申请的全部内容通过引用结合于此。
本领域技术人员应该理解,在不脱离所附权利要求及其等同物的范围的条件下,可以根据设计要求和其他因素做出各种修改、组合、子组合和改变。

Claims (8)

1.一种信息处理系统,包括:
多个信息处理装置;
数据库;以及
连接所述信息处理装置和所述数据库的传输线,其中
所述信息处理装置中的每一个包括
图形处理单元,该图形处理单元能够将对图像的处理划分为多个线程,并执行对所述图像的处理,
确定部,该确定部被配置为搜索所述图形处理单元能够用来在给定的图像处理条件下以最高速度执行处理的线程参数,并将所述线程参数确定为最佳线程参数,
传输部,该传输部被配置为建立所述图像处理条件和由所述确定部确定的所述最佳线程参数之间的对应关系,并经由所述传输线将所述图像处理条件和所述最佳线程参数累积在所述数据库中,以及
设置部,该设置部被配置为经由所述传输线从所述数据库获取所述最佳线程参数,并将所述最佳线程参数设置到所述图形处理单元。
2.根据权利要求1所述的信息处理系统,其中
所述图像处理条件至少包括:所述图形处理单元的种类,所述图像的尺寸,以及所述图像的处理内容。
3.根据权利要求2所述的信息处理系统,其中
所述设置部被配置为将由所述确定部确定的所述最佳线程参数设置到所述图形处理单元。
4.根据权利要求3所述的信息处理系统,其中
所述确定部被配置为在更新设置到所述图形处理单元的线程参数的同时,测量在给定的图像处理条件下针对每个线程参数的处理所需要的时间,并将使得处理所需要的时间最少的线程参数确定为最佳线程参数。
5.根据权利要求4所述的信息处理系统,其中
所述线程参数至少包括图像的二轴方向的各轴方向上的线程数目的组合。
6.根据权利要求5所述的信息处理系统,其中
所述确定部能够设置所述线程参数的上限,并被配置为在不超过所设置的上限的范围内确定所述最佳线程参数。
7.一种信息处理方法,包括:
通过信息处理装置的确定部,将所述信息处理装置的图形处理单元能够用来在给定的图像处理条件下以最高速度执行处理的线程参数确定为最佳线程参数;
通过所述信息处理装置的传输部,建立所述图像处理条件和由所述确定部确定的所述最佳线程参数之间的对应关系,并经由网络将所述图像处理条件和所述最佳线程参数传输到数据库,以将所述图像处理条件和所述最佳线程参数累积在所述数据库中;以及
通过所述信息处理装置的设置部,经由所述网络从所述数据库获取所述最佳线程参数,并将所述最佳线程参数设置到所述图形处理单元。
8.一种信息处理装置,包括:
图形处理单元,该图形处理单元能够将对图像的处理划分为多个线程,并对所述图像执行处理;
确定部,该确定部被配置为将所述图形处理单元能够用来在给定的图像处理条件下以最高速度执行处理的线程参数确定为最佳线程参数;
传输部,该传输部被配置为建立所述图像处理条件和由所述确定部确定的所述最佳线程参数之间的对应关系,并经由传输线将所述图像处理条件和所述最佳线程参数传输到数据库,以将所述图像处理条件和所述最佳线程参数累积在所述数据库中;以及
设置部,该设置部被配置为经由所述传输线从所述数据库获取所述最佳线程参数,并将所述最佳线程参数设置到所述图形处理单元。
CN201110165301A 2010-06-18 2011-06-13 信息处理系统、信息处理方法、和信息处理装置 Pending CN102289783A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010139718A JP2012003618A (ja) 2010-06-18 2010-06-18 情報処理システム、情報処理方法、情報処理装置
JP2010-139718 2010-06-18

Publications (1)

Publication Number Publication Date
CN102289783A true CN102289783A (zh) 2011-12-21

Family

ID=45328224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110165301A Pending CN102289783A (zh) 2010-06-18 2011-06-13 信息处理系统、信息处理方法、和信息处理装置

Country Status (3)

Country Link
US (1) US20110310108A1 (zh)
JP (1) JP2012003618A (zh)
CN (1) CN102289783A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455492A (zh) * 2012-05-29 2013-12-18 腾讯科技(深圳)有限公司 一种搜索网页的方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5382383B2 (ja) * 2011-03-24 2014-01-08 日本電気株式会社 データベース処理装置、データベース処理方法、プログラム及びデータベースのデータ構造
CN104410863B (zh) * 2014-12-11 2017-07-11 上海兆芯集成电路有限公司 图像处理器以及图像处理方法
CN106708620A (zh) * 2015-11-13 2017-05-24 苏宁云商集团股份有限公司 一种处理数据的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060288004A1 (en) * 2005-06-15 2006-12-21 Nintendo Co., Ltd. Storage medium storing program and information processing apparatus
US20090257084A1 (en) * 2008-04-15 2009-10-15 Konica Minolta Business Technologies, Inc. Image Processing Method, Computer Readable Recording Medium Stored With Image Processing Program, And Image Processing Apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68926885T2 (de) * 1989-09-08 1997-01-09 Canon Kk Datenverarbeitungssystem mit Anzeigetafel
JP3681026B2 (ja) * 1997-03-27 2005-08-10 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および方法
JPH11328100A (ja) * 1998-05-13 1999-11-30 Sony Corp ディジタル信号処理装置
JP2003241923A (ja) * 2002-02-14 2003-08-29 Canon Inc 周辺機器および情報処理装置およびジョブ処理方法および記憶媒体およびプログラム
JP4046716B2 (ja) * 2004-10-06 2008-02-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置およびデータ伝送方法
JP4706278B2 (ja) * 2005-02-24 2011-06-22 ソニー株式会社 情報処理システム、再生端末装置および再生方法、情報処理装置および方法、並びにプログラム
JP4652978B2 (ja) * 2005-08-12 2011-03-16 キヤノン株式会社 画像編集装置及びその制御方法、コンピュータプログラム
JP2007158968A (ja) * 2005-12-07 2007-06-21 Canon Inc 情報処理装置及び情報処理方法
JP4957945B2 (ja) * 2005-12-28 2012-06-20 ソニー株式会社 情報処理装置および情報処理方法、プログラム、並びに、記録媒体
JP2007193741A (ja) * 2006-01-23 2007-08-02 Toshiba Corp 情報処理装置および同装置で使用される動作制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060288004A1 (en) * 2005-06-15 2006-12-21 Nintendo Co., Ltd. Storage medium storing program and information processing apparatus
US20090257084A1 (en) * 2008-04-15 2009-10-15 Konica Minolta Business Technologies, Inc. Image Processing Method, Computer Readable Recording Medium Stored With Image Processing Program, And Image Processing Apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHIYI YANG ET AL.: "Parallel Image Processing Based on CUDA", 《2008 INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND SOFTWARE ENGINEERING》, 31 December 2008 (2008-12-31) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455492A (zh) * 2012-05-29 2013-12-18 腾讯科技(深圳)有限公司 一种搜索网页的方法和装置

Also Published As

Publication number Publication date
US20110310108A1 (en) 2011-12-22
JP2012003618A (ja) 2012-01-05

Similar Documents

Publication Publication Date Title
Gao et al. Highly efficient salient object detection with 100k parameters
CN111242321B (zh) 一种数据处理方法及相关产品
CN110689115B (zh) 神经网络模型处理方法、装置、计算机设备及存储介质
Shahvari et al. Hybrid flow shop batching and scheduling with a bi-criteria objective
CN112395547A (zh) 对张量进行图块遍历以进行卷积运算的方法和装置
Rehbach et al. Expected improvement versus predicted value in surrogate-based optimization
CN108875955B (zh) 基于参数服务器的梯度提升决策树的实现方法及相关设备
US10338963B2 (en) System and method of schedule validation and optimization of machine learning flows for cloud computing
DE112020004625T5 (de) Transponierte faltung mit systolischem array
JP7286013B2 (ja) ビデオコンテンツ認識方法、装置、プログラム及びコンピュータデバイス
DE112020003128T5 (de) Dilatierte faltung mit systolischem array
CN112711478B (zh) 基于神经网络的任务处理方法、装置、服务器和存储介质
JP2007317068A (ja) リコメンド装置およびリコメンドシステム
CN111767508B (zh) 计算机实现张量数据计算的方法、装置、介质和设备
JP7295431B2 (ja) 学習プログラム、学習方法および学習装置
CN102289783A (zh) 信息处理系统、信息处理方法、和信息处理装置
KR102346119B1 (ko) 입력 인덱스 스트림 내 프리미티브의 식별
CN112149694B (zh) 一种基于卷积神经网络池化模块的图像处理方法、系统、存储介质及终端
WO2023134453A1 (zh) 一种算子的处理方法及计算机设备
CN113703768A (zh) 张量程序优化方法及装置
US20080313211A1 (en) Data Relationship Visualizer
CN113625863A (zh) 自主式导览虚拟场景的创建方法、系统、设备和存储介质
CN116521782A (zh) 一种数据资产地图获取方法、装置、设备、介质及产品
EP4348507A1 (en) Scaling deep graph learning in distributed setting
JP2007265233A (ja) 工程編成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111221