CN110706147B - 图像处理的环境确定方法、装置、电子设备和存储介质 - Google Patents
图像处理的环境确定方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN110706147B CN110706147B CN201910935424.XA CN201910935424A CN110706147B CN 110706147 B CN110706147 B CN 110706147B CN 201910935424 A CN201910935424 A CN 201910935424A CN 110706147 B CN110706147 B CN 110706147B
- Authority
- CN
- China
- Prior art keywords
- candidate
- software
- hardware
- target function
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请公开了一种图像处理的环境确定方法、装置、电子设备和存储介质，涉及计算机视觉技术领域。具体实现方案为：从图像处理平台的候选功能中选择目标功能；根据目标功能关联的候选硬件信息，以及所述候选硬件信息所关联的候选软件信息，生成目标功能的候选软硬件环境；采用所述候选软硬件环境对所述目标功能进行测试，得到所述候选软硬件环境的测试指标值；根据所述候选软硬件环境的测试指标值，从候选软硬件环境中选择目标软硬件环境。本申请实施例可以减少用户对软硬件环境的配置操作，提高图像处理计算测试和项目开发的效率，降低了研发人员的沟通成本。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及计算机视觉技术领域，具体涉及一种图像处理的环境确定方法、装置、电子设备和存储介质。
背景技术
随着图像识别技术的发展，图像识别技术基于手机、平板电脑等不同的硬件平台，应用于人们生活的方方面面。由于不同的硬件平台的核心计算配置不同，硬件平台所支持的软件库也性能各异，因此针对图像识别平台上的不同计算，需要选取合适的软硬件组合来实现。
现有技术中，图像识别计算在选取实现的软硬件平台时，全靠人工去调研分析软硬件的性能、软硬件的兼容性，以及全靠人工去生成不同软硬件组合的测试报表。
然而，该方法会产生大量的重复操作，花费大量的人力以及时间，另外人工生成的测试报表没有统一的测试标准会增加测试和开发人员的沟通成本。
发明内容
本申请实施例公开一种图像处理的环境确定方法、装置、电子设备和存储介质，可以提高测试和项目开发的效率，降低研发人员之间的沟通成本。
第一方面，本申请实施例公开了一种图像处理的环境确定方法，包括：
从图像处理平台的候选功能中选择目标功能；
根据目标功能关联的候选硬件信息，以及所述候选硬件信息所关联的候选软件信息，生成目标功能的候选软硬件环境；
采用所述候选软硬件环境对所述目标功能进行测试，得到所述候选软硬件环境的测试指标值；
根据所述候选软硬件环境的测试指标值，从候选软硬件环境中选择目标软硬件环境。
上述申请中的一个实施例具有如下有优点或有益效果：通过根据从图像处理平台选择的目标功能、目标功能关联的候选硬件信息，以及候选硬件信息关联的候选软件信息，生成目标功能的候选软硬件环境，无需人工再对软硬件进行组合适配，大大节约了人力成本和时间成本，提高了测试和项目开发的效率；依据目标功能点在候选环境中的测试指标值，从候选软硬件环境中选择目标软硬件环境，为软硬件环境的选取提供了统一的选择标准，降低了研发人员的沟通成本。
另外，根据本申请上述实施例的图像处理的环境确定方法，还可以具有如下附加的技术特征：
可选的，根据目标功能关联的候选硬件信息，以及所述候选硬件信息所关联的候选软件信息，生成目标功能的候选软硬件环境，包括：
将与所述目标功能关联的硬件信息，作为候选硬件信息；
组合所述候选硬件信息和所述候选硬件信息所关联的候选软件信息，得到目标功能的候选软硬件环境。
上述申请中的一个实施例具有如下优点或有益效果：目标功能关联的硬件信息，以及硬件多所关联的软件信息是预先确定好的，因此直接组合就可以生成目标功能的候选软硬件环境，无需人工进行软硬件的适配工作，节约了人工成本和时间成本。
可选的，根据所述候选软硬件环境的测试指标值，从候选软硬件环境中选择目标软硬件环境，包括：
获取目标功能的标准指标值；
根据所述候选软硬件环境的测试指标值和所述标准指标值，对所述候选软硬件环境进行排序；
根据排序结果，从候选软硬件环境中选择目标软硬件环境。
上述申请中的一个实施例具有如下优点或有益效果：通过依据候选软硬件环境的测试指标值和标准指标值，从候选软件环境中选择目标软硬件环境，为图像处理的环境选择提供了统一的选择标准，降低了研发人员的沟通成本。
可选的，目标功能的指标包括如下至少一项：CPU占用率、GPU占用率、设备温度和内存占用率。
上述申请中的一个实施例具有如下优点或有益效果：将CPU占用率、GPU占用率、设备温度和内存占用率中的至少一项作为目标功能的指标，为目标功能的软硬件环境选择提供了统一的标准，有效避免了硬件加速方案测试项与指标项的遗漏。
可选的，候选硬件信息所关联的候选软件信息如下：
若所述候选硬件为CPU且采用ARM处理器，则关联的候选软件为ARM架构处理器扩展结构NEON软件库和开源矩阵计算库OpenBLAS软件库；
若候选硬件为CPU且采用英特尔处理器，则关联的候选软件为IPP软件库和OpenBLAS软件库；
若候选硬件为CPU且采用AMD处理器，则关联的候选软件为OpenBLAS软件库；
若候选硬件为GPU且采用英伟达处理器，则关联的候选软件为TensorRT软件库、计算统一设备构架CUDA软件库和开放运算语言OpenCL软件库；
若候选硬件为GPU且采用英特尔处理器或AMD处理器，则关联的候选软件为OpenCL软件库。
上述申请中的一个实施例具有如下优点或有益效果：上述实施例中的硬件与关联的软件是通过大量的前期调研和信息收集确定的，通过预先确定好硬件和软件之间的关联关系，可以直接得到适用的候选软硬件组合，从而无需人工再进行软硬件的适配工作，降低了测试开发门槛。
第二方面，本申请实施例还公开了一种图像处理的环境确定装置，包括：
目标功能确定模块，用于从图像处理平台的候选功能中选择目标功能；
生成模块，用于根据目标功能关联的候选硬件信息，以及所述候选硬件信息所关联的候选软件信息，生成目标功能的候选软硬件环境；
测试模块，用于采用所述候选软硬件环境对所述目标功能进行测试，得到所述候选软硬件环境的测试指标值；
选择模块，用于根据所述候选软硬件环境的测试指标值，从候选软硬件环境中选择目标软硬件环境。
第三方面，本申请实施例还公开了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本申请实施例任一所述的图像处理的环境确定方法。
第四方面，本申请实施例还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行如本申请实施例任一所述的图像处理的环境确定方法。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例公开的一种图像处理的环境选择方法的流程图；
图2是根据本申请第一实施例公开的一种图像处理的环境测试流程的示意图；
图3是根据本申请第二实施例公开的一种图像处理的环境选择方法的流程图；
图4是根据本申请第三实施例公开的一种图像处理的环境选择装置的结构示意图；
图5是用来实现本申请实施例的图像处理的环境选择方法的电子设备的框图；
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
第一实施例
图1是根据本申请第一实施例公开的一种图像处理的环境选择方法的流程图。本实施例可适用于在图像处理过程中，为图像处理确定计算环境情况。本实施例方法可以由图像处理的环境确定装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在电子设备中。
如图1所示，本实施例公开的图像处理的环境确定方法可以包括：
S101、从图像处理平台的候选功能中选择目标功能。
本实施例中，图像处理平台的候选功能是指图像处理计算中涉及的各功能，可以基于不同的硬件设备和不同软件库的计算对图像处理进行功能划分。进一步的，上述候选功能可以包括但不限于：图像缩放、图像旋转、图像仿射变换、矩阵转置、矩阵相乘、矩阵方差、矩阵标准差、向量点乘、向量方差和向量标准差等。
进一步的，从图像处理平台的候选功能中所选择目标功能可以是单一的功能，也可以是至少两个不同的功能。示例性的，目标功能可以为单一的矩阵乘法，也可以为实现人脸框识别算法的图像旋转、图像缩放等不同功能的组合。
S102、根据目标功能关联的候选硬件信息，以及所述候选硬件信息所关联的候选软件信息，生成目标功能的候选软硬件环境。
本实施例中，目标功能关联的候选硬件信息以及候选硬件信息关联的候选软件信息，是通过对不同的硬件平台信息、软件库方案信息以及软件与硬件平台的兼容性大量的前期调研与信息收集确定的。需要说明的是，候选软硬件环境中必须有CPU硬件方案，可以没有GPU硬件方案，即候选软硬件环境为CPU+GPU+软件库或CPU+软件库，而不会为GPU+软件库。
经测试发现，候选硬件信息所关联的候选软件信息如下：若所述候选硬件为CPU且采用ARM处理器，则关联的候选软件为ARM架构处理器扩展结构NEON软件库和开源矩阵计算库OpenBLAS软件库；若候选硬件为CPU且采用英特尔处理器，则关联的候选软件为IPP软件库和OpenBLAS软件库；若候选硬件为CPU且采用AMD处理器，则关联的候选软件为OpenBLAS软件库；若候选硬件为GPU且采用英伟达处理器，则关联的候选软件为TensorRT软件库、计算统一设备构架CUDA软件库和开放运算语言OpenCL软件库；若候选硬件为GPU且采用英特尔处理器或AMD处理器，则关联的候选软件为OpenCL软件库。
通过将候选硬件与所支持的软件库关联起来，搭建了一个智能化的软硬件选择平台，该平台包含了能够实现候选功能的软硬件组合方式，以及硬件所支持的软件库的实现方式，因此，功能测试和开发人员不需要调研学习实现所有可能的组合，也不需要人工进行组合适配，能大大减少学习、接手、研发的时间；同时该平台能够自动实现应用程序编程接口的转换与组合，功能点测和开发人员可以直接实现原始需求功能点的软硬件组合代码的改写，大大减少了代码成本。
可选地，根据目标功能关联的候选硬件信息，以及所述候选硬件信息所关联的候选软件信息，生成目标功能的候选软硬件环境，包括：将与所述目标功能关联的硬件信息，作为候选硬件信息；组合所述候选硬件信息和所述候选硬件信息所关联的候选软件信息，得到目标功能的候选软硬件环境。
具体的，在确定目标功能的候选软硬件环境时，将目标功能关联的硬件信息作为候选硬件信息；针对每一候选硬件信息，将该候选硬件信息关联的软件信息与该候选硬件信息进行组合，得到目标功能的候选软硬件环境。需要说明的是，若任一候选硬件信息关联有至少两个软件信息，则将该候选硬件信息分别与每一软件信息进行组合，还将该候选硬件信息与关联的至少两个软件信息一起组合，得到多个候选软件组合。
进一步参照图2，示例性，若目标功能为矩阵乘法，该目标功能可以选择硬件类型为CPU-Intel处理器，软件库可以选择使用IPP，也可以选择使用开源矩阵计算库OpenBLAS软件库。相应地，矩阵乘法的软硬件环境有CPU-Intel处理器+IPP软件库+OpenBLAS软件库、CPU-Intel处理器+OpenBLAS软件库和CPU-Intel+IPP软件库，其中，“+”表示组合。
需要说明的是，图像处理的功能可以包括但不限于图2中的各功能点，会根据实际使用场景不断补充具体的功能点。
S103、采用所述候选软硬件环境对所述目标功能进行测试，得到所述候选软硬件环境的测试指标值。
其中，测试指标为利用候选软硬件环境对目标功能进行测试时的参考指标，包括CPU占用率、GPU占用率、设备温度和内存占用率中的至少一项，用于作为选择目标功能的软硬件环境的依据。
继续参照图2，在对目标功能进行软硬件环境测试时，软件库下对应的任一节点都可以直接的产出测试报表。示例性的，若目标功能选择的硬件为CPU，那么可以单独使用NEON软件库或开源矩阵计算库OpenBLAS软件库计算后产出测试报表，也可以组合使用NEON软件库和开源矩阵计算库OpenBLAS软件库后产生测试报表。通过报表中得到的对比指标的值，根据实际的使用需求，从各候选的软硬件环境中选择最优的软硬件组合来计算该目标功能。进一步的，上述目标功能可以为单一的功能，也可以为不同的功能的组合。
S104、根据所述候选软硬件环境的测试指标值，从候选软硬件环境中选择目标软硬件环境。
本实施中，根据目标功能点可以组合得到多种的候选软硬件环境，将目标功能在不同的软硬件环境中进行测试，可以得到不同软硬件环境的测试指标值，具体的，可以得到测试之后软硬件平台的CPU占用率、GPU占用率、设备温度以及内存占用率的具体数值，根据测试得到的指标值可以将候选软硬件进行排序，从而确定适用于目标功能点的最优软硬件环境。
示例性的，若针对某一目标功能，该目标功能可以包括单一的功能或者是多个功能的组合，经测试可以得到针对该目标功能的不同软硬件环境的测试指标值，可以选择各测试指标值均相对较优的软硬件环境，作为目标功能点的目标软硬件环境。
进一步的，目标软硬件环境的选取还可以依据用户的设定、厂商对指标的要求以及实际项目所需要的指标值确定。
示例性的，对于需要较大CPU内存的图像处理计算，可以将测试指标值中的CPU作为候选软硬件环境排序的依据；若图像处理计算对各的测试指标均有要求，则各对试指标值进行综合排序，来确定目标软硬件环境。
本申请实施例的技术方案，通过根据从图像处理平台选择的目标功能、目标功能关联的候选硬件信息，以及候选硬件信息关联的候选软件信息，生成目标功能的候选软硬件环境，无需人工再对软硬件进行组合适配，大大节约了人力成本和时间成本，提高了测试和项目开发的效率；依据目标功能点在候选环境中的测试指标值，从候选软硬件环境中选择目标软硬件环境，为软硬件环境的选取提供了统一的选择标准，降低了研发人员的沟通成本。
第二实施例
图3是根据本申请第二实施例公开的一种图像处理的环境选择方法的流程图，本实施例在上述实施例的基础上，对S104的进一步细化。
如图3所示，本实施例公开的图像处理的环境确定方法可以包括：
S201、从图像处理平台的候选功能中选择目标功能。
S202、根据目标功能关联的候选硬件信息，以及所述候选硬件信息所关联的候选软件信息，生成目标功能的候选软硬件环境。
S203、采用所述候选软硬件环境对所述目标功能进行测试，得到所述候选软硬件环境的测试指标值。
S204、获取目标功能的标准指标值。
本实施例中，目标功能的标准指标值可以由用户指定、目标功能对软硬件环境资源要求的总体指标，厂商对各指标的要求等。进一步的，标准指标值可以为单一的指标值，也可以为多个指标值的组合。
示例性的，根据实际需求，用户可以将CPU占用率的值设定为标准指标值，也可以分别针对CPU占用率、GPU占用率、设备温度和内存占用率设置标准指标值。
S205、根据所述候选软硬件环境的测试指标值和所述标准指标值，对所述候选软硬件环境进行排序。
具体的，参照设定的目标功能的标准指标值，利用候选软硬件环境的测试指标值对候选软硬件环境进行排序。示例性的，若用户设置的标准指标值为单一的CPU占用率，则依据候选软硬件环境测试指标值中的CPU占用率对各候选软硬件环境进行排序；若某一车载项目的标准测试指标值为CPU占用率以及内存占用率，则依据候选软硬件环境测试指标中的CPU占用率对各候选软硬件环境进行排序；若目标功能包括多个功能，则将实现多个功能对资源的总体指标作为测试标准值。
通过依据实际的项目需求设置软硬件环境的标准指标值，能够为目标功能选择最优的软硬件环境，从而提高项目开发的效率。
S206、根据排序结果，从候选软硬件环境中选择目标软硬件环境。
本实施中，排序结果代表不同软硬件环境计算目标功能的性能，目标软硬件环境为适用于计算目标功能且性能相对较优的选择。
示例性的，若某车厂的目标功能为图像缩放功能，该车厂的原始软硬件环境为CPU-ARM处理器+其他软件库，不使用GPU处理器，原始软硬件环境的性能为CPU占用率35％，GPU占用率0％。候选硬件为CPU-ARM处理器，GPU-NVIDIA处理器；要求指标为：CPU占用率<10％，GPU占用率、内存和温度不做限制。可以有如下几种测试方案：
测试方案一：GPU-NVIDIA处理器+CUDA软件库，以及CPU-ARM处理器+OpenBLAS软件库；测试结果为：CPU占用率8％，GPU占用率80％。
测试方案二：GPU-NVIDIA处理器+OpenCL软件库，CPU-ARM处理器+OpenBLAS软件库；测试结果为：CPU占用率15％，GPU占用率50％。
测试方案三：GPU-NVIDIA处理器+TensorRT软件库，CPU-ARM处理器+OpenBLAS软件库；测试结果为：CPU占用率12％，GPU占用率70％。
测试方案四：CPU-ARM处理器+OpenBLAS软件库，不使用GPU处理器；测试结果为：CPU占用率25％，GPU占用率0％。
由于目标功能的关键指标是CPU占用率，因此可以根据CPU占用率对上述测试方案排序，即将测试方案一中的硬件和软件作为图像缩放的目标软硬件环境。
本申请实施例的技术方案，通过获取目标功能的标准指标值，并根据候选软硬件环境的测试指标值和标准指标值，对候选软硬件环境进行排序，依据排序结果从候选软硬件环境中选择目标软硬件环境。为不同使用场景下软硬件环境的选择提供了选择标准，简化了沟通成本，进一步提高了测试可和项目开发的效率。
第三实施例
图4是根据本申请第三实施例公开的一种图像处理的环境选择装置的结构示意图。该装置可以执行本申请任意实施例所提供的行业热点确定方法，具备执行方法相应的功能模块和有益效果。如图4所示，本实施例公开的图像处理的环境选择装置300包括目标功能确定模块301、生成模块302、测试模块303以及选择模块304，其中：
目标功能确定模块301，用于从图像处理平台的候选功能中选择目标功能。
生成模块302，用于根据目标功能关联的候选硬件信息，以及所述候选硬件信息所关联的候选软件信息，生成目标功能的候选软硬件环境；
测试模块303，用于采用所述候选软硬件环境对所述目标功能进行测试，得到所述候选软硬件环境的测试指标值；
选择模块304，用于根据所述候选软硬件环境的测试指标值，从候选软硬件环境中选择目标软硬件环境。
可选的，生成模块302包括候选硬件信息确定单元和候选软硬件环境得到单元。
其中，候选硬件信息确定单元，用于将与所述目标功能关联的硬件信息，作为候选硬件信息；
候选软硬件环境得到单元，用于组合所述候选硬件信息和所述候选硬件信息所关联的候选软件信息，得到目标功能的候选软硬件环境。
选择模块304包括指标值获取单元、排序单元以及目标软硬件环境选择单元。
其中，指标值获取单元，用于获取目标功能的标准指标值；
排序单元，用于根据所述候选软硬件环境的测试指标值和所述标准指标值，对所述候选软硬件环境进行排序；
目标软硬件环境选择单元，用于根据排序结果，从候选软硬件环境中选择目标软硬件环境。
可选的，目标功能的指标包括如下至少一项：CPU占用率、GPU占用率、设备温度和内存占用率。
可选的，候选硬件信息所关联的候选软件信息如下：
若所述候选硬件为CPU且采用ARM处理器，则关联的候选软件为ARM架构处理器扩展结构NEON软件库和开源矩阵计算库OpenBLAS软件库；
若候选硬件为CPU且采用英特尔处理器，则关联的候选软件为IPP软件库和OpenBLAS软件库；
若候选硬件为CPU且采用AMD处理器，则关联的候选软件为OpenBLAS软件库；
若候选硬件为GPU且采用英伟达处理器，则关联的候选软件为TensorRT软件库、计算统一设备构架CUDA软件库和开放运算语言OpenCL软件库；
若候选硬件为GPU且采用英特尔处理器或AMD处理器，则关联的候选软件为OpenCL软件库。
本申请实施例所公开的图像处理的软硬件环境选择装置300可执行本申请实施例所公开的任意的图像处理的软硬件环境选择方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，图5是用于实现本申请实施例中图像处理的软硬件环境选择方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器401为例。
存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请实施例所提供的图像处理的软硬件环境选择方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请实施例所提供的图像处理的软硬件环境选择的方法。
存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像处理的软硬件环境选择的方法对应的程序指令/模块(例如，附图4所示的目标功能确定模块301、生成模块302、测试模块303和选择模块304)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理的软硬件环境选择的方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于实现本申请实施例中图像处理的软硬件环境选择方法的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至用于实现本申请实施例中图像处理的软硬件环境选择方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于实现本申请实施例中图像处理的软硬件环境选择方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置403可接收输入的数字或字符信息，以及产生与用于实现本申请实施例中图像处理的软硬件环境选择方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过根据从图像处理平台选择的目标功能、目标功能关联的候选硬件信息，以及候选硬件信息关联的候选软件信息，生成目标功能的候选软硬件环境，无需人工再对软硬件进行组合适配，大大节约了人力成本和时间成本，提高了测试和项目开发的效率；依据目标功能点在候选环境中的测试指标值，从候选软硬件环境中选择目标软硬件环境，为软硬件环境的选取提供了统一的选择标准，降低了研发人员的沟通成本。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (10)
1.一种图像处理的环境确定方法，其特征在于，包括：
从图像处理平台的候选功能中选择目标功能；其中，所述候选功能是指图像处理计算中涉及的各功能，是基于不同的硬件设备和不同软件库的计算对图像处理进行功能划分得到的；
根据目标功能关联的候选硬件信息，以及所述候选硬件信息所关联的候选软件信息，生成目标功能的候选软硬件环境；
采用所述候选软硬件环境对所述目标功能进行测试，得到所述候选软硬件环境的测试指标值；
根据所述候选软硬件环境的测试指标值，从候选软硬件环境中选择目标软硬件环境。
2.根据权利要求1所述的方法，其特征在于，根据目标功能关联的候选硬件信息，以及所述候选硬件信息所关联的候选软件信息，生成目标功能的候选软硬件环境，包括：
将与所述目标功能关联的硬件信息，作为候选硬件信息；
组合所述候选硬件信息和所述候选硬件信息所关联的候选软件信息，得到目标功能的候选软硬件环境。
3.根据权利要求1所述的方法，其特征在于，根据所述候选软硬件环境的测试指标值，从候选软硬件环境中选择目标软硬件环境，包括：
获取目标功能的标准指标值；
根据所述候选软硬件环境的测试指标值和所述标准指标值，对所述候选软硬件环境进行排序；
根据排序结果，从候选软硬件环境中选择目标软硬件环境。
4.根据权利要求1所述的方法，其特征在于，目标功能的指标包括如下至少一项：CPU占用率、GPU占用率、设备温度和内存占用率。
5.根据权利要求1所述的方法，其特征在于，候选硬件信息所关联的候选软件信息如下：
若所述候选硬件为CPU且采用ARM处理器，则关联的候选软件为ARM架构处理器扩展结构NEON软件库和开源矩阵计算库OpenBLAS软件库；
若候选硬件为CPU且采用英特尔处理器，则关联的候选软件为IPP软件库和OpenBLAS软件库；
若候选硬件为CPU且采用AMD处理器，则关联的候选软件为OpenBLAS软件库；
若候选硬件为GPU且采用英伟达处理器，则关联的候选软件为TensorRT软件库、计算统一设备构架CUDA软件库和开放运算语言OpenCL软件库；
若候选硬件为GPU且采用英特尔处理器或AMD处理器，则关联的候选软件为OpenCL软件库。
6.一种图像处理的环境确定的装置，其特征在于，包括：
目标功能确定模块，用于从图像处理平台的候选功能中选择目标功能；其中，所述候选功能是指图像处理计算中涉及的各功能，是基于不同的硬件设备和不同软件库的计算对图像处理进行功能划分得到的；
生成模块，用于根据目标功能关联的候选硬件信息，以及所述候选硬件信息所关联的候选软件信息，生成目标功能的候选软硬件环境；
测试模块，用于采用所述候选软硬件环境对所述目标功能进行测试，得到所述候选软硬件环境的测试指标值；
选择模块，用于根据所述候选软硬件环境的测试指标值，从候选软硬件环境中选择目标软硬件环境。
7.根据权利要求6所述的装置，其特征在于，所述生成模块包括：
候选硬件信息确定单元，用于将与所述目标功能关联的硬件信息，作为候选硬件信息；
候选软硬件环境得到单元，用于组合所述候选硬件信息和所述候选硬件信息所关联的候选软件信息，得到目标功能的候选软硬件环境。
8.根据权利要求6所述的装置，其特征在于，所述选择模块包括：
指标值获取单元，用于获取目标功能的标准指标值；
排序单元，用于根据所述候选软硬件环境的测试指标值和所述标准指标值，对所述候选软硬件环境进行排序；
目标软硬件环境选择单元，用于根据排序结果，从候选软硬件环境中选择目标软硬件环境。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的图像处理的环境确定方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的图像处理的环境确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910935424.XA CN110706147B (zh) | 2019-09-29 | 2019-09-29 | 图像处理的环境确定方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910935424.XA CN110706147B (zh) | 2019-09-29 | 2019-09-29 | 图像处理的环境确定方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110706147A CN110706147A (zh) | 2020-01-17 |
| CN110706147B true CN110706147B (zh) | 2023-08-11 |
Family
ID=69198060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910935424.XA Active CN110706147B (zh) | 2019-09-29 | 2019-09-29 | 图像处理的环境确定方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110706147B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111984476B (zh) * | 2020-06-29 | 2023-08-01 | 百度在线网络技术（北京）有限公司 | 测试方法和装置 |
| CN112929675B (zh) * | 2021-01-27 | 2023-05-19 | 上海淇玥信息技术有限公司 | 一种图像资源的压缩方法、装置和电子设备 |
| CN113238943A (zh) * | 2021-05-14 | 2021-08-10 | 北京百度网讯科技有限公司 | 持续集成测试的方法和装置 |
| CN113312103A (zh) * | 2021-05-31 | 2021-08-27 | 浙江商汤科技开发有限公司 | 智能摄像机的软件定义方法及装置、电子设备和存储介质 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5940296A (en) * | 1995-11-06 | 1999-08-17 | Medar Inc. | Method and system for interactively developing a graphical control-flow structure and associated application software for use in a machine vision system |
| JPH11259553A (ja) * | 1998-03-13 | 1999-09-24 | Omron Corp | ハードウエアとソフトウエアの混在するシステムの設計支援方法 |
| WO2002010962A1 (en) * | 2000-07-28 | 2002-02-07 | Storymail, Inc. | System, method and computer program product for device, operating system, and network transport neutral secure interactive multi-media messaging |
| CN101416153A (zh) * | 2003-08-21 | 2009-04-22 | 微软公司 | 实现组织可由硬件/软件接口系统管理的信息单元的数字图象模式的系统和方法 |
| CN102129290A (zh) * | 2010-01-12 | 2011-07-20 | 索尼公司 | 图像处理设备、对象选择方法和程序 |
| CN102156588A (zh) * | 2011-03-16 | 2011-08-17 | 中国科学院上海技术物理研究所 | 一种嵌入式红外实时信号处理系统 |
| CN103051905A (zh) * | 2011-10-12 | 2013-04-17 | 苹果公司 | 使用噪声优化的选择标准计算场景白点 |
| CN103995913A (zh) * | 2014-03-18 | 2014-08-20 | 中国电子科技集团公司第十研究所 | 复杂电子系统开放式分层设计方法 |
| CN105654418A (zh) * | 2014-11-27 | 2016-06-08 | 三星电子株式会社 | 图形处理单元和包括其的装置 |
| CN105988874A (zh) * | 2015-02-10 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 资源处理方法及装置 |
| CN106530299A (zh) * | 2016-11-29 | 2017-03-22 | 戢平 | 基于计算机图像与视觉识别的轨道扣件的检测方法 |
| CN107771319A (zh) * | 2015-06-07 | 2018-03-06 | 苹果公司 | 封装图形库和硬件的图形引擎和环境 |
| CN107851139A (zh) * | 2015-08-07 | 2018-03-27 | 高通股份有限公司 | 用于图形处理单元的硬件强制内容保护 |
| CN107851138A (zh) * | 2015-08-07 | 2018-03-27 | 高通股份有限公司 | 用于图形处理单元的硬件强制内容保护 |
| CN108513079A (zh) * | 2017-02-28 | 2018-09-07 | Ncr公司 | 用于多个进程的多摄像头同时成像 |
| CN109426505A (zh) * | 2017-08-16 | 2019-03-05 | 中国移动通信有限公司研究院 | 一种软件的安装方法、装置、电子设备及存储介质 |
| CN110574011A (zh) * | 2017-05-12 | 2019-12-13 | 谷歌有限责任公司 | 每线缓冲器单元存储器分配的确定 |
| CN111615716A (zh) * | 2018-01-26 | 2020-09-01 | 威尔乌集团 | 在客户端机器之间分配着色器来进行预缓存 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10055807B2 (en) * | 2016-03-02 | 2018-08-21 | Samsung Electronics Co., Ltd. | Hardware architecture for acceleration of computer vision and imaging processing |
| US9972065B2 (en) * | 2016-09-23 | 2018-05-15 | Apple Inc. | Resource layout randomization for GPU execution |
| KR102644276B1 (ko) * | 2016-10-10 | 2024-03-06 | 삼성전자주식회사 | 그래픽 처리 장치 및 방법 |
-
2019
- 2019-09-29 CN CN201910935424.XA patent/CN110706147B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5940296A (en) * | 1995-11-06 | 1999-08-17 | Medar Inc. | Method and system for interactively developing a graphical control-flow structure and associated application software for use in a machine vision system |
| JPH11259553A (ja) * | 1998-03-13 | 1999-09-24 | Omron Corp | ハードウエアとソフトウエアの混在するシステムの設計支援方法 |
| WO2002010962A1 (en) * | 2000-07-28 | 2002-02-07 | Storymail, Inc. | System, method and computer program product for device, operating system, and network transport neutral secure interactive multi-media messaging |
| CN101416153A (zh) * | 2003-08-21 | 2009-04-22 | 微软公司 | 实现组织可由硬件/软件接口系统管理的信息单元的数字图象模式的系统和方法 |
| CN102129290A (zh) * | 2010-01-12 | 2011-07-20 | 索尼公司 | 图像处理设备、对象选择方法和程序 |
| CN102156588A (zh) * | 2011-03-16 | 2011-08-17 | 中国科学院上海技术物理研究所 | 一种嵌入式红外实时信号处理系统 |
| CN103051905A (zh) * | 2011-10-12 | 2013-04-17 | 苹果公司 | 使用噪声优化的选择标准计算场景白点 |
| CN103995913A (zh) * | 2014-03-18 | 2014-08-20 | 中国电子科技集团公司第十研究所 | 复杂电子系统开放式分层设计方法 |
| CN105654418A (zh) * | 2014-11-27 | 2016-06-08 | 三星电子株式会社 | 图形处理单元和包括其的装置 |
| CN105988874A (zh) * | 2015-02-10 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 资源处理方法及装置 |
| CN107771319A (zh) * | 2015-06-07 | 2018-03-06 | 苹果公司 | 封装图形库和硬件的图形引擎和环境 |
| CN107851139A (zh) * | 2015-08-07 | 2018-03-27 | 高通股份有限公司 | 用于图形处理单元的硬件强制内容保护 |
| CN107851138A (zh) * | 2015-08-07 | 2018-03-27 | 高通股份有限公司 | 用于图形处理单元的硬件强制内容保护 |
| CN106530299A (zh) * | 2016-11-29 | 2017-03-22 | 戢平 | 基于计算机图像与视觉识别的轨道扣件的检测方法 |
| CN108513079A (zh) * | 2017-02-28 | 2018-09-07 | Ncr公司 | 用于多个进程的多摄像头同时成像 |
| CN110574011A (zh) * | 2017-05-12 | 2019-12-13 | 谷歌有限责任公司 | 每线缓冲器单元存储器分配的确定 |
| CN109426505A (zh) * | 2017-08-16 | 2019-03-05 | 中国移动通信有限公司研究院 | 一种软件的安装方法、装置、电子设备及存储介质 |
| CN111615716A (zh) * | 2018-01-26 | 2020-09-01 | 威尔乌集团 | 在客户端机器之间分配着色器来进行预缓存 |
Non-Patent Citations (1)
| Title |
|---|
| CAD／CAM系统的程序化选型;张根保;《制造业自动化》;19960915(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110706147A (zh) | 2020-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110706147B (zh) | 图像处理的环境确定方法、装置、电子设备和存储介质 | |
| CN111539514B (zh) | 用于生成神经网络的结构的方法和装置 | |
| CN111046257B (zh) | 一种会话推荐方法、装置以及电子设备 | |
| CN111967568B (zh) | 深度学习模型的适配方法、装置及电子设备 | |
| CN112270399B (zh) | 基于深度学习的算子注册处理方法、装置及电子设备 | |
| EP3901909A1 (en) | Method and apparatus for processing video frame, device, medium and computer program product | |
| CN111241838B (zh) | 文本实体的语义关系处理方法、装置及设备 | |
| CN111598247A (zh) | 量子吉布斯态生成方法、装置及电子设备 | |
| CN111966361A (zh) | 用于确定待部署模型的方法、装置、设备及其存储介质 | |
| CN112288483A (zh) | 用于训练模型的方法和装置、用于生成信息的方法和装置 | |
| JP7229291B2 (ja) | データ拡張の方法及び装置、機器、記憶媒体 | |
| CN111177479B (zh) | 获取关系网络图中节点的特征向量的方法以及装置 | |
| CN112306452A (zh) | 归并排序算法处理业务数据的方法、装置及系统 | |
| CN110517079B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN111833391A (zh) | 图像深度信息的估计方法及装置 | |
| CN111694648A (zh) | 一种任务调度方法、装置以及电子设备 | |
| CN114816393B (zh) | 信息生成方法、装置、设备以及存储介质 | |
| CN111522837B (zh) | 用于确定深度神经网络的耗时的方法和装置 | |
| CN115481594B (zh) | 计分板实现方法、计分板、电子设备及存储介质 | |
| CN111340222B (zh) | 神经网络模型搜索方法、装置以及电子设备 | |
| CN111324747B (zh) | 三元组的生成方法、装置及电子设备 | |
| CN111292223B (zh) | 图计算的处理方法、装置、电子设备及存储介质 | |
| CN111581049B (zh) | 分布式系统运行状态监测方法、装置、设备及存储介质 | |
| CN114121180A (zh) | 药物筛选方法、装置、电子设备及存储介质 | |
| CN112101284A (zh) | 图像识别方法、图像识别模型的训练方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211021 Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant after: Apollo Zhilian (Beijing) Technology Co.,Ltd. Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |