CN115033157A - 路面质量检测方法、装置、系统及相关产品 - Google Patents

路面质量检测方法、装置、系统及相关产品 Download PDF

Info

Publication number
CN115033157A
CN115033157A CN202210700355.6A CN202210700355A CN115033157A CN 115033157 A CN115033157 A CN 115033157A CN 202210700355 A CN202210700355 A CN 202210700355A CN 115033157 A CN115033157 A CN 115033157A
Authority
CN
China
Prior art keywords
module
quality detection
road surface
pavement
surface quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210700355.6A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cambrian Jixingge Nanjing Technology Co ltd
Original Assignee
Cambrian Jixingge Nanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cambrian Jixingge Nanjing Technology Co ltd filed Critical Cambrian Jixingge Nanjing Technology Co ltd
Priority to CN202210700355.6A priority Critical patent/CN115033157A/zh
Publication of CN115033157A publication Critical patent/CN115033157A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Road Repair (AREA)

Abstract

本申请提供一种路面质量检测方法、装置、系统及相关产品，该方法包括：响应于用户在数据流处理软件开发包SDK对应的网页中触发的对模块呈现界面中多个路面质量检测模块的拖拽操作，将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示；根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图；获取对各路面质量检测模块的配置参数；根据配置参数及模块流程图生成路面质量检测系统的json文件；获取待处理的视频流及对路面进行质量检测的二进制模型文件，将视频流及二进制模型文件输入到对应硬件中并运行json文件，以实现对路面质量的检测。降低了开发难度，提高了开发效率。

Description

路面质量检测方法、装置、系统及相关产品
技术领域
本申请涉及人工智能技术领域，尤其涉及一种路面质量检测方法、装置、系统及相关产品。
背景技术
随着人工智能技术的发展，深度学习模型被广泛应用。深度学习模型可用于数据分类，目标检测等数据处理。其中在对路面质量进行检测时也采用了深度学习模型。
目前在对路面质量进行检测的系统开发时，整个路面质量检测系统中包括多个模块，在每个模块开发完成后，需要由技术人员按照处理逻辑将各模块连接起来，并结合硬件设备开发出能够在硬件设备上运行的路面质量检测系统，以通过路面质量检测系统完成对路面质量的检测。
所以目前对路面质量进行检测时，需要技术人员具有较高的开发能力，大幅度增加了对路面质量进行检测的开发难度，并且开发路面质量检测系统的效率较低。
发明内容
本申请实施例提供一种路面质量检测方法、装置、系统及相关产品，用以解决现有技术中对路面质量进行检测时，需要技术人员具有较高的开发能力，对路面质量进行检测的开发难度高，并且开发路面质量检测系统的效率较低的问题。
第一方面，本申请提供一种路面质量检测方法，包括：响应于用户在数据流处理软件开发包SDK对应的网页中触发的对模块呈现界面中多个路面质量检测模块的拖拽操作，将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示；
根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图；
获取对各路面质量检测模块的配置参数；
根据配置参数及所述模块流程图生成所述路面质量检测系统的json文件；
获取待处理的视频流及对路面进行质量检测的二进制模型文件，将所述视频流及所述二进制模型文件输入到对应硬件中并运行所述json文件，以实现对路面质量的检测。
第二方面，本申请提供一种路面质量检测装置，包括：
显示模块，用于响应于用户在数据流处理软件开发包SDK对应的网页中触发的对模块呈现界面中多个路面质量检测模块的拖拽操作，将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示；
第一生成模块，用于根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图；
获取模块，用于获取对各路面质量检测模块的配置参数；
第二生成模块，用于根据配置参数及所述模块流程图生成所述路面质量检测系统的json文件；
运行模块，用于获取待处理的视频流及对路面进行质量检测的二进制模型文件，将所述视频流及所述二进制模型文件输入到对应硬件中并运行所述json文件，以实现对路面质量的检测。
第三方面，本申请实施例提供一种计算机可读存储介质所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。
第四方面，本申请实施例提供一种计算机程序产品，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
第五方面，本申请实施例提供一种路面质量检测系统，包括：中央处理器CPU、加速卡及如第二方面所述的路面质量检测装置。
第六方面，本申请实施例提供一种电子设备，包括：如第五方面所述的路面质量检测系统。
本申请实施例提供的路面质量检测方法、装置、系统及相关产品，响应于用户在数据流处理软件开发包SDK对应的网页中触发的对模块呈现界面中多个路面质量检测模块的拖拽操作，将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示；根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图；获取对各路面质量检测模块的配置参数；根据配置参数及所述模块流程图生成所述路面质量检测系统的json文件；获取待处理的视频流及对路面进行质量检测的二进制模型文件，将所述视频流及所述二进制模型文件输入到对应硬件中并运行所述json文件，以实现对路面质量的检测。由于用户可以通过拖拽多个路面质量检测模块，并按照处理逻辑连接多个路面质量检测模块生成对应的模块流程图，可以使开发人员可视化的将各模块进行连接，并且可以根据流程图自动生成所述路面质量检测系统的json文件，因此无需技术人员编写代码，降低了对技术人员开发能力的要求，并降低了对路面质量进行检测的开发难度，提高了开发路面质量检测系统的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的一种应用场景示意图；
图2为本申请实施例提供的一种路面质量检测方法流程图；
图3为本申请实施例提供的SDK对应的网页示意图；
图4为本申请提供的对路面质量的检测流程图；
图5为本申请实施例提供的两个路面质量检测模块的连接操作示意图；
图6为本申请实施例提供的在参数配置示意图；
图7为本申请实施例提供的检测结果显示示意图；
图8为本申请实施例提供的路面质量检测装置的结构示意图；
图9为本申请实施例提供的一种板卡的结构示意图；
图10为本申请实施例提供的组合处理装置的结构图；
图11为本申请实施例提供的计算装置的内部结构示意图；
图12为本申请实施例提供的处理器核的内部结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。
在现有技术中，在对路面质量进行检测的系统开发时，需要技术人员开发整个路面质量检测系统中的多个模块，并由技术人员将各模块连接起来，开发出能够在硬件设备上运行的路面质量检测系统。由于模块开发及系统开发均由技术人员完成，因此需要技术人员具有较高的开发能力，大幅度增加了对路面质量进行检测的开发难度，并且开发路面质量检测系统的效率较低。
数据流处理软件开发包SDK中的代码库提供了使技术人员重复使用模块对应的程序文件的快捷方式。发明人在研究中发现，可以利用数据流处理软件开发包SDK提供的模块及对应的程序文件，并利用数据流处理软件开发包SDK的json文件生成功能生成路面质量检测系统的json文件，以通过路面质量检测系统完成对路面质量的检测。所以本申请提供一种路面质量检测方法，在用户在数据流处理软件开发包SDK对应的网页中触发的对模块呈现界面中多个路面质量检测模块的拖拽操作后，将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示；根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图；获取对各路面质量检测模块的配置参数；根据配置参数及模块流程图生成路面质量检测系统的json文件；获取待处理的视频流及对路面进行质量检测的二进制模型文件，将视频流及二进制模型文件输入到对应硬件中并运行json文件，以实现对路面质量的检测。由于用户可以通过拖拽多个路面质量检测模块，并按照处理逻辑连接多个路面质量检测模块生成对应的模块流程图，可以使开发人员可视化的将各模块进行连接，并且可以根据流程图自动生成路面质量检测系统的json文件，无需技术人员编写代码，无需技术人员具有较高的开发能力，大幅度降低了对路面质量进行检测的开发难度，提高了开发路面质量检测系统的效率。
图1为本申请实施例提供的一种应用场景示意图，示例性地，在生成可以在中央处理器CPU、加速卡上运行的路面质量检测系统后，可以将数据流输入路面质量检测系统中，路面质量检测装置控制中央处理器CPU、加速卡对数据流进行路面质量检测，通过多路面质量检测模块根据完成训练的路面质量检测神经网络模型对应的二进制模型文件检测出路面破损在数据流中对应位置，并将检测结果显示在显示器中。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
实施例一
图2为本申请实施例提供的一种路面质量检测方法流程图，本申请实施例针对现有技术中对路面质量进行检测时，需要技术人员具有较高的开发能力，对路面质量进行检测的开发难度高，并且开发路面质量检测系统的效率较低的问题，提供了一种路面质量检测方法。本实施例提供的路面质量检测方法的执行主体可以为路面质量检测装置。在实际应用中，该路面质量检测装置可以通过计算机程序实现，例如应用软件等，也可以通过存储有相关计算机程序的介质，例如，U盘、光盘、云端等实现，或者，还可以通过集成或安装有相关计算机程序的实体装置及虚拟装置实现，例如，芯片、板卡等。
本申请实施例中，路面质量检测装置可以控制中央处理器CPU、加速卡DLP，中央处理器CPU、加速卡DLP及路面质量检测装置构成路面质量检测系统。路面质量检测系统可以位于电子设备中。其中，电子设备可以为表示各种形式的数字计算机。诸如，云服务器、蜂窝电话、智能电话、膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。
如图2所示，本实施例提供的路面质量检测方法包括以下步骤：
步骤S101、响应于用户在数据流处理软件开发包SDK对应的网页中触发的对模块呈现界面中多个路面质量检测模块的拖拽操作，将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示。
本申请实施例对数据流处理软件开发包SDK对应的网页的打开方式不做具体限定，示例性地，可以从浏览器中打开SDK对应的网页，也可以从配置有数据流处理软件开发包SDK的应用程序中打开SDK对应的网页。
本申请实施例中，SDK对应的网页可以提供模块呈现界面及搭建界面。模块呈现界面可以呈现SDK提供的模块，如数据源模块、屏上展示模块；也可以呈现用户定义的模块，如后处理模块。
具体地，在打开SDK对应的网页后，可以从模块呈现界面中拖拽多个路面质量检测模块到搭建界面中，以将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示。
图3为本申请实施例提供的SDK对应的网页示意图，示例性地，如图3中所示，在SDK对应的网页左侧，可以提供模块呈现界面，在模块呈现界面中呈现数据源模块，前处理模块，推理模块等路面质量检测模块，也可以显示其他模块。在模块呈现界面左侧可以提供搭建界面，如图3中第一幅图所示，可以按住模块呈现界面中的数据源模块将数据源模块拖拽至模块呈现界面左侧，如图3中第二幅图所示，在松开鼠标后，数据源模块可以在模块呈现界面中进行显示。
步骤S102、根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图。
其中，模块流程图为呈现多个路面质量检测模块的执行顺序的流程图。
本申请实施例中，根据多个路面质量检测模块的执行顺序生成路面质量检测系统对应的模块流程图，根据配置参数生成路面质量检测系统的json文件，以使json文件运行时按对应的模块流程图中的多个路面质量检测模块顺序实现对路面质量的检测。
应理解的是，用户也可以在将部分路面质量检测模块的拖拽至搭建界面中后，就对拖拽至搭建界面中的路面质量检测模块的进行连接，直至路面质量检测系统所需的路面质量检测模块均被拖拽至搭建界面，并生成模块流程图。
步骤S103、获取对各路面质量检测模块的配置参数。
本申请实施例中，配置参数为对各路面质量检测模块的参数进行配置后的参数。
可选地，可以设置各路面质量检测模块的默认参数，若未获取到某配置参数，则可以将该配置参数对应的默认参数确定为配置参数。
本申请实施例不限制获取对各路面质量检测模块的配置参数的方式，示例性地，可以通过读取参数配置文件的方式获取对各路面质量检测模块的配置参数，也可以通过用户对各参数的输入获取对各路面质量检测模块的配置参数，还可以通过用户对各参数的选择获取对各路面质量检测模块的配置参数。
步骤S104、根据配置参数及模块流程图生成路面质量检测系统的json文件。
本申请实施例中，路面质量检测系统为对路面质量进行检测的系统。根据配置参数及模块流程图可以生成路面质量检测系统的json文件。
本申请实施例不限制生成路面质量检测系统的json文件方式。示例性的，可以先根据模块流程图生成符合模块流程的json文件，再根据配置参数更新符合模块流程的json文件生成与路面质量检测系统匹配的json文件。还可以先根据配置参数更新各路面质量检测模块对应的初始程序文件，再根据模块流程图及更新后的初始程序文件生成与路面质量检测系统匹配的json文件。
步骤S105、获取待处理的视频流及对路面进行质量检测的二进制模型文件，将视频流及二进制模型文件输入到对应硬件中并运行json文件，以实现对路面质量的检测。
其中，二进制模型文件为由完成训练的路面质量检测神经网络模型转换成的二进制模型文件。示例性地，获取二进制模型文件的方式可以为：采用人工智能框架根据完成训练的路面质量检测神经网络模型生成计算图，将计算图输入到推理加速引擎中，推理加速引擎对计算图进行优化生成二进制模型文件。
具体地，可以将二进制模型文件输入对应的路面质量检测模块中，通过运行json文件实现多路面质量检测模块对视频流中路面质量的检测。其中，视频流为包括路面情况的视频数据。
图4为本申请提供的对路面质量的检测流程图，示例性地，如图4所示，各路面质量检测模块包括：数据源模块，前处理模块，推理模块，后处理模块及屏上展示模块。将视频流输入到数据源模块输出解码后的视频流对应的图像数据；前处理模块将图像数据处理为满足推理模块要求的数据；推理模块对该数据进行推理获得推理结果；后处理模块对推理结果进行非极大抑制等处理，获得检测框的位置大小及类别；屏上展示模块根据检测框的位置大小及类别在屏幕上显示路面质量检测结果。
可选地，若需要将路面质量检测结果存储到文件，路面质量检测模块还包括：编码模块，编码模块可以实现对路面质量检测结果的编码及存储。
本申请实施例提供的路面质量检测方法，响应于用户在数据流处理软件开发包SDK对应的网页中触发的对模块呈现界面中多个路面质量检测模块的拖拽操作，将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示；根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图；获取对各路面质量检测模块的配置参数；根据配置参数及模块流程图生成路面质量检测系统的json文件；获取待处理的视频流及对路面进行质量检测的二进制模型文件，将视频流及二进制模型文件输入到对应硬件中并运行json文件，以实现对路面质量的检测。由于用户可以通过拖拽多个路面质量检测模块，并按照处理逻辑连接多个路面质量检测模块生成对应的模块流程图，可以使开发人员可视化的将各模块进行连接，并且可以根据流程图自动生成路面质量检测系统的json文件，因此无需技术人员编写代码，降低了对技术人员开发能力的要求，并降低了对路面质量进行检测的开发难度，提高了开发路面质量检测系统的效率。
实施例二
在上述实施例的基础上，本申请实施例涉及的是步骤S102根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图的一种实现方式的细化，具体包括以下步骤：
步骤S201、接收用户在搭建界面中触发的对每两个路面质量检测模块的连接操作。
步骤S202、响应于连接操作对每两个路面质量检测模块进行有向连接，以生成路面质量检测系统的模块流程图。
应理解的是，本申请实施例中，用户根据多个路面质量检测模块的执行顺序对路面质量检测模块进行有向连接操作。
图5为本申请实施例提供的两个路面质量检测模块的连接操作示意图，示例性地，如图5中第一幅图所示，将光标移动到模块流程图中显示的数据源模块，可以显示数据源模块的连接点，如图5中第二幅图所示，将光标移动至数据源模块的连接点上并拖拽到前处理模块附近，可以显示前处理模块的连接点，继续拖拽到前处理模块的连接点可以完成数据源模块到前处理模块的有向连接操作，如图5中第三幅图所示，可以使数据源模块与前处理模块之间通过箭头连接，以显示数据源模块与前处理模块的执行顺序。
本申请实施例提供的路面质量检测方法，接收用户在搭建界面中触发的对每两个路面质量检测模块的连接操作；响应于连接操作对每两个路面质量检测模块进行有向连接，以生成路面质量检测系统的模块流程图。可以使开发人员可视化的将各模块进行连接，降低了对技术人员开发能力的要求，并降低了对路面质量进行检测的开发难度，提高了开发路面质量检测系统的效率。并且由于对每两个路面质量检测模块进行有向连接，可以使路面质量检测装置确定处理逻辑以生成路面质量检测系统的json文件。
实施例三
在上述实施例的基础上，本申请实施例涉及的是步骤S103获取对各路面质量检测模块的配置参数的一种实现方式的细化，具体包括以下步骤：
步骤S301、响应于用户通过参数配置组件对各路面质量检测模块触发的参数配置操作，显示参数配置界面。
步骤S302、响应于用户在参数配置界面中选择或输入的参数，对对应的路面质量检测模块进行参数配置，以获取对各路面质量检测模块的配置参数。
本申请实施例不限制触发参数配置操作的方式，示例性地，可以通过点击搭建界面中的路面质量检测模块触发对该路面质量检测模块的参数配置操作；也可以提供参数配置触发控件，如参数配置按钮，使用户通过点击参数配置触发控件触发参数配置操作。
图6为本申请实施例提供的在参数配置示意图，示例性地，可以点击搭建界面中的数据源模块，触发对数据源模块的设置操作，在搭建界面的右侧显示可以对数据源模块进行的设置操作，如参数说明、参数配置；如图6中第一幅图所示，用户可以通过点击参数配置触发参数配置操作；如图6中第二幅图所示，触发参数配置操作后，在搭建界面的右侧显示参数配置界面，在参数配置界面可以显示数据源模块对应的参数，如解码使用硬件设备参数、输出数据内存类型等参数，用户可以在输入框中输入配置参数或选择配置参数以使路面质量检测装置获取对各路面质量检测模块的配置参数。
本申请实施例提供的路面质量检测方法，响应于用户通过参数配置组件对各路面质量检测模块触发的参数配置操作，显示参数配置界面；响应于用户在参数配置界面中选择或输入的参数，对对应的路面质量检测模块进行参数配置，以获取对各路面质量检测模块的配置参数。可以使开发人员对各路面质量检测模块的参数进行配置，以使生成的路面质量检测系统的json文件于实际需求相匹配；并且通过用户在参数配置界面中选择或输入的参数对参数进行配置，降低了配置参数对技术人员开发能力的要求，进一步降低了对路面质量进行检测的开发难度，提高了开发路面质量检测系统的效率。
实施例四
在上述实施例的基础上，本申请实施例涉及的是步骤S104根据配置参数及模块流程图生成路面质量检测系统的json文件的一种实现方式的细化，具体包括以下步骤：
步骤S401、获取在模块流程图中各路面质量检测模块对应的初始程序文件。
步骤S402、根据各路面质量检测模块对应的初始程序文件及配置参数生成各路面质量检测模块的适配程序文件。
步骤S403、根据模块流程图及适配程序文件生成路面质量检测系统的json文件。
其中，初始程序文件为预先配置的各路面质量检测模块对应的程序文件。适配程序文件为根据配置参数对初始程序文件进行调整后，适配路面质量检测系统的各路面质量检测模块对应的程序文件。
本申请实施例中，初始程序文件可以为SDK提供的路面质量检测模块对应的SDK提供的程序文件，也可以为用户定义的模块路面质量检测模块对应的用户配置的程序文件。
本申请实施例不限制获取在模块流程图中各路面质量检测模块对应的初始程序文件的方法。示例性地，可以预先配置各路面质量检测模块与对应的初始程序文件存储地址的映射关系，根据映射关系确定各路面质量检测模块对应的初始程序文件的存储地址，从存储地址获取对应的初始程序文件。
具体地，在获取在模块流程图中各路面质量检测模块对应的初始程序文件后，可以根据配置参数调整对应的初始程序文件中的对应参数生成各路面质量检测模块的适配程序文件；将适配程序文件按模块流程图中对应路面质量检测模块的顺序组装，生成路面质量检测系统的json文件。
本申请实施例提供的路面质量检测方法，获取在模块流程图中各路面质量检测模块对应的初始程序文件；根据各路面质量检测模块对应的初始程序文件及配置参数生成各路面质量检测模块的适配程序文件；根据模块流程图及适配程序文件生成路面质量检测系统的json文件。可以自动根据模块流程图及配置参数生成符合处理逻辑及实际应用需求的路面质量检测系统的json文件，从而降低了连接对技术人员开发能力的要求，并降低了对路面质量进行检测的开发难度，提高了开发路面质量检测系统的效率
在一种可选地实施方式中，各路面质量检测模块包括：数据源模块，前处理模块，推理模块，后处理模块及屏上展示模块。
其中，前处理模块，用于将视频流解码后的图像处理为满足推理模块要求的数据；后处理模块，用于将推理模块输出的路面质量检测结果进行后续处理。
本申请实施例中，前处理模块可以对视频流解码后的图像进行颜色空间转换、调整图片大小、归一化等操作。可以通过控制中央处理器CPU实现前处理模块的功能，也可以通过控制加速卡，示例性的，可以为DLP，实现前处理模块的功能。
本申请实施例中，后处理模块可以对推理模型输出的检测结果进行进一步处理。可以通过控制中央处理器CPU实现后处理模块的功能。
本申请实施例中，可以根据后处理模块与推理模块的性能差距，确定后处理模块的功能。例如，若后处理模块仅可以实现非极大抑制功能，在对路面质量的检测时推理模块对应的运行时间显著比后处理模块对应的运行时间长，则可以不同尺度的检测框处理功能从推理模块放到后处理模块，推理模块直接输出不同尺度的检测框，后处理模块将不同尺度的检测框转换为同尺度的检测框。
本申请实施例中，数据源模块对应的配置参数可以包括：解码使用硬件设备参数、输出数据内存类型参数、是否开启内存复用参数、输入最大缓存帧数参数、输出最大缓存帧数参数、抽帧参数。其中，解码使用硬件设备参数可以设为“CPU”或“开发板”，采用解码使用硬件设备参数相应的设备对数据流进行解码处理，并在解码使用硬件设备参数相应的设备中生成并存储解码输出数据。输出数据内存类型参数可以设为“CPU”或“开发板”，表示将解码输出数据搬运并存储到输出数据内存类型参数相应设备存储空间中。是否开启内存复用参数可以设为“是”或“否”，在解码使用硬件设备参数及输出数据内存类型参数一致，且内存复用参数为“是”时，可以不进行数据搬运。输入最大缓存帧数参数设置开发板解码器输入队列的最大缓存帧数。输出最大缓存帧数参数设置开发板解码器输出队列的最大缓存帧数。抽帧参数设置输出一帧解码输出数据对应的视频流的帧数。
推理模块对应的配置参数可以包括：模型路径参数、执行策略参数、抽帧参数、性能显示参数。其中，模型路径参数设置了二进制模型文件相对json文件的路径。执行策略参数可以设为“dynamic”或“static”，dynamic表示收到任务请求时不会立即执行，而是在组满一组或超时后才开始执行，吞吐率较高；static表示每次收到任务请求则立即执行，延时较短。在执行策略参数设为“dynamic”时，还可以设置超时时间参数。性能显示参数设置是否显示该模块内部性能数据，包括等待时间和延时时间。
屏上展示模块对应的配置参数可以包括：标签路径参数、标签大小参数、字体大小参数。由于后处理模块输出的数据中检测出的路面的破损类别为标签标识，如数字1、2、3，通过标签路径参数可以确定标签标识对应的路面的破损类别。
图7为本申请实施例提供的检测结果显示示意图，如图7所示，通过屏上展示模块在屏幕上显示路面质量检测结果时可以显示检测框，以显示出路面破损的位置，还可以显示路面的破损类别对应的标签01。应理解的是，还可以直接显示路面的破损类别，本申请实施例对此不做限定。
本申请实施例提供的路面质量检测方法，路面质量检测模块包括：数据源模块，前处理模块，推理模块，后处理模块及屏上展示模块。其中，前处理模块，用于将视频流解码后的图像处理为满足推理模块要求的数据；后处理模块，用于将推理模块输出的路面质量检测结果进行后续处理。通过前处理模块将视频流解码后的图像处理为满足推理模块要求的数据，可以将视频流解码后的图像转化为相对单一且便于处理的数据，以达到推理模块可以快速分析处理的目的。通过后处理模块将推理模块输出的路面质量检测结果进行后续处理，分担推理模块的处理压力提高推理模块的性能，并且可以对推理模块的输出结果进行进一步判断，提高路面质量检测的准确率。
可选地，各路面质量检测模块至少包括：前处理模块，后处理模块，则在步骤S401之前，还包括：创建前处理模块和后处理模块的函数接口；将前处理模块和后处理模块的函数接口进行存储。
示例性地，若通过控制中央处理器CPU实现前处理模块的功能，可以创建调用跨平台的计算机视觉库opencv(全称为：Open Source Computer Vision Library)的函数接口；若通过控制加速卡DLP实现前处理模块的功能，可以创建调用DLP对应的计算机视觉库DLCV的函数接口。
本申请实施例提供的路面质量检测方法，可以创建前处理模块和后处理模块的函数接口，在创建前处理模块和后处理模块的函数接口后，将函数接口进行存储，以便生成路面质量检测系统的json文件时，获取前处理模块和后处理模块的函数接口。
可选地，各路面质量检测模块包括：数据源模块，前处理模块，推理模块，后处理模块及屏上展示模块，则步骤S401获取在模块流程图中各路面质量检测模块对应的初始程序文件包括：
步骤S4011、调用数据流处理SDK提供的数据源模块，推理模块及屏上展示模块对应的初始程序文件，以获得数据源模块，推理模块及屏上展示模块对应的初始程序文件。
步骤S4012、调用前处理模块和后处理模块的函数接口，以获取前处理模块及后处理模块的初始程序文件。
应理解的是，由于数据源模块，推理模块及屏上展示模块为数据流处理SDK提供的模块，数据流处理SDK还提供数据源模块，推理模块及屏上展示模块对应的初始程序文件，因此通过调用数据源模块，推理模块及屏上展示模块可以直接获得数据源模块，推理模块及屏上展示模块对应的初始程序文件。
本申请实施例中，通过调用前处理模块的函数接口可以实现对前处理模块的初始程序文件的获取；通过调用后处理模块的函数接口可以实现对后处理模块的初始程序文件的获取。其中，前处理模块的初始程序文件可以由数据流处理SDK提供，也可以通过用户预先定义。后处理模块可以通过用户预先定义。
示例性地，前处理模块的适配程序文件可以实现如下功能：若输入数据源模块的视频流的每帧数据为uint8_t类型，颜色空间及通道排布也是从输入视频流中直接读入并记录下来的，各通道数据分别存放在一个Buffer类型的数组中，而推理模块只接受RGB24空间，float类型，固定规模，且归一化之后的数据作为输入。则通过执行前处理模块对应的适配程序文件可以把各通道数据统一到一段连续内存中，然后对数据进行颜色空间转换，根据颜色空间转换后的数据及推理模块对数据的要求判断是否需要调整大小，最后再除以255.0以对数据进行归一化处理。
示例性地，后处理模块的适配程序文件可以实现如下功能：若后处理模块的输入为处理后的检测框列表，在检测框列表中列出每个框包含的多个元素，分别为：中心点坐标[x,y]、宽w、长h、该框置信度prob、多个类别的置信度[score1、score2、score3、score4、…]。其中，多个类别的置信度为检测框对应路面的破损类别，如横纹、竖纹、鳄鱼纹和坑洞等。后处理模块可以对输入的检测框列表进行循环，若当前框置信度prob低于预先设置的置信度要求，则直接跳过该检测框，不对该检测框进行处理及输出；若当前框置信度prob高于或等于预先设置的置信度要求，则对该检测框对应的中心点坐标[x,y]、宽w、长h进行归一化处理，利用多个类别的置信度来确定当前框的类别并保存；对检测框列表中的检测框完成上述数据处理之后，再对检测框列表按检测框的置信度从高到底进行排序，对排序之后的列表进行非极大抑制计算，最终得到的检测框列表即可作为后处理模块的输出。
本申请实施例提供的路面质量检测方法，调用数据流处理SDK提供的数据源模块，推理模块及屏上展示模块对应的初始程序文件，以获得数据源模块，推理模块及屏上展示模块对应的初始程序文件；调用前处理模块和后处理模块的函数接口，以获取前处理模块及后处理模块的初始程序文件。可以获得数据源模块，推理模块、屏上展示模块、前处理模块及后处理模块对应的初始程序文件，其中，前处理模块及后处理模块为用户定义的模块。可以通过创建对应的函数接口，并设置对应的初始程序文件的方式，向数据流处理SDK中添加模块，提高了根据数据流处理SDK中的模块生成json文件的灵活性，可以实现对生成的json文件对应的路面质量检测系统的性能提升和功能扩展。
实施例五
在上述实施例的基础上，本申请实施例涉及的是步骤S105将视频流及二进制模型文件输入到对应硬件中并运行json文件，以实现对路面质量的检测的一种实现方式的细化，具体包括以下步骤：
步骤S501、获取数据源模块对应的配置参数中的解码使用硬件设备参数。
步骤S502、根据解码使用硬件设备参数将视频流输入到对应的解码使用硬件设备中。
步骤S503、将二进制模型文件输入到推理模块对应的加速卡中并运行json文件，以实现对路面质量的检测。
本申请实施例中，由于已经获取对各路面质量检测模块的配置参数，各路面质量检测模块的配置参数包括解码使用硬件设备参数，因此可以通过查找解码使用硬件设备参数确定对应的解码使用硬件设备。
具体地，若获取解码使用硬件设备参数为中央处理器CPU对应的解码使用硬件设备参数，则将视频流输入到中央处理器CPU中；若获取解码使用硬件设备参数为加速卡对应的解码使用硬件设备参数，则将视频流输入到加速卡；将视频流输入到对应的解码使用硬件设备中后，将二进制模型文件输入到推理模块对应的加速卡中；通过运行json文件，实现采用二进制模型文件对应的完成训练的路面质量检测神经网络模型对视频流中的路面质量的检测。
本申请实施例不限制输入二进制模型文件的方法。示例性地，可以通过预先设置二进制模型文件所在路径，根据二进制模型文件所在路径获取二进制模型文件，实现二进制模型文件的输入。
本申请实施例提供的路面质量检测方法，获取数据源模块对应的配置参数中的解码使用硬件设备参数；根据解码使用硬件设备参数将视频流输入到对应的解码使用硬件设备中；将二进制模型文件输入到推理模块对应的加速卡中并运行json文件，以实现对路面质量的检测。由于利用二进制模型文件对应的完成训练的路面质量检测神经网络模型对视频流中的路面质量的检测，提高了路面质量检测的准确率。
可选地，一种运行json文件，以实现对路面质量的检测的具体实现方式，包括：运行json文件，并在运行json文件时按照数据流处理SDK对各路面质量检测模块对应的数据流进行调度，以实现对路面质量的检测。
示例性地，在生成json文件后，数据流处理软件开发包SDK根据该json文件生成一个计算流，在运行json文件时，可以通过Pipeline类来进行各路面质量检测模块的管理和调度执行。
在一种可选的实现方式中，在上游模块计算结束之后，可以将计算结果放入下游模块的输入队列中；下游模块可以从自己的输入队列中拿取数据进行计算。下游输入队列存满之后上游模块会被阻塞，可以防止计算资源及存储资源被无意义占用。
本申请实施例提供的路面质量检测方法，运行json文件，并在运行json文件时按照数据流处理SDK对各路面质量检测模块对应的数据流进行调度，以实现对路面质量的检测。通过SDK对各路面质量检测模块对应的数据流进行调度，可以实现自动对视频流中路面质量的检测，从而提高对路面质量进行检测的效率。
实施例六
图8为本申请实施例提供的路面质量检测装置的结构示意图，如图8所示，本实施例提供的路面质量检测装置80包括：显示模块801，第一生成模块802、获取模块803、第二生成模块804以及运行模块805。
具体地，显示模块801，用于响应于用户在数据流处理软件开发包SDK对应的网页中触发的对模块呈现界面中多个路面质量检测模块的拖拽操作，将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示；
第一生成模块802，用于根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图；
获取模块803，用于获取对各路面质量检测模块的配置参数；
第二生成模块804，用于根据配置参数及模块流程图生成路面质量检测系统的json文件；
运行模块805，用于获取待处理的视频流及对路面进行质量检测的二进制模型文件，将视频流及二进制模型文件输入到对应硬件中并运行json文件，以实现对路面质量的检测。
本申请实施例提供的装置可以具体用于执行上述实施例一所提供的方法实施例，具体功能此处不再赘述。
可选地，第一生成模块802具体用于：接收用户在搭建界面中触发的对每两个路面质量检测模块的连接操作；响应于连接操作对每两个路面质量检测模块进行有向连接，以生成路面质量检测系统的模块流程图。
可选地，获取模块803具体用于：响应于用户通过参数配置组件对各路面质量检测模块触发的参数配置操作，显示参数配置界面；响应于用户在参数配置界面中选择或输入的参数，对对应的路面质量检测模块进行参数配置，以获取对各路面质量检测模块的配置参数。
可选地，第二生成模块804包括：获取单元、生成单元。获取单元用于：获取在模块流程图中各路面质量检测模块对应的初始程序文件。生成单元用于：根据各路面质量检测模块对应的初始程序文件及配置参数生成各路面质量检测模块的适配程序文件；根据模块流程图及适配程序文件生成路面质量检测系统的json文件。
可选地，各路面质量检测模块包括：数据源模块，前处理模块，推理模块，后处理模块及屏上展示模块；前处理模块，用于将视频流解码后的图像处理为满足推理模块要求的数据；后处理模块，用于将推理模块输出的路面质量检测结果进行后续处理。
可选地，路面质量检测装置80还包括：接口创建模块。接口创建模块用于：创建前处理模块和后处理模块的函数接口；将前处理模块和后处理模块的函数接口进行存储。
可选地，获取单元具体用于：调用数据流处理SDK提供的数据源模块，推理模块及屏上展示模块对应的初始程序文件，以获得数据源模块，推理模块及屏上展示模块对应的初始程序文件；调用前处理模块和后处理模块的函数接口，以获取前处理模块及后处理模块的初始程序文件。
可选地，运行模块805具体用于：获取数据源模块对应的配置参数中的解码使用硬件设备参数；根据解码使用硬件设备参数将视频流输入到对应的解码使用硬件设备中；将二进制模型文件输入到推理模块对应的加速卡中并运行json文件，以实现对路面质量的检测。
可选地，运行模块805具体用于：运行json文件，并在运行json文件时按照数据流处理SDK对各路面质量检测模块对应的数据流进行调度，以实现对路面质量的检测。
需要说明的是，本实施例提供的全路径轨迹融合装置执行的技术方案和效果可以参见前述方法实施例的相关内容，在此不再赘述。
实施例七
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本申请任意一个实施例提供的全路径轨迹融合方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本申请任意一个实施例提供全路径轨迹融合方法。
本申请实施例还提供一种路面质量检测系统，包括：中央处理器CPU、加速卡及路面质量检测装置。
本申请实施例还提供一种电子设备，包括：路面质量检测系统。
本申请实施例中，中央处理器CPU、加速卡及路面质量检测装置可以为板卡，中央处理器CPU、加速卡之间可以通过总线连接。
图9为本申请实施例提供的一种板卡90的结构示意图。如图9所示，板卡90包括芯片901，其是一种系统级芯片(System on Chip，SoC)，或称片上系统，集成有一个或多个组合处理装置，组合处理装置是一种人工智能运算单元，用以支持各类深度学习和机器学习算法，满足计算机视觉、语音、自然语言处理、数据挖掘等领域复杂场景下的智能处理需求。特别是深度学习技术大量应用在云端智能领域，云端智能应用的一个显著特点是输入数据量大，对平台的存储能力和计算能力有很高的要求，此实施例的板卡90适用在云端智能应用，具有庞大的片外存储、片上存储和大量的计算能力。
芯片901通过对外接口装置902与外部设备903相连接。外部设备903例如是服务器、计算机、摄像头、显示器、鼠标、键盘、网卡或wifi接口等。待处理的数据可以由外部设备903通过对外接口装置902传递至芯片901。芯片901的计算结果可以经由对外接口装置902传送回外部设备903。根据不同的应用场景，对外接口装置902可以具有不同的接口形式，例如PCIe接口等。
板卡90还包括用于存储数据的存储器件904，其包括一个或多个存储单元905。存储器件904通过总线与控制器件906和芯片901进行连接和数据传输。板卡90中的控制器件906配置用于对芯片901的状态进行调控。为此，在一个应用场景中，控制器件906可以包括单片机(Micro Controller Unit，MCU)。
图10是示出此实施例的芯片901中的组合处理装置的结构图。如图10中所示，组合处理装置100包括计算装置1001、接口装置1002、处理装置1003和DRAM 1004。
计算装置1001配置成执行用户指定的操作，主要实现为单核智能处理器或者多核智能处理器，用以执行深度学习或机器学习的计算，其可以通过接口装置1002与处理装置1003进行交互，以共同完成用户指定的操作。
接口装置1002用于在计算装置1001与处理装置1003间传输数据和控制指令。例如，计算装置1001可以经由接口装置1002从处理装置1003中获取输入数据，写入计算装置1001片上的存储装置。进一步，计算装置1001可以经由接口装置1002从处理装置1003中获取控制指令，写入计算装置1001片上的控制缓存中。替代地或可选地，接口装置1002也可以读取计算装置1001的存储装置中的数据并传输给处理装置1003。
处理装置1003作为通用的处理装置，执行包括但不限于数据搬运、对计算装置1001的开启和/或停止等基本控制。根据实现方式的不同，处理装置1003可以是中央处理器(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)或其他通用和/或专用处理器中的一种或多种类型的处理器，这些处理器包括但不限于数字信号处理器(digital signal processor，DSP)、专用集成电路(application specificintegrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，并且其数目可以根据实际需要来确定。如前，仅就本披露的计算装置1001而言，其可以视为具有单核结构或者同构多核结构。然而，当将计算装置1001和处理装置1003整合共同考虑时，二者视为形成异构多核结构。
DRAM 1004用以存储待处理的数据，为DDR内存，大小通常为16G或更大，用于保存计算装置1001和/或处理装置1003的数据。
图11示出了计算装置1001的内部结构示意图。计算装置1001用以处理计算机视觉、语音、自然语言、数据挖掘等输入数据，图中的计算装置1001采用多核分层结构设计，计算装置1001作为一个片上系统，其包括多个集群(cluster)，每个集群又包括多个处理器核，换言之，计算装置1001是以片上系统-集群-处理器核的层次所构成的。
以片上系统的层级来看，如图11所示，计算装置1001包括外部存储控制器1101、外设通信模块1102、片上互联模块1103、同步模块1104以及多个集群1105。
外部存储控制器1101可以有多个，在图中示例性地展示2个，其用以响应处理器核发出的访问请求，访问外部存储设备，例如图10中的DRAM 1004，从而自片外读取数据或是将数据写入。外设通信模块1102用以通过接口装置1002接收来自处理装置1003的控制信号，启动计算装置1001执行任务。片上互联模块1103将外部存储控制器1101、外设通信模块1102及多个集群1105连接起来，用以在各个模块间传输数据和控制信号。同步模块1104是一种全局同步屏障控制器(global barrier controller，GBC)，用以协调各集群的工作进度，确保信息的同步。多个集群1105是计算装置1001的计算核心，在图中示例性地展示4个，随着硬件的发展，本披露的计算装置1001还可以包括8个、16个、64个、甚至更多的集群1105。集群1105用以高效地执行深度学习算法。
以集群的层级来看，如图11所示，每个集群1105包括多个处理器核(IPU core)1106及一个存储核(MEM core)1107。
处理器核1106在图中示例性地展示4个，本披露不限制处理器核1106的数量。其内部架构如图12所示。每个处理器核1106包括三大模块：控制模块41、运算模块42及存储模块43。
控制模块41用以协调并控制运算模块42和存储模块43的工作，以完成深度学习的任务，其包括取指单元(instruction fetch unit，IFU)411及指令译码单元(instructiondecode unit，IDU)412。取指单元411用以获取来自处理装置203的指令，指令译码单元412则将获取的指令进行译码，并将译码结果作为控制信息发送给运算模块42和存储模块43。
运算模块42包括向量运算单元421及矩阵运算单元422。向量运算单元421用以执行向量运算，可支持向量乘、加、非线性变换等复杂运算；矩阵运算单元422负责深度学习算法的核心计算，即矩阵乘及卷积。
存储模块43用来存储或搬运相关数据，包括神经元存储单元(neuron RAM，NRAM)431、权值存储单元(weight RAM，WRAM)432、输入/输出直接内存访问模块(input/outputdirect memory access，IODMA)433、搬运直接内存访问模块(move direct memoryaccess，MVDMA)434。NRAM 431用以存储供处理器核1106计算的输入、输出数据及中间结果；WRAM 432则用以存储深度学习网络的权值；IODMA 433通过广播总线1109控制NRAM 431/WRAM 432与DRAM 1004的访存；MVDMA 434则用以控制NRAM 431/WRAM 432与SRAM 1108的访存。
回到图11，存储核1107主要用以存储和通信，即存储处理器核1106间的共享数据或中间结果、以及执行集群1105与DRAM 1004之间的通信、集群1105间彼此的通信、处理器核1106间彼此的通信等。在其他实施例中，存储核1107具有标量运算的能力，用以执行标量运算。
存储核1107包括共享存储单元(SRAM)1108、广播总线1109、集群直接内存访问模块(cluster direct memory access，CDMA)1110及全局直接内存访问模块(global directmemory access，GDMA)1111。SRAM 1108承担高性能数据中转站的角色，在同一个集群1105内不同处理器核1106之间所复用的数据不需要通过处理器核1106各自向DRAM 1004获得，而是经SRAM 1108在处理器核1106间中转，存储核1107只需要将复用的数据从SRAM 1108迅速分发给多个处理器核1106即可，以提高核间通讯效率，亦大大减少片上片外的输入/输出访问。
广播总线1109、CDMA 1110及GDMA 1111则分别用来执行处理器核1106间的通信、集群1105间的通信和集群1105与DRAM 1004的数据传输。以下将分别说明。
广播总线1109用以完成集群1105内各处理器核1106间的高速通信，此实施例的广播总线1109支持核间通信方式包括单播、多播与广播。单播是指点对点(即单一处理器核至单一处理器核)的数据传输，多播是将一份数据从SRAM 1108传输到特定几个处理器核1106的通信方式，而广播则是将一份数据从SRAM 1108传输到所有处理器核1106的通信方式，属于多播的一种特例。
CDMA 1110用以控制在同一个计算装置1001内不同集群1105间的SRAM 1108的访存。
回到图11，GDMA 1111与外部存储控制器1101协同，用以控制集群1105的SRAM1108到DRAM 1004的访存，或是将数据自DRAM 1004读取至SRAM 1108中。从前述可知，DRAM1004与NRAM 431或WRAM 432间的通信可以经由2个渠道来实现。第一个渠道是通过IODAM433直接联系DRAM 1004与NRAM 431或WRAM 432；第二个渠道是先经由GDMA 1111使得数据在DRAM 204与SRAM 1108间传输，再经过MVDMA 434使得数据在SRAM 1108与NRAM 431或WRAM 432间传输。虽然表面上看来第二个渠道需要更多的元件参与，数据流较长，但实际上在部分实施例中，第二个渠道的带宽远大于第一个渠道，因此DRAM 1004与NRAM 431或WRAM432间的通信通过第二个渠道可能更有效率。本披露的实施例可根据本身硬件条件选择数据传输渠道。
在其他实施例中，GDMA 1111的功能和IODMA 433的功能可以整合在同一部件中。本披露为了方便描述，将GDMA 1111和IODMA 433视为不同部件，对于本领域技术人员来说，只要其实现的功能以及达到的技术效果与本披露类似，即属于本披露的保护范围。进一步地，GDMA 1111的功能、IODMA 433的功能、CDMA 1110的功能、MVDMA 434的功能亦可以由同一部件来实现，同样地，只要其实现的功能以及达到的技术效果与本披露类似，均属于本披露的保护范围。
依据以下条款可更好地理解前述内容(The foregoing may be betterunderstood in view of the following clauses)：
条款1、一种路面质量检测方法，包括：响应于用户在数据流处理软件开发包SDK对应的网页中触发的对模块呈现界面中多个路面质量检测模块的拖拽操作，将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示；
根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图；
获取对各路面质量检测模块的配置参数；
根据配置参数及所述模块流程图生成所述路面质量检测系统的json文件；
获取待处理的视频流及对路面进行质量检测的二进制模型文件，将所述视频流及所述二进制模型文件输入到对应硬件中并运行所述json文件，以实现对路面质量的检测。
条款2、根据条款1所述的方法，所述根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图，包括：
接收用户在搭建界面中触发的对每两个路面质量检测模块的连接操作；
响应于所述连接操作对每两个路面质量检测模块进行有向连接，以生成所述路面质量检测系统的模块流程图。
条款3、根据条款1所述的方法，所述获取对各路面质量检测模块的配置参数，包括：
响应于用户通过参数配置组件对各路面质量检测模块触发的参数配置操作，显示参数配置界面；
响应于用户在参数配置界面中选择或输入的参数，对对应的路面质量检测模块进行参数配置，以获取对各路面质量检测模块的配置参数。
条款4、根据条款1所述的方法，所述根据配置参数及所述模块流程图生成所述路面质量检测系统的json文件，包括：
获取在模块流程图中各路面质量检测模块对应的初始程序文件；
根据各路面质量检测模块对应的初始程序文件及配置参数生成各路面质量检测模块的适配程序文件；
根据所述模块流程图及所述适配程序文件生成所述路面质量检测系统的json文件。
条款5、根据条款4所述的方法，所述各路面质量检测模块包括：
数据源模块，前处理模块，推理模块，后处理模块及屏上展示模块；
所述前处理模块，用于将视频流解码后的图像处理为满足推理模块要求的数据；所述后处理模块，用于将所述推理模块输出的路面质量检测结果进行后续处理。
条款6、根据条款5所述的方法，所述获取在模块流程图中各路面质量检测模块对应的初始程序文件之前，还包括：
创建所述前处理模块和所述后处理模块的函数接口；
将所述前处理模块和所述后处理模块的函数接口进行存储。
条款7、根据条款6所述的方法，所述获取在模块流程图中各路面质量检测模块对应的初始程序文件，包括：
调用数据流处理SDK提供的数据源模块，推理模块及屏上展示模块对应的初始程序文件，以获得数据源模块，推理模块及屏上展示模块对应的初始程序文件；
调用前处理模块和所述后处理模块的函数接口，以获取所述前处理模块及所述后处理模块的初始程序文件。
条款8、根据条款5-7任一项所述的方法，所述将所述视频流及所述二进制模型文件输入到对应硬件中并运行所述json文件，以实现对路面质量的检测，包括：
获取所述数据源模块对应的配置参数中的解码使用硬件设备参数；
根据所述解码使用硬件设备参数将所述视频流输入到对应的解码使用硬件设备中；
将所述二进制模型文件输入到推理模块对应的加速卡中并运行所述json文件，以实现对路面质量的检测。
条款9、根据条款1-7任一项所述的方法，所述运行所述json文件，以实现对路面质量的检测，包括：
运行所述json文件，并在运行json文件时按照数据流处理SDK对各路面质量检测模块对应的数据流进行调度，以实现对路面质量的检测。
条款10、一种路面质量检测装置，包括：
显示模块，用于响应于用户在数据流处理软件开发包SDK对应的网页中触发的对模块呈现界面中多个路面质量检测模块的拖拽操作，将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示；
第一生成模块，用于根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图；
获取模块，用于获取对各路面质量检测模块的配置参数；
第二生成模块，用于根据配置参数及所述模块流程图生成所述路面质量检测系统的json文件；
运行模块，用于获取待处理的视频流及对路面进行质量检测的二进制模型文件，将所述视频流及所述二进制模型文件输入到对应硬件中并运行所述json文件，以实现对路面质量的检测。
条款11、一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如条款1-9中任一项所述的方法。
条款12、一种计算机程序产品，所述计算机程序被处理器执行时实现如条款1-9中任一项所述的方法。
条款13、一种路面质量检测系统，包括：中央处理器CPU、加速卡及如条款10所述的路面质量检测装置。
条款14、一种电子设备，所述电子设备包括：如条款13所述的路面质量检测系统。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
进一步需要说明的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
应该理解，上述的装置实施例仅是示意性的，本申请的装置还可通过其它的方式实现。例如，上述实施例中单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。
另外，若无特别说明，在本申请各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。若无特别说明，人工智能处理器可以是任何适当的硬件处理器，比如CPU、GPU、FPGA、DSP和ASIC等等。若无特别说明，存储单元可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(Dynamic Random AccessMemory)、静态随机存取存储器SRAM(Static Random-Access Memory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等。
集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (14)

1.一种路面质量检测方法，其特征在于，包括：
响应于用户在数据流处理软件开发包SDK对应的网页中触发的对模块呈现界面中多个路面质量检测模块的拖拽操作，将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示；
根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图；
获取对各路面质量检测模块的配置参数；
根据配置参数及所述模块流程图生成所述路面质量检测系统的json文件；
获取待处理的视频流及对路面进行质量检测的二进制模型文件，将所述视频流及所述二进制模型文件输入到对应硬件中并运行所述json文件，以实现对路面质量的检测。
2.根据权利要求1所述的方法，其特征在于，所述根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图，包括：
接收用户在搭建界面中触发的对每两个路面质量检测模块的连接操作；
响应于所述连接操作对每两个路面质量检测模块进行有向连接，以生成所述路面质量检测系统的模块流程图。
3.根据权利要求1所述的方法，其特征在于，所述获取对各路面质量检测模块的配置参数，包括：
响应于用户通过参数配置组件对各路面质量检测模块触发的参数配置操作，显示参数配置界面；
响应于用户在参数配置界面中选择或输入的参数，对对应的路面质量检测模块进行参数配置，以获取对各路面质量检测模块的配置参数。
4.根据权利要求1所述的方法，其特征在于，所述根据配置参数及所述模块流程图生成所述路面质量检测系统的json文件，包括：
获取在模块流程图中各路面质量检测模块对应的初始程序文件；
根据各路面质量检测模块对应的初始程序文件及配置参数生成各路面质量检测模块的适配程序文件；
根据所述模块流程图及所述适配程序文件生成所述路面质量检测系统的json文件。
5.根据权利要求4所述的方法，其特征在于，所述各路面质量检测模块包括：
数据源模块，前处理模块，推理模块，后处理模块及屏上展示模块；
所述前处理模块，用于将视频流解码后的图像处理为满足推理模块要求的数据；所述后处理模块，用于将所述推理模块输出的路面质量检测结果进行后续处理。
6.根据权利要求5所述的方法，其特征在于，所述获取在模块流程图中各路面质量检测模块对应的初始程序文件之前，还包括：
创建所述前处理模块和所述后处理模块的函数接口；
将所述前处理模块和所述后处理模块的函数接口进行存储。
7.根据权利要求6所述的方法，其特征在于，所述获取在模块流程图中各路面质量检测模块对应的初始程序文件，包括：
调用数据流处理SDK提供的数据源模块，推理模块及屏上展示模块对应的初始程序文件，以获得数据源模块，推理模块及屏上展示模块对应的初始程序文件；
调用前处理模块和所述后处理模块的函数接口，以获取所述前处理模块及所述后处理模块的初始程序文件。
8.根据权利要求5-7任一项所述的方法，其特征在于，所述将所述视频流及所述二进制模型文件输入到对应硬件中并运行所述json文件，以实现对路面质量的检测，包括：
获取所述数据源模块对应的配置参数中的解码使用硬件设备参数；
根据所述解码使用硬件设备参数将所述视频流输入到对应的解码使用硬件设备中；
将所述二进制模型文件输入到推理模块对应的加速卡中并运行所述json文件，以实现对路面质量的检测。
9.根据权利要求1-7任一项所述的方法，其特征在于，所述运行所述json文件，以实现对路面质量的检测，包括：
运行所述json文件，并在运行json文件时按照数据流处理SDK对各路面质量检测模块对应的数据流进行调度，以实现对路面质量的检测。
10.一种路面质量检测装置，其特征在于，包括：
显示模块，用于响应于用户在数据流处理软件开发包SDK对应的网页中触发的对模块呈现界面中多个路面质量检测模块的拖拽操作，将多个路面质量检测模块在路面质量检测系统的搭建界面进行显示；
第一生成模块，用于根据用户在搭建界面中触发的对多个路面质量检测模块的连接操作生成路面质量检测系统对应的模块流程图；
获取模块，用于获取对各路面质量检测模块的配置参数；
第二生成模块，用于根据配置参数及所述模块流程图生成所述路面质量检测系统的json文件；
运行模块，用于获取待处理的视频流及对路面进行质量检测的二进制模型文件，将所述视频流及所述二进制模型文件输入到对应硬件中并运行所述json文件，以实现对路面质量的检测。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-9中任一项所述的方法。
12.一种计算机程序产品，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
13.一种路面质量检测系统，其特征在于，包括：中央处理器CPU、加速卡及如权利要求10所述的路面质量检测装置。
14.一种电子设备，其特征在于，所述电子设备包括：如权利要求13所述的路面质量检测系统。
CN202210700355.6A 2022-06-20 2022-06-20 路面质量检测方法、装置、系统及相关产品 Pending CN115033157A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210700355.6A CN115033157A (zh) 2022-06-20 2022-06-20 路面质量检测方法、装置、系统及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210700355.6A CN115033157A (zh) 2022-06-20 2022-06-20 路面质量检测方法、装置、系统及相关产品

Publications (1)

Publication Number Publication Date
CN115033157A true CN115033157A (zh) 2022-09-09

Family

ID=83124356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210700355.6A Pending CN115033157A (zh) 2022-06-20 2022-06-20 路面质量检测方法、装置、系统及相关产品

Country Status (1)

Country Link
CN (1) CN115033157A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180121044A1 (en) * 2016-10-27 2018-05-03 Ricoh Company, Ltd. Run-time event handler generation in json environments
CN110688104A (zh) * 2019-09-04 2020-01-14 北京三快在线科技有限公司 可视化流程处理方法、装置、电子设备及可读存储介质
CN111310934A (zh) * 2020-02-14 2020-06-19 北京百度网讯科技有限公司 一种模型生成方法、装置、电子设备和存储介质
CN112906803A (zh) * 2021-03-01 2021-06-04 重庆紫光华山智安科技有限公司 模型集成方法、装置、服务器和计算机可读存储介质
CN113821200A (zh) * 2021-08-20 2021-12-21 浙江时空道宇科技有限公司 大数据任务可拖拽建模方法、系统、存储介质和终端
CN114139728A (zh) * 2021-12-06 2022-03-04 神州数码系统集成服务有限公司 可视化全流程机器学习平台、控制方法、客户端及应用
CN114386615A (zh) * 2021-12-03 2022-04-22 北京北明数科信息技术有限公司 基于可视化拖拉的机器学习分析方法、系统、设备及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180121044A1 (en) * 2016-10-27 2018-05-03 Ricoh Company, Ltd. Run-time event handler generation in json environments
CN110688104A (zh) * 2019-09-04 2020-01-14 北京三快在线科技有限公司 可视化流程处理方法、装置、电子设备及可读存储介质
CN111310934A (zh) * 2020-02-14 2020-06-19 北京百度网讯科技有限公司 一种模型生成方法、装置、电子设备和存储介质
CN112906803A (zh) * 2021-03-01 2021-06-04 重庆紫光华山智安科技有限公司 模型集成方法、装置、服务器和计算机可读存储介质
CN113821200A (zh) * 2021-08-20 2021-12-21 浙江时空道宇科技有限公司 大数据任务可拖拽建模方法、系统、存储介质和终端
CN114386615A (zh) * 2021-12-03 2022-04-22 北京北明数科信息技术有限公司 基于可视化拖拉的机器学习分析方法、系统、设备及介质
CN114139728A (zh) * 2021-12-06 2022-03-04 神州数码系统集成服务有限公司 可视化全流程机器学习平台、控制方法、客户端及应用

Similar Documents

Publication Publication Date Title
US20230033306A1 (en) Image rendering method and apparatus, computer device, and storage medium
CN107832843B (zh) 一种信息处理方法及相关产品
US10534605B2 (en) Application system having a gaming engine that enables execution of a declarative language
CN108541321B (zh) 将程序代码映射到高性能、高功效的可编程图像处理硬件平台的编译技术
CN110546611B (zh) 通过跳过处理操作来减少神经网络处理器中的功耗
US10437541B2 (en) Graphics engine and environment for efficient real time rendering of graphics that are not pre-known
CN110674936A (zh) 一种神经网络处理方法、装置、计算机设备及存储介质
CN113112579A (zh) 渲染方法、装置、电子设备和计算机可读存储介质
US20210334234A1 (en) Distributed graphics processor unit architecture
CN111401510A (zh) 一种数据处理方法、装置、计算机设备及存储介质
US11494321B1 (en) State buffer memloc reshaping
CN111401538A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN111401539A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112799599A (zh) 一种数据存储方法、计算核、芯片和电子设备
EP2988268B1 (en) Rendergraph compilation and use thereof for low-latency execution
CN115033157A (zh) 路面质量检测方法、装置、系统及相关产品
CN116468078A (zh) 面向人工智能芯片的智能引擎处理方法和装置
US20230259780A1 (en) Neural network sparsification apparatus and method and related product
US20220253807A1 (en) Context aware annotations for collaborative applications
CN116185942A (zh) 数据处理方法、装置、存储介质以及电子设备
CN118035618B (zh) 数据处理器、数据处理方法、电子设备、存储介质
US20230071688A1 (en) System and method of controlling neural processing
CN116755714B (zh) 深度神经网络模型的运行方法、装置、设备和存储介质
CN116402090B (zh) 神经网络计算图的处理方法、装置和设备
KR102606616B1 (ko) 관객의 위치에 의존하여 예술품을 동적으로 표시하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination