CN116156171A - 模型的配置方法、装置和系统 - Google Patents
模型的配置方法、装置和系统 Download PDFInfo
- Publication number
- CN116156171A CN116156171A CN202111347001.XA CN202111347001A CN116156171A CN 116156171 A CN116156171 A CN 116156171A CN 202111347001 A CN202111347001 A CN 202111347001A CN 116156171 A CN116156171 A CN 116156171A
- Authority
- CN
- China
- Prior art keywords
- model
- terminal
- matched
- determining
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 60
- 230000005540 biological transmission Effects 0.000 claims abstract description 38
- 238000004364 calculation method Methods 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005192 partition Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000010391 action planning Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本公开涉及一种模型的配置方法、装置和系统，涉及通信技术领域。该模型的配置方法，包括：根据终端上报的终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，确定匹配的模型；将匹配的模型的指示信息下发给终端，以便终端根据指示信息确定匹配的模型，并利用匹配的模型处理计算任务。
Description
技术领域
本公开涉及通信技术领域，特别涉及一种模型的配置方法、模型的配置装置、模型的配置系统和非易失性计算机可读存储介质。
背景技术
在相关技术中，终端侧完成检测任务，然后传输检测结果。一般来说，这种视觉任务信息的处理和交互方式的任务相对固定，难以变更，具有专业性。
例如，在自动驾驶汽车的应用场景中，车载摄像头采集视觉信号，并在车内的计算单元完成障碍物识别和移动物体跟踪任务；将处理信息输送给决策系统进行动作规划。完全自动驾驶系统可以不依赖网络独立完成端侧计算。在V2X系统中，自动驾驶汽车还可能将检测到的障碍物信息传送到边缘计算节点或是云端服务器，供其进一步分析或暂时存储。
或者，端侧负责信息采集，并将信息传输到云端进行处理，适用于性能和多样性任务。由于对于原始数据大的信息，需要具备较大传输带宽，即使在5G时代，仍然可能受限，或出于节约传输成本的考虑，交通监控摄像头采集的视频或图像在终端侧进行压缩后传输到云端进行处理。例如，可以进行视频解码重建，或者进行智能分析任务。
也就是说，在相关技术中，对于指定任务的视觉信号(视频或图像)处理，采用终端侧处理直接给出分析结果，再传输到云端进行分发；或者，将原始数据进行以人类视觉复现为目的的压缩后进行传输，再到收端进行处理得到分析结果。
发明内容
本公开的发明人发现上述相关技术中存在如下问题：对终端侧处理能力要求高，或者对网络传输带宽有较高要求，导致系统性能下降。
鉴于此，本公开提出了一种模型的配置技术方案，能够平衡终端侧处理能力和传输带宽需求，从而提高系统性能。
根据本公开的一些实施例，提供了一种模型的配置方法，包括：根据终端上报的终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，确定匹配的模型；将匹配的模型的指示信息下发给终端，以便终端根据指示信息确定匹配的模型，并利用匹配的模型处理计算任务。
在一些实施例中，确定匹配的模型包括：根据计算任务的类型，在模型数据库中确定候选模型；根据终端处理能力信息，确定候选模型的分割点；根据分割点，对候选模型进行分割，获取匹配的模型。
在一些实施例中，候选模型包括按顺序排列的多个层，分割点用于指示多个层中的一个层，根据分割点，对候选模型进行分割，获取匹配的模型包括：将候选模型中排序在分割点之后的层删除，获取匹配的模型。
在一些实施例中，模型的配置方法还包括：将分割后的候选模型加入模型数据库。
在一些实施例中，确定匹配的模型包括：根据终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，确定用于处理视觉任务的神经网络模型；根据计算任务的类型，确定用于对传输内容进行编码和译码的熵编码模型。
在一些实施例中，将匹配的模型的指示信息下发给终端包括：根据匹配的模型与模型标识之间的映射关系，将匹配的模型对应的模型标识发送给终端。
在一些实施例中，模型的配置方法还包括：接收终端的反馈信息，反馈信息根据终端利用匹配的模型处理计算任务的准确性确定；根据反馈信息更新匹配的模型的参数。
在一些实施例中，终端处理能力信息包括终端的运算能力、通信能力、功耗限制中的至少一项，计算任务的类型包括分类任务、检测任务、分割任务、时间识别任务中的多项。
根据本公开的另一些实施例，提供一种模型的配置装置，包括：动态确定单元，用于根据终端上报的终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，确定匹配的模型；发送单元，用于将匹配的模型的指示信息下发给终端，以便终端根据指示信息确定匹配的模型，并利用匹配的模型处理计算任务。
在一些实施例中，动态确定单元根据计算任务的类型，在模型数据库中确定候选模型；根据终端处理能力信息，确定候选模型的分割点；根据分割点，对候选模型进行分割，获取匹配的模型。
在一些实施例中，候选模型包括按顺序排列的多个层，分割点用于指示多个层中的一个层，动态确定单元将候选模型中排序在分割点之后的层删除，获取匹配的模型。
在一些实施例中，模型的配置装置还包括：更新单元，用于将分割后的候选模型加入模型数据库。
在一些实施例中，动态确定单元根据终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，确定用于处理视觉任务的神经网络模型；根据计算任务的类型，确定用于对传输内容进行编码和译码的熵编码模型。
在一些实施例中，发送单元根据匹配的模型与模型标识之间的映射关系，将匹配的模型对应的模型标识发送给终端。
在一些实施例中，模型的配置装置还包括：接收单元，用于接收终端的反馈信息，反馈信息根据终端利用匹配的模型处理计算任务的准确性确定；更新单元，用于根据反馈信息更新匹配的模型的参数。
在一些实施例中，终端处理能力信息包括终端的运算能力、通信能力、功耗限制中的至少一项，计算任务的类型包括分类任务、检测任务、分割任务、时间识别任务中的多项。
根据本公开的又一些实施例，提供一种模型的配置装置，包括：存储器；和耦接至存储器的处理器，处理器被配置为基于存储在存储器装置中的指令，执行上述任一个实施例中的模型的配置方法。
根据本公开的再一些实施例，提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的模型的配置方法。
根据本公开的再一些实施例，提供一种模型的配置系统，包括：上述任一个实施例中的模型的配置装置；终端，用于向配置装置上报终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，并根据配置装置根据配置装置下发的指示信息确定匹配的模型，并利用匹配的模型处理计算任务。
在上述实施例中，云端能够根据终端处理能力信息、可用的传输带宽、计算任务的类型等实际情况，动态地配置匹配的模型，并指示终端利用该模型处理任务。这样，能够根据实际情况平衡端侧处理能力和传输带宽需求，从而提高系统性能。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开：
图1示出本公开的模型的配置方法的一些实施例的流程图；
图2示出本公开的模型的配置系统的一些实施例的示意图；
图3示出本公开的模型的配置方法的一些实施例的示意图；
图4示出本公开的模型的配置装置的一些实施例的框图；
图5示出本公开的模型的配置的另一些实施例的框图；
图6示出本公开的模型的配置装置的又一些实施例的框图；
图7示出本公开的模型的配置系统的一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如前所述，终端侧处理任务后传输结果的方式对终端侧处理能力要求高；终端侧采集相关信息，云端测处理任务的方式对网络传输带宽有较高要求。
针对上述技术问题，本公开提出一种动态的编码器装置系统，可以根据终端能力，传输带宽和任务特性进行动态选择编码器模型的结构；通过预先协商约定编码器模型的结构参数，在收端和发端进行设定编码器和解码器。例如，可以通过如下的实施例实现本公开的救赎方案。
图1示出本公开的模型的配置方法的一些实施例的流程图。
如图1所示，在步骤110中，根据终端上报的终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，确定匹配的模型。
在一些实施例中，终端处理能力信息包括终端的运算能力、通信能力、功耗限制中的至少一项。
例如，终端处理能力等级，主要影响处理速度等。终端的运算能力，可以采用GPU(Graphics Processing Unit，图形处理器)的数量xGPU表示,其中x是一个正整数；通信能力，可以采用平均传输速率或峰值传输速率表示，比如5Mbps；功耗限制，取决于终端具有稳定供电还是通过电池供电(如手机)，如果是电池供电，电池能量一般是x Wh(瓦时，w是瓦、h是小时)，或是x Ah。
在一些实施例中，计算任务的类型包括分类任务、检测任务、分割任务、时间识别任务中的多项。例如，计算任务可以包括人脸识别，车牌识别，车辆检测等。
在一些实施例中，确定匹配的模型包括：根据终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，确定用于处理视觉任务的神经网络模型；根据计算任务的类型，确定用于对传输内容进行编码和译码的熵编码模型。
例如，收端(即云端)根据计算任务的类型，在编码器集合中选定神经网络模型，在熵编码器集合中选择熵编码器。
例如，编码器集合、熵编码器集合为终端端和云端事先约定的。
编码器集合可以如下：{VGG16(Visual Geometry Group Network，虚拟集合组网络)模型，VGG19模型，ResNet(残差网络)模型，DenseNet(密集网络)模型，Mobilenet模型...}。
在一些实施例中，编码器集合还可以包括：用于图像分类的神经网络，如LeNet、Alexnet、ZefNet、VGG、GoogleNet、ResNet、Inception、DenseNet等；用于检测的神经网络，如Fast-Rcnn，faster-RCNN，yolo等；用于分割的神经网络FCN、SegNet、空洞卷积、ENet、PSPNet、LSTM-CF、DeepMask等；用于动作识别的神经网络，LRCN(Long-term RecurrentConvolutional Networks for Visual Recognition and Description，长期循环卷积网络)、C3D(Learning Spatiotemporal Features with 3D Convolutional Networks)、TwoStream Fusion(Convolutional Two-Stream Network Fusion For Video ActionRecognition)等。
熵编码器集合可以如下：{香农(Shannon)编码，霍夫曼编码(Huffman coding)，算术编码(Arithmetic coding)，游程编码(RLE，run-length encoding)，基于上下文的自适应变长编码(CAVLC，Context Adaptive VariableLength Coding)，基于上下文的自适应二进制算术编码(CABAC，Context Based Adaptive Binary Arithmetic Coding)...}。
在一些实施例中，根据计算任务的类型，在模型数据库中确定候选模型；根据终端处理能力信息，确定候选模型的分割点；根据分割点，对候选模型进行分割，获取匹配的模型。
例如，候选模型包括按顺序排列的多个层，分割点用于指示多个层中的一个层。根据分割点，对候选模型进行分割，获取匹配的模型包括：将候选模型中排序在分割点之后的层删除，获取匹配的模型。
在一些实施例中，根据终端处理能力(如算力、通信能力、功耗限制)合理选择模型的分割点；反馈分割后的模型的指示信息给终端。
例如，发端网络模型可以对编码器集合中的神经网络模型进行分割，得到匹配的模型。可以为分割后的模型分配新的标识后加入编码器集合。
例如，根据终端处理能力确定VGG16为候选模型，并确定分割点为VGG16的第10层P3(如图3所示)；将VGG16的P3后面的层裁剪掉，得到分割后的网络模型作为匹配的模型；可以将该匹配的模型的标识配置为VGG16-top10后加入编码器集合。
在一些实施例中，将分割后的候选模型加入模型数据库。
在步骤120中，将匹配的模型的指示信息下发给终端，以便终端根据指示信息确定匹配的模型，并利用匹配的模型处理计算任务。
在一些实施例中，根据匹配的模型与模型标识之间的映射关系，将匹配的模型对应的模型标识发送给终端。
在一些实施例中，可以预先定义网络结构元素，或网络结构。指示信息用于指定选择的网络结构。例如，指示信息为预先协商定义的编码器结构与指示ID之间的映射关系：
在一些实施例中，收端根据任务类型，向发端(终端)反馈期望的网络结构集合以及权值。例如，如果发端接收到有多个收端的反馈，则根据当前的多项任务请求，从中确定适合的模型处理任务，并通知给收端进行确认。
在一些实施例中，终端侧设备根据云端侧设备所指示的编码器模型，对采集的视觉信号进行特征抽取并压缩编码。例如，还可以根据云端侧指示的熵编码器传输视频流信息，可用于云端侧重建视频。
在一些实施例中，接收终端的反馈信息，反馈信息根据终端利用匹配的模型处理计算任务的准确性确定；根据反馈信息更新匹配的模型的参数。
在一些实施例中，云端侧或边侧设备根据终端侧设备上报的能力等级、可用的传输带宽以及视觉任务的类型，进行编码器模型的选择；模型参数由云端侧通知给终端侧进行部署和更新。
例如，云端侧设备根据预先采集的视觉信号数据集，使用多种预先定义的编码器结构进行训练，得到各自对应的编码器模型参数。
例如，模型参数可以根据终端实际运行中的获取的任务准确性反馈信息进行模型更新。反馈信息，可以由人工校验获取或是由任务结果的下游系统反馈。
在一些实施例中，可以根据收端任务需要动态选择编码器模型，支持收端多任务类型，任务切换。
例如，交通路口的摄像机可以利用上述任一个实施例终进行行人闯红灯检测、车辆违规检测、车牌识别、驾驶员行为识别、车流统计等。
在一些实施例中，收端可以根据需要，动态地更新终端侧的编码模型。
相比传输原始视频流，利用上述任一个实施例动态选择地熵编码器，能够达到提高压缩比、节约传输带宽、支持多任务的目的。
图2示出本公开的模型的配置系统的一些实施例的示意图。
如图2所示，收端(即云计算服务器)根据计算任务的类型，在编码器集合中选定神经网络模型，在熵编码器集合中选择熵编码器。
例如，编码器集合、熵编码器集合为终端端和云端事先约定的。
编码器集合可以如下：{VGG16模型，VGG19模型，ResNet模型，DenseNet模型，Mobilenet模型...}。
熵编码器集合可以如下：{香农编码，霍夫曼编码，算术编码，游程编码，基于上下文的自适应变长编码(，基于上下文的自适应二进制算术编码...}。
根据终端处理能力(如算力、通信能力、功耗限制)合理选择模型的分割点；反馈分割后的模型的指示信息给终端。
图3示出本公开的模型的配置方法的一些实施例的示意图。
如图3所示，发端网络模型可以对编码器集合中的神经网络模型进行分割，得到匹配的模型。可以为分割后的模型分配新的标识后加入编码器集合。例如，可以将特征提取层作为分割点，即分割截面。
例如，根据终端处理能力确定VGG16为候选模型，并确定分割点为VGG16的第10层P3(图3中剪刀处)；将VGG16的P3后面的层裁剪掉，得到分割后的网络模型作为匹配的模型；可以将该匹配的模型的标识配置为VGG16-top10后加入编码器集合。
例如，终端处理能力等级，主要影响处理速度等。终端的运算能力，可以采用GPU的数量xGPU表示；通信能力，可以采用平均传输速率或峰值传输速率表示；功耗限制，取决于终端具有稳定供电还是通过电池供电(如手机)。
可以预先定义网络结构元素，或网络结构。指示信息用于指定选择的网络结构。例如，指示信息为预先协商定义的编码器结构与指示ID之间的映射关系：
在一些实施例中，收端根据任务类型，向发端(终端)反馈期望的网络结构集合以及权值。例如，如果发端接收到有多个收端的反馈，则根据当前的多项任务请求，从中确定适合的模型处理任务，并通知给收端进行确认。
在一些实施例中，终端侧设备根据云端侧设备所指示的编码器模型，对采集的视觉信号进行特征抽取并压缩编码。例如，还可以根据云端侧指示的熵编码器传输视频流信息，可用于云端侧重建视频。
在一些实施例中，云端侧或边侧设备根据终端侧设备上报的能力等级、可用的传输带宽以及视觉任务的类型，进行编码器模型的选择；模型参数由云端侧通知给终端侧进行部署和更新。
例如，云端侧设备根据预先采集的视觉信号数据集，使用多种预先定义的编码器结构进行训练，得到各自对应的编码器模型参数。
例如，模型参数可以根据终端实际运行中的获取的任务准确性反馈信息进行模型更新。反馈信息，可以由人工校验获取或是由任务结果的下游系统反馈。
图4示出本公开的模型的配置装置的一些实施例的框图。
如图4所示，模型的配置装置4包括动态确定单元41、发送单元42。
动态确定单元41根据终端上报的终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，确定匹配的模型；发送单元42将匹配的模型的指示信息下发给终端，以便终端根据指示信息确定匹配的模型，并利用匹配的模型处理计算任务。
在一些实施例中，动态确定单元41根据计算任务的类型，在模型数据库中确定候选模型；根据终端处理能力信息，确定候选模型的分割点；根据分割点，对候选模型进行分割，获取匹配的模型。
在一些实施例中，候选模型包括按顺序排列的多个层，分割点用于指示多个层中的一个层，动态确定单元41将候选模型中排序在分割点之后的层删除，获取匹配的模型。
在一些实施例中，模型的配置装置4还包括：更新单元43，用于将分割后的候选模型加入模型数据库。
在一些实施例中，动态确定单元41根据终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，确定用于处理视觉任务的神经网络模型；根据计算任务的类型，确定用于对传输内容进行编码和译码的熵编码模型。
在一些实施例中，发送单元42根据匹配的模型与模型标识之间的映射关系，将匹配的模型对应的模型标识发送给终端。
在一些实施例中，模型的配置装置4还包括：接收单元44，用于接收终端的反馈信息，反馈信息根据终端利用匹配的模型处理计算任务的准确性确定；更新单元43，用于根据反馈信息更新匹配的模型的参数。
在一些实施例中，终端处理能力信息包括终端的运算能力、通信能力、功耗限制中的至少一项，计算任务的类型包括分类任务、检测任务、分割任务、时间识别任务中的多项。
图5示出本公开的模型的配置的另一些实施例的框图。
如图5所示，该实施例的模型的配置装置5包括：存储器51以及耦接至该存储器51的处理器52，处理器52被配置为基于存储在存储器51中的指令，执行本公开中任意一个实施例中的模型的配置方法。
其中，存储器51例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序Boot Loader、数据库以及其他程序等。
图6示出本公开的模型的配置装置的又一些实施例的框图。
如图6所示，该实施例的模型的配置装置6包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的模型的配置方法。
存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序Boot Loader以及其他程序等。
模型的配置装置6还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏、麦克、音箱等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
图7示出本公开的模型的配置系统的一些实施例的框图。
如图7所示，模型的配置系统7包括：上述任一个实施例中的模型的配置装置71；终端72，用于向配置装置上报终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，并根据配置装置根据配置装置下发的指示信息确定匹配的模型，并利用匹配的模型处理计算任务。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的模型的配置方法、模型的配置装置、模型的配置系统和非易失性计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。
Claims (14)
1.一种模型的配置方法，包括：
根据终端上报的终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，确定匹配的模型；
将所述匹配的模型的指示信息下发给所述终端，以便所述终端根据所述指示信息确定所述匹配的模型，并利用所述匹配的模型处理所述计算任务。
2.根据权利要求1所述的配置方法，其中，所述确定匹配的模型包括：
根据所述计算任务的类型，在模型数据库中确定候选模型；
根据所述终端处理能力信息，确定所述候选模型的分割点；
根据所述分割点，对所述候选模型进行分割，获取所述匹配的模型。
3.根据权利要求2所述的配置方法，其中，所述候选模型包括按顺序排列的多个层，所述分割点用于指示所述多个层中的一个层，
所述根据所述分割点，对所述候选模型进行分割，获取所述匹配的模型包括：
将所述候选模型中排序在所述分割点之后的层删除，获取所述匹配的模型。
4.根据权利要求2所述的配置方法，还包括：
将分割后的所述候选模型加入所述模型数据库。
5.根据权利要求1所述的配置方法，其中，所述，所述确定匹配的模型包括：
根据所述终端处理能力信息、所述可用的传输带宽、所述计算任务的类型中的至少一项，确定用于处理视觉任务的神经网络模型；
根据所述计算任务的类型，确定用于对传输内容进行编码和译码的熵编码模型。
6.根据权利要求1所述的配置方法，其中，所述将所述匹配的模型的指示信息下发给所述终端包括：
根据所述匹配的模型与模型标识之间的映射关系，将所述匹配的模型对应的模型标识发送给所述终端。
7.根据权利要求1-6任一项所述的配置方法，还包括：
接收所述终端的反馈信息，所述反馈信息根据所述终端利用所述匹配的模型处理所述计算任务的准确性确定；
根据所述反馈信息更新所述匹配的模型的参数。
8.根据权利要求1-6任一项所述的配置方法，其中，所述终端处理能力信息包括终端的运算能力、通信能力、功耗限制中的至少一项，所述计算任务的类型包括分类任务、检测任务、分割任务、时间识别任务中的多项。
9.一种模型的配置装置，包括：
动态确定单元，用于根据终端上报的终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，确定匹配的模型；
发送单元，用于将所述匹配的模型的指示信息下发给所述终端，以便所述终端根据所述指示信息确定所述匹配的模型，并利用所述匹配的模型处理所述计算任务。
10.根据权利要求9所述的配置装置，还包括：
更新单元，用于将分割后的所述候选模型加入所述模型数据库。
11.根据权利要求9所述的配置装置，还包括：
接收单元，用于接收所述终端的反馈信息，所述反馈信息根据所述终端利用所述匹配的模型处理所述计算任务的准确性确定；
更新单元，用于根据所述反馈信息更新所述匹配的模型的参数。
12.一种模型的配置装置，包括：
存储器；和
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-8任一项所述的模型的配置方法。
13.一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-8任一项所述的模型的配置方法。
14.一种模型的配置系统，包括：
权利要求9～12任一项所述的模型的配置装置；
终端，用于向所述配置装置上报终端处理能力信息、可用的传输带宽、计算任务的类型中的至少一项，并根据所述配置装置根据所述配置装置下发的指示信息确定匹配的模型，并利用所述匹配的模型处理所述计算任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111347001.XA CN116156171A (zh) | 2021-11-15 | 2021-11-15 | 模型的配置方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111347001.XA CN116156171A (zh) | 2021-11-15 | 2021-11-15 | 模型的配置方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116156171A true CN116156171A (zh) | 2023-05-23 |
Family
ID=86372253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111347001.XA Pending CN116156171A (zh) | 2021-11-15 | 2021-11-15 | 模型的配置方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116156171A (zh) |
-
2021
- 2021-11-15 CN CN202111347001.XA patent/CN116156171A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109150949B (zh) | 监视控制系统、监视控制装置和监视控制方法 | |
| CN113168720A (zh) | 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 | |
| US11695943B2 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
| CN112565777B (zh) | 基于深度学习模型视频数据传输方法、系统、介质及设备 | |
| US20220224941A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
| US11418800B2 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
| CN110293818A (zh) | 车载空调控制方法和装置 | |
| US20220036595A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
| CN114930398A (zh) | 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置 | |
| CN116156171A (zh) | 模型的配置方法、装置和系统 | |
| US20230230286A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
| US20230007303A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
| US20230100085A1 (en) | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device | |
| Rahman et al. | Dynamic error-bounded lossy compression to reduce the bandwidth requirement for real-time vision-based pedestrian safety applications | |
| CN116824480A (zh) | 基于DeepStream的监控视频分析方法及系统 | |
| CN114374744B (zh) | 数据回传方法、装置、车载终端及云端服务器 | |
| CN113301654B (zh) | 基于半监督学习算法的无人机通信频段分配系统及方法 | |
| CN104462422A (zh) | 对象的处理方法及装置 | |
| CN114170545A (zh) | 一种数据处理方法、装置、存储介质及电子装置 | |
| CN112997192A (zh) | 一种手势识别方法、装置、终端设备及可读存储介质 | |
| CN114359857A (zh) | 上报信息的处理方法、装置和系统 | |
| CN114815902B (zh) | 一种无人机的监控方法、系统、服务器及存储介质 | |
| CN110868596A (zh) | 分布式编码方法、装置、电子设备及可读存储介质 | |
| CN116704296B (zh) | 一种图像处理方法、装置、系统、设备及计算机存储介质 | |
| CN204633815U (zh) | 一种车载物联网运营平台的中间件系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |