CN110851255A - 一种基于终端设备和边缘服务器协同进行视频流处理的方法 - Google Patents
一种基于终端设备和边缘服务器协同进行视频流处理的方法 Download PDFInfo
- Publication number
- CN110851255A CN110851255A CN201911080332.4A CN201911080332A CN110851255A CN 110851255 A CN110851255 A CN 110851255A CN 201911080332 A CN201911080332 A CN 201911080332A CN 110851255 A CN110851255 A CN 110851255A
- Authority
- CN
- China
- Prior art keywords
- data
- edge server
- terminal equipment
- task
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 39
- 230000005540 biological transmission Effects 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000013256 coordination polymer Substances 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/484—Precedence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开一种基于终端设备和边缘服务器协同进行视频流处理的方法，所述的视频流处理划分为数据预处理、深度神经网络推理和结果处理三个阶段，终端设备的计算任务分为数据预处理TP、数据传输TD_t、神经网络推理TI、结果接收TR_r和结果处理TF，边缘服务器的计算任务分为数据接收ED_r、深度神经网络推理EI，结果传输ER_t，所述的视频预处理采用流水化方式进行任务调度，终端设备按照任务优先级，根据空闲状态执行计算任务，边缘服务器也根据任务优先级的顺序执行；其中，终端设备承担任务的优先级从高到低排序为：TR_r>TD_t>TF>TP＝TI；边缘服务器承担任务的优先级从高到低排序为：ED_r>EI>ER_t。该方法在发挥边缘服务器强大算力的同时，提高了计算效率。
Description
技术领域
本发明涉及边缘计算和深度学习领域，具体涉及一种基于终端设备和边缘服务器协同进行视频流处理的方法。
背景技术
随着深度学习理论的发展，深度神经网络在众多领域得到了广泛的应用，特别是在图像处理领域，解决目标识别，图像分割等问题时可以获得不错的效果。但是深度神经网络通常计算量巨大，在进行视频流的连续处理时，普通终端设备往往面临计算能力不足的问题。云计算为解决算力不足的问题提供了一种思路，可以给云服务器配备高性能的CPU和GPU以提供强大的计算能力。但是云计算模式下，云服务器距离终端设备比较远，用于视频流处理的话会带来较高的数据传输开销，特别是在云服务器连接大量终端设备的情况下，数据传输会成为整个处理过程的瓶颈。
边缘计算针对云计算中终端距离所带来的数据传输开销，提出在靠近终端设备的地方设立边缘服务器，为终端设备提供强大的算力支撑。边缘计算的好处一方面在于边缘服务器靠近终端，缩短了数据传输距离，降低了传输开销；另一方面，边缘计算通过在一个云服务器服务范围内设立多个边缘服务器，缓解了云服务器的负载压力。但是，在边缘计算模式下，当大量终端设备连接边缘服务器时，边缘服务器也存在高通信负载和高计算负载的问题。
发明内容
针对现有技术的不足，本发明提供一种基于终端设备和边缘服务器协同进行视频流处理的方法，在发挥边缘服务器强大计算能力的同时，利用终端设备计算能力来降低数据传输量，优化数据传输开销，最终达到在单位时间内比终端计算和云计算模式处理更多视频帧的效果，提高计算效率。
本发明的目的通过如下技术方案来实现：
一种基于终端设备和边缘服务器协同进行视频流处理的方法，其特征在于，所述的视频流处理划分为数据预处理、深度神经网络推理和结果处理三个阶段，所述的终端设备的计算任务分为数据预处理TP、数据传输TD_t、神经网络推理TI、结果接收TR_r和结果处理TF，所述的边缘服务器的计算任务分为数据接收ED_r、深度神经网络推理EI，结果传输ER_t，所述的视频预处理采用流水化方式进行任务调度，终端设备按照任务优先级，根据空闲状态执行计算任务，边缘服务器也根据任务优先级的顺序执行；
其中，
终端设备承担任务的优先级从高到低排序为：TR_r>TD_t>TF>TP＝TI；
边缘服务器承担任务的优先级从高到低排序为：ED_r>EI>ER_t。
进一步地，终端设备在进行数据预处理过程中为降低待传输数据量对数据进行压缩的压缩比大于1。
进一步地，所述的采用流水化方式进行任务调度的具体步骤如下：
S1：终端设备首先对第1帧数据进行预处理，并将预处理后的第1帧数据发送给边缘服务器处理，边缘服务器接收预处理后的第1帧数据，所述的发送和接收同步进行；
边缘服务器接收到第1帧数据后，进入深度神经网络推理阶段，在边缘服务器进行第1帧数据推理的同时，终端设备进行第2～1+m数据帧的预处理，直到待处理数据队列满或有更高优先级的计算任务到来，当待处理数据队列已满且无更高优先级的计算任务到来时，进行第m+2帧数据的深度神经网络推理；当更高优先级的计算任务到来时，暂停当前任务，优先执行更高优先级的计算任务；其中m为终端设备的待处理队列的深度；
S3：边缘服务器完成第一帧数据的神经网络推理运算后，将计算结果发送给终端设备，然后按照优先级顺序执行任务；
S4：终端设备和边缘服务器按照S2-S3的规则协同计算直到完成全部计算任务。
本发明的有益效果如下：
1.利用边缘服务器强大计算能力，加速了采用深度学习算法的视频流处理过程中计算密集型任务的运算；
2.利用了终端设备的计算能力，减少了终端设备和边缘服务器间的传输数据量，降低了通信开销；
3.在端-边协同进行视频流处理时，在不同视频帧之间采用流水化任务调度，在利用边缘服务器算力的同时也充分利用终端设备的算力，达到单位时间内比传统云计算和终端计算模式处理更多视频帧的效果。
附图说明
图1为单帧图像计算任务划分以及不同计算模式对比示意图；
图2为端边协同模式下终端和边缘服务器计算流程示意图；
图3为端边协同模式下视频流计算任务流水化任务调度对比图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，采用深度学习算法对视频流进行处理时存在终端运算、云计算和本文提出的端-边协同等几种计算模式。
在终端计算模式下，整个计算任务可以划分为数据预处理阶段TP、神经网络推理阶段TI和结果处理阶段TF。由于终端设备计算能力有限，而神经网络推理任务是一种计算密集型任务，终端设备在这一阶段需要花费大量时间，进而在视频流处理时会出现延迟较高的情况。
在传统云计算模式下，整个计算任务可以分为云端部分和终端部分。终端T的计算任务可以分为数据传输阶段TD_t和结果接收阶段TR_r；云端C的计算任务可以分为数据接收阶段CD_r、数据预处理阶段CP、神经网络推理阶段CI、结果处理阶段CF和结果传输阶段CR_t。云计算模式下，引入了原始数据和计算结果的传输过程，虽然利用了云端服务器的强大算力，但是增加的通信开销也导致整体处理时间较长。同时，终端T也存在空闲阶段TV，导致了算力的闲置。
本发明提出的端-边协同的计算模式将整个计算任务分为终端部分和边缘端部分。终端T的计算任务可以分为数据预处理阶段TP、数据传输阶段TD_t、结果接收阶段TR_r和结果处理阶段TF，在等待边缘服务器计算结果的空闲时间，终端T也可以进行其他图像帧的计算任务处理。边缘端E的计算任务可以分为数据接收阶段ED_r、神经网络推理阶段EI和结果传输阶段ER_t。边缘端主要发挥高算力特性，处理计算密集型任务，为多个终端设备提供服务。
如图2所示，端-边协同的计算模式下，终端设备和边缘服务器的计算流程如下：
终端设备采集到的视频流以图像帧I_n的形式由终端设备进行数据预处理。数据预处理TP阶段的任务是将图像帧转换为符合深度神经网络输入的数据格式：记原始图像帧的尺寸为Width_origin×Height_origin，深度神经网络数据输入为Width_in×Height_in，具体的计算流程如下：
S1.1：所述的终端设备将输入的图像帧转换为符合深度神经网络输入的数据格式，即完成数据预处理TP后，将其存入终端设备的待处理数据队列TWQ；
S1.2：终端设备从待处理数据队列TWQ中读取数据后，优先进入数据传输TD_t阶段将数据发送给边缘服务器，连续发送Tn帧数据直到边缘服务器处于高计算负载状态，继续发送数据会加重边缘服务器负载；此时终端设备具有相对空闲的算力，新的数据帧进入终端设备的神经网络推理TI阶段进行运算，终端设备神经网路推理TI阶段的运算结果保存到终端设备的计算结果队列TRQ中；
S1.3：终端设备接收边缘服务器的运算结果，即执行结果接收TR_r，也保存到结果队列TRQ中；
S1.4：终端设备从计算结果队列TRQ中读取结果数据，并结合输入图像进行结果处理，即执行结果处理TF，最终将结果以图像帧R_n的形式输出。
对于边缘服务器，其计算流程如下：
S2.1：边缘服务器接收终端设备发来的计算任务，即执行数据接收ED_r，并将结果保存在待处理数据队列EWQ中；
S2.2：边缘服务器从数据队列EWQ中读取数据，执行边缘服务器神经网络推理EI，计算结果被保存到边缘端计算结果队列ERQ中；
S2.3：边缘服务器从结果队列ERQ中读取结果数据，发送给终端设备进行后续处理，即执行结果发送ER_t。
如图3所示，端边协同计算模式下，终端设备承担计算任务具有优先级，具体优先级从高到底排序如下：
TR_r>TD_t>TF>TP＝TI
端边协同计算模式下，计算任务流水化调度包括以下步骤：
S1.终端设备首先对第1帧数据进行预处理，处理过程记作TP_1；
S2.终端设备将预处理后的第1帧数据发送给边缘服务器处理，终端发送过程记作TD_t_1；边缘端接收过程记作ED_r_1；发送和接收同步进行；
S3.边缘服务器接收到第1帧待计算数据后，进入深度神经网络推理阶段，记作EI_1；在边缘服务器进行第1帧数据推理的同时，终端设备进行其他数据帧的预处理，直到待处理数据队列满或者有更高优先级的计算任务到来；图3以队列深度3为例，终端设备对第2、3、4帧数据进行数据预处理，记作TP_2,TP_3,TP4，并在待处理数据队列满后，进行第4帧数据的深度神经网络推理，记作TI_4；
S4.边缘服务器完成神经网络推理运算EI_1后，将计算结果发送给终端设备，发送过程记作ER_t_1；
S5.终端设备在执行计算任务TI_4过程中接收到更高优先级任务TR_r_1，即第1帧计算结果接收任务；终端中断TI_4的执行，执行TR_r_1；
S6.终端设备完成TR_r_1计算任务后，执行更高优先级任务TD_t_2发送第2帧数据给边缘服务器；同时边缘服务器执行接收数据任务ED_r_2；
S7.边缘服务器在完成接收任务ED_r_2后，执行第2帧数据的神经网络推理任务EI_2；在边缘服务器执行EI_2过程中，终端设备同步执行第1帧数据的结果处理任务TF_1；
S8.终端完成TF_1计算任务后继续执行之前中断的计算任务TI_4，直到有新的更高优先级任务到来；
S9.边缘端计算任务按照ED_r_n->EI_n->ER_t_n的顺序执行；终端按照任务优先级，根据空闲状态执行计算任务；二者协同计算直到完成全部计算任务。
如图3所示，采用流水化任务调度的端边协同计算模式与终端计算模式和云计算模式相比，优点在于：
G1.相比于终端运算，端边协同运算利用边缘服务器强大算力，加速了神经网络推理阶段的运算，图中EI阶段的运算时间小于TI阶段的运算时间；
G2.相比于云计算，端边协同利用终端算力，通过TP阶段数据预处理，压缩了传输数据量，降低了数据传输阶段TD_t需要的时间；
G3.端边协同的普遍优势在于同时利用了终端设备和边缘设备的算力，采用流水化任务调度，边缘服务器和终端设备都可以进行神经网络推理阶段运算TI和EI。
下面给出一个具体的实施例，该实施例为在端边协同模式下，采用深度神经网络中的SSD-Mobilenet模型进行视频流目标识别任务处理；本实施例采用树莓派4代作为终端设备，边缘服务器运行Ubuntu16.04操作系统，输入视频流尺寸为640×480×3，神经网络模型支持的输入数据格式为300×300×3，网络支持最高通信带宽为50Mbps。
在终端计算模式下，终端在各个阶段计算平均所需要的时间如下：
终端数据预处理时间t_T_TP＝4.22ms；
终端神经网络推理时间t_T_TI＝204.03ms；
终端结果处理时间t_T_TF＝2.21ms；
终端计算过程中平均每秒处理的视频帧数FPS_T＝4.75.
在云计算模式下，终端和云端在各个计算阶段所需要的时间如下：
终端数据传输时间t_C_TD＝云端数据接收时间t_C_CD＝148.7ms；
云端数据预处理时间t_C_CP＝0.54ms；
云端神经网络推理时间t_C_CI＝80.87ms；
云端结果处理时间t_C_CF＝1.21ms；
云端结果传输时间t_C_CR＝终端结果接收时间t_C_TR＝38.69ms；
云计算过程中平均每秒处理的视频帧数FPS_C＝3.70.
在端边协同计算模式下，终端和边缘端在各个计算阶段所需要的时间如下：
终端数据预处理时间t_E_TP＝4.35ms；
终端数据传输时间t_E_TD＝边缘端数据接收时间t_E_ED＝38.56ms；
边缘端神经网络推理时间t_E_EI＝80.68ms；
边缘端结果传输时间t_E_ER＝终端结果接收时间t_E_TR＝2.55ms；
终端结果处理时间t_E_TF＝2.02ms；
终端神经网络推理时间t_E_TI＝81.21ms；
端边协同计算模式下平均每秒处理视频帧数FPS_E＝8.22
本实施例中测试数据的分析结果表明：
C1.边缘计算和云计算模式下，服务器的高算力对于终端设备面临的计算密集型任务神经网络推理过程具有加速效果；但是也会带来数据传输开销，且数据传输受网络带宽影响，极端情况下会导致整体性能下降。本实施例中由于数据传输开销过大，导致云计算模式下整体性能相比与终端计算从4.75FPS下降到3.70FPS。
C2.端边协同的计算模式下，通过终端设备算力降低传输数据量可以节约数据传输开销。本实施例中，通过终端预处理TP阶段运算，单帧的数据传输量从640×480×3下降到300×300×3，数据量降低了3.41倍，传输时间从148.7ms降低到38.07ms。
C3.采用任务流水化调度的端边协同计算模式相比于终端计算模式具有显著的性能提升。在本实施例中，端边协同模式下平均每秒处理视频帧相比于终端计算模式从4.75提升到了8.22，具有1.73倍性能提升。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。
Claims (3)
1.一种基于终端设备和边缘服务器协同进行视频流处理的方法，其特征在于，所述的视频流处理划分为数据预处理、深度神经网络推理和结果处理三个阶段，所述的终端设备的计算任务分为数据预处理TP、数据传输TD_t、神经网络推理TI、结果接收TR_r和结果处理TF，所述的边缘服务器的计算任务分为数据接收ED_r、深度神经网络推理EI，结果传输ER_t，所述的视频预处理采用流水化方式进行任务调度，终端设备按照任务优先级，根据空闲状态执行计算任务，边缘服务器也根据任务优先级的顺序执行；
其中，
终端设备承担任务的优先级从高到低排序为：TR_r>TD_t>TF>TP＝TI；
边缘服务器承担任务的优先级从高到低排序为：ED_r>EI>ER_t。
2.根据权利要求1所述的基于终端设备和边缘服务器协同进行视频流处理的方法，其特征在于，终端设备在进行数据预处理过程中为降低待传输数据量对数据进行压缩的压缩比大于1。
3.根据权利要求1所述的基于终端设备和边缘服务器协同进行视频流处理的方法，其特征在于，所述的采用流水化方式进行任务调度的具体步骤如下：
S1：终端设备首先对第1帧数据进行预处理，并将预处理后的第1帧数据发送给边缘服务器处理，边缘服务器接收预处理后的第1帧数据，所述的发送和接收同步进行。
边缘服务器接收到第1帧数据后，进入深度神经网络推理阶段，在边缘服务器进行第1帧数据推理的同时，终端设备进行第2～1+m数据帧的预处理，直到待处理数据队列满或有更高优先级的计算任务到来，当待处理数据队列已满且无更高优先级的计算任务到来时，进行第m+2帧数据的深度神经网络推理；当更高优先级的计算任务到来时，暂停当前任务，优先执行更高优先级的计算任务；其中m为终端设备的待处理队列的深度；
S3：边缘服务器完成第一帧数据的神经网络推理运算后，将计算结果发送给终端设备，然后按照优先级顺序执行任务；
S4：终端设备和边缘服务器按照S2-S3的规则协同计算直到完成全部计算任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911080332.4A CN110851255B (zh) | 2019-11-07 | 2019-11-07 | 一种基于终端设备和边缘服务器协同进行视频流处理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911080332.4A CN110851255B (zh) | 2019-11-07 | 2019-11-07 | 一种基于终端设备和边缘服务器协同进行视频流处理的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110851255A true CN110851255A (zh) | 2020-02-28 |
| CN110851255B CN110851255B (zh) | 2022-04-15 |
Family
ID=69598647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911080332.4A Active CN110851255B (zh) | 2019-11-07 | 2019-11-07 | 一种基于终端设备和边缘服务器协同进行视频流处理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110851255B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139519A (zh) * | 2021-05-14 | 2021-07-20 | 陕西科技大学 | 一种基于全可编程片上系统的目标检测系统 |
| CN113497955A (zh) * | 2020-04-03 | 2021-10-12 | 杭州海康威视数字技术股份有限公司 | 一种视频处理系统 |
| US20220207783A1 (en) * | 2020-12-30 | 2022-06-30 | Advanced Micro Devices, Inc. | Real-time low latency computer vision/machine learning compute accelerator with smart convolutional neural network scheduler |
| CN116662283A (zh) * | 2023-07-28 | 2023-08-29 | 北京孔皆数智科技有限公司 | 一种端边协同的数据共享和计算方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020004838A1 (en) * | 2000-03-02 | 2002-01-10 | Rolf Hakenberg | Data transmission method and apparatus |
| US20060067592A1 (en) * | 2004-05-27 | 2006-03-30 | Walmsley Simon R | Configurable image processor |
| US20140324959A1 (en) * | 2011-11-21 | 2014-10-30 | Push Technology Limited | Time-sensitive data delivery |
| CN108255605A (zh) * | 2017-12-29 | 2018-07-06 | 北京邮电大学 | 一种基于神经网络的图像识别协同计算方法及系统 |
| WO2018130165A1 (zh) * | 2017-01-11 | 2018-07-19 | 杨立群 | 云计算移动终端及其工作方法 |
| CN110351336A (zh) * | 2019-06-10 | 2019-10-18 | 西安交通大学 | 一种基于docker容器的边缘服务迁移方法 |
| CN110399211A (zh) * | 2018-04-24 | 2019-11-01 | 北京中科寒武纪科技有限公司 | 机器学习的分配系统、方法及装置、计算机设备 |
-
2019
- 2019-11-07 CN CN201911080332.4A patent/CN110851255B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020004838A1 (en) * | 2000-03-02 | 2002-01-10 | Rolf Hakenberg | Data transmission method and apparatus |
| US20060067592A1 (en) * | 2004-05-27 | 2006-03-30 | Walmsley Simon R | Configurable image processor |
| US20140324959A1 (en) * | 2011-11-21 | 2014-10-30 | Push Technology Limited | Time-sensitive data delivery |
| WO2018130165A1 (zh) * | 2017-01-11 | 2018-07-19 | 杨立群 | 云计算移动终端及其工作方法 |
| CN108255605A (zh) * | 2017-12-29 | 2018-07-06 | 北京邮电大学 | 一种基于神经网络的图像识别协同计算方法及系统 |
| CN110399211A (zh) * | 2018-04-24 | 2019-11-01 | 北京中科寒武纪科技有限公司 | 机器学习的分配系统、方法及装置、计算机设备 |
| CN110351336A (zh) * | 2019-06-10 | 2019-10-18 | 西安交通大学 | 一种基于docker容器的边缘服务迁移方法 |
Non-Patent Citations (1)
| Title |
|---|
| 董思岐 等: "面向优先级用户的移动边缘计算任务调度策略", 《计算机应用研究》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113497955A (zh) * | 2020-04-03 | 2021-10-12 | 杭州海康威视数字技术股份有限公司 | 一种视频处理系统 |
| US20220207783A1 (en) * | 2020-12-30 | 2022-06-30 | Advanced Micro Devices, Inc. | Real-time low latency computer vision/machine learning compute accelerator with smart convolutional neural network scheduler |
| US11816871B2 (en) * | 2020-12-30 | 2023-11-14 | Advanced Micro Devices, Inc. | Real-time low latency computer vision/machine learning compute accelerator with smart convolutional neural network scheduler |
| CN113139519A (zh) * | 2021-05-14 | 2021-07-20 | 陕西科技大学 | 一种基于全可编程片上系统的目标检测系统 |
| CN113139519B (zh) * | 2021-05-14 | 2023-12-22 | 陕西科技大学 | 一种基于全可编程片上系统的目标检测系统 |
| CN116662283A (zh) * | 2023-07-28 | 2023-08-29 | 北京孔皆数智科技有限公司 | 一种端边协同的数据共享和计算方法 |
| CN116662283B (zh) * | 2023-07-28 | 2023-12-12 | 北京孔皆数智科技有限公司 | 一种端边协同的数据共享和计算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110851255B (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110851255B (zh) | 一种基于终端设备和边缘服务器协同进行视频流处理的方法 | |
| Hu et al. | Dynamic adaptive DNN surgery for inference acceleration on the edge | |
| CN110765880B (zh) | 一种轻量级视频行人重识别方法 | |
| CN110795235B (zh) | 一种移动web深度学习协作的方法及系统 | |
| CN116260990B (zh) | 一种多路视频流的ai异步检测并实时渲染方法及系统 | |
| CN115345968B (zh) | 虚拟对象驱动方法、深度学习网络的训练方法及装置 | |
| CN111709582A (zh) | 一种无人机边缘计算资源动态优化方法、系统及存储介质 | |
| CN115130649A (zh) | 一种面向流水线分布式端云协同推理的深度学习模型划分方法和装置 | |
| EP4311202A1 (en) | End-edge-cloud coordination system and method based on digital retina, and device | |
| CN106611043B (zh) | 一种视频搜索方法及系统 | |
| CN103503462A (zh) | 实时转码方法及设备 | |
| Lu et al. | Dynamic offloading on a hybrid edge–cloud architecture for multiobject tracking | |
| CN112672211A (zh) | 一种智慧监控场景下负反馈码流解码方法 | |
| CN109995965A (zh) | 一种基于fpga的超高分辨率视频图像实时校准方法 | |
| CN113794756B (zh) | 一种支持移动设备的多视频流卸载方法及系统 | |
| CN113014745B (zh) | 视频图像降噪方法及装置、存储介质及电子设备 | |
| CN115002541A (zh) | 一种降低客户端云串流渲染的系统 | |
| CN113453010B (zh) | 一种基于高性能并发视频实时处理框架的处理方法 | |
| CN116996695B (zh) | 一种全景图像压缩方法、装置、设备及介质 | |
| CN115240106B (zh) | 任务自适应的小样本行为识别方法及系统 | |
| CN118138801B (zh) | 视频数据处理方法、装置、电子设备及存储介质 | |
| CN106507131B (zh) | 一种超高清视频编码的自适应云卸载方法 | |
| CN116170638B (zh) | 用于在线动作检测任务的自注意力视频流压缩方法及系统 | |
| CN111104553B (zh) | 一种高效运动互补神经网络系统 | |
| CN111368732B (zh) | 用于检测车道线的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |