CN107291530B - 一种数据处理方法和装置 - Google Patents

一种数据处理方法和装置 Download PDF

Info

Publication number
CN107291530B
CN107291530B CN201610204321.2A CN201610204321A CN107291530B CN 107291530 B CN107291530 B CN 107291530B CN 201610204321 A CN201610204321 A CN 201610204321A CN 107291530 B CN107291530 B CN 107291530B
Authority
CN
China
Prior art keywords
data
resolution
processed
instruction
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610204321.2A
Other languages
English (en)
Other versions
CN107291530A (zh
Inventor
周明耀
浦世亮
闫春
王志杰
谢忠贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610204321.2A priority Critical patent/CN107291530B/zh
Publication of CN107291530A publication Critical patent/CN107291530A/zh
Application granted granted Critical
Publication of CN107291530B publication Critical patent/CN107291530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9047—Buffering arrangements including multiple buffers, e.g. buffer pools

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种数据处理方法和装置，该方案包括：首先接收数据发送端发送的携带待处理数据的数据属性信息的数据处理指令；然后根据该数据属性信息以及预设的该数据处理系统的当前最大处理数据量，计算该数据处理系统的当前最大接收数据量；根据该当前最大接收数据量，向该数据发送端发送数据确定指令，以使该数据发送端根据该数据确定指令，向该数据处理系统发送该数据处理指令所对应的部分待处理数据或全部待处理数据；在该缓存池中缓存该数据处理指令所对应的部分数据内容或全部数据内容。应用本发明实施例可以实时地动态调整该可缓存的数据量，提高数据处理系统的资源利用率以及稳定性。

Description

一种数据处理方法和装置
技术领域
本发明涉及智能分析技术领域，特别涉及一种数据处理方法和装置。
背景技术
随着信息时代的飞速发展，智能时代的来临，各种数据处理系统层出不同，一般的数据处理系统的设计方式，是将超过该数据处理系统处理能力外的数据存储在数据发送端，以实现数据流控，即在某一时间内，该数据处理系统能够处理1000个数据，而数据发送端需发送10000个，那该数据处理系统只会接收1000个数据，其余9000个数据需存储于该数据发送端，以达到数据控流的效果，这种设计方式使得该数据处理系统的数据处理的缺乏实时性与友好性。
而为了提高数据处理系统的数据处理的实时性与友好性，该数据处理系统开启缓存数据机制，但当该缓存数据机制开启后，不管该数据处理系统所实际接收的数据的数量以及质量，该为缓存数据预留的空间以及占用资源不会改变，当所接收数据数量非常少时，会使该数据处理系统的资源造成浪费；当所接收数据的数量非常多时，会使得数据处理系统的处理压力增大，使数据处理系统的稳定性降低。
那么如何解决提高数据处理系统的资源利用率以及稳定性的问题亟待解决。
发明内容
本发明实施例公开了一种数据处理方法和装置，可以提高数据处理系统的资源利用率以及稳定性。具体方案如下：
一方面，本发明实施例提供了一种数据处理方法，应用于数据处理系统，所述数据处理系统预设缓存池，所述方法包括：
接收数据发送端发送的数据处理指令，所述数据处理指令携带待处理数据的数据属性信息；
根据所述数据属性信息以及预设的所述数据处理系统的当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量；
根据所述当前最大接收数据量，向所述数据发送端发送数据确定指令，以使所述数据发送端接收所述数据确定指令后，根据所述数据确定指令，向所述数据处理系统发送所述数据处理指令所对应的部分待处理数据或全部待处理数据；
在所述缓存池中缓存所述数据处理指令所对应的部分数据内容或全部数据内容。
可选的，当所述数据属性信息表明所述待处理数据为至少一张图片时，所述数据属性信息还包括：作为待处理数据的各图片的分辨率以及各分辨率所对应的图片的数量。
可选的，所述根据所述数据属性信息以及预设的所述数据处理系统的当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量，包括：
根据第一预设计算规则、作为待处理数据的各图片的分辨率和各分辨率所对应的图片的数量，确定所述待处理数据的平均分辨率；
利用第二预设计算规则、所述平均分辨率和所述当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量；其中，所述第二预设计算规则为：
所述当前最大接收数据量＝所述当前最大处理数据量*第一预设数值*(预设恒定分辨率/所述平均分辨率)；
其中，所述第一预设阈值的取值范围为(0，1)。
可选的，所述根据第一预设计算规则、作为待处理数据的各图片的分辨率和各分辨率所对应的图片的数量，确定所述待处理数据的平均分辨率，包括：
根据所述各图片的分辨率以及所述各分辨率所对应的图片的数量，确定中间分辨率；
以所确定的中间分辨率为基准，确定所述各分辨率所对应的权重数值；
根据所述权重数值与所述各分辨率所对应的图片的数量，确定所述待处理数据的平均权重数值，其中，所利用公式为：
其中，所述为平均权重数值，所述Bi为所述分辨率i所对应的图片的数量，所述di为所述分辨率i所对应的图片对应的权重数值，所述N为各分辨率所对应的图片的数量之和；
将与所述平均权重数值最接近的权重数值所对应的分辨率确定为平均分辨率。
可选的，所述根据所述当前最大接收数据量，向所述数据发送端发送数据确定指令，包括：
当所述当前最大接收数据量大于等于所述数据处理指令所对应的数据量时，向所述数据发送端发送数据确定指令，其中，所述数据确定指令携带所述数据处理指令所对应的全部待处理数据的数据属性信息；
当所述当前最大接收数据量小于所述数据处理指令所对应的数据量时，向所述数据发送端发送数据确定指令，其中，所述数据确定指令携带所述数据处理指令所对应的部分待处理数据的数据属性信息；
其中，所述数据处理指令所对应的数据量为所述各分辨率所对应的图片的数量之和。
可选的，所述在所述缓存池中缓存所述数据处理指令所对应的部分待处理数据或全部待处理数据，包括：
通过预设接口方式在所述缓存池中缓存所述数据处理指令所对应的部分待处理数据或全部待处理数据，其中，所述预设接口方式至少包括：根据所述数据发送端的优先级，预设缓存所述部分待处理数据或全部待处理数据的顺序。
另一方面，本发明实施例还提供了一种数据处理装置，应用于数据处理系统，所述数据处理系统预设缓存池，所述装置包括：数据处理指令接收模块、当前最大接收数据量计算模块、数据确定指令发送模块和数据缓存模块；
所述数据处理指令接收模块：用于接收数据发送端发送的数据处理指令，所述数据处理指令携带待处理数据的数据属性信息；
所述当前最大接收数据量计算模块：用于根据所述数据属性信息以及预设的所述数据处理系统的当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量；
所述数据确定指令发送模块：用于根据所述当前最大接收数据量，向所述数据发送端发送数据确定指令，以使所述数据发送端接收所述数据确定指令后，根据所述数据确定指令，向所述数据处理系统发送所述数据处理指令所对应的部分待处理数据或全部待处理数据；
所述数据缓存模块：用于在所述缓存池中缓存所述数据处理指令所对应的部分数据内容或全部数据内容。
可选的，当所述数据属性信息表明所述待处理数据为至少一张图片时，所述数据属性信息还包括：作为待处理数据的各图片的分辨率以及各分辨率所对应的图片的数量。
可选的，所述当前最大接收数据量计算模块，包括平均分辨率确定子模块和当前最大接收数据量计算子模块；
所述平均分辨率确定子模块：用于根据第一预设计算规则、作为待处理数据的各图片的分辨率和各分辨率所对应的图片的数量，确定所述待处理数据的平均分辨率；
所述当前最大接收数据量计算子模块：用于利用第二预设计算规则、所述平均分辨率和所述当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量；其中，所述第二预设计算规则为：
所述当前最大接收数据量＝所述当前最大处理数据量*第一预设数值*(预设恒定分辨率/所述平均分辨率)；
其中，所述第一预设阈值的取值范围为(0，1)。
可选的，所述平均分辨率确定子模块包括：中间分辨率确定单元、权重数值确定单元、平均权重数值确定单元和平均分辨率确定单元；
所述中间分辨率确定单元：用于根据所述各图片的分辨率以及所述各分辨率所对应的图片的数量，确定中间分辨率；
所述权重数值确定单元：用于以所确定的中间分辨率为基准，确定所述各分辨率所对应的权重数值；
所述平均权重数值确定单元：用于根据所述权重数值与所述各分辨率所对应的图片的数量，确定所述待处理数据的平均权重数值，其中，所利用公式为：
其中，所述为平均权重数值，所述Bi为所述分辨率i所对应的图片的数量，所述di为所述分辨率i所对应的图片对应的权重数值，所述N为各分辨率所对应的图片的数量之和；
所述平均分辨率确定单元：用于将与所述平均权重数值最接近的权重数值所对应的分辨率确定为平均分辨率。
可选的，所述数据确定指令发送模块包括第一指令发送子模块和第二指令发送子模块；
所述第一指令发送子模块：用于当所述当前最大接收数据量大于等于所述数据处理指令所对应的数据量时，向所述数据发送端发送数据确定指令，其中，所述数据确定指令携带所述数据处理指令所对应的全部待处理数据的数据属性信息；
所述第二指令发送子模块：用于当所述当前最大接收数据量小于所述数据处理指令所对应的数据量时，向所述数据发送端发送数据确定指令，其中，所述数据确定指令携带所述数据处理指令所对应的部分待处理数据的数据属性信息；
其中，所述数据处理指令所对应的数据量为所述各分辨率所对应的图片的数量之和。
可选的，所述数据缓存模块，具体用于：
通过预设接口方式在所述缓存池中缓存所述数据处理指令所对应的部分待处理数据或全部待处理数据，其中，所述预设接口方式至少包括：根据所述数据发送端的优先级，预设缓存所述部分待处理数据或全部待处理数据的顺序。
在本方案中，首先接收数据发送端发送的携带待处理数据的数据属性信息的数据处理指令；然后根据该数据属性信息以及预设的该数据处理系统的当前最大处理数据量，计算该数据处理系统的当前最大接收数据量；根据该当前最大接收数据量，向该数据发送端发送数据确定指令，以使该数据发送端接收该数据确定指令后，根据该数据确定指令，向该数据处理系统发送该数据处理指令所对应的部分待处理数据或全部待处理数据；在该缓存池中缓存该数据处理指令所对应的部分数据内容或全部数据内容。可以实时地动态调整该可缓存的数据量，可以提高数据处理系统的资源利用率以及稳定性。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的流程示意图；
图2为本发明实施例提供的一种数据处理方法的另一流程示意图；
图3为本发明实施例提供的一种数据处理装置的结构示意图；
图4为本发明实施例提供的一种数据处理装置的另一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种数据处理方法和装置，可以提高数据处理系统的资源利用率以及稳定性。
下面首先对本发明实施例所提供的一种数据处理方法进行介绍。
需要说明的是，本发明实施例所提供的一种数据处理方法，可以应用于数据处理系统中，该数据处理系统在实际应用中可以是数据分析系统，当然，凡是可以对数据进行处理且需要预先缓存数据的数据处理系统都可以应用本发明实施例所提供的数据处理方法。其中，该数据处理系统中预设缓存池，该缓存池用来缓存待处理数据，理论上，该缓存池可以为一个或多个。
如图1所示，本发明实施例提供了一种数据处理方法，可以包括步骤：
S101：接收数据发送端发送的数据处理指令，该数据处理指令携带待处理数据的数据属性信息；
可以理解的是，当数据发送端有数据处理的需求时，会向该数据处理系统发送数据处理指令，该数据处理系统接收该数据处理指令后，会根据该数据处理指令携带的待处理数据的数据属性信息，进行后续的数据处理流程。其中，该发送数据处理指令的数据发送端可以有一个或者多个。对于该待处理数据来说，该待处理数据可以是视频，可以是图片，也可以是音频，等等，本发明实施例并不对该待处理数据的数据类型进行限定，当然，当该待处理数据为视频时，与该视频的大小直接关联的是该视频的码流与视频持续时长，此时该数据属性信息就可以包括该视频的码流与视频持续时长，等等，这都是可以的。
具体的，当该数据属性信息表明该待处理数据为至少一张图片时，该数据属性信息还可以包括：作为待处理数据的各图片的分辨率以及各分辨率所对应的图片的数量。
需要说明的是，当该数据处理指令所携带的待处理数据为至少一张图片时，由于图片的分辨率直接关联该图片的大小，而待处理数据的大小直接关联该数据处理系统在处理该数据时的处理压力负担，因此，当该待处理数据为至少一张图片时，该数据属性信息还可以包括该至少一张图片所对应的分辨率，以及各分辨率所对应的图片的数量，以便对该至少一张图片进行统筹管理，便于后续的数据处理流程。
S102：根据该数据属性信息以及预设的该数据处理系统的当前最大处理数据量，计算该数据处理系统的当前最大接收数据量；
其中，该数据处理系统的当前最大处理数据量可以是根据该数据处理系统的硬件配置与软件配置等因素预先设定，当然，也可以是根据该数据处理系统的硬件配置、软件配置、工作状态以及所需处理的数据的数据类型等进行预先设定，这都是合理的。由于该数据处理系统的工作状态等会影响到该最大处理数据量，因此，该最大处理数据量可以实时或定期地进行调整。
进一步的，对于该数据处理系统来说，其所处理的数据的数据类型不同，在根据该接收到的数据属性信息以及该预设的当前最大处理数据量，计算该当前最大接收数据量时，该计算当前最大接收数据量的具体实现方式也会是不同的，此时，可以根据实际情况确定。
具体的，当该数据属性信息表明该待处理数据为至少一张图片时，所述根据该数据属性信息以及预设的该数据处理系统的当前最大处理数据量，计算该数据处理系统的当前最大接收数据量，可以包括：
根据第一预设计算规则、作为待处理数据的各图片的分辨率和各分辨率所对应的图片的数量，确定该待处理数据的平均分辨率；
利用第二预设计算规则、该平均分辨率和该当前最大处理数据量，计算该数据处理系统的当前最大接收数据量；
其中，该第二预设计算规则为：
该当前最大接收数据量＝该当前最大处理数据量*第一预设数值*(预设恒定分辨率/该平均分辨率)；
其中，该第一预设阈值的取值范围为(0，1)。
可以理解的是，在需处理的数据的数据量非常大的情况下，为了保证该数据处理系统处理数据的效率，该数据处理系统会尽量在单位时间内处理其可以处理的最大数据量，当然，前提是保证该数据处理系统处于能够负载的状况下，因为如果将过多的处理任务附加给该数据处理系统，该处理服务器会很容易瘫痪。此时，为了保证该数据处理系统的处于正常且高效的工作状态，可以根据该最大处理数据量以及实际要处理的数据的数据类型、大小，确定最大接收数据量。
由于可能需处理的数据的数据量会非常大，考虑每个数据的属性会非常浪费时间，此时，可以从数据的整体进行考虑。当该数据属性信息表明该待处理数据为至少一张图片时，可以先计算出该待处理数据的平均分辨率，然后再结合该当前最大处理数据量，计算该当前最大接收数据量，由于该数据处理系统中预设缓存池，该缓存池可以根据计算所得的该当前最大接收数据量进行动态调整。
当然，在该数据属性信息表明该待处理数据为至少一张图片时，实际应用中，为了提高该数据处理系统的友好性，该预设的最大处理数据量的确定，在依赖该数据处理系统的自身的属性的同时，还会依据图片的属性，此时会预设一个预设恒定分辨率，根据该预设恒定分辨率以及该数据处理系统的自身的属性，预设最大处理数据量，同时，为了保证该数据处理系统的正常工作，要适当限制该当前最大接收数据量和当前最大处理数据量的差距，因此会设置一个属于0～1的第一预设数值。
举例而言，已确定该待处理数据的平均分辨率为900*700，预设恒定分辨率为1080*768，最大处理数据量为8000张，第一预设数值为0.9；则该前最大接收数据量＝8000*0.9*(1080*768/900*700)。
具体的，如图2所示，提供了一种计算图片平均分辨率的实现方式，所述根据第一预设计算规则、作为待处理数据的各图片的分辨率和各分辨率所对应的图片的数量，确定该待处理数据的平均分辨率，可以包括步骤：
S201：根据该各图片的分辨率以及该各分辨率所对应的图片的数量，确定中间分辨率；
S202：以所确定的中间分辨率为基准，确定该各分辨率所对应的权重数值；
S203：根据该权重数值与该各分辨率所对应的图片的数量，确定该待处理数据的平均权重数值，
其中，所利用公式可以为：
其中，该为平均权重数值，该Bi为该分辨率i所对应的图片的数量，该di为该分辨率i所对应的图片对应的权重数值，该N为各分辨率所对应的图片的数量之和；
S204：将与该平均权重数值最接近的权重数值所对应的分辨率确定为平均分辨率。
需要说明的是，可以通过设定权重数值的方式确定该至少一张图片的平均分辨率，确定权重数值时，可以首先确定该至少一张图片的中间分辨率确定，该中间分辨率的确定可以采用现有技术，在此不作赘述。其中，在设定权重数值时，可以根据各分辨率与该确定的中间分辨率的对比结果确定，例如该待处理数据的数据属性信息表明有图片信息：分辨率为1300*1080，有900张；分辨率为900*700，有700张；分辨率为1080*768，有500张；分辨率为500*300，有600张；此时，可以确定该中间分辨率为1080*768；设置该1080*768对应的权重为1，采用现有技术可确定，该分辨率1300*1080约为分辨率1080*768的1.1倍，该分辨率900*700约为分辨率1080*768的0.9，该分辨率500*300约为分辨率1080*768的0.7；
该结果约等于1，则该平均权重数值约为1，则确定的该平均分辨率为权重数值为1的分辨率1080*768。
S103：根据该当前最大接收数据量，向该数据发送端发送数据确定指令；
可以理解的是，向该数据发送端发送数据确定指令，其中，该数据确定指令根据该当前最大接收数据量发送，该当前最大接收数据量对应的数据可以是该数据处理指令所对应的部分待处理数据，也可以是该数据处理指令所对应的全部待处理数据，以使该数据发送端接收该数据确定指令后，根据该数据确定指令，向该数据处理系统发送该数据处理指令所对应的部分待处理数据或全部待处理数据；
具体的，为了保证该数据处理系统的稳定性，在待处理数据的数据量非常大的情况下，如该待处理数据的数据量大于该当前最大接收数据量，此时，如果全部接收该数据，该处理压力会超过该数据处理系统所能承担的能力，此时，需要限制该数据处理系统接收的数据量，当该待处理数据的数据量小于或等于该当前最大接收数据量时，由于该数据处理系统完全可以处理该数据，此时，会完成接收该待处理数据，所述根据该当前最大接收数据量，向该数据发送端发送数据确定指令，可以包括：
当该当前最大接收数据量大于等于该数据处理指令所对应的数据量时，向该数据发送端发送数据确定指令，其中，该数据确定指令携带该数据处理指令所对应的全部待处理数据的数据属性信息；
当该当前最大接收数据量小于该数据处理指令所对应的数据量时，向该数据发送端发送数据确定指令，其中，该数据确定指令携带该数据处理指令所对应的部分待处理数据的数据属性信息；
其中，该数据处理指令所对应的数据量为该各分辨率所对应的图片的数量之和。
S104：在该缓存池中缓存该数据处理指令所对应的部分数据内容或全部数据内容。
在实际中，该数据处理系统可以同时接收一个或者同时接收多个数据发送端发送的待处理数据。当该数据发送端存在多个时，为了避免冲突，可以根据预先设置针对该数据发送端的优先级，缓存数据，优先缓存优先级高的数据发送端的数据，如果该优先级高的数据发送端发送的数据小于该当前最大接收数据量，该数据处理系统还可以接收其他数据发送端发送的数据。具体的，所述在该缓存池中缓存该数据处理指令所对应的部分待处理数据或全部待处理数据，可以包括：
通过预设接口方式在该缓存池中缓存所述数据处理指令所对应的部分待处理数据或全部待处理数据，其中，该预设接口方式至少包括：根据该数据发送端的优先级，预设缓存该部分待处理数据或全部待处理数据的顺序。
应用本发明实施例，首先接收数据发送端发送的携带待处理数据的数据属性信息的数据处理指令；然后根据该数据属性信息以及预设的该数据处理系统的当前最大处理数据量，计算该数据处理系统的当前最大接收数据量；根据该当前最大接收数据量，向该数据发送端发送数据确定指令，以使该数据发送端接收该数据确定指令后，根据该数据确定指令，向该数据处理系统发送该数据处理指令所对应的部分待处理数据或全部待处理数据；在该缓存池中缓存该数据处理指令所对应的部分数据内容或全部数据内容。可以实时地动态调整该可缓存的数据量，可以提高数据处理系统的资源利用率以及稳定性。
相应于上述方法实施例，本发明实施例还提供了一种数据处理装置，可以应用于数据处理系统，所述数据处理系统预设缓存池，所述装置可以包括：数据处理指令接收模块301、当前最大接收数据量计算模块302、数据确定指令发送模块303和数据缓存模块304；
所述数据处理指令接收模块301：用于接收数据发送端发送的数据处理指令，所述数据处理指令携带待处理数据的数据属性信息；
所述当前最大接收数据量计算模块302：用于根据所述数据属性信息以及预设的所述数据处理系统的当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量；
所述数据确定指令发送模块303：用于根据所述当前最大接收数据量，向所述数据发送端发送数据确定指令，以使所述数据发送端接收所述数据确定指令后，根据所述数据确定指令，向所述数据处理系统发送所述数据处理指令所对应的部分待处理数据或全部待处理数据；
所述数据缓存模块304：用于在所述缓存池中缓存所述数据处理指令所对应的部分数据内容或全部数据内容。
应用本发明实施例，首先接收数据发送端发送的携带待处理数据的数据属性信息的数据处理指令；然后根据该数据属性信息以及预设的该数据处理系统的当前最大处理数据量，计算该数据处理系统的当前最大接收数据量；根据该当前最大接收数据量，向该数据发送端发送数据确定指令，以使该数据发送端接收该数据确定指令后，根据该数据确定指令，向该数据处理系统发送该数据处理指令所对应的部分待处理数据或全部待处理数据；在该缓存池中缓存该数据处理指令所对应的部分数据内容或全部数据内容。可以实时地动态调整该可缓存的数据量，可以提高数据处理系统的资源利用率以及稳定性。
具体的，当所述数据属性信息表明所述待处理数据为至少一张图片时，所述数据属性信息还可以包括：作为待处理数据的各图片的分辨率以及各分辨率所对应的图片的数量。
具体的，所述当前最大接收数据量计算模块302，可以包括平均分辨率确定子模块3021和当前最大接收数据量计算子模块3022；
所述平均分辨率确定子模块3021：用于根据第一预设计算规则、作为待处理数据的各图片的分辨率和各分辨率所对应的图片的数量，确定所述待处理数据的平均分辨率；
所述当前最大接收数据量计算子模块3022：用于利用第二预设计算规则、所述平均分辨率和所述当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量；其中，所述第二预设计算规则为：
所述当前最大接收数据量＝所述当前最大处理数据量*第一预设数值*(预设恒定分辨率/所述平均分辨率)；
其中，所述第一预设阈值的取值范围为(0，1)。
具体的，如图4所示，所述平均分辨率确定子模块3021可以包括：中间分辨率确定单元401、权重数值确定单元402、平均权重数值确定单元403和平均分辨率确定单元404；
所述中间分辨率确定单元401：用于根据所述各图片的分辨率以及所述各分辨率所对应的图片的数量，确定中间分辨率；
所述权重数值确定单元402：用于以所确定的中间分辨率为基准，确定所述各分辨率所对应的权重数值；
所述平均权重数值确定单元403：用于根据所述权重数值与所述各分辨率所对应的图片的数量，确定所述待处理数据的平均权重数值，
其中，所利用公式可以为：
其中，所述为平均权重数值，所述Bi为所述分辨率i所对应的图片的数量，所述di为所述分辨率i所对应的图片对应的权重数值，所述N为各分辨率所对应的图片的数量之和；
所述平均分辨率确定单元404：用于将与所述平均权重数值最接近的权重数值所对应的分辨率确定为平均分辨率。
具体的，所述数据确定指令发送模块303可以包括第一指令发送子模块3031和第二指令发送子模块3032；
所述第一指令发送子模块3031：用于当所述当前最大接收数据量大于等于所述数据处理指令所对应的数据量时，向所述数据发送端发送数据确定指令，其中，所述数据确定指令携带所述数据处理指令所对应的全部待处理数据的数据属性信息；
所述第二指令发送子模块3032：用于当所述当前最大接收数据量小于所述数据处理指令所对应的数据量时，向所述数据发送端发送数据确定指令，其中，所述数据确定指令携带所述数据处理指令所对应的部分待处理数据的数据属性信息；
其中，所述数据处理指令所对应的数据量为所述各分辨率所对应的图片的数量之和。
具体的，所述数据缓存模块304，具体用于：
通过预设接口方式在所述缓存池中缓存所述数据处理指令所对应的部分待处理数据或全部待处理数据，其中，所述预设接口方式至少包括：根据所述数据发送端的优先级，预设缓存所述部分待处理数据或全部待处理数据的顺序。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统预设缓存池，所述方法包括：
接收数据发送端发送的数据处理指令，所述数据处理指令携带待处理数据的数据属性信息，当所述数据属性信息表明所述待处理数据为多张图片时，所述数据属性信息包括：作为待处理数据的各图片的分辨率以及各分辨率所对应的图片的数量；
根据第一预设计算规则、作为待处理数据的各图片的分辨率和各分辨率所对应的图片的数量，确定所述各图片的平均分辨率；
利用第二预设计算规则、所述平均分辨率和当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量，所述第二预设计算规则中所述当前最大接收数据量与所述平均分辨率负相关，并且与所述当前最大处理数据量正相关；
根据所述当前最大接收数据量，向所述数据发送端发送数据确定指令，以使所述数据发送端接收所述数据确定指令后，根据所述数据确定指令，向所述数据处理系统发送所述数据处理指令所对应的部分待处理数据或全部待处理数据；
在所述缓存池中缓存所述数据处理指令所对应的部分待处理数据或全部待处理数据。
2.根据权利要求1所述的方法，其特征在于，所述第二预设计算规则为：
所述当前最大接收数据量＝所述当前最大处理数据量*第一预设数值*(预设恒定分辨率/所述平均分辨率)；
其中，所述第一预设数值的取值范围为(0，1)。
3.根据权利要求1所述的方法，其特征在于，所述根据第一预设计算规则、作为待处理数据的各图片的分辨率和各分辨率所对应的图片的数量，确定所述待处理数据的平均分辨率，包括：
根据所述各图片的分辨率以及所述各分辨率所对应的图片的数量，确定中间分辨率；
以所确定的中间分辨率为基准，确定所述各分辨率所对应的权重数值；
根据所述权重数值与所述各分辨率所对应的图片的数量，确定所述待处理数据的平均权重数值，其中，所利用公式为：
其中，所述为平均权重数值，所述Bi为所述各分辨率中第i个分辨率所对应的图片的数量，所述di为所述各分辨率中第i个分辨率所对应的图片对应的权重数值，所述N为各分辨率所对应的图片的数量之和，所述N’为所述各分辨率中分辨率的数目；
将与所述平均权重数值最接近的权重数值所对应的分辨率确定为平均分辨率。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述当前最大接收数据量，向所述数据发送端发送数据确定指令，包括：
当所述当前最大接收数据量大于等于所述数据处理指令所对应的数据量时，向所述数据发送端发送数据确定指令，其中，所述数据确定指令携带所述数据处理指令所对应的全部待处理数据的数据属性信息；
当所述当前最大接收数据量小于所述数据处理指令所对应的数据量时，向所述数据发送端发送数据确定指令，其中，所述数据确定指令携带所述数据处理指令所对应的部分待处理数据的数据属性信息；
其中，所述数据处理指令所对应的数据量为所述各分辨率所对应的图片的数量之和。
5.根据权利要求1所述的方法，其特征在于，所述在所述缓存池中缓存所述数据处理指令所对应的部分待处理数据或全部待处理数据，包括：
通过预设接口方式在所述缓存池中缓存所述数据处理指令所对应的部分待处理数据或全部待处理数据，其中，所述预设接口方式至少包括：根据所述数据发送端的优先级，预设缓存所述部分待处理数据或全部待处理数据的顺序。
6.一种数据处理装置，其特征在于，应用于数据处理系统，所述数据处理系统预设缓存池，所述装置包括：数据处理指令接收模块、当前最大接收数据量计算模块、数据确定指令发送模块和数据缓存模块；
所述数据处理指令接收模块：用于接收数据发送端发送的数据处理指令，所述数据处理指令携带待处理数据的数据属性信息，当所述数据属性信息表明所述待处理数据为至少一张图片时，所述数据属性信息还包括：作为待处理数据的各图片的分辨率以及各分辨率所对应的图片的数量；
所述当前最大接收数据量计算模块：用于根据第一预设计算规则、作为待处理数据的各图片的分辨率和各分辨率所对应的图片的数量，确定所述各图片的平均分辨率；
利用第二预设计算规则、所述平均分辨率和当前最大处理数据量，计算所述数据处理系统的当前最大接收数据量，所述第二预设计算规则中所述当前最大接收数据量与所述平均分辨率负相关，并且与所述当前最大处理数据量正相关；
所述数据确定指令发送模块：用于根据所述当前最大接收数据量，向所述数据发送端发送数据确定指令，以使所述数据发送端接收所述数据确定指令后，根据所述数据确定指令，向所述数据处理系统发送所述数据处理指令所对应的部分待处理数据或全部待处理数据；
所述数据缓存模块：用于在所述缓存池中缓存所述数据处理指令所对应的部分待处理数据或全部待处理数据。
7.根据权利要求6所述的装置，其特征在于，所述第二预设计算规则为：
所述当前最大接收数据量＝所述当前最大处理数据量*第一预设数值*(预设恒定分辨率/所述平均分辨率)；
其中，所述第一预设数值的取值范围为(0，1)。
8.根据权利要求6所述的装置，其特征在于，所述平均分辨率确定子模块包括：中间分辨率确定单元、权重数值确定单元、平均权重数值确定单元和平均分辨率确定单元；
所述中间分辨率确定单元：用于根据所述各图片的分辨率以及所述各分辨率所对应的图片的数量，确定中间分辨率；
所述权重数值确定单元：用于以所确定的中间分辨率为基准，确定所述各分辨率所对应的权重数值；
所述平均权重数值确定单元：用于根据所述权重数值与所述各分辨率所对应的图片的数量，确定所述待处理数据的平均权重数值，其中，所利用公式为：
其中，所述为平均权重数值，所述Bi为所述各分辨率中第i个分辨率所对应的图片的数量，所述di为所述各分辨率中第i个分辨率所对应的图片对应的权重数值，所述N为各分辨率所对应的图片的数量之和，所述N’为所述各分辨率中分辨率的数目；
所述平均分辨率确定单元：用于将与所述平均权重数值最接近的权重数值所对应的分辨率确定为平均分辨率。
9.根据权利要求6-8任一项所述的装置，其特征在于，所述数据确定指令发送模块包括第一指令发送子模块和第二指令发送子模块；
所述第一指令发送子模块：用于当所述当前最大接收数据量大于等于所述数据处理指令所对应的数据量时，向所述数据发送端发送数据确定指令，其中，所述数据确定指令携带所述数据处理指令所对应的全部待处理数据的数据属性信息；
所述第二指令发送子模块：用于当所述当前最大接收数据量小于所述数据处理指令所对应的数据量时，向所述数据发送端发送数据确定指令，其中，所述数据确定指令携带所述数据处理指令所对应的部分待处理数据的数据属性信息；
其中，所述数据处理指令所对应的数据量为所述各分辨率所对应的图片的数量之和。
10.根据权利要求6所述的装置，其特征在于，所述数据缓存模块，具体用于：
通过预设接口方式在所述缓存池中缓存所述数据处理指令所对应的部分待处理数据或全部待处理数据，其中，所述预设接口方式至少包括：根据所述数据发送端的优先级，预设缓存所述部分待处理数据或全部待处理数据的顺序。
CN201610204321.2A 2016-04-01 2016-04-01 一种数据处理方法和装置 Active CN107291530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610204321.2A CN107291530B (zh) 2016-04-01 2016-04-01 一种数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610204321.2A CN107291530B (zh) 2016-04-01 2016-04-01 一种数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN107291530A CN107291530A (zh) 2017-10-24
CN107291530B true CN107291530B (zh) 2019-12-20

Family

ID=60087814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610204321.2A Active CN107291530B (zh) 2016-04-01 2016-04-01 一种数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN107291530B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694241B (zh) * 2018-05-14 2023-04-18 平安科技（深圳）有限公司 一种数据的存储方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101420462A (zh) * 2008-12-11 2009-04-29 中国移动通信集团北京有限公司 一种数据分发方法及系统
CN101873475A (zh) * 2010-01-07 2010-10-27 杭州海康威视数字技术股份有限公司 控制命令发送方法、数据传输方法、监控系统及设备
CN103906011A (zh) * 2014-02-27 2014-07-02 宇龙计算机通信科技(深圳)有限公司 一种数据发送、接收装置及方法
CN103970599A (zh) * 2014-05-29 2014-08-06 中国银行股份有限公司 一种基于多进程并发的数据处理方法及装置
CN104536704A (zh) * 2015-01-12 2015-04-22 浪潮(北京)电子信息产业有限公司 一种双控制器通信方法、发送端控制器和接收端控制器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418007B2 (en) * 2014-05-15 2016-08-16 International Business Machines Corporation Managing memory transactions in a distributed shared memory system supporting caching above a point of coherency

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101420462A (zh) * 2008-12-11 2009-04-29 中国移动通信集团北京有限公司 一种数据分发方法及系统
CN101873475A (zh) * 2010-01-07 2010-10-27 杭州海康威视数字技术股份有限公司 控制命令发送方法、数据传输方法、监控系统及设备
CN103906011A (zh) * 2014-02-27 2014-07-02 宇龙计算机通信科技(深圳)有限公司 一种数据发送、接收装置及方法
CN103970599A (zh) * 2014-05-29 2014-08-06 中国银行股份有限公司 一种基于多进程并发的数据处理方法及装置
CN104536704A (zh) * 2015-01-12 2015-04-22 浪潮(北京)电子信息产业有限公司 一种双控制器通信方法、发送端控制器和接收端控制器

Also Published As

Publication number Publication date
CN107291530A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
KR102008355B1 (ko) 동일 스크린 상에 콘텐츠를 표시하기 위한 방법 및 장치, 그리고 단말 장치
CN110769278A (zh) 一种分布式视频转码方法及系统
CN109753207B (zh) 一种信息处理方法及其装置、存储介质
JP2017201791A (ja) ビデオエンコードシステムおよび方法
EP3979082A1 (en) Memory reclamation method and apparatus, electronic device, and storage medium
CN111552565A (zh) 一种多线程投屏方法和装置
CN110620681B (zh) 网络连接超时时间设置方法、装置、设备及介质
CN106375471B (zh) 一种边缘节点确定方法及装置
CN111796885A (zh) 云端应用程序的显示方法、装置及电子设备
CN109428926B (zh) 一种调度任务节点的方法和装置
CN114155026A (zh) 一种资源分配方法、装置、服务器及存储介质
CN104202305A (zh) 一种转码处理方法、装置及服务器
CN107291530B (zh) 一种数据处理方法和装置
EP2265025B1 (en) Video encoding amount control method, video encoding amount control device, video encoding amount control program, and computer readable recording medium on which said program is recorded
CN114327846A (zh) 集群的扩容方法、装置、电子设备及计算机可读存储介质
CN110347477B (zh) 一种云环境下服务自适应部署方法和装置
CN110019372B (zh) 数据监控方法、装置、服务器及存储介质
CN112565886A (zh) 一种视频抽帧方法、装置、电子设备及可读存储介质
CN109634812B (zh) Linux系统的进程CPU占用率控制方法、终端设备及存储介质
CN109067817B (zh) 媒体内容流量分配方法、装置、电子设备及服务器
CN112783719B (zh) 监控数据获取方法、服务器、系统及计算机可读存储介质
CN114866563A (zh) 扩容方法、装置、系统和存储介质
EP3346671A1 (en) Service processing method and equipment
CN109284188B (zh) 一种缓冲数组维护方法、装置、终端及可读介质
CN115278786A (zh) 业务接入方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant