CN115658312A - 资源使用情况的确定方法和装置、存储介质及电子装置 - Google Patents
资源使用情况的确定方法和装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN115658312A CN115658312A CN202211363762.9A CN202211363762A CN115658312A CN 115658312 A CN115658312 A CN 115658312A CN 202211363762 A CN202211363762 A CN 202211363762A CN 115658312 A CN115658312 A CN 115658312A
- Authority
- CN
- China
- Prior art keywords
- target
- data records
- time interval
- determining
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000011156 evaluation Methods 0.000 claims abstract description 24
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000012163 sequencing technique Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000004887 air purification Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种资源使用情况的确定方法和装置、存储介质及电子装置，涉及智慧家庭技术领域，该资源使用情况的确定方法包括：在接收到目标对象发送的评估任务的情况下，确定所述评估任务对应的时间区间；从数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理；根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况。采用上述技术方案，解决了资源管理系统网络页面显示应用资源占有当前值，无法查阅历史某一时刻的问题。
Description
技术领域
本申请涉及通信领域，具体而言，涉及一种资源使用情况的确定方法和装置、存储介质及电子装置。
背景技术
随着大数据平台的发展，大数据平台上普遍选用Apache HadoopYARN(简称YARN)作为资源管理和作业调度工具，在其上运行大数据应用，包括离线批量etl(Extraction-Transformation-Loading，用来描述将数据从来源端经过抽取、转换、加载至目的端的过程)应用和实时流计算应用。但常遇到这样的问题，在某一时间段，因运行的应用多，出现YARN资源紧张的情况。而在排查这一时段具体是哪些应用占用内存资源多，哪些应用占用cpu资源多，并进行量化评估，是非常困难的。
现有技术中，运行在YARN上的应用包括离线批量etl应用和实时流计算应用。其中离线批量etl应用，通常会在启动运行一段时间完成计算任务后就结束了，在此期间，其资源占用情况会发生变化。并且可能每天调度多次。而实时流计算应用，通常在启动后，一直保持运行状态，没有结束时间，查看每个应用资源的使用情况仅能通过粗略猜测，且无法了解历史某一时刻的情况。
针对相关技术中，查看每个应用资源的使用情况仅能通过粗略猜测，且无法了解历史某一时刻情况的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种资源使用情况的确定方法和装置、存储介质及电子装置，以至少解决相关技术中，查看每个应用资源的使用情况仅能通过粗略猜测，且无法了解历史某一时刻情况的问题。
根据本申请实施例的一个实施例，提供了一种资源使用情况的确定方法，包括：在接收到目标对象发送的评估任务的情况下，确定所述评估任务对应的时间区间；从数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理；根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况。
在一个示例性实施例中，从数据记录集合中筛选出处于所述时间区间的多个目标数据记录之前，所述方法包括：在资源管理器中存在运行的多个目标应用的情况下，获取所述资源管理器中的预设时间规则，使用所述预设时间规则对所述多个目标应用的资源消耗信息进行采集；根据采集结果确定出所述多个目标应用中每一个目标应用在每一个采集时间点对应的一组数据记录，得到数据记录集合，其中，所述一组数据记录包括：时间戳记录、目标应用对应的应用标识、目标应用对应的内存占用信息、目标应用对应的CPU占用信息。
在一个示例性实施例中，从所述数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理，包括：识别所述多个目标数据记录中每一组目标数据记录对应的目标应用标识；依据所述目标应用标识对所述多个目标数据记录进行记录分类，得到多个记录子集合；对所述多个记录子集合中的每一个记录子集合中的所有数据记录使用预设计算规则进行处理。
在一个示例性实施例中，对所述多个记录子集合中的每一个记录子集合中的所有数据记录使用预设计算规则进行处理，包括：将所述每一个记录子集合中的所有数据记录按照记录时间戳进行排序，并确定所述所有数据记录中每一组数据记录中携带的内存占用信息对应第一占用值以及CPU占用信息对应的第二占用值；对所述所有数据记录对应的多个子内存量进行求和处理，得到目标应用对应的内存量，其中，所述子内存量为使用所述第一占用值与预设时间规则对应的时间间隔进行相乘得到；对所述所有数据记录对应的多个子CPU量进行求和处理，得到目标应用对应的CPU量，其中，所述子CPU量为使用所述第二占用值与预设时间规则对应的时间间隔进行相乘得到。
在一个示例性实施例中，根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况之后，所述方法还包括：比较所述多个目标应用在所述时间区间内的内存量和/或CPU量；根据所述内存量和/或所述CPU量确定出所述多个目标应用中消耗资源最多的第一目标应用。
在一个示例性实施例中，根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况之后，所述方法还包括：在获取到所述多个目标应用中每一个目标应用在不同时间区间对应的内存量和/或CPU量的情况下，确定多个所述不同时间区间对应的时间顺序，并基于所述时间顺序对所述不同时间区间对应的内存量和/或CPU量进行排序；将排序结果以图表的形式显示，以确定所述每一个目标应用对应的资源使用情况的变化趋势。
在一个示例性实施例中，将所述排序结果以图表的形式显示，以确定所述每一个目标应用对应的资源使用情况的变化趋势之后，所述方法还包括：确定所述排序结果中资源使用情况大于预设使用情况的目标时间区间；向目标对象发送携带有所述目标时间区间的提示信息，其中，所述提示信息用于指示所述目标对象在目标应用处于目标时间区间时需要进行资源优化。
根据本申请实施例的另一个实施例，还提供了一种资源使用情况的确定装置，包括：第一确定模块，用于从数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理；记录模块，用于在所述第一环境信息满足第一资源使用情况的确定条件的情况下，获取所述第一设备上报的历史环境信息，其中，所述历史环境信息为所述第一设备上一次上报的第一环境信息；第二确定模块，用于根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况。
根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述资源使用情况的确定方法。
根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的资源使用情况的确定方法。
通过本发明，在接收到目标对象发送的评估任务的情况下，确定所述评估任务对应的时间区间；从数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理；根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况。采用上述技术方案，解决了相关技术中，查看每个应用资源的使用情况仅能通过粗略猜测，且无法了解历史某一时刻情况的问题，实现了可以准确定位某一时间区间，进而准确评估资源消耗的增长状况。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例的一种资源使用情况的确定方法的硬件环境示意图；
图2是根据本申请实施例的资源使用情况的确定方法的流程图；
图3是根据本申请可选实施例的资源使用情况的内存量模型；
图4是根据本申请实施例的一种资源使用情况的确定装置的结构框图(一)；
图5是根据本申请实施例的一种资源使用情况的确定装置的结构框图(二)。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面，提供了一种资源使用情况的确定方法。该资源使用情况的确定方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(IntelligenceHouse)生态等全屋智能数字化控制应用场景。可选地，在本实施例中，上述资源使用情况的确定方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与终端设备102进行连接，可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，可在服务器上或独立于服务器配置云计算和/或边缘计算服务，用于为服务器104提供数据运算服务。
上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI(Wireless Fidelity，无线保真)，蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
在本实施例中提供了一种资源使用情况的确定方法，应用于上述计算机终端，图2是根据本申请实施例的资源使用情况的确定方法的流程图，该流程包括如下步骤：
步骤S202，在接收到目标对象发送的评估任务的情况下，确定所述评估任务对应的时间区间；
步骤S204，从数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理；
步骤S206，确根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况。
通过上述步骤，在接收到目标对象发送的评估任务的情况下，确定所述评估任务对应的时间区间；从数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理；根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况。采用上述技术方案，解决了相关技术中，查看每个应用资源的使用情况仅能通过粗略猜测，且无法了解历史某一时刻情况的问题，实现了可以准确定位某一时间区间，进而准确评估资源消耗的增长状况。
在一个示例性实施例中，从数据记录集合中筛选出处于所述时间区间的多个目标数据记录之前，所述方法包括：在资源管理器中存在运行的多个目标应用的情况下，获取所述资源管理器中的预设时间规则，使用所述预设时间规则对所述多个目标应用的资源消耗信息进行采集；根据采集结果确定出所述多个目标应用中每一个目标应用在每一个采集时间点对应的一组数据记录，得到数据记录集合，其中，所述一组数据记录包括：时间戳记录、目标应用对应的应用标识、目标应用对应的内存占用信息、目标应用对应的CPU占用信息。
需要说明的是，由于现有技术中的YARN的网络页面显示的是应用资源占有的瞬时值，因此无法实现对某一时间段(如昨日凌晨2点到5点等)的分析和评估。因此需要对资源管理器中目标应用的资源消耗信息进行采集。所述采集过程可以按照一定的周期频率实现对资源消耗信息的采集。例如每隔30秒，对YARN的API(Application ProgrammingInterface，应用程序编程接口，简称为API)接口进行调用，获取当前时间YARN上对应应用资源占有的瞬时值以及对应的应用列表。
在一个示例性实施例中，从所述数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理，包括：识别所述多个目标数据记录中每一组目标数据记录对应的目标应用标识；依据所述目标应用标识对所述多个目标数据记录进行记录分类，得到多个记录子集合；对所述多个记录子集合中的每一个记录子集合中的所有数据记录使用预设计算规则进行处理。
需要说明的是，在筛选所述时间区间的数据记录时，将所述数据记录进行分类可以使数据更为清晰。在实际应用过程中，可以按照目标应用标识进行分类，将目标应用所对应的多组数据再分别归类进行记录。例如，存在应用1和应用2，将数据库中的所有应用1所对应的数据全部划分到应用1类中，将数据库中的所有应用2所对应的数据全部划分到应用2类中。然后再从划分到应用1类中的数据筛选出目标数据记录，可以是应用1的CPU量，或者应用1的内存量。同时，从划分到应用2类中的数据筛选出目标数据记录，可以是应用2的CPU量，或者应用2的内存量。
可选地，上述分类流程，可以是先划分大类再从大类中进一步划分小类。例如先筛选出应用1和应用2各自对应的全部数据，再对应用1中的数据类别进行详细划分。也可以先将数据库中的目标数据按照所有应用的CPU量和内存量进行划分后，再将CPU量类别中的数据对应分给应用1类或者应用2类。
在一个示例性实施例中，对所述多个记录子集合中的每一个记录子集合中的所有数据记录使用预设计算规则进行处理，包括：将所述每一个记录子集合中的所有数据记录按照记录时间戳进行排序，并确定所述所有数据记录中每一组数据记录中携带的内存占用信息对应第一占用值以及CPU占用信息对应的第二占用值；对所述所有数据记录对应的多个子内存量进行求和处理，得到目标应用对应的内存量，其中，所述子内存量为使用所述第一占用值与预设时间规则对应的时间间隔进行相乘得到；对所述所有数据记录对应的多个子CPU量进行求和处理，得到目标应用对应的CPU量，其中，所述子CPU量为使用所述第二占用值与预设时间规则对应的时间间隔进行相乘得到。
需要说明的是，为了便于数据的管理以及后续查看。可以先将数据按照记录的时间戳进行排序。可选地，时间戳至少包括数据记录的日期，星期以及记录的时间点。例如，一条数据的记录时间是2022年10月1日18:00:00。
可选地，记录的日期表现形式可以是阴历日期，也可以是阳历日期。
可选地，当记录的日期为节假日的情况下，将节假日名称以及假期时长进行记录，并将节假日期间对应的数据高亮标示，进而达到便于后续查看以及原因分析的目的。
需要说明的是，假定获取数据的时间间隔相同，则可通过对每个内存值乘以时间间隔，然后求和得到内存量。例如，需要求应用1在3:00到4:00时间段的消耗内存量，则有以下公式：
其中，Δti为时间间隔对应的值，内存i为在3点到4点这个周期内某一时间点对应的内存消耗的内存值。
在一个示例性实施例中，根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况之后，所述方法还包括：比较所述多个目标应用在所述时间区间内的内存量和/或CPU量；根据所述内存量和/或所述CPU量确定出所述多个目标应用中消耗资源最多的第一目标应用。
在一个示例性实施例中，根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况之后，所述方法还包括：在获取到所述多个目标应用中每一个目标应用在不同时间区间对应的内存量和/或CPU量的情况下，确定多个所述不同时间区间对应的时间顺序，并基于所述时间顺序对所述不同时间区间对应的内存量和/或CPU量进行排序；将排序结果以图表的形式显示，以确定所述每一个目标应用对应的资源使用情况的变化趋势。
需要说明的是，在将排序结果以图表形式显示之后，为了更清晰的与历史记录进行对比，还可以通过手动选择需要进行对比的历史时间段。将历史时间段的数据以不同于当前图表数据颜色的其它颜色展示在当前图表上。
可选地，当所选历史时间段大于当前所选时间段，则将历史时间段显示完整。
可选地，当所选历史时间段小于当前所选时间段，则将当前所选时间段显示完整。
在一个示例性实施例中，将所述排序结果以图表的形式显示，以确定所述每一个目标应用对应的资源使用情况的变化趋势之后，所述方法还包括：确定所述排序结果中资源使用情况大于预设使用情况的目标时间区间；向目标对象发送携带有所述目标时间区间的提示信息，其中，所述提示信息用于指示所述目标对象在目标应用处于目标时间区间时需要进行资源优化。
需要说明的是，在实际应用过程中，存在应用资源消耗过大的情况，而仅仅监控资源消耗最大的应用是不够的。可以通过预设使用情况的方式来监控出现多个应用消耗资源过大的情况。
可选地，预设使用情况的预设值可以是结合历史使用情况进而得出的平均值。
可选地，预设使用情况的预设值还可以是根据可使用资源的情况人为设定的。
需要说明的是，向目标对象发送携带有所述目标时间区间的提示信息，可以是微信，短信，邮件，QQ，电话等一系列具有提示作用的方式，本发明对此不做限制。
需要说明的是，在向目标对象发送携带有所述目标时间区间的提示信息之前，还可以调用历史信息，并结合当前的资源使用情况，对未来一段时间内的资源使用量进行预测。在预测到预设时间内，资源使用量会超出预设使用情况的情况下，将预测信息一并发送给目标对象。
为了更好的理解上述资源使用情况的确定方法的过程，以下再结合可选实施例对上述资源使用情况的确定的实现方法流程进行说明，但不用于限定本申请实施例的技术方案。
在本实施例中提供了一种资源使用情况的确定方法，获取资源管理器YARN(YetAnother Resource Negotiator，另一种资源协调者，简称YARN)上应用的资源使用情况，对某一时间段yarn上运行应用的资源占用，进行量化评估，以便准确定位该时段具体是哪些应用占用资源较多，同时对某应用资源占用情况进行分析同比变化情况。
可选的，图3是根据本申请可选实施例在实际应用中的内存量模型的界面示意图，通过时间段内存量的变化，生成目标应用对应的内存量模型，通过该内存量模型可以对目标应用使用内存量的变化进行直观反应，通过该界面示意图可以看出应用在03:10:30到03:14:30这个时间段内，应用的内存量需求最大。
需要说明的是，图中曲线是每个时间点该应用的内存占用。对内存占用在时间上求积分，即曲线与坐标轴围成封闭区域的面积，即为内存量。可选的，计算公式为：
其中，Δti为时间间隔对应的值，内存i为在3点到4点这个周期内某一时间点对应的内存消耗的内存值。例如，如图3所示，图中曲线部分面积为，该应用在3点～4点时段的消耗的内存量。
需要说明的是，以上计算公式，可以做近似计算：假定时间间隔相同，对每个内存值乘以时间间隔，然后求和即可。
可选的，将图3中对应时间的内存量值调整为CPU值后，可以得到cpu量模型。对应的计算公式为：
其中，Δti为时间间隔对应的值，CPUi为CPU在3点到4点这个周期内某一时间点对应的CPU消耗的CPU值。
作为一种可选的实施方式，若要评估某一时段，比如3:00～4:00期间，通过以下步骤进行：
步骤S301：取该时段所有的记录，按照应用标识分组；需要说明的是，上述应用标识可以是当前应用被分配的ID，也可以是应用对应的应用名称，还可是其它用于唯一指示应用的标识，对此，本申请不作过多限定。
步骤S302：每个分组内所有的记录按照时间戳升序排列，对这一序列数据计算。将其内存占用量乘以时间间隔，然后求和，得到该应用标识对应的“内存量”。将其CPU占用量乘以时间间隔，然后求和，得到该应用标识对应的“CPU量”；
步骤S303：将应用标识相同的记录的“内存量”求和，得到该应用在这个时段的总“内存量”。同理，将应用标识相同的记录的“CPU量”求和，得到该应用在这个时段的总“CPU量”。这样就得到该应用在这个时段的资源使用的量化指标3)将应用标识相同的记录的“内存量”求和，得到该应用在这个时段的总“内存量”。同理，将应用标识相同的记录的“CPU量”求和，得到该应用在这个时段的总“CPU量”。这样就得到该应用在这个时段的资源使用的量化指标；
步骤S304：将该时段所有应用的“内存量”或CPU量做对比，就得到哪些是消耗资源较多的大应用；
步骤S305：通过比较某个应用在不同时段的内存量或CPU量，就可以了解该应用的资源占用变化趋势。
根据上述实施例，可以量化YARN上应用在某个时间段资源消耗情况，较为准确定位某一时间区间，确定YARN上占用资源较多的大应用。以及可以评估指定应用随时间变化，其资源消耗的增长情况，进而达到可以用作it预算评估的一个依据，评估对应用做优化的效果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
图4是根据本申请实施例的一种资源使用情况的确定装置的结构框图(一)；如图4所示，包括：
第一确定模块42，用于在接收到目标对象发送的评估任务的情况下，确定所述评估任务对应的时间区间；
处理模块44，用于从数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理；
第二确定模块46，用于根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况。
通过上述装置，在接收到目标对象发送的评估任务的情况下，确定所述评估任务对应的时间区间；从数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理；根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况。采用上述技术方案，解决了相关技术中，查看每个应用资源的使用情况仅能通过粗略猜测，且无法了解历史某一时刻情况的问题，实现了可以准确定位某一时间区间，进而准确评估资源消耗的增长状况。
可选的，通过上述方式实现了可以量化YARN上应用在某个时间段资源消耗情况，较为准确定位某一时间区间，确定YARN上占用资源较多的大应用。以及可以评估指定应用随时间变化，其资源消耗的增长情况。进而达到可以用作it预算评估的一个依据，评估对应用做优化的效果。
图5是根据本申请实施例的一种资源使用情况的确定装置的结构框图(二)；如图5所示，不仅包括图4中的所有模块，还包括：记录模块40；比较模块48；趋势模块50。
在一个示例性实施例中，上述装置还包括：记录模块40，用于在资源管理器中存在运行的多个目标应用的情况下，获取所述资源管理器中的预设时间规则，使用所述预设时间规则对所述多个目标应用的资源消耗信息进行采集；根据采集结果确定出所述多个目标应用中每一个目标应用在每一个采集时间点对应的一组数据记录，得到数据记录集合，其中，所述一组数据记录包括：时间戳记录、目标应用对应的应用标识、目标应用对应的内存占用信息、目标应用对应的CPU占用信息。
在一个示例性实施例中，处理模块44，用于识别所述多个目标数据记录中每一组目标数据记录对应的目标应用标识；依据所述目标应用标识对所述多个目标数据记录进行记录分类，得到多个记录子集合；对所述多个记录子集合中的每一个记录子集合中的所有数据记录使用预设计算规则进行处理。
在一个示例性实施例中，处理模块44，还用于将所述每一个记录子集合中的所有数据记录按照记录时间戳进行排序，并确定所述所有数据记录中每一组数据记录中携带的内存占用信息对应第一占用值以及CPU占用信息对应的第二占用值；对所述所有数据记录对应的多个子内存量进行求和处理，得到目标应用对应的内存量，其中，所述子内存量为使用所述第一占用值与预设时间规则对应的时间间隔进行相乘得到；对所述所有数据记录对应的多个子CPU量进行求和处理，得到目标应用对应的CPU量，其中，所述子CPU量为使用所述第二占用值与预设时间规则对应的时间间隔进行相乘得到。
在一个示例性实施例中，上述装置还包括：比较模块48，比较所述多个目标应用在所述时间区间内的内存量和/或CPU量；根据所述内存量和/或所述CPU量确定出所述多个目标应用中消耗资源最多的第一目标应用。
在一个示例性实施例中，上述装置还包括：趋势模块50，用于在获取到所述多个目标应用中每一个目标应用在不同时间区间对应的内存量和/或CPU量的情况下，确定多个所述不同时间区间对应的时间顺序，并基于所述时间顺序对所述不同时间区间对应的内存量和/或CPU量进行排序；将排序结果以图表的形式显示，以确定所述每一个目标应用对应的资源使用情况的变化趋势。
在一个示例性实施例中，上述趋势模块，还用于确定所述排序结果中资源使用情况大于预设使用情况的目标时间区间；向目标对象发送携带有所述目标时间区间的提示信息，其中，所述提示信息用于指示所述目标对象在目标应用处于目标时间区间时需要进行资源优化。
本申请的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S1，在接收到目标对象发送的评估任务的情况下，确定所述评估任务对应的时间区间；
S2，从数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理；
S3，根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况。
本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，在接收到目标对象发送的评估任务的情况下，确定所述评估任务对应的时间区间；
S2，从数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理；
S3，根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种资源使用情况的确定方法，其特征在于，包括：
在接收到目标对象发送的评估任务的情况下，确定所述评估任务对应的时间区间；
从数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理；
根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况。
2.根据权利要求1所述的资源使用情况的确定方法，其特征在于，从数据记录集合中筛选出处于所述时间区间的多个目标数据记录之前，所述方法包括：
在资源管理器中存在运行的多个目标应用的情况下，获取所述资源管理器中的预设时间规则，使用所述预设时间规则对所述多个目标应用的资源消耗信息进行采集；
根据采集结果确定出所述多个目标应用中每一个目标应用在每一个采集时间点对应的一组数据记录，得到数据记录集合，其中，所述一组数据记录包括：时间戳记录、目标应用对应的应用标识、目标应用对应的内存占用信息、目标应用对应的CPU占用信息。
3.根据权利要求1所述的资源使用情况的确定方法，其特征在于，从所述数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理，包括：
识别所述多个目标数据记录中每一组目标数据记录对应的目标应用标识；依据所述目标应用标识对所述多个目标数据记录进行记录分类，得到多个记录子集合；
对所述多个记录子集合中的每一个记录子集合中的所有数据记录使用预设计算规则进行处理。
4.根据权利要求3所述的资源使用情况的确定方法，其特征在于，对所述多个记录子集合中的每一个记录子集合中的所有数据记录使用预设计算规则进行处理，包括：
将所述每一个记录子集合中的所有数据记录按照记录时间戳进行排序，并确定所述所有数据记录中每一组数据记录中携带的内存占用信息对应第一占用值以及CPU占用信息对应的第二占用值；
对所述所有数据记录对应的多个子内存量进行求和处理，得到目标应用对应的内存量，其中，所述子内存量为使用所述第一占用值与预设时间规则对应的时间间隔进行相乘得到；
对所述所有数据记录对应的多个子CPU量进行求和处理，得到目标应用对应的CPU量，其中，所述子CPU量为使用所述第二占用值与预设时间规则对应的时间间隔进行相乘得到。
5.根据权利要求1所述的资源使用情况的确定方法，其特征在于，根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况之后，所述方法还包括：
比较所述多个目标应用在所述时间区间内的内存量和/或CPU量；
根据所述内存量和/或所述CPU量确定出所述多个目标应用中消耗资源最多的第一目标应用。
6.根据权利要求1所述的资源使用情况的确定方法，其特征在于，根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况之后，所述方法还包括：
在获取到所述多个目标应用中每一个目标应用在不同时间区间对应的内存量和/或CPU量的情况下，确定多个所述不同时间区间对应的时间顺序，并基于所述时间顺序对所述不同时间区间对应的内存量和/或CPU量进行排序；
将排序结果以图表的形式显示，以确定所述每一个目标应用对应的资源使用情况的变化趋势。
7.根据权利要求6所述的资源使用情况的确定方法，其特征在于，将所述排序结果以图表的形式显示，以确定所述每一个目标应用对应的资源使用情况的变化趋势之后，所述方法还包括：
确定所述排序结果中资源使用情况大于预设使用情况的目标时间区间；
向目标对象发送携带有所述目标时间区间的提示信息，其中，所述提示信息用于指示所述目标对象在目标应用处于目标时间区间时需要进行资源优化。
8.一种资源使用情况的确定装置，其特征在于，包括：
第一确定模块，用于在接收到目标对象发送的评估任务的情况下，确定所述评估任务对应的时间区间；
处理模块，用于从数据记录集合中筛选出处于所述时间区间的多个目标数据记录，对所述多个目标数据记录进行处理；
第二确定模块，用于根据处理结果确定出多个目标应用中每一个目标应用在所述时间区间的资源使用情况。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211363762.9A CN115658312A (zh) | 2022-11-02 | 2022-11-02 | 资源使用情况的确定方法和装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211363762.9A CN115658312A (zh) | 2022-11-02 | 2022-11-02 | 资源使用情况的确定方法和装置、存储介质及电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115658312A true CN115658312A (zh) | 2023-01-31 |
Family
ID=84994951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211363762.9A Pending CN115658312A (zh) | 2022-11-02 | 2022-11-02 | 资源使用情况的确定方法和装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115658312A (zh) |
-
2022
- 2022-11-02 CN CN202211363762.9A patent/CN115658312A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110474852B (zh) | 一种带宽调度方法及装置 | |
| CN112272203B (zh) | 一种集群业务节点选择方法、系统、终端及存储介质 | |
| CN110990159A (zh) | 一种基于历史数据分析的容器云平台资源配额预测方法 | |
| CN112187512B (zh) | 一种基于流量监控的端口自动扩容方法、装置和设备 | |
| CN112235814B (zh) | 一种云sim卡无线网络优化方法、终端装置及服务端装置 | |
| CN109976986B (zh) | 异常设备的检测方法及装置 | |
| TW201628384A (zh) | 行動網路基地台訊務預測與資源調度自動分析系統與方法 | |
| CN113727092A (zh) | 基于决策树的视频监控质量巡检方法及装置 | |
| CN115658312A (zh) | 资源使用情况的确定方法和装置、存储介质及电子装置 | |
| CN116757402A (zh) | 服务策略的确定方法及装置、存储介质及电子装置 | |
| CN115860366B (zh) | 一种社区机器人智慧协调管控方法、系统和可读存储介质 | |
| CN109450672B (zh) | 一种识别带宽需求突发的方法和装置 | |
| CN111754218A (zh) | 支付方式推荐方法和装置 | |
| CN110928750B (zh) | 数据处理方法、装置及设备 | |
| CN114677830A (zh) | 用水消息的提醒方法、存储介质及电子装置 | |
| CN115296977A (zh) | 故障信息处理方法、装置、存储介质及电子装置 | |
| CN115330219A (zh) | 一种资源调度的方法及装置 | |
| CN115345225A (zh) | 推荐场景的确定方法及装置、存储介质及电子装置 | |
| CN114676400A (zh) | 身份确定方法、存储介质及电子装置 | |
| CN114675551A (zh) | 操作行为的确定方法和装置、存储介质及电子装置 | |
| CN112948092A (zh) | 批量作业的调度方法、装置、电子设备及存储介质 | |
| CN115174289B (zh) | 日志数据的存储方法、装置、存储介质及电子装置 | |
| CN117726193B (zh) | 城市管理事件干预控制方法、装置、设备及存储介质 | |
| CN108182486A (zh) | 空间负荷预测方法及装置 | |
| CN114880364A (zh) | 目标行为的预测方法及装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |