CN110825987B - 一种流媒体资源地址获取方法、装置、设备和存储介质 - Google Patents
一种流媒体资源地址获取方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110825987B CN110825987B CN201911082082.8A CN201911082082A CN110825987B CN 110825987 B CN110825987 B CN 110825987B CN 201911082082 A CN201911082082 A CN 201911082082A CN 110825987 B CN110825987 B CN 110825987B
- Authority
- CN
- China
- Prior art keywords
- resource
- resource address
- address
- content
- addresses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种流媒体资源地址获取方法、装置、设备和存储介质。该方法包括：获取至少两个资源地址，形成资源地址集合；根据所述资源地址集合中的资源地址指向的数据的占用空间，对各所述资源地址进行排序；根据校验条件分别对所述资源地址集合中的资源地址进行校验，并根据校验结果对所述资源地址集合中的各所述资源地址的排序结果进行调整，其中，所述校验条件包括格式校验条件和/或非资源内容校验条件；选择调整后的排序结果中排名最高的资源地址作为目标资源地址。使用本发明实施例的技术方案，可以准确查找真实的资源地址，提高了获取真实资源地址的成功率。
Description
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种流媒体资源地址获取方法、装置、设备和存储介质。
背景技术
随着现代技术的发展，网络带给人们形式多样的信息，流媒体技术出现之后，一连串的媒体数据压缩后，可以经过网络分段发送数据，在网络上即时传输影音以供用户使用。
当前对页面流媒体进行拨测的过程中，需要获取流媒体资源的真实地址，现有技术中的获取页面流媒体资源地址的方式主要是通过采集页面源码，并从中分析URL(Uniform Resource Locator，统一资源定位系统)的方式来获取资源地址。但是采用这种获取资源地址的方式，筛选过程单一，无法准确区分资源是广告还是目标流媒体资源，获取真实的流媒体资源地址的成功率较低。
发明内容
本发明实施例提供一种流媒体资源地址获取方法、装置、设备和存储介质，以实现准确获取真实的流媒体资源地址。
第一方面，本发明实施例提供了一种流媒体资源地址获取方法，该方法包括：
获取至少两个资源地址，形成资源地址集合；
根据所述资源地址集合中的资源地址指向的数据的占用空间，对各所述资源地址进行排序；
根据校验条件分别对所述资源地址集合中的资源地址进行校验，并根据校验结果对所述资源地址集合中的各所述资源地址的排序结果进行调整，其中，所述校验条件包括格式校验条件和/或非资源内容校验条件；
选择调整后的排序结果中排名最高的资源地址作为目标资源地址。
第二方面，本发明实施例还提供了一种流媒体资源地址获取装置，该装置包括：
资源地址集合形成模块，用于获取至少两个资源地址，形成资源地址集合；
资源地址排序模块，用于根据所述资源地址集合中的资源地址指向的数据的占用空间，对各所述资源地址进行排序；
资源地址校验模块，用于根据校验条件分别对所述资源地址集合中的资源地址进行校验，并根据校验结果对所述资源地址集合中的各所述资源地址的排序结果进行调整，其中，所述校验条件包括格式校验条件和/或非资源内容校验条件；
目标资源地址选择模块，用于选择调整后的排序结果中排名最高的资源地址作为目标资源地址。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本发明实施例中任一所述的流媒体资源地址获取方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的流媒体资源地址获取方法。
本发明实施例通过获取资源地址，形成资源地址集合，根据资源地址指向的数据的占用空间进行排序，并对资源地址集合中的资源地址进行校验，根据校验结果重新排序，选择排名最高的作为目标资源地址，通过占用空间和校验结果共同筛选资源地址，解决了现有技术中资源地址的筛选方法单一，资源地址的查找正确率低的问题，实现了提高资源地址查找正确率的效果。
附图说明
图1是本发明实施例一中的一种流媒体资源地址获取方法的流程图；
图2是本发明实施例二中的一种流媒体资源地址获取方法的流程图；
图3是适用于本发明实施例中的一种获取视频资源地址方法的流程图；
图4是本发明实施例三中的一种流媒体资源地址获取装置的结构示意图；
图5是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种流媒体资源地址获取方法的流程图，本实施例可适用于对网页流媒体进行拨测时，需要获取流媒体资源真实地址的情况，该方法可以由流媒体资源地址获取装置来执行，该装置可以由软件和/或硬件来实现，并一般集成在服务器中，结合图1，具体包括如下步骤：
步骤110、获取至少两个资源地址，形成资源地址集合。
所述资源地址指的是资源的URL(Uniform Resource Locator，统一资源定位系统)地址，URL是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。
其中，所述资源地址可以为视频流资源地址或音频流资源地址。视频流资源地址指向的数据类型为视频，音频流资源地址指向的数据类型为音频，本实施例对资源地址的类型并不进行限制。
可以通过多种方式获取资源地址，具体是：
其中，可以从网页的源代码中获取资源地址。具体的，在网页的源代码中，通过正则表达式匹配，就可以筛选出符合URL地址格式的资源地址。
其中，可以从网页中包含的全部文件中获取资源地址。具体的，可以获取网页向服务器发送的HTTP报文，通过对HTTP报文的解析，提取资源地址。
其中，可以从网络层中获取数据包，在所述数据包中获取资源地址。具体的，可以通过网络嗅探程序捕捉网络层中的数据包，在捕获的数据包中，检测流媒体内容的扩展名和协议头标识，将相邻最近的协议头标识和扩展名以及其之间的字符串作为流媒体资源地址。
其中，本实施例对获取资源地址的方式并不进行限制。
可以采用上述至少一项方式获取资源地址，通过多种方式获取资源地址，可以使获取资源地址的途径更多元化，避免当网页的源码中不包含真实的资源地址时，无法获取资源地址的情况。
可以将获取的全部资源地址，形成资源地址集合。也可以对资源地址进行初步筛选，形成资源地址集合。
其中，可以对资源地址进行初步筛选，形成资源地址集合。获取资源地址之后，从所述至少两个资源地址中筛选出设定资源类型的备选资源地址；根据指向的数据的占用空间超过设定空间阈值的备选资源地址，形成资源地址集合。
其中，设定资源类型是目标资源地址所指向的数据的类型，可以包括：视频资源类型或者音频资源类型。
占用空间是资源地址所指向的数据在磁盘上所占用的空间，占用空间阈值的作用是将所指向的数据占用空间过小的资源地址筛除，减少后续根据占用空间排序、校验以及根据校验结果重新排序的工作量。在一个具体的实施例中，不同资源类型对应的占用空间阈值的大小可以是：视频资源类型对应的占用空间阈值为1MB，音频资源类型对应的占用空间阈值为0.2MB。
具体的，获取资源地址之后，分析该资源地址所指向的数据类型是否为目标资源类型，即，如果想要获取目标视频流资源地址，则查看资源地址所指向的数据类型是否为视频，如果不是，则将该资源地址丢弃。如果资源地址指向的数据类型为目标资源类型，再分析该资源地址指向的数据的占用空间是否满足最小空间阈值要求，将满足要求的资源地址形成资源地址集合。这样设置的好处在于，通过初步筛选，将所指向的数据类型与设定资源类型不同，或者所指向的数据占用空间过小的资源地址筛除，减少后续根据占用空间排序、校验以及根据校验结果重新排序的工作量。
步骤120、根据资源地址集合中的资源地址指向的数据的占用空间，对各所述资源地址进行排序。
其中，根据资源地址集合中的资源地址指向数据占用空间的大小，对资源地址进行排序。例如，可以按照占用空间的大小，对资源地址进行降序或升序排列，此外，还可以按照预设规则进行排序，对此，本发明实施例不作具体限制。
步骤130、根据校验条件分别对所述资源地址集合中的资源地址进行校验，并根据校验结果对所述资源地址集合中的各所述资源地址的排序结果进行调整；
其中，所述校验条件包括格式校验条件和/或非资源内容校验条件。格式校验条件用于校验资源地址是否满足格式要求，非资源内容校验条件用于校验资源地址所指向的数据类型满足目标资源类型时，其所指向数据的内容是否为非资源。设置非资源内容校验的好处在于，即使资源地址所指向的数据类型为目标资源类型，例如目标资源类型为视频时，资源地址所指向的数据类型为视频，但仍存在资源地址所指向的数据为同为视频类型的广告的情况，因此需要对这种资源地址指向的数据为广告的情况进行过滤，非资源内容校验就可以实现过滤广告的功能。本实施例对校验条件的类型和顺序不进行限制，可以对资源地址集合中的资源地址进行单独的格式校验后，根据校验结果调整资源地址的排序结果；还可以对资源地址集合中的资源地址进行单独的非资源内容校验后，根据校验结果调整资源地址的排序结果；也可以同时对资源地址集合中的资源地址进行格式校验和非资源内容校验，其中，格式校验和非资源内容校验的顺序可以进行调整。
在前述步骤对资源地址进行排序时，可以根据指向数据占用空间的大小，分别对各资源地址赋予一个评分值。其中，可以基于如下公式计算各资源地址的评分值。
S＝A+(T-Tmin)*(B-A)/(Tmax-Tmin)
其中，S为当前资源地址的评分值，T为当前资源地址指向数据占用空间的大小，Tmax为资源地址集合中资源地址所指向数据的占用空间的最大值，Tmin为资源地址集合中资源地址所指向数据的占用空间的最小值，A为评分值范围的最小值；B为评分值范围中的最大值，也即各资源地址的评分值分布在A-B的评分值范围中。
在一个具体的实施例中，对资源地址集合中的资源地址在0.6-0.8中赋值，则对于一个资源地址而言，其评分值的计算公式为：
S＝0.6+(T-Tmin)*0.2/(Tmax-Tmin)
从而，根据校验条件分别对所述资源地址集合中的资源地址进行校验后，根据校验结果对各所述资源地址的评分值进行相应的操作，并根据操作后的评分值重新进行排序。在一个具体的实施例中，如果资源地址通过了格式校验(和/或非资源内容校验)，可以在原评分值的基础上加M(如0.1)、减M、乘以M或者除以M，可以根据需要进行设定。
步骤140、选择调整后的排名结果中排名最高的资源地址作为目标资源地址。
其中，在经过前述校验之后，资源地址集合中的各资源地址的排序结果进行相应调整，重新排序后，选择排名最高的资源地址作为目标资源地址，也即在经过一轮或两轮校验之后，资源地址集合中的各资源地址的评分值进行了相应调整，重新排序后，选择评分值最高的资源地址作为目标资源地址。
在一个具体的实施例中，按照资源地址指向数据占用空间的大小，各资源地址的评分值分布在0.6-0.8之中，经过两轮校验之后，如果各资源地址的评分值最高为0.9，则取评分值为0.9的资源地址作为目标资源地址。
本实施例的技术方案通过不同的获取渠道获取资源地址，形成资源地址集合，根据资源地址指向的数据的占用空间进行排序，并对资源地址集合中的资源地址进行校验，根据校验结果重新排序，选择排名最高的作为目标资源地址，解决了现有技术中资源地址的获取途径单一、查找算法单一，资源地址的查找正确率低的问题，实现了获取资源地址途径多元化，提高了资源地址查找的正确率。
实施例二
图2是本发明实施例二中的一种流媒体资源地址获取方法的流程图，本发明实施例在上述实施例的基础上，对格式校验和非资源内容校验进行了进一步的具体化。可选的，当校验为格式校验时，将“根据校验条件分别对所述资源地址集合中的资源地址进行校验”优化为“对所述资源地址集合中的各所述资源地址分别进行正则表达式匹配校验”，提供了格式校验的具体操作方式。可选的，当校验为非资源内容校验时，将“根据校验条件分别对所述资源地址集合中的资源地址进行校验”优化为“根据所述资源地址集合中的各所述资源地址指向的数据的占用空间，和各所述资源地址指向的数据的开始加载时间，计算各所述资源地址指向的数据的内容是非资源内容的概率，如果所述资源地址指向的数据的内容是非资源内容的概率大于等于第一预设概率，则所述资源地址未通过非资源内容校验；如果所述资源地址指向的数据的内容是非资源内容的概率小于第一预设概率，则所述资源地址通过非资源内容校验”，提供了非资源内容校验的具体操作方式。结合图2，本实施例的具体步骤包括：
步骤210、获取至少两个资源地址，形成资源地址集合。
步骤220、根据所述资源地址集合中的资源地址指向的数据的占用空间，对各所述资源地址进行排序。
步骤230、对所述资源地址集合中的各所述资源地址分别进行正则表达式匹配校验。
其中，所述正则表达式可以为系统的初始正则表达式，也可以为用户自定义的正则表达式，本实施例对正则表达式的来源并不进行限制。
正则表达式的作用是验证资源地址是否满足格式要求，例如，正则表达式是runoo+b，+号代表前面的字符必须至少出现一次，则runoob、runooob、runoooooob等就可以通过正则表达式匹配校验；正则表达式是runoo*b，*号代表字符可以不出现，也可以出现一次或者多次，则runob、runoob、runoooooob等就可以通过正则表达式匹配校验；正则表达式是colou？r，？问号代表前面的字符最多只可以出现一次，则color或者colour可以通过正则表达式匹配校验。
步骤240、根据所述资源地址集合中的各所述资源地址指向的数据的占用空间，和各所述资源地址指向的数据的开始加载时间，计算各所述资源地址指向的数据的内容是非资源内容的概率。
资源地址指向的数据的占用空间越小，是广告的概率越高，资源地址指向的数据的开始加载时间越短，是广告的概率越高。可以将资源地址指向的数据的占用空间小于预设空间，和资源地址指向的数据的开始加载时间小于预设时间作为判断资源地址是否是广告的两个条件。计算资源地址指向的数据内容是广告的概率的公式为：
P＝P1*S+P2*T
其中，P为当前资源地址所指向的数据是广告的概率，P1为资源地址指向的数据的占用空间小于预设空间时，资源地址所指向的数据是广告的概率。P2为资源地址指向的数据的开始加载时间小于预设时间，资源地址所指向的数据是广告的概率。其中，P1+P2＝100％，P1、P2可以相同或者不同。当前资源地址所指向的数据占用空间小于预设空间时，S值取1，当前资源地址所指向的数据占用空间大于预设空间时，S值取0；资源地址指向的数据的开始加载时间小于预设时间时，T值取1，资源地址指向的数据的开始加载时间大于预设时间时，T值取0。
在一个具体的实施例中，可以规定资源地址指向的数据的占用空间小于1.2MB，并且资源地址指向的数据开始加载时间小于5s时，判定该资源地址指向的数据是广告的概率为100％。如果只满足其中一个条件，例如资源地址指向的数据的占用空间小于1.2MB，但资源地址指向的数据开始加载时间大于5s，或者资源地址指向的数据开始加载时间小于5s，但资源地址指向的数据的占用空间大于1.2MB，此时判定该资源地址指向的数据是广告的概率为50％。如果资源地址指向的数据的占用空间大于1.2MB，并且资源地址指向的数据开始加载时间大于5s，则判定该资源地址指向的数据是广告的概率为0。
步骤250、判断所述资源地址指向的数据的内容是非资源内容的概率是否小于第一预设概率，如果是，则执行步骤260,；否则执行步骤270。
步骤260、所述资源地址通过非资源内容校验。
其中，如果所述资源地址指向的数据的内容是非资源内容的概率小于第一预设概率，则所述资源地址通过非资源内容校验。当概率小于第一预设概率时，可以进一步根据概率的大小，将资源地址区分为通过非资源内容校验和虽然通过非资源内容校验，但疑似为非资源内容两种。如果资源地址指向的数据的内容是非资源内容的概率小于第二预设概率，则所述资源地址通过非资源内容校验，其中，所述第二预设概率小于所述第一预设概率；在上述具体的实施例中，当资源地址指向的数据的内容是广告的概率为0时，所述资源地址通过非资源内容校验。如果资源地址指向的数据的内容是非资源内容的概率大于等于所述第二预设概率，并且小于所述第一预设概率，则所述资源地址通过非资源内容校验，并将所述资源地址标记为疑似非资源内容。在上述具体的实施例中，当资源地址指向的数据的内容是广告的概率为50％时，所述资源地址通过非资源内容校验，但对其进行标记。
步骤270，所述资源地址未通过非资源内容校验。
其中，如果所述资源地址指向的数据的内容是非资源内容的概率大于等于第一预设概率，则所述资源地址未通过非资源内容校验。在上述具体的实施例中，当资源地址指向的数据的内容是广告的概率为100％时，所述资源地址未通过非资源内容校验。
步骤280、根据校验结果对所述资源地址集合中的各所述资源地址的排序结果进行调整。
步骤290、选择调整后的排序结果中排名最高的资源地址作为目标资源地址。
在一个具体的实施例中，如图3所示，图3是适用于本发明实施例中的一种获取视频资源地址方法的流程图，具体步骤包括：
步骤310、从网页的源代码中、网页所包含的全部文件中以及网络层的数据包中获取资源地址，形成资源地址集合。
其中，资源地址、数据类型、视频、占用空间、资源地址集合、正则表达式、评分值和目标资源地址等可以参考前述描述。
步骤320、判断资源地址指向的数据类型是否为视频，如果是，则执行步骤330；否则执行步骤340。
步骤330、获取资源地址指向的数据的占用空间。
步骤340、将资源地址从资源地址集合中删除。
步骤350、根据资源地址指向数据的占用空间，对其赋予相应评分值。
步骤360、判断资源地址是否通过正则表达式匹配校验，如果是，则执行步骤370；否则执行步骤380。
步骤370、提高资源地址对应的评分值。
步骤380、将资源地址从资源地址集合中删除。
步骤390、判断资源地址指向的数据的内容是否为广告，如果是，则执行步骤3110；否则执行步骤3100。
步骤3100、提高资源地址对应的评分值。
步骤3110、将资源地址从资源地址集合中删除。
步骤3120、选择评分值最高的资源地址作为目标资源地址。
为获取视频资源地址，先从网页的源代码中、网页所包含的全部文件中以及网络层的数据包中获取资源地址，形成资源地址集合。然后判断资源地址指向的数据类型是否为视频，如果数据类型不是视频，则将其从资源地址集合中删除；如果数据类型是视频，则根据资源地址指向数据所占用的空间，对其赋予相应的评分值，具体的，评分值可以取值为0.6-0.8。再对资源地址进行正则表达式匹配校验，如果可以通过正则表达式匹配，则将其相应的评分值提高，具体的，可以在原评分值基础上加0.1；如果未通过正则表达式校验，则将该资源地址从资源地址集合中删除。值得注意的是，此时资源地址所指向的数据虽然是视频，但存在资源地址所指向的数据是视频广告的可能，需要对资源地址进行进一步的广告过滤。相应的，数据为音频，资源地址所指向的数据可能是音频广告，同样需要对资源地址进行进一步的广告过滤。
进行非资源内容校验之后，也即进行广告过滤之后，如果资源地址指向的数据的内容是广告的概率为0，则其通过了广告过滤，并将其相应的评分值提高，具体的，可以在原评分值基础上加0.1；如果资源地址指向的数据的内容是广告的概率为50％，则其通过了广告过滤，但根据其标记，可以仅将其相应的评分值加0.05；如果资源地址指向的数据的内容是广告的概率为100％，将其从资源地址集合中删除。经过正则表达式校验和广告过滤后，根据各资源地址变动后的评分值重新进行排序，得到新的排序结果。
本发明实施例通过获取资源地址，形成资源地址集合，根据资源地址指向的数据的占用空间进行排序，并对资源地址集合中的资源地址根据正则表达式进行格式校验，根据资源地址指向数据的占用空间和开始加载时间进行非资源内容校验，根据校验结果对资源地址重新排序，选择排名最高的作为目标资源地址，解决了现有技术中资源地址的查找算法单一，无法准确区分资源地址指向数据的内容是否为正确的资源类型，并且资源地址的查找正确率低的问题，实现了准确识别资源地址指向数据的内容是否为正确的资源类型，提高资源地址查找正确率的效果。
实施例三
图4是本发明实施例三中的一种流媒体资源地址获取装置的结构示意图，该流媒体资源地址获取装置包括：资源地址集合形成模块410、资源地址排序模块420、资源地址校验模块430以及目标资源地址选择模块440，其中：
资源地址集合形成模块410，用于获取至少两个资源地址，形成资源地址集合；
资源地址排序模块420，用于根据所述资源地址集合中的资源地址指向的数据的占用空间，对各所述资源地址进行排序；
资源地址校验模块430，用于根据校验条件分别对所述资源地址集合中的资源地址进行校验，并根据校验结果对所述资源地址集合中的各所述资源地址的排序结果进行调整，其中，所述校验条件包括格式校验条件和/或非资源内容校验条件；
目标资源地址选择模块440，用于选择调整后的排序结果中排名最高的资源地址作为目标资源地址。
本发明实施例通过获取资源地址，形成资源地址集合，根据资源地址指向的数据的占用空间进行排序，并对资源地址集合中的资源地址进行校验，根据校验结果重新排序，选择排名最高的作为目标资源地址，解决了现有技术中资源地址的查找算法单一，资源地址的查找正确率低的问题，实现了提高资源地址查找正确率的效果。
在上述实施例的基础上，所述校验条件包括格式校验条件；所述资源地址校验模块430，包括：
正则表达式匹配校验单元，用于对所述资源地址集合中的各所述资源地址分别进行正则表达式匹配校验。
在上述实施例的基础上，所述校验条件包括非资源内容校验条件；所述资源地址校验模块430，包括：
非资源内容校验单元，用于根据所述资源地址集合中的各所述资源地址指向的数据的占用空间，和各所述资源地址指向的数据的开始加载时间，计算各所述资源地址指向的数据的内容是非资源内容的概率；
未通过非资源内容校验单元，用于如果所述资源地址指向的数据的内容是非资源内容的概率大于等于第一预设概率，则所述资源地址未通过非资源内容校验；
通过非资源内容校验单元，用于如果所述资源地址指向的数据的内容是非资源内容的概率小于第一预设概率，则所述资源地址通过非资源内容校验。
在上述实施例的基础上，所述通过非资源内容校验单元，包括：
通过非资源内容校验子单元，用于如果资源地址指向的数据的内容是非资源内容的概率小于第二预设概率，则所述资源地址通过非资源内容校验，其中，所述第二预设概率小于所述第一预设概率；
疑似非资源内容标记单元，用于如果资源地址指向的数据的内容是非资源内容的概率大于等于所述第二预设概率，并且小于所述第一预设概率，则所述资源地址通过非资源内容校验，并将所述资源地址标记为疑似非资源内容。
在上述实施例的基础上，所述资源地址集合形成模块410，包括：
备选资源地址筛选单元，用于从所述至少两个资源地址中筛选出设定资源类型的备选资源地址；
资源地址集合形成单元，用于根据指向的数据的占用空间超过设定空间阈值的备选资源地址，形成资源地址集合。
在上述实施例的基础上，所述资源地址集合形成模块410，包括：
第一资源地址获取单元，用于从网页的源代码中获取资源地址；
第二资源地址获取单元，用于从所述网页所包含的全部文件中获取资源地址；
第三资源地址获取单元，用于从网络层中获取数据包，在所述数据包中获取资源地址。
在上述实施例的基础上，所述资源地址为视频流资源地址或音频流资源地址。
本发明实施例所提供的流媒体资源地址获取装置可执行本发明任意实施例所提供的流媒体资源地址获取方法，具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例四提供的一种计算机设备的结构示意图，如图5所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图5中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的流媒体资源地址获取方法对应的程序指令/模块(例如，流媒体资源地址获取装置中的资源地址集合形成模块410、资源地址排序模块420、资源地址校验模块430以及目标资源地址选择模块440)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的流媒体资源地址获取方法。
该方法包括：
获取至少两个资源地址，形成资源地址集合；
根据所述资源地址集合中的资源地址指向的数据的占用空间，对各所述资源地址进行排序；
根据校验条件分别对所述资源地址集合中的资源地址进行校验，并根据校验结果对所述资源地址集合中的各所述资源地址的排序结果进行调整，其中，所述校验条件包括格式校验条件和/或非资源内容校验条件；
选择调整后的排序结果中排名最高的资源地址作为目标资源地址。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种流媒体资源地址获取方法，该方法包括：
获取至少两个资源地址，形成资源地址集合；
根据所述资源地址集合中的资源地址指向的数据的占用空间，对各所述资源地址进行排序；
根据校验条件分别对所述资源地址集合中的资源地址进行校验，并根据校验结果对所述资源地址集合中的各所述资源地址的排序结果进行调整，其中，所述校验条件包括格式校验条件和/或非资源内容校验条件；
选择调整后的排序结果中排名最高的资源地址作为目标资源地址。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的流媒体资源地址获取方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述流媒体资源地址获取装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种流媒体资源地址获取方法，其特征在于，包括：
获取至少两个资源地址，形成资源地址集合；
根据所述资源地址集合中的资源地址指向的数据的占用空间，对各所述资源地址进行排序；
根据校验条件分别对所述资源地址集合中的资源地址进行校验，并根据校验结果对所述资源地址集合中的各所述资源地址的排序结果进行调整，其中，所述校验条件包括格式校验条件和/或非资源内容校验条件；
选择调整后的排序结果中排名最高的资源地址作为目标资源地址；
所述校验条件包括非资源内容校验条件；
所述根据校验条件分别对所述资源地址集合中的资源地址进行校验，包括：
根据所述资源地址集合中的各所述资源地址指向的数据的占用空间，和各所述资源地址指向的数据的开始加载时间，计算各所述资源地址指向的数据的内容是非资源内容的概率；
如果所述资源地址指向的数据的内容是非资源内容的概率大于等于第一预设概率，则所述资源地址未通过非资源内容校验；
如果所述资源地址指向的数据的内容是非资源内容的概率小于第一预设概率，则所述资源地址通过非资源内容校验。
2.根据权利要求1所述的方法，其特征在于，所述校验条件包括格式校验条件；
所述根据校验条件分别对所述资源地址集合中的资源地址进行校验，包括：
对所述资源地址集合中的各所述资源地址分别进行正则表达式匹配校验。
3.根据权利要求1所述的方法，其特征在于，如果所述资源地址指向的数据的内容是非资源内容的概率小于第一预设概率，则所述资源地址通过非资源内容校验，包括：
如果资源地址指向的数据的内容是非资源内容的概率小于第二预设概率，则所述资源地址通过非资源内容校验，其中，所述第二预设概率小于所述第一预设概率；
如果资源地址指向的数据的内容是非资源内容的概率大于等于所述第二预设概率，并且小于所述第一预设概率，则所述资源地址通过非资源内容校验，并将所述资源地址标记为疑似非资源内容。
4.在根据权利要求1所述的方法，其特征在于，所述形成资源地址集合，包括：
从所述至少两个资源地址中筛选出设定资源类型的备选资源地址；
根据指向的数据的占用空间超过设定空间阈值的备选资源地址，形成资源地址集合。
5.根据权利要求1所述的方法，其特征在于，获取至少两个资源地址，包括以下至少一项：
从网页的源代码中获取资源地址；
从所述网页所包含的全部文件中获取资源地址；和
从网络层中获取数据包，在所述数据包中获取资源地址。
6.在根据权利要求1-5任一项所述的方法，其特征在于，所述资源地址为视频流资源地址或音频流资源地址。
7.一种流媒体资源地址获取装置，其特征在于，包括：
资源地址集合形成模块，用于获取至少两个资源地址，形成资源地址集合；
资源地址排序模块，用于根据所述资源地址集合中的资源地址指向的数据的占用空间，对各所述资源地址进行排序；
资源地址校验模块，用于根据校验条件分别对所述资源地址集合中的资源地址进行校验，并根据校验结果对所述资源地址集合中的各所述资源地址的排序结果进行调整，其中，所述校验条件包括格式校验条件和/或非资源内容校验条件；
目标资源地址选择模块，用于选择调整后的排序结果中排名最高的资源地址作为目标资源地址；
所述资源地址校验模块，包括：
非资源内容校验单元，用于根据所述资源地址集合中的各所述资源地址指向的数据的占用空间，和各所述资源地址指向的数据的开始加载时间，计算各所述资源地址指向的数据的内容是非资源内容的概率；
未通过非资源内容校验单元，用于如果所述资源地址指向的数据的内容是非资源内容的概率大于等于第一预设概率，则所述资源地址未通过非资源内容校验；
通过非资源内容校验单元，用于如果所述资源地址指向的数据的内容是非资源内容的概率小于第一预设概率，则所述资源地址通过非资源内容校验。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的流媒体资源地址获取方法。
9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的流媒体资源地址获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911082082.8A CN110825987B (zh) | 2019-11-07 | 2019-11-07 | 一种流媒体资源地址获取方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911082082.8A CN110825987B (zh) | 2019-11-07 | 2019-11-07 | 一种流媒体资源地址获取方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110825987A CN110825987A (zh) | 2020-02-21 |
| CN110825987B true CN110825987B (zh) | 2023-06-23 |
Family
ID=69553159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911082082.8A Active CN110825987B (zh) | 2019-11-07 | 2019-11-07 | 一种流媒体资源地址获取方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110825987B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016180502A1 (en) * | 2015-05-13 | 2016-11-17 | Huawei Technologies Co., Ltd. | Network node, user device and methods thereof |
| EP3439210A1 (en) * | 2017-07-31 | 2019-02-06 | Mitsubishi Electric R&D Centre Europe B.V. | Reliable cut-through switching for ieee 802.1 time sensitive networking standards |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8239380B2 (en) * | 2003-06-20 | 2012-08-07 | Microsoft Corporation | Systems and methods to tune a general-purpose search engine for a search entry point |
| US8600993B1 (en) * | 2009-08-26 | 2013-12-03 | Google Inc. | Determining resource attributes from site address attributes |
| CN103246713B (zh) * | 2013-04-24 | 2016-05-11 | 优视科技有限公司 | 一种网页浏览方法及装置 |
| CN103501281B (zh) * | 2013-09-30 | 2017-04-05 | 北京搜狗科技发展有限公司 | 基于预读取的资源预置方法和装置 |
| US10061796B2 (en) * | 2014-03-11 | 2018-08-28 | Google Llc | Native application content verification |
| CN105025068B (zh) * | 2014-04-30 | 2019-04-12 | 腾讯科技（深圳）有限公司 | 网络数据下载方法和装置 |
| CN104683496B (zh) * | 2015-02-13 | 2018-06-19 | 小米通讯技术有限公司 | 地址过滤方法及装置 |
| CN106407445B (zh) * | 2016-09-29 | 2019-06-07 | 重庆邮电大学 | 一种基于url的非结构化数据资源标识和定位方法 |
-
2019
- 2019-11-07 CN CN201911082082.8A patent/CN110825987B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016180502A1 (en) * | 2015-05-13 | 2016-11-17 | Huawei Technologies Co., Ltd. | Network node, user device and methods thereof |
| EP3439210A1 (en) * | 2017-07-31 | 2019-02-06 | Mitsubishi Electric R&D Centre Europe B.V. | Reliable cut-through switching for ieee 802.1 time sensitive networking standards |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110825987A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6438135B2 (ja) | ソーシャルプラットフォームに基づくデータマイニング方法及び装置 | |
| CN108737333B (zh) | 一种数据检测方法以及装置 | |
| CN110688598B (zh) | 业务参数采集方法、装置、计算机设备和存储介质 | |
| CN109669795B (zh) | 崩溃信息处理方法及装置 | |
| US20130066814A1 (en) | System and Method for Automated Classification of Web pages and Domains | |
| CN104219230B (zh) | 识别恶意网站的方法及装置 | |
| CN105447147A (zh) | 一种数据处理方法及装置 | |
| US10606845B2 (en) | Detecting leading session of application | |
| CN103530365A (zh) | 获取资源的下载链接的方法及系统 | |
| CN110245273B (zh) | 一种获取app业务特征库的方法及相应的装置 | |
| CN111148018B (zh) | 基于通信数据识别定位区域价值的方法和装置 | |
| CN109726543B (zh) | 一种应用程序的登录方法、装置、终端设备和存储介质 | |
| CN105991722B (zh) | 一种下载器推荐方法、应用服务器、终端及系统 | |
| CN110717647A (zh) | 决策流构建方法、装置、计算机设备和存储介质 | |
| CN112835682B (zh) | 一种数据处理方法、装置、计算机设备和可读存储介质 | |
| CN110825987B (zh) | 一种流媒体资源地址获取方法、装置、设备和存储介质 | |
| CN107517237B (zh) | 一种视频识别方法和装置 | |
| CN110413861B (zh) | 基于网络爬虫的链接提取方法、装置、设备及存储介质 | |
| CN106897297B (zh) | 网站栏目间访问路径的确定方法及装置 | |
| CN111385360A (zh) | 终端设备的识别方法、装置及计算机可读存储介质 | |
| CN108304301B (zh) | 记录用户行为轨迹的方法及装置 | |
| CN108090089B (zh) | 探测网站中热点数据的方法、装置和系统 | |
| CN109272005B (zh) | 一种识别规则的生成方法、装置和深度包检测设备 | |
| CN106933860B (zh) | 恶意统一资源定位符识别方法和装置 | |
| CN106610991A (zh) | 数据处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |