CN110365776B - 图片批量下载方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种图片批量下载方法、装置、电子设备及存储介质；所述方法包括：确定目标网页，获取所述目标网页上多幅图片对应的多个图片地址；根据多个所述图片地址，生成图片地址集；访问所述图片地址集内的每个所述图片地址并下载，获得多幅图片；存储多幅所述图片。本发明通过获取目标网页上的多幅图片对应的多个图片地址后，将其融合成为包括有多个图片地址的图片地址集，进而根据该图片地址集，进行访问、下载和存储，以实现快速简便高效的图片批量下载。

Description

图片批量下载方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，特别是指一种图片批量下载方法、装置、电子设备及存储介质。

背景技术

随着信息技术和互联网的发展，人类从信息匮乏时代走向了信息过载时代。当运用网络在浏览器上浏览网页的过程中，用户可以发现大量想要存储下来的图片，可以作为素材等作用。目前网页上出现的图片都是公开的，可以被用户自己下载下来的。但是，用户下载图片是需要通过浏览器打开网页一个个的手动点击图片进行下载，操作繁琐且耗费时间。

发明内容

有鉴于此，本发明的目的在于提出一种图片批量下载方法、装置、电子设备及存储介质，能够快速简便高效的实现图片的批量下载。

基于上述目的，本发明提供了一种图片批量下载方法，包括：

确定目标网页，获取所述目标网页上多幅图片对应的多个图片地址；

根据多个所述图片地址，生成图片地址集；

访问所述图片地址集内的每个所述图片地址并下载，获得多幅图片；

存储多幅所述图片。

此外，本发明还提供了一种图片批量下载装置，包括：

获取模块，用于确定目标网页，获取所述目标网页上多幅图片对应的多个图片地址；

融合模块，用于根据多个所述图片地址，生成图片地址集；

下载模块，用于访问所述图片地址集内的每个所述图片地址并下载，获得多幅图片；

存储模块，用于存储多幅所述图片。

此外，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的方法。

此外，本发明还提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上所述方法。

从上面所述可以看出，本发明提供的图片批量下载方法、装置、电子设备及存储介质，通过获取目标网页上的多幅图片对应的多个图片地址后，将其融合成为包括有多个图片地址的图片地址集，进而根据该图片地址集，进行访问、下载和存储，以实现快速简便高效的图片批量下载。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的图片批量下载方法流程图；

图2为本发明实施例中获取图片地址的方法流程图；

图3为本发明实施例中生成图片地址集时的去重步骤流程图；

图4为本发明实施例中第一校验步骤流程图；

图5为本发明实施例中第二校验步骤流程图；

图6为本发明实施例的图片批量下载装置结构示意图；

图7为本发明一具体实施例的图片批量下载装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本发明实施例提供了一种图片批量下载方法，参考图1，所述方法包括以下步骤：

步骤101、确定目标网页，获取所述目标网页上多幅图片对应的多个图片地址。

本步骤中，首先确定目标网页。该目标网页为互联网任意可供用户访问的互联网页面。目标网页上，一般会包括有用于内容展示的图片，这些目标网页上的图片即为下载对象。

确定目标网页后，进一步获取该目标网页上的图片的图片地址。具体的图片地址获取方式，可以选择爬虫技术。爬虫技术，即是指通过爬虫程序或脚本，基于预设的对应于图片地址提取规则，对网页上的图片网址进行抓取。例如，采用scrapy框架内的CrawSpider型蜘蛛设定对应于图片网址的抓取规则，然后在访问目标网页后通过LinkExtractor脚本实现对其上的图片的图片地址的提取。显然，根据具体的实施需要，也可以通过其他的数据获取方式，实现目标网页上图片的图片地址的获取。

本实施例中，图片地址为URL地址（Uniform Resource Locator，统一资源定位符）。后续实施例中，也均以图片地址为URL地址为例进行说明。显然，根据不同的数据系统，图片地址也可以为其他形式，即不应理解为本申请对图片地址为URL地址进行了唯一限定。

需要说明的是，目标网页的数量可以为一个或多个。而对于每个目标网页，需要下载的图片可以是其上的全部图片，也可以是部分图片。目标网页的数量，以及需要下载的目标网页上的图片的数量的确定，可以通过接收用户的指令或者读取用户预先设置好的设置文件。

步骤102、根据多个所述图片地址，生成图片地址集。

本步骤中，基于步骤101中获取到的多个图片地址，将其进行整合，形成一包括有上述多个图片地址的图片地址集。该图片地址集的具体实现形式，可以是将多个图片地址作为数据集合的形式存入数据库，如mySQL数据库；也可以是，将多个图片地址生成为一个文件，如文本文件、表格文件等，该文件可以存储在本地或是云端。无论以何种方式实现，本步骤中的图片地址集，均是实现了对多个图片地址的整合，方便于后续的数据传输和数据处理。

步骤103、访问所述图片地址集内的每个所述图片地址并下载，获得多幅图片。

本步骤中，基于步骤102中生成的图片地址集，对于图片地址集内的每个图片地址进行访问，并将在访问后对图片地址对应的图片进行下载，最终获得要下载的多幅图片。

其中，在进行下载时，可以通过后台执行的方式，即以用户无感知的方式在后台执行访问图片地址以及图片下载的操作。但一些网站对于对网页的后台数据操作设置有屏蔽，这可能会造成图片下载的失败。故也可以通过模拟用户操作的方式实现图片下载。具体的，对于访问图片地址操作的模拟，可以调用网页测试工具，并通过该网页测试工具访问图片地址；例如，网页测试工具可以选用webdriver。对于图片下载操作的模拟，可以调用输入设备模拟工具，并通过该输入设备模拟工具模拟下载操作，以下载获得所述图片。例如，可以通过PyMouse完成鼠标动作模拟，具体的模拟动作可以包括选择地址栏进行输入、右键点击图片调出菜单、选择菜单中的下载选项等；可以通过键盘模拟工具PyKeyboard完成键盘动作模拟，具体的模拟动作可以包括通过键盘快捷键选择相应选项或功能，如按“v”选择下载选项、按“alt”+“s”选择保存功能。

步骤104、存储多幅所述图片。

本步骤中，将获得的多幅图片进行存储。具体的，设置图片的存储位置，可以是本地，也可以是进一步上传至云端存储。在存储位置上，可以将自同一目标网页下载获得的多幅所述图片存储在相同的存储位置，以方便查找和分类。

其中，在存储时也可以设置图片的其他相关属性，如图片名称、图片格式等。例如，将图片按照如下格式命名：“网站域名”+“|”+“图片URL中以‘/’分割后得到的最后一个分割数据”；这样的命名方式，一方面能够直观的从图片名称中获得一定的关于图片的相关信息，另一方面也能够保证每个图片的命名是唯一的，以方便图片的查找等操作。

此外，在存储多幅图片时，还可以根据前述的各步骤的执行，生成日志文件。该日志文件记录下载并存储的多幅图片的相关信息。例如，对于每个图片，日志文件中均记录有对应于该图片的：获得图片地址的来源网址，图片地址，图片名称，图片存储地址，以及其他可获得的信息等。在存储时，图片和日志文件可以存储在相同的存储位置，如都存储在本地；也可以分别存储在不同的存储位置，如图片上传存储在云端，而日志文件存储在本地。

可见，本实施例的图片批量下载方法，通过获取目标网页上的多幅图片对应的多个图片地址后，将其融合成为包括有多个图片地址的图片地址集，进而根据该图片地址集，进行访问、下载和存储，以实现快速简便高效的图片批量下载。

在一个可选的实施例中，参考图2，所述获取所述目标网页上多幅图片对应的多个图片地址的步骤，包括：

步骤201、访问所述目标网页的数据库。

本步骤中，通过访问目标网页后台的数据库，从构成目标网页的数据结构中寻找并获取目标网页上图片对应的图片地址。

步骤202、根据预设规则，确定所述目标网页的数据库中用于记录图片地址的数据段。

对于基于不同的数据构建技术的目标网页，在其对应的后台数据结构中，不同类型的数据各自被分配有既定的数据位置。故在本步骤中，通过识别目标网页所基于的数据构建技术，确定在该种技术下的网页的数据结构中预设的数据位置设置规则，进一步的，确定其中应于图片的预设规则。然后，根据该预设规则，即能够在目标网页的数据库中，确定出用于记录图片地址的数据段。

步骤203、根据所述用于记录图片地址的数据段，获取所述目标网页上多幅图片对应的多个图片地址。

本步骤中，根据步骤202中确定的记录图片地址的数据段，访问目标网页的数据库中的上述数据段，从而获取目标网页上的图片对应的图片地址。

在一个可选的实施例中，所述根据多个所述图片地址，生成图片地址集的步骤中，还包括对图片地址进行去重的步骤。在获取到的多个图片地址中，有可能存在相同的图片地址，这可能造成对同一图片的多次重复下载。本实施例中，在生成图片地址集时加入去重步骤，通过该去重步骤能够将获取到的多个图片地址中，重复的图片地址仅保留一个，即使得图片地址集中的每个图片地址都是唯一的。

具体的，参考图3，所述对图片地址进行去重步骤包括：

步骤301、对多个所述图片地址进行两两比对，确定是否存在相同的至少两个所述图片地址。

本步骤中，对于图片地址集中的所有图片地址进行两两比对，即对于任意两个图片地址进行比对，查看其是否相同。在比对得到相同的图片地址后，可以通过分组、设置标签等方式，将相同的图片地址进行关联。若比对获得了相同的图片地址，则该相同的图片地址的数量最少为两个；显然，相同的图片地址的数量也可以多于两个。

步骤302、若存在相同的至少两个所述图片地址，则保留相同的至少两个所述图片地址中的一个，其余的删除。

本步骤中，对于相同的图片地址，仅保留其中的一个，将其余的相同的图片地址从图片地址集中删除，以实现图片地址的去重。

经过本实施例的去重步骤处理后，图片地址集中的每个图片地址均是唯一的，这样能够较大概率保证后续下载的多个图片中不存在重复的图片。

在一个可选的实施例中，在存储多幅图片之后，还包括对于图片的第一校验步骤，通过第一校验步骤，来确定图片地址集中包括的每个图片地址对应的图片是否都已经成功下载并成功存储，若存在未成功下载并成功存储的图片，则对其进行重新下载和存储。

具体的，参考图4，所述第一校验步骤包括：

步骤401、根据访问的所述图片地址，生成已下载图片地址集。

本步骤中，所述的已下载图片地址集中包括的图片地址，是在访问图片地址后并进行下载操作的过程中记录的。对于成功实现了图片地址的访问，且成功实现了下载操作的，则对应的将该图片地址，记录进入已下载图片地址集；对于未成功实现图片地址的访问的或未成功实现下载操作的，则对应的图片地址不会被记录进入已下载图片地址集。

步骤402、计算所述图片地址集和所述已下载图片地址集的差集，生成第一未下载图片地址集。

图片地址集中是全部要下载的图片的图片地址，而已下载图片地址集中是已下载图片的图片地址，二者的差集，即第一未下载图片地址集中记录的则是全部未成功实现图片地址的访问的或未成功实现下载操作的图片对应的图片地址。

步骤403、判断第一未下载图片地址集是否为空；若是则执行步骤404，否则执行步骤405。

步骤404、若所述第一未下载图片地址集为空，则结束校验。

若第一未下载图片地址集为空，则表明图片地址集中的所有图片地址对应的图片均已被下载，此时可结束本实施例的第一校验步骤。

步骤405、若所述第一未下载图片地址集不为空，则访问所述第一未下载图片地址集的每个所述图片地址并下载。

若第一未下载图片地址集不为空，则表明图片地址集中的有些图片地址对应的图片未被成功下载，该写图片地址被记录在前述生成的第一未下载图片地址集中。此时，则返回本实施例的方法中，生成图片地址集的步骤中，由第一未下载图片地址集替代原生成的图片地址集，并执行后续的步骤，进行对第一未下载图片地址集内的图片地址的访问以下载、存储。上述过程重复进行，直至第一未下载图片地址集为空，进而结束本实施例的第一校验步骤。

在一些情况下，可能由于图片地址错误或是下载操作被禁用等情况，使得某一图片地址对应的图片始终无法被成功下载，也即上述步骤重复执行多次后，第一未下载图片地址集一直不为空，此时可以将第一未下载图片地址集中的所剩的图片地址删除，并生成提示信息，通知用户进行相应处理。

进一步的，在图片的下载过程中，即使能够成功访问图片地址，并成功进行下载操作，但在图片的存储过程仍然可能发生错误而造成图片并未成功被存储。故在本实施例中，在前述的第一校验步骤之后，还可以进行第二校验步骤。通过第二校验步骤来进一步验证要被下载的图片是否已经成功的被存储。

具体的，参考图5，所述第二校验步骤包括：

步骤501、提取所述已下载图片地址集内图片地址对应的图片的图片名称，生成已下载图片名称集。

本步骤中，通过图片的名称来判定图片是否成功存储。首先，根据已下载图片地址集内的图片地址，该些图片地址对应的图片被记录为已成功实现下载。对于该些图片地址，提取其对应的图片的图片名称，生成已下载图片名称集。

步骤502、提取存储的多幅所述图片的图片名称，生成已存储图片名称集。

本步骤中，对下载后的图片的存储位置（本地或云端）进行访问，并提取上述存储位置上存储的各图片的图片名称，生成已存储图片名称集。已存储图片名称集中各图片名称对应图片已实际上存储在相应的存储位置。

步骤503、计算所述已下载图片名称集和所述已存储图片名称集的差集，确定所述差集中包括的图片名称对应的图片地址，生成第二未下载图片地址集。

本步骤中，已下载图片名称集和已存储图片名称集的差集中包括的图片名称对应的图片，即表明该些图片被记录为成功下载，但并没有实际被存储。则进一步的，将上述差集中包括的图片名称对应的图片地址，整合生成第二未下载图片地址集。

步骤504、判断所述第二未下载图片地址集是否为空，若是则执行步骤505，否则执行步骤506。

步骤505、若所述第二未下载图片地址集为空，则结束校验。

若第二未下载图片地址集为空，则表明被记录为成功下载的各图片，也均实际被成功存储，此时可结束本实施例的第二校验步骤。

步骤506、若所述第二未下载图片地址集不为空，则访问所述第二未下载图片地址集的每个所述图片地址并下载。

若第二未下载图片地址集不为空，则表明有些被记录为成功下载的图片，实际上并没有被成功存储，该些图片对应的图片地址被记录在第二未下载图片地址集中。此时，则返回本实施例的方法中，生成图片地址集的步骤中，由第二未下载图片地址集替代原生成的图片地址集，并执行后续的步骤，进行对第二未下载图片地址集内的图片地址的访问以下载、存储。上述过程重复进行，直至第二未下载图片地址集为空，进而结束本实施例的第二校验步骤。

可见，本实施例的图片批量下载方法，通过第一校验步骤、第二校验步骤对图片批量下载的结果进行了验证，能够有效的保证图片批量下载的准确度和完整度。

基于同一发明构思，本发明实施例还提供了一种图片批量下载装置，参考图6，其包括：

获取模块601，用于确定目标网页，获取所述目标网页上多幅图片对应的多个图片地址；

融合模块602，用于根据多个所述图片地址，生成图片地址集；

下载模块603，用于访问所述图片地址集内的每个所述图片地址并下载，获得多幅图片；

存储模块604，用于存储多幅所述图片。

在一个可选的实施例中，所述获取模块601，具体用于：访问所述目标网页的数据库；根据预设规则，确定所述目标网页的数据库中用于记录图片地址的数据段；根据所述用于记录图片地址的数据段，获取所述目标网页上多幅图片对应的多个图片地址。

在一个可选的实施例中，所述融合模块602，具体用于：对多个所述图片地址进行两两比对，确定是否存在相同的至少两个所述图片地址；若存在相同的至少两个所述图片地址，则保留相同的至少两个所述图片地址中的一个，其余的删除。

在一个可选的实施例中，所述下载模块603，具体用于：调用网页测试工具，通过所述网页测试工具访问所述图片地址集内的所述图片地址；调用输入设备模拟工具，通过所述输入设备模拟工具模拟下载操作，以下载获得所述图片。

在一个可选的实施例中，参考图7，所述的图片批量下载装置，还包括：

第一校验模块605，用于根据访问的所述图片地址，生成已下载图片地址集；计算所述图片地址集和所述已下载图片地址集的差集，生成第一未下载图片地址集；若所述第一未下载图片地址集不为空，则访问所述第一未下载图片地址集的每个所述图片地址并下载。

进一步的，本实施例的图片批量下载装置，还包括：

第二校验模块606，用于提取存储的多幅所述图片的图片名称，生成下载成功图片名称集；根据访问的所述图片地址，提取所述图片地址对应的图片的图片名称，生成已下载图片名称集；计算所述下载成功图片名称集和所述已下载图片名称集的差集，确定所述差集中包括的图片名称对应的图片地址，生成第二未下载图片地址集；若所述第二未下载图片地址集不为空，则访问所述第二未下载图片地址集的每个所述图片地址并下载。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的图片批量下载方法。

上述实施例的电子设备用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任意一实施例所述的图片批量下载方法。

上述实施例的存储介质用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围（包括权利要求）被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图片批量下载方法，其特征在于，包括：

确定目标网页，获取所述目标网页上多幅图片对应的多个图片地址；

根据多个所述图片地址，生成图片地址集；

访问所述图片地址集内的每个所述图片地址并下载，获得多幅图片；

存储多幅所述图片；

根据访问的所述图片地址，生成已下载图片地址集；

计算所述图片地址集和所述已下载图片地址集的差集，生成第一未下载图片地址集；

若所述第一未下载图片地址集不为空，则访问所述第一未下载图片地址集的每个所述图片地址并下载；

提取所述已下载图片地址集内图片地址对应的图片的图片名称，生成已下载图片名称集；

提取存储的多幅所述图片的图片名称，生成已存储图片名称集；

计算所述已下载图片名称集和所述已存储图片名称集的差集，确定所述差集中包括的图片名称对应的图片地址，生成第二未下载图片地址集；

若所述第二未下载图片地址集不为空，则访问所述第二未下载图片地址集的每个所述图片地址并下载。

2.根据权利要求1所述的图片批量下载方法，其特征在于，所述获取所述目标网页上多幅图片对应的多个图片地址，包括：

访问所述目标网页的数据库；

根据预设规则，确定所述目标网页的数据库中用于记录图片地址的数据段；

根据所述用于记录图片地址的数据段，获取所述目标网页上多幅图片对应的多个图片地址。

3.根据权利要求1所述的图片批量下载方法，其特征在于，所述根据多个所述图片地址，生成图片地址集，包括：

对多个所述图片地址进行两两比对，确定是否存在相同的至少两个所述图片地址；

若存在相同的至少两个所述图片地址，则保留相同的至少两个所述图片地址中的一个，其余的删除。

4.根据权利要求1所述的图片批量下载方法，其特征在于，所述访问所述图片地址集内的每个所述图片地址并下载，获得多幅图片，包括：

调用网页测试工具，通过所述网页测试工具访问所述图片地址集内的所述图片地址；

调用输入设备模拟工具，通过所述输入设备模拟工具模拟下载操作，以下载获得所述图片。

5.一种图片批量下载装置，其特征在于，包括：

获取模块，用于确定目标网页，获取所述目标网页上多幅图片对应的多个图片地址；

融合模块，用于根据多个所述图片地址，生成图片地址集；

下载模块，用于访问所述图片地址集内的每个所述图片地址并下载，获得多幅图片；

存储模块，用于存储多幅所述图片；

第一校验模块，用于根据访问的所述图片地址，生成已下载图片地址集；计算所述图片地址集和所述已下载图片地址集的差集，生成第一未下载图片地址集；若所述第一未下载图片地址集不为空，则访问所述第一未下载图片地址集的每个所述图片地址并下载；

第二校验模块，用于提取所述已下载图片地址集内图片地址对应的图片的图片名称，生成已下载图片名称集；提取存储的多幅所述图片的图片名称，生成已存储图片名称集；计算所述已下载图片名称集和所述已存储图片名称集的差集，确定所述差集中包括的图片名称对应的图片地址，生成第二未下载图片地址集；若所述第二未下载图片地址集不为空，则访问所述第二未下载图片地址集的每个所述图片地址并下载。

6.根据权利要求5所述的图片批量下载装置，其特征在于，所述获取模块，具体用于：访问所述目标网页的数据库；根据预设规则，确定所述目标网页的数据库中用于记录图片地址的数据段；根据所述用于记录图片地址的数据段，获取所述目标网页上多幅图片对应的多个图片地址。

7.根据权利要求5所述的图片批量下载装置，其特征在于，所述融合模块，具体用于：对多个所述图片地址进行两两比对，确定是否存在相同的至少两个所述图片地址；若存在相同的至少两个所述图片地址，则保留相同的至少两个所述图片地址中的一个，其余的删除。

8.根据权利要求5所述的图片批量下载装置，其特征在于，所述下载模块，具体用于：调用网页测试工具，通过所述网页测试工具访问所述图片地址集内的所述图片地址；调用输入设备模拟工具，通过所述输入设备模拟工具模拟下载操作，以下载获得所述图片。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任意一项所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至4任一所述方法。

Images