CN117725376A - 图文数据的关系挖掘方法、装置、设备和可读存储介质 - Google Patents

Abstract

本申请公开了一种图文数据的关系挖掘方法、装置、电子设备和计算机可读存储介质，本申请实施例通过获取待挖掘的图文数据；确定图文数据中的各个目标图像在图文数据中的图像布局信息；基于各个目标图像的图像布局信息，确定各个目标图像在图文数据中的至少一个排列方向上的排列指示信息；基于各个目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向；基于各个目标图像在第一排列方向上的中心点对图文数据进行区域划分，得到每个目标图像对应的图像区域；基于各段描述文本的文本区域，以及各个目标图像的图像区域，确定出图文数据中存在关系的描述文本和目标图像，可以提高图文数据的关系挖掘效率。

Description

图文数据的关系挖掘方法、装置、设备和可读存储介质

技术领域

本申请涉及数据处理技术领域，具体涉及一种图文数据的关系挖掘方法、装置、电子设备和计算机可读存储介质。

背景技术

在互联网的浪潮下，人们经常会在一些社交平台上分享笔记、视频等一些包含图文数据的多媒体内容，以用于分享心得、发布广告等，有时需明确人们发布的图文数据中的一些图像和文字之间是否存在关系，以便于更好的应对用户需求，例如，在对一些商品进行精准检索和识别的场景中，需明确每一图文数据中的图像和文字之间的关系，来精准匹配相应的商品信息。

在现有技术中，一般是通过人为手动的方式来为图文数据中出现的图像和文字标注相应的信息，以实现两者之间关系的匹配，但由于需挖掘关系的图文数据过多，而且，人们手动标注所花费的时间过长，从而导致图文数据的关系挖掘效率较低。

发明内容

本申请实施例提供一种图文数据的关系挖掘方法、装置、电子设备和计算机可读存储介质，可以提高图文数据的关系挖掘效率。

第一方面，本申请实施例提供一种图文数据的关系挖掘方法，上述方法包括：

获取待挖掘的图文数据，上述图文数据中包括至少一个目标图像和至少一段描述文本；

确定上述图文数据中的各个目标图像在上述图文数据中的图像布局信息；

基于各个上述目标图像的图像布局信息，确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息；

基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向；

基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，得到每个目标图像对应的图像区域；

基于各段上述描述文本的文本区域，以及各个上述目标图像的图像区域，确定出上述图文数据中存在关系的描述文本和目标图像。

第二方面，本申请实施例还提供一种图文数据的关系挖掘装置，上述装置包括：

数据获取模块，用于获取待挖掘的图文数据，上述图文数据中包括至少一个目标图像和至少一段描述文本；

第一信息确定模块，用于确定上述图文数据中的各个目标图像在上述图文数据中的图像布局信息；

第二信息确定模块，用于基于各个上述目标图像的图像布局信息，确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息；

方向确定模块，用于基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向；

区域划分模块，用于基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，得到每个目标图像对应的图像区域；

关系确定模块，用于基于各段上述描述文本的文本区域，以及各个上述目标图像的图像区域，确定出上述图文数据中存在关系的描述文本和目标图像。

第三方面，本申请实施例还提供一种电子设备，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本申请实施例所提供的任一种图文数据的关系挖掘方法中的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种图文数据的关系挖掘方法中的步骤。

本申请实施例中通过获取待挖掘的图文数据，该图文数据中包括至少一个目标图像和至少一段描述文本，从而通过确定上述图文数据中的各个目标图像在上述图文数据中的图像布局信息，以基于各个上述目标图像的图像布局信息，来确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息，然后对该排列指示信息进行判断，基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向，再基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，得到每个目标图像对应的图像区域，最后，基于各段描述文本的文本区域，以及各个目标图像的图像区域，确定出图文数据中存在关系的描述文本和目标图像，从而通过图文数据中的目标图像和描述文本的相对位置关系，以及目标图像的排列情况，来确定目标图像和描述文本之间是否存在关系，提高了图文数据的关系挖掘效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图文数据的关系挖掘方法的一种实施例流程示意图；

图2是本申请实施例中提供的图文数据显示示意图；

图3是本申请实施例提供的图文数据的关系挖掘装置的结构示意图；

图4是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在对本申请实施例进行详细地解释说明之前，先对本申请实施例涉及到的一些名词进行解释说明。

其中，在本申请实施例的描述中，术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供一种图文数据的关系挖掘方法、装置、电子设备和计算机可读存储介质。具体地，本申请实施例的图文数据的关系挖掘方法可以由电子设备执行，其中，该电子设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC，Personal Computer)、个人数字助理(PersonalDigital Assistant，PDA)等终端设备，终端还可以包括客户端，该客户端可以是游戏应用客户端、携带有游戏程序的浏览器客户端或即时通信客户端等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

例如，该电子设备以终端为例进行说明，该终端可以。

基于上述问题，本申请实施例提供一种图文数据的关系挖掘方法、装置、电子设备和计算机可读存储介质，可以提高图文数据的关系挖掘效率。

以下结合附图分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于附图所示的顺序执行所示出或描述的步骤。

在本实施例中，以终端为例进行说明，本实施例提供了一种图文数据的关系挖掘方法，如图1所示，该图文数据的关系挖掘方法的具体流程可以如下：

101、获取待挖掘的图文数据，上述图文数据中包括至少一个目标图像和至少一段描述文本。

其中，上述图文数据可以是一张图片，图片中包含至少一个目标图像和至少一段描述文本。

可选地，为了便于进行数据处理，终端可以将目标图像和描述文本处理为图像框和文本框，该图像框需包含目标图像，该文本框需包含描述文本，终端还可以为不同的图像框和不同的文本框设置不同的标号或颜色以进行区分。

示例性地，上述图文数据可以是评测类的广告图片，该广告图片中包括至少两种商品用于进行测评，可以理解的是广告图片中的商品图像为上述目标图像，广告图片中的文字为上述描述文本。

在本实施例中，终端通过获取包括至少一个目标图像和至少一段描述文本的图文数据，来对图文数据中的图像元素和文本元素之间的关系进行挖掘。可以理解的是，一个目标图像可能对应多段描述文本，而有些情况下一个文本可能对应多个目标图像。

示例性地，如图2所示，图2所示的图文数据中包括6件商品，以及不同的描述文本，在图2中引入了商品框(即上述图像框)和文本框，以通过商品框和文本框来表示图2中的商品和描述文本，从图2中可以看出，图文数据中的商品和描述文本的关系应为：

其中，上述图文数据中的商品和描述文本的关系中第一位阿拉伯数字用于指示商品，第二位阿拉伯数字和第三位阿拉伯数字均用于指示描述文本。

102、确定上述图文数据中的各个目标图像在上述图文数据中的图像布局信息。

在本实施例中，终端可以通过获取各个目标图像在图文数据中的图像位置和图像面积，来确定各个目标图像在上述图文数据中的图像布局信息。

具体地，若上述目标图像以图像框的形式呈现，那么上述目标图像的图像布局信息可以是以(x1，y1，x2，y2)进行表示，其中，(x1，y1)用于指示目标图像的图像框的左上角坐标，(x2，y2)指示目标图像的图像框的右下角的坐标。

具体地，终端还可以将目标图像的中心点确定为目标图像在图文数据中的位置，再计算出目标图像在图文数据中的面积，以将位置和面积确定为上述图像布局信息。

103、基于各个上述目标图像的图像布局信息，确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息。

在本实施例中，终端可以基于各个上述目标图像在图文数据上的图像布局信息的，可以确定出目标图像在至少一个排列方向上的排列指示信息，以用于指示目标图像在至少一个排列方向上的排列情况。

其中，上述排列指示信息包括但不限于是间距排列信息和图像尺寸排列信息。上述间距排列信息用于指示在一个排列方向上的目标图像的排列间距情况，可以通过间距标准差和间距均值来指示；图像尺寸排列信息用于指示下至少一个排列方向上的目标图像的图像尺寸的排列情况，该图像尺寸为目标图像在响应排列方向上的图像长度，可以通过尺寸标准差和尺寸均值来表示。

在一些实施例中，终端可以基于上述目标图像的图像布局信息中的图像位置，来确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息。

具体地，若上述图像布局信息中只有一个图像位置，则终端可以基于上述目标图像的图像布局信息中的图像位置和图像面积，确定每个目标图像在第二排列方向上的中心点，以及每个目标图像在上述第二排列方向上的图像尺寸。

其中，终端可以基于目标图像的图像位置和图像面积，确定目标图像在第二排列方向上的中心点，以及确定目标图像在图文数据中的第二排列方向上的最小图像位置和最大图像位置，然后计算最小图像位置和最大图像位置之间的差值作为目标图像在第二排列方向上的图像尺寸。

在确定每个目标图像在第二排列方向上的中心点，以及每个目标图像在上述第二排列方向上的图像尺寸之后，终端可以基于每个上述目标图像在上述第二排列方向上的中心点，确定上述第二排列方向上的目标图像对应的间距排列信息；基于上述第二排列方向上的各个目标图像的图像尺寸，确定上述第二排列方向上的目标图像对应的图像尺寸排列信息。

具体地，若上述目标图像以图像框的形式呈现，那么上述目标图像的图像布局信息可以是以(x1，y1，x2，y2)进行表示，终端可以基于上述目标图像的图像布局信息中的两个x轴坐标或两个y轴坐标，来确定每个目标图像在第二排列方向上的中心点，以及每个目标图像在上述第二排列方向上的图像尺寸。

其中，终端可以将同一坐标轴上的两个坐标之间的中心点确定为目标图像在第二排列方向上的中心点，以及终端可以将同一坐标轴上的两个坐标之间的差值确定为目标图像在第二排列方向上的图像尺寸。

在确定每个目标图像在第二排列方向上的中心点，以及每个目标图像在上述第二排列方向上的图像尺寸之后，终端可以基于每个上述目标图像在上述第二排列方向上的中心点，确定上述第二排列方向上的目标图像对应的间距排列信息；基于上述第二排列方向上的各个目标图像的图像尺寸，确定上述第二排列方向上的目标图像对应的图像尺寸排列信息。

其中，由于上述间距排列信息包括间距标准差和间距均值，上述基于每个上述目标图像在上述第二排列方向上的中心点，确定上述第二排列方向上的目标图像对应的间距排列信息，可以包括：基于每个上述目标图像在上述第二排列方向上的中心点，计算上述第二排列方向上的相邻上述目标图像的中心点之间的点间距；基于上述第二排列方向上的相邻上述目标图像的中心点之间的点间距，确定上述第二排列方向上的目标图像对应的间距标准差和间距均值。

示例性地，若上述目标图像以图像框的形式呈现，那么上述目标图像的图像布局信息可以是以(x1，y1，x2，y2)进行表示，以同一坐标轴上的两个坐标对目标图像的图像框进行排列，例如从小到大排列，并且由于可能存在至少两个目标图像是部分重叠的，所以在基于一个坐标对目标图像的图像框进行排列的过程中，出现两个目标图像的坐标相同时，引入另一个坐标对两个坐标相同的目标图像进行排列，从而若比较的是y轴坐标就会得到目标图像在y轴排列方向上的排列顺序(y11，y12)，(y21，y22)，(y31，y32)···(yM1,yM2)，若比较的是x轴坐标就会得到目标图像在x轴排列方向上的排列顺序(x11，x12)，(x21，x22)，(x31，x32)，···，(xM1,xM2)。

然后，再依次计算每个目标图像在一排列方向上的中心点，即y轴或x轴排列方向上的(C1，C2，C3，···，CM)，其中，CM＝(yM1+yM2)/2，或者CM＝(xM1+xM2)/2。再计算每个目标图像在一排列方向上的图像尺寸，即y轴或x轴排列方向上的(L1，L2，L3，···，LM)，其中，LM＝(yM1-yM2)，或者LM＝(xM1-xM2)。再计算在一排列方向上的相邻目标图像的中心点之间的点间距，即y轴或x轴排列方向上的(C2-C1，C3-C2，···，CM-CM-1)。

最后，基于上述得到的每个目标图像在一排列方向上的图像尺寸，确定在一排列方向上的目标图像对应的尺寸标准差和尺寸均值，基于上述得到的每个目标图像在一排列方向上的点间距，确定在一排列方向上的目标图像对应的间距标准差和间距均值。

104、基于各个所述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向。

在本实施例中，终端需基于上述得到的第一排列方向上的上述排列指示信息，判断该排列指示信息是否符合终端预先设置好的顺序排列条件，以基于是否符合顺序排列条件，来明确排列方向上的目标图像是否按规则顺序排列，该顺序排列条件用于指示一排列方向上的目标图像是否按规则顺序排列，若符合该顺序排列条件，说明顺序排列，若不符合该顺序排列条件，说明不是顺序排列。其中，上述第一排列方向可以为至少一个。

在一些实施例中，终端基于上述得到的第一排列方向上的上述排列指示信息，判断该排列指示信息是否符合终端预先设置好的顺序排列条件，可以包括：终端基于上述尺寸标准差和上述尺寸均值之间的比值，确定上述目标图像在第二排列方向上的尺寸排列比值。然后，基于上述间距标准差和上述间距均值之间的比值，确定上述目标图像在第二排列方向上的间距排列比值。最后，基于上述尺寸排列比值和上述间距排列比值进行判断，若上述尺寸排列比值和上述间距排列比值均小于预设的排列阈值，说明目标图像在第二排列方向上是规则排列的，则确定上述第二排列方向上的上述排列指示信息符合上述顺序排列条件；若所述尺寸排列比值和/或所述间距排列比值大于等于预设的排列阈值，说明目标图像在第二排列方向上是非规则排列的，则确定所述第二排列方向上的所述排列指示信息符合所述顺序排列条件。其中，上述排列阈值可以根据需求进行设定，例如0.2。

105、基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，得到每个目标图像对应的图像区域。

在本实施例中，终端在得到符合上述顺序排列条件的至少一个第一排列方向时，终端基于上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，以准确得到每个目标图像对应的图像区域。

具体地，上述基于各个所述目标图像在第一排列方向上的中心点对所述图文数据进行区域划分，可以包括：基于所述目标图像在第一排列方向上的中心点，确定所述第一排列方向上的相邻目标图像之间的切分线；基于所述第一排列方向上的相邻目标图像之间的切分线对所述图文数据进行区域划分。

其中，终端可以计算相邻目标图像的中心点之间的中心值，将该中心值的坐标作为该相邻目标图像的切分线。

示例性地，若上述目标图像以图像框的形式呈现，那么上述目标图像的图像布局信息可以是以(x1，y1，x2，y2)进行表示，且目标图像在y轴排列方向上的排列顺序(y11，y12)，(y21，y22)，(y31，y32)···(yM1,yM2)，目标图像在x轴排列方向上的排列顺序(x11，x12)，(x21，x22)，(x31，x32)，···，(xM1,xM2)。可得到每个目标图像在一排列方向上的中心点，即y轴或x轴排列方向上的(C1，C2，C3，···，CM)。

基于上述设定，在y轴或x轴排列方向上的切分线的坐标依次为(C1+C2)/2，(C2+C3)/2，···，(CM-1+CM)/2)，即在y轴或x轴排列方向上总共存在M-1条切分线，将图片空间切分为M个区域。

106、基于各段所述描述文本的文本区域，以及各个所述目标图像的图像区域，确定出所述图文数据中存在关系的描述文本和目标图像。

在本实施例中，终端在得到各个所述目标图像的图像区域时，终端基于各段所述描述文本的文本区域，以及各个所述目标图像的图像区域，确定出所述图文数据中存在关系的描述文本和目标图像，从而提高图文数据的关系挖掘速度，以及挖掘效率，例如经实验得到确定目标图像和描述文本的速度缩减为15ms以内，从而为后续更为准确的匹配商品信息，在商品的精准检索和识别、SPU识别项目等场景中提供数据支持。

并且，由于本方法无需对数据进行标注，从而降低了研发成本，也避免了标注数据所需配置的GPU、NPU等资源，同时也降低了部署成本。而且，本方法可适用于不同场景，不易出现过拟合的现象，从而提高了稳定性和鲁棒性。

具体地，可基于描述文本的文本区域的中心点，判断描述文本是否与目标图像存在关系，即若描述文本的中心点处于目标图像的图像区域内，说明描述文本与目标图像存在关系，又或者，若描述文本的中心点处于((C1+C2)/2，(C2+C3)/2)区间内，说明描述文本与相应排列方向上的第二个目标图像存在关系。

在一些实施例中，终端可基于需求以字典的形式输出图文数据中的存在关系的目标图像和描述文本，如图2所示，从而提高了数据的可读性，以及缩减了存储关系数据所需占用的存储资源。

可以理解的是，在确定图文数据中的目标图像和描述文本之间的关系的过程中，若处于无法继续判断目标图像和描述文本之间的关系的情况时，终端可以返回相应提示信息，以提示相关用户，例如返回None。其中，上述无法继续判断目标图像和描述文本之间的关系的情况可以是图文数据中的目标图像或描述文本的数量来确定，例如目标图像的数量为0，或描述文本的数量为0。又或者，若目标图像的数量为1，则可认为图文数据中的所有描述文本均与该目标图像存在关系。

在一些实施例中，确定所述图文数据中的目标图像的数量；若所述目标图像的数量为两个，且两个所述目标图像之间的重叠比例小于或等于预设的比例阈值，则基于两个所述目标图像的图像布局信息，确定两个所述目标图像之间的切分线；基于两个所述目标图像之间的切分线对所述图文数据进行区域划分。

而倘若所述目标图像的数量为两个，且两个所述目标图像之间的重叠比例大于预设的比例阈值，则判断两个目标图像的图像面积，若两个目标图像的图像面积相差的倍数大于或等于预设倍数，例如4倍，则可以将对应图像区域的描述文本划分为面积大的目标图像，若两个目标图像的图像面积相差的倍数小于预设倍数，则确定处于无法继续判断目标图像和描述文本之间的关系的情况。

其中，上述切分线可以是，终端可以确定两个目标图像的第三排列方向，并进一步确定与该第三排列方向垂直的第四排列方向，计算在第三排列方向上的两个目标图像之间的空闲区域的中心点，并将中心点在第四排列方向上的线确定为切分线。

在一些实施例中，若所述目标图像的数量为两个，且两个所述目标图像之间的重叠比例小于或等于预设的比例阈值，则终端可以基于最近邻原则，通过比较目标图像和描述文本的中心点，确定目标图像的中心点和描述文本的中心点的邻近关系，从而确定与目标图像存在关系的描述文本。

在一些实施例中，若所述图文数据中存在相互重叠的一组重叠目标图像，且一组所述重叠目标图像之间的重叠比例大于预设比例阈值，则基于一组重叠目标图像分别对应的图像面积，从一组重叠目标图像中保留图像面积最大的目标图像。

由以上内容可以看出，通过获取待挖掘的图文数据，该图文数据中包括至少一个目标图像和至少一段描述文本，从而通过确定上述图文数据中的各个目标图像在上述图文数据中的图像布局信息，以基于各个上述目标图像的图像布局信息，来确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息，然后对该排列指示信息进行判断，基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向，再基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，得到每个目标图像对应的图像区域，最后，基于各段描述文本的文本区域，以及各个目标图像的图像区域，确定出图文数据中存在关系的描述文本和目标图像，从而通过图文数据中的目标图像和描述文本的相对位置关系，以及目标图像的排列情况，来确定目标图像和描述文本之间是否存在关系，提高了图文数据的关系挖掘效率。

为了更好地实施以上方法，本申请实施例还提供一种图文数据的关系挖掘装置，该图文数据的关系挖掘装置具体可以集成在电子设备中，比如，计算机设备，该计算机设备可以为终端、服务器等设备。

其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

比如，在本实施例中，将以图文数据的关系挖掘装置具体集成在终端为例，对本申请实施例的方法进行详细说明，本实施例提供了一种图文数据的关系挖掘装置，如图3所示，该图文数据的关系挖掘装置可以包括：

数据获取模块301，用于获取待挖掘的图文数据，上述图文数据中包括至少一个目标图像和至少一段描述文本；

第一信息确定模块302，用于确定上述图文数据中的各个目标图像在上述图文数据中的图像布局信息；

第二信息确定模块303，用于基于各个上述目标图像的图像布局信息，确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息；

方向确定模块304，用于基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向；

区域划分模块305，用于基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，得到每个目标图像对应的图像区域；

关系确定模块306，用于基于各段上述描述文本的文本区域，以及各个上述目标图像的图像区域，确定出上述图文数据中存在关系的描述文本和目标图像。

在一些实施例中，上述图像布局信息中包括图像位置，上述排列指示信息包括间距排列信息和图像尺寸排列信息，上述第二信息确定模块303具体用于：

基于每个上述目标图像的图像布局信息中的图像位置，确定每个上述目标图像在第二排列方向上的中心点，以及每个上述目标图像在上述第二排列方向上的图像尺寸；

基于每个上述目标图像在上述第二排列方向上的中心点，确定上述第二排列方向上的目标图像对应的间距排列信息；

基于上述第二排列方向上的各个目标图像的图像尺寸，确定上述第二排列方向上的目标图像对应的图像尺寸排列信息。

在一些实施例中，上述间距排列信息包括间距标准差和间距均值，上述第二信息确定模块303具体用于：

基于每个上述目标图像在上述第二排列方向上的中心点，计算上述第二排列方向上的相邻上述目标图像的中心点之间的点间距；

基于上述第二排列方向上的相邻上述目标图像的中心点之间的点间距，确定上述第二排列方向上的目标图像对应的上述间距标准差和上述间距均值。

在一些实施例中，上述图像尺寸排列信息包括尺寸标准差和尺寸均值，上述方向确定模块304具体用于：

基于上述尺寸标准差和上述尺寸均值之间的比值，确定上述目标图像在第二排列方向上的尺寸排列比值；

基于上述间距标准差和上述间距均值之间的比值，确定上述目标图像在第二排列方向上的间距排列比值；

若上述尺寸排列比值和上述间距排列比值均小于预设的排列阈值，则确定上述第二排列方向上的上述排列指示信息符合上述顺序排列条件；

若上述尺寸排列比值和/或上述间距排列比值大于等于预设的排列阈值，则确定上述第二排列方向上的上述排列指示信息符合上述顺序排列条件。

在一些实施例中，上述图文数据的关系挖掘装置还包括数量确定模块，上述数量确定模块具体用于：

确定上述图文数据中的目标图像的数量；

若上述目标图像的数量为两个，且两个上述目标图像之间的重叠比例小于或等于预设的比例阈值，则基于两个上述目标图像的图像布局信息，确定两个上述目标图像之间的切分线；

基于两个上述目标图像之间的切分线对上述图文数据进行区域划分。

在一些实施例中，上述图文数据的关系挖掘装置还包括重叠模块，上述重叠模块具体用于：

若上述图文数据中存在相互重叠的一组重叠目标图像，且一组上述重叠目标图像之间的重叠比例大于预设比例阈值，则基于一组重叠目标图像分别对应的图像面积，从一组重叠目标图像中保留图像面积最大的目标图像。

在一些实施例中，上述区域划分模块305具体用于：

基于上述目标图像在第一排列方向上的中心点，确定上述第一排列方向上的相邻目标图像之间的切分线；

基于上述第一排列方向上的相邻目标图像之间的切分线对上述图文数据进行区域划分。

由上可知，通过数据获取模块301获取待挖掘的图文数据，该图文数据中包括至少一个目标图像和至少一段描述文本，从而通过第一信息确定模块302确定上述图文数据中的各个目标图像在上述图文数据中的图像布局信息，以通过第二信息确定模块303基于各个上述目标图像的图像布局信息，来确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息，然后对该排列指示信息进行判断，通过方向确定模块304基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向，再通过区域划分模块305基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，得到每个目标图像对应的图像区域，最后，通过关系确定模块306基于各段描述文本的文本区域，以及各个目标图像的图像区域，确定出图文数据中存在关系的描述文本和目标图像，从而通过图文数据中的目标图像和描述文本的相对位置关系，以及目标图像的排列情况，来确定目标图像和描述文本之间是否存在关系，提高了图文数据的关系挖掘效率。

相应的，本申请实施例还提供一种电子设备，该电子设备可以为终端，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC，PersonalComputer)、个人数字助理(Personal Digital Assistant，PDA)等终端设备。如图4所示，图4为本申请实施例提供的电子设备的结构示意图。该电子设备400包括有一个或者一个以上处理核心的处理器401、有一个或一个以上计算机可读存储介质的存储器402及存储在存储器402上并可在处理器上运行的计算机程序。其中，处理器401与存储器402电性连接。本领域技术人员可以理解，图中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备400的各个部分，通过运行或加载存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备400的各种功能和处理数据，从而对电子设备400进行整体监控。

在本申请实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能：

获取待挖掘的图文数据，上述图文数据中包括至少一个目标图像和至少一段描述文本；

确定上述图文数据中的各个目标图像在上述图文数据中的图像布局信息；

基于各个上述目标图像的图像布局信息，确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息；

基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向；

基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，得到每个目标图像对应的图像区域；

基于各段上述描述文本的文本区域，以及各个上述目标图像的图像区域，确定出上述图文数据中存在关系的描述文本和目标图像。

在一些实施例中，上述图像布局信息中包括图像位置，上述排列指示信息包括间距排列信息和图像尺寸排列信息，上述基于各个上述目标图像的图像布局信息，确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息，包括：

基于每个上述目标图像的图像布局信息中的图像位置，确定每个上述目标图像在第二排列方向上的中心点，以及每个上述目标图像在上述第二排列方向上的图像尺寸；

基于每个上述目标图像在上述第二排列方向上的中心点，确定上述第二排列方向上的目标图像对应的间距排列信息；

基于上述第二排列方向上的各个目标图像的图像尺寸，确定上述第二排列方向上的目标图像对应的图像尺寸排列信息。

在一些实施例中，上述间距排列信息包括间距标准差和间距均值，上述基于每个上述目标图像在上述第二排列方向上的中心点，确定上述第二排列方向上的目标图像对应的间距排列信息，包括：

基于每个上述目标图像在上述第二排列方向上的中心点，计算上述第二排列方向上的相邻上述目标图像的中心点之间的点间距；

基于上述第二排列方向上的相邻上述目标图像的中心点之间的点间距，确定上述第二排列方向上的目标图像对应的上述间距标准差和上述间距均值。

在一些实施例中，上述图像尺寸排列信息包括尺寸标准差和尺寸均值，上述基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向，包括：

基于上述尺寸标准差和上述尺寸均值之间的比值，确定上述目标图像在第二排列方向上的尺寸排列比值；

基于上述间距标准差和上述间距均值之间的比值，确定上述目标图像在第二排列方向上的间距排列比值；

若上述尺寸排列比值和上述间距排列比值均小于预设的排列阈值，则确定上述第二排列方向上的上述排列指示信息符合上述顺序排列条件；

若上述尺寸排列比值和/或上述间距排列比值大于等于预设的排列阈值，则确定上述第二排列方向上的上述排列指示信息符合上述顺序排列条件。

在一些实施例中，还包括：

确定上述图文数据中的目标图像的数量；

若上述目标图像的数量为两个，且两个上述目标图像之间的重叠比例小于或等于预设的比例阈值，则基于两个上述目标图像的图像布局信息，确定两个上述目标图像之间的切分线；

基于两个上述目标图像之间的切分线对上述图文数据进行区域划分。

在一些实施例中，还包括：

若上述图文数据中存在相互重叠的一组重叠目标图像，且一组上述重叠目标图像之间的重叠比例大于预设比例阈值，则基于一组重叠目标图像分别对应的图像面积，从一组重叠目标图像中保留图像面积最大的目标图像。

在一些实施例中，上述基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，包括：

基于上述目标图像在第一排列方向上的中心点，确定上述第一排列方向上的相邻目标图像之间的切分线；

基于上述第一排列方向上的相邻目标图像之间的切分线对上述图文数据进行区域划分。

由此，本实施例提供的电子设备400可以带来如下技术效果：提高图文数据的关系挖掘效率。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

可选的，如图4所示，电子设备400还包括：触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407。其中，处理器401分别与触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407电性连接。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

触控显示屏403可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏403可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并生成相应的操作指令，且操作指令执行对应程序。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器401，并能接收处理器401发来的命令并加以执行。触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器401以确定触摸事件的类型，随后处理器401根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中，可以将触控面板与显示面板集成到触控显示屏403而实现输入和输出功能。但是在某些实施例中，触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏403也可以作为输入单元406的一部分实现输入功能。

射频电路404可用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。

音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路405可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路405接收后转换为音频数据，再将音频数据输出处理器401处理后，经射频电路404以发送给比如另一电子设备，或者将音频数据输出至存储器402以便进一步处理。音频电路405还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。

输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

电源407用于给电子设备400的各个部件供电。可选的，电源407可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源407还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管图4中未示出，电子设备400还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种图文数据的关系挖掘方法中的步骤。例如，该计算机程序可以执行如下步骤：

获取待挖掘的图文数据，上述图文数据中包括至少一个目标图像和至少一段描述文本；

确定上述图文数据中的各个目标图像在上述图文数据中的图像布局信息；

基于各个上述目标图像的图像布局信息，确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息；

基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向；

基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，得到每个目标图像对应的图像区域；

基于各段上述描述文本的文本区域，以及各个上述目标图像的图像区域，确定出上述图文数据中存在关系的描述文本和目标图像。

在一些实施例中，上述图像布局信息中包括图像位置，上述排列指示信息包括间距排列信息和图像尺寸排列信息，上述基于各个上述目标图像的图像布局信息，确定各个上述目标图像在上述图文数据中的至少一个排列方向上的排列指示信息，包括：

基于每个上述目标图像的图像布局信息中的图像位置，确定每个上述目标图像在第二排列方向上的中心点，以及每个上述目标图像在上述第二排列方向上的图像尺寸；

基于每个上述目标图像在上述第二排列方向上的中心点，确定上述第二排列方向上的目标图像对应的间距排列信息；

基于上述第二排列方向上的各个目标图像的图像尺寸，确定上述第二排列方向上的目标图像对应的图像尺寸排列信息。

在一些实施例中，上述间距排列信息包括间距标准差和间距均值，上述基于每个上述目标图像在上述第二排列方向上的中心点，确定上述第二排列方向上的目标图像对应的间距排列信息，包括：

基于每个上述目标图像在上述第二排列方向上的中心点，计算上述第二排列方向上的相邻上述目标图像的中心点之间的点间距；

基于上述第二排列方向上的相邻上述目标图像的中心点之间的点间距，确定上述第二排列方向上的目标图像对应的上述间距标准差和上述间距均值。

在一些实施例中，上述图像尺寸排列信息包括尺寸标准差和尺寸均值，上述基于各个上述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向，包括：

基于上述尺寸标准差和上述尺寸均值之间的比值，确定上述目标图像在第二排列方向上的尺寸排列比值；

基于上述间距标准差和上述间距均值之间的比值，确定上述目标图像在第二排列方向上的间距排列比值；

若上述尺寸排列比值和上述间距排列比值均小于预设的排列阈值，则确定上述第二排列方向上的上述排列指示信息符合上述顺序排列条件；

若上述尺寸排列比值和/或上述间距排列比值大于等于预设的排列阈值，则确定上述第二排列方向上的上述排列指示信息符合上述顺序排列条件。

在一些实施例中，还包括：

确定上述图文数据中的目标图像的数量；

若上述目标图像的数量为两个，且两个上述目标图像之间的重叠比例小于或等于预设的比例阈值，则基于两个上述目标图像的图像布局信息，确定两个上述目标图像之间的切分线；

基于两个上述目标图像之间的切分线对上述图文数据进行区域划分。

在一些实施例中，还包括：

若上述图文数据中存在相互重叠的一组重叠目标图像，且一组上述重叠目标图像之间的重叠比例大于预设比例阈值，则基于一组重叠目标图像分别对应的图像面积，从一组重叠目标图像中保留图像面积最大的目标图像。

在一些实施例中，上述基于各个上述目标图像在第一排列方向上的中心点对上述图文数据进行区域划分，包括：

基于上述目标图像在第一排列方向上的中心点，确定上述第一排列方向上的相邻目标图像之间的切分线；

基于上述第一排列方向上的相邻目标图像之间的切分线对上述图文数据进行区域划分。

可见，计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种图文数据的关系挖掘方法中的步骤，从而带来如下技术效果：提高图文数据的关系挖掘效率。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种图文数据的关系挖掘方法中的步骤，因此，可以实现本申请实施例所提供的任一种图文数据的关系挖掘方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图文数据的关系挖掘方法、装置、电子设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图文数据的关系挖掘方法，其特征在于，所述方法包括：

获取待挖掘的图文数据，所述图文数据中包括至少一个目标图像和至少一段描述文本；

确定所述图文数据中的各个目标图像在所述图文数据中的图像布局信息；

基于各个所述目标图像的图像布局信息，确定各个所述目标图像在所述图文数据中的至少一个排列方向上的排列指示信息；

基于各个所述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向；

基于各个所述目标图像在第一排列方向上的中心点对所述图文数据进行区域划分，得到每个目标图像对应的图像区域；

基于各段所述描述文本的文本区域，以及各个所述目标图像的图像区域，确定出所述图文数据中存在关系的描述文本和目标图像。

2.如权利要求1所述的图文数据的关系挖掘方法，其特征在于，所述图像布局信息中包括图像位置，所述排列指示信息包括间距排列信息和图像尺寸排列信息，所述基于各个所述目标图像的图像布局信息，确定各个所述目标图像在所述图文数据中的至少一个排列方向上的排列指示信息，包括：

基于每个所述目标图像的图像布局信息中的图像位置，确定每个所述目标图像在第二排列方向上的中心点，以及每个所述目标图像在所述第二排列方向上的图像尺寸；

基于每个所述目标图像在所述第二排列方向上的中心点，确定所述第二排列方向上的目标图像对应的间距排列信息；

基于所述第二排列方向上的各个目标图像的图像尺寸，确定所述第二排列方向上的目标图像对应的图像尺寸排列信息。

3.如权利要求2所述的图文数据的关系挖掘方法，其特征在于，所述间距排列信息包括间距标准差和间距均值，所述基于每个所述目标图像在所述第二排列方向上的中心点，确定所述第二排列方向上的目标图像对应的间距排列信息，包括：

基于每个所述目标图像在所述第二排列方向上的中心点，计算所述第二排列方向上的相邻所述目标图像的中心点之间的点间距；

基于所述第二排列方向上的相邻所述目标图像的中心点之间的点间距，确定所述第二排列方向上的目标图像对应的所述间距标准差和所述间距均值。

4.如权利要求3所述的图文数据的关系挖掘方法，其特征在于，所述图像尺寸排列信息包括尺寸标准差和尺寸均值，所述基于各个所述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向，包括：

基于所述尺寸标准差和所述尺寸均值之间的比值，确定所述目标图像在第二排列方向上的尺寸排列比值；

基于所述间距标准差和所述间距均值之间的比值，确定所述目标图像在第二排列方向上的间距排列比值；

若所述尺寸排列比值和所述间距排列比值均小于预设的排列阈值，则确定所述第二排列方向上的所述排列指示信息符合所述顺序排列条件；

若所述尺寸排列比值和/或所述间距排列比值大于等于预设的排列阈值，则确定所述第二排列方向上的所述排列指示信息符合所述顺序排列条件。

5.如权利要求1所述的图文数据的关系挖掘方法，其特征在于，还包括：

确定所述图文数据中的目标图像的数量；

若所述目标图像的数量为两个，且两个所述目标图像之间的重叠比例小于或等于预设的比例阈值，则基于两个所述目标图像的图像布局信息，确定两个所述目标图像之间的切分线；

基于两个所述目标图像之间的切分线对所述图文数据进行区域划分。

6.如权利要求1所述的图文数据的关系挖掘方法，其特征在于，还包括：

若所述图文数据中存在相互重叠的一组重叠目标图像，且一组所述重叠目标图像之间的重叠比例大于预设比例阈值，则基于一组重叠目标图像分别对应的图像面积，从一组重叠目标图像中保留图像面积最大的目标图像。

7.如权利要求1至6任一项所述的图文数据的关系挖掘方法，其特征在于，所述基于各个所述目标图像在第一排列方向上的中心点对所述图文数据进行区域划分，包括：

基于所述目标图像在第一排列方向上的中心点，确定所述第一排列方向上的相邻目标图像之间的切分线；

基于所述第一排列方向上的相邻目标图像之间的切分线对所述图文数据进行区域划分。

8.一种图文数据的关系挖掘装置，其特征在于，所述装置包括：

数据获取模块，用于获取待挖掘的图文数据，所述图文数据中包括至少一个目标图像和至少一段描述文本；

第一信息确定模块，用于确定所述图文数据中的各个目标图像在所述图文数据中的图像布局信息；

第二信息确定模块，用于基于各个所述目标图像的图像布局信息，确定各个所述目标图像在所述图文数据中的至少一个排列方向上的排列指示信息；

方向确定模块，用于基于各个所述目标图像在至少一个排列方向上的排列指示信息，确定出符合预设的顺序排列条件的第一排列方向；

区域划分模块，用于基于各个所述目标图像在第一排列方向上的中心点对所述图文数据进行区域划分，得到每个目标图像对应的图像区域；

关系确定模块，用于基于各段所述描述文本的文本区域，以及各个所述目标图像的图像区域，确定出所述图文数据中存在关系的描述文本和目标图像。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1至7任一项所述的图文数据的关系挖掘方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的图文数据的关系挖掘方法中的步骤。