CN107679070B - 一种智能阅读推荐方法与装置、电子设备 - Google Patents

Abstract

本发明公开了一种智能阅读推荐方法、装置及电子设备，所述方法包括如下步骤：步骤一，获取用户提供的图像；步骤二，根据所述用户提供的图像，从文本上和/或图像上搜索与所述用户提供的图像相关的书籍，得到第一用户阅读书籍候选列表和/或第二用户阅读书籍候选列表，通过本发明可快速准确地搜索到用户想看的书籍，无需用户自己查找，提升用户的体验效果。

Description

一种智能阅读推荐方法与装置、电子设备

技术领域

本发明涉及电子信息搜索领域，尤其涉及一种智能阅读推荐方法与装置、电子设备。

背景技术

随着人工智能相关技术的日益成熟，人们越来越多习惯于使用智能设备完成日常生活中的各种需求，如智能搜索到用户想看书籍，直接呈现给用户；用户在获取信息时，也越来越倾向于使用一张图像、一句语音来作为提出需求的入口，因此，很难让用户再额外花时间去收集其它信息；这种现象对于现有的阅读方法来说无疑是一种挑战。

现有的阅读方法一般具有以下两种：1)用户在已有的书籍列表中选择想看的书籍类别后，进入到相应类别的书籍中查找自己的想看的书籍；2)由用户提供自己想看书籍的名称，作者，出版社等信息搜索书籍库得到相应书籍。

可见，现有的阅读方法要么需要用户在大量书籍类别中找到自己想看书籍的类别后，再在相应类别中找自己想看的书籍，用户需要花费较多的时间才能找到自己想看的书籍，查找效率较低，要么需要用户提供想看书籍的关键信息，如书籍名称、作者、出版社等信息后，才能搜索到相应书籍，对用户要求较高，如果用户提供的信息不正确将很难找到用户喜欢的书籍。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种智能阅读推荐方法与装置、电子设备，以快速准确地搜索到用户想看的书籍，无需用户自己查找，提升了用户的体验效果。

为达上述目的，本发明提供的技术方案如下：

一种智能阅读推荐方法，包括如下步骤：

步骤一，获取用户提供的图像；

步骤二，根据所述用户提供的图像，从文本上和/或图像上搜索与所述用户提供的图像相关的书籍，得到第一用户阅读书籍候选列表和/或第二用户阅读书籍候选列表。

进一步地，所述从文本上搜索与所述用户提供的图像相关的书籍的步骤包括：

利用图像识别方法识别所述用户提供的图像上的文本信息，得到图像文本；

利用预先构建的阅读信息提取模型提取所述用户提供图像的图像文本中的书籍关键信息；

根据提取的书籍关键信息搜索书籍，得到所述第一用户阅读书籍候选列表。

进一步地，所述利用预先构建的阅读信息提取模型提取所述用户提供图像的图像文本中的书籍关键信息的步骤具体包括：

对图像识别得到的图像文本进行分词；

根据分词结果提取所述图像文本每个词的阅读特征,所述阅读特征包括当前词的词面、当前词的词性、当前词的长度、当前词所在句子的词总数、当前词在句子中的位置、当前词前面的符号、当前词后面的符号、当前词是否为阅读词汇特征中的一种或多种特征组合；

将每句图像文本中每个词的阅读特征作为预先构建的阅读信息提取模型的输入，判定每句图像文本与阅读的相关性，将与书籍相关的关键信息作为输出。

进一步地，所述根据提取的书籍关键信息搜索书籍的步骤具体包括：

根据所述书籍关键信息搜索预先构建的书籍库或搜索网络书籍库，得到每种书籍关键信息搜索到的书籍列表；

根据搜索到的书籍列表，将每本书籍与其所在各书籍列表中书籍总数比值的和作为每本书籍的匹配度得分；

选择所述匹配度得分超过预先设定阈值的书籍，得到所述第一用户阅读书籍候选列表。

进一步地，所述从图像上搜索与所述用户提供的图像相关的书籍的步骤包括：

提取所述用户提供的图像的表示特征；

利用提取的图像表示特征进行相似度匹配，搜索相似度较高的书籍或利用提取的图像表示特征构建深度学习模型搜索相应书籍，得到所述第二用户阅读书籍候选列表。

进一步地，所述利用提取的图像表示特征构建深度学习模型搜索相应书籍具体包括：

对提取的图像表示特征进行变换后，得到图像表示向量；

将所述图像表示向量作为深度学习模型的输入，将搜索到的书籍匹配得分作为模型的输出，所述书籍匹配得分为搜索到的书籍的匹配概率；

选择符合输入图像的书籍匹配得分较高的书籍，得到第二用户阅读书籍候选列表。

进一步地，所述方法还包括如下步骤：

根据搜索得到的所述第一用户阅读书籍候选列表和/或第二用户阅读书籍候选列表利用预先构建的书籍选择模型确定用户需要阅读的书籍。

进一步地，所述根据搜索得到的所述第一用户阅读书籍候选列表和/或第二用户阅读书籍候选列表利用预先构建的书籍选择模型确定用户需要阅读的书籍的步骤包括：

获取所述第一用户阅读书籍候选列表中每本书籍搜索时的匹配度得分，作为第一特征；

获取所述第二用户阅读书籍候选列表中每本书籍搜索时的匹配度得分，作为第二特征；

获取所述第一用户阅读书籍候选列表中匹配度得分最高的书籍，将该书籍对每种书籍关键信息的匹配结果作为第三特征；

获取所述第二用户阅读书籍候选列表中搜索相似度最高或匹配度得分最高的书籍，将该书籍封面图像的图像兴趣点特征作为第四特征；

利用提取的第一特征、第二特征、第三特征及第四特征作为所述书籍选择模型的输入，将与用户提供图像的相关度超过阈值的书籍作为模型输出。

为达到上述目的，本发明还提供一种智能阅读推荐装置，包括：

图像获取单元，用于获取用户提供的图像；

阅读书籍候选列表生成单元，用于根据所述用户提供的图像，从文本上和/或图像上搜索与所述用户提供的图像相关的书籍，得到第一用户阅读书籍候选列表和/或第二用户阅读书籍候选列表。

进一步地，所述阅读书籍候选列表生成单元中的第一用户阅读书籍候选列表生成单元包括：

图像识别单元，用于利用图像识别方法识别所述用户提供的图像上的文本信息，得到图像文本；

书籍关键信息提取单元，用于利用预先构建的阅读信息提取模型提取所述用户提供图像的图像文本中的书籍关键信息；

第一书籍搜索单元，用于根据确定的书籍关键信息搜索书籍，得到所述第一用户阅读书籍候选列表。

进一步地，所述书籍关键信息提取单元包括：

分词单元，用于对所述图像识别单元识别得到的图像文本进行分词；

阅读特征提取单元，用于根据所述分词单元的分词结果提取所述图像文本每个词的阅读特征,所述阅读特征包括当前词的词面、当前词的词性、当前词的长度、当前词所在句子的词总数、当前词在句子中的位置、当前词前面的符号、当前词后面的符号、当前词是否为阅读词汇特征中的一种或多种特征组合；

信息提取单元，将每句图像文本中每个词的阅读特征作为预先构建的阅读信息提取模型的输入，判定每句图像文本与阅读的相关性，将与书籍相关的关键信息作为输出，提取图像文本中的书籍关键信息。

进一步地，所述第一书籍搜索单元具体用于：

根据所述书籍关键信息搜索预先构建的书籍库或搜索网络书籍库，得到每种书籍关键信息搜索到的书籍列表；

根据搜索到的书籍列表将每本书籍与其所在各书籍列表中书籍总数比值的和作为每本书籍的匹配度得分；

选择所述匹配度得分超过预先设定阈值的书籍，得到第一用户阅读书籍候选列表。

进一步地，所述阅读书籍候选列表生成单元中的第二用户阅读书籍候选列表生成单元包括：

图像表示特征提取单元，用于提取所述用户提供的图像的表示特征；

第二书籍搜索单元，用于利用提取的图像表示特征进行相似度匹配，搜索相似度较高的书籍或利用提取的图像表示特征构建深度学习模型搜索相应书籍，得到所述第二用户阅读书籍候选列表。

进一步地，所述装置还包括：

优化单元，用于根据搜索得到的所述第一用户阅读书籍候选列表和/或第二用户阅读书籍候选列表利用预先构建的书籍选择模型确定用户需要阅读的书籍。

进一步地，所述优化单元包括：

第一特征获取单元，用于获取所述第一用户阅读书籍候选列表中每本书籍搜索时的匹配度得分，作为第一特征；

第二特征获取单元，用于获取所述第二用户阅读书籍候选列表中每本书籍搜索时的匹配度得分，作为第二特征；

第三特征获取单元，用于获取所述第一用户阅读书籍候选列表中匹配度得分最高的书籍，将该书籍对每种书籍关键信息的匹配结果作为第三特征；

第四特征获取单元，用于获取所述第二用户阅读书籍候选列表中搜索相似度最高或匹配度得分最高的书籍，将该书籍封面图像的图像兴趣点特征作为第四特征；

推荐优化单元，用于利用提取的第一特征、第二特征、第三特征及第四特征作为所述书籍选择模型的输入，将与用户提供图像的相关度超过阈值的书籍作为模型输出。

本发明还提供一种电子设备，所述电子设备包括；

存储介质，存储有多条指令，所述指令由处理器加载，执行权利要求上述方法的步骤；以及

处理器，用于执行所述存储介质中的指令。

与现有技术相比，本发明一种智能阅读推荐方法及装置、电子设备的有益效果在于：

本发明一种智能阅读推荐方法及装置、电子设备通过获取用户提供的与用户想看的书籍相关的图像，根据获取的图像从文本上及图像上搜索与用户提供图像相关的书籍，得到第一用户阅读书籍候选列表和第二用户阅读书籍候选列表，实现了只需用户提供与想看书籍相关的图像而无需用户自己查找或提供其它书籍信息即可快速准确的搜索到用户想看的书籍的目的。

附图说明

图1为本发明一种智能阅读推荐方法的一个实施例的步骤流程图；

图2为本发明具体实施例中步骤S1的细部流程图；

图3为本发明具体实施例中《小王子》书籍封面图；

图4为本发明具体实施例中步骤S2的细部流程图；

图5为本发明一种智能阅读推荐方法的另一个实施例的步骤流程图；

图6为本发明具体实施例中步骤103的细部流程图；

图7为本发明一种智能阅读推荐装置的一个实施例的系统架构图；

图8为本发明具体实施例中第一用户阅读书籍候选列表生成单元的细部结构图；

图9为本发明具体实施例中第二用户阅读书籍候选列表生成单元的细部结构图；

图10为本发明用于智能阅读推荐方法的电子设备的结构示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

在本发明的一个实施例中，如图1所示，本发明一种智能阅读推荐方法，包括如下步骤：

步骤101，获取用户提供的图像。

这里用户提供的图像是与用户想看的书籍相关的图像，如书籍的封面、海报或与书籍相关的其它图像，如与书籍相关的广告等。于步骤101中，用户可以通过手机、平板电脑等智能设备的摄像装置拍摄得到所要阅读书籍的图像，当然，所述用户提供的图像也可以为用户在网上搜索得到的图像，或者是存储在智能设备中与书籍相关的图像，本发明不作限定。

步骤102，根据用户提供的图像，从文本上和/或图像上搜索与用户提供的图像相关的书籍，得到第一用户阅读书籍候选列表和/或第二用户阅读书籍候选列表。

具体地，步骤102进一步包括：

步骤S1，根据用户提供的图像上的文本搜索与用户提供的图像相关的书籍，得到第一用户阅读书籍候选列表。这里的文本指的是根据获取的用户提供的图像通过图像识别方法得到的图像上的文本。具体地，如图2所示，步骤S1进一步包括：

步骤S11，利用图像识别方法识别用户提供的图像上的文本信息，得到图像文本。

一般与书籍有关的图像上会包含书籍的名称、作者名、或出版社等图像文本，因此可以利用图像识别方法得到图像上的文本信息。这里所用的图像识别方法可以采用如OCR(Optical Character Recognition，光学字符识别)等图像识别技术，比如《小王子》书籍，如图3为该书籍的封面，以从所述封面图像上识别到图像文本“小王子”为例，具体过程如下：首先对所述封面图像进行版面分析，完成对于图像文本的总体分析，区分出文本段落及排版顺序，文本区域和非文本区域，得到右上角文本图像区域；然后对文本图像区域进行行字切分，将大幅的图像先切割成行，提取出最大的一行文本“小王子”；再将所述文本分离成单个字符，得到“小”、“王”、“子”三个字符图像；接着提取单个字符图像的统计特征或结构特征，与M×N的汉字模板图像库中的模板字符匹配，用模板匹配法或者特征提取法，识别得到图像文本“小王子”三个字，由于具体匹配算法与现有技术相近，在此不再详述，其它图像文本也可使用类似方法识别得到。

步骤S12，利用预先构建的阅读信息提取模型提取用户提供图像的图像文本中的书籍关键信息。

为了防止图像文本中包含很多与书籍无关文本信息，干扰书籍搜索结果，本发明先利用阅读信息提取模型提取书籍关键信息，再利用所述书籍关键信息搜索需要的书籍；所述书籍关键信息指与用户阅读书籍相关的信息，如书名、作者名、出版社等信息，步骤S12的具体步骤如下所述：

步骤a，对步骤S11图像识别得到的图像文本进行分词。

具体分词时，为了增加分词的准确性，本发明采用阅读词典与分词模型相结合的方法，所述“阅读词典”由通用词典和与书籍或阅读方向相关的专业词典构成，所分词模型采用常用模型构建，如基于神经网络的方法或基于条件随机场模型的方法构建得到。具体分词时，先利用分词模型对图像文本进行分词；再利用阅读词典对分词结果进行修正，具体修正时，将出现在阅读词典中的阅读词汇作为一个词，得到修正后的分词结果。

如识别出图3中左上角的图像文本“与小王子一起”后，对所述图像文本分词过程如下：

首先利用分词模型对图像文本进行分词，得到分词结果与/小/王子/一起；再利用阅读词典对上述分词结果进行修正时，发现“小王子”为阅读词汇，将“小王子”作为一个词，得到修正后的分词结果“与/小王子/一起”。

步骤b，提取图像文本的阅读特征。

所述阅读特征指图像文本中与阅读相关的特征，以识别得到的图像文本中每个词为单位提取所述阅读特征，具体包括当前词的词面、当前词的词性、当前词的长度、当前词所在句子的词总数、当前词在句子中的位置，当前词前面的符号，当前词后面的符号，当前词是否为阅读词汇特征中的一种或多种特征组合；所述阅读特征可以直接统计每句图像文本直接得到，其中，当前词前面的符号或当前词后面的符号如“《”或“》”；

如步骤a中得到的分词结果“与/小王子/一起”，以句子中词“小王子”为例，提取的阅读特征如下：

词：小王子

词性：ngp(特有名词)

词长：3

当前词所在句子的词总数为3

当前词在句子中的位置:2

当前词前面的符号：Null(空)，

当前词后面的符号：Null(空)

当前词是否为阅读词汇：True(是)

依次得到图像文本“与/小王子/一起”中每句话的阅读特征如下：

其中，p表示介词，d表示副词。

步骤c，利用预先构建的阅读信息提取模型提取图像文本中的书籍关键信息。具体地，将每句图像文本中每个词的阅读特征作为阅读信息提取模型的输入，判定每句图像文本与阅读的相关性，将与书籍相关的关键信息作为输出，所述书籍关键信息，如书籍名称、作者名、出版社、宣传语等。

本发明中，阅读信息提取模型通过预先收集大量与阅读相关图像的识别文本构建得到，具体构建时，标注图像文本中的书籍关键信息，如书名、作者名、出版社名等，同时提取所述图像文本的阅读特征，具体提取方法与步骤b的过程相同，利用大量图像文本的阅读特征及标注特征训练阅读信息提取模型，所述阅读信息提取模型可以采用神经网络、支持向量机等模式识别中常见分类模型构建得到；

如图3中的图像文本中提取的书籍关键信息为：书籍名称：“小王子”，出版社：“中国商业出版社”，作者名：“安东尼·德·圣-埃克苏佩里”，翻译人：“安然”；

步骤S13，根据确定的书籍关键信息搜索书籍，得到第一用户阅读书籍候选列表。步骤S13的具体过程如下：

具体搜索时，首先可以根据书籍关键信息搜索预先构建的书籍库或直接搜索网络书籍库，得到每种书籍关键信息搜索到的书籍列表；

根据搜索到的书籍列表确定每本书籍与书籍关键信息的匹配度得分；

选择所述匹配度得分超过预先设定阈值的书籍，加入到用户阅读书籍候选列表中，得到第一用户阅读书籍候选列表，同时保存列表中每本书籍的匹配度得分。

本发明具体实施例中，所述匹配度得分使用A表示，A＝{a₁,a₂,...,a₃}，其中a_i表示第一用户阅读书籍候选列表中第i本书籍的匹配度得分，所述书籍关键信息匹配度得分计算方法如下：

首先搜索符合每种书籍关键信息的书籍，确定符合每种书籍关键信息的书籍列表，如使用书籍ID号表示每本书籍，得到书籍列表；

如上例中得到的书籍关键信息：书籍名称：“小王子”，出版社：“中国商业出版社”，作者名：“安东尼·德·圣-埃克苏佩里”，翻译人：“安然”；

假设每种书籍关键信息搜索到的书籍ID号列表如下：

书籍名：小王子

搜索到的书籍ID号：ID101ID104ID203ID304ID1025ID1102(共六本)

作者名：安东尼·德·圣-埃克苏佩里

搜索到的书籍ID号：ID101ID114ID1025(共三本)

出版社：中国商业出版社

搜索到的书籍ID号：ID101ID203ID1102ID1210(共四本)

然后根据搜索到的书籍列表计算列表中每本书籍的匹配度得分，具体计算时，将每本书籍与其所在各书籍列表中书籍总数比值的和作为每本书籍的匹配度得分，如上例中每本书籍的匹配度得分如下：

这样选择匹配度得分超过预先设定阈值(例如0.4)的书籍，加入到用户阅读书籍候选列表中，得到第一用户阅读书籍候选列表(即书籍ID为ID101、ID203、ID1025、ID1102的书籍)，同时保存列表中每本书籍的匹配度得分。

步骤S2，根据用户提供的图像从图像上搜索与用户提供的图像相关的书籍，得到第二用户阅读书籍候选列表。

为了防止用户提供图像上没有用户阅读相关文本，或图像上没有文本的情况，本发明还可根据用户提供的图像从图像上来确定第二用户阅读书籍候选列表，如图4所示，步骤S2进一步包括：

步骤S21，提取用户提供的图像的表示特征。

所述表示特征如图像像素的灰度、图像颜色分布，图像兴趣点特征等，具体提取方法与现有技术相同，在此不予赘述；

步骤S22，利用提取的图像表示特征搜索与用户阅读相关的候选书籍列表，得到第二用户阅读书籍候选列表。

具体搜索时，可以采用传统的图像匹配方法搜索相似书籍，即利用图像的表示特征进行相似度匹配，搜索相似度较高的书籍。

也可以利用提取的图像表示特征构建深度学习模型搜索相应书籍，具体搜索时，先对提取的图像表示特征进行变换后，得到图像表示向量；再将所述图像表示向量作为深度学习模型的输入，将搜索到的书籍匹配得分作为模型的输出，所述书籍匹配得分为搜索到的书籍的匹配概率，选择符合输入图像的书籍匹配得分较高的书籍加入到书籍候选列表，得到第二用户阅读书籍候选列表；同时保存第二用户阅读书籍候选列表中每本书籍的匹配度得分，使用B表示，B＝{b₁,b₂,...,b₃}，其中b_j表示第一用户阅读书籍候选列表中第j本书籍的匹配度得分。

在此需说明的是，若用户提供的图像上仅有文本信息(例如图像上仅有文字)，则无需获取第二用户阅读书籍候选列表。

优选地，如图5所示，于步骤102后，本发明一种智能阅读推荐方法还包括如下步骤：

步骤103，根据搜索到的第一用户阅读书籍候选列表和/或第二用户阅读书籍候选列表利用预先构建的书籍选择模型确定用户需要阅读的书籍，并将确定结果反馈给用户。

具体确定时，分别将两组用户阅读候选书籍列表每本书籍的匹配度得分及每个列表中匹配度最高书籍的相关信息作为预先构建的书籍选择模型的输入，选择两组用户阅读候选书籍列表中与用户提供图像最相关的书籍，反馈给用户。如图6所示，步骤103的具体步骤如下：

步骤S31，获取第一用户阅读书籍候选列表中每本书籍搜索时的匹配度得分A，作为第一特征1，在此需说明的是，若没有第一用户阅读书籍候选列表，第一特征1则为空；

步骤S32，获取第二用户阅读书籍候选列表中每本书籍搜索时的匹配度得分B，作为第二特征2；在此需说明的是，若没有第二用户阅读书籍候选列表，则第二特征2为空；

步骤S33，获取第一用户阅读书籍候选列表中匹配度得分最高的书籍，将该书籍对每种书籍关键信息的匹配结果作为第三特征3，如第一用户阅读书籍候选列表中匹配得分最高的书籍ID为101，该书籍对每种书籍关键信息的匹配结果为：

则提取的特征3为：1 1 1，其中，1表示匹配书籍关键信息成功，匹配不成功时，使用0表示；在此需说明的是，若没有第一用户阅读书籍候选列表，第三特征3则为空。

步骤S34，获取第二用户阅读书籍候选列表中搜索相似度最高或匹配度得分最高的书籍，将该书籍封面图像的图像兴趣点特征作为第四特征4；在此需说明的是，若没有第二用户阅读书籍候选列表，第四特征4则为空。

步骤S35，利用提取的第一特征1，第二特征2，第三特征3，及第四特征4作为预先构建的书籍选择模型的输入，将与用户提供图像的相关度超过阈值的书籍作为模型输出。

所述书籍选择模型通过预先收集大量用户提供图像与每个图像搜索得到的两组用户阅读书籍候选列表构建得到，所述书籍选择模型一般通过深度学习的方法进行构建，具体可以采用神经网络模型描述书籍选择模型。

在本发明的另一个实施例中，如图7所示，本发明一种智能阅读推荐装置，包括：图像获取单元71以及阅读书籍候选列表生成单元72。

其中，图像获取单元71，用于获取用户提供的图像。这里用户提供的图像是与用户想看的书籍相关的图像，如书籍的封面、海报或与书籍相关的其它图像，如与书籍相关的广告等。

阅读书籍候选列表生成单元72，用于根据用户提供的图像，从文本上和/或图像上搜索与用户提供的图像相关的书籍，得到第一用户阅读书籍候选列表和/或第二用户阅读书籍候选列表。

在本发明具体实施例中，图8所示，阅读书籍候选列表生成单元72的第一用户阅读书籍候选列表生成单元进一步包括：

图像识别单元720，用于利用图像识别方法识别用户提供的图像上的文本信息，得到图像文本。

书籍关键信息提取单元721，用于利用预先构建的阅读信息提取模型提取用户提供图像的图像文本中的书籍关键信息。

为了防止图像文本中包含很多与书籍无关文本信息，干扰书籍搜索结果，本发明先利用阅读信息提取模型提取书籍关键信息，再利用所述书籍关键信息搜索需要的书籍；所述书籍关键信息指与用户阅读书籍相关的信息，如书名、作者名、出版社等信息，书籍关键信息提取单元721进一步包括：

分词单元用于对图像识别单元720图像识别得到的图像文本进行分词。

阅读特征提取单元，用于提取图像文本的阅读特征。

信息提取单元，用于利用预先构建的阅读信息提取模型提取图像文本中的书籍关键信息。

第一书籍搜索单元722，用于根据确定的书籍关键信息搜索书籍，得到第一用户阅读书籍候选列表。第一书籍搜索单元722具体用于：

首先根据书籍关键信息搜索预先构建的书籍库或直接搜索网络书籍库，得到每种书籍关键信息搜索到的书籍列表；

根据搜索到的书籍列表确定每本书籍与书籍关键信息的匹配度得分；

选择所述匹配度得分超过预先设定阈值的书籍，加入到用户阅读书籍候选列表中，得到第一用户阅读书籍候选列表，同时保存列表中每本书籍的匹配度得分。

为了防止用户提供图像上没有用户阅读相关文本，或图像上没有文本的情况，阅读书籍候选列表生成单元72中的第二用户阅读书籍候选列表生成单元还可根据用户提供的图像从图像上来确定第二用户阅读书籍候选列表，如图9所示，阅读书籍候选列表生成单元72中的第二用户阅读书籍候选列表生成单元进一步包括：

图像表示特征提取单元723，用于提取用户提供的图像的表示特征。

第二书籍搜索单元724，用于利用提取的图像表示特征搜索与用户阅读相关的候选书籍列表，得到第二用户阅读书籍候选列表。

优选地，本发明一种智能阅读推荐装置还包括：

优化单元，用于根据搜索到的第一用户阅读书籍候选列表和/或第二用户阅读书籍候选列表利用预先构建的书籍选择模型确定用户需要阅读的书籍，并将确定结果反馈给用户。

具体确定时，优化单元分别将两组用户阅读候选书籍列表每本书籍的匹配度得分及每个列表中匹配度最高书籍的相关信息作为预先构建的书籍选择模型的输入，选择两组用户阅读候选书籍列表中与用户提供图像最相关的书籍，反馈给用户。优化单元进一步包括(未图示)：

第一特征获取单元，用于获取第一用户阅读书籍候选列表中每本书籍搜索时的匹配度得分A，作为第一特征1，在此需说明的是，若没有第一用户阅读书籍候选列表，第一特征1则为空；

第二特征获取单元，用于获取第二用户阅读书籍候选列表中每本书籍搜索时的匹配度得分B，作为第二特征2；在此需说明的是，若没有第二用户阅读书籍候选列表，则第二特征2为空；

第三特征获取单元，用于获取第一用户阅读书籍候选列表中匹配度得分最高的书籍，将该书籍对每种书籍关键信息的匹配结果作为第三特征3。

第四特征获取单元，用于获取第二用户阅读书籍候选列表中搜索相似度最高或匹配度得分最高的书籍，将该书籍封面图像的图像兴趣点特征作为第四特征4。

推荐优化单元，用于利用提取的第一特征1，第二特征2，第三特征3，及第四特征4作为预先构建的书籍选择模型的输入，将与用户提供图像的相关度超过阈值的书籍作为模型输出。

参见图10，示出了本发明用于智能阅读推荐方法的电子设备300的结构示意图。参照图10，电子设备300包括处理组件301，其进一步包括一个或多个处理器，以及由存储介质302所代表的存储设备资源，用于存储可由处理组件301的执行的指令，例如应用程序。存储介质302中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件301被配置为执行指令，以执行上述智能阅读推荐方法的各步骤。

电子设备300还可以包括一个电源组件303，被配置为执行电子设备300的电源管理；一个有线或无线网络接口304，被配置为将电子设备300连接到网络；和一个输入输出(I/O)接口305。电子设备300可以操作基于存储在存储介质302的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

综上所述，本发明一种智能阅读推荐方法及装置、电子设备通过获取用户提供的与用户想看的书籍相关的图像，根据获取的图像从文本上及图像上搜索与用户提供图像相关的书籍，得到第一用户阅读书籍候选列表和第二用户阅读书籍候选列表，实现了只需用户提供与想看书籍相关的图像而无需用户自己查找或提供其它书籍信息即可快速准确的搜索到用户想看的书籍的目的。本发明通过先从图像文本中提取出与阅读相关的文本后，再根据阅读相关文本确定书籍关键信息，从而保证搜索到的第一用户阅读书籍候选列表较准确；本发明生成的第二用户阅读书籍候选列表直接根据提取的图像特征确定，弥补了在用户提供图像上没有阅读相关文本或没有文本的情况下用户书籍候选列表无法确定的情况；最后根据搜索到的两组用户阅读候选书籍列表确定用户需要阅读的书籍，并将所述书籍反馈给用户，优化了推荐结果，更为精确地实现了根据用户提供的与想看书籍相关的图像快速准确的搜索到用户想看的书籍的目的，对用户要求降低，大大提升了用户体验效果。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种智能阅读推荐方法，包括如下步骤：

步骤一，获取用户提供的图像；

步骤二，根据所述用户提供的图像，从文本上和/或图像上搜索与所述用户提供的图像相关的书籍，得到第一用户阅读书籍候选列表和/或第二用户阅读书籍候选列表；

所述方法还包括：

获取所述第一用户阅读书籍候选列表中每本书籍搜索时的匹配度得分，作为第一特征；

获取所述第二用户阅读书籍候选列表中每本书籍搜索时的匹配度得分，作为第二特征；

获取所述第一用户阅读书籍候选列表中匹配度得分最高的书籍，将该书籍对每种书籍关键信息的匹配结果作为第三特征；

获取所述第二用户阅读书籍候选列表中搜索相似度最高或匹配度得分最高的书籍，将该书籍封面图像的图像兴趣点特征作为第四特征；

利用提取的第一特征、第二特征、第三特征及第四特征作为预先构建的书籍选择模型的输入，将与用户提供图像的相关度超过阈值的书籍作为模型输出。

2.如权利要求1所述的一种智能阅读推荐方法，其特征在于，所述从文本上搜索与所述用户提供的图像相关的书籍的步骤进一步包括：

利用图像识别方法识别所述用户提供图像上的文本信息，得到图像文本；

利用预先构建的阅读信息提取模型提取所述用户提供图像的图像文本中的书籍关键信息；

根据提取的书籍关键信息搜索书籍，得到所述第一用户阅读书籍候选列表。

3.如权利要求2所述的一种智能阅读推荐方法，其特征在于：所述利用预先构建的阅读信息提取模型提取所述用户提供图像的图像文本中的书籍关键信息的步骤具体包括：

对图像识别得到的图像文本进行分词；

根据分词结果提取所述图像文本每个词的阅读特征；

根据提取的阅读特征利用所述阅读信息提取模型提取图像文本中的书籍关键信息。

4.如权利要求2所述的一种智能阅读推荐方法，其特征在于，所述根据提取的书籍关键信息搜索书籍的步骤具体包括：

根据所述书籍关键信息搜索预先构建的书籍库或搜索网络书籍库，得到每种书籍关键信息搜索到的书籍列表；

根据搜索到的书籍列表确定每本书籍与书籍关键信息的匹配度得分；

选择所述匹配度得分超过预先设定阈值的书籍，得到所述第一用户阅读书籍候选列表。

5.如权利要求1所述的一种智能阅读推荐方法，其特征在于：所述从图像上搜索与所述用户提供的图像相关的书籍的步骤进一步包括：

提取所述用户提供的图像的表示特征；

利用提取的图像表示特征进行相似度匹配，搜索相似度较高的书籍或利用提取的图像表示特征构建深度学习模型搜索相应书籍，得到所述第二用户阅读书籍候选列表。

6.如权利要求5所述的一种智能阅读推荐方法，其特征在于：所述利用提取的图像表示特征构建深度学习模型搜索相应书籍具体包括：

对提取的图像表示特征进行变换后，得到图像表示向量；

将所述图像表示向量作为深度学习模型的输入，将搜索到的书籍匹配得分作为模型的输出，书籍匹配得分为搜索到的书籍的匹配概率；

选择符合输入图像的书籍匹配得分较高的书籍，得到第二用户阅读书籍候选列表。

7.一种智能阅读推荐装置，包括：

图像获取单元，用于获取用户提供的图像；

阅读书籍候选列表生成单元，用于根据所述用户提供的图像，从文本上和/或图像上搜索与所述用户提供的图像相关的书籍，得到第一用户阅读书籍候选列表和/或第二用户阅读书籍候选列表；

所述装置还包括：

优化单元，所述优化单元进一步包括：

第一特征获取单元，用于获取所述第一用户阅读书籍候选列表中每本书籍搜索时的匹配度得分，作为第一特征；

第二特征获取单元，用于获取所述第二用户阅读书籍候选列表中每本书籍搜索时的匹配度得分，作为第二特征；

第三特征获取单元，用于获取所述第一用户阅读书籍候选列表中匹配度得分最高的书籍，将该书籍对每种书籍关键信息的匹配结果作为第三特征；

第四特征获取单元，用于获取所述第二用户阅读书籍候选列表中搜索相似度最高或匹配度得分最高的书籍，将该书籍封面图像的图像兴趣点特征作为第四特征；

推荐优化单元，用于利用提取的第一特征、第二特征、第三特征及第四特征作为预先构建的书籍选择模型的输入，将与用户提供图像的相关度超过阈值的书籍作为模型输出。

8.如权利要求7所述的一种智能阅读推荐装置，其特征在于：所述阅读书籍候选列表生成单元中的第一用户阅读书籍候选列表生成单元进一步包括：

图像识别单元，用于利用图像识别方法识别所述用户提供的图像上的文本信息，得到图像文本；

书籍关键信息提取单元，用于利用预先构建的阅读信息提取模型提取所述用户提供图像的图像文本中的书籍关键信息；

第一书籍搜索单元，用于根据确定的书籍关键信息搜索书籍，得到所述第一用户阅读书籍候选列表。

9.如权利要求8所述的一种智能阅读推荐装置，其特征在于，所述书籍关键信息提取单元进一步包括：

分词单元，用于对所述图像识别单元识别得到的图像文本进行分词；

阅读特征提取单元，用于根据所述分词单元的分词结果提取所述图像文本每个词的阅读特征；

信息提取单元，根据提取的阅读特征利用所述阅读信息提取模型提取图像文本中的书籍关键信息。

10.如权利要求9所述的一种智能阅读推荐装置，其特征在于，所述第一书籍搜索单元具体用于：

根据所述书籍关键信息搜索预先构建的书籍库或搜索网络书籍库，得到每种书籍关键信息搜索到的书籍列表；

根据搜索到的书籍列表确定每本书籍与书籍关键信息的匹配度得分；

选择所述匹配度得分超过预先设定阈值的书籍，得到第一用户阅读书籍候选列表。

11.如权利要求7所述的一种智能阅读推荐装置，其特征在于，所述阅读书籍候选列表生成单元中的第二用户阅读书籍候选列表生成单元进一步包括：

图像表示特征提取单元，用于提取所述用户提供的图像的表示特征；

第二书籍搜索单元，用于利用提取的图像表示特征进行相似度匹配，搜索相似度较高的书籍或利用提取的图像表示特征构建深度学习模型搜索相应书籍，得到所述第二用户阅读书籍候选列表。

12.一种电子设备，其特征在于，所述电子设备包括：

存储介质，存储有多条指令，所述指令由处理器加载，执行权利要求1至6任一项所述方法的步骤；以及

处理器，用于执行所述存储介质中的指令。

Images