CN116958987A - 作品识别方法、装置、设备、存储介质及程序产品 - Google Patents

作品识别方法、装置、设备、存储介质及程序产品 Download PDF

Info

Publication number
CN116958987A
CN116958987A CN202310561471.9A CN202310561471A CN116958987A CN 116958987 A CN116958987 A CN 116958987A CN 202310561471 A CN202310561471 A CN 202310561471A CN 116958987 A CN116958987 A CN 116958987A
Authority
CN
China
Prior art keywords
electronic
note
content
work
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310561471.9A
Other languages
English (en)
Inventor
陈�峰
陆鑫
张乙东
柯宗言
李想
罗国佳
李琛
伍敏慧
杨明敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Tencent Technology Co Ltd
Original Assignee
Guangzhou Tencent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Tencent Technology Co Ltd filed Critical Guangzhou Tencent Technology Co Ltd
Priority to CN202310561471.9A priority Critical patent/CN116958987A/zh
Publication of CN116958987A publication Critical patent/CN116958987A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种作品识别方法、装置、设备、存储介质及程序产品，涉及图像识别领域。该方法包括：显示图像识别界面，用于对待识别作品内容进行采集；响应于接收到对实体作品的图像获取操作，获取实体作品对应的实体作品图像，其中包括实体作品的实体文本内容和针对实体文本内容的笔记标记元素；显示实体文本内容的识别结果，其中包括电子作品的电子文本内容，电子文本内容与实体文本内容之间符合一致性关系；单独显示电子笔记内容或在电子文本内容的基础上显示电子笔记内容，电子笔记内容是基于笔记标记元素转换得到的针对电子文本内容的标记元素，解决了获取电子作品过程中实体笔记无法同步转换为电子笔记的问题，并提高了电子笔记的查询效率。

Description

作品识别方法、装置、设备、存储介质及程序产品
技术领域
本申请涉及图像识别领域，特别涉及一种作品识别方法、装置、设备、存储介质及程序产品。
背景技术
随着电子作品的发展，越来越多的作品以电子形式展示、存储，比如电子书籍、电子剧本等，然而，有时想要根据生活中的纸质作品从海量电子作品中快速找到对应的电子版本较为困难。
相关技术中，通过文本识别定位技术，使用纸质作品图像快速检索定位对应的电子作品。
然而，上述获取电子作品过程中难以同步纸质作品中的笔记内容，存在记录笔记不方便、笔记难以保存等问题，且笔记查询效率较低。
发明内容
本申请实施例提供了一种作品识别方法、装置、设备、存储介质及程序产品，能够基于实体作品图像识别得到对应的电子作品。所述技术方案如下。
一方面，提供了一种作品识别方法，所述方法包括：
显示图像识别界面，所述图像识别界面用于对待识别作品内容进行采集；
响应于接收到对实体作品的图像获取操作，获取所述实体作品对应的实体作品图像，所述实体作品图像中包括所述实体作品的实体文本内容和针对所述实体文本内容的笔记标记元素；
显示所述实体文本内容的识别结果，所述识别结果中包括电子作品的电子文本内容，所述电子文本内容与所述实体文本内容之间符合一致性关系；
单独显示电子笔记内容或在所述电子文本内容的基础上显示所述电子笔记内容，所述电子笔记内容是基于所述笔记标记元素转换得到的针对所述电子文本内容的标记元素。
另一方面，提供了一种作品识别装置，所述装置包括：
显示模块，用于显示图像识别界面，所述图像识别界面用于对待识别作品内容进行采集；
处理模块，用于响应于接收到对实体作品的图像获取操作，获取所述实体作品对应的实体作品图像，所述实体作品图像中包括所述实体作品的实体文本内容和针对所述实体文本内容的笔记标记元素；
所述显示模块，还用于显示所述实体文本内容的识别结果，所述识别结果中包括电子作品的电子文本内容，所述电子文本内容与所述实体文本内容之间符合一致性关系；
所述显示模块，还用于单独显示电子笔记内容或在所述电子文本内容的基础上显示电子笔记内容，所述电子笔记内容是基于所述笔记标记元素转换得到的针对所述电子文本内容的标记元素。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的作品识别方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的作品识别方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的作品识别方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过显示图像识别界面用于采集待识别作品内容，响应于接收到对实体作品的图像获取操作，获取实体作品对应的实体作品图像，实体作品图像中包括实体作品的实体文本内容和针对实体文本内容的笔记标记元素，显示实体文本内容的识别结果，识别结果中包括电子作品的电子文本内容，电子文本内容与实体文本内容之间符合一致性关系，单独显示电子笔记内容或在电子文本内容的基础上显示电子笔记内容，实现了在通过实体作品图像获取对应电子作品的过程中，将实体作品图像中的笔记标记元素同步为电子笔记内容，解决了实体笔记难以保存的问题，并提高了电子笔记的查询效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的实施环境示意图；
图2是本申请一个示例性实施例提供的作品识别方法的流程图；
图3是本申请一个示例性实施例提供的图像识别界面示意图；
图4是本申请一个示例性实施例提供的引导浮窗示意图；
图5是本申请一个示例性实施例提供的实体作品图像示意图；
图6是本申请一个示例性实施例提供的识别结果示意图；
图7是本申请一个示例性实施例提供的作品识别失败示意图；
图8是本申请一个示例性实施例提供的电子笔记内容显示示意图；
图9是本申请一个示例性实施例提供的识别入口界面示意图；
图10是本申请一个示例性实施例提供的实体文本内容识别方法流程图；
图11是本申请一个示例性实施例提供的OCR识别示意图；
图12是本申请一个示例性实施例提供的正文识别方法流程图；
图13是本申请一个示例性实施例提供的正文内容识别示意图；
图14是本申请一个示例性实施例提供的文本行合并示意图；
图15是本申请一个示例性实施例提供的电子笔记实施转换方法流程图；
图16是本申请一个示例性实施例提供的电子标记动画示意图；
图17是本申请一个示例性实施例提供的作品识别装置的结构框图；
图18是本申请一个示例性实施例提供的作品识别装置模块的结构框图；
图19是本申请一个示例性实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
应当理解，尽管在本公开可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一参数也可以被称为第二参数，类似地，第二参数也可以被称为第一参数。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着电子作品的发展，越来越多的作品以电子形式展示、存储，比如电子书籍、电子剧本等，然而，有时想要根据生活中的纸质作品从海量电子作品中快速找到对应的电子版本较为困难。相关技术中，通过文本识别定位技术，使用纸质作品图像快速检索定位对应的电子作品。然而，上述获取电子作品过程中难以同步纸质作品中的笔记内容，存在记录笔记不方便、笔记难以保存等问题，且笔记查询效率较低。
本申请实施例中提供的作品识别方法，通过显示图像识别界面用于采集待识别作品内容，响应于接收到对实体作品的图像获取操作，获取实体作品对应的实体作品图像，实体作品图像中包括实体作品的实体文本内容和针对实体文本内容的笔记标记元素，显示对实体文本内容的识别结果，识别结果中包括电子作品的电子文本内容，电子文本内容与实体文本内容之间符合一致性关系，单独显示电子笔记内容或在电子文本内容的基础上显示电子笔记内容，实现了在通过实体作品图像获取对应电子作品的过程中，将实体作品图像中的笔记标记元素同步为电子笔记内容，解决了实体笔记难以保存的问题，并提高了电子笔记的查询效率。
首先，对本申请实施环境进行介绍。请参考图1，其示出了本申请一个示例性实施例提供的实施环境示意图，该实施环境中包括：终端110。
终端110安装有具有作品识别功能的应用程序，可选地，该应用程序可以是搜索软件、阅读器、图书管理软件等任何具有作品识别功能的应用程序。在一些实施例中，终端110通过图像采集设备如内置摄像头等，或者通过相册，获取实体作品对应的实体作品图像，其中包括实体作品的实体文本内容和针对实体文本内容的笔记标记元素，响应于对实体文本内容的识别，显示识别结果，其中包括电子作品的电子文本内容，电子文本内容与实体文本内容之间符合一致性关系；在电子文本内容的基础上显示电子笔记内容，电子笔记内容是基于笔记标记元素转换得到的针对电子文本内容的标记元素。
在一些实施例中，该实施环境中还包括服务器120和通信网络130。
在一些实施例中，服务器120存储有实体作品图像，终端110通过通信网络130从服务器120中获取实体作品图像。
在一些实施例中，服务器120中部署有数据检索和分析引擎，终端110通过通信网络130将获取的实体作品图像发送至服务器120，由服务器120对实体作品图像中的实体文本内容进行识别，得到识别结果并发送回终端110，由终端110对识别结果进行显示。
上述终端是可选的，终端可以是台式计算机、膝上型便携计算机、手机、平板电脑、电子书阅读器、动态影像专家压缩标准音频层面3(Moving Picture Experts Group AudioLayer III，MP3)播放器、动态影像专家压缩标准音频层4(Moving Picture Experts GroupAudio Layer IV，MP4)播放、智能电视、智能车载等多种形式的终端设备，本申请实施例对此不加以限定。
值得注意的是，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云安全、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
在一些实施例中，上述服务器还可以实现为区块链系统中的节点。
需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到操作数据和帐号信息等都是在充分授权的情况下获取的。
进一步进行说明，本申请在收集用户的相关数据(例如：本申请中涉及到的帐号信息、历史操作数据和实时操作数据等)之前以及在收集用户的相关数据的过程中，都可以显示提示界面、弹窗或输出语音提示信息，该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据，使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后，才开始执行获取用户相关数据的相关步骤，否则(即未获取到用户对该提示界面或者弹窗发出的确认操作时)，结束获取用户相关数据的相关步骤，即不获取用户的相关数据。换句话说，本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的，且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
示意性的，请参考图2，其示出了本申请一个示例性实施例提供的作品识别方法的流程图，该方法可以应用于终端，也可以应用于服务器，也可以同时应用于终端和服务器，本申请实施例以该方法应用于终端为例进行说明，如图2所示，该方法包括如下步骤：
步骤210，显示图像识别界面。
其中，图像识别界面用于对待识别作品内容进行采集。
可选地，待识别作品包括书籍、期刊、剧本、歌词中的至少一种，待识别作品内容可以是上述待识别作品的封面、正文、插图等，以待识别作品是书籍为例，待识别作品内容还可以是书籍的国际标准书号(International Standard Book Number，ISBN)。
值得注意是，上述待识别作品以及待识别作品内容仅为示意性举例，本申请对此不加以限定，本申请实施例以待识别作品为实体书籍为例进行说明。
在一些实施例中，图像识别界面实现为对实体作品的采集界面，例如拍摄界面或图像读取界面，用于对实体作品进行图像采集，或者读取已存储的实体作品图像。可选地，在图像识别界面中对实体作品的采集方式包括但不限于自动采集、手动拍摄、从相册中选择图像中的至少一种，自动采集是指图像识别界面通过采集设备如内置摄像头等检测到识别区域内存在待识别作品内容，则自动拍摄待识别作品内容完成对待识别作品内容的采集，手动拍摄可以通过触发图像识别界面中的拍摄控件完成对待识别作品内容的采集，从相册中选择图像可以通过图像识别界面中的图像选择控件拉取相册中存储的图像。
示意性的，请参考图3，图3是本申请一个示例性实施例提供的图像识别界面示意图，如图3所示，图像识别界面实现为拍摄界面，在子图a中，显示有图像识别界面310，用于对实体作品311的封面进行采集，在子图b中，显示有图像识别界面320，用于对实体作品321的正文内容进行采集。
在一些实施例中，在图像识别界面中显示有引导浮窗，用于向用户提示图像识别界面的功能。
在一些实施例中，在用户触发显示图像识别界面时显示引导浮窗，可选地，引导浮窗的显示过程实现为，当用户在历史时长范围内或触发次数阈值内触发显示图像识别界面时，在图像识别界面中显示引导浮窗。在一些实施例中，在超出历史时长范围或出发次数阈值后，当用户触发显示图像识别界面时，仅显示图像识别界面，不再显示引导浮窗。
示意性的，在用户前3次触发显示图像识别界面时，在图像识别界面中显示引导浮窗，提示用户使用图像识别界面对待识别作品内容进行采集。
在一些实施例中，在现实引导浮窗之后还包括浮窗关闭过程，可选地，该过程实现为：响应于浮窗关闭操作，隐藏引导浮窗，恢复显示图像识别界面。
在一些实施例中，浮窗关闭操作包括但不限于触发浮窗关闭控件、点击图像识别界面中不属于引导浮窗的区域、将引导浮窗下滑至预设区域等。
示意性的，请参考图4，图4是本申请一个示例性实施例提供的引导浮窗示意图，如图4所示，在图像识别界面400中显示有引导浮窗410，引导浮窗410中包括作品识别图标411、功能介绍412和浮窗关闭控件413，响应于浮窗关闭操作，隐藏引导浮窗410，恢复显示图像识别界面400，其中，浮窗关闭操作包括：触发浮窗关闭控件413，或者，点击空白区域420，或者，将引导浮窗410向下滑动至预设区域中的至少一种。恢复显示后的图像识别界面400中包括拍摄控件401、图像选择控件402和采集区域403，分别用于实现手动拍摄、自动识别和从相册中选择图像这三种采集方式。
步骤220，响应于接收到对实体作品的图像获取操作，获取实体作品对应的实体作品图像。
其中，实体作品图像中包括实体作品的实体文本内容和针对实体文本内容的笔记标记元素。
在一些实施例中，实体作品图像是通过对实体作品进行图像采集得到的图像，包括但不限于实体作品的封面图像、正文图像、插图图像、ISBN图像等。
在一些实施例中，实体文本内容是指实体作品中的文本内容，如书名、标题、作者、正文、编号等内容，针对实体文本内容的笔记标记元素是指用于标记实体文本内容的标记元素，如下划线元素，或者高亮元素，其中，下划线元素包括但不限于直线、波浪线、双横线等线条元素。可选地，笔记标记元素通常是指针对实体作品中正文内容的标记元素。
示意性的，请参考图5，图5是本申请一个示例性实施例提供的实体作品图像示意图，如图5所示，实体作品图像510是实体作品名著A的封面图像，实体作品图像520是实体作品名著A的正文图像，实体作品图像530是实体作品名著A的插图图像，实体作品图像540是实体作品名著A的ISBN图像，以实体作品图像520为例，实体作品图像520中包括实体文本内容521，也即名著A第3页的正文内容，还包括笔记标记元素522，也即文字内容“这是笔记a，这是笔记b，这是笔记c”下方的下划线。
在一些实施例中，图像获取操作包括但不限于触发拍摄控件、从相册中选取实体作品图像、将实体作品置于图像识别界面中的识别区域等。
在一些实施例中，通过实体作品图像的图像地址获取实体作品图像，其中，图像地址用于指示实体作品图像在终端中的存储位置。
在一些实施例中，在接收图像获取操作之前，还包括授权提示过程，该过程包括如下两步：
第一步，在图像识别界面中显示图像授权提示。
其中，图像授权提示用于提示对图像获取操作进行图像授权操作。
在一些实施例中，在执行作品识别方法的应用程序未获取相机或相册权限的情况下，显示图像授权提示。
可选地，图像授权提示可以实现为授权控件，用于接收图像授权操作。
第二步，响应于接收到图像授权操作，允许接收图像获取操作。
可选地，图像授权操作包括但不限于触发授权控件、输入授权语音指令、执行预设手势授权操作中的至少一种。
步骤230，显示实体文本内容的识别结果。
其中，识别结果中包括电子作品的电子文本内容，电子文本内容与实体文本内容之间符合一致性关系。
在一些实施例中，一致性关系是指电子文本内容与实体文本内容之间的内容相似度达到预设相似阈值。可选地，电子作品与实体作品属于同一作品，电子文本内容与实体文本内容属于同一内容，或者，电子作品与实体作品不属于同一作品，电子文本内容与实体文本内容之间存在引用关系。
在一些实施例中，识别结果中还包括电子文本内容的前后文本内容。可选地，在识别结果中以高亮或加粗等突出形式显示与实体文本内容之间符合一致性关系的电子文本内容，用于区分该电子文本内容与上述前后文本内容。
在一些实施例中，识别结果中包括但不限于电子作品封面内容，电子作品正文内容，电子作品ISBN内容中的至少一种。
可选地，当实体作品图像为封面图像时，响应于对实体文本内容的识别，显示识别结果，其中包括电子作品的作品名、作者名、出版社等电子封面文本内容；当实体作品图像为正文图像时，响应于对实体文本内容的识别，显示识别结果，其中包括电子作品的页码、正文、章节标题等电子正文文本内容；当实体作品图像为ISBN图像时，响应于对实体文本内容的识别，显示识别结果，其中包括电子作品的ISBN、书名、作者名、出版社等电子介绍文本内容。
示意性的，请参考图6，图6是本申请一个示例性实施例提供的识别结果示意图，如图6所示，响应于对实体作品名著A的实体作品图像中实体文本内容611的识别，显示识别结果620，其中包括电子作品名著A的电子文本内容621，实体文本内容611与电子文本内容621存在一致性关系，也即，实体文本内容611与电子文本内容621属于同一内容。
可选地，显示识别结果之前，显示识别内容选择提示，用于提示用户选择进入阅读界面还是进入笔记界面，响应于用户选择进入阅读界面，可以仅显示电子文本内容，或者，显示电子文本内容和电子笔记内容；响应于用户选择进入笔记界面，则仅显示被电子笔记内容标记的电子文本内容。
在一些实施例中，当未识别到包括与实体文本内容存在一致性关系的电子文本内容的电子作品时，视为识别失败，则响应于对实体文本内容的识别，显示识别结果，识别结果用于指示未识别到电子作品；当终端无网络连接时，视为识别失败，则响应于对实体文本内容的识别，显示识别结果，识别结果用于指示终端无网络连接。
示意性的，请参考图7，图7是本申请一个示例性实施例提供的作品识别失败示意图，如图7所示，响应于未识别到电子作品，显示识别结果710，包括文案“未识别到相关作品”，响应于无网络连接，显示识别结果720，包括文案“无网络连接，请稍后重试”。
步骤240，单独显示电子笔记内容或在电子文本内容的基础上显示电子笔记内容。
其中，电子笔记内容是基于笔记标记元素转换得到的针对电子文本内容的标记元素。
在一些实施例中，电子笔记内容包括基于笔记标记元素转换得到的下划线元素或高亮元素等。
可选地，电子笔记内容的显示方式包括如下至少一种：
第一种，在电子文本内容中显示电子笔记内容。
在一些实施例中，在识别到电子文本内容之后，直接在识别结果中显示电子笔记内容，对与被实体笔记内容标记的实体文本内容符合一致性关系的电子文本内容进行标记。
在一些实施例中，在识别结果中以第一高亮形式显示与实体文本内容之间符合一致性关系的电子文本内容的情况下，针对电子笔记内容为高亮元素的电子文本内容，以不同于第一高亮形式的第二高亮形式显示被电子笔记内容标记的电子文本内容。
第二种，响应于电子笔记显示操作，显示电子笔记区域。
其中，电子笔记区域中包括被电子笔记内容标记的电子文本内容。
在一些实施例中，通过电子笔记区域独立显示被电子笔记内容标记的电子文本内容。
可选地，电子笔记区域可以是独立于识别结果的电子笔记界面，也可以是基于识别结果所在界面进行显示的电子笔记浮窗等。
在一些实施例中，当电子笔记区域实现为独立于识别结果的电子笔记界面时，单独显示被电子笔记内容标记的电子文本内容。
在一些实施例中，电子笔记区域中除了通过当次识别得到的被电子笔记内容标记的电子文本内容，还包括该电子作品中在历史时间范围内产生的电子笔记，该电子笔记可以是在历史时间范围内，当次作品识别之前，通过对同一实体作品进行识别的得到的历史电子笔记，也可以是在历史时间范围内，在终端对电子作品进行笔记标记得到的历史电子笔记。
可选地，电子笔记显示操作包括但不限于触发电子笔记显示控件、输入电子笔记显示语音指令、执行预设手势操作如双击电子文本内容等。在一些实施例中，在识别结果中已显示有电子笔记内容的情况下，电子笔记显示操作还可以实现为对识别结果中被电子笔记内容标记的电子文本内容的触发操作。
示意性的，请参考图8，图8是本申请一个示例性实施例提供的电子笔记内容显示示意图，如图8所示，在识别结果所在的界面800中显示有电子文本内容810，其中包括被电子笔记内容820标记的文本内容，也即被下划线划出的文本“这是笔记a”，界面800中还包括电子笔记显示控件830，响应于对电子笔记显示控件830的触发操作，在界面800中显示电子笔记浮窗840，其中，包括被电子笔记内容标记的电子文本内容841。
在一些实施例中，识别结果中还包括电子笔记内容对应的电子笔记信息，电子笔记信息用于指示电子笔记内容的统计数据。可选地，电子笔记信息可以用于指示当次识别得到的电子笔记内容数量，也可以用于指示包括历史电子笔记和新增电子笔记内容的电子笔记总数量，也可以用于指示某一类型的新增笔记数量或电子笔记总数量，如当次识别得到的电子笔记内容中高亮类型笔记数量。
在一些实施例中，在电子文本内容的基础上显示电子笔记内容之后，在电子笔记信息符合隐藏条件的情况下，取消显示电子笔记信息。
可选地，隐藏条件包括但不限于电子笔记信息当次显示时长超出预设时长阈值、触发显示电子笔记浮窗、接收到电子笔记信息隐藏操作等。
示意性的，请参考图8，如图8所示，识别结果所在的界面800中包括电子笔记显示控件830，电子笔记信息实现为电子笔记显示控件830中的数量角标“+1”，用于指示当次识别到一条电子笔记内容，响应于对电子笔记显示控件830的触发操作，显示电子笔记浮窗840之后，取消显示电子笔记显示控件830的数量角标。
可选地，基于作品识别得到的电子笔记内容可以被编辑调整，包括但不限于调整电子笔记内容中高亮元素的颜色、改变下划线元素的类型、更改电子笔记内容对应的笔记类型、调整被电子笔记内容标记的电子文本内容的文本大小、调整电子文本内容中被电子笔记标记的文本范围等。上述编辑调整的电子笔记内容范围是可选的，也即，可以对当前所有电子笔记内容进行统一调整，也可以对选中的部分电子笔记内容进行局部调整。
示意性的，可以将本次识别得到的蓝色高亮元素调整为黄色；将当前笔记界面中所有下划线元素为直线的电子笔记内容更改为波浪线；将高亮类型的电子笔记内容更改为下划线类型，或者，将下划线类型的电子笔记内容更改为虚线框；将被电子笔记内容标记的电子文本内容中的字体调大至预设字体大小；扩大电子文本内容中被电子笔记标记的文本范围，如将被下划线标记的“，这是第一段落”调整为被下划线标记的“嗨，这是第一段落。”。
值得注意的是，上述对电子笔记内容的编辑调整方式仅为示意性举例，本申请对此不加以限定。
可选地，在一些实施例中，电子笔记内容的显示过程中还包括笔记类型的选择过程，也即，当电子笔记内容中包括多种笔记类型时，可以选择显示所有电子笔记内容，也可以选择一种笔记类型的电子笔记内容单独显示。
在一些实施例中，上述基于笔记类型选择的显示过程包括如下三步：
第一步，显示多个不同的候选笔记类型对应的笔记类型选项。
可选地，候选笔记类型包括但不限于高亮类型、下划线类型和全量类型中的至少一种，其中，全量类型用于指示被任意的电子笔记类型。
第二步，响应于对笔记类型选项的选择操作，从多个不同的候选笔记类型中确定被选择的目标笔记类型。
示意性的，当电子笔记内容中包括黄色高亮元素、红色高亮元素、直线下划线元素、波浪下划线元素、虚线矩形框元素时，响应于对笔记类型选项的选择操作，从上述五种候选笔记类型中确定被选择的黄色高亮元素类型为目标笔记类型。
第三步，单独显示符合目标笔记类型的电子笔记内容，或，在电子文本内容的基础上显示符合目标笔记类型的电子笔记内容。
示意性的，当确定被选择的黄色高亮元素类型为目标笔记类型时，在电子笔记浮窗界面中单独显示黄色高亮元素，或，在电子文本内容的基础上显示黄色高亮元素。
综上所述，本申请实施例提供的方法，通过显示图像识别界面用于采集待识别作品内容，响应于接收到对实体作品的图像获取操作，获取实体作品对应的实体作品图像，实体作品图像中包括实体作品的实体文本内容和针对实体文本内容的笔记标记元素，显示实体文本内容的识别结果，识别结果中包括电子作品的电子文本内容，电子文本内容与实体文本内容之间符合一致性关系，单独显示电子笔记内容或在电子文本内容的基础上显示电子笔记内容，实现了在通过实体作品图像获取对应电子作品的过程中，将实体作品图像中的笔记标记元素同步为电子笔记内容，解决了实体笔记难以保存的问题，并提高了电子笔记的查询效率。
本申请实施例提供的方法，通过在图像识别界面中显示图像授权提示，用于提示对图像获取操作进行图像授权操作，响应于接收到图像授权操作，允许接收图像获取操作，明确了图像获取授权过程，保护了用户隐私权限。
本申请实施例提供的方法，通过在识别结果中显示用于指示电子笔记内容数量的电子笔记信息，向用户提示新增电子笔记数量，方便用户查询与统计，通过在电子文本内容的基础上显示电子笔记内容之后隐藏电子笔记信息，减少界面中对用户的干扰信息，防止用户厌烦。
本申请实施例提供的方法，通过显示多个不同的候选笔记类型对应的笔记类型选项，响应于对笔记类型选项的选择操作，从多个不同的候选笔记类型中确定被选择的目标笔记类型，并单独显示符合目标笔记类型的电子笔记内容，或，在电子文本内容的基础上显示符合目标笔记类型的电子笔记内容，提供了多种电子笔记显示方式，能够直观地筛选不同类型地电子笔记内容，提高了用户体验感。
在一些实施例中，在显示图像识别界面之前，还包括入口触发过程，该过程包括如下两步：
第一步，显示识别入口界面。
在一些实施例中，识别入口界面是包括识别入口控件的界面。
可选地，以书籍阅读器应用程序为例，识别入口界面包括但不限于该应用程序中的作品搜索界面、电子笔记列表界面、电子笔记显示界面、电子作品阅读界面、电子笔记浮窗所在界面、书架界面中的至少一种。
示意性的，请参考图9，图9是本申请一个示例性实施例提供的识别入口界面示意图，如图9所示，识别入口界面910实现为作品搜索界面，其中搜索栏右侧包括识别入口控件911，识别入口界面920实现为电子笔记列表界面，其中包括识别入口控件921，识别入口界面930实现为电子笔记显示界面，其中包括识别入口控件931，识别入口界面940实现为电子作品阅读界面，其中包括实现为悬浮球的识别入口控件941，识别入口界面950实现为电子笔记浮窗所在界面，其中包括电子笔记浮窗中的识别入口控件951，识别入口界面960实现为书架界面，其中包括书架导入控件列表中的识别入口控件961。
在一些实施例中，本申请实施例中的电子笔记内容包括多个不同电子作品中的电子笔记内容，可选地，响应于电子笔记合并操作，将多个不同电子作品中的电子笔记内容合并显示。
示意性的，请参考图9，以图9中实现为电子笔记列表界面的识别入口界面920为例，响应于对名著A、名著B的笔记合并操作，将名著A和名著B的73个笔记进行合并显示。可选地，响应于对实体作品名著A的识别，显示电子笔记浮窗或电子笔记界面时，电子笔记浮窗和电子笔记界面中不止包括名著A对应的电子笔记内容，还包括名著B对应的电子笔记内容。
第二步，在识别入口界面中接收入口触发操作。
其中，入口触发操作用于触发显示图像识别界面。
可选地，入口触发操作包括但不限于对识别入口界面中识别入口控件的触发操作、输入作品识别的语音指令、在识别入口界面中执行预设的手势操作，如三指下滑等。
在一些实施例中，响应于入口触发操作显示图像识别界面。
可选地，在显示图像识别界面之前，执行授权提示过程，以书籍阅读器应用程序为例，若该应用程序当前未获取图像获取权限，响应于入口触发操作显示图像授权提示，用于提示对图像获取操作进行图像授权操作，响应于接收到图像授权操作，允许接收图像获取操作，并显示图像识别界面。
综上所述，本申请实施例提供的方法，通过在显示图像识别界面之前，显示识别入口界面，在识别入口界面中接收入口触发操作，其中，入口触发操作用于触发显示图像识别界面，通过多种识别入口界面以及对应的入口触发操作，向用户提供了多种进入图像识别界面的方式，提高了作品识别方法的使用率和识别效率。
请参考图10，图10是本申请一个示例性实施例提供的实体文本内容识别方法流程图，如图10所示，该方法包括如下步骤：
步骤1010，对实体作品图像进行光学字符识别(Optical CharacterRecognition，OCR)，得到字符识别结果。
其中，字符识别结果中包括至少一个文本行，至少一个文本行对应有文本行类型和位置坐标，文本行类型用于指示笔记标记元素对至少一个文本行的标记情况，位置坐标用于指示至少一个文本行在实体作品图像中的位置区域。
在一些实施例中，文本行类型包括正文类型、高亮类型和下划线类型，其中，正文类型用于指示实体文本内容中属于正文部分的文本内容，高亮类型是指实体文本内容中被高亮标记的文本内容，下划线类型是指实体文本内容中被下划线标记的文本内容，其中下划线包括但不限于直线、波浪线、双直线中的至少一种。
在一些实施例中，位置坐标包括文本框四个顶点在实体作品图像中的二维坐标，其中，文本框是指包含实体文本内容中单个文本行的最小矩形框。
在一些实施例中，字符识别结果包括至少一个标注有文本行类型标签和位置坐标标签的文本行，文本行类型标签用于指示文本行的文本行类型，位置坐标标签用于指示文本行的位置坐标。
在一些实施例中，OCR识别过程通过预先训练好的OCR识别模型执行，OCR识别过程实现为将实体作品图像的图像地址输入OCR识别模型，输出得到OCR识别结果。其中，图像地址用于指示实体作品图像在终端中的存储位置。示意性的，请参考图11，图11是本申请一个示例性实施例提供的OCR识别示意图，如图11所示，将实体作品图像1110的图像地址输入OCR模型1120，输出得到字符识别结果1130，其中包括多个标注有文本行类型标签和位置坐标标签的文本行。
步骤1020，基于字符识别结果对实体作品进行检索，得到检索结果。
在一些实施例中，字符识别结果为空，即，实体作品图像中不包括实体作品的任何文本内容，则直接获取检索结果为空。
在一些实施例中，在对实体作品进行检索之前还包括图像类型识别过程，该过程实现为基于字符识别结果对实体作品图像进行分类识别，得到实体作品图像的图像类别。
在一些实施例中，通过简单的机器学习模型(如逻辑回归、随机森林)作为图像分类模型对实体作品图像进行图像分类。将字符识别结果为空的实体作品图像视为其他图像，将包含“ISBN”字样的实体作品图像视为ISBN图像，对不属于其他图像和ISBN图像的实体作品图像的字符识别结果进行特征提取，得到输入特征，将输入特征输入图像分类模型，输出得到图像类别。其中，输入特征包括实体文本内容文本长度、字符识别结果中的文本框数量、标点符号数量、是否包含划线高亮文本、文本框的平均文本长度、是否包含关键词(出版社、出版单位等)、是否包含作者名、是都包含书籍名、是否包含页码。
示意性的，在机器学习过程中人工标注了8570张图片，按照预设比例随机划分为训练集、验证集和测试集，具体的数据信息如下表1所示：
表1数据统计信息
正文 书封 合计
训练集 3286 3570 6856
验证集 411 446 857
测试集 411 446 857
图像分类模型在验证集和测试集的性能结果如下表2所示：
表2性能结果
准确率
验证集 0.9719953325554259
测试集 0.9731621936989499
可选地，图像类别识别结果包括如下情况至少之一：
第一种，图像类别表征实体作品图像属于封面图像。
在一些实施例中，在图像类别表征实体作品图像属于封面图像的情况下，基于封面图像特征对实体作品进行检索，得到检索结果，检索结果用于指示与封面图像特征相似度达到预设相似阈值的电子作品。
第二种，图像类别表征实体作品图像属于ISBN图像。
在一些实施例中，在图像类别表征实体作品图像属于ISBN图像的情况下，基于实体作品图像中的ISBN对实体作品进行检索，得到检索结果，检索结果用于指示与实体作品存在相同ISBN的电子作品。
第三种，图像类别表征实体作品图像属于其他图像。
在一些实施例中，在图像类别表征实体作品图像属于其他图像的情况下，基于实体作品图像的图像特征对实体作品进行检索，得到检索结果。
第四种，图像类型表征实体作品图像属于正文图像。
在一些实施例中，在图像类型表征实体作品图像属于正文图像的情况下，对字符识别结果进行检索，得到检索结果，检索结果用于指示电子作品和电子文本内容。
步骤1030，基于检索结果显示识别结果。
在一些实施例中，当检索结果为空时，显示识别结果，其中包括文案“未识别到相关作品”。可选地，该识别结果可以以独立于图像识别界面的界面进行显示，也可以以图像识别界面中的弹窗形式进行显示。
在一些实施例中，当基于封面图像或ISBN图像得到包含电子作品信息的检索结果时，显示电子作品信息。可选地，电子作品信息包括电子作品的电子封面图像、作品名、作者名、出版社、字数等。
在一些实施例中，当基于正文图像得到指示电子作品和电子文本内容的检索结果时，显示识别结果，其中包括电子作品的电子文本内容，实施细节请参照上述步骤230。
综上所述，本申请实施例提供的方法，通过对实体作品图像进行光学字符识别，得到字符识别结果，其中，字符识别结果用于指示实体文本内容的文本行类型和位置坐标，文本行类型用于指示笔记标记元素对实体文本内容的标记情况，位置坐标用于指示实体文本内容在实体作品图像中所处的位置区域，基于字符识别结果对实体作品进行检索，得到检索结果，基于检索结果显示识别结果，明确了对实体文本内容的识别方式，提高了作品识别效率和准确率。
本申请实施例提供的方法，通过基于字符识别结果对实体作品图像进行分类识别，得到实体作品图像的图像类别，在图像类别表征实体作品图像属于正文图像的情况下，对字符识别结果进行检索，得到检索结果，用于指示电子作品和电子文本内容，通过图像分类执行不同的检索策略，提高了检索效率。
请参考图12，图12是本申请一个示例性实施例提供的正文识别方法流程图，如图12所示，该方法如下步骤：
步骤1021，在图像类别表征实体作品图像属于正文图像的情况下，对字符识别结果进行内容整合，得到正文内容识别结果。
其中，正文内容识别结果用于检索电子作品。
在一些实施例中，正文内容识别结果包括正文文本内容和笔记文本内容，其中，正文文本内容包括实体作品图像中所有文本行的全量文本内容，以及基于标点符号或文本长度划分得到的语句文本内容和段落文本内容，笔记文本内容是指全量文本内容中被高亮或划线的文本内容。
在一些实施例中，字符识别结果中包括至少一个文本行，正文内容识别结果的获取过程包括如下三步：
第一步，基于位置坐标，对至少一个文本行进行排序整理，得到正文文本内容。
在一些实施例中，基于字符识别结果中各个文本框左上角顶点坐标的纵坐标对至少一个文本行从上至下进行排序，再基于各个文本框左上角顶点坐标的横坐标对至少一个文本行从左至右进行排序，并对包含页码和章节标题等内容的文本行进行过滤，得到全量文本内容。
在一些实施例中，实体作品图像中存在包含两页作品内容的情况，基于上述横坐标的重叠程度划分左右两块，取字数最多的一块用于后续处理。
示意性的，请参考图13，图13是本申请一个示例性实施例提供的正文内容识别示意图，如图13所示，实体作品图像1300中包括做本文块1310和右文本块1320，采用字数最多的右文本块1320进行后续处理。
在一些实施例中，假设排序后的文本行在一个字长的距离范围内存在重叠，则对这两个文本行进行合并，其中，一个字长是指一个文本框上顶点纵坐标与下顶点纵坐标之间的差值。
示意性的，请参考图14，图14是本申请一个示例性实施例提供的文本行合并示意图，如图14所示，文本行1410包括位置坐标(x1min,y1min)、(x1max,y1max)，(x1min,y1min)是文本行1410对应文本框的左上角顶点坐标，(x2min,y2min)是文本行1420对应文本框的右下角顶点坐标，基于y1min和y1max之间的差值确定一个字长，在文本行1410以一个字长为基准的距离范围1430与文本行1420存在重叠部分的情况下，对文本行1410和文本行1420进行合并。
在一些实施例中，根据标点符号对全量文本内容进行分句，得到语句文本内容，根据文本长度对全量文本内容进行分段，得到段落文本内容。
第二步，对文本行类型属于下划线类型或高亮类型的文本行进行笔记识别，得到笔记文本内容。
在一些实施例中，将文本行类型属于下划线类型或高亮类型的文本行作为候选笔记文本，并对候选笔记文本进行短句过滤，得到笔记文本内容。例如，将文本行类型属于高亮类型的文本行“学起。虽然有雷政委的信任，但对她的限制还是很严的，她可以看程序源代码，但不许接触数据库。”进行短句过滤，以句号为基准过滤前3个字符，经过后处理为“虽然有雷政委的信任，但对她的限制还是很严的，她可以看程序源代码，但不许接触数据库。”。
第三步，结合正文文本内容和笔记文本内容，得到正文内容识别结果。
在一些实施例中，结合上述全量文本内容、语句文本内容、段落文本内容和笔记文本内容，得到正文内容识别结果。
步骤1022，对正文内容识别结果进行检索，得到检索结果。
在一些实施例中，检索结果包括电子作品的作品标识、电子文本内容的章节标识、以及电子文本内容和电子笔记内容在电子作品中出现的位置信息。
在一些实施例中，检索过程包括如下三步：
第一步，基于正文文本内容对实体作品进行内容匹配，得到正文匹配结果。
其中，正文匹配结果中包括电子作品的作品标识，以及电子文本内容在目标电子作品中的章节标识。
在一些实施例中，使用全量文本内容从分布式搜索和分析引擎(Elasticsearch)进行章节召回，并根据召回结果与全量文本内容的匹配度对召回结果进行过滤，基于语句文本内容对过滤后的召回结果进行文本粗排，得到文本粗排结果，使用子字符串查找算法(Knuth-Morris-Pratt，KMP)和文本模糊匹配算法对电子作品中的文本和章节进行匹配，在全量文本内容无法匹配时，使用段落文本内容进行匹配，并获取匹配评分，用于指示全量文本内容和段落文本内容与电子文本内容的匹配程度，当匹配评分达到预设阈值时，确认电子作品和电子文本内容，得到作品标识和章节标识，以及电子文本内容在电子作品中出现的位置信息。
第二步，基于笔记文本内容对电子文本内容进行笔记匹配，得到笔记匹配结果，笔记匹配结果用于指示电子笔记内容。
在确认电子作品和电子文本内容的情况下，使用文本模糊匹配算法基于笔记文本内容对电子文本内容进行查找，得到电子笔记内容在电子作品中出现的位置信息，也即笔记匹配结果。
第三步，结合正文匹配结果和笔记匹配结果得到检索结果。
在一些实施例中，结合上述作品标识、电子文本内容的章节标识、以及电子文本内容和电子笔记内容在电子作品中出现的位置信息，得到检索结果。
综上所述，本申请实施例提供的方法，通过在所述图像类别表征所述实体作品图像属于正文图像的情况下，对字符识别结果进行内容识别，得到正文内容识别结果，对正文内容识别结果进行检索，得到检索结果，明确了针对正文图像的检索方式，提高了针对正文图像的作品识别效率，为电子笔记内容的显示提供了基础。
本申请实施例提供的方法，通过基于位置坐标，对至少一个文本进行排序整理，得到正文文本内容，对文本行类型属于下划线类型或高亮类型的文本进行笔记识别，得到笔记文本内容，结合正文文本内容和笔记文本内容，得到正文内容识别结果，为匹配电子作品、确定电子文本内容、以及确定电子笔记内容在电子作品中的位置提供了基础，提高了作品识别的准确率和效率。
本申请实施例提供的方法，通过基于正文文本内容对实体作品进行内容匹配，得到正文匹配结果，其中，正文匹配结果中包括电子作品的作品标识，以及电子文本内容在目标电子作品中的章节标识，基于笔记文本内容对电子文本内容进行笔记匹配，得到笔记匹配结果，用于指示电子笔记内容，结合正文匹配结果和笔记匹配结果得到检索结果，实现了在检索电子作品的同时，同步转换得到电子笔记内容。
在一些实施例中，为提高电子笔记内容的同步效率，可以连续采集同一实体作品对应的多个实体作品图像，基于多个实体作品图像单次执行作品识别方法，一次性获取多个实体作品图像对应的电子笔记内容，该过程包括如下步骤：
第一步，显示图像识别界面。
可选地，第一步与采集单张实体作品图像执行单次作品识别的实施方式一致，上述第一步的实施细节，可参考上述相关实施例，此处不再赘述。
第二步，响应于接收到对实体作品的图像获取操作，获取实体作品对应的实体作品图像。
可选地，图像获取操作包括但不限于至少一次触发拍摄控件、从相册中选取至少一张实体作品图像等。
第三步，响应于接收到识别确认操作，对实体作品内容进行识别并显示识别结果。
其中，识别结果中包括至少一张实体作品图像中实体文本内容对应的电子文本内容。
在一些实施例中，在获取至少一张实体作品图像之后，图像识别界面中显示有识别确认控件，响应于对识别确认控件的触发操作，对实体作品内容进行识别并显示识别结果。
第四步，在电子文本内容的基础上显示电子笔记内容。
其中，电子笔记内容包括基于至少一张实体作品图像中笔记标记元素转换得到的标记元素。
综上所述，本申请实施例提供的方法，通过增加接收识别确认操作，实现了基于多个实体作品图像单次执行作品识别方法的方案，提高电子笔记内容的同步效率的同时，由于增加了实体文本内容的采集量，从而提高了作品识别的准确性。
在一些实施例中，基于实体文本内容识别显示电子笔记内容之后，还包括电子笔记实时转换过程，请参考图15，图15是本申请一个示例性实施例提供的电子笔记实施转换方法流程图，如图15所示，该方法包括如下步骤：
步骤1510，显示图像识别浮窗。
其中，图像识别浮窗用于对待识别作品内容进行实时采集。
可选地，图像识别浮窗可以与电子笔记浮窗分屏显示，也可以是在未显示电子笔记浮窗的识别结果中单独显示的图像识别浮窗，还可以是在电子笔记界面中显示的图像识别浮窗。上述图像识别浮窗的显示方式仅为示意性举例，本申请实施例中图像识别浮窗所在界面可以是任意能够显示电子笔记内容的界面，本申请对此不加以限定。
步骤1520，响应于采集到实体文本内容中的新增笔记内容，实时显示电子标记动画。
其中，新增笔记元素不同于笔记标记元素，电子标记动画是指基于新增笔记元素转换得到针对电子文本内容的电子标记元素的过程动画。
示意性的，请参考图16，图16是本申请一个示例性实施例提供的电子标记动画示意图，如图16所示，在电子作品阅读界面1600中包括已识别得到的电子文本内容1610和电子笔记内容1611，电子作品阅读界面1600中还包括图像识别浮窗1620，图像识别浮窗1620用于对实体文本内容1621进行实时采集，实体文本内容1621中包括已有的笔记标记元素1622，其中，实体文本内容1621与电子文本内容1610存在一致性关系，电子笔记内容1611是基于笔记标记元素1622转换得到的标记元素，响应于采集到实体文本内容1621中的新增笔记内容1623，实时显示电子标记动画，该动画用于表现基于新增笔记元素1623转换得到针对电子文本内容1611的电子标记元素1612的过程。
综上所述，本申请实施例提供的方法，通过显示用于对待识别作品内容进行实时采集的图像识别浮窗，响应于采集到实体文本内容中的新增笔记内容，实时显示电子标记动画，实现了基于实体作品中实时标记的新增笔记内容，实时同步转换得到电子作品中的电子标记元素，增加了电子笔记转换的实时性，方便实时将实体笔记保存为电子版本。
图17是本申请一个示例性实施例提供的作品识别装置的结构框图，如图17所示，该装置包括如下部分：
显示模块1710，用于显示图像识别界面，所述图像识别界面用于对待识别作品内容进行采集；
处理模块1720，用于响应于接收到对实体作品的图像获取操作，获取所述实体作品对应的实体作品图像，所述实体作品图像中包括所述实体作品的实体文本内容和针对所述实体文本内容的笔记标记元素；
所述显示模块1710，还用于显示所述实体文本内容的识别结果，所述识别结果中包括电子作品的电子文本内容，所述电子文本内容与所述实体文本内容之间符合一致性关系；
所述显示模块1710，还用于单独显示电子笔记内容或在所述电子文本内容的基础上显示电子笔记内容，所述电子笔记内容是基于所述笔记标记元素转换得到的针对所述电子文本内容的标记元素。
请参考图18，图18是本申请一个示例性实施例提供的作品识别装置模块的结构框图，如图18所示，在一些实施例中，所述显示模块1710，包括：
处理子模块1711，用于对所述实体作品图像进行光学字符识别，得到字符识别结果，所述字符识别结果中包括至少一个文本行，所述至少一个文本行对应有文本行类型和位置坐标，所述文本行类型用于指示所述笔记标记元素对所述至少一个文本行的标记情况，所述位置坐标用于指示所述至少一个文本行在所述实体作品图像中所处的位置区域；
所述处理子模块1711，还用于基于所述字符识别结果对所述实体作品进行检索，得到检索结果；
显示子模块1712，用于基于所述检索结果显示所述识别结果。
在一些实施例中，所述处理子模块1711包括：
处理单元1701，用于基于所述字符识别结果对所述实体作品图像进行分类识别，得到所述实体作品图像的图像类别；
所述处理单元1701，还用于在所述图像类别表征所述实体作品图像属于正文图像的情况下，对所述字符识别结果进行检索，得到所述检索结果，所述检索结果用于指示所述电子作品和所述电子文本内容。
在一些实施例中，所述处理单元1701，还用于在所述图像类别属于正文图像的情况下，对所述字符识别结果进行内容整合，得到正文内容识别结果，所述正文内容识别结果用于检索所述电子作品；
所述处理单元1701，还用于对所述正文内容识别结果进行检索，得到所述检索结果。
在一些实施例中，所述字符识别结果中包括至少一个文本行；所述处理单元1701，还用于：
基于所述位置坐标，对所述至少一个文本行进行排序整理，得到正文文本内容；
对所述文本行类型属于下划线类型或高亮类型的文本行进行笔记识别，得到笔记文本内容；
结合所述正文文本内容和所述笔记文本内容，得到所述正文内容识别结果。
在一些实施例中，所述处理单元1701，还用于：
基于所述正文文本内容对所述实体作品进行内容匹配，得到正文匹配结果，所述正文匹配结果中包括所述电子作品的作品标识，以及所述电子文本内容在所述目标电子作品中的章节标识；
基于所述笔记文本内容对所述电子文本内容进行笔记匹配，得到笔记匹配结果，所述笔记匹配结果用于指示所述电子笔记内容；
结合所述正文匹配结果和所述笔记匹配结果得到所述检索结果。
在一些实施例中，所述显示模块1710，还用于：
响应于电子笔记显示操作，显示电子笔记区域，所述电子笔记区域中包括被所述电子笔记内容标记的所述电子文本内容；或者，
在所述电子文本内容中显示所述电子笔记内容。
在一些实施例中，所述显示模块1710，还用于：
显示多个不同的候选笔记类型对应的笔记类型选项；
响应于对所述笔记类型选项的选择操作，从所述多个不同的候选笔记类型中确定被选择的目标笔记类型；
单独显示符合所述目标笔记类型的所述电子笔记内容，或，在所述电子文本内容的基础上显示符合所述目标笔记类型的所述电子笔记内容。
在一些实施例中，所述显示模块1710，还用于：
显示识别入口界面；
在所述识别入口界面中接收入口触发操作，所述入口触发操作用于触发显示所述图像识别界面。
在一些实施例中，所述识别结果中还包括所述电子笔记内容对应的电子笔记信息，用于指示所述电子笔记内容的统计数据；所述显示模块1710，还用于：
在所述电子笔记信息符合隐藏条件的情况下，取消显示所述电子笔记信息。
在一些实施例中，所述显示模块1710，还用于：
显示图像识别浮窗，所述图像识别浮窗用于对所述待识别作品内容进行实时采集；
响应于采集到所述实体文本内容中的新增笔记内容，实时显示电子标记动画，所述新增笔记元素不同于所述笔记标记元素，所述电子标记动画是指基于所述新增笔记元素转换得到针对所述电子文本内容的电子标记元素的过程动画。
综上所述，本申请实施例提供的装置，通过显示图像识别界面用于采集待识别作品内容，响应于接收到对实体作品的图像获取操作，获取实体作品对应的实体作品图像，实体作品图像中包括实体作品的实体文本内容和针对实体文本内容的笔记标记元素，显示实体文本内容的识别结果，识别结果中包括电子作品的电子文本内容，电子文本内容与实体文本内容之间符合一致性关系，单独显示电子笔记内容或在电子文本内容的基础上显示电子笔记内容，实现了在通过实体作品图像获取对应电子作品的过程中，将实体作品图像中的笔记标记元素同步为电子笔记内容，解决了实体笔记难以保存的问题，并提高了电子笔记的查询效率。
需要说明的是：上述实施例提供的作品识别装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
图19示出了本申请一个示例性实施例提供的终端1900的结构框图。该终端1900可以是：智能手机、平板电脑、MP3播放器、MP4播放器、笔记本电脑或台式电脑。终端1900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1900包括有：处理器1901和存储器1902。
处理器1901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1901可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器1901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1901可以在集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1901还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1901所执行以实现本申请中方法实施例提供的作品识别方法。
在一些实施例中，终端1900还包括其他组件，本领域技术人员可以理解，图19中示出的结构并不构成对终端1900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请的实施例还提供了一种计算机设备，该计算机设备可以实现为如图1所示的终端或者服务器。该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的作品识别方法。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的作品识别方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例提供的作品识别方法。
可选地，该计算机可读存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、固态硬盘(Solid State Drives，SSD)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(Resistance Random AccessMemory，ReRAM)和动态随机存取存储器(Dynamic Random Access Memory，DRAM)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种作品识别方法，其特征在于，所述方法包括：
显示图像识别界面，所述图像识别界面用于对待识别作品内容进行采集；
响应于接收到对实体作品的图像获取操作，获取所述实体作品对应的实体作品图像，所述实体作品图像中包括所述实体作品的实体文本内容和针对所述实体文本内容的笔记标记元素；
显示所述实体文本内容的识别结果，所述识别结果中包括电子作品的电子文本内容，所述电子文本内容与所述实体文本内容之间符合一致性关系；
单独显示电子笔记内容或在所述电子文本内容的基础上显示所述电子笔记内容，所述电子笔记内容是基于所述笔记标记元素转换得到的针对所述电子文本内容的标记元素。
2.根据权利要求1所述的方法，其特征在于，所述显示所述实体文本内容的识别结果，包括：
对所述实体作品图像进行光学字符识别，得到字符识别结果，所述字符识别结果中包括至少一个文本行，所述至少一个文本行对应有文本行类型和位置坐标，所述文本行类型用于指示所述笔记标记元素对所述至少一个文本行的标记情况，所述位置坐标用于指示所述至少一个文本行在所述实体作品图像中所处的位置区域；
基于所述字符识别结果对所述实体作品进行检索，得到检索结果；
基于所述检索结果显示所述识别结果。
3.根据权利要求2所述的方法，其特征在于，所述基于所述字符识别结果对所述实体作品进行检索，得到检索结果，包括：
基于所述字符识别结果对所述实体作品图像进行分类识别，得到所述实体作品图像的图像类别；
在所述图像类别表征所述实体作品图像属于正文图像的情况下，对所述字符识别结果进行检索，得到所述检索结果，所述检索结果用于指示所述电子作品和所述电子文本内容。
4.根据权利要求3所述的方法，其特征在于，所述在所述图像类别表征所述实体作品图像属于正文图像的情况下，对所述字符识别结果进行检索，得到所述检索结果，包括：
在所述图像类别表征所述实体作品图像属于正文图像的情况下，对所述字符识别结果进行内容整合，得到正文内容识别结果，所述正文内容识别结果用于检索所述电子作品；
对所述正文内容识别结果进行检索，得到所述检索结果。
5.根据权利要求4所述的方法，其特征在于，所述在所述图像类别表征所述实体作品图像属于正文图像的情况下，对所述字符识别结果进行内容整合，得到正文内容识别结果，包括：
基于所述位置坐标，对所述至少一个文本行进行排序整理，得到正文文本内容；
对所述文本行类型属于下划线类型或高亮类型的文本行进行笔记识别，得到笔记文本内容；
结合所述正文文本内容和所述笔记文本内容，得到所述正文内容识别结果。
6.根据权利要求5所述的方法，其特征在于，所述对所述正文内容识别结果进行检索，得到所述检索结果，包括：
基于所述正文文本内容对所述实体作品进行内容匹配，得到正文匹配结果，所述正文匹配结果中包括所述电子作品的作品标识，以及所述电子文本内容在所述目标电子作品中的章节标识；
基于所述笔记文本内容对所述电子文本内容进行笔记匹配，得到笔记匹配结果，所述笔记匹配结果用于指示所述电子笔记内容；
结合所述正文匹配结果和所述笔记匹配结果得到所述检索结果。
7.根据权利要求1至6任一所述的方法，其特征在于，所述单独显示电子笔记内容或在所述电子文本内容的基础上显示所述电子笔记内容，包括：
响应于电子笔记显示操作，显示电子笔记区域，所述电子笔记区域中包括被所述电子笔记内容标记的所述电子文本内容；或者，
在所述电子文本内容中显示所述电子笔记内容。
8.根据权利要求1至6任一所述的方法，其特征在于，所述单独显示电子笔记内容或在所述电子文本内容的基础上显示所述电子笔记内容，包括：
显示多个不同的候选笔记类型对应的笔记类型选项；
响应于对所述笔记类型选项的选择操作，从所述多个不同的候选笔记类型中确定被选择的目标笔记类型；
单独显示符合所述目标笔记类型的所述电子笔记内容，或，在所述电子文本内容的基础上显示符合所述目标笔记类型的所述电子笔记内容。
9.根据权利要求1至6任一所述的方法，其特征在于，所述显示图像识别界面之前，还包括：
显示识别入口界面；
在所述识别入口界面中接收入口触发操作，所述入口触发操作用于触发显示所述图像识别界面。
10.根据权利要求1至6任一所述的方法，其特征在于，所述识别结果中还包括所述电子笔记内容对应的电子笔记信息，所述电子笔记信息用于指示所述电子笔记内容的统计数据；
所述在所述电子文本内容的基础上显示电子笔记内容之后，还包括：
在所述电子笔记信息符合隐藏条件的情况下，取消显示所述电子笔记信息。
11.根据权利要求1至6任一所述的方法，其特征在于，所述单独显示电子笔记内容或在所述电子文本内容的基础上显示所述电子笔记内容之后，还包括：
显示图像识别浮窗，所述图像识别浮窗用于对所述待识别作品内容进行实时采集；
响应于采集到所述实体文本内容中的新增笔记内容，实时显示电子标记动画，所述新增笔记元素不同于所述笔记标记元素，所述电子标记动画是指基于所述新增笔记元素转换得到针对所述电子文本内容的电子标记元素的过程动画。
12.一种作品识别装置，其特征在于，所述装置包括：
显示模块，用于显示图像识别界面，所述图像识别界面用于对待识别作品内容进行采集；
处理模块，用于响应于接收到对实体作品的图像获取操作，获取所述实体作品对应的实体作品图像，所述实体作品图像中包括所述实体作品的实体文本内容和针对所述实体文本内容的笔记标记元素；
所述显示模块，还用于显示所述实体文本内容的识别结果，所述识别结果中包括电子作品的电子文本内容，所述电子文本内容与所述实体文本内容之间符合一致性关系；
所述显示模块，还用于单独显示电子笔记内容或在所述电子文本内容的基础上显示所述电子笔记内容，所述电子笔记内容是基于所述笔记标记元素转换得到的针对所述电子文本内容的标记元素。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行以实现如权利要求1至11任一所述的作品识别方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段计算机程序，所述至少一段计算机程序由处理器加载并执行以实现如权利要求1至11任一所述的作品识别方法。
15.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至11任一所述的作品识别方法。
CN202310561471.9A 2023-05-17 2023-05-17 作品识别方法、装置、设备、存储介质及程序产品 Pending CN116958987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310561471.9A CN116958987A (zh) 2023-05-17 2023-05-17 作品识别方法、装置、设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310561471.9A CN116958987A (zh) 2023-05-17 2023-05-17 作品识别方法、装置、设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN116958987A true CN116958987A (zh) 2023-10-27

Family

ID=88445118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310561471.9A Pending CN116958987A (zh) 2023-05-17 2023-05-17 作品识别方法、装置、设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN116958987A (zh)

Similar Documents

Publication Publication Date Title
US8577882B2 (en) Method and system for searching multilingual documents
US10198506B2 (en) System and method of sentiment data generation
US11907669B2 (en) Creation of component templates based on semantically similar content
US9256798B2 (en) Document alteration based on native text analysis and OCR
CN109325414A (zh) 证件信息的提取方法、装置和文本信息的提取方法
US20060218192A1 (en) Method and System for Providing Information Services Related to Multimodal Inputs
CN110716991B (zh) 基于电子书的实体关联信息的展示方法及电子设备
US20130018874A1 (en) System and method of sentiment data use
US20130057583A1 (en) Providing information services related to multimodal inputs
US8799257B1 (en) Searching based on audio and/or visual features of documents
US20160103915A1 (en) Linking thumbnail of image to web page
CN111814481B (zh) 购物意图识别方法、装置、终端设备及存储介质
CN111061887A (zh) 一种新闻人物照片提取方法、装置、设备及存储介质
CN111666383A (zh) 信息处理方法、装置、电子设备及计算机可读存储介质
WO2024193538A1 (zh) 视频数据处理方法、装置、设备及可读存储介质
CN113407678B (zh) 知识图谱构建方法、装置和设备
CN117493645B (zh) 一种基于大数据的电子档案推荐系统
CN114241501A (zh) 影像文档处理方法、装置及电子设备
US20180293299A1 (en) Query processing
CN116933130A (zh) 一种基于大数据的企业行业分类方法、系统、设备及介质
TW200807346A (en) Knowledge framework system and method for integrating a knowledge management system with an e-learning system
CN111401047A (zh) 法律文书的争议焦点生成方法、装置及计算机设备
CN115186240A (zh) 基于关联性信息的社交网络用户对齐方法、装置、介质
Vishwanath et al. Deep reader: Information extraction from document images via relation extraction and natural language
CN116958987A (zh) 作品识别方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication