CN110851631B - 一种检索系统 - Google Patents

一种检索系统 Download PDF

Info

Publication number
CN110851631B
CN110851631B CN201911094862.4A CN201911094862A CN110851631B CN 110851631 B CN110851631 B CN 110851631B CN 201911094862 A CN201911094862 A CN 201911094862A CN 110851631 B CN110851631 B CN 110851631B
Authority
CN
China
Prior art keywords
image
text
character information
pair
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911094862.4A
Other languages
English (en)
Other versions
CN110851631A (zh
Inventor
商广蕾
王鸽
蒲蓬勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN201911094862.4A priority Critical patent/CN110851631B/zh
Publication of CN110851631A publication Critical patent/CN110851631A/zh
Application granted granted Critical
Publication of CN110851631B publication Critical patent/CN110851631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种检索系统,包括:图像数据库,用于存储目标图像;文字提取模块,用于从所述目标图像中提取文字信息和提取的文字信息在所属目标图像中的对应位置,并基于提取的文字信息和对应位置形成包括所述文字信息和对应位置的关系对,并将所述关系对发送给所述存储模块;存储模块,用于存储所述文字提取模块提取的文字信息和对应位置的关系对;检索模块,用于基于接收的用户输入的关键词对所述存储模块中的关系对中的文字信息进行文本匹配,得到匹配到所述关键词的关系对,并基于所述关系对得到并呈现所述关键词相对应的一个或多个图像以及所述关键词相对应的文字信息在对应图像中的位置。本发明能够提高检索的准确性。

Description

一种检索系统
技术领域
本发明涉及一种检索系统,具体涉及一种用于管理学的检索系统。
背景技术
管理学中经常使用思维导图代替文字来快速清晰的描述并呈现信息,例如图1所示的思维导图。这种思维导图与传统文字描述相比,其优势在于信息呈现直观,逻辑关系清晰,但是也存在不足。这种思维导图技术上主要是将文字都嵌入在图像当中,当大量信息都在使用图像方式呈现时,可检索性非常差。仍以图1为例,在文字描述的情况下,通过Baidu、Bing等搜索引擎,可以方便的检索到与“求异思维”相关的信息,但是在思维导图的图像描述的情况下,很难通过“求异思维”这个词检索到图1,并获得对应的信息,从而造成检索结果遗漏。
此外,也常使用图2所示的鱼骨图等其他一些主要采用图像描述并呈现信息的方式,都存在类似的技术问题。
因此,亟待需要提供能够根据关键词检索到相应的思维导图并获得对应的信息的检索方案。
发明内容
本发明的实例要解决的技术问题是提供一种检索系统,该检索系统能够准确地检索到与检索关键词对应的图像以及对应的文字信息。
本发明采用的技术方案为:
本发明实施例提供一种检索系统,包括:图像数据库、文字提取模块、存储模块和检索模块,其中,
所述图像数据库,用于存储目标图像;
所述文字提取模块,用于从所述目标图像中提取文字信息和提取的文字信息在所属目标图像中的对应位置,并基于提取的文字信息和对应位置形成包括所述文字信息和对应位置的关系对,并将所述关系对发送给所述存储模块;
所述存储模块,用于存储所述文字提取模块提取的文字信息和对应位置的关系对;
所述检索模块,用于基于接收的用户输入的关键词对所述存储模块中的关系对中的文字信息进行文本匹配,得到匹配到所述关键词的关系对,并基于所述关系对得到并呈现所述关键词相对应的一个或多个图像以及所述关键词相对应的文字信息在对应图像中的位置。
可选地,所述关系对的格式为能够进行文本匹配的文本格式。
可选地,所述关系对还包括:关系对ID和图像ID。
可选地,所述关系对还包括:对应的目标图像的宽度和高度。
可选地,所述关键词相对应的文字信息在对应图像中的位置通过提示标识进行显示。
可选地,所述提示标识为具有提示颜色的图层,所述图层覆盖但不遮挡所述关键词相对应的文字区域。
可选地,所述提示颜色与所述关键词在对应图像中的颜色不同。
可选地,所述图层通过闪烁的方式进行提示。
可选地,所述文字信息在所属图像中的位置通过在所属图像中的相对坐标确定。
可选地,所述文字信息的相对坐标包括提取的文字信息所在区域占所属图像的平面空间的最小矩形区域的左上角坐标和右下角坐标。
本发明实施例提供的检索系统,先将图像中的所有文字信息和在图像中的对应位置提取出来,以关系对的形式存储起来。在用户检索时,能够根据用户输入的关键词能够快速的检索到对应的关系对,然后,基于检索到的关系对得到并呈现关键词相对应的一个或多个图像以及关键词相对应的文字信息在对应图像中的位置,从而能够准确地检索到与检索关键词对应的图像以及对应的文字信息。
附图说明
图1和图2为现有技术的思维导图;
图3为本发明实施例提供的检索系统的结构框图;
图4为使用提示标识提示搜索到的内容的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
如图3所示,本发明实施例提供一种检索系统,包括:图像数据库1、文字提取模块2、存储模块3和检索模块4,其中,所述图像数据库1,用于存储目标图像;所述文字提取模块2,用于从所述目标图像中提取文字信息和提取的文字信息在所属目标图像中的对应位置,并基于提取的文字信息和对应位置形成包括所述文字信息和对应位置的关系对,并将所述关系对发送给所述存储模块;所述存储模块3,用于存储所述文字提取模块提取的文字信息和对应位置的关系对;所述检索模块4,用于基于接收的用户输入的关键词对所述存储模块中的关系对中的文字信息进行文本匹配,得到匹配到所述关键词的关系对,并基于所述关系对得到并呈现所述关键词相对应的一个或多个图像以及所述关键词相对应的文字信息在对应图像中的位置。
在本发明实施例中,检索系统还可包括图像获取模块和图像清洗模块。图像获取模块用于通过网络爬虫爬取预设网站中存储的图像。预设网站可为与检索领域相关的网站或者用户指定的网站。图像清洗模块用于对图像获取模块获取的图像进行预处理,例如剔除明显不属于目标图像的噪声,例如不属于思维导图或鱼骨图等的噪声。可使用任何现有的噪声剔除方法剔除图像噪声,根据本发明的一些噪声剔除方法包括例如,图像大小特别小的(图像的宽度、高度低于阈值的),使用OCR没有发现图像中存在文字(例如风景照),人工浏览等。经过图像清洗模块清洗后的图像会存入图像数据库中,即图像数据库1中存储的目标图像为经过预处理剔除噪声后的图像。
进一步地,在本发明实施例中,可利用现有技术中的文字识别技术例如OCR技术提取图像中的文字信息,和该文字信息在所属图像中的位置。在一个示例中,所述文字信息在所属图像中的位置通过在所属图像中的相对坐标确定,所述文字信息的相对坐标包括提取的文字信息所在区域占所属图像的平面空间的最小矩形区域的左上角坐标和右下角坐标。这样,通过提取出的文字信息和对应的坐标,形成便于检索的关系对,关系对的格式为能够进行文本匹配的文本格式。例如,以图2中的病人分支为例(事实上图2中的所有文字都进行同样的处理),通过提取的病人分支的文字信息和对应坐标形成的关系对包括:“病人,P1(x1,y1),P2(x2,y2)”、“病人对反复核对不理解P1(x1,y1),P2(x2,y2)”、“病人不配合P1(x1,y1),P2(x2,y2)”、“生理、疾病因素P1(x1,y1),P2(x2,y2)”,P1和P2为对应文字所在图像中的左上角坐标和右下角坐标。P1和P2的具体数值基于图像的像素确定。例如,图2所示的图像,宽度为940像素,高度为615像素,则整个图像区域的左上角坐标为(0,0),右下角坐标为(940,615),这样,文字信息“病人对反复核对不理解”的对应坐标可为:P1(107,113),P2(200,157)。由于以关系对的形式体现图像的内容,这样,在检索时,可根据用户输入的关键词,能够方便的检索到文字对应的图像。仍以图2为例说明,当使用关键词“病人”进行检索时,仅对文字信息进行检索,显然能够方便的检索到:
“病人,P1(x1,y1),P2(x2,y2)”、
“病人对反复核对不理解P1(x1,y1),P2(x2,y2)”、
“病人不配合P1(x1,y1),P2(x2,y2)”。
在本发明实施例中,关系对的内容除包括文字信息和对应坐标外,还可包括:关系对ID和图像ID。关系对ID可为自动生成的唯一随机数,用于标识每个关系对的身份。图像ID也可为自动生成的唯一随机数,用于标识每个图像的身份。这样,对于每个关系对可以清楚的知道其包含的文字信息,该文字信息所属的图像以及在每个图像中的对应的位置。
进一步的,本发明优选的实施例中,任何一个关系对的内容还包括对应的目标图像的宽度W和高度H。使用图层覆盖但不遮挡所述关键词对应的文字区域进一步包括:
获取检索到的任何一个关系对,进而获取关系对对应的目标图像;
获取目标图像在显示装置(例如显示屏)上拟显示的尺寸W0和H0,其中W0为拟显示的图像宽度,H0为拟显示的图像高度;
如果W0小于第一宽度阈值或H0小于第一高度阈值,则不进行图层覆盖但不遮挡所述关键词对应的文字区域;这样,能够在检索系统使用缩略图呈现检索到的目标图像时,能够有更快的呈现反应速度,且不会影响显示效果;
如果W0大于或等于第一宽度阈值,且H0大于或等于第一高度阈值,那么将目标图像内缩放后的坐标D1,D2,D3,D4所围成的矩形区域进行图层覆盖但不遮挡处理;其中,D1的坐标为
Figure BDA0002268009480000051
D2的坐标为
Figure BDA0002268009480000052
D3的坐标为
Figure BDA0002268009480000053
D4的坐标为
Figure BDA0002268009480000054
(x1,y1)和(x2,y2)分别为关系对中文字信息在所属目标图像中的左上角和右下角的坐标P1和P2,k为像素调整系数,取值范围为小于或等于5个像素,一个实施例中,k=0。这样,即便是呈现的缩放图,也能够正确的显示出文字信息对应目标图像的位置。
此外,在本发明实施例中,所述关键词相对应的文字信息在对应图像中的位置可通过提示标识进行显示。由于关系对中包含了文字信息在所属图像中的坐标,因此,通过关键词检索,能够知晓检索到的词在图像中的位置,可以在图像的对应位置处通过提示标识进行提示性显示,这样可以使得用户能够直观的看到检索结果。在一个示例中,所述提示标识为具有提示颜色的图层,所述图层覆盖但不遮挡(即半透明)所述关键词相对应的文字区域,所述提示颜色与所述关键词在对应图像中的颜色不同。以图2为例,在根据关键词“病人”检索得到的信息后,可在相应的文字信息区域利用图层进行提示,如图4所示。此外,在一个示例中,所述图层可通过闪烁的方式进行提示,能够使得用户更直观的看到检索结果。
综上,本发明实施例提供的检索系统,由于先将图像中的所有文字信息和在图像中的对应位置提取出来,以关系对的形式存储起来,这样,在用户检索时,能够根据用户输入的关键词能够快速的检索到对应的关系对,然后,基于检索到的关系对得到并呈现关键词相对应的一个或多个图像以及关键词相对应的文字信息在对应图像中的位置,从而能够准确地检索到与检索关键词对应的图像以及对应的文字信息。此外,对于检索到的文字信息,在呈现相应的图像时,使用具有闪烁性的提示标识进行提示,能够使得用户直观地知道检索结果。
以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种检索系统,其特征在于,包括:图像数据库、文字提取模块、存储模块和检索模块,其中,
所述图像数据库,用于存储目标图像;
所述文字提取模块,用于从所述目标图像中提取文字信息和提取的文字信息在所属目标图像中的对应位置,并基于提取的文字信息和对应位置形成包括所述文字信息和对应位置的关系对,并将所述关系对发送给所述存储模块;
所述存储模块,用于存储所述文字提取模块提取的文字信息和对应位置的关系对;
所述检索模块,用于基于接收的用户输入的关键词对所述存储模块中的关系对中的文字信息进行文本匹配,得到匹配到所述关键词的关系对,并基于所述关系对得到并呈现所述关键词相对应的一个或多个图像以及所述关键词相对应的文字信息在对应图像中的位置;
所述关系对还包括:对应的目标图像的宽度W和高度H;所述关键词相对应的文字信息在对应图像中的对应位置通过提示标识进行显示,所述提示标识为具有提示颜色的图层,所述图层覆盖但不遮挡所述关键词相对应的文字区域;
其中,使用图层覆盖但不遮挡所述关键词相对应的文字区域包括:
获取检索到的任何一个关系对,进而获取关系对对应的目标图像;
获取目标图像在显示装置上拟显示的尺寸W0和H0,其中W0为拟显示的图像宽度,H0为拟显示的图像高度;
如果W0小于第一宽度阈值或H0小于第一高度阈值,则不进行图层覆盖但不遮挡所述关键词对应的文字区域;
如果W0大于或等于第一宽度阈值,且H0大于或等于第一高度阈值,那么将目标图像内缩放后的坐标D1,D2,D3,D4所围成的矩形区域进行图层覆盖但不遮挡处理;其中,D1的坐标为
Figure 585759DEST_PATH_IMAGE001
,D2的坐标为
Figure 607067DEST_PATH_IMAGE002
,D3的坐标为
Figure 14915DEST_PATH_IMAGE003
,D4的坐标为
Figure 51092DEST_PATH_IMAGE004
;(x1,y1)和(x2,y2)分别为关系对中文字信息在所属目标图像中的左上角和右下角的坐标P1和P2,k为像素调整系数。
2.根据权利要求1所述的检索系统,其特征在于,所述关系对的格式为能够进行文本匹配的文本格式。
3.根据权利要求1所述的检索系统,其特征在于,所述关系对还包括:关系对ID和图像ID。
4.根据权利要求1所述的检索系统,其特征在于,所述提示颜色与所述关键词在对应图像中的颜色不同。
5.根据权利要求1所述的检索系统,其特征在于,所述图层通过闪烁的方式进行提示。
6.根据权利要求1所述的检索系统,其特征在于,所述文字信息在所属图像中的位置通过在所属图像中的相对坐标确定。
7.根据权利要求6所述的检索系统,其特征在于,所述文字信息的相对坐标包括提取的文字信息所在区域占所属图像的平面空间的最小矩形区域的左上角坐标和右下角坐标。
CN201911094862.4A 2019-11-11 2019-11-11 一种检索系统 Active CN110851631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911094862.4A CN110851631B (zh) 2019-11-11 2019-11-11 一种检索系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911094862.4A CN110851631B (zh) 2019-11-11 2019-11-11 一种检索系统

Publications (2)

Publication Number Publication Date
CN110851631A CN110851631A (zh) 2020-02-28
CN110851631B true CN110851631B (zh) 2021-03-30

Family

ID=69601189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911094862.4A Active CN110851631B (zh) 2019-11-11 2019-11-11 一种检索系统

Country Status (1)

Country Link
CN (1) CN110851631B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680180A (zh) * 2020-05-26 2020-09-18 广州多益网络股份有限公司 一种面向图表搜索的文本加框显示方法和装置
CN113724543B (zh) * 2021-08-27 2024-02-06 读书郎教育科技有限公司 一种看图写话训练的系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331524A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 页面显示方法、装置及终端
JP2015210786A (ja) * 2014-04-30 2015-11-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
CN108345839A (zh) * 2018-01-22 2018-07-31 维沃移动通信有限公司 一种关键词定位的方法及移动终端
CN108470041A (zh) * 2018-02-12 2018-08-31 维沃移动通信有限公司 一种信息搜索方法及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210786A (ja) * 2014-04-30 2015-11-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
CN104331524A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 页面显示方法、装置及终端
CN108345839A (zh) * 2018-01-22 2018-07-31 维沃移动通信有限公司 一种关键词定位的方法及移动终端
CN108470041A (zh) * 2018-02-12 2018-08-31 维沃移动通信有限公司 一种信息搜索方法及移动终端

Also Published As

Publication number Publication date
CN110851631A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
US11853377B2 (en) Image searching method and apparatus
US9785627B2 (en) Automated form fill-in via form retrieval
Yi et al. Text string detection from natural scenes by structure-based partition and grouping
US8391615B2 (en) Image recognition algorithm, method of identifying a target image using same, and method of selecting data for transmission to a portable electronic device
JP4271878B2 (ja) 映像中の文字検索方法及び装置並びに文字検索処理プログラム
US8577882B2 (en) Method and system for searching multilingual documents
US20230029323A1 (en) Visual Recognition Using User Tap Locations
JP5665125B2 (ja) 画像処理方法、及び、画像処理システム
US8254721B2 (en) Data input system, data input receiving device, data input receiving method and computer readable medium
US8254678B2 (en) Image segmentation
EP3940589B1 (en) Layout analysis method, electronic device and computer program product
JP2014531097A (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
US10891019B2 (en) Dynamic thumbnail selection for search results
WO2008003095A2 (en) Recognizing text in images
JP2000182064A (ja) ドキュメント処理システム及びインデックス情報獲得方法
CN110851631B (zh) 一种检索系统
CN109272440B (zh) 一种联合文本和图像内容的缩略图生成方法及系统
JP2009543197A (ja) 画像集団を探索するための背景の使用
CN110110147A (zh) 一种视频检索的方法及装置
CN111753120A (zh) 一种搜题的方法、装置、电子设备和存储介质
US10762377B2 (en) Floating form processing based on topological structures of documents
JP2013140475A (ja) 映像検索装置
US10198664B2 (en) Auxiliary observing method and auxiliary observing apparatus
JP2005107931A (ja) 画像検索装置
JP2010211470A (ja) 文書データ生成装置と文書データ生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant