CN104126188A - 关键字检测装置、其控制方法及控制程序,以及显示设备 - Google Patents

关键字检测装置、其控制方法及控制程序,以及显示设备 Download PDF

Info

Publication number
CN104126188A
CN104126188A CN201280070282.1A CN201280070282A CN104126188A CN 104126188 A CN104126188 A CN 104126188A CN 201280070282 A CN201280070282 A CN 201280070282A CN 104126188 A CN104126188 A CN 104126188A
Authority
CN
China
Prior art keywords
search
key word
character
mentioned
character string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280070282.1A
Other languages
English (en)
Other versions
CN104126188B (zh
Inventor
相泽知祯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104126188A publication Critical patent/CN104126188A/zh
Application granted granted Critical
Publication of CN104126188B publication Critical patent/CN104126188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635Overlay text, e.g. embedded captions in a TV program
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/28Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Abstract

字符串检测部(113),从对象图像中检测用于促使搜索的特定字符串的特征点,字符识别部(116)将在上述对象图像中存在于被检测出的特征点的周围的字符串识别为搜索用关键字。

Description

关键字检测装置、其控制方法及控制程序,以及显示设备
技术领域
本发明涉及一种从对象图像中检测用于在因特网上的搜索引擎中进行搜索的搜索用关键字的关键字检测装置、其控制方法及控制程序以及显示设备。
背景技术
近年来,将用于在因特网上的搜索引擎中进行搜索的搜索用关键字包含在CM(Commercial Message:商业广告)等的电视机(以下,称为“TV”。)播放用图像中,来播放。通过将上述搜索用关键字作为上述TV播放用图像的一部分显示在TV显像器上,能够促使用户在上述搜索引擎中检索上述搜索用关键字。
但是,在很多情况下,上述搜索用关键字的显示时间很短,因此,用户有时会漏掉上述搜索用关键字。另外,在不是用户能够立即在因特网上进行上述搜索的环境的情况下,在进行上述搜索之前,有时会忘记所显示的搜索用关键字。
为了避免上述的问题点,考虑从上述播放用图像中识别出搜索用关键字的字符串,提取上述搜索用关键字。
例如,在专利文献1所记载的网络电视装置中,通过识别字符,来从电视播放的视频中检测字符串,从检测出的字符串中检测单词,并根据规定条件,从检测出的单词中决定用于检索因特网上的信息的关键字。
另外,在专利文献2中,公开一种信息处理装置,该信息处理装置从在TV播放过程中提示的各种搜索引导画面中检测关键字,并进行使用了上述关键字的因特网搜索。具体而言,计算出最新的输入图像与规定时间前的输入图像之间的变化量,在该变化量在阈值以下的区域内,执行字符识别处理。就含有字符串的图像而言,为了使用户能够识别上述字符串,需要持续显示该图像达到某种程度的时间。因此,由于考虑到上述字符串的上述变化量非常小,所以能够通过上述字符识别处理提取包含上述关键字的字符串。
现有技术文献
专利文献
专利文献1:日本公开专利公报“特开2010-039647号公报(2010年2月18日公开)”
专利文献2:日本公开专利公报“特开2009-188886号公报(2009年8月20日公开)
专利文献3:日本公开专利公报“特开2009-044658号公报(2009年2月26日公开)
专利文献4:日本公开专利公报“特开2010-152800号公报(2010年7月8日公开)
专利文献5:日本公开专利公报“专利第4893861号公报(2012年3月7日发行)
非专利文献1:“数字图像处理”,第二版,财团法人图像信息教育振兴协会,2009年,p.311-313
发明内容
发明要解决的问题
然而,在专利文献1所记载的网络电视装置中,是在对电视播放的视频整体进行字符识别的基础上,检测上述关键字。在该情况下,需要对多个字符中的每一个字符进行第一处理和第二处理,在该第一处理中,对该字符的特征点与上述视频的特征点进行对照,在该第二处理中,根据上述对照而检测的字符串搜索上述关键字。特别地,在日本、中国的汉字文化圈的情况下,成为字符识别的对象的字符的个数为三千以上,导致处理负担较大且处理时间增长。
与此相对,在专利文献2的信息处理装置中,成为字符识别的对象的图像区域被限定于最新的输入图像与规定时间前的输入图像之间的变化量成为阈值以下的区域,因此能够缩短处理时间。然而,为了计算出上述变化量,需要处理至少两帧图像。因此,存在对存储器容量进行压迫,而使处理时间增长的问题。另外,根据相同的理由,上述信息处理装置无法使用于静止图像。
因此,作为迅速提取上述搜索用关键字的技术,存在着眼于以特征的形态提供用于输入上述搜索用关键字的搜索窗的技术。
此处,图9(a)~图9(e)表示搜索窗的形态例。如图所示,在敦促搜索的“搜索”等的字符串的左侧,以矩形的形态或者与矩形类似的形态提供搜索窗,以及以左右边带弧度的形态提供搜索窗的情况较多。另外,就上述“搜索”等的字符串而言,有时以被矩形等的框包围的方式提供,有时也以不被框包围的方式提供。
例如,在专利文献3中公开有从图像中提取成为水平或者垂直的直线的位置。由此,对确定模仿了检索引擎(搜索引擎)的搜索窗的区域,从而能够从该区域内提取搜索用关键字。
另外,在专利文献4中公开了这样的技术:从显示于画面的影像中提取具有字符输入区域(搜索窗)的形状的影像,亦即在该被提取的影像中,存在于该影像内的字符的排列方式具有被输入至上述字符输入区域内的字符的排列方式。由此,能够从图像中正确地仅提取以在上述字符输入区域内以搜索窗的特征形态排列字符的搜索窗区域。
但是,在TV播放用图像等的动画中,往往不是显示搜索窗,而是显示包含风景部分在内的与搜索窗类似的矩形或多边形。但在专利文献3、4中,需要针对上述矩形或者多边形分别提取字符或者字符的特征量,其结果,导致处理时间增长。特别地,为了处理要求实时性的动画,导致较长的处理时间,这成为深刻的问题。
用于解决问题的手段
本发明是鉴于上述的问题点而完成的,其目的在于提供能够迅速检测搜索用关键字的关键字检测装置等。
本发明所涉及的关键字检测装置,从对象图像中检测搜索用关键字,该搜索用关键字用于通过因特网上的搜索引擎进行搜索,为了解决上述问题,其特征在于,具备:特征点检测部,其从所述对象图像中检测用于促使所述搜索的特定字符串的特征点;以及关键字识别部,其在所述对象图像中,将存在于由所述特征点检测部检测出的特征点的周围的字符串,识别为所述搜索用关键字。
另外,本发明涉及关键字检测装置的控制方法,该关键字检测装置用于从对象图像中检测搜索用关键字,该搜索用关键字用于通过因特网上的搜索引擎进行搜索,为了解决上述问题,其特征在于,包括如下步骤:特征点检测步骤,从所述对象图像中检测用于促使所述搜索的特定字符串的特征点;以及关键字识别步骤,在所述对象图像中,将存在于通过所述特征点检测步骤检测出的特征点的周围的字符串,识别为所述搜索用关键字。
根据上述的结构以及方法,在对象图像中检测用于促使搜索的特定字符串的特征点,将存在于被检测出的特征点的周围的字符串识别为搜索用关键字。
然而,以往如专利文献1那样,有时针对对象图像整体进行字符识别后提取上述特定字符串。在该情况下,需要对多个字符中的每一个进行对上述字符的特征点与对象图像的特征点进行对照的第一处理,和进行在通过上述对照检测出的字符串是否包含有上述特定字符串的判断的第二处理。
与此相对,在本发明中,对几个上述特定字符串中的每一个进行上述特定字符串的特征点与对象图像的特征点的对照的处理即可。即,在本发明中,与上述现有情况相比,第一处理是对少数字符中的每一个字符进行上述字符的特征点与对象图像的特征点的对照,省略第二处理。因此,处理个数少,并且上述对照的重复个数少即可,因此能够比现有技术迅速地进行检测。
另外,在从对象图像中检测搜索窗的矩形框这样的现有技术的情况下,矩形等几何学形状的特征点的个数少,因此从对象图像中检测出多个特征点的可能性高,因此,需要从检测出的多个几何学形状中确定搜索窗的矩形框。与此相对,在从对象图像中检测上述特征字符串这样的本发明的情况下,上述特定字符串的特征点的个数多,因此从对象图像中检测出多个结果的可能性低,因此,与以往相比迅速进行检测的可能性也增高。
另外,识别作为搜索用关键字的字符串的区域,不限定于被检测出的特征点的周围,因此能够迅速识别上述字符串。以上,与以往相比,能够迅速检测搜索用关键字。
此外,作为用于促使上述搜索的特定字符串的例子,能够列举“搜索”、“检索(search)”、“确认”、“检查(check)”、上述的译文等。另外,对于上述特定字符串的特征点的检测而言,也可以针对每个包含在上述特定字符串中的字符检测特征点,也可以以多个字符为单位检测特征点。当针对每个上述字符检测特征点的情况下,也可以首先检测包括于上述特定字符串中的某个字符的特征点,接下来从被检测出的特征点的周围检测包含在上述特定字符串中的其他字符的特征点。
此外,对于具备从对象图像中检测用于通过因特网上的搜索引擎进行搜索的搜索用关键字的上述结构的关键字检测装置、显示由上述关键字检测装置检测出的搜索用关键字和上述对象图像的显示装置的显示设备,也能够起到与上述相同的效果。
另外,能够通过控制程序在计算机上执行上述关键字检测装置的各部。并且,使上述控制程序存储于计算机能够读取的记录介质,从而能够在任意的计算机上执行上述关键字检测装置。
发明效果
如以上那样,本发明所涉及的关键字检测装置,在对象图像中检测用于促使搜索的特定字符串的特征点,将存在于被检测出的特征点的周围的字符串识别为搜索用关键字,因此能够迅速检测上述特定字符串的特征点,并且能够迅速识别上述字符串,其结果,与以往相比,起到能够迅速检测搜索用关键字的效果。
附图说明
图1是表示作为本发明的一实施方式的再生设备的概略结构的框图。
图2是表示被上述再生设备的控制部执行的关键字检测处理的流程的流程图。
图3是表示被上述再生设备的搜索窗检测部执行的搜索窗检测处理的流程的流程图。
图4是表示搜索窗的一个例子的图。
图5是表示作为本发明的其他的实施方式的显示装置的概略结构的框图。
图6是表示被上述显示装置的搜索关键字生成部执行的处理的流程的流程图。
图7是上述显示装置的主视图,且是表示上述显示装置的显示部的显示例的图。
图8是表示被上述搜索关键字生成部执行的其他处理的流程的流程图。
图9(a)~图9(e)是表示各种各样的搜索窗以及“搜索”字符串的形态的图。
具体实施方式
[第一实施方式]
以下,参照图1~图4对本发明的一实施方式详细地进行说明。
[再生设备的结构]
图1示出了作为本实施方式的再生设备(关键字检测装置)110的概略结构。再生设备110对被存储的动画数据进行再生(播放),例如将其发送至显示设备等的外部的设备。如图所示,再生设备110具备:控制部10、发送部101以及存储部104。
控制部10对再生设备110内的各种结构的动作统一地进行控制,并由包括例如CPU(Central Processing Unit中央处理器)以及存储器的计算机构成。而且,各种结构的动作控制通过使控制程序在计算机执行而进行。此外,对控制部10的详细后述。
存储部104对信息进行记录,并由硬盘、闪存、ROM(Read Only Memory只读存储器)、RAM(Random Access Memory随机存取存储器)等存储装置构成。此外,对存储部104的详细后述。
发送部101在将来自控制部10的数据转换成适于数据发送的形式后,将其发送至外部的设备。此外,该发送可以通过有线方式进行,也可以通过无线方式进行。
在本实施方式中,再生设备110从包含于动画中的静止图像(对象图像)中检测用于通过因特网上的搜索引擎进行搜索的搜索用关键字。再生设备110,在上述静止图像中检测促使上述搜索的特定字符串的特征点,从检测出的特征点的周围检测用于输入上述搜索用关键字的搜索窗,将检测出的搜索窗内的字符串识别为上述搜索用关键字。
由此,与在对上述静止图像的整体进行字符识别后提取上述特定字符串的情况相比,只要与几个上述特定字符串的特征点进行对照即可,不需要与多个字符的特征点进行对照。其结果,能够迅速检测上述特定字符串的特征点。同样地,上述搜索窗限定有例如矩形等形状,因此能够迅速检测。另外,识别作为搜索用关键字的字符串的区域限定于上述搜索窗内,因此能够迅速识别上述字符串。其结果,与以往相比,能够迅速检测搜索用关键字。
另外,只要从上述静止图像检测上述特定字符串的特征点即可,因此在复杂的背景下,也能够进行高精度并且实时的处理。即,即使在“搜索”等的特定字符串的背景下实施谐调处理(gradation)、插入风景等,也能够高精度地进行检测,其结果,能够提高搜索用关键字的检测的精度。另外,即使“搜索”等的特定字符串不被矩形围起,也能够无问题地进行检测。并且,不需要处理多帧图像,因此,存储器容量不成为问题。
接下来,对控制部10以及存储部104的详细进行说明。如图1所示,控制部10是具备动画再生部111、静止图像生成部112、字符串检测部113(特征点检测部)、搜索窗检测部115、字符识别部116(关键字识别部)、以及合成部117的结构。另外,存储部104包括图像信息存储部121以及字符信息存储部122。
图像信息存储部121用于存储动画数据。另外,字符信息存储部122用于存储字符信息DB(数据库),该字符信息DB(数据库)是与字符有关的信息,亦即特定字符串的检测以及各种字符的识别所需的信息。具体而言,在上述字符信息DB包含有字符代码、特定字符串的特征量、各种字符的特征量。
动画再生部111对存储于图像信息存储部121的动画数据进行再生。动画再生部111将再生的动画数据发送至静止图像生成部112以及合成部117。此外,图像信息存储部121也可以存储静止画数据,动画再生部111也可以对上述静止画数据进行再生。另外,上述再生为公知技术,因此省略其详细的说明。
静止图像生成部112在每个规定的期间对来自动画再生部111的动画数据进行解码,而生成静止图像。静止图像生成部112将已生成的静止图像发送至字符串检测部113。
字符串检测部113从来自静止图像生成部112的静止图像中检测包含在用于促使搜索的特定字符串中的各字符的特征点,从而检测上述特定字符串。字符串检测部113将检测出的特定字符串在上述静止图像上占据的位置信息与上述静止图像一同发送至搜索窗检测部115。此外,作为特征点的例子,能够列举在图像中亮度急剧变化的部分等。
作为检测上述特定字符串的方法的一个例子,能够列举专利文献5所记载的方法。即,首先,基于构成上述静止图像的各像素所具有的颜色信息,至少定义一个由具有类似颜色的一定数目以上的像素群构成的群集(cluster)。接下来,将上述静止图像分割成属于被定义的群集的像素群的区域与其他像素群的区域,从上述静止图像生成排除上述其他像素群的区域的限幅图像。然后,从已生成的限幅图像中检测包含在上述特定字符串中的各字符的特征点,从而检测上述特定字符串。
此处,作为用于促使搜索的特定字符串的例子,能够列举“搜索”、“检索”、“确认”、“检查”、上述的译文等。以下,利用“搜索”作为用于促使上述搜索的特定字符串,将上述特定字符串记为“搜索”字符串。
搜索窗检测部115使用来自字符串检测部113的静止图像与“搜索”字符串的位置信息,在上述静止图像中从“搜索”字符串占据的位置的周围检测搜索窗。搜索窗检测部115将检测出的搜索窗在上述静止图像上占据的区域信息与上述静止图像一同发送至字符识别部116。此外,对检测上述搜索窗的处理的详细后述。
字符识别部116使用来自搜索窗检测部115的静止图像与上述搜索窗的区域信息,识别上述搜索窗内的一个或者多个字符。字符识别部116将由已识别出的字符构成的字符串作为搜索用关键字发送至合成部117。
作为识别字符的方法的一个例子,能够列举非专利文献1所记载的方法,进一步能够列举下述的方法。即,首先,使用对黑像素数进行了计数的直方图,取得应该进行字符识别的字符图像的外接矩形信息。接下来,在上述外接矩形内提取字符图像的边缘成分等,从而获得字符图像的特征矢量。而且,将上述字符图像的特征矢量与预先存储于字符信息存储部122中的字符识别用辞典内的特征矢量进行比较,取得与上述字符图像类似度高的一个或者多个字符的字符代码。该字符代码成为从上述字符图像识别出的字符的字符代码。
合成部117使用来自动画再生部111的动画数据与来自字符识别部116的搜索用关键字,在上述动画的适当的位置合成上述搜索用关键字。合成部117经由发送部101将合成了上述搜索用关键字的动画的数据发送至外部的设备。
[再生设备的处理]
接下来,参照图2对上述结构的再生设备110的处理进行说明。此外,在本实施方式中,被再生的图像数据为动画(媒体流动画)的数据。
图2是表示在再生设备110的控制部10中被执行的关键字检测处理的流程的流程图。如图所示,首先,将计时器(未图示)的时刻t复位成0,从而在搜索窗检测状态标志detectFlag无效的状态(FALSE)下,即在未检测搜索窗的状态下,进行用于复位的初始化(S101、102)。然后,动画再生部111开始再生动画(S103)。由此,被再生的动画数据经由合成部117以及发送部101被发送至外部的设备。
接下来,静止图像生成部112判断时刻t是否满足t=k×t0的条件(S104)。此处,k为自然数,t0为规定的周期。在未满足上述条件的情况下(在S104中为否),进入步骤S111。
另一方面,在满足上述条件的情况下(在S104中为是),静止图像生成部112对由动画再生部111再生的动画数据(框架图像的数据)进行解码,而生成静止图像(S105)。此外,适当地设定上述规定的周期t0,从而能够对生成上述静止图像的周期进行调整。
接下来,字符串检测部113,在由静止图像生成部112生成的静止图像中检测用于促使搜索处理的字符串,即“搜索”字符串(在S106中,为特征点检测步骤)。在无法检测出“搜索”字符串的情况下(在S107中为否),进入步骤S111。
另一方面,在能够检测“搜索”字符串的情况下(在S107中为是),搜索窗检测部115从由字符串检测部113检测出的“搜索”字符串在上述静止图像中占据的位置的周围检测搜索窗(S108)。此外,对检测上述搜索窗的处理的详细后述。在能够检测出上述搜索窗的情况下(在S109中为是),进入步骤S115。另一方面,在无法检测出上述搜索窗的情况下(在S109中为否),进入步骤S110。
在步骤S115中,搜索窗检测部115复位成使搜索窗检测状态标志detectFlag有效的状态(TRUE)。这示出了检测出搜索窗的状态。接下来,字符识别部116识别由搜索窗检测部115检测出的搜索窗内的一个或者多个字符,并识别由识别出的字符构成的字符串(在S116中,为关键字识别步骤)。该字符的识别处理通过上述的公知技术而进行。
接下来,静止图像生成部112待机,直至时刻t前进至满足t=k×t1的条件(S117、S118)为止。此处,t1是满足t1≤t0的规定的周期。例如,结束步骤S116的处理的时刻t为t0’,若t1≤t0’<2×t1,则待机直至t=2×t1。
若满足上述条件,静止图像生成部112与步骤S105同样地生成静止图像(S119),然后返回步骤S108,搜索窗检测部115检测搜索窗。即,一旦检测出“搜索”字符串,从而检测出搜索窗,则之后能够省略“搜索”字符串的检测,直至检测不到搜索窗为止。由此,能够进一步迅速检测上述搜索用关键字。另外,与周期t0相比,能够缩短静止图像生成部112生成静止图像的周期t1(t1<t0)。
另外,对静止图像的整体进行调查来检测出“搜索”字符串的特征点,因此伴随着上述静止图像的尺寸增大,检测所需要的时间变长。因此,根据上述的结构,能够抑制因上述静止图像的尺寸变大而上述搜索用关键字的检测延迟。特别是,在上述静止图像为HD全尺寸(1920像素×1080像素)的较大的尺寸的情况下有效。
另一方面,在步骤S110中,字符识别部116判断搜索窗检测状态标志detectFlag是否为有效的状态(TRUE),即,判断是否从之前的静止图像中检测出上述搜索窗。在从之前的静止图像中检测出上述搜索窗的情况下,即,在上述搜索窗在这次的静止图像中消失的情况下进入步骤S113。另一方面,在未从之前的静止图像检测出上述搜索窗的情况下,即,在未检测出搜索窗的状态持续的情况下,进入步骤S111。
在步骤S113中,合成部117将由字符识别部116识别出的字符串(识别字符串)的数据作为搜索用关键字的候选的数据,合成在由动画再生部111再生的动画数据中,从而将被合成的动画数据经由发送部101发送至外部的设备(S113)。
此外,在字符识别部116无法识别字符串的情况下,合成部117也可以将“无法识别字符串”等的错误消息的数据合成在上述动画数据中,也可以将合成前的上述动画数据保持原样经由发送部101发送至外部的设备。另外,在字符识别部116能够识别出多个字符串的情况下,也可以将上述多个识别字符串的数据作为搜索用关键字的候选的数据,合成到上述动画数据中。
接下来,合成部117复位成使搜索窗检测状态标志detectFlag无效的状态(FALSE)(S114),然后,进入步骤S111。
在步骤S111中,在经过单位时间后,动画再生部111对动画数据的再生是否结束进行判断(S112)。在未结束的情况下,返回步骤S104,反复上述的动作。另一方面,在已结束的情况下,结束处理。
[搜索窗检测处理]
接下来,参照图3、图4以及图9(a)~图9(e)对图2所示的搜索窗的检测处理(S108)的进行详细说明。如图9(a)~图9(e)所示,搜索窗SB通常位于“搜索”字符串SC的左侧,并且,搜索窗SB的上边(上方的边)的右端位于“搜索”字符串SC的左上方,搜索窗SB的下边(下方的边)的右端位于“搜索”字符串SC的左下方。
因此,在本实施方式中,如下检测搜索窗SB。即,首先,将从“搜索”字符串SC的左上方的区域朝左方延伸的线段检测为搜索窗SB的上线(上边),将从“搜索”字符串SC的左下方的区域朝左方延伸的线段检测为搜索窗SB的下线(下边)。接下来,将对被检测出的上线的右端与下线的右端进行连结的线(线段或者曲线)检测为搜索窗SB的右线,将对被检测出的上线的左端与下线的左端进行连结的线(线段或者曲线)检测为搜索窗SB的左线。由此,能够检测出构成搜索窗SB的所有的线(上线、下线、左线、以及右线)。
图3是表示本实施方式的搜索窗检测部115检测搜索窗SB的搜索窗检测处理的流程的流程图。另外,图4是表示搜索窗的一个例子的图,图4(a)表示搜索窗位于“搜索”字符串的左侧附近的例子,图4(b)示出了搜索窗位于“搜索”字符串的上侧附近的例子。
如图3以及图4的(a)所示,首先,取得字符串检测部113检测出的“搜索”字符串SC的外接矩形BB(S1081),将已取得的外接矩形BB的左上顶点设为右下顶点,对作为规定尺寸的横长的矩形A进行设定(S1082)。
接下来,从已设定的矩形A内检测相当于搜索窗SB的上边的线段(第一线段)(S1083)。具体而言,在已设定的矩形A内,将沿横向(与外接矩形BB的上边平行的方向)延伸的线段检测为第一线段。
此外,当在矩形A内检测出多个线段的情况下,优选将最接近矩形A的下边的线段选择为第一线段。原因是,在没有如上所述那样进行选择的情况下,会在搜索窗SB内残留线段,从而在识别搜索窗SB内的字符时,有可能因残留的线段而导致产生误识别。
在无法检测出第一线段的情况下(在S1084中为否),作为无法检测出搜索窗SB(S1084’)的情况,结束上述搜索窗检测处理,从而返回图2所示的原来的处理。
另一方面,在能够检测出第一线段的情况下(在S1084中为是),将外接矩形BB的左下顶点设为右上顶点,设定作为与矩形A相同的规定尺寸的横长的矩形B(S1085)。接下来,从已设定的矩形B内检测相当于搜索窗SB的下边的线段(第二线段)(S1086)。具体而言,在已设定的矩形B内,将沿横向(与外接矩形BB的下边平行的方向)延伸的线段检测为第二线段。
此外,当在矩形B内检测出多个线段的情况下,优选将最接近矩形B的上边的线段选择为第二线段。原因是,在没有如上所述那样选择的情况下,会在搜索窗SB内残留线段,从而在识别搜索窗SB内的字符时,有可能因残留的线段而导致产生误识别。
在无法检测出第二线段的情况下(在S1087中为否),作为无法检测搜索窗SB(S1084’)的情况,结束上述搜索窗检测处理,返回图2所示的原来的处理。另一方面,在能够检测出第二线段的情况下(在S1087中为是),进入步骤S1088。
然而,认为搜索窗SB的上边以及下边的长度大致相同。因此,如果在步骤S1083、S1086中检测出的第一线段以及第二线段的长度显著不同,则认为不是搜索窗SB的上边以及下边。
因此,在步骤S1088中,对第一线段以及第二线段的长度的差是否在规定的阈值以上进行判断。在上述长度的差比规定的阈值大的情况下(在S1088中为否),作为无法检测出搜索窗SB(S1084’)的情况,结束上述搜索窗检测处理,返回图2所示的原来的处理。
另一方面,在上述长度的差在规定的阈值以下的情况下(在S1088中为是),使第一线段以及第二线段的各自的两端延长规定的长度(差值),从而设定出将被延长的两个线段做为上边以及下边的矩形C(S1089)。此外,在图4(a)中,为了容易理解,矩形C的上边以及下边以从搜索窗SB的上边以及下边错开的方式进行记载。
接下来,从已设定的矩形C内检测相当于搜索窗SB的左边(左线)以及右边(右线)的两条线(线段或者圆弧)(S1090)。具体而言,在已设定的矩形C内,将对第一线段与第二线段进行连结的两条线检测为相当于上述的左线以及右线的两条线。
此外,上述两条线可以为线段也可以为圆弧。另外,用于检测相当于搜索窗SB的左线以及右线的两条线的范围,也可以不是矩形C内的整体。例如,也可以在矩形C内的左侧的1/3的区域检测相当于左线的线,在矩形C的右侧的1/3的区域检测相当于右线的线。在该情况下,进行检测的范围缩窄,因此能够缩短搜索窗SB的检测处理时间。
在无法检测出相当于搜索窗SB的左线以及右线的两条线的情况下(在S1091中为否),作为无法检测出搜索窗SB(S1084’)的情况,结束上述搜索窗检测处理,返回图2所示的原来的处理。另一方面,在能够检测出上述两条线的情况下(在S1091中为是),作为能够检测出搜索窗SB(S1092)的情况,结束上述搜索窗检测处理,返回图2所示的原来的处理。
因此,用于检测搜索窗SB的区域限定于矩形A(上部检测用矩形)、矩形B(下部检测用矩形)以及矩形C(侧部检测用矩形)内的区域。因此,能够进一步迅速检测出搜索窗SB,其结果,能够进一步迅速检测出搜索用关键字。
此外,检测搜索窗SB的上边的处理(S1082~S1084)与检测搜索窗SB的下边的处理(S1085~S1087)均可以先进行。
另外,在本实施方式中,字符串检测部113从上述静止图像中检测包含于“搜索”字符串中的各字符的特征点,但是,例如也可以检测上述各字符的一个(例如“索”)的特征点,从被检测出的特征点的周围检测上述各字符的其他的一个(例如“搜”)的特征点。另外,字符串检测部113也可以从上述静止图像中同时检测包含于“搜索”字符串中的多个字符(即“搜索”)的特征点。
[变形例]
另外,在本实施方式中,虽对假定为搜索窗SB位于“搜索”字符串SC的左侧附近,在“搜索”字符串SC的左侧附近检测搜索窗SB的例子进行了说明,但本发明不限定于此。即,搜索窗SB也可以相对于“搜索”字符串SC(用于促使搜索的字符串)位于上下左右的任意一侧附近。
为了在搜索窗SB位于“搜索”字符串SC的上下左右的任意一侧附近都能够进行检测,只要如下进行即可。即,首先,预先在“搜索”字符串SC的上下左右的方向,对进行检测的优先顺序(例如,左、上、右、以及下的顺序)进行设定。而且,若能够以被设定的优先顺序检测出搜索窗SB,以某方向检测出搜索窗SB,则在其时刻结束搜索窗SB的检测。
在“搜索”字符串SC的左侧附近检测搜索窗SB的顺序如上所述。另外,在“搜索”字符串SC的右侧附近检测搜索窗SB的顺序只要在上述的顺序中更换“左”与“右”即可。
参照图4(b)对在“搜索”字符串SC的上侧附近检测搜索窗SB的顺序的一个例子进行说明。
即,首先,取得“搜索”字符串SC的外接矩形BB,将已取得的外接矩形BB的左上顶点设为右下顶点,设定作为规定尺寸的横长的矩形A’,将外接矩形BB的右上顶点设为左下顶点,设定作为与矩形A’相同的规定尺寸的横长的矩形B’。接下来,在矩形A’内,将反“コ”字状的线亦即上边以及下边到达矩形A’的右端的线检测为第一线,在矩形B’内,将“コ”字状的线亦即上边以及下边到达矩形B’的左端的线检测为第二线。
然后,检测对第一线以及第二线的上边彼此进行连结的第三线,检测对第一线以及第二线的下边彼此进行连结的第四线,从而检测由第一线~第四线围起的搜索窗SB。或者,也可以设定包含第一线以及第二线的上边的矩形A,设定包含第一线以及第二线的下边的矩形B,进行与图4(a)所示的顺序相同的顺序,从而检测搜索窗SB。此外,在“搜索”字符串SC的下侧附近检测搜索窗SB的顺序只要在上述的顺序更换“上”与“下”即可。
[第二实施方式]
接下来,参照图5~图8对本发明的其他的实施方式进行说明。此外,为了方便说明,对具有与在上述实施方式进行了说明的结构相同的功能的结构标注相同的附图标记,并省略其说明。
[显示装置的结构]
图5表示作为本实施方式的显示装置200(显示设备)的概略结构的框图。本实施方式的显示装置200是在TV显像器追加有因特网连接功能的所谓的网络电视。
如图5所示,在显示装置200中,与图1所示的再生设备110相比,代替发送部101而设置有显示部201,并追加有网络I/F(接口)部202、操作部206以及播放接收部207的结构。另外,在显示装置200的控制部20中,与图1所示的再生设备110的控制部10相比,追加有关键字候选生成部217以及搜索要求部218的结构。
显示部201基于来自控制部20的图像数据,对字符、图像等的各种信息进行显示输出。显示部201由LCD(液晶显示元件)、CRT(阴极线管)、等离子显示器等显示设备构成。
网络I/F部202是控制部20与外部进行通信的网络(未图示)的接口。具体而言,网络I/F部202与上述通信网络连接,将来自控制部20的数据转换成适于上述通信网络的形式并将其发送至上述通信网络。另外,网络I/F部202将来自上述通信网络的数据转换成适于控制部20中的处理的形式并将其发送至控制部20。
操作部206通过用户的操作从用户接受各种输入,由输入用按钮、触摸面板、其他的操作设备构成。操作部206将用户操作的信息转换成操作数据并将其发送至控制部20。此外,作为操作设备的其他的例子,能够列举键盘、数字键、鼠标等指向设备。
播放接收部207经由天线(未图示)接收来自外部的播放台的TV播放波。播放接收部207从已接收的TV播放波中提取AV(Audio Visual视听)数据,并经由控制部20将已提取的AV数据存储于图像信息存储部121。
关键字候选生成部217设置于字符识别出部116与合成部117之间,并基于由字符识别出部116识别出的一个或者多个识别出字符串,生成搜索用关键字的候选。关键字候选生成部217将已生成的搜索用关键字的候选发送至合成部117以及搜索要求部218。由此,上述搜索用关键字的候选在合成部117与动画合成,并在显示部201中进行显示。此外,对关键字候选生成部217的详细后述。
搜索要求部218针对因特网上的搜索引擎,经由网络I/F部202,请求用经由操作部206而从用户取得的搜索用关键字进行搜索。具体而言,搜索要求部218,首先从来自关键字候选生成部217的搜索用关键字的候选中,将用户经由操作部206选择的关键字设为搜索用关键字。然后,经由网络I/F部202对上述搜索引擎请求用上述搜索用关键字进行搜索。搜索要求部218从上述搜索引擎经由网络I|/F部202取得上述搜索的结果。已取得的搜索的结果经由合成部117以及显示部201被显示输出。
[搜索用关键字的生成的详细说明]
接下来,对关键字候选生成部217进行详细说明。在本实施方式中,关键字候选生成部217对多个上述识别字符串赋予候选等级(顺位),将上述候选等级从1位至规定等级的上述识别字符串生成为搜索用关键字的候选。上述候选等级,按照构成上述识别字符串的字符的匹配可靠度的统计量(例如平均值)从大到小的顺序排序。此处,所谓字符的匹配可靠度是指,针对被识别出的字符,表示搜索窗SB内的上述字符的特征与存储于字符信息存储部122的上述字符的特征一致的程度。
图6是表示关键字候选生成部217进行的关键字候选的生成处理的流程的流程图。此外,上述关键字候选的生成处理是在图2所示的步骤S113中进行的处理。
如图6所示,首先,初始化成j=1(S2021),对字符识别出部116识别出的字符串中的第j个字符,选出匹配可靠度比规定的阈值高的字符候选(S2022)。
此外,从减少处理负担的观点来看,优选将字符候选的最大个数限定于规定个数(例如三个)。另外,在字符候选之间匹配可靠度差异大的情况下,匹配可靠度高的字符候选为正确的识别的可能性高,匹配可靠度低的字符候选为错误的识别的可能性高。因此,优选限定于与匹配可靠度最高的字符候选的差在规定范围内的字符候选。
接下来,对上述识别出的字符串中的所有的字符反复执行步骤S2022(S2023、S2024)。然后,对上述识别出的字符串中的各字符的字符候选进行组合,生成字符串候选(S2025)。因此,成为(字符串候选的个数)=(第一个字符的字符候选数)×(第二个字符的字符候选数)×…×(最后字符的字符候选数)。
接下来,对已生成的每一个字符串候选计算出各字符的匹配可靠度的平均值(得分),将计算出的平均值高(上位)的字符串候选选为识别字符串(S2025)。然后,将已选出的识别字符串作为搜索用关键字的候选发送至合成部117以及搜索要求部218。
此外,从减少处理负担的观点来看,优选将识别出字符串的最大个数限定于规定个数(例如三个)。另外,在字符串候选之间匹配可靠度的平均值差异大的情况下,匹配可靠度的平均值高的字符串候选为正确的识别的可能性高,匹配可靠度的平均值低的字符串候选为错误的识别的可能性高。因此,识别字符串优选限定于与匹配可靠度的平均值最高的字符串候选的差在规定范围内的字符串候选。
图7是显示装置200的主视图,且示出了将搜索用关键字的候选显示于显示部201上的显示画面2011的一个例子。如图所示,从显示画面2011的中央部向右部显示有动画。在上述动画中包含有“搜索”字符串SC和位于其左侧附近的搜索窗SB,在上述搜索窗SB内包含有字符串“ニューモデル”。
另一方面,在显示画面2011的左部,与过去的履历一同显示有搜索用关键字的候选。具体而言,表示于显示画面2011的左下方的“ニューモデル”、“ニューモテル”、“ニユーモデル”三个字符串,是根据这次的搜索窗SB内的字符串“ニューモデル”而生成的搜索用关键字的候选。另外,表示于显示画面2011的左中央的“目指せ合格”、“目指せごうかく”、“目指せごう”三个字符串是根据上次显示的搜索窗SB内的字符串而生成的搜索用关键字的候选。而且,表示于显示画面2011的左上方的“テレビの歴史”、“テレビの歴丈”、“テレピの歴史”三个字符串是根据上上次显示的搜索窗SB内的字符串而生成的搜索用关键字的候选。
此处,对于各搜索用关键字的候选,按得分从高到低的顺序,从1开始赋予编号。此外,用户在选择用于进行因特网搜索的搜索用关键字时,所使用的显示画面2011上的游标的初始位置优选预先设定于编号1的搜索用关键字的候选的位置。在该情况下,越是得分高的搜索用关键字的候选,正确识别出搜索窗SB内的字符串的可能性越高,因此能够减少用户选择出正确搜索用关键字为止所用的功夫。另外,也可以增加搜索用关键字的候选的个数。在该情况下,恰当的搜索用关键字被包含于上述搜索用关键字的候选中的可能性进一步增高。
然而,在重复图2所示的步骤S108、S109、S115~S119的情况下,在生成好的多个静止图像中包含有相同的搜索窗SB。在该情况下,在每个上述静止图像中选出识别字符串,从而只要在被选出的识别字符串中,将不同的识别字符串亦即得分高的识别字符串设为搜索用关键字的候选即可。此外,也可以在多个静止图像中选出相同的识别字符串时,对上述识别字符串在各静止图像中的得分进行累计,将累计的得分或者其平均值设为上述识别字符串的得分。
另外,在包含搜索窗SB的动画中,有时字符串不会在搜索窗SB内一举出现,而是恰好如用户输入字符的情况那样逐渐出现。在该情况下,认为在上述多个静止图像中,与从最初的静止图像中选出的字符数少的识别字符串相比,将从最后的静止图像中选出的字符数多的识别字符串作为搜索用关键字的候选更为妥当。
因此,优选以使最后选出的识别字符串的得分比最初选出的识别字符串的得分高的方式,对得分进行加权。具体而言,在从连续的两个静止图像中分别选出的识别字符串的字符数不同的情况下,认为应该增加在后的静止图像中选出的识别字符串的得分的权重。由此,能够显示妥当的搜索用关键字的候选。
图8是表示考虑了上述加权的上述关键字候选的生成处理的流程的流程图。如图所示,首先,初始化成i=1、num=0(S201)。接下来,对第i个静止图像进行图6所示的处理,从而与其得分一同取得选出的识别字符串(S202)。
接下来,判断所取得的识别字符串的字符数是否与从第(i-1)个(上次)的静止图像中选出的识别字符串的字符数不同(S203),在不同的情况下,对num进行增量(S204)。即,num表示识别字符串的字符数变化的次数。此外,在i=1的情况下,可以将从第0个静止图像中选出的识别字符串的字符数设为0,也可以跳过步骤S203、S204。
接下来,对从第i个静止图像中选出的识别字符串的得分加上num与规定的常量的积(S205)。即,每当字符数变化,则使加在得分上的权重增大。
接下来,对所有的静止图像按时间序列反复执行步骤S203~S205(S206、S207)。然后,在从各静止图像中选出的识别字符串中,将被加权后的得分高(上位)的识别字符串选出为搜索用关键字的候选(S208)。然后,将被选出的搜索用关键字的候选发送至合成部117以及搜索要求部218。此外,从减少处理负担的观点来看,优选将搜索用关键字的候选的个数限定于规定个数(例如三个)。
此处,若参照图7的显示例,则表示于显示画面2011的左中央的搜索用关键字的候选,当在搜索窗SB内按“目指せごう”、“目指せごうかく”、“目指せ合格”的顺序显示字符串的情况下被选出。在该情况下,越是在后显示的识别字符串,其加权越增大,因此被赋予小的编号来作为搜索用关键字的候选,并被显示于上方。
本发明不限定于上述的各实施方式,能够在技术方案所示的范围进行各种变更,对被不同实施方式分别公开的技术手段进行适当组合而获得的实施方式也包含于本发明的技术范围。
例如,在上述实施方式中,从检测出的“搜索”字符串SC的位置检测搜索窗SB,从而选出搜索窗SB内的搜索用关键字的候选,但也可以从检测出的“搜索”字符串SC的周围直接选出上述搜索用关键字的候选。在该情况下,字符串的检测区域变大,虽然有误识别出搜索窗SB外部的字符串的可能性,但能够省略检测搜索窗SB的处理。
另外,在上述实施方式中,特别地以网络电视为例进行了叙述,但此外,显然也能够在可视听TV播放且能够进行网络通信的便携设备中应用本发明,例如能够在移动电话机、便携式游戏机终端机等中也能够应用本发明。
最后,本发明所涉及的再生设备110的各部也可以由硬件逻辑构成,也可以如接下来那样使用CPU并由软件实现。
即,再生设备110具备:执行用于实现各功能的控制程序的命令的CPU、存储了上述程序的ROM、对上述程序进行展开的RAM、由存储上述程序以及各种数据的存储器等构成的存储部(记录介质)等。
而且,这样也能够达到本发明的目的:在记录介质上以计算机能够读取的方式记录用于实现上述功能的软件即控制程序的程序代码(执行形式程序、中间代码程序、源程序),通过将该记录介质供给至再生设备110,从而供该计算机(或者CPU、MPU)读出并执行记录于记录介质中的程序代码。
作为上述记录介质,例如能够使用包含磁带、盒带等带系、软盘(注册商标)软盘/硬盘等磁盘、CD-ROM/MO/MD/DVD/CD-R等光盘的磁盘系、IC卡(包含存储卡)/光卡等的卡系、或者掩模ROM(MaskROM)/EPROM/EEPROM(注册商标)/快闪ROM等的半导体存储器系等。
另外,也可以将再生设备110构成为能够与通信网络连接,从而经由通信网络供给上述程序代码。作为该通信网络,不被特别限定,例如,能够利用因特网、局域网、外联网、LAN、ISDN、VAN、CATV通信网、虚拟专用网(virtual private network)、电话线路网、移动体通信网、卫星通信网等。另外,作为构成通信网络的传送介质不特别限定,例如,既能够使用IEEE1394、USB、电力线传输、电缆TV线路、电话线、ADSL线路等有线方式,也能够使用像IrDA、遥控器那样的红外线、Bluetooth(注册商标)、802.11无线、HDR、移动电话网、卫星线路、地面波数字网等无线方式。
本发明所涉及的关键字检测装置,从对象图像中检测搜索用关键字,该搜索用关键字用于通过因特网上的搜索引擎进行搜索,其特征在于,具备:特征点检测部,其从所述对象图像中检测用于促使所述搜索的特定字符串的特征点;以及关键字识别部,其在所述对象图像中,将存在于由所述特征点检测部检测出的特征点的周围的字符串,识别为所述搜索用关键字。
在本发明所涉及的关键字检测装置中,优选还具备搜索窗检测部,其在所述对象图像中,从由所述特征点检测部检测出的特征点的周围,检测用于输入所述搜索用关键字的搜索窗;所述关键字识别部,将由所述搜索窗检测部检测出的搜索窗内的字符串识别为所述搜索用关键字。
通常,上述搜索窗限定例如矩形等形状,因此,在上述特征点的周围,与通过字符识别出检测字符串的方式相比,检测上述搜索窗的方式能够显著地迅速进行检测。另外,上述搜索窗的内部明显比上述特征点的周围窄,因此,与从上述特征点的周围识别字符串的方式相比,从上述搜索窗内识别字符串的方式能够显著地迅速进行检测。因此,在上述的情况下,能够进一步迅速检测搜索用关键字。
然而,多数情况下,上述搜索窗位于用于促使“搜索”等搜索的特定字符串的左侧附近。另外,上述搜索窗虽然以矩形为基调,但是也具有各种各样的形状,通常,上边位于比上述特定字符串的外接矩形(bounding box)的左上顶点坐标更靠左上方,并且,下边位于比上述外接矩形的左下顶点坐标更靠左下方。此处,所谓外接矩形是指与对象相切的最小的长方形。
因此,在本发明所涉及的关键字检测装置中,优选所述搜索窗检测部在所述对象图像中进行如下处理:求得所述特定字符串的外接矩形;设定上部检测用矩形和下部检测用矩形,所述上部检测用矩形以求得的外接矩形的左上顶点作为右下顶点,所述下部检测用矩形以所述外接矩形的左下顶点作为为右上顶点;在已设定的上部检测用矩形以及下部检测用矩形内,分别检测所述搜索窗的上边以及下边;设定侧部检测用矩形,该侧部检测用矩形是由检测出的上边以及下边构成的矩形朝两侧方向扩大而构成的;在已设定的侧部检测用矩形内,检测所述搜索窗的左侧以及右侧的线,从而检测所述搜索窗。
在该情况下,将用于检测上述搜索窗的区域限定于上述的上部检测用矩形、下部检测用矩形以及侧部检测用矩形内的区域。因此,能够进一步迅速检测上述搜索窗,其结果,能够进一步迅速检测上述搜索用关键字。
在本发明所涉及的关键字检测装置中,优选所述对象图像为动画中的一系列的静止图像;所述搜索窗检测部,在从某个所述静止图像中检测出所述搜索窗的情况下,省略所述特征点检测部的动作,直到从之后的所述静止图像中检测不出所述搜索窗为止。
在该情况下,在检测出上述搜索窗的期间内,能够省略上述特征点检测部对特定字符串的特征点的检测,因此能够进一步迅速检测上述搜索用关键字。另外,对上述对象图像整体进行调查并检测上述特定字符串的特征点,因此伴随着上述对象图像的尺寸增大,检测所需要的时间增长。因此,在上述的情况下,能够抑制因上述对象图像的尺寸变大而上述搜索用关键字的检测延迟。
然而,在通过字符识别而获得的字符中,按匹配可靠度的顺序包含有几个字符候选,并不限定于第一字符候选为正解的字符,但上位(例如第一~第三)字符候选中的某个为正解的字符的可能性较高。
因此,在本发明所涉及的关键字检测装置中,优选所述关键字识别部,针对构成所述搜索窗内的字符串的每个字符,进行字符识别并检测满足规定条件的一个或者多个字符候选,对各所述字符的字符候选进行组合,从而生成多个所述搜索用关键字的候选。在该情况下,仅对第一字符候选进行组合,从而能够减少无法获得正确的搜索用关键字的风险。
然而,对于正解的字符而言,即便为第二以下的字符候选,也认为匹配可靠度高,或者认为与第一字符候选相比,匹配可靠度的差比较少。
因此,上述规定条件优选为,通过所述字符识别得出的匹配可靠度大于规定阈值。另外,上述规定条件优选为,上述字符识别出的匹配可靠度与上述匹配可靠度最大的字符候选(第一字符候选)的匹配可靠度之间的差在规定范围内。在上述的情况下,能够恰当地检测出包含正解的字符的字符候选。
另外,上述关键字识别出部优选将对各所述字符的字符候选进行了组合的识别字符串的得分,设为构成所述识别字符串的字符候选的匹配可靠度的平均值,将所述得分高的识别字符串设为所述搜索用关键字的候选。在该情况下,能够适当地检测包含正确的搜索用关键字的候选。
然而,有时上述搜索窗内的字符串以及字符数随着时间变化。在该情况下,在上述字符串以及字符数的变化结束后识别出的字符串为正确的搜索用关键字的可能性高。
因此,在本发明所涉及的关键字检测装置中,优选所述对象图像为动画中的一系列的静止图像,所述关键字识别部进行如下处理:在所述搜索窗检测部从任意一个所述静止图像中检测出所述搜索窗后,从直至在之后接着的所述静止图像中检测不出所述搜索窗为止的过程中生成的识别字符串中,生成所述搜索用关键字的候选;与来自某个所述静止图像的识别字符串的字符数相比,每当下一个来自所述静止图像的识别字符串的字符数发生变化时,所述识别字符串的得分的加权增大;将被加权的所述得分高的识别字符串设为所述搜索用关键字的候选。在该情况下,能够对应上述搜索窗内的字符串以及字符数随时间变化的情况。
工业上的可利用性
如上,在本发明所涉及的关键字检测装置在对象图像中,检测出用于促使搜索的特定字符串的特征点,将存在于被检测出的特征点的周围的字符串识别为搜索用关键字,从而与以往相比,能够迅速检测出上述搜索用关键字,因此能够应用于从对象图像检测搜索用关键字的任何装置。
附图标记说明
10、20…控制部
101…发送部
104…存储部
110…再生设备(关键字检测装置)
111…动画再生部
112…静止图像生成部
113…字符串检测部(特征点检测部)
115…搜索窗检测部
116…字符识别出部(关键字识别出部)
117…合成部
121…图像信息存储部
122…字符信息存储部
200…显示装置(显示设备)
201…显示部
202…网络I/F部
206…操作部
207…播放接收部
217…关键字候选生成部
218…搜索要求部
SB…搜索窗
SC…字符串

Claims (13)

1.一种关键字检测装置,从对象图像中检测搜索用关键字,该搜索用关键字用于通过因特网上的搜索引擎进行搜索,其特征在于,具备:
特征点检测部,其从所述对象图像中检测用于促使所述搜索的特定字符串的特征点;以及
关键字识别部,其在所述对象图像中,将存在于由所述特征点检测部检测出的特征点的周围的字符串,识别为所述搜索用关键字。
2.根据权利要求1所述的关键字检测装置,其特征在于,
还具备搜索窗检测部,其在所述对象图像中,从由所述特征点检测部检测出的特征点的周围,检测用于输入所述搜索用关键字的搜索窗,
所述关键字识别部,将由所述搜索窗检测部检测出的搜索窗内的字符串识别为所述搜索用关键字。
3.根据权利要求2所述的关键字检测装置,其特征在于,
所述搜索窗检测部在所述对象图像中进行如下处理:
求得所述特定字符串的外接矩形,
设定上部检测用矩形和下部检测用矩形,所述上部检测用矩形以求得的外接矩形的左上顶点作为右下顶点,所述下部检测用矩形以所述外接矩形的左下顶点作为为右上顶点,
在已设定的上部检测用矩形以及下部检测用矩形内,分别检测所述搜索窗的上边以及下边,
设定侧部检测用矩形,该侧部检测用矩形是由检测出的上边以及下边构成的矩形朝两侧方向扩大而构成的,
在已设定的侧部检测用矩形内,检测所述搜索窗的左侧以及右侧的线,从而检测所述搜索窗。
4.根据权利要求2或3所述的关键字检测装置,其特征在于,
所述对象图像为动画中的一系列的静止图像,
所述搜索窗检测部,在从某个所述静止图像中检测出所述搜索窗的情况下,省略所述特征点检测部的动作,直到从之后的所述静止图像中检测不出所述搜索窗为止。
5.根据权利要求2~4中任一项所述的关键字检测装置,其特征在于,
所述关键字识别部,针对构成所述搜索窗内的字符串的每个字符,进行字符识别并检测满足规定条件的一个或者多个字符候选,对各所述字符的字符候选进行组合,从而生成多个所述搜索用关键字的候选。
6.根据权利要求5所述的关键字检测装置,其特征在于,
所述规定条件是指,通过所述字符识别得出的匹配可靠度大于规定阈值。
7.根据权利要求5或6所述的关键字检测装置,其特征在于,
所述规定条件是指,通过所述字符识别得出的匹配可靠度与所述匹配可靠度最大的字符候选的匹配可靠度之间的差在规定范围内。
8.根据权利要求5~7中任一项所述的关键字检测装置,其特征在于,
所述关键字识别部,将对各所述字符的字符候选进行了组合的识别字符串的得分,设为构成所述识别字符串的字符候选的匹配可靠度的平均值,将所述得分高的识别字符串设为所述搜索用关键字的候选。
9.根据权利要求8所述的关键字检测装置,其特征在于,
所述对象图像为动画中的一系列的静止图像,
所述关键字识别部进行如下处理:
在所述搜索窗检测部从任意一个所述静止图像中检测出所述搜索窗后,从直至在之后接着的所述静止图像中检测不出所述搜索窗为止的过程中生成的识别字符串中,生成所述搜索用关键字的候选,
与来自某个所述静止图像的识别字符串的字符数相比,每当下一个来自所述静止图像的识别字符串的字符数发生变化时,所述识别字符串的得分的加权增大,
将被加权的所述得分高的识别字符串设为所述搜索用关键字的候选。
10.一种显示设备,其特征在于,具备:
从对象图像中检测用于通过因特网上的搜索引擎进行搜索的搜索用关键字的权利要求1~9中任一项所述的关键字检测装置,以及
显示由所述关键字检测装置检测出的搜索用关键字和所述对象图像的显示装置。
11.一种关键字检测装置的控制方法,该关键字检测装置用于从对象图像中检测搜索用关键字,该搜索用关键字用于通过因特网上的搜索引擎进行搜索,其特征在于,包括如下步骤:
特征点检测步骤,从所述对象图像中检测用于促使所述搜索的特定字符串的特征点;以及
关键字识别步骤,在所述对象图像中,将存在于通过所述特征点检测步骤检测出的特征点的周围的字符串,识别为所述搜索用关键字。
12.一种关键字检测装置动作的控制程序,该关键字检测装置用于从对象图像中检测搜索用关键字,该搜索用关键字用于通过因特网上的搜索引擎进行搜索,其特征在于,使计算机执行如下步骤:
特征点检测步骤,从所述对象图像中检测用于促使所述搜索的特定字符串的特征点;以及
关键字识别步骤,在所述对象图像中,将存在于通过所述特征点检测步骤检测出的特征点的周围的字符串,识别为所述搜索用关键字。
13.一种记录介质,其特征在于,
能够由计算机读取,并且记录有权利要求12所述的控制程序。
CN201280070282.1A 2012-03-14 2012-12-26 关键字检测装置、其控制方法以及显示设备 Active CN104126188B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-057999 2012-03-14
JP2012057999A JP5906843B2 (ja) 2012-03-14 2012-03-14 キーワード検出装置、その制御方法および制御プログラム、並びに表示機器
PCT/JP2012/083644 WO2013136628A1 (ja) 2012-03-14 2012-12-26 キーワード検出装置、その制御方法および制御プログラム、並びに表示機器

Publications (2)

Publication Number Publication Date
CN104126188A true CN104126188A (zh) 2014-10-29
CN104126188B CN104126188B (zh) 2017-07-18

Family

ID=49160581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280070282.1A Active CN104126188B (zh) 2012-03-14 2012-12-26 关键字检测装置、其控制方法以及显示设备

Country Status (6)

Country Link
US (1) US9305234B2 (zh)
EP (1) EP2827284A4 (zh)
JP (1) JP5906843B2 (zh)
KR (1) KR101697933B1 (zh)
CN (1) CN104126188B (zh)
WO (1) WO2013136628A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104765815A (zh) * 2015-04-03 2015-07-08 北京奇虎科技有限公司 一种识别搜索关键词的方法和装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447109A (zh) * 2015-11-13 2016-03-30 小米科技有限责任公司 关键字词搜索方法及装置
US10108856B2 (en) 2016-05-13 2018-10-23 Abbyy Development Llc Data entry from series of images of a patterned document
JP6900164B2 (ja) * 2016-09-27 2021-07-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7102103B2 (ja) * 2017-03-31 2022-07-19 キヤノン株式会社 携帯型の情報処理装置及び当該情報処理装置を用いた方法及びプログラム
US20210406451A1 (en) * 2018-11-06 2021-12-30 Google Llc Systems and Methods for Extracting Information from a Physical Document
JP6929823B2 (ja) * 2018-11-16 2021-09-01 株式会社東芝 読取システム、読取方法、プログラム、記憶媒体、及び移動体
CN112200185A (zh) * 2020-10-10 2021-01-08 航天科工智慧产业发展有限公司 一种文字反向定位图片的方法及装置、计算机储存介质
JP7380653B2 (ja) * 2021-05-31 2023-11-15 株式会社リコー 情報処理装置、情報処理方法、情報処理プログラム、情報処理システム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1149737A (zh) * 1995-07-03 1997-05-14 佳能株式会社 信息处理方法和装置及存储实施该方法程序的存储介质
US20020055957A1 (en) * 2000-11-28 2002-05-09 Hiroyuki Ohsawa Access system
JP3477450B2 (ja) * 2001-02-21 2003-12-10 淳 高橋 動画情報の反応解析システム
JP2009188886A (ja) * 2008-02-08 2009-08-20 Omron Corp 情報処理装置および情報処理装置用のプログラム
CN101520783A (zh) * 2008-02-29 2009-09-02 富士通株式会社 基于图像内容的关键词搜索方法和装置
JP2009289038A (ja) * 2008-05-29 2009-12-10 Sharp Corp 文字列抽出装置、文字列抽出方法、文字列抽出プログラム、及びコンピュータに読み取り可能な記録媒体
CN101620680A (zh) * 2008-07-03 2010-01-06 三星电子株式会社 字符图像的识别和翻译方法以及装置
JP2010039647A (ja) * 2008-08-01 2010-02-18 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
CN101996253A (zh) * 2010-11-17 2011-03-30 上海合合信息科技发展有限公司 自动提取地址并搜索地图的方法
US20110128288A1 (en) * 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
JP4893861B1 (ja) * 2011-03-10 2012-03-07 オムロン株式会社 文字列検知装置、画像処理装置、文字列検知方法、制御プログラムおよび記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010110415A (ko) * 1999-11-17 2001-12-13 요트.게.아. 롤페즈 뉴럴 네트워크에 적용된 형상 특성들을 이용한 심볼 분류
JP4136282B2 (ja) * 2000-07-05 2008-08-20 キヤノン株式会社 画像処理装置及び画像処理方法並びに記憶媒体
US20080279453A1 (en) * 2007-05-08 2008-11-13 Candelore Brant L OCR enabled hand-held device
JP5115089B2 (ja) 2007-08-10 2013-01-09 富士通株式会社 キーワード抽出方法
JP2009105587A (ja) 2007-10-23 2009-05-14 Funai Electric Co Ltd 放送受信装置
JP5090330B2 (ja) 2008-12-26 2012-12-05 Kddi株式会社 画像処理装置、画像処理方法およびプログラム
JP4985724B2 (ja) 2009-07-30 2012-07-25 富士通株式会社 単語認識プログラム、単語認識方法、単語認識装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1149737A (zh) * 1995-07-03 1997-05-14 佳能株式会社 信息处理方法和装置及存储实施该方法程序的存储介质
US20020055957A1 (en) * 2000-11-28 2002-05-09 Hiroyuki Ohsawa Access system
JP3477450B2 (ja) * 2001-02-21 2003-12-10 淳 高橋 動画情報の反応解析システム
JP2009188886A (ja) * 2008-02-08 2009-08-20 Omron Corp 情報処理装置および情報処理装置用のプログラム
CN101520783A (zh) * 2008-02-29 2009-09-02 富士通株式会社 基于图像内容的关键词搜索方法和装置
JP2009289038A (ja) * 2008-05-29 2009-12-10 Sharp Corp 文字列抽出装置、文字列抽出方法、文字列抽出プログラム、及びコンピュータに読み取り可能な記録媒体
CN101620680A (zh) * 2008-07-03 2010-01-06 三星电子株式会社 字符图像的识别和翻译方法以及装置
JP2010039647A (ja) * 2008-08-01 2010-02-18 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
US20110128288A1 (en) * 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
CN101996253A (zh) * 2010-11-17 2011-03-30 上海合合信息科技发展有限公司 自动提取地址并搜索地图的方法
JP4893861B1 (ja) * 2011-03-10 2012-03-07 オムロン株式会社 文字列検知装置、画像処理装置、文字列検知方法、制御プログラムおよび記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104765815A (zh) * 2015-04-03 2015-07-08 北京奇虎科技有限公司 一种识别搜索关键词的方法和装置

Also Published As

Publication number Publication date
CN104126188B (zh) 2017-07-18
US20150317530A1 (en) 2015-11-05
KR101697933B1 (ko) 2017-01-19
JP5906843B2 (ja) 2016-04-20
EP2827284A4 (en) 2016-04-13
JP2013191104A (ja) 2013-09-26
US9305234B2 (en) 2016-04-05
KR20140114444A (ko) 2014-09-26
EP2827284A1 (en) 2015-01-21
WO2013136628A1 (ja) 2013-09-19

Similar Documents

Publication Publication Date Title
CN104126188A (zh) 关键字检测装置、其控制方法及控制程序,以及显示设备
KR102635987B1 (ko) 이미지 시맨틱 세그멘테이션 네트워크를 트레이닝하기 위한 방법, 장치, 디바이스 및 저장 매체
US8750573B2 (en) Hand gesture detection
CN113159147B (zh) 基于神经网络的图像识别方法、装置、电子设备
US20120027252A1 (en) Hand gesture detection
US11144800B2 (en) Image disambiguation method and apparatus, storage medium, and electronic device
CN108399386A (zh) 饼图中的信息提取方法及装置
Fernandez-Beltran et al. Multimodal probabilistic latent semantic analysis for sentinel-1 and sentinel-2 image fusion
CN106295591A (zh) 基于人脸图像的性别识别方法及装置
CN104572804A (zh) 一种视频物体检索的方法及其系统
CN109977859A (zh) 一种图标识别的方法以及相关装置
US10672055B2 (en) Method and system for presenting personalized products based on digital signage for electronic commerce
CN106897727A (zh) 一种用户性别识别方法及装置
US20210303864A1 (en) Method and apparatus for processing video, electronic device, medium and product
Elpeltagy et al. Multi‐modality‐based Arabic sign language recognition
Yin et al. Gesture spotting and recognition using salience detection and concatenated hidden markov models
CN106372624A (zh) 人脸识别方法及系统
CN110503682A (zh) 矩形控件识别方法、装置、终端及存储介质
CN108289230A (zh) 一种电视购物内容的推荐方法、装置、设备和存储介质
CN112163577A (zh) 游戏画面中的文字识别方法、装置、电子设备和存储介质
CN109614990A (zh) 一种目标检测装置
CN113128241A (zh) 文本识别方法、装置及设备
US20160350264A1 (en) Server and method for extracting content for commodity
CN109101984A (zh) 一种基于卷积神经网络的图像识别方法及装置
CN110413823A (zh) 服装图片推送方法及相关装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant