CN102968611A - 信息处理器和信息处理方法 - Google Patents

信息处理器和信息处理方法 Download PDF

Info

Publication number
CN102968611A
CN102968611A CN2012102645685A CN201210264568A CN102968611A CN 102968611 A CN102968611 A CN 102968611A CN 2012102645685 A CN2012102645685 A CN 2012102645685A CN 201210264568 A CN201210264568 A CN 201210264568A CN 102968611 A CN102968611 A CN 102968611A
Authority
CN
China
Prior art keywords
message handler
indicator
processing
detected object
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012102645685A
Other languages
English (en)
Inventor
山口浩司
坂本智彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102968611A publication Critical patent/CN102968611A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Abstract

提供了一种信息处理器和信息处理方法,该信息处理器包括:检测对象识别部分,该检测对象识别部分基于根据捕获图像而检测到的成像对象的移动状态或指示器的移动状态来识别检测对象;以及目标检测部分,该目标检测部分从所识别的检测对象中检测目标。

Description

信息处理器和信息处理方法
技术领域
本公开涉及信息处理器和信息处理方法。
背景技术
近来,存在被广泛使用的能够通过应用光学字符识别(Opticalcharacter recognition,OCR)和图像分析来识别诸如字符、特定物等目标的设备。
此外,与字符识别相关的技术已得到发展。对于用于基于用户的手和手指的位置和姿势来识别字符的技术,例如,已知公开号为2003-108923的日本未审专利申请所揭示的技术。
发明内容
例如,公开号为2003-108923的日本未审专利申请揭示了一种与字符识别相关的技术(在下文中称为“相关技术”),其中设置了用户的手和手指的两种操作姿势,即,指示姿势和选择姿势。此外,在相关技术中,从捕获的图像中检测用户的手和手指,并且识别用户的手和手指的姿势和位置,以由此指定用于识别字符的区域。在相关技术中,对所指定的区域进行字符识别处理。因此,通过使用相关技术,可以识别所捕获的图像中的指定的特定字符。
然而,为了设置设备识别字符的区域,使用该相关技术设备的用户需要执行多种不同操作,即,与指示姿势相关的操作以及与选择姿势相关的操作。这样,由于使用该相关技术设备的用户必须执行复杂的操作,因此,难以进行直观的操作。
本公开提出了一种新颖的改进的信息处理器和信息处理方法,其能够在识别目标的同时为用户提供增强的可操作性。
本公开提供了一种信息处理器,该信息处理器包括:检测对象识别部分,该检测对象识别部分基于根据捕获的图像而检测到的成像对象的移动状态或指示器的移动状态来识别检测对象;以及目标检测部分,该目标检测部分从所识别的检测对象中检测目标。
此外,本公开提供了一种信息处理方法,该信息处理方法包括:基于根据捕获的图像而检测到的成像对象的移动状态或指示器的移动状态来识别检测对象;以及从识别的检测对象中检测目标。
根据本公开,可以在识别目标的同时为用户提供增强的可操作性。
附图说明
图1是说明根据本公开的实施例的信息处理器所处理的捕获图像的示例的示意图;
图2是说明根据本公开的实施例的信息处理器所处理的捕获图像的示例的示意图;
图3是示出依据根据本公开的实施例的信息处理方法的处理的示例的流程图;
图4是示出根据本公开的实施例的信息处理器中的在识别出指示器(pointer)时与检测对象(detection target)的识别相关的处理的第一示例的流程图;
图5是示出根据本公开的实施例的信息处理器中的用于基于指示器的位置轨迹来识别检测对象的处理的示例的示意图;
图6是示出根据本公开的实施例的信息处理器中的用于基于指示器的位置轨迹来识别检测对象的处理的示例的示意图;
图7是示出根据本公开的实施例的信息处理器中的用于基于指示器的位置轨迹来识别检测对象的处理的示例的示意图;
图8是示出根据本公开的实施例的信息处理器中的用于基于指示器的位置轨迹来识别检测对象的处理的示例的示意图;
图9是示出根据本公开的实施例的信息处理器中的用于基于指示器的位置轨迹来识别检测对象的处理的示例的示意图;
图10是示出根据本公开的实施例的信息处理器中的用于基于指示器的位置轨迹来识别检测对象的处理的示例的示意图;
图11是示出根据本公开的实施例的信息处理器中的在识别出指示器时与检测对象的识别相关的处理的第二示例的流程图;
图12是示出根据本公开的实施例的信息处理器中的在识别出指示器时与检测对象的识别相关的处理的第三示例的流程图;
图13是示出根据本公开的实施例的信息处理器中的在识别出指示器时与检测对象的识别相关的处理的第四示例的流程图;
图14是示出根据本公开的实施例的信息处理器中的在识别出指示器时与检测对象的识别相关的处理的第五示例的流程图;
图15是示出根据本公开的实施例的信息处理器中的在识别出指示器时与检测对象的识别相关的处理的第六示例的流程图;
图16是示出根据本公开的实施例的信息处理器中的在识别出指示器时与检测对象的识别相关的处理的第七示例的流程图;
图17是说明根据本公开的实施例的信息处理器中的当指示器未被识别出时与检测对象的识别相关的处理的示例的示意图;
图18是说明根据本公开的实施例的信息处理器中的当指示器未被识别时与检测对象的识别相关的处理的示例的示意图;
图19是示出根据本公开的实施例的信息处理器的配置的示例的框图;以及
图20是示出根据本公开的实施例的信息处理器的硬件配置的示例的示意图。
具体实施方式
在下文中,将参考附图详细描述本公开的优选实施例。注意,在本说明书及附图中,用相同的附图标记表示具有基本上相同的功能和结构的结构元件,并省略对这些结构元件的重复说明。
将以下面的顺序给出描述。
1.根据本公开的实施例的信息处理方法
2.根据本公开的实施例的信息处理器
3.根据本公开的实施例的程序
(根据本公开的实施例的信息处理方法)
在描述根据本公开的实施例的信息处理器(在下文中称为“信息处理器100”)的配置之前,将首先描述根据本公开的实施例的信息处理方法。在以下描述中,假设根据本公开的实施例的信息处理器执行根据本公开的实施例的信息处理方法。
[根据本公开的实施例的信息处理方法的概述]
如上文所述,例如,使用应用所述相关技术的设备,当用户指定捕获的图像(在下文中称为“捕获图像(captured image)”)中的区域以通过识别用户的手和手指的多个姿势从而识别字符(目标的一个示例)时,用户可能难以使用该设备来进行直观的操作。
信息处理器100基于捕获图像(运动图像或多个静止图像,在下文中同称为捕获图像)来确定指示器(pointer)的移动状态或诸如用户的手指或指示装置等成像对象的移动状态,并识别检测对象(对象)(检测对象识别处理)。这里,根据本公开的实施例的检测对象标识下面描述的目标检测处理的对象。
具体地,当通过确定指示器的移动状态来识别检测对象时,信息处理器100基于例如捕获图像中的指示器的位置轨迹来确定指示器的移动状态。当通过确定成像对象的移动状态来识别检测对象时,信息处理器100基于例如图像相对于捕获图像的诸如中心点等预定点的变化来确定成像对象的移动状态。下面将描述与基于指示器的位置轨迹来确定指示器的移动状态相关的处理的具体示例、以及与基于图像相对于捕获图像的预定点的变化来确定成像对象的移动状态相关的处理的具体示例。
信息处理器100通过使用例如光学字符识别(OCR)技术或图像分析技术(目标检测处理)从所识别的检测对象中检测特定目标。这里,对于根据本公开的实施例的目标,例如,以字符和特定目标(例如人和车辆的实物等)为例。在目标检测处理中,信息处理器100例如检测预设目标,或检测通过用户操作等新设置的目标,作为该特定目标。在下文中,由信息处理器100检测的特定目标将简称为“目标”。
图1和图2是各自示出了由根据本公开的实施例的信息处理器100处理的捕获图像的示例的示意图。在图1和图2中,每个项A是拍摄图像的成像装置的示例。在图1中,项B是作为指示器的一个示例的指示装置。图1中的项C和图2中的项B分别是作为成像对象的示例的纸介质,在其上记录有字符。根据本公开的实施例的成像对象不限于如图1所示的项C和图2所示的项B的纸介质。例如,根据本公开的实施例的成像对象可以是标牌或杂志等,包括目标的任何项可以位于室内或室外。
对于根据本公开的实施例的捕获图像,例如,以成像装置所捕获的其成像位置被固定为图1所示的项A的图像、或者成像装置所捕获的其成像位置未被固定为图2所示的项A为例。当基于如同图1中的项A那样的成像装置所拍摄的捕获图像来识别检测对象时,信息处理器100确定指示器的移动状态并识别检测对象。此外,当基于如同图2中的项A那样的成像装置拍摄的捕获图像来识别检测对象时,信息处理器100确定成像对象的移动状态并识别检测对象。
例如,信息处理器100处理从经由有线/无线网络(或直接)与信息处理器100相连接的成像装置接收到的表示捕获图像的图像信号,并基于捕获图像执行处理。对于根据本公开的实施例的网络,例如,可以应用局域网(LAN,local area network)或广域网(WAN,wide area network)等有线网络、诸如无线LAN(WLAN,wireless local area network)的无线网络或经由基站的无线广域网(WWAN,wireless wide area network)等无线电网络、或使用传输控制协议/互联网协议(TCP/IP)等的通信协议的互联网。
根据本公开的实施例的信息处理器100所处理的图像信号不限于上述。对于根据本公开的实施例的图像信号,例如,由信息处理器100通过接收从电视塔等(直接地或经由机顶盒等间接地)发送的无线电波而获得的图像信号。信息处理器100可以处理例如通过对存储在(下面描述的)存储装置或可从信息处理器100拆卸的外部记录介质中的图像数据进行解码而获得的图像信号。此外,当信息处理器100包括(下面描述的)能够拍摄运动图像的成像部分时,即,当信息处理器100用作成像装置时,信息处理器100可以处理例如与(下面描述的)成像部分所拍摄的捕获图像相对应的图像信号。
如上文所述,根据本公开的实施例的信息处理器100执行:(I)检测对象识别处理,以及(II)目标检测处理,以由此基于捕获图像检测目标。信息处理器100基于捕获图像确定指示器的移动状态或成像对象的移动状态,以由此识别检测对象。也就是说,与应用相关技术的情况不同,信息处理器100的用户(在下文中简称为“用户”)可以不执行诸如与指示姿势相关的操作以及与选择姿势相关的操作之类的多个不同的操作。此外,信息处理器100使用例如OCR技术或图像分析技术,以由此从识别的检测对象中检测特定目标。因此,与使用其中应有相关技术的设备的情况相比,用户可以控制信息处理器100以用直观的操作检测目标。
因此,信息处理器100可以在识别目标的同时为用户提供增强的可操作性。
根据本公开的实施例的信息处理方法不限于上述处理(I)(检测对象识别处理)和上述处理(II)(目标检测处理)。例如,信息处理器100能够基于检测的目标来进行与目标相对应的处理(运行处理(executionprocessing))。
(III):根据本公开的实施例的信息处理器100的运行处理包括例如运行与对应于目标的处理相关的服务、通过启动与目标相对应的应用的运行等。具体地,例如,当字符作为目标而被检测时,信息处理器100执行如下处理:例如“用于呈现所检测的字符的翻译结果”、“用于呈现与所检测的字符表示的地名相对应的地图”等。此外,例如,当人作为目标而被检测时,信息处理器100执行如下处理:例如“搜索(下面描述的)存储装置的存储介质等中包括所检测的人的图像”。此外,信息处理器100可以基于所检测的目标将多个处理结果混合在一起。当然,根据本公开的实施例的信息处理器100所执行的处理不限于上述示例。
[根据本公开的实施例的信息处理方法的具体示例]
随后将具体描述根据本公开的实施例的信息处理方法。在以下描述中,假设根据本公开的实施例的信息处理器100执行与根据本公开的实施例的信息处理方法相关的处理。下面的描述将给出信息处理器100检测字符(或字符串,下文同此)作为目标的示例。此外,下面的描述将给出信息处理器100处理作为包括多个帧(在下文中称为“帧图像”)的运动图像的捕获图像的示例。
为了简单地描述,下面的描述将给出在捕获图像中目标不倾斜的示例,例如字符等。即使当捕获的图像中的目标倾斜时,根据本公开的实施例的信息处理器100也能够如同不倾斜的目标的情况那样纠正捕获图像的倾斜。
图3是示出根据本公开的实施例的信息处理方法的示例的流程图。图3所示的从S100至S106的步骤的处理是上述处理:(I)(检测对象识别处理)。从图3中的步骤S118至S122以及步骤S108至S114的处理为上述处理(II):(对象检测处理)。并且图3中的步骤S116的处理是上述处理(III):(运行处理)。
信息处理器100确定是否识别指示器(S100)。信息处理器100基于例如描述是否应识别指示器的设置信息来执行步骤S100中的处理。设置信息被存储在例如存储装置(未示出)等中。设置信息可以是例如预先设置的,或者可以是基于用户的操作等设置的。
根据本公开的实施例的信息处理器100所进行的处理不限于上述。例如,信息处理器100在步骤S100中可以基于处理目标的捕获图像来确定。例如,信息处理器100可以对连续的多个帧图像执行处理以检测运动。当针对成像对象未检测到运动时,信息处理器100确定识别指示器。当检测到成像对象的运动时,信息处理器100确定不识别指示器。这里,信息处理器100通过使用例如梯度方法等来检测运动矢量,以检测成像对象的移动。然而,信息处理器100的移动检测处理不限于上述。
[1]用于识别指示器的处理的示例
当在步骤S100中确定识别指示器时,信息处理器100例如从捕获图像中识别指示器的前端部分(S102),并基于所识别的前端部分的移动来识别检测对象(S104)。
信息处理器100通过例如从捕获图像中检测边缘以及检测指示器的轮廓来识别指示器的前端部分。信息处理器100的对指示器的前端部分的识别方法不限于上述。例如,信息处理器100可以通过从捕获图像中检测给予指示装置(指示器的示例)的前端部分的特定标记等来识别指示器的前端部分。图3示出了在步骤S102中信息处理器100识别指示器的前端部分的示例。然而,不用说,步骤S102中的信息处理器100的处理不限于识别指示器的前端部分。
现在将给出与当信息处理器100识别指示器时用于识别检测对象的处理相关的具体描述。
[1-1]用于识别检测对象的处理的第一示例
图4是示出当根据本公开的实施例的信息处理器100识别指示器时用于识别检测对象的处理的第一示例的流程图。
信息处理器100存储捕获图像中的指示器的位置(与处理的时刻相对应的一帧图像中的指示器的位置(当前位置))(S200)。根据本公开的实施例,捕获图像的指示器的位置由坐标原点位于例如捕获图像的左下角中的特定位置处的坐标表示。
当在步骤S200中存储了指示器的当前位置时,信息处理器100确定指示器是否进行移动(S202)。信息处理器100例如将步骤S200中存储的位置与下个时间连续的帧图像相比较,或与经过特定时间以后的帧图像中的指示器的位置相比较,以由此执行步骤S202中的处理。
当在步骤S202中确定了指示器已进行移动时,信息处理器100确定指示器的位置轨迹是否表示闭合区域(S204)。信息处理器100适当地使用例如按时间顺序的、与步骤S200中存储的指示器的位置相关的信息(位置数据),以由此确定指示器的位置轨迹。
当在步骤S204中确定指示器的位置轨迹不表示闭合区域时,信息处理器100重复从步骤S200起的处理。
当在步骤S204中确定指示器的位置轨迹表示闭合区域时,信息处理器100基于对该闭合区域的确定利用第一方法识别检测对象(S206),并终止检测对象识别处理。
图5是示出根据本公开的实施例的信息处理器100所进行的用于基于指示器的位置轨迹来识别检测对象的处理的示例的示意图。图5示出了与基于对闭合区域的确定的第一方法相关的处理的示例。图5中的“I”表示指示器的示例,图5中的“T”表示指示器的位置轨迹。在下文中,指示器的位置轨迹可以称为“轨迹T”。
当轨迹T如图5A中所示的那样不表示闭合区域时,信息处理器100在步骤S204中不确定指示器的位置轨迹表示闭合区域,并重复从步骤S200起的处理。另一方面,当轨迹T表示图5B中所示的闭合区域时,信息处理器100识别该闭合区域,作为检测对象。因此,例如,在图5B所示的示例中,通过处理(II)(目标检测处理)来检测字符集“方法”。
再次参考图4,将描述当信息处理器100识别指示器时用于识别检测对象的处理的第一示例。当在步骤S202中确定指示器尚未进行移动时,信息处理器100确定该停止是否是从移动的起点起的第一个停止(S208)。信息处理器100基于例如当步骤S202中确定指示器尚未进行移动时进行计数的计数器值来进行步骤S208中的确定。例如在图4中的处理开始之前重设上述计数器值。不用说,根据本公开的实施例的信息处理器100所进行的步骤S208中的处理不限于上述。
当在步骤S208中确定该停止不是从移动的起点起的第一个停止时,信息处理器100重复从步骤S200起的处理。
当在步骤S208中确定该停止是从移动的起点起的第一个停止时,信息处理器100确定指示器的位置轨迹是否表示矩形的两个边(S210)。
当在步骤S210中确定指示器的位置轨迹表示矩形的两个边时,信息处理器100基于对矩形的两个边的确定利用第二方法识别检测对象(步骤S212),并终止检测对象识别处理。
图6是示出了根据本公开的实施例的信息处理器100所进行的基于指示器的位置轨迹的处理执行以识别检测对象的示例的示意图。图6示出了基于对矩形的两个边的确定的第二方法的处理的示例。图6中的“I”表示指示器的示例,图6中的“T”表示指示器的位置轨迹。
例如,如图6A-6C所示,当用户一旦在时间点t0处停止指示器、并绘制线段直到时间点t1处、然后用户绘制垂直于(大体上垂直于)先前线段的线段直到时间点t2处时,从停止到下个停止的轨迹表示在其中间的点处以直角(大体上为直角)向上弯曲的两个线段,如图6D所示。如上文所述,当指示器的轨迹表示在其中间的点处以直角(总体上为直角)弯曲的两个线段时,信息处理器100在步骤S210中确定指示器的位置轨迹表示矩形的两个边。例如,当由两个线段之间形成的角度满足条件“90–α<θ<90+α”(α是预设的阈值),信息处理器100确定指示器的轨迹表示在其中间的点处以直角(总体上为直角)弯曲的两个线段。不用说,步骤S210中的处理不限于上述。
当确定指示器的位置轨迹表示矩形的两个边时,信息处理器100识别由三个点规定的矩形区域作为检测对象,该三个点即为第一停止位置、第一弯曲位置和下个停止位置。也就是说,信息处理器100基于矩形的两个边来估计闭合区域,并识别该闭合区域,作为检测对象。相应地,例如,在图6D所示的示例中,通过处理(II)(目标检测处理)来检测字符集合“方法”。
另一方面,当指示器的从停止到下次停止的轨迹不包括在其中间的点处以直角(大体上为直角)弯曲的两个线段时,信息处理器100在步骤S210中不确定指示器的位置轨迹包括矩形的两个边。
再次参考图4,对由信息处理器100执行以识别指示器的用于识别检测对象的处理的第一示例进行描述。当在步骤S210中确定指示器的位置轨迹不表示矩形的两个边时,信息处理器100确定指示器的位置轨迹是否表示线段(S214)。
当在步骤S214中确定指示器的位置轨迹表示线段时,信息处理器100基于对该线段的确定利用第三方法来识别检测对象(S216),并终止检测对象识别处理。
图7是示出了根据本公开的实施例的信息处理器100所进行的用于基于指示器的位置轨迹识别检测对象的处理的示例的示意图。图7示出了基于对线段的确定的第三方法的处理的示例。图7中的“I”表示指示器的示例,图7中的“T”表示指示器的位置轨迹。
作为绘制轨迹的结果,当利用如图7A和图7B所示的线段表示从停止到下次停止的指示器的轨迹时,信息处理器100识别例如从该轨迹分离出而沿着垂直方向以预定距离延伸的线段或者该轨迹绘制的线段自身,作为检测对象。例如,当从该轨迹分离出而沿着垂直方向以预定距离延伸的线段被识别作为检测对象时,信息处理器100通过处理(II)(目标检测处理)来检测例如如图7所示的利用下划线标记的字符串“方法”。此外,例如,当轨迹表示的线段被识别作为检测对象时,检测到由指示器跟踪的目标。
当用线段表示轨迹时,信息处理器100所进行的用于识别检测对象的处理不限于上述。图8是示出了根据本公开的实施例的信息处理器100所进行的用于基于指示器的位置轨迹来识别检测对象的处理的示例的示意图,这是基于对线段的确定的使用第三方法的处理的另一示例。图8中的“I”表示指示器的示例。
例如,在图8A所示的捕获图像中,当线段表示指示器的轨迹时,信息处理器100识别包括该线段的预定大小的区域AR作为检测对象。也就是说,信息处理器100基于该线段估计闭合区域,并识别该闭合区域作为检测对象。在这种情况下,信息处理器100通过处理(II)(目标检测处理)从所识别的区域AR中检测与指示器的轨迹相对应的字符作为目标。
具体地,信息处理器100从作为检测对象的区域AR中检测例如与指示器的轨迹相对应的字符行。例如,在图8B所示的示例中,从区域AR中检测到四个字符行。然后,信息处理器100从所检测到的字符行中检测与指示器的轨迹相对应的字符。例如,在图8所示的示例中,当绘制与图中的轨迹T相同的轨迹时,信息处理器100检测“方法”的字符。
信息处理器100在执行例如上述处理(II)(目标检测处理)之前对区域AR执行OCR处理以检测字符。然而,根据本公开的实施例的信息处理器100的处理不限于上述。例如,信息处理器100可以首先对整个捕获图像执行OCR处理,然后使用OCR处理结果执行上述处理(II)(目标检测处理)。
再次参考图4,将关于信息处理器100所进行的用于识别指示器作为检测对象的处理的第一示例进行描述。当在步骤S14中确定了指示器的位置轨迹不是线段时,信息处理器100使用第四方法识别检测对象(S218),并终止检测对象识别处理。
图9和图10是各自示出了根据本公开的实施例的信息处理器100所进行的用于基于指示器的位置轨迹识别检测对象的处理的示例的示意图。图9和图10示出了第四方法的处理的示例。图9和图10中的“I”表示指示器的示例。
信息处理器100识别例如沿着垂直方向以预定距离与该轨迹分离而存在的字符集合以及位于指示器的位置处的字符集合,作为检测对象。例如,当识别沿着垂直方向以预定距离与该轨迹分离而存在的字符集合作为检测对象时,信息处理器100执行例如上述处理(II)(目标检测处理),以识别沿着垂直方向以预定距离与该轨迹分离而存在的字符行。然后,信息处理器100识别例如所识别的字符行中的被空格分段的一部分作为一个词,并检测沿着垂直方向以预定距离与该指示器分离而存在的字符作为目标。例如,在图9所示的示例中,检测到词“方法”。
此外,例如,当识别位于指示器的位置处的字符集合作为检测对象时,信息处理器100基于对整个先前捕获的图像进行的OCR处理的结果以及指示器位置而执行上述处理(III)(目标检测处理),以检测例如与指示器的位置相对应的词作为目标。
信息处理器100能够通过使用例如短语数据库作为用于字符识别的字典而从被如上述地检测到的一个词与在先词和后续词的多个组合中识别短语。例如,在图10所示的示例中,当词“照料(care)”被检测为词时,信息处理器100使用短语数据库检测例如“照顾(take care)”、“对…照顾(take care of)”等。
在识别指示器以执行该处理时,信息处理器100执行例如图4所示的处理以识别检测对象。
根据本公开的实施例的信息处理器100所进行的用于识别指示器作为检测对象的处理不限于图4所示的第一示例的处理。例如,图4示出了其中信息处理器100基于多个确定结果而通过使用第一至第四方法中的任一个来识别检测对象的示例。然而,信息处理器100可以通过使用用于识别检测对象的方法或其中确定处理等的组合被修改的方法来执行该处理。具体地,信息处理器100能够通过使用例如第一至第四方法中的组合的任一个(15个不同的组合)来识别检测对象。在下面的描述中,将给出信息处理器100所进行的用于识别指示器作为检测对象的处理的其它示例。
[1-2]用于识别检测对象的处理的第二示例
图11是示出了根据本公开的实施例的信息处理器100所进行的包括识别指示器的用于识别检测对象的处理的第二示例的流程图。
如同图4中的步骤S200那样,信息处理器100存储捕获图像中的指示器的位置(S300)。
当在步骤S300中存储了指示器的当前位置时,如同图4中的步骤S202那样,信息处理器100确定指示器是否已进行移动(S302)。
当在步骤S302中确定了指示器已经进行了移动时,如同图4中的步骤S204那样,信息处理器100确定指示器的位置轨迹是否表示闭合区域(S304)。当在步骤S304中确定了指示器的位置轨迹不表示闭合区域时,信息处理器100重复从步骤S300起的处理。
当在步骤S304中确定了指示器的位置轨迹表示闭合区域时,如同图4中的步骤S206那样,信息处理器100基于对闭合区域的确定而使用第一方法来识别检测对象(S306)。然后,信息处理器100终止检测对象识别处理。
当在步骤S302中确定了指示器尚未移动时,如同图4中的步骤S208那样,信息处理器100确定该停止是否为从移动的起点起的第一个停止(S308)。当在步骤S308中确定该停止不是从移动的起点起的第一个停止时,信息处理器100重复从步骤S300起的处理。
当在步骤S308中确定该停止是从移动的起点起的第一个停止时,如同图4中的步骤S218那样,信息处理器100使用第四方法来识别检测对象(S310)。然后,信息处理器100终止检测对象识别处理。
[1-3]用于识别检测对象的处理的第三示例
图12是示出了根据本公开的实施例的信息处理器100所进行的包括识别指示器的用于识别检测对象的处理的第三示例的流程图。
如同图4中的步骤S200那样,信息处理器100存储捕获图像中的指示器的位置(S400)。
当在步骤S400中存储了指示器的当前位置时,如同图4中的步骤S202那样,信息处理器100确定指示器是否已进行移动(S402)。当在步骤S402中确定指示器已进行移动时,信息处理器100重复从步骤S400起的处理。
当在步骤S402中确定指示器尚未移动时,如同图4中的步骤S208那样,信息处理器100确定该停止是否是从移动的起点起的第一个停止(S404)。当在步骤S404中确定该停止是从移动的起点起的第一个停止时,信息处理器100重复从步骤S400起的处理。
当在步骤S404中确定该停止是从移动的起点起的第一个停止时,如同图4中的步骤S210那样,信息处理器100确定指示器的位置轨迹是否表示矩形的两个边(S406)。
当在步骤S406中确定指示器的位置轨迹表示矩形的两个边时,如同图4中的步骤S212那样,信息处理器100基于对矩形的两个边的确定而使用第二方法来识别检测对象(S408)。然后,信息处理器100终止检测对象识别处理。
当在步骤S406中确定指示器的位置轨迹不表示矩形的两个边时,如同图4中的步骤S214那样,信息处理器100确定指示器的位置轨迹是否表示线段(S410)。
当在步骤S410中确定指示器的位置轨迹不表示线段时,信息处理器100重复从步骤S400起的处理。
当在步骤S410中确定指示器的位置轨迹表示线段时,如同图4中的步骤S216那样,信息处理器100基于对线段的确定而使用第三方法来识别检测对象(S412)。然后,信息处理器100终止检测对象识别处理。
[1-4]用于识别检测对象的处理的第四示例
图13是示出了根据本公开的实施例的信息处理器100所进行的包括识别指示器的用于识别检测对象的处理的第四示例的流程图。
如同图4中的步骤S200那样,信息处理器100存储捕获图像中的指示器的位置(S500)。
当在步骤S500中存储了指示器的位置时,如同图4中的步骤S202那样,信息处理器100确定指示器是否已进行移动(S502)。当在步骤S502中确定指示器已进行移动时,信息处理器100重复从步骤S500起的处理。
当在步骤S502中确定指示器尚未移动时,如同图4中的步骤S204那样,信息处理器100确定指示器的位置轨迹是否表示闭合区域(S504)。当在步骤S504中确定指示器的位置轨迹表示闭合区域时,信息处理器100重复从步骤S500起的处理。
当在步骤S504中确定指示器的位置轨迹表示闭合区域时,如同图4中的步骤S206那样,信息处理器100基于对该闭合区域的确定而使用第一方法来识别检测对象(S506)。然后,信息处理器100终止检测对象识别处理。
[1-5]用于识别检测对象的处理的第五示例
图14是示出了根据本公开的实施例的信息处理器100所进行的包括识别指示器的用于识别检测对象的处理的第五示例的流程图。
如同图4中的步骤S200那样,信息处理器100存储捕获图像中的指示器的位置(S600)。
当在步骤S600中存储了指示器的当前位置时,如同图4中的步骤S202那样,信息处理器100确定指示器是否已进行移动(S602)。当在步骤S602中确定指示器已进行移动时,信息处理器100重复从步骤S600起的处理。
当在步骤S602中确定指示器尚未移动时,如同图4中的步骤S208那样,信息处理器100确定该停止是否为从移动的起点起的第一个停止(S604)。当在步骤S604中确定该停止不是从移动的起点起的第一个停止时,信息处理器100重复从步骤S600起的处理。
当在步骤S604中确定该停止是从移动的起点起的第一个停止时,如同图4中的步骤S218那样,信息处理器100使用第四方法来识别检测对象(S606)。然后,信息处理器100终止检测对象识别处理。
[1-6]用于识别检测对象的处理的第六示例
图15是示出了根据本公开的实施例的信息处理器100所进行的包括识别指示器的用于识别检测对象的处理的第六示例的流程图。
如同图4中的步骤S200那样,信息处理器100存储捕获图像中的指示器的位置(S700)。
当在步骤S700中存储了指示器的位置时,如同图4中的步骤S202那样,信息处理器100确定指示器是否已进行移动(S702)。当在步骤S702中确定指示器已进行移动时,信息处理器100重复从步骤S700起的处理。
当在步骤S702中确定指示器尚未进行移动时,如同图4中的步骤S208那样,信息处理器100确定该停止是否为从移动的起点起的第一个停止(S704)。当在步骤S704中确定该停止不是从移动的起点起的第一个停止时,信息处理器100重复从步骤S700起的处理。
当在步骤S704中确定该停止是从移动的起点起的第一个停止时,如同图4中的步骤S210那样,信息处理器100确定指示器的位置轨迹是否表示矩形的两个边(S706)。
当在步骤S706中确定指示器的位置轨迹不表示矩形的两个边时,信息处理器100重复从步骤S700起的处理。
当在步骤S706中确定指示器的位置轨迹表示矩形的两个边时,如同图4中的步骤S212那样,信息处理器100基于对该矩形的两个边的确定而使用第二方法来识别检测对象(S708)。然后,信息处理器100终止检测对象识别处理。
[1-7]用于识别检测对象的处理的第七示例
图16是示出了根据本公开的实施例的信息处理器100所进行的包括识别指示器的用于识别检测对象的处理的第七示例的流程图。
如同图4中的步骤S200那样,信息处理器100存储捕获图像中的指示器的位置(S800)。
当在步骤S800中存储了指示器的当前位置时,如同图4中的步骤S202那样,信息处理器100确定指示器是否已进行移动(S802)。当在步骤S802中确定指示器已进行移动时,信息处理器100重复从步骤S800起的处理。
当在步骤S802中确定指示器尚未移动时,如同图4中的步骤S208那样,信息处理器100确定该停止是否是从移动的起点起的第一个停止(S804)。当在步骤S804中确定该停止不是从移动的起点起的第一个停止时,信息处理器100重复从步骤S800起的处理。
当在步骤S804中确定该停止是从移动的起点起的第一个停止时,如同图4中的步骤S214那样,信息处理器100确定指示器的位置轨迹是否表示线段(S806)。
当在步骤S806中确定指示器的位置轨迹不表示线段时,信息处理器100重复从步骤S800起的处理。
当在步骤S806中确定指示器的位置轨迹表示线段时,如同图4中的步骤S216那样,信息处理器100基于对该线段的确定而使用第三方法来识别检测对象(S808)。然后,信息处理器100终止检测对象识别处理。
当通过识别指示器来执行该处理时,信息处理器100通过执行例如上述第一至第七示例之一的处理来识别检测对象。
根据本公开的实施例的信息处理器100所进行的在识别指示器之后的用于识别检测对象的处理不限于该处理的上述第一至第七示例。例如,信息处理器100能够通过使用上述的第一至第四方法中的一个或多个期望的组合(15个不同的组合)来识别检测对象。
信息处理器100可以检测例如轨迹的偏移方向、指示器的类型等。对于所检测的表示轨迹的移动方向的信息(数据),例如,以表示顺时针/逆时针方向绘制的闭合区域的信息、表示线段的绘制方向的信息等为例。此外,对于所检测的表示指示器的类型的信息(数据),例如,以表示手指(指示器的示例)的类型的信息、表示指示装置(指示器的示例)的类别的信息等为例。
例如,信息处理器100可以在处理(III)(运行处理)中使用表示轨迹的移动方向的信息、表示指示器的种类的信息,以由此在与对应于目标的处理相关的服务和与目标相对应的要启动的应用之间进行切换。下面将描述使用表示轨迹的移动方向的信息等的处理(III)(运行处理)的具体示例。
当执行在识别指示器之后的处理时,信息处理器100通过执行例如上述处理来识别检测对象。再次参考图3,下面将描述根据本公开的实施例的信息处理方法的示例。
[2]在不识别指示器的情况下的处理的示例
当在步骤S100中确定不识别指示器时,信息处理器100基于成像对象的移动而识别检测对象(S106)。
图17和图18是用于说明根据本公开的实施例的信息处理器100所进行的在不识别指示器的情况下用于识别检测对象的处理的示例的示意图。图17示出了如图2所示的用户使用具有不固定的成像位置的成像装置拍摄图像的示例。对于具有不固定的成像位置的成像装置,例如,以笔型摄像机、与激光指示器相集成的摄像机、附接到用户身体的摄像机等为例。
如图17所示,当用户在移动成像装置的同时拍摄图像时,成像装置所拍摄的捕获图像是其成像对象正在移动的图像。因此,如图18所示,信息处理器100基于例如图像相对于捕获图像的中心“P”等的预定位置的变化而确定成像对象的移动状态。
具体地,信息处理器100基于例如用户在移动成像装置的同时所拍摄的捕获图像中的预定点的轨迹而确定成像对象的移动状态,并识别对象区域。
信息处理器100使用例如捕获图像中的成像对象的光流(opticalflow),并确定捕获图像中的预定点的轨迹。根据本公开的实施例的信息处理器100所进行的用于确定预定点的轨迹的方法不限于上述。例如,当成像装置包括例如诸如加速度传感器、陀螺传感器等能够检测成像装置的移动的传感器时,信息处理器100可以基于从成像装置接收的表示传感器所检测到的值的传感器信息来确定预定点的轨迹。
信息处理器100可以通过执行例如与所述处理[I](当识别指示器时的处理)相同的处理而基于该轨迹识别检测对象。
当在不识别指示器的情况下执行该处理时,信息处理器100通过执行例如上述处理来识别检测对象。
再次参考图3,将描述根据本公开的实施例的信息处理方法的示例。当通过步骤S104或步骤S106中的处理识别了检测对象时,信息处理器100确定检测对象是否被识别为处于其垂直方向和水平方向均能被识别的状态(S108)。
信息处理器100基于例如使用上述第一至第四方法中的任一个而识别的检测对象来进行步骤S108中的确定。具体地,例如,当通过使用第一方法(在所述轨迹表示闭合区域的情况下的方法)或第二方法(当所述轨迹表示矩形的两个边时的方法)进行对检测对象的识别时,信息处理器100确定检测对象被识别为处于两个方向均能够被识别的状态。此外,例如,当利用第三方法(当所述轨迹表示线段时的方法)或第四方法(用于其它情况的方法)识别检测对象时,信息处理器100确定检测对象未被识别为处于两个方向均能够被识别的状态。不用说,根据本公开的实施例的信息处理器100所进行的步骤S108中的处理不限于上述。
当在步骤S108中确定检测对象被识别为处于垂直方向和水平方向均被确定的状态时,信息处理器100确定字符检测区域以用于检测该字符(S110)。信息处理器100确定与例如所述轨迹所绘制的闭合区域或所述轨迹所绘制的矩形的两个边所限定的矩形相对应的区域,作为字符检测区域。
当在步骤S110中确定了字符检测区域时,信息处理器100执行例如OCR处理等以识别该字符检测区域内的字符(S112),并获得字符代码(S114)。然后,信息处理器100在步骤S116中执行下面描述的处理。
当假设在步骤S108中确定了检测对象未被识别为处于垂直方向和水平方向均能够被识别的状态时,信息处理器100执行例如OCR处理等,以识别整个成像对象中的字符或指示器的外围区域(例如图8中的区域AR)中的字符(S118)。
当在步骤S118中识别了字符时,信息处理器100获得与指示器的位置相对应的字符行的字符代码(S120)。对于与指示器的位置相对应的字符行,例如,以沿着垂直方向以预定距离与所述轨迹分离而延伸的字符行、或位于所述指示器的位置处的字符行为例。
当进行步骤S120中的处理时,信息处理器100利用空白区等来获得与指示器的位置相对应的字符代码(S122)。
当进行步骤S114或步骤S122中的处理时,信息处理器100将所获得的字符代码所表示的字符(所检测的目标的示例)应用于所述服务或应用(S116)。
例如,信息处理器100基于存储在(下面描述的)存储装置等中的表示用户的母语的信息以及所获得的字符代码来确定该字符代码所表示的字符是否是用户的母语。当所获得的字符代码所表示的字符不是用户的母语时,信息处理器100将该字符翻译成用户的母语。
信息处理器100还基于例如存储在(下面描述的)存储装置中的数据库等以及所获得的字符代码来确定所获得的字符代码所指示的字符所表示的含义。例如,当所获得的字符代码所表示的字符意思是地名时,信息处理器100搜索例如与该地名相对应的地图、路径、天气预报等,并将其显示在显示器屏幕上,以由此将其呈现给用户。此外,例如,当所获得的字符代码所表示的字符意思是商店名时,信息处理器100将关于该商店的信息例如关于该商店的口述等呈现给用户。
信息处理器100例如执行如上文所述地与所获得的字符代码所表示的字符相对应的与该处理相关的服务,或者启动和运行与所获得的字符代码所表示的字符相对应的应用。
根据本公开的实施例的信息处理器100所进行的步骤S116中的处理不限于上述。例如,信息处理器100可以使用表示所述轨迹的移动方向的信息和/或表示所述指示器的种类的信息,以由此在与该处理相关的服务和与所获得的字符代码所表示的字符相对应的要启动的应用相关的服务之间切换。
例如,当使用表示所述轨迹的移动方向的信息时,信息处理器100能够例如在以下模式之间进行切换。
·当所获得的字符代码所表示的字符含义是地名时,并且当通过由顺时针轨迹绘制的闭合区域获得字符代码时,信息处理器100将与该地名相对应的地图和路径呈现给用户;
·当所获得的字符代码所表示的字符含义是地名时,并且当通过由逆时针轨迹绘制的闭合区域获得字符代码时,信息处理器100例如将与该地名相对应的位置处的天气预报呈现给用户。
信息处理器100可以基于用于获得字符代码的检测对象识别方法(例如上述的第一至第四方法等)而在与该处理相关的服务和与所获得的字符代码所表示的字符相对应的要启动的应用之间进行切换。
信息处理器100执行例如图3所示的处理,以实现根据本公开的实施例的信息处理方法。相应地,信息处理器100执行例如图3所示的处理,以由此在识别对象的同时向用户提供增强的可操作性。不用说,根据本公开的实施例的信息处理方法不限于图3所示的示例。
(根据本公开的实施例的信息处理器)
随后,将描述本公开的实施例的信息处理器100的配置的示例,该信息处理器100能够执行根据本公开的上述实施例的信息处理方法。
图19是示出了根据本公开的实施例的信息处理器100的配置的示例的框图。信息处理器100包括例如通信部分102和控制部分104。
信息处理器100还可以包括例如ROM(只读存储器,未示出)、RAM(随机存取存储器,未示出)、存储装置(未示出)、允许用户在其上操作的操作部分(未示出)、在显示屏幕上显示各种画面的显示部分(未示出)、成像部分(未示出)等。信息处理器100将上述构成元件经由例如作为数据传输线路的总线而相互连接。
ROM(未示出)存储控制部分104所使用的诸如程序和计算参数之类的控制数据。RAM(未示出)暂时存储控制部分104所运行的程序等。
存储装置(未示出)是信息处理器100中包括的存储单元,其存储诸如图像数据、用于根据本公开的实施例的信息处理方法的各种信息之类的各种数据,其中所述各种信息例如用于上述构成元件和应用的设置信息。对于存储装置(未示出),例如,可应用诸如硬盘、EEPROM(电可擦除可编程只读存储器)、诸如闪存之类的非易失性存储器。此外,存储装置(未示出)可以是能够从信息处理器100拆卸的。
对于操作部分(未示出),例如,可以应用按钮、方向键、诸如转盘之类的可旋转选择器或其组合。信息处理器100可以连接到作为用于信息处理器100的外部装置的例如操作输入装置(例如键盘、鼠标等)。
对于显示部分(未示出),例如,可以应用液晶显示器(LCD)、有机电致发光显示器以及有机发光二极管显示器(OLED显示器)。对于显示部分(未示出),例如可以应用如同触摸屏一样的能够显示和由用户在其上的操作的装置。信息处理器100可以连接到作为信息处理器100的外部装置的显示装置(例如外部显示器),而不依赖于所包括的显示部分(未示出)。
成像部分(未示出)执行用于拍摄静止图像或运动图像的功能。当包括成像部分(未示出)时,处理器100能够例如处理由成像部分(未示出)生成的图像信号。
对于根据本公开的实施例的成像部分(未示出),例如可以应用包括镜头/摄像装置和信号处理电路的成像装置。镜头/摄像装置被配置为例如包括多个成像元件的图像传感器,其中所述成像元件例如光学系统镜头、电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)。信号处理电路包括例如自动增益控制(AGC)电路和将成像元件生成的模拟信号转换成数字信号(图像数据)的模数转换器(ADC),以处理各种信号。信号处理电路执行诸如例如白平衡校正处理、颜色补充处理、伽玛校正处理、YCbCr转换处理、边缘增强处理之类的信号处理。
[信息处理器100的硬件配置的示例]
图20是示出了根据本公开的实施例的信息处理器100的硬件配置的示例的示意图。信息处理器100包括例如MPU150、ROM152、RAM154、记录介质156、输入/输出(I/O)接口158、操作输入装置160、显示装置162和通信接口164。信息处理器100经由例如作为数据传输线路的总线166连接到各构成元件。
MPU150用作包括例如MPU(微处理单元)和各种处理电路并包括整个信息处理器100的控制部分104。在信息处理器100中,MPU150还用作下面将描述的例如检测对象识别部分110、目标检测部分112和处理部分114。
ROM152存储由MPU150使用的程序、诸如计算参数之类的控制数据等。RAM154暂时存储例如由MPU150运行的程序等。
记录介质156用作用于存储用于执行根据本公开的实施例的信息处理方法的诸如例如图像数据、各种信息、应用等的各种数据的存储装置(未示出)。对于记录介质156,例如可以应用诸如硬件和非易失性存储器之类的磁存储介质,所述非易失性存储器例如闪存。记录介质156可以是能够从信息处理器100拆卸的。
I/O接口158连接到例如操作输入装置160和显示装置162。操作输入装置160用作操作部分(未示出),显示装置162用作显示部分(未示出)。对于I/O接口158,可以应用诸如通用串行总线(USB)端子、数字可视接口(DVI)端子、高清晰度多媒体接口(HDMI)端子之类的各种处理电路。操作输入装置160被设置到例如信息处理器100,并被连接到信息处理器100中的I/O接口158。对于操作输入装置160,例如,可以应用按钮、方向键和诸如转盘之类的旋转选择器或其组合。显示装置162被设置到例如信息处理器100,并被连接到信息处理器100中的I/O接口158。对于显示装置162,例如,可以应用液晶显示器和有机电致发光显示器。
不用说,I/O接口158能够连接到作为信息处理器100的外部装置的、诸如操作输入装置(例如键盘、鼠标等)、显示装置、成像装置(例如图1和图2所示的成像装置(A)等)之类的外部装置。显示装置162可以是如同触摸屏等的能够显示并允许用户在其上操作的装置。
通信接口164是信息处理器100中包括的通信单元,其用作用于执行经由网络(或直接地)与例如图1和图2中所示的成像装置(A)、诸如服务器之类的外部装置等之间的有线/无线通信的通信部分102。对于通信接口164,例如可以应用通信天线和射频(RF)电路(无线通信)、IEEE802.15.1端口和发送/接收电路(无线通信)、IEEE802.11b端口和发送/接收电路(无线通信)、或者局域网(LAN)端子和发送/接收电路(有线通信)等。对于根据本公开的实施例的网络,例如,可以应用LAN或广域网(WAN)等的有线网络、如同无线LAN(无线局域网,WLAN)或无线WAN(无线广域网,WWAN)的无线电网络的经由基站的无线网络、或者使用传输控制协议/互联网协议(TCP/IP)的通信协议的互联网等。
信息处理器100具有例如图20所示的配置,并执行根据本公开的实施例的信息处理方法。然而,根据本公开的实施例的信息处理器100的硬件配置不限于图20所示的配置。
例如,信息处理器100还可以设置有数字信号处理器(DSP)和包括放大器、扬声器等的音频输出装置。当设置有DSP和音频输出装置时,信息处理器100能够提供与例如所检测的目标相对应的用户音频信息(例如通过执行相对于服务的处理或通过运行应用而获得的信息)。
此外,信息处理器100还可以设置有例如包括镜头/摄像装置和信号处理电路的成像装置。当设置有成像装置时,信息处理器100用作成像装置,并能够处理成像装置所拍摄的捕获图像。
当信息处理器100被配置用于独立地执行处理时,可以不设置通信接口164。此外,信息处理器100可以被配置成不具有操作输入部分160或显示部分162。
再次参考图19,将描述信息处理器100的配置的示例。通信部分102是信息处理器100中包括的通信单元,其经由网络(或直接地)执行与外部装置之间的无线通信或有线通信,所述外部装置例如图1和图2中所示的成像装置(A)、服务器等。通信部分102的通信由例如控制部分104控制。对于通信部分102,例如可以应用通信天线和射频(RF)电路、LAN终端和发送/接收电路等。然而,通信部分102的配置不限于上述。例如,通信部分102可以采用能够执行与通用串行总线(USB)端子和发送/接收电路之间的通信的符合任何标准的任何配置、或者能够经由网络执行与外部装置之间的通信的任何配置。
通过所包括的通信部分102,信息处理器100执行例如“参考存储在服务器的外部装置等中的用于字符识别的字典”、或者“使得外部装置运行OCR处理或所述处理(I)(检测对象识别处理)至所述处理(III)(运行处理)中的部分或全部处理”、或者“从外部装置获得用于所述处理(III)(运行处理)的数据”等。
控制部分104包括例如微处理器等,并控制整个信息处理器100。控制部分104还包括例如检测对象识别部分110、目标检测部分112和处理部分114,并主动控制根据本公开的实施例的信息处理方法。
检测对象识别部分110主动控制处理(I)(检测对象识别处理),以基于指示器的移动状态或成像对象的移动状态来识别检测对象,其中该指示器的移动状态或成像对象的移动状态是基于捕获图像而检测到的。具体地,如同参考图3中的步骤S102-S106而描述地,检测对象识别部分110例如基于捕获图像中的指示器的位置轨迹或基于图像相对于捕获图像的中的预定点的变化而识别检测对象。
目标检测部分112主动控制处理(II)(目标检测处理),以从识别检测对象中检测目标。目标检测部分112执行各种图像处理,例如OCR处理、边缘检测、模式匹配、面部检测等,以由此从所识别的检测对象中检测检测对象的目标。
处理部分114主动控制处理(III)(运行处理),并基于所检测的目标而执行与该目标相对应的处理。具体地,处理部分114执行例如根据与所检测的目标相对应的服务的处理,并且还启动和运行与所检测的目标相对应的应用。
处理部分114还使用例如通过处理(I)(检测对象识别处理)而获得的表示轨迹的移动方向的信息、表示指示器的种类的信息、以及表示检测对象的识别方法的信息(例如上述的第一方法至第四方法等),以切换要运行的处理。也就是说,处理部分114能够执行与所检测的目标相对应的处理以及目标检测的处理。
控制部分114包括例如检测对象识别部分110、目标检测部分112和处理部分114,并主动控制根据本公开的实施例的信息处理方法。
用于实现根据本公开的实施例的信息处理方法的配置不限于图19所示的控制部分104的配置。例如,根据本公开的实施例的控制部分104可以具有其中不包括处理部分114的配置。即使在采用其中不包括处理部分114的配置时,根据本公开的实施例的信息处理器100也能够执行与根据本公开的实施例的信息处理方法相关的处理(I)(检测对象识别处理)和处理(II)(目标检测处理)。因此,即使在采用不具有处理部分114的配置时,本公开的实施例的信息处理器100也能够在识别目标的同时向用户提供增强的可操作性。
信息处理器100具有例如图19所示的配置,以由此执行根据本公开的实施例的信息处理方法(例如,处理(I)(检测对象识别处理)和处理(II)(目标检测处理))。因此,信息处理器100具有例如图19所示的配置,并能够在识别目标的同时向用户提供增强的可操作性。
此外,信息处理器100具有例如图19所示的配置,以由此执行处理(III)(运行处理)。因此,信息处理器100能够执行与所检测的目标相对应的处理、与所检测的目标的进展相对应的处理、以及对目标的检测处理,因此进一步提高了针对用户的方便性。
如上文所述,根据本公开的实施例的信息处理器100执行例如作为根据本公开的实施例的信息处理方法的处理(I)(检测对象识别处理)和处理(II)(目标检测处理),并基于捕获图像检测目标。信息处理器100基于捕获图像而确定指示器的移动状态或成像对象的移动状态,以由此识别检测对象。也就是说,与应用相关技术的情况不同,信息处理器100的用户可以不执行诸如与指示姿势相关的操作和与选择姿势相关的操作之类的多个不同操作。通过执行诸如“指示”、“围绕”、“跟踪”之类的直观简单的操作,信息处理器100的用户可以使得信息处理器100检测与该操作相对应的目标。相应地,信息处理器100的用户可以不使他/她自己熟悉该操作。因此,与使用应用相关技术的设备的情况不同,用户可以控制信息处理器100利用直观的操作检测目标。
相应地,信息处理器100可以在识别目标的同时向用户提供增强的可操作性。
此外,信息处理器100执行作为根据本公开的实施例的信息处理方法的处理(III)(运行处理),以执行与所检测的目标相对应的处理。根据所检测的目标,信息处理器100在与服务相关的处理或与该目标相对应的要启动的应用之间进行切换。通过使用表示轨迹的移动状态的信息、表示指示器的种类的信息、以及表示检测对象识别方法(例如第一方法至第四方法等)的信息,信息处理器100能够在与处理相关的服务或要启动的应用之间进行切换。也就是说,通过改变例如检测对象的目标的指定或用于指定的指示器的种类,信息处理器100的用户可以控制信息处理器100执行期望的处理。
相应地,信息处理器100可以改进针对用户的方便性和可操作性。
由于信息处理器100基于捕获图像而执行处理,因此可以将任意的非电子介质或电子介质应用于用于要检测的目标的介质。即使在使用电子介质作为用于要检测的目标的介质时,由于信息处理器100基于捕获图像执行处理,因此可以不设置诸如触摸面板之类的检测传感器。
如上文所述,已经描述了作为本公开的实施例的信息处理器100。然而,本公开不限于上述实施例。实施例可以应用于各种设备,包括例如诸如移动电话、智能电话等的通信设备、视频/音乐再现设备(或视频/音乐记录-再现设备)、游戏机、诸如个人计算机(PC)之类的计算机、诸如数字摄像机之类的成像装置。
(根据本公开的实施例的程序)
一种程序,该程序使得计算机用作根据本公开的实施例的信息处理器,即,(一种程序,该程序能够运行根据本公开的实施例的信息处理方法,例如,“处理(I)(检测对象识别处理)和处理(II)(目标检测处理)”、或者处理(I)、处理(II)、和处理(III)(运行处理)等),可以在识别目标的同时向用户提供增强的可操作性。
本领域的技术人员应当理解,取决于设计需求和其它因素,可以进行各种变型、组合、子组合和变更,只要所述变型、组合、子组合和变更在所附权利要求或其等同内容的范围之内即可。
例如,根据本公开的实施例的信息处理器可以被配置成包括图19所示的各自互相分离的检测对象识别部分110、目标检测部分112和处理部分114(例如,检测对象识别部分114由分离的处理电路构成)。
在以上描述中,已经描述了使得例如计算机用作根据本公开的实施例的信息处理器的程序(计算机程序)。然而,该实施例还提供了存储上述程序的记录介质。
上述配置仅被描述用于说明本公开的实施例的示例的目的。相应地,在本公开的技术范围中包括所说明的示例。
此外,本技术还可以配置如下。
(1)一种信息处理器,包括:
检测对象识别部分,所述检测对象识别部分基于指示器的移动状态或成像对象的移动状态而识别检测对象,所述指示器的移动状态或成像对象的移动状态是基于捕获图像而检测到的;以及
目标检测部分,所述目标检测部分从所识别的检测对象中检测目标。
(2)根据(1)所述的信息处理器,其中所述检测对象识别部分在基于所述捕获图像中的所述指示器的位置轨迹来确定所述指示器的移动状态之后识别所述检测对象。
(3)根据(2)所述的信息处理器,其中所述检测对象识别部分基于对所述指示器的位置轨迹是否表示闭合区域、矩形的两个边或线段的确定结果来识别所述检测对象。
(4)根据(3)所述的信息处理器,其中当确定了所述指示器的位置轨迹表示矩形的两个边或所述轨迹表示线段时,所述检测对象识别部分通过基于所述矩形的两个边或所述线段而估计闭合区域来识别所述检测对象。
(5)根据(1)所述的信息处理器,其中所述检测对象识别部分通过基于所述图像相对于所述捕获图像中的预定点的变化确定所述成像对象的移动状态来识别所述检测对象。
(6)根据(1)至(5)中任一项所述的信息处理器,其中所述目标检测部分通过对所识别的检测对象执行光学字符识别来检测作为目标的字符。
(7)根据(6)所述的信息处理器,其中所述目标检测部分从所述检测对象中检测与所述指示器的移动或所述成像对象的移动相对应的字符行,并且
从所检测的字符行中检测与所述指示器的移动或所述成像对象的移动相对应的字符。
(8)根据(1)至(7)中任一项所述的信息处理器,还包括处理部分,所述处理部分基于所检测的目标而执行与所述目标相对应的处理。
(9)一种信息处理方法,包括:
基于指示器的移动状态或成像对象的移动状态而识别检测目标,所述指示器的移动状态或成像对象的移动状态是基于捕获图像检测到的;以及
从所识别的检测对象中检测目标。
本公开包含与2011年8月5日在日本专利局递交的日本在先专利申请JP2011-171637中公开的主题相关的主题,其全部内容通过引用合并于此。

Claims (9)

1.一种信息处理器,包括:
检测对象识别部分,该检测对象识别部分基于根据捕获图像而检测到的成像对象的移动状态或指示器的移动状态来识别检测对象;以及
目标检测部分,该目标检测部分从所识别的检测对象中检测目标。
2.根据权利要求1所述的信息处理器,其中所述检测对象识别部分被配置用于基于所述捕获图像中的所述指示器的位置轨迹来确定所述指示器的移动状态。
3.根据权利要求2所述的信息处理器,其中所述检测对象识别部分基于对所述指示器的位置轨迹是否表示闭合区域、矩形的两个边或线段的确定结果来识别所述检测对象。
4.根据权利要求3所述的信息处理器,其中当确定了所述指示器的位置轨迹表示矩形的两个边或所述位置轨迹表示线段时,所述检测对象识别部分通过基于所述矩形的两个边或所述线段而估计闭合区域来识别所述检测对象。
5.根据权利要求1所述的信息处理器,其中所述检测对象识别部分通过基于所述图像相对于所述捕获图像中的预定点的变化而确定所述成像对象的移动状态来识别所述检测对象。
6.根据权利要求1所述的信息处理器,其中所述目标检测部分通过对所识别的检测对象执行光学字符识别来检测字符,作为所述目标。
7.根据权利要求6所述的信息处理器,其中所述目标检测部分从所述检测对象中检测与所述指示器的移动或所述成像对象的移动相对应的字符行,并且
从所检测的字符行中检测与所述指示器的移动或所述成像对象的移动相对应的字符。
8.根据权利要求1所述的信息处理器,还包括处理部分,所述处理部分基于所检测的目标而执行与所述目标相对应的处理。
9.一种信息处理方法,包括:
基于根据捕获图像检测到的成像对象的移动状态或指示器的移动状态来识别检测目标;以及
从所识别的检测对象中检测目标。
CN2012102645685A 2011-08-05 2012-07-27 信息处理器和信息处理方法 Pending CN102968611A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-171637 2011-08-05
JP2011171637A JP2013037462A (ja) 2011-08-05 2011-08-05 情報処理装置、および情報処理方法

Publications (1)

Publication Number Publication Date
CN102968611A true CN102968611A (zh) 2013-03-13

Family

ID=47626652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012102645685A Pending CN102968611A (zh) 2011-08-05 2012-07-27 信息处理器和信息处理方法

Country Status (3)

Country Link
US (1) US20130033425A1 (zh)
JP (1) JP2013037462A (zh)
CN (1) CN102968611A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110692065A (zh) * 2017-05-30 2020-01-14 国际商业机器公司 基于表面的对象识别

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461098B (zh) * 2020-03-26 2023-05-02 杭州海康威视数字技术股份有限公司 一种仪表盘的建模数据的处理方法、装置和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6906699B1 (en) * 1998-04-30 2005-06-14 C Technologies Ab Input unit, method for using the same and input system
CN1750016A (zh) * 2004-09-15 2006-03-22 北京中星微电子有限公司 一种带摄像装置移动终端的光符识别处理方法
CN1877598A (zh) * 2005-06-06 2006-12-13 英华达(上海)电子有限公司 手机中使用图像识别进行名片信息的采集与录入的方法
CN1967565A (zh) * 2006-11-22 2007-05-23 上海合合信息科技发展有限公司 一种用带数码相机的手机实现名片扫描的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0554492B1 (en) * 1992-02-07 1995-08-09 International Business Machines Corporation Method and device for optical input of commands or data
US5852434A (en) * 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
US5652412A (en) * 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
US6081261A (en) * 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
JPH09146691A (ja) * 1995-11-17 1997-06-06 Hitachi Ltd 情報処理装置
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US6538645B1 (en) * 2000-10-26 2003-03-25 Sunplus Technology Co., Ltd. Computer input system utilizing a camera to sense point source
GB2374266A (en) * 2001-04-04 2002-10-09 Matsushita Comm Ind Uk Ltd Virtual user interface device
US7385595B2 (en) * 2001-11-30 2008-06-10 Anoto Ab Electronic pen and method for recording of handwritten information
US7110576B2 (en) * 2002-12-30 2006-09-19 Pitney Bowes Inc. System and method for authenticating a mailpiece sender
US20120030566A1 (en) * 2010-07-28 2012-02-02 Victor B Michael System with touch-based selection of data items
US20120234936A1 (en) * 2011-03-15 2012-09-20 Hugg Richard C Foam spraying rig

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6906699B1 (en) * 1998-04-30 2005-06-14 C Technologies Ab Input unit, method for using the same and input system
CN1750016A (zh) * 2004-09-15 2006-03-22 北京中星微电子有限公司 一种带摄像装置移动终端的光符识别处理方法
CN1877598A (zh) * 2005-06-06 2006-12-13 英华达(上海)电子有限公司 手机中使用图像识别进行名片信息的采集与录入的方法
CN1967565A (zh) * 2006-11-22 2007-05-23 上海合合信息科技发展有限公司 一种用带数码相机的手机实现名片扫描的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110692065A (zh) * 2017-05-30 2020-01-14 国际商业机器公司 基于表面的对象识别
CN110692065B (zh) * 2017-05-30 2023-05-09 国际商业机器公司 基于表面的对象识别的方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
US20130033425A1 (en) 2013-02-07
JP2013037462A (ja) 2013-02-21

Similar Documents

Publication Publication Date Title
US11017218B2 (en) Suspicious person detection device, suspicious person detection method, and program
US10677596B2 (en) Image processing device, image processing method, and program
US8774456B2 (en) Detective information registration device and target object detection device for detecting an object in an image
TW202131219A (zh) 圖像識別方法及圖像識別裝置、電子設備和電腦可讀儲存媒介
US7813553B2 (en) Image region detection method, recording medium, and device therefor
CN105517679B (zh) 用户地理位置的确定
CN109684980B (zh) 自动阅卷方法及装置
TW202113757A (zh) 目標對象匹配方法及目標對象匹配裝置、電子設備和電腦可讀儲存媒介
WO2013051180A1 (en) Image processing apparatus, image processing method, and program
CN107818282B (zh) 二维码识别方法、终端及计算机可读存储介质
JP7245363B2 (ja) 測位方法及び装置、電子機器並びに記憶媒体
US11417173B2 (en) Image processing method, apparatus, and non-transitory computer readable storage medium
JP6530432B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
US20220020222A1 (en) Modulated display ar tracking systems and methods
WO2022099988A1 (zh) 目标跟踪方法及装置、电子设备和存储介质
US10133966B2 (en) Information processing apparatus, information processing method, and information processing system
CN102968611A (zh) 信息处理器和信息处理方法
CN110049230A (zh) 校正图像的图像处理装置和方法
KR20140103021A (ko) 객체 인식이 가능한 전자 장치
JP2010231541A (ja) 情報処理装置、文字認識方法、およびプログラム
JP4364186B2 (ja) カード
JP4312185B2 (ja) ゲーム用マット、カードゲームシステム、画像解析装置、画像解析方法
KR101625751B1 (ko) 바운더리 코드를 포함하는 ar 마커 장치, 이를 이용한 ar 제공 시스템 및 방법
JP2013104854A (ja) 携帯端末及び情報表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130313