CN110741228A - 信息提供系统、信息提供方法以及程序 - Google Patents

Abstract

在信息提供系统中具备：摄像部；显示由所述摄像部摄像的图像的显示部；解析由所述摄像部摄像的图像、确定所述图像中所含的意义信息所表示的事象的种类的确定部；使与由所述确定部确定的事象的种类当中预先规定的事象的种类对应的图像显示在所述显示部的显示控制部。

Description

信息提供系统、信息提供方法以及程序

技术领域

本发明涉及信息提供系统、信息提供方法以及程序。

本申请基于2017年6月16日在日本申请的特愿2017-118693号来主张优先权，将其内容引用于此。

背景技术

过去公开了如下技术：在将由摄像机摄像的图像中所含的道路标识显示给利用者且车辆的行驶区域不是驾驶者的本国的情况下，将摄像的道路标识变更成本国的道路标识进行显示(例如参考专利文献1)。

现有技术文献

专利文献

专利文献1：JP特开2009-109404号公报

发明内容

发明要解决的课题

但在现有的技术中，只是变更成与摄像的道路标识建立对应的直接本国的道路标识并进行显示，有连利用者不需要的信息都进行变换并显示的情况。为此，利用者由于连不需要理解的信息都需要去确认，因此对认知的负担增加，有看漏希望看到的信息的情况。本发明考虑这样的事情而提出，目的之一在于，提供能减轻利用者的认知负担的信息提供系统、信息提供方法以及程序。

用于解决课题的手段

本发明所涉及的信息提供系统、信息提供方法以及程序采用以下的结构。

(1)：本发明的一个方案所涉及的信息提供系统具备：摄像部(130)；显示由所述摄像部摄像的图像的显示部(140)；对由所述摄像部摄像的图像进行解析、确定所述图像中所含的意义信息所表示的事象的种类的确定部(122)；和使与由所述确定部确定的事象的种类当中预先规定的事象的种类对应的图像显示在所述显示部的显示控制部(124)。

(2)：在上述(1)的方案基础上，还具备：接受利用者的输入操作的接受部(140)，所述显示控制部使与由所述确定部确定的事象的种类当中对所述接受部输入的事象的种类对应的图像显示在所述显示部。

(3)：在上述(1)或(2)的方案基础上，与所述事象的种类对应的图像是不依赖于文本信息地表示所述事象的种类的图像。

(4)：在上述(1)到(3)当中任一个方案基础上，所述显示控制部使与所述预先规定的事象的种类对应的图像和显示所述意义信息的位置建立对应地显示在所述显示部。

(5)：在上述(1)到(4)当中任一个方案基础上，还具备：接受利用者的输入操作的接受部，所述显示控制部按照对应于所述图像被所述显示部显示而对所述接受部进行的操作，来使所述显示部显示由所述确定部确定的事象的详细信息。

(6)：在上述(5)的方案基础上，所述显示控制部将由所述确定部确定的事象的详细信息翻译成由利用者设定的语言，使翻译过的信息显示在所述显示部。

(7)：在上述(1)到(6)当中任一个方案基础上，所述显示控制部使所述显示部强调显示所述图像中的与由利用者设定的事象的种类对应的部分。

(8)：本发明的一个方案所涉及的信息提供方法由计算机执行：将由摄像部摄像的图像显示在显示部，对由所述摄像部摄像的图像进行解析，确定所述图像中所含的意义信息所表示的事象的种类，将与确定的所述事象的种类当中预先规定的事象的种类对应的图像显示在所述显示部。

(9)：本发明的一个方案所涉及的程序使计算机执行：将由摄像部摄像的图像显示在显示部，对由所述摄像部摄像的图像进行解析，确定所述图像中所含的意义信息所表示的事象的种类，使与确定的所述事象的种类当中预先规定的事象的种类对应的图像显示在所述显示部。

发明的效果

根据(1)、(8)或(9)，信息提供系统能减轻利用者的认知负担。

根据(2)，信息提供系统能显示与利用者设定的事象的种类对应的图像。为此，利用者能没有看漏地迅速确认希望看到的信息。

根据(3)，利用者能从图像迅速掌握事象的种类。

根据(4)，利用者能容易地掌握与事象的种类对应的图像与哪个意义信息建立对应。

根据(5)，信息提供系统能按照对与事象的种类对应的图像进行的操作来将与该图像建立对应的详细信息提供给利用者。由此利用者能掌握与图像建立对应的意义信息的详细。

根据(6)，利用者即使不懂意义信息的语言，也能基于详细信息的翻译结果容易地掌握该意义信息的详细。

根据(7)，利用者能容易地掌握显示与由利用者设定的事象的种类对应的意义信息的位置。

附图说明

图1是表示第1实施方式的信息提供系统的结构例的图。

图2是表示应用执行部的功能结构和通过与服务器装置侧的协作而提供的信息提供服务的概要的图。

图3是表示第1实施方式的设定画面的一例的图。

图4是表示标志的一例的图。

图5是表示第1实施方式的设定画面的其他示例的图。

图6是表示设定信息的内容的一例的图。

图7是表示标志取得表格的内容的一例的图。

图8是表示在实时取景图像重叠显示标志的样子的图。

图9是表示详细信息DB的内容的一例的图。

图10是表示显示详细信息的样子的图。

图11是表示显示翻译结果的样子的图。

图12是表示第1实施方式的信息提供处理的流程的一例的流程图。

图13是表示第2实施方式的信息提供系统的结构例的图。

图14是表示第2实施方式的设定画面的一例的图。

图15是表示路径信息的显示例的图。

图16是表示路径信息的翻译结果的显示例的图。

图17是表示第3实施方式的信息提供系统的结构例的图。

图18表示终端装置对餐厅的菜品菜单进行摄像的实时取景图像的一例。

图19是表示从在道路行驶的汽车拍摄招牌的实时取景图像的一例的图。

图20是表示运用信息提供系统的系统中的激励流通的机制的一例的图。

具体实施方式

以下参考附图来说明本发明的信息提供系统、信息提供方法以及程序。

[第1实施方式]

图1是表示第1实施方式的信息提供系统1的结构例的图。信息提供系统1例如具备一个以上的终端装置100和服务器装置200。终端装置100和服务器装置200经由网络NW来进行通信。网络NW例如包含无线基站、Wi-Fi接入点、通信线路、提供商、因特网等。

终端装置100例如是智能手机或平板终端等可移动型终端装置。

终端装置100例如具备通信部110、应用执行部120、摄像部130、触控面板140、位置确定部150和存储部160。应用执行部120和位置确定部150通过CPU(Central ProcessingUnit，中央处理器)等硬件处理器执行程序(软件)而实现。另外，应用执行部120以及位置确定部150当中一方或双方可以通过LSI(Large Scale Integration，大规模集成电路)、ASIC(Application Specific Integrated Circuit，特定用途集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)等硬件实现，也可以通过软件与硬件的协作实现。程序可以预先存放在HDD(Hard Disk Drive)、闪速存储器等存储装置(例如存储部160)中，也可以存放在DVD、CD-ROM等能拆装的存储介质中，还可以通过将存储介质装备于驱动装置(未图示)来安装到存储装置。另外，触控面板140可以组合「显示部」和「接受部」而成为一体。

通信部110经由网络NW与服务器装置200通信。通信部110例如是无线通信接口等通信接口。

应用执行部120通过执行存储于存储部160的引导应用161而实现。所谓引导应用161例如是用于如下的应用程序：确定由摄像部130摄像的图像中所含的意义信息所表示的事象的种类，使与确定的事象的种类当中与由利用者设定的事象的种类对应的图像显示在触控面板140。特别地，应用执行部120确定由摄像部130摄像的实时取景图像中所含的意义信息所表示的事象的种类，来进行上述的处理。所谓实时取景图像，例如是按下快门前将图像传感器光电变换的结果作为流数据取得、对利用者作为影像而展示的图像。

应用执行部120在实时取景图像中在任意的定时选出静止图像，对于静止图像，使与由利用者设定的事象的种类对应的图像显示在触控面板140。所谓意义信息，是文本、标记、图标等能通过图像解析掌握意义的信息(像素分布)。

在第1实施方式中，意义信息例如是表示到特定的场所为止的目的地的引导显示所相关的信息、与该场所关联的资讯显示所相关的信息。所谓事象，例如表示将意义信息分类成粗略的门类的分类结果。例如，作为空港内的事象，登机口、巴士站、电车站、餐厅、卫生间等概念相当于「事象」。关于应用执行部120的功能的详细后述。

摄像部130例如是利用了CCD(Charge Coupled Device，电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等固体摄像元件(图像传感器)的数字摄像机。摄像部130取得基于图像传感器进行光电变换的结果的实时取景图像，并控制快门的开闭来摄像静止图像。

触控面板140是LCD(Liquid Crystal Display，液晶显示器)、有机EL(ElectroLuminescence，电致发光)显示装置，具备显示图像的功能和检测对于显示面的利用者的手指的位置的功能。

位置确定部150确定终端装置100的位置。位置确定部150例如基于从GNSS(GlobalNavigation Satellite System，全球导航卫星系统)卫星接收到的信号来确定终端装置100的位置(例如纬度、经度、高度)。另外，位置确定部150也可以基于无线基站的位置和电波强度等来确定终端装置100的位置。

存储部160通过ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、闪速存储器等实现。在存储部160中例如存放引导应用161、设定信息162、标志取得表格163以及其他信息。设定信息162，例如，是表示利用者选择的事象以及翻译语言的信息。标志取得表格163是用于将从摄像部130的摄像图像中所含的意义信息得到的事象变换成标志的信息。关于设定信息162以及标志取得表格163的详细后述。

服务器装置200例如具备通信部210、详细信息提供部220、翻译部230和存储部240。详细信息提供部220以及翻译部230，通过CPU等硬件处理器执行程序而实现。另外，详细信息提供部220以及翻译部230当中一方或双方可以通过LSI、ASIC、FPGA等硬件实现，也可以通过软件与硬件的协作实现。程序可以预先存放在HDD、闪速存储器等存储装置(例如存储部240)中，也可以存放在DVD、CD-ROM等能拆装的存储介质中，还可以通过将存储介质装备在驱动装置(未图示)来安装到存储装置。

通信部210经由网络NW与终端装置100通信。通信部210例如是NIC(NetworkInterface Card，网络接口卡)等通信接口。

详细信息提供部220按照来自通信部210接收到的终端装置100的详细信息的取得请求，将详细信息发送到终端装置100。关于详细信息提供部220的详细后述。

翻译部230按照来自终端装置100的翻译请求，参考翻译辞典243来进行翻译，将翻译结果发送到终端装置100。

存储部240通过ROM、RAM、HDD、闪速存储器等实现。在存储部240中例如存放详细信息DB241、地图信息242、翻译辞典243以及其他信息。详细信息DB241是存放与意义信息所对应的标志建立关联的具体的说明的数据库。关于详细信息DB241的具体例后述。

地图信息242例如是空港内、车站建筑内等给定的设施内的地图。另外，地图信息242可以包含与电车的路线图、时刻表、各路线区间的费用、行驶时间相关的信息。另外，地图信息242可以包含与地图坐标建立对应的道路信息、建筑物信息。在建筑物信息中包含建筑物内的店铺、设施的名称、住址、电话号码等。在翻译辞典243中，包含为了多种语言间的翻译所需的单词或文章。

[通过应用执行部120与服务器装置200的协作进行的信息提供服务]

接下来，说明通过应用执行部120与服务器装置200的协作进行的信息提供服务。图2是表示应用执行部120的功能结构和通过与服务器装置200侧的协作而提供的信息提供服务的概要的图。

例如，若对于用于启动显示于触控面板140的引导应用161的图像接受到来自利用者的输入操作，则终端装置100启动引导应用161。由此应用执行部120开始动作。

应用执行部120例如具备设定部121、图像解析部122、标志取得部123、显示控制部124、详细信息请求部125和翻译请求部126。图像解析部122是「确定部」的一例。另外，将标志取得部123和显示控制部124组合的产物是「显示控制部」的一例。

设定部121使用于显示进行利用者设定的设定画面的GUI开关显示在触控面板140，在进行了来自利用者的选择的情况下，控制触控面板140，来显示设定画面。

图3是表示第1实施方式的设定画面的一例的图。在设定画面300A示出选择显示于画面的标志的类别的标志显示类别选择区域301A、选择翻译语言的翻译语言选择区域302A和进行设定的内容的决定或取消的确定操作区域303A。所谓标志，与事象「一对一」或「一对多」地建立对应，示意地表示事象的内容。

图4是表示标志的一例的图。标志例如是将事象的类别用利用者易于理解的示意性的标记、记号等表现的图像，不依赖于文本信息来表示事象。另外，标志可以是在全世界被标准化的图像。识别标志的识别信息(例如「Image001」等)与各个标志建立对应。

利用者例如勾选显示于标志显示类别选择区域301A的各种标志当中与希望显示的事象对应的标志。另外，利用者也可以从国旗等标志选择使用自己能理解的翻译语言的标志。在图3的示例中示出如下示例：在标志显示类别选择区域301A中，在标志显示类别选择区域301A选择与交通、吃饭以及卫生间相关的标志，在翻译语言选择区域302A选择英语(English)作为翻译语言。由此，利用者即使不读字符，也能仅根据标志选择显示于画面的引导信息、翻译语言。

图5是表示第1实施方式的设定画面的其他示例的图。在设定画面300B中，示出标志显示类别选择区域301B、翻译语言选择区域302B和确定操作区域303B。图5所示的设定画面300B若与设定画面300A比较，则取代显示标志而显示字符信息。

利用者例如勾选显示于标志显示类别选择区域301B的类别当中与希望显示的事象对应的标志的复选框。另外，利用者也可以从显示于下拉清单的多种语言选择自分能理解的翻译语言。在图5的示例中，在标志显示类别选择区域301B选择交通、吃饭以及卫生间，在翻译语言选择区域302A选择英语作为翻译语言。另外，设定部121也可以在显示设定画面300B前显示设定进行显示的字符的语言的画面，以翻译成由利用者设定的语言的字符信息来使设定画面300B显示。另外，图3以及图5所示的设定画面300A、300B分别可以组合显示于其他设定画面的信息的一部分。

若由利用者选择了显示于确定操作区域303A、303B的决定按钮，设定部121将设定画面300A、300B中接受到的信息作为设定信息162存储到存储部160。

图6是表示设定信息162的内容的一例的图。在设定信息162中存放与在设定画面300A、300B的标志显示类别选择区域301A、301B选择的标志对应的事象的种类的识别信息即事象类别ID和在翻译语言选择区域302A、302B选择的翻译语言。应用执行部120在上述的设定信息162存储于存储部160的状态下，根据利用者的操作来进行以下的处理。

图像解析部122对摄像部130的实时取景图像进行解析，通过OCR(OpticalCharacter Recognition，光学字符识别)技术等来认识实时取景图像中所含的引导显示的文本、记号的内容。另外，图像解析部122可以对摄像部130的实时取景图像进行分割处理。所谓分割处理，例如是提取显示实时取景图像中的招牌、标识其他物体的部分图像、或者将部分图像变换成二维图像的处理。

标志取得部123基于图像解析部122的解析结果，参考标志取得表格163来取得与解析结果对应的事象类别ID以及标志。另外，标志取得部123，也可以在利用标志取得表格163的标志的取得处理基础上或取代其，基于图像解析部122提取的部分图像，参考商标数据库等外部装置来取得事象主信息等。在该情况下，标志取得部123可以使用取得的事象主信息等来生成或更新标志取得表格163。

图7是表示标志取得表格163的内容的一例的图。标志取得表格163将事象类别信息以及标志与识别事象的种类的识别信息即事象类别ID建立对应。所谓事象类别信息，例如是按分类的每个事象而预先规定的文本、标记、图标等信息。

标志取得部123参考标志取得表格163的事象类别信息来取得包含与由图像解析部122得到的解析结果吻合的事象类别信息的事象类别ID、和与事象类别ID建立对应的标志。所谓吻合，除了包含完全一致、部分一致以外，还包含是同义的其他词(例如对于「拉面」有「面条」等)。

另外，标志取得部123判定由标志取得表格163取得的标志是否是与预先规定的事象的种类对应的标志。例如，标志取得部123基于和标志一起取得的事象类别ID，参考设定信息162，在与设定信息162中所含的事象类别ID吻合的情况下，判定为该标志是与预先规定的事象的种类对应的标志。

显示控制部124控制触控面板140，使得将判定为是显示对象的标志重叠显示在实时取景图像。图8是表示在实时取景图像重叠显示标志的样子的图。例如设为通过图像解析部122图像解析而从位置312a认识出「寿司」的字符。在该情况下，标志取得部123参考标志取得表格163，取得与「寿司」的字符建立对应的标志「Image002」和事象类别ID「E002」。标志取得部123由于取得的事象类别ID与设定信息162的事象类别ID吻合而判定为标志「Image002」是重叠显示在实时取景图像310的标志。显示控制部124控制触控面板140，使得将取得的标志「Image002」重叠显示在实时取景图像310。在图8的示例中，与实时取景图像310的位置312a建立对应地重叠显示「Image002」的标志314a。

另外，设为通过图像解析部122的图像解析从位置312b认识出「铁道」、「卫生间」等字符。在该情况下，标志取得部123从标志取得表格163取得与「铁道」、「卫生间」对应的标志「Image001」、「Image003」和事象类别ID「E001」、「E003」。标志取得部123由于取得的事象类别ID与设定信息162的事象类别ID吻合而判定为标志「Image001」、「Image003」是重叠显示在实时取景图像310的标志。显示控制部124控制触控面板140，将取得的标志「Image001」、「Image003」重叠显示在实时取景图像310。在图8的示例中，与实时取景图像310的位置312b建立对应地重叠显示「Image001」、「Image003」的标志314b、314c。

另外，在由图像解析部122从位置312b认识出「B1F」的字符的情况下，显示控制部124可以控制触控面板140，将该字符信息314d与实时取景图像310的位置312b建立对应地重叠显示。

另外，设为图像解析部122的图像解析从位置312c认识出「商店」的字符。在该情况下，标志取得部123从标志取得表格163取得与「商店」对应的标志「Image004」和事象类别ID「E004」。标志取得部123由于取得的事象类别ID与设定信息162的事象类别ID不吻合，因此判定为标志「Image004」是不重叠显示在实时取景图像310的标志。因此，在图8的示例中，不在位置312c显示标志。

由此，终端装置100能显示与利用者设定的事象的种类建立对应的标志。因此，利用者能从标志快速认识该事象的种类。

另外，例如，若触控面板140通过轻击等操作而接受到重叠显示于实时取景图像310的标志314a～314c的任意者的显示位置的指定，则详细信息请求部125对服务器装置200进行对于被轻击的标志的详细信息的取得请求。在该情况下，详细信息请求部125将包含与被轻击的标志对应的事象类别ID、由位置确定部150确定的终端装置100的位置和摄像部130的摄像机参数中所含的拍摄方向的详细信息取得请求发送到服务器装置200。

服务器装置200的详细信息提供部220，基于来自终端装置100的详细信息取得请求，参考详细信息DB241，将与详细信息取得请求对应的详细信息发送到终端装置100。

图9是表示详细信息DB241的内容的一例的图。详细信息DB241将位置(例如纬度、经度、高度)、事象类别ID和详细信息，与详细信息所对应的意义信息的位置的识别信息即位置ID建立对应。所谓详细信息，是与位置建立对应的意义信息的说明所相关的信息。在第1实施方式中，例如从当前位置向电车的车站的路径所相关的信息、建筑内图面、店名等所相关的信息相当于「详细信息」。

另外，在详细信息中可以包含无障碍应对信息。所谓无障碍应对信息，例如是用来识别是否有用于对高龄者、伤者等利用者支援利用的设施等应对。例如在卫生间中设置有轮椅直接进入的卫生间的情况下，无障碍应对被识别为「有」。

详细信息提供部220取得位置ID，该位置的详细信息DB241的位置是以详细信息取得请求中所含的终端装置100的位置为基准的在摄像方向上包含的位置，且终端装置100的位置与详细信息DB241的位置的距离为阈值以下。然后详细信息提供部220，提取取得的位置ID当中具有与详细信息取得请求中所含的事象类别ID吻合的事象类别ID的位置ID，将与提取的位置ID建立对应的详细信息发送到终端装置100。由此，详细信息请求部125取得与利用者通过轻击指定的标志对应的详细信息。

接下来，翻译请求部126判定是否需要详细信息请求部125取得的详细信息的翻译。例如翻译请求部126对详细信息的语言进行解析，判定解析的语言是否与设定信息162中所含的翻译语言一致。在解析的语言与设定信息162中所含的翻译语言不一致的情况下，翻译请求部126将包含详细信息和翻译语言的翻译请求发送到服务器装置200。

翻译部230基于来自终端装置100的翻译请求来将详细信息翻译成被指定的翻译语言。翻译部230例如参考翻译辞典243，将详细信息的字符或语句翻译成翻译语言的字符或语句，将翻译结果发送到终端装置100。

显示控制部124控制触控面板140，来显示详细信息请求部125的详细信息或翻译请求部126的翻译结果。图10是表示显示详细信息的样子的图。例如在由利用者轻击标志314b的情况下，显示控制部124控制触控面板140，来在详细信息显示区域320A显示详细信息。详细信息显示在触控面板140，例如是设定信息162中所含的翻译语言和详细信息的语言相同的情况、设定信息162中没有翻译语言的设定的情况、或者翻译部230不能进行设定的翻译语言的翻译的情况。

另外，显示控制部124可以控制触控面板140，使得基于详细信息中所含的无障碍应对信息，将与无障碍应对的有无相同地标志321显示在详细信息显示区域320A。另外，标志321例如存储于存储部160。

另外也可以是，若触控面板140对显示于详细信息显示区域320A的建筑内图进行显示的「http：//aaa….pdf」的字符被轻击，则显示控制部124控制触控面板140，使得显示位于与显示字符建立对应的访问目的地的建筑内图。另外，显示控制部124也可以在不存在针对标志314b的详细信息的情况下，控制触控面板，使得将「没有详细信息」等信息显示在详细信息显示区域320A。

图11是表示显示翻译结果的样子的图。例如在由利用者轻击了标志314b的情况下，显示控制部124控制触控面板140，使得在详细信息显示区域320B显示翻译结果。翻译结果显示在触控面板140，例如是设定信息162中所含的翻译语言和详细信息的语言不同、且能从翻译部230得到翻译结果的情况。如图10以及图11所示那样，显示控制部124能根据利用者来仅提示利用者所需的信息。

由此利用者减轻了认知负担。

[处理流程]

图12是表示第1实施方式的信息提供处理的流程的一例的流程图。若启动引导应用161，则应用执行部120显示设定画面300，将从设定画面接受到的设定信息登记(步骤S100)。另外，在设定信息已经登记完毕的情况下，也可以不进行步骤S100的处理。

接下来，应用执行部120对由摄像部130摄像的实时取景图像进行解析(步骤S102)，基于解析结果，参考存储于存储部160的标志取得表格163，取得与解析结果对应的标志(步骤S104)。接下来，应用执行部120参考设定信息162，来判定取得的标志是否是显示对象的标志(步骤S106)。在取得的标志是显示对象的标志的情况下，应用执行部120与得到解析结果的位置建立对应地在实时取景图像重叠显示标志(步骤S108)。

接下来，应用执行部120判定是否通过利用者的轻击操作等而接受到标志的指定(步骤S110)。在接受到标志的指定的情况下，应用执行部120将包含终端装置100的位置以及摄像方向和指定的标志的事象类别ID的详细信息取得请求发送到服务器装置200(步骤S112)，取得基于指定的标志的详细信息(步骤S114)。

接下来，应用执行部120判定详细信息的语言是否与设定信息162中所含的翻译语言相同(步骤S116)。在详细信息的语言与设定信息中所含的翻译语言相同的情况下，应用执行部120控制触控面板140，使得显示详细信息(步骤S118)。另外，在详细信息的语言与设定信息中所含的翻译语言不同的情况下，应用执行部120将翻译请求发送到服务器装置200(步骤S120)，从服务器装置200取得翻译结果(步骤S122)。接下来，应用执行部120控制触控面板140，使得显示翻译结果(步骤S124)。

在步骤S118或S124的处理后，在步骤S106中取得的标志不是显示对象的标志的情况下，或在步骤S110中未接受到标志的指定的情况下，应用执行部120判定是否结束信息提供处理(步骤S126)。在不结束信息提供处理的情况下，应用执行部120返回步骤S104的处理。另外，在结束信息提供处理的情况下，应用执行部120结束本流程图的处理。

如以上说明的那样，根据第1实施方式的信息提供系统1，由于对于实时取景图像中所含的意义信息能将与利用者指定的事象对应的标志重叠显示在实时取景图像，因此能减轻利用者的认知负担。另外，根据第1实施方式，由于能将与利用者指定的标志对应的详细信息进行翻译来显示，因此能容易地掌握利用者所需的信息。

[第2实施方式]

接下来说明第2实施方式。在第2实施方式中，在终端装置100中由利用者预先设定了目的地的情况下，在与目的地关联的标志(例如与移动手段相关的标志)被指定时，作为该标志的详细信息而显示到目的地为止的路径。

图13是表示第2实施方式的信息提供系统2的结构例的图。在信息提供系统2中，在终端装置100A中具备应用执行部120A，在服务器装置200A中具备路径搜索部250。其他构成要素的功能都与第1实施方式同样。

应用执行部120A控制触控面板140，使得显示设定目的地的设定画面。图14是表示第2实施方式的设定画面300C的一例的图。在设定画面300C中，示出有标志显示类别选择区域331、显示图像选择区域332、目的地设定区域333、翻译语言选择区域334和确定操作区域335。

标志显示类别选择区域331，是选择显示于从摄像部130得到的实时取景图像以及地图上的标志的区域。在标志显示类别选择区域331中显示预先规定的多个标志。利用者选择标志显示类别选择区域331当中与希望显示的事象对应的至少一个标志。

显示图像选择区域332，是选择是在从摄像部130得到的实时取景图像重叠显示标志，还是在从服务器装置200取得的地图上显示标志的区域。目的地设定区域333，是用于让利用者设定目的地的区域。翻译语言选择区域334以及确定操作区域335例如相当于翻译语言选择区域302以及确定操作区域303。

在图14的示例中，选择与餐厅、电车、徒步、住宿相关的标志，选择在实时取景图像重叠显示标志的AR(Augmented Reality，增强现实)显示，作为目的地而输入GG酒店，作为翻译语言而选择英语。

应用执行部120A将由设定画面300C设定的各种信息作为设定信息162存储在存储部160。另外，应用执行部120A对从摄像部130得到的实时取景图像或地图中所含的意义信息进行解析，将与作为解析结果而认识的事象类别对应且由利用者设定为显示对象的标志重叠显示在实时取景图像或地图。

另外，若重叠显示在实时取景图像或地图的标志被轻击，则应用执行部120A将包含与轻击的标志对应的事象类别ID、由位置确定部150确定的终端装置100A的位置、摄像部130的摄像机参数中所含的拍摄方向、和目的地的详细信息取得请求发送到服务器装置200A。

服务器装置200A的路径搜索部250，在来自终端装置100A的详细信息取得请求中包含目的地的情况下，基于终端装置100A的位置和目的地，参考地图信息242，来搜索从当前位置到目的地的路径。例如，在详细信息取得请求中所含的事象类别ID是与电车对应的ID的情况下，路径搜索部250搜索在移动手段中利用电车的到目的地位置的最短路径以及移动时间。另外，路径搜索部250也可以搜索使用汽车等其他移动手段到目的地为止的最短路径以及移动时间。所谓汽车，与电车不同，是以发动机等的动力没有轨道地行驶的车辆。在汽车中包含二轮、三轮、四轮等车辆。路径搜索部250将包含通过路径搜索得到的路径以及移动时间的路径信息发送到终端装置100。

应用执行部120A对从服务器装置200A得到的路径信息参考设定信息162来判定是否需要路径信息的翻译。在判定为不需要翻译的情况下，显示控制部124控制触控面板140，使得将从服务器装置200A取得的路径信息重叠显示在实时取景图像或地图。

图15是表示路径信息的显示例的图。在图15的示例中，与图8同样，与实时取景图像310中所含的意义信息对应的标志314a～314c重叠显示在实时取景图像310。在此，若由利用者轻击了标志314b，应用执行部120A控制触控面板140，使得与标志314b对应的路径信息显示在详细信息显示区域320C。

在图15的示例中，详细信息显示区域320C显示有从终端装置100A的当前位置到设定画面300C的目的地设定区域333中所设定的「GG酒店」的利用电车的到目的地为止的路径、和到抵达为止的时间、费用。

另外，应用执行部120A在对从服务器装置200A得到的路径信息判定为需要路径信息的翻译的情况下，将包含路径信息和翻译语言的翻译委托发送到服务器装置200A，从服务器装置200A接收翻译结果。显示控制部124控制触控面板140，将与从服务器装置200A取得的路径信息对应的翻译结果重叠显示在实时取景图像或地图。

图16是表示路径信息的翻译结果的显示例的图。在图16的示例中，控制触控面板140，使得在详细信息显示区域320D显示路径信息的翻译结果。另外，显示控制部124，可以对于目的地将利用汽车的情况下的移动距离、移动时间以及费用所相关的信息321A显示在详细信息显示区域320C、详细信息显示区域320D。由此利用者能对比多个路径来决定路径。

如以上说明的那样，根据第2实施方式，除了起到与第1实施方式同样的效果以外，还能通过显示到目的地为止的路径信息来对利用者提供与目的相应的详细的信息。

[第3实施方式]

接下来说明第3实施方式。在第3实施方式中，终端装置100基于实时取景图像中所含的意义信息来显示与事象对应的标志，若接受到标志的选择操作，就显示与该标志对应的意义信息的翻译结果。

图17是表示第3实施方式的信息提供系统3的结构例的图。在信息提供系统3中，在终端装置100B中具备应用执行部120B以及翻译应用164。其他构成要素的功能都与第1实施方式同样。

所谓翻译应用164，是如下那样的应用程序：例如在通过利用者的操作选择了标志的情况下不是显示详细信息，而是显示与该标志对应的意义信息的翻译结果，在这点上与引导应用161相异，关于其他功能，具备与引导应用161同样的功能。

例如，终端装置100B若对用于启动显示于触控面板140的翻译应用164的图像接受到来自利用者的输入操作，就启动翻译应用164。由此应用执行部120B开始动作。

图18表示终端装置100B对餐厅的菜品菜单352摄像的实时取景图像350的一例。应用执行部120B控制触控面板140，使得显示来自摄像部130的实时取景图像350，并解析实时取景图像350中所含的意义信息354，从标志取得表格163取得与意义信息354建立对应的事象的类别所对应的标志，重叠显示在实时取景图像350。

在图18的示例中，应用执行部120B控制触控面板140，使得在设于实时取景图像350的显示区域的左侧的标志显示区域356显示与意义信息354建立对应的事象的类别所对应的标志。在标志显示区域356，从菜品菜单352中所含的意义信息354取得的禽肉菜品、肉类菜品、蔬菜菜品等标志显示在实时取景图像350。另外，显示于标志显示区域356的标志也可以由利用者在设定画面等设定。另外，应用执行部120B将实时取景图像的至少一部分和终端装置100B的位置信息等一起发送到外部装置，取得由外部装置解析的实时取景图像中所含的多个属性的信息。并且应用执行部120B也可以从取得的多个属性的信息中基于利用者的设定信息来提取显示于标志显示区域356的标志。

在此设为由利用者从显示的标志中轻击肉类菜品的标志。在该情况下，应用执行部120B从意义信息354提取与肉类菜品对应的菜单内容，并判定该菜单内容的语言是否与设定信息162中设定的翻译语言一致。应用执行部120B在菜单内容的语言和翻译语言不一致的情况下，将包含菜单内容和翻译语言的翻译请求发送到服务器装置200，控制触控面板140，使得将从服务器装置200接收到的翻译结果358重叠显示在实时取景图像350。另外，应用执行部120B控制触控面板140，来将翻译结果358重叠显示在与菜单内容的显示位置建立对应的位置(例如菜单内容的显示位置之下)。

如以上说明的那样，根据第3实施方式，能将利用者所需的意义信息的翻译信息提示给利用者。为此，利用者能不会看漏地掌握希望知道的信息。另外，由于仅翻译显示与指定的事象的类别对应的意义信息，因此能减轻利用者的认知负担。

[第4实施方式]

接下来说明第4实施方式。在第4实施方式中，将显示从终端装置100的摄像部130得到的实时取景图像中所含的意义信息当中与用标志指定的事象关联的意义信息的部分强调显示。另外，在第4实施方式中，显示被强调显示的意义信息的翻译结果。第4实施方式的构成要素的功能与第3实施方式同样。

图19是表示从在道路行驶的汽车拍摄招牌的实时取景图像360的一例的图。在实时取景图像360显示真实空间上的多个招牌362a～362h。应用执行部120B对招牌362a～362h的意义信息进行解析，根据解析结果来确定与意义信息的事象的类别对应的标志，控制触控面板140，将确定的标志重叠显示在实时取景图像360。

在图19的示例中，应用执行部120B控制触控面板140，使得在设于实时取景图像360的显示区域的左侧的标志显示区域364显示与招牌362a～362h的意义信息的事象的类别对应的标志。

在此设为由利用者轻击了与餐厅、汽车建立对应的标志。在该情况下，应用执行部120B强调显示包含与由利用者轻击的标志对应的意义信息的部分。在图19的示例中强调显示招牌362a以及362h的周围。

进而，应用执行部120B在与该标志对应的意义信息的语言和设定信息162的翻译语言不同的情况下，将包含该意义信息和翻译语言的翻译请求发送到服务器装置200，控制触控面板140，使得将从服务器装置200接收到的翻译结果366与翻译对象的意义信息建立对应地显示。

另外，在第4实施方式中，应用执行部120也可以在记载于招牌362的意义信息是餐厅等店铺、主题公园等设施的引导信息的情况下，解析引导信息内的文本，并根据名称、住址等设定目的地，从服务器装置200取得从当前位置到目的地的路径，触控面板140以使取得的路径信息显示在画面。进而，应用执行部120也可以将从服务器装置200得到的路径信息发送到搭载于利用者正乘坐汽车的导航装置，在导航装置进行路径引导。

如以上说明的那样，根据第4实施方式，通过将显示与利用者设定的事象的类别对应的意义信息的部分进行强调显示，能易于确实地掌握显示利用者希望知道的意义信息的位置，能减轻利用者的认知负担。另外，根据第4实施方式，通过显示与被强调显示的意义信息对应的翻译结果，利用者能容易地理解被强调显示的意义信息的内容。另外，上述的第1～第4实施方式可以与其他实施方式的一部分或全部组合。

[运用例]

接下来说明上述各实施方式的运用例。在此说明如下机制：服务提供商提供上述的信息提供系统的服务器装置200中的功能，该服务提供商从其他提供商、企业主等接受信息提供所带来的激励。

图20是表示运用信息提供系统的系统中的激励的流通的机制的一例的图。企业主402例如是经营餐厅等店铺或经营主题公园等设施的经营者。数据提供商404是生成服务提供商406所管理的详细信息DB241、地图信息242、翻译辞典243等数据、并将其提供给服务提供商406的数据提供者。

服务提供商406是对信息提供系统1～3中的服务器装置200进行管理的管理者。利用者408是信息提供系统1～3中的终端装置100的持有者，是信息提供系统1～3的利用者。

在图20的示例中，首先企业主402例如将与经营的店铺、设施周边的地图、销售的商品或服务相关的引导信息、商标/称号、店铺招牌图像等提供到数据提供商404。数据提供商404根据从企业主402提供的地图、引导信息来生成地图信息242、详细信息DB241。另外，数据提供商404与生成的详细信息DB241对应地进行翻译辞典243的生成、更新。另外，数据提供商404将生成的地图信息242、详细信息DB241以及翻译辞典243提供到服务提供商406。

服务提供商406针对利用者408的终端装置100的详细信息取得请求、翻译请求、路径搜索请求，提供由数据提供商404提供的详细信息DB241、基于翻译辞典243的翻译结果、基于地图信息242的路径结果等。另外，服务提供商406将利用者的服务利用实绩(历史记录信息)提供到数据提供商。

若利用者408基于从服务提供商406得到的信息利用了企业主402经营的店铺、设施，企业主402就将该利用结果提供给数据提供商404。

数据提供商404例如对向利用者408提供了信息提供服务的服务提供商406提供基于企业主402的营业额的奖励金等激励。

根据以上说明的运用例，服务器装置200的管理者即服务提供商406能得到与信息提供对应的利益。

以上使用实施方式说明了用于实施本发明的形态，但本发明并不受这样的实施方式的任何限定，能在不脱离本发明的要旨的范围内加进种种变形以及置换。

Claims (9)

1.一种信息提供系统，其特征在于，具备：

摄像部；

显示由所述摄像部摄像的图像的显示部；

解析由所述摄像部摄像的图像、确定所述图像中所含的意义信息所表示的事象的种类的确定部；

使与由所述确定部确定的事象的种类当中预先规定的事象的种类对应的图像显示在所述显示部的显示控制部。

2.根据权利要求1所述的信息提供系统，其特征在于，

所述信息提供系统还具备：接受利用者的输入操作的接受部，

所述显示控制部使与由所述确定部确定的事象的种类当中对所述接受部输入的事象的种类对应的图像显示在所述显示部。

3.根据权利要求1或2所述的信息提供系统，其特征在于，

与所述事象的种类对应的图像是不依赖于文本信息地表示所述事象的种类的图像。

4.根据权利要求1～3中任一项所述的信息提供系统，其特征在于，

所述显示控制部使与所述预先规定的事象的种类对应的图像和显示所述意义信息的位置建立对应地显示在所述显示部。

5.根据权利要求1～4中任一项所述的信息提供系统，其特征在于，

所述信息提供系统还具备：接受利用者的输入操作的接受部，

所述显示控制部按照对应于所述图像被所述显示部显示而对所述接受部进行的操作，来使所述显示部显示由所述确定部确定的事象的详细信息。

6.根据权利要求5所述的信息提供系统，其特征在于，

所述显示控制部将由所述确定部确定的事象的详细信息翻译成由利用者设定的语言，使翻译过的信息显示在所述显示部。

7.根据权利要求1～6中任一项所述的信息提供系统，其特征在于，

所述显示控制部使所述显示部强调显示所述图像中的与由利用者设定的事象的种类对应的部分。

8.一种信息提供方法，其特征在于，由计算机执行：

将由摄像部摄像的图像显示在显示部，

对由所述摄像部摄像的图像进行解析，确定所述图像中所含的意义信息所表示的事象的种类，

将与确定的所述事象的种类当中预先规定的事象的种类对应的图像显示在所述显示部。

9.一种程序，其特征在于，使计算机执行：

将由摄像部摄像的图像显示在显示部，

对由所述摄像部摄像的图像进行解析，确定所述图像中所含的意义信息所表示的事象的种类，

使与确定的所述事象的种类当中预先规定的事象的种类对应的图像显示在所述显示部。

Images