CN106446880B

CN106446880B - 信息提供系统

Info

Publication number: CN106446880B
Application number: CN201610608326.1A
Authority: CN
Inventors: 纪晓东; 杜冰
Original assignee: Kimoto Co Ltd
Current assignee: Kimoto Co Ltd
Priority date: 2015-07-30
Filing date: 2016-07-28
Publication date: 2021-07-27
Anticipated expiration: 2036-07-28
Also published as: CN106446880A; JP6628516B2; JP2017033129A

Abstract

本发明涉及信息提供系统，仅将获取到的AR内容合成在与AR内容对应的人物的名片的摄影图像上进行显示。从AR内容服务器(13)中获取并保存与由智能设备(3)拍摄印刷在名片上的二维码并进行解码而得到的字符串中包含的个人ID对应的图像的AR内容数据组。之后，通过OCR动作来识别拍摄到的名片的姓名，仅在识别出的姓名和获取到的AR内容数据组中登记的姓名一致的情况下，将获取到的AR内容数据组中包含的AR内容的图像合成显示在名片的摄影图像上。

Description

信息提供系统

技术领域

本发明涉及主要经由名片来提供信息的信息提供系统。

背景技术

作为经由名片来提供信息的技术，已知以下技术：通过将由名片来表示个人信息的登记用户的标识码作为QR码(注册商标)印刷在该名片上，从而领受了名片的人就能够使用终端装置来获取由名片来表示个人信息的人物的详细信息(例如，专利文献1)。

在此，在该技术中，终端装置具备：拍摄名片并对印刷在名片上的QR码进行解码的功能；和访问对各人的详细信息进行管理的管理服务器，获取针对解码后的标识码所表示的人物的详细信息并进行显示的功能。

此外，关于对将AR(Augmented Reality；增强现实)内容合成在拍摄了现实情景的图像上后得到的影像进行显示的AR显示，作为进行该AR显示的技术，已知以下技术：通过将用于获取AR内容的信息作为QR码印刷在卡片上，从而卡片的领受者就能够使用终端装置，对将AR内容合成在拍摄了卡片后得到的图像上的AR显示进行利用(例如，专利文献2)。

在此，在该技术中，终端装置具备：拍摄卡片并对印刷在卡片上的QR码进行解码的功能；以及访问将图像内容作为AR内容来蓄存的内容数据库，使用将QR码解码后得到的信息来获取图像内容，以相对于在卡片上印刷为标记的外框图形来确定的配置将获取的图像内容合成在拍摄卡片而得到的影像上，对合成后的影像进行显示的功能。

专利文献1：JP特开2011-86198号公报

专利文献2：JP特开2011-130386号公报

于是，通过如以上这样应用进行AR显示的技术，预先将用于获取AR内容的信息作为QR码印刷在名片上，从而使名片的领受者能够利用AR显示，其中，该AR显示对将AR内容合成在拍摄了名片的图像上而得到的影像进行显示，在这样的情况下，会产生下面的问题。

即，根据该技术，由于作为标记而印刷在名片上的外框图形对于各名片来说是共同的，所以在使用某名片的QR码的信息来获取AR内容后，若拍摄其他名片，则就会将获取到的AR内容合成显示在该其他名片的影像上。

并且，由此，作为AR内容，在使用由名片表示个人信息的人物的写真图像等按名片的每个人物而不同的AR内容的情况下，就会产生将他人的写真图像合成显示在名片上等将与名片不对应的AR内容合成显示在名片的影像上的问题。

因此，本发明的课题在于，进行将与名片的人物对应的AR内容合成在该名片的影像上并进行显示的AR显示，并且在该AR显示中，仅将AR内容合成显示在正确对应的人物的名片的影像。

发明内容

为了完成所述课题，本发明提供一种信息提供系统，该信息提供系统作为进行AR显示的信息提供系统，其中，该AR显示将与在印刷物中记载有信息的对象物对应的AR内容合成在拍摄该印刷物而得到的图像上并进行显示，该信息提供系统具有：终端装置；和AR内容服务器，其按每个对象物将与该对象物对应地设置的AR内容与表示该对象物的标识的字符串即标识字符串建立对应地存储。在此，所述终端装置具有：摄像机、AR内容获取单元和AR显示单元，所述AR内容获取单元从所述AR内容服务器中获取包含以下内容的信息作为AR内容信息：与在所述摄像机拍摄到的印刷物中记载有信息的对象物对应的AR内容、和与该AR内容建立了对应的标识字符串，所述AR显示单元从所述摄像机拍摄到的印刷物的图像中识别该印刷物中记载的标识字符串，在识别出的标识字符串与所述AR内容获取单元获取的AR内容信息中包含的标识字符串一致的情况下，将所述AR内容获取单元获取的AR内容信息中包含的AR内容合成在所述摄像机拍摄到的印刷物的图像上并进行显示。

为了完成所述课题，本发明提供一种信息提供系统，该信息提供系统作为进行AR显示的信息提供系统，其中，该AR显示将与在印刷物中记载有信息的对象物对应的AR内容合成在拍摄该印刷物而得到的图像上并进行显示，该信息提供系统具有：终端装置；和AR内容服务器，其按每个对象物将与该对象物对应地设置的AR内容与表示该对象物的标识的字符串即标识字符串建立对应地存储。在此，所述终端装置具有：摄像机、AR内容获取单元、AR显示单元和存储装置，所述AR内容获取单元从所述AR内容服务器中获取包含以下内容的信息作为AR内容信息，并蓄存在所述存储装置中：与在所述摄像机拍摄到的印刷物中记载有信息的对象物对应的AR内容、和与该AR内容建立了对应的标识字符串，所述AR显示单元从所述摄像机拍摄到的印刷物的图像中识别该印刷物中记载的标识字符串，在识别出的标识字符串与所述存储装置中存储的任意AR内容信息中包含的标识字符串一致的情况下，将包含与该识别出的标识字符串一致的标识字符串的AR内容信息中所包含的AR内容合成在所述摄像机拍摄的到印刷物的图像上进行显示。

在此，以上信息提供系统可以构成为，设所述印刷物印刷有将表示在该印刷物中记载有信息的对象物的标识码的字符串二维码化后得到的二维码，在所述AR内容获取单元中，对印刷在所述摄像机拍摄到的印刷物上的二维码进行解码，从所述AR内容服务器中获取包含以下内容的AR内容信息作为所述AR内容信息：与由解码后的字符串所表示的标识码表示的对象物对应的AR内容、和与该AR内容建立了对应的标识字符串。

此外，在以上信息提供系统中，可以是设所述印刷物为名片，设所述对象物为人物，设所述标识字符串是由该标识字符串来表示标识的人物的姓名。

此外，为了完成所述课题，本发明提供一种信息提供系统，该信息提供系统作为进行AR显示的信息提供系统，其中，该AR显示将与在印刷物中记载有信息的对象物对应的AR内容合成在拍摄该印刷物而得到的图像上并进行显示，该信息提供系统具有：终端装置；和AR内容服务器，其按每个对象物将与该对象物对应地设置的AR内容与该对象物的标识码建立对应地存储。在此，所述终端装置具有：摄像机、AR内容获取单元和AR显示单元，在所述印刷物上印刷将表示在该印刷物中记载有信息的对象物的标识码的字符串二维码化后得到的二维码，所述AR内容获取单元对印刷在所述摄像机拍摄到的印刷物上的二维码进行解码，从所述AR内容服务器中获取包含以下内容的信息作为AR内容信息：与解码后的字符串所表示的标识码建立对应地存储的AR内容、和与该AR内容建立了对应的标识码，所述AR显示单元从所述摄像机拍摄到的印刷物的图像中对印刷在该印刷物上的二维码进行解码，识别解码后的字符串所表示的标识码，在识别出的标识码与所述AR内容获取单元获取的AR内容信息中包含的标识码一致的情况下，将所述AR内容获取单元获取的AR内容信息中包含的AR内容合成在所述摄像机拍摄到的印刷物的图像上并进行显示。

此外，为了完成所述课题，本发明提供一种信息提供系统，该信息提供系统作为进行AR显示的信息提供系统，其中，该AR显示将与在印刷物中记载有信息的对象物对应的AR内容合成在拍摄该印刷物而得到的图像上并进行显示，该信息提供系统具有：终端装置；和AR内容服务器，其按每个对象物将与该对象物对应地设置的AR内容与该对象物的标识码建立对应地存储。在此，所述终端装置具有：摄像机、AR内容获取单元、AR显示单元和存储装置，在所述印刷物上印刷将表示在该印刷物中记载有信息的对象物的标识码的字符串二维码化后得到的二维码，所述AR内容获取单元对印刷在所述摄像机拍摄到的印刷物上的二维码进行解码，从所述AR内容服务器中获取包含以下内容的信息作为AR内容信息，并蓄存在所述存储装置中：与解码后的字符串所表示的标识码建立对应地存储的AR内容、和与该AR内容建立了对应的标识码，所述AR显示单元从所述摄像机拍摄到的印刷物的图像中对印刷在该印刷物上的二维码进行解码，识别解码后的字符串所表示的标识码，在识别出的标识码与所述存储装置中存储的任意AR内容信息中包含的标识码一致的情况下，将包含与该识别出的标识码一致的标识码的AR内容信息中所包含的AR内容合成在所述摄像机拍摄到的印刷物的图像上并进行显示。

在此，在这些信息提供系统中，可以是设所述印刷物为名片，设所述对象物为人物。

在此，在以上信息提供系统中，作为所述AR内容，能够使用静止图像或者动态图像的图像。

在以上这样的信息提供系统中，对拍摄到的印刷物的识别字符串/二维码所表示的对象物的标识码进行识别，仅在识别出的标识字符串/标识码和获取到的AR内容信息中包含的对象物的标识字符串/标识码一致的情况下，将获取到的AR内容信息中包含的AR内容的图像合成显示在印刷物的摄影图像上。

因此，根据本发明，能够仅将AR内容合成显示在正确对应的对象物的印刷物的摄影图像上。因此，在将所述对象物设为人物，将所述印刷物设为名片的情况下，能够仅将与在名片中记载有个人信息的人物对应的AR内容合成在正确对应的人物的名片的摄影图像上并进行显示。另外，在将印刷物设为名片的情况下，作为标识字符串，能够使用印刷在名片上的姓名。

发明效果

如以上这样，根据本发明，能够进行将与该名片的人物对应的AR内容合成在名片的影像上并进行显示的AR显示，并且在该AR显示中，能够仅将AR内容合成在正确对应的人物的名片的摄影图像上进行显示。

附图说明

图1是表示本发明的实施方式涉及的信息提供系统的构成的方框图。

图2是表示本发明的实施方式涉及的智能设备的构成的方框图。

图3是表示本发明的实施方式涉及的AR内容数据库和AR内容数据组的内容的图。

图4是表示本发明的实施方式涉及的名片的图。

图5是表示本发明的实施方式涉及的AR内容获取处理的流程图。

图6是表示本发明的实施方式涉及的AR显示处理的流程图。

图7是表示本发明的实施方式涉及的AR显示例的图。

图8是表示本发明的实施方式涉及的AR显示处理的其他例子的流程图。

图9是表示本发明的实施方式涉及的AR显示处理的其他例子的流程图。

具体实施方式

以下，说明本发明的实施方式。

图1示出本实施方式涉及的信息提供系统的构成。

如图所示，信息提供系统包含：AR服务系统1、APP下载服务系统2、智能设备3。

AR服务系统1和APP下载服务系统2与互联网等的WAN4连接，智能设备3经由移动通信网、无线LAN与WAN4连接并能够访问AR服

在此，智能设备3例如是智能手机、平板装置等。

此外，AR服务系统1具备：Web服务器11；蓄存了AR内容的AR内容数据库12；和响应于来自智能设备3的请求将AR内容数据库12中保存的AR内容转送至智能设备3的AR内容服务器13。

接下来，APP下载服务系统2具备：蓄存了智能设备用的各种应用的应用程序安装包的APP数据库21；和响应于来自智能设备3的请求将APP数据库21中保存的应用程序安装包传送至智能设备3的APP下载服务器22。另外，应用程序安装包是将由智能设备3执行的应用程序、该应用程序所使用的数据封装化后得到的。

在此，图2示出智能设备3的构成。

如图所示，智能设备3具备：操作部301；显示器302；具备麦克风、扬声器等的声音输入输出部303；经由无线通信与无线LAN连接的无线接口304；经由移动通信与移动通信网连接的移动通信装置305；存储装置306；摄像机307；其他周边设备308；智能设备3的操作系统309；和在操作系统309上运行的多个应用。

在此，智能设备3具备以下作为应用：提供使用了移动通信装置305、声音输入输出部303、操作部301的移动电话功能的应用即电话机311；用于进行Web页的阅览等应用即Web浏览器312；下载应用并安装到智能设备3的应用即APP下载器313；和进行AR显示的应用即AR客户端314等。

在此，AR客户端314的应用程序安装包被蓄存在APP下载服务系统2的APP数据库21中。并且，各智能设备3的AR客户端314是从APP下载服务系统2由APP下载器313下载并安装到智能设备3中的应用。

另外，智能设备3作为硬件，使用具备微处理器、存储器、其他周边装置的计算机而构成。此外，操作系统309、各应用通过微处理器执行规定的程序来实现。

接下来，图3a示出AR服务系统1的AR内容数据库12的内容。

如图3a1所示，在AR内容数据库12中，由个人管理数据库121和媒体数据库122构成。

并且，在个人管理数据库121中，保存按AR服务系统1中登记的用户即每个登记用户对应地设置的个人管理表，在媒体数据库122中，保存由AR服务系统1提供的图像、动态图像等图像的文件即媒体文件，作为AR内容。

接下来，如图3a2所示，在个人管理表中，保存对应的登记用户的标识符即个人ID、个人数据、名片数据、前侧内容文件指针、后侧内容文件指针等。

并且，在个人数据中，针对日语标记和英语标记的每一个，登记了对应的登记用户的姓氏、名字、公司、岗位、职务、住所、电话、电子邮件等的个人信息。

此外，在名片数据中，针对名片的正面和反面的每一个，登记了对应的登记用户的名片的版面设计的类型、印刷在对应的用户的名片上的二维码。在此，作为二维码，例如能够使用QR码(注册商标)。

并且，在前侧内容文件指针中，登记了表示在媒体数据库122中保存的、对应的登记用户的名片的正面的AR显示中使用(合成到正面的影像中)的静止图像、动态图像等图像的媒体文件的指针信息。在此，作为前侧内容文件指针所表示的媒体文件，例如，使用对应的登记用户的写真的图像文件等。

此外，在后侧内容文件指针中，登记了表示在媒体数据库122中保存的、对应的登记用户的名片的反面的AR显示中使用(合成到正面的影像中)的静止图像、动态图像等图像的媒体文件的指针信息。在此，作为后侧内容文件指针所表示的媒体文件，例如，使用对应的登记用户的公司的PR用的动态图像的动态图像文件等。

接下来，图4示出登记用户的名片的例子。

图4a表示名片的正面，图4b表示名片的反面。

在此，这样的AR服务系统1的各登记用户的名片按照AR服务系统1中登记的、该登记用户的个人管理表中登记的版面设计类型，对该登记用户的个人管理表中登记的个人数据的各项目进行版面设计而得到。另外，AR服务系统1的各登记用户的名片可以按照AR服务系统1中登记的该登记用户的个人管理表中登记的版面设计类型和个人数据来印刷，并分发给各登记用户。

在图示的例子中，名片的正面为日语标记的名片，名片的反面为英语标记的名片。此外，在名片的正面印刷了二维码即二维码401。

在此，如图4c所示，印刷在名片上的二维码401包含：表示名片是信息提供系统的登记用户的名片且是与AR服务系统1对应的名片的字符串(card_ARservice)；和表示名片的登记用户的个人ID(541ahdi744)的字符串(pid＝541ahdi744)。

以下，说明在智能设备3中使用AR客户端314进行登记用户的名片的AR显示的动作。

在该情况下，领受了AR服务系统1的登记用户的名片的智能设备3的用户即领受用户首先起动AR客户端314，由摄像机307对印刷在名片上的二维码进行拍摄。

另一方面，被起动的AR客户端314执行图5所示的AR内容获取处理。

如图所示，AR客户端314在AR内容获取处理中，开始以下处理：获取摄像机307的摄影图像并显示在显示器302上(步骤502)。并且，之后，反复进行对由摄像机307拍摄到的图像中的二维码进行识别(步骤504)的动作，直到识别成功为止(步骤506)。

并且，若二维码的识别成功，则对二维码所表示的字符串进行解码，提取解码后的字符串中的个人ID(步骤508)。在此，在步骤508中，判定将二维码解码后得到的字符串是否包含表示上述名片是与AR服务系统1对应的名片的字符串(cardARservice)，在包含的情况下，从将二维码解码后得到的字符串中包含的表示个人ID的字符串(pid＝541ahdi744)中识别并提取个人ID(541ahdi744)，并且设为个人ID提取成功。另一方面，在将二维码解码后得到的字符串不包含表示上述名片是与AR服务系统1对应的名片的字符串(card_ARservice)的情况下，由于该二维码不是印刷在信息提供系统的登记用户的名片上的二维码，所以设为个人ID提取失败。

并且，在个人ID的提取失败了的情况下(步骤510)，返回到从步骤504开始的处理。

另一方面，在个人ID的提取成功了的情况下(步骤510)，AR客户端314将提取到的个人ID的AR内容的转送请求发送给AR服务系统1的AR内容服务器13(步骤512)。

另一方面，接受到AR内容的转送请求的AR内容服务器13从个人管理数据库121中读出登记有被请求了AR内容的个人ID的个人管理表，从媒体数据库122中读出所读出的个人管理表的前侧内容文件指针所表示的媒体文件来作为前侧内容文件，并且从媒体数据库122中渎出所读出的个人管理表的后侧内容文件指针所表示的媒体文件来作为后侧内容文件。此外，作成包含所读出的个人管理表的个人ID和个人数据在内的个人管理数据。

并且，如图3b所示，作成包含所作成的个人管理数据、前侧内容文件、后侧内容文件在内的AR内容数据组，并发送给AR客户端314。

于是，AR客户端314若从AR内容服务器13接收到AR内容数据组(步骤514)，则将接收到的AR内容数据组保存在存储装置306中(步骤516)。

并且，起动AR显示处理(步骤518)，结束AR内容获取处理。

以上，说明了AR客户端314进行的AR内容获取处理。

接下来，说明在这样的AR内容获取处理的步骤518中起动的AR显示处理。

AR显示处理是AR客户端314所进行的处理，如图6所示，在AR显示处理中，AR客户端314首先开始以下处理：获取摄像机307的摄影图像并显示在显示器302中(步骤602)。并且，之后，进行对由摄像机307拍摄到的图像中的字符串进行识别的OCR(optical characterrecognition)动作(步骤604)，直到从用户指示了AR显示的结束(步骤606)，或者基于OCR动作的字符串的识别成功(步骤608)为止。

并且，若从用户指示了AR显示结束(步骤606)，则结束AR显示处理。

另一方面，若字符串的识别成功(步骤608)，则进行以下处理。

即，在与所保存的AR内容数据组中的个人管理数据的正面的姓名一致的字符串包含在所识别出的字符串中的情况下(步骤610)，将识别出与正面的姓名一致的字符串的图像图案用作标记，从该图像图案的大小、朝向和位置，来推算摄影图像中的名片的图像部分，按照使相对于推算出的名片的图像的相对位置、相对朝向、相对大小成为预先确定的相对位置、相对朝向、相对大小的方式，调整前侧内容文件的图像的大小、朝向、配置位置，将该图像合成显示在名片的图像上(步骤612)。

并且，返回到从步骤604开始的处理。

在此，在步骤612中，例如，在图7al这样将拍摄到的名片的正面的摄影图像701显示于显示器302的状态下，若从摄像机307的摄影图像中，与正面的姓名一致的字符串的识别成功，则如图7a2所示，根据识别出与正面的姓名一致的字符串的图像图案70的大小、朝向和位置，在所显示的名片的正面的图像701上，使前侧内容文件的图像702以与名片的朝向一致的朝向且以不从名片的图像突出的大小显示在与图像702中的二维码重合的位置处，这样来进行合成显示。另外，更具体来说，例如，摄影图像中的名片的图像部分701的上下左右方向被求取为与识别出字符的图像图案70的字符的上下左右对应的方向，摄影图像中的名片的图像部分的大小从识别出姓名的字符的图像图案70中的、与1个字符或者多个字符对应的部分的大小根据名片尺寸与姓名在名片的印刷尺寸之间的关系来求取，摄影图像中的名片的图像部分的位置从识别出姓名的最初的字符的图像图案70的位置根据名片上的姓名的版面设计来求取。

另一方面，在与所保存的AR内容数据组中的个人管理数据的反面的姓名一致的字符串包含在所识别出的字符串中的情况下(步骤614)，将识别出与反面的姓名一致的字符串的图像图案用作标记，从该图像图案的大小、朝向和位置，推算摄影图像中的名片的图像部分，按照使相对于所推算出的名片的图像的相对位置、相对朝向、相对大小成为预先确定的相对位置、相对朝向、相对大小的方式，调整后侧内容文件的图像的大小、朝向、配置位置，将该图像合成显示在名片的图像上(步骤616)。

然后，返回到从步骤604开始的处理。

在此，在步骤616中，例如，在图7b1这样将拍摄到的名片的反面的摄影图像711显示于显示器302的状态下，若从摄像机307的摄影图像中，与反面的姓名一致的字符串的识别成功，则如图7b2所示，根据识别出与反面的姓名一致的字符串的图像图案70的大小、朝向和位置，按照以下方式将后侧内容文件的图像712合成显示在所显示的名片的反面的图像711上：使该图像712以与摄影图像中的名片的朝向一致的朝向且将摄影图像中的名片反面占满地进行显示。

此外，在与所保存的AR内容数据组中的个人管理数据的正面的姓名一致的字符串、与个人管理数据的反面的姓名一致的字符串够没有包含在所识别出的字符串中的情况下(步骤614)，在该时间点，在正在进行以上这样的合成显示的情况下，将合成显示取消，在仅使摄像机307的摄影图像被显示的基础上(步骤618)，返回到从步骤604开始的处理。

于是，在以上这样的AR显示处理的动作中，在步骤606中没有检测到字符串的识别成功的情况下，即，在识别发生了失败的情况下，在该时间点，在正在进行以上这样的合成显示的情况下，将合成显示取消，仅显示摄像机307的摄影图像(步骤620)。

以上，说明了AR客户端314进行的AR显示处理。

以上，说明了本发明的实施方式。

如以上，在本实施方式中，通过OCR动作来识别拍摄到的名片的姓名，仅在所识别出的姓名和获取到的AR内容数据组中登记的姓名一致的情况下，将获取到的AR内容数据组的AR内容(前侧内容文件、后侧内容文件)的图像合成显示在名片的摄影图像上。

因此，根据本实施方式，能够仅将AR内容合成显示在正确对应的人物的名片的摄影图像上。

但是，以上的实施方式也可以取代图6所示的AR显示处理，而进行图8所示的AR显示处理。

如图所示，在图8所示的AR显示处理中，AR客户端314开始以下处理：获取摄像机307的摄影图像并显示于显示器302(步骤802)。并且，之后，进行对由摄像机307拍摄到的图像中的二维码进行识别的动作(步骤804)，直到从用户指示了AR显示的结束(步骤806)，或二维码的识别成功(步骤808)为止。

并且，若从用户指示了AR显示结束(步骤806)，则结束AR显示处理。

另一方面，若二维码的识别成功(步骤808)，则进行以下的处理。

即，在从将识别出的二维码解码后得到的字符串中识别的个人ID与所保存的AR内容数据组中的个人管理数据的个人ID一致的情况下(步骤810)，将摄影图像中的二维码用作标记，从该二维码的大小、朝向和位置，来推算摄影图像中的名片的图像部分，按照使相对于推算出的名片的图像的相对位置、相对朝向、相对大小成为预先确定的相对位置、相对朝向、相对大小的方式，调整前侧内容文件的图像的大小、朝向、配置位置，将该图像合成显示在名片的图像上(步骤812)。其中，在步骤810中，在将识别出的二维码解码后得到的字符串中不包含表示名片是与AR服务系统1对应的名片的字符串(card_ARservice)的情况下，设个人ID的识别失败。

并且，返回到从步骤804开始的处理。

另一方面，在从将识别出的二维码解码后得到的字符串中识别的个人ID与所保存的AR内容数据组中的个人管理数据的个人ID不一致的情况下、个人ID的识别失败了的情况下(步骤814)，在该时间点，在正在进行以上这样的合成显示的情况下，将合成显示取消，在仅使摄像机307的摄影图像被显示的基础上(步骤814)，返回到从步骤804开始的处理。

另外，在以上这样的AR显示处理的动作中，也在步骤806中没有检测到二维码的识别的情况下，在该时间点，在正在进行以上这样的合成显示的情况下，将合成显示取消，仅显示摄像机307的摄影图像(步骤814)。

根据这样的AR显示处理，识别印刷在拍摄到的名片上的二维码，并获取与二维码表示的个人ID对应的AR内容数据组，并且之后仅在拍摄到的名片上的二维码与获取到的AR内容数据组中登记的个人ID一致的情况下，将获取到的AR内容数据组的AR内容(前侧内容文件、后侧内容文件)的图像合成显示在名片的摄影图像上。

因此，通过图8所示的AR显示处理，也能够仅将AR内容合成显示在正确对应的人物的名片的摄影图像上。

另外，在图8所示的AR显示处理中，虽然仅针对印刷有名片的二维码的正面进行了将前侧内容文件的图像合成显示在名片的摄影图像上的AR显示，但是这也可以还针对名片的反面，通过与图6所示的AR显示处理同样的处理，进行将后侧内容文件的图像合成显示在名片的摄影图像上的AR显示。

在此，以上的实施方式也可以是，在各时间点，AR客户端314将通过上述AR内容获取处理获取到的AR内容数据组蓄存在存储装置306中，并且按照用户的AR显示开始指示操作而随时执行AR显示处理，在这样构成AR客户端314的基础上，作为AR显示处理而进行图9所示的AR显示处理。

如图所示，在图9所示的AR显示处理中，AR客户端314开始以下处理：获取摄像机307的摄影图像并显示于显示器302(步骤902)。并且，之后，进行对由摄像机307拍摄到的图像中的字符串进行识别的OCR(optical character recognition)动作(步骤904)，直到从用户指示了AR显示的结束(步骤906)，或者字符串的识别成功(步骤908)为止。

并且，若从用户指示了AR显示结束(步骤906)，则结束AR显示处理。

另一方面，若字符串的识别成功(步骤908)，则进行以下的处理。

即，在与存储装置306中蓄存的、任意AR内容数据组中的个人管理数据的正面的姓名一致的字符串包含在所识别出的字符串中的情况下(步骤910)，将识别出与正面的姓名一致的字符串的图像图案用作标记，按照相对于名片的图像的相对位置、相对朝向、相对大小成为预先确定的相对位置、相对朝向、相对大小的方式，调整包含登记有与识别出的字符串中的字符串一致的正面的姓名的管理数据的AR内容数据组中的前侧内容文件的图像的大小、朝向、配置位置，将该图像合成显示在名片的图像上(步骤912)。

然后，返回到从步骤904开始的处理。

另一方面，在与存储装置306中蓄存的、任意AR内容数据组中的个人管理数据的反面的姓名一致的字符串包含在所识别出的字符串中的情况下(步骤914)，将识别出与反面的姓名一致的字符串的图像图案用作标记，按照相对于名片的图像的相对位置、相对朝向、相对大小成为预先确定的相对位置、相对朝向、相对大小的方式，调整包含登记有与识别出的字符串中的字符串一致的反面的姓名的管理数据的AR内容数据组中的后侧内容文件的图像的大小、朝向、配置位置，将该图像合成显示在名片的图像上(步骤916)。

此外，在与存储装置306中蓄存的、任意AR内容数据组中的个人管理数据的正面的姓名一致的字符串、与存储装置306中蓄存的、任意AR内容数据组中的个人管理数据的反面的姓名一致的字符串都不包含在所识别出的字符串中的情况下(步骤914)，在该时间点，在正在进行以上这样的合成显示的情况下，将合成显示取消，在仅显示摄像机307的摄影图像的基础上(步骤918)，返回到从步骤904开始的处理。

于是，在以上这样的AR显示处理的动作中，在步骤908中没有检测到字符串的识别成功的情况下，即，在识别发生了失败的情况下，在该时间点，在正在进行以上这样的合成显示的情况下，将合成显示取消，仅显示摄像机307的摄影图像(步骤920)。

通过这样，若拍摄了名片，则蓄存的AR内容数据组当中、与拍摄到的名片的登记用户对应的AR内容数据组的AR内容(前侧内容文件、后侧内容文件)的图像就被合成显示在该名片的摄影图像上，所以领受用户仅拍摄登记用户的名片，就能够随时利用该名片的AR显示。

另外，AR客户端314也可以如下进行处理，即，取代图9所示的AR显示处理，将图8所示的AR显示处理的步骤810、812置换成以下处理：调查存储装置306中蓄存的、任意AR内容数据组中的个人ID是否由将识别出的二维码解码后得到的字符串来表示，在不是这样表示的情况下前进到步骤814，在是这样表示的情况下，调整包含登记有由识别出的字符串示出的个人ID的管理数据的AR内容数据组中的前侧内容文件的图像的大小、朝向、配置位置，将该图像合成显示在名片的图像上。

即使这样，领受用户仅拍摄登记用户的名片，就能够随时利用该名片的AR显示。

此外，在以上的实施方式中，AR内容可以是声音或者是将声音和图像组合而成。在该情况下，在AR显示处理中，进行以下处理：针对与拍摄到的名片的登记用户对应的AR内容数据组中包含的声音，将其再生输出。

此外，以上的实施方式对于目录、小册子、公司指南、海报、杂志、书籍、电车的悬吊广告、广告牌、有印刷的汽车、飞机的车体、机体等名片以外的印刷物也同样能够应用。

即，在该情况下，将用户置换成由印刷物表示了信息的对象物，将姓名置换成表示对象物的标识的字符串，设二维码表示对象物的标识，应用以上实施方式即可。另外，作为表示对象物的标识的字符串，例如，如果印刷物是产品的目录、小册子，则使用产品的产品名称、型号的字符串，如果印刷物是公司指南，则使用公司名称的字符串。

符号说明：

1…AR服务系统，2…APP下载服务系统，3…智能设备，4…WAN，11…Web服务器，12…AR内容数据库，13…AR内容服务器，21…APP数据库，22…APP下载服务器，70…图像图案，121…个人管理数据库，122…媒体数据库，301…操作部，302…显示器，303…声音输入输出部，304…无线接口，305…移动通信装置，306…存储装置，307…摄像机，308…周边设备，309…操作系统，311…电话机，312…Web浏览器，313…APP下载器，314…AR客户端。

Claims

1.一种信息提供系统，其进行增强现实显示，该增强现实显示将与在印刷物中记载有信息的对象物对应的增强现实内容合成在拍摄该印刷物而得到的图像上并进行显示，该信息提供系统的特征在于，具有：

终端装置；和

增强现实内容服务器，其按每个对象物将与该对象物对应地设置的增强现实内容与表示该对象物的标识的字符串即标识字符串建立对应地存储，

所述终端装置具有：摄像机、增强现实内容获取单元和增强现实显示单元，

所述增强现实内容获取单元从所述增强现实内容服务器中获取包含以下内容的信息作为增强现实内容信息：与在所述摄像机拍摄到的印刷物中记载有信息的对象物对应的增强现实内容、和与该增强现实内容建立了对应的标识字符串，

所述增强现实显示单元从所述摄像机拍摄到的印刷物的图像中识别该印刷物中记载的标识字符串，在识别出的标识字符串与所述增强现实内容获取单元获取的增强现实内容信息中包含的标识字符串一致的情况下，将所述增强现实内容获取单元获取的增强现实内容信息中包含的增强现实内容合成在所述摄像机拍摄到的印刷物的图像上并进行显示。

2.一种信息提供系统，其进行增强现实显示，该增强现实显示将与在印刷物中记载有信息的对象物对应的增强现实内容合成在拍摄该印刷物而得到的图像上并进行显示，该信息提供系统的特征在于，具有：

终端装置；和

所述终端装置具有：摄像机、增强现实内容获取单元、增强现实显示单元和存储装置，

所述增强现实内容获取单元从所述增强现实内容服务器中获取包含以下内容的信息作为增强现实内容信息，并蓄存在所述存储装置中：与在所述摄像机拍摄到的印刷物中记载有信息的对象物对应的增强现实内容、和与该增强现实内容建立了对应的标识字符串，

所述增强现实显示单元从所述摄像机拍摄到的印刷物的图像中识别该印刷物中记载的标识字符串，在识别出的标识字符串与所述存储装置中存储的任意增强现实内容信息中包含的标识字符串一致的情况下，将包含与该识别出的标识字符串一致的标识字符串的增强现实内容信息中所包含的增强现实内容合成在所述摄像机拍摄到的印刷物的图像上进行显示。

3.根据权利要求1或2所述的信息提供系统，其特征在于，

在所述印刷物上印刷将表示在该印刷物中记载有信息的对象物的标识码的字符串二维码化后得到的二维码，

所述增强现实内容获取单元对印刷在所述摄像机拍摄到的印刷物上的二维码进行解码，从所述增强现实内容服务器中获取包含以下内容的增强现实内容信息作为所述增强现实内容信息：与由解码后的字符串所表示的标识码表示的对象物对应的增强现实内容、和与该增强现实内容建立了对应的标识字符串。

4.根据权利要求1或2所述的信息提供系统，其特征在于，

所述印刷物是名片，所述对象物是人物，所述标识字符串是由该标识字符串来表示标识的人物的姓名。

5.根据权利要求1或2所述的信息提供系统，其特征在于，

所述增强现实内容是作为静止图像或者动态图像的图像。

6.一种信息提供系统，其进行增强现实显示，该增强现实显示将与在印刷物中记载有信息的对象物对应的增强现实内容合成在拍摄该印刷物而得到的图像上并进行显示，该信息提供系统的特征在于，具有：

终端装置；和

增强现实内容服务器，其按每个对象物将与该对象物对应地设置的增强现实内容与该对象物的标识码建立对应地存储，

所述增强现实内容获取单元对印刷在所述摄像机拍摄到的印刷物上的二维码进行解码，从所述增强现实内容服务器中获取包含以下内容的信息作为增强现实内容信息：与解码后的字符串所表示的标识码建立对应地存储的增强现实内容、和与该增强现实内容建立了对应的标识码，

所述增强现实显示单元从所述摄像机拍摄到的印刷物的图像中对印刷在该印刷物上的二维码进行解码，识别解码后的字符串所表示的标识码，在识别出的标识码与所述增强现实内容获取单元获取的增强现实内容信息中包含的标识码一致的情况下，将所述增强现实内容获取单元获取的增强现实内容信息中包含的增强现实内容合成在所述摄像机拍摄到的印刷物的图像上并进行显示。

7.一种信息提供系统，其进行增强现实显示，该增强现实显示将与在印刷物中记载有信息的对象物对应的增强现实内容合成在拍摄该印刷物而得到的图像上并进行显示，该信息提供系统的特征在于，具有：

终端装置；和

所述增强现实内容获取单元对印刷在所述摄像机拍摄到的印刷物上的二维码进行解码，从所述增强现实内容服务器中获取包含以下内容的信息作为增强现实内容信息，并蓄存在所述存储装置中：与解码后的字符串所表示的标识码建立对应地存储的增强现实内容、和与该增强现实内容建立了对应的标识码，

所述增强现实显示单元从所述摄像机拍摄到的印刷物的图像中对印刷在该印刷物上的二维码进行解码，识别解码后的字符串所表示的标识码，在识别出的标识码与所述存储装置中存储的任意增强现实内容信息中包含的标识码一致的情况下，将包含与该识别出的标识码一致的标识码的增强现实内容信息中所包含的增强现实内容合成在所述摄像机拍摄到的印刷物的图像上并进行显示。

8.根据权利要求6或7所述的信息提供系统，其特征在于，

所述印刷物是名片，所述对象物是人物。

9.根据权利要求6或7所述的信息提供系统，其特征在于，

所述增强现实内容是作为静止图像或者动态图像的图像。