CN109661686B - 对象显示系统、用户终端装置、对象显示方法及程序 - Google Patents

对象显示系统、用户终端装置、对象显示方法及程序 Download PDF

Info

Publication number
CN109661686B
CN109661686B CN201780053264.5A CN201780053264A CN109661686B CN 109661686 B CN109661686 B CN 109661686B CN 201780053264 A CN201780053264 A CN 201780053264A CN 109661686 B CN109661686 B CN 109661686B
Authority
CN
China
Prior art keywords
terminal device
beacon
user terminal
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780053264.5A
Other languages
English (en)
Other versions
CN109661686A (zh
Inventor
末木司
山本幸司
铃木庄作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN109661686A publication Critical patent/CN109661686A/zh
Application granted granted Critical
Publication of CN109661686B publication Critical patent/CN109661686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/58—Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A63F2300/1031—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24—Generation of individual character patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的目的在于能够在与用户的喜好或方便状况相符的状态下显示对象。信标终端装置(2)是在该装置的表面上标识出了表示在现实空间内自终端装置的存在位置的AR标记的移动体，发射包含信标ID的信标信号。用户终端装置(1)是具备拍摄功能的移动体，进行如下控制：识别基于通过摄像功能拍摄到的结果的实时取景图像内的AR标记来确定信标终端装置(2)的位置，接收从信标终端装置(2)发射的信标ID并将该信标ID发送给服务器装置(3)，将从服务器装置(3)发送来的该信标ID对应的对象，与所确定的信标终端装置(2)的位置相应地在实时取景图像内进行显示。服务器装置(3)从角色数据文件群读出与从用户终端装置(1)发送来的信标ID对应的对象并发送给该用户终端装置(1)。

Description

对象显示系统、用户终端装置、对象显示方法及程序
技术领域
本发明涉及在用户终端装置上显示对象的对象显示系统、用户终端装置、对象显示方法及程序。
背景技术
一般来讲，智能手机等用户终端装置呈现多功能化，除了照相机功能(摄像功能)外，还搭载有AR(Augmented Reality：增强现实)这样的图像处理功能(AR显示功能)，在所拍摄的实时取景图像内的规定的位置处合成对象图像并进行显示。即，在期望的被摄体的位置或其附近配置有作为印刷物的增强现实标记(AR标记：在黑框内描绘了白图案的标记)的状态下，当通过摄像功能对该被摄体进行了拍摄时，用户终端装置通过对该拍摄图像进行解析而识别其中所包含的AR标记，通过在该AR标记的位置处合成对象图像并进行AR显示，从而在用户终端画面上得到就好像在现实空间上存在该对象那样的现实感。
以往，作为具备上述的图像处理功能(AR显示功能)的用户终端装置有如下的技术：在从服务器装置下载了与游戏相关的应用软件或各种数据的状态下，当通过该拍摄功能对记录有AR标记的卡片被配置的区域进行拍摄时，识别该拍摄图像内的AR标记，将该卡片的对象(角色)重叠显示在拍摄图像内(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2014-71838号公报
发明内容
发明所要解决的课题
在上述的专利文献的技术中，只要改变从服务器装置下载的对象(角色)之中记录有AR标记的卡片的种类就能够选择所希望的角色，但如果是记录有相同AR标记的卡片，即使是不同的卡片，所显示的角色也相同。
但是，一般来讲，用户随着例如人物角色或动物角色的使用，兴趣或喜爱逐渐增加，可期待放松效果，或者通过使用对代理(agent)或助理(assistant)进行模拟的角色，还可期待调查或存储用户所希望的信息的信息操作变得容易这样的效果，因此存在想要按照与自己的喜好或方便状况相符的状态(例如，姿容、动作、场所、时间等)来显示角色的期望。
本发明的课题在于使得能够按照与用户的喜好或方便状况相符的状态来显示对象。
用于解决课题的手段
本发明的一个方式为一种对象显示系统，具备用户终端装置、信标终端装置及服务器装置，通过所述用户终端装置、所述信标终端装置、所述服务器装置之间的通信，从而在所述用户终端装置中显示对象，
所述信标终端装置将图像信息标识在该信标终端装置的表面上，并具备发射包含规定的识别信息的信标信号的发射单元，
所述用户终端装置具备：
摄像单元；
显示单元，显示基于该摄像单元的摄像结果的实时取景图像；
确定单元，识别由该摄像单元摄像到的所述图像信息，确定所述实时取景图像内的所述信标终端装置的位置；
识别信息发送单元，接收从所述信标终端装置发射的信标信号，将该信标信号中包含的所述规定的识别信息发送给所述服务器装置；
管理信息接收单元，响应于由所述识别信息发送单元发送的所述规定的识别信息的发送，接收从所述服务器装置发送来的与该识别信息对应的对象的管理信息；以及
显示控制单元，控制所述显示单元，使得将基于由所述管理信息接收单元接收到的对象的管理信息的对象，显示在所述实时取景图像内的由所述确定单元确定的位置处；
所述服务器装置具备：
对象存储单元，将各种对象的管理信息与所述规定的识别信息建立对应地进行存储；
识别信息接收单元，接收由所述识别信息发送单元从用户终端装置发送来的所述规定的识别信息；以及
管理信息发送单元，从所述对象存储单元取得与由该识别信息接收单元接收到的规定的识别信息对应的对象的管理信息并发送给所述用户终端装置。
发明效果
根据本发明，能够在与用户的喜好或方便状况相符的状态下显示对象。
附图说明
图1是表示对象显示系统的概要的框结构图，对象显示系统具备多个用户终端装置1、多个信标终端装置2、服务器装置3，通过用户终端装置1、信标终端装置2和服务器装置3的通信而在用户终端装置1上显示对象(角色)。
图2是表示能够给用户带来就好像在现实空间上存在对象(角色)那样的现实感的用户终端装置1侧的显示例的图。
图3是表示用户终端装置1的基本构成要素的框图。
图4是表示信标终端装置2的基本构成要素的框图。
图5是表示服务器装置3的基本构成要素的框图。
图6的(1)是用于说明用户表TB1的图，图6的(2)是用于说明按信标区分的角色表TB2的图。
图7是用于说明角色动作控制表TB3的图。
图8的(1)是用于说明按用户区分的角色使用状况表TB4的图，图8的(2)是用于说明角色数据文件群CF的图。
图9是表示信标终端装置2的整体动作的概要的流程图。
图10是表示用户终端装置1的动作(本实施方式的特征性动作)的流程图。
图11是继图10的动作之后的流程图。
图12是表示服务器装置3的整体动作的概要的流程图。
图13是详述在用户终端装置1、信标终端装置2之间进行的配对处理(图9的步骤A3、图10的步骤B3)的流程图。
图14的(1)、(2)、(3)是用于说明实施方式的变形例的图，是例示了作为配对对方而建立了对应的用户终端装置1与信标终端装置2的关系的图。
具体实施方式
以下，参照图1～图13说明本发明的实施方式。
图1是表示对象显示系统的概要结构的框结构图，对象显示系统具备多个用户终端装置1、多个信标终端装置2、服务器装置3，通过用户终端装置1、信标终端装置2和服务器装置3的通信而在用户终端装置1上显示规定的对象。
用户终端装置1是能够作为具备拍摄功能及增强现实(AR)显示功能的移动体而携带的用户侧的通信装置，在本实施方式中，示出了应用于作为多功能型移动电话的智能手机的情况。
信标终端装置2是可作为移动体而携带的薄型圆形的纽扣型通信装置，是作为用户终端装置1的附属品销售、或与用户终端装置1独立地作为单独品销售的装置，用户从较多种类的信标终端装置2中购入而拥有所希望的信标终端装置2。在此，所谓信标终端装置的种类，是指在其表面印刷的图案(图样)不同的信标终端装置，如后所述，该图案(图样)对应于对象(角色)的种类。用户能够查看该图案(图样)来购买与自己喜欢的种类的对象(角色)对应的信标终端装置2。该信标终端装置2构成为，通过发射作为规定的识别信息而包含识别自己的信标终端的信标ID的信标信号，向用户终端装置1提供该识别信息(信标ID)。
即，信标终端装置2构成为能够在最大半径几十米左右的范围(可通信区域)内、几秒钟发射一次如Bluetooth(注册商标)这样的通信标准下的无线信号。在该情况下，若是Bluetooth(注册商标)的通信标准则电力很快会被用尽，因此，使用如Bluetooth(注册商标)Low Energy(BLE)这样的尽量不使用电力的通信标准，在小面积的可通信区域(例如半径5米)内与用户终端装置1之间进行双向通信。另外，信标终端装置2根据可通信区域而以规定的发射强度(输出强度)发射信标信号，但也可以通过用户操作任意地调整其输出强度(可通信区域)。例如，也可以将预先设定的可通信区域(半径5米)变更为半径2米。在此，信标信号是指为了向其他装置通知在规定的距离范围内存在自终端装置而发出的无线信号。另外，所谓信标终端装置，是指能够进行用于向其他装置通知在规定的距离范围内存在自终端装置的无线通信的装置。
另外，在用户终端装置1与信标终端装置2的初次连接时(例如，新导入信标终端装置2时：在刚刚新购买之后)，通过相互通信而进行配对处理(配对初始设定处理)，使用户终端装置1与信标终端装置2建立对应。另外，图示的例子示出了将用户A所携带的用户终端装置1与信标终端装置2一对一地建立对应的情况，同样地示出了将用户B所携带的用户终端装置1与信标终端装置2一对一地建立对应的情况。这样，在本实施方式中，示出了按每个用户将用户终端装置1与信标终端装置2一对一地建立对应的情况。
服务器装置3是将各种对象(例如，50种对象)的基本信息(规定按每个用户特殊化前的基本姿容或动作的信息)作为数据库进行存储管理、或对各个对象的个别信息(个别信息是按每个用户而个性化了基本信息所示的基本姿容或动作的信息，是包含给基本姿容或动作带来影响的状态信息等的信息)进行存储管理(即使是相同种类的对象，各个对象也可能具有不同的姿容或动作)。
而且，该服务器装置3是在全国范围内展开将该各种对象的基本信息或个别信息、即对象的管理信息向各用户终端装置1进行分发的服务(对象分发服务)的运营商侧的管理装置，经由由省略图示的因特网、移动通信网(无线通信网络)构成的宽带通信网4而与各用户终端装置1连接。与该各种对象(基本信息不同的多个对象)1对1对应地印刷有不同的图案(图样)的各种信标终端装置2被销售。并且，在本实施方式中，作为对象的管理信息，存储有表示与对象的基本姿势(基本骨架)对应的3D建模数据(三维坐标数据)、与多个对象动作建立了对应的对象的姿势(或姿势的连续变化)的数据、以及与多个服装的种类建立了对应的衣服的颜色或形状的数据，读出与当时的对象动作或服装对应的数据，基于成为基本的3D建模数据，生成二维的图像数据，使该生成的图像数据进行AR显示。
并且，服务器装置3将针对用户所拥有的信标终端装置2的种类(对象的种类)的基本信息及与信标终端装置2的信标ID(各个对象)对应的个别信息向该用户终端装置1分发。在此，在本实施方式中，信标ID是指除了识别自己(信标终端装置2)的信息外还包含表示信标终端装置2的种类(对象的种类)的信息。例如，信标ID的高位为表示信标终端装置2的种类(对象的种类)的信息，低位为终端识别信息(个体信息)。
在本实施方式中，各种对象例如表示由与人、动物、角色等相似地制作出的作为观赏用造形物的三维计算机图形(3DCG)生成的模型图像中的、出现在小说、漫画、电影、计算机游戏等的虚构中的人物或动物的造形物(3DCG的角色)。其中，对象(object)、模型(figure)、角色(character)按照上位概念的顺序而存在“对象>模型>角色”的关系，但在本实施方式中，示出了作为对象例示了作为人物或动物而有人气(受欢迎)的角色的情况。
该人气角色(3DCG的角色)被作为通过组合预先决定的各种基本运动及其变形动作而进行一系列动作的图像数据进行表现，例如为：日常生活度日的人物角色、即根据如进餐、睡觉、去学校等这样当前的场所或时间等不同而动作依次变化的人物角色；或者表演舞蹈的人物角色；或者狗、猫等宠物角色等。该3DCG角色的每个除了与角色的种类对应的基本的性质以外，通过用户与角色的交互(打交道、交流)，其个性还会逐渐变化。由此，用户通过与角色的每日交互，能够使角色成长成按每个用户具有不同个性的角色。
图2是表示能够给用户带来就好像在现实空间上存在角色那样的现实感的用户终端装置1侧的显示例的图。
图示的例子表示在自家的桌子上与铅笔一起载置了信标终端装置2的状态。在该信标终端装置2的表面(上表面)印刷形成有增强现实(AR)标记2a、即表示在现实空间内自己的存在位置的图像信息(AR标记)2a。图示的例子的AR标记2a示出了包含出现在电影、计算机游戏等的虚构中的人物角色的特征部分(人的脸部部分)及识别辅助用图案(例如，配置于周缘部的小圆)的图像信息，但当然不限于此。
在该信标终端装置2被载置于桌子上的状态下，当通过用户终端装置1的拍摄功能对该桌子上进行拍摄时，在其监视器画面(实时取景画面)上显示实时取景图像。用户终端装置1对该实时取景图像进行解析，当识别出其中包含的信标终端装置2的AR标记2a时，确定实时取景图像内的AR标记2a的位置及朝向，将信标终端装置2对应的3DCG角色重叠于AR标记2a的位置而进行AR显示。在该情况下，通过使角色向AR标记2a的朝向旋转，使其姿势(三维的姿势)与AR标记2a的朝向一致。这样的AR功能是在照相机中通常使用的技术，在本实施方式中利用了该公知技术，因此省略其具体的说明。
被进行AR显示的角色是通过组合各种基本动作而作为一系列的动作例如日常生活度日的人物角色、表演舞蹈的人物角色等，图示的例子示出了表演舞蹈的美少女角色跳起的瞬间。通过该角色的AR显示，能够给用户带来就像在现实空间上(桌子上)存在该图中用虚线表示的表演舞蹈的美少女角色那样的现实感(虚拟角色的存在感)。另外，角色也能够在其动作中途发出语音跟用户说话，通过3DCG角色的动作和语音能够实现更高的现实感。
另外，作为AR标记2a，例示了描绘了人物角色的特征部分(人的脸部部分)及识别辅助用图案的情况，但它们并不是必须的，也可以省略任意一方，或者用物体的形状本身来取代。另外，关于人的脸部部分也是，只要用户能够联想出角色即可，人的脸部部分也可以是简单的脸部的插图等。即，只要能够确定AR标记2a的位置和朝向，能够识别角色的种类即可，其构成可以任意。另外，如果构成为用户能够联想出角色，那么在用户拥有多个信标终端装置2时或信标终端装置2的购入时的便利性会增加。另外，不限于在信标终端装置2的表面印刷形成AR标记2a的情况，例如也可以粘贴印刷有AR标记2a的贴签，而且也可以是，在信标终端装置2中设置液晶显示部等显示单元，在该显示单元显示AR标记2a。
用户终端装置1在实时取景图像内显示角色的情况下，进行将该实时取景图像内摄入的信标终端装置2的图像部分消除而对该部分进行校正的处理。在这种情况下，进行将信标终端装置2的图像部分识别为不需要部分而删除该图像部分、并且使该删除部分与背景同化的校正处理。另外，用户终端装置1在实时取景图像内显示角色的情况下进行如下处理：根据该实时取景图像的明亮度分布来确定光源方向，在该光源方向的相反侧插入角色的影子(人影)而对该部分进行校正。
图3是表示用户终端装置1的基本构成要素的框图。
用户终端装置(智能手机)1除了通话功能、电子邮件功能、因特网连接功能、计时功能(钟表功能、计时器功能)等基本功能之外，还具备信标通信功能、触摸显示功能(在显示画面上层叠有触摸面板的触摸屏)。控制部10是通过来自具备二次电池(省略图示)的电源部11的电力供给而动作，并根据存储部12内的各种程序来控制该智能手机的整体动作的中央运算处理装置等。
存储部12具有程序存储器12a、工作存储器12b等，程序存储器12a除了存储有用于根据图10、图11及图13所示的动作步骤实现本实施方式的程序及各种应用等之外，还存储有其所需要的信息等。工作存储器12b是暂时存储该智能手机动作所需的各种信息(例如标志、计时器时间等)的工作区域。另外，存储部12也可以是包含例如SD卡、USB存储器等装卸自如的可携带式存储器(记录介质)的构成，另外，也可以是其一部分包含未图示的规定的外部服务器的区域。
无线通信部13除了具有语音通话功能、电子邮件功能、因特网连接功能时的宽带通信中使用的宽带通信部13a之外，还具有近距离通信部13b。近距离通信部13b在与信标终端装置2之间在可通信区域内收发信标信号(电波信标或光信标)，发射包含用于识别自己的信息(用户ID)的信标信号，或从信标终端装置2接收信标信号。语音信号处理部14具备麦克风、扬声器等，除了通话功能、来电音产生功能之外，在本实施方式中也用作角色发出的语音的输出功能。振动通知部15具有振动电机(省略图示)，除了在取代电话或邮件来电时的来电音而进行基于振动的通知的情况下使用以外，在本实施方式中也用作向用户通知检测到与信标终端装置2的连接的功能。操作部16具备电源钮等按钮式的各种键。
摄像部17是通过使来自光学镜头的被摄体像成像于摄像元件(CCD或CMOS等)而能够高精细地拍摄被摄体的照相机部，虽未图示，但具有摄像镜头、摄像元件(CCD或CMOS等)、各种传感器、模拟处理部、数字处理部，还具备变焦调整功能、自动曝光调整功能、自动调整焦点位置的自动聚焦功能等。该摄像部17拍摄到的图像在由控制部10实施了对该图像进行压缩并进行文件化的图像压缩处理之后，被记录保存在存储部12的记录介质中。
触摸显示部18构成触摸显示功能，是在显示画面上层叠配设触摸面板的构成，是如下的输入显示设备，该显示设备中分配配置了各种软键(触摸键)，除了用于显示其功能名或者显示图标之外，还用于从各种动作模式(包括能够进行拍摄的拍摄模式、能够进行AR显示的AR显示模式、能够进行保存图像的再现的再现模式等)之中选择用户所期望的动作模式来进行模式的切换，或者感测手指等的触摸操作(点击(tap)、滑动(flick)等)而输入与该触摸操作对应的操作信号。GPS(Global Positioning System:全球定位系统)定位部19是利用地面系统/卫星系统的控制站来测定当前位置的位置测定系统，控制部10在上述的AR显示模式中从GPS定位部19取得当前的位置信息(场所信息)，并与预先登记的位置信息(例如，自家的位置信息)比较，判别位于自家还是外出中，如果是外出中，则判别其场所。
图4是表示信标终端装置2的基本构成要素的框图。控制部20是通过来自具备省略图示的二次电池或太阳能电池及电源开关21a的电源部21的电力供给而动作、根据存储部22内的各种程序来控制该信标终端装置的整体动作的中央运算处理装置等。存储部22具有程序存储器22a、存储用于识别自己的信标ID的存储器22b、存储表示是预先设定的配对对方的用户ID的存储器22c等，程序存储器22a除了存储有用于根据图9、图14所示的动作步骤来实现本实施方式的程序及各种应用程序等之外，还存储有其所需要的信息等。
信标通信部23是与用户终端装置1之间收发信标信号(电波信标或光信标)的近距离通信部，将包含从存储部22读出的信标ID的信标信号以几秒钟发射一次的方式定期地进行发射，或者接收从用户终端装置1发送的信标信号。演出用LED(Light Emitting Diode:发光二极管)显示部24为，从用户终端装置1发射的信标信号响应于LED控制信号的接收，该演出用LED显示部24发出多彩光的点亮或闪烁等的演出光，通知在用户终端装置1侧进行AR显示。
图5是表示服务器装置3的基本构成要素的框图。控制部30是通过来自电源部31的电力供给而动作、根据存储部32内的各种程序来控制该服务器装置3的整体动作的中央运算处理装置等。存储部32具有程序存储器32a等，该程序存储器32a除了存储有用于根据图12、图13所示的动作步骤来实现本实施方式的程序及各种应用程序等之外，还存储有其所需要的信息等。
宽带通信部33经由由因特网或移动通信网(无线通信网络)构成的宽带通信网4而与用户终端装置1连接，由此进行双向通信。在外设于该服务器装置3的外部存储装置(省略图示)中，除了设置有构成用于实施对象分发服务的数据库的各种表、即用户表TB1、按信标区分的角色表TB2、角色动作控制表TB3、按用户区分的角色使用状况表TB4以外，还设置有角色数据(3DCG图像·语音)文件群CF。
图6的(1)是用于说明用户表TB1的图。用户表TB1对与利用对象分发服务的会员用户有关的信息进行存储管理，除了“用户ID”、“用户名”、“其他用户信息”之外，还具有“信标ID”的项目。“用户ID”、“用户名”、“其他用户信息”是用户登记时从用户终端装置1发送的用户固有的信息(用于识别用户终端装置1的信息、用户名、邮件地址等信息)，例如在各种导引时或服务实施时利用。该用户ID是在访问服务器装置3时从用户终端装置1发送的终端装置识别信息，如果是同一用户终端装置1，则即使是不同的用户也能够利用该用户ID。
“信标ID”是用于识别该用户所拥有的信标终端装置2的信息，用户终端装置1例如在与信标终端装置2的配对时，将从信标终端装置2取得的信标ID和自己的用户ID发送给服务器装置3。服务器装置3将接收到的信标ID和自己的用户ID作为用户终端装置1与信标终端装置2的对应关系(配对对方的组合关系)登记到用户表TB1中。即，在接收到的用户ID对应的“信标ID”的项目中，将接收到的信标ID登记为配对对方。
图6的(2)是用于说明按信标区分的角色表TB2的图。按信标区分的角色表TB2是信标终端装置2与角色的对应，例如将50种角色与50种信标终端装置2建立对应，或使各个角色与各个信标终端装置2一对一地建立对应，具有“信标ID”、“AR标记”、“角色ID”、“角色名”的各项目。“信标ID”是用于识别各个信标终端装置2的终端装置识别信息，“AR标记”是表示在该信标终端装置2的表面设置的AR标记2a的图像信息(脸部图像或图案)，也是用于识别角色的种类的信息。“角色ID”是用于识别各个角色的信息，“角色名”是其名称。该角色名在初始状态下是表示角色的种类的通用名称，也可以在用户登记时变更为用户喜欢的名字。另外，服务器装置3每当个别的角色增加时，将信标终端装置2与角色的对应关系追加登记(新登记)到按信标区分的角色表TB2中。
图7是用于说明角色动作控制表TB3的图。角色动作控制表TB3按角色区分来对控制其动作的信息进行存储管理，具有“角色种类ID(AR标记)”、“角色动作控制信息”的各项目，进而，“角色动作控制信息”具有“基本运动名”、“变形名”、“出现条件”的各项目。“基本运动名”是用于指定与例如“进餐”、“洗澡”、“读书”、“跳舞”等对应地进行其基本动作的角色数据(构成基本运动的图像数据及语音数据)的信息。即，是按照角色的每个种类分别管理基本的姿容及动作的基本信息(如果是相同种类的角色，则基本的姿容及动作是共同的)。
“变形名”是用于指定进行使基本运动变化了的动作的角色数据(构成变形数据的图像数据及语音数据)的信息，在本实施方式中，作为取代基本运动而进行变形动作的条件(代替条件)，具有3个条件项目，即“亲密度”、“点击时反应”、“使用环境”。“亲密度”是用于指定根据上述用户与角色的亲密度而使基本运动进行了变化的变形动作的项目。例如，在基本运动为“进餐”的情况下，根据“亲密度”指定“进餐内容变化”的变形，在“跳舞”的情况下，根据“亲密度”来指定“难易度变化”的变形。
“点击时反应”用于存储在AR显示时对该触摸画面进行了点击时指定使基本运动进行了变化的变形动作的信息，例如，在基本运动为“进餐”的情况下，作为“点击时反应”而指定“停止进餐，谈感想”的变形，在“洗澡”的情况下指定“哼歌”的变形。另外，在本实施方式中，作为“点击时反应”，示出了接触任意的位置并立即离开的点击操作时，但不限于此，也可以在如下的触摸姿势时进行反应，上述的触摸姿势时为，进行接触移动的滑动操作时、使多个手指一边接触一边缩小其间隔的缩小操作时、使多个手指一边接触一边扩大其间隔的扩大操作时等。另外，不限于通过角色说话的语音进行反应，也可以是特殊动作的反应。
“使用环境”表示正在使用用户终端装置1的当前的环境(季节及场所)，根据通过计时功能得到的计时信息判定当前的季节，根据由GPS定位部19得到的当前的位置信息判定当前的场所。另外，也可以经由GPS定位部19取得当前的场所。这样，也可以是，根据当前的环境(季节及场所)，判别是夏季还是冬季、自家还是外出中，如果是外出中，则判别是在海边还是在市内、还是在特定的设施内，基于其判别结果来指定使角色的服装(例如，如果是夏季的海边则变为泳衣等)进行了变化的变形。另外，作为“使用环境”，不限于季节、场所，例如，也可以将使用环境设为气温或天气，根据气温、天气使角色的服装变化。并且，不限于服装变化，也可以使角色的装饰品等变化。
“出现条件”是存储用于使角色数据(基本运动或其变形)出现(显示)的条件的项目，作为“出现条件”，在本实施方式中具有3个条件项目、即“时间段”、“场所”、“出现率”。在这3个条件全部满足时，使基本运动或其变形出现(显示)。例如，在“基本运动名”为“进餐”的情况下，对“时间段”存储有“夜间的时间段”(18～20时)，对“场所”存储有“未指定”，对“出现率”存储有“1日1次”，因此，1日1次，在夜晚的时间段，出现进餐中的角色。
另外，在“基本运动名”为“洗澡”的情况下，对“时间段”存储有“20～24时”，对“场所”存储有“自家”，对“出现率”存储有“1日1次”，因此，示出了1日1次、在自家中的20～24时出现洗澡中的角色的情况。并且，在“基本运动名”为“读书”的情况下，对“时间段”及“场所”存储有“未指定”，对“出现率”存储有“1日3次”，因此，示出了时间段和场所不受限制、1日3次出现读书中的角色的情况。
图8的(1)是用于说明按用户区分的角色使用状况表TB4的图。按用户区分的角色使用状况表TB4按每个用户分别对各个角色的使用状况进行存储管理，因此，具有“用户ID”、“角色ID”、“角色使用状况”、“其他状态信息”的各项目。另外，“角色使用状况”是存储按上述的基本运动区分的角色使用状况的项目，具有“用户与角色的亲密度”和“每一天的访问次数”的项目。该“亲密度”还具有“访问时间累计值”和“访问频度”这2个项目。“访问时间累计值”表示从新购入信标终端装置2到当前时刻为止访问该信标终端对应的角色并进行了AR显示的累计时间，“访问频度”表示在规定期间(1个月以内)访问该信标终端对应的角色并进行了AR显示的次数。“其他状态信息”是管理除了“角色使用状况”以外的按照每个角色而变化的状态的信息(角色的当前的服装、在该时间点可更换的服装列表等)。
在根据该“访问时间累计值”决定亲密度的情况下，如果其累计值小于其第1阈值，则判定为亲密度低，如果为第1阈值X1以上且小于第2阈值X2，则判定为亲密度普通，如果为第2阈值X2以上，则判定为亲密度高。同样地，在根据“访问频度”决定亲密度的情况下，如果其频度小于其第1阈值Y1，则判定为亲密度低，如果为第1阈值Y1以上且小于第2阈值Y2，则判定为亲密度普通，如果为第2阈值Y2以上，则判定为亲密度高。这里，比较“访问时间累计值”、“访问频度”的亲密度，将亲密度高的一方作为角色使用状况。例如，如果一方的亲密度为“高”，另一方的亲密度为“普通”，则作为角色使用状况而判定为亲密度“高”，如果一方的亲密度为“普通”，另一方的亲密度为“低”，则作为角色使用状况而判定为亲密度“普通”。“每一天的访问次数”表示访问了信标终端对应的角色的每天的合计次数。
图8的(2)是用于说明角色数据文件群CF的图。角色数据文件群CF构成对各种角色数据进行存储管理的数据库，按照角色的每个种类，与“角色种类ID(AR标记)”对应地对“各种基本运动(3DCG模型图像及语音数据)”进行存储管理，并且还对“各种变形(3DCG模型图像及语音数据)”进行存储管理，服务器装置3在从用户终端装置1接受了角色数据的下载请求时，参照角色数据文件群CF，将该所请求的角色数据(各种基本运动及变形的数据)向请求源的用户终端装置1分发。
接着，参照图9～图13所示的流程图说明本实施方式中的对象显示系统的动作概念。在此，在这些流程图中记述的各功能以可读取的程序代码的形态被保存，基于该程序代码的动作被依次执行。另外，也能够依次执行基于经由网络等传送介质传送来的上述程序代码的动作。即，除了记录介质之外，还能够利用经由传送介质从外部供给的程序/数据来执行本实施方式特有的动作。
图9是表示信标终端装置2的整体动作的概要的流程图，图10及图11是表示用户终端装置1的动作(本实施方式的特征性动作)的流程图，图12是表示服务器装置3的整体动作的概要的流程图。
首先，图9示出了与电源接通相应地开始执行的信标终端装置2的动作，信标终端装置2与电源接通相应地使定期地(例如，几秒1次)发射包含信标ID的信标信号的动作开始(图9的步骤A1)之后，调查省略图示的配对设定完成标志的值是否被设成了“1”(标志＝开(ON))(步骤A2)。
该配对设定完成标志在信标终端装置2与用户终端装置1之间进行了配对初始设定处理(后述)时被设为“1”(标志＝开)，其值在电源被断开之后也被存储保持(以下相同)。现在，在信标终端装置2的新导入时(新购入后)，上述的配对设定完成标志的值被设为“0”(标志＝关(OFF))(在步骤A2中为“否”)，因此，转移到配对初始设定处理(步骤A3)。
图10及图11示出了与电源接通相应地开始执行的用户终端装置1的动作，首先，用户终端装置1与电源接通相应地，调查当前的动作模式是否是AR显示模式(图10的步骤B1)，如果不是AR显示模式(在步骤B1中为“否”)，则转移到与其他动作模式对应的处理，但如果是AR显示模式(在步骤B1中为“是”)，则与上述的信标终端装置2侧同样，调查省略图示的配对设定完成标志的值是否被设成了“1”(标志＝开)(步骤B2)，而在信标终端装置2的新导入时(新购入后)，上述的配对设定完成标志的值被设为“0”(标志＝关)(在步骤B2中为“否”)，因此，转移到后述的配对初始设定处理(步骤B3)。
在信标终端装置2与用户终端装置1接近成处于可通信区域内的状态下，在信标终端装置2与用户终端装置1之间进行基于信标信号的相互通信的配对初始设定处理(步骤A3、B3)。图13是详述配对初始设定处理(步骤A3、B3)的流程图。首先，用户终端装置1当接收到从信标终端装置2发射的信标信号时(步骤A31)，发送包含自己的用户ID的信标信号(步骤B32)。
然后，用户终端装置1将接收到的信标ID作为配对对方进行存储，并且将接收到的信标ID和自己的用户ID发送给服务器装置3而进行了配对设定的请求(步骤B33)之后，进行将用户终端装置1侧的配对设定完成标志的值设为“1”而将其标志设为开的处理(步骤B34)。另外，在本实施方式中，作为配对对方，使用户终端装置1与信标终端装置2一对一地建立对应，因此在进行了该1对1的对应建立(配对处理)之后，将配对设定完成标志的值设为“1”。
信标终端装置2当接收到从用户终端装置1发送来的信标信号时(步骤A31)，进行将该信标信号中包含的用户ID作为配对对方而保存在存储部22中的处理(步骤A32)之后，进行将信标终端装置2侧的配对设定完成标志的值设为“1”而将其标志设为开的处理(步骤A33)。
服务器装置3当从用户终端装置1接收到配对设定请求时(图12的步骤C1)，进行将从用户终端装置1接收到的信标ID与用户ID的对应关系(配对的组合关系)与该设定请求一起追加登记(新登记)到用户表TB1中的配对初始设定处理(步骤C2)。另外，这里的配对是指，信标终端装置2和用户终端装置1用于限定彼此的通信对方的通信电平下的配对、以及对接受由服务器装置3提供的服务的装置进行登记的服务电平下的配对这两者。
接着，信标终端装置2当如上所述的配对初始设定处理(步骤A3)结束时，返回到上述的步骤A2。在该情况下，由于配对设定完成标志为“1”(在步骤A2中为“是”)，所以转移到下一个步骤A4，成为等待来自用户终端装置1的响应的响应等待状态。
用户终端装置1当如上所述的配对初始设定处理(步骤B3)结束时，将该信标ID和自己的用户ID发送给服务器装置3，由此请求与该信标终端装置2建立对应的角色数据等的下载(步骤B4)。
服务器装置3当从用户终端装置1接收到下载请求时(图12的步骤C3中为“是”)，基于该请求时接收到的信标ID，参照按信标区分的角色表TB2，读出该信标ID对应的“AR标记”和“角色ID”(步骤C4)。接着，基于该“角色ID”，参照角色动作控制表TB3，读出相符的角色动作控制信息(基本运动名、变形名、出现条件)(步骤C5)，进而，基于该“角色ID”，参照角色数据文件群CF，读出相符的角色数据(各种基本运动及变形)(步骤C6)。进行将由此读出的各种数据、即信标ID对应的AR标记、角色ID对应的角色动作控制信息及角色数据向该请求源的用户终端装置1分发的处理(步骤C7)。
用户终端装置1当接收到从服务器装置3分发来的角色数据等各种数据时，进行将该信标ID对应的AR标记、角色ID对应的角色动作控制信息及角色数据保存到存储部12的下载处理(图10的步骤B5)。这样，用户终端装置1在配对的初始设定时，作为初始化处理，进行从服务器装置3接收取得其配对对方的信标终端对应的角色数据等并保存到自己的存储部12中的下载处理。
接着，用户终端装置1调查是否通过用户操作指定了AR显示模式的解除而切换到了其他动作模式(步骤B6)。在此，若AR显示模式被解除(在步骤B6中为“是”)，则转移到与其他动作模式对应的处理，但若AR显示模式被维持(在步骤B6中为“否”)，则返回上述的步骤B2。在该情况下，配对设定完成标志为“1”(在步骤B2中为“是”)，所以转移到下一个步骤B7，成为接收来自信标终端装置2的信标信号的等待状态。
即，用户终端装置1调查是否接收到从信标终端装置2发射的信标信号(包含信标ID)、即用户自己是否接近成了信标终端装置2的可通信区域(例如，半径5米)内。例如，在自己拥有的信标终端装置2放置在用户的房间(自己的房间)的状态下，在携带着用户终端装置1的用户暂时离开了该房间之后再次进屋的情况下，成为能够接收来自信标终端装置2的信标信号的状态。现在，若接收到来自信标终端装置2的信标信号(在步骤B7中为“是”)，则将该接收到的信标ID和自己的用户ID发送给服务器装置3，进行是否为配对对方的确认请求(步骤B8)，基于对该确认请求进行响应而从服务器装置3发送来的确认结果，判别是否为配对对方(步骤B9)。另外，在此，不仅确认通信电平下的配对，还确认服务电平下的配对。例如，在相同的用户携带有多个用户终端(智能手机和手表类型的手腕终端等)的情况下，也可以根据将仅任意一方使用于本服务还是使用双方，而仅在任意一方的电平下确认配对。
服务器装置3当从用户终端装置1接收到是否为配对对方的确认请求时(图12的步骤C8为是)，基于该确认请求时接收到的信标ID及用户ID，参照用户表TB1，判别在用户表TB1中是否登记有接收到的信标ID与用户ID的对应关系(组合关系)，如果登记有，则确认是配对对方，将该确认结果发送给请求源的用户终端装置1(步骤C9)。
用户终端装置1当来自服务器装置3的确认结果表示不是配对对方的情况下(图10的步骤B9为否)，为了忽略本次接收到的信标信号而返回到上述的步骤B7，但在表示是配对对方的情况下(步骤B9为是)，确定与该信标终端装置2的连接，并且，为了表示正常接收到了信标信号而将包含自己的用户ID的响应发送给该信标终端装置2(步骤B10)。
信标终端装置2当接收到来自用户终端装置1的响应时(图9的步骤A4为“是”)，将与该响应一起接收到的用户ID与作为配对对方而设定的用户ID进行比较，调查是否是从配对对方响应(步骤A5)。现在，如果不是配对对方(步骤A5为“否”)，则为了忽略本次接收到的信标信号，返回上述的步骤A4，但如果是配对对方(步骤B5为“是”)，则确定与该用户终端装置1的连接(步骤A6)。
这样，当用户终端装置1与信标终端装置2的连接确立时，用户终端装置1驱动语音信号处理部14的扬声器而产生通知音，或者使触摸显示部18点亮或闪烁显示规定的图标，通知连接到了信标终端装置2(AR显示开始)(图10的步骤B11)，并且，作为将该状态通知给连接中的信标终端装置2的通知信号，向该信标终端装置2发送LED控制信号(步骤B12)。然后，使摄像部17动作来依次取得其实时取景图像，开始使触摸显示部18的监视器画面显示实时取景图像的动作(步骤B13)。
信标终端装置2当从用户终端装置1接收到LED控制信号时(图9的步骤A6为“是”)，驱动演出用LED显示部24而产生多彩光的点亮或闪烁等的演出光，从而通知在用户终端装置1侧开始了AR显示(步骤A8)。接着，调查电源是否被断开了(步骤A9)，如果电源维持接通未变(步骤A9为“否”)，则调查与用户终端装置1的连接是否为继续中(步骤A10)，如果处于连接继续中(步骤A10为“是”)，则返回上述的步骤A7。现在，在用户终端装置1远离信标终端装置2而用户终端装置1离开了该可通信区域内时，其连接被解除时(步骤A10为“否”)，转移到上述的步骤A4，以下，重复上述动作直到电源断开。
用户终端装置1当如上所述那样使实时取景图像的显示动作开始时，转移到图11的流程，对实时取景图像进行解析，调查在实时取景图像内是否包含AR标记2a(步骤B14)。即，对从服务器装置3下载的AR标记2a和实时取景图像内所包含的AR标记2a进行比较，调查在实时取景图像内是否包含有配对对方的AR标记2a。在此，如果在实时取景图像内不包含AR标记2a(步骤B14为“否”)，则转移到后述的步骤B29，但如果包含AR标记2a(步骤B14为“是”)，则基于该AR标记2a参照按信标区分的角色表TB2，读出与此相符的连接中的信标ID，将该连接中的信标ID和自己的用户ID发送给服务器装置3，请求该信标ID对应的角色使用状况的分发(步骤B15)。
服务器装置3当从用户终端装置1接收到角色使用状况的分发请求时(图12的步骤C10)，执行如下处理：基于与该请求一起从用户终端装置1接收到的信标ID和自己的用户ID，参照按用户区分的角色使用状况表TB4，作为相符的角色使用状况，读出“亲密度(访问时间的累计值及访问频度)”及“访问次数”，并对该分发请求源的用户终端装置1进行分发(步骤C11)。
用户终端装置1当从服务器装置3接收到角色使用状况时(图11的步骤B16)，转移至下一步骤B17，基于从服务器装置3下载的角色动作控制信息、当前的时间段及场所，参照角色动作控制表TB3，从角色数据文件群CF读出相符的角色数据。即，首先，用户终端装置1对构成角色动作控制信息的“出现条件”的条件项目的“时间段”及“场所”与通过计时功能得到的计时信息及由GPS定位部19得到的位置信息(场所)进行比较，判定是否符合“出现条件”，如果符合，则进一步基于角色使用状况的“每一天的访问次数”来判别是否符合“出现率”。
在此，如果符合这3个条件的全部，则读出与其相符的角色数据。即，用户终端装置1参照角色动作控制信息的“亲密度”及“使用环境”、角色使用状况(亲密度)、通过计时功能得到的计时信息及由GPS定位部19得到的位置信息(场所)，从角色数据文件群CF读出与亲密度及使用环境相符的角色数据(3DCG模型图像·语音)。例如，如果亲密度不高(低或普通)，则读出基本运动数据，如果亲密度高，则读出变形数据。此时，如果是海边等特定的场所，则读出改变了服装的变形数据。
这样，在读出了与亲密度及使用环境相符的角色数据之后，用户终端装置1基于实时取景图像内所包含的AR标记，确定其位置及朝向(步骤B18)。另外，在确定该标记位置及朝向的情况下进行的坐标系的变换是一般的技术，因此省略其说明。在进行根据这样确定的标记的朝向改变了角色数据(3DCG图像)的姿势的处理(步骤B19)之后，使该姿势的角色数据在触摸显示部18进行AR显示，使其动作开始(步骤B20)。此时，角色显示在实时取景图像内的AR标记的位置或其附近进行。另外，如果正在显示的角色中包含有语音，则使发声动作开始。之后，使角色显示时间计时器(省略图示)的计测动作开始(步骤B21)。
接着，转移到步骤B22，用户终端装置1检测实时取景图像内的信标终端装置2的图像部分，进行将该图像部分识别为不需要部分并删除该部分、并且使该删除的部分与背景同化的校正处理。另外，在使角色显示在实时取景图像内的情况下，根据该实时取景图像的明亮度分布来确定光源方向(最亮的方向)(步骤B23)，进行在该光源方向的相反侧插入角色的影子(人影)而对该部分进行校正的处理(步骤B24)。这样，在角色的AR显示过程中，例如在从基本动作变化为变形动作时，在其间插入连接动作，另外，在从变形动作变化为基本动作时也插入连接动作。这样，在变形动作时，通过插入之前的连接动作和之后的连接动作，能够进行连贯的一系列的动作。
在这样的角色的AR显示过程中，调查是否通过用户操作而点击了实时取景图像(触摸画面)(步骤B25)，或者调查是否进行了拍摄指示操作(快门操作)(步骤B27)，或者调查是否进行了解除AR显示模式的操作(模式切换操作)(步骤B29)。在此，如果没有进行任何操作(步骤B29为“否”)，则返回上述步骤B22，以下，反复进行同样的动作的同时，成为操作等待状态。
现在，在通过用户操作而点击了实时取景图像(触摸画面)的情况下(步骤B25为“是”)，使用户与角色之间的交互处理开始(步骤B26)。即，用户终端装置1参照角色动作控制表TB3，使角色动作变化为对应于与显示中的角色对应的动作控制信息“点击时反应”的变形。例如，在进餐中的角色显示时进行了点击的情况下，进行变化为停止进餐而谈感想的变形的处理。另外，作为交互处理，不限于角色的发声，例如也可以是，用户与角色对话，或者进行与滑动操作或缩小操作等触摸姿势操作对应的处理。
另外，在进行了拍摄指示操作(快门操作)的情况下(步骤B27为“是”)，进行如下处理：在该快门操作的定时使AR显示的动作停止，取得包含该停止时的角色的实时取景图像，对该取得图像实施了显影等拍摄处理之后，作为拍摄图像而记录保存到存储部22的记录介质中(步骤B28)。例如，如图2所示，在实时取景图像内进行AR显示的角色跳起时进行了快门操作的情况下，记录保存包含在跳起的瞬间的定时停止的角色的拍摄图像。
在进行了解除AR显示模式的操作(模式切换操作)的情况下(步骤B29为“是”)，使实时取景图像内的AR显示消失，并且，使上述的角色显示时间计时器的计测动作停止，之后，将自己的用户ID、显示中的角色ID、角色显示时间(计时器计测时间)、当前日期时间发送给服务器装置3，对服务器装置3请求角色使用状况的更新(步骤B30)。然后，返回图11的流程，转移到与其他动作模式对应的处理。
服务器装置3根据来自用户终端装置1的角色使用状况的更新请求(图12的步骤C12)，与该更新请求一起，接收自己的用户ID、显示中的角色ID、角色显示时间、当前日期时间(步骤C13)。然后，进行如此处理：基于该自己的用户ID、显示中的角色ID，参照按用户区分的角色使用状况表TB4，将相符的角色使用状况的“访问时间累计值”、“访问频度”、“访问次数”，基于从用户终端装置1接收到的角色显示时间(计时器计测时间)、当前日期时间进行更新(步骤C14)。在该情况下，对“访问时间累计值”加上角色显示时间(计时器计测时间)，由此更新“访问时间累计值”，基于当前日期时间，对“访问频度”、“访问次数”的值加上“1”，由此更新该值。然后，返回到最初的步骤C1，以下，重复上述的动作。
如以上那样，在本实施方式的对象(角色)显示系统中，信标终端装置2是在该装置的表面标识了表示在现实空间内自终端装置的存在位置的图像信息(AR标记)的移动体，发射包含规定的识别信息(信标ID)的信标信号，用户终端装置1是具备拍摄功能的移动体，进行如下控制：识别基于通过该拍摄功能拍摄的结果的、实时取景图像内的AR标记而确定信标终端装置2的位置，并且，接收从信标终端装置2发射的信标信号并将该信标ID发送给服务器装置3，将对此进行响应而从服务器装置3发送来的该信标ID对应的角色，与所确定的信标终端装置2的位置相应地显示在实时取景图像内；服务器装置3参照角色数据文件群CF，将从用户终端装置1发送来的信标ID对应的角色向用户终端装置1发送，因此，能够控制该角色的显示而使得无论何时何地都能够自由地得到每个用户所选择的角色就像在现实空间上存在那样的现实感，对于用户而言，通过符合自己喜好的角色的使用，兴趣或喜爱逐渐增加，还能够期待放松效果。另外，能够按照每个个人，或者按照个人所拥有或可随身携带的每个物体即每个信标终端装置2，分配具有不同姿容及动作的角色，能够以符合个人的喜好或方便状况的状态(姿容、动作、场所、时间)来显示角色。
用户终端装置1与信标终端装置2的连接时进行基于相互通信的配对，因此，在信标终端装置2为配对对方的情况下能够进行角色显示，即使拥有信标终端装置2的用户以外的第三者对该信标终端装置2进行了拍摄，也能够防止在该第三者的用户终端装置1显示角色。
用户终端装置1在用户表TB1中登记有用户终端装置1与信标终端装置2的对应关系作为配对对方的组合关系的状态下，从信标终端装置2接收到了包含信标ID的信标信号时，以根据用户表TB1的登记内容确认到了该信标终端装置2为配对对方为条件，进行角色显示，因此，配对对方的管理可靠。
在信标终端装置2的表面标识的图像信息(AR标记)2a是表示在现实空间内自终端装置的存在位置及其朝向的信息，角色是由3DCG生成的模型图像，因此，用户终端装置1通过识别实时取景图像内摄入的AR标记来确定实时取景图像内的信标终端装置2的位置及其朝向，与该位置及朝向相应地在实时取景图像内显示模型图像，因此，仅通过在作为移动体的信标终端装置2的表面设有AR标记2a，能够在AR显示时根据用户的意向改变该3DCG模型图像的位置及其姿势。
在信标终端装置2的表面标识的图像信息(AR标记)2a是对构成模型图像的图像中的特征部分(人物的脸部部分)进行了表达的图像，因此，用户仅观察AR标记2a就能够联想到模型图像，信标终端装置2与模型图像的对应关系明确。
角色是通过组合各种基本动作或其变形动作来进行一系列动作的3DCG的模型图像，在角色数据文件群CF中与各种模型图像对应地按照其基本动作分别存储有基本运动数据、表示该动作的出现条件的动作控制信息的状态下，用户终端装置1在使模型图像显示于实时取景图像内的情况下进行如下控制，即，参照该模型图像的动作控制信息，选择与该出现条件符合的基本运动数据并使其依次显示在实时取景图像内，因此，能够对从构成模型图像的一系列基本运动中仅选择了符合出现条件的基本运动进行组合而成的模型图像进行AR显示。
出现条件是“时间段”、“场所”、“出现率”，选择符合这3个条件的基本运动，因此能够对模型图像适当地进行AR显示。
角色是通过组合各种基本动作及使其基本动作进行了变化的变形动作而进行一系列动作的3DCG的模型图像，在角色数据文件群CF中与各种模型图像对应地按照其基本动作分别存储有基本运动数据、变形数据、以及表示取代上述基本运动而由该变形动作代替的代替条件的动作控制信息的状态下，用户终端装置1在实时取景图像内依次选择并显示构成模型图像的基本运动数据的情况下，参照该模型图像的动作控制信息，在符合该代替条件的情况下，取代此时的基本运动数据而选择变形数据，因此能够对组合基本运动及使其基本动作进行了变化的变形动作而成的模型图像进行AR显示。由此，通过用户与角色的交互，能够使角色成长成按照每个用户而具有不同个性的角色。
代替条件作为根据用户与模型图像的相关性而变化的表示其亲密度的信息，是访问模型图像的累计时间或其访问频度，用户终端装置1根据亲密度，取代基本运动数据而选择变形数据，因此，能够根据亲密度来使模型图像的动作变化。
代替条件是表示用户操作的种类的信息(点击操作)，用户终端装置1根据点击操作，取代基本运动数据而选择变形数据，因此能够通过用户操作来选择变形数据。
代替条件是在实时取景图像内显示模型图像时的使用环境“季节”、“场所”，用户终端装置1在对模型图像进行AR显示时的环境与代替条件的“季节”、“场所”相符的情况下，取代运动数据而选择变形数据，因此，能够根据使用环境来选择变形数据。
用户终端装置1在作为规定的状态而检测到与信标终端装置2的连接时，对该信标终端装置2发送用于指示演出用LED显示部24的驱动的LED控制信号，因此，用户能够经由信标终端装置2得知处于可进行AR显示的状态。
用户终端装置1在检测到与信标终端装置2的连接时，驱动语音信号处理部14的扬声器或振动通知部15来通知其连接，因此，用户能够通过该通知得知处于可进行AR显示的状态。在该情况下，即使将用户终端装置1放入包里，或者在噪声环境下，也能够通过振动通知来获知该情况。
用户终端装置1在实时取景图像内显示了模型图像的状态下，在进行了拍摄指示操作时，在该拍摄指示操作时进行响应而停止模型图像的动作，记录保存将该停止时的模型图像插入到信标终端装置2的位置处的拍摄图像，因此，能够在以用户喜欢的场所为背景的拍摄图像内收入动作中的模型的瞬间的姿势。
用户终端装置1进行在实时取景图像内显示角色的控制时，进行消除该实时取景图像内摄入的信标终端装置2的图像部分而对消除部分进行校正的处理，因此，能够得到除去了不需要的信标终端装置2后的图像，能够进一步增强角色的现实感。
用户终端装置1进行在实时取景图像内显示角色的控制时，根据该实时取景图像的明亮度分布来确定光源方向，进行在该光源方向的相反侧插入该角色的影子而对该部分进行校正的处理，因此能够进一步增强角色的现实感。
(变形例1)
另外，在上述的实施方式中，例示了按每个用户作为配对对方而将用户终端装置1与信标终端装置2一对一地建立对应的情况，但不限于此，它们的组合是任意的。
图14是用于说明实施方式的变形例的图，是例示了作为配对对方而建立对应的用户终端装置1与信标终端装置2的关系的图。图14的(1)表示作为配对对方而用户终端装置1与信标终端装置2以1对n(n为整数个，以下同样)、图示的例子为以1对3来建立对应的情况。另外，图14的(2)表示作为配对对方而用户终端装置1与信标终端装置2以n对1、图示的例子为以2对1来建立对应的情况。图14的(3)表示作为配对对方而用户终端装置1与信标终端装置2以n对n、图示的例子为2对3来建立对应的情况。
在这样以1对n、n对1、n对n建立对应的情况下，将用户终端装置1与信标终端装置2的对应关系作为配对对方的组合关系登记在用户表TB1中即可。在该情况下，n也可以设为产品出厂时的固定值或由用户操作而任意设定的值。另外，也可以是，在1对n、n对1、n对n的对应建立完成时、即达到了n的值时，自动或根据用户操作，将上述的配对设定完成标志的值设为“1”(标记开)。
这样，通过以1对n、n对1、n对n来建立对应，例如在姐妹间或亲友彼此间共用同一角色、或者一个用户持有多个信标终端装置2而享用多个角色等那样，能够任意地设定用户终端装置1与信标终端装置2的组合。另外，在用户终端装置1与信标终端装置2的关系为1对n的情况下，在相同的用户购入了相同种类的信标终端装置2的情况下，在购买初始阶段，角色的状态(动作、会话、服装等初始状态)不变化，但能够根据与用户的亲密度等而按照每个角色终端装置分别具有不同个性，能够按照每个角色终端装置2成长成不同的角色。
在上述实施方式中，在购买了相同种类的信标终端装置2的情况下，在该购买初始阶段，角色的状态(动作、会话、服装等初始状态)不变化，但也可以按照每个信标终端装置2(信标ID)分配不同的个别的角色(初始状态也不同的角色)。例如，即使是相同种类的角色，如果信标终端装置2不同，也可以分配动作、会话、服装等初始状态不同的角色。在该情况下，多个用户能够购入与相同种类的角色对应的信标终端装置2，而该情况下，只要对每个信标终端装置2(信标ID)分配不同的个别的角色(分配不同的个别的管理信息)即可。
在上述的实施方式中，按照每个用户对1台的用户终端的“用户ID”进行存储管理、进行发送接收，但为了使相同的用户能够利用不同的用户终端装置1，也可以对用于识别用户的每个用户的多个“用户ID”进行存储管理、进行发送接收。该“用户ID”也可以是操作用户终端装置1的用户所输入的信息。
在上述的实施方式中，“信标ID”除了识别自己(信标终端装置2)的信息外，还包含表示信标终端装置2的种类(对象的种类)的信息，但也可以对终端识别信息和种类信息独立地进行存储管理。
在上述的实施方式中，示出了将“信标ID”与“角色ID”一对一地建立对应的情况，但也可以将信标终端装置2与针对每个用户而特殊化的角色一对一地建立对应。在此，针对每个用户而特殊化的角色是指在购买初始阶段，按照每个用户而预先使角色的状态(动作、会话、服装等初始状态)不同的角色。
在上述实施方式中，示出了信标终端装置2与角色一对一地固定的情况，在新导入时(购入时)分配信标终端对应的角色，但也可以在购入后分配该角色。在该情况下，作为角色的申请方法，例如也可以是，从角色的列表画面中选择符合用户喜好的角色并发送给服务器装置3，由此进行申请。
(变形例2)
在上述的实施方式中，示出了应用于具备多个用户终端装置1、多个信标终端装置2、服务器装置3、通过用户终端装置1、信标终端装置2和服务器装置3的通信而在用户终端装置1显示对象的对象显示系统中的情况，但也可以省略服务器装置3。即，也可以是通过用户终端装置1与信标终端装置2的通信而在用户终端装置1显示对象的对象显示系统，只要在用户终端装置1侧具备按信标区分的角色表TB2、角色动作控制表TB3、按用户区分的角色使用状况表TB4、角色数据文件群CF，在图10和图11的流程图中，删除或修改与用户终端装置1与服务器装置3之间的数据交换有关的处理，即可实现。
即，只要如下那样构成即可：对象显示系统是通过用户终端装置1与信标终端装置2的通信在用户终端装置1显示对象的对象显示系统，信标终端装置2是在该装置的表面上标识出表示在现实空间内自终端装置的存在位置的图像信息(AR标记)的作为移动体的通信装置，发射包含规定的识别信息(信标ID)的信标信号，用户终端装置1是具有拍摄功能的作为移动体的通信装置，进行如下控制：取得与规定的识别信息分别建立对应的对象(角色)的管理信息，识别基于作为通过拍摄功能拍摄的结果的实时取景图像内的AR标记，确定信标终端装置2的位置，并且，接收从信标终端装置2发射的信标信号，与所确定的信标终端装置2的位置相应地使基于该管理信息的角色显示在实时取景图像内。
这样，即使是通过用户终端装置1与信标终端装置2的通信在用户终端装置1显示对象的对象显示系统，也与上述的实施方式同样，能够以与用户的喜好或方便状况相符的状态来显示对象。
在该情况下，如果将信标终端装置2和用户终端装置1设为按照每个用户分别拥有的通信装置，则能够控制该角色的显示而使得无论何时何地都能够自由地得到每个用户所选择的角色就像在现实空间上存在那样的现实感，对于用户而言，通过符合自己喜好的角色的使用，兴趣或喜爱逐渐增加，还能够期待放松效果。
在上述的实施方式中，信标终端装置2作为规定的识别信息而发射包含用于识别自己的信标ID的信标信号，但也可以是，与信标ID一起，作为指定AR显示的对象的信息，包含对象ID(例如角色ID)在内地进行发送。如果这样发射指定AR显示的对象的信息(对象ID)，则不需要上述的按信标区分的角色表TB2。
在上述实施方式中，作为“出现条件”，示出了“时间段”、“场所”、“出现率”，但不限于此，也可以将“用户ID”设为“出现条件”。由此，例如可以是，对于每个基本运动，如果是特定的用户则出现角色，如果是其他用户则禁止角色的出现。
在上述实施方式中，作为“亲密度”示出了“访问时间累计值”和“访问频度”，但不限于此，也可以将向实时取景画面的“触摸次数”、“触摸频度”等作为“亲密度”。
在上述的实施方式中，信标终端装置2通过驱动演出用LED显示部24来通知在用户终端装置1侧开始了AR显示，但也可以是，在AR显示进行期间产生演出光或者仅在剧烈的活动等特殊动作的期间产生演出光，其演出的方式、定时是任意的。
在上述的实施方式中，对附加有角色的静止图像进行记录保存，但也可以对附加有活动的角色的动画的拍摄图像进行记录保存。
在上述的实施方式中，将信标终端装置2的整体形状设为可携带的薄型圆形的纽扣型，但其形状是任意的，例如也可以是人偶或星形等。
在上述的实施方式中，信标信号是为了将自终端装置存在于规定的距离范围内的情况向其他装置进行通知而发出的无线信号，但除了自己(定期地)发出无线信号以外，还可以包含自终端装置对从其他装置(定期地)发出的无线信号进行响应而发送无线信号的情况。
在上述的实施方式中，示出了作为用户终端装置1而应用于智能手机的情况，但不限于此，也可以应用于带照相机功能的PDA(面向个人的便携式信息通信设备)、平板终端装置、电子游戏、音乐播放器等。
另外，在上述的实施方式中示出的“装置”、“部”也可以按功能分离为多个壳体，不限于单个壳体。另外，在上述的流程图中记述的各步骤不限于时间序列的处理，也可以并行地处理多个步骤，或者分别独立地进行处理。
以上，对本发明的实施方式进行了说明，但本发明并不限定于此，包含权利要求书所记载的发明及其等同的范围。
符号说明
1 用户终端装置
2 信标终端装置
2a AR标记
3 服务器装置
10、20、30 控制部
12、22、32 存储部
12a、22a、32a 程序存储器
13 无线通信部
13b 近距离通信部
14 语音信号处理单元
15 振动通知单元
17 摄像部
18 触摸显示部
19 GPS定位部
23 信标通信部
24 演出用LED显示部
33 宽带通信单元
TB1 用户表
TB2 按信标区分的角色表
TB3 角色动作控制表
TB4 按用户区分的角色使用状况表
CF 角色数据文件群。

Claims (22)

1.一种对象显示系统，具备用户终端装置、信标终端装置及服务器装置，通过所述用户终端装置、所述信标终端装置、所述服务器装置之间的通信，从而在所述用户终端装置中显示对象，
所述信标终端装置将图像信息标识在该信标终端装置的表面上，并具备发射包含规定的识别信息的信标信号的发射单元，
所述用户终端装置具备：
摄像单元；
显示单元，显示基于该摄像单元的摄像结果的实时取景图像；
确定单元，识别由该摄像单元摄像到的所述图像信息，确定所述实时取景图像内的所述信标终端装置的位置；
识别信息发送单元，接收从所述信标终端装置发射的信标信号，将该信标信号中包含的所述规定的识别信息发送给所述服务器装置；
管理信息接收单元，响应于由所述识别信息发送单元发送的所述规定的识别信息的发送，接收从所述服务器装置发送来的与该识别信息对应的对象的管理信息；以及
显示控制单元，控制所述显示单元，使得将基于由所述管理信息接收单元接收到的对象的管理信息的对象，显示在所述实时取景图像内的由所述确定单元确定的位置处，
所述服务器装置具备：
对象存储单元，将各种对象的管理信息与所述规定的识别信息建立对应地进行存储；
识别信息接收单元，接收由所述识别信息发送单元从用户终端装置发送来的所述规定的识别信息；以及
管理信息发送单元，从所述对象存储单元取得与由该识别信息接收单元接收到的规定的识别信息对应的对象的管理信息并发送给所述用户终端装置，
所述规定的识别信息预先与所述用户终端装置建立对应，
所述显示控制单元根据从所述信标终端装置接收到的所述规定的识别信息是否与所述用户终端装置建立了对应，控制所述对象的显示。
2.根据权利要求1所述的对象显示系统，其特征在于，
所述用户终端装置的所述识别信息发送单元还将用于识别自终端装置或者自终端装置的用户的用户识别信息发送给所述服务器装置，
所述服务器装置还具备将所发送来的用户识别信息与所述规定的识别信息建立对应地进行存储的用户信息存储单元。
3.一种对象显示系统，通过用户终端装置与信标终端装置的通信，从而在所述用户终端装置中显示对象，
所述信标终端装置将图像信息标识在该信标终端装置的表面上，并具备发射包含规定的识别信息的信标信号的发射单元，
所述用户终端装置具备：
摄像单元；
显示单元，显示基于该摄像单元的摄像结果的实时取景图像；
对象存储单元，存储与所述规定的识别信息建立了对应的对象的管理信息；
确定单元，识别所述信标终端装置的所述图像信息，确定所述实时取景图像内的所述信标终端装置的位置；
取得单元，接收从所述信标终端装置发射的信标信号，取得该接收到的信标信号中包含的规定的识别信息；以及
显示控制单元，从所述对象存储单元取得与由该取得单元取得的规定的识别信息对应的对象的管理信息，并控制所述显示单元，使得将基于该管理信息的对象显示在所述实时取景图像内的由所述确定单元确定的位置处，
所述规定的识别信息预先与所述用户终端装置建立对应，
所述显示控制单元根据从所述信标终端装置接收到的所述规定的识别信息是否与所述用户终端装置建立了对应，控制所述对象的显示。
4.根据权利要求1～3中任一项所述的对象显示系统，其特征在于，
在所述信标终端装置与所述用户终端装置的连接时进行基于相互通信的配对。
5.根据权利要求4所述的对象显示系统，其特征在于，
所述用户终端装置还具备：
配对存储单元，将所述信标终端装置作为配对对方进行存储管理；以及
判别单元，在从所述信标终端装置接收到包含规定的识别信息的信标信号时，参照所述配对存储单元，判别发射了所述信标信号的所述信标终端装置是否为配对对方，
所述显示控制单元在由所述判别单元判别为是配对对方的情况下，进行控制，使得在所述实时取景图像内显示与所述规定的识别信息对应的对象。
6.根据权利要求1～3中任一项所述的对象显示系统，其特征在于，
所述信标终端装置的发射单元至少将用于识别自终端装置的信息、用于识别所述用户终端装置所显示的对象的信息中的任意一个作为所述规定的识别信息进行发射。
7.根据权利要求1～3中任一项所述的对象显示系统，其特征在于，
所述信标终端装置的表面上标识出的图像信息除了表示所述实时取景图像内的自己的位置以外，还表示所述对象的显示方向，
所述对象是由三维计算机图形生成的模型图像，
所述确定单元通过识别所述实时取景图像内摄入的所述图像信息来确定实时取景图像内的自己的位置和所述对象的显示方向，
所述显示控制单元进行控制，使得与由所述确定单元确定的位置及显示方向相应地在所述实时取景图像内显示所述模型图像。
8.根据权利要求7所述的对象显示系统，其特征在于，
所述信标终端装置的表面上标识出的图像信息还表示构成所述模型图像的图像中的特征部分。
9.根据权利要求1～3中任一项所述的对象显示系统，其特征在于，
所述对象是通过组合各种基本运动来进行一系列动作的三维计算机图形的模型图像，
所述显示控制单元在使模型图像显示在所述实时取景图像内的情况下，参照表示所述各种基本运动的出现条件的动作控制信息，从存储在所述对象存储单元中的所述各种基本运动中选择符合该出现条件的基本运动数据，并进行控制以使其依次显示在所述实时取景图像内。
10.根据权利要求9所述的对象显示系统，其特征在于，
所述出现条件至少是时间段、场所、出现率中的任意一个。
11.根据权利要求1～3中任一项所述的对象显示系统，其特征在于，
所述对象是通过组合各种基本运动和使其基本动作变化而得的变形动作来进行一系列动作的三维计算机图形的模型图像，
所述显示控制单元在依次选择构成模型图像的基本运动数据并将其显示在所述实时取景图像内的情况下，参照按照其每个基本动作表示取代其基本运动数据而由其变形动作来代替的代替条件的动作控制信息，在符合该代替条件的情况下，取代此时的基本运动数据而选择存储在所述对象存储单元中的变形数据。
12.根据权利要求11所述的对象显示系统，其特征在于，
所述代替条件作为表示根据用户与所述模型图像之间的关联性而变化的亲密度的信息，至少是访问该模型图像的累计时间、其访问频度中任意一个，
所述显示控制单元根据所述亲密度，取代所述基本运动数据而选择变形数据。
13.根据权利要求11所述的对象显示系统，其特征在于，
所述用户终端装置还具备在所述实时取景图像内显示有所述模型图像的状态下受理用户操作的操作单元，
所述代替条件是表示通过所述操作单元操作的用户操作的种类的信息，
所述显示控制单元根据所述用户操作的种类，取代所述基本运动数据而选择变形数据。
14.根据权利要求11所述的对象显示系统，其特征在于，
所述代替条件还具备环境信息取得单元，该环境信息取得单元作为在所述实时取景图像内显示有所述模型图像时的环境信息，取得表示当前的季节的信息和表示当前的场所的信息，
所述代替条件是由所述环境信息取得单元取得的环境信息，
所述显示控制单元根据由所述环境信息取得单元取得的环境信息，取代所述基本运动数据而选择变形数据。
15.根据权利要求1～3中任一项所述的对象显示系统，其特征在于，
所述信标终端装置还具备通知所述用户终端装置的状态的通知单元，
所述用户终端装置在成为规定的状态时，对所述信标终端装置发送用于指示所述通知单元的驱动的通知指示。
16.根据权利要求1～3中任一项所述的对象显示系统，其特征在于，
所述信标终端装置还具备在检测到与所述信标终端装置的连接时通知该连接的通知单元。
17.根据权利要求11所述的对象显示系统，其特征在于，
所述用户终端装置的摄像单元，
在所述实时取景图像内显示有所述模型图像的状态下，在进行了拍摄指示操作时，在该拍摄指示操作时响应而使模型图像的动作停止，并记录保存将该停止时的模型图像插入到由所述确定单元确定的所述信标终端装置的位置而得的拍摄图像。
18.根据权利要求1～3中任一项所述的对象显示系统，其特征在于，
所述显示控制单元在进行控制以在所述实时取景图像内显示对象时，进行控制，使得将该实时取景图像内摄入的所述信标终端装置的图像部分消除而对该消除部分进行校正。
19.根据权利要求1～3中任一项所述的对象显示系统，其特征在于，
所述显示控制单元在进行控制以在所述实时取景图像内显示对象时，进行控制，使得根据该实时取景图像的明亮度分布来确定光源方向，在该光源方向的相反侧插入该对象的影子而对该部分进行校正。
20.一种用户终端装置，其特征在于，具备：
摄像单元；
对象存储单元，存储与规定的识别信息建立了对应的对象的管理信息；
信标信号接收单元，从外部的信标终端装置接收包含所述规定的识别信息的信标信号，该信标终端装置标识出了表示实时取景图像内的自己的位置的图像信息；
确定单元，在基于所述摄像单元的摄像结果的实时取景图像内，识别所述图像信息来确定所述实时取景图像内的所述信标终端装置的位置；以及
显示控制单元，从所述对象存储单元取得与由所述信标信号接收单元接收到的信标信号内的所述规定的识别信息对应的对象的管理信息，并进行控制，使得将基于该管理信息的对象显示在实时取景图像内的由所述确定单元确定的位置处，
所述规定的识别信息预先与所述用户终端装置建立对应，
所述显示控制单元根据从所述信标终端装置接收到的所述规定的识别信息是否与所述用户终端装置建立了对应，控制所述对象的显示。
21.一种用户终端装置的对象显示方法，所述用户终端装置具备摄像单元、以及存储与规定的识别信息建立了对应的对象的管理信息的存储器，
其特征在于，该对象显示方法包括：
从外部的信标终端装置接收包含所述规定的识别信息的信标信号的处理，该信标终端装置标识出了表示实时取景图像内的自己的位置的图像信息；
在基于所述摄像单元的摄像结果的实时取景图像内，识别所述图像信息，确定所述实时取景图像内的所述信标终端装置的位置的处理；以及
从所述存储器取得与接收到的信标信号内的所述规定的识别信息对应的对象的管理信息，进行控制，使得将基于该管理信息的对象显示在实时取景图像内的所确定的位置处的处理，
所述规定的识别信息预先与所述用户终端装置建立对应，
进行控制以进行显示的处理根据从所述信标终端装置接收到的所述规定的识别信息是否与所述用户终端装置建立了对应，控制所述对象的显示。
22.一种记录有程序的存储介质，所述程序用于使用户终端装置的计算机实现下述的功能，所述用户终端装置具备摄像单元、以及存储与规定的识别信息建立了对应的对象的管理信息的存储器，
所述功能为：
信标信号接收功能，从外部的信标终端装置接收包含所述规定的识别信息的信标信号，该信标终端装置标识出了表示实时取景图像内的自己的位置的图像信息；
确定功能，在基于所述摄像单元的摄像结果的实时取景图像内，识别所述图像信息，确定所述实时取景图像内的所述信标终端装置的位置；以及
显示控制功能，从所述存储器取得与通过所述信标信号接收功能接收到的信标信号内的所述规定的识别信息对应的对象的管理信息，进行控制，使得将基于该管理信息的对象显示在实时取景图像内的所确定的位置处，
所述规定的识别信息预先与所述用户终端装置建立对应，
所述显示控制功能根据从所述信标终端装置接收到的所述规定的识别信息是否与所述用户终端装置建立了对应，控制所述对象的显示。
CN201780053264.5A 2016-08-31 2017-08-28 对象显示系统、用户终端装置、对象显示方法及程序 Active CN109661686B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016169672A JP6916460B2 (ja) 2016-08-31 2016-08-31 オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム
JP2016-169672 2016-08-31
PCT/JP2017/031684 WO2018043732A1 (ja) 2016-08-31 2017-08-28 オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム

Publications (2)

Publication Number Publication Date
CN109661686A CN109661686A (zh) 2019-04-19
CN109661686B true CN109661686B (zh) 2023-05-05

Family

ID=61301222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780053264.5A Active CN109661686B (zh) 2016-08-31 2017-08-28 对象显示系统、用户终端装置、对象显示方法及程序

Country Status (4)

Country Link
US (1) US10831436B2 (zh)
JP (1) JP6916460B2 (zh)
CN (1) CN109661686B (zh)
WO (1) WO2018043732A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US10805696B1 (en) * 2016-06-20 2020-10-13 Pipbin, Inc. System for recording and targeting tagged content of user interest
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US10638256B1 (en) * 2016-06-20 2020-04-28 Pipbin, Inc. System for distribution and display of mobile targeted augmented reality content
US11563888B2 (en) * 2017-09-25 2023-01-24 Hanwha Techwin Co., Ltd. Image obtaining and processing apparatus including beacon sensor
SG11202011928RA (en) * 2018-07-03 2020-12-30 Ericsson Telefon Ab L M Portable electronic device for mixed reality headset
US11206505B2 (en) * 2019-05-06 2021-12-21 Universal City Studios Llc Systems and methods for dynamically loading area-based augmented reality content
JP7128591B2 (ja) 2019-11-12 2022-08-31 株式会社ポケモン 撮影システム、撮影方法、撮影プログラム、及びぬいぐるみ
JP7261727B2 (ja) 2019-11-20 2023-04-20 グリー株式会社 動画配信システム、動画配信方法及びサーバ
US11475661B2 (en) * 2020-02-10 2022-10-18 Fujifilm Business Innovation Corp. Systems and methods for augmented reality application for annotations and adding interfaces to control panels and screens
JP7448497B2 (ja) * 2021-02-10 2024-03-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2022187268A (ja) * 2021-06-07 2022-12-19 東芝テック株式会社 情報処理システム、情報処理装置及びその制御プログラム
JP2023091953A (ja) * 2021-12-21 2023-07-03 株式会社セガ プログラム及び情報処理装置
JP2024052226A (ja) * 2022-09-30 2024-04-11 株式会社バンダイナムコエンターテインメント キャラクタ管理システム、プログラム及びキャラクタ情報提供方法
WO2024134879A1 (ja) * 2022-12-23 2024-06-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびエージェント生成方法
CN116582719A (zh) * 2023-07-14 2023-08-11 北京微吼时代科技有限公司 多角色直播权限控制方法、系统、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011243019A (ja) * 2010-05-19 2011-12-01 Koto Co Ltd 画像表示システム
CN103312971A (zh) * 2012-03-08 2013-09-18 卡西欧计算机株式会社 图像处理装置及图像处理方法
CN103946734A (zh) * 2011-09-21 2014-07-23 谷歌公司 叠加有对于外部设备的控制和指令的可穿戴计算机
WO2015025442A1 (ja) * 2013-08-20 2015-02-26 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169789B1 (en) * 1996-12-16 2001-01-02 Sanjay K. Rao Intelligent keyboard system
JP2000194726A (ja) * 1998-10-19 2000-07-14 Sony Corp 情報処理装置及び方法、情報処理システム並びに提供媒体
US7084887B1 (en) 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
JP3530772B2 (ja) * 1999-06-11 2004-05-24 キヤノン株式会社 複合現実感装置及び複合現実空間画像の生成方法
JP3584229B2 (ja) * 2001-09-28 2004-11-04 キヤノン株式会社 映像体験システムおよび情報処理方法
US20030062675A1 (en) 2001-09-28 2003-04-03 Canon Kabushiki Kaisha Image experiencing system and information processing method
JP4804256B2 (ja) 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
JP2009289035A (ja) * 2008-05-29 2009-12-10 Jiro Makino 画像表示システム、携帯型表示装置、サーバコンピュータ、および遺跡観光システム
US20120194549A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
JP2014071838A (ja) 2012-10-01 2014-04-21 Dainippon Printing Co Ltd 画像処理装置およびカードゲーム具
US10129299B1 (en) * 2014-06-06 2018-11-13 Amazon Technologies, Inc. Network beacon management of security policies
JP5812550B1 (ja) * 2014-10-10 2015-11-17 ビーコア株式会社 画像表示装置、画像表示方法及びプログラム
JP2016086249A (ja) * 2014-10-23 2016-05-19 カシオ計算機株式会社 表示装置、表示制御方法及び表示制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011243019A (ja) * 2010-05-19 2011-12-01 Koto Co Ltd 画像表示システム
CN103946734A (zh) * 2011-09-21 2014-07-23 谷歌公司 叠加有对于外部设备的控制和指令的可穿戴计算机
CN103312971A (zh) * 2012-03-08 2013-09-18 卡西欧计算机株式会社 图像处理装置及图像处理方法
WO2015025442A1 (ja) * 2013-08-20 2015-02-26 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
CN109661686A (zh) 2019-04-19
WO2018043732A1 (ja) 2018-03-08
JP6916460B2 (ja) 2021-08-11
JP2018036869A (ja) 2018-03-08
US10831436B2 (en) 2020-11-10
US20190205078A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
CN109661686B (zh) 对象显示系统、用户终端装置、对象显示方法及程序
CN109107155B (zh) 虚拟物品的调整方法、装置、终端及存储介质
CN104995545B (zh) 可穿戴个人数字眼镜设备
KR101894021B1 (ko) Vr 공간에서 컨텐트를 제공하는 방법, 디바이스 및 기록매체
CN109863532A (zh) 生成和显示在媒体覆盖中的定制头像
EP2355009A2 (en) Terminal and method for providing augmented reality
US20160048296A1 (en) Methods for Implementing a Display Theme on a Wearable Electronic Device
CN108710525A (zh) 虚拟场景中的地图展示方法、装置、设备及存储介质
CN111541928B (zh) 直播显示方法、装置、设备及存储介质
JP2022516930A (ja) 結合された拡張環境のためのシステム及び方法
CN110399570B (zh) 地理对象推荐方法、装置及存储介质
US8874037B2 (en) Communication system, computer-readable storage medium having stored thereon information processing program, information processing method, information processing apparatus, and information processing system
CN113613028B (zh) 直播数据处理方法、装置、终端、服务器及存储介质
CN110420464B (zh) 虚拟宠物形象参数的确定方法、装置及可读存储介质
CN112416207A (zh) 信息内容显示方法、装置、设备及介质
CN110837300B (zh) 虚拟交互的方法、装置、电子设备及存储介质
CN110787451B (zh) 利用人物角色的图像定制
CN111061369B (zh) 交互方法、装置、设备及存储介质
CN110312144B (zh) 进行直播的方法、装置、终端和存储介质
CN110399183B (zh) 虚拟宠物的繁育方法、装置、设备及存储介质
CN110866963A (zh) 动态图像发布系统、动态图像发布方法以及记录介质
CN117010965A (zh) 基于信息流广告的互动方法、装置、设备及介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
CN110399193A (zh) 指导数据发送方法、装置、终端、服务器及存储介质
US20220308536A1 (en) Information processing device, method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant