CN110476203A - 信息提供装置、终端装置、显示系统、程序及信息提供方法 - Google Patents

信息提供装置、终端装置、显示系统、程序及信息提供方法 Download PDF

Info

Publication number
CN110476203A
CN110476203A CN201780089287.1A CN201780089287A CN110476203A CN 110476203 A CN110476203 A CN 110476203A CN 201780089287 A CN201780089287 A CN 201780089287A CN 110476203 A CN110476203 A CN 110476203A
Authority
CN
China
Prior art keywords
personage
information
management information
server
terminal installation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780089287.1A
Other languages
English (en)
Inventor
渡部慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN110476203A publication Critical patent/CN110476203A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

服务器(3)的服务器控制部(32)进行至少任一种控制,即,参照设备识别信息来确定人物管理信息,并将其发送至终端装置(2),或者参照人物管理信息来确定设备管理信息,并将其发送至家电设备5。

Description

信息提供装置、终端装置、显示系统、程序及信息提供方法
技术领域
本发明涉及一种信息提供装置、终端装置、显示系统、程序及信息提供方法。
背景技术
增强现实(AR:Augmented Reality)技术作为现有技术已为人所知,该增强现实技术是在终端装置等所拍摄的拍摄图像中出现的标签的附近,重叠地显示人物的图像的技术。
例如,专利文献1中记载了如下信息处理装置,该信息处理装置在检测出拍摄图像中所含的标签后,开始进行与该标签对应的信息处理,将对应的人物、图标的物体配置于与被拍摄空间对应的三维坐标系,在拍摄图像上描绘并实时显示该物体。
现有技术文献
专利文献
专利文献1:日本公开专利公报“特开2015-41126号公报(2015年3月2日公开)”
发明内容
本发明所要解决的技术问题
但是,如上所述的现有技术仅是参照粘贴于设备等的标签的信息而重叠地显示人物的图像。因此,设备与人物之间缺乏相关性,存在用户难以对人物感到亲近的问题。
本发明是鉴于所述问题的发明,其目的在于与以往相比,提高设备与人物之间的相关性。
解决问题的方案
用于解决所述问题的本发明的一方式的信息提供装置是对将人物的图像重叠于拍摄图像而进行显示的终端装置提供信息的信息提供装置,其包括通信部与控制部,所述控制部进行如下至少任一种控制,即,参照确定所述拍摄图像中所含的设备的个体的设备识别信息来确定人物管理信息,所述人物管理信息管理所述人物的提示方式,将已确定的所述人物管理信息经由所述通信部发送至所述终端装置,或者参照所述人物管理信息来确定设备管理信息,所述设备管理信息确定所述设备的提示方式,将已确定的所述设备识别信息经由所述通信部发送至所述设备。
为了解决所述问题,本发明的一方式的终端装置是包括拍摄部、提示部、控制部及通信部的终端装置,所述提示部包括显示部,所述控制部进行如下至少任一种控制,即,从对所述终端装置提供信息的信息提供装置,获取参照设备识别信息而确定的管理人物的提示方式的人物管理信息,使人物的图像以重叠于所述拍摄部的拍摄图像的方式而显示在所述显示部中,所述设备识别信息确定拍摄图像中所含的设备的个体,或者将对所述设备的个体进行识别的设备识别信息经由所述通信部发送至所述信息提供装置。
为了解决所述问题,本发明的一方式的显示系统是包含信息提供装置与终端装置的显示系统,所述终端装置包括拍摄部、提示部、终端控制部及终端通信部,所述提示部包括显示部,所述信息提供装置包括服务器通信部与服务器控制部,所述服务器控制部进行至少任一种控制,即,参照确定拍摄图像中所含的设备的个体的设备识别信息,确定管理人物的提示方式的人物管理信息,将已确定的所述人物管理信息经由所述服务器通信部发送至所述终端装置,或者参照所述人物管理信息来确定设备管理信息,所述设备管理信息确定所述设备的提示方式,将已确定的所述设备识别信息经由所述服务器通信部发送至所述设备,所述终端控制部参照所述人物管理信息,使人物的图像以重叠于所述拍摄部的拍摄图像的方式而显示在所述显示部中。
为了解决所述问题,本发明的一方式的信息提供方法是对将人物的图像重叠于拍摄图像而进行显示的终端装置提供信息的信息提供方法,其包含人物管理信息确定工序及设备管理信息确定工序中的至少一个工序,所述人物管理信息确定工序参照确定所述拍摄图像中所含的设备的个体的设备识别信息,确定管理所述人物的提示方式的人物管理信息,将已确定的所述人物管理信息发送至所述终端装置,所述设备管理信息确定工序参照所述人物管理信息来确定设备管理信息,所述设备管理信息确定所述设备的提示方式,将已确定的所述设备识别信息发送至所述设备。
发明效果
根据本发明的一方式,会产生如下效果:与以往相比,能够提高设备与人物之间的相关性。
附图说明
图1是表示本发明实施方式1的显示系统的主要部分结构的框图。
图2是表示本发明实施方式1的显示系统的概要的图。
图3是表示本发明实施方式1的服务器的存储部中所存储的人物管理DB、人物存储DB及设备管理DB的一例的图。
图4是表示本发明实施方式1的显示系统中的信息提供处理的流程的一例的序列图。
图5是表示本发明实施方式1的显示系统中的信息提供处理的流程的一例的序列图。
图6是表示本发明实施方式1的显示系统中的信息提供处理的流程的一例的序列图。
图7是表示本发明实施方式1的显示系统中的信息提供处理的流程的一例的序列图。
图8是表示本发明实施方式2的显示系统中的信息提供处理的流程的一例的序列图。
图9是表示本发明实施方式3的显示系统中的信息提供处理的流程的一例的序列图。
图10是表示本发明实施方式3的显示系统中的信息提供处理的流程的一例的序列图。
图11是表示本发明实施方式3的显示系统中的信息提供处理的流程的一例的序列图。
图12是表示本发明实施方式4的显示系统中的信息提供处理的流程的一例的序列图。
图13是表示本发明实施方式5的显示系统的主要部分结构的框图。
图14是例示可用作服务器或终端装置的计算机的结构的框图。
具体实施方式
<实施方式1>
以下,参照图1至图7对本实施方式的显示系统1进行说明。但是,只要无特定的记载,该实施方式所记载的结构仅为说明例,并不表示本发明的范围仅限定于该结构。
[显示系统1]
其次,参照图1对本实施方式的显示系统1的主要部分结构进行说明。
图1是表示本实施方式的显示系统1的主要部分结构的框图。如图1所示,显示系统1包括终端装置2与服务器(信息提供装置)3。终端装置2与服务器3经由网络4连接,终端装置2与家电设备5经由无线局域网(Local Area Network,LAN)路由器6连接。
[终端装置2]
参照图1对本实施方式的终端装置2的结构进行说明。如图1所示,本实施方式的终端装置2包括拍摄部21、终端信息输入部22、终端控制部(控制部)23、终端通信部(通信部)24、提示部25。
终端装置2例如能够列举智能手机及头戴式显示器等。
此外,拍摄部21及提示部25可分别由单独的硬件构成,也可由多个硬件分散地构成。
[拍摄部21]
拍摄部21获取家电设备(设备)5的拍摄图像7(参照图2)。拍摄部21例如能够列举相机等。
[终端信息输入部22]
终端信息输入部22从用户接受应用程序ID及密码等终端识别信息、人物ID、信息ID及人物存储信息等人物管理信息、以及表达信息等的输入。如图1所示,终端信息输入部22包括终端语音输入部220及文本输入部221。
[终端语音输入部220]
终端语音输入部220通过语音输入来输入所述各种信息,例如能够列举麦克风等。
[文本输入部221]
文本输入部221通过文本输入来输入所述各种信息。文本输入部221例如能够列举可通过键盘、按钮及用户的手指或触控笔等输入文本的触控面板等。在此情况下,触控面板例如也可与如图2所示的显示部251相同。
此外,代替所述终端语音输入部220及文本输入部221,或除了所述终端语音输入部220及文本输入部221之外,终端信息输入部22也可让用户选择选项中的任一个选项,接受终端识别信息的输入。例如,终端信息输入部22也可通过让用户触摸触控面板等显示部251所显示的选项的按钮来接受终端识别信息的输入。由此,终端信息输入部22能够更迅速地从用户接受终端识别信息。
[终端控制部23]
终端控制部23将设备识别信息经由终端通信部24发送至服务器3。另外,终端控制部23经由终端通信部24获取人物管理信息。接着,终端控制部23参照人物管理信息,使人物8的图像以重叠于拍摄部21的拍摄图像7的方式而显示在显示部251中。
此处,设备识别信息是指对由拍摄部21拍摄的拍摄图像7中所含的家电设备5的个体进行识别的信息。具体而言,设备识别信息例如是指图3的人物管理数据库(Database,DB)330中的设备ID、或包含拍摄位置信息与设备类别信息的信息。
此处,设备类别信息是根据家电设备5的外观获得的类别信息。
另外,设备ID是能够唯一地确定家电设备5的ID,且是分配给每一台家电设备5的ID。换句话说,设备ID是通过与拍摄图像7中所含的家电设备5之间的通信而获得的家电设备5的固有信息。
此外,如下所述,为了确定拍摄图像7中所含的家电设备5的设备ID,需要能够确定与各设备ID对应的设备类别信息。作为确定与各设备ID对应的设备类别信息的方法的例子,能够列举如下方法,即,人物管理DB(数据库)330使设备ID与设备类别信息对应,或家电设备5将设备ID与设备类别信息作为一系列的信息而作出提示,或以使设备ID的一部分包含设备类别信息的方式构成设备ID。
另外,拍摄位置信息是拍摄图像7中包含家电设备5时的拍摄图像7的拍摄位置的位置信息,其例如由纬度、经度及高度表示。在本实施例中,假设在一般的房屋等建筑物中,即使从同一拍摄位置拍摄到的图像中包含多个家电设备5,这些家电设备5中的具有同一设备识别信息的家电设备5也最多为一个。于是,在该假设下,认为包含拍摄图像7的拍摄位置信息、与拍摄图像7中所含的家电设备5的设备识别信息的信息能够唯一地确定家电设备5。
另外,人物管理信息是管理与家电设备5对应的人物8的提示方式的信息。具体而言,人物管理信息是指如图3(a)的人物管理DB330所示的包含人物ID及外观等的信息。另外,人物管理信息也包含如图3(b)的人物存储DB331所示的信息ID及人物存储信息。另外,图3中虽未记载,但人物管理信息还可包含表达内容、人物8的服装及表情等信息。
人物ID是分配给人物8的ID。人物8的外观例如如图2所示,在家电设备5为烤箱微波炉一体机的情况下,能够列举有脸的微波炉这样的经拟人化并经过变形后的人物(微波炉太郎)的外观等。信息ID是指人物8所存储的信息的种类。人物存储信息是指与针对信息ID的人物8相关的具体信息的内容。例如,人物存储信息包含从人物8与用户之间的对话历史记录获得的信息、及与人物8自身相关的信息。人物8的表达内容是指由人物8表达的内容。表达方法例如能够列举通过文字进行的表达及语音表达等。人物8的服装是指人物8所穿着的服装。
此外,在所述例子中,设备识别信息包含设备类别信息、设备ID及拍摄位置信息等。另外,人物管理信息包含人物ID、人物8的外观、信息ID、人物存储信息、人物8的表达内容及人物8的服装等。但是,在本实施方式中,并不限定于此种方式。
在本实施方式中,设备识别信息只要是对由拍摄部21拍摄的拍摄图像7中所含的家电设备5的个体进行识别的信息,则也可以是任意的信息。另外,人物管理信息只要是管理与家电设备5对应的人物8的提示方式的信息,则也可以是任意的信息。
另外,在所述例子中,获取了家电设备5的拍摄图像7,但在本实施方式中,并不限定于此。在本实施方式中,设备并不限定于家电设备,例如能够获取家庭用于外的电气设备的拍摄图像7。
其次,参照图1对终端控制部23的结构进行说明。如图1所示,终端控制部23作为设备识别信息确定部230、终端信息获取部234及重叠图像生成部235而发挥功能。
[设备识别信息确定部230]
设备识别信息确定部230确定设备识别信息。
如图1所示,设备识别信息确定部230作为图像识别部231、固有信息获取部232及位置信息获取部233而发挥功能。
图像识别部231确定设备类别信息。固有信息获取部232确定设备ID。位置信息获取部233确定拍摄位置信息。由此,设备识别信息确定部230参照设备ID、或拍摄位置信息与设备类别信息来确定设备识别信息。
(图像识别部231)
图像识别部231参照拍摄部21所获取的拍摄图像7来确定家电设备5的设备类别信息。例如,利用智能手机等终端装置2的拍摄部21拍摄了家电设备5。在此情况下,图像识别部231使用众所周知的图像识别技术,将拍摄部21所获取的拍摄图像7中出现的家电设备5确定为烤箱微波炉一体机。由此,设备类别信息变为烤箱微波炉一体机。
此外,在所述例子中,终端装置2的终端控制部23作为图像识别部231而发挥功能。但是,在本实施方式中,并不限定于此。在本实施方式中,例如也可由服务器3的服务器控制部32确定设备类别信息。即,服务器控制部32也可作为图像识别部231而发挥功能。
在此情况下,服务器控制部32从终端装置2接收拍摄图像7,并确定设备类别信息。另外,服务器控制部32能够参照该设备类别信息、与从终端装置2接收的设备ID及拍摄位置信息等中的至少任一者来确定设备识别信息。即,在本实施方式中,服务器控制部32也可代替终端控制部23,作为设备识别信息确定部230而发挥功能。
(固有信息获取部232)
终端通信部24与家电设备5的家电设备通信部50进行通信,由此,固有信息获取部232获取设备ID等固有信息。
此处,如图1所示,终端通信部24与家电设备通信部50通过Wi-Fi(注册商标)连接于相同的无线LAN路由器6之类的无线LAN通信设备,经由该无线LAN通信设备而相互进行通信。由此,固有信息获取部232能够获取设备ID及无线LAN路由器识别信息。
此外,除了终端通信部24与家电设备通信部50经由无线LAN路由器6进行通信之外,终端通信部24与家电设备通信部50也可使用Bluetooth(注册商标)等直接进行通信。由此,固有信息获取部232也可获取设备ID的识别信息。
以下,说明由固有信息获取部232获取设备ID的具体例。
(由固有信息获取部232获取设备ID的具体例1)
固有信息获取部232经由终端通信部24,命令连接于无线LAN路由器6的全部的家电设备5将设备ID发送至固有信息获取部232。由此,固有信息获取部232从多个家电设备5获取多个设备ID。固有信息获取部232从这些设备ID中,确定拍摄图像7中所含的家电设备5的设备ID。
在一般的房屋等建筑物中,连接于同一无线LAN路由器6的具有同一设备类别信息的家电设备5最多为一个。因此,在本实施方式中,假设能够从同一无线LAN路由器6获取的设备ID中,对应于一个设备类别信息的设备ID只有一个,固有信息获取部222基于已由图像识别部231确定的拍摄图像7中所含的家电设备5的设备类别信息来确定设备ID。
此处,固有信息获取部232例如能够参照人物管理DB330,确定与拍摄图像7中所含的家电设备5的设备类别信息对应的设备ID。
另外,在设备ID的一部分已成为设备类别信息的情况下,固有信息获取部232也可从家电设备5一并获取设备类别信息及设备ID,使用该设备类别信息来确定拍摄图像7中所含的家电设备5的设备ID。
(由固有信息获取部232获取设备ID的具体例2)
另外,固有信息获取部232也可命令连接于无线LAN路由器6的全部的家电设备5发送已由图像识别部231确定的拍摄图像7中所含的家电设备5的设备类别信息,在所发送的设备类别信息与家电设备5自身的设备类别信息一致的情况下,将设备ID发送至固有信息获取部232。此处,与所述具体例1同样地,假设连接于同一无线LAN路由器6的具有同一设备识别信息的家电设备5最多为一个,固有信息获取部232确定拍摄图像7中所含的家电设备5的设备ID。
(位置信息获取部233)
位置信息获取部233获取拍摄位置信息。如图1所示,位置信息获取部233包括全球定位系统(Global Positioning System,GPS)接收机2330。位置信息获取部233通过利用GPS接收机2330,能够获取拍摄了拍摄图像7时的终端装置2的当前位置作为拍摄位置信息。
此处,在一般的房屋等建筑物中,可从同一拍摄位置拍摄到的具有同一设备识别信息的家电设备5最多为一个。因此,在本实施方式中,假设具有同一拍摄位置信息的拍摄图像7中所含的与同一设备类别信息对应的家电设备5为同一个体,服务器控制部32参照由位置信息获取部233获取的对应于拍摄图像7的拍摄位置信息、与拍摄图像7中所含的家电设备5的设备类别信息来唯一地确定家电设备5。
此外,在本实施方式中,位置信息获取部233只要能够获取拍摄位置信息,则也可不包括GPS接收机2330。
[终端信息获取部234]
终端信息获取部234从终端信息输入部22获取应用程序ID及密码等终端识别信息、人物ID、信息ID及人物存储信息等人物管理信息、以及表达信息等。
此处,应用程序ID是指用于使具有固有的人物管理信息的人物8对应于各终端装置2并进行自定义人物登录的终端装置2的ID。即,应用程序ID也是用于对拥有相关的终端装置2的用户进行识别的ID。另外,此处所谓的密码是指用于对人物8进行自定义人物登录所需的密码。
例如,终端信息获取部234从终端信息输入部22的终端语音输入部220接受语音。在此情况下,终端信息获取部234通过众所周知的语音识别系统,将该语音转换为文本。接着,终端信息获取部234进行众所周知的文本分析,从文本中提取应用程序ID、密码及表达内容等。
另外,终端信息获取部234从终端信息输入部22的文本输入部221接受文本。在此情况下,终端信息获取部234进行众所周知的文本分析,从文本中提取应用程序ID、密码或表达内容等。
在用户在终端信息输入部22中选择了按钮的情况下,终端信息获取部234将由所选择的按钮表示的信息确定为终端信息。
[重叠图像生成部235]
重叠图像生成部235经由终端通信部24获取人物管理信息。另外,重叠图像生成部235参照人物管理信息,使人物8的图像重叠于拍摄图像7而显示在显示部251中。
另外,重叠图像生成部235根据家电设备5的设备类别信息、及显示部251中的家电设备5的位置,确定显示部251中的人物8的显示位置。例如,如图2所示,重叠图像生成部235使所述人物8以重叠于家电设备5进行显示,或与家电设备5邻接地进行显示的方式而显示在显示部251中。由此,使用户感到家电设备5与人物8关联。
更具体而言,重叠图像生成部235参照人物管理信息而产生模型数据及显示位置数据,并根据模型数据而产生人物8。模型数据例如是通过线段及多边形等的组合来表现站立状态的物体的多边形数据。重叠图像生成部235根据由终端控制部23决定的表达内容,对模型数据中所含的表示物体的位置、朝向、头、手臂及腿的角度等的数据进行调整,产生人物8。
重叠图像生成部235使人物8的图像重叠于拍摄部21所获取的拍摄图像7。重叠图像生成部235例如对人物8的多边形数据进行渲染处理,由此,产生与家电设备5的图像的拍摄方向对应的人物8的图像。
此处,在家电设备5彼此的设备识别信息不同的情况下,相应地,人物管理信息也不同。例如,如图3的人物管理DB330所示,设备识别信息中的设备类别信息不同,分为烤箱微波炉一体机与冰箱。在此情况下,如图3的人物管理DB330所示,设备类别信息不同,相应地,与各个家电设备5对应的人物的外观也不同。结果是重叠图像生成部235能够使不同外观的人物8的图像显示在显示部251中。
如上所述,重叠图像生成部235能够根据设备识别信息,使不同的人物8的图像显示在显示部251中。
[终端通信部24]
终端通信部24是用于与服务器3的服务器通信部(通信部)31及家电设备5的家电设备通信部50进行通信的通信接口,其进行无线通信。
终端通信部24将由终端控制部23中的设备识别信息确定部230确定的设备识别信息发送至服务器3。
此处,如图1所示,终端通信部24经由相同的无线LAN路由器6之类的无线LAN通信设备,通过Wi-Fi(注册商标)与家电设备5连接。另一方面,终端通信部24由多个无线装置构成,除了具有与无线LAN路由器6进行通信的功能之外,还可具有进行长期演进(Long TermEvolution,LTE)等广域无线通信的功能。如图1所示,终端通信部24在与服务器3进行通信时,也可不经由无线LAN路由器6而进行通信。即,终端通信部24也可使用广域无线通信,通过网络4与服务器通信部31进行通信。
此外,除了终端通信部24与家电设备通信部50经由无线LAN路由器6进行通信之外,终端通信部24与家电设备通信部50也可使用Bluetooth(注册商标)等直接进行通信。
[提示部25]
提示部25以重叠于拍摄图像7的方式显示反映了人物管理信息的人物8的图像。如图1所示,提示部25包括终端语音输出部250及显示部251。
[终端语音输出部250]
终端语音输出部250输出语音。
终端语音输出部250所输出的语音内容可列举由终端控制部23参照人物管理信息而决定的人物8对于用户的表达内容。
例如,如图3(a)所示,设备识别信息中的设备类别信息为相同的烤箱微波炉一体机,而除此以外的信息不同。在此情况下,设备识别信息中的其他信息不同,相应地,与各个家电设备5对应的人物ID等人物管理信息也不同。
结果是终端控制部23例如在人物ID为CH_0001的情况下,能够让终端语音输出部250输出“我是A太郎”。另外,在人物ID为CH_0002的情况下,终端控制部23能够让终端语音输出部250输出“我是B太郎”。这样,在人物管理信息整体上不同,例如人物8的外观相同,而人物ID等不同的情况下,终端语音输出部250能够输出不同的语音内容。
这样,终端语音输出部250能够根据设备识别信息而输出不同的语音。
[显示部251]
显示部251一并显示由重叠图像生成部235确定的人物8及家电设备5的拍摄图像7。即,显示部251显示由重叠图像生成部235重叠的图像。
另外,显示部251在由重叠图像生成部235确定的显示位置显示人物8。显示部251例如是显示器。
[服务器3]
其次,参照图1对本实施方式的服务器3的结构进行说明。如图1所示,本实施方式的服务器3包括服务器通信部(通信部)31、服务器控制部(控制部)32及存储部33。
在所述例子中,例举服务器3由一个服务器实现的结构进行说明,但本实施方式并不限定于此。在本实施方式中,也可采用由其他服务器来实现服务器3所包括的各部分(各功能)的至少一部分的结构。
[服务器通信部31]
服务器通信部31是用于经由网络4与终端装置2的终端通信部24进行通信,并经由无线LAN路由器6与家电设备5的家电设备通信部50进行通信的通信接口。
此外,服务器通信部31与无线LAN路由器6之间的通信也可经由网络4进行。另外,在终端装置2与家电设备5不经由无线LAN路由器6而直接进行通信的情况下,服务器通信部31也可经由终端装置2与家电设备5的家电设备通信部50进行通信。
服务器通信部31从终端装置2的终端通信部24获取设备识别信息。另外,服务器通信部31将已由服务器控制部(控制部)32确定的人物管理信息发送至终端装置2的终端通信部24。
[服务器控制部32及存储部33]
服务器控制部32作为人物管理信息确定部320及设备管理信息确定部321而发挥功能。
[人物管理信息确定部320]
人物管理信息确定部320参照设备识别信息来确定人物管理信息。另外,人物管理信息确定部320参照人物8与用户之间的对话历史记录来更新人物管理信息。
更具体而言,人物管理信息确定部320参照存储部33中所存储的人物管理DB330,确定与设备识别信息对应的人物管理信息。另外,人物管理信息确定部320参照人物8与用户之间的对话历史记录来更新存储部33的人物存储DB331。
人物管理信息确定部320将已确定的人物管理信息经由服务器通信部31发送至终端装置2。
这样,人物管理信息确定部320能够通过确定与设备识别信息对应的人物管理信息来确定与家电设备5相关的人物管理信息。另外,人物管理信息确定部320能够将与设备识别信息对应的人物管理信息经由服务器通信部31发送至终端装置2。由此,人物管理信息确定部320能够使与家电设备5相关的人物8的图像重叠于拍摄图像7而显示在终端装置2中。结果是人物管理信息确定部320能够提高家电设备5与人物8之间的相关性。
此外,包括人物管理信息确定部320所参照的人物管理DB330的存储部33也可存储于与包括人物管理信息确定部320的服务器3不同的服务器。在此情况下,人物管理信息确定部320能够经由网络4,参照存储于其他服务器的存储部33的人物管理DB330。另外,人物管理DB330可分散在多个存储部33中,也可分散在多个服务器中。由此,能够减轻一个服务器3的负担并确定人物管理信息。
[人物管理信息的确定]
以下,参照图3(a)说明服务器控制部32的人物管理信息确定部320对于人物管理信息的确定。
图3(a)是表示服务器3的存储部33中所存储的人物管理DB330的一例的图。
此处,人物管理信息确定部320除了获取设备类别信息以外,还获取设备ID及拍摄位置信息中的至少一个设备识别信息。在此情况下,人物管理信息确定部320搜索与设备类别信息对应的人物的外观、及与设备ID或拍摄位置信息对应的人物ID是否在图3(a)的人物管理DB330内。
例如,设备类别信息为烤箱微波炉一体机,设备ID为HE_1212。在此情况下,人物管理信息确定部320将人物的外观为微波炉太郎且人物ID为CH_0001的信息确定为人物管理信息。
同样地,设备类别信息为烤箱微波炉一体机,拍摄位置信息为纬度35.6°、经度140.0°及高度30m。在此情况下,人物管理信息确定部320将人物的外观为微波炉太郎且人物ID为CH_0001的信息确定为人物管理信息。
另外,人物管理信息确定部320除了设备类别信息以外,不获取设备ID及拍摄位置信息中的任何信息。或者,不存在与设备ID及拍摄位置信息对应的人物ID。在此情况下,人物管理信息确定部320将仅包含人物的外观的信息确定为用于确定人物8的人物管理信息。即,用于确定人物8的信息仅反映人物的外观。
此外,不存在人物ID的情况例如可列举图3(a)的人物管理DB330的与设备ID及拍摄位置信息对应的人物ID为空白栏的情况。
另外,在用于确定人物8的信息仅反映人物的外观时,表达内容及服装等人物管理信息成为一般的信息。原因在于:人物ID未反映人物8。
例如,人物的外观为如图2所示的将微波炉拟人化而成的微波炉太郎。在此情况下,与“我是微波炉太郎”等、“我是A太郎”等相比,该微波炉太郎会说出不确定人物8的内容。另外,在此情况下,该微波炉太郎穿着如图2所示的围裙,与穿着羽绒服的微波炉太郎相比,其服装容易根据作为外观的依据的家电设备5被想到。
例如,设备类别信息为烤箱微波炉一体机。在此情况下,人物管理信息确定部320将人物的外观为微波炉太郎的信息确定为人物管理信息。这样,即使在无法获取设备类别信息以外的设备识别信息的情况下,人物管理信息确定部320也能够确定与家电设备5相关的人物管理信息。
[确定人物管理信息的变更例1]
此外,人物管理信息确定部320也可不将仅包含人物的外观的信息确定为用于确定人物8的人物管理信息。取而代之,人物管理信息确定部320也可在人物管理DB330上制作新的人物ID。由此,人物管理信息确定部320能够将包含人物的外观及新的人物ID的信息确定为人物管理信息。
[确定人物管理信息的变更例2]
在所述例子中,人物管理信息确定部320参照图3(a)的人物管理DB330中的设备识别信息来确定人物管理信息。但是,在本实施方式中,并不限定于此。在本实施方式中,人物管理信息确定部320也可不参照设备识别信息而确定人物管理信息。
此处,人物管理信息不仅包含图3(a)所示的人物ID及人物的外观,而且还包含图3(b)所示的信息ID及人物存储信息等。因此,人物管理信息确定部320能够参照图3(b)的人物存储DB331来确定人物管理信息。
例如,人物管理信息确定部320能够根据人物存储DB331,确定与从终端装置2获取的人物ID及信息ID对应的人物存储信息。由此,人物管理信息确定部320能够将包含已确定的人物存储信息的人物管理信息经由服务器通信部31发送至终端装置2。结果是终端装置2的终端控制部23能够经由提示部25向用户提示反映了人物存储信息的人物8。
[人物管理信息的更新]
另外,人物管理信息确定部320不仅能够确定人物管理信息,而且还能够更新人物管理信息。
即,人物管理信息确定部320对于“人物管理信息的确定”并不限定于确定已存在于人物管理DB330及人物存储DB331中的任一个数据库的人物管理信息。人物管理信息确定部320对于“人物管理信息的确定”还包含在人物管理DB330及人物存储DB331中的任一个数据库中新增人物管理信息。
以下,使用图3(b)说明人物管理信息确定部320对于人物管理信息的更新。
此处,在说明人物管理信息的更新之前,首先,对服务器3的存储部33中所存储的图3(b)的人物存储DB331进行说明。
[人物存储DB331]
图3(b)是表示人物存储DB331的一例的图。
此处,如上所述,图3(b)的信息ID是指存储有人物8所存储的信息的种类。例如,图3(b)的人物存储DB331所示的信息ID中的“信息ID1”是指用户喜欢的食物。“信息ID2”是指用户是什么人。“信息ID10”是指人物8住在谁家。“信息ID20”是指人物8当前的行为。“信息ID38”是指用户的生日。
另外,如上所述,图3(b)的人物存储信息是指针对信息ID的人物8的具体信息的内容。例如,如图3(b)的人物存储DB331所示,人物存储信息“鱼”对应于“信息ID1”(用户喜欢的食物)。由此,人物管理信息被确定为“用户喜欢的食物是鱼”。
此外,在图3(b)的人物存储DB331中,应用程序ID为空白栏的部位是指与人物8自身相关的信息。
[更新人物管理信息的具体例1]
鉴于所述说明,以下,使用具体例来说明人物管理信息的更新。
例如,终端控制部23通过反映了人物ID“CH_0001”的人物8询问用户“您喜欢吃什么?”。另外,人物管理信息确定部320经由服务器通信部31,从用户的终端装置2获取“鱼”这一回答。在此情况下,人物管理信息确定部320从“鱼”这一回答中提取“鱼”这一关键词。
接着,人物管理信息确定部320使与人物8的问题“您喜欢吃什么?”相关的“信息ID1”(用户喜欢的食物)、与从用户的回答中提取的“鱼”对应。即,人物管理信息确定部320将对应于人物ID“CH_0001”与“信息ID1”的人物存储信息确定为“鱼”。
接着,如图3(b)的人物存储DB331所示,人物管理信息确定部320将所述对应关系反映至人物存储DB331。由此,对人物存储DB331的人物管理信息进行更新。
[更新人物管理信息的具体例2]
在所述例子中,终端控制部23通过反映了人物ID“CH_0001”的人物8,向用户发出与特定的信息ID相关的询问。另外,人物管理信息确定部320参照用户对于该询问的回答来确定人物管理信息。
但是,本实施方式并不限定于此。在本实施方式中,人物管理信息确定部320也可根据从用户的终端装置2获取的人物ID、信息ID及人物存储信息来确定人物管理信息。
此处,关于人物ID、信息ID及人物存储信息等人物管理信息,人物管理信息确定部320也可直接获取由用户经由文本输入部221输入的信息。另外,例如,用户不直接将信息ID及人物存储信息输入至终端信息输入部22,而是说出“我喜欢的食物是鱼”。在此情况下,人物管理信息确定部320也可根据用户的回答,将信息ID确定为“信息ID1(用户喜欢的食物)”,且将人物存储信息确定为“鱼”。
这样,人物管理信息确定部320在获取了人物ID、信息ID及人物存储信息的情况下,也能够更新人物存储DB331的人物管理信息。
[设备管理信息确定部321]
设备管理信息确定部321参照人物管理信息来确定设备管理信息。
更具体而言,设备管理信息确定部321参照人物管理信息及设备管理DB332来确定设备管理信息。与所述人物管理信息的确定同样地,此处所谓的设备管理信息的确定也包含基于新获取的信息来更新设备管理信息的含义。
设备管理信息确定部321将已确定的设备管理信息经由服务器通信部31发送至家电设备5。
这样,设备管理信息确定部321参照人物管理信息来确定设备管理信息,由此,能够使家电设备5参照与人物8所拥有的信息相关的信息。另外,设备管理信息确定部321能够将参照人物管理信息而确定的设备管理信息发送至终端装置2。由此,终端装置2的终端控制部23能够参照该设备管理信息,使与人物8所拥有的信息相关的人物8的图像重叠于拍摄图像7而被显示。这样,由设备管理信息确定部321确定设备管理信息,结果能够进一步提高家电设备5与人物8之间的相关性。
(确定设备管理信息)
以下,参照图3(c)的设备管理DB332说明设备管理信息确定部321对于人物管理信息的确定及更新。
此处,在说明设备管理信息的确定之前,首先,对服务器3的存储部33中所存储的图3(c)的设备管理DB332进行说明。
(设备管理DB332)
图3(c)是表示设备管理DB332的一例的图。
此处,如图3(c)的设备管理DB332所示,设备管理信息包含设备类别信息、设备ID、设备动作信息及设备存储信息。这样,设备管理信息是包含所述的设备识别信息的一部分的信息,且是确定家电设备5的个体并确定提示方式的信息。设备类别信息及设备ID与所述设备识别信息中所含的设备类别信息及设备ID相同,因此省略说明。
设备动作信息是与拍摄图像7中所含的家电设备5的动作相关的信息,更严格而言,是指表示家电设备5当前的动作状态的信息。设备动作信息与表3(b)的人物存储DB331的“信息ID20”(人物8当前的行为)关联。设备存储信息是指家电设备5工作时所参照的信息,其与人物存储DB331的信息ID及人物存储信息关联。此外,图3(c)表明设备动作信息及设备存储信息以元组形式,作为多个信息而存储于设备管理DB332,可随时更新并新增。
(确定设备管理信息的具体例1)
鉴于所述说明,以下,使用具体例来说明设备管理信息的确定。
例如,如上所述,终端控制部23通过反映了人物ID“CH_0001”的人物8询问用户“您喜欢吃什么?”。另外,人物管理信息确定部320经由服务器通信部31,从用户的终端装置2获取“鱼”这一回答。在此情况下,人物管理信息确定部320使人物ID“CH_0001”、“信息ID1”(用户喜欢的食物)及人物存储信息“鱼”对应,对人物存储DB331进行更新。
在此情况下,设备管理信息确定部321参照人物管理DB330的信息ID与人物存储信息,在设备管理DB332的设备存储信息中新增“用户喜欢的食物:鱼”。接着,设备管理信息确定部321将与“用户喜欢的食物:鱼”这一设备存储信息对应的设备动作信息中的“食谱建议”确定为设备动作信息。
此处,用户向家电设备5说出“今天做什么菜好呢?”。在此情况下,设备管理信息确定部321使“食谱建议”这一设备动作信息与“用户喜欢的食物:鱼”这一设备存储信息对应,将设备管理信息确定为“做个青花鱼味增煮怎么样?”。设备管理信息确定部321将该设备管理信息经由服务器通信部31发送至家电设备5,并使家电设备5的家电设备语音输出部521输出该设备管理信息。
由此,设备管理信息确定部321能够使家电设备5对于用户说出的“今天做什么菜好呢?”回答“做个青花鱼味增煮怎么样?”。另外,设备管理信息确定部321能够使家电设备5参照人物ID“CH_0001”的人物8的人物管理信息。
这样,设备管理信息确定部321能够以用户说话为起点,参照具有规定的人物ID的人物8的人物管理信息来确定设备管理信息。另外,设备管理信息确定部321能够以用户说话为起点,使家电设备5参照具有规定的人物ID的人物8的人物管理信息。
(确定设备管理信息的具体例2)
在所述例子中说明了如下方式,即,设备管理信息确定部321以用户说话为起点,使家电设备5输出已确定的设备管理信息。但是,在本实施方式中,并不限定于此。在本实施方式中,设备管理信息确定部321也可不以用户说话为起点而自发地使家电设备5输出已确定的设备管理信息。
例如,终端装置2所显示的人物8的人物ID为“CH_0001”,家电设备5的设备ID为“HE_1212”。在此情况下,设备管理信息确定部321使对应于图3(b)的设备管理DB332的设备ID“HE_1212”的设备动作信息“食谱建议”、与设备存储信息“用户的生日:6月6日”对应。
由此,设备管理信息确定部321将“今天是您的生日吧?做顿美味佳肴吧!”这一信息确定为设备管理信息。接着,设备管理信息确定部321将该设备管理信息发送至设备ID“HE_1212”的家电设备5。接着,设备管理信息确定部321使家电设备5的家电设备语音输出部521对用户说出“今天是您的生日吧?做顿美味佳肴吧!”。即,设备管理信息确定部321能够使家电设备5参照人物ID“CH_0001”的人物8的人物管理信息。
这样,设备管理信息确定部321能够自发地参照具有规定的人物ID的人物8的人物管理信息来确定设备管理信息。另外,设备管理信息确定部321能够自发地使家电设备5参照具有规定的人物ID的人物8的人物管理信息。
其次,在以下的信息提供处理中,更详细地说明设备管理信息确定部321使家电设备5参照人物管理信息的过程。
[信息提供处理]
参照图4对本实施方式的显示系统1中的信息提供处理(信息提供方法)进行说明。图4是表示本实施方式的显示系统1中的信息提供处理的流程的一例的序列图。
本实施方式的显示系统1通过执行以下说明的步骤S101~步骤S109进行信息提供处理。
步骤S101:在更新了图3(b)所示的人物存储DB331的情况下,首先,服务器3参照人物存储DB331。接着,服务器3获取人物存储DB331中新增的人物ID、信息ID及人物存储信息。
步骤S102:其次,服务器3参照图3(a)所示的人物管理DB330,获取与人物ID对应的设备ID。
步骤S103:服务器3的设备管理信息确定部321根据已获取的信息ID及人物存储信息来确定设备存储信息。
例如,在信息ID为“信息ID1”(用户喜欢的食物),且人物存储信息为“鱼”的情况下,服务器3的设备管理信息确定部321将设备存储信息确定为“用户喜欢的食物:鱼”。
步骤S104:服务器3的设备管理信息确定部321参照图3(c)所示的设备管理DB332,使设备ID与已确定的设备存储信息对应。由此,服务器3的设备管理信息确定部321确定设备管理信息并进行更新。结果是设备管理DB332被更新。
这样,根据服务器3的设备管理信息确定部321,即使设备管理信息并非是现有的设备管理信息,也能够参照人物管理信息来更新设备管理信息。这样,根据服务器3的设备管理信息确定部321,能够进一步提高家电设备5与人物8之间的相关性。
步骤S105:在服务器3的设备管理信息确定部321将已更新的设备管理信息发送至家电设备5的情况下(步骤S105为是),前进至步骤S107。在服务器3的设备管理信息确定部321不将已更新的设备管理信息发送至家电设备5的情况下(步骤S105为否),前进至步骤S106。
步骤S106:在设备管理信息确定部321不将设备管理信息发送至家电设备5的情况下,结束信息提供处理。
步骤S107:服务器3的设备管理信息确定部321经由服务器通信部31,将已更新的设备管理信息发送至家电设备5(设备管理信息确定工序)。即,服务器3的设备管理信息确定部321命令家电设备5参照设备管理信息并进行特定的动作。
步骤S108:家电设备5经由家电设备通信部50,从服务器3接收设备管理信息。
步骤S109:家电设备5参照所接收的设备管理信息而工作。
[信息提供处理的变更例1]
显示系统1中的服务器3的设备管理信息确定部321使家电设备5参照人物管理信息的信息提供处理并不限定于所述例子。服务器3的设备管理信息确定部321在更新了人物存储DB331的情况以外的情况下,也能够进行信息提供处理。
参照图5对本实施方式的显示系统1中的信息提供处理的变更例1进行说明。图5是表示本实施方式的显示系统1中的信息提供处理的流程的一例的序列图。
本实施方式的显示系统1也能够通过执行以下说明的步骤S121~步骤S128进行信息提供处理。
步骤S121:对如下情况进行说明,即,家电设备5的操作部52接受用户对于按钮等的按压,启动了利用人物管理信息的应用程序的情况。
此处,在家电设备5参照人物管理信息而自发地对用户作出表达的情况下,家电设备5首先经由家电设备通信部50,将自身的设备ID及设备动作信息发送至服务器3。
步骤S122:服务器3的设备管理信息确定部321经由服务器通信部31,从家电设备5接收设备ID及设备动作信息。
步骤S123:服务器3的设备管理信息确定部321参照图3(c)所示的设备管理DB332。此处,设备管理DB332已包含所接收的设备ID及设备动作信息。在此情况下,设备管理信息确定部321判断出家电设备5想要获取已存在于设备管理DB332的设备存储信息等信息。接着,设备管理信息确定部321获取与设备ID对应的设备存储信息。图3(c)表明该设备存储信息例如为“用户喜欢的食物:鱼”、“用户不喜欢的食物:蔬菜”、“天气:晴”及“用户的生日:6月6日”等多个信息。
此外,假设在所接收的设备ID及设备动作信息未包含于设备管理DB332的情况下,设备管理信息确定部321判断出家电设备5想要对信息进行更新。在此情况下,设备管理信息确定部321将设备ID及与该设备ID对应的设备动作信息中的未记载于设备管理信息确定部321的信息新增至设备管理DB332。
步骤S124:服务器3的设备管理信息确定部321参照从家电设备5获取的特定的设备动作信息。接着,设备管理信息确定部321从多个设备存储信息中,选择并确定与特定的设备动作信息相关的设备存储信息。例如,在设备动作信息为“食谱建议”的情况下,服务器3的设备管理信息确定部321将所述多个设备存储信息中的“用户喜欢的食物:鱼”确定为设备存储信息。
步骤S125:服务器3的设备管理信息确定部321使已获取的设备动作信息、与已确定的设备存储信息对应,并确定设备管理信息。
例如,与人物ID“CH_0001”对应的设备ID“HE_1212”的家电设备5所获取的设备动作信息为“食谱建议”。另外,已确定的设备存储信息为“用户喜欢的食物:鱼”。在此情况下,服务器3的设备管理信息确定部321将设备管理信息确定为“做个青花鱼味增煮怎么样?”。
步骤S126:服务器3的设备管理信息确定部321经由服务器通信部31,将已确定的设备管理信息发送至家电设备5(设备管理信息确定工序)。即,服务器3的设备管理信息确定部321命令家电设备5参照设备管理信息并进行特定的动作。
例如,服务器3的设备管理信息确定部321发出从家电设备5的家电设备语音输出部521输出“做个青花鱼味增煮怎么样?”这一语音的动作命令。
步骤S127:家电设备5经由家电设备通信部50,从服务器3接收设备管理信息。
步骤S128:家电设备5参照所接收的设备管理信息而工作。
这样,只要将设备ID及设备动作信息从家电设备5发送至服务器3,设备管理信息确定部321就能够命令家电设备5进行例如表达出具体内容的动作。
[信息提供处理的变更例2]
显示系统1中的服务器3的设备管理信息确定部321在如下所示的情况下,也能够进行信息提供处理。
参照图6对本实施方式的显示系统1中的信息提供处理的变更例2进行说明。图6是表示本实施方式的显示系统1中的信息提供处理的流程的一例的序列图。
本实施方式的显示系统1也能够通过执行以下说明的步骤S141~步骤S150进行信息提供处理。
步骤S141:对如下情况进行说明,即,家电设备5的操作部52接受用户对于按钮等的按压,启动了利用人物管理信息的应用程序。
首先,家电设备5从用户接受了通过语音进行的询问等语音输入。由此,家电设备5的家电设备控制部51经由家电设备语音输入部520获取语音数据。
步骤S142:家电设备5的家电设备控制部51经由家电设备通信部50,发送自身的设备ID及已获取的语音数据。
步骤S143:服务器3的设备管理信息确定部321经由服务器通信部31,从家电设备5接收设备ID及语音数据。
步骤S144:服务器3的设备管理信息确定部321通过众所周知的语音识别系统,根据语音数据来确定设备动作信息。例如,在语音数据为“今天做什么菜好呢?”的情况下,服务器3的设备管理信息确定部321从语音数据中提取关键词“什么”及“做”。接着,服务器3的设备管理信息确定部321参照图3(c)的设备管理DB332。接着,服务器3的设备管理信息确定部321从多个设备动作信息中,将接近该关键词的领域的动作信息即“食谱建议”确定为设备动作信息。
步骤S145:服务器3的设备管理信息确定部321参照图3(c)的设备管理DB332,获取与已获取的设备ID对应的多个设备存储信息。例如,在设备ID为“HE_1212”的情况下,服务器3的设备管理信息确定部321获取“用户喜欢的食物:鱼”、“用户不喜欢的食物:蔬菜”、“天气:晴”及“用户的生日:6月6日”这一设备存储信息。
步骤S146:服务器3的设备管理信息确定部321从多个设备存储信息中,选择并确定与设备动作信息相关的设备存储信息。例如,在设备动作信息为“食谱建议”的情况下,设备管理信息确定部321将所述多个设备存储信息中的“用户喜欢的食物:鱼”确定为设备存储信息。
步骤S147:服务器3的设备管理信息确定部321使已获取的设备动作信息、与已确定的设备存储信息对应,并确定为设备管理信息。例如,与人物ID“CH_0001”对应的设备ID“HE_1212”的家电设备5所获取的设备动作信息为“食谱建议”。另外,已确定的设备存储信息为“用户喜欢的食物:鱼”。在此情况下,设备管理信息确定部321将设备管理信息确定为“做个青花鱼味增煮怎么样?”。
步骤S148:服务器3的设备管理信息确定部321经由服务器通信部31,将已确定的设备管理信息发送至家电设备5(设备管理信息确定工序)。即,服务器3的设备管理信息确定部321命令家电设备5参照设备管理信息并进行特定的动作。例如,服务器3的设备管理信息确定部321发出从家电设备5的家电设备语音输出部521输出“做个青花鱼味增煮怎么样?”这一语音的动作命令。
步骤S149:家电设备5经由家电设备通信部50,从服务器3接收设备管理信息。
步骤S150:家电设备5参照所接收的设备管理信息而工作。
根据以上的内容,显示系统1中的服务器3的设备管理信息确定部321能够使家电设备5在接受了语音输入时,参照人物管理信息而进行说话等动作。
[信息提供处理的变更例3]
服务器3的设备管理信息确定部321在如下所示的情况下,也能够进行信息提供处理。
参照图7对本实施方式的显示系统1中的信息提供处理的变更例3进行说明。图7是表示本实施方式的显示系统1中的信息提供处理的流程的一例的序列图。
本实施方式的显示系统1也能够通过执行以下说明的步骤S161~步骤S169进行信息提供处理。
步骤S161:以下,对如下方式进行说明,即,服务器3以固定的时机例如每天,或在收到了地震速报时,或者以特定的时机例如用户的生日,对家电设备5发出动作命令。
首先,服务器3的设备管理信息确定部321决定图3(b)的人物存储DB331的信息ID。另外,服务器3的设备管理信息确定部321搜索与该信息ID对应的人物ID及人物存储信息。
例如,在用户的生日已来临的情况下,服务器3的设备管理信息确定部321参照人物存储DB331,搜索与“信息ID38”(用户的生日)对应的人物ID及人物存储信息。
步骤S162:在服务器3的设备管理信息确定部321找到了与信息ID对应的人物ID及人物存储信息的情况下(步骤S162为是),前进至步骤S164。在服务器3的设备管理信息确定部321未能够找到与信息ID对应的人物ID及人物存储信息的情况下(步骤S162为否),前进至步骤S163。
例如,在信息ID为“信息ID38”(生日)的情况下,服务器3的设备管理信息确定部321将人物ID确定为“CH_0004”,并将人物存储信息确定为“6月6日”。
无法找到人物ID及人物存储信息的情况是指与人物存储DB331的信息ID对应的人物ID及人物存储信息中的至少任一个信息为空白栏的情况。
步骤S163:在服务器3的设备管理信息确定部321未能够找到与信息ID对应的人物ID及人物存储信息的情况下,结束处理。
步骤S164:服务器3的设备管理信息确定部321参照图3(a)的人物管理DB330来确定与人物ID对应的设备ID。
步骤S165:服务器3的设备管理信息确定部321根据已获取的信息ID及人物存储信息来确定设备存储信息。
例如,在信息ID为“信息ID38”(用户的生日),且人物存储信息为“6月6日”的情况下,服务器3的设备管理信息确定部321将设备存储信息确定为“用户的生日:6月6日”。
步骤S166:服务器3的设备管理信息确定部321参照图3(c)所示的设备管理DB332,使设备ID与设备存储信息对应。由此,服务器3的设备管理信息确定部321确定设备管理信息。
例如,在设备ID为“HE_1212”,且设备存储信息为“用户的生日6月6日”的情况下,服务器3的设备管理信息确定部321将设备管理信息确定为“今天是您的生日吧?做顿美味佳肴吧!”。
步骤S167:服务器3的设备管理信息确定部321经由服务器通信部31,将已确定的设备管理信息发送至家电设备5(设备管理信息确定工序)。即,服务器3的设备管理信息确定部321命令家电设备5参照设备管理信息并进行特定的动作。
例如,服务器3的设备管理信息确定部321发出从家电设备5的家电设备语音输出部521输出“今天是您的生日吧?做顿美味佳肴吧!”这一语音的动作命令。
步骤S168:家电设备5经由家电设备通信部50,从服务器3接收设备管理信息。
步骤S169:家电设备5将所接收的设备管理信息而工作。
这样,服务器3的设备管理信息确定部321能够以特定的时机,使家电设备5参照人物管理信息并自发地进行说话等动作。
这样,本实施方式的服务器3是对将人物8的图像重叠于拍摄图像7而进行显示的终端装置2提供信息的服务器3,其包括服务器通信部31与服务器控制部32,服务器控制部32参照确定拍摄图像7中所含的家电设备5的个体的设备识别信息,确定管理人物8的提示方式的人物管理信息,将已确定的人物管理信息经由服务器通信部31发送至终端装置2,或参照人物管理信息来确定设备管理信息,将已确定的设备管理信息经由服务器通信部31发送至家电设备5,所述设备管理信息确定家电设备5的提示方式。
服务器3的服务器控制部32将参照设备识别信息而确定的人物管理信息发送至终端装置2,或将参照人物管理信息而确定的设备管理信息发送至家电设备5。因此,人物8的提示方式与家电设备5的提示方式相关。由此,服务器3能够进一步提高人物8与家电设备5之间的相关性。
另外,在本实施方式的服务器3中,服务器控制部32进行参照设备识别信息而更新人物管理信息,或参照人物管理信息而更新设备管理信息的至少任一种控制。
即使人物管理信息并非是现有的人物管理信息,服务器3的服务器控制部32也能够参照设备识别信息来更新人物管理信息。另外,即使设备识别信息并非是现有的设备识别信息,服务器3的服务器控制部32也能够参照人物管理信息来更新设备识别信息。由此,服务器3能够进一步提高人物8与家电设备5之间的相关性。
另外,在本实施方式的服务器3中,设备识别信息包含根据拍摄图像7中所含的家电设备5的外观获得的类别信息即设备类别信息。
服务器3的服务器控制部32能够确定与设备识别信息中的设备类别信息相关的人物管理信息。另外,服务器3的服务器控制部32能够将与设备类别信息对应的人物管理信息发送至终端装置2。由此,包含服务器控制部32的服务器3能够使与家电设备5的设备类别信息相关的人物8的图像重叠于拍摄图像7而显示在终端装置2中。由此,服务器3能够进一步提高家电设备5与人物8之间的相关性。
另外,在本实施方式的服务器3中,设备识别信息还包含拍摄图像7的拍摄位置信息。
服务器3的服务器控制部32能够确定还与设备识别信息中的拍摄位置信息相关的人物管理信息。另外,服务器3的服务器控制部32除了能够将设备类别信息发送至终端装置2之外,还能够将还与拍摄位置信息对应的人物管理信息发送至终端装置2。由此,包含服务器控制部32的服务器3能够使还与家电设备5的拍摄位置信息相关的人物8的图像重叠于拍摄图像7而显示在终端装置2中。由此,服务器3能够进一步提高家电设备5与人物8之间的相关性。
另外,在本实施方式的服务器3中,设备识别信息还包含通过与拍摄图像7中所含的家电设备5之间的通信而获得的设备ID。
服务器3的服务器控制部32能够确定设备识别信息中的还与设备ID相关的人物管理信息。另外,服务器3的服务器控制部32除了设备类别信息之外,还能够将还与设备ID对应的人物管理信息发送至终端装置2。由此,包含服务器控制部32的服务器3能够使还与家电设备5的设备ID相关的人物8的图像重叠于拍摄图像7而显示在终端装置2中。由此,服务器3能够进一步提高家电设备5与人物8之间的相关性。
另外,本实施方式的终端装置2是包括拍摄部21、提示部25、终端控制部23及终端通信部24的终端装置2,提示部25包括显示部251,终端控制部23进行至少任一种控制,即,从对终端装置2提供信息的服务器3,获取参照设备识别信息而确定的管理人物8的提示方式的人物管理信息,使人物8的图像以重叠于拍摄部21的拍摄图像7的方式而显示在显示部251中,该设备识别信息确定拍摄图像7中所含的家电设备5的个体,或者将对家电设备5的个体进行识别的设备识别信息经由终端通信部24发送至服务器3。
根据本实施方式的终端装置2,能够使与家电设备5相关的人物8的图像重叠于拍摄图像7而被显示。由此,终端装置2能够进一步提高家电设备5与人物8之间的相关性。
另外,在本实施方式的终端装置2中,设备识别信息对应于为了确定设备管理信息而参照的人物管理信息,该设备管理信息确定家电设备5的提示方式。
在设备识别信息对应于为了确定设备管理信息而参照的人物管理信息的情况下,能够进一步提高家电设备5与人物8之间的相关性,该设备管理信息确定家电设备5的提示方式。
另外,本实施方式的显示系统1是包含服务器3与终端装置2的显示系统1,终端装置2包括拍摄部21、提示部25、终端控制部23及终端通信部24,服务器3包括服务器通信部31与服务器控制部32,服务器控制部32进行至少任一种控制,即,参照确定拍摄图像7中所含的家电设备5的个体的设备识别信息,确定管理人物8的提示方式的人物管理信息,将已确定的人物管理信息经由服务器通信部31发送至终端装置2,或者参照人物管理信息来确定设备管理信息,该设备管理信息确定家电设备5的提示方式,将已确定的设备管理信息经由服务器通信部31发送至家电设备5,终端控制部23参照人物管理信息,使人物8的图像以重叠于拍摄部21的拍摄图像7的方式而显示在显示部251中。
根据本实施方式的显示系统1,能够使与家电设备5相关的人物8的图像重叠于拍摄图像7而被显示。由此,显示系统1能够进一步提高家电设备5与人物8之间的相关性。
另外,本实施方式的信息提供方法是对将人物8的图像重叠于拍摄图像7而进行显示的终端装置2提供信息的信息提供方法,其包含人物管理信息确定工序及设备管理信息确定工序中的至少任一个工序,所述人物管理信息确定工序参照确定拍摄图像7中所含的家电设备5的个体的设备识别信息,确定管理人物8的提示方式的人物管理信息,将已确定的人物管理信息发送至终端装置2,所述设备管理信息确定工序参照人物管理信息来确定家电设备5的提示方式,将已确定的设备识别信息发送至家电设备5。
根据本实施方式的信息提供方法,能够使与家电设备5相关的人物8的图像重叠于拍摄图像7而被显示。由此,信息提供方法能够进一步提高家电设备5与人物8之间的相关性。
<实施方式2>
在实施方式1中,服务器3的服务器控制部32参照人物管理信息来确定设备管理信息。但是,服务器控制部也可像实施方式2的服务器30(未图示)的服务器控制部34(未图示)那样,代替服务器控制部32的功能,或除了服务器控制部32的功能之外,还具备其他功能。
[显示系统10]
本实施方式的显示系统10(未图示)包括服务器30来代替服务器3。服务器30包括服务器控制部34来代替服务器控制部32。服务器控制部34包括人物管理信息确定部340来代替人物管理信息确定部320。除了这些方面以外,服务器30的结构与服务器3相同。
[服务器30]
服务器30包括服务器控制部34。
服务器控制部34的人物管理信息确定部340除了具备服务器控制部32的人物管理信息确定部320所具有的功能之外,还具备其他功能。所述其他功能是参照设备管理信息来确定人物管理信息的功能。
人物管理信息确定部340参照设备管理信息来确定人物管理信息,并将该人物管理信息发送至终端装置2。由此,重叠于终端装置2的拍摄图像7而显示的人物8的图像与家电设备5的提示方式相关。这样,人物管理信息确定部340能够与拍摄图像7重叠地显示与家电设备5相关的人物8的图像。
更具体而言,人物管理信息确定部340根据设备动作信息而变更人物8的提示方式。
由此,人物管理信息确定部340能够实时地使家电设备5的动作与人物8的动作联动。
[人物管理信息确定部340的功能的具体例1]
以下,使用图3(a)~图3(c)对人物管理信息确定部340的功能的具体例进行说明。
例如,在家电设备5开始播放音乐的情况下,家电设备5将设备ID“HE_3333”及设备动作信息“音乐播放”发送至人物管理信息确定部340。
获取了该设备ID及设备动作信息的人物管理信息确定部340参照图3(a)的人物管理DB330,将与设备ID“HE_3333”对应的“CH_0002”确定为人物ID。另外,人物管理信息确定部340将与设备动作信息“音乐播放”关联的“信息ID20”(人物8当前的行为)及“音乐欣赏”确定为信息ID及人物存储信息。
此处,“信息ID20”与人物存储信息“音乐欣赏”并未对应于人物存储DB331的人物ID“CH_0002”。在此情况下,如图3(b)的人物存储DB331所示,人物管理信息确定部340将该对应关系反映至人物存储DB331,对人物存储DB331进行更新。
这样,即使人物管理信息并非是现有的信息,人物管理信息确定部340也能够参照设备管理信息来更新人物管理信息。结果是人物管理信息确定部340能够进一步提高家电设备5与人物8之间的相关性。
此外,在图3(b)的人物存储DB331中未记载应用程序ID的情况下,人物存储DB331的人物管理信息是指与人物8自身相关的信息。在记载有应用程序ID的情况下,人物存储DB331中所记载的信息是指例如通过用户与人物8之间的对话而经过更新后的信息。
在对人物存储DB331进行了更新后,人物管理信息确定部340将已确定的“信息ID20”(人物8当前的行为)及人物存储信息“音乐欣赏”发送至终端装置2。终端装置2的终端控制部23在家电设备5播放音乐时,参照该信息ID及人物存储信息,将人物8的提示方式变更为“音乐欣赏”等。由此,人物管理信息确定部340能够在家电设备5正在播放音乐的过程中,也使人物ID“CH_0002”的人物8欣赏音乐。
另外,在家电设备5结束音乐播放时,人物管理信息确定部340将“信息ID20”(人物8当前的行为)及人物存储信息“待机”发送至终端装置2。由此,人物管理信息确定部340能够与家电设备5的动作联动地使人物8的音乐欣赏动作结束。此外,此处所谓的“待机”是指在停止了上一次动作的状态下,等待到下一个状态的动作状态。
[人物管理信息确定部340的功能的具体例2]
另外,人物管理信息确定部340也可反复地例如每隔1秒,定期查询人物存储DB331,决定是否变更人物8的提示方式。
例如,当正在显示反映了人物ID的人物8时,终端装置2定期将人物ID发送至服务器30的人物管理信息确定部340。
人物管理信息确定部340参照人物存储DB331,确认与已获取的人物ID对应的信息ID及人物存储信息是否已被更新。另外,人物管理信息确定部340确认与已获取的人物ID对应的信息ID及人物存储信息是否与设备动作信息关联。
此处,新增了与已获取的人物ID对应的信息ID及人物存储信息,且该信息ID及人物存储信息与设备动作信息关联。在此情况下,人物管理信息确定部340将新增的信息ID及人物存储信息确定为新的人物管理信息。接着,人物管理信息确定部340将该人物管理信息发送至终端装置2。终端装置2的终端控制部23参照该人物管理信息来变更人物8的提示方式。
这样,人物管理信息确定部340能够定期查询人物存储DB331。由此,人物管理信息确定部340能够通过人物8的动作来实时反映家电设备5的动作。
[信息提供处理]
参照图8对本实施方式的显示系统10中的信息提供处理(信息提供方法)进行说明。图8是表示本实施方式的显示系统10中的信息提供处理的流程的一例的序列图。
本实施方式的显示系统10通过执行以下说明的步骤S201~步骤S211进行信息提供处理。
步骤S201:家电设备5开始进行新的动作。在此情况下,家电设备5将该家电设备5自身的设备ID及设备动作信息经由家电设备通信部50发送至服务器30。
步骤S202:服务器30的设备管理信息确定部321经由服务器通信部31从家电设备5接收设备ID及设备动作信息。
步骤S203:服务器30的设备管理信息确定部321参照图3(c)的设备管理DB332,使设备ID与设备动作信息对应。由此,服务器30的设备管理信息确定部321确定设备管理信息并进行更新。结果是设备管理DB332被更新。
步骤S204:在服务器30的人物管理信息确定部340根据更新后的设备管理信息中的设备动作信息来变更人物8的提示方式的情况下(步骤S204为是),前进至步骤S206。在服务器30的人物管理信息确定部340不根据更新后的设备管理信息中的设备动作信息来变更人物8的提示方式的情况下(步骤S204为否),前进至步骤S205。
步骤S205:在服务器30的人物管理信息确定部340不根据更新后的设备管理信息中的设备动作信息来变更人物8的提示方式的情况下,结束信息提供处理。
步骤S206:服务器30的人物管理信息确定部340参照图3(a)的人物管理DB330来确定与设备ID对应的人物ID。
例如,在设备ID为“HE_3333”时,服务器30的人物管理信息确定部340将人物ID确定为“CH_0002”。
步骤S207:另外,服务器30的人物管理信息确定部340根据设备动作信息来确定信息ID及人物存储信息。
例如,在设备动作信息为“音乐播放”的情况下,服务器30的人物管理信息确定部340将与设备动作信息“音乐播放”关联的“信息ID20”(人物8当前的行为)及“音乐欣赏”确定为信息ID及人物存储信息。
步骤S208:服务器30的人物管理信息确定部340使人物ID与信息ID及人物存储信息对应。由此,服务器30的人物管理信息确定部340确定人物管理信息并进行更新。结果是人物存储DB331被更新。
例如,如图3(b)的人物存储DB331所示,人物管理信息确定部340将“CH_0002”、“信息ID20”(人物8当前的行为)及人物存储信息“音乐欣赏”确定为人物管理信息。
步骤S209:服务器30的人物管理信息确定部340经由服务器通信部31,将已确定的信息ID及人物存储信息发送至终端装置2(人物管理信息确定工序)。
这样,即使人物管理信息并非是现有的信息,服务器30的人物管理信息确定部340也能够参照设备管理信息来更新人物管理信息。这样,根据服务器3的人物管理信息确定部340,能够进一步提高家电设备5与人物8之间的相关性。由此,服务器30能够进一步提高家电设备5与人物8之间的相关性。
步骤S210:终端装置2经由终端通信部24从服务器30的人物管理信息确定部340接收信息ID及人物存储信息。
步骤S211:终端装置2的终端控制部23参照更新后的信息ID及人物存储信息来变更人物8的提示方式。由此,终端装置2的终端控制部23能够使人物8的动作实时地反映家电设备5的动作。
另外,在与本实施方式相关的服务器30中,服务器控制部34根据与拍摄图像7中所含的家电设备5的动作相关的信息即设备动作信息来变更人物8的提示方式。
服务器控制部34根据设备动作信息来变更人物8的提示方式。因此,服务器控制部34能够实时地使家电设备5的动作与人物8的动作联动。由此,服务器30能够进一步提高家电设备5与人物8之间的相关性。
另外,在本实施方式的终端装置2中,终端控制部23参照根据与拍摄图像7中所含的家电设备5的动作相关的信息即设备动作信息而变更后的人物8的提示方式,使人物8的图像以重叠于拍摄部21的拍摄图像7的方式而显示在显示部251中。
终端控制部23能够参照根据设备动作信息而变更后的人物8的提示方式,使人物8的图像显示在显示部251中。由此,终端控制部23能够使显示部251所显示的人物8的动作实时地与家电设备5的动作联动。由此,终端装置2能够进一步提高家电设备5与人物8之间的相关性。
<实施方式3>
服务器控制部也可像实施方式3的显示系统100的服务器控制部35(未图示)这样,除了具备服务器控制部32或服务器控制部34的功能之外,还具备其他功能。
[显示系统100]
本实施方式的显示系统100(未图示)包括服务器300(未图示)来代替服务器3或服务器30。服务器300包括服务器控制部35来代替服务器控制部32或服务器控制部34。服务器控制部35包括人物管理信息确定部350来代替人物管理信息确定部320或人物管理信息确定部340。除了这些方面以外,服务器300的结构与服务器3或服务器30相同。
[服务器300]
服务器300包括服务器控制部35(未图示)。
服务器控制部35的人物管理信息确定部350(未图示)参照应用程序ID及密码等终端信息、及从人物8与用户之间的对话历史记录获得的人物存储信息。由此,人物管理信息确定部350决定人物8的表达内容。
人物管理信息确定部350将已决定的人物8的表达内容的数据发送至终端装置2。由此,终端装置2的终端控制部23能够从终端语音输出部250或显示部251等提示部25输出表达内容的数据。结果是终端装置2的终端控制部23能够让用户感到犹如人物8根据与用户之间的对话而进行表达。
此外,如上所述,人物8的表达内容的输出并不限定于由终端语音输出部250进行的语音输出,也可从显示部251输出。例如,终端控制部23可通过语音从终端语音输出部250输出“您喜欢吃鱼吧!”这一表达内容,也可以文本形式使显示部251显示该表达内容。
[人物管理信息确定部350的功能的具体例1]
以下,使用图3(a)及图3(b)对人物管理信息确定部350的功能的具体例进行说明。
例如,终端控制部23通过人物8询问用户“您喜欢吃什么?”。另外,对此,用户经由终端语音输入部220或文本输入部221等终端信息输入部22回答“鱼吧”。在此情况下,与实施方式1及实施方式2同样地,人物管理信息确定部350将对应于人物ID“CH_0001”与“信息ID1”(用户喜欢的食物)的人物存储信息确定为“鱼”。另外,人物管理信息确定部350对图3(b)的人物存储DB331进行更新。
此处,在人物管理DB330的与人物ID“CH_0001”对应的应用程序ID的栏中,有用户正在使用的终端装置2的应用程序ID“AP_0011”。在此情况下,人物管理信息确定部350能够将人物8确定为具有分配给用户的每个终端装置2的固有的人物管理信息的人物8。即,人物管理信息确定部350能够将人物8确定为单独分配给终端装置2的自定义人物。
这样,在人物8被确定为自定义人物的情况下,人物管理信息确定部350能够使自定义人物对于用户的表达内容与一般的人物8不同。
例如,用户正在使用的终端装置2的应用程序ID为“AP_0011”,人物ID“CH_0001”的人物8显示在显示部251中。在此情况下,人物管理信息确定部350参照图3(b)的人物存储DB331中的人物ID为“CH_0001”的人物管理信息。由此,人物管理信息确定部350决定人物8的表达内容。
此处,人物8为自定义人物。在此情况下,人物管理信息确定部350也能够参照包含隐私信息的人物管理信息来决定表达内容。
例如,人物管理信息确定部350能够参照图3(b)的人物存储DB331,将自定义人物的表达内容决定为“您喜欢吃鱼吧!”。另外,人物管理信息确定部350能够将自定义人物的表达内容决定为“我是微波炉太郎!住在A先生(女士)家的微波炉里哟!”。
另外,用户对于自定义人物回答了“出生在千叶”。在此情况下,人物管理信息确定部350能够将用户的“出生在千叶”这一信息作为包含隐私信息的人物管理信息而新增至人物存储DB331。
如上所述,人物管理信息确定部350参照应用程序ID与人物存储信息来决定人物8的表达内容。因此,人物管理信息确定部350能够按终端装置2而使人物8的表达内容有所不同。
[人物管理信息确定部350的功能的具体例2]
(人物管理信息确定部350的功能的具体例2-1)
在所述例子中,对人物8为自定义人物的情况下的人物管理信息确定部350的功能进行了说明。但是,人物管理信息确定部350的功能也能够应用于人物8为他人的自定义人物即并非用户自身的自定义人物的情况。
例如,用户的终端装置2的应用程序ID为“AP_0600”,人物ID“CH_0002”的人物8显示在显示部251中。另外,像图3(a)的人物管理DB330那样,在与人物ID“CH_0002”对应的应用程序ID的栏中,无应用程序ID“AP_0600”。
在此情况下,人物管理信息确定部350在参照图3(b)的人物存储DB331时,不会将包含隐私信息的内容决定为表达内容。即,人物管理信息确定部350参照与人物ID“CH_0002”对应的人物管理信息中的不包含隐私信息的人物管理信息来决定表达内容。例如,人物管理信息确定部350能够将“我是微波炉太郎!现在正在欣赏音乐!”决定为表达内容,但无法将“您喜欢吃肉吧!”决定为表达内容。
根据此种结构,人物管理信息确定部350参照应用程序ID与人物存储信息来决定人物8的表达内容。因此,人物管理信息确定部350能够按终端装置2而使人物8的提示方式有所不同。
另外,用户对并非自定义人物的人物8回答了“出生在千叶”。这样,在用户对并非自定义人物的人物8作出了包含隐私信息的回答的情况下,人物管理信息确定部350也可不将用户的“出生在千叶”这一信息新增至人物存储DB331。
(人物管理信息确定部350的功能的具体例2-2)
此处,有时即使在人物8为他人的自定义人物的情况下,人物管理信息确定部350也能够将该自定义人物设为用户自身的自定义人物。
例如,用户的终端装置2的应用程序ID为“AP_0600”,人物ID为“CH_0002”。在此情况下,人物管理信息确定部350例如使人物8表达出“想将我设为自定义人物的话,要告诉我密码哦!”。另外,人物管理信息确定部350从终端信息输入部22接受用户的密码。密码可通过语音形式输入至终端语音输入部220,也可以文本形式输入至文本输入部221。
在终端信息输入部22从用户接受了语音输入或文本输入时,终端信息获取部234从该输入信息中提取密码。终端信息获取部234将该密码经由终端通信部24发送至服务器300的人物管理信息确定部350。
人物管理信息确定部350确认该密码是否与对应于人物ID“CH_0002”的密码“□Z△?”相同。在该密码与“□Z△?”一致的情况下,人物管理信息确定部350使人物ID“CH_0002”与密码“AP_0600”对应。由此,在对于图3(a)的人物管理DB330的人物ID“CH_0002”的应用程序ID的栏中新增“AP_0600”。结果是人物管理信息确定部350能够将他人的自定义人物即人物8设为拥有应用程序ID为“AP_0600”的终端装置2的用户的自定义人物。
[人物管理信息确定部350的功能的具体例3]
在所述例子中,对人物8为反映了人物ID的人物8的情况下的人物管理信息确定部350的功能进行了说明。但是,人物管理信息确定部350的功能也能够应用于显示部251所显示的人物8为未反映人物ID的一般人物的情况。
此处所谓的一般人物例如是指未反映人物ID等信息的人物8。例如,在设备类别信息为烤箱微波炉一体机的情况下,一般人物的外观为如图2所示的有脸的微波炉这样的经拟人化并经过变形后的人物(微波炉太郎)的外观。另外,一般人物的微波炉太郎的表达内容为“我!微波炉太郎!”等,不包含固有信息的表达内容。
在此情况下,人物管理信息确定部350有时也能够将人物8设为用户自身的自定义人物。
在此情况下,人物管理信息确定部350例如使人物8表达出“想将我设为自定义人物的话,要告诉我密码哦!”。由此,人物管理信息确定部350从用户的终端装置2接受应用程序ID、以及设备ID及拍摄位置信息。
人物管理信息确定部350使已获取的密码、以及设备ID及拍摄位置信息中的至少一个信息与新的人物ID对应。由此,对人物管理DB330进行更新。结果是能够将一般人物设为用户的自定义人物。
[信息提供处理]
参照图9对本实施方式的显示系统100中的信息提供处理(信息提供方法)进行说明。图9是表示本实施方式的显示系统100中的信息提供处理的流程的一例的序列图。
本实施方式的显示系统100通过执行以下说明的步骤S301~步骤S311进行信息提供处理。
步骤S301:对如下情况进行说明,即,终端装置2的显示部251显示反映了人物ID的人物8,启动了确定人物管理信息的应用程序。
首先,终端装置2的终端控制部23将人物ID及信息ID经由终端通信部24发送至服务器300。
步骤S302:服务器300的人物管理信息确定部350经由服务器通信部31从终端装置2接收人物ID及信息ID。
步骤S303:服务器300的人物管理信息确定部350参照图3(b)的人物存储DB331。接着,服务器300的人物管理信息确定部350确定与人物ID及信息ID对应的人物存储信息。
步骤S304:其次,服务器300的人物管理信息确定部350参照图3(b)的人物存储DB331。在服务器300的人物管理信息确定部350已确认人物存储信息与隐私信息对应的情况下(步骤S304为是),前进至步骤S305。在服务器300的人物管理信息确定部350已确认人物存储信息与隐私信息不对应的情况下(步骤S304为否),前进至步骤S306。
步骤S305:服务器300的人物管理信息确定部350参照图3(b)的人物存储DB331。在服务器300的人物管理信息确定部350已确认人物ID与应用程序ID对应的情况下(步骤S305为是),前进至步骤S306。在服务器300的人物管理信息确定部350已确认人物ID与应用程序ID不对应的情况下(步骤S305为否),前进至步骤S309。
步骤S306:人物管理信息确定部350将人物8确定为自定义人物,并使人物ID、应用程序ID、信息ID及人物存储信息对应。由此,人物管理信息确定部350确定人物管理信息,并决定自定义人物的表达内容。人物管理信息确定部350经由服务器通信部31,将已确定的人物管理信息发送至终端装置2。
例如,人物ID为“CH_0001”,应用程序ID为“AP_0011”,信息ID为“信息ID1”(用户喜欢的食物),人物存储信息为“鱼”。在此情况下,人物管理信息确定部350能够将自定义人物的表达内容决定为“您喜欢吃鱼吧!”。在决定了表达内容后,人物管理信息确定部350将该表达内容的数据发送至终端装置2,并命令终端装置2进行输出该表达内容的动作。
步骤S307:终端装置2的终端控制部23经由终端通信部24从服务器300接收人物管理信息。
步骤S308:终端装置2的终端控制部23参照人物管理信息对用户作出表达。
步骤S309:在人物ID与应用程序ID不对应的情况下,人物管理信息确定部350将人物管理信息确定为一般的人物管理信息。即,人物管理信息确定部350将人物8的表达内容确定为不包含隐私信息的一般的表达内容。在决定了表达内容后,人物管理信息确定部350将该表达内容的数据发送至终端装置2,并命令终端装置2进行输出该表达内容的动作。
例如,人物管理信息确定部350将人物8的表达内容决定为“我是微波炉太郎!”,并将该表达内容的数据发送至终端装置2。
步骤S310:终端装置2的终端控制部23经由终端通信部24,从服务器300接收一般的人物管理信息。
步骤S311:终端装置2的终端控制部23参照一般的人物管理信息对用户作出表达。
[信息提供处理的变更例1]
显示系统100中的服务器300的人物管理信息确定部350在如下所示的情况下,也能够进行信息提供处理。
参照图10对本实施方式的显示系统100中的信息提供处理的变更例1进行说明。图10是表示本实施方式的显示系统100中的信息提供处理的流程的一例的序列图。
本实施方式的显示系统100也能够通过执行以下说明的步骤S321~步骤S326进行信息提供处理。
步骤S321:对如下情况进行说明,即,终端装置2的显示部251显示反映了人物ID的他人的自定义人物,终端装置2启动了确定人物管理信息的应用程序。
在此情况下,终端装置2的终端控制部23经由终端信息输入部22,获取由用户输入的密码。终端装置2的终端控制部23将人物ID及应用程序ID与已获取的密码一起发送至服务器300。
步骤S322:服务器300的人物管理信息确定部350经由服务器通信部31,从终端装置2接收密码、人物ID及应用程序ID。
步骤323:服务器300的人物管理信息确定部350参照图3(a)所示的人物管理DB330。服务器300的人物管理信息确定部350确认已获取的密码是否与对应于图3(a)的人物管理DB330的人物ID的密码相同。
在服务器300的人物管理信息确定部350判断为已获取的密码与图3(a)的人物管理DB330的密码相同的情况下(步骤S323为是),前进至步骤S326。在服务器300的人物管理信息确定部350判断为不同的情况下(步骤S323为否),前进至步骤S324。
步骤S324:服务器300的人物管理信息确定部350经由服务器通信部31,将表示密码错误的内容发送至终端装置2。
步骤S325:终端装置2经由终端通信部24,从服务器300接收表示密码错误的通知。终端装置2经由终端信息输入部22,再次接受用户的密码输入。
例如,终端装置2以语音或文本的形式,从提示部25的终端语音输出部250或显示部251输出表示密码错误的内容。
步骤S326:服务器300的人物管理信息确定部350使人物ID、应用程序ID及密码对应。即,服务器300的人物管理信息确定部350在与人物ID对应的应用程序ID中,新增进行了所述信息提供处理的终端装置2的用户的应用程序ID。由此,对人物管理DB330进行更新,原本是他人的自定义人物的人物8成为进行了所述信息提供处理的终端装置2的用户的自定义人物。
[信息提供处理的变更例2]
显示系统100中的服务器300的人物管理信息确定部350在如下所述的情况下,也能够进行信息提供处理。
参照图11对本实施方式的显示系统100中的信息提供处理的变更例2进行说明。图11是表示本实施方式的显示系统100中的信息提供处理的流程的一例的序列图。
本实施方式的显示系统100也能够通过执行以下说明的步骤S341~步骤S349进行信息提供处理。
步骤S341:对如下情况进行说明,即,终端装置2的显示部251显示未反映人物ID的一般人物,终端装置2启动了制作新的人物8的应用程序。
在此情况下,终端装置2的终端控制部23经由终端信息输入部22,从用户获取密码。该密码由用户任意地设定。
步骤S342:其次,终端装置2的终端控制部23确认是否已获取设备ID及拍摄位置信息中的至少任一个信息。在终端装置2的终端控制部23判断为已获取设备ID及拍摄位置信息中的至少任一个信息的情况下(步骤S342为是),前进至步骤S344。在终端装置2的终端控制部23判断为未获取家电设备5的设备ID及拍摄位置信息中的任何信息的情况下(步骤S342为否),前进至步骤S343。
步骤S343:在终端装置2的终端控制部23判断为未获取设备ID及拍摄位置信息中的任何信息的情况下,结束信息提供处理。
步骤S344:终端装置2的终端控制部23经由终端通信部24,将设备ID及拍摄位置信息中的已获取的各信息、应用程序ID及密码发送至服务器300。
步骤S345:服务器300的人物管理信息确定部350经由服务器通信部31,从终端装置2从终端装置2接收各信息、应用程序ID及密码。
步骤S346:服务器300的人物管理信息确定部350使各信息、应用程序ID、密码、设备类别信息及人物的外观对应,并确定人物管理信息。服务器300的人物管理信息确定部350将该人物管理信息反映并新增至人物管理DB330。由此,制作新的人物8,进行了所述信息提供处理的终端装置2所显示的一般人物成为自定义人物。
此外,对于设备ID及拍摄位置信息,人物管理信息确定部350仅将已获取的信息新增至图3(a)的人物管理DB330。
步骤S347:服务器300的人物管理信息确定部350经由服务器通信部31,将已确定的人物管理信息发送至终端装置2。
步骤S348:终端装置2的终端控制部23经由终端通信部24接收人物管理信息。
步骤S349:终端装置2的终端控制部23参照人物管理信息,使自定义人物的图像重叠于拍摄图像7而显示在显示部251中。
这样,在本实施方式的服务器300中,服务器控制部35参照用于对终端装置2与其他终端装置进行识别的应用程序ID、及从人物8与用户之间的对话历史记录获得的人物存储信息来决定人物8的表达内容。
服务器300的服务器控制部35参照应用程序ID与人物存储信息来决定人物8的表达内容。因此,人物管理信息确定部350能够按终端装置2,使人物8的表达内容不同。
另外,在本实施方式的终端装置2中,终端控制部23使提示部25输出参照用于对终端装置2与其他终端装置进行识别的应用程序ID、及从人物8与用户之间的对话历史记录获得的人物存储信息而决定的人物8的表达内容。
终端装置2的终端控制部23使提示部25输出参照应用程序ID与人物存储信息而决定的人物8的表达内容。因此,终端控制部23能够使提示部25输出按终端装置2而有所不同的表达内容。
<实施方式4>
服务器控制部也可像实施方式4的服务器3000(未图示)的服务器控制部36(未图示)这样,除了具备服务器控制部32、34或35的功能之外,还具备其他功能。
[显示系统500]
本实施方式的显示系统500(未图示)包括服务器3000(未图示)来代替服务器3、30或300。服务器3000包括服务器控制部36来代替服务器控制部32、34或35。服务器控制部36包括人物管理信息确定部360(未图示)来代替人物管理信息确定部320、340或350。除了这些方面以外,服务器3000的结构与服务器3、30或300相同。
[服务器3000]
服务器3000包括服务器控制部36。
服务器控制部36的人物管理信息确定部360(未图示)除了具备服务器控制部32、34或35所具有的功能之外,还具备其他功能。所述其他功能是进一步参照对应信息来确定人物管理信息的功能,在所述对应信息中,同一人物确定信息对应于互不相同的多个设备识别信息。
此处,新获取的设备识别信息与已存在于人物管理DB330内的设备识别信息不同。另外,新获取的应用程序ID与已存在于人物管理DB330内的应用程序ID相同。
在此情况下,人物管理信息确定部360使新获取的设备识别信息与人物管理信息对应,该人物管理信息与存在于人物管理DB330内的应用程序ID对应。即,人物管理信息确定部360使新获取的设备识别信息与现有的人物ID及人物的外观对应。接着,人物管理信息确定部360将该对应关系反映并新增至人物管理DB330内。
接着,人物管理信息确定部360将与新增的设备识别信息对应的人物ID及人物的外观决定为人物管理信息。由此,制作新的人物8。
这样,人物管理信息确定部360能够对于设备识别信息不同的家电设备5,确定同一人物管理信息。由此,人物管理信息确定部360能够使多个家电设备5对应于一个人物管理信息而进行分组。结果是人物管理信息确定部360能够使多个家电设备5共享同一人物8。
例如,人物管理信息确定部360即使在用户彼此的设备ID不同的情况下,也能够使各用户的终端装置2所显示的人物8的外观及人物ID相同。即,人物管理信息确定部360能够使各用户的终端装置2所显示的人物8的内部信息相同。结果是能够使例如“您喜欢吃鱼吧!”等各用户的终端装置2所显示的人物8的表达内容相同。
[信息提供处理]
参照图12对本实施方式的显示系统500中的信息提供处理(信息提供方法)进行说明。图12是表示本实施方式的显示系统500中的信息提供处理的流程的一例的序列图。
本实施方式的显示系统500通过执行以下说明的步骤S401~步骤S415进行信息提供处理。
步骤S401:对如下情况进行说明,即,终端装置2的显示部251显示了未反映人物ID的一般人物。另外,在此情况下,终端装置2启动了共享与其他家电设备5对应的自定义人物的应用程序。
首先,终端装置2经由终端通信部24,将应用程序ID发送至服务器3000。
步骤S402:服务器3000经由服务器通信部31,从终端装置2接收应用程序ID。
步骤S403:服务器3000的人物管理信息确定部360参照图3(a)的人物管理DB330,确定具有与新获取的应用程序ID相同的应用程序ID的人物管理信息。
步骤S404:人物管理信息确定部360经由服务器通信部31,将人物管理信息发送至终端装置2。
步骤S405:终端装置2的终端控制部23经由终端通信部24,从服务器3000接收人物管理信息。
步骤S406:终端装置2的终端控制部23参照所接收的人物管理信息。接着,终端控制部23确认是否获取了一组以上的人物管理信息,在该人物管理信息中,应用程序ID与人物ID对应。在终端装置2的终端控制部23判断为已获取一组以上的所述人物管理信息的情况下(步骤S406为是),前进至步骤S407。在终端装置2的终端控制部23判断为未获取哪怕一组的所述人物管理信息的情况下(步骤S406为否),前进至步骤S409。
步骤S407:在终端装置2的终端控制部23选择已获取的人物管理信息中的进行参照的人物管理信息的情况下(步骤S407为是),前进至步骤S408。在终端装置2的终端控制部23未选择已获取的人物管理信息中的进行参照的人物管理信息的情况下(步骤S407为否),前进至步骤S409。
步骤S408:其次,终端装置2的终端控制部23确认是否获取了设备ID及拍摄位置信息中的至少任一个信息。在终端装置2的终端控制部23判断为已获取设备ID及拍摄位置信息中的至少任一个信息的情况下(步骤S408为是),前进至步骤S410。在终端装置2的终端控制部23判断为未获取设备ID及拍摄位置信息中的任何信息的情况下(步骤S408为否),前进至步骤S409。
步骤S409:在终端装置2的终端控制部23判断为未获取设备ID及拍摄位置信息中的任何信息的情况下,结束信息提供处理。
步骤S410:终端装置2的终端控制部23经由终端通信部24,将设备ID及拍摄位置信息中的已获取的各信息、应用程序ID及密码发送至服务器3000。
步骤S411:服务器3000的人物管理信息确定部360经由服务器通信部31接收各信息、应用程序ID及密码。
步骤S412:服务器3000的人物管理信息确定部360使各信息、应用程序ID及人物管理信息对应。即,服务器3000的人物管理信息确定部360使新获取的设备识别信息与现有的人物ID及人物的外观对应。接着,人物管理信息确定部360将该对应关系反映并新增至人物管理DB330内。
接着,服务器3000的人物管理信息确定部360将与新增的设备识别信息对应的人物ID及人物的外观决定为人物管理信息。由此,制作新的人物8。
此外,对于设备ID及拍摄位置信息,服务器3000的人物管理信息确定部360仅将已获取的信息新增至图3(a)的人物管理DB330。另外,人物管理信息确定部360在制作新的人物8时,不使设备识别信息相同。即,人物管理信息确定部360即使在应用程序ID相同的情况下,也不会使设备识别信息与现有的设备识别信息相同。人物管理信息确定部360将在终端装置2中新获取的设备识别信息直接反映至人物管理DB330。
因此,根据人物管理信息确定部360,即使设备识别信息不同,也能够制作具有同一人物ID及人物外观的人物管理信息的人物8。由此,在对于不同的设备识别信息,具有同一应用程序ID的情况下,人物管理信息确定部360能够同样地确定人物管理信息。
步骤S413:服务器3000的人物管理信息确定部360经由服务器通信部31,将人物管理信息发送至终端装置2。
步骤S414:终端装置2的终端控制部23经由终端通信部24,从服务器3000接收人物管理信息。
步骤S415:终端装置2的终端控制部23使新的人物8重叠于拍摄图像7而被显示。
<实施方式5>
在所述例子中,对包括终端装置2及服务器3、30、300或3000的显示系统1、10、100及500进行了说明,但也可不包含终端装置2及服务器3、30、300或3000中的任一者。
即,终端装置2也可包含全部的构件,服务器3、30、300或3000也可包含全部的构件。
以下,对不包含服务器3、30、300或3000的显示系统1000进行说明。
[显示系统1000]
本实施方式的显示系统1000包括终端装置20。
图13是表示本实施方式的显示系统1000的主要部分结构的框图。如图13所示,本实施方式的终端装置20除了包括所述终端装置2的结构之外,还包括实施方式1中的服务器3所包括的存储部33。另外,终端装置20除了包括终端控制部23的各构件之外,还包括终端控制部26,该终端控制部26也包含实施方式1中的服务器3的服务器控制部32的人物管理信息确定部320及设备管理信息确定部321。
实施方式5的显示系统1000也能够产生与实施方式1的显示系统1相同的效果。
对具有与所述实施方式中所说明的构件相同的功能的构件附上相同标记,并省略其说明。
[信息提供处理]
在本实施方式的显示系统1000中的信息提供处理(信息提供方法)中,终端通信部24与服务器通信部31之间无数据传输。另外,在该信息提供处理中,代替服务器3的服务器控制部32,由终端装置20的终端控制部26进行控制。除了这些方面以外,该信息提供处理能够与实施方式1的显示系统1的信息提供处理同样地进行。
<实施方式6>
在实施方式5中,终端装置20的终端控制部26参照人物管理信息来确定设备管理信息。但是,终端控制部也可像实施方式6的终端装置200(未图示)的终端控制部27(未图示)这样,代替终端控制部26的功能,或者除了终端控制部26的功能之外,还具备其他功能。所述其他功能是参照设备管理信息来确定人物管理信息的功能。
[显示系统1500]
本实施方式的显示系统1500(未图示)包括终端装置200(未图示)。
本实施方式的终端装置200除了包括所述终端装置2的终端控制部23的各构件之外,还包括终端控制部27,该终端控制部27也包含实施方式2中的服务器30的服务器控制部34的人物管理信息确定部340。
实施方式6的显示系统1500也能够产生与实施方式2的显示系统10相同的效果。
[信息提供处理]
在本实施方式的显示系统1500中的信息提供处理(信息提供方法)中,终端通信部24与服务器通信部31之间无数据传输。另外,在该信息提供处理中,代替服务器30的服务器控制部34,由终端装置200的终端控制部27进行控制。除了这些方面以外,该信息提供处理能够与实施方式2的显示系统10的信息提供处理同样地进行。
[实施方式7]
终端控制部也可像实施方式7的显示系统2000(未图示)的终端控制部28(未图示)这样,除了具备终端控制部26或终端控制部27的功能之外,还具备其他功能。
[显示系统2000]
本实施方式的显示系统2000包括终端装置400(未图示)。
本实施方式的终端装置400除了包括所述终端装置2的终端控制部23的各构件之外,还包括终端控制部28,该终端控制部28也包含实施方式3的服务器300的服务器控制部35的人物管理信息确定部350。
实施方式7的显示系统2000也能够产生与实施方式3的显示系统100相同的效果。
[信息提供处理]
在本实施方式的显示系统2000中的信息提供处理(信息提供方法)中,终端通信部24与服务器通信部31之间无数据传输。另外,在该信息提供处理中,代替服务器300的服务器控制部35,由终端装置400的终端控制部28进行控制。除了这些方面以外,该信息提供处理能够与实施方式3的显示系统100的信息提供处理同样地进行。
[实施方式8]
终端控制部也可像实施方式8的显示系统2500(未图示)的终端控制部29(未图示)这样,除了具备终端控制部26、27或28的功能之外,还具备其他功能。
[显示系统2500]
本实施方式的显示系统2500包括终端装置600(未图示)。
本实施方式的终端装置600除了包括所述终端装置2的终端控制部23的各构件之外,还包括终端控制部29,该终端控制部29也包含实施方式4的服务器3000的服务器控制部36的人物管理信息确定部360。
实施方式8的显示系统2500也能够产生与实施方式4的显示系统500相同的效果。
[信息提供处理]
在本实施方式的显示系统2500中的信息提供处理(信息提供方法)中,终端通信部24与服务器通信部31之间无数据传输。另外,在该信息提供处理中,代替服务器3000的服务器控制部36,由终端装置600的终端控制部29进行控制。除了这些方面以外,该信息提供处理能够与实施方式4的显示系统500的信息提供处理同样地进行。
<实施方式9>
终端装置2、20、200、400、600及服务器3、30、300、3000的各区块可通过形成于集成电路(IC芯片)等的逻辑电路(硬件)实现,也可通过由一个以上的处理器执行的软件实现。在后者的情况下,能够使用如图14所示的计算机(电子计算机)构成各个终端装置2、20、200、400、600及各个服务器3、30、300、3000。
图14是例示可用作终端装置2、20、200、400、600或服务器3、30、300、3000的计算机910的结构的框图。计算机910包括经由总线911彼此连接的运算装置912、主存储装置913、辅助存储装置914、输入输出接口915及通信接口916。运算装置912、主存储装置913及辅助存储装置914分别也可以是例如一个以上的处理器、RAM(random access memory)、硬盘驱动器及闪速存储器等存储装置。输入输出接口915连接着供用户将各种信息输入至计算机910的输入装置920、及供计算机910对用户输出各种信息的输出装置930。输入装置920及输出装置930可以是内置于计算机910的装置,也可以是连接(外置)于计算机910的装置。例如,输入装置920也可以是键盘、鼠标、触控传感器等,输出装置930也可以是显示器、打印机、扬声器等。另外,也可应用由触控传感器与显示器一体化而成的触控面板之类的具有输入装置920及输出装置930双方的功能的装置。而且,通信接口916是供计算机910与外部装置进行通信的接口。
在辅助存储装置914中,存储有用于使计算机910作为终端装置2、20、200、400、600或服务器3、30、300、3000工作的各种程序。而且,运算装置912将辅助存储装置914所存储的所述程序在主存储装置913上展开,并执行该程序中所含的命令,由此,使计算机910作为终端装置2、20、200、400、600或服务器3、30、300、3000所包括的各部分而发挥功能。此外,辅助存储装置914所包括的记录程序等信息的记录介质只要是计算机可读取的“非临时性的有形介质”即可,例如也可以是磁带、磁盘、存储卡、半导体存储器、可编程逻辑电路等。
另外,所述程序也可从计算机910的外部获取,在此情况下,也可经由任意的传输介质(通信网络或广播等)获取所述程序。而且,本发明也可利用由电子传输实现的嵌入至载波的数据信号的形态来实现所述程序。
这样,用于使本实施方式的计算机910作为服务器控制部32、34、35或36而发挥功能的程序是用于使计算机910作为服务器3、30、300或3000而发挥功能的程序。
用于使计算机910发挥功能的程序能够恰当地使所述计算机910作为服务器3、30、300或3000的服务器控制部32、34、35或36而发挥功能。
另外,用于使本实施方式的计算机910作为终端控制部23、26、27、28或29而发挥功能的程序是用于使终端装置2、20、200、400或600发挥功能的程序。
用于使计算机910发挥功能的程序能够恰当地使所述计算机910作为终端装置2、20、200、400或600的终端控制部23、26、27、28或29而发挥功能。
本发明并不限定于所述各实施方式,可在权利要求所示的范围内进行各种变更,将不同实施方式所分别公开的技术方案适当加以组合而获得的实施方式也包含于本发明的技术范围。而且,通过将各实施方式所分别公开的技术方案加以组合,能够形成新的技术特征。
附图标记说明
1、10、100、500、1000、1500、2000、2500 显示系统
2、20、200、400、600 终端装置
3、30、300、3000 服务器(信息提供装置)
4 网络
5 家电设备(设备)
6 无线LAN路由器
7 拍摄图像
8 人物
21 拍摄部
22 终端信息输入部
23、26、27、28、29 终端控制部(控制部)
24 终端通信部(通信部)
25 提示部
31 服务器通信部(通信部)
32、34、35、36 服务器控制部(控制部)
33 存储部
50 家电设备通信部
51 家电设备控制部
52 操作部
220 终端语音输入部
221 文本输入部
230 设备识别信息确定部
231 图像识别部
232 固有信息获取部
233 位置信息获取部
234 终端信息获取部
235 重叠图像生成部
250 终端语音输出部
251 显示部
320、340、350、360 人物管理信息确定部
321 设备管理信息确定部
330 人物管理DB
331 人物存储DB
332 设备管理DB
520 家电设备语音输入部
521 家电设备语音输出部

Claims (15)

1.一种信息提供装置,其对将人物的图像重叠于拍摄图像而进行显示的终端装置提供信息,所述信息提供装置的特征在于:
包括通信部与控制部,
所述控制部进行如下至少任一种控制,即,
参照确定所述拍摄图像中所含的设备的个体的设备识别信息来确定人物管理信息,所述人物管理信息管理所述人物的提示方式,
将已确定的所述人物管理信息经由所述通信部发送至所述终端装置,或者
参照所述人物管理信息来确定设备管理信息,所述设备管理信息确定所述设备的提示方式,
将已确定的所述设备识别信息经由所述通信部发送至所述设备。
2.根据权利要求1所述的信息提供装置,其特征在于:
所述控制部进行如下至少任一种控制,即,
参照所述设备识别信息来更新所述人物管理信息,或者
参照所述人物管理信息来更新所述设备管理信息。
3.根据权利要求1或2所述的信息提供装置,其特征在于:
所述控制部参照用于对所述终端装置与其他终端装置进行识别的终端识别信息、及从所述人物与用户之间的对话历史记录获得的人物存储信息来决定所述人物的表达内容。
4.根据权利要求1至3中任一项所述的信息提供装置,其特征在于:
所述控制部根据与所述拍摄图像中所含的设备的动作相关的信息即设备动作信息,变更所述人物的提示方式。
5.根据权利要求1至4中任一项所述的信息提供装置,其特征在于:
所述设备识别信息包含根据所述拍摄图像中所含的设备的外观获得的类别信息即设备类别信息。
6.根据权利要求5所述的信息提供装置,其特征在于:
所述设备识别信息还包含所述拍摄图像的拍摄位置信息。
7.根据权利要求5或6所述的信息提供装置,其特征在于:
所述设备识别信息还包含通过与所述拍摄图像中所含的设备之间的通信而获得的固有信息。
8.一种终端装置,其包括拍摄部、提示部、控制部及通信部,所述终端装置的特征在于:
所述提示部包括显示部,
所述控制部进行如下至少任一种控制,即,
从对所述终端装置提供信息的信息提供装置获取参照设备识别信息而确定的管理人物的提示方式的人物管理信息,以使人物的图像以重叠于所述拍摄部的拍摄图像的方式而显示在所述显示部中,所述设备识别信息确定拍摄图像中所含的设备的个体,或者
将对所述设备的个体进行识别的设备识别信息经由所述通信部发送至所述信息提供装置。
9.根据权利要求8所述的终端装置,其特征在于:
所述设备识别信息对应于为了确定设备管理信息而参照的所述人物管理信息,所述设备管理信息确定所述设备的提示方式。
10.根据权利要求9所述的终端装置,其特征在于:
所述控制部使所述提示部输出参照用于对所述终端装置与其他终端装置进行识别的终端识别信息、及从所述人物与用户之间的对话历史记录获得的人物存储信息而决定的所述人物的表达内容。
11.根据权利要求9或10所述的终端装置,其特征在于:
所述控制部参照根据与所述拍摄图像中所含的设备的动作相关的信息即设备动作信息而变更后的所述人物的提示方式,使人物的图像以重叠于所述拍摄部的拍摄图像的方式而显示在所述显示部中。
12.一种显示系统,其包含信息提供装置与终端装置,所述显示系统的特征在于:
所述终端装置包括拍摄部、提示部、终端控制部及终端通信部,
所述提示部包括显示部,
所述信息提供装置包括服务器通信部与服务器控制部,
所述服务器控制部进行如下至少任一种控制,即,
参照确定拍摄图像中所含的设备的个体的设备识别信息,确定管理人物的提示方式的人物管理信息,
将已确定的所述人物管理信息经由所述服务器通信部发送至所述终端装置,或者
参照所述人物管理信息来确定设备管理信息,所述设备管理信息确定所述设备的提示方式,
将已确定的所述设备识别信息经由所述服务器通信部发送至所述设备,
所述终端控制部参照所述人物管理信息,使人物的图像以重叠于所述拍摄部的拍摄图像的方式而显示在所述显示部中。
13.一种程序,其是用于使计算机作为权利要求1至7中任一项所述的信息提供装置而发挥功能的程序,其特征在于:用于使计算机作为所述控制部发挥功能。
14.一种程序,其是用于使计算机作为权利要求9至11中任一项所述的终端装置而发挥功能的程序,其特征在于:用于使计算机作为所述控制部发挥功能。
15.一种信息提供方法,其对将人物的图像重叠于拍摄图像而进行显示的终端装置提供信息,所述信息提供方法的其特征在于:
包含人物管理信息确定工序及设备管理信息确定工序中的至少一个工序,
所述人物管理信息确定工序参照确定所述拍摄图像中所含的设备的个体的设备识别信息,确定管理所述人物的提示方式的人物管理信息,
将已确定的所述人物管理信息发送至所述终端装置,
所述设备管理信息确定工序参照所述人物管理信息来确定设备管理信息,所述设备管理信息确定所述设备的提示方式,
将已确定的所述设备识别信息发送至所述设备。
CN201780089287.1A 2017-03-31 2017-12-01 信息提供装置、终端装置、显示系统、程序及信息提供方法 Pending CN110476203A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017071774 2017-03-31
JP2017-071774 2017-03-31
PCT/JP2017/043354 WO2018179591A1 (ja) 2017-03-31 2017-12-01 情報提供装置、端末装置、表示システム、プログラム及び情報提供方法

Publications (1)

Publication Number Publication Date
CN110476203A true CN110476203A (zh) 2019-11-19

Family

ID=63674659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780089287.1A Pending CN110476203A (zh) 2017-03-31 2017-12-01 信息提供装置、终端装置、显示系统、程序及信息提供方法

Country Status (4)

Country Link
US (1) US20210279961A1 (zh)
JP (1) JP6746775B2 (zh)
CN (1) CN110476203A (zh)
WO (1) WO2018179591A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009836A (zh) * 2019-12-20 2021-06-22 东芝生活电器株式会社 信息处理系统、家电设备、以及程序

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885436B (zh) * 2016-01-15 2021-12-14 美国iRobot公司 自主监视机器人系统
US11669215B2 (en) * 2020-09-11 2023-06-06 Future Dial, Inc. Computing device identifier retrieval
JP7416500B1 (ja) 2022-11-18 2024-01-17 合同会社Straid 情報システムおよび通信端末

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257594A (zh) * 2004-09-21 2008-09-03 日本胜利株式会社 电子设备的控制装置及方法
CN101729735A (zh) * 2008-10-20 2010-06-09 深圳富泰宏精密工业有限公司 数码照片合成系统及方法
CN102415896A (zh) * 2010-08-31 2012-04-18 佳能株式会社 显示设备和显示方法
JP2013069011A (ja) * 2011-09-21 2013-04-18 Casio Comput Co Ltd 画像通信システム及び端末装置並びにプログラム
CN103140879A (zh) * 2010-09-30 2013-06-05 富士胶片株式会社 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序
CN104423797A (zh) * 2013-09-05 2015-03-18 Lg电子株式会社 机器人清洁器系统及其控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6104143B2 (ja) * 2013-12-09 2017-03-29 三菱電機株式会社 機器制御システム、および、機器制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257594A (zh) * 2004-09-21 2008-09-03 日本胜利株式会社 电子设备的控制装置及方法
CN101729735A (zh) * 2008-10-20 2010-06-09 深圳富泰宏精密工业有限公司 数码照片合成系统及方法
CN102415896A (zh) * 2010-08-31 2012-04-18 佳能株式会社 显示设备和显示方法
CN103140879A (zh) * 2010-09-30 2013-06-05 富士胶片株式会社 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序
JP2013069011A (ja) * 2011-09-21 2013-04-18 Casio Comput Co Ltd 画像通信システム及び端末装置並びにプログラム
CN104423797A (zh) * 2013-09-05 2015-03-18 Lg电子株式会社 机器人清洁器系统及其控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009836A (zh) * 2019-12-20 2021-06-22 东芝生活电器株式会社 信息处理系统、家电设备、以及程序

Also Published As

Publication number Publication date
WO2018179591A1 (ja) 2018-10-04
US20210279961A1 (en) 2021-09-09
JPWO2018179591A1 (ja) 2019-11-07
JP6746775B2 (ja) 2020-08-26

Similar Documents

Publication Publication Date Title
CN110476203A (zh) 信息提供装置、终端装置、显示系统、程序及信息提供方法
US11132840B2 (en) Method and device for obtaining real time status and controlling of transmitting devices
CN105389099B (zh) 用于语音记录和回放的方法和设备
JP6462386B2 (ja) プログラム、通信端末及び表示方法
CN110021301A (zh) 数字助理服务的远场延伸
EP3037995A2 (en) Mobile terminal and method for controlling the same
CN107852437A (zh) 用于在电子设备中输出音频的方法和装置
CN105930073A (zh) 用于支持电子设备中的通信的方法和装置
JP6461630B2 (ja) 通信システム、通信装置、プログラム及び表示方法
CN109615738A (zh) 门锁管理方法、装置、电子设备及存储介质
CN110061901A (zh) 提供状态信息的方法和装置
US10812430B2 (en) Method and system for creating a mercemoji
CN110401764A (zh) 简化的交互逻辑及交互方法、电子设备
CN108600496A (zh) 电子设备及其控制方法
CN109951305A (zh) 虚拟群组创建方法、设备及计算机可读介质
CN109639569A (zh) 一种社交通信方法及终端
CN108605373A (zh) 用于提供网络共享服务的方法和电子装置
CN109450747A (zh) 一种唤醒智能家居设备的方法、装置及计算机存储介质
CN106203184B (zh) 一种键盘输出方法及终端
CN110035318A (zh) 视频播放方法、装置和多媒体数据播放方法
CN108958600A (zh) 一种智能设备控制方法、装置、网关及通信设备
US20140129228A1 (en) Method, System, and Relevant Devices for Playing Sent Message
JP2017027473A (ja) 連携システム、連携サーバ、機器制御サーバ、機器、および端末装置
CN114360546A (zh) 电子设备及其唤醒方法
CN104836655B (zh) 一种数据同步方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191119

WD01 Invention patent application deemed withdrawn after publication