CN108140383A - 影像显示设备、话题选择方法、话题选择程序、影像显示方法及影像显示程序 - Google Patents

影像显示设备、话题选择方法、话题选择程序、影像显示方法及影像显示程序 Download PDF

Info

Publication number
CN108140383A
CN108140383A CN201680004506.7A CN201680004506A CN108140383A CN 108140383 A CN108140383 A CN 108140383A CN 201680004506 A CN201680004506 A CN 201680004506A CN 108140383 A CN108140383 A CN 108140383A
Authority
CN
China
Prior art keywords
image
cartoon
user
chat
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680004506.7A
Other languages
English (en)
Inventor
武地实
安川尚宏
武樋恒
仪间匠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Door Box Ltd By Share Ltd
Gatebox Inc
Original Assignee
Door Box Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016141931A external-priority patent/JP6165302B1/ja
Priority claimed from JP2016141930A external-priority patent/JP2018014575A/ja
Application filed by Door Box Ltd By Share Ltd filed Critical Door Box Ltd By Share Ltd
Publication of CN108140383A publication Critical patent/CN108140383A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50Business processes related to the communications industry
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/58Message adaptation for wireless communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/216Handling conversation history, e.g. grouping of messages in sessions or threads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Operations Research (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

影像显示设备包含:显示部,用以显示适配器通人物;对话部,用以执行上述卡通人物与用户的对话;及聊天部,用以执行上述卡通人物与上述用户的通讯终端的聊天,其中:对话部基于已执行的对话的内容及上述聊天部已执行的聊天的内容选择下一个话题,且上述聊天部基于已执行的聊天的内容及上述对话部所执行的对话的内容选择下一个话题。

Description

影像显示设备、话题选择方法、话题选择程序、影像显示方法 及影像显示程序
技术领域
本发明关于一种显示适配器通人物影像的影像显示设备,尤其是关于一种可以让用户对卡通人物感到更亲近的影像显示设备。
背景技术
一直以来在市面上有贩卖各式各样的卡通人物商品,其中有被称为桌上型卡通人物的商品。其为在PC等显示器上显示适配器通人物,依照预先设定的运算法动作、显示特定的台词、或播放音乐的应用程序。又,也有在用户的通讯终端上显示适配器通人物,利用聊天系统,使卡通人物说明所提供的服务的应用程序(例如,专利文献1)。
然而,一直以来,存在着响应于来自外部的声音等进行沟通的沟通机器人、或者响应于来自外部的声音等而动作的电子玩具等(例如,专利文献2及3参考数据)。
另一方面,上述机器人或玩具的应答受到限制。具体而言,机器人或玩具可以对于声音进行特定的应答或动作。然而,机器人或玩具仅能进行单纯的应答,并不进行情感表达。因此,用户对于上述机器人或玩具难以产生亲近的感觉。
先前技术文献
专利文献
专利文献1:日本特开第2004-145541号公报
专利文献2:日本特开第2011-227237号公报
专利文献3:日本特开第2002-307354号公报
【发明内容】
发明欲解决的课题
然而,人们对于那种卡通人物商品,期望能够有对卡通人物感到更亲近的商品。
本发明的目的为提供一种影像显示设备,其在实现与特定的卡通人物沟通的同时,可以让用户对卡通人物感到更亲近。
用以解决课题的手段
为了达成上述目的,影像显示设备具备:显示部,用以显示适配器通人物;对话部,用以执行上述卡通人物与用户的对话;及聊天部,用以执行上述卡通人物与上述用户的通讯终端的聊天,其中:对话部基于已执行的对话的内容及上述聊天部已执行的聊天的内容选择下一个话题,且上述聊天部基于已执行的聊天的内容及上述对话部所执行的对话的内容选择下一个话题。
发明效果
影像显示设备可以使与特定的卡通人物的沟通,与用户与卡通人物进行的实际对话、及用户在自己的通讯终端上与影像显示设备进行的聊天互相做话题连动,以让用户对卡通人物感到更亲近。
附图说明
图1为从上方观察依照本发明的实施方式的影像显示设备时的斜视图。
图2为从下方观察依照本发明的实施方式的影像显示设备时的斜视图。
图3为依照本发明的实施方式的影像显示设备的左侧视图。
图4A为示意性地显示配备于依照本发明的实施方式的影像显示设备上的设备且设置于上部容纳部的设备的图。
图4B为示意性地显示配备于依照本发明的实施方式的影像显示设备上的设备且设置于柱部的设备的图。
图4C为示意性地显示配备于依照本发明的实施方式的影像显示设备上的设备且设置于下部容纳部的设备的图。
图5为依照本发明的实施方式的影像显示设备的机能方块图且为显示一使用态样的图。
图6为依照本发明的实施方式的影像显示设备的其他的机能方块图。
图7A为在依照本发明的实施方式的影像显示设备中所利用的影像数据的数据构造图。
图7B为在依照本发明的实施方式的影像显示设备中所利用的声音数据的数据构造图。
图7C为在依照本发明的实施方式的影像显示设备中所利用的信号数据的数据构造图。
图8为用以说明依照本发明的实施方式的影像显示设备所输出的声音的型式的图。
图9为显示在依照本发明的实施方式的影像显示设备中所利用的对话履历数据的数据构造例的数据构造图。
图10为显示在依照本发明的实施方式的影像显示设备中所利用的聊天履历数据的数据构造例的数据构造图。
图11为显示在依照本发明的实施方式的影像显示设备中所利用的随机对话数据的数据构造例的数据构造图。
图12为用以说明依照本发明的实施方式的影像显示设备中的状态迁移的图。
图13A为在依照本发明的实施方式的影像显示设备中所显示的影像的一例。
图13B为在依照本发明的实施方式的影像显示设备中所显示的影像的其他例子。
图13C为用以说明在依照本发明的实施方式的影像显示设备中的处理的流程图。
图14A为用以说明在依照本发明的实施方式的影像显示设备中的沟通模式的图。
图14B为用以说明在依照本发明的实施方式的影像显示设备中的沟通模式的图。
图14C为用以说明在依照本发明的实施方式的影像显示设备中的沟通模式的图。
图14D为用以说明在依照本发明的实施方式的影像显示设备中的沟通模式的图。
图14E为用以说明在依照本发明的实施方式的影像显示设备中的沟通模式的图。
图14F为用以说明在依照本发明的实施方式的影像显示设备中的沟通模式的图。
图14G为用以说明在依照本发明的实施方式的影像显示设备中的沟通模式的图。
图14H为用以说明在依照本发明的实施方式的影像显示设备中的沟通模式的图。
图14I为用以说明在依照本发明的实施方式的影像显示设备中的沟通模式的图。
图15A为用以说明在依照本发明的实施方式的影像显示设备中的沟通模式的图。
图15B为用以说明在依照本发明的实施方式的影像显示设备中的沟通模式的图。
图15C为用以说明在依照本发明的实施方式的影像显示设备中的沟通模式的图。
图16为显示在依照本发明的实施方式的影像显示设备的沟通模式中的动作的流程图。
图17A为在依照本发明的实施方式的影像显示设备中登录用户的日程表的画面例。
图17B为在依照本发明的实施方式的影像显示设备中登录用户的日程表的画面例。
图18为用以说明在依照本发明的实施方式的影像显示设备中的起床模式的图。
图19为用以说明在依照本发明的实施方式的影像显示设备中的外出模式的图。
图20为用以说明在依照本发明的实施方式的影像显示设备中的回家模式的图。
图21为用以说明在依照本发明的实施方式的影像显示设备中的聊天模式的流程图。
图22A为显示依照本发明的实施方式的聊天模式的用户的通讯终端的显示画面例的图。
图22B为显示依照本发明的实施方式的聊天模式的用户的通讯终端的显示画面例的图。
图23为依照本发明的实施方式的影像显示设备的电路构造图。
附图标记说明
1 影像显示设备
2 外壳
21 上部容纳部
22 下部容纳部
221 底座
23 支柱
3 透光薄膜(平坦状构件)
4 投影机(影像输出装置)
5 反射镜(反射装置)
51 镜安装部(调整装置)
6 柱部
71 控制部(输出控制装置)
72 输入部(输入设备)
73 输出部(输出装置)
706 表现用LED(发光装置)
具体实施方式
以下,参照附图说明依照本发明的实施方式的影像显示设备。依照实施方式的影像显示设备为在显示适配器通人物影像的同时,输出卡通人物的声音的装置。此时,在影像显示设备上显示的卡通人物影像及卡通人物的声音为根据影像显示设备所放置的环境、拥有该装置的用户相关的信息、与时刻信息而决定。
〈装置构造〉
首先,使用图1至图4C说明实施方式的影像显示设备1的装置构造。图1为从上方观察影像显示设备1时的斜视图。图2为从下方观察影像显示设备1时的斜视图。
如图1与图2所示,影像显示设备1主要具有:内部为空洞的圆筒状透明外壳2;几乎垂直地立设于外壳2的内部的透光薄膜(本发明的平坦状构件)3;输出卡通人物影像等的投影机4;及反射镜5等组件与设备。
在上述构造的影像显示设备1中,从投影机4输出的影像经过反射镜5的反射被投影到透光薄膜3上,用户可以透过透明外壳2看见以此方式投影到透光薄膜3上的影像。
外壳2的一部分或全部为由透光性构件所构造的框体,例如,由压克力板等形成。例如,外壳2为藉由将两个透明的半圆柱状的外壳构件2a、2b嵌入至两支支柱23上而形成全体透明的一体化圆筒体。但是,也可以使用预先成形的圆筒体作为外壳2,又,也可以使具有弹性或可挠性的矩形板材或膜材弯曲成半圆柱状,并将其组入支柱23中以形成圆筒体,将其作为外壳2使用。藉由使用上述圆筒的外壳2,可以从左右的不论哪个角度都可以适当地观测到投影在透光薄膜3上的影像。此外,支柱23可以藉由透明构件形成,在此情况下,可以使外壳2的几乎全部成为透明。但是,支柱23可以是不透明或半透明。
在外壳2的正面侧上部,设有沿着外壳2的表面弯曲而形成的带状的不透明的遮蔽部25。藉此,从正面侧看外壳2时,由于反射镜5为位于遮蔽部25的后方,因此可以隐藏使其不被看见。又,在相当于外壳2的上底面的圆形部上,施加涂布遮光涂料等遮光处理(未图示)。藉此,可以防止室内的照明等穿透透光薄膜3,可以使显示在透光薄膜3上的影像清晰可见。又,外壳2的背面侧上部(外壳构件2b的上部)有一开口,可以使来自反射镜5以形成影像的光不透过外壳构件2b,而直接到达透光薄膜3。此外,外壳2不仅限于透明的构件,也可以使用如乳白色等半透明的构件。
在上述外壳2的内部设置有透光薄膜3,又,在外壳2的上方、下方、与背面侧设置有后述的上部容纳部21、下部容纳部22、与柱部6。
透光薄膜3为本发明的“具有透光性的平坦状构件”的一实施态样,其机能为作为透明的屏幕,供指定的影像投影。本实施方式的透光薄膜3为矩形,其以几乎垂直的方式立设于外壳2的内部的中央附近。具体而言,透光薄膜3为藉由立设于底座221两端的两支支柱23所承载,藉此,其表面面向正面侧(背面侧)的同时,垂直地立设于底座221的中央。此外,除了透光薄膜3之外,也可以使用透明的板材、半透明的板材、或膜材等。
下部容纳部22为由塑料等所构造的箱体,具有空间供控制电路板701与其他设备(参照图4C)的安装,其中控制电路板701为进行包含投影机4的输出控制等各种控制动作。在下部容纳部22上设置有可拆卸的下盖222,藉由组装下盖222可以遮盖内部,藉由取下下盖222可以维修内部的设备等。在下部容纳部22的上面的底座221上,在透光薄膜3的立设位置的左右端部上立设支柱23。
透光薄膜3与外壳构件2a、2b为藉由此支柱23承载,而一体性地立设于底座221上。藉此,圆筒的外壳2立设于底座221上,透光薄膜3为设置为其侧部内接于外壳2的内侧的同时,其下部(下端)沿着底座221的上面(表面)设置。
底座221也具有虚拟地载置显示于外壳2内的卡通人物等的台座的机能。亦即,可以将底座221形成以能够展示的方式容纳娃娃或模型的显示外壳的底座基材。
在影像显示设备1中,藉由镜安装部51调整反射镜5的角度与方向,以将卡通人物等的足部显示为与透光薄膜3的下端一致(图1)。藉此,可以将卡通人物等呈现为好比实际上站立在底座221上。
又,底座221具有指定的观测性。具体而言,在底座221的表面上施加图案或色彩,或是使其形状具有特征,以使底座221的存在显眼。例如,本实施方式的底座221为在压克力板的表面上,藉由雷射加工等,沿着所谓魔方阵的图案刻出凹槽。此外,此图案仅为一例,例如,作为魔法阵,也可以是五角星,也可以是其他复杂的几何学图案。
再者,底座221藉由在压克力板的下部分散设置多个表现用LED706(本发明的发光装置),以使来自表现用LED706的光射到底座221的全表面上。藉此,由于底座221的表面中,横跨透光薄膜3的各区域可以被强烈的辨识,因此更能够强调投影在透光薄膜3上的卡通人物等的前后的底座221的存在。于是,可以将卡通人物等呈现为稳稳落地站立于底座221之上。
上部容纳部21具有空间供进行影像输出的投影机4等的设备(参照图4A)的安装。具体而言,上部容纳部21为设置有梯子状的上部设备安装部211,其连结于柱部6的上部,此上部设备安装部211的下面安装有投影机4。
上部设备安装部211为如图2与图3所示,为以从与柱部6的连结部213倾斜到正面侧上方的状态被固定,伴随于此,安装在上部设备安装部211上的投影机4也是以倾斜的状态被固定。藉由如此倾斜地安装投影机4,使影像的输出方向面向位于该投影机4的背面侧下方的反射镜5。
此外,在上部设备安装部211与柱部6的连结中,可以利用螺栓等轴构件将其轴支,以轴为中心转动到任意的位置,再藉由螺帽等固定构件固定。如此,可以容易地变更投影机4的斜率,藉此变更可以在上下方向上调整影像的输出。
上部容纳部21上设置有可拆卸的上盖212,藉由安装上盖212,可以遮盖上部设备安装部211与投影机4等设备,藉由取下上盖212,可以进行内部设备的维修等。
投影机4为用以输出卡通人物影像等的影像的影像输出装置。上述投影机4通常藉由对所谓屏幕直接投射影像而显示影像,然而在本实施方式中为透过反射镜5间接地将影像投射到屏幕(透光薄膜3)上。具体而言,本实施方式的投影机4为以输出影像朝向间隔立设于外壳2的背面侧的柱部6的上部的反射镜5的方式,以在上部容纳部21中倾斜的状态安装。
然而,在投影机的规格中,包含焦点距离(以下称为“容许投射距离”)与投射比(以下称为“容许投射角度”)。“容许投射距离”为对应于影像尺寸的必需的投射距离(从投影机到屏幕的光路的距离)。若实际的投射距离低于容许投射距离,则不对焦而无法鲜明地投映出影像。“容许投射角度”为投射于屏幕上的影像的光路与屏幕之间的角度的容许值。若实际的投射角度小于容许投射角度,则影像的失真度变大,又,在影像的两端光量不同,造成影像模糊等画质低落。
有鉴于上述各点,本实施方式的投影机4为使用具有相对较短的容许投射距离与相对较小的容许投射角度的规格的投影机,再者,藉由使用反射镜5,可以使投影机4与屏幕(亦即,透光薄膜3)小型化并一体化。
柱部6为立设于下部容纳部22的最背部的柱状构件,立设于外壳2的背面侧并与外壳2隔开。如此,藉由将柱部6设置于外壳2的背面侧,可以防止室内的照明等穿透透光薄膜3,因而可以在透光薄膜3上显示清晰可见的影像。在柱部6上安装反射镜5与各种传感器(参照图2、图3、图4B等)。
反射镜5为设置为镜面相对于柱部6的上部呈几乎垂直(亦即,与透光薄膜3的面呈几乎平行)。藉此,将从投影机4向背面侧斜下方向输出的指定的入射角的影像的光以与此相同的角度(反射角)反射,藉由其反射光将影像投影在透光薄膜3上。如此一来,由于可以减少透光薄膜3中的影像的上部与下部的投射距离的距离差,因而可以减缓投影在透光薄膜3上的影像的模糊等的发生。
如图3所示,从投影机4输出的影像的光被反射镜5反射,其反射的影像的光从正面侧斜下方向前进,通过外壳构件2b的开口,从设置于外壳2的内部的透光薄膜3的背面侧投射。在此状态下,通过外壳2观察投影在透光薄膜3上的卡通人物等的影像时,可以更立体地如同存在于空间中的实体物一般地观测到卡通人物等。
以下说明达成上述观测效果的理由。如同上文所述,影像显示设备1为在透明的外壳2的内部设置透明的薄膜(透光薄膜3),并在此透明的薄膜上投影影像。在上述影像显示设备1中,用户为通过透明的外壳2观察显示在透明的薄膜上的卡通人物等。
在此情况下,用户被外壳2所区隔,可以在受限的所谓外壳2内的空间,辨识其3D环境,亦即,纵(高度)、横、深度。因此,特别是,藉由辨识由显示在其空间内的卡通人物等与外壳2之间的关系产生的深度,而产生卡通人物等自己也以3D(立体的)方式可见的视觉效果(3D环境效果)。
亦即,藉由观测卡通人物等的后面的透明的外壳2,同时观测在密闭空间内的卡通人物等与其后侧的隔间,结果基于在同一空间中的卡通人物等与透明的外壳2之间的深度感,而能看见立体的卡通人物等。
另一方面,假设在将外壳2除去,周围什么都没有的开放空间之中,在观察投影在透明的薄膜上的卡通人物等的影像的情况下,周围的空间在纵、横的辨识上增强,然而在深度的辨识上却减弱。于是,在上述开放的环境下,即使观察投影在透明的薄膜上的卡通人物等的影像,只有薄膜的存在感增加,却不易感觉到深度感,因此无法得到如上所述的立体的视觉效果。
又,在通过透明的外壳2看透明的薄膜的情况下,透明的薄膜变得不显眼。这是因为透光薄膜3内接于外壳2上,而使得透光薄膜3的左右端部不被看见。又,在包含透明的物质、并通过前方的物质观察后方的话,不易辨识该后方的物质。
将其运用于影像显示设备1上的话,例如,从正面侧看外壳2时,不易辨识位于外壳2(外壳构件2a)后方的透光薄膜3。于是,由于无法辨识平面状的透光薄膜3的存在,因此投影在透光薄膜3上的卡通人物等看起来如同浮游的非平面的立体物。也由于上述理由,比起在没有外壳2的情况下,在有外壳2的情况下可以更加立体地显示适配器通人物等的影像。
又,本实施方式的影像显示设备1为在透光薄膜3的下方(下端)设置底座221,并使卡通人物等的足部显示为与透光薄膜3的下端一致。如此,可以用户具有卡通人物等看起来犹如站立在底座221之上,且卡通人物等如同具有质量的立体物般的错觉。
特别是,底座221除了在表面上施加容易观测的图案等以外,并在横跨透光薄膜3的正面侧的区域与背面侧的区域的两者上设置表现用LED706并使其发光。藉此,可以明确地使用户辨识卡通人物等的前后有底座221,从而可以将卡通人物等显示为如同以稳稳落地的状态站立在底座221上一般。因此,也藉由上述与底座221的关系,可以将投影在透明的外壳2内的透光薄膜3的卡通人物等以如同具有实体的立体物般显示。
此外,对于透光薄膜3,藉由来自于设置于背面侧上部的反射镜5的反射光进行投影,影像的光的一部分穿透透光薄膜3,而投映在底座221上作为光的影子。藉由观测此影子,也产生使显示对象更加立体的观测效果。
接着,参照图4A至图4C说明配备于影像显示设备1上的设备。图4A为设置于上部容纳部的设备,图4B为设置于柱部的设备,图4C为设置于下部容纳部的设备的示意图。
此外,可以藉由使外壳2的侧面为不透明,或在侧面部贴上不透明的薄膜等,以减低从侧面对卡通人物的观测性,让用户从正面侧观察卡通人物。又,在此,将来自投影机的影像投影到透光薄膜3,然而也可以藉由例如,在影像显示设备上设置例如可以喷雾水滴等的构造,对喷雾出的水滴进行投影这种方式的立体全像技术来投影卡通人物。藉由应用立体全像技术,可以显示更加具有立体感的卡通人物。
《下部容纳部的设置设备》
如图4C所示,在下部容纳部22设置控制电路板701、人体传感器702、红外线LED703、麦克风704、扬声器705、表现用LED706、红外线光接收部707、状态LED708、启动按键709、USB集线器710之外,也设置Wi-Fi(登录商标)模块与蓝牙(登录商标)模块等。
控制电路板701包含配备有CPU、ROM、RAM、HDMI(登录商标)接口、LAN接口、USB接口、各种输入输出接口等的一或多个控制芯片,其基于从各种传感器等输入的信息,使指定的设备执行包含影像、声音的各式各样的输出动作。
人体传感器702为检测红外线的变化量而检测人的所在的传感器,其设置于正面侧的左右。
红外线LED703为以放射状设置在正面上部,其机能为作为所谓红外线遥控。具体而言,藉由对周围输出红外线,能够对电视或吸尘器等外部设备进行远程操作。
麦克风704为用以输入用户所发出的声音。例如,麦克风704设置于正面的下段,其数量为一个。
扬声器705为将声音或音乐等声音信息透过放大器输出。在如图4C所示的例中,扬声器705为设置于正面侧,然而较佳为以立体声方式设置在后方柱部的左右。
表现用LED706为底座221中的发光装置。
红外线光接收部707设置于正面侧,其从电视、照明器具、空调、机器人吸尘器等家电产品的遥控,接收与以遥控所使用的遥控操作有关的红外线信息。
状态LED708为显示影像显示设备1的状态(例如,电源开启、发生错误、通讯中、或后述的“休眠状态”、“未召唤状态”、“召唤状态”等)的通知装置,其藉由特定的点灭型式或发光色等以能够识别的方式通知各种状态。
启动按键709为用以进行影像显示设备1主体的电源的开启/关闭的操作装置。
USB集线器710为用以连接多个USB设备的集线器。
Wi-Fi(登录商标)模块为连接在USB集线器上的无线LAN模块,可以作为存取点对无线LAN子机提供因特网环境,或者作为无线LAN子机通过其他的存取点连接到因特网。
蓝牙(登录商标)模块为能够与对应于预定规格的键盘、鼠标、智能型手机等通讯终端、麦克风、或扬声器等接口设备进行无线通信的无线通信接口。
《柱部的设置设备》
如图4B所示,在柱部6上除了上述反射镜5之外,设置温湿度传感器611、振动传感器612、噪音传感器613。
温湿度传感器611为测量室内的温度及湿度,并输入该等测量値。
振动传感器612为用以检测振动的传感器,例如,可以是压电式振动传感器。藉由振动传感器612所检测的振动,除了如地震般大的振动以外,也可以是能够识别的脚步声或门的关闭等相对小的振动。
噪音传感器613为用以检测室内的环境音的传感器。作为藉由噪音传感器613检测的环境音,例如,基于指定的基准音量所判定的用户的生活音(包含电视的声音)、附近的环境音、噪音等。
《上部容纳部的设置设备》
如图4C所示,在上部容纳部21设置投影机4、红外线LED703、光传感器(照度传感器)721、及照相机722。
投影机4为如上所述,透过反射镜5向透光薄膜3投射影像。从投影机4输出的影像包含:例如,在各式各样的漫画或动画中登场的各卡通人物或实际的人物、物品等的2D影像或3D影像、或表现卡通人物的情感表达的表现用影像。
在左右分别设置红外线LED703,其与设置于上部容纳部21者同样具有红外线遥控的机能。
光传感器(照度传感器)721为测量明亮度(照度)的传感器。
照相机722设置在前方,用以拍摄静止画像或动画的拍摄装置。
〈机能〉
接着,参照图5及图6说明藉由上述各设备所实现的机能。图5为依照实施方式的影像显示设备1的机能方块图。如图5所示,影像显示设备1具备显示部700、对话部717、与聊天部718。
显示部700为具有显示适配器通人物的机能者。例如,藉由使上述投影机4将卡通人物的影像投影到透光薄膜3上,以显示适配器通人物。显示部700为例如藉由处理器与绘图引擎等予以实现,然而实现的手法并不限定于此。卡通人物为在动画、漫画、小说、计算机游戏、小说等中登场的人物或动物等,但并不限于此,也可以是原始创造上的人物。又,不限于人物或动物,也可以是以具有个性的无机物作为卡通人物。例如,机器人等。
对话部717为具有与用户对话的机能者,具有使卡通人物表现为如同与用户对话的机能。对话部717为例如,藉由处理器实现,依照预先规定的运算法,与用户进行对话。对话部717为从预先储存的声音之中,选择与用户对话的话题,从扬声器705输出该声音,并藉由分析从麦克风704输入的用户的声音执行对话。此外,在此,卡通人物的声音为设定为预先储存者,但并不限于此,也可以输出合成声音作为卡通人物的声音。
聊天部718为在用户所保有的通讯终端之间执行聊天者,例如,藉由处理器实现,依照预先规定的运算法,与用户进行聊天。聊天部718也可以是与用户的通讯终端直接执行无线通信进行聊天,或是透过指定的通信报服务器(聊天服务器)执行聊天。在此所述的聊天为进行所谓信息(通讯文)的交换者。聊天部718为自动选择对话的内容,并在将选择的对话内容作为文字列发送的同时,分析从用户的通讯终端发送的聊天的内容,以选择对应于分析的内容的话题生成应答,并发送其信息。
在此,对话部717与聊天部718互相连动。所谓对话部717与聊天部718互相连动为对话部717与用户之间所执行的卡通人物与用户间的对话被反映到聊天部718所执行的聊天的内容中,在聊天部718与用户的通讯终端之间已执行的聊天的内容被反映到对话部717所执行的对话的内容中。聊天的内容或对话的内容为发言本身的内容或话题。并且,对话部717与聊天部718连动为,例如,在对话部在用户之间执行了与棒球有关的对话的情况下,使聊天部所执行的话题中包含与棒球有关的话题,更加正确地,为使执行的话题中有与棒球有关的话题的可能性。对话部717、聊天部718为藉由下述控制部71实现。
又,影像显示设备1可以如图1至图3所示,如上所述更具备至少一部分为由透光性构件所构造的外壳2。并且,显示部700可以具有透光薄膜3、投影机4、与显示处理部713,其中透光薄膜3为立设于外壳2内的透光性的平板构件,投影机4为在平板构件的透光薄膜3上将卡通人物影像及表现用影像投光的投光装置,显示处理部713为用以控制透过投光装置的投影机的影像的显示。
具体而言,如图6所示,影像显示设备1具备控制部71、输入部72、输出部73、操作部74、储存装置75、与通讯部76。藉由执行储存在储存装置75中的影像显示程序P1、对话程序P2、或聊天程序P3,控制部71可以执行作为撷取处理部711、分析部712、显示处理部713、声音输出部714、发送处理部715、及数据管理部716的处理。
输入部72藉由各种传感器检测到的各式各样的信息的输入设备。输入到输入部72中的资料包含:例如,人体感测器702检测到人的时候从人体感测器702输出的识别资讯,透过麦克风704输入的声音资讯,藉由温湿度感测器611偵测的室內的温度与湿度的资讯,能夠识别振动感测器612所偵测的振动的大小或变化的资讯,透过噪音感测器613输入的音量资讯,透过光感测器721输入的照度资讯,藉由照相机722所拍摄的静止画像、动画的资讯等。
输出部73基于指定的命令输出信号或信息的输出装置。藉由输出部73输出的信号或信息包含:例如,从红外线LED703输出的用以控制外部设备的动作的红外线信号,透过扬声器705输出的声音信息,从表现用LED706发出的光,从投影机4输出的影像等。
操作部74为用户的操作装置,例如,可以是未图标的键盘或鼠标、设置于影像显示设备1上的操作按键(硬键)或触控面板。藉由操作部74进行的操作包含:例如,藉由启动按键709开启/关闭装置主体的电源、在休眠状态(非召唤状态)与活动状态(召唤状态)之间切换影像显示设备1的按键等。
储存装置75藉由例如,构造影像显示设备1的RAM、EEPROM、或闪存等非挥发性内存等所构造,其储存有用以执行影像显示设备1所具有的各种机能的程序或数据的储存装置。储存在储存装置75中的数据报含:卡通人物等的影像数据751或声音数据752、操作电视或照明器具等外部设备的信号数据753、与用户的属性信息等有关的用户数据754、表示影像显示设备1与用户的间交谈的对话履历的对话履历数据755、表示影像显示设备1与用户的通讯终端之间执行的聊天履历的聊天履历数据756、与外部设备的遥控有关的遥控信息、在日历网站上登录的日历信息、装置主体与各设备的属性信息、从传感器输入的信息、音乐信息、语言数据等。又,储存在储存装置75中的程序包含:执行后述的各种控制动作的影像显示程序P1、与用户的间直接对话的对话程序P2、与用户的通讯终端之间(透过聊天服务器)执行聊天的聊天程序P3、或声音辨识程序、人工智能程序等。
影像数据751为将显示影像的显示条件、与辨识起因于该条件所显示的卡通人物影像的卡通人物影像信息(第一影像信息)及辨识表现用影像的表现用影像信息(第二影像信息)设定关联的数据。表现用影像为表达卡通人物的情感等的影像,可以是包含表示情感等话语的文字的影像,也可以是包含星型或心型等的影像。此外,表现用影像并非必要,也可以不显示。例如,可以是以指定的机率显示。具体而言,例如,可以是设定每天改变的随机的阈値,以显示表现用影像的时序,是否显示为依当时钟算的随机値,以是否超过该随机値所设定的阈値来显示表现用影像。卡通人物影像信息较佳为三维影像的影像信息。又,表现用影像信息为根据情况可以是二维影像的影像信息或三维影像信息。
在如图7A所示的影像数据751的例中,规定在检测到“声音A”作为环境信号的情况下,显示“卡通人物影像A”与“表现用影像A”。例如,声音A为发出“早安”的话语时,作为卡通人物影像A,显示适配器通人物说“早安”的样子的影像,同时作为表现用影像A,显示表现清爽的早晨的影像。又,表现用影像A中也可以包含显示“早安”的文字的对话框。
在作为环境信号检测到“动作C”的情况下,显示“卡通人物影像C”与“表现用影像C”。例如,动作C为“用户回家”时,则作为卡通人物影像C,显示适配器通人物说“欢迎回家”的样子的影像,同时作为表现用影像C,显示表现迎接用户回家的影像。又,表现用影像C中也可以包含显示“欢迎回家”的文字的对话框。
在“时刻D”的时序下,显示“卡通人物影像D”与“表现用影像D”。例如,作为时刻D,设定“上午6点”作为闹铃的时间时,则在上午6点,作为卡通人物影像D,显示适配器通人物叫醒用户的样子的影像,同时作为表现用影像D,也可以显示睡醒的样子的影像。又,表现用影像D中也可以包含显示“早上了”的文字的对话框。
在接收到“信号E”的时序下显示“卡通人物影像E”与“表现用影像E”。例如,信号E为从用户的通讯终端所发送的“牙刷”的信号时,接收此信号E,作为卡通人物影像E,显示适配器通人物刷牙的样子的影像,同时作为表现用影像E,也可以显示符合刷牙时的心情清爽的影像。又,表现用影像E中也可以包含“刷牙中”的文字。
又,在影像数据751中,可以规定环境信息的同时也包含时刻信息的显示条件。例如,可以规定即使影像数据751为相同的环境信息,在上午与下午显示不同的卡通人物影像及表现用影像。
再者,在影像数据751中,可以规定环境信息的同时也包含接收信号的显示条件。
声音数据752为将输出声音的输出条件、与辨识起因于该条件而输出的声音的信息设定关联的数据。
在图7B所示的声音数据752的例中,规定在检测到“声音A”作为环境信号的情况下,输出“声音A”。例如,声音A为所谓“早安”的话语时,则作为声音A,以卡通人物的声音输出“早安”。
作为环境信号,检测到“动作C”的情况下,输出“声音C”。例如,动作C为“用户回家”时,作为声音C,以卡通人物的声音输出“欢迎回家”。
在“时刻D”的时序下,作为声音D,以卡通人物的声音输出“现在6点了”。
在接收到“信号E”的时序下,作为声音E,输出卡通人物刷牙的声音或漱口的声音。
又,可以在声音资料752中规定包含环境信息与时刻信息的输出条件。例如,可以规定即使声音资料752为相同的环境信息,然而在上午与下午输出不同的声音。
再者,可以在声音资料752中规定包含环境信息与接收信号的输出条件。
信号数据753为将输出用以操作家电等外部的电子设备的操作信号的条件、与起因于该条件所发送的操作信号设定关联的数据。
在如图7C所示的信号数据753的例中,规定在检测到“声音F”作为环境信号的情况下,输出“操作信号F”。例如,声音F为所谓“关掉电视”的话语时,输出电视的电源的操作信号F。
此外,如图8所示,对于相同的话语或行动,根据日期和时间输出的影像或声音可以不同。例如,在检测到“早安”的声音的情况下,如果是平日早上则输出“早安!今天也加油喔!”的激励一天的声音,如果是假日早上则输出“早安!今天可以好好休息”的慰劳平日的疲劳的声音。另一方面,如果是夜晚,则输出“别说傻话!已经是这么晚的时间了”的声音。因此,可以防止在日常生活中不自然的机械性交流。藉此,用户可以对卡通人物感到更亲近。
用户数据754具有用户的个人档案、属性、嗜好等与用户有关的各种信息。由于在用户数据754中具有用户的姓名,影像显示设备1可以例如,以声音输出用户的名字。此时,不只是姓名,也可以登录昵称等。藉此,可以使卡通人物呼叫用户的名字。因此,用户可以对卡通人物感到亲切,又,感到更亲近。
藉由在用户数据754中输入用户的地址或公司的地址,影像显示设备1可以例如,利用因特网等撷取与用户的行动范围有关的信息,并以声音或影像输出。藉此,卡通人物可以对用户通知各式各样的信息。因此,用户可以对卡通人物感到亲切,并且感到更亲近。
藉由在用户数据754中输入用户的出生年月日,影像显示设备1可以例如,在用户的生日,输出庆祝生日的影像或声音。藉此,可以使卡通人物庆祝用户的生日。藉此,用户可以对卡通人物感到亲切,并且感到更亲近。
藉由在用户数据754中输入用户的移动电话的电话号码,影像显示设备1可以例如,在用户为外出中时,打电话到移动电话。藉此,可以产生用户在外出地接到来自在家等待的卡通人物的电话的状态。藉此,用户可以对卡通人物感到亲切,并且感到更亲近。
此外,用户数据754可以具有喜欢的动画、漫画、小说、游戏、或电影、喜欢的卡通人物、爱好、有兴趣的东西、体重、身高、或职业等信息。影像显示设备1可以基于上述与用户有关的信息,从用户有兴趣的话题显示影像或是输出声音。又,上述信息为问卷调查等的结果、或是从用户所利用的SNS(社交网络服务)的履历等生成。在此所谓问卷调查可以是影像显示设备1的卡通人物透过对话或聊天对用户进行如“喜欢○○吗?”等提问,或者也可以是有些时候用户在如提问列表所填入的数据。在前者的情况下,可以藉由将提问内容与对该提问内容的用户的回答的文字列设定关联,作为用户数据754的一部分预先储存,以备往后选择用户喜爱的话题。
对话履历数据755为与影像显示设备1的卡通人物与用户之间直接交谈的对话的内容有关的履历信息。图9为显示对话履历数据755的一具体例的资料示意图。如图9所示,对话履历数据755为显示进行了对话的信息,其中显示适配器通人物侧的发言或是用户侧的发言的发言者信息901、显示发言的日期和时间的日期时间信息902、与显示对话的具体内容的对话内容信息903设定关联的信息。例如,以图9的例来说,可以理解卡通人物在“2016年7月10日18点30分10秒”,对用户说“今天有棒球转播呢”,对此用户在“2016年7月10日18点32分20秒”,回答“这样啊?谢谢你告诉我”。此外,针对用户的对话内容信息903为储存分析部712对输入的声音所执行的声音辨识的结果的文本数据。此外,对话内容信息903可以是将对话的全部内容以文字列表示的信息,也可以是从对话的内容拾取关键词的信息。例如,以图9的例来说,若是“喜欢A球队吧”的对话内容,可以储存如“A球队,喜欢”的组合的信息作为对话内容信息903。在此情况下,影像显示设备1所选择的关键词可以是以对话文中的名词为基准做选择,如果有表示用户的情感的话语的话,也可以拾取该话语并储存。藉由将对话履历数据755储存在储存装置75中,影像显示设备1可以辨识过去的对话内容,并同时可以反映在其后的对话或聊天的话题中。对话履历数据755为在影像显示设备1所显示的卡通人物与用户的间每次对话成立时,藉由控制部71追加更新。
聊天履历数据756为影像显示设备1的卡通人物与用户所保有的通讯终端之间所执行的聊天内容有关的履历信息。图10为显示聊天履历数据756的一具体例的资料示意图。如图10所示,聊天履历数据756为显示在聊天中发言侧的信息,其为将显示用户侧的发言或卡通人物侧的发言的发言者信息1001、显示在聊天中发言的日期和时间的日期时间信息1002、与显示发言的聊天的内容的文字列的聊天内容信息1003设定关联的信息。例如,以图10的例而言,可以理解卡通人物在“2016年7月2日19点39分21秒”,在聊天中提问“现在在做什么?”,对该提问,用户在“2016年7月2日19点40分30秒”回答“在神宫球场看棒球比赛喔”。此外,聊天内容信息1003可以是将聊天的全部内容以文字列表示的信息,也可以是从聊天的内容拾取关键词的信息。例如,以图10的例而言,可以从“在神宫球场看棒球比赛喔”的聊天内容,仅储存“棒球”的关键词,若是“喜欢a选手吧”的聊天内容的话,也可以储存如“a选手,喜欢”的组合的关键词作为聊天内容信息1003。在此情况下,影像显示设备1所选择的关键词可以是以聊天文中的名词为基准做选择,如果有表示用户的情感的话语的话,也可以拾取该话语并储存。藉由将聊天履历数据756储存在储存装置75中,影像显示设备1可以辨识过去的聊天内容,并同时可以反映在其后的聊天或对话的话题中。聊天履历数据756为在影像显示设备1所显示的卡通人物与用户的间每次聊天成立时,藉由控制部71追加更新。
随机对话数据757为关于卡通人物随机执行对话或聊天的情况下的话题选择的数据。如图11所示,随机对话数据757为将关键词1101、条件1102、与对话或聊天内容1103设定关联的信息。关键词1101为触发对话的词,控制部71用以核对记录在对话履历数据755及聊天履历数据756中的对话履历及聊天履历中的话题的信息。在包含于对话履历与聊天履历之中的关键词与关键词1101的任一者相符的情况下,以声音输出对话或聊天内容1103的内容,或者作为聊天的文章输出。条件1102为卡通人物将对应的对话或聊天内容说出或聊天时必需符合的条件,也包含没有条件的情况。作为条件,例如特定的天候(晴天、雨天、下雪…)、输入特定的声音、包含在输入特定的信息(例如,将播放某个节目)中的信息(例如,电视节目信息)等,各种各样的条件。对话或聊天内容1103为在对话履历或聊天履历中包含的关键词与关键词1101一致,而且符合条件1102的情况下,显示执行的对话或聊天的实际内容的信息。此外,在藉由控制部71检测到多个对话或聊天内容的情况下,可以随机选择其中任一者,也可以选择所选择的对话或聊天内容的对话中包含的关键词与用户的嗜好的符合率高者,也可以选择与之前的一个以上的对话的完整性高者。藉由储存随机对话数据,控制部71可以,作为对话部或聊天部,分别进行反映了过去的履历的下一个对话或聊天。
通讯部76为藉由有线或无线与外部的设备之间进行双方向或单方向的数据通讯处理的通讯装置。例如,在连接到因特网的设备之间,透过基于连接到LAN接口的LAN电缆或Wi-Fi(登录商标)模块的无线,可以收发各种数据。例如,通讯部76可以接收从用户的通讯终端发送的信号。又,通讯部76可以接收从天气信息网站接收可能的天气信息、登录于日历网站上的日历信息等透过因特网能够撷取的信息。又,通讯部76可以透过未图示的网络上的聊天服务器,在用户的通讯终端之间执行聊天通讯。
控制部71可以依据影像显示程序P1,进行作为撷取处理部711、分析部712、显示处理部713、声音输出部714、发送处理部715、数据管理部716的控制动作。
撷取处理部711为用以撷取从麦克风704、照相机722、人体传感器702、光传感器721、温湿度传感器611、振动传感器612、噪音传感器613等的至少任一者所检测到信号。
分析部712为用以分析撷取处理部711所撷取的环境信息。例如,分析部712对撷取处理部711从麦克风704检测到的环境信号,分析用户所发出的话语。分析部712可以是使用例如,预先登录在储存装置75中的语言模式及声音模式,从麦克风704所撷取的声音,辨识用户所发出的话语。所谓语言模式为登录在影像显示设备1所使用的语言中,被使用的语言的词汇信息的集合、或各种用语的数据。又,声音模式为所使用的语言的声音信号的模式,例如,显示频率特性的信号。具体而言,如“a”、“yi”、…、“a”、“b”的逐字的声音的标准模式。藉此,可以藉由型式匹配(pattern matching)辨识被输入的用户的声音。又,藉此,影像显示设备1可以根据用户所发出的话语显示规定的影像,与根据话语输出规定的声音。在此,在储存装置75中,可以具有声纹信息,作为与影像显示设备1的所有者的用户有关的用户数据,以使其能够辨识所有者的用户的声音。
此外,在分析部712无法分析用户所发出的话语时,影像显示设备1并非输出“请再说一遍”等一般的机械性声音来重复要求用户,而是以别的方法反应。例如,影像显示设备1重复输出“请更靠近点说”、“请温柔的说”的声音进行引导。又,影像显示设备1也可以输出“啍”、“这样啊”、“原来如此”等适当的随声附和的声音,也可以输出如“嗯”、“那个”等填补语表达的声音。
又,分析部712对撷取处理部711从照相机722检测到的环境信号,分析用户的位置与动作。具体而言,作为影像分析,分析部712可以从影像检测人脸。又,在储存装置75中,作为与所有者的用户有关的用户资料,可以包含用户的脸信息,可以从检测到的人脸,辨识所有者的用户的脸。
影像显示设备1藉由辨识所有者的用户,卡通人物可以对所有者的用户显示亲密地对待的影像或输出声音。又,相反的,对于所有者以外的人,影像显示设备1可以显示冷淡对待、或进行自我介绍等问候的影像或输出声音。藉此,用户可以对影像显示设备1中所显示的卡通人物感觉更有亲近感。
又,分析部712除了已分析的用户所发出的话语、用户的位置或动作之外,也可以合并其他传感器等所检测到的其他环境信息或按键操作而作为一个环境信息生成结果。例如,除了声音或影像之外,可以从人体传感器的检测结果,判断后述的外出或回家。
显示处理部713从储存装置75读取影像数据751,并选择与撷取处理部711从此影像数据751撷取的环境信号所对应的显示条件相关联的卡通人物影像信息及表现用影像信息。又,显示处理部713将与选择的卡通人物影像信息及表现用影像信息对应的影像输出至输出部73并显示。又,显示处理部713可以根据环境信息及时刻信息,显示适配器通人物影像及表现用影像。再者,显示处理部713也可以根据环境信息及接收信号,显示适配器通人物影像及表现用影像。
声音输出部714从储存装置75读取声音数据752,并选择与撷取处理部711从此声音数据752撷取的环境信号所对应的输出条件相关联的声音信息。又,将与声音输出部714所选择的声音信息对应的声音输出至输出部73。又,声音输出部714可以根据环境信息及时刻信息输出声音。再者,声音输出部714也可以根据环境信息及接收信号输出声音。
发送处理部715从储存装置75读取信号数据753,并选择与撷取处理部711从此信号数据753撷取的环境信号相关联的操作信号。又,发送处理部715将读取到的操作信号输出至输出部73。
数据管理部716从内建于影像显示设备1中的时钟或外部的时钟撷取时刻信息。在规定有根据时刻显示的影像或声音时,依照此显示及输出的日程表,输出控制信号至显示处理部713及声音输出部714。
又,数据管理部716在影像显示设备1启动时存取天气信息网站,撷取当天的天气信息并将该信息储存在储存装置75中。再者,数据管理部716可以定期存取登录有用户的日程表的日历网站,并将藉此得到的最新的日历信息储存在储存装置75中。又,数据管理部716可以藉由红外线光接收部707从电视或照明等外部设备的遥控接收与该外部设备有关的遥控信息(红外线信息),使储存装置75储存(学习),并可以基于此遥控信息,从红外线LED703发送操作外部设备用的红外线信息。此外,数据管理部716可以存取各式各样的网络上的数据,以收集与用户对话或聊天时使用的各式各样的数据。
〈动作〉
影像显示设备1根据“休眠状态”、“未召唤状态”、“召唤状态”等各状态,执行影像显示或声音输出等的处理。如图12所示,影像显示设备1在电源插座未连接的状态(S1)下,电源按键(未图标)并非有效,然而在插上电源插座使得电源插座为连接状态(S2)时,电源按键成为有效。
《未召唤状态》
在电源插座连接的状态(S2)下按下电源按键的话,则控制部71启动(S3)。藉由此启动,例如,显示启动屏幕,并过渡到“未召唤状态”(S4)。“未召唤状态”为影像显示设备1的电源接通且投影机4启动,但未显示适配器通人物影像,而是显示未召唤影像的状态。又,在未召唤状态下,虽然投影机4启动,但扬声器705或照相机722等未启动,而无法检测环境信号。影像显示设备1在未召唤状态下,点亮状态LED708。
《召唤状态》
在未召唤状态(S4)下长按触控按键26的话,则过渡到“召唤状态”(S5)。长按触控按键26预定时间以上(例如,3秒以上),则称为触控按键26被用户触碰。此召唤状态为影像显示设备1中的特征的影像的显示处理或声音的输出处理被执行的状态。召唤状态为影像显示设备1中投影机4启动且卡通人物影像被显示的同时,扬声器705、照相机722等启动而能够检测环境信号的状态。又,在“召唤状态”下,有(a)沟通模式、(b)生活模式、(c)关怀模式、(d)诉求模式、与(e)聊天模式等模式,在各个该等模式下执行指定的处理。
《休眠状态》
在未召唤状态(S4)下按下电源按键,或是放置预定时间,则过渡到“休眠状态”(S6)。“放置预定时间”指例如,在预定时间以上(例如,20分以上)未长按触控按键26的状态。休眠状态为省电的待机模式的状态,投影机4也未启动,扬声器705与照相机722等也未启动的状态。影像显示设备1在休眠状态下,点亮状态LED708。
影像显示设备1在休眠状态下,由用户按下电源按键,或是触碰触控按键26时,则过渡到未召唤状态。“触碰触控按键”指在小于预定时间(例如,小于3秒)的时间内,用户触碰触控按键26。
接着,针对在召唤状态下的(a)沟通模式、(b)生活模式、(c)关怀模式、(d)诉求模式、与(e)聊天模式进行说明。
(a)沟通模式
沟通模式为显示适配器通人物影像,且卡通人物与用户可以沟通的状态。具体而言,影像显示设备1在沟通模式下,显示对应于撷取处理部711所撷取的环境信号的卡通人物影像。又,影像显示设备1显示对应于环境信号的表现用影像。再者,影像显示设备1根据环境信号输出声音。
影像显示设备1从未召唤状态,触控按键被长按而过渡到召唤状态时,首先一开始为沟通模式。又,影像显示设备1在沟通模式的时序下,持续预定时间以上(例如,10分钟以上),撷取不到环境信号,又,接收不到操作信号等信号的情况下,过渡到生活模式。
例如,在影像显示设备1中,由麦克风704检测到环境信号的用户所发出的“今天天气怎样?”的话语时,则回应此,基于藉由数据管理部716储存在储存装置75中的天气信息,从扬声器705输出“今天是晴天喔”等声音。又,在影像显示设备1中,在透光薄膜3上,显示对晴天表示欢喜的动作的卡通人物影像。再者,在影像显示设备1中,在透光薄膜3上,显示表现晴天的天气的表现用影像。作为表现用影像,如图13A所示,不单是影像,也可以是与以对话框表示“今天是晴天喔”的文字等文本数据的组合。藉此,用户对于告诉自己今天的天气的卡通人物感到一起生活的感觉,可以对卡通人物感到更亲近。此外,表现用影像并非必要,可以随机切换显示与非显示。
又,例如,在影像显示设备1中,用户靠近影像显示设备1,由照相机722检测到用户的脸很大,则响应于此,从扬声器705输出“太靠近了”等声音。又,在影像显示设备1中,在透光薄膜3上,显示表示对用户的脸靠近感到害羞的动作的卡通人物影像。再者,在影像显示设备1中,显示表现卡通人物的害羞情感的表现用影像。作为表现用影像,如图13B所示,不单是影像,也可以是与以对话框表示“太靠近了”的文字等文本数据的组合。藉此,用户对于靠近时害羞的卡通人物感到一起生活的感觉,可以对卡通人物感到更亲近。
在此情况下,例如,如图13C所示,在影像显示设备1撷取到环境信号(T1)时,根据撷取到的环境信号显示适配器通人物的卡通人物影像,并同时根据该环境信号显示表现该卡通人物的情感表达的表现用影像(T2)。又,影像显示设备1输出对应于撷取到的环境信号的声音(T3)。此外,较佳为步骤T2与T3为同时执行。
再者,例如,在影像显示设备1中,用户按下触控按键26数次,进行召唤数次等妨碍卡通人物的行动的动作时,响应于此,从扬声器705输出“哼,干嘛?”的声音。又,在影像显示设备1中,在透光薄膜3上,显示被用户召唤数次,被妨碍的动作的卡通人物影像。再者,在影像显示设备1中,在透光薄膜3上,显示质疑用户的数次召唤的表现用影像。藉此,用户可以对响应于数次的召唤的卡通人物感到更亲近,可以感到与卡通人物一起生活的感觉。
又,例如,在影像显示设备1中,从用户的通讯终端,发送如对卡通人物赠送物品的信号,则响应于此,从扬声器705输出对此欢喜的声音,又,在透光薄膜3中显示在使用赠送的物品的卡通人物。
如图14A所示,操作用户的通讯终端,对影像显示设备1的卡通人物发送“电视”。于是,在影像显示设备1中,如图14B所示,显示电视作为表现用影像。又,在表现用影像中,对话框中也可以包含例如,“一起看电视吧”的文字。在此情况下,在影像数据751中,将发送电视的发送信号与图14B所示的卡通人物影像及表现用影像相关联。
再者,在影像显示设备1中,输出“一起看电视吧”的声音。在此情况下,在声音数据752中,对于发送电视的发送信号,输出“一起看电视吧”的声音。
并且,在对象的电视节目结束时,如图14C所示,可以在影像显示设备1显示包含“很有趣”的文字的对话框的表现用影像。同时,从影像显示设备1输出说“很有趣”的声音。在此情况下,在影像数据751中,以在接收到发送“电视”的发送信号后经过预定时间(电视节目结束)作为条件,与包含“很有趣”的表现用影像关联。又,在声音数据752中,以在接收到发送“电视”的发送信号后经过预定时间(电视节目结束)作为条件,与“很有趣”的声音关联。此外,作为电视节目的内容,由于也有不适合使用“有趣”的情况,因此作为该感想,也可以选择并输出适合的感想的声音。
此外,也可以在用户观看电视期间,用户笑了的情况下,影像显示设备1检测用户的笑声,并同时输出卡通人物的笑声。藉由输出上述卡通人物影像、表现用影像及声音,用户会感到与卡通人物一起观看电视的感觉。
例如,用户的通讯终端的输入设备为触控面板时,执行发送操作时,可以藉由朝向影像显示设备1的方向,轻弹发送的物质的影像。
如图14D所示,操作用户的通讯终端,对影像显示设备1的卡通人物发送“咖啡”。于是,在影像显示设备1中,如图14E所示,作为表现用影像,显示咖啡。又,表现用影像中的对话框可以包含例如,“喝咖啡休息吧”的文字。在此情况下,在影像数据751中,发送咖啡的发送信号为与图14E所示的卡通人物影像及表现用影像相关联。
再者,在影像显示设备1中,输出说“喝咖啡休息吧”的声音。在此情况下,在声音数据752中,对于发送咖啡的发送信号输出说“喝咖啡休息吧”的声音。
并且,可以在经过预定时间(例如,10分钟)时,如图14F所示,影像显示设备1显示对话框包含“承蒙款待了”的文字的表现用影像。同时,影像显示设备1输出说“承蒙款待了”的声音。在此情况下,在影像数据751中,以在接收到发送咖啡的发送信号后经过预定时间作为条件,将包含“承蒙款待了”的表现用影像相关联。又,在声音数据752中,在接收到发送咖啡的发送信号后经过预定时间作为条件,将“承蒙款待了”的声音相关联。
此外,在喝咖啡的期间,影像显示设备1可以显示适配器通人物喝咖啡的动态影像,或是输出“很好喝呢”等声音。藉由输出上述卡通人物影像、表现用影像及声音,用户可以感到如同与卡通人物一起喝咖啡的感觉。
如图14G所示,操作用户的通讯终端,对影像显示设备1的卡通人物发送“食物(图14G为甜甜圈)”。于是,在影像显示设备1中,如图14H所示,作为表现用影像,显示食物。又,在表现用影像中对话框可以包含例如“谢谢”的文字。在此情况下,在影像数据751中,将发送食物的发送信号与图14H所示的卡通人物影像及表现用影像相关联。
再者,在影像显示设备1中,输出说“谢谢”的声音。在此情况下,在声音数据752中,对于发送食物的发送信号,输出说“谢谢”的声音。
并且,可以在经过预定时间(例如,10分钟)时,如图14I所示,影像显示设备1显示对话框包含“好吃”的文字的表现用影像。同时,影像显示设备1输出说“好吃”的声音。在此情况下,在影像数据751中,以在接收到发送食物的发送信号后经过预定时间作为条件,将包含“很好吃”的表现用影像相关联。又,在声音数据752中,以在接收到发送食物的发送信号后经过预定时间作为条件,将“好吃”的声音相关联。
在此,表现用影像也可以是表现为物质从用户的通讯终端被送到影像显示设备1的样子。此时,可以以下述方式表现,例如,传递时发出黄色等的光,并在卡通人物影像拿到此物质的情况下,该光消失。
又,除了从通讯终端向影像显示设备1传送物质之外,也可以表现成从影像显示设备1向用户终端传送物质。例如,在影像显示设备1操作了咖啡机时,可以表现为从卡通人物向通讯终端传送咖啡杯的方式。
也可以进行如下操作:如图15A所示,从用户的通讯终端中显示的多个种类的服装或配饰之中,如图15B所示,选择任一者,并发送所选择的服装等。藉此,在影像显示设备1中,如图15C所示,显示穿着发送的服装的卡通人物的卡通人物影像。又,在表现用影像中对话框可以包含例如,“谢谢”的文字。再者,在影像显示设备1中,输出说“谢谢”的声音。
在此情况下,在影像数据751中,该发送信号为与如图15C所示的卡通人物影像及表现用影像相关联。又,在声音数据752中,该发送信号为与说“谢谢”的声音相关联。
藉由输出上述卡通人物影像、表现用影像及声音,用户可以感到如同对卡通人物赠送礼物的感觉。又,用户可以使卡通人物穿着喜爱的衣服。因此,用户可以对卡通人物感到更亲近。
另外,如果用户发送牙刷的数据,则影像显示设备1显示适配器通人物在刷牙的样子的影像,用户可以与卡通人物一起刷牙。又,如果用户发送跳绳或哑铃的数据,则影像显示设备1显示运动的样子的影像,用户可以与卡通人物一起运动。
此外,也可以在储存装置75中储存与卡通人物的喜好有关的嗜好资料或过去发送的物品或礼物有关的履历资料。在此情况下,若是发送如在图14A至图15C所示的上述物品或礼物时,可以依照嗜好或履历,使卡通人物有不同的反应。例如,在发送卡通人物喜欢的物品的情况下,以大的影像与声音表达卡通人物的欢喜。另一方面,在发送卡通人物并不特别喜欢的物品的情况下,则以小的影像与以声音表达卡通人物的欢喜。又,在持续发送相同的物品的情况下,可以使欢喜程度愈来愈小。再者,在发送食物的频率变多时,可以以“会变胖喔”等影像与声音表达。如此,由于卡通人物的反应并非总是相同,因此用户可以对卡通人物感到更亲切。
又,再者,在沟通模式中,在影像显示设备1选择与用户对话的话题时,在撷取处理部711所撷取的环境信号之外,以指定的机率(预先规定的机率,用以判断是否进行与过去的沟通有关的对话的机率。也可以将此机率设定为适当地变动),执行随机对话,其为基于对应于过去已对话的内容及在后述的聊天模式中影像显示设备1与用户的通讯终端之间已执行的聊天的内容的话题。
具体而言,在人体传感器702检测到人(用户)时,控制部71判断,以随机的时序,依据生成随机数的程序所生成的随机的数値(例如,0到100的数値)是否超过指定的阈値,并在超过此阈値情况下,控制部71从储存装置75读出对话履历数据755与聊天履历数据256。并且,从对话履历数据755的对话内容信息903与聊天履历数据256的聊天内容信息1003中所包含的对话的内容选择关键词,从对应于该关键词的影像数据751及声音数据752读取,辨识具有与关键词一致的卷标的影像数据与声音数据,并从投影机4输出显示处理部713所辨识的影像数据,同时从扬声器705输出声音输出部714所辨识的声音数据。在随机的对话中,由于影像显示设备1进行与过去已执行的对话的话题有关的对话,因此用户对于显示在影像显示设备1上的卡通人物更加感到亲近感。又,由于也进行基于与用户在自己的通讯终端所做的聊天的内容有关的话题的对话,因此用户可以更加的对卡通人物感到亲近感,可以感到更亲近。又,藉由对于用户所做的对话进行声音辨识处理,影像显示设备1可以得到对话的文本数据,在对话履历数据755中追加对话的内容,可以在以后的对话及聊天中利用。例如,在聊天中接收到用户所做的“正在看棒球比赛喔”的聊天内容,使卡通人物进行如“今天,在电视上有棒球转播喔”的发言,可以使用户想起与卡通人物进行过的聊天的内容,并同时对于卡通人物记得该内容,用户可以感到亲近感。又,影像显示设备1可以从声音辨识的结果,输出对应于输出条件的声音,或输出随机对话的对应的对话的声音。
以下,说明实现上述沟通模式的影像显示设备1的通用动作。
如图16所示,撷取处理部711为用以撷取各种环境信号(S161)。将撷取处理部711所撷取的各种环境信号传输到分析部712,分析部712分析传输过来的环境信号(S162)。参考分析结果及影像数据751、声音数据752、信号数据753等,控制部71判断卡通人物应执行的卡通人物动作与规定的条件的任一者相符与否(S163)。判断的结果,在存在应执行的卡通人物动作的情况下(S163:是),声音输出部714输出对应的声音,同时显示处理部713从投影机4投影对应的卡通人物影像(S164)。分析的结果,在不存在应执行的卡通人物动作的情况下(S164:否),则控制部71过渡到步骤S165的处理。
在步骤S165中,控制部71生成例如,0至100的随机値(S165)。此外,随机値不限于0至100的范围。控制部71在生成的随机値与用以与其比较的阈値之间比较大小。在随机値大于阈値的情况下(S166:是)过渡到步骤S167,在随机値为阈値以下的情况下(S166:否),结束处理。
在步骤S167中,控制部71读出对话履历数据755及聊天履历数据756。从读取到的对话履历数据755的对话内容信息903与聊天履历数据756的聊天内容信息1003抽取关键词。可以藉由例如,构文分析等实现。并且,例如,选择最近的(例如1天)关键词的出现频率高的关键词。该关键词的选择可以随机,也可以依照其他基准选择。
控制部71参考随机对话数据757,辨识所选择的关键词及在步骤S161中撷取到的环境信号中是否有相符的对话(S168)。并且,声音输出部714从扬声器705输出辨识到的对话的声音。又,此时,若存在对应的卡通人物影像时,则显示处理部713将其投影(S169),并结束处理。例如,若是卡通人物所做的对话的內容为与“棒球”有关的內容的话,則显示卡通人物穿着棒球的制服的影像,或显示拿着球或球棒等物品的影像。
在沟通模式中,重复执行图16的处理。如此,在随机的对话中,由于卡通人物基于过去与用户交谈的对话内容、或已执行的聊天的内容进行对话,因此用户可以感到与卡通人物之间累积的历史,更加对卡通人物感到亲近。
(b)生活模式
生活模式为显示适配器通人物影像,此卡通人物影像不取决于环境信号,例如,根据时刻而变化的状态。例如,在影像显示设备1中,如果是早上的话,则显示做早餐、吃早餐、或打扫等影像。如果是中文的话,则显示做午餐、吃午餐、或熨衣服等影像。如果是晚上的话,则显示做晚餐、吃晚餐、或做伸展操等影像。
除此之外,也可以是卡通人物在洗衣服、打扫、刷牙、淋浴的影像。又,也可以单纯显示适配器通人物坐在椅子上并摆动双脚的影像、坐在椅子上并操作智能型手机等通讯终端的影像、或坐在椅子上画图的影像等。另外,也可以是卡通人物在床上看漫画的影像、在床上张望四周的影像、在床上睡觉的影像等。
又,能够管理此频率或机率,而能够在不同天,显示不同的动作的影像,又,动作时间可以不完全相同,在某个范围内随机选择。藉此,又,也可以针对用户有兴趣的行动,显示较长时间。例如,在做早餐时用户说“好可爱”的次数多的情况下,可以将显示做早餐的影像的时间加长。
在生活模式的时序下,触控按键26被触碰时,影像显示设备1过渡到沟通模式。又,在生活模式中,在指定的时序下,过渡到关怀模式或诉求模式。
(c)关怀模式
关怀模式为对应于预先登录的用户的日程表,在指定的各时序下,显示适配器通人物影像或表现用影像,搭配式地输出对应的声音。例如,影像显示设备1输出“早安”、“路上小心”、“早安”、“晚安”等声音。
例如,用户利用通讯终端等,事先透过如图17A所示的登录画面W1,在各时刻输入框b11至b14中输入时刻,登录每天的行动的“起床时间”、“外出时间”、“回家时间”及“就寝时间”。
又,在此日程表产生变更的情况下,可以再次利用此登录画面W1更新,但是在只有想变更一天的日程的情况下,也可以藉由后述的聊天模式,利用如图17B所示的聊天画面W2进行变更。聊天画面W2具有输入发送信息的输入部b21、发送输入的信息的发送部b22、显示信息例的信息显示部b23、与显示已发送的信息的信息显示部b24。
如图18所示,影像显示设备1能够执行『起床模式』。具体而言,在已登录的起床时间的预定时间前(例如,“1小时前”),开始『起床模式』(S201)。
在此状态下,藉由分析部712检测用户的脸,或是触控按键26被触碰,则判断用户已起床。又,以用户已起床为条件,藉由显示处理部713显示问候“早安”的卡通人物影像及表现用影像,并藉由声音输出部714输出“早安”的问候(S202)。
此外,也可以输出对应于用户的行动的话语。在早于用户所登录的起床时间睡醒的情况下,可以输出“清爽地醒来了呢”的声音。在用户前一天迟到的情况下,可以输出“今天不要迟到喔”的声音。在检测到窗帘密闭的情况下,可以输出“打开窗帘吧”的声音。在用户前一天的就寝时间晚,且今天的起床时间晚的情况下,可以输出“因为昨天晚睡了喔”的声音。
判断用户起床时,发送处理部715发送操作信号,操作指定的家电(S203)。例如,在设定咖啡机作为起床后要启动的家电的情况下,启动咖啡机。
又,判断用户起床时,输出早上的信息通知的影像或声音(S204)。例如,输出通知“日期”、“天气”、“气温”等的影像或声音。
在检测到用户对于家电的操作或早上的信息通知有关的影像或声音的输出所发出的声音时,输出对此问候的卡通人物的声音(S205)。例如,检测到用户所发出的“谢谢”时,作为卡通人物的声音,输出“不客气”等声音。其后,在经过预定时间时,过渡到生活模式(S213)。
又,在未召唤状态的情况下,在起床时间的预定时间前(例如,30秒前),藉由分析部712检测不到用户的脸,或触控按键26未被触碰时,成为召唤状态(S206)。
从未召唤状态成为召唤状态时,发送处理部715发送操作信号,操作预先登录的家电(S207)。
又,到起床时刻为止藉由分析部712检测不到用户的脸时,显示处理部713显示叫醒用户的影像,且声音输出部714输出叫醒用户的声音,开始闹铃机能(S208)。作为叫醒用户的声音,例如,卡通人物的“早上了喔”等声音。
藉由分析部712检测到用户的脸的情况下,或触控按键26被触碰的情况下,过渡到步骤S202。另一方面,在用户的脸也检测不到,触控按键26也未被触控时,作为贪睡机能,持续输出叫醒用户的影像与声音(S209)。例如,可以逐渐增大叫醒用户的声音。又,也可以增大从影像显示设备1输出的光的光量。
藉由分析部712检测到用户的脸的情况下,或触控按键26被触碰的情况下,过渡到步骤S202。另一方面,在用户的脸也检测不到,触控按键26也未被触控时,发送处理部715发送操作信号,操作预先登录的家电(S210)。
再者,使叫醒用户的影像及声音为最终手段的影像及声音(S211)。例如,显示处理部713显示适配器通人物拍打平底锅的影像。又,例如,声音输出部714输出包含卡通人物一边说“再不起来的话就迟到了”一边拍打平底锅的声音。
其后,藉由分析部712检测到用户的脸的情况下,或触控按键26被触碰的情况下,过渡到步骤S202。另一方面,藉由分析部712检测不到脸,触控按键26也未被检测到时,影像显示设备1将用户的状态设定为不明(S212),并过渡到生活模式(S213)。
如图19所示,影像显示设备1能够执行『外出模式』。具体而言,在已登录的外出时间的预定时间前(例如,“5分钟前”),开始『外出模式』,并从未召唤状态(S301)过渡到召唤状态(S302)。
又,到了出发时刻,输出警报的影像及声音(S303)。例如,所谓警报为如催促用户的卡通人物的影像与卡通人物的“出发时间到了喔”的声音等。
又,发送处理部715发送操作信号,操作指定的家电(S303)。
再者,显示处理部713显示外出检查的影像,声音输出部714输出外出检查的声音(S304)。例如,输出影像或声音,以通知日程的确认、忘记物品的确认、降雨机率高的情况下督促带伞的确认等。
又,到了出发时刻,显示处理部713输出催促出发的影像,声音输出部714输出催促出发的声音(S305)。例如,卡通人物勿忙地走动的动态影像、及卡通人物的“已经是出发时间了!会迟到喔”等声音。
分析部712检测到用户的“我出门了”的声音时,显示处理部713显示对应于此的影像,声音输出部714输出对应于此的声音(S306)。例如,显示处理部713显示对用户挥手的卡通人物影像。又,声音输出部714输出“路上小心”等声音。又,输出的声音也可以根据所登录的用户的日程表或用户的行动履历等而变更。
其后,发送处理部715发送操作信号,操作指定的家电(S307)。
在步骤S305通知出发时刻之后,或在步骤S307操作家电之后,过渡到生活模式(S308、S309)。再者,在经过预定时间(例如,10分钟)后,藉由人体传感器702检测不到人的情况下,过渡到休眠状态(S310)。
如图20所示,影像显示设备1能够根据环境信号进行“外出、回家判断”,据此能够执行『回家模式』。具体而言,利用图15判断上述的『外出模式』中的外出之后,影像显示设备1为休眠状态时(S41),从用户的通讯终端接收回家计划的信息,作为回家准备,过渡到召唤状态(S42)。
其后,发送处理部715发送操作信号,操作指定的家电(S43)。
又,影像显示设备1在以人体传感器702检测到人的时序、家中照明的电源被开启的时序、门被打开的时序下,判断预测已回到家的“回家预测”(S44)。在此,门的开关为藉由气压传感器(未图示)检测气压的变化、或是藉由噪音传感器613检测声音而判断。又,做回家预测判断后,声音输出部714可以输出“似乎回到家了”等声音。
做回家预测判断后,发送处理部715发送操作信号,操作指定的家电(S45)。
又,影像显示设备1在藉由分析部712检测到用户的脸的情况下,或触控按键26被触碰的情况下,判断为“回家”。又,以用户回到家作为条件,显示处理部713显示做回家的问候的卡通人物影像及表现影像,并藉由声音输出部714输出回家的问候的声音(S46)。例如,作为回家的问候,不只限于“欢迎回家”,也可以包含基于每天的用户的行动履历等而决定的“今天也这么晚才回来”、“今天很早回来呢”、“今天很晚呢”、“辛苦了”等声音。
检测到用户所发出的声音时,对此输出卡通人物的答复的声音(S47)。例如,卡通人物可以是作为当天所做的事,输出“因为昨天吃了甜甜圈,所以今天做了运动”等声音。又,也可以通知在家中发生的事。例如,在门口的门铃响了数次的情况下,可以输出“今天有人来过喔”等声音。
另一方面,做回家预测判断后,在预定时间(例如30秒钟)无法判断回家时,进行回家确认(S48)。例如,所谓回家确认为藉由声音输出部714输出“回来了吗?让我看下你的脸”等声音。又,藉由显示处理部713,显示如闹别扭的卡通人物影像或如生气的卡通人物影像、表现用影像。
在步骤S47对用户的问候答复之后,或在步骤S48回家确认之后,过渡到生活模式(S49)。
(d)诉求模式
诉求模式为对应于时刻或以传感器等检测到的信号等,显示对应于各条件的卡通人物影像或表现影像,与输出对应于各条件的声音。例如,影像显示设备1可以根据时刻,输出“已经8点了喔”等声音。又,影像显示设备1可以根据温度,输出“啊好热”等声音。藉此,由于卡通人物在出乎意料的时序对用户说话,因此可以对卡通人物感到更亲近。
(e)聊天模式
聊天模式在用户在外出中等与影像显示设备1远离的地点的情况下,与用户所保有的通讯终端之间实现信息的收发。用户所保有的通讯终端为例如,智能型手机或移动电话机等携带式通讯终端。
聊天模式中的基本运算法可以与用户的对话同样地进行。但是,取代来自用户的声音输入,影像显示设备1藉由输入聊天上的文字列进行聊天。
图21为显示聊天模式下的影像显示设备1的动作的流程图,在聊天模式下动作中的流程图。此外,在执行聊天模式的情况下,用户在自己的通讯终端上执行用以与影像显示设备1进行聊天的聊天应用程序。如此一来,从用户的通讯终端,聊天应用程序的启动信号透过网络发送到影像显示设备1。如此一来,影像显示设备1的控制部71启动聊天模式,透过聊天服务器开始与用户的通讯终端之间的聊天。此外,影像显示设备1也可以利用人体传感器检测用户不在附近,并基于指定的条件,从影像显示设备1侧启动聊天模式,向用户的通讯终端发送聊天应用程序的启动信号而开始聊天。该聊天服务器可以是影像显示设备1的专用服务器,也可以是通用的聊天服务器。
如图21所示,首先,撷取处理部711撷取各种环境信号(S501)。此环境信号可以包含在聊天上用户输入的最新的发言。撷取处理部711所撷取的各种环境信号被传输到分析部712,分析部712分析传输过来的环境信号(S502)。分析部712对用户的聊天上的发言内容的文字列进行构文分析,辨识发言内容。又,分析部712从其他的环境信号,例如,天候信息等判断情况。控制部71参考分析结果及声音数据752、信号数据753等,判断卡通人物应执行的聊天上的发言是否与规定的条件的任一者相符(S503)。此外,虽然声音数据752为规定声音的信息,然而在所谓对话的概念中与聊天有共通之处,因此在聊天中也可以利用。判断的结果,存在有应发言的内容的情况下(S503:是),发送处理部715将所辨识的发言内容的信息透过聊天应用程序,发送至用户的通讯终端(S504)。分析的结果,在没有应执行的卡通人物发言的情况下(S504:否),则控制部71过渡到步骤S505的处理。
在步骤S505中,控制部71生成例如,0至100的随机値(S505)。此外,随机値不限于0至100的范围。控制部71比较生成的随机値、与用以与其比较的阈値之间的大小。在随机値大于阈値的情况下(S506:是)过渡到步骤S507,在随机値为阈値以下的情况下(S506:否),结束处理。
在步骤S507中,控制部71读出对话履历数据755及聊天履历数据756。从读取到的对话履历数据755的对话内容信息903与聊天履历数据756的聊天内容信息1003抽取关键词(S507)。其可以藉由例如,构文分析等予以实现。并且选择,例如,最近的(例如1天)关键词的登场频率高的关键词。该关键词的选择可以是随机的,也可以是基于其他的基准做选择。
控制部71参考随机对话数据757,辨识选择的关键词及步骤S501中撷取的环境信号中是否有相符的对话(S508)。并且,发送处理部715将表示已辨识的发言的内容的信息,透过聊天应用程序,发送至用户的通讯终端(S509)。又,此时,发送处理部715在存在有对应的卡通人物影像时,将其影像在聊天上显示用的影像数据透过聊天应用程序发送,完成处理。例如,卡通人物所说的对话的内容为与“棒球”有关的内容的话,发送卡通人物穿着棒球的制服的影像,或发送拿着球或球棒等物品的影像。
在聊天模式中重复执行图21的处理。如此,在聊天中的随机的对话中,由于卡通人物为基于与用户过去交谈的对话内容、或已执行的聊天的内容进行发言,因此用户感到与卡通人物之间累积的历史,更加对卡通人物感到亲近。并且,影像显示设备1藉由图16的处理与图21的处理,实现对话的内容与聊天的内容互相连动的构造。此外,如果以聊天的内容被反映到以后的对话的内容中,并且对话的内容也被反映到以后的聊天的内容中的方式构造的话,显然影像显示设备1也可以依据本实施方式所示的运算法以外的运算法动作,实现同样的构造。
藉由上述的构造,可以进行例如,如图22A所示的聊天。图22A显示用户的通讯终端中的聊天画面的表意例。在聊天画面W3中,显示用户与卡通人物的发言内容。用户利用通讯终端的触控面板(未图示),在输入部b21输入信息,触碰发送部b22发送信息。
又,在此聊天中,如图22B的聊天画面W4所示,与一般的聊天不同,从卡通人物,发出提问,作为对该提问的回答,也可以显示选项b220。这可以藉由在用户的通讯终端上安装与影像显示设备1之间专用的聊天应用程序予以实现。又,在此情况下,聊天伺服器具有将实现此控制用的从影像显示设备1来的指令中继到用户的通讯终端的机能。在此指令中也包含用户所选择的回答的指令。藉由上述构造,可以给用户与卡通人物玩游戏的感觉。因此,用户可以以玩游戏的感觉与卡通人物享受聊天。
此外,本实施方式中将利用对话履历数据755及聊天履历数据756的对话或聊天设定为以随机方式执行,然而并不限于此,显然也可以设定为在满足预先规定的条件的情况下必然执行的方式。
《与声音有关的动作》
例如,用户向着麦克风704呼叫卡通人物的名字时,可以使影像显示设备1显示对应于该名字的卡通人物的影像。又,用户对所显示的卡通人物说出特定的话题时,可以使影像显示设备1输出对用户应答的声音。
因此,用户可以在任何时候召唤喜欢的卡通人物,并将此卡通人物等显示在可以看起来更立体的透明的外壳2之中。又,用户朝着卡通人物等说话时,可以使卡通人物等的动作好比是对应于用户的话做举动。因此,可以给用户有与卡通人物等在相同的空间下一起生活般的感觉。
又,可以根据声音输入,控制照明的点亮/关掉。例如,从麦克风704输入“关灯”或“晚安”的声音时,控制部71从储存装置75取出预先与上述文字列设定关联并储存在储存装置75中的与照明的关掉有关的遥控信息,并从红外线LED703发送对应的红外线信息。藉此,可以将室内的照明关掉。又,同样的,可以根据“欢迎回家”或“早安”点亮照明。此外,在此利用的信号也可以是红外线信息以外的信号。
再者,将上述声音输入与藉由人体传感器702的人体检测组合的控制动作也是可能的。例如,从麦克风704输入由用户所说的“我出门了”的声音时,控制部71过渡到对应于从此声音得到的文字列的监视模式。此外,也可以对应于卡通人物等说的“路上小心”而过渡到监视模式。
监视模式为用户不存在于室内的状态下的模式。因此,监视模式可以在输入用户所说的“我回来了”的声音,且检测从此声音得到的文字列时解除。此外,也可以对应于卡通人物等所说的“欢迎回家”而解除监视模式。
在监视模式中,例如,藉由人体传感器702检测到人时,控制部71可以判断此为异常,并进行通知。具体而言,可以从扬声器705输出指定的警报音或警告信息,或是透过通讯部76对预先登录的收信人发送指定的信息。又,此时,控制部71可以使照相机722对室内摄影,并将影像储存在储存装置75中,或是透过通讯部76对预先登录的收信人发送影像。
此外,在监视模式中藉由人体传感器702检测到人之后,可以立刻判断为异常并进行通知,又,也可以在一定时间内监视模式未解除的情况下判断为异常并进行通知。
《与红外线LED有关的控制动作》
作为利用红外线LED703的控制动作,可以进行以下的动作。具体而言,控制部71在到了藉由定时器程序预先设定的起床时刻时,基于与该时刻信息设定关联的行动信息,控制对应的设备的动作。
例如,在登录了在起床时(7:00)“照明点亮”,在就寝时(23:00)“照明关掉”的定时器程序的情况下,控制部71到了7:00,从储存装置75取出“照明点亮”的遥控信息,并从红外线LED703发送对应的红外线信息,到了23:00,则从储存装置75取出“照明关掉”的遥控信息,并从红外线LED703发送对应的红外线信息。如此一来,可以在指定的日期和时间自动地使指定的设备动作。
此外,也可以根据藉由温湿度传感器611检测到的温湿度进行空调等的开启/关闭控制,或根据时间带进行电视的开启/关闭控制。
《与传感器有关的控制动作》
使用光传感器721,例如,尽管是白天却检测到没有开窗帘,可以提醒用户打开窗帘。
具体而言,作为日历信息将日出的时刻预先储存在储存装置75中,在过了该时刻,从光传感器721输入的照度仍未满足指定的照度的情况下,控制部71从扬声器705输出预先储存在储存装置75中的声音数据(“开窗帘吧”)。
《与噪音传感器有关的控制动作》
可以使用噪音传感器613,例如,在电视持续打开长时间时提醒用户。具体而言,控制部71基于藉由噪音传感器613输入的声音的音量、频率等,判断电视被打开,从判断时开始计时,并在该状态的时间超过预定时间的情况下,取出预先储存在储存装置75中的声音数据(“关掉电视吧”),并从扬声器705输出。藉此,除了在节能上产生贡献之外,可以给用户好比被妻子提醒般的感觉。
《与振动传感器有关的控制动作》
可以使用振动传感器612,进行地震的检测或其通知动作。
例如,在藉由人体传感器702没有检测到人的状态时,藉由振动传感器612检测到指定的大小的振动的情况下,判断为地震发生,控制部71可以从扬声器705输出指定的警报音或警告信息,或透过通讯部76向预先登录的收信人发送指定的信息。
另一方面,在藉由人体传感器702检测到有人的状态时,藉由振动传感器612检测到指定的大小的振动的情况下,判断其为来自用户等人为的行为,而不进行通知。此外,在此情况下,例如,可以从扬声器705输出声音信息(“不能摇动!”)。如此一来,可以高精度区别地震与生活振动,并分别进行对应的动作。
《与温湿度传感器有关的控制动作》
可以对应于温湿度传感器611进行指定的声音输出控制。例如,在藉由温湿度传感器611检测到的温度小于10℃的情况下,控制部71可以在指定的时序从扬声器705输出“今天好冷呢”的声音。
又,在藉由温湿度传感器611检测到的湿度小于40%的情况下,可以在指定的时序从扬声器705输出“现在很干燥!不要感冒了喔”的声音。
《与影像有关的动作》
可以对应于以照相机722摄影到的影像进行影像显示及声音输出控制。例如,可以利用以照相机722撷取的影像执行脸部追踪或表情检测,而变更卡通人物的影像。
具体而言,在用户移动时,可以显示如同卡通人物看着用户的卡通人物影像。又,也可以显示适配器通人物有时背对有时看着用户的卡通人物影像。再者,用户笑的时候,可以显示跟着笑的卡通人物影像。又,用户在看着不同方向之后与卡通人物四目相交,可以在四目相交的时序显示微笑的卡通人物影像。再者,可以在用户使用已登录在影像显示设备1中的杯子喝饮料时,输出“我也要喝”的声音,并显示以相同的杯子喝饮料的卡通人物影像。再者,可以在用户穿着已登录在影像显示设备1中的衣服时,输出“好酷!”的声音。
此外,也可以做各式各样的输入输出控制。
例如,可以基于温湿度或天气信息的输入信息,输出“最好带伞喔”的声音,对于从用户输入的“穿什么呢”的声音,显示对应于温湿度、天气信息、日历信息等的建议的服装。
《对应于好感度的动作》
影像显示设备1所显示的卡通人物可以根据卡通人物对用户的好感度改变动作。例如,作为卡通人物的设定信息,预先设定喜欢的话语、脸部色等嗜好、或喜爱的动作、喜欢别人对自己做的事等卡通人物信息,同时预先设定卡通人物对用户的好感度。并且,可以在用户做了与卡通人物的嗜好相符的对话或聊天、行动的情况下,使卡通人物的好感度値上升,并在用户做了不相符的对话或聊天、行动时,使卡通人物的好感度下降。
并且,更可以在储存装置75中储存规定对应于好感度値的卡通人物的行动的信息。例如,在用户接近卡通人物的情况下,卡通人物说“太近了喔”的发言时,可以在好感度低的情况下输出生气的语调的声音,而在好感度高的情况下输出害羞的语调的声音。因此,可以在储存装置75中储存多个种对应于好感度的相同内容的台词的声音。如此一来,可以使影像显示设备1的卡通人物更具有人情味,而让用户感到更有亲近感。
又,影像显示设备1也可以实现如下所述的处理。
《起床判断系统》
控制部71可以利用例如,包含以日历网站登录在储存装置75中的用户的起床时刻的日历信息、与数据管理部716所撷取的时刻,进行闹铃的呼唤。其后,例如,用户从床上起来,在分析部712检测到的脸达到一定程度以上的大小时,控制部71判断为起床,并执行用户起床后的处理。例如,也可以是用户将自己的通讯终端的日程表信息发送至影像显示设备1,影像显示设备1依据接收到的日程表信息中所示的内容,进行动作。例如,在日程表信息中有“23日6点起床”的情况下,控制部71可以在23日的6点,使卡通人物做叫醒用户的动作。
《外出判断系统》
控制部71可以在例如,分析部712检测的用户的“我出门了”的声音,加上在撷取处理部711所撷取的用户的通讯终端的位置信息为在家的外面的情况下,判断用户已外出。又例如,可以在以人体传感器702检测不到用户的存在,加上在撷取处理部711所撷取的用户的通讯终端的位置信息为在家的外面的情况下,判断用户已外出。
《回家判断系统》
控制部71例如,可以在上述的外出判断中判断用户已外出之后,以人体传感器702检测到用户的存在的情况下,判断用户已回家。该检测也可以是以人体传感器702检测人,并从以照相机722拍摄的影像,判断用户的脸。
《陷入睡眠状态判断系统》
控制部71在用户在家里时,例如,藉由人体传感器702,1小时检测不到用户的动作,且,分析部712分析藉由光传感器721检测到的照度为未关掉照明的程度的明亮度时,判断用户陷入睡眠状态。在此所谓“陷入睡眠状态”为用户在看电视或玩游戏等什么的作业中,没有关掉照明就睡着的状态。影像显示设备1可以在判断用户陷入睡眠状态的情况下,且房间的照明未关掉的情况下,控制照明,以将房间的照明关掉。
《起床时刻确认系统》
控制部71可以在,例如,第二天早上的外出时间比平时早上更早的情况下,为了确保平时早上的准备时间,提议将第二天早上的闹铃时刻提前。具体而言,在第二天的闹铃时刻与第二天的外出预定时刻的时间差比起以平均的起床时刻与外出时刻的时间差求算的外出准备时间更短的情况下,提议将第二天早上的闹铃时刻提前更早。例如,控制部71从声音数据752选择并输出“明天的出发时刻好像很早,要不要把闹铃时刻提前?”的声音。又,控制部71在用户答复“好”的情况下,变更登录在储存装置75中的闹铃时刻。
又例如,控制部71可以在今天早上迟到的情况下,提议将第二天早上的闹铃时刻提前。具体而言,控制部71在今天早上的外出时刻比外出预定时刻晚了预定时间(例如,10分钟)的情况下,可以提议将闹铃时间设成早于预定时刻。例如,控制部71从声音数据752,选择并输出“今天又迟到了吧!明天要不要早10分钟起床看看?”的声音。又,控制部71在用户答复“好”的情况下,变更登录在储存装置75中的闹铃时刻。
《蹲立运动判断机能》
控制部71例如,可以具备算蹲立运动的次数的系统,其由分析部712检测脸部辨识的上下运动。又,控制部71不只伏地挺身,也可以应用到算仰卧起坐的次数或伏地挺身的次数的系统。藉此,显示处理部713可以显示在激励用户的卡通人物影像与表现用影像。又,声音输出部714可以输出卡通人物在计算的声音或激励的声音。
《照相机自拍系统》
控制部71可以设定为例如,用户可以与卡通人物做自拍摄影。此时,用户移动照相机722拍摄可能的范围内,以照相机722拍摄用户的影像,则控制部71将卡通人物影像与拍摄影像合成。又,控制部71可以将卡通人物影像合成的摄影影像,透过因特网等上传至SNS(社交网络服务)等的提供服务器。
《喝咖啡休息时间系统》
控制部71可以使卡通人物对用户提议喝咖啡休息。例如,在数据管理部716所管理的时刻为预定时刻的情况下,发送处理部715对咖啡机发送操作信号。又,显示处理部713选择并显示对用户提醒喝咖啡休息的影像,声音输出部714选择并输出提醒用户喝咖啡休息的声音。再者,分析部712从影像或声音,检测用户喝完咖啡时,控制部71结束喝咖啡休息。例如,控制部71可以藉由分析部712检测用户的“很好喝”或“承蒙款待了”的声音,来做结束。
《呼叫与响应系统》
控制部71可以使用户与卡通人物互相叫名字。声音输出部713可以输出呼叫用户数据754中所登录的名字或昵称的卡通人物的声音。又,藉由分析部712检测到用户所发出的卡通人物的名字或昵称的声音时,则声音输出部713可以输出呼叫用户的名字或昵称的卡通人物的声音。
《更衣建议系统》
控制部71可以对用户的服装搭配做建议。例如,藉由分析部712,从照相机722所拍摄的影像判断“脸部上方的正方形的帽子”、“脸部下方的长的长方形的领带”等用户配戴在身上的东西的形状或脸部色。又,控制部71可以综合地判断从撷取处理部711所撷取的环境信息分析的用户的表情或心情、登录在储存装置75中的用户的日程表、天气信息、或季节等,而建议脸部色。
《操作请求》
控制部71可以透过通讯终端等信息处理装置,从用户接收设备的操作、日程表管理的请求。例如,在设备的操作被请求的情况下,发送处理部715根据请求的信号,输出操作信号。又,在日程表的登录或变更被请求的情况下,数据管理部716根据此信号,登录或更新数据。具体而言,如参照图13B说明如上者,可以利用聊天机能、或使用如备忘录或留言板等,操作控制部71。由于用户可以感到拜托卡通人物做自己希望卡通人物做的事,因此可以感到好像拜托人一样。
《赌气怒睡模式》
控制部71在满足指定的条件的情况下,可以显示赌气怒睡的卡通人物影像。例如,在影像显示设备1未连接外部的网络的情况下,或,影像显示设备1与用户的通讯终端之间没被网络连接的情况下,选择并显示赌气怒睡的的影像。藉此,由于影像显示设备1显示对用户做诉求的卡通人物影像,因此可以更加像一个人,更真实的表达。
《兴趣的变迁运算法》
在用户数据754中登录有多个种类的兴趣或爱好嗜好时,控制部71可以随机地从多个之中选择任一者,并反映于输出的影像或声音中。例如,此时,在用户数据754中针对用户的嗜好信息分别设定权重值,控制部71可以考虑其权重值,选择输出的影像或声音。又,可以使该等爱好嗜好的权重值随着时间的经过增加或衰减。再者,也可以在权重值成为指定的値以下,且其他的嗜好的权重值变大时,选择别的爱好嗜好的话题。
《生活模式的运算法》
控制部71可以在生活模式中,基于“用户的嗜好信息”或“卡通人物内部的嗜好信息”,选择显示的影像或输出的声音。例如,若是用户喜欢漫画的话,则控制部71可以在生活模式中,显示看漫画的卡通人物影像,并输出对应的声音。又,若是用户喜欢烹饪的话,则控制部71可以显示在空闲时间烹饪的卡通人物影像,并输出对应的声音。
《兴趣谈话》
控制部71在与用户发生互动的一定时间之后,可以输出与该互动关联的话题的影像及声音。控制部71将与用户发生互动的时刻储存起来,并判断从那开始是否已经过预定时间,来实现该控制。
《用户行动分析估测系统》
作为控制部71用以判断用户的行动的资料,可以参考作为教师资料预先给定的多个型式的数据而导出。具体而言,利用影像显示设备1中具备的各种传感器,撷取用户做了指定的行动时的感测数据,与显示当时的指定的行动的信息设定关联并储存起来,作为教师数据。并且,藉由将从影像显示设备1中具备的各种传感器所输入的数据,与教师数据比较,可以分析并估测用户的行动。藉此,控制部71可以使卡通人物进行对应于用户的行动的动作。又,控制部71可以根据用户的行动逐次更新此教师资料。
《人情感追踪系统》
又,影像显示设备1可以估测用户的情感,使卡通人物执行对应于用户情感的动作。具体而言,执行以下所述处理。
控制部71可以从以照相机722拍摄到的用户的脸部影像进行表情辨识处理,估测用户的情感。此为将对应于各种情感的脸部影像的特征量的信息预先储存在储存装置75中,藉由与拍摄到的影像进行型式匹配,辨识估测为最接近的脸部影像,以辨识对应的情感。又,也可以藉由从麦克风704输入的声纹估测用户的情感。此亦与脸部影像的情况同样的,将对应于各种情感的声音信息(例如,频率或音量等)的信息预先储存在储存装置75中,根据被输入的声纹的特征量,估测用户的情感。又,或者,控制部71从与用户之间的对话或聊天的内容,估测用户的情感。例如,从对话中的“很开心”或“真火大”等表示情感的话语,估测用户的情感。
并且,影像显示设备1的控制部71可以根据储存并设定在影像显示设备1中的卡通人物的个性,使卡通人物做迎合或鼓励用户的行动。例如,在判断用户的情感的结果,估测用户感到寂寞的话,可以从声音输出部714输出“嗯,很寂寞。不过,有我在呀?”或是“不需要为了那种事感到寂寞!没事没事!”等台词的声音。又,例如,也可以在估测到用户情绪低落的情况下,说“加油!”鼓励他。此外,该等卡通人物的行动仅为一例为毋庸置疑。
《谢谢学习系统》
影像显示设备1的控制部71储存在对话或聊天上从用户传输的谢谢等表达感谢的话语的内容。并且,储存当时的条件。亦即,控制部71(卡通人物)储存用户在“何时”、“做什么”时说谢谢。亦即,将被用户感谢时的“时序”与“卡通人物的行动”设定关联并储存在储存装置75中。并且,控制部71可以在“何时”的时序中,使卡通人物再现被感谢的行动。
《脸部学习系统》
影像显示设备1的控制部71在判断以照相机722拍摄到的影像中,包含与用户不同的人物的脸部影像的情况下,可以将该脸部影像附加在聊天中,并询问“这人是谁?”。对此,用户回答说“是我母亲”时,影像显示设备1将拍摄该人物得到的脸部影像与“母亲”的话语设定关联并储存。又,影像显示设备1的控制部71对于用户说的“是我母亲”的回答,例如,回复说“是母亲呀。记住了”等信息。又,在别的时序下,在拍摄得到储存的人物的脸部影像的情况下,影像显示设备1可以将“您母亲来了喔”的信息发送至用户的通讯终端。又,在可以估测那时该人物的行动的情况下,也可以包含该内容并发送。又,上述构造在影像显示设备1所拍摄到的脸部影像为用户不知道的人物的脸的情况下,在防犯上也能派上用场。
《爱担心系统》
影像显示设备1可以在检测到用户外出之后(在人体传感器702检测不到人经过预定时间之后),晚了一定程度以上的情况下(例如,现在的时刻为过了夜晚22点的情况下),藉由twitter(登录商标)、邮件、聊天、电话等装置连络用户。例如,控制部71可以发送“很晚了,没事吧?”等信息,也可以打电话。此外,在打电话的情况下,需要在影像显示设备1预先做与电话线路连接的设定。又,可以预先规定是否进行该行动的阈値,以随机値是否超过此阈値,判断是否进行担心用户的行动。又,影像显示设备1可以以时间愈晚阈値愈高的方式控制。又,也可以根据当天早上的用户的样子,变更此阈値。例如,在估测用户的健康状况不好的情况下,将阈値设为低于通常的值予以控制。
《红外线信息监视系统》
影像显示设备1更具备红外线传感器,其可以撷取周围的红外线信息,并使卡通人物进行对应于撷取到的红外线信息的行动。例如,在用户操作了电视的遥控时,可以撷取并检测从遥控输出的红外线信息,并储存开启电视的时间、星期几、与频道。并且,改天,在相同的星期几的相同的时间时,可以控制影像显示设备1操作电视并切到相同的频道。
又,从红外线传感器监控用户的体温或房间的温度,在检测到温度变高时,影像显示设备1的控制部71使卡通人物对用户进行提议“要开窗?”、“开风扇吗?”、“要开空调吗?”等的对话。
《观看节目监视系统》
影像显示设备1可以具备撷取并储存与用户所观看的电视或收音机节目有关的信息的构造。具体而言,从网络上撷取电视节目信息,对从电视发出的声音,进行声音人气处理,以估测用户观看的节目。或者,影像显示设备1与各种家电连接,以撷取电视的开/关信息或频道信息,并辨识用户看过的节目。并且,可以从与储存的节目有关的节目表撷取关键词,做为对话的材料。
例如,在云端服务器中,针对各播放局的节目,对进行什么样的对话进行声音辨识,将各播放局的节目内容文本化,撷取云端文本信息。另一方面,在影像显示设备1中,从麦克风704撷取用户观看的节目的声音信息。并且,对撷取到的声音进行声音辨识,变换成用户文本信息。并且,藉由将云端文本信息与用户文本信息做比较与核对,影像显示设备1可以辨识用户在观看哪个节目。并且,控制部71可以辨识用户观看的节目,将其节目名结合,例如,推荐“早上是A电视吧!”,并控制电视的遥控。
《察言观色系统》
影像显示设备1的控制部71可以设定为判断用户是否似乎很忙碌,并对应于所判断的状态进行行动,所谓察言观色的行动。根据影像显示设备1的控制部71(撷取处理部711)所撷取的各种环境信号,判断用户的忙碌程度。例如,用户的起床时刻晚,人体传感器702所检测到用户的位置,在预定时间内(例如,5分钟以内)检测到左右移动达预定次数以上(例如,10次以上)的情况下,则判断用户很忙碌,并控制影像显示设备1的控制部71使卡通人物不对用户说话。又,在用户不太移动,亦即,人体传感器702所检测的用户位置停止在预定范围内的情况下,则控制控制部71使卡通人物对用户说话。如此,影像显示设备1的控制部71可以使卡通人物视用户的状态,亦即,察言观色,来判断是否做出行动。
《脸部与眼睛跟踪系统》
影像显示设备1的控制部71可以基于照相机722所撷取的用户的脸部影像与眼睛的影像,检测用户的视线。例如,检测用户的脸部影像是否朝向影像显示设备1的方向,检测眼睛的瞳孔是否两者都朝向影像显示设备1的方向。并且,控制部71在用户的视线朝向卡通人物的方向的情况下,可以使卡通人物害羞,或与用户相对凝视。
《虚拟风系统》
影像显示设备1的控制部71检测到用户对麦克风704吹气时,可以使影像显示设备1内的世界发生吹风的效果。例如,可以是表现成卡通人物的衣服飘动。该构造除了麦克风704以外,也可以透过在影像显示设备1上设置风压传感器予以实现。
《健康状况管理系统》
影像显示设备1可以透过通讯部76,从用户所保有的体重计或运动量计等可以检测用户的状态的设备,撷取用户的状态信息。例如,在从体重计检测到的用户的体重在预定期间内减少了预定以上的情况下,控制部71可以使卡通人物说“有正常吃饭吗?”,而在相对于身高用户的体重比平均体重多了预定以上的情况下,可以推荐“得做点运动了!”。又,在用户重复运动的情况下,控制部71可以参考以照相机722拍摄到的影像,使卡通人物输出算重复运动的次数的声音。例如,可以是算伏地挺身或蹲立运动的次数等。
《实时动作发行系统》
影像显示设备1的控制部71可以透过通讯部76接收特殊的信号以做特殊的动作。具体而言,在开发经营侧的人物的身体上穿着动作捕捉传感器,将人物的动作发送到全部的用户的影像显示设备1上。影像显示设备1显示与发送过来的动作进行相同动作的卡通人物,可以实现节目发行。例如,在作为特殊的信号接收到地震速报等的情况下,可以使声音输出部714输出“在○○发生震度4的地震。请冷静行动喔”的声音。又,在特殊的信号内包含应显示的影像数据的情况下,也可以显示其影像数据。作为此影像数据,例如可以是真实存在的人物,例如,可以显示名人的记者会,并输出其声音。藉此,例如,可以实现全像的节目发行。又,影像显示设备1可以藉由撷取真实存在的人物的影像数据,与撷取该人物的声音数据,而可以显示真实存在的人物的卡通人物。
《全像虚拟化身电话系统》
在影像显示设备1上连接电话机,或影像显示设备1中具备电话机能的情况下,影像显示设备1也可以具备以下的机能。此时,影像显示设备1可以具备以下构造,其基于从照相机722撷取到的影像,辨识用户的表情,生成与所辨识的表情相同的表情的虚拟化身信息,并向电话对手发送该虚拟化身信息,使电话对手的显示画面显示该虚拟化身影像。
《报告系统》
影像显示设备1的控制部71检测到用户回家,可以使卡通人物对用户报告卡通人物的一天。例如,分析部712在人体传感器702检测不到用户预定时间以上的状态下,又重新检测到用户的情况下,判断用户回家了。如此一来,控制部71可以使卡通人物对用户报告在周边发生的事情(基于可以藉由各种传感器撷取的信息,估测该现象发生的内容)。例如,温湿度传感器611检测到预定以上温度达预定时间以上的情况下,使卡通人物报告说“今天很热耶”,在温湿度传感器611检测到预定以上的温度与湿度达预定时间以上的情况下,报告说“今天很闷热喔”,在接收到地震速报的情况下,报告说“今天发生地震了。您那没事吧?”、或使卡通人物报告说“您不在时,谁谁来了喔”。
《健康状况不良连络电话系统》
影像显示设备1的控制部71在影像显示设备1中配备有电话机能的情况下,在用户的健康状况差的情况下,依据来自用户的指示,代替用户对用户的办公室或学校等预先设定的电话号码,打电话连络“由于健康状况不良今天休息”。
《藉由特定装置的手势控制系统》
影像显示设备1的控制部71可以依据来自用户所穿着或持有的特定的物品的信号,控制卡通人物。例如,在特定的物品为戒指的情况下,藉由影像分析检测到用户在搓揉戒指的情况下,使卡通人物做看似尴尬的动作。又,或者,作为特定的物品,在用户拿着笔形电筒左右摇动的情况下,控制部71可以显示适配器通人物拿着笔形电筒的影像,并投影使其手左右摇动的影像。
《卡通人物更衣系统》
影像显示设备1的控制部71可以适当地变更卡通人物穿着的服装或物品等。为此,控制部71将各种服装或物品的显示数据储存在储存装置75中,或者,从外部的服务器下载并撷取。并且,控制部71可以显示穿着对应于来自影像显示设备1中配备的计时部(未图示。用以检测现在的日期和时间的时钟)的包含日期和时间的季节、天气、气温、或时间带的服装的卡通人物。
《瞬间移动系统》
在用户持有多个台依照上述实施方式的影像显示设备1的情况下,可以使各影像显示设备1连动,并仅在其中的用户能够确认的位置上显示适配器通人物。在此情况下,控制部701可以在用户移动了的目的地上的影像显示设备1上,表现成如同卡通人物也移动过来的样子。
《打扫系统》
影像显示设备1的控制部71可以与家电的机器人吸尘器进行通讯,并控制机器人吸尘器,打扫用户的室内。又,此时,控制部71可以辨识用户平时有打扫的地方与没有打扫的地方。
《刷牙声援系统》
影像显示设备1的控制部71藉由影像分析检测到用户在刷牙时,使卡通人物进行对用户的刷牙声援的行动,或是在检测到用户吃药或在患部上涂药时,使卡通人物对其行动进行声援。
《运动选手动作捕捉系统》
影像显示设备1可以撷取运动转播等的影像,使卡通人物执行与运动转播中登场的运动选手的动作相同的动作并投影影像。又,此时,用户可以藉由用户的通讯终端、影像显示设备1中具备的操作面板、或声音等,指示卡通人物所面向的方向,并使影像显示设备1显示依照该指示的影像。又,此时,可以不是卡通人物,而是显示运动选手本身的影像。
《实况录像声援系统》
影像显示设备1在用户观看某些偶像等的实况录像等的情况下,控制部71显示适配器通人物如同也在观看该实况录像的影像,并同时使卡通人物似乎在参加实况录像般,发出喊声、或做摇动荧光棒的动作。又,或者,在控制部71使卡通人物作为虚拟歌手,如同偶像般,做唱歌跳舞的动作的情况下,根据来自用户的手打拍子或声援,连动其动作。例如,可以检测用户的手打拍子的时序,并配合该时序输出踏舞步的影像,或是配合用户的声援的音量变化行动。
《多代理系统》
影像显示设备1可以在储存装置75中预先储存与多个卡通人物有关的信息。并且,控制部71可以根据用户的情况,选择并投影使用的卡通人物。又,在影像显示设备1中配备多个核心,并以一个核心控制一个卡通人物的情况下,影像显示设备1可以同时投影多个卡通人物。
《年龄经过系统》
影像显示设备1在显示适配器通人物时,可以在一定时间使卡通人物增长年龄的方式显示影像。例如,影像显示设备1可以在首次召还卡通人物的情况下显示婴儿的状态,从那时起,在每经过预定期间(例如,每经过一个月)时,改变卡通人物的影像,以如同卡通人物成长的方式显示。
《各种语言对应系统》
可以使声音辨识的运算法或对话系统配备有对应于各国的各话语的模式,使影像显示设备1可以对应于各种语言。
《原始卡通人物系统》
影像显示设备1显示的卡通人物可以是用户所原始制作者。影像显示设备1的构造可以是准备制作时必要的各种数据的格式,并让用户可以编辑,或是编辑本身为利用用户的PC等制作并传送到影像显示设备1中者。又,用户所制作的卡通人物资料也可以透过网络发行。
《各种卡通人物召还系统》
作为影像显示设备1显示的卡通人物,可以使用虚拟现实(Virtual Reality,VR)内容的卡通人物的数据。例如,可以将用户利用头戴式显示器(Head Mounted Display,HMD)玩的游戏等的卡通人物作为显示在影像显示设备1的卡通人物。又,不限于VR内容,也可以下载各种游戏(例如,智能型手机游戏等)的卡通人物作为显示的卡通人物使用。
《聊天机能的外部安装》
虽然在上述中使影像显示设备1具有聊天机能,然而聊天机能也可以是由外部的装置执行。亦即,用户利用通讯终端,与影像显示设备1的卡通人物作信息交换时,实际上可以是与外部服务器进行交换的构造。在此情况下,外部的服务器除了持有作为卡通人物的应答运算法之外,有事先从影像显示设备1撷取与用户有关的对话履历数据755、聊天履历数据756的必要。因此,外部的装置可以具有在从用户输入聊天的情况下,存取影像显示设备1并撷取该等信息的构造。又,外部的装置与用户的通讯终端的聊天结束后,可以使外部的装置将聊天履历数据756发送至影像显示设备1,且影像显示设备1将接收的聊天履历数据756覆写到储存装置75。藉由上述实施方式,可以实现在影像显示设备1的外部设置具有聊天机能的装置的系统。
如上所述,依照本发明的第一实施方式的影像显示设备1,可以将显示对象的卡通人物等显示成如同存在于相同的空间的实体物般。又,在影像显示设备1中,使卡通人物等进行对应于用户的声音等环境信息的举动。再者,在影像显示设备1中,可以与卡通人物影像一起显示用以表达卡通人物的心情等的表现影像。再者,针对与用户进行过的对话或聊天的内容,由于在最新的对话或聊天中反映出过去的内容,因此用户更加对卡通人物感到亲近感,涌出感情。
藉此,可以让用户感到与好比实际存在的卡通人物等存在于相同的空间般的感觉。又,可以让用户对卡通人物感到更亲近。
以上说明了上述实施方式中的各处理为藉由影像显示设备1的控制部71执行影像显示程序、对话程序、聊天程序等所实现者。另一方面,影像显示设备1中,取代CPU,也可以藉由集成电路(Integrated Circuit,IC)芯片、大规模集成电路(Large ScaleIntegration,LSI)、场可程序门阵列(Field Programmable gate array,FPGA)、复杂可程序逻辑组件(Complex Programmable Logic Device,CPLD)等形成的逻辑电路(硬件)或专用电路实现各处理。又,该等电路可以藉由一或多个集成电路予以实现,上述实施方式中所示的多个机能部的机能可以藉由一个集成电路予以实现。LSI由于整合度的不同,也被称为VLSI、极大型LSI、超大型LSI等。
亦即,如图23所示,影像显示设备1可以由控制电路71a、输入电路72a、输出电路73a、操作电路74a、储存电路75a、通讯电路76a所构造。控制电路71a所包含的撷取控制电路711a、分析电路712a、显示处理电路713a、声音输出电路714a、发送处理电路715a及数据管理电路716a为藉由影像显示程序P1、对话程序P2、聊天程序P3等进行控制。与上述实施方式中所示各部分具有相同名称者为分别具有相同机能。
又,作为上述储存装置75,可以使用“非暂时性有形的媒介”,例如,磁带、磁盘、插卡、半导体内存、可程序化的逻辑电路等。又,上述影像显示程序P1、对话程序P2、聊天程序P3也可以是透过能够传送该影像显示程序P1、对话程序P2、聊天程序P3的任意的传送媒介(通讯网络或广播波形等)供应给上述处理器。本发明也可以是藉由电子性的传送将上述影像显示程序具体化,并以嵌入于载波中的数据信号的形态予以实现。又,不仅限于该等程序,与卡通人物有关的声音数据与影像数据也可以是从储存有该等资料的服务器下载并在影像显示设备1中用户。藉此,可以在影像显示设备1中享受各式各样的卡通人物。又,也可以是使同一卡通人物的新的声音数据与影像数据能够下载并使用的构造。又,储存在储存装置75中的各种资料可以不必是储存装置75,也可以储存在影像显示设备1能够存取网络上的服务器等外部装置。并且,也可以是影像显示设备1的控制部71透过通讯部76,在每次必需的时序下存取外部服务器并撷取必需的信息。例如,可以将上述实施方式中的语言模式与声音模式等信息预先储存在网络上。
此外,上述影像显示程序P1、对话程序P2、聊天程序P#可以使用例如,ActionScript、JavaScript(登录商标)、Python、Ruby等描述语言、C语言、C++、C#、Objective-C、Java(登录商标)等编译程序语言、汇编语言、缓存器传送语言(RegisterTransfer Language,RTL)等实施。
【产业利用性】
本发明可以适合地利用在影像显示设备中,该影像显示设备为可以显示适配器通人物影像,并将其与用户进行的对话及与用户的通讯终端之间交换的聊天的内容互相连动者。
权利要求书(按照条约第19条的修改)
1.一种影像显示设备,包含:
显示部,用以显示适配器通人物;
对话部,用以执行所述卡通人物与用户的对话;及
聊天部,用以执行所述卡通人物与所述用户的通讯终端的聊天,其中:
所述对话部基于已执行的对话的内容及所述聊天部已执行的聊天的内容选择下一个话题,且所述聊天部基于已执行的聊天的内容及所述对话部所执行的对话的内容选择下一个话题。
2.如权利要求1所述的影像显示设备,更包含:
外壳,其一部分或全部为由透光性构件所构造;及
平坦状构件,其立设于所述外壳的内部,并具有透光性,其中:
所述显示部为藉由在所述平坦状构件上投影所述卡通人物,而显示所述卡通人物。
3.如权利要求1或2所述的影像显示设备,更包含:
第一储存部,用以储存所述对话部所执行的与所述用户的对话有关的信息;及
第二储存部,用以储存所述聊天部所执行的与所述聊天有关的信息,其中:
所述对话部基于储存在所述第一储存部与所述第二储存部中的信息,选择下一个话题。
4.如权利要求3所述的影像显示设备,其中:
所述聊天部基于储存于所述第一储存部与所述第二储存部中的信息,选择下一个话题。
5.如权利要求1至4任一项所述的影像显示设备,其中:
所述显示部在显示所述卡通人物的同时,并显示因应于所述对话部正在执行的对话的内容的影像。
6.如权利要求1至5任一项所述的影像显示设备,更包含一扬声器,其中:
所述对话部为从所述扬声器输出所述卡通人物的声音。
7.如权利要求6所述的影像显示设备,更包含麦克风,其中:
所述对话部分析输入到所述麦克风的用户的声音,并从所述扬声器输出对于该声音回答的卡通人物的声音。
8.如权利要求7所述的影像显示设备,其中:
所述对话部将所述用户的声音文本数据化,并将分析该文本数据所得到的名词储存于所述第一储存部中,作为所述对话的内容。
9.如权利要求1至8任一项所述的影像显示设备,更包含:
通讯部,用以执行与影像显示设备外部的装置的通讯,其中:
所述聊天部透过所述通讯部,将对应于选择的话题的文本数据发送到影像显示设备外部的聊天服务器,
所述通讯部分析从所述聊天服务器接收的来自所述用户的通讯终端的文本数据,而选择下一个话题。
10.如权利要求9所述的影像显示设备,其中:
所述聊天部将分析所述文本数据所得到的名词储存在所述第二储存部中,作为所述聊天的内容。
11.一种话题选择方法,包含以下各步骤:
显示步骤,用以显示适配器通人物;
对话步骤,用以执行所述卡通人物与用户的对话;
聊天步骤,用以执行所述卡通人物与所述用户的通讯终端的聊天;
第一话题选择步骤,用以基于以前已执行的对话的内容及所述聊天步骤中已执行的聊天的内容,选择所述对话步骤中接着要执行的对话的话题;及
第二话题选择步骤,用以基于以前已执行的聊天的内容及所述对话步骤中已执行的对话的内容,选择所述聊天步骤中接着要执行的聊天的话题。
12.一种话题选择程序,用以使计算机实现以下机能:
显示机能,用以显示适配器通人物;
对话机能,用以执行所述卡通人物与用户的对话;
聊天机能,用以执行所述卡通人物与所述用户的通讯终端的聊天;
第一话题选择机能,用以基于以前已执行的对话的内容及所述聊天机能所执行的聊天的内容,选择所述对话机能接着要执行的对话的话题;及
第二话题选择机能,用以基于以前已执行的聊天的内容及所述对话步骤中已执行的对话的内容,选择所述聊天步骤中接着要执行的聊天的话题。

Claims (22)

1.一种影像显示设备,包含:
显示部,用以显示适配器通人物;
对话部,用以执行所述卡通人物与用户的对话;及
聊天部,用以执行所述卡通人物与所述用户的通讯终端的聊天,其中:
所述对话部基于已执行的对话的内容及所述聊天部已执行的聊天的内容选择下一个话题,且所述聊天部基于已执行的聊天的内容及所述对话部所执行的对话的内容选择下一个话题。
2.如权利要求1所述的影像显示设备,更包含:
外壳,其一部分或全部为由透光性构件所构造;及
平坦状构件,其立设于所述外壳的内部,并具有透光性,其中:
所述显示部为藉由在所述平坦状构件上投影所述卡通人物,而显示所述卡通人物。
3.如权利要求1或2所述的影像显示设备,更包含:
第一储存部,用以储存所述对话部所执行的与所述用户的对话有关的信息;及
第二储存部,用以储存所述聊天部所执行的与所述聊天有关的信息,其中:
所述对话部基于储存在所述第一储存部与所述第二储存部中的信息,选择下一个话题。
4.如权利要求3所述的影像显示设备,其中:
所述聊天部基于储存于所述第一储存部与所述第二储存部中的信息,选择下一个话题。
5.如权利要求1至4任一项所述的影像显示设备,其中:
所述显示部在显示所述卡通人物的同时,并显示因应于所述对话部正在执行的对话的内容的影像。
6.如权利要求1至5任一项所述的影像显示设备,更包含一扬声器,其中:
所述对话部为从所述扬声器输出所述卡通人物的声音。
7.如权利要求6所述的影像显示设备,更包含麦克风,其中:
所述对话部分析输入到所述麦克风的用户的声音,并从所述扬声器输出对于该声音回答的卡通人物的声音。
8.如权利要求7所述的影像显示设备,其中:
所述对话部将所述用户的声音文本数据化,并将分析该文本数据所得到的名词储存于所述第一储存部中,作为所述对话的内容。
9.如权利要求1至8任一项所述的影像显示设备,更包含:
通讯部,用以执行与影像显示设备外部的装置的通讯,其中:
所述聊天部透过所述通讯部,将对应于选择的话题的文本数据发送到影像显示设备外部的聊天服务器,
所述通讯部分析从所述聊天服务器接收的来自所述用户的通讯终端的文本数据,而选择下一个话题。
10.如权利要求9所述的影像显示设备,其中:
所述聊天部将分析所述文本数据所得到的名词储存在所述第二储存部中,作为所述聊天的内容。
11.一种话题选择方法,包含以下各步骤:
显示步骤,用以显示适配器通人物;
对话步骤,用以执行所述卡通人物与用户的对话;
聊天步骤,用以执行所述卡通人物与所述用户的通讯终端的聊天;
第一话题选择步骤,用以基于以前已执行的对话的内容及所述聊天步骤中已执行的聊天的内容,选择所述对话步骤中接着要执行的对话的话题;及第二话题选择步骤,用以基于以前已执行的聊天的内容及所述对话步骤中已执行的对话的内容,选择所述聊天步骤中接着要执行的聊天的话题。
12.一种话题选择程序,用以使计算机实现以下机能:
显示机能,用以显示适配器通人物;
对话机能,用以执行所述卡通人物与用户的对话;
聊天机能,用以执行所述卡通人物与所述用户的通讯终端的聊天;
第一话题选择机能,用以基于以前已执行的对话的内容及所述聊天机能所执行的聊天的内容,选择所述对话机能接着要执行的对话的话题;及
第二话题选择机能,用以基于以前已执行的聊天的内容及所述对话步骤中已执行的对话的内容,选择所述聊天步骤中接着要执行的聊天的话题。
13.一种影像显示设备,包含:
撷取处理部,用以撷取环境信号;
显示部,用以在根据所述撷取处理部所撷取的环境信号显示适配器通人物的卡通人物影像的同时,根据该环境信号显示表现用影像,其用以表现该卡通人物的情感表达;及
声音输出部,用以输出对应于所述撷取处理部所撷取的环境信号的声音。
14.如权利要求13所述的影像显示设备,更包含:
外壳,其至少一部分为由透光性构件所构造,其中:
所述显示部包含:立设于所述外壳内的透光性的平板构件;将卡通人物影像及表现用影像投光在该平板构件上的投光装置;及控制该投光装置的显示处理部。
15.如权利要求13或14所述的影像显示设备,其中:
所述撷取处理部撷取由麦克风、照相机、或人体传感器的至少任一者所取得的环境信号;
更包含:用以分析所述撷取处理部所撷取的环境信息的分析部;
在影像数据储存部中储存有影像数据,所述影像数据为将显示影像的显示条件、与辨识在该条件的情况下所显示的卡通人物影像的第一影像信息、及辨识在该条件的情况下所显示的表现用影像的第二影像信息设定关联的影像数据,所述显示处理部从所述影像数据储存部选择对应于被所述分析部分析的环境信息的显示条件相关联的第一影像信息及第二影像信息,并显示适配器通人物影像及表现用影像;
在声音数据储存部中储存有声音数据,所述声音数据为将输出声音的输出条件、与辨识在该条件的情况下所输出的声音的声音信息设定关联的声音数据,所述声音输出部从声音数据储存部选择对应于被所述分析部分析的环境信息的输出条件相关联的声音信息,并输出声音。
16.如权利要求15所述的影像显示设备,其中:
所述撷取处理部为能够撷取时刻信息;
在所述影像数据中,规定有根据环境信息及时刻信息显示适配器通人物影像与表现用影像的显示条件;
在所述声音数据中,规定有根据环境信息及时刻信息输出声音的输出条件;
所述显示处理部根据环境信息及时刻信息显示适配器通人物影像及表现用影像;及
所述声音输出部根据环境信息及时刻信息输出声音。
17.如权利要求15或16所述的影像显示设备,其中:
具有接收部,用以接收与卡通人物同时显示的影像有关的信号;
在所述影像数据中,规定有根据环境信息与接收信号显示适配器通人物影像与表现用影像的显示条件;
在所述声音数据中,规定有根据环境信息与接收信号输出声音的输出条件;
所述显示处理部根据环境信息及接收信号显示适配器通人物影像及表现用影像;及
所述声音输出部根据环境信息及接收信号输出声音。
18.如权利要求13至17任一项所述的影像显示设备,更包含:
发送处理部,其从信号数据储存部,其中储存有将操作外部的电子设备的操作信号与发送该操作信号的发送条件设定关联的信号数据,选择与所述撷取处理部所撷取的环境信号相关联的操作信号并发送。
19.如权利要求13至18任一项所述的影像显示设备,其中所述显示处理部以全像显示影像。
20.如权利要求13至19任一项所述的影像显示设备,其中所述卡通人物影像为动态影像。
21.一种影像显示方法,包含以下各步骤:
撷取处理步骤,用以撷取环境信号;
显示步骤,用以根据在所述撷取处理步骤中撷取的环境信号显示适配器通人物的卡通人物影像,并根据该环境信号显示表现该卡通人物的情感表达的表现用影像;及
声音输出步骤,用以输出对应于在所述撷取处理步骤中撷取的环境信号的声音。
22.一种影像显示程序,使计算机实现以下各机能:
一撷取处理机能,用以撷取环境信号;
一显示机能,用以根据在所述撷取处理机能中撷取的环境信号显示适配器通人物的卡通人物影像,并根据该环境信号显示表现该卡通人物的情感表达的表现用影像;及
一声音输出机能,用以输出对应于在所述撷取处理机能中撷取的环境信号的声音。
CN201680004506.7A 2016-07-19 2016-09-23 影像显示设备、话题选择方法、话题选择程序、影像显示方法及影像显示程序 Pending CN108140383A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016141931A JP6165302B1 (ja) 2016-07-19 2016-07-19 画像表示装置、話題選択方法、話題選択プログラム
JP2016141930A JP2018014575A (ja) 2016-07-19 2016-07-19 画像表示装置、画像表示方法及び画像表示プログラム
JP2016-141931 2016-07-19
JP2016-141930 2016-07-19
PCT/JP2016/078073 WO2018016095A1 (ja) 2016-07-19 2016-09-23 画像表示装置、話題選択方法、話題選択プログラム、画像表示方法及び画像表示プログラム

Publications (1)

Publication Number Publication Date
CN108140383A true CN108140383A (zh) 2018-06-08

Family

ID=60992172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680004506.7A Pending CN108140383A (zh) 2016-07-19 2016-09-23 影像显示设备、话题选择方法、话题选择程序、影像显示方法及影像显示程序

Country Status (6)

Country Link
US (1) US10713006B2 (zh)
KR (2) KR20190100428A (zh)
CN (1) CN108140383A (zh)
HK (1) HK1252060A1 (zh)
TW (1) TWI692717B (zh)
WO (1) WO2018016095A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526244A (zh) * 2020-04-02 2020-08-11 维沃移动通信有限公司 一种闹钟处理方法以及电子设备
CN113010138A (zh) * 2021-03-04 2021-06-22 腾讯科技(深圳)有限公司 文章的语音播放方法、装置、设备及计算机可读存储介质
TWI822267B (zh) * 2022-08-22 2023-11-11 淡江大學學校財團法人淡江大學 沉浸式生態屋互動學習系統
US11829572B2 (en) 2019-10-31 2023-11-28 Sony Group Corporation Three dimensional input for a cylindrical display device
US11914797B2 (en) 2019-10-29 2024-02-27 Sony Group Corporation Image display apparatus for enhanced interaction with a user

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190025534A (ko) * 2016-07-15 2019-03-11 게이트박스 가부시키가이샤 입체 영상 표시장치
US11256460B2 (en) * 2018-02-05 2022-02-22 Disney Enterprises, Inc. Digital companion device with display
TWI647612B (zh) * 2018-03-19 2019-01-11 技嘉科技股份有限公司 影像投射裝置
CN109144610B (zh) * 2018-08-31 2020-11-10 腾讯科技(深圳)有限公司 音频播放方法、装置、电子装置及计算机可读存储介质
US11353259B2 (en) 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof
KR102663888B1 (ko) 2018-09-18 2024-05-08 삼성전자주식회사 냉장고 및 그의 제어방법
US20220051669A1 (en) * 2018-09-25 2022-02-17 Sony Corporation Information processing device, information processing method, computer program, and interaction system
CN112823346A (zh) * 2018-10-02 2021-05-18 松下电器(美国)知识产权公司 信息提供方法
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
KR102153922B1 (ko) * 2018-12-20 2020-09-09 주식회사 원더풀플랫폼 가상 캐릭터를 이용한 엔터테인먼트 시스템
KR102667064B1 (ko) * 2019-02-19 2024-05-20 삼성전자 주식회사 전자 장치 및 이를 이용한 카메라 기능과 연동하여 이모지 편집을 위한 사용자 인터페이스를 제공하는 방법
WO2021015309A1 (ko) * 2019-07-19 2021-01-28 엘지전자 주식회사 영상표시장치 및 영상표시장치의 모션감지방법
US11212494B2 (en) * 2019-12-30 2021-12-28 Ray Yanez Holographic Christmas tree projector assembly
KR102279991B1 (ko) * 2020-02-06 2021-07-21 동서대학교 산학협력단 소형 홀로그램 기반의 인공지능 헬퍼 시스템
CN111459451A (zh) * 2020-03-31 2020-07-28 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
TWI758960B (zh) * 2020-11-19 2022-03-21 友達光電股份有限公司 電子裝置
KR102548641B1 (ko) * 2021-01-04 2023-06-27 주식회사 카카오 대화형 게임에서 대화셋을 제공하는 방법
KR102622621B1 (ko) * 2021-01-04 2024-01-08 주식회사 카카오 대화형 게임을 제공하는 방법
KR102619836B1 (ko) * 2021-01-04 2023-12-29 주식회사 카카오 말풍선 배치 기법
US11520217B1 (en) * 2021-08-03 2022-12-06 Sony Interactive Entertainment Inc. Four-sided projection for augmented reality
TWI776643B (zh) * 2021-08-19 2022-09-01 崑山科技大學 影像顯示裝置
US20230351142A1 (en) * 2022-04-28 2023-11-02 Theai, Inc. Relationship graphs for artificial intelligence character models

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573924A (zh) * 2003-06-20 2005-02-02 PtoPA株式会社 语音识别设备、语音识别方法、会话控制设备以及会话控制方法
CN102750125A (zh) * 2011-04-19 2012-10-24 无锡天堂软件技术有限公司 基于语音的控制方法与控制系统
CN103534697A (zh) * 2011-05-13 2014-01-22 微软公司 使用web数据训练口述对话系统中的统计对话管理器
CN204406271U (zh) * 2014-12-30 2015-06-17 吴建伟 一种自助查询机
WO2015179510A1 (en) * 2014-05-20 2015-11-26 Amazon Technologies, Inc. Context interpretation in natural language processing using previous dialog acts
CN105144286A (zh) * 2013-03-14 2015-12-09 托伊托克有限公司 用于交互的虚拟人物对话的系统和方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3381648B2 (ja) 1998-12-11 2003-03-04 カシオ計算機株式会社 キャラクター表示制御装置、キャラクター表示制御システム、及び記録媒体
JP2001188787A (ja) * 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
JP2002307354A (ja) 2000-11-07 2002-10-23 Sega Toys:Kk 電子玩具
JP3450823B2 (ja) 2000-12-01 2003-09-29 株式会社ナムコ 模擬会話システム、模擬会話方法、および情報記憶媒体
JP2002351489A (ja) 2001-05-29 2002-12-06 Namco Ltd ゲーム情報、情報記憶媒体、及びゲーム装置
JP2004145541A (ja) 2002-10-23 2004-05-20 Inosu:Kk チャットシステム
TWI237991B (en) 2004-06-28 2005-08-11 Delta Electronics Inc Integrated dialogue system and method thereof
JP4652190B2 (ja) 2005-09-22 2011-03-16 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び電子機器
US9823737B2 (en) * 2008-04-07 2017-11-21 Mohammad A Mazed Augmented reality personal assistant apparatus
US7427140B1 (en) * 2007-04-19 2008-09-23 Yao-Dong Ma Sunlight readable direct-view and projection-view computing device
KR101224660B1 (ko) * 2008-07-09 2013-01-21 고려대학교 산학협력단 유사 문장 검색 장치, 검색 방법, 저장 매체, 자동 대화서비스 시스템 및 서비스 방법
US9202171B2 (en) 2008-11-11 2015-12-01 Digideal Corporation Virtual game assistant based on artificial intelligence
US20110055309A1 (en) * 2009-08-30 2011-03-03 David Gibor Communication in Context of Content
JP5411789B2 (ja) 2010-04-19 2014-02-12 本田技研工業株式会社 コミュニケーションロボット
JP6212683B2 (ja) 2011-10-14 2017-10-18 国立大学法人豊橋技術科学大学 立体画像投影装置、立体画像投影方法、及び立体画像投影システム
TWI476449B (zh) 2012-04-24 2015-03-11 Univ Minghsin Sci & Tech 裸眼三維背投影顯示裝置
KR20130136630A (ko) 2012-06-05 2013-12-13 이범호 스마트폰을 활용한 유명인의 캐릭터 서비스 시스템 및 그 운용방법
US9973457B2 (en) * 2012-06-26 2018-05-15 Nuance Communications, Inc. Method and apparatus for live chat integration
TW201408052A (zh) 2012-08-14 2014-02-16 Kentec Inc 電視裝置及其虛擬主持人顯示方法
US10346542B2 (en) * 2012-08-31 2019-07-09 Verint Americas Inc. Human-to-human conversation analysis
KR20140054493A (ko) 2012-10-26 2014-05-09 심심이(주) 대화 서비스 제공 방법 및 장치
KR102292193B1 (ko) 2013-02-28 2021-08-23 엘지전자 주식회사 멀티미디어 커머스 서비스 처리 장치 및 방법
US20140279239A1 (en) * 2013-03-15 2014-09-18 Kuyam Companies, Inc. Computer Implemented Search System
KR101532327B1 (ko) * 2013-11-26 2015-06-30 유영진 플로팅방식 홀로그램 플레이어
KR20150068609A (ko) * 2013-12-12 2015-06-22 삼성전자주식회사 이미지 정보 표시 방법 및 장치
US20150207765A1 (en) * 2014-01-17 2015-07-23 Nathaniel Brantingham Messaging Service with Conversation Suggestions
KR102305117B1 (ko) * 2014-04-30 2021-09-27 삼성전자주식회사 텍스트 입력 제어 방법 및 그 전자 장치
KR102248474B1 (ko) * 2014-04-30 2021-05-07 삼성전자 주식회사 음성 명령 제공 방법 및 장치
KR101645992B1 (ko) 2014-05-28 2016-08-05 삼성생명보험주식회사 고객 불만을 모니터링 하기 위한 장치 및 컴퓨터-판독가능 매체
US10474100B2 (en) * 2014-06-20 2019-11-12 Lg Electronics Inc. Display device and driving method thereof
US10354256B1 (en) * 2014-12-23 2019-07-16 Amazon Technologies, Inc. Avatar based customer service interface with human support agent
TWM504275U (zh) 2015-04-01 2015-07-01 Kings Metal Fiber Technologies 具情境化模擬系統
CN105141587B (zh) 2015-08-04 2019-01-01 广东小天才科技有限公司 一种虚拟玩偶互动方法及装置
KR102174346B1 (ko) * 2015-12-21 2020-11-04 구글 엘엘씨 메시징 애플리케이션들을 위한 자동적인 제안들 및 다른 콘텐츠

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573924A (zh) * 2003-06-20 2005-02-02 PtoPA株式会社 语音识别设备、语音识别方法、会话控制设备以及会话控制方法
CN102750125A (zh) * 2011-04-19 2012-10-24 无锡天堂软件技术有限公司 基于语音的控制方法与控制系统
CN103534697A (zh) * 2011-05-13 2014-01-22 微软公司 使用web数据训练口述对话系统中的统计对话管理器
CN105144286A (zh) * 2013-03-14 2015-12-09 托伊托克有限公司 用于交互的虚拟人物对话的系统和方法
WO2015179510A1 (en) * 2014-05-20 2015-11-26 Amazon Technologies, Inc. Context interpretation in natural language processing using previous dialog acts
CN204406271U (zh) * 2014-12-30 2015-06-17 吴建伟 一种自助查询机

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11914797B2 (en) 2019-10-29 2024-02-27 Sony Group Corporation Image display apparatus for enhanced interaction with a user
US11829572B2 (en) 2019-10-31 2023-11-28 Sony Group Corporation Three dimensional input for a cylindrical display device
CN111526244A (zh) * 2020-04-02 2020-08-11 维沃移动通信有限公司 一种闹钟处理方法以及电子设备
CN113010138A (zh) * 2021-03-04 2021-06-22 腾讯科技(深圳)有限公司 文章的语音播放方法、装置、设备及计算机可读存储介质
TWI822267B (zh) * 2022-08-22 2023-11-11 淡江大學學校財團法人淡江大學 沉浸式生態屋互動學習系統

Also Published As

Publication number Publication date
US20190138266A1 (en) 2019-05-09
HK1252060A1 (zh) 2019-05-10
US10713006B2 (en) 2020-07-14
KR102014623B1 (ko) 2019-08-26
KR20180030767A (ko) 2018-03-26
TW201802663A (zh) 2018-01-16
WO2018016095A1 (ja) 2018-01-25
KR20190100428A (ko) 2019-08-28
TWI692717B (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
TWI692717B (zh) 影像顯示裝置、話題選擇方法及程式
JP6165302B1 (ja) 画像表示装置、話題選択方法、話題選択プログラム
JP6682475B2 (ja) 画像表示装置、話題選択方法、話題選択プログラム
Gaver et al. Ambiguity as a resource for design
Roe Animated documentary
JP2018014575A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
TWI486904B (zh) 律動影像化方法、系統以及電腦可讀取記錄媒體
JP2019139170A (ja) 画像表示装置、画像表示方法および画像表示プログラム
CN107000210A (zh) 用于提供持久伙伴装置的设备和方法
CN106659937A (zh) 用户生成的动态虚拟世界
KR20200097637A (ko) 시뮬레이션 모래상자 시스템
CN109391842A (zh) 一种配音方法、移动终端
Guljajeva From interaction to post-participation: The disappearing role of the active participant
Pett Experiencing cinema: participatory film cultures, immersive media and the experience economy
Bramston et al. Basics Product Design 03: Visual Conversations
CN108043026B (zh) 通过适老化游戏满足老人精神需求的系统及方法
De Luca Sensory everyday: Space, materiality and the body in the films of Tsai Ming-liang
Burns et al. Humor in the “Booty Video”: Female Artists Talk Back Through the Hip-Hop Intertext
Bennett Virtual touch: Embodied experiences of (dis) embodied intimacy in mediatized performance
JP2019139169A (ja) 画像表示装置、画像表示方法および画像表示プログラム
Ballin et al. Personal virtual humans—inhabiting the TalkZone and beyond
Befera Rise of a Transcoded World: Field Study and Performance Analysis of Alexander Schubert’s" Genesis"
Penney Critical Affection
JP2023035270A (ja) 表示装置等
Keller SONIC RECIPES FROM A PUBLIC KITCHEN: PARTICIPATORY FEMINIST PERFORMANCE ART

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1252060

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20180608

RJ01 Rejection of invention patent application after publication