CN116547641A - 信息处理装置、信息处理方法、程序和信息处理系统 - Google Patents

信息处理装置、信息处理方法、程序和信息处理系统 Download PDF

Info

Publication number
CN116547641A
CN116547641A CN202180079619.4A CN202180079619A CN116547641A CN 116547641 A CN116547641 A CN 116547641A CN 202180079619 A CN202180079619 A CN 202180079619A CN 116547641 A CN116547641 A CN 116547641A
Authority
CN
China
Prior art keywords
haptic
user
information processing
unit
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180079619.4A
Other languages
English (en)
Inventor
横山谅
中川佑辅
中川亚由美
福马洋平
伊藤镇
山崎贵义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN116547641A publication Critical patent/CN116547641A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种信息处理装置(300),其包括:第一获取单元(308),其根据第一用户的输入而获取控制命令,控制命令包括呈现单元信息和形式信息,该呈现单元信息指示由触觉呈现装置呈现触觉刺激的呈现单元,该形式信息指示触觉刺激的形式;生成单元(310),其根据控制命令生成用于向呈现单元呈现触觉刺激的第一触觉控制信号;以及第一分发单元(302),其将第一触觉控制信号分发至穿戴在由第一用户的输入指定的多个第二用户的身体上的触觉呈现装置。

Description

信息处理装置、信息处理方法、程序和信息处理系统
技术领域
本公开涉及信息处理装置、信息处理方法及程序和信息处理系统。
背景技术
近年来,消费者的消费活动已经从简单的购买产品的“商品消费”转变为为具有高附加价值的体验付费的“服务消费”。例如,在诸如音乐和动画的娱乐领域中,消费者不仅强烈要求诸如观看艺术家(分发者)的现场表演等的单向体验,而且还强烈要求诸如与艺术家或爱好者之间的交互的具有更高附加价值的实时交互体验。
例如,作为这样的体验的示例,存在“投币”,以用于由内容的观看者将诸如图示或文本的数据或者将将钱与数据一起发送至在因特网上分发内容的艺术家等。通过经由这种“投币”在艺术家与观看者之间进行交流,观看者可以体验更高的附加价值。因此,进一步增强了观看者对内容的满意感,并且增加了其对这种“服务”的购买意图。
引文列表
专利文献
专利文献1:WO 2018/008217 A
发明内容
技术问题
常规地,已经提出了向用户呈现诸如振动的触觉刺激的装置。例如,作为示例,在专利文献1中描述了夹克式触觉呈现装置。这种触觉呈现装置在电影院、主题公园景点等中被安装在用户上,并且被控制为与用户观看的再现内容同步,由此可以进一步放大所提供的再现内容的存在感。
因此,本公开提出了能够通过使用这种触觉呈现装置向观看者提供具有高附加价值的实时交互体验的信息处理装置、信息处理方法、程序和信息处理系统。
问题的解决方案
根据本公开,提供了一种信息处理装置,其包括:第一获取单元,其根据来自第一用户的输入获取控制命令,所述控制命令包括呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;生成单元,其根据所述控制命令生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及第一分发单元,其将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置。
此外,根据本公开,提供了一种信息处理装置,其包括:第一获取单元,其根据来自第一用户的输入获取标识信息,所述标识信息用于指定呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;生成单元,其基于所述标识信息和预先存储的数据库生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及第一分发单元,其将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置。
此外,根据本公开,提供了一种信息处理方法,其包括由信息处理装置执行下述处理:根据来自第一用户的输入获取控制命令,所述控制命令包括呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;根据所述控制命令生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置。
此外,根据本公开,提供了一种用于使计算机实现以下功能的程序:根据来自第一用户的输入获取控制命令,所述控制命令包括呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;根据所述控制命令生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置。
此外,根据本公开,提供了一种信息处理系统,其包括信息处理装置和分发装置。在所述信息处理系统中,所述信息处理装置包括:第一获取单元,其根据来自第一用户的输入获取控制命令,所述控制命令包括呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;生成单元,其根据所述控制命令生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及第一分发单元,其将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置。在所述信息处理系统中,所述分发装置包括:图像生成单元,其将基于所述输入生成的预定图像叠加在分发到所述第一用户的真实空间的图像上。
附图说明
图1是用于描述本公开的实施例的概要的说明图(部分1)。
图2是用于描述本公开的第二实施例的概要的说明图(部分2)。
图3是示出根据本公开的实施例的信息处理系统10的示意配置示例的系统图。
图4是示出根据本公开的实施例的触觉呈现装置100的外观配置示例的图。
图5是示出根据本公开的实施例的触觉呈现装置100的功能配置示例的图。
图6是示出根据本公开的实施例的触觉服务器300的功能配置示例的图。
图7是示出根据本公开的实施例的分发数据编辑服务器400的功能配置示例的图。
图8是示出根据本公开的实施例的实况分发服务器500的功能配置示例的图。
图9是示出根据本公开的实施例的用户终端700的功能配置示例的图。
图10是用于描述根据本公开的第一实施例的显示示例的说明图(部分1)。
图11是用于描述根据本公开的第一实施例的触觉刺激呈现示例的说明图(部分1)。
图12是用于描述根据本公开的第一实施例的显示示例的说明图(部分2)。
图13是用于描述根据本公开的第一实施例的触觉刺激呈现示例的说明图(部分2)。
图14是用于描述根据本公开的第一实施例的触觉刺激呈现示例的说明图(部分3)。
图15是用于描述根据本公开的第一实施例的显示示例的说明图(部分3)。
图16是用于描述根据本公开的第一实施例的显示示例的说明图(部分4)。
图17是用于描述根据本公开的第一实施例的显示示例的说明图(部分5)。
图18是用于描述根据本公开的第一实施例的显示示例的说明图(部分6)。
图19是用于描述本公开的第二实施例的说明图。
图20是用于描述根据本公开的第二实施例的显示示例的说明图。
图21是根据本公开的第二实施例的信息处理方法的示例的流程图(部分1)。
图22是根据本公开的第二实施例的信息处理方法的示例的流程图(部分2)。
图23是用于描述根据本公开的第三实施例的输入示例的说明图(部分1)。
图24是根据本公开的第三实施例的信息处理方法的示例的流程图(部分1)。
图25是用于描述根据本公开的第三实施例的输入示例的说明图(部分2)。
图26是根据本公开的第三实施例的信息处理方法的示例的流程图(部分2)。
图27是用于描述根据本公开的第三实施例的输入示例的说明图(部分3)。
图28是用于描述根据本公开的第四实施例的输入示例的说明图。
图29是根据本公开的第四实施例的信息处理方法的示例的流程图。
图30是用于描述根据本公开的第五实施例的显示示例的说明图(部分1)。
图31是用于描述根据本公开的第五实施例的显示示例的说明图(部分2)。
图32是根据本公开的第五实施例的信息处理方法的示例的流程图。
图33是用于描述根据本公开的第六实施例的显示示例的说明图(部分1)。
图34是用于描述根据本公开的第六实施例的显示示例的说明图(部分2)。
图35是用于描述根据本公开的第六实施例的显示示例的说明图(部分3)。
图36是用于描述根据本公开的第六实施例的显示示例的说明图(部分4)。
图37是用于描述根据本公开的第六实施例的显示示例的说明图(部分5)。
图38是根据本公开的第六实施例的信息处理方法的示例的流程图。
图39是用于描述根据本公开的第七实施例的显示示例的说明图(部分1)。
图40是用于描述根据本公开的第七实施例的显示示例的说明图(部分2)。
图41是用于描述根据本公开的第七实施例的显示示例的说明图(部分3)。
图42是根据本公开的第七实施例的信息处理方法的示例的流程图。
图43是示出根据本公开的实施例的第一修改示例的信息处理系统10的示意配置示例的系统图(部分1)。
图44是示出根据本公开的实施例的第一修改示例的信息处理系统10的示意配置示例的系统图(部分2)。
图45是示出根据本公开的实施例的第一修改示例的信息处理系统10的示意配置示例的系统图(部分3)。
图46是示出根据本公开的实施例的第一修改示例的信息处理系统10的示意配置示例的系统图(部分4)。
图47是示出根据本公开的实施例的第一修改示例的信息处理系统10的示意配置示例的系统图(部分5)。
图48是示出根据本公开的实施例的第一修改示例的信息处理系统10的示意配置示例的系统图(部分6)。
图49是示出根据本公开的实施例的第一修改示例的信息处理系统10的示意配置示例的系统图(部分7)。
图50是示出根据本公开的实施例的第一修改示例的信息处理系统10的示意配置示例的系统图(部分8)。
图51是示出根据本公开的实施例的第二修改示例的信息处理系统10的示意配置示例的系统图(部分1)。
图52是示出根据本公开的实施例的第二修改示例的信息处理系统10的示意配置示例的系统图(部分2)。
图53是示出根据本公开的实施例的第二修改示例的信息处理系统10的示意配置示例的系统图(部分3)。
图54是示出根据本公开的实施例的第二修改示例的信息处理系统10的示意配置示例的系统图(部分4)。
图55是用于描述根据本公开的实施例的呈现触觉刺激的方法的说明图。
图56是用于描述根据本公开的实施例的修改示例的显示示例的说明图。
图57是示出实现触觉服务器300的功能的计算机的示例的硬件配置图。
具体实施方式
在下文中,将参照附图详细地描述本公开的优选实施例。注意,相同的附图标记被分配给具有基本相同的功能配置的部件,并且在本说明书和附图中省略了重复的描述。此外,在本说明书和附图中,可以通过在相同的附图标记后分配不同的字母来区分不同实施例的相似部件。然而,在没有特别需要将多个相似部件彼此区分的情况下,仅分配相同的附图标记。
注意,将按以下顺序进行描述。
1.本公开的实施例的概述
2.本公开的信息处理系统10的概述
2.1信息处理系统10的概述
2.2触觉呈现装置100的详细配置
2.3触觉服务器300的详细配置
2.4分发数据编辑服务器400的详细配置
2.5实况分发服务器500的详细配置
2.6用户终端700的详细配置
3.第一实施例
4.第二实施例
5.第三实施例
6.第四实施例
7.第五实施例
8.第六实施例
9.第七实施例
10.第八实施例
11.第九实施例
12.总结
13.本公开的信息处理系统10的第一修改示例
14.本公开的信息处理系统10的第二修改示例
15.输出触觉刺激的方法
16.图章显示的修改示例
17.硬件配置
18.补充说明
<<1.本公开的实施例的概述>>
首先,在描述本公开的实施例的细节之前,将参照图1和图2描述由本发明人创建的本公开的实施例的概述。图1和图2是用于描述本公开的实施例的概述的说明图。
如上所述,近年来消费者的消费活动已经从“商品消费”转变为“服务消费”。具体地,在娱乐领域中,消费者不仅强烈要求诸如观看艺术家的现场表演等的单向体验,而且还强烈要求诸如与艺术家交互的具有更高附加价值的实时交互体验。
因此,考虑到这种情况,本发明人已经深入地研究了是否可以向观看者提供具有更高附加价值的体验,并且设想了使用向穿戴者呈现诸如振动的触觉刺激的触觉呈现装置(触觉装置)。本发明人已经考虑到,观看者通过使用这种触觉呈现装置可以获取具有更高附加价值的体验。
在基于这种构思创建的本公开的实施例中,使得使表演或内容被观看或执行其分发的分发者800穿戴例如如图1所示的背心式的触觉呈现装置100。触觉呈现装置100内部包括多个触觉刺激单元(例如致动器等)。此外,当接收到预定信号时,每个触觉刺激单元可以向作为穿戴者的分发者800呈现触觉刺激。然后,如图2所示,观看者900从显示在用户终端700的显示单元702上的多个具有触觉刺激效果的图章850中选择一个具有触觉刺激效果的图章850,并且发送所选择的具有触觉刺激效果的图章850。然后,通过发送所选择的具有触觉刺激效果的图章850,将与给予图章850的触觉刺激对应的预定触觉控制信号发送至触觉刺激单元(执行具有触觉刺激效果的所谓的“投币”)。此外,触觉刺激单元基于所接收的预定触觉控制信号向穿戴者呈现与所选择的具有触觉刺激效果的图章850对应的触觉刺激。
因此,当分发者800感知到所呈现的触觉刺激并且采取动作时,观看者900可以实时地检查由观看者自己发送的图章850所呈现的触觉刺激所引起的动作。然后,当可以实时地检查由与观看者自己发送的图章850相关的触觉刺激引起的动作时,观看者900可以感觉到与分发者800进行了直接交互,即,可以获取具有更高附加价值的体验。
以这种方式,在本发明人创建的本公开的实施例中,不仅可以从观看者900向分发者800发送诸如图示、动画和文本的视觉信息以及诸如音乐的听觉信息,而且还可以发送触觉信息。因此,根据本公开的实施例,可以向观看者900提供具有高附加价值的实时交互体验,并且进一步增强了观看者900对于性能或内容的满意感,或者增加了对这种“服务”的购买意图。在下文中,将顺序地描述由本发明人创建的本公开的实施例的细节。
<<2.本公开的信息处理系统10的概述>>
<2.1信息处理系统10的概述>
首先,将参照图3描述根据本公开的实施例的信息处理系统的概述。图3是示出根据本公开的实施例的信息处理系统10的示意配置示例的系统图。在下面的描述中,假设分发者800和观看者900存在于不同的空间或相同的空间中。也就是说,例如,在信息处理系统10中,观看者900可以直接观看分发者800的外观,或者可以观看分发者800的分发视频。
具体地,如图3所示,在根据本实施例的信息处理系统10中,例如,触觉呈现装置100、驱动放大器/接口200、扬声器202、监视器204、麦克风(下文中,称为麦克风)206和摄像装置208被布置在分发者800侧。此外,在信息处理系统10中,例如,触觉服务器(信息处理装置)300、分发数据编辑服务器400和实况分发服务器500(另外的信息处理装置)被布置在分发者800侧与观看者900侧之间。此外,在信息处理系统10中,作为用户终端700的示例的智能电话或平板电脑被布置在观看者900侧。包括在信息处理系统10中的装置可以经由诸如有线/无线局域网(LAN)、Wi-Fi(注册商标)、Bluetooth(注册商标)、移动通信网络(长期演进(LTE)、第五代移动通信系统(5G))等的各种通信网络彼此执行发送和接收。注意,信息处理系统10中包括的装置的数目不限于图3中所示的装置的数目,并且还可以更大。此外,信息处理系统10可以包括图3中未示出的装置。例如,信息处理系统10可以包括通用个人计算机(PC)、游戏机、移动电话、便携式媒体播放器、扬声器、投影仪、显示器(诸如数字标牌)、诸如耳机、智能眼镜或智能手表的可穿戴装置等。
注意,在图3所示的信息处理系统10中,例如,管理触觉刺激的呈现的触觉服务器300、内置有用于编辑要分发到观看者900的视频和声音的应用的分发数据编辑服务器400、以及管理到观看者900的分发的实况分发服务器500可以由不同的业务运营商来操作。也就是说,在本实施例中,管理和操作每个服务器的业务运营商没有具体限制,并且操作各个服务器的所有业务运营商可以不同,或者这些服务器的一部分或全部可以由共同的业务运营商来操作。在下文中,将描述根据本实施例的信息处理系统10中包括的每个装置的概要。
(触觉呈现装置100)
触觉呈现装置100包括例如可以穿戴在身体上的装置。在本实施例中,假设触觉呈现装置100是例如由分发者800穿戴的背心式(无袖外衣状)装置。如上所述,背心式的触觉呈现装置100内部包括多个触觉刺激单元(未示出)。例如,可以在触觉呈现装置100内在分发者800的前侧和后侧各自布置预定数目(例如,6个)的触觉刺激单元。作为示例,布置在前侧的各个触觉刺激单元和布置在后侧的各个触觉刺激单元以彼此面对的位置关系被布置。
注意,在本实施例中,触觉呈现装置100的形状不限于背心式,并且可以是具有袖子的外衣形状。在这种情况下,可以不仅在分发者800的胸部和腹部上而且还在与分发者800的双臂对应的位置布置一个或更多个触觉刺激单元。此外,在本实施例中,触觉呈现装置100不限于具有外衣形状,并且可以具有以下形状:裤子、鞋子、腰带、帽子、手套或面罩等。
此外,可以在触觉呈现装置100的右肩部和左肩部中的每一个上布置一个麦克风206,可以在右侧和左侧之一布置一个麦克风206,或者可以布置三个或更多个麦克风206。此外,麦克风206可以作为独立于触觉呈现装置100的另外的装置布置在分发者800的周围。此外,可以在触觉呈现装置100中内置下述各项:用于检测触觉呈现装置100的穿戴状态的穿戴状态检测传感器(例如紧固件型传感器、压力传感器等)(未示出)、用于检测分发者800的运动和姿势的惯性测量单元(IMU)(未示出)、以及用于检测分发者800的生物信息的生物信息传感器(例如,感测心率、脉搏、脑电波、呼吸、出汗、肌电位、皮肤温度、皮肤电阻、眼动、瞳孔直径等的传感器)(未示出)等。注意,稍后将描述触觉呈现装置100的详细配置。
(驱动放大器/接口200)
驱动放大器/接口200是用于触觉呈现装置100和触觉服务器300往来发送及接收触觉控制信号的接口。例如,驱动放大器/接口200可以从触觉呈现装置100获取触觉呈现装置100的配置文件信息(例如功能信息),转换和放大由触觉服务器300生成的触觉控制信号,并且将其发送至触觉呈现装置100。
(监视器204)
例如,监视器204可以向分发者800显示由摄像装置208(稍后描述)捕获的分发者800的视频等,并且监视器204可以在分发者800的图像上叠加显示文本、图标、动画等。例如,监视器204由液晶显示(LCD)装置、有机发光二极管(OLED)装置等实现。此外,在本实施例中,可以将监视器204的显示单元(未示出)设置为与输入单元(未示出)集成的单元。在这种情况下,例如通过叠加在显示单元上的触摸面板来实现输入单元。此外,在本实施例中,可以在监视器204中设置向分发者800输出声音的扬声器202。
(摄像装置208)
摄像装置208是从一个视点或多个视点对分发者800进行成像的一个或多个可见光摄像装置,并且由摄像装置208拍摄的视频经由触觉服务器300、分发数据编辑服务器400和实况分发服务器500被发送至观看者900侧的用户终端700。注意,摄像装置208可以捕获分发者800周围或周围存在的真实对象等的图像。具体地,摄像装置208包括透镜系统和驱动系统,透镜系统包括成像透镜、光圈、变焦透镜、聚焦透镜等,驱动系统使透镜系统执行聚焦操作和变焦操作。此外,摄像装置208包括对由透镜系统获取的成像光进行光电转换并且生成成像信号的固态成像元件阵列等。注意,固态成像元件阵列可以由例如电荷耦合器件(CCD)传感器阵列、互补金属氧化物半导体(CMOS)传感器阵列等来实现。
(触觉服务器300)
触觉服务器300可以经由实况分发服务器500接收从观看者900输入的具有触觉刺激效果的图章(控制命令)850,根据图章850生成触觉控制信号,并且将所生成的触觉控制信号发送至触觉呈现装置100。每个具有触觉刺激效果的图章850与每个预定控制命令相关联,并且每个控制命令包括:指定呈现振动刺激的感知位置的信息(位置信息)(具体地,例如,诸如指定呈现触觉刺激的触觉刺激单元的信息)、指定振动刺激的波形类型、强度等的信息(形式信息)等。此外,控制命令可以包括用于指定设置在触觉呈现装置100中的触觉刺激单元(未示出)的标识信息(ID)、以及形式信息。具体地,触觉服务器300生成要输入到设置在触觉呈现装置100中的每个触觉刺激单元的触觉控制信号(波形数据),以按照控制命令在指定的感知位置以指定的强度呈现具有指定的波形的振动刺激,并且触觉服务器300将触觉控制信号发送至触觉呈现装置100。此外,与每个具有触觉刺激效果的图章850相关联的控制命令可以仅包括图章850的标识信息(ID)。在这种情况下,触觉服务器300可以参考所接收的图章850的标识信息并且基于预先存储的与标识信息相关联的数据来生成对应于图章850的触觉控制信号(波形数据)。注意,在本说明书中,“感知位置”包括感知位置的移动路径和具有预定大小的感知范围。此外,稍后将描述触觉服务器300的详细配置。
(分发数据编辑服务器400)
分发数据编辑服务器400可以编辑经由触觉服务器300接收的来自摄像装置208的视频,并且可以编辑经由触觉服务器300接收的来自麦克风206的声音。此外,分发数据编辑服务器400可以经由实况分发服务器500将编辑的视频和声音数据发送至用户终端700,并且可以经由触觉服务器300将其输出至扬声器202和监视器204。例如,分发数据编辑服务器400可以通过将从观看者900输入的图章850的图像或与图章850相关联的视频效果叠加在由摄像装置208捕获的分发者800的图像上来生成用于分发的视频数据。注意,稍后将描述分发数据编辑服务器400的详细配置。
(实况分发服务器500)
实况分发服务器500可以向用户终端700分发分发者800等的图像等、用于选择具有触觉刺激效果的图章850的图像等。例如,实况分发服务器500可以经由Web应用编程接口(API)执行认证,并且监视从观看者900发送的具有触觉刺激效果的图章850等。注意,稍后将描述实况分发服务器500的详细配置。
此外,在本实施例中,触觉服务器300、分发数据编辑服务器400和实况分发服务器500可以由单个装置实现或者可以由多个装置实现,并且没有具体限制。稍后将描述细节。
(用户终端700)
用户终端700由观看者900使用或安装在观看者900附近,并且是用于观看者900输入例如具有触觉刺激效果的图章850等的终端。然后,用户终端700接收从观看者900输入的具有触觉刺激效果的图章(控制命令)850,并且经由实况分发服务器500将接收到的图章850发送至触觉服务器300。此外,例如,用户终端700可以经由实况分发服务器500接收分发者800的视频并且显示该视频,其中,向该视频应用了与所接收的图章850相关联的视频效果,并且呈现与图章850相关联的触觉刺激。此时,用户终端700可以接收图章850的标识信息(ID),从自身的存储单元(未示出)读取与标识信息相关联的视频效果的信息,并且由其自身执行处理,或者可以接收已经应用了视频效果的视频。例如,用户终端700可以是可穿戴装置诸如头戴式显示器(HMD)或智能电话、平板个人计算机(PC)、移动电话、膝上型PC。此外,用户终端700可以是诸如卡拉OK包厢的业务运营商提供的房间中安装的专用装置。注意,稍后将描述用户终端700的详细配置。
<2.2触觉呈现装置100的详细配置>
接下来,将参照图4和图5描述触觉呈现装置100的详细配置。图4是示出根据本实施例的触觉呈现装置100的外观配置示例的图,并且图5是示出根据本实施例的触觉呈现装置100的功能配置示例的图。如上所述,触觉呈现装置100是穿戴在分发者800的身体的一部分上并且例如通过根据图章(控制命令)850进行振动来向分发者800给予触觉刺激的装置。
如图4所示,例如,背心式的触觉呈现装置100如前所述在内部包括多个触觉刺激单元106。触觉刺激单元106包括例如致动器,通过由触觉服务器300生成的触觉控制信号驱动而生成振动,并且将振动作为触觉刺激进行呈现。例如,偏心马达、线性振动器、压电元件等可用作致动器。
此外,如图5所示,触觉呈现装置100包括通信单元102、控制单元104、上述触觉刺激单元106和操作单元108。在下文中,将顺序地描述触觉呈现装置100的功能块。
(通信单元102)
通信单元102经由驱动放大器/接口200无线连接至触觉服务器300,并且可以向触觉服务器300发送信息并且从触觉服务器300接收信息。
(控制单元104)
控制单元104是控制器,并且可以基于经由上述通信单元102输入的触觉控制信号来驱动触觉刺激单元106。控制单元104例如通过由中央处理单元(CPU)、微处理单元(MPU)等以随机存取存储器(RAM)作为工作区来执行存储在触觉呈现装置100内的只读存储器(ROM)等中的各种程序来实现。此外,控制单元104例如由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的集成电路来实现。
(操作单元108)
操作单元108是由分发者800操作的诸如触摸传感器、压力传感器、接近传感器、按钮、开关或控制杆的操作装置,并且例如可以由分发者800用以减弱所呈现的触觉刺激的强度或停止呈现触觉刺激。
尽管上面具体描述了根据本实施例的触觉呈现装置100的详细配置,但根据本实施例的触觉呈现装置100的详细配置并不限于图4和图5所示的示例。
此外,触觉呈现装置100不限于上述方式的背心式可穿戴装置,并且可以是可以穿戴在用户的身体的一部分(例如耳垂、颈部、手臂、手腕或脚踝)上的可穿戴装置。更具体地,可穿戴装置的示例包括各种类型/形式的可穿戴装置,例如耳用装置类型、脚镯类型、戒指类型、手套类型、手镯(腕带)类型、衣领类型、眼镜类型、头饰类型、衬垫类型、徽章类型和衣服类型。此外,触觉呈现装置100可以被配置为安装在分发者800的手中持有的装置上的手持类型,例如智能电话、平板电脑、摄像装置、游戏控制器、便携式音乐播放器等,或者可以是笔型、棒型或手柄型。此外,触觉呈现装置100不限于可穿戴类型或手持类型,并且可以被配置为安装在诸如床、椅子或桌子的家具或者各种设施上的板岩/地板类型。
此外,在本公开的实施例中,描述了通过触觉呈现装置100向分发者800呈现触觉刺激(振动)。然而,这不是限制,并且风、电刺激、超声波、力感、热、湿度、气味等可以代替触觉刺激或与触觉刺激一起给予分发者800。此外,在本公开的实施例中,触觉刺激向分发者800的呈现不是限制。触觉刺激等可以呈现给选择图章850的观看者900或简单地享受分发者800的分发的观看者900。
<2.3触觉服务器300的详细配置>
接下来,将参照图6描述根据本公开的实施例的触觉服务器300的详细配置。图6是示出根据本公开的实施例的触觉服务器300的功能配置示例的图。如图6所示,触觉服务器300主要包括通信单元302、摄像装置图像获取单元304、麦克风声音获取单元306、图章获取单元308、触觉信号生成单元310、分发者状态获取单元312、输出图像获取单元314、输出声音获取单元316和存储单元318。在下文中,将顺序地描述触觉服务器300的功能块。
(通信单元302)
通信单元(分发单元)302可以向触觉呈现装置100、扬声器202、监视器204和摄像装置208发送信息并且从触觉呈现装置100、扬声器202、监视器204和摄像装置208接收信息。通信单元302是具有发送和接收数据的功能的通信接口,并且由诸如通信天线、发送/接收电路和端口的通信装置(未示出)实现。具体地,通信单元302可以将触觉控制信号发送至触觉呈现装置100,将来自分发数据编辑服务器400的视频数据(例如还包括文本信息)发送至监视器204,以及将来自分发数据编辑服务器400的声音数据(预定声音)发送至扬声器202。
接下来,将描述摄像装置图像获取单元304、麦克风声音获取单元306、图章获取单元308、触觉信号生成单元310、分发者状态获取单元312、输出图像获取单元314和输出声音获取单元316。这些功能单元通过例如由CPU、MPU等以RAM作为工作区执行存储在触觉服务器300内的ROM等中的各种程序来实现。
(摄像装置图像获取单元304)
摄像装置图像获取单元304可以从摄像装置208获取分发者800侧的真实空间的图像和分发者800的图像,并且经由通信单元302将其发送至分发数据编辑服务器400。
(麦克风声音获取单元306)
麦克风声音获取单元306可从麦克风206获取分发者800侧的真实空间中的环境声音或分发者800的声音,并且经由通信单元302将其发送至分发数据编辑服务器400。
(图章获取单元308)
图章获取单元308可以获取控制命令,该控制命令包括与从观看者900输入的具有触觉刺激效果的图章850相关联的、指定由触觉呈现装置100呈现触觉刺激的呈现位置的位置信息(呈现单元信息)以及指定触觉刺激的形式的形式信息,并且图章获取单元308可以将控制命令输出至触觉信号生成单元310(稍后描述)。此外,图章获取单元308可以获取仅包括与具有触觉刺激效果的图章850相关联的标识信息(ID)的控制命令850,并且将其输出至触觉信号生成单元310(稍后描述)。
(触觉信号生成单元310)
触觉信号生成单元310可以基于与从观看者900输入的具有触觉刺激效果的图章850相关联的控制命令来生成用于控制触觉呈现装置100的触觉控制信号。具体地,基于包括振动刺激的感知位置(位置信息)、振动刺激的波形类型、振动刺激的强度信息(形式信息)等的控制命令,触觉信号生成单元310生成要输入至设置在触觉呈现装置100中的每个触觉刺激单元106(具体地,振动致动器)的波形数据,以在指定的感知位置以指定的强度呈现具有指定的波形的振动刺激。注意,触觉控制信号可以包括指示以基于控制命令的触觉刺激的呈现定时、频率、间隔和呈现时间来呈现振动刺激的信息。此外,触觉信号生成单元310可以参照仅包括与从观看者900输入的具有触觉刺激效果的图章850相关联的标识信息(ID)的控制命令,并且基于预先存储的与标识信息相关联的数据来生成与图章850对应的触觉控制信号(包括感知位置、波形类型、强度信息等)。
此外,当由控制命令指定的振动刺激的频率和强度具有宽频带(例如50Hz至500Hz)时,触觉信号生成单元310可以根据触觉呈现装置100的功能将振动刺激压缩到窄频带(例如100Hz),并且生成波形数据。此外,触觉信号生成单元310可以根据分发者800的触觉呈现装置100的穿戴状态或触觉呈现装置100的配置文件(功能等)来调整触觉控制信号。
此外,触觉信号生成单元310可以经由通信单元302将所生成的触觉控制信号发送至穿戴在分发者800的身体上的触觉呈现装置100。
(分发者状态获取单元312)
例如,分发者状态获取单元312可以获取由用于检测触觉呈现装置100的穿戴状态的穿戴状态检测传感器(未示出)获取的感测数据等,并且将其输出至上述触觉信号生成单元310。
(输出图像获取单元314)
输出图像获取单元314可以从分发数据编辑服务器400获取经编辑的视频数据(预定图像和文本信息),并且经由通信单元302将其发送至监视器204。
(输出声音获取单元316)
输出声音获取单元316可以从分发数据编辑服务器400获取经编辑的声音数据等,并且经由通信单元302将其发送至扬声器202。
(存储单元318)
存储单元318由诸如存储用于由触觉信号生成单元310进行的处理的程序和计算参数等的ROM、临时存储适当改变的参数等的RAM、以及存储各种数据库(DB)的HDD的存储装置来实现。例如,存储单元318存储与每个图章850的标识信息(ID)相关联的先前生成的触觉数据库(例如感知位置和振动波形图案),并且上述触觉信号生成单元310还可以通过使用触觉数据库来生成触觉控制信号。此外,存储单元318可以存储例如诸如触觉呈现装置100的触觉刺激单元106的数目、其位置、频率特性、最大输入电压等的信息,作为触觉呈现装置100的配置文件信息。触觉信号生成单元310可以参考这种配置文件信息来调整触觉控制信号。
尽管以上具体描述了根据本实施例的触觉服务器300的详细配置,但根据本实施例的触觉服务器300的详细配置不限于图6所示的示例。
<2.4分发数据编辑服务器400的详细配置>
接下来,将参照图7来描述根据本公开的实施例的分发数据编辑服务器400的详细配置。图7是示出根据本公开的实施例的分发数据编辑服务器400的功能配置示例的图。如图7所示,分发数据编辑服务器400主要包括通信单元402、摄像装置图像获取单元404、图像生成单元406、图章获取单元408、麦克风声音获取单元410、声音生成单元412、输出声音获取单元414和存储单元416。在下文中,将顺序地描述分发数据编辑服务器400的功能块。
(通信单元402)
通信单元402可以向触觉服务器300和实况分发服务器500发送信息并且从触觉服务器300和实况分发服务器500接收信息。通信单元402是具有发送和接收数据的功能的通信接口,并且由诸如通信天线、发送/接收电路和端口的通信装置(未示出)实现。
接下来,将描述摄像装置图像获取单元404、图像生成单元406、图章获取单元408、麦克风声音获取单元410、声音生成单元412和输出声音获取单元414。这些功能单元通过例如由CPU、MPU等以RAM作为工作区执行存储在分发数据编辑服务器400内的ROM等中的各种程序来实现。
(摄像装置图像获取单元404)
摄像装置图像获取单元404可以经由触觉服务器300从摄像装置208获取分发者800侧的真实空间的图像或分发者800的图像,并且将其输出至图像生成单元406(稍后描述)。
(图像生成单元406)
图像生成单元406可以生成要呈现给观看者900或分发者800的图像数据。例如,图像生成单元406可以生成将诸如图标、动画和文本的虚拟对象叠加显示在分发者800的图像上的视频数据。更具体地,虚拟对象可以是例如炸弹爆炸的动画,该动画与触觉刺激的呈现同时显示。此外,虚拟对象可以是与从观看者900输入的具有触觉刺激效果的图章850对应的图像。例如,在心形图章850的情况下,图像生成单元406可以生成将心形图章850叠加显示在分发者800的图像上的视频数据。此外,例如,图像生成单元406可以在分发者800的图像上应用与从观看者900输入的图章850相关联的视频效果。此外,例如,在由于触觉呈现装置100没有穿戴在分发者800的身体上而不能将触觉刺激呈现给分发者800的情况下,图像生成单元406还可以生成要呈现给观看者900等的视频数据来代替触觉刺激。
(图章获取单元408)
图章获取单元408可以获取从观看者900输入的具有触觉刺激效果的图章850的信息,并且将其输出至图像生成单元406和声音生成单元412。
(麦克风声音获取单元410)
麦克风声音获取单元410可以经由触觉服务器300从麦克风206获取分发者800的声音,并且将其输出至声音生成单元412(稍后描述)。
(声音生成单元412)
声音生成单元412可以生成要呈现给观看者900或分发者800的声音数据。例如,声音生成单元412可以生成指示类似炸弹爆炸的声音的声音数据,该声音数据与触觉刺激的呈现同时输出。此外,声音生成单元412可以生成与从观看者900输入的具有触觉刺激效果的图章850对应的声音的声音数据。例如,在图章850呈野鸟的形式的情况下,声音生成单元412生成其中野鸟的叫声叠加在分发者800的歌声等上的声音数据。此外,声音生成单元412可以生成其中由用户终端700获取的观看者900的声音被叠加在分发者800的歌声等上的声音数据。此外,例如,在由于触觉呈现装置100没有穿戴在分发者800的身体上而不能将触觉刺激呈现给分发者800的情况下,声音生成单元412还可以生成要输出至观看者900等的声音数据来代替触觉刺激。
(输出声音获取单元414)
输出声音获取单元414可以获取从观看者900利用用户终端700输入的声音,并且将其输出至声音生成单元412。
(存储单元416)
存储单元416通过诸如存储用于图像生成单元406和输出声音获取单元414中的处理的程序和计算参数等的ROM、临时存储适当改变的参数等的RAM、以及存储各种数据库(DB)的HDD的存储装置来实现。例如,存储单元416将预先生成的图像和声音数据库与每个图章850的标识信息(ID)相关联地存储,并且图像生成单元406和输出声音获取单元414通过使用图像和声音数据库来生成视频数据和声音数据。
尽管以上具体描述了根据本实施例的分发数据编辑服务器400的详细配置,但根据本实施例的分发数据编辑服务器400的详细配置不限于图7所示的示例。
<2.5实况分发服务器500的详细配置>
接下来,将参照图8来描述根据本公开的实施例的实况分发服务器500的详细配置。图8是示出根据本公开的实施例的实况分发服务器500的功能配置示例的图。如图8所示,实况分发服务器500主要包括通信单元502、GUI控制单元504、图章获取单元506、声音数据获取单元508、图像数据获取单元510、触觉信号获取单元512、观看者信息获取单元514、分发控制单元516和存储单元518。在下文中,将顺序地描述实况分发服务器500的功能块。
(通信单元502)
通信单元502可以向用户终端700、分发数据编辑服务器400和触觉服务器300发送信息并且从用户终端700、分发数据编辑服务器400和触觉服务器300接收信息。通信单元502是具有发送和接收数据的功能的通信接口,并且由诸如通信天线、发送/接收电路和端口的通信装置(未示出)实现。
接下来,将描述GUI控制单元504、图章获取单元506、声音数据获取单元508、图像数据获取单元510、触觉信号获取单元512、观看者信息获取单元514和分发控制单元516。这些功能单元通过例如由CPU、MPU等以RAM作为工作区执行存储在实况分发服务器500内的ROM等中的各种程序来实现。
(GUI控制单元504)
图形用户界面(GUI)控制单元504可以控制观看者900的用户终端700并且显示用于输入具有触觉刺激效果的图章(控制命令)850的画面。具体地,GUI控制单元504使用户终端700的显示单元702以图2所示的方式将画面显示为用于选择具有触觉刺激效果的图章850的画面。在选择画面(图章选择画面)上显示有许多具有触觉刺激效果的图章850。具有触觉刺激效果的图章850中的每一个与用于触觉呈现装置100的控制命令相关联,并且观看者900可以通过选择显示在选择画面上的图章850来输入控制命令。注意,在本实施例中,优选地,具有触觉刺激效果的图章850的图像直观地唤起观看者900期望发送至分发者800的触觉刺激、感觉(消息)等。此外,如下所述,GUI控制单元504可以使用户终端700的显示单元702显示下述图像:从该图像中,除了选择具有触觉刺激效果的图章850之外,还可以选择不具有触觉刺激效果的图章。
(图章获取单元506)
图章获取单元506可以获取从观看者900输入的具有触觉刺激效果的图章850的信息(例如ID),并且经由通信单元502将其发送至分发数据编辑服务器400和触觉服务器300。此外,图章获取单元506可以从用户终端700获取与输入对应的诸如触觉控制信号或图像表控制信号的命令信息。
(声音数据获取单元508)
声音数据获取单元508可以经由通信单元502从分发数据编辑服务器400获取声音数据,并且将其发送至用户终端700。
(图像数据获取单元510)
图像数据获取单元510可以经由通信单元502从分发数据编辑服务器400获取图像数据,并且将其发送至用户终端700。
(触觉信号获取单元512)
触觉信号获取单元512可以从触觉服务器300获取触觉控制信号,并且将其发送至用户终端700。例如,在振动装置(未示出)安装在用户终端700上的情况下,与由观看者900选择的图章850对应的触觉刺激可以由振动装置再现。
(观看者信息获取单元514)
例如,观看者信息获取单元514可以获取从用户终端700发送的观看者900的标识信息(例如ID),并且对观看者900执行认证。
(分发控制单元516)
分发控制单元516可以控制从声音数据获取单元508、图像数据获取单元510和触觉信号获取单元512向由观看者信息获取单元514认证的观看者900的用户终端700的数据发送。
(存储单元518)
存储单元518由诸如存储用于实况分发服务器500中的处理的程序和计算参数等的ROM、临时存储适当改变的参数等的RAM、以及存储各种数据库(DB)的HDD的存储装置来实现。例如,存储单元518可以存储观看者900的标识信息,并且还可以将观看者900的先前获取的控制命令或先前使用的图章(控制命令)850的信息与观看者900的标识信息相关联地存储。
尽管以上具体描述了根据本实施例的实况分发服务器500的详细配置,但根据本实施例的实况分发服务器500的详细配置不限于图8所示的示例。例如,实况分发服务器500还可以包括推荐单元(未示出),该推荐单元参考存储在存储单元518中的信息来选择由观看者900以高频率使用的图章(控制命令)850或由观看者以低频率使用的图章(控制命令)850,并且向观看者900推荐所选择的具有触觉刺激效果的图章850。此外,推荐单元可以推荐观看者900向在过去没有获取预定数目的或更多的图章850的分发者800输入图章850。
<2.6用户终端700的详细配置>
接下来,将参照图9描述根据本公开的实施例的用户终端700的详细配置。图9是示出根据本实施例的用户终端700的功能配置示例的图。如图9所示,用户终端700主要包括显示单元702、操作输入单元704、扬声器706、通信单元708、控制单元710、存储单元712以及传感器单元720。在下文中,将顺序地描述用户终端700的功能块。
(显示单元702)
显示单元702可以向观看者900显示例如用于选择具有触觉刺激效果的图章(控制命令)850的选择画面、分发者800的图像等。此外,显示单元702可以将文本、图标、动画等叠加显示在分发者800的图像上。显示单元702由液晶显示装置、OLED装置等实现。
(操作输入单元704)
例如,由观看者900向操作输入单元704输入对与控制命令相关联的具有触觉刺激效果的图章850的选择的结果,该控制命令包括指定呈现触觉刺激的呈现位置的位置信息和指定触觉刺激的形式的形式信息。替选地,控制命令可以直接输入至操作输入单元704。例如,操作输入单元704由开关、按钮、触摸面板、或控制杆等实现。此外,通过操作输入单元704输入的操作的内容可以通过上述显示单元702来显示。此外,操作输入单元704可以在由显示单元702显示的位置选择画面上接收来自观看者900的输入操作的信息,该位置选择画面以叠加在上述显示单元702上的方式设置并且用于指定呈现位置(例如位置信息)。
(扬声器706)
扬声器706可以在控制单元710(稍后描述)的控制下再现声音。注意,扬声器706可以被设置在用户终端700中,或者可以是与用户终端300分开的诸如一对耳机扬声器的装置(未示出)。
(通信单元708)
通信单元708可以向实况分发服务器500发送信息并且从实况分发服务器500接收信息,并且具体地可以向实况分发服务器500发送由观看者900输入的具有触觉刺激效果的图章(控制命令)850的信息。此外,通信单元708可以接收从实况分发服务器500发送的信息。例如,通信单元708是具有发送和接收数据的功能的通信接口,并且由诸如通信天线、发送/接收电路和端口的通信装置(未示出)实现。
(控制单元710)
控制单元710是用户终端700的控制器,并且通过例如由CPU、MPU等以RAM作为工作区执行存储在用户终端700内的ROM等中的各种程序来实现。
(存储单元712)
存储单元712由诸如存储用于由上述控制单元710进行的处理的程序和计算参数等的ROM和临时存储适当改变的参数等的RAM的存储装置实现。
(传感器单元720)
传感器单元720可以获取与来自观看者900的操作(例如给予用户终端700的振动)相关的感测数据。例如,如图9所示,传感器单元720主要包括摄像装置722、麦克风724、陀螺仪传感器726和加速度传感器728。注意,上述传感器是示例,并且本实施例不限于此。
例如,摄像装置722捕获观看者900的运动等的图像,并且将捕获的图像输出至上述控制单元710。然后,控制单元710可以从由摄像装置722捕获的图像提取观看者900的预定运动,并且获取与所提取的运动相关的控制命令。具体地,摄像装置722包括透镜系统和驱动系统,透镜系统包括成像透镜、光圈、变焦透镜、聚焦透镜等,驱动系统使透镜系统执行聚焦操作和变焦操作。此外,摄像装置722包括对由透镜系统获取的成像光进行光电转换并且生成成像信号的固态成像元件阵列等。注意,该固态成像元件阵列可以由例如CCD传感器阵列、CMOS传感器阵列等实现。此外,摄像装置722可以包括飞行时间(ToF)传感器(未示出)。例如,ToF传感器向对象发射具有预定周期的照射光,检测由对象反射的反射光,并检测照射光与反射光之间的相位差或时间差,由此可以获取对象的深度信息。此处,对象的深度信息是作为从ToF传感器到对象的表面上的每个点的距离的一个信息的深度的信息。然后,通过汇集对象的表面上的多个点的深度信息,可以获取与对象的表面的不均匀形状相关的形状信息(即,对象的外部形状信息)。
麦克风724收集观看者900的声音并且将所收集的声音数据输出至上述控制单元710。然后,控制单元710可以从由麦克风724收集的声音中提取观看者900的声音模式,并且获取与所提取的声音模式相关的控制命令(例如,诸如由观看者900的声音指定图章850)。
陀螺仪传感器726由例如三轴陀螺仪传感器实现,并且检测观看者900的用户终端700的移动的角速度(旋转速度)。此外,加速度传感器728由例如三轴加速度传感器(也称为G传感器)实现,并且检测观看者900的用户终端700的移动的加速度。在本实施例中,可以从这些传感器的感测数据中识别观看者900在用户终端700上执行的操作,并且还可以获取与所识别的操作相关的控制命令。
尽管以上具体地描述了根据本实施例的用户终端700的详细配置,但根据本实施例的用户终端700的详细配置并不限于图9所示的示例,并且例如还可以包括通过振动来向观看者900进行通知的振动装置(振动器)。也就是说,尽管图9中未示出,但是用户终端700可以配备有再现触觉刺激的振动装置,或者可以是穿戴在观看者900身体上的触觉呈现装置100。
<<3.第一实施例>>
首先,将参照图10至图18描述本公开的第一实施例。图10、图12以及图15至图18是用于描述根据本实施例的显示示例的说明图,并且图11、图13以及图14是用于描述根据本实施例的触觉刺激呈现示例的说明图。
在图10所示的示例中,假设观看者900选择具有多个心形形状的具有触觉刺激效果的图章850。在这种情况下,在图10所示的用户终端700中,可以在观看者900的评论860旁边显示所输入的图章850。然后,如图11所示,穿戴在分发者800的身体上的触觉呈现装置100的、由与所选择的图章850相关联的控制命令指定的触觉位置处的触觉刺激单元106振动,由此将触觉刺激呈现给分发者800。
此时,如图10所示,信息处理系统10可以向观看者900分发下述图像,在该图像中,图章850的图像叠加显示在分发者800的图像上(增强现实(AR)显示)。具体地,叠加有图章850的位置可以是由与图章850相关联的控制命令指定的感知位置。此时,信息处理系统10可以将观看同一分发者800的图像的观看者900的评论860与图像一起分发。此外,在本实施例中,信息处理系统10可以基于观看者900输入的评论来自动地选择图章850,并且向分发者800呈现与自动地选择的图章850相关联的触觉刺激。
此外,在本实施例中,叠加在分发者800的图像上的虚拟对象可以是如图12所示的动画图像。在图12所示的示例中,由观看者900输入的图章852是烟花,并且根据图章852将烟花的动画图像(其中光从中心向外围传播的图像)852叠加在分发者800的图像上。然后,在这种情况下,如图13所示,根据与所选择的图章852相关联的控制命令,穿戴在分发者800的身体上的触觉呈现装置100的呈现触觉刺激的触觉位置(即,呈现触觉刺激的触觉刺激单元106)与动画图像852的改变同步地改变。具体地,与光从烟花动画图像852的中心向外围传播的图像同步,触觉呈现装置100的呈现触觉刺激的触觉刺激单元106从位于中心的触觉刺激单元106改变为位于外围的触觉刺激单元106。注意,在本实施例中,动画图像852的改变不限于与触觉位置的改变同步,并且可以与例如触觉控制信号的频率、波形和强度的任意改变同步。
此外,如图14所示,在上述实施例中,可以通过特定信息的指示来向观看者900呈现下述内容:穿戴在分发者800的身体上的触觉呈现装置100的呈现触觉刺激的触觉位置(即,呈现触觉刺激的触觉刺激单元106)与动画图像852的改变同步地改变。例如,指示哪个部分(触觉刺激单元106)正在振动的显示842被显示在观看者900的用户终端700(图14所示的用户终端)上。在图14的示例中,由于当动画图像852改变时触觉位置改变,所以显示842的显示也改变。此外,在显示842中,振动部分的颜色、颜色的阴影、亮度等可以根据在每个触觉位置呈现的触觉刺激的强度的改变而改变。此外,在图14的示例中,还显示再现的触觉刺激的具体的波形图像840。注意,波形图像可以以变形的方式显示,并且波形的颜色、颜色的阴影、亮度、线的粗细等可以根据触觉刺激的强度的改变而改变。
此外,如图15所示,在本实施例中,要叠加在分发者800的图像上的图章850和虚拟对象不限于预先准备的那些,并且可以通过由观看者900的操作绘制的轨迹等来配置。具体地,观看者900可以通过沿着由观看者自己确定的轨迹布置多个图章850a来形成指示一个词的图章850(在图15中形成包括词“LOVE”的图章850)。此外,图15中的图章850可以是下述的动画图像,该动画图像中,多个小图章850a沿着观看者900绘制的轨迹按顺序出现并且创建词“LOVE”。
此外,如图16所示,在本实施例中,可以根据在其上进行叠加的真实空间中的对象的形状来使预先准备的图章850和虚拟对象变形。例如,在图16所示的示例中,眼镜型的图章850的形状和尺寸根据分发者800的面部的形状和尺寸而改变,并且图章850叠加在分发者800的面部的图像上。
此外,在本实施例中,可以生成图章850本身、用于购买图章850的硬币等,作为基于抽奖的结果、登录奖金(商店访问奖金)、订阅服务、胜负预测等给观看者900的礼品。
例如,在图17所示的示例中,分发者800准备硬币作为奖励,指定可执行抽奖的条件(具体地,例如,输入密码或任意评论),并且主持抽奖。然后,在满足指定条件的情况下,观看者900可以通过参与抽奖来获取硬币。然后,观看者900可以用所获取的硬币购买具有触觉刺激效果的图章850。
此外,例如,在图18所示的示例中,在两个分发者800a和800b玩预定游戏的情况下,观看者900预测其胜负结果。然后,在预测成功的情况下,观看者900可以获取具有触觉刺激效果的图章850作为礼品。
此外,在本实施例中,例如,观看者900可以通过每天登录一次到预定的应用或站点来获得奖励。奖励可以是具有触觉刺激效果的图章850或可以用于购买图章850的虚拟货币。此外,在本实施例中,观看者900不仅可以在登录到预定应用等的情况下获得奖励,而且可以在访问预定商店(由安装在用户终端700上的位置传感器检测)的情况下获得奖励。此外,通过连续登录,观看者900能够获取更多的图章850或昂贵的图章(稀有图章)850。
此外,在本实施例中,分发者800可以通过释放订阅功能而提供具有触觉刺激效果的图章850或可以用于购买图章850的虚拟货币,作为限于订阅服务订户的益处。以这种方式,通过订阅喜爱的分发者800的订阅服务,观看者900可以支持分发者800并且使用上述限于订户的益处。
如上所述,在第一实施例中,通过设计向分发者800呈现与由观看者900选择的具有触觉刺激效果的图章850对应的触觉刺激或者在呈现触觉刺激时向观看者900或分发者800呈现的图像的呈现方法,观看者900可以感觉他/她直接与分发者800交互。换言之,观看者900可以获取具有高附加价值的实时交互体验。
<<4.第二实施例>>
此外,观看者900可以同时享受来自多个分发者800的分发。将参照图19和图20描述在这种情况下应用的本公开的第二实施例。图19是用于描述本实施例的说明图,并且图20是用于描述根据本实施例的显示示例的说明图。例如,如图19所示,一个观看者900可以同时享受来自多个分发者800a、800b和800c的分发。在本实施例中,将描述由观看者900执行的选择具有触觉刺激效果的图章(控制命令)850被发送至的分发者800的方法以及选择哪个分发者800感测所呈现的触觉刺激的方法。
例如,在本实施例中,如图19所示,当观看者900在用户终端700的显示单元702上显示来自多个分发者800a、800b和800c的分发画面时,观看者900可以同时将相同的图章850发送至分发者800a、800b和800c中的全部或一部分。替选地,在本实施例中,观看者900可以通过选择期望向其呈现触觉刺激的分发者800的分发画面或者叠加在分发画面上的图标(未示出)来确定图章850将被发送至的分发者800。更具体地,例如,观看者900对期望向其执行发送的分发者800的分发画面执行触摸操作,然后对图章850执行触摸操作,由此具有触觉刺激效果的图章850可以被发送至分发者800。
此外,在本实施例中,声音输入可以用作选择要向其执行发送的分发者800的手段。例如,可以呼叫分发者800的名称,可以说出分发画面的位置(例如右侧或下侧),可以说出分发者800的分发图像中包括的位于真实空间中的对象的信息(例如椅子、分发者800的衣服的颜色、分发者800所穿戴的附件等)或者叠加在分发者800的图像上的虚拟对象的信息。此外,在本实施例中,观看者900的视线的位置可以用作选择要向其执行发送的分发者800的手段。
此外,在本实施例中,优选地,例如在每个分发画面的右上方显示指示触觉呈现是否可接受的图标870,如图20所示。例如,图标870a指示分发者800b可以接收触觉控制信号,而图标870b指示分发者800b不能接收触觉控制信号。因此,参考这样的图标870,观看者900可以确定图章850将被发送至的分发者800。
此外,如图20所示,观看者900可以通过操作在自己的评论显示860旁边显示的图标870来设置自己穿戴的触觉呈现装置100是否能够接收触觉刺激。具体地,例如,通过长按在自己的评论显示860旁边显示的图标870b,观看者900可以切换和设置触觉控制信号是可以被接收还是不能被接收。此外,在本实施例中,通过操作在另外的观看者900的评论显示860旁边显示的图标870,观看者900可以关于由另外的观看者900输入的触觉控制信号设置其自己穿戴的触觉呈现装置100是否可以接收触觉刺激。
此外,在本实施例中,在观看者900穿戴触觉呈现装置100或振动装置(未示出)被安装在观看者900的用户终端700上的情况下,观看者900可以通过触觉呈现装置100或振动装置感觉到与被发送至分发者800的图章850对应的触觉刺激。注意,观看者900感觉到的触觉刺激可以是与自己选择的图章850对应的触觉刺激,或者可以是与从另外的观看者900发送至分发者800的该观看者900选择的图章850对应的触觉刺激。在这种情况下,通过操作图20所示的每个分发画面的右上方的图标870,观看者900可以预先选择与期望感觉的触觉刺激对应的分发者800。
此外,在本实施例中,在观看者900选择多个分发者800的情况下,呈现给分发者800的触觉刺激可以被叠加(具体地,触觉控制信号的波形被叠加)并且呈现给观看者900。此外,在本实施例中,可以根据与观看者900的每个分发相关的感兴趣程度(例如,所发送的图章850的数目、所发送的评论860的数目、或视线停留的时间的百分比)来确定触觉刺激的叠加的比率。此外,在本实施例中,可以根据与每个分发相关的观看者900的感兴趣程度(例如,所发送的图章850的数目、所发送的评论的数目、或视线停留的时间的百分比)来改变呈现给分发者800的触觉刺激的强度、呈现时间等。
此外,在本实施例中,在分发者800没有穿戴触觉呈现装置100的情况下,观看者900可以向彼此发送具有触觉刺激效果的图章850。在这种情况下,由一个观看者900选择的图章850可以仅被发送至由该一个观看者900设置的另外的观看者900。替选地,可以仅将来自一个观看者900的由另外的观看者900设置的图章850发送至另外的观看者900。此外,在本实施例中,观看者900可以预先设置是否可以从另外的观看者900接收触觉控制信号。具体地,例如,如图20所示,观看者900可以通过对在自己的评论显示860旁边显示的图标870b执行长按来执行触觉控制信号是可以被接收还是不能被接收的切换设置。替选地,在本实施例中,通过操作在另外的观看者900的评论显示860旁边显示的图标870,观看者900可以关于由另外的观看者900输入的触觉控制信号设置其自己穿戴的触觉呈现装置100是否可以接收触觉刺激。此外,在本实施例中,例如,如图20所示,优选地,能够接收触觉控制信号的观看者900的数目在显示880上显示给观看者900。
接下来,将参照图21和图22描述根据本实施例的信息处理方法的示例。图21和图22是根据本实施例的信息处理方法的示例的流程图。
首先,将参照图21描述设置时的信息处理方法。如图21所示,根据本实施例的信息处理方法的示例包括从步骤S101至步骤S102的多个步骤。在下文中,将描述包括在根据本实施例的信息处理方法的示例中的每个步骤的细节。
基于来自分发者800和观看者900的、指示触觉控制信号是可以被接收还是不能被接收的设置信息,信息处理系统10设置每个分发者800或观看者900的触觉呈现装置100中的触觉控制信号的接收的有效性/无效性(步骤S101)。然后,信息处理系统10在分发者800的监视器204或观看者900的用户终端700上显示设置信息(步骤S102)。注意,在观看者900在浏览器上执行观看的情况下,优选地,该设置被存储在触觉服务器300中,作为与观看者900的标识信息相关联的设置值。
接下来,将参照图22描述在呈现触觉刺激时的信息处理方法。如图22所示,根据本实施例的信息处理方法的示例包括从步骤S201至步骤S205的多个步骤。在下文中,将描述包括在根据本实施例的信息处理方法的示例中的每个步骤的细节。
信息处理系统10的触觉服务器300和分发数据编辑服务器400接收从观看者900输入的图章850的信息(例如,图章850的类型、执行输入的观看者900、以及向其执行发送的分发者800的信息)(步骤S201)。注意,在本实施例中,在观看者900在浏览器等上执行观看的情况下,信息处理系统10的触觉服务器300和分发数据编辑服务器400可以同时接收视频/音频/振动数据本身。然后,信息处理系统10的分发数据编辑服务器400根据接收到的图章850的信息,将视频效果叠加显示在相应分发者800的分发画面上或者再现音频效果(步骤S202)。
然后,信息处理系统10的触觉服务器300确定对应于图章850的触觉控制信号是否可以由与图章850的信息对应的分发者800或观看者900的触觉呈现装置100接收接收(步骤S203)。触觉服务器300在确定可以接收的情况下(步骤S203:是)进行到步骤S204,并且在确定不能接收的情况下(步骤S203:否)结束处理。
信息处理系统10的触觉服务器300读取与图章850相关联的触觉控制信号的每个参数(步骤S204)。然后,触觉服务器300根据每个读取的参数从触觉呈现装置100输出触觉控制信号(步骤S205)。
如上所述,在本实施例中,在观看者900同时享受来自多个分发者800的分发的情况下,可以容易地选择具有触觉刺激效果的图章850将被发送至的分发者800。此外,在本实施例中,观看者900可以感觉到呈现给一个或多个分发者800的触觉刺激,并且观看者900可以相互发送具有触觉刺激效果的图章850。换言之,根据本实施例,观看者900可以获取具有高附加价值的实时交互体验。
<<5.第三实施例>>
接下来,将参照图23描述关于由观看者900执行的设置触觉控制信号的每个参数以及设置具有触觉刺激效果的图章850被发送至的分发者800的方法的本公开的第三实施例。图23是用于描述根据本公开的第三实施例的输入示例的说明图。
例如,在本实施例中,如图23所示,观看者900可以通过对用户终端700的显示单元702上显示的图标890执行拖动的拖动操作(具体地,在从手指的触摸操作开始位置向屏幕的相对较低部分的拖动操作之后释放手指的操作)来设置要呈现给分发者800的触觉控制信号的强度或类型。在本实施例中,根据观看者900拖动图标890的距离、时间或速度来确定要呈现给分发者800的触觉控制信号的强度或类型。此外,此时,可以在观看者900从图标890释放手指的定时将触觉刺激呈现给分发者800。此外,此时,触觉刺激可以被呈现给与对应于矢量910的位置相关联的分发者800,该矢量910与对应于拖动操作的轨迹的矢量相反。
接下来,将参照图24描述根据本实施例的信息处理方法。图24是根据本实施例的信息处理方法的示例的流程图。如图24所示,根据本实施例的信息处理方法的示例包括从步骤S301至步骤S310的多个步骤。在下文中,将描述包括在根据本实施例的信息处理方法的示例中的每个步骤的细节。
信息处理系统10的用户终端700检测观看者900在用户终端700的屏幕上的输入开始位置(开始触摸操作的部分)(步骤S301)。然后,触觉服务器300测量当前输入位置与输入开始位置之间的距离(步骤S302)。
然后,信息处理系统10的用户终端700确定在步骤S302中测量的距离是否等于或大于预定距离(步骤S303)。用户终端700在确定测量距离等于或大于预定距离的情况下(步骤S303:是)进行到步骤S304,并且在确定测量距离不等于或不大于预定距离的情况下(步骤S303:否)结束处理。
然后,信息处理系统10的用户终端700转换到拖动操作输入模式(步骤S304)。用户终端700检测输入结束位置(手指从屏幕释放的位置),并且测量输入结束位置与输入开始位置之间的距离(步骤S305)。
然后,信息处理系统10的用户终端700确定在步骤S305中测量的距离是否等于或大于预定距离(步骤S306)。用户终端700在确定测量距离等于或大于预定距离的情况下(步骤S306:是)进行到步骤S307,并且在确定测量距离不等于或不大于预定距离的情况下(步骤S303:否)结束处理。
然后,信息处理系统10的用户终端700确定从输入结束位置朝向输入开始位置的矢量上的分发者800的分发画面(步骤S307)。然后,用户终端700将要作为目标的分发者800的画面信息、图章850的信息、操作距离信息等发送至触觉服务器300等(步骤S308)。然后,触觉服务器300根据操作距离信息确定触觉控制信号的强度(步骤S309)。然后,分发数据编辑服务器400将视频效果显示在要作为目标的分发者800的分发画面上,并且触觉服务器300从触觉呈现装置100输出触觉控制信号(步骤S310)。
此外,在本实施例中可以使用不同的设置方法。将参照图25描述不同的设置方法。图25是用于描述根据本实施例的输入示例的说明图。
如图25所示,观看者900可以对显示在用户终端700的显示单元702上的图标890执行滑动操作(在从手指的触摸开始位置朝向屏幕的上部(或分发者的分发画面)的相对快速的滑动操作之后释放手指)。同样在这种情况下,根据滑动操作的距离或速度来确定呈现给分发者800的触觉控制信号的强度。
接下来,将参照图26描述根据本实施例的信息处理方法。图26是根据本实施例的信息处理方法的示例的流程图。如图26所示,根据本实施例的信息处理方法的示例包括从步骤S401至步骤S410的多个步骤。在下文中,将描述包括在根据本实施例的信息处理方法的示例中的每个步骤的细节。
当接收到预定触发(例如,特定图章850的输入、分发者800的模式切换、或观看者900的模式切换)时,信息处理系统10的用户终端700切换到拖动输入模式(步骤S401)。然后,用户终端700检测观看者900触摸屏幕的操作并且开始输入(步骤S402)。
信息处理系统10(具体地,用户终端700或分发数据编辑服务器400)根据观看者900在屏幕上触摸期间的移动距离来确定要绘制的轨迹的长度和要用于绘制的图章的数目,并且执行绘制(步骤S403)。
然后,信息处理系统10的用户终端700确定非操作时间是否已经过去了预定时间或更长(步骤S404)。用户终端700在确定非操作时间等于或长于预定时间的情况下(步骤S404:是)进行到步骤S405,并且在确定非操作时间不等于或不长于预定时间的情况下(步骤S404:否)返回到步骤S402中的处理。
信息处理系统10的用户终端700测量所绘制的轨迹的总距离(或将使用的图章的数目)(步骤S405)。
然后,信息处理系统10的用户终端700确定在步骤S405中测量的距离是否等于或大于预定距离(或预定数目)(步骤S406)。用户终端700在确定测量距离等于或大于预定距离的情况下(步骤S406:是)进行到步骤S407,并且在确定测量距离不等于或不大于预定距离的情况下(步骤S406:否)进行到步骤S408中的处理。
信息处理系统10的用户终端700或触觉服务器300基于步骤S406中的确定来切换要呈现的触觉控制信号的类型(步骤S407)。触觉服务器300确定要呈现的触觉控制信号并且读取触觉控制信号的每个参数(步骤S408)。触觉服务器300根据轨迹的距离、所使用的图章850的数目等确定触觉控制信号的强度(步骤S409)。然后,触觉服务器300从触觉呈现装置100输出触觉控制信号(步骤S410)。
此外,在本实施例中,观看者900可以通过轻击用户终端700的面对显示单元702的背表面来执行设置。具体地,观看者900通过在显示单元702上的轻击操作来选择图章850,并且通过在背表面上的轻击操作来确定呈现触觉刺激的定时。注意,背表面上的轻击操作可以由用户终端700中内置的加速度传感器728来检测。此外,在本实施例中,呈现触觉刺激的定时可以在多个观看者900的轻击操作被同步的定时处确定。
此外,在本实施例中,不仅通过在显示单元702上的操作而且还通过利用例如内置在用户终端700中的各种传感器和其他装置来编辑和设置触觉刺激。在本实施例中,例如,观看者900可以通过对用户终端700执行诸如施加振动的触摸操作或诸如改变保持角度的运动操作来编辑触觉刺激的波形、强度改变等。具体地,在本实施例中,通过内置在用户终端700中的陀螺仪传感器726和加速度传感器728来检测运动操作,并且可以基于检测到的感测数据来确定触觉刺激的波形等。
此外,在本实施例中,可以识别由观看者900绘制的形状或字符(轨迹),可以从识别结果中提取词,并且可以选择与所提取的词相关联的图章850或触觉控制信号。此时,不仅可以执行对用户终端700的触摸面板(未示出)的操作,而且可以执行在空中绘制字符或形状。在这种情况下,例如,可以由附接至观看者900的手臂的IMU传感器(未示出)来识别字符或形状。
此外,如图27所示,还可以通过声音输入来编辑触觉控制信号。图27是用于描述根据本实施例的输入示例的说明图。例如,观看者900对用户终端700发出具有预定节奏的声音,并且使内置在用户终端700中的麦克风724检测该声音。然后,触觉服务器300可以使用由麦克风724检测到的感测数据,并且根据声音的节奏设置触觉控制信号的频率。此外,在本实施例中,例如,如图27所示,可以在观看者900正触摸麦克风图标892时执行切换到声音输入模式(当释放手指时声音输入模式结束),或者可以在每次触摸麦克风图标892时切换输入的开始和结束。
注意,例如,在期望根据音乐的节奏将与多个图章850相关联的触觉刺激连续地呈现给分发者800的情况下,可以说声音输入是有效的手段,因为呈现的定时可以由声音而不是轻击操作来确定。此外,当向观看者900输出预定的音乐或节奏并且音乐的节奏或定时与观看者900的发出的声音匹配时,触觉控制信号的强度可以增加或者其他参数可能以改变。
此外,在本实施例中,在观看者900发出拟声词(例如,卡住、无聊或颤抖)、图章850的名称(例如,爱心或花束)等的情况下,可以从所发出的声音中提取词,并且可以选择与所提取的词相关联的图章850或触觉刺激。此时,根据发出的声音的声压(音量),触觉控制信号的强度可以增加,或者可以改变其他参数。
如上所述,在本公开的实施例中,观看者900可以通过各种输入方法设置触觉刺激的呈现定时、向其执行呈现的分发者800以及触觉控制信号的每个参数。由于观看者900可以容易地以这种方式执行设置,所以根据本实施例,观看者900可以获取具有高附加价值的实时交互体验。
<<6.第四实施例>>
此外,在本公开中,在多个观看者900在预定时间内选择预定类型的图章850的情况下,可以根据图章850的组合将图章850改变为新的图章850并且改变为新的触觉刺激。将参照图28描述本公开的这种第四实施例。图28是用于描述根据本实施例的输入示例的说明图。
例如,如图28所示,在观看者1选择面包的图章850a的情况下,时钟开始,并且用户终端700显示剩余时间。然后,在预定时间内观看者2选择肉的图章850b并且观看者3选择生菜的图章850c的情况下,改变为其中组合了图章850a、850b和850c的汉堡包的图章850d。与图章850d相关联的触觉刺激不同于与其他图章850a、850b和850c相关联的触觉刺激。即,在本实施例中,在多个观看者900在预定时间内选择预定类型的图章850并且满足预定条件的情况下,图章850的视频效果改变,或者呈现给分发者800的触觉刺激改变。
接下来,将参照图29描述根据本实施例的信息处理方法的示例。图29是根据本实施例的信息处理方法的示例的流程图。如图29所示,根据本实施例的信息处理方法的示例包括从步骤S501至步骤S507的多个步骤。在下文中,将描述包括在根据本实施例的信息处理方法的示例中的每个步骤的细节。
信息处理系统10的分发数据编辑服务器400接收从用户终端700发送的图章850的信息(图章850的标识信息)(步骤S501)。
然后,信息处理系统10的分发数据编辑服务器400确定所选择的图章850是否对应于合成(步骤S502)。分发数据编辑服务器400在确定图章850对应于合成的情况下(步骤S502:是)进行到步骤S503,并且在确定图章850不对应于合成的情况下(步骤S502:否)结束处理。
然后,分发数据编辑服务器400读取与所选择的图章850对应的待机时间并且执行其分发(步骤S503)。此时,接收分发的用户终端700通过基于待机时间显示其文本、时间条等来向每个观看者900呈现剩余时间。
然后,分发数据编辑服务器400确定在预定时间内从另外的观看者900输入的图章850是否满足预定合成条件(步骤S504)。分发数据编辑服务器400在确定满足合成条件的情况下(步骤S504:是)进行到步骤S505,并且在确定不满足合成条件的情况下(步骤S504:否)结束处理。
信息处理系统10的分发数据编辑服务器400在满足合成条件的情况下分发要显示的特殊图章850的标识信息和视频效果,并且使用户终端700显示特殊图章850(步骤S505)。此时,可以删除到那时为止输入并显示在用户终端700上的图章850的图像。此外,触觉服务器300读取与在步骤S505中选择的特殊图章850相关联的触觉控制信号(步骤S506)。接着,触觉服务器300从触觉呈现装置100输出触觉控制信号(与对应于图章850的触觉控制信号不同的信号)(步骤S507)。注意,在本实施例中,在上述步骤S506中,触觉服务器300可以接收与在步骤S505中选择的特殊图章850相关联的标识信息,并且基于所接收的识别信息读取触觉控制信号。
如上所述,在本公开的实施例中,可以与另外的观看者900协作地将新的图章850和新的触觉刺激发送至分发者800。由于可以执行这种发送,根据本实施例,观看者900可以获取具有高附加价值的实时交互体验。
<<7.第五实施例>>
顺便提及,在大量的图章850被同时发送至一个分发者800的情况下,穿戴在分发者800上的触觉呈现装置100的触觉刺激单元106可能由于操作而生成热并且导致操作异常。因此,在下文中,作为本公开的第五实施例,将描述下述实施例,该实施例中,对同时再现的触觉刺激设置限制,并且可以避免对触觉呈现装置100的触觉刺激单元106的负担。
例如,在本实施例中,信息处理系统10的触觉服务器300将同时再现的触觉刺激(图章850)的数目、触觉控制信号的强度、呈现时间、触觉刺激单元106的热量等与根据触觉刺激单元106的特性预先确定的阈值进行比较。然后,在确定超过阈值的情况下,触觉服务器300限制同时再现的触觉刺激。此外,在设置了限制的情况下,触觉服务器300可以暂时停止触觉刺激的呈现,或者堆叠每个图章850的触觉刺激并且当参数降到阈值以下时恢复触觉刺激的呈现。注意,在本实施例中,假设触觉刺激单元106的温度从触觉呈现装置100发送至触觉服务器300。
此外,在暂时停止时,优选地向观看者900通知主停止。例如,将参照图30和图31描述通知的显示示例。图30和图31是用于描述根据本实施例的显示示例的说明图。
例如,如图27所示,用户终端700可以仅停止触觉刺激的呈现,并且可以保持显示图章852等。此外,此时,用户终端700可以显示指示暂时停止的图标870b并且执行指示不存在可以由观看者900选择的图章的显示850。
此外,在不仅触觉刺激被停止而且视频显示也被停止的情况下,用户终端700可以以图31所示的方式执行显示。此外,此时,用户终端700可以显示指示状态是停止状态的图标872,或者可以显示由附图标记874指示的堆叠中的图章850或触觉刺激的数目。
接下来,将参照图32描述根据本实施例的信息处理方法。图32是根据本实施例的信息处理方法的示例的流程图。如图32所示,根据本实施例的信息处理方法的示例包括从步骤S601至步骤S607的多个步骤。在下文中,将描述包括在根据本实施例的信息处理方法的示例中的每个步骤的细节。
信息处理系统10的触觉服务器300和分发数据编辑服务器400接收从用户终端700发送的图章850的信息(例如ID)(步骤S601)。
然后,信息处理系统10的触觉服务器300确定正在被再现的图章850的数目是否超过阈值(步骤S602)。触觉服务器300在确定数目超过阈值的情况下(步骤S602:是)进行到步骤S606,并且在确定数目没有超过阈值的情况下(步骤S602:否)进行到步骤S603。
信息处理系统10的分发数据编辑服务器400将所接收的图章850分发到另外的观看者900和分发者800(步骤S603)。信息处理系统10的触觉服务器300读取对应于图章850的触觉控制信号的参数,并且执行其从触觉呈现装置100的输出(步骤S604)。信息处理系统10的分发数据编辑服务器400读取并且显示对应于图章850的视频效果(步骤S605)。
信息处理系统10的触觉服务器300将指示触觉呈现装置100不能呈现触觉刺激的信息包括在要分发的信息中(步骤S606)。用户终端700显示指示触觉呈现装置100不能呈现触觉刺激的图标或文本(步骤S607)。
如上所述,根据本实施例,可以限制同时再现的触觉刺激,并且避免对触觉呈现装置100的触觉刺激单元106的负担。
<<8.第六实施例>>
顺便提及,在本公开中,例如,在分发者800未穿戴触觉呈现装置100的情况下,在分发者800不期望接收触觉刺激的情况下,或者在触觉呈现装置100的电池容量低的情况下,触觉刺激的振动可以由诸如视频的另外的模态代替触觉刺激来呈现。因此,将参照图33至图37描述这种情况下的呈现方法作为本公开的第五实施例。图33至图37是用于描述根据本实施例的显示示例的说明图。
在本实施例中,例如,如图33所示,可以使用使分发的视频950或视频950的一部分根据触觉控制信号的频率而左右往复的视频效果。具体地,例如,当触觉控制信号的频率较高时,视频950往复的周期被缩短。此外,在本实施例中,可以根据超过阈值的触觉控制信号的频率来确定视频950的要往复的区域。例如,如图33所示,当触觉控制信号的频率较低时,使更接近视频950的下部的视频往复。
此外,如图34所示,在触觉控制信号的多个频率超过阈值的情况下(例如,在相对低频率区域和高频率区域的两个频率区域超过阈值的情况下),使所分发的视频950的下部和上部往复。
此外,在本实施例中,当视频950左右往复时,其折返可以被切换为连续或不连续,或者其程度可以被切换。例如,如图35所示,在振动频率分量相对低的情况下,使视频变形的折返连续(区域960b),而在振动频率分量相对高的情况下,使视频变形的折返不连续(区域960a)。以这种方式,在视频950中,在较低频率处施加具有较柔和表达的视频效果。注意,在本实施例中,不仅视频950左右往复的频率而且还有间隔、波形等都可以根据触觉控制信号的频率而改变。
更具体地,将参照图36来描述图35的示例,图36是示出在视频变形的折返时每个单位时间的视频位置的图。如图36所示,在图35的示例中,视频位置与单位时间的经过成比例地改变,并且当视频位置到达终点时,视频位置开始在相反方向上改变。
在图36的左侧(区域960a)示出的频率相对高的情况下,根据下面的表达式(1)和表达式(2)来确定视频位置。首先,根据经过的时间t和表达式(1)确定视频位置,并且当到达终点时,根据经过的时间t和表达式(2)确定视频位置x。注意,表达式(1)和(2)中的α是任意系数。
在图36的右侧(区域960b)示出的频率相对低的情况下,根据经过的时间t和表达式(3)来确定视频位置x。注意,表达式(3)中的α和β是任意系数。
注意,在本实施例中,可以基于触觉控制信号的频率分量和强度、视频内容的类型、视频效果的类型以及与视频内容或视频效果相关联的元数据来执行视频变形的折返处视频位置的确定。
此外,在本实施例中,不仅可以执行整个视频950向右和向左的往复,而且可以执行视频950中仅预定区域970向右和向左的往复。例如,在图37中,可以使显示有分发者800的区域970左右往复。替选地,在本实施例中,可以仅使叠加在分发者800的图像上的图章850的图像左右往复。
此外,在本实施例中,在存在与视频内容相关联的元数据的情况下,可以基于元数据来确定视频变形的类型。例如,在诸如“下落”的元数据被分配给具有对象从上方下落的视频效果的图章850的情况下,视频950可以上下往复而不是左右往复。
接下来,将参照图38描述根据本实施例的信息处理方法。图38是根据本实施例的信息处理方法的示例的流程图。如图38所示,根据本实施例的信息处理方法的示例包括从步骤S701至步骤S706的多个步骤。在下文中,将描述包括在根据本实施例的信息处理方法的示例中的每个步骤的细节。
信息处理系统10的用户终端700将图章850的信息发送至触觉服务器300(步骤S701)。触觉服务器300读取对应于图章850的触觉控制信号(步骤S702)。
然后,信息处理系统10的触觉服务器300确定分发者800或观看者900是否具有触觉呈现装置100(步骤S703)。触觉服务器300在确定包括触觉呈现装置100的情况下(步骤S703:是)进行到步骤S704,并且在确定不包括触觉呈现装置100的情况下(步骤S703:否)进行到步骤S705。
信息处理系统10的触觉服务器300从触觉呈现装置100输出对应于图章850的触觉控制信号(步骤S704)。
信息处理系统10的触觉服务器300分析包括在触觉控制信号中的频率分量和强度(步骤S705)。信息处理系统10的分发数据编辑服务器400基于步骤S705中的分析结果使视频950变形(步骤S706)。
此外,在本实施例中,除了向右和向左摇动视频950之外,可以通过声像定位技术对要分发到观看者900或分发者800的声音数据执行上下摇动声像的处理。
此外,在本实施例中,在分发者800未穿戴触觉呈现装置100的情况下,可以由鼓风型装置输出风(例如暖风、冷风等),或者可以改变穿戴在身体上的温度呈现装置(配备有珀尔帖元件等)的温度。另外,在本实施例中,可以通过排放香味的排放器来呈现香味。
如上所述,例如,甚至在分发者800未穿戴触觉呈现装置100的情况下,也可以由本实施例中的另外的模态呈现触觉刺激的振动。因此,根据本实施例,观看者900可以获取具有高附加价值的实时交互体验。
<<9.第七实施例>>
接下来,将参照图39至图41描述本公开的第七实施例。图39至图41是用于描述根据本实施例的显示示例的说明图。
在本实施例中,例如,在由分发者800穿戴的触觉呈现装置100包括多个触觉刺激单元106的情况下,每个触觉刺激单元106可以由观看者900专用。也就是说,除了执行专用的观看者900之外的观看者900不能通过使用相应的触觉刺激单元106来呈现触觉刺激。例如,为了占用触觉刺激单元106,假定观看者900能够支付预定量的金额、共同购买或订阅。此外,在本实施例中,可以停止位于由高价图章850指定的触觉刺激单元106周围的触觉刺激单元106的呈现。此外,在观看者900被分成若干组(例如,按区域划分或按等级划分)的情况下,触觉刺激单元106可以被分配给每个组。
例如,在图39中,左侧是占用触觉刺激单元106的一部分的观看者900的用户终端700的显示示例,并且右侧是不占用触觉刺激单元106的一部分的观看者900的用户终端700的显示示例。在这种情况下,不占用触觉刺激单元106的一部分的观看者900的用户终端700显示下述内容:不能选择与被占用的触觉刺激单元106对应的图章850。
此外,例如,在图40中,左侧是占用触觉刺激单元106的一部分的观看者900的用户终端700的显示示例,并且右侧是不占用触觉刺激单元106的一部分的观看者900的用户终端700的显示示例。在这种情况下,不占用触觉刺激单元106的一部分的观看者900的用户终端700显示下述内容:不能选择被占用的触觉刺激单元106。
此外,例如,在图41中,左侧是占用所有触觉刺激单元106的观看者900的用户终端700的显示示例,并且右侧是不占用所有触觉刺激单元106的观看者900的用户终端700的显示示例。在这种情况下,不占用所有触觉刺激单元106的观看者900的用户终端700显示下述内容:由于所有触觉刺激单元106都被占用而不能选择图章850。替选地,在图41的显示示例中,左侧可以是支付高金额或处于高等级(例如高级课程、黄金等级等)的观看者900的用户终端700的显示示例,而右侧可以是当观看者900输入触觉控制信号时另外的观看者900的用户终端700的显示示例。在这种情况下,在与例如支付高金额的观看者900输入的触觉控制信号相关的触觉刺激的呈现结束之后,其他观看者900可以输入触觉控制信号。替选地,在本实施例中,在支付高金额或处于高等级的观看者900在支付低金额或处于低等级(例如基本课程、青铜等级等)的观看者900输入触觉控制信号之后立即输入触觉控制信号的情况下,可以立即取消由支付低金额或处于低等级的观看者900输入的触觉控制信号的呈现。
此外,在本实施例中,可以根据正被分发的内容的类别来切换能够呈现触觉刺激的触觉刺激单元106。例如,在化妆分发或游戏解说分发的情况下,与用于化妆或游戏的手或手臂对应的触觉刺激单元106被设置为不呈现触觉刺激。此外,在与跳蚤市场(或直播购物)相关的分发的情况下,由于为了试穿衣服而移除背心式的触觉呈现装置100,所以对应于躯干的触觉刺激单元106被设置为不呈现触觉刺激。在这种情况下,在触觉呈现装置100被穿戴的情况下,可以顺序地呈现堆叠的触觉刺激。
此外,在本实施例中,在对战型分发等中由分发者800和观看者900穿戴的触觉呈现装置100的类型不同(例如,可再现频带不同或者安装的致动器的数目不同)的情况下,可以通过仅利用共同的部分(具有共同的可再现频率区域、可以输出的振动强度的最小值、以及共同的致动器部分)的触觉刺激单元106来呈现触觉刺激。
具体地,为了将针对较大数目的安装的触觉刺激单元106优化的触觉控制信号调整为针对较小数目的安装的触觉刺激单元106的触觉控制信号,可以合并施加到每个触觉刺激单元106的控制信号并且将其从特定触觉刺激单元106输出。具体地,规定呈现在肩部和手臂上的触觉刺激被合并,并且从安装在手腕上的一个触觉刺激单元106输出。此外,当合并触觉刺激时,可以为每个身体部分或每个触觉刺激单元106预先设置优先级,以确定混合比。具体地,例如,在将肩部的优先级设置为4并且将手臂的优先级设置为1的情况下(假设较大的数字指示较高的优先级),从与手腕对应的触觉刺激单元106输出的触觉控制信号的强度是施加到肩部的触觉控制信号的强度×0.8+施加到手臂的触觉控制信号的强度×0.2。
此外,在本实施例中,可以为每个触觉刺激单元106预先设置含义(例如正系统/负系统),并且可以通过与和图章850相关联的元数据进行对照而将具有对应于元数据的含义的触觉刺激单元106确定为呈现触觉刺激的触觉刺激单元106。
接下来,将参照图42描述根据本实施例的信息处理方法。图42是根据本实施例的信息处理方法的示例的流程图。如图42所示,根据本实施例的信息处理方法的示例包括从步骤S801至步骤S806的多个步骤。在下文中,将描述包括在根据本实施例的信息处理方法的示例中的每个步骤的细节。
信息处理系统10的触觉服务器300检测分发的类别(步骤S801)。触觉服务器300读取不能针对检测到的类别执行触觉呈现的触觉刺激单元106的信息(步骤S802)。然后,触觉服务器300读取与图章850相关联的触觉刺激单元106的信息(步骤S803)。
然后,信息处理系统10的触觉服务器300确定是否包括不能呈现触觉刺激的触觉刺激单元106(步骤S804)。触觉服务器300在确定包括不能呈现触觉刺激的触觉刺激单元106的情况下(步骤S804:是)进行到步骤S805,并且在确定不包括不能呈现触觉刺激的触觉刺激单元106的情况下(步骤S804:否)结束处理。
信息处理系统10的触觉服务器300将图章850设置为不可选择状态,并且分发该图章变得不可选择(步骤S805)。信息处理系统10的用户终端700执行改变为指示不能选择图章850的显示(步骤S806)。
如上所述,在本公开的实施例中,观看者900可以占用触觉刺激单元106,呈现触觉刺激的触觉刺激单元106可以根据分发的内容而改变,或者触觉刺激可以根据触觉呈现装置100的类型而改变。以这种方式,根据本实施例,观看者900可以获取具有高附加价值的实时交互体验。
<<10.第八实施例>
在本公开的第八实施例中,通过由观看者900以相同的定时或节奏同时输入图章850,可以执行切换到不同于与图章850相关联的触觉刺激的触觉刺激,并且可以执行其呈现。
此外,在本实施例中,可以设置其中可以选择图章850的时间范围(例如从何时到何时、或持续多少分钟)、以及可以在该时间内发送的图章的数目。在本实施例中,例如,每个观看者900可以输入图章850的分钟数可以通过竞价来确定。
<<11.第九实施例>
此外,在本实施例中,在观看者900的数目相对较小的分发或所发送的图章850的数目不活跃(每单位时间的发送图章850的数目小于阈值)的分发的情况下,聊天文本等可以用作触发,并且对应于聊天文本的触觉刺激可以被呈现给分发者800。以该方式,可以增加分发者800进行分发的积极性。例如,当观看者900张贴包括由分发者800预先设置的关键字或图画文字的评论时,可以检测该评论并且可以呈现触觉刺激。此外,根据评论中匹配的关键字的数目或匹配的图画文字的数目,可以切换视频效果的类型,或者可以增加所呈现的触觉刺激的强度。在这种情况下,可以在开始分发之前设置关键字,或者可以在分发期间适当地设置关键字(例如,在提问的场景中每次设置正确的关键字)。
此外,在本实施例中,可以以新的观看者900进入分发者800的分发室作为触发来呈现触觉刺激。此外,在本实施例中,可以通过利用多个观看者900同时(在某个时间内)张贴相同评论、张贴包括相同图画文字的评论、或张贴相同图章850(然而,不对应于触觉刺激)的定时作为触发来呈现触觉刺激。
<<12.总结>>
如上所述,根据本公开的每个实施例,观看者900可以获得具有高附加价值的实时交互体验。
注意,本公开的实施例不仅可以应用于上述实况分发等,而且可以应用于例如在社交网络服务(SNS)上交换的图章850等。在这种情况下,例如,用户终端700而不是触觉呈现装置100振动,由此触觉刺激可以被给予图章850被发送至的一方。
<<13.本公开的信息处理系统10的第一修改示例>>
此外,将参照图43至图50描述根据本公开的实施例的信息处理系统10的修改示例。图43至图50是示出根据本公开的实施例的第一修改示例的信息处理系统10的示意配置示例的系统图。
首先,在图43所示的信息处理系统10中,触觉服务器300a还具有上述分发数据编辑服务器400和实况分发服务器500的功能。在这种情况下,触觉的服务器300a的管理可以由一个业务运营商执行。
此外,在图44所示的信息处理系统10中,可以包括触觉服务器600作为执行触觉服务器300的存储单元318的功能的一部分的服务器。在这种情况下,触觉服务器600将先前生成的触觉数据库(例如,振动波形图案)与每个图章850的标识信息(ID)相关联地存储。触觉服务器600例如可以将诸如触觉呈现装置100的触觉刺激单元106的数目、其位置、频率特性、最大输入电压等的信息存储为触觉呈现装置100的配置文件信息。
此外,在图45所示的信息处理系统10中,触觉服务器300还具有上述分发数据编辑服务器400的功能。在这种情况下,管理触觉刺激的呈现的业务运营商和管理分发的业务运营商可以是不同的业务运营商。
此外,与图45的示例不同,在图46所示的信息处理系统10中,存储在触觉服务器600中的信息经由实况分发服务器500被提供给触觉服务器300。
此外,在图47所示的信息处理系统10中,与图45的示例不同,存储在触觉服务器600中的信息经由实况分发服务器500和分发数据编辑服务器400被提供给触觉服务器300。
此外,与图43所示的示例不同,在图48所示的信息处理系统10中,可以包括触觉服务器600作为具有触觉服务器300的存储单元318的功能的一部分的服务器。
此外,在图49所示的信息处理系统10中,触觉服务器600可以与实况分发服务器500协作地执行向用户终端700的分发。
此外,在图50所示的信息处理系统10中,实况分发服务器500从用户终端700获取图章850的信息,并且分发视频等。此外,触觉服务器300从实况分发服务器500获取每个图章850的标识信息(ID)。此外,触觉服务器300参考标识信息基于触觉服务器600中的信息来生成与每个图章850相关联的触觉控制信号。注意,在图50中,触觉数据是与图章850对应的触觉控制信号(波形数据)的标识信息或触觉控制信号本身。
<<14.本公开的信息处理系统10的第二修改示例>>
例如,根据本公开的实施例的信息处理系统10可以在连接到诸如云计算(云)的网络(或装置之间的通信)的前提下应用于包括多个装置的系统。因此,将参照图51至图54描述根据本实施例的信息处理系统10中的每个服务器的网络上的位置(云侧或本地侧)的变化。图51至图54是示出根据本公开的实施例的第二修改示例的信息处理系统10的示意配置示例的系统图。注意,在这些图中,本地侧控制装置350对应于上述本公开的实施例中的触觉服务器300,并且实况分发服务器500对应于上述本公开的实施例中的实况分发服务器500和分发数据编辑服务器400。此外,在这些附图中,触觉数据是与图章850对应的触觉控制信号(波形数据)的标识信息或触觉控制信号本身。
首先,在图51所示的信息处理系统10中,本地侧控制装置350安装在分发者800侧。另一方面,实况分发服务器500布置在云侧。此外,本地侧控制装置350包括PC等,并且配备有浏览器和软件以执行本实施例(执行图章850的显示以及向实况分发服务器500的发送和从实况分发服务器500的接收)。此外,本地侧控制装置350配备有控制触觉呈现装置100的软件和数据库。此外,安装在信息处理系统10的分发者侧的每个装置和软件可以由相同的业务运营商提供,或者可以由不同的业务运营商提供。此外,业务运营商可以与管理/操作实况分发服务器500的业务运营商相同或不同。
接下来,与图51所示的信息处理系统10不同,图52所示的信息处理系统10包括布置在云侧的触觉服务器600。本地侧控制装置350包括PC等,并且可以从触觉服务器600获取与图章850的标识信息(图章信息)相关联的触觉控制信号(波形数据)的标识信息等。注意,在图52所示的信息处理系统10中,触觉服务器600可以是安装在分发者800侧的本地装置。
接下来,类似于图52所示的信息处理系统10,图53所示的信息处理系统10包括布置在云侧的触觉服务器600。然而,图53所示的信息处理系统10与图52所示的信息处理系统10的不同之处在于,本地侧控制装置350经由实况分发服务器500从触觉服务器600获取与图章850的标识信息(图章信息)相关联的触觉控制信号(波形数据)的标识信息等。
此外,在图54所示的信息处理系统10中,本地侧控制装置350安装在分发者800侧。另一方面,实况分发服务器500和触觉服务器600布置在云侧。图54所示的信息处理系统10不同于图53所示的信息处理系统10,并且本地侧控制装置350经由触觉服务器600从实况分发服务器500获取与图章850的标识信息(图章信息)相关联的视频、声音信号等。
<<15.输出触觉刺激的方法>>
在本公开的每个上述实施例中,触觉服务器300参考接收到的图章850的标识信息,并基于预先存储的与标识信息相关联的数据来生成/输出对应于图章850的触觉控制信号。因此,将参照图55描述在本公开的实施例中呈现触觉刺激的具体方法。图55是用于描述根据本公开的实施例的呈现触觉刺激的方法的说明图。
在本实施例中,例如,如图55所示,与图章850的标识信息相关联的触觉刺激的波形数据以与呈现触觉刺激的触觉刺激单元106对应的方式被准备并存储在触觉服务器300或触觉服务器600中。然后,触觉服务器300或触觉服务器600将与接收到的图章850的标识信息相关联的多个波形数据发送至驱动放大器/接口200。此外,驱动放大器/接口200可以通过基于所接收的波形数据驱动指定的触觉刺激单元106a至106f来呈现触觉刺激。
注意,在以上描述中,虽然已经描述了以与呈现触觉刺激的触觉刺激单元106对应的方式准备波形数据,但是本实施例不限于此。例如,与图章850的标识信息相关联的触觉刺激的波形数据被准备并且存储在触觉服务器300或触觉服务器600中,而不与呈现触觉刺激的触觉刺激单元106相关联。此外,假设触觉服务器300、触觉服务器600或驱动放大器/接口200从触觉呈现装置100获取触觉呈现装置100的规格的信息(例如,触觉刺激单元106的数目和位置、以及要施加的最大振动强度),或者预先存储该信息。
然后,触觉服务器300或触觉服务器600根据触觉呈现装置100的规格将与接收到的图章850的标识信息相关联的多个波形数据中的每个数据与每个触觉刺激单元106相关联(匹配)。以这种方式,例如,在预先准备的波形数据的数目与触觉刺激单元106的数目不相同的情况下,触觉服务器300或触觉服务器600可以仅发送与触觉呈现装置100的规格相匹配的波形数据。然后,触觉服务器300或触觉服务器600将与每个触觉刺激单元106相关联的波形数据发送至驱动放大器/接口200,并且驱动放大器/接口200可以通过基于接收到的波形数据驱动每个触觉刺激单元106来呈现触觉刺激。
<<16.图章显示的修改示例>>
此外,将参照图56描述根据本公开的实施例的修改示例的显示示例。图56是用于描述根据本公开的实施例的修改示例的显示示例的说明图。在上述本公开的每个实施例中,已经描述了观看者900选择具有触觉刺激效果的图章850。然而,这不是本公开的限制,并且观看者900可以能够选择不具有触觉刺激效果的图章以及具有触觉刺激效果的图章850。
例如,在图56中,示出了观看者900的用户终端700的显示示例,并且在该显示示例中,不具有触觉刺激效果的图章854a和854b与具有触觉刺激效果的图章856一起被显示。在本修改示例中,通过对这样的显示执行操作,观看者900可以选择具有触觉刺激效果的图章850和不具有触觉刺激效果的图章854。
<<17.硬件配置>>
根据上述每个实施例的诸如触觉服务器300的信息处理装置由具有例如图57所示的方式的配置的计算机1000实现。在下文中,将根据本公开的每个实施例的触觉服务器300作为示例描述。图57是示出实现触觉服务器300的功能的计算机的示例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作,并且控制每个单元。例如,CPU 1100在RAM 1200中扩展存储在ROM 1300或HDD 1400中的程序,并且执行与各种程序对应的处理。
ROM 1300存储诸如由CPU 1100在计算机1000的启动期间执行的基本输入输出系统(BIOS)的引导程序、依赖于计算机1000的硬件的程序等。
HDD 1400是非暂态地记录由CPU 1100执行的程序、由程序使用的数据等的计算机可读记录介质。具体地,HDD 1400是记录根据本公开的信息处理程序的记录介质,该程序是程序数据1450的示例。
通信接口1500是用于将计算机1000连接至外部网络1550(诸如因特网)的接口。例如,CPU 1100经由通信接口1500从另外的装置接收数据或者将由CPU 1100生成的数据发送至另外的装置。
输入/输出接口1600是连接输入/输出装置1650和计算机1000的接口。例如,CPU1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。另外,CPU 1100经由输入/输出接口1600将数据发送至诸如显示器或打印机的输出装置。此外,输入/输出接口1600可以用作读取记录在预定记录介质(介质)上的程序等的介质接口。该介质例如是诸如数字多功能盘(DVD)或相变可重写盘(PD)的光记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
例如,在计算机1000用作根据本公开的实施例的触觉服务器300的情况下,计算机1000的CPU 1100执行加载到RAM 1200上的信息处理程序,并且实现生成触觉控制信号的功能等。此外,HDD 1400存储根据本公开的实施例的信息处理程序等。注意,CPU 1100从HDD1400读取程序数据1450并且执行其执行,但是在另外的示例中,可以经由外部网络1550从另外的装置获取这些程序。
此外,根据本实施例的信息处理装置可以在连接至诸如云计算的网络(或装置之间的通信)的前提下应用于包括多个装置的系统。也就是说,上述根据本实施例的信息处理装置也可以实现为例如通过多个装置执行与根据本实施例的信息处理方法相关的处理的信息处理系统。
<<18.补充说明>>
此外,上述每个实施例例如可以包括用于使计算机用作根据本实施例的信息处理装置的程序、以及记录有程序的非暂态有形介质。此外,可以经由诸如因特网的通信线路(包括无线通信)来分发程序。
此外,上述每个实施例的处理中的步骤可以不必按所描述的顺序处理。例如,可以以适当改变的顺序处理步骤。另外,这些步骤可以部分地并行处理或单独处理,而不是按时间顺序进行处理。此外,步骤的处理方法可以不必沿着所描述的方法来处理,并且例如可以由不同的功能块通过不同的方法来处理。
上面已经参照附图详细描述了本公开的优选实施例。然而,本公开的技术范围不限于这些示例。明显的是,在本公开的技术领域中具有普通知识的人员可以在权利要求书中描述的技术构思的范围内构想出各种替选或修改,并且应当理解,这些替选或修改自然属于本公开的技术范围。
此外,本说明书中描述的效果仅是说明性或示例性的,而不是限制性的。也就是说,除了上述效果之外或者代替上述效果,根据本公开的技术可以表现出与本说明书的描述相比对于本领域技术人员明显的不同效果。
注意,本技术还可以具有以下配置。
(1)一种信息处理装置,包括:
第一获取单元,其根据来自第一用户的输入获取控制命令,所述控制命令包括呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;
生成单元,其根据所述控制命令生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及
第一分发单元,其将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置。
(2)根据(1)所述的信息处理装置,还包括:
第二获取单元,其获取所述第二用户中的每一个的图像;以及
第二分发单元,其将所述第二用户中的每一个的图像分发到向所述第一用户和第三用户显示所述图像的显示装置中的每一个。
(3)根据(2)所述的信息处理装置,其中,所述第一用户通过对所述第二用户的图像或与所述第二用户的图像对应的显示执行操作来指定所述第一触觉控制信号被发送至的所述第二用户的触觉呈现装置。
(4)根据(1)所述的信息处理装置,其中,通过在由所述第一用户持有的触摸面板上执行拖动操作以及从所述触摸面板释放手指的操作,所述第一用户将与对应于所述拖动操作的轨迹的矢量的相反方向上的矢量相对应的所述第二用户的触觉呈现装置指定为所述第一触觉控制信号被发送至的所述第二用户的触觉呈现装置。
(5)根据(4)所述的信息处理装置,其中,根据所述拖动操作的移动距离或移动速度来确定所述触觉刺激的强度。
(6)根据(1)所述的信息处理装置,其中,所述第一用户通过执行与所述第二用户对应的发声来指定所述第一触觉控制信号被发送至的所述第二用户的触觉呈现装置。
(7)根据(2)或(3)所述的信息处理装置,其中,所述第一分发单元将所述第一触觉控制信号分发到由所述第三用户持有的装置。
(8)根据(7)所述的信息处理装置,其中,由所述第三用户持有的装置是安装在所述第三用户拥有的电子装置上的振动器,或者是穿戴在所述第三用户的身体上的触觉呈现装置。
(9)根据(8)所述的信息处理装置,其中,所述生成单元根据穿戴在所述第三用户的身体上的触觉呈现装置的功能来调整所述第一触觉控制信号。
(10)根据(7)或(8)所述的信息处理装置,其中,由所述第三用户持有的装置基于所述第三用户的先前设置来接收分发到从所述多个第二用户中选择的所述第二用户的触觉呈现装置的所述第一触觉控制信号。
(11)根据(2)所述的信息处理装置,其中,
所述生成单元通过对提供给所述多个第二用户的触觉呈现装置的所述第一触觉控制信号进行叠加来生成要分发到由所述第三用户持有的装置的第二触觉控制信号,以及
所述第一分发单元将所述第二触觉控制信号分发到由所述第三用户持有的装置。
(12)根据(11)所述的信息处理装置,其中,所述生成单元以与所述第三用户过去向所述第二用户发送的所述第一触觉控制信号或所述第三用户过去对所述第二用户的图像的观看时间对应的比率,对提供给所述多个第二用户的触觉呈现装置的所述第一触觉控制信号进行叠加。
(13)根据(2)所述的信息处理装置,其中,所述第一分发单元将所述第一触觉控制信号分发到由所述第一用户的输入所指定的所述第三用户所持有的装置。
(14)根据(3)所述的信息处理装置,其中,当所述第一用户和所述第三用户的输入定时同步时,所述第一分发单元将所述第一触觉控制信号分发到穿戴在所述第二用户的身体上的触觉呈现装置。
(15)根据(3)所述的信息处理装置,其中,当由所述第一用户输入的信息与由所述第三用户输入的信息匹配时,所述第一分发单元将所述第一触觉控制信号分发到穿戴在所述第二用户的身体上的触觉呈现装置。
(16)根据(1)所述的信息处理装置,还包括:
输入信息获取单元,其从能够与由所述第一用户持有的装置通信的另外的信息处理装置获取与来自所述第一用户的输入对应的信息。
(17)根据(16)所述的信息处理装置,其中,
所述输入信息获取单元从所述另外的信息处理装置获取与所述第一用户的输入对应的命令信息。
(18)根据(1)所述的信息处理装置,还包括:
第三获取单元,其根据来自所述第一用户的输入获取预定图像;以及
第四分发单元,其将所述预定图像分发到向所述第一用户显示所述图像的显示装置。
(19)一种信息处理装置,包括:
第一获取单元,其根据来自第一用户的输入获取标识信息,所述标识信息用于指定呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;
生成单元,其基于所述标识信息和预先存储的数据库生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及
第一分发单元,其将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置。
(20)一种信息处理方法,包括:
根据来自第一用户的输入获取控制命令,所述控制命令包括呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;
根据所述控制命令生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及
将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置,
其中,所述获取、所述生成和所述分发由信息处理装置执行。
(21)一种程序,所述程序用于使计算机实现以下功能:
根据来自第一用户的输入获取控制命令,所述控制命令包括呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;
根据所述控制命令生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及
将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置。
(22)一种信息处理系统,包括:信息处理装置;以及分发装置,其中,
所述信息处理装置包括:
第一获取单元,其根据来自第一用户的输入获取控制命令,所述控制命令包括呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式,
生成单元,其根据所述控制命令生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号,以及
第一分发单元,其将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置,并且
所述分发装置包括:
图像生成单元,其将基于所述输入生成的预定图像叠加在分发到所述第一用户的真实空间的图像上。
(23)根据(22)所述的信息处理系统,其中,所述分发装置包括云上的装置。
附图标记列表
10信息处理系统
100触觉呈现装置
102、302、402、502、708通信单元
104、710控制单元
106、106a、106b、106c、106d、106e、106f触觉刺激单元
108操作单元
200驱动放大器/接口
202、706扬声器
204监视器
206、724麦克风
208、722摄像装置
300、300a触觉服务器
304、404摄像装置图像获取单元
306、410麦克风声音获取单元
308、408、506图章获取单元
310触觉信号生成单元
312分发者状态获取单元
314输出图像获取单元
316、414输出声音获取单元
318、416、518、712存储单元
350本地侧控制装置
400分发数据编辑服务器
406图像生成单元
412声音生成单元
500实况分发服务器
504GUI控制单元
508声音数据获取单元
510图像数据获取单元
512触觉信号获取单元
514观看者信息获取单元
516分发控制单元
600触觉服务器
700用户终端
702显示单元
704操作输入单元
720传感器单元
726陀螺仪传感器
728加速度传感器
800、800a、800b、800c分发者
840波形图像
842、872、874、880、980显示
850、850a、850b、850c、850d、852、854、854a、854b、856图章
860评论
870a、870b、890、892图标
900观看者
910矢量
950显示图像
960a、960b、970区域

Claims (23)

1.一种信息处理装置,包括:
第一获取单元,其根据来自第一用户的输入获取控制命令,所述控制命令包括呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;
生成单元,其根据所述控制命令生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及
第一分发单元,其将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置。
2.根据权利要求1所述的信息处理装置,还包括:
第二获取单元,其获取所述第二用户中的每一个的图像;以及
第二分发单元,其将所述第二用户中的每一个的图像分发到向所述第一用户和第三用户显示所述图像的显示装置中的每一个。
3.根据权利要求2所述的信息处理装置,其中,所述第一用户通过对所述第二用户的图像或与所述第二用户的图像对应的显示执行操作来指定所述第一触觉控制信号被发送至的所述第二用户的触觉呈现装置。
4.根据权利要求1所述的信息处理装置,其中,通过在由所述第一用户持有的触摸面板上执行拖动操作以及从所述触摸面板释放手指的操作,所述第一用户将与对应于所述拖动操作的轨迹的矢量的相反方向上的矢量相对应的所述第二用户的触觉呈现装置指定为所述第一触觉控制信号被发送至的所述第二用户的触觉呈现装置。
5.根据权利要求4所述的信息处理装置,其中,根据所述拖动操作的移动距离或移动速度来确定所述触觉刺激的强度。
6.根据权利要求1所述的信息处理装置,其中,所述第一用户通过执行与所述第二用户对应的发声来指定所述第一触觉控制信号被发送至的所述第二用户的触觉呈现装置。
7.根据权利要求2所述的信息处理装置,其中,所述第一分发单元将所述第一触觉控制信号分发到由所述第三用户持有的装置。
8.根据权利要求7所述的信息处理装置,其中,由所述第三用户持有的装置是安装在所述第三用户拥有的电子装置上的振动器,或者是穿戴在所述第三用户的身体上的触觉呈现装置。
9.根据权利要求8所述的信息处理装置,其中,所述生成单元根据穿戴在所述第三用户的身体上的触觉呈现装置的功能来调整所述第一触觉控制信号。
10.根据权利要求7所述的信息处理装置,其中,由所述第三用户持有的装置基于所述第三用户的先前设置来接收分发到从所述多个第二用户中选择的所述第二用户的触觉呈现装置的所述第一触觉控制信号。
11.根据权利要求2所述的信息处理装置,其中,
所述生成单元通过对提供给所述多个第二用户的触觉呈现装置的所述第一触觉控制信号进行叠加来生成要分发到由所述第三用户持有的装置的第二触觉控制信号,以及
所述第一分发单元将所述第二触觉控制信号分发到由所述第三用户持有的装置。
12.根据权利要求11所述的信息处理装置,其中,所述生成单元以与所述第三用户过去向所述第二用户发送的所述第一触觉控制信号或所述第三用户过去对所述第二用户的图像的观看时间对应的比率,对提供给所述多个第二用户的触觉呈现装置的所述第一触觉控制信号进行叠加。
13.根据权利要求2所述的信息处理装置,其中,所述第一分发单元将所述第一触觉控制信号分发到由所述第一用户的输入所指定的所述第三用户所持有的装置。
14.根据权利要求3所述的信息处理装置,其中,当所述第一用户和所述第三用户的输入定时同步时,所述第一分发单元将所述第一触觉控制信号分发到穿戴在所述第二用户的身体上的触觉呈现装置。
15.根据权利要求3所述的信息处理装置,其中,当由所述第一用户输入的信息与由所述第三用户输入的信息匹配时,所述第一分发单元将所述第一触觉控制信号分发到穿戴在所述第二用户的身体上的触觉呈现装置。
16.根据权利要求1所述的信息处理装置,还包括:
输入信息获取单元,其从能够与由所述第一用户持有的装置通信的另外的信息处理装置获取与来自所述第一用户的输入对应的信息。
17.根据权利要求16所述的信息处理装置,其中,
所述输入信息获取单元从所述另外的信息处理装置获取与所述第一用户的输入对应的命令信息。
18.根据权利要求1所述的信息处理装置,还包括:
第三获取单元,其根据来自所述第一用户的输入获取预定图像;以及
第四分发单元,其将所述预定图像分发到向所述第一用户显示所述图像的显示装置。
19.一种信息处理装置,包括:
第一获取单元,其根据来自第一用户的输入获取标识信息,所述标识信息用于指定呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;
生成单元,其基于所述标识信息和预先存储的数据库生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及
第一分发单元,其将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置。
20.一种信息处理方法,包括:
根据来自第一用户的输入获取控制命令,所述控制命令包括呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;
根据所述控制命令生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及
将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置,
其中,所述获取、所述生成和所述分发由信息处理装置执行。
21.一种程序,所述程序用于使计算机实现以下功能:
根据来自第一用户的输入获取控制命令,所述控制命令包括呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式;
根据所述控制命令生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号;以及
将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置。
22.一种信息处理系统,包括:信息处理装置;以及分发装置,其中,
所述信息处理装置包括:
第一获取单元,其根据来自第一用户的输入获取控制命令,所述控制命令包括呈现单元信息和形式信息,所述呈现单元信息指定由触觉呈现装置呈现触觉刺激的呈现单元,所述形式信息指定所述触觉刺激的形式,
生成单元,其根据所述控制命令生成用于向所述呈现单元呈现所述触觉刺激的第一触觉控制信号,以及
第一分发单元,其将所述第一触觉控制信号分发到穿戴在由所述第一用户的输入指定的多个第二用户中的每一个的身体上的触觉呈现装置,并且
所述分发装置包括:
图像生成单元,其将基于所述输入生成的预定图像叠加在分发到所述第一用户的真实空间的图像上。
23.根据权利要求22所述的信息处理系统,其中,所述分发装置包括云上的装置。
CN202180079619.4A 2020-12-04 2021-11-26 信息处理装置、信息处理方法、程序和信息处理系统 Pending CN116547641A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020202222 2020-12-04
JP2020-202222 2020-12-04
PCT/JP2021/043341 WO2022118746A1 (ja) 2020-12-04 2021-11-26 情報処理装置、情報処理方法、プログラム及び情報処理システム

Publications (1)

Publication Number Publication Date
CN116547641A true CN116547641A (zh) 2023-08-04

Family

ID=81853493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180079619.4A Pending CN116547641A (zh) 2020-12-04 2021-11-26 信息处理装置、信息处理方法、程序和信息处理系统

Country Status (5)

Country Link
US (1) US20240028123A1 (zh)
JP (1) JPWO2022118746A1 (zh)
CN (1) CN116547641A (zh)
DE (1) DE112021006311T5 (zh)
WO (1) WO2022118746A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314963A (ja) * 2001-04-18 2002-10-25 Nippon Telegr & Teleph Corp <Ntt> コミュニケーションシステム
US20160098169A1 (en) * 2012-03-15 2016-04-07 Ronaldo Luiz Lisboa Herdy Apparatus, system, and method for providing social content
JP6558764B2 (ja) * 2014-10-23 2019-08-14 公立大学法人首都大学東京 テレプレゼンスロボット
JP6550951B2 (ja) * 2015-06-15 2019-07-31 株式会社リコー 端末、ビデオ会議システム、及びプログラム
JP6591924B2 (ja) * 2016-03-31 2019-10-16 日本電信電話株式会社 皮膚覚提示システム
KR102427212B1 (ko) 2016-07-07 2022-07-29 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
EP3550438A4 (en) * 2016-12-05 2019-11-20 Sony Corporation INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, PROGRAM, AND INFORMATION PROCESSING SYSTEM
JP7314926B2 (ja) * 2018-02-20 2023-07-26 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP6609361B2 (ja) * 2018-05-07 2019-11-20 アップル インコーポレイテッド 複数参加者ライブ通信ユーザインターフェース

Also Published As

Publication number Publication date
WO2022118746A1 (ja) 2022-06-09
DE112021006311T5 (de) 2023-10-12
US20240028123A1 (en) 2024-01-25
JPWO2022118746A1 (zh) 2022-06-09

Similar Documents

Publication Publication Date Title
WO2020138107A1 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
WO2019234879A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
CN109475774A (zh) 虚拟现实环境中的视图位置处的观众管理
JP2020096269A (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP2018007828A (ja) プログラム及び電子機器
US20190025586A1 (en) Information processing method, information processing program, information processing system, and information processing apparatus
CN107427722A (zh) 晕动病监测和补充声音对抗晕动病的应用
JP7462912B2 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
US20180095532A1 (en) Virtual Reality Head-Mounted Device
US11941177B2 (en) Information processing device and information processing terminal
US20230009322A1 (en) Information processing device, information processing terminal, and program
US20230033892A1 (en) Information processing device and information processing terminal
JP7437480B2 (ja) プログラム、方法、およびコンピュータ
US20240028123A1 (en) Information processing device, information processing method, program, and information processing system
US20240004471A1 (en) Information processing device, information processing method, program, and information processing system
WO2022118747A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
US11983324B2 (en) Information processing device, information processing terminal, and program
CN114025854A (zh) 程序、方法以及终端装置
JP7379427B2 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination