CN114008610A - 信息处理系统、信息处理方法和记录介质 - Google Patents

信息处理系统、信息处理方法和记录介质 Download PDF

Info

Publication number
CN114008610A
CN114008610A CN202080043410.8A CN202080043410A CN114008610A CN 114008610 A CN114008610 A CN 114008610A CN 202080043410 A CN202080043410 A CN 202080043410A CN 114008610 A CN114008610 A CN 114008610A
Authority
CN
China
Prior art keywords
user
information
content element
scene
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080043410.8A
Other languages
English (en)
Inventor
木下隆
青山龙
八木泉
广濑洋二
德久文彬
长坂英夫
土居正一
山田真
小池薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114008610A publication Critical patent/CN114008610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • G06F16/436Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/687Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9035Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技术涉及使得能够提供更好的用户体验的信息处理系统、信息处理方法和记录介质。根据本发明,信息处理系统设置有控制单元,该控制单元可以为每个用户设置关于至少上下文信息的发动条件,其中,上下文信息与内容元素预先相关联,该控制单元可以生成由发动条件和上下文信息的数据集形成的用户场景,并且执行控制,使得当通过实时感测用户获得的传感器数据满足在用户场景中设置的发动条件时,向用户呈现与根据发动条件的上下文信息相关联的内容元素。本技术可以应用于例如提供声音服务的系统。

Description

信息处理系统、信息处理方法和记录介质
技术领域
本技术涉及信息处理系统、信息处理方法和记录介质,并且特别涉及使得能够提供更好的用户体验的信息处理系统、信息处理方法和记录介质。
背景技术
近年来,随着信息装置的普及,提供了利用装置特性的各种服务(例如,参见专利文献1)。
在这种类型的服务中,可以通过使用关于上下文的信息执行处理。作为与上下文有关的技术,专利文献2至5中公开的技术是已知的。
引文列表
专利文献
专利文献1:日本专利第6463529号
专利文献2:日本专利申请特许公开第2015-210818号
专利文献3:WO 2013/136792 A
专利文件4:日本专利申请特许公开第2007-172524号
专利文件5:WO 2016/136104 A
发明内容
本发明要解决的问题
顺便提及,当通过使用关于上下文的信息提供服务时,需要提供更好的用户体验。
本技术是鉴于这种情况而提出的,并且使得可以提供更好的用户体验。
问题的解决方案
本技术的一方面的信息处理系统是一种包括控制单元的信息处理系统,该控制单元执行控制,使得:上下文信息预先与内容元素相关联;对于用户中的每一个,能够至少为所述上下文信息设置发动条件,并且能够生成包括所述上下文信息和所述发动条件的数据集的用户场景;以及当通过实时感测用户获得的传感器数据满足在所述用户场景中设置的发动条件时,向所述用户呈现与取决于所述发动条件的上下文信息相关联的内容元素。
根据本技术的一方面的信息处理方法是一种信息处理方法,其中,信息处理装置执行控制,使得:上下文信息预先与内容元素相关联;对于用户中的每一个,能够至少为所述上下文信息设置发动条件,并且能够生成包括所述上下文信息和所述发动条件的数据集的用户场景;以及当通过实时感测用户获得的传感器数据满足在所述用户场景中设置的发动条件时,向所述用户呈现与取决于所述发动条件的上下文信息相关联的内容元素。
根据本技术的一方面的记录介质是一种能够由计算机读取的记录介质,该记录介质记录用于使计算机充当控制单元的程序,该控制单元执行控制,使得:上下文信息预先与内容元素相关联;对于用户中的每一个,能够至少为所述上下文信息设置发动条件,并且能够生成包括所述上下文信息和所述发动条件的数据集的用户场景;以及当通过实时感测用户获得的传感器数据满足在所述用户场景中设置的发动条件时,向所述用户呈现与取决于所述发动条件的上下文信息相关联的内容元素。
在根据本技术的一方面的信息处理系统、信息处理方法和记录介质中,上下文信息预先与内容元素相关联;对于用户中的每一个,至少为上下文信息设置发动条件,并且生成包括发动条件和上下文信息的数据集的用户场景;以及当通过实时感测用户获得的传感器数据满足在用户场景中设置的发动条件时,向用户呈现与取决于发动条件的上下文信息相关联的内容元素。
附图说明
图1是示出本技术的概要的代表图。
图2是示出应用本技术的信息处理系统的配置的示例的图。
图3是示出图2的数据管理服务器的配置的示例的图。
图4是示出图2的编辑装置的配置的示例的图。
图5是示出图2的再现装置的配置的示例的图。
图6是示出第一实施方式中的信息处理的整体图像的图。
图7是示出第一实施方式中的信息处理的详细流程的流程图。
图8是示出存储在场景DB中的信息的示例的图。
图9是示出存储在用户场景DB中的信息的示例的图。
图10是示出存储在场景DB中的信息的另一示例的图。
图11是示出内容元素的示例的图。
图12是示出内容元素和上下文的组合的示例的图。
图13是示出场景的示例的图。
图14是示出场景选择和新创建画面的示例的图。
图15是示出场景编辑画面的示例的图。
图16是示出地理围栏编辑画面的第一示例的图。
图17是示出地理围栏编辑画面的第二示例的图。
图18是示出第二实施方式中的信息处理的整体图像的图。
图19是示出第三实施方式中的信息处理的整体图像的图。
图20是示出针对内容元素-上下文信息的发动条件的设置的示例的图。
图21是示出场景选择/再现画面的示例的图。
图22是示出发动条件设置画面的示例的图。
图23是示出发动条件详细设置画面的示例的图。
图24是示出内容元素选择画面的示例的图。
图25是示出内容元素编辑画面的示例的图。
图26是示出场景选择画面的示例的图。
图27是示出发动条件设置画面的第一示例的图。
图28是示出发动条件设置画面的第二示例的图。
图29是示出地理围栏编辑画面的示例的图。
图30是示出用户场景的设置的示例的图。
图31是示出第四实施方式中的信息处理的整体图像的图。
图32是示出第四实施方式中的信息处理的整体图像的图。
图33是示出发动条件和感测手段的组合的示例的图。
图34是示出在发动条件交叠的情况下的状态的示例的图。
图35是示出在发动条件交叠的情况下的响应的第一示例的图。
图36是示出在发动条件交叠的情况下的响应的第二示例的图。
图37是示出在发动条件交叠的情况下的响应的第三示例的图。
图38是示出在发动条件交叠的情况下的响应的第四示例的图。
图39是示出在布置有多个角色的情况下信息处理系统的配置的示例的图。
图40是示出存储在角色布置DB中的信息的示例的图。
图41是示出存储在位置相关信息DB中的信息的示例的图。
图42是示出存储在场景DB中的信息的示例的图。
图43是示出多个角色布置的第一示例的图。
图44是示出多个角色布置的第二示例的图。
图45是示出多个角色布置的第三示例的图。
图46是示出第六实施方式中的信息处理的整体图像的图。
图47是示出第七实施方式中的信息处理的整体图像的图。
图48是示出第八实施方式中的信息处理的整体图像的图。
图49是示出第九实施方式中的信息处理的整体图像的图。
图50是示出第十实施方式中的信息处理的整体图像的图。
图51是示出第十一实施方式中的信息处理的整体图像的图。
图52是示出计算机的配置示例的图。
具体实施方式
在下文中,将参照附图描述本技术的实施方式。注意,按如下顺序给出描述。
1.第一实施方式:基本配置
2.第二实施方式:场景DB的生成
3.第三实施方式:不同媒体的生成
4.第四实施方式:用户场景DB的生成
5.第五实施方式:感测手段的配置
6.第六实施方式:在发动条件被设置为多个情境信息的情况下的配置
7.第七实施方式:多个装置彼此结合的配置
8.第八实施方式:与另一服务协作的配置
9.第九实施方式:分享场景的配置
10.第十实施方式:数据的另一示例
11.第十一实施方式:使用用户反馈的配置
12.修改例
13.计算机的配置
(代表图)
图1是示出本技术的概要的代表图。
本技术通过使得居住在不同地方的用户能够使用一个场景来提供更好的用户体验。
在图1中,创建者通过使用诸如个人计算机的编辑装置将作为关于上下文的信息的上下文信息给予作为元素构成内容的内容元素来创建场景。以这种方式创建的场景经由因特网上的服务器分发。
用户各自操作诸如智能电话的再现装置以从分发的场景之中选择期望的场景并且设置作为呈现内容元素时的条件的发动条件,从而分别创建用户场景。即,在图1中,由于用户A和用户B两个用户为相同场景设置他们自己的发动条件,因此用户场景的发动条件对于各个用户是不同的。
因此对于各个用户在不同的地方实现相同场景,并且居住在不同地方的用户可以使用一个场景。
<1.第一实施方式>
<系统的配置示例>
图2示出了应用本技术的信息处理系统的配置的示例。
信息处理系统1包括数据管理服务器10、编辑装置20和再现装置30-1至30-N(N:大于或等于1的整数)。此外,在信息处理系统1中,数据管理服务器10、编辑装置20和再现装置30-1至20-N经由互联网40相互连接。
数据管理服务器10包括用于管理诸如数据库的数据的一个或多个服务器,并且安装在数据中心等中。
编辑装置20包括诸如个人计算机的信息装置,并且由提供服务的业务运营者管理。编辑装置20经由因特网40连接至数据管理服务器10,对数据库中积累的数据执行编辑处理,并且生成场景。
再现装置30-1包括诸如智能电话、移动电话、平板终端、可穿戴装置、便携式音乐播放器、游戏机和个人计算机的信息装置。
再现装置30-1经由因特网40连接至数据管理服务器10,并且为场景设置发动条件以生成用户场景。再现装置30-1基于用户场景来再现取决于发动条件的内容元素。
再现装置30-2至30-N包括与再现装置30-1类似的诸如智能电话的信息装置,并且基于生成的用户场景来再现取决于发动条件的内容元素。
注意,在以下描述中,在没有特别需要区分再现装置30-1至20-N的情况下,再现装置30-1至20-N每个将被简称为再现装置30。
(数据管理服务器的配置示例)
图3示出了图2的数据管理服务器10的配置的示例。
在图3中,数据管理服务器10包括控制单元100、输入单元101、输出单元102、存储单元103和通信单元104。
控制单元100包括诸如中央处理单元(CPU)的处理器。控制单元100是控制每个单元的操作并且执行各种算术处理的主处理装置。
输入单元101包括鼠标、键盘、物理按钮等。输入单元101将取决于用户的操作的操作信号提供给控制单元100。
输出单元102包括显示器、扬声器等。输出单元102根据控制单元100的控制来输出视频、音频等。
存储单元103包括大容量存储装置,例如包括非易失性存储器或易失性存储器的半导体存储器或硬盘驱动器(HDD)。存储单元103根据控制单元100的控制存储各种数据。
通信单元104包括适用于符合预定标准的无线通信或有线通信的通信模块等。通信单元104根据控制单元100的控制与其他装置通信。
此外,控制单元100包括数据管理单元111、数据处理单元112和通信控制单元113。
数据管理单元111管理存储在存储单元103中的各种数据库、内容数据等。
数据处理单元112对各种数据执行数据处理。数据处理包括与内容有关的处理、与机器学习有关的处理等。
通信控制单元113控制通信单元104经由因特网40与编辑装置20或再现装置30交换各种数据。
注意,图3中所示的数据管理服务器10的配置是示例,并且可以移除一些部件或者可以添加诸如专用图像处理单元的其他部件。
(编辑装置的配置示例)
图4示出了图2的编辑装置20的配置的示例。
如图4所示,编辑装置20包括控制单元200、输入单元201、输出单元202、存储单元203和通信单元204。
控制单元200包括诸如CPU的处理器。控制单元200是控制每个单元的操作并且执行各种算术处理的主处理装置。
输入单元201包括诸如鼠标221或键盘222的输入装置。输入单元201将取决于用户的操作的操作信号提供给控制单元200。
输出单元202包括诸如显示器231或扬声器232的输出装置。输出单元202根据控制单元200的控制输出取决于各种数据的信息。
显示器231显示取决于来自控制单元200的视频数据的视频。扬声器232输出取决于来自控制单元200的音频数据的声音(声)。
存储单元203包括诸如非易失性存储器的半导体存储器。存储单元203根据控制单元200的控制存储各种数据。
通信单元204包括适用于符合预定标准的无线通信或有线通信的通信模块等。通信单元204根据控制单元200的控制与其他装置通信。
此外,控制单元200包括编辑处理单元211、呈现控制单元212和通信控制单元213。
编辑处理单元211对各种数据执行编辑处理。编辑处理包括与稍后描述的场景有关的处理。
呈现控制单元212控制输出单元202以控制取决于诸如视频数据和音频数据的数据的诸如视频和音频的信息的呈现。
通信控制单元213控制通信单元204经由因特网40与数据管理服务器10交换各种数据。
注意,图4中所示的编辑装置20的配置是示例,并且可以移除一些部件或者可以添加其他部件。
(再现装置的配置示例)
图5示出了图2的再现装置30的配置的示例。
在图5中,再现装置30包括控制单元300、输入单元301、输出单元302、存储单元303、通信单元304、传感器单元305、摄像装置单元306、输出端子307和电源单元308。
控制单元300包括诸如CPU的处理器。控制单元300是控制每个单元的操作并且执行各种算术处理的主处理装置。
输入单元301包括诸如物理按钮321、触摸面板322或麦克风的输入装置。输入单元301将取决于用户的操作的操作信号提供给控制单元300。
输出单元302包括诸如显示器331和扬声器332的输出装置。输出单元302根据控制单元300的控制输出取决于各种数据的信息。
显示器331显示取决于来自控制单元300的视频数据的视频。扬声器332输出取决于来自控制单元300的音频数据的声音(声)。
存储单元303包括诸如非易失性存储器的半导体存储器。存储单元303根据控制单元300的控制存储各种数据。
通信单元304被配置为适用于诸如无线局域网(LAN)、蜂窝通信(例如,LTE高级、5G等)或蓝牙(注册商标)等无线通信或有线通信的通信模块。通信单元304根据控制单元300的控制与其他装置通信。
传感器单元305包括各种传感器装置等。传感器单元305执行对用户、其周围环境等的感测,并将取决于感测结果的传感器数据提供给控制单元300。
此处,传感器单元305可以包括:测量位置、取向、加速度和速度的惯性传感器;测量诸如心率、体温或生物的姿势的信息的生物特征传感器;测量磁场(磁场)的大小和方向的磁传感器;测量附近对象的接近传感器;等。注意,代替惯性传感器,可以使用测量加速度的加速度传感器或测量角度(姿势)、角速度或角加速度的陀螺仪传感器。
摄像装置单元306包括光学系统、图像传感器、信号处理电路等。摄像装置单元306将通过对被摄体成像获得的成像数据提供给控制单元300。
输出端子307经由线缆连接至包括诸如耳机或头戴式耳机的电声转换器的装置。输出端子307从控制单元300输出诸如音频数据的数据。注意,与诸如耳机的装置的连接不仅可以有线地进行,但也可以通过诸如蓝牙(注册商标)的无线通信进行。
电源单元308包括诸如二次电池的电池和电源管理电路,并向包括控制单元300的每个单元提供电力。
此外,控制单元300包括再现处理单元311、呈现控制单元312和通信控制单元313。
再现处理单元311执行与各种内容数据有关的再现处理。再现处理包括再现诸如音乐(的一部分)和角色的话语的数据的处理。
呈现控制单元312控制输出单元302以控制取决于诸如视频数据和音频数据的数据的诸如视频和音频的信息的呈现。此外,呈现控制单元312控制由再现处理单元311再现的数据的呈现。
通信控制单元313控制通信单元304经由因特网40与数据管理服务器10交换各种数据。
注意,图5所示的再现装置30的配置是示例,并且可以去除诸如摄像装置单元306和输出端子307的一些部件,或者可以添加诸如输入端子的其他部件。
如上所述的那样配置图像处理系统1。在下文中,将给出由信息处理系统1执行的信息处理的具体细节的描述。
(处理的整体图像)
首先,将参照图6描述第一实施方式中的信息处理的整体图像。
在数据管理服务器10中,存储单元103存储内容元素-上下文信息DB 151、场景DB152和用户场景DB 153的数据库。此外,存储单元103还存储内容元素的数据。
内容元素-上下文信息DB 151是存储表格的数据库,在该表格中内容元素和上下文信息彼此相关联。
此处,内容元素是构成内容的元素(element)。例如,内容元素包括根据诸如视频或音乐的内容生成的语音、BGM、声音效果、环境声音、音乐、图像等。
此外,上下文信息是关于给予内容元素的上下文的信息。例如,根据假设使用内容元素的状况给出的上下文信息与内容元素相关联,并且累积在内容元素上下文信息DB 151中。注意,此处,可以使用机器学习技术自动地将上下文信息给予内容元素。
场景DB 152是存储场景的数据库。
此处,场景是基于某个主题,通过对包括内容元素和上下文信息的组合的数据集(下文中也称为“内容元素-上下文信息”)进行打包而获得的。
注意,场景DB 152可以存储关于再现装置30的功能的装置功能信息。通过使用装置功能信息,可以根据一个或多个再现装置30的功能来执行处理。
用户场景DB 153是存储用户场景的数据库。
此处,用户场景是通过将发动条件设置到通过对包括内容元素和上下文信息的数据集进行打包而获得的场景。
即,对于每个用户,使得能够至少为上下文信息设置发动条件,并且使得能够生成包括发动条件和上下文信息的数据集的用户场景。换言之,可以说用户场景是用户定义的场景。
发动条件是当将与要作为数据集的上下文信息相关联的内容元素呈现给用户时的条件。作为发动条件,例如可以设置诸如位置和场所的空间条件、时间条件、用户的动作等。
在信息处理系统1中,数据管理服务器10管理上述数据库,并且编辑装置20和再现装置30访问存储在数据库中的信息,从而执行如图6所示的处理。
即,再现装置30实时地对用户执行感测(S101),并且确定通过感测获得的传感器数据是否满足在用户场景中设置的发动条件(S102)。
然后,当传感器数据满足发动条件(在S102中为“是”)时,将与取决于发动条件的上下文信息相关联的内容元素呈现给用户(S103)。
例如,作为场景,在作为“家”的上下文信息与作为“字符话语”的内容元素相关联的情况下,假设针对上下文信息设置作为“距家的中心10m的半径”的发动条件的情况。在这种情况下,基于传感器数据(位置信息),当用户到达距家10m的位置时,从由用户持有的再现装置30输出期望的角色的话语。
(处理的流程)
接下来,将参照图7的流程图描述第一实施方式中的信息处理的详细流程。
注意,在图7中所示的处理中,步骤S121至S127中的处理主要是在由编辑装置20(的控制单元200)执行场景生成工具时的处理,并且步骤S128至S133中的处理主要是在由再现装置30(的控制单元300)执行用户场景生成工具时的处理。
即,操作场景生成工具的人是利用编辑装置20创建场景的创建者等,并且在另一方面,操作用户场景生成工具的人是持有再现装置30的用户等,并且各个工具的操作者彼此不同,或者甚至对于相同的操作者,操作时间也彼此不同。
在编辑装置20中,通过场景生成工具获取内容(S121),并且呈现内容元素的候选(S122)。然后,根据创建者的操作从该内容中剪切出内容元素(S123)。
此外,在编辑装置20中,由情景生成工具呈现上下文信息的候选(S124)。然后,根据创建者的操作向内容元素给予上下文信息(S125)。然而,此处,可以使用机器学习技术自动提供上下文信息,而不限于创建者的操作。
注意,以这种方式相互关联的内容元素与上下文信息被发送至数据管理服务器10并且累积在内容元素-上下文信息DB 151中。
在编辑装置20中,由场景生成工具生成取决于创建者的操作的场景(S126),并且保存场景(S127)。
即,由场景生成工具生成的场景被发送至数据管理服务器10并被累积在场景DB152中。可以经由因特网40分发在场景DB 152中累积的场景。
另一方面,在再现装置30中,由用户场景生成工具获取从数据管理服务器10分发的场景(S128)。
然后,在再现装置30中,根据用户的操作给出发动条件(S129)。因此,从场景生成取决于用户的操作的用户场景,并且保存用户场景(S130)。
由用户场景生成工具生成的用户场景被发送至数据管理服务器10并且被累积在用户场景DB 153中。因此,可以与其他用户等共享用户场景。
此处,在另外添加场景(在S131中为“是”)的情况下,重复上述步骤S128至S130中的处理。
此外,在再现装置30中,可以由用户场景生成工具发动(S132)和评估(S133)创建的用户场景。
注意,稍后将参照图14至图17描述场景生成工具的细节。此外,稍后将参照图21至图25和图26至图29描述用户场景生成工具的细节。
以上已经描述了信息处理的详细流程。
(数据库的示例)
接下来,将参照图8至图10描述由数据管理服务器10管理的数据库的示例。
如图8所示,根据对用户场景生成工具的操作,在场景DB 152中累积包括内容元素和上下文信息的组合的数据集。例如,在图8中,作为“家”的上下文信息与作为“角色话语#1”和“BGM#1”的内容元素相关联。
此外,如图9所示,在用户场景DB 153中,连同包括内容元素和上下文信息的组合的数据集,根据对用户场景生成工具的操作,累积被给予数据集的发动条件。
例如,在图9中,将作为“中心(35.631466,139.743660)”和“半径10m”的发动条件给予作为“角色话语#1”和“BGM#1”的内容元素以及作为“家”的上下文信息。然而,中心(a,b)处的a和b意味着纬度(北纬)和经度(东经),并且表示内容元素的发动范围。
注意,图8和图9中所示的数据库的配置是示例,并且可以使用其他配置。例如,如图10所示,可以向不同的作品(例如,作为“电影”的作品A,作为“动画”的作品B,作为“文学朗诵”的作品C)给予共同的上下文信息。
例如,在图10中,作为“家”的上下文信息与作为作品A的“BGM#2”、作品B的“角色话语#1”和“BGM#1”和作品C的“朗诵#1”的内容元素中的每一个相关联。
上面已经描述了第一实施方式。在第一实施方式中,上下文信息预先与内容元素相关联,可以至少为每个用户的上下文信息设置发动条件,并且可以生成包括发动条件和上下文信息的数据集的用户场景。然后,当通过实时感测用户获得的传感器数据满足在用户场景中设置的发动条件时,向用户呈现与取决于发动条件的上下文信息相关联的内容元素。
因此,可以由每个用户根据用户场景中的发动条件来欣赏场景的世界观,并且可以提供更好的用户体验。
<2.第二实施方式>
顺便提及,当前分发和递送的内容包括例如以下格式:诸如电影、动画和游戏的运动图像;诸如照片、绘画和漫画的静止图像;诸如音乐或音频书籍的音频;以及诸如书籍的文本,并且特别地,具有故事感(戏剧性)的内容通常包括诸如讲话、效果、背景的元素。
在考虑在用户的日常生活空间上进行叠加的情况下,除了以分发和交付的格式原样呈现上述内容之外,还可以执行内容的重新编辑。作为对内容的重新编辑,例如,在时间上切出内容的一部分,使内容与用户当前所处的上下文的空间和时间大小相匹配,或者提取并呈现上述元素以与上下文匹配。
在下文中,重新编辑的内容的一部分对应于上述内容元素。例如,如图11所示,某些内容的内容元素包括语音、背景、音乐、歌词、人物、符号、文字、对象等。
以用文本、图像、音频等的格式表达信息的形式向内容元素给予关于假设的上下文的信息作为上述上下文信息。此外,内容元素与上下文信息的相关信息本身或多条相关信息的组合被累积在场景DB 152中作为场景。
注意,此处,可以向一个内容元素给予一个或更多个上下文标签,或者可以向多个内容元素给予相同的上下文标签。
例如,如图12所示,从诸如分发的电影、动画或游戏的包括视频和音频的内容中仅提取某个角色的语音,并且将仅提取特定角色的语音设置为音频内容,并作为假设该语音被听到的上下文,给出为“获得勇气”的文本作为上下文信息。
此外,例如,如图12所示,在某个场景中使用的语音和背景音乐的组合被设置为一个音频内容,并且给出为“在旅馆相遇”的文本作为上下文信息。
然后,在内容元素-上下文信息DB 151中累积图12所示的“内容元素-上下文信息”的两个数据集。
例如,在音频数据中,在制作过程中,语音、声音效果、背景声音、背景音乐等由不同的声源制作为多轨道,并且然后被混合以形成要分发和递送的内容的形式。因此,可以在混合之前从这些多轨道中的每一个中提取内容元素。
此外,例如,同样在图像中,也存在对人物、背景、对象等进行单独成像并且然后合成的方法,并且也可以在合成之前从数据中提取内容元素。
以三种方式执行假设内容元素的生成和上下文信息的给予,这三种方式分别是手动、自动无需人工干预、或者其组合。接下来,特别地,将描述涉及自动处理的情况。
存在通过机器学习技术从运动图像或静止图像中包括的图像信息或音频信息中识别某个场景中包括的诸如人物、生物、对象、建筑物或风景的元素的技术,并且可以通过使用这些技术来确定内容元素的范围并且(自动地)生成根据识别结果或其组合假设的一条或更多条上下文信息。
可以根据这些信息自动生成“内容元素-上下文信息”的数据集,或者可以在将这些信息作为参考信息的情况下手动执行“内容元素-上下文信息”的设置。
通过根据诸如作为重新编辑源的作品名称、角色出现、设置的舞台和要唤醒的感觉的某个主题,将一个或更多个“内容元素-上下文信息”数据集放置在一起来配置场景,并将场景累积在场景DB 152中。
例如,如图13所示,图12所示的两个“内容元素-上下文信息”数据集可以作为“出发城市”的场景被累积在场景DB 152中。
因此,用户不仅可以搜索并且获取期望使用的“内容元素-上下文信息”的数据集,而且还可以搜索并且获取基于场景打包的多个“内容元素-上下文信息”数据集。
此处,已经描述了根据基于已经分发和递送的常规格式的内容生成内容元素并给出上下文信息的方法;然而,在本技术中设计的机制的前提下,可以直接创建与内容元素对应的作品。
(场景生成工具的UI的示例)
此处,将参照图14至17描述用于生成场景的场景生成工具的用户接口。该场景生成工具由由创建者等操作的编辑装置20的控制单元200来执行,并且各种画面被显示在显示器231上。
当场景生成工具被发动时,显示图14的场景选择和新创建画面。场景选择和新创建画面包括地图/场景显示区域251、场景列表252和新场景创建按钮253。
关于场景,名称被写在表示地图/场景显示区域251中的地图上的位置的图钉261A上,或者以场景列表252中的诸如名称顺序的预定顺序将场景显示横幅262A显示为列表。此外,在创建新场景的情况下操作新场景创建按钮253。
创建者可以通过在与期望的区域对应的地图上的图钉261A或场景列表252的场景显示横幅262A上执行点击操作来选择期望的场景。
此时,如果关注到多个图钉261A中的图钉261B,则图钉261B处于被光标260选中的状态,因此以气球形状显示与作为“场景#1”的图钉261B对应的场景名称。然后,在选择与图钉261B对应的场景#1的状态下对编辑按钮262B执行点击操作的情况下,显示图15的场景编辑画面。
图15的场景编辑画面包括地图/地理围栏显示区域254、地理围栏列表255和编辑工具显示区域256。
关于地理围栏,名称被写在表示地图/地理围栏显示区域254中的地图上的地理围栏的区域的地理围栏区域271A至271E上,或者以地理围栏列表255中的诸如名称顺序的预定顺序将地理围栏显示横幅272A显示为列表。
注意,作为地理围栏区域271A至271E的形状,可以设置各种形状,例如圆形和多边形。
在地图/地理位置显示区域254中,将给予为其设置默认值的发动条件(发动范围)的上下文信息显示为每个地理围栏中的文本等,或者在选择期望的地理围栏时以气球形状显示。基于该显示,创建者可以确认与每个内容元素的发动范围相关联的上下文信息。
因此,创建者可以通过在与期望的区域对应的地图上的地理围栏区域271A至271E或地理围栏列表255的地理围栏显示横幅272A上执行点击操作来选择期望的地理围栏。
编辑工具显示区域256包括圆形地理围栏创建按钮273、多边形地理围栏创建按钮274、地理围栏移动按钮275、覆盖保存按钮276、新保存按钮277、删除按钮278和返回按钮279。
在创建具有圆形形状的地理围栏的情况下操作圆形地理围栏创建按钮273。在创建具有多边形形状的地理围栏的情况下操作多边形地理围栏创建按钮274。在移动期望的地理围栏的情况下操作地理围栏移动按钮275。
在将要编辑的场景覆盖到现有场景上并保存要编辑的场景的情况下,操作覆盖保存按钮276。在将要编辑的场景保存为新场景的情况下操作新保存按钮277。在删除要编辑的场景的情况下操作删除按钮278。在返回场景选择和新创建画面的情况下操作返回按钮279。
此处,如果关注到地理围栏区域271A至271E之中的具有图案的地理围栏区域271C,则地理围栏区域271C处于由光标260选择的状态,使得作为“地理围栏#1”的取决于地理围栏区域271C的地理围栏名称可以以气球形状显示,并且可以再现为地理围栏设置的内容元素。
然后,在取决于地理围栏区域271C的地理围栏#1被选择的状态下在编辑按钮272B上执行点击操作的情况下,显示图16的地理围栏编辑画面。
图16的地理围栏编辑画面包括地理围栏详细设置区域257。地理围栏详细设置区域257包括地理围栏名称、中心位置、半径、再现时间、天气、内容元素、再现范围、音量、重复再现、淡入/淡出和再现优先级级别作为地理围栏的详细设置项目。
然而,地理围栏名称对应于上下文的设置项目。此外,中心位置、半径、再现时间和天气对应于发动条件的设置项目,并且此处设置其默认值。此外,内容元素、再现范围、音量、重复再现、淡入/淡出模式和再现优先级级别对应于内容元素的设置项目和再现条件,并且此处,设置其默认值。
在地理围栏名称输入栏281A中,输入“地理围栏#1”作为地理围栏名称。
在中心位置输入栏281B和半径输入栏281C中,输入“纬度,经度”和“80m”作为圆形地理围栏的中心位置和半径的默认值。
在再现时间输入栏281D中,“7:00至10:00”被输入作为再现时间的默认值。注意,由于天气输入栏281E是“未指定”,因此不设置天气的默认值。
在内容元素输入栏281F中,输入“http:xxx.com/sound/folder#1/01.mp3”作为内容元素的默认值。作为用于此的输入方法,可以使用通过在选择按钮282上执行点击操作来显示的内容元素选择画面283。
在内容元素选择画面283上,显示在数据管理服务器10的存储单元103中存储的内容元素的音频文件的数据。在该示例中,在内容元素选择画面283上,通过从在分层结构中显示的文件夹之中选择期望的文件夹,可以选择文件夹中期望的音频文件。
注意,此处,可以使用在搜索关键词输入栏284A中输入的期望的关键词作为搜索条件来执行搜索处理,并且可以根据其搜索结果呈现期望的音频文件的列表。
在再现范围输入栏281G和音量输入栏281H中,输入“00:00:08至00:01:35”和“5”作为再现范围和音量的默认值。注意,可以根据内容元素自动地输入再现时间和音量。
在重复再现输入栏281I和淡入/淡出输入栏281J中,“重复再现:是”和“淡入/淡出:是”被输入作为音频文件的重复再现、淡入和淡出的默认值。
在再现优先级输入栏281K中,输入“1”作为再现优先级级别的默认值。作为再现优先级级别,可以使用级别,使得在诸如“1”至“3”的三个阶段和“1”至“5”的五个阶段的预定阶段中,数值越低,优先级越高,并且数值越高,优先级越低。
注意,在图16的地理围栏编辑画面中,示出了地理围栏#1的形状是圆形的情况,但是在形状是多边形(矩形)的情况下,显示图17的地理围栏编辑画面。
图17的地理围栏编辑画面与图16所示的地理围栏编辑画面的不同之处在于,矩形地理围栏的顶点位置被提供作为发动条件的设置项目,而不是圆形地理围栏的中心位置和半径。
此外,在图17的地理围栏编辑画面中,提供了包括列表框的顶点位置输入栏291B,代替图16的中心位置输入栏281B和半径输入栏281C的文本框。
在该示例中,在顶点位置输入栏291B中,纬度和经度的多个组合被显示为列表,例如纬度#1和经度#1、纬度#2和经度#2、以及纬度#3和经度#3、·…,使得将从列表中选择的期望的纬度和经度的组合设置为矩形地理围栏的顶点位置的默认值。
注意,上述场景生成工具的用户接口是示例,并且也可以使用另一用户接口,例如使用另一小部件来代替文本框或单选按钮。
例如,在地理围栏编辑画面中,可以使用下拉列表、组合框等代替构成再现时间输入栏281D、天气输入栏281E、音量输入栏281H或再现优先级级别输入栏281K的文本框或构成顶点位置输入栏291B的列表框。
(处理的整体图像)
接下来,将参照图18描述第二实施方式中的信息处理的整体图像。
图18所示的信息处理通过信息处理系统1中的数据管理服务器10(的控制单元100)与编辑装置20(的控制单元200)之间的至少协作来实现。即,该信息处理由控制单元100或控制单元200中的至少一个来执行。
如图18所示,在信息处理系统1中,从包括多个媒体(视频、音频等)的内容(电影、动画、游戏等)提取包括至少一些媒体的一个或更多个内容元素(例如,“角色的语音”)(S201),并且针对内容元素生成上下文(例如,假设语音被听到的上下文)(S202)。
然后,在信息处理系统1中,向每个内容元素(例如,“角色的语音”)给予上下文信息(例如,“获得勇气”)(S203)。因此,内容元素和上下文信息彼此相关联地累积在内容元素-上下文信息DB 151中。
此外,一个或更多个“内容元素-上下文信息”的数据集被累积在场景DB 152中作为场景(例如,“出发城市”)(S204)。此处,数据集可以基于某个主题(作为重新编辑源的作品名称、设置的舞台、要唤醒的感觉等)被打包并累积在场景DB 152中(S211)。
此处,作为内容元素,例如,可以包括流分发内容(由音乐流分发服务分发的音乐等)的一部分(音乐等的一部分)。此时,为了识别流分发内容的一部分,可以指定内容的内容ID和再现范围(S221),并且可以在内容元素-上下文信息DB 151中与目标上下文信息相关联地累积指示内容ID和再现范围的信息。
此外,对于内容元素,可以生成角色等的介绍内容(另一内容元素)(S231),并且可以在再现内容元素之前呈现介绍内容。例如,在再现从音乐流分发服务分发的音乐(内容元素)之前,可以通过与上下文信息对应的特定声音角色(例如,唱片骑师(DJ)的角色)来呈现介绍性句子。
此外,通过对内容元素与内容元素-上下文信息DB 151中累积的上下文信息之间的关系执行机器学习(S241),可以自动地将上下文信息给予新的内容元素。
此处,作为机器学习技术,可以使用诸如神经网络(NN)的各种方法,并且可以通过使用例如从在运动图像或静止图像中包括的图像信息或音频信息识别在某个场景中包括的诸如人物、生物、对象、建筑物或风景的元素的技术来确定内容元素的范围,并且根据识别结果或其组合自动地生成一条或更多条上下文信息。
以上已经描述了第二实施方式。
<3.第三实施方式>
顺便提及,在根据仅包括诸如电子书籍的小说的文本的内容生成内容元素和上下文信息的组合的情况下,可以使用提取的文本本身作为内容元素,并且,例如,将文本作为字符图像显示在诸如公共显示器或AR眼镜的显示装置上,但是可以使用声音(声)。注意,AR眼镜是适用于增强现实(AR)的眼镜型装置(device)。
即,可以通过使用文本到语音(TTS)技术根据用作内容元素的文本数据生成音频数据,并且音频数据可以是内容元素。
此外,例如可以使用机器学习技术根据构成词或句子的文本执行由诸如伴随相关印象(图像)的音频数据或图像数据的数据的搜索或合成,并且可以将该数据用作内容元素。
另一方面,对于仅包括音频数据和图像数据的内容,可以通过使用机器学习技术来执行对构成相关词或句子的文本的搜索或合成,并且可以将该文本用作内容元素。即,此处,可以添加现有内容中未包括的细节,或者添加原始内容中未包括的另一模态中的表达,例如触觉。
注意,TTS技术是用于人工创建人类语音的语音合成技术的示例,并且也可以使用其他技术来生成语音。替选地,可以使用由人进行的朗诵的记录。此外,在以上描述中,已经描述了使用机器学习技术的情况,但是可以通过单独分析获取的数据来生成作为内容元素的数据。
(处理的整体图像)
接下来,将参照图19描述第三实施方式中的信息处理的整体图像。
图19所示的信息处理通过信息处理系统1中的数据管理服务器10(的控制单元100)与编辑装置20(的控制单元200)之间的至少协作来实现。
如图19所示,在信息处理系统1中,从包括多个媒体(文本等)的内容(电子书的小说等),提取包括第一媒体(文本等)的一个或更多个内容元素(例如,小说的句子)(S301),并且生成包括第二媒体(TTS语音等)的内容元素(例如,取决于小说的句子的声音)(S302)。
然后,在信息处理系统1中,向每个内容元素(例如,与小说的句子对应的声音)给予上下文信息(例如,关于其中假设小说的句子的声音被听到的上下文的信息)(S303),并且内容元素和上下文信息彼此关联并被累积在内容元素-上下文信息DB 151中。
此外,将一个或更多个“内容元素-上下文信息”数据集作为场景保存(累积)在场景DB 152中(S304)。
此处,预先对第一媒体(文本等)与第二媒体(TTS语音等)之间的关系执行机器学习(S311),由此可以基于机器学习结果根据第一媒体的内容元素来生成第二媒体的内容元素。
上面描述了第三实施方式。
<4.第四实施方式>
通过使用用户场景生成工具,用户可以通过由用户持有的再现装置30获取期望的场景和期望的“内容元素-上下文信息”数据集。
即,在再现装置30中,通过用户场景生成工具的执行,可以显示包括在所获取的场景中的多个“内容元素-上下文信息”数据集,并通过使用用户接口以布置在用户周围的实际空间中,可以为“内容元素-上下文信息”的每个数据集设置包括可以被感测的条件组合的发动条件。
发动条件可以包括例如关于全球定位系统(GPS)的信息、根据来自无线局域网(LAN)的接入点的信息估计的诸如纬度和经度的位置信息、以及从无线信标或短程无线通信的历史中获得的使用状态和认证信息。
此外,发动条件包括例如根据由摄像装置成像的捕获图像估计的关于用户位置、姿势、动作和周围环境的信息、关于由环境信息时钟测量的时间和时间段的信息、从麦克风获得的基于音频信息的环境信息和认证信息、从惯性传感器获得的关于身体姿势、运动、骑乘状态等的信息以及根据生物特征信号信息估计的关于呼吸率、脉搏、情绪等的信息。
例如,如图20所示,在将作为“获得勇气”的文本给予通过提取某个角色的语音作为“内容元素-上下文信息”数据集获得的音频内容的情况下,可以将根据关于GPS等的信息估计的“经度和经度”设置为发动条件。
发动条件的设置可以通过使用用户场景生成工具来设置,但也可以在使用服务之前完成,或者可以通过在使用服务期间发动工具执行设置。
此处,作为用户场景生成工具的示例,将描述以下情况,其中在地图上显示“内容元素-上下文信息”数据集,并且地图上的范围和时间区域被设置为由用户使用布置在地图上的接口能够感测的发动条件。
用户可以通过操作例如由诸如智能电话的再现装置30或诸如个人计算机的信息装置执行的用户场景生成工具来创建期望的用户场景。注意,用户场景生成工具可以被提供作为本机应用,或者可以被提供作为使用浏览器的网络应用。
(用户场景生成工具的UI的示例)
此处,将参照图21至图25描述由诸如智能电话的再现装置30执行的用户场景生成工具的用户接口。该用户场景生成工具例如由用户操作的再现装置30的控制单元300执行,并且在显示器331上显示各种画面。
当发动用户场景生成工具时,显示图21的场景选择/再现画面。场景选择/再现画面包括地图/场景显示区域411、场景列表412和新场景创建按钮413。
关于场景,名称被写在表示地图/场景显示区域411中的地图上的位置的图钉411A上,或者名称以场景列表412中的诸如名称顺序的预定顺序或距当前位置的距离的升序顺序被显示为列表。
此外,在创建新用户场景的情况下,如果在新场景创建按钮413上执行敲击操作就足够了。此外,在场景选择/再现画面上,可以使用在搜索关键字输入栏414中输入的期望的关键字作为搜索条件来执行搜索处理,并且可以根据搜索处理的搜索结果来呈现场景。
用户可以通过在与期望的区域对应的地图上的图钉411A或场景列表412的场景显示横幅412A上执行敲击操作来选择期望的场景。
在该示例中,在场景列表412中显示的多个场景显示横幅412A之中,正在再现场景#1,并且场景#2和场景#3处于暂停中。注意,在该示例中,仅显示三个场景显示横幅412A,但也可能存在通过在画面上进行滚动的轻拂操作来显示另一个场景的情况。
此时,在地图/场景显示区域411中,如果关注多个图钉411A之中的图钉411B,则图钉411B处于被选中状态,并且因此以气球形状显示与作为“场景#1”的图钉411B对应的场景名称。然后,在与图钉411B对应的场景#1被选择的状态下在编辑按钮412B上执行敲击操作的情况下,图22的发动条件设置画面被显示为场景编辑画面。
图22的发动条件设置画面包括地图/地理围栏显示区域421、覆盖保存按钮422、新保存按钮423、删除按钮424和返回按钮425。
在地图/地理围栏显示区域421中,地理围栏区域421A至421E显示在期望区域的地图上。作为地理围栏区域421A至421E的形状,可以设置各种形状,例如圆形和多边形。
在地图/地理围栏显示区域421中,给予发动条件(发动范围)的上下文信息在每个地理围栏中显示为文本等,或者当对期望的地理围栏执行敲击操作时以气球形状显示。基于该显示,用户可以确认与每个内容元素的发动范围相关联的上下文信息。
地理围栏可以在画面上移动。此处,如果关注地理围栏区域421A至421E之中的具有图案的地理围栏区域421C,则该地理围栏区域421C处于选择状态,使得作为“地理围栏#1”的取决于地理围栏区域421C的地理围栏名称以气球形状显示。
此处,在用户使用手指400选择地理围栏区域421C的状态下,用户将地理围栏区域421C沿对角右下方向(图中的箭头方向)移动以移动地理围栏区域421C的位置。
此外,虽然未示出,但可以通过在地理围栏区域421C被选择的状态下执行放大操作、缩小操作等来扩大或减小地理围栏区域421C的面积,或可以根据预定操作来修改地理围栏区域421C的形状。
注意,在发动条件的设置细节被保存为场景#1的情况下,在覆盖保存按钮422上执行敲击操作,并且在设置细节被保存为新场景的情况下,如果在新保存按钮423上执行敲击操作就足够了。此外,在删除场景#1的情况下操作删除按钮424。在返回至场景选择/再现画面的情况下操作返回按钮425。
此外,在用户通过使用手指400在地理围栏区域421C上执行长按操作的情况下,显示图23的发动条件详细设置画面。
图23的发动条件详细设置画面包括地理围栏详细设置区域431、保存按钮432和返回按钮433。
地理围栏详细设置区域431包括地理围栏名称输入栏431A、中心位置输入栏431B、半径输入栏431C、再现时间输入栏431D、天气输入栏431E、内容元素输入栏431F、再现范围输入栏431G、音量输入栏431H、重复再现输入栏431I、淡入/淡出输入栏431J和再现优先级输入栏431K。
地理围栏名称输入栏431A至再现优先级级别输入栏431K对应于图16的地理围栏名称输入栏281A至再现优先级级别输入栏281K,并且其中设置为默认值的值按原样显示。
注意,在保存地理围栏#1的设置细节的情况下操作保存按钮432。此外,在返回到发动条件设置画面的情况下操作返回按钮433。
用户可以按原样使用地理围栏#1的默认值的设置细节,或者可以将设置细节改变为期望的设置细节。例如,在对内容元素输入栏431F执行敲击操作的情况下,显示图24的内容元素选择画面。
图24的内容元素选择画面包括内容元素显示区域441、选择按钮442和返回按钮443。
在内容元素显示区域441中,取决于各个内容元素的图标441A至441F以三行两列的图块形状布置。
注意,在从图标441A至441F之中选择期望的图标的情况下操作选择按钮442。此外,在返回至发动条件详细设置画面的情况下操作返回按钮443。
此处,在用户通过使用手指400对图标441A至441F之中的图标441A执行敲击操作的情况下,再现内容元素#1。
此外,在用户通过使用手指400对处于被选择状态的图标441A执行长按操作的情况下,显示图25的内容元素编辑画面。
图25的内容元素编辑画面包括内容再现部分显示区域451、内容再现操作区域452、歌曲改变按钮453和返回按钮454。
在内容再现部分显示区域451中,为了将内容元素#1编辑为音乐,显示内容元素#1的音乐波形,并且可以通过左右滑动滑块451a和451b指定要再现的部分。
在该示例中,在内容元素#1的音乐的波形中,将与滑块451a和451b外部的区域对应的剪切选择区域451B中的音乐的波形设置为非再现目标的波形,并且将与滑块451a和451b内部的区域对应的再现选择区域451A中的音乐的波形设置为再现目标的波形。注意,搜索条451c指示正在再现的内容元素#1的音乐的再现位置。
在内容再现操作区域452中,再现按钮、停止按钮、跳过按钮等被显示为用于操作内容元素#1的音乐的按钮。
用户在确认内容再现部分显示区域451中的音乐的波形的同时操作内容再现操作区域452中的按钮、滑块451a和451b等,从而能够仅切出内容元素#1的音乐中的要再现的部分。
注意,在改变要编辑的音乐的情况下操作歌曲改变按钮453。此外,在返回至发动条件详细设置画面的情况下操作返回按钮454。
如上所述,用户可以通过操作由诸如智能电话的再现装置30执行的用户场景生成工具来创建期望的用户场景。
接下来,将参照图26至图29描述由诸如个人计算机的信息装置执行的用户场景生成工具的用户接口。
当发动用户场景生成工具时,显示图26的场景选择画面。场景选择画面包括地图/场景显示区域471和场景列表472。
关于场景,名称被写在表示地图/场景显示区域471中的地图上的位置的图钉471A上,或者以场景列表472中的预定顺序将场景显示横幅472A显示为列表。
用户可以通过在期望的地图上的图钉471A或场景列表472的场景显示横幅472A上执行点击操作来选择期望的场景。
注意,在对编辑按钮472B执行点击操作的情况下,显示用于对场景进行编辑的场景编辑画面。此外,在创建新场景的情况下,操作新场景创建按钮(未示出)。
当由用户选择了期望的场景时,显示图27的发动条件设置画面。发动条件设置画面包括地图/地理围栏显示区域481和上下文列表482。
在地图/地理围栏显示区域481中,显示了指示内容元素的发动范围的地理围栏区域481A。地理围栏区域481A由预先设置的多个圆形、多边形等表示。
在地图/地理围栏显示区域481中,给予发动条件(发动范围)的上下文信息在地理围栏区域481A中被显示为文本等,或者当对期望的地理围栏区域481A上执行点击操作时以气球形状显示。
可以根据拖动操作在画面上移动地理围栏区域481A。此处,如果关注多个地理围栏区域481A之中的具有图案的地理围栏区域481B,则可以通过拖动操作沿对角右上方向(图28的箭头方向)移动地理围栏区域481B,并且从图27所示的位置移动到图28所示的位置。
此外,通过将光标放置在指示地理围栏区域481B的形状的粗线上的白色圆(○)上并在期望的方向上执行拖动操作,地理围栏区域481B的形状可以被修改为期望的形状。
如上所述,用户基于地理围栏区域481B中显示的上下文信息移动或修改地理围栏区域481B的形状,从而能够自己设置上下文对应于现实生活空间中的哪个位置。
注意,可以以列表的格式单独呈现内容元素。此外,可以删除不使用的内容元素,或者可以将单独获得的内容元素添加到当前正在被编辑的场景中。
此处,在上下文列表482中,当在与地理围栏区域481B对应的上下文显示横幅482A的编辑按钮482B上执行点击操作时,或者在地理围栏区域481B上执行预定操作时,显示图29的地理围栏编辑画面。
地理围栏编辑画面包括地理围栏详细设置区域491、选择按钮492、更新按钮493、删除按钮494和取消按钮495。
地理围栏详细设置区域491包括地理围栏名称输入栏491A、内容元素输入栏491B、重复再现输入栏491C、淡入/淡出输入栏491D、再现范围输入栏491E和音量输入栏491F。这些设置项目对应于图23的地理围栏详细设置区域431中的设置项目。
此外,与图16的选择按钮282类似地,在选择按钮492上执行点击操作的情况下,可以通过使用内容元素选择画面来选择期望的内容元素。在更新地理围栏区域481B的设置项目的情况下操作更新按钮493。在删除地理围栏区域481B的情况下操作删除按钮494。在取消编辑的情况下操作取消按钮495。
如上所述,用户可以通过操作由诸如个人计算机的信息装置执行的用户场景生成工具来创建期望的用户场景。
注意,在以上描述中,使用地图的用户接口已被例示为用户场景生成工具,但是也可以使用不使用地图的另一用户接口。在下文中,将描述用于在不使用地图的情况下设置发动条件的方法。
例如,在要在地图上未指示的对象(例如“车站前面的广场上的长凳”)周围设置发动的情况下,可以通过利用诸如智能电话的再现装置30的摄像装置单元306对目标长凳进行成像来执行设置。
此外,还可以在利用由用户穿戴的可穿戴装置的摄像装置执行成像的同时通过对目标长凳进行成像、发出声音指令(例如“在此处成像”、“设置在该长凳上”)等来进行设置。此外,在可以通过使用眼镜等的摄像装置捕获包括用户自己的手部的图像的情况下,用户可以通过以包围长凳的形式执行手部手势并在识别出手势时记录围框中的对象或风景来执行设置。
此外,即使在设置不能用地图表达设置的发动条件时,例如用户的生物状态或情绪等,例如在诸如智能电话的再现装置30上显示“现在感觉”按钮,并且在对按钮执行敲击操作或点击操作时的时间点处或敲击操作或点击操作之前和之后的特定时间段内记录数据或识别结果,由此可以进行设置发动条件。注意,类似于上述情况,例如,也可以通过用户声音、手势命令等来执行输入。
此处,为了容易地设置多条数据,例如,可以显示“当前状况”按钮,或者可以预先设置为声音命令或特定手势,并且在存在对按钮的输入的情况下,可以统一获取诸如预先指定的位置、时间、天气、周围对象、天气、生物数据和情绪的数据。
通过提供这些输入方法,特别是没有画面的输入方法,用户可以在体验服务的同时或在停止服务的同时在日常生活中容易地执行输入。
以这种方式,由用户在不使用画面的情况下输入的数据被发送至例如数据管理服务器10并累积在用户场景DB 153中。因此,用户可以在由用户持有的再现装置30上显示用户场景生成工具的画面。然后,用户可以确认画面上显示的发动条件与“内容元素-上下文信息”的数据集之间的关联,或者执行重新编辑。
以上操作是用户仅设置所提供的场景中的内容元素的发动条件的操作,但是构成内容元素的诸如音频数据或图像数据的内容或给予内容元素的上下文信息的细节可以被允许作为可以由用户根据使用条件改变的操作。
在用户场景DB 153中累积编辑结束的场景作为用户场景。注意,还可以通过使用诸如社交联网服务(SNS)的共享手段将用户情景DB 153中累积的用户情景公开给另一用户。
此外,在诸如用户场景生成工具的编辑手段上显示场景中包括的多个“内容元素-上下文信息”数据集,并且用户执行与用户的生活空间的实际位置、时间区域和环境、用户自己的动作和情绪的关联,由此可以应用到例如以下服务。
即,作为服务的一个示例,假设获取包括多个“内容元素-上下文信息”数据集的场景的情况,这些数据集包括由在各种上下文中出现在某个动画作品中的特定角色发出的讲话。
在这种情况下,当参照被呈现为例如“家”、“车站”、“街道”、“十字路口”、“咖啡馆”或“便利店”的上下文信息时,由用户通过诸如用户场景生成工具的编辑手段主观地输入用户实际生活的“家”、“车站”、“街道”、“十字路口”、“咖啡馆”或“便利店”的位置作为发动条件。因此,用户可以在用户生活的场所和具有用户假设的上下文的场所(例如,十字路口)处接收取决于所持有的再现装置30进行的上下文的内容元素的再现。
图30示出了用户场景的设置示例。
在图30中,用户A和用户B两个用户分别为要分发的场景设置发动条件A和B,并各自创建了自己的用户场景。
此时,当为同一场景设置发动条件时,由于用户A设置发动条件A并且用户B设置发动条件B,因此对于每个用户发动条件均不同。
因此,可以在不同的场所针对相应用户实现相同的场景。即,可以由生活在不同场所的每个用户使用一个场景。
该服务的另一示例包括根据与流分发服务的协作的服务。
例如,在常规音乐流分发服务中,基于诸如针对每个创建者(制作者)或每个使用场景的某个主题,产生并分发播放列表,在该播放列表中以现有音乐格式(例如,单个歌曲等)收集多个作品的音频数据。
另一方面,在本技术中,作品本身或作品中的表达特定上下文的一部分被提取为内容元素,向内容元素给予表示其中音乐被再现的状况(例如,傍晚时的车站)或状态(例如,疲倦的回家路)的上下文信息,并且内容元素被共同累积在场景DB 152中作为场景并使其可分发。
用户可以通过再现装置30获取上述场景,通过在参考给定的上下文信息的同时在自己生活区域内的特定位置和时间区域执行布置,针对包括的多个“内容元素-上下文信息”数据集,创建用户场景,并在用户场景DB 153中登记用户场景。
在编辑用户场景时,用户还可以以将部分指定为再现范围的形式,将期望从作品本身再现的部分指定为内容元素。场景可以包括内容元素(另一个内容元素)作为描述要在再现内容元素时或在再现内容元素期间被再现的作品的声音角色。
注意,该声音角色不仅可以在与场景相同的路径中获取,而且还可以在与场景不同的路径中获取,并且例如,可以使多个声音角色之中用户偏好的角色执行解释。
在场景DB 152中,由创建者为了提供给用户而累积用于各种内容元素的多条上下文信息的组合。
例如,在上下文信息用作教师数据并且使用识别器对内容元素的旋律结构执行机器学习的情况下,可以以反映创建者的主观倾向的形式来估计容易从某个内容元素的旋律结构中调用的上下文。然后,通过使用该估计结果,可以使向内容元素给予上下文信息的过程自动化或者通过呈现具有一定相关性的多个上下文来支持创建者的上下文信息的给予。
此外,在用户场景DB 153中,由用户顺序地累积与包括用户自己的生活空间的位置、时间、环境、身体状况、情绪等的发动条件相关联的“内容元素-上下文信息”数据集。
即,由于在用户场景DB 153中累积由多个用户为其设置发动条件的大量“内容元素-上下文信息”数据集,因此可以通过对积累的信息执行机器学习或分析来创建用于使处理或识别器自动化的算法。
此外,例如,可以从关于在用户情景DB 153中累积的多个用户的信息来分析给予具有特定纬度和经度的真实世界(真实空间)中的位置的上下文信息的趋势。
例如,在进行分析在真实车站的出口处的公园中存在“加油”的趋势或设置与其类似的上下文的情况下,通过使用分析的结果,可以以出售预期在公园里加油的食物和书籍的形式来执行用于另一服务的数据利用。
此外,例如,在为从某个时间区域中的某个场所看到的场景设置特定上下文(其中,某个作品的内容元素例如音乐的一部分的短语与歌词相关联)的情况下,将该信息反馈到音乐的作曲家或歌词家,使得可以在创建后续作品时将该信息用作参考数据。
(处理的整体图像)
接下来,将参照图31和图32描述第四实施方式中的信息处理的整体图像。
图31和图32中所示的信息处理通过信息处理系统1中的数据管理服务器10(的控制单元100)与编辑装置30(的控制单元300)之间的至少协作来实现。即,该信息处理由控制单元100或控制单元300中的至少一个来执行。
如图31所示,在信息处理系统1中,向每个内容元素给予上下文信息,并且在场景DB 152中累积一个或更多个“内容元素-上下文信息”数据集作为场景(S401)。
此时,在信息处理系统1中,为被给予内容元素的每条上下文信息设置取决于通过感测用户获得的传感器数据的发动条件(S402)。因此,生成包括上下文信息和对于用户独有的发动条件的数据集的用户场景(S403)并且将其累积在用户场景DB 153中(S404)。
此处,作为发动条件,可以设置取决于捕获的图像数据、特性操作数据等的发动条件。此处,图像数据包括假设为由用户视觉上识别的图像的数据。此外,特性操作数据包括例如用于登记取决于用户当前的感觉的信息的按钮(现在感觉按钮)的操作的数据。
此外,通过对用户情景DB 153中累积的上下文信息(“获得勇气”等)与发动条件(特定车站的出口等)之间的关系执行机器学习(S411),可以输出机器学习的结果。
更具体地,可以根据机器学习的结果针对特定发动条件自动生成上下文信息(S421)。例如,在由机器学习的结果指定取决于传感器数据的场所是鼓励用户的场所的情况下,生成“获得勇气”作为上下文信息并将其给予目标内容元素。
此外,可以根据机器学习的结果为特定上下文信息自动生成与用户对应的发动条件(S431)。例如,如果鼓励用户的场所在用户周围,则在通过学习的结果指定场所是该场所的情况下,将取决于场所的位置信息设置为作为“获得勇气”的上下文信息的发动条件。
此外,如图32所示,在信息处理系统1中,用户场景生成工具被提供为使用用于设置用户独有的发动条件的地图的用户接口。注意,如上所述,用户场景生成工具被提供为由诸如智能电话的再现装置30或诸如个人计算机的信息装置执行的应用。
在信息处理系统1中,在给予从内容中提取的内容元素的每条上下文信息中设置发动条件(S401、S402)。
此处,通过使用用户场景生成工具,提供能够在期望区域的地图上呈现内容元素和上下文信息的数据集的接口(S441),并在期望区域的地图上设置预定区域作为上下文信息的发动条件(S442)。
以上已经描述了第四实施方式。
<5.第五实施方式>
在信息处理系统1中,通过安装在由用户持有或穿戴的再现装置30或布置在用户周围的装置(设备)上的感测装置顺序地获取诸如用户的位置、身体状况、情绪和动作的数据、关于周围环境中的对象、结构、建筑物、产品、人物、动物等的信息以及当前时间作为传感器数据。
然后,由确定手段顺序地确定这些数据或数据的组合是否与由用户设置的发动条件相匹配。
此处,在通过感测手段确定发动条件与传感器数据匹配的情况下,从预先指定的装置(例如,再现装置30)或多个装置(例如,再现装置30和布置在附近的装置)的组合再现与发动条件相关联的“内容元素-上下文信息”数据集中所包括的内容元素。
注意,此处,由于再现位置和定时是通过感测手段得到的传感器数据与发动条件之间的比较来确定的,因此确定过程不直接包括诸如上下文的主观元素或通过机器学习包括包含主观元素的数据的识别器,并且因此可以作为系统执行可再现和稳定的操作。
另一方面,由于用户在用户自己的积极性下将发动条件和“内容元素-上下文信息”数据集组合,还存在用户容易理解在适当的情况下呈现内容元素的优点。
图33示出了发动条件和感测手段的组合的示例。
作为时间发动条件,可以设置时间、时间段等,并且可以通过使用时钟、计时器等的测量来进行确定。此外,作为空间发动条件,可以设置诸如纬度、经度或接近特定位置的位置,并且可以通过使用GPS、Wi-Fi(注册商标)、无线信标等的测量来进行确定。
此外,可以将诸如用户ID的认证信息设置为发动条件,并且可以通过使用诸如蓝牙(注册商标)的接近通信的测量来进行确定。此外,可以将用户的诸如站立、坐下或躺下的姿势、以及用户的诸如火车、自行车或自动扶梯等动作等设置为发动条件,并可以通过使用惯性传感器、摄像装置、接近通信等的测量进行确定。
此外,可以将诸如椅子、桌子、树木、建筑物、房间、风景、场景等周围环境信息设置为发动条件,并且可以通过使用摄像装置、RF标签、无线信标、超声波等的测量进行确定。此外,也可以将诸如身体姿势、运动、呼吸率、脉搏或情绪的状态设置为发动条件,并且通过使用惯性传感器、生物特征传感器等的测量来进行确定。
注意,图33的表中示出的组合的示例是示例,并且发动条件和感测手段不限于该表中所示的那些。
以上已经描述了第五实施方式。
<6.第六实施方式>
顺便提及,还假设为包括在至少一个或更多个场景中的两个或更多个内容元素设置的发动条件相同的情况。例如,在地图上的某个范围内设置发动条件的多个内容元素-内容信息数据集中,可以以交叠的方式设置两个或更多个发动范围以包括地图上的相同位置。
具体地,如图34所示,在地图651上,设置为圆形发动范围的地理围栏661和设置为圆内的圆形发动范围的地理围栏662A至662E相互叠加。
此时,作为再现装置30中的内容元素的再现,例如,在根据预先设置的规则同时再现所有内容元素的情况下,还假设在基于设置的优先级顺序再现一些内容元素时,不再现所有内容元素。
此处,可以通过预先准备在用户场景中满足发动条件的情况下要参考的呈现范围设置用户场景来适当地再现内容元素。
具体地,如图35所示,将例示如下情况,其中将通过TTS声音大声阅读句子被设置为内容元素,在包括家庭等的整个区域的发动范围的发动条件A中,将由角色A进行的话语(语音)指定为呈现范围设置用户场景,并且在包括家庭等的发动范围的发动条件B中,将角色B的话语(语音)指定为呈现范围设置用户场景。
然而,在图35中,下层L1对应于用户场景,并且上层L2对应于呈现范围设置用户场景。此外,在下层L1中,椭圆区域对应于通过地理围栏设置的发动范围。
此时,在角色的活动范围设置场景的发动条件为排他性的情况下,角色B在满足用户场景的发动条件C1的情况下发出话语,并且角色A在满足发动条件C2的情况下发出话语。即,在这种情况下,角色总是一个人。
另一方面,在角色的活动范围设置场景的发动条件不是排他性的情况下,满足用户场景的发动条件C1时的话语由角色A或B执行。可以随机地确定角色A或角色B中的哪一个说话,或可以设置特定的规则。此外,当满足发动条件C2时,仅角色A发出话语。即,在这种情况下,当用户在家时,存在两个角色。
此外,可以基于传感器数据来设置要设置的优先级顺序。例如,在多个内容元素是由多个角色发出的话语(讲话)的情况下,当用户的位置是多个内容元素的发动条件交叠的位置时,假设所有对应的内容元素处于可再现状态。
此时,如图36所示,根据用户600的位置与取决于地理围栏672A至672C的内容元素的发动范围的特定位置671A至671C(例如,圆的中心)之间的相对位置关系以及用户600的身体前方的方向(例如,图中的右上方向)上的传感器数据,仅再现位于身体前方的地理围栏672A的内容元素。
注意,此时,在用户600穿戴连接至再现装置30的立体声耳机的情况下,可以根据用户600的位置与取决于地理围栏672A至672C的内容元素的发动范围的特定位置671A至671C之间的相对位置关系立体地控制(声音图像定位)要再现的声源(例如,语音)的固定位置。
通过上述控制,可以获得在用户600面向的方向上的角色的话语的再现,并且因此,可以根据用户600的身体、头部等的取向来选择通过期望的角色进行的声源(例如,语音)的呈现。
注意,如图37所示,可以根据用户600在地理围栏672A中的位置来改变通过角色进行的声源的音量。例如,可以随着用户600靠近特定位置671A而增大声源的音量,并且随着用户远离特定位置671A而减小声源的音量。
此外,通过将来自用户600的话语命令的接受与发动条件相关联,可以实现引导服务,其中当用户600面向某个方向并提问问题时,该方向上设置的角色呈现信息与其位置有关的信息。
此外,此处,可以参考呈现范围设置用户场景。
具体地,如图38所示,使呈现范围设置用户场景具有用于指定声源设置位置P1至P4的信息以及用于为各个发动条件C1至C4设置发动范围的信息。然而,声源设置位置P1至P4不限于在其中指定发动条件C1至C4的发动范围内的位置。
图38示出了具有共同的发动条件区域CA(图中的阴影线)的四个发动条件C1至C4,并且在各个发动条件C1至C4中设置声源设置位置P1至P4(图中的黑圆圈)。
此时,在用户场景中满足发动条件的情况下,即在用户600进入公共发动条件区域CA的情况下,对满足的所有发动条件执行声源设置位置的搜索。
此处,在找到的声源设置位置P1至P4之中,声源设置位置P2被指定在根据由用户600持有的再现装置30的传感器单元305测量的用户取向信息计算的视角区域VA内。然后,再现与具有指定的声源设置位置P2的发动条件C2相关联的内容元素。
注意,上述控制是在以交叠方式设置两个或更多个发动范围以包括地图上的相同位置的情况下的控制的示例,并且可以执行其他控制。例如,在同时再现所有内容元素的情况下,可以通过执行以下控制,来呈现其中随着用户在发动范围内移动而在相同BGM中再现多个语音的表达,在该控制中,一个内容元素被设置为背景声音,并且其他内容元素被设置为多个语音。
(多个角色布置)
此外,上述控制不限于声音(声)的呈现,并且可以类似地控制通过诸如适用于增强现实(AR)的眼镜型装置的显示装置进行的角色的图像呈现。因此,接下来,参照图39至图45,将描述其中多个角色的布置要针对场景可设置的情况。
图39示出了在要使多个角色的布置可设置的情况下的信息处理系统1的配置的示例。
图39示出了构成图2的信息处理系统1的装置之中的数据管理服务器10和再现装置30。然而,由数据管理服务器10执行的处理的一部分可以由诸如编辑装置20或再现装置30的另一装置执行。
在再现装置30中,控制单元300包括用户位置检测单元341、用户方向检测单元342、语音识别意图理解单元343和内容再现单元344。
用户位置检测单元341基于关于GPS等的信息来检测用户的位置。
用户方向检测单元342基于来自传感器单元305(图5)的传感器数据来检测用户面向的方向。
语音识别意图理解单元343基于用户的话语的语音数据执行语音识别和意图理解处理,并且理解用户的话语的意图。
注意,该语音识别和意图理解处理不仅由控制单元300执行,而且处理的部分或全部还可以由因特网40上的服务器执行。此外,用户的话语的音频数据通过麦克风来收集。
由用户位置检测单元341、用户方向检测单元342和语音识别意图理解单元343处理的传输数据由通信单元304(图5)经由因特网40发送至数据管理服务器10。此外,通信单元304经由因特网40接收从数据管理服务器10发送的响应数据。
内容再现单元344基于接收到的响应数据再现内容元素。当再现内容元素时,不仅可以从扬声器332输出由角色进行的话语(语音),而且还可以在显示器331上显示角色的视频。
在数据管理服务器10中,控制单元100还包括受指示的角色选择单元131、场景处理单元132和响应生成单元133。此外,存储单元103(图3)还存储角色布置DB 161、位置相关信息DB 162和场景DB 163。
通信单元104(图3)接收从再现装置30发送的传输数据。受指示的角色选择单元131基于接收到的传输数据通过参考角色布置DB 161来选择受指示的角色,并将选择的结果提供给场景处理单元132。
如图40所示,在角色布置DB 161中为每个角色设置任意系统和取决于系统的布置场所。
场景处理单元132基于来自受指示的角色选择单元131的选择结果,通过参考位置相关的信息DB 162和场景DB 163来处理场景,并将处理的结果提供给响应生成单元133。
如图41所示,对于作为唯一值的每个信息ID,在位置相关信息DB162中设置类型信息、诸如纬度和经度的位置信息以及关于与类型信息和位置信息相关联的细节的信息。
此外,如图42所示,在场景DB 163中,对于作为唯一值的每个场景ID,设置类型信息和关于与类型信息相关联的细节的信息。
即,可以说,在存储在角色布置DB 161、位置相关信息DB 162和场景DB 163中的多条信息之中,关于角色和细节的信息与内容元素对应,系统、类型信息等与上下文信息对应,并且位置信息与发动条件对应。
响应生成单元133基于来自场景处理单元132的处理结果来生成响应数据。由通信单元104(图3)经由因特网40将响应数据发送至再现装置30。
在如上所述配置的信息处理系统1中,用户可以在场景中设置多个期望的声音角色,相对于指示音频再现的触发的发动条件来检测用户的位置和用户面向的方向,并且可以根据检测结果来切换声音角色。
此处,在目前的情况下,在提供声音角色服务时处理多个声音角色的情况下,难以在角色之间划分作用,并且因此,如图43所示,需要每次都针对声音角色700A至700C中的每一个给出指令,这很麻烦。
另一方面,在信息处理系统1中,当提供声音角色服务时,可以检测用户的位置和方向并根据检测结果切换声音角色,使得可以指示针对其作用被划分的声音角色执行期望动作。因此,很容易指示多个声音角色。
具体地,如图44所示,仅通过从用户900向虚拟空间中的角色700A至700C共同给予指令,角色700A至700C中的每一个根据给予他们的指令来执行操作。
此外,如图45所示,用户600仅通过在虚拟空间中存在角色700C的方向上通过声音提问问题,就能够从角色700C获得对问题的答案。即,角色700C可以识别布置的位置周围的信息,并且换言之,用户可以通过角色700C的存在获得对周围信息的访问权限。
注意,例如,也可以实现声音角色相互交谈的用户场景,并且可以通过排他性处理来增加会话不交叠的处理。此外,可以获取由用户场景中包括的发动条件指示的发动范围周围的环境信息,并可以通过发动范围中指定的声音角色向用户提供声音。
如上所述,在信息处理系统1中,在可以设置多个角色的布置的情况下,当用户明确地指定角色在空间中的位置时,可以指定角色在用户坐标系中的位置,可以指定角色在世界坐标系中的位置(纬度和经度、地标的指定等),或者可以在能够显示角色的诸如再现装置30的装置中指定角色的位置。
例如,通过角色在用户坐标系中的布置,即使在仅有声音的空间中,也可以利用针对作为方向的角色的指令来明确作为指令目标的角色。此外,例如,通过由用户在世界坐标系中给出指令,可以容易地执行每个角色的作用划分。
(处理的整体图像)
接下来,将参照图46描述第六实施方式中的信息处理的整体图像。
图46所示的信息处理通过信息处理系统1中的数据管理服务器10(的控制单元100)与再现装置30(的控制单元300)之间的至少协作来实现。
如图46所示,在信息处理系统1中,获取通过实时感测得到的传感器数据(S601)。确定从传感器数据获得的信息是否满足在用户场景DB153中累积的用户场景的发动条件(S602)。
在步骤S602的确定处理中确定为满足发动条件的情况下,进一步确定是否仅存在满足发动条件的一个条件(S603)。
在步骤S603的确定处理中确定仅存在一个条件的情况下,呈现与满足发动条件的上下文信息对应的内容元素(S604)。
此外,在步骤S603的确定处理中确定为存在多个条件的情况下,参照用于确定要呈现内容元素的顺序的规则(S605),并且根据规则呈现与满足对应发动条件的上下文信息对应的内容元素(S604)。
作为该规则,可以根据借助于传感器数据估计的用户的取向从多个内容元素中确定要呈现的内容元素的顺序(S611、S605)。
此外,如图38所示,可以根据借助于传感器数据估计的用户的取向,呈现特定取向上的仅内容元素(S621)。此外,如图35所示,可以根据借助于传感器数据估计的用户的位置,呈现设置在特定位置处的仅内容元素(S631)。
例如,当用户的取向为第一方向时,可以指定与第一角色对应的内容元素并将其呈现给用户,并且当用户的取向为第二方向时,可以指定与第二角色对应的内容元素并将其呈现给用户。
以上已经描述了第六实施方式。
<7.第七实施方式>
内容元素的再现装置30可以是单个装置,或者多个装置可以相互结合操作。
作为再现装置30是单个装置的情况,例如,假设从由用户在户外穿戴的立体声耳机再现声音的情况。
此时,如果可以将用户周围的环境声音叠加在内容元素上并且同时呈现,则可以进一步增强所提供的内容元素与用户周围的真实世界之间的一致性感和融合感。用于提供用户周围的环境声音的手段包括例如可以直接将环境声音传播到耳朵的开放式耳机、将通过诸如麦克风的声音收集功能(尽管其是封闭式的)获取的环境声音叠加为声音数据的方法等。
此外,为了提供伴随用户的诸如步行的移动的接近/分离感觉的一致性,可以呈现在开始或停止再现内容元素时逐渐增大或减小音量的效果(淡入、淡出)。
另一方面,作为包括再现装置30的多个装置协作地呈现内容元素的情况,例如,假设由布置在室内设施中的多个装置再现至少一个内容元素的情况。
此时,可以将一个装置分配给一个内容元素,并且可以将多个装置分配给一个内容元素。
例如,在用户周围布置三个扬声器,一个分配给角色的语音,另一个分配给咖啡馆的噪音,并且剩下的一个分配给背景音乐并且再现,由此可以呈现立体声音环境。
还可以从由用户穿戴的耳机等再现上述第六实施方式中的声音角色(图45等)的语音。此时,如果耳机是开放式的,则可以同时收听来自用户周围的其他扬声器的声音,使得可以协作地呈现内容元素。
此外,可以在特定位置处对声音角色的声音执行声音图像定位,并且在与该位置对应的周边显示器上呈现声音角色的外观。该外观呈现服务可以被提供为付费服务。
替选地,可以通过检测安装在三个扬声器之中最近位置处的扬声器来再现角色A的语音,并且可以使再现跟随扬声器中的一个扬声器,以根据用户的移动从最近的扬声器再现。
为了实现这样的操作,装置包括用于掌握装置的位置和用户的位置或另一装置的位置的手段。作为这种手段的示例,安装了具有将发光二极管(LED)的闪烁代码传送至安装在室内的每个像素的功能的摄像装置,并且每个再现装置都具有利用至少一个或更多个LED的编码的发光传输功能,使得可以同时获取每个装置的ID和假设的布置状况。
此外,可以由再现装置30再现的功能作为装置功能信息预先登记在诸如装置功能信息DB、场景DB 152等的专用数据库中。此处,装置功能描述了可以由具有一个ID的装置实现的再现功能,并且包括其中一个功能被分配给一个装置的功能(例如,扬声器的“音频再现”)以及其中多个功能被分配给一个装置的功能(例如,电视接收器的“图像显示”和“音频再现”)以及灯泡型扬声器的“照度调整”和“音频再现”。
通过使用装置功能信息,不仅可以指定用户附近的再现装置,而且还可以将电视接收器用作例如仅用于“音频再现”的装置。为了实现这一点,在一个装置中具有多个功能的装置(例如电视接收器)具有一种机制,在该机制中,取消作为常规装置内部的功能组合,并基于外部协作信号单独和独立地执行每个功能。
(处理的整体图像)
接下来,将参照图47描述第七实施方式中的信息处理的整体图像。
图47所示的信息处理至少通过数据管理服务器10(的控制单元100)和包括信息处理系统1中的再现装置30(的控制单元300)的多个装置之间的协作来实现。
如图47所示,在信息处理系统1中,获取通过实时感测得到的传感器数据(S701),并且确定从传感器数据获得的信息是否满足用户场景的发动条件(S702)。
在步骤S702的确定处理中确定满足发动条件的情况下,处理进行至步骤S703。然后,在信息处理系统1中,执行搜索能够呈现内容元素的装置(S703),并且根据搜索的结果来控制至少一个或更多个装置(S704)。
因此,从要控制的一个或更多个装置呈现与满足发动条件的上下文信息对应的内容元素(S705)。
此外,当呈现内容元素时,可以从由用户穿戴的耳机(穿戴在用户的耳朵上的电声转换器)输出内容元素之中的代理的声音(S711),并且显示代理在显示器上的外观(S712)。
如上所述,可以通过一个或更多个输出模态在一个或更多个装置上呈现内容元素。
上面已经描述了第七实施方式。
<8.第八实施方式>
通过与外部服务提供商共享由用户当前使用的场景(用户场景)和“内容元素-上下文信息”数据集的细节,可以协同地提供使用构成场景的内容和上下文的服务。
作为示例,此处,将描述通过与餐厅共享内容元素来进行服务协作的示例。
在使用包括某个动画的内容元素和上下文信息的场景的用户当前正在使用场景的情况下,向餐厅提供场景的细节和指示正在使用场景的信息。
在该餐厅中,预先准备了与动画有关的诸如蛋包饭的菜单,并且假设显示由使用该场景的用户在餐厅中打开的电子菜单的菜单的场景。
此外,将描述通过与英语会话补习学校的上下文共享的服务的示例,作为另一示例。
如以上示例中,也可以创建如下场景,并将场景提供给用户,在该场景中,由英语会话补习学校举办的英语会话小品的音频数据用作内容元素,并且将执行会话的状况设置为上下文。
此外,此处,通过仅共享由用户在使用上述动画的“内容元素-上下文信息”数据集时设置的上下文信息并根据上下文提供英语会话小品,可以以较低的成本提供服务。此外,可以以互相拓宽用户的接触点的形式来执行服务设计,例如用动画角色大声地阅读小品。
类似地,还可以设置音乐流分发服务与餐厅、英语会话补习学校等之间的协作。
如上所述,当使用分发的音乐或其一部分被用作内容元素的场景的用户进入餐厅时,提供与场景的世界观相匹配的饮料。此外,同时提供适合不包括歌词的音乐上下文的英语会话小品。此外,可以新创建和提供音乐和英语会话相结合的场景,或者可以用由用户使用的动画角色执行音乐之间的解释、新音乐的介绍等。
此外,可以获取在由另一服务创建的场景中设置的用户的日常生活空间中的上下文信息的分发状态,并且可以自动提供取决于上下文的音乐作为内容元素。
通过该功能,在具有由用户设置的上下文信息的场所,用户可以例如每天接收与上下文相适应的音乐或音乐的一部分,使得可以避免用户每天厌烦收听相同音乐的状况。
此外,通过从用户获得诸如“喜欢”的反馈,可以通过不断地获取关于上下文信息和内容元素的匹配程度的信息并执行机器学习来提高准确度。
(处理的整体图像)
接下来,将参照图48描述第八实施方式中的信息处理的整体图像。
图48所示的信息处理至少通过在信息处理系统1中由外部服务提供的服务器等与数据管理服务器10(的控制单元100)和再现装置30(的控制单元300)之间的协作来实现。
如图48所示,在信息处理系统1中,从包括多个媒体的内容中提取至少一个或更多个内容元素(S801),向每个内容元素给出上下文信息,并且内容元素被累积在内容元素-上下文信息DB 151中(S802)。
然后,一个或更多个“内容元素-上下文信息”数据集被累积在场景DB 152中作为场景(S803)。此外,在生成用户场景的情况下,用户场景被累积在用户场景DB 153中(S804)。
可以将以这种方式积累的“内容元素-上下文信息”数据集、场景或用户场景提供给外部服务(S805)。因此,诸如音乐流分发服务的外部服务的运营商可以控制由运营商提供的服务以匹配场景、用户场景等(S811)。
此外,在信息处理系统1中,获取通过实时感测得到的传感器数据(S821),并且确定从传感器数据获得的信息是否满足用户场景的发动条件(S822)。
在步骤S822的确定处理中确定满足发动条件的情况下,呈现与满足发动条件的上下文信息对应的内容元素(S823)。
此时,在向外部服务提供场景、用户场景等的情况下,选择适合于与场景、用户场景等相关联的内容元素的服务元素(S831),并且服务元素与内容元素同时呈现(S832)。
例如,在音乐流分发服务中,可以选择与与用户场景相关联的内容元素(音乐)对应的声音角色(S841),并且可以将介绍信息呈现为在服务中介绍音乐的DJ(S842)。
以上已经描述了第八实施方式。
<9.第九实施方式>
由用户创建的场景(用户场景)可以通过使用共享手段在用户之间共享。
此处,诸如社交联网服务(SNS)的社交媒体用作共享手段,例如针对每个SNS账号公开由用户创建的场景(用户场景),并且可以根据内容元素的相似度、上下文的相似度、发动条件设置的相似度等来执行搜索和分类。
此处,关于发动条件的设置的相似度,可以使用地图应用作为共享手段,并且可以指定并呈现包括用户的当前位置作为发动条件的场景,由此可以允许用户发现新的场景。
可以获得关于剧本的内容元素所基于的作品或作者的信息、关于提取内容元素并给出上下文的作者的信息以及关于已设置与场景相关联的发动条件的用户的信息,并且获得场景的用户可以跟随喜欢的作者或用户。
(处理的整体图像)
接下来,将参照图49描述第九实施方式中的信息处理的整体图像。
图49所示的信息处理至少通过社交媒体提供的服务器等与信息处理系统1的数据管理服务器10(的控制单元100)和再现装置30(的控制单元300)之间的协作来实现。
如图49所示,在信息处理系统1中,从包括多个媒体的内容中提取至少一个或更多个内容元素(S901),并且向每个内容元素给予上下文信息(S902)。
然后,一个或更多个“内容元素-上下文信息”数据集被累积在场景DB 152中作为场景(S903)。此外,在生成用户场景的情况下,用户场景被累积在用户场景DB 153中(S904)。
可以将以这种方式积累的场景和用户场景上传到因特网40上的社交媒体服务器(S905)。因此,另一个用户可以浏览在社交媒体上公开的场景或用户场景(S906)。注意,用户可以跟随关于获取的场景的喜欢的作者、用户等。
在步骤S911至S913中,在通过实时感测得到的传感器数据满足用户场景的发动条件的情况下,呈现与满足发动条件的上下文信息对应的内容元素。
上面已经描述了第九实施方式。
<10.第十实施方式>
在上述实施方式中,主要描述了音频数据和视频数据,但是构成内容元素的数据不限于音频和视频,并且包括例如具有能够呈现的装置的格式和数据,例如图像、触感、气味等,其中,通过使用AR眼镜等再现运动图像,或通过使用具有振动装置的鞋子呈现地面的触感。
(处理的整体图像)
接下来,将参照图50描述第十实施方式中的信息处理的整体图像。
图50所示的信息处理由信息处理系统1中的数据管理服务器10(的控制单元100)执行。
如图50所示,在信息处理系统1中,从包括多个媒体的内容中提取至少一个或更多个内容元素(S1001),并且多个媒体可以包括可以由再现装置30呈现的触觉数据或气味数据中的至少一个的数据。
上面已经描述了第十实施方式。
<11.第十一实施方式>
顺便提及,由于还假设呈现的内容元素不适合用户的情况,因此可以根据来自用户的反馈来执行将用户场景切换到另一场景的控制。因此,用户可以可靠地接收适合于用户的内容元素的呈现。
(处理的整体图像)
将参照图51描述第十一实施方式中的信息处理的整体图像。
图51所示的信息处理通过信息处理系统1中的数据管理服务器10(的控制单元100)与再现装置30(的控制单元300)之间的至少协作来实现。
如图51所示,在信息处理系统1中,从包括多个媒体的内容中提取至少一个或更多个内容元素(S1101),并且向每个内容元素给予上下文信息(S1102)。
在场景DB 152中累积一个或更多个“内容元素-上下文信息”数据集作为场景。然后,为场景DB 152中累积的场景设置发动条件,由此生成用户场景(S1103)。
此外,在信息处理系统1中,获取通过实时感测得到的传感器数据(S1104),并且确定从传感器数据获得的信息是否满足用户场景的发动条件(S1105)。
在步骤SS1105的确定处理中确定满足发动条件的情况下,呈现与满足发动条件的上下文信息对应的内容元素(S1106)。
此后,在输入来自用户的反馈的情况下(S1107),根据反馈改变用户场景(S1108)。因此,在用户场景切换到另一场景的状态下重复上述步骤S1104至S1106,并且可以呈现更适合用户的内容元素。
此外,通过分析从用户输入的反馈来估计用户对内容元素的偏好(S1111),并且根据用户的偏好推荐用户场景(S1121)。因此,在切换到推荐的用户场景的状态下,重复上述步骤S1104至S1106,并且可以呈现更适合用户的偏好的内容元素(例如,喜欢的声音角色)。
注意,此处,代替推荐用户场景,可以推荐内容元素本身,并可以呈现推荐的内容元素。
上面已经描述了第十一实施方式。
<12.修改例>
在以上描述中,已经描述了信息处理系统1包括数据管理服务器10、编辑装置20和再现装置30-1至30-N的情况;然而,例如,可以使用其他配置,例如添加其他装置。
具体地,作为一个信息处理装置的数据管理服务器10可以通过被划分为专用数据库服务器、用于分发场景、内容元素等的分发服务器而被配置为多个信息处理装置。类似地,编辑装置20或再现装置30不仅可以被配置为一个信息处理装置,而且可以被配置为多个信息处理装置。
此外,在信息处理系统1中,哪个装置包括构成数据管理服务器10、编辑装置20和再现装置30中的每个装置的部件(控制单元)是任意的。例如,使用边缘计算技术,再现装置30可以执行由上述数据管理服务器10进行的信息处理的一部分处理,或者连接至靠近再现装置30的网络(网络的外围部分)的边缘服务器可以执行该处理的部分。
此外,系统是指多个构成(装置、模块(部件)等)的集合,并且所有构成是否都在同一机柜中并不重要。因此,容纳在单独的机柜中并经由网络彼此连接的多个装置和在一个机柜中容纳多个模块的一个装置都是系统。
此外,每个部件的通信形式也是任意的。换言之,部件可以经由因特网40彼此连接或者可以经由局域网(局域网(LAN)或广域网(WAN))彼此连接。此外,部件可以通过有线或无线地彼此连接。
注意,常规技术主要旨在通过使信息检索工作和由用户进行的装置操作自动化来实现使用的便利。在这种类型的自动化中,通常确定由系统限定的上下文分类是否匹配通过感测用户的动作或状态而类推的上下文。
这样的系统包括以下(a)至(d)中描述的元素,并且其特征在于由系统限定的上下文是根据用户的动作、操作和身体状况的感测结果指定的。
(a)从用户动作的感测数据中直接分析和识别上下文
(b)识别由用户访问的内容,并且根据对属性数据和内容细节的分析识别上下文
(c)具有上下文和内容的组合的数据库
(d)假设具有将过感测数据与上下文相关联的数据库
然而,在常规技术中,在用户的动作目的在服务中固定并且工作或操作基于某个规则的情况下,可以在系统侧限定用户的上下文,使得用户可以容易地同意由系统限定的上下文。
另一方面,在内容被自适应地分发到用户的日常生活并被使得协作的同时呈现内容的情况下,用户的上下文是多样的,并且每个独有的环境动态地改变,并且因此用户难以接收在系统侧限定的上下文。
此处,由用户感受到的与上下文的一致感是主观的和演进的,并且通过关于在系统侧限定的上下文限定的后验数据的客观和统计处理来预测和适应与上下文的一致感是极其困难的。要做到这一点,需要累积大量数据,并且在开始服务之前的投资变成不现实的规模。
此外,在不改变常规服务中使用的提供格式的情况下,将由常规技术呈现的内容呈现给用户。例如,通过识别上下文选择并提供的数据和音乐按原样呈现给用户,而不改变对服务的分发形式。
然而,在呈现给用户的日常生活时,由于上述提供格式是在常规的观看行为的前提下设计的,因此它可能是阻碍日常生活中的自由多样的用户动作的因素。例如,诸如电影或音乐的内容呈要求观众坐在画面和扬声器前面并且观看内容的格式,并且如果内容是在常规观看行为的前提下设计的,则存在内容阻碍用户动作的可能性。
此外,由于常规装置也是在常规观看行为的前提下设计的,因此优化了个性化装置来提供个性化的服务,并且这些常规装置通常不具有在适应一些功能的同时协作地适应用户的日常行为的机制。
例如,诸如智能电话的便携装置通过追求便携性以便携性适应用户的日常行为,但是以画面为中心的观看行为的前提仍然是常规的。为此,例如,由于其剥夺视觉和听觉的特性,在普通道路或公共设施中行走如所谓的“智能电话行走”那样被认为是危险的。
注意,上述专利文献1公开了一种装置,该装置估计由用户视觉上识别的地标并通过使用该信息提供指示用户的行进方向的导航服务,但未公开或启示可以如本技术中那样为上下文设置每个用户的发动条件。
此外,专利文献2公开了一种系统,该系统从内容项目中提取上下文信息和内容信息,生成索引,并响应于用户的上下文和用户的查询的细节而生成推荐。然而,在专利文献2中,上下文信息是搜索、最近访问的文献、操作中的应用和活动的时间,并且不包括用户的物理位置(参见段落[0011])。
此外,专利文献3公开了一种处理装置,该处理装置当内容包括作为多个对象的多个人的面部(包括声音)时,该处理装置自动执行编辑以将被限定为上下文信息的仅两个人的面部放大到指定大小,但是未公开或启示如在本技术中那样基于内容将上下文和声音彼此相关联地记录和再使用。
此外,专利文献4公开了基于内容的广播时间表和广播历史信息预先学习适合于观看内容的观看者的上下文(时间区域、星期几等)与内容的特征值之间的对应关系,并生成“内容的上下文特征值”的对应表,由此为新内容生成指示适合于观看的上下文的信息,并将其作为元数据提供。然而,专利文献4未公开从现有内容中切出内容。
此外,在专利文献5中,记录了从指示用户的状态的感测数据(运动、声音、心跳、感觉等)中提取的上下文信息和由用户当时观看的所有视频,并且当通过使用指示用户当前状态的上下文信息提取取决于用户的状态的内容,并且生成“足球的广播期间用户兴奋并抬高臂”的上下文信息,可以提取过去记录的内容并根据心率、臂移动、和诸如足球和兴奋的关键词将其提供给用户。然而,专利文献5未公开从现有内容中提取内容和上下文。
如上所述,即使使用专利文献1至5中公开的技术,也很难说当使用关于上下文的信息提供服务时可以提供良好的用户体验,并且需要提供更好的用户体验。
因此,在本技术中,当通过使用关于上下文的信息提供服务时,可以由生活在不同场所的每个用户使用一个场景,使得可以提供更好的用户体验。
<13.计算机的配置>
上述一系列处理步骤(每个实施方式中的信息处理,例如图6所示的第一实施方式中的信息处理)可以由硬件或软件来执行。在通过软件执行一系列处理步骤的情况下,构成软件的程序被安装在每个装置的计算机中。图52是示出通过程序执行上述一系列处理步骤的计算机的硬件的配置示例的框图。
在计算机中,中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004彼此连接。此外,输入/输出接口1005连接至总线1004。输入/输出接口1005连接至输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010。
输入单元1006包括麦克风、键盘、鼠标等。输出单元1007包括扬声器、显示器等。记录单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动可移除记录介质1011,例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中,CPU 1001经由输入/输出接口1005和总线1004将ROM1002或记录单元1008中记录的程序加载并执行到RAM 1003,由此执行上述一系列处理步骤。
由计算机(CPU 1001)执行的程序可以通过例如将程序记录在作为封装介质的可移除记录介质1011等中来提供。此外,可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
在计算机中,通过将可移除记录介质1011安装至驱动器1010可以经由输入/输出接口1005将程序安装至记录单元1008。此外,可以通过经由有线或无线传输介质接收通信单元1009来将程序安装到记录单元1008。此外,程序可以预先安装到ROM 1002或记录单元1008中。
此处,在本说明书中,计算机根据程序执行的处理不必按照流程图中描述的顺序按时间顺序执行。即,由计算机根据程序执行的处理还包括并行或单独执行的处理(例如,并行处理或者由对象进行的处理)。此外,程序可以由一个计算机(处理器)处理,或者可以经受由多个计算机进行的分布式处理。
注意,本技术的实施方式不限于上述实施方式,并且在不脱离本技术的范围的情况下,可以进行各种修改。
此外,每个实施方式中的信息处理的每个步骤可以由一个装置执行,或者可以由多个装置共享和执行。此外,在一个步骤中包括多个处理的情况下,在一个步骤中包括的多个处理可以通过在多个装置中被共享而不是由一个装置执行来执行。
注意,本技术可以具有如下配置。
(1)一种信息处理系统,包括:
控制单元,其执行控制,使得:
上下文信息预先与内容元素相关联;
对于用户中的每一个,能够至少为所述上下文信息设置发动条件,并且能够生成包括所述上下文信息和所述发动条件的数据集的用户场景;以及
当通过实时感测用户获得的传感器数据满足在所述用户场景中设置的发动条件时,向所述用户呈现与取决于所述发动条件的上下文信息相关联的内容元素。
(2)根据(1)所述的信息处理系统,其中,
所述控制单元:
从包括多个媒体的内容中提取包括至少一些媒体的内容元素;
基于所述内容来生成与所述内容元素对应的上下文信息;以及
生成关联数据库,在所述关联数据库中,所述内容元素与所述上下文信息彼此相关联地累积。
(3)根据(2)所述的信息处理系统,其中,
所述控制单元生成场景数据库,在所述场景数据库中,包括所述内容元素和所述上下文信息的数据集基于特定主题被打包并且被累积。
(4)根据(2)所述的信息处理系统,其中,
所述内容元素是流分发内容的一部分,并且
与所述上下文信息相关联地累积指示所述内容的ID和再现范围的信息。
(5)根据(4)所述的信息处理系统,其中,
所述控制单元在再现所述内容元素之前,呈现包括与所述上下文信息对应的特定声音角色的其他内容元素。
(6)根据(2)至(5)中任一项所述的信息处理系统,其中,
所述控制单元通过对在所述关联数据库中累积的内容元素与所述上下文信息之间的关系执行机器学习,将内容信息给予至新的内容元素。
(7)根据(3)所述的信息处理系统,其中,
所述控制单元:
呈现包括所述内容元素和所述上下文信息的数据集的场景、连同地图信息;以及
呈现创建场景的创建者能够在地图上设置预定区域的接口,作为与所述上下文信息对应的发动条件的默认值。
(8)根据(1)至(7)中任一项所述的信息处理系统,其中,
所述控制单元:
根据包括第一媒体的内容生成与所述第一媒体不同的第二媒体来作为内容元素;
基于所述内容来生成与所述内容元素对应的上下文信息;以及
生成关联数据库,在所述关联数据库中,所述内容元素与所述上下文信息彼此相关联地累积。
(9)根据(8)所述的信息处理系统,其中,
所述第一媒体包括文本,并且
所述第二媒体包括文本到语音(TTS)声音。
(10)根据(8)或(9)所述的信息处理系统,其中,
所述控制单元:
预先对所述第一媒体与所述第二媒体之间的关系执行机器学习;以及
基于所述机器学习的结果来根据所述第一媒体生成所述第二媒体。
(11)根据(1)至(10)中任一项所述的信息处理系统,其中,
所述控制单元:
针对所述上下文信息,使得能够设置取决于通过当前感测用户获得的传感器数据的发动条件,并且生成包括多个所述上下文信息和所述发动条件的数据集的用户场景数据库。
(12)根据(11)所述的信息处理系统,其中,
所述控制单元设置取决于捕获的图像数据的发动条件。
(13)根据(11)所述的信息处理系统,其中,
所述控制单元根据所述用户的特性操作来设置发动条件,所述发动条件取决于所述用户的特性操作时的传感器数据。
(14)根据(11)至(13)中任一项所述的信息处理系统,其中,
所述控制单元:
对所述上下文信息与所述发动条件之间的关系执行机器学习;以及
输出取决于所述机器学习的结果的信息。
(15)根据(14)所述的信息处理系统,其中,
所述控制单元根据所述机器学习的结果来针对特定发动条件生成上下文信息。
(16)根据(14)所述的信息处理系统,其中,
所述控制单元根据所述机器学习的结果,针对特定上下文信息设置与所述用户对应的发动条件。
(17)根据(11)至(16)中任一项所述的信息处理系统,其中,
在进行感测时,获取能够设置时间发动条件或空间发动条件或取决于所述用户的动作的发动条件的数据作为所述传感器数据。
(18)根据(1)至(17)中任一项所述的信息处理系统,其中,
所述控制单元:
呈现包括预先彼此相关联的所述内容元素和所述上下文信息的数据集的场景、连同地图信息;以及
呈现所述用户能够在地图上设置预定区域的接口,作为与所述上下文信息对应的发动条件。
(19)根据(1)至(18)中任一项所述的信息处理系统,其中,
当为多条上下文信息设置相同的发动条件时,所述控制单元根据预定规则向所述用户呈现与所述多条上下文信息对应的多个内容元素。
(20)根据(19)所述的信息处理系统,其中,
所述控制单元根据借助于所述传感器数据估计的所述用户的取向从所述多个内容元素中指定一个内容元素,并且将所述一个内容元素呈现给所述用户。
(21)根据(20)所述的信息处理系统,其中,
所述控制单元:
当借助于所述传感器数据估计的所述用户的取向是第一取向时,指定与第一角色对应的内容元素并且呈现给所述用户;以及
当所述用户的取向是第二取向时,指定与第二角色对应的内容元素并且呈现给所述用户。
(22)根据(21)所述的信息处理系统,其中,
所述控制单元根据所述第一角色或所述第二角色的位置提供与所述第一角色或所述第二角色的场所相关联的信息。
(23)根据(1)至(22)中任一项所述的信息处理系统,其中,
所述控制单元:
当所述传感器数据满足所述发动条件时,搜索能够在所述用户的当前位置周围呈现与取决于所述发动条件的上下文信息相关联的内容元素的装置;以及
控制所述装置以使所述内容元素呈现给所述用户。
(24)根据(23)所述的信息处理系统,其中,
所述控制单元:
控制穿戴在所述用户的耳朵上的电声转换器,以使包括在所述内容元素中的代理的声音呈现给所述用户;以及
控制布置在所述用户周围的显示器,以使包括在所述内容元素中的代理的外观呈现给所述用户。
(25)根据(1)至(24)中任一项所述的信息处理系统,其中,
所述控制单元经由通信单元将特定用户场景提供给服务提供商。
(26)根据(25)所述的信息处理系统,其中,
所述控制单元通过经由通信单元将所述特定用户场景提供给音乐流分发服务提供商,将和与所述特定用户场景相关联的内容元素对应的声音角色设置为在音乐流分发服务中介绍音乐的唱片骑师(DJ)。
(27)根据(1)至(24)中任一项所述的信息处理系统,其中,
所述控制单元经由通信单元将所述用户场景上传至社交媒体,并且使得能够与其他用户分享所述用户场景。
(28)根据(1)至(27)中任一项所述的信息处理系统,其中,
所述内容元素包括能够由装置呈现的触觉数据及气味数据中的至少一个。
(29)根据(1)至(28)中任一项所述的信息处理系统,其中,
所述控制单元根据来自所述内容元素被呈现给的所述用户的反馈,将所述用户场景切换至其他用户场景。
(30)根据(29)所述的信息处理系统,其中,
所述控制单元通过分析所述反馈来估计所述用户对所述内容元素的偏好。
(31)根据(30)所述的信息处理系统,其中,
所述控制单元根据所述用户的偏好来推荐所述内容元素或所述用户场景。
(32)一种信息处理方法,其中,
信息处理装置执行控制,使得:
上下文信息预先与内容元素相关联;
对于用户中的每一个,能够至少为所述上下文信息设置发动条件,并且能够生成包括所述上下文信息和所述发动条件的数据集的用户场景;以及
当通过实时感测用户获得的传感器数据满足在所述用户场景中设置的发动条件时,向所述用户呈现与取决于所述发动条件的上下文信息相关联的内容元素。
(33)一种能够由计算机读取的记录介质,所述记录介质记录用于使所述计算机充当以下的程序:
控制单元,其执行控制,使得:
上下文信息预先与内容元素相关联;
对于用户中的每一个,能够至少为所述上下文信息设置发动条件,并且能够生成包括所述上下文信息和所述发动条件的数据集的用户场景;以及
当通过实时感测用户获得的传感器数据满足在所述用户场景中设置的发动条件时,向所述用户呈现与取决于所述发动条件的上下文信息相关联的内容元素。
附图标记列表
1 信息处理系统
10 数据管理服务器
20 编辑装置
30、30-1至30-N 再现装置
40 因特网
100 控制单元
101 输入单元
102 输出单元
103 存储单元
104 通信单元
111 数据管理单元
112 数据处理单元
113 通信控制单元
131 呈现的角色选择单元
132 场景处理单元
133 响应生成单元
151 内容元素-上下文信息DB
152 场景DB
153 用户场景DB
161 角色布置DB
162 位置相关信息DB
163 场景DB
200 控制单元
201 输入单元
202 输出单元
203 存储单元
204 通信单元
211 编辑处理单元
212 呈现控制单元
213 通信控制单元
221 鼠标
222 键盘
231 显示器
232 扬声器
300 控制单元
301 输入单元
302 输出单元
303 存储单元
304 通信单元
305 传感器单元
306 摄像装置单元
307 输出端子
308 电源单元
311 再现处理单元
312 呈现控制单元
313 通信控制单元
321 按钮
322 触摸面板
331 显示器
332 扬声器
341 用户位置检测单元
342 用户方向检测单元
343 语音识别意图理解单元
344 内容再现单元
1001 CPU

Claims (33)

1.一种信息处理系统,包括:
控制单元,其执行控制,使得:
上下文信息预先与内容元素相关联;
对于用户中的每一个,能够至少为所述上下文信息设置发动条件,并且能够生成包括所述上下文信息和所述发动条件的数据集的用户场景;以及
当通过实时感测用户获得的传感器数据满足在所述用户场景中设置的发动条件时,向所述用户呈现与取决于所述发动条件的上下文信息相关联的内容元素。
2.根据权利要求1所述的信息处理系统,其中,
所述控制单元:
从包括多个媒体的内容中提取包括至少一些媒体的内容元素;
基于所述内容来生成与所述内容元素对应的上下文信息;以及
生成关联数据库,在所述关联数据库中,所述内容元素与所述上下文信息彼此相关联地累积。
3.根据权利要求2所述的信息处理系统,其中,
所述控制单元生成场景数据库,在所述场景数据库中,包括所述内容元素和所述上下文信息的数据集基于特定主题被打包并且被累积。
4.根据权利要求2所述的信息处理系统,其中,
所述内容元素是流分发内容的一部分,并且
与所述上下文信息相关联地累积指示所述内容的ID和再现范围的信息。
5.根据权利要求4所述的信息处理系统,其中,
所述控制单元在再现所述内容元素之前,呈现包括与所述上下文信息对应的特定声音角色的其他内容元素。
6.根据权利要求2所述的信息处理系统,其中,
所述控制单元通过对在所述关联数据库中累积的内容元素与所述上下文信息之间的关系执行机器学习,将内容信息给予至新的内容元素。
7.根据权利要求3所述的信息处理系统,其中,
所述控制单元:
呈现包括所述内容元素和所述上下文信息的数据集的场景、连同地图信息;以及
呈现创建场景的创建者能够在地图上设置预定区域的接口,作为与所述上下文信息对应的发动条件的默认值。
8.根据权利要求1所述的信息处理系统,其中,
所述控制单元:
根据包括第一媒体的内容生成与所述第一媒体不同的第二媒体来作为内容元素;
基于所述内容来生成与所述内容元素对应的上下文信息;以及
生成关联数据库,在所述关联数据库中,所述内容元素与所述上下文信息彼此相关联地累积。
9.根据权利要求8所述的信息处理系统,其中,
所述第一媒体包括文本,并且
所述第二媒体包括文本到语音(TTS)声音。
10.根据权利要求8所述的信息处理系统,其中,
所述控制单元:
预先对所述第一媒体与所述第二媒体之间的关系执行机器学习;以及
基于所述机器学习的结果来根据所述第一媒体生成所述第二媒体。
11.根据权利要求1所述的信息处理系统,其中,
所述控制单元:
针对所述上下文信息,使得能够设置取决于通过当前感测用户获得的传感器数据的发动条件,并且生成包括多个所述上下文信息和所述发动条件的数据集的用户场景数据库。
12.根据权利要求11所述的信息处理系统,其中,
所述控制单元设置取决于捕获的图像数据的发动条件。
13.根据权利要求11所述的信息处理系统,其中,
所述控制单元根据所述用户的特性操作来设置发动条件,所述发动条件取决于所述用户的特性操作时的传感器数据。
14.根据权利要求11所述的信息处理系统,其中,
所述控制单元:
对所述上下文信息与所述发动条件之间的关系执行机器学习;以及
输出取决于所述机器学习的结果的信息。
15.根据权利要求14所述的信息处理系统,其中,
所述控制单元根据所述机器学习的结果来针对特定发动条件生成上下文信息。
16.根据权利要求14所述的信息处理系统,其中,
所述控制单元根据所述机器学习的结果,针对特定上下文信息设置与所述用户对应的发动条件。
17.根据权利要求11所述的信息处理系统,其中,
在进行感测时,获取能够设置时间发动条件或空间发动条件或取决于所述用户的动作的发动条件的数据作为所述传感器数据。
18.根据权利要求1所述的信息处理系统,其中,
所述控制单元:
呈现包括预先彼此相关联的所述内容元素和所述上下文信息的数据集的场景、连同地图信息;以及
呈现所述用户能够在地图上设置预定区域的接口,作为与所述上下文信息对应的发动条件。
19.根据权利要求1所述的信息处理系统,其中,
当为多条上下文信息设置相同的发动条件时,所述控制单元根据预定规则向所述用户呈现与所述多条上下文信息对应的多个内容元素。
20.根据权利要求19所述的信息处理系统,其中,
所述控制单元根据借助于所述传感器数据估计的所述用户的取向从所述多个内容元素中指定一个内容元素,并且将所述一个内容元素呈现给所述用户。
21.根据权利要求20所述的信息处理系统,其中,
所述控制单元:
当借助于所述传感器数据估计的所述用户的取向是第一取向时,指定与第一角色对应的内容元素并且呈现给所述用户;以及
当所述用户的取向是第二取向时,指定与第二角色对应的内容元素并且呈现给所述用户。
22.根据权利要求21所述的信息处理系统,其中,
所述控制单元根据所述第一角色或所述第二角色的位置提供与所述第一角色或所述第二角色的场所相关联的信息。
23.根据权利要求1所述的信息处理系统,其中,
所述控制单元:
当所述传感器数据满足所述发动条件时,搜索能够在所述用户的当前位置周围呈现与取决于所述发动条件的上下文信息相关联的内容元素的装置;以及
控制所述装置以使所述内容元素呈现给所述用户。
24.根据权利要求23所述的信息处理系统,其中,
所述控制单元:
控制穿戴在所述用户的耳朵上的电声转换器,以使包括在所述内容元素中的代理的声音呈现给所述用户;以及
控制布置在所述用户周围的显示器,以使包括在所述内容元素中的代理的外观呈现给所述用户。
25.根据权利要求1所述的信息处理系统,其中,
所述控制单元经由通信单元将特定用户场景提供给服务提供商。
26.根据权利要求25所述的信息处理系统,其中,
所述控制单元通过经由通信单元将所述特定用户场景提供给音乐流分发服务提供商,将和与所述用户场景相关联的内容元素对应的声音角色设置为在音乐流分发服务中介绍音乐的唱片骑师(DJ)。
27.根据权利要求1所述的信息处理系统,其中,
所述控制单元经由通信单元将所述用户场景上传至社交媒体,并且使得能够与其他用户分享所述用户场景。
28.根据权利要求1所述的信息处理系统,其中,
所述内容元素包括能够由装置呈现的触觉数据及气味数据中的至少一个。
29.根据权利要求1所述的信息处理系统,其中,
所述控制单元根据来自所述内容元素被呈现给的所述用户的反馈,将所述用户场景切换至其他用户场景。
30.根据权利要求29所述的信息处理系统,其中,
所述控制单元通过分析所述反馈来估计所述用户对所述内容元素的偏好。
31.根据权利要求30所述的信息处理系统,其中,
所述控制单元根据所述用户的偏好来推荐所述内容元素或所述用户场景。
32.一种信息处理方法,其中,
信息处理装置执行控制,使得:
上下文信息预先与内容元素相关联;
对于用户中的每一个,能够至少为所述上下文信息设置发动条件,并且能够生成包括所述上下文信息和所述发动条件的数据集的用户场景;以及
当通过实时感测用户获得的传感器数据满足在所述用户场景中设置的发动条件时,向所述用户呈现与取决于所述发动条件的上下文信息相关联的内容元素。
33.一种能够由计算机读取的记录介质,所述记录介质记录用于使所述计算机充当以下的程序:
控制单元,其执行控制,使得:
上下文信息预先与内容元素相关联;
对于用户中的每一个,能够至少为所述上下文信息设置发动条件,并且能够生成包括所述上下文信息和所述发动条件的数据集的用户场景;以及
当通过实时感测用户获得的传感器数据满足在所述用户场景中设置的发动条件时,向所述用户呈现与取决于所述发动条件的上下文信息相关联的内容元素。
CN202080043410.8A 2019-06-20 2020-06-08 信息处理系统、信息处理方法和记录介质 Pending CN114008610A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-114626 2019-06-20
JP2019114626 2019-06-20
PCT/JP2020/022483 WO2020255767A1 (ja) 2019-06-20 2020-06-08 情報処理システム、情報処理方法、及び記録媒体

Publications (1)

Publication Number Publication Date
CN114008610A true CN114008610A (zh) 2022-02-01

Family

ID=74037294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080043410.8A Pending CN114008610A (zh) 2019-06-20 2020-06-08 信息处理系统、信息处理方法和记录介质

Country Status (6)

Country Link
US (1) US20220246135A1 (zh)
EP (1) EP3989083A4 (zh)
JP (1) JPWO2020255767A1 (zh)
KR (1) KR20220019683A (zh)
CN (1) CN114008610A (zh)
WO (1) WO2020255767A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3214519A1 (en) * 2021-04-20 2022-10-27 Jesse Dorogusker Live playback streams
US20240194093A1 (en) * 2021-04-21 2024-06-13 Sony Group Corporation Information processing device, information processing method, and program
KR102538155B1 (ko) * 2022-08-26 2023-05-31 주식회사 스튜디오사월 시나리오를 창작, 공유 및 활용하는 플랫폼 서비스를 제공하기 위한 방법 및 그 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4996361A (en) 1987-07-30 1991-02-26 The University Of British Columbia Process for the preparation of optically active secondary arylamines
JP2007172524A (ja) 2005-12-26 2007-07-05 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US8489599B2 (en) * 2008-12-02 2013-07-16 Palo Alto Research Center Incorporated Context and activity-driven content delivery and interaction
WO2013136792A1 (ja) 2012-03-15 2013-09-19 パナソニック株式会社 コンテンツ処理装置、コンテンツ処理方法およびプログラム
JP6155494B2 (ja) * 2012-08-10 2017-07-05 株式会社ユピテル 車両用システム及びプログラム
US9213659B2 (en) * 2013-12-03 2015-12-15 Lenovo (Singapore) Pte. Ltd. Devices and methods to receive input at a first device and present output in response on a second device different from the first device
US9922092B2 (en) 2014-04-24 2018-03-20 Canon Kabushiki Kaisha Devices, systems, and methods for context management
WO2016136104A1 (ja) 2015-02-23 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6463529B1 (ja) 2018-03-20 2019-02-06 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
JPWO2020255767A1 (zh) 2020-12-24
EP3989083A4 (en) 2022-08-24
KR20220019683A (ko) 2022-02-17
EP3989083A1 (en) 2022-04-27
WO2020255767A1 (ja) 2020-12-24
US20220246135A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
KR101938667B1 (ko) 휴대 전자장치 및 그 제어 방법
KR102196671B1 (ko) 전자 기기 및 전자 기기의 제어 방법
US9213705B1 (en) Presenting content related to primary audio content
US20160041981A1 (en) Enhanced cascaded object-related content provision system and method
EP3989083A1 (en) Information processing system, information processing method, and recording medium
US20130159853A1 (en) Managing playback of supplemental information
US20120226706A1 (en) System, apparatus and method for sorting music files based on moods
US11043216B2 (en) Voice feedback for user interface of media playback device
CN107038197A (zh) 情境及活动驱动的内容传送和交互
CN103136326A (zh) 与媒体一起呈现评论的系统和方法
CN110147467A (zh) 一种文本描述的生成方法、装置、移动终端及存储介质
CN103430217A (zh) 输入支持装置、输入支持方法及记录介质
CN112752121B (zh) 一种视频封面生成方法及装置
JP2003348243A (ja) 音声情報をアーカイブする技術
CN114205324A (zh) 消息显示方法、装置、终端、服务器及存储介质
KR20160065670A (ko) 컨텐트를 제공하는 방법 및 디바이스
CN115668957A (zh) 音频检测和字幕呈现
CN108304434B (zh) 信息反馈方法和终端设备
KR20140090114A (ko) 키워드 검색 방법 및 장치
Hinze et al. Location-triggered mobile access to a digital library of audio books using Tipple
KR101995271B1 (ko) 개인화 컨텐츠 제작 방법 및 장치
KR102353797B1 (ko) 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템
JP2022051500A (ja) 関連情報提供方法及びシステム
CN110209870A (zh) 音乐日志生成方法、装置、介质和计算设备
KR20150058734A (ko) 전자 장치의 컨텐츠 제공 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination