CN106255866B - 通信系统、控制方法以及存储介质 - Google Patents
通信系统、控制方法以及存储介质 Download PDFInfo
- Publication number
- CN106255866B CN106255866B CN201580019990.6A CN201580019990A CN106255866B CN 106255866 B CN106255866 B CN 106255866B CN 201580019990 A CN201580019990 A CN 201580019990A CN 106255866 B CN106255866 B CN 106255866B
- Authority
- CN
- China
- Prior art keywords
- information
- emotion
- user
- data
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3484—Personalized, e.g. from learned user behaviour or user-defined profiles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/265—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3617—Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3641—Personalized guidance, e.g. limited guidance on previously travelled routes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
- G01C21/3682—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities output of POI information on a road map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/84—Mapping; Conversion
- G06F16/86—Mapping to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Educational Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
[问题]提供了可以根据情感地图向用户引导用于使得出现特定情感的活动的通信系统、控制方法以及存储介质。[解决方案]提供了一种通信系统,包括:获取单元,获取用户的当前位置信息;引导信息生成单元,根据当前位置信息和和地图信息来生成引导信息,在地图信息中映射有情感数据;以及提供单元,向用户提供引导信息。
Description
技术领域
本公开内容涉及通信系统、控制方法以及存储介质。
背景技术
近年来,具有摄像装置功能的智能电话、移动电话终端、平板电脑终端、数字摄像装置等日益普及,并且由这些终端捕获的照片被大量地上传至服务器。另外,包括位置信息(图像捕获地点信息)的元数据通常被附加于上传的照片数据。另外,可穿戴装置例如手表终端、腕带式终端和眼镜型HMD也开始日益普及并且变得易于获取每天的活动日志(也被称为生活日志),从而多方面地利用大量所获取的活动日志。
另外,近年来,可以由直接接触身体的装置来感测情感数据(心理状态的信息)的情况逐渐完备。具体地,根据生物计量信息例如排汗量和心率来大致地估计情感(心理状态例如不安、紧张、愉快和兴奋)。
例如,提出下面的专利文献1作为利用该情感估计技术以及与用户的被大量获取的照片、活动日志等有关的技术的技术。下面的专利文献1公开了在捕获图像时与所捕获的图像相关联地保存拍摄者的生物特征信息和活动信息的技术。因此,可以从大量的图像中搜索重要的图像(在特定的心理状态下捕获的图像)。
引用列表
专利文献
专利文献1:JP 2009-188899A
发明内容
技术问题
这里,近年来,从大量看似无关联的数据中得到相关关系(结构)的方案以及支持该方案的计算能力变得日益现实,像被称为所谓的深度学习的技术。因此,对与大量的照片和活动日志有关的数据组以及与当时的情感有关的数据组进行分析,以计算活动和情感的相关关系。
然后,在云装置(可以连接至网络的成像装置等)在云上构建各种网络的时代,如果从每个云装置上传的大量的活动日志和情感数据可以被映射,则可以使得能够创建整个全球环境和情感分析的情感地图。在这样的情况下,可以将用于引起预定情感的活动引导给用户。
然而,在过去的技术中,完全不考虑根据情感地图的用户引导。
因此,本公开内容提出了可以根据情感地图向用户引导用于具有预定情感的活动的通信系统、控制方法以及存储介质。
问题的解决方案
根据本公开内容,提供了一种通信系统,该通信系统包括:获取单元,被配置成获取用户的当前位置信息;引导信息生成单元,被配置成根据当前位置信息和地图信息来生成引导信息,在所述地图信息中映射有情感数据;以及提供单元,被配置成向用户提供引导信息。
根据本公开内容,提供了一种控制方法,该控制方法包括:从客户端获取用户的当前位置信息;根据当前位置信息和地图信息来生成引导信息,在地图信息中映射有情感数据;以及执行控制以向用户提供引导信息。
根据本公开内容,提供了一种存储有程序的存储介质,该程序使计算机用作:获取单元,被配置成获取用户的当前位置信息;引导信息生成单元,被配置成根据当前位置信息和地图信息来生成引导信息,在所述地图信息中映射有情感数据;以及提供单元,被配置成向用户提供引导信息。本发明的有益效果
如上所述,根据本公开内容,可以根据情感地图向用户引导用于具有预定情感的活动。
注意,不一定限于上述效果,以及连同或替代上述效果,可以呈现出在本说明书中期望被介绍的任何效果或可以根据本说明书预期的其他效果。
附图说明
图1是用于描述根据本公开内容的实施方式的通信系统的概述的图。
图2是示出根据本实施方式的服务器的基本配置的示例的框图。
图3是示出根据本实施方式的执行数据收集的客户端的内部配置的示例的框图。
图4是示出根据本实施方式的执行引导信息的呈现的客户端的内部配置的示例的框图。
图5是示出在情感地图生成时的操作处理的顺序图。
图6是示出根据情感地图的导航的操作处理的顺序图。
图7是示出根据情感地图的另一导航示例的操作处理的顺序图。
图8是示出当前位置周围的每条路径中的快乐程度的示例性显示方法的图。
图9是示出当前位置周围的每条路径中的快乐程度的示例性显示方法的图。
图10是示出在内容-情感数据库(DB)的数据创建时的操作处理的顺序图。
图11是示出内容导航的操作处理的顺序图。
图12是示出内容推荐的示例性显示的图。
图13是示出在环境-情感DB的数据创建时的操作处理的顺序图。
图14是示出环境信息导航的操作处理的顺序图。
图15是示出环境改善信息的示例性显示的图。
具体实施方式
在下文中,将参照附图来详细地描述本公开内容的一个更多个优选实施方式。在本说明书和附图中,使用相同的附图标记来表示具有基本上相同的功能和结构的元件,并且省略重复的说明。
另外,将按下面的顺序来进行描述。
1.根据本公开内容的实施方式的通信系统的概述
2.基本配置
2-1.服务器2的示例性配置
2-2.客户端3(用于数据收集)的示例性配置
2-3.客户端1(用于引导信息呈现)的示例性配置
3.每个导航
3-1.根据情感地图的导航
3-2.内容导航
3-3.环境信息导航
4.结论
<<1.根据本公开内容的实施方式的通信系统的概述>>
首先,将参照图1来描述根据本公开内容的实施方式的通信系统的概述。图1是用于描述根据本公开内容的实施方式的通信系统的概述的图。如图1所示,根据本实施方式的通信系统包括数据收集客户端3、服务器2、引导信息呈现客户端1。
如图1所示,例如,数据收集客户端3是信息处理终端比如配置有摄像装置的客户端3a、配置有智能电话的客户端3b、配置有眼镜型头戴式显示器(HMD)的客户端3c。客户端3a至客户端3c获取用于估计每个拥有用户的情感的数据(例如生物计量信息、面部图像、声音等)以及当前位置信息、观看内容数据和周围环境信息等,并且经由网络5上传至服务器2。
服务器2基于从每个客户端3收集的用于估计情感的数据来对拥有用户的情感进行估计,并且生成指示所估计的情感与一起被收集的位置信息、内容数据和环境信息之间的相关关系的数据。例如,服务器2基于位置信息来生成其中所估计的情感被映射在地图上的情感地图。另外,服务器2可以生成指示所估计的情感与内容数据之间的相关关系的数据库(DB)以及指示所估计的情感与环境信息之间的相关关系的数据库。注意,在图1中,仅示出了三个客户端即客户端3a至客户端3c作为数据收集客户端3的示例,但数据收集客户端3可以大量地存在于网络上,并且服务器2可以从大量的客户端3收集大量的数据以生成地区规模、国家规模或整个地球规模的情感地图、内容-情感DB和环境-情感DB。
另外,服务器2响应于来自引导信息呈现客户端1的请求,基于情感地图、内容-情感DB或环境-情感DB来生成用于引导用于引起用户预定情感的活动(例如,运动的方向、某些内容的观看推荐、环境改善的建议)的引导信息,并且将该引导信息返回给客户端1。
引导信息呈现客户端1向服务器2请求传输引导用于引起用户预定情感的活动的引导信息,并且通过输出从服务器2响应于该请求返回的引导信息的显示或声音来将引导信息呈现给用户。例如,客户端1获取当前位置信息、观看内容数据和周围环境信息以及将当前位置信息、观看内容数据和周围环境信息传输至服务器2,并且请求传输引导信息。另外,引导信息呈现客户端1配置有图1所示的眼镜型HMD,并且可以配置有可连接至网络的输出终端例如智能电话、平板电脑终端、移动电话终端、摄像装置、游戏机、音乐播放器等。
在上文中,描述了根据本公开内容的实施方式的通信系统的概述。因此,在本实施方式中,可以向用户呈现用于唤起预定情感的活动。例如,基于快乐情感与位置信息之间的相关关系来生成快乐程度地图,并且可以通过使用快乐程度地图来向用户引导用于唤起快乐情感的路径。注意,在图1所示的示例中,数据收集客户端3和引导信息呈现客户端1被示出为单独的装置,但也可以是相同的装置。
<<2.基本配置>>
接下来,将参照图2至图4来顺序地描述被包括在根据本实施方式的通信系统中的服务器2、客户端3和客户端1的各自的示例性配置。
<2-1.服务器2的示例性配置>
图2是示出根据本实施方式的服务器2的基本配置的示例的框图。如图2所示,服务器2包括控制单元20、通信单元21、环境-情感DB 22、内容-情感DB 23和情感地图DB 24。
(控制单元)
控制单元20配置有微型计算机并且对服务器2的每个部件进行控制,该微型计算机例如包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、非易失性存储器和接口单元。
另外,如图2所示,根据本实施方式的控制单元20用作地图信息生成单元20a、引导信息生成单元20b、情感估计单元20c和提供单元20d。地图信息生成单元20a生成映射情感数据的地图信息,并且将所生成的地图信息(也被称为情感地图)存储在情感地图DB 24中。更具体地,地图信息生成单元20a根据被一起传输的位置信息,将基于从客户端3传输的用于估计用户的情感的数据而估计的情感数据定位在地图上,该客户端3执行数据收集。此外,地图信息生成单元20a可以通过对从大量的客户端3传输的大量的情感数据和位置信息的对应关系进行统计分析来生成地图信息。
在本说明书中,例如,用于估计用户的情感的数据是生物计量信息例如排汗、脉搏、心跳、身体的震动、脑波、肌电、血流变化、捕获用户的面部(表情)的所捕获的图像、声音等。地图信息生成单元20a基于生物计量信息的值、所捕获的图像的分析结果等来估计用户的情感。情感通常是由八个基本情感如喜悦、悲伤、信任、厌恶、危险、愤怒、惊讶和期待中的任一个或组合来限定的。地图信息生成单元20a例如在这些各种情感中估计快乐的程度(用户感到快乐的程度)。更具体地,例如,当从用户的面部图像检测到微笑时,地图信息生成单元20a可以根据微笑程度来估计快乐的程度。另外,地图信息生成单元20a可以通过分析用户的声音,基于会话细节、语音的音高和语调、笑声等来估计快乐的程度。
此外,地图信息生成单元20a可以通过用户的属性来生成情感地图。例如,用户的属性为年龄、年龄段、性别、爱好、偏好、出生地等。
可以预先在客户端3侧执行由上述地图信息生成单元20a对用户的情感进行的估计。在这样的情况下,从客户端3传输已估计的用户的情感数据。
引导信息生成单元20b响应于来自客户端1的请求来生成引导用于引起用户预定情感的活动的引导信息,客户端1执行对引导信息的呈现。更具体地,例如,引导信息生成单元20b根据从客户端1传输的当前位置信息和存储在情感地图DB 24中的情感地图,来生成用于引导用户到与预定情感链接的地点(或路径)的引导信息。引导信息包括向用户指示朝向与预定情感链接的地点(或路径)运动的方向的信息。
另外,引导信息生成单元20b基于用户在当前时刻观看的内容数据或用户周围的环境信息,根据由接下来描述的情感估计单元20c估计的用户的当前情感来生成内容数据的推荐信息、环境信息的改善意见等,以用于引起用户预定情感。例如,引导信息生成单元20b通过使用存储在内容-情感DB 23中的数据,来生成用于向用户引导(推荐)与预定情感链接的内容的引导信息。具体地,例如,当用户在当前时刻听的音乐唤起悲伤的情感时,引导信息生成单元20b生成引导用于具有与悲伤的情感相反的喜悦快乐的情感的内容数据(照片、视频、音乐等)的引导信息。可替选地,引导信息生成单元20b通过使用存储在环境-情感DB 22中的数据,来生成用于引导用户改善与预定情感链接的环境信息的引导信息。具体地,例如,当用户的当前周围环境信息唤起沮丧的情感时,引导信息生成单元20b生成引导用于具有与沮丧的情感相反的轻松快乐的情感的环境改善计划(打开窗户、播放音乐、照亮房间等)的引导信息。
引导信息生成单元20b将所生成的引导信息输出至提供单元20d。
情感估计单元20c具有用于基于从执行对引导信息的呈现的客户端1传输的用户周围的环境信息或用户在观看的内容数据,来估计用户的当前情感的功能(第一情感估计单元、第二情感估计单元)。这里,例如,用户在观看的内容数据是照片、视频、音乐等的识别信息或特征值。另外,例如,用户周围的环境信息为时间、位置、气压、气温、湿度、存在于周围的物体、物体的状态等。
情感估计单元20c基于指示被存储在内容-情感DB 23中的情感数据与内容数据之间的相关关系的数据(学习结果),来提取链接到与用户在当前时刻正观看的内容数据相同或相似的内容数据的情感数据,并且将所提取的情感数据估计为用户的当前情感。另外,情感估计单元20c基于指示被存储在环境-情感DB 22中的情感数据与环境信息之间的相关关系的数据(学习结果),来提取链接到与用户的当前周围环境信息相同或相似的环境信息的情感数据,并且将所提取的情感数据估计为用户的当前情感。
情感估计单元20c将基于内容数据或环境信息估计的用户的当前情感数据输出至引导信息生成单元20b。
提供单元20d执行控制以向用户提供由引导信息生成单元20b生成的向用户引导用于具有预定情感的活动的引导信息。即,提供单元20d执行控制以将由引导信息生成单元20b生成的引导信息从通信单元21传输至客户端1,并且使客户端1向用户呈现(输出引导信息的显示或输出引导信息的声音)该引导信息。
例如,提供单元20d执行控制以向用户提供指示向与预定情感链接的地点或路径运动的方向的引导信息、指示用户的当前位置周围的区域的预定情感程度的分布的地图图像等。
另外,提供单元20d可以执行控制以向用户提供与预定情感链接的内容数据的推荐信息。
另外,提供单元20d可以执行控制以向用户提供建议改善与预定情感链接的环境的信息。
(通信单元)
通信单元21与网络5连接并且与客户端1和客户端3执行数据的发送和接收。例如,通信单元21从执行数据收集的客户端3接收(获取)用于估计用户的情感的数据、位置信息、内容数据和环境信息。另外,通信单元21从执行引导信息的呈现的客户端1接收(获取)当前位置信息并且响应于接收到该当前位置信息根据由提供单元20d进行的控制返回引导信息。
(环境-情感DB)
环境-情感DB 22存储指示环境信息(时间、位置、气压、气温、湿度物体、物体的状态等)与情感数据之间的相关关系的数据。例如,通过对从大量的数据收集客户端3大量地传输的情感数据和环境信息的相关关系进行统计分析所学习的学习结果被存储在环境-情感DB 22中。
(内容-情感DB)
内容-情感DB 23存储指示内容数据与情感数据之间的相关关系的数据。例如,通过对从大量的数据收集客户端3大量地传输的情感数据和内容数据的相关关系进行统计分析所学习的学习结果被存储在内容-情感DB 23中。
(情感地图DB)
情感地图DB 24存储由地图信息生成单元20a生成的情感地图。
<2-2.客户端3(用于数据收集)的示例性配置>
接下来,将参照图3来描述数据收集客户端3的配置。图3是示出根据本实施方式的客户端3a(摄像装置)的示例的内部配置的框图。作为客户端3的示例,图3示出了配置有摄像装置的客户端3a的配置。
如图3所示,客户端3a(摄像装置)包括控制单元30、通信单元31、显示单元32、操作单元33、图像DB 34、成像单元35、内摄像装置36、情感传感器单元37和位置信息获取单元38。
(控制单元)
控制单元30配置有微型计算机并且对客户端3a的每个部件进行控制,该微型计算机例如包括CPU、ROM、RAM、非易失性存储器和接口单元。具体地,例如,控制单元30控制成像单元35,并且当由操作单元33检测到按压快门按钮时指示成像单元35执行图像捕获。另外,控制单元30执行控制以当由成像单元35执行图像捕获时由内摄像装置36捕获用户(拍摄者)的面部(表情)的图像,并且执行控制以将由内摄像装置36捕获的面部图像作为用于评估用户的情感的数据从通信单元31传输至服务器2。可替选地,例如,当由成像单元35执行图像捕获时,控制单元30执行控制以将由设置在快门按钮等中的情感传感器单元37检测到的传感器值(生物计量信息例如排汗、脉搏或体温)作为用于估计用户的情感的数据从通信单元31传输至服务器2。此外,当将用于估计用户的情感的数据例如面部图像、生物计量信息等传输至服务器2时,控制单元30执行控制以将由位置信息获取单元38获取的当前位置信息或由成像单元35捕获的所捕获图像(对象图像)一起传输。
如上所述,在本实施方式中,数据收集客户端3将用于估计用户的情感的数据(面部图像、生物计量信息等)与当前位置信息一起传输至服务器2,从而服务器2侧执行对用户的情感估计以及所估计的情感与位置信息之间的关联(情感地图的生成)。另外,数据收集客户端3将用于估计用户的情感的数据(面部图像、生物计量信息等)与所捕获图像(对象图像)一起传输至服务器2,从而服务器2侧执行对用户的情感估计以及所估计的情感与所捕获图像之间的关联(内容-情感DB的生成和学习)。
(通信单元)
通信单元31与网络5连接并且与服务器2执行数据的发送和接收。
(显示单元)
显示单元32具有用于根据控制单元30的控制在显示屏幕图像上显示字符、图像和其他信息的功能。例如,显示单元32配置有液晶显示器、有机EL显示器等。
(操作单元)
操作单元33检测由用户进行的操作并且具有用于将所检测的用户操作输出至控制单元30的功能。操作单元33配置有例如物理结构如快门按钮、电源按钮和变焦按钮,并且操作单元33可以配置有操作表面(例如触摸面板),操作表面(例如触摸面板)被叠加在显示屏幕图像上并且对用户到显示屏幕图像的接触位置进行检测。
(图像DB)
图像DB 34存储由成像单元35捕获的所捕获图像和由内摄像装置36捕获的面部图像。
(成像单元)
成像单元35包括透镜系统、驱动系统、固态图像传感器阵列等,该透镜系统配置有图像捕获透镜、光圈、变焦透镜和聚焦透镜;该驱动系统使透镜系统执行聚焦操作和变焦操作;该固态图像传感器阵列通过对由透镜系统获得的所捕获图像光进行光电转换来生成图像捕获信号。例如,固态图像传感器阵列可以配置有电荷耦合装置(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列。
成像单元35根据由控制单元30进行的图像捕获执行指令来执行图像捕获。由成像单元35捕获的图像被存储在图像DB 34中。
(内摄像装置)
内摄像装置36是朝向用户侧设置以捕获作为拍摄者(操作者)的用户的图像的成像单元。具体地,例如,内摄像装置36被设置成在与设置有成像单元35的图像捕获透镜所在的表面相反侧的表面上,且内摄像装置36的内侧作为图像捕获方向,在成像单元35中,摄像装置(客户端3a)的外侧是图像捕获方向。
内摄像装置36根据由控制单元30进行的控制来捕获执行图像捕获的用户的面部的图像。由内摄像装置36捕获的面部图像被输出至控制单元30,并且根据控制单元30的控制被作为用于估计用户的情感的数据传输至服务器2。
(情感传感器单元)
情感传感器单元37是各种类型的传感器,其检测生物计量信息例如用户的脉搏、排汗或体温作为用于估计为摄像装置(客户端3a)的操作者的用户的情感的数据。情感传感器单元37被设置在例如快门按钮或操作表面中,并且可以检测在用户按压快门按钮或触摸操作表面以执行图像捕获操作时的生物计量信息。情感传感器单元37将所检测的生物计量信息输出至控制单元30,并且由控制单元30将其作为用于估计用户的情感的数据传输至服务器2。
(位置信息获取单元)
位置信息获取单元38具有用于基于从外部获取的信号来检测客户端3a的当前位置的功能。具体地,位置信息获取单元38配置有例如全球定位系统(GPS)定位单元,从GPS卫星接收无线电波,检测客户端3a存在的位置并且将所检测的位置信息输出至控制单元30。另外,除GPS以外,位置信息获取单元38可以通过采用例如Wi-Fi(注册商标)、移动电话、PHS、智能电话等进行发送和接收、短距离通信等来检测位置。
在上文中,描述了配置有摄像装置的客户端3a的配置作为数据收集客户端3的示例性配置。然而,根据本实施方式的客户端3的配置不限于图3所示的示例,以及客户端3例如可以包括环境信息获取单元,该环境信息获取单元还获取周围环境信息。
环境信息获取单元具有用于感测例如气温、湿度、光照强度、天气信息、存在于周围的物体、物体的状态等作为周围环境信息(现场信息)的功能。例如,环境信息获取单元配置有湿度传感器、照度传感器、温度传感器等。另外,环境信息获取单元可以基于由成像单元35获取的对象图像来提取存在于周围的物体、物体的状态等作为环境信息。
由环境信息获取单元获取的环境信息与用于估计用户的情感的数据(面部图像、生物计量信息等)一起被传输至服务器2。如上所述,在本实施方式中,数据收集客户端3将环境信息与用于估计用户的情感的数据(面部图像、生物计量信息等)一起传输至服务器2,以使得服务器2侧执行对用户的情感估计以及所估计的情感与环境信息之间的关联(环境-情感DB的生成和学习)。
<2-3.客户端1(用于引导信息呈现)的示例性配置>
接下来,将描述引导信息呈现客户端1的配置。如图1所示,例如,客户端1配置有眼镜型HMD。眼镜型HMD是被戴在用户上的眼镜型可穿戴装置并且具有下述配置,在该配置中,在佩戴状态下,针对左眼和针对右眼的一对显示单元位于用户的双眼的正前方,即位于正常眼镜的透镜所位于的位置处。显示单元是透射式的,并且显示单元处于透过状态,即透明或半透明状态,从而即使眼镜型HMD总是被戴着,在用户的日常生活中也不存在麻烦。
文中,图4示出了客户端1在配置有眼镜型HMD时的内部配置的示例。如图4所示,客户端1包括控制单元10、通信单元11、显示单元12、操作单元13、存储单元14和位置信息获取单元15。
(控制单元)
控制单元10配置有微型计算机并且对客户端1的每个部件进行控制,该微型计算机包括例如CPU、ROM、RAM、非易失性存储器和接口单元。另外,如图4所示,根据本实施方式的控制单元10用作显示控制单元10a和通信控制单元10b。
显示控制单元10a执行被显示在显示单元12上的屏幕图像的生成以及显示控制。例如,显示控制单元10a执行控制以在显示单元12上显示由通信单元11从服务器2接收的引导信息。另外,显示控制单元10a可以控制显示单元12的透射率。
通信控制单元10b控制来自通信单元11的数据传输。通信控制单元10b例如将由位置信息获取单元15获取的当前位置信息从通信单元11传输至服务器2,并且向服务器2请求引起用户预定情感的情感导航。响应于这样的请求,服务器2侧基于用户的当前位置信息和情感地图,来生成用于引导用户到与预定情感相关联的地点和路径的引导信息,并且将所生成的引导信息返回至客户端1。
(通信单元)
通信单元11与网络5连接并且包括用于执行与服务器2的通信的功能。例如,通信单元11根据通信控制单元10b的控制向服务器2传输当前位置信息和情感导航的请求。另外,通信单元11响应于情感导航的请求来接收从服务器2返回的引导信息。
(显示单元)
如上所述,在用户戴着客户端1(眼镜型HMD)的状态下,显示单元12位于用户的双眼的正前方,即位于正常眼镜的透镜所位于的位置处。液晶面板例如用于该显示单元12并且由显示控制单元10a来控制液晶面板的透射率,以使得显示单元12变成透过状态,即透明或半透明状态。
另外,根据本实施方式的显示单元12根据由显示控制单元10a进行的控制来显示从服务器2传输的引导信息。稍后将参照图8和图9来描述引导信息的具体示例性显示。另外,显示单元12可以根据由显示控制单元10a进行的控制来再现内容例如照片和视频。
(操作单元)
操作单元13具有用于检测用户操作的功能,并且将所检测的用户操作输出至控制单元10。操作单元13可以配置有物理结构例如电源开关或配置有对向客户端1(眼镜型HMD)主体的点击操作(或振动)进行检测的检测单元。另外,操作单元13可以通过由朝向外侧设置的摄像装置捕获用户的姿势的图像来识别姿势输入,并且可以通过由朝向内侧设置的摄像装置捕获用户的眼部的图像来识别视线输入。可替选地,操作单元13可以通过由收集周围声音的麦克风获取用户的声音来识别音频输入。
(存储单元)
存储单元14存储用于执行由控制单元10进行的各种类型的处理的程序。
(位置信息获取单元)
位置信息获取单元15具有用于基于从外部获取的信号来检测客户端1的当前位置的功能。位置信息获取单元15将所获取的当前位置信息输出至控制单元10。
在上文中,描述了配置有眼镜型HMD的客户端1的配置作为引导信息呈现客户端1的示例性配置。然而,根据本实施方式的客户端1的配置不限于图4所示的示例,以及例如,客户端1还可以包括声音再现单元(扬声器)。
例如,在客户端1(眼镜型HMD)的佩戴状态下,声音再现单元配置有可以插入到用户的右耳孔和左耳孔中的一对耳机扬声器(或可以插入到耳朵中的仅一只耳朵中的一个耳机扬声器)。另外,声音再现单元根据控制单元10的控制来输出从服务器2传输的引导信息的声音,并且再现内容数据例如音乐。
另外,客户端1还可以包括环境信息获取单元。环境信息获取单元具有用于感测例如气温、湿度、光照强度、当前位置的天气信息、存在于周围的物体、物体的状态等作为周围环境信息(现场信息)的功能。
另外,根据本实施方式的通信控制单元10b可以向服务器2传输用户在当前时刻观看的内容(照片、视频、音乐等)的内容数据或当前周围环境信息,并且请求传输用于引起用户预定情感的引导信息。例如,当传输内容数据时,服务器2侧响应于基于内容数据所估计的用户的当前情感来生成推荐引起用户预定情感的其他内容的引导信息,并且将所生成的引导信息返回至客户端1。另外,当传输环境信息时,服务器2侧响应于基于环境信息所估计的用户的当前情感来生成建议引起用户预定情感的其他环境信息的改善的引导信息,并且将所生成的引导信息返回至客户端1。
在上文中,具体地描述了被包括在根据本实施方式的通信系统中的服务器2、数据收集客户端3和引导信息呈现客户端1中的每个部件。注意,如上所述,数据收集客户端3和引导信息呈现客户端1可以是相同的装置。
接下来,将使用多个示例来具体地描述由根据本公开内容的实施方式的通信系统执行的每个导航。
<<3.每个导航>>
<3-1.根据情感地图的导航>
首先,将参照图5至图9来描述根据情感地图的导航。
(3-1-1.数据收集)
图5是示出在情感地图生成时的操作处理的顺序图。如图5所示,在步骤S103中,客户端3首先获取用于估计用户的情感的数据。具体地,例如,在客户端3a(参照图3)的情况下,通过由内摄像装置36对面部图像的图像捕获或由情感传感器单元37对生物计量信息的检测来获取数据。
此后,在步骤S106中,客户端3获取当前位置信息。
此后,在步骤S109中,客户端3将用于估计情感的数据和当前位置信息传输至服务器2。
随后,在步骤S110中,服务器2的地图信息生成单元20a基于用于估计所接收的情感的数据(面部图像和生物计量信息)来估计用户的情感。注意,可以在客户端3侧执行对用户的情感估计,并且在这样的情况下,将已被估计的情感传输至服务器2,从而省略S110。
此后,在步骤S112中,地图信息生成单元20a创建指示位置与情感之间的相关性的情感地图。即,地图信息生成单元20a将所估计的情感与由当前位置信息指示的地图上的位置相关联(映射)。
此后,在步骤S115中,地图信息生成单元20a将所生成的情感地图存储在情感地图DB 24中,并且更新情感地图的数据库。重复地执行上述步骤S103至步骤S115,并且地图信息生成单元20a基于从每个客户端3连续地传输的位置信息和情感数据来持续更新情感地图的数据库。在本实施方式中,可以通过对从经由网络5连接的各种客户端3连续地收集的大量的位置信息和情感数据进行统计分析,来更准确地生成指示在哪个地点和区域中唤起何种情感的情感地图。
(3-1-2.导航)
接下来,将参照图6至图9来描述根据所生成的情感地图的导航。导航的类型是各种各样的,但在文中,例如将描述根据情感地图来执行从当前位置到目的地的路径导航以及当前位置周围的路径导航的情况。另外,作为示例,在导航中使用的情感地图使用指示快乐程度与位置的相关关系的情感地图(也被称为快乐地图)。因此,在本实施方式中实现了快乐导航。
(导航1)
首先,作为导航1,将参照图6来描述根据情感地图来执行从当前位置到目的地的路径导航的情况。图6是示出根据情感地图的导航的操作处理的顺序图。如图6所示,在步骤S203中,客户端1首先获取当前位置和目的地的信息。例如,客户端1通过位置信息获取单元38来获取当前位置信息并且通过手势输入、音频输入或点击操作来获取目的地。
此后,在步骤S206中,客户端1对路径搜索执行指令进行识别。例如,通过由用户进行的手势输入、音频输入或点击操作来执行路径搜索执行指令。
此后,在步骤S209中,客户端1将当前位置和目的地的信息传输至服务器2并且执行到目的地的路径搜索请求。
随后,在步骤S212中,服务器2的引导信息生成单元20b基于所接收的当前位置和目的地的信息搜索到目的地的多条路径。
此后,在步骤S215中,引导信息生成单元20b参照多条所搜索的路径和存储在情感地图DB 24中的快乐地图,在多条所搜索的路径中判定经过快乐程度为高的地点和区域的路径,并且生成到目的地的引导信息。
此后,在步骤S218中,提供单元20d执行控制以将由引导信息生成单元20b生成的引导信息从通信单元21传输至客户端1。
然后,在步骤S221中,客户端1呈现所接收的引导信息,并且开始路径引导。具体地,例如,客户端1可以通过将基于引导信息的指示运动的方向的箭头图像叠加显示在显示单元12中的真实空间的场景上来执行路径引导。
因此,在本实施方式中,可以执行经过具有高快乐程度的地点的导航。具体地,例如,执行经过美丽场景、安全道路、避开坡路的道路、观光景点等的地点的导航,并且用户具有快乐(愉快、喜悦)的情感。另外,当根据用户属性执行根据快乐地图的导航时,例如可以引导陪伴儿童属性经过其中儿童可以玩耍的设施比如公园、图书馆和少年宫等到目的地。
另外,这里仅使用快乐地图作为示例,但本实施方式不限于此,并且可以通过使用多个情感地图例如快乐地图和愤怒地图来生成避免愤怒的路径并且引导向快乐的路径的引导信息。
(导航2)
接下来,作为导航2,将参照图7来描述根据情感地图执行当前位置周围的路径导航的情况。图7是示出根据情感地图的另一导航示例的操作处理的顺序图。如图7所示,在步骤S233中,客户端1首先获取当前位置的信息。例如,客户端1通过位置信息获取单元38来获取当前位置信息。
此后,在步骤S236中,客户端1对情感导航执行指令进行识别。例如,通过由用户进行的手势输入、音频输入或点击操作来执行情感导航执行指令。
此后,在步骤S239中,客户端1将当前位置的信息传输至服务器2并且请求情感导航。
随后,在步骤S242中,服务器2的引导信息生成单元20b从情感地图中提取所接收的当前位置周围的情感数据。文中,作为示例,从快乐地图中提取当前位置周围的快乐程度的水平。
此后,在步骤S245中,引导信息生成单元20b生成指示当前位置周围的快乐程度的水平的引导信息。
此后,在步骤S248中,提供单元20d执行控制以将由引导信息生成单元20b生成的引导信息从通信单元21传输至客户端1。
然后,在步骤S251中,客户端1呈现所接收的引导信息,并且显示当前位置周围的每条路径中的快乐程度。这里,将参照图8和图9来描述当前位置周围的每条路径中的快乐程度的显示方法的示例。
图8和图9是示出当前位置周围的每条路径中的快乐程度的示例性显示方法的图。在图8左侧所示的示例性显示1中,表示当前位置的标记P和表示当前位置周围的路径中的快乐程度的颜色图像401、颜色图像402被叠加且显示在当前位置周围的地图图像40中。作为示例,较深颜色的图像401指示快乐程度为高,而较浅颜色的图像402指示快乐程度为低,以使得用户可以直观地获悉具有高快乐程度的道路。
另外,在图8右侧所示的示例性显示2中,表示当前位置的标记P和表示当前位置周围的地点和区域中的快乐程度的分布图像421a至分布图像421c被叠加且显示在当前位置周围的地图图像42中。作为示例,在每个分布图像中具有较深颜色的区域指示较高的快乐程度,以使得用户可以直观地获悉快乐程度为高的地点。
当客户端1例如是眼镜型HMD时,上面图8所示的示例性显示1和示例性显示2的上述图像被显示在透射率被控制的显示单元12的一部分上。
另外,在图9左侧所示的示例性显示3中,表示运动的方向的箭头图像501、箭头图像503和根据运动方向目的地的情感数据的表情图像502、表情图像504被叠加且显示在真实空间的视频50中。由此,用户可以直观地获悉在沿与微笑的表情图像502相关联的箭头图像501前往左侧道路时能够去往引起快乐情感的地点和区域,以及可以直观地获悉在沿与哭脸的表情图像504相关联的箭头图像503前往右侧道路时能够去往引起悲伤情感的地点和区域。
另外,在图9右侧所示的示例性显示4中,具有较低的快乐程度的方向521被处理成真实空间的视频50中的灰暗显示,而具有较高的快乐程度的方向522被处理成明亮显示,以自然地将用户导航前往较明亮的道路。
当客户端1例如是眼镜型HMD时,上面图9所示的示例性显示3和示例性显示4可以被显示在透射率被控制的显示单元12的一部分上,并且箭头图像501等可以被叠加且显示在真实空间的场景(与真实空间的视频50和视频52对应)上,该真实空间的场景可以经由透射率被控制的显示单元12在视觉上被确认。
<3-2.内容导航>
接下来,将参照图10至图12来描述内容的导航(建议)。
(3-2-1.数据收集)
图10是示出在内容-情感DB 23的数据创建时的操作处理的顺序图。如图10所示,首先,在步骤S303中,数据收集客户端3执行内容数据例如照片、视频和音乐的再现。可以响应于用户操作来执行内容数据的再现。这里,客户端3可以是图1所示的配置有智能电话的客户端3b。客户端3b通过使用显示单元和音频输出单元来执行内容数据的再现。
此后,在步骤S306中,客户端3获取用于估计用户的情感的数据。具体地,例如,在客户端3b的情况下,由与持有客户端3b的用户的手接触并且对用户的排汗、温度、脉搏等进行检测的情感传感器单元以及朝向内侧设置以捕获浏览照片和视频的用户的面部的图像的内摄像装置来执行获取。
此后,在步骤S309中,客户端3将用于估计情感的数据和经再现的内容信息(内容数据、元数据等)传输至服务器2。
随后,在步骤S310中,服务器2的控制单元20基于所接收的用于估计情感的数据(面部图像和生物计量信息)来估计用户的情感。注意,可以在客户端3侧执行用户的情感估计,并且在这样的情况下,将已被估计的情感传输至服务器2,从而省略S310。
此后,在步骤S312中,控制单元20创建指示内容与情感之间的相关性的数据。即,控制单元20学习用户在观看什么内容时具有何种情感。
此后,在步骤S315中,控制单元20将所生成的数据(学习结果)存储在内容-情感DB23中并且更新数据库。重复地执行上述步骤S303至步骤S315,并且控制单元20基于从每个客户端3连续地传输的情感数据和内容信息来持续更新内容-情感DB 23。在本实施方式中,可以通过对从经由网络5连接的多种客户端3连续地收集的大量的内容信息和情感数据进行统计分析,来更准确地生成指示观看什么内容会唤起什么情感的数据。
(3-2-2.导航)
接下来,将参照图11至图12来描述使用所生成的内容-情感DB 23中的数据的导航。在根据本实施方式的内容导航中,向用户提供(引导)用于引起用户预定情感的内容。
图11是示出内容导航的操作处理的顺序图。如图11所示,在步骤S403中,客户端1首先再现内容。可以响应于用户操作来执行内容数据的再现。这里,客户端1配置有图1所示的智能电话,并且通过使用显示单元12和音频输出单元来执行内容数据的再现。
此后,在步骤S406中,客户端1将再现的内容的信息(内容数据、元数据等)传输至服务器2。注意,可以自动地执行内容信息的传输,以及可以在由用户进行的导航执行指令被识别时执行内容信息的传输。
此后,在步骤S409中,服务器2的情感估计单元20c基于所接收的内容信息来估计用户的当前情感。具体地,情感估计单元20c通过使用存储在内容-情感DB 23中的数据来执行匹配,并且提取链接到特征值和元数据与用户在当前时刻观看的内容相同或类似的内容的情感。情感估计单元20c将所估计的情感数据输出至引导信息生成单元20b。
此后,在步骤S415中,引导信息生成单元20b根据由情感估计单元20c估计的情感数据来判定要推荐(引导)的某些内容数据。例如,当用户在当前时刻听到的音乐唤起悲伤的情感时,引导信息生成单元20b推荐(引导)唤起相反的喜悦快乐的情感的内容数据(照片、视频、音乐等)。此外,当还从客户端1传输用户的当前位置信息时,服务器2侧可以获悉用户的当前位置,并且因此引导信息生成单元20b还可以推荐在用户的当前位置周围的电影院正在放映的电影。引导信息生成单元20b生成包括所判定的推荐(引导)内容的信息的内容引导信息,并且将所生成的内容引导信息输出至提供单元20d。
此后,在步骤S418中,提供单元20d执行控制以将由引导信息生成单元20b生成的内容引导信息从通信单元21传输至客户端1。
然后,在步骤S421中,客户端1呈现所接收的内容引导信息,并且执行对内容的引导(推荐)。具体地,例如,当客户端1是眼镜型HMD时,客户端1将基于引导信息向用户推荐的内容信息显示在透射率被控制的显示单元12的一部分上。例如,可以执行对内容自身的呈现和对内容的广告屏幕图像和购买屏幕图像的呈现。可替选地,例如,当客户端1是眼镜型HMD时,可以将引导信息图像叠加且显示在真实空间的场景上,该真实空间的场景可以经由透射率被控制的显示单元12在视觉上被确认。将参照图12来描述下文。
图12是示出内容推荐的示例性显示的图。在图12所示的示例中,当用户经过电影院前方时,根据用户当时的情感引导电影院处的屏幕中的电影中的电影的引导信息图像541被叠加且显示在包括在真实空间54的场景中的电影院附近,该真实空间54的场景可以经由透射率被控制的显示单元12在视觉上被确认。具体地,例如,客户端1可以获取在附近电影院正在放映的电影信息,并且执行与从服务器2传输的引导信息的匹配,在正在放映所匹配的电影时,客户端1显示图12所示的引导信息图像541。另外,客户端1可以将当前位置信息传输至服务器2,并且可以通过在服务器2侧中识别存在于用户周围的电影院来获取在电影院正在放映的电影信息,当正在放映作为推荐目标的电影时,可以将引导信息传输至客户端1。
另外,除对内容自身的呈现以外,对内容的推荐可以是对目标内容的广告屏幕图像和购买屏幕图像的呈现。
<3-3.环境信息导航>
接下来,将参照图13至图15来描述环境信息的导航(建议)。
(3-3-1.数据收集)
图13是示出在环境-情感DB 22的数据创建时的操作处理的顺序图。如图13所示,在步骤S503中,数据收集客户端3首先收集周围环境信息。对环境信息的收集可以定期地或连续地执行,可以通过环境变化例如位置移动来触发和执行,以及可以响应于用户操作来执行。例如,客户端3收集信息例如时间、位置、气压、气温、湿度、存在于周围的物体、物体的状态作为用户周围的环境的信息(现场信息)。
此后,在步骤S506中,客户端3获取用于估计用户的情感的数据。具体地,例如,在图1所示的配置有智能电话的客户端3b的情况下,由与持有客户端3b的用户的手接触并且对用户的排汗、温度、脉搏等进行检测的情感传感器单元以及朝向内侧设置的捕获浏览照片和视频的用户的面部的图像的内摄像装置来执行获取。
此后,在步骤S509中,客户端3将用于估计情感的数据和环境信息传输至服务器2。
随后,在步骤S510中,服务器2的控制单元20基于所接收的用于估计情感的数据(面部图像和生物计量信息)来估计用户的情感。注意,可以在客户端3侧执行用户的情感估计,并且在这样的情况下,将已被估计的情感传输至服务器2,从而省略S510。
此后,在步骤S512中,控制单元20创建指示环境信息与情感之间的相关性的数据。即,控制单元20学习用户在什么环境信息下具有何种情感。
此后,在步骤S515中,控制单元20将所生成的数据(学习结果)存储在环境-情感DB22中并且更新数据库。重复地执行上述步骤S503至步骤S515,并且控制单元20基于从每个客户端3连续地传输的情感数据和环境信息来持续更新环境-情感DB 22。在本实施方式中,可以通过对从经由网络5连接的多种客户端3连续地收集的大量的环境信息和情感数据进行统计分析,来更准确地生成指示什么环境信息会唤起什么情感的数据。
(3-2-2.导航)
接下来,将参照图14至图15来描述使用所生成的环境-情感DB 22中的数据的导航。在根据本实施方式的环境信息导航中,向用户提供(引导)用于引起用户预定情感的环境信息的改善意见或环境信息的改善通知。
图14是示出环境信息导航的操作处理的顺序图。如图14所示,在步骤S603中,客户端1首先收集周围环境信息。环境信息的收集可以定期地或连续地执行,可以由环境变化例如位置移动来触发和执行,以及可以响应于用户操作(由用户进行的导航执行指令)来执行。
此后,在步骤S606中,客户端1将环境信息传输至服务器2。
此后,在步骤S609中,服务器2的情感估计单元20c基于所接收的环境信息来估计用户的当前情感。具体地,情感估计单元20c通过使用存储在环境-情感DB 22中的数据来执行匹配,并且提取链接到与用户周围的当前环境相同或类似的环境信息的情感。情感估计单元20c将所估计的情感数据输出至引导信息生成单元20b。
此后,在步骤S612中,引导信息生成单元20b确定由情感估计单元20c估计的情感数据的快乐程度是否低于阈值。这里,在本实施方式中,作为示例,对情感数据的快乐程度进行确定以执行用于具有快乐的情感的导航。如果快乐程度超过阈值(S612/否),则用户已经具有快乐的情感,从而确定不需要导航。
另一方面,如果快乐程度低于阈值(S612/是),则在步骤S615中,引导信息生成单元20b生成环境改善的必要性的存在、或指示具体环境改善意见的环境改善信息,并且将其输出至提供单元20d。
通过对例如用户周围的当前环境信息和与快乐的目标程度链接(相关)的环境信息之间的差异进行检测,来生成具体环境改善意见。例如,在当用户进入游览目的地的旅馆的房间时通过环境信息估计出沮丧的情感(快乐程度等于或小于阈值)的情况下,引导信息生成单元20b对环境信息和与快乐情感相关的环境信息之间的差异进行检测。在这样情况下,例如,可以检测房间的亮度、气温、湿度、窗户的打开或关闭、窗帘的打开或关闭、音乐的存在或不存在等作为差异。例如,引导信息生成单元20b基于该差异来生成指示使房间更明亮、气温和湿度的设置值、打开窗户、打开窗帘、播放音乐等作为环境改善意见的环境改善信息。
此后,在步骤S618中,提供单元20d执行控制以将由引导信息生成单元20b生成的环境改善信息从通信单元21传输至客户端1。
然后,在步骤S621中,客户端1基于所接收的环境改善信息来执行对环境改善的必要性的通知(警告)或/和对环境改善意见的呈现。因此,可以向用户引导用于具有快乐情感的环境。当客户端1配置有例如眼镜型HMD时,环境改善的通知和环境改善意见的呈现可以被显示在透射率被控制的显示单元12的一部分上,并且可以被叠加且显示在可以经由显示单元12在视觉上被确认的真实空间的场景上。将参照图15来描述下文。
图15是示出环境改善信息的示例性显示的图。在图15所示的示例中,当用户进入旅馆的房间时,环境改善信息被叠加且显示在可以经由透射率被控制的显示单元12在视觉上被确认的真实空间的场景56中。例如,环境改善信息561例如“打开灯”被显示在台灯附近,以及环境改善信息562例如“打开窗户更换空气”被显示在窗户/窗帘附近。另外,根据烟灰缸被摆放在桌子上的事实来估计吸烟室的环境,以及环境改善信息563例如“打开空气净化器”被显示在烟灰缸附近。此外,还显示指示空调设备的推荐设置信息的环境改善信息564。
此外,如图15所示,可以显示指示根据本实施方式的导航开始其操作的图标图像566。
<<5.结论>>
如上所述,在根据本公开内容的实施方式的通信系统中,可以根据情感地图向用户引导用于具有预定情感的活动。即,根据本实施方式的通信系统参照从客户端1接收的情感地图和当前位置信息,来向用户呈现在用户周围或到目的地的多条路径中引导到与预定情感链接的地点和区域的引导信息。
另外,在本实施方式中,可以根据指示内容与情感之间的相关性的数据库向用户引导观看某些内容以唤起预定情感。即,根据本实施方式的通信系统参照从客户端1接收的用户在当前时刻观看的内容信息和内容-情感DB 23,来估计用户的当前情感,并且例如在快乐程度为低时向用户推荐唤起快乐情感的内容。
另外,在本实施方式中,可以根据指示环境信息与情感之间的相关性的数据库向用户建议环境的改善以唤起预定情感。即,根据本实施方式的通信系统参照从客户端1接收的用户的当前周围环境信息和环境-情感DB22,来估计用户的当前情感,并且例如在快乐程度为低时向用户呈现用于唤起快乐情感的环境信息。
另外,在本实施方式中,可以通过利用环境-情感DB 22和内容-情感DB 23基于内容数据或环境信息来估计用户的当前情感。
尽管在上面参照附图描述了本公开内容的(一个或更多个)优选实施方式,但是本公开内容不限于上述示例。本领域技术人员可以发现在所附权利要求的范围内的各种变化和修改,并且应当理解,各种变化和修改自然地落入本公开内容的技术范围内。
例如,还可以在包含在上述客户端1、客户端3和服务器2中的硬件例如CPU、ROM和RAM中创建用于实现客户端1、客户端3和服务器2的功能的计算机程序。此外,还提供了存储有计算机程序的计算机可读存储介质。
另外,在本实施方式中,描述了通过将情感数据映射在地图上来生成情感地图,但本公开内容不限于此,并且例如,可以通过将平均寿命信息映射在预先收集的每个区域的地图上来生成寿命地图。因此,例如,用户可以被引导到平均寿命为长的区域和地点。
另外,在本实施方式中,在“3-2.内容导航”中根据由用户观看的内容数据(照片、视频、音乐等)来估计用户的情感,但本实施方式不限于此,并且例如,可以根据在用户捕获图像时获取的对象图像和声音来估计用户(拍摄者)的情感。具体地,例如,当指示捕获儿童或动物的照片的图像的拍摄者具有快乐的情感的相关关系的数据作为学习结果被预先存储在内容-情感DB 23中时,情感估计单元20c可以响应于对象来估计用户(拍摄者)的情感。此外,例如,当从对象的声音中检测到笑声等时,对象具有快乐的情感,从而情感估计单元20c可以估计出在一起的用户(拍摄者)以相同的方式具有快乐的情感。
另外,参照图2至图4描述了被包括在根据本实施方式的通信系统中的客户端1、客户端3和服务器2的每个部件,但本公开内容不限于此,并且每个部件的功能可以以任何方式分布。具体地,可以在例如客户端1侧提供服务器2的控制单元20的所有相应的功能,以及环境-情感DB 22、内容-情感DB 23和情感地图DB 24可以被设置在各个不同的服务器中。
另外,在上述“3-1.根据情感地图的导航”中描述了根据用户的当前位置信息引导到与预定情感链接的地点和路径的情感导航,但本实施方式不限于此。例如,可以参照当前位置信息和情感地图来估计用户的当前情感,以根据所估计的情感来执行导航。具体地,在当前位置位于情感地图上快乐程度为低的地点处时,用户的当前情感被估计成低的快乐程度,从而执行到高快乐程度的地点的导航。
另外,在上述内容导航和环境信息导航中,分别基于观看内容和周围环境信息来估计用户的当前情感,但本实施方式不限于此。例如,可以参照用户的当前位置和情感地图来估计用户的当前情感,以执行使得更快乐的内容导航或环境改善导航。
另外,服务器2可以通过用户的属性(年龄、年龄段、性别、爱好、偏好、出生地等)来生成指示环境信息和情感数据的相关性的数据(环境-情感DB 22)以及指示内容数据和情感数据的相关性的数据(内容-情感DB 23)。
此外,本说明书中所描述的效果仅是说明性的和示范性的,而不是限制性的。换言之,连同或替代基于本说明书的效果,根据本公开内容的技术可以呈现对于本领域技术人员而言明显的其他效果。
此外,本技术还可以被如下地配置。
(1)
一种通信系统,包括:
获取单元,被配置成获取用户的当前位置信息;
引导信息生成单元,被配置成根据所述当前位置信息和地图信息来生成引导信息,在所述地图信息中映射有情感数据;以及
提供单元,被配置成向所述用户提供所述引导信息。
(2)
根据(1)所述的通信系统,其中,
所述引导信息包括根据映射在所述地图信息中的所述情感数据来向所述用户指示运动的方向的信息。
(3)
根据(1)或(2)所述的通信系统,其中,
所述获取单元获取用于估计所述用户的情感的数据。
(4)
根据(1)至(3)中的任意一项所述的通信系统,还包括:
地图信息生成单元,生成映射有所述情感数据的所述地图信息。
(5)
根据(4)所述的通信系统,其中,
所述地图信息生成单元根据位置信息以及从客户端上传的用于估计所述用户的情感的数据/已被估计的所述情感数据来生成所述地图信息。
(6)
根据(4)或(5)所述的通信系统,其中,
所述地图信息生成单元还对每个区域的平均寿命信息进行映射。
(7)
根据(1)至(6)中的任意一项所述的通信系统,还包括:
第一情感估计单元,基于从客户端上传的内容数据来估计所述情感数据。
(8)
根据(7)所述的通信系统,其中,
所述第一情感估计单元基于通过学习所述内容数据的特征值与所述情感数据之间的关系生成的学习结果,根据所述内容数据来估计所述情感数据。
(9)
根据(7)或(8)所述的通信系统,其中,
所述引导信息生成单元根据基于所述用户在当前时刻观看的内容数据估计的所述情感数据来生成用于向所述用户推荐特定内容数据的所述引导信息。
(10)
根据(1)至(9)中的任意一项所述的通信系统,还包括:
第二情感估计单元,基于从客户端上传的所述用户周围的环境信息来估计所述情感数据。
(11)
根据(10)所述的通信系统,其中,
所述第二情感估计单元基于通过学习所述环境信息与所述情感数据之间的关系生成的学习结果,根据所述环境信息来估计所述情感数据。
(12)
根据(10)或(11)所述的通信系统,其中,
所述引导信息生成单元根据基于所述用户周围的当前环境信息估计的所述情感数据来生成向所述用户建议改善所述环境信息的所述引导信息。
(13)
一种控制方法,包括:
从客户端获取用户的当前位置信息;
根据所述当前位置信息和地图信息来生成引导信息,在所述地图信息中映射有情感数据;以及
执行控制以向所述用户提供所述引导信息。
(14)
一种存储有程序的存储介质,所述程序使计算机用作:
获取单元,被配置成获取用户的当前位置信息;
引导信息生成单元,被配置成根据所述当前位置信息和地图信息来生成引导信息,在所述地图信息中映射有情感数据;以及
提供单元,被配置成向所述用户提供所述引导信息。
附图标记列表
1 客户端(用于引导信息呈现)
10 控制单元
11 通信单元
12 显示单元
13 操作单元
14 存储单元
2 服务器
20 控制单元
20a 地图信息生成单元
20b 引导信息生成单元
20c 情感估计单元
20d 提供单元
21 通信单元
22 环境-情感数据库
23 内容-情感数据库
24 情感地图数据库
3、3a至3c 客户端(用于数据收集)
30 控制单元
31 通信单元
32 显示单元
33 操作单元
34 图像数据库
35 成像单元
36 内摄像装置
37 情感传感器单元
38 位置信息获取单元
5 网络
Claims (13)
1.一种通信系统,包括:
获取单元,被配置成获取用户的当前位置信息;
引导信息生成单元,被配置成根据所述当前位置信息和地图信息来生成引导信息,在所述地图信息中映射有情感数据;
提供单元,被配置成向所述用户提供所述引导信息;以及
第一情感估计单元,基于从客户端上传的所述用户周围的环境信息来估计所述情感数据。
2.根据权利要求1所述的通信系统,其中,
所述引导信息包括根据映射在所述地图信息中的所述情感数据来向所述用户指示运动的方向的信息。
3.根据权利要求1所述的通信系统,其中,
所述获取单元获取用于估计所述用户的情感的数据。
4.根据权利要求1所述的通信系统,还包括:
地图信息生成单元,生成映射有所述情感数据的所述地图信息。
5.根据权利要求4所述的通信系统,其中,
所述地图信息生成单元根据位置信息以及从客户端上传的用于估计所述用户的情感的数据/已被估计的所述情感数据来生成所述地图信息。
6.根据权利要求4所述的通信系统,其中,
所述地图信息生成单元还对每个区域的平均寿命信息进行映射。
7.根据权利要求1所述的通信系统,还包括:
第二情感估计单元,基于从客户端上传的内容数据来估计所述情感数据。
8.根据权利要求7所述的通信系统,其中,
所述第二情感估计单元基于通过学习所述内容数据的特征值与所述情感数据之间的关系生成的学习结果,根据所述内容数据来估计所述情感数据。
9.根据权利要求7所述的通信系统,其中,
所述引导信息生成单元根据基于所述用户在当前时刻观看的内容数据估计的所述情感数据来生成用于向所述用户推荐特定内容数据的所述引导信息。
10.根据权利要求1所述的通信系统,其中,
所述第一情感估计单元基于通过学习所述环境信息与所述情感数据之间的关系生成的学习结果,根据所述环境信息来估计所述情感数据。
11.根据权利要求1所述的通信系统,其中,
所述引导信息生成单元根据基于所述用户周围的当前环境信息估计的所述情感数据来生成向所述用户建议改善所述环境信息的所述引导信息。
12.一种控制方法,包括:
从客户端获取用户的当前位置信息;
根据所述当前位置信息和地图信息来生成引导信息,在所述地图信息中映射有情感数据;以及
执行控制以向所述用户提供所述引导信息,
其中,基于从客户端上传的所述用户周围的环境信息来估计所述情感数据。
13.一种存储有程序的存储介质,所述程序使计算机用作:
获取单元,被配置成获取用户的当前位置信息;
引导信息生成单元,被配置成根据所述当前位置信息和地图信息来生成引导信息,在所述地图信息中映射有情感数据;
提供单元,被配置成向所述用户提供所述引导信息;以及
第一情感估计单元,基于从客户端上传的所述用户周围的环境信息来估计所述情感数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014087608 | 2014-04-21 | ||
JP2014-087608 | 2014-04-21 | ||
PCT/JP2015/051411 WO2015162949A1 (ja) | 2014-04-21 | 2015-01-20 | 通信システム、制御方法、および記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106255866A CN106255866A (zh) | 2016-12-21 |
CN106255866B true CN106255866B (zh) | 2019-09-13 |
Family
ID=54332123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580019990.6A Active CN106255866B (zh) | 2014-04-21 | 2015-01-20 | 通信系统、控制方法以及存储介质 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10488208B2 (zh) |
EP (1) | EP3136055A4 (zh) |
JP (1) | JP6574937B2 (zh) |
CN (1) | CN106255866B (zh) |
BR (1) | BR112016023982A2 (zh) |
WO (1) | WO2015162949A1 (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017181449A (ja) * | 2016-03-31 | 2017-10-05 | カシオ計算機株式会社 | 電子機器、経路検索方法及びプログラム |
US11185998B2 (en) | 2016-06-14 | 2021-11-30 | Sony Corporation | Information processing device and storage medium |
JP6952257B2 (ja) * | 2016-07-15 | 2021-10-20 | パナソニックIpマネジメント株式会社 | コンテンツ提示のための情報処理装置、情報処理装置の制御方法、及び制御プログラム |
CN106534320A (zh) * | 2016-11-17 | 2017-03-22 | 包磊 | 一种用户状态地图生成方法和装置 |
JP2018100936A (ja) * | 2016-12-21 | 2018-06-28 | トヨタ自動車株式会社 | 車載装置及び経路情報提示システム |
WO2018123041A1 (ja) * | 2016-12-28 | 2018-07-05 | 本田技研工業株式会社 | 情報処理システム、及び情報処理装置 |
JP6752901B2 (ja) * | 2016-12-28 | 2020-09-09 | 本田技研工業株式会社 | 情報提供システムおよびサーバ |
JP6855825B2 (ja) * | 2017-02-13 | 2021-04-07 | 沖電気工業株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2018150720A1 (ja) * | 2017-02-20 | 2018-08-23 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
US11563340B2 (en) * | 2017-03-30 | 2023-01-24 | Gs Yuasa International Ltd. | Power supply device, server, and power supply device management system |
JP6552548B2 (ja) * | 2017-05-25 | 2019-07-31 | 本田技研工業株式会社 | 地点提案装置及び地点提案方法 |
JP6897377B2 (ja) * | 2017-07-11 | 2021-06-30 | トヨタ自動車株式会社 | 情報提供装置 |
JP6767322B2 (ja) * | 2017-08-18 | 2020-10-14 | ヤフー株式会社 | 出力制御装置、出力制御方法及び出力制御プログラム |
US11418467B2 (en) * | 2017-09-12 | 2022-08-16 | Get Together, Inc. | Method for delivery of an encoded EMS profile to a user device |
CN109077741A (zh) * | 2018-08-21 | 2018-12-25 | 华南师范大学 | 心理状态识别方法及系统 |
JP7090573B2 (ja) * | 2019-03-15 | 2022-06-24 | ヤフー株式会社 | 提供装置、提供方法及び提供プログラム |
JP7175810B2 (ja) * | 2019-03-20 | 2022-11-21 | ヤフー株式会社 | 選択装置、選択方法及び選択プログラム |
JP7160757B2 (ja) * | 2019-05-17 | 2022-10-25 | ヤフー株式会社 | 判定装置、判定方法及び判定プログラム |
CN110826436A (zh) * | 2019-10-23 | 2020-02-21 | 上海能塔智能科技有限公司 | 情绪数据传输及处理方法、装置、终端设备、云平台 |
JP2021189471A (ja) * | 2020-05-25 | 2021-12-13 | パナソニックIpマネジメント株式会社 | イベント情報評価装置、生体情報抽出システム、イベント情報評価システムおよび生体情報抽出装置 |
WO2022118455A1 (ja) * | 2020-12-04 | 2022-06-09 | 株式会社ロゼッタ | メガネ型ウェアラブル端末、広告表示制御方法、広告表示制御プログラム、広告提供装置、広告提供方法、広告提供プログラムおよび広告提供システム |
JP7044925B1 (ja) | 2020-12-04 | 2022-03-30 | 株式会社メタリアル | メガネ型ウェアラブル端末、広告表示制御方法、広告表示制御プログラム、広告提供装置、広告提供方法、広告提供プログラムおよび広告提供システム |
JPWO2022180770A1 (zh) * | 2021-02-26 | 2022-09-01 | ||
US20220357172A1 (en) * | 2021-05-04 | 2022-11-10 | At&T Intellectual Property I, L.P. | Sentiment-based navigation |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4707877B2 (ja) * | 2001-06-11 | 2011-06-22 | パイオニア株式会社 | ドライブ候補地提示装置及び方法、ナビゲーション装置及びコンピュータプログラム |
JP2007034664A (ja) | 2005-07-27 | 2007-02-08 | Sony Corp | 感情推定装置および方法、記録媒体、および、プログラム |
JP4858400B2 (ja) | 2007-10-17 | 2012-01-18 | ソニー株式会社 | 情報提供システム、情報提供装置、情報提供方法 |
CN101382936A (zh) * | 2007-12-25 | 2009-03-11 | 苏州中茵泰格科技有限公司 | 一种主动式互动导航的方法和系统 |
JP5024093B2 (ja) | 2008-02-08 | 2012-09-12 | ソニー株式会社 | 画像の撮影装置、その表示装置および画像データの管理システム |
FR2938672A1 (fr) * | 2008-11-19 | 2010-05-21 | Alcatel Lucent | Procede et dispositif d'enregistrement de donnees representatives de sentiments ressentis par des personnes dans des lieux localisables, et serveur associe |
US9417084B2 (en) * | 2010-03-26 | 2016-08-16 | Koninklijke Philips N.V. | Method and navigation device for providing at least one route |
US8364395B2 (en) * | 2010-12-14 | 2013-01-29 | International Business Machines Corporation | Human emotion metrics for navigation plans and maps |
US20140250200A1 (en) * | 2011-11-09 | 2014-09-04 | Koninklijke Philips N.V. | Using biosensors for sharing emotions via a data network service |
US9389091B2 (en) * | 2011-12-20 | 2016-07-12 | Safe Path Technologies, LLC | Methods and apparatus for attribute-based navigation |
JP5971336B2 (ja) * | 2012-06-21 | 2016-08-17 | トヨタ自動車株式会社 | ルートの検索装置及びルートの検索方法 |
-
2015
- 2015-01-20 EP EP15783327.8A patent/EP3136055A4/en not_active Withdrawn
- 2015-01-20 WO PCT/JP2015/051411 patent/WO2015162949A1/ja active Application Filing
- 2015-01-20 CN CN201580019990.6A patent/CN106255866B/zh active Active
- 2015-01-20 JP JP2016514736A patent/JP6574937B2/ja active Active
- 2015-01-20 BR BR112016023982A patent/BR112016023982A2/pt not_active Application Discontinuation
- 2015-01-20 US US15/302,093 patent/US10488208B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2015162949A1 (ja) | 2017-04-13 |
EP3136055A1 (en) | 2017-03-01 |
BR112016023982A2 (pt) | 2017-08-15 |
WO2015162949A1 (ja) | 2015-10-29 |
CN106255866A (zh) | 2016-12-21 |
US10488208B2 (en) | 2019-11-26 |
JP6574937B2 (ja) | 2019-09-18 |
EP3136055A4 (en) | 2018-04-11 |
US20170205240A1 (en) | 2017-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106255866B (zh) | 通信系统、控制方法以及存储介质 | |
KR102631309B1 (ko) | 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템 | |
JP6745857B2 (ja) | 学習装置、学習システム、および学習方法 | |
US11503197B2 (en) | Retrieving and displaying key words from prior conversations | |
CN110609903B (zh) | 信息表示方法及装置 | |
US9894415B2 (en) | System and method for media experience data | |
CN109074117B (zh) | 提供基于情绪的认知助理系统、方法及计算器可读取媒体 | |
US20170238859A1 (en) | Mental state data tagging and mood analysis for data collected from multiple sources | |
EP3217254A1 (en) | Electronic device and operation method thereof | |
CN111258435B (zh) | 多媒体资源的评论方法、装置、电子设备及存储介质 | |
US9646046B2 (en) | Mental state data tagging for data collected from multiple sources | |
KR102304701B1 (ko) | 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치 | |
KR20220149503A (ko) | 이미지 촬영 방법 및 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체 | |
US20220318551A1 (en) | Systems, devices, and/or processes for dynamic surface marking | |
US20220318550A1 (en) | Systems, devices, and/or processes for dynamic surface marking | |
US11995904B2 (en) | Systems, devices, and/or processes for dynamic surface marking | |
WO2022207145A1 (en) | Systems, devices, and/or processes for dynamic surface marking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |