CN107615217B - 信息处理装置、信息处理方法和计算机可读存储介质 - Google Patents

信息处理装置、信息处理方法和计算机可读存储介质 Download PDF

Info

Publication number
CN107615217B
CN107615217B CN201680032876.1A CN201680032876A CN107615217B CN 107615217 B CN107615217 B CN 107615217B CN 201680032876 A CN201680032876 A CN 201680032876A CN 107615217 B CN107615217 B CN 107615217B
Authority
CN
China
Prior art keywords
scent
smell
information
user
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680032876.1A
Other languages
English (en)
Other versions
CN107615217A (zh
Inventor
西牧洋一
平田真一
大泽洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN107615217A publication Critical patent/CN107615217A/zh
Application granted granted Critical
Publication of CN107615217B publication Critical patent/CN107615217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的目的是提供一种信息处理装置,其能够通过使用气味呈现设备以适当的形式向用户呈现气味。提供了一种信息处理装置,其获取与将被呈现给所述用户的内容的细节相关的内容信息,所述内容包括视频和/或音频中;以及使得气味呈现设备对于获取的内容信息适当的形式呈现气味。

Description

信息处理装置、信息处理方法和计算机可读存储介质
技术领域
本发明涉及控制向用户呈现气味的气味呈现设备的信息处理装置、信息处理方法、用于信息处理装置的控制程序和信息存储介质。
背景技术
例如,在视频游戏等中,为了使用户具有更多的林场感的体验,为此目的研究了利用向用户呈现特定气味的气味呈现设备。
发明内容
[技术问题]
传统的气味呈现设备仅在确定的时刻呈现确定的气味,并且当将气味与视频或音频的内容一起呈现给用户时,以何种方式呈现气味的问题还没有被充分地研究。
本发明是鉴于上述情况而完成的,其目的在于提供一种信息处理装置、信息处理方法、用于信息处理装置的控制程序以及信息存储介质,能够利用气味呈现设备以适当的模式向用户呈现气味。
[问题的解决方案]
根据本发明的信息处理装置是一种控制向用户呈现气味的气味呈现设备的信息处理装置,所述信息处理装置包括:获取单元,被配置为获取与内容的实质相关的内容信息,所述内容包括将被呈现给所述用户的视频和音频中的至少一个;以及控制单元,被配置为控制所述气味呈现设备,以根据所获取的内容信息的模式呈现气味。
根据本发明的信息处理方法是一种用于控制向用户呈现气味的气味呈现设备的信息处理方法,所述信息处理方法包括:获取与内容的实质相关的内容信息的步骤,所述内容包括将被呈现给所述用户的视频和音频中的至少一个;以及控制所述气味呈现设备,以根据所获取的内容信息的模式呈现气味的步骤。
根据本发明的程序是一种用于控制向用户呈现气味的气味呈现设备的程序,所述程序用于使得计算机用作:获取装置,用于获取与内容的实质相关的内容信息,所述内容包括将被呈现给所述用户的视频和音频中的至少一个;以及控制装置,用于控制所述气味呈现设备,以根据所获取的内容信息的模式呈现气味。该程序可以存储在一种计算机可读信息存储介质中,并且与计算机可读信息存储介质一起提供。
附图说明
图1是包括根据本发明实施例的信息处理装置的整个气味呈现系统的概要图。
图2是描绘根据本发明实施例的信息处理装置的功能的功能框图。
图3是描绘气味信息的示例的视图。
图4A是描绘表示配置有气味对象的虚拟空间的状态的图像的示例的图。
图4B是描绘表示配置有气味对象的虚拟空间的另一状态的图像的示例的图。
具体实施方式
以下,参照附图详细说明本发明的实施例。
图1是描绘包括根据本发明的一个实施例的信息处理装置10的气味呈现系统1的配置的配置框图。如图1所示,气味呈现系统1配置为包括信息处理装置10、气味呈现设备2、操作设备3、显示设备4以及声音再现设备5。
信息处理装置10可以是例如家用游戏机、便携式游戏机、个人计算机、智能手机、平板电脑等。如图1所示,信息处理装置10被配置为包括控制单元11、存储单元12和接口单元13。
控制单元11是中央处理单元(CPU)等,并且执行存储在存储单元12中的程序以执行各种信息处理。应该注意的是,在下文中描述了由本实施例中的控制单元11执行的处理的特定示例。存储单元12包括诸如随机存取存储器(RAM)之类的存储设备,并存储要由控制单元11执行的程序和要由程序处理的数据。
接口单元13是用于在气味呈现设备2、操作设备3、显示设备4以及声音再生装置5之间传送各种数据的通信接口。信息处理装置10通过接口单元13通过有线通信或无线通信与气味呈现设备2、操作设备3、显示设备4和声音再现设备5连接。
气味呈现设备2是用于向用户呈现气味并释放香料以使得用户感觉到特定气味的设备。在本实施例中,配置气味呈现设备2,使得可移除地安装有填充有分别具有特定气味的香料的多个盒。气味呈现设备2响应来自信息处理装置10的控制信号,释放填充在特定盒中的香料。因此,气味呈现设备2可以向用户呈现与多个盒对应的多种类型的气味。另外,通过更换附接于气味呈现设备2的盒,能够向用户呈现比可以同时安装在气味呈现设备2上的盒的数量多的各种气味。作为具体的示例,能够安装在气味呈现设备2上的盒可以是释放诸如食物(水果、咖啡、咖喱、肉等)的气味、环境(土壤、草皮、木材、图书馆、医院等)的气味、物品(火药、血液、兽、汗、古龙水、机器、垃圾等)的气味、甜味和辛辣味的各种气味的那些盒。
气味呈现设备2可以被构造成可以被安装在用户的身体(头部等)上。在这种情况下,如果香料在用户的鼻子附近释放,则用户可以清楚地感觉到气味。可选地,气味呈现设备2可以内置在信息处理装置10的外壳中。可选地,气味呈现设备2可以独立于信息处理装置10固定地安装在用户所在的房间中。可选地,气味呈现设备2可以包括轮子、驱动机构等,以便能够在地板上行进。通过如上所述的这种配置,响应于信息处理装置10的控制,可以改变气味呈现设备2释放香料的地点。
气味呈现设备2可以通过各种方法释放盒中的香料。具体而言,气味呈现设备2可以通过发射等将盒中的香料散布在雾中。此外,在气味呈现设备2安装在用户的身体上的情况下,气味呈现设备2可将盒中的香料浸泡到能够吸收液体的液体吸收材料(滤纸等)中,并将液体吸收材料移动到用户的鼻子附近,使得从液体吸收材料蒸发的香料的气味呈现给用户。应该注意的是,气味呈现设备2可以调整要释放的香料的量或调整香料浸泡在其中的液体吸收材料到用户的距离,以控制呈现给用户的气味的强度。特别是,当想要使得用户更强烈地感觉到气味时,气味呈现设备2可以增加要释放的香料的量,或者可以将其中浸泡有香料的液体吸收材料移动到更接近用户的鼻子。
操作设备3是用于接受来自用户的操作输入的设备,并且向信息处理装置10输入指示接受的用户的操作内容的信号。操作设备3可以是例如用于家用游戏机的控制器、键盘等。此外,操作设备3可以包括布置在信息处理装置10的壳体的表面上的按钮等。
显示设备4是有机电致发光(EL)显示单元、液晶显示单元等,并且根据从信息处理装置10输出的视频信号在其屏幕上显示视频。显示设备4可以是像头戴式显示单元这样的由用户将设备穿戴在用户头上使用类型的设备。此外,显示设备4可以与信息处理装置10的壳体一体地配置。
声音再现设备5是扬声器等,并且根据从信息处理装置10输出的音频信号发出声音。声音再现设备5可以是将耳机这样的由用于将设备穿戴在用户耳朵上使用类型的设备。此外,声音再现设备5可以被内置在信息处理装置10的壳体中。
在下文中,参照图2描述由信息处理装置10实现的功能。如图2所示,信息处理装置10在功能上包括内容呈现单元21、内容信息获取单元22和气味控制单元23。这些功能由控制单元11执行存储在存储单元12中的程序来实现。该程序可以通过诸如因特网的通信网络提供给信息处理装置10,或者可以被存储在诸如光盘之类的计算机可读信息存储介质中并与其一起提供。
内容呈现单元21向用户呈现包括视频和音频中的至少一个的内容。具体地,内容呈现单元21通过控制显示设备4在显示设备4的屏幕上显示视频或控制声音再现设备5再现声音来呈现内容。要由内容呈现单元21呈现的内容可以是例如由游戏程序实现的游戏的视频或音频。或者,内容可以是存储在诸如光盘之类的计算机可读信息存储介质中的视频或音频,或者可以是通过广播、流媒体分发等从外部传输到信息处理装置10的视频或音频。此外,要由内容呈现单元21生成并呈现给用户的内容可以包括指示虚拟对象被布置在其中的虚拟空间中的状态的视频。
内容信息获取单元22获取与由内容呈现单元21呈现的内容有关的信息(这种信息在下文中被称为内容信息)。具体而言,内容信息获取单元22获取将被用于通过下文中描述的气味控制单元23来实现对气味的控制的内容信息。以下描述根据内容信息的内容信息和气味控制的实质的具体示例。
气味控制单元23控制气味呈现设备2以根据内容信息的模式向用户呈现气味。具体地,气味控制单元23确定从在气味呈现设备2上安装的多个盒中的哪一个将要喷出香料、在哪个时刻喷出香料、在哪个强度下呈现气味等,并且输出用于使气味呈现设备2根据所确定的实质而动作的控制信号。通过气味呈现设备2根据控制信号进行动作,能够以根据内容的实质的时刻和强度向用户呈现根据内容的实际情况的种类的气味。
在下文中,描述根据内容的实质的气味呈现设备2的控制的具体示例。
首先,作为第一示例,描述将虚拟空间中布置的虚拟对象的气味呈现给用户的示例。在该示例中,内容呈现单元21生成指示其中布置有虚拟对象的虚拟空间内的状态的视频,并控制显示设备4将视频显示在显示设备4的屏幕上。此外,设置气味信息与布置在虚拟空间中的至少一些虚拟对象相关联。在以下描述中,将设置有气味信息的虚拟对象称为气味对象。
图3示出了与一个气味对象相关联地设置的气味信息的示例。在图3的示例中,气味信息包括气味类型、气味强度、气味范围和气味传递标志的值。此外,除了气味信息之外,形状或外观的信息以及虚拟空间中的位置的信息被设置到气味对象。这里,气味类型是指示从气味对象发出什么气味的信息。气味类型可以是指定要安装在气味呈现设备2上的盒的类型的信息。气味强度是指示从气味对象发出到周围环境的气味的强度程度的信息。气味范围是指示气味对象的气味在虚拟空间中到达的范围的信息。尽管气味范围可以是由距离的数值确定的圆形范围,但是其可以是响应于气味对象的取向而确定的非圆形范围。特别地,例如,气味对象前面的气味到达的距离和气味对象后面的气味到达的距离可以彼此不同。此外,气味范围可以不是针对每个气味对象单独设置,而是可以响应于气味强度而自动设置。气味传递标志是指示气味对象是否具有被传递到不同对象的气味的信息。
此外,在虚拟空间中,设置当向用户呈现气味时作为基准的气味基准位置。当产生指示虚拟空间中的状态的图像时,该气味基准位置可以与作为基准的视点位置重合。可选地,气味基准位置可以是布置在虚拟空间中的特定对象的布置位置。在这种情况下的特定对象可以是作为用户在虚拟空间中的化身的角色的对象(这种对象在下文中被称为用户对象U)。在任何情况下,都假定响应于用户对操作设备3的操作输入,气味基准位置在虚拟空间中移动。例如,如果用户对象U被布置在虚拟空间中并且视点位置以与用户对象U的位置互锁的关系在虚拟空间中移动,则用户可以通过操作用户对象U在虚拟空间中移动来浏览虚拟空间中的任意位置处的状态。此时,如果用户对象U的位置被设置为气味基准位置,则响应于用户的操作,气味基准位置也在虚拟空间中移动。
在该第一示例中,假定到达虚拟空间中的气味基准位置的气味对象的气味被呈现给用户。用于实现如上所述的这种控制的内容信息获取单元22获取气味对象的位置和气味信息以及气味基准位置的信息。然后,内容信息获取单元22响应于虚拟空间中的气味基准位置和气味对象之间的位置关系,确定将向用户呈现气味的时刻。具体地,内容呈现单元21在每个预定时间间隔(例如,在要在显示设备4的屏幕上显示的帧图像的每个更新间隔之后),响应于用户的操作输入等更新虚拟空间中的气味基准位置。内容信息获取单元22获取更新后的气味基准位置和气味对象的位置以及相关气味对象的气味信息。然后,内容信息获取单元22判定气味基准位置是否已经进入设置到气味对象的气味范围。如果气味基准位置已经进入气味范围,则气味控制单元23指示气味呈现设备2向用户呈现与设置到气味对象的气味类型对应的气味。由于以这种方式向用户呈现与气味对象相对应的气味,所以例如即使气味对象不包括在指示由内容呈现单元21呈现的虚拟空间中的状态的视频图像中,也可以将气味基准位置附近存在气味对象传递给用户。
此时,由气味呈现设备2呈现给用户的气味的强度可以响应于对气味对象设置的气味强度以及气味对象与气味基准位置之间的距离来确定。具体地,气味控制单元23进行控制,以使得随着对气味对象设置的气味强度增加,并且随着气味对象和气味基准位置之间的距离减小,向用户呈现更强的气味。
需要说明的是,如果在虚拟空间内设置多个气味对象,并且它们的气味范围彼此重叠,则气味基准位置可能同时进入设置到多个气味对象的气味范围。在刚刚描述的这种情况下,气味控制单元23可以指示气味呈现设备2使得单独地为多个气味对象设置的气味被同时呈现,或者可以指示气味呈现设备2仅像向用户呈现要呈现最强气味的气味对象的气味。
此外,气味信息可以包括指示气味对象的表面上的气味分布的气味图。在这种情况下,气味信息被描述为二维地图图像,其中以与指示虚拟物体的外观的纹理图或凹凸图相似的数据结构为每个像素设置气味类型或气味强度的信息。根据如上所述的这种技术,只有具有一定尺寸的气味对象的特定位置才能具有气味,或者不同位置具有不同类型的气味。在这种情况下,气味控制单元23合成各位置处的气味信息以确定将到达气味基准位置的气味的类型和强度,并且响应于所确定的实质来控制气味呈现设备2。
此外,气味信息中包括的气味传递标志指示气味是否被传递到不同的虚拟对象。例如,假定在虚拟空间中包括第一对象和第二对象的两个虚拟对象彼此接触的情况。这里,假定将气味信息设置到第一对象,并且气味信息中的气味传递标志具有“是”的值(即,表示气味被传递的值)。另一方面,假定在初始状态下,没有气味信息被设置到第二对象。在本示例中,当第一对象和第二对象彼此接触时,内容呈现单元21判定是否发生气味传递。这里,由于第一对象的气味传递标志为“是”,因此判定发生了气味传递。因此,直到此时没有设置气味信息的第二对象设置具有与第一对象相同的气味类型的气味信息。此时,第二对象的气味强度可以响应于第一对象的气味强度或气味类型、对象彼此保持接触的时间段等来确定。可选地,作为气味信息,可以将指示气味传递的容易度的指标值设置到第一对象,并且可以响应于该指标值来确定第二对象的气味强度。此外,在第一对象和第二对象彼此不接触之后,第二对象的气味强度可随着时间的流逝而减小。此外,在第二对象是从开始到第二对象设置有气味信息的气味对象的情况下,可以设置这样的气味信息,其指示由于气味传递而导致两种气味都以混合状态存在。或者,也可以仅将指示较高气味强度的气味作为气味信息设置到第二对象。
要注意的是,包括气味传递标志的气味信息的实质可以响应于与气味对象发生的事件而改变。例如,虽然像苹果这样的水果本来具有气味,但是如果只与水果接触,则认为气味不会传递到物品上。然而,如果施加压力使水果等崩溃,则果汁可能粘附在不同的物品上以引起气味传递。因此,为了再现在虚拟空间中刚刚描述的这种现象,当发生向气味对象施加压力的这种事件时,内容呈现单元21改变气味对象的形状并将气味转移标志的值从“否”(即,指示不发生气味传递的值)变为“是”。此外,此时,也可以一并更新除气味传递标志以外的设置到气味对象的各种气味信息,以提高气味对象的气味强度或改变气味类型。
此外,如上所述,在指示气味对象的表面上的气味分布的气味图被设置到气味对象的情况下,也可以对气味图中的每个像素设置气味传递标志。在这种情况下,可以执行这样的控制:如果气味对象的特定位置与不同的虚拟对象接触,则发生气味传递,但是如果接触到不同的位置,则不发生气味传递。
图4A和4B是示出发生气味传递的方式的视图。图4A示出了其中布置了代表水果的水果对象F和用户对象U的虚拟空间的状态。在此,虽然对水果对象F设置了气味信息,但是气味信息中的气味传输标志为“否”。因此,即使用户操作用户对象U以用户对象U的手接触水果对象F,也不会发生气味传递。这里,如果用户执行用户对象U的手碰撞水果的操作,如图4B所示,然后将水果对象F的气味传递标志从“否”更新为“是”。另外,在该状态下,由于使水果对象F与用户对象U的手部相互接触,所以发生向手部的气味的传递,并且与水果对象F的种类相同的气味信息被新设置到手部。即使在这种状态下用户对象U移出设置到水果对象F的气味范围之外,由于与水果对象F的类型相同的气味被设置为用户对象U的手,所以气味控制单元23指示气味呈现设备2向用户呈现水果的气味。特别是,在指定比较小的气味范围的气味信息被设置到手部的情况下,气味控制单元23控制气味呈现设备2,以仅当用户将用户对象U的手移动到用户对象U的头部附近时,向用户呈现设置到用户对象U的手部的气味。因此,用户可以真正体验在虚拟空间中发生的气味传递。
此外,气味控制单元23可以响应于气味对象和气味基准位置之间的位置关系,控制从用户的角度来看释放气味的方向。这样的控制可以在控制气味发射源的气味呈现设备2中执行。另外,在本示例中,假定在气味基准位置设置取向(用户的前进方向与该方向一致)。气味基准位置的取向可以与在虚拟空间中设置的注视方向一致,或者可以是用户对象U的前向。例如,如果气味基准位置的取向与用户对象U的取向一致,在给出例如图4A中例示的显示的状态下,然后水果对象F相对于气味基准位置的取向位于向右的方向。此时,如在现实世界中,如果向水果对象F设置的气味可以从右向方向向用户呈现,则用户可以在虚拟空间中更真实地体验该现象。
为了实现如上所述的这种控制,可以将多个气味呈现设备2连接到信息处理装置10。具体地,如果安装从用户的向右方向发射香料的气味呈现设备2和从向左方向发射不同香料的另一气味呈现设备2,则通过指示两个气味呈现设备2中的任意一个发射香料,气味控制单元23能够将从向左和向右方向中的一个方向发射的气味呈现给用户。另外,在气味对象存在于气味基准位置的前方方向的情况下,也可以从左右气味呈现设备2两者呈现气味。可替代地,气味呈现设备2可以不但在前侧而且在用户的后侧安装,使得气味对象存在于气味基准位置的前方或后方时,由那些气味呈现设备2呈现气味。另外,在每个气味呈现设备2能够如上所述移动其位置的情况下,气味控制单元23可以控制气味呈现设备2以在气味呈现设备2移动到响应于气味对象的位置而确定的位置之后呈现气味。
而且,即使只有一个气味呈现设备2可用,并且气味呈现设备2的位置是固定的,也可以向用户呈现在虚拟空间中将气味释放的方向。在这种情况下,气味呈现系统1包括用于检测用户的面部的取向的传感器。刚刚描述的这种传感器可以是诸如陀螺仪之类的运动传感器,其内置于安装在用户头部的设备(例如头戴式显示器)中。或者,传感器可以是安装在能够拾取用户头部周围的视频图像的位置处的照相机。通过分析如上所述由这样的照相机拍摄的图像中包括的用户的脸部图像,可以指定用户的取向。在本示例中,例如,当气味对象相对于气味基准位置的取向存在于向右方向时,气味控制单元23例如在用户指向向右方向的时刻呈现气味设置到气味对象,而用户指向向左方向的时停止气味的呈现。可选地,尽管气味呈现与用户的脸部的取向无关,但是气味的强度可以响应于用户的脸部的取向而改变。在这种情况下,如果从虚拟空间中的气味基准位置观察到用户的脸部指向与气味对象的方向相对应的取向,则相比于当用户的脸部指向任何其他取向时释放更强气味。根据这样的控制,通过以与用户的面部的取向联动的方式呈现气味,能够以该取向将从单一气味呈现设备2发射的气味传递给用户。
尽管在前面的描述中,包括在气味信息中的气味类型表示特定的盒,但是设置到气味对象的气味可以是多种基本气味成分的组合。在这种情况下,气味对象的气味信息包括指定多种气味成分中的每一种的强度的值,代替上文所述的气味类型和气味强度。气味呈现设备2在其上安装有与气味成分对应的盒,气味控制单元23指示气味呈现设备2以由气味信息分别指定的强度来释放由气味对象的气味信息指定的气味成分的香料。
此外,在上述说明书中,假定响应于在虚拟空间中响应于用户的操作而移动的气味基准位置与气味对象之间的位置关系,控制向用户呈现气味的时刻。然而,当气味对象在虚拟空间中的位置满足预先确定的条件时,诸如当气味基准位置在虚拟空间中没有改变时,或者当气味对象仅仅前进到在虚拟空间中的预定区域时,可以向用户呈现气味。
而且,可以预先确定的事件出现的时刻向用户呈现气味,诸如在气味对象开始释放气味的时刻。作为一个特定示例,当释放代表锅的气味的对象被布置在虚拟空间中时,气味控制单元23可以在用户指示用于打开锅盖的操作的时刻,开始根据设置到气味对象的气味信息的气味呈现。可选地,当气味基准位置前进到虚拟空间中的预定区域时,气味控制单元23可以向用户呈现与该区域相关的气味(环境的气味),而与气味对象无关。
此外,当作为用户的操作目标的用户对象U发生某些事件时,可以向用户呈现预先确定的气味。例如,在内容呈现单元21执行游戏处理的情况下,响应于游戏的实质,用户对象U(即,用户角色)发生改变。响应于刚刚描述的这种改变,可以向用户呈现特定的气味。具体地,当在游戏中发生用户角色的身体健康恢复的事件时,气味控制单元23可以向用户呈现具有放松效果或更新效果的气味。相反,当在游戏中发生用户角色受伤或处于异常状态的事件时,可以向用户呈现令用户感到不舒服的气味。
现在,描述根据内容的实质的控制气味呈现设备2的第二示例。在这个示例中,假设由内容呈现单元21呈现的内容包括视频。内容信息获取单元22在内容呈现单元21向用户呈现视频的同时,实时分析视频以检测包括在视频中的特定图案的图像。然后,如果内容信息获取单元22检测到特定图案的图像,则气味控制单元23指示气味呈现设备2以与图案相关联的关系呈现预先确定的类型的气味。作为一个具体示例,如果检测到在视频中显示肉,则气味控制单元23向用户呈现肉的气味。另一方面,如果检测到以预定比例或更多的比例包括预定色调范围(绿色等)的颜色的图像,则木材的气味可以呈现给用户。可替代地,内容信息获取单元22可以分析诸如视频中显示的字幕的字符串的内容,以从字符串内检测预先确定的关键字。在这种情况下,如果检测到特定关键字,则气味控制单元23向用户呈现与关键词相关联的预先确定的类型的气味。或者,内容信息获取单元22可以检测出现在视频中的特定角色。在这种情况下,如果角色出现在视频中,则呈现与角色相关的气味。当视频分析的结果满足预定条件时,通过以这种方式呈现与分析结果对应的气味,即使用于指定气味的类型或气味的呈现时间的信息预先未被添加到内容,也可以向用户呈现符合内容实质的气味。
这里要注意的是,尽管在视频显示期间实时地执行视频分析,但是视频数据预先存储在存储单元12中,内容信息获取单元22可以在视频的显示之前执行视频数据的分析,以确定要呈现给用户的气味的类型以及气味的呈现时刻。在这种情况下,在内容呈现单元21开始显示视频之后,在已经检测到的特定图案的图像显示在屏幕上的时刻,气味控制单元23向用户呈现相应的气味。
随后,描述根据内容的实质的气味呈现设备2的控制的第三示例。同样在本第三示例中,与第二示例类似地,基于内容的实质的分析结果来确定要呈现给用户的气味。在本示例中,假定由内容呈现单元21呈现的内容包括音频,并且内容信息获取单元22在内容呈现单元21正在再现音频的同时,实时分析音频以检测从音频内预先确定关键字。关键字的这种检测可以使用已知的音频识别技术来实现。气味控制单元23指示气味呈现设备2呈现与由内容信息获取单元22检测到的关键字相关联的预先确定的类型的气味。例如,如果关键词“咖喱”包括在音频,则气味控制单元23向用户呈现咖喱的气味。因此,即使没有预先确定气味的类型或呈现时刻,与第二示例中类似,也可以在与内容的实质相符的时刻向用户呈现根据内容的实质的气味。应该注意的是,与第二实施例类似,在第三示例中,也可以不实时地执行关键字的检测,而是在再现音频期间可以使用针对存储在存储单元12中的音频数据预先执行的分析结果呈现气味。
现在,描述根据内容的实质的气味呈现设备2的控制的第四示例。在该第四示例中,内容信息获取单元22不分析内容的实质本身,而是获取与内容的数据分开地提供给信息处理装置10的内容的相关信息。这里,内容的相关信息可以是描述内容的实质的文档信息,内容是广播节目情况下的字幕信息,节目表数据等。类似于第三示例,内容信息获取单元22从相关信息内检测特定关键字。然后,当内容呈现单元21保持呈现内容时,气味控制单元23为用户呈现与检测到的关键词相关联地预先确定的气味。
应该注意,根据上述内容信息的气味控制的多个特定示例可以以适当的组合来使用。例如,在包含视频和音频两者的内容被呈现给用户的情况下,气味控制单元23可以基于作为每个视频和音频的分析结果获得的内容信息向用户呈现气味。
利用根据上述的本实施例的信息处理装置10,由于响应于内容的实质确定要向用户呈现气味的时刻、要呈现的气味的类型或强度、方向等,所以即使内容的制作者没有指定精细呈现的气味的实质或时刻,也能够在适当的时刻向观看内容的用户呈现适当类型的气味。
[附图标记列表]
1 气味呈现系统
2 气味呈现设备
3 操作设备
4 显示设备
5 声音再现设备
10 信息处理装置
11 控制单元
12 存储单元
13 接口单元
21 内容呈现单元
22 内容信息获取单元
23 气味控制单元

Claims (8)

1.一种信息处理装置,其控制向用户呈现气味的气味呈现设备,所述信息处理装置包括:
获取单元,被配置为获取与内容的实质相关的内容信息,所述内容包括指示虚拟空间的状态的视频,在所述虚拟空间中布置了作为代表具有气味的物品的对象的气味对象,并且指定所述气味的类型和所述气味的强度的至少一个的气味信息与所述气味对象相关联;以及
控制单元,被配置为控制所述气味呈现设备,以根据包括在所获取的内容信息中的所述气味信息的模式呈现气味,
其中,指示是否发生气味传递的标志信息与所述气味对象相关联,并且
当布置在所述虚拟空间中的不同虚拟对象与所述气味对象接触时,如果指示气味传递发生的所述标志信息作为标记信息与所述气味对象相关联,则不同气味对象改变为新的气味对象。
2.根据权利要求1所述的信息处理装置,其中,
所述控制单元控制所述气味呈现设备以在响应于所述气味对象的位置而确定的时刻呈现气味。
3.根据权利要求2所述的信息处理装置,其中,
在所述虚拟空间中设置响应于所述用户的操作而移动的基准位置,并且所述控制单元控制所述气味呈现设备以在响应于所述基准位置和所述气味对象的位置而确定的时刻呈现气味。
4.根据权利要求3所述的信息处理装置,其中,
所述控制单元控制所述气味呈现设备以用响应于所述基准位置和所述气味对象之间的距离而确定的强度呈现气味。
5.根据权利要求1至4中任一项所述的信息处理装置,其中,
所述气味呈现设备被配置为能够呈现多种类型的气味,并且
所述控制单元控制所述气味呈现设备以呈现指定类型的气味,所述指定类型的气味由信息指定,所述信息指定与所述气味对象相关联的气味的类型。
6.根据权利要求1至4中任一项所述的信息处理装置,其中,
所述控制单元控制所述气味呈现设备以响应于指定与所述气味对象相关联的气味的强度的信息确定的强度来呈现气味。
7.一种用于控制向用户呈现气味的气味呈现设备的信息处理方法,所述信息处理方法包括:
获取与内容的实质相关的内容信息的步骤,所述内容包括指示虚拟空间的状态的视频,在所述虚拟空间中布置了作为代表具有气味的物品的对象的气味对象,并且指定所述气味的类型和所述气味的强度的至少一个的气味信息与所述气味对象相关联;以及
控制所述气味呈现设备,以根据包括在所获取的内容信息中的所述气味信息的模式呈现气味的步骤,
其中,指示是否发生气味传递的标志信息与所述气味对象相关联,并且
当布置在所述虚拟空间中的不同虚拟对象与所述气味对象接触时,如果指示气味传递发生的所述标志信息作为标记信息与所述气味对象相关联,则不同气味对象改变为新的气味对象。
8.一种计算机可读存储介质,用于记录控制向用户呈现气味的气味呈现设备的程序,所述程序用于使得计算机用作:
获取装置,用于获取与内容的实质相关的内容信息,所述内容包括指示虚拟空间的状态的视频,在所述虚拟空间中布置了作为代表具有气味的物品的对象的气味对象,并且指定所述气味的类型和所述气味的强度的至少一个的气味信息与所述气味对象相关联;以及
控制装置,用于控制所述气味呈现设备,以根据包括在所获取的内容信息中的所述气味信息的模式呈现气味,
其中,指示是否发生气味传递的标志信息与所述气味对象相关联,并且
当布置在所述虚拟空间中的不同虚拟对象与所述气味对象接触时,如果指示气味传递发生的所述标志信息作为标记信息与所述气味对象相关联,则不同气味对象改变为新的气味对象。
CN201680032876.1A 2015-06-12 2016-02-12 信息处理装置、信息处理方法和计算机可读存储介质 Active CN107615217B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015119716 2015-06-12
JP2015-119716 2015-06-12
PCT/JP2016/054104 WO2016199451A1 (ja) 2015-06-12 2016-02-12 情報処理装置

Publications (2)

Publication Number Publication Date
CN107615217A CN107615217A (zh) 2018-01-19
CN107615217B true CN107615217B (zh) 2020-07-17

Family

ID=57503535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680032876.1A Active CN107615217B (zh) 2015-06-12 2016-02-12 信息处理装置、信息处理方法和计算机可读存储介质

Country Status (5)

Country Link
US (1) US10525349B2 (zh)
EP (1) EP3309655B1 (zh)
JP (2) JP6359770B2 (zh)
CN (1) CN107615217B (zh)
WO (1) WO2016199451A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107642870B (zh) * 2017-08-08 2020-06-02 捷开通讯(深圳)有限公司 空气净化器及其控制方法、智能终端以及可读存储介质
JP6778227B2 (ja) * 2018-03-05 2020-10-28 株式会社スクウェア・エニックス 映像表示システム、映像表示方法及び映像表示プログラム
KR102551358B1 (ko) * 2018-09-21 2023-07-04 삼성전자주식회사 냉장고 내 객체의 상태와 관련된 정보를 제공하는 방법 및 시스템
CN113924562A (zh) * 2019-03-27 2022-01-11 日本烟草产业株式会社 信息处理装置、程序和信息提供系统
WO2021059642A1 (ja) * 2019-09-25 2021-04-01 ソニー株式会社 情報処理装置、制御方法、プログラム
CN111076838B (zh) * 2019-12-30 2020-12-22 兰州理工大学 一种煤自燃隐患区域精准判定的温敏示踪定位方法
WO2021200494A1 (ja) * 2020-03-30 2021-10-07 ソニーグループ株式会社 仮想空間における視点変更方法
US20220036172A1 (en) * 2020-07-29 2022-02-03 Deepmind Technologies Limited Olfactory predictions using neural networks
CN111957458A (zh) * 2020-08-03 2020-11-20 杭州气味王国科技有限公司 气体播放控制方法、系统、存储介质及气体音视频播放器

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949522A (en) * 1996-07-03 1999-09-07 Manne; Joseph S. Multimedia linked scent delivery system
JPH10151162A (ja) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp ベッドサイド患者ウェルネスシステム
JP2001000739A (ja) 1999-06-18 2001-01-09 Foosamu:Kk 電子ゲーム装置、ゲーム方法及びゲーム記録媒体
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
JP2006292948A (ja) * 2005-04-08 2006-10-26 Nippon Mmi Technology Kk 香りを用いた広告の提供方法
JP4677633B2 (ja) * 2005-09-09 2011-04-27 学校法人東海大学 匂い提示システム
US20090023553A1 (en) * 2007-07-16 2009-01-22 Youngtack Shim Exercise systems in local or global network
US20090112541A1 (en) 2007-10-26 2009-04-30 Joel Anderson Virtual reality tools for development of infection control solutions
KR101671900B1 (ko) * 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
JP5563353B2 (ja) * 2010-04-01 2014-07-30 学校法人慶應義塾 嗅覚情報制御装置、嗅覚情報制御方法及び香り発生システム
KR101654571B1 (ko) * 2010-07-21 2016-09-06 삼성전자주식회사 데이터 전송 장치 및 방법
US8691345B2 (en) * 2010-11-15 2014-04-08 Eastman Kodak Company Apparatus and method for printing in both image and aroma domains intelligently
US20130120787A1 (en) * 2011-11-14 2013-05-16 Shen Wang Image Processing For Images With Aroma Information
US20130120788A1 (en) * 2011-11-14 2013-05-16 Shen Wang Image Processing For Images With Aroma Information
US9492739B2 (en) * 2012-10-19 2016-11-15 Electronics And Telecommunications Research Institute Virtual world processing apparatus
WO2015025511A1 (ja) * 2013-08-23 2015-02-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 匂い再生装置

Also Published As

Publication number Publication date
EP3309655A1 (en) 2018-04-18
US20180140950A1 (en) 2018-05-24
CN107615217A (zh) 2018-01-19
US10525349B2 (en) 2020-01-07
EP3309655A4 (en) 2019-01-09
JP6359770B2 (ja) 2018-07-18
WO2016199451A1 (ja) 2016-12-15
JPWO2016199451A1 (ja) 2017-09-14
EP3309655B1 (en) 2021-05-05
JP6672386B2 (ja) 2020-03-25
JP2018198063A (ja) 2018-12-13

Similar Documents

Publication Publication Date Title
CN107615217B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
US9848244B2 (en) Method of providing user specific interaction using device and digital television (DTV), the DTV, and the user device
AU729838B2 (en) Method and apparatus for generating a display signal
US11178456B2 (en) Video distribution system, video distribution method, and storage medium storing video distribution program
US20220266136A1 (en) Method and apparatus for state switching in virtual scene, device, medium, and program product
CN103475938A (zh) 可散发气味的终端及控制终端散发气味的方法
JP4742283B2 (ja) 匂い提示情報を付加する方法及び上映システム
KR102085129B1 (ko) 가상현실 융합광고객체 제공방법
US20200374603A1 (en) Smart furniture content interaction system and method
WO2019163260A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102039402B1 (ko) 가상현실 광고 제공방법
JP2020511044A (ja) コンテンツ対話システム及び方法
KR20230015826A (ko) 프로그램, 방법, 및 정보 단말 장치
KR20200076178A (ko) 가상증강현실 제공 방법, 이를 이용하는 가상증강현실 제공 장치 및 향기 프로젝터
CN103752010B (zh) 用于控制设备的增强现实覆盖
US20230133049A1 (en) Virtual reality interactions
CN106528164A (zh) 虚拟现实中双向协助操作方法及系统
CN117101118A (zh) 基于交互控制器的交互方法、装置和计算机设备
DE102014010342B4 (de) Head-Mounted-Display für die Wiedergabe von filmischen Sequenzen
KR20110094772A (ko) 에이브이 기기의 냄새발생 보조장치
JPWO2021145455A5 (zh)
CN115857684A (zh) 显示控制方法、显示控制装置及电子设备
CN117876633A (zh) 安全提示方法、装置、存储介质、设备及程序产品
CN116820236A (zh) 沉浸式画廊互动方法、介质及互动系统
JP2020509468A (ja) シミュレーション方法とシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant