CN110214343A - 信息处理装置、信息处理方法及其程序 - Google Patents

Abstract

提供一种信息处理装置、信息处理方法及其程序，其能够提高用户的兴趣。[解决方案]信息处理装置包括识别单元和处理单元。识别单元被配置成识别真实空间中的物体。处理单元被配置成根据音乐的特征量对目标物体图像执行视觉效果处理，目标物体图像是由识别单元识别的物体的图像。

Description

信息处理装置、信息处理方法及其程序

技术领域

本技术涉及主要使用AR(增强现实)的信息处理装置以及方法和用于该方法的程序。

背景技术

专利文献1中描述的图像处理装置获取其中出现真实世界的输入图像，并对输入图像执行预定处理。例如，图像处理装置处理输入图像内的部分图像，该部分图像对应于用户在包括在三维模型中并存在于真实世界中(输入图像内)的物体中的搜索等指定的物体，并生成强调图像(说明书中的段落[0044]和[0058])。

专利文献2公开了：存在一种应用，当在个人计算机等中捕获的音乐被再现时，该应用使监视器伴随再现显示适于要再现的音乐的图像(参见说明书中的段落[0002])。此外，专利文献2中描述的再现控制装置获取图像数据，该图像数据具有与添加至指示再现的声音数据相同的时间线，并使扬声器输出声音数据。然后，再现控制装置将适于声音数据的声音模式的效果应用于所获取的图像数据，并使显示器显示所得到的图像数据(参见说明书中的段落[0023])。

引用列表

专利文献

专利文献1：日本专利申请公开第2012-79129号专利文献2：日本专利申请公开第2007-35121号

发明内容

技术问题

近年来，已经开发了使用AR技术的各种装置和系统，但也存在着努力和改进的需求，通过所述努力和改进用户可以进一步得到乐趣。

本公开的目的是提供一种信息处理装置，以及信息处理方法和用于该信息处理方法的程序，其能够实现用户的兴趣的增加。

问题的解决方案

为了实现上述目的，根据一个实施方式的信息处理装置包括识别单元和处理单元。

识别单元被配置成识别真实空间中的物体。

处理单元被配置成根据音乐的特征量对目标物体图像执行视觉效果处理，目标物体图像是由识别单元识别的物体的图像。

因此，用户可以观看和欣赏图像，在该图像中真实空间中的物体以与音乐同步的方式显示，并且可以实现用户兴趣的增加。

处理单元可以被配置成执行与物体的类型相关联的视觉效果处理。

处理单元可以被配置成获取音乐的频带作为特征量，针对频带中的每个分配与多个物体对应的多个目标物体图像，并且对多个目标物体图像执行视觉效果处理。因此，用户可以感觉到针对频带中的每个分配的目标物体图像中的每个的视觉效果。

处理单元可以被配置成获取音乐的声源的位置信息作为特征量，针对声源的位置中的每个分配与多个物体相对应的多个目标物体图像，并且执行对多个目标物体图像的视觉效果处理。因此，用户可以感觉到针对声源的位置中的每个分配的目标物体图像中的每个的视觉效果。

处理单元可以被配置成分别对多个目标物体图像执行不同类型的视觉效果处理。因此，用户可以感觉到频带中的每个或声源的位置的不同视觉效果。

处理单元被配置成获取音乐节奏的信息作为特征量，并根据节奏进行视觉效果处理。

处理单元可以被配置成获取音乐的音调的信息作为特征量，并且根据音调执行视觉效果处理。

处理单元可以被配置成获取附加至音乐数据的元信息，并根据元信息执行视觉效果处理。

元信息可以包括视觉效果设置信息，该视觉效果设置信息与视觉效果处理有关。

信息处理装置可以进一步包括从音乐的数据中提取特征量的特征量提取单元。换句话说，信息处理装置可以从音乐的数据中动态地提取特征量并执行视觉效果处理。

信息处理装置可以进一步包括设置单元，其被配置成执行使用户设置特征量、物体或视觉效果处理的内容中的至少一个的处理。

信息处理装置可以进一步包括周围环境信息获取单元，其被配置成获取信息处理装置的周围环境的信息。处理单元可以被配置成基于周围环境的信息进一步执行视觉效果处理。因此，信息处理装置可以显示与信息处理装置的周围环境对应的视觉效果。

周围环境获取单元可以被配置成获取信息处理装置的位置信息、放置信息处理装置的自然环境的信息或者用户的生物信息作为周围环境的信息。

根据另一实施方式的信息处理装置包括上述识别单元和处理单元。

处理单元被配置成根据附加至音乐数据的元信息对目标物体图像执行视觉效果处理，目标物体图像是由识别单元识别的物体的图像。

根据一个实施方式的信息处理方法包括识别真实空间中的物体。

根据音乐的特征量对目标物体图像执行视觉效果处理，目标物体图像是所识别的物体的图像。

根据另一实施方式的信息处理方法包括实现真实空间中的物体。

根据附加至音乐数据的元信息对目标物体图像执行视觉效果处理，目标物体图像是所识别物体的图像。

根据一个实施方式的程序使信息处理装置(计算机)执行上述信息处理方法。

发明的有益效果

在上文中，根据本技术，可以实现用户的兴趣的增加。

应当注意，这里描述的效果不一定是有限的，并且可以是本公开中描述的任何一种效果。

附图说明

[图1]图1是示出根据本技术的实施方式1的信息处理装置的配置的框图。

[图2]图2是示出图1所示的信息处理装置的操作的流程图。

[图3]图3是示出实施方式1中的视觉效果处理的合成图像的示例1的图。

[图4]图4示出了实施方式1中的视觉效果处理的合成图像的示例2。

[图5]图5示出了实施方式1中的视觉效果处理的合成图像的示例3。

[图6]图6示出了实施方式1中的视觉效果处理的合成图像的示例4。

[图7]图7是示出根据本技术的实施方式2的信息处理装置的配置的框图。

[图8]图8是示出图7中所示的信息处理装置的操作的流程图。

[图9]图9是示出根据本技术的实施方式3的信息处理装置的配置的框图。

[图10]图10是示出图9中所示的信息处理装置的操作的流程图。

具体实施方式

在下文中，将参照附图描述根据本技术的实施方式。

1.实施方式1

1.1)信息处理装置的配置

图1是示出根据本技术的实施方式1的信息处理装置的配置的框图。信息处理装置100例如是智能手机、平板电脑、头戴式显示装置或其它便携式、可穿戴式或非便携式计算机。或者，信息处理装置100可以是针对本技术优化的专用装置。

信息处理装置100包括例如相机10、图像识别单元11、音乐数据存储单元15、再现处理单元16、特征量提取单元17、处理单元13、显示单元14、扬声器18和操作单元19。

图像识别单元(识别单元)11具有分析利用相机10实时捕获的图像或过去捕获的图像的功能，即在其中出现真实空间的图像(以下称为真实空间图像)和识别真实空间内的物体。利用相机10捕获的真实空间图像可以是静止图像或运动图像。

通过由公知算法处理和分析真实空间图像，图像识别单元11辨别并识别真实空间图像内的物体。公知算法的示例包括块处理、滤波处理、对比度处理、分割、傅里叶变换、离散余弦变换、物体分析和纹理分析。

此外，图像识别单元11具有通过物体类型对分析的物体进行分类和辨别的功能。物体的类型例如是建筑物、桥梁、路灯、光源、车辆、人、山、河、海、花、桌子、椅子、书、笔、杯子和盘子，以及与每种物体类型中预先对应的标识符(ID)。以下，将其称为物体ID。物体ID可以预先被存储在信息处理装置100的存储器(未示出)中，或者可以被存储在信息处理装置100可访问的云上的服务器中。

音乐数据存储单元15具有存储音乐(歌曲)的数据的功能。

再现处理单元16具有再现存储在音乐数据存储单元15中的音乐数据并将其输出至扬声器18的功能。

例如，再现处理单元16包括解码单元161和DAC(DA转换单元)163(未示出)。再现处理单元16通过解码单元161对以预定编解码器编码的音乐数据进行再现，并通过DAC 163将模拟信号输出至扬声器18。

代替扬声器18，或者除了扬声器18之外，信息处理装置100可以包括声音输出终端。头戴式耳机或耳机可连接至声音输出端子。

特征量提取单元17具有从解码的音乐数据中提取音乐的特征量的功能。特征量的示例包括频带(或每个频带中的信号电平)、声源的位置、节奏或音调(主音调、次音调等)。

处理单元13具有根据由特征量提取单元17提取的音乐特征量对目标物体图像执行视觉效果处理的功能，，目标物体图像是由图像识别单元11识别的图像。处理单元13包括例如效果图像生成单元131和叠加单元133。

效果图像生成单元131基于由图像识别单元11识别的(与物体ID对应的)目标物体图像生成用于视觉效果处理的效果图像。效果图像可以是静止图像或运动图像。

叠加单元133将效果图像生成单元131生成的效果图像叠加在真实空间图像上，并生成由此获得的合成图像。例如，识别的物体ID的类型和效果图像的类型仅需要预先相互关联。

或者，信息处理装置100可以从云上的服务器下载表，该表示出了上述物体ID的类型与效果图像的类型的关联。

物体ID的使用不是必不可少的元素。在这种情况下，效果图像生成单元131可以基于目标物体图像(物体)的形式(形状、大小、颜色等)通过公知的AR算法生成效果图像。

显示单元14显示由处理单元13生成的合成图像。操作单元19具有接收用户的操作信息的功能。操作单元19可以像触摸板一样与显示单元14集成，或者可以与显示单元14分开地提供。

信息处理装置100包括包括CPU(中央处理单元)的硬件(未示出)、RAM(随机存取存储器)、ROM(只读存储器)等。信息处理装置100可以包括包含PLD(可编程逻辑器件)的其它硬件，PLD诸如为FPGA(现场可编程门阵列)、DSP(数字信号处理器)、GPU(图形处理单元)等。通过存储在存储器中的硬件和软件的协作，实现了信息处理装置100的每个功能。

1.2)信息处理装置的操作

图2是示出信息处理装置100的操作的流程图。例如，通过用户的操作，从音乐数据存储单元15中选择音乐数据并由再现处理单元16再现(步骤101)。由特征量提取单元17提取音乐的特征量(步骤102)。当通过相机10的成像(或开始成像)获取真实空间图像(或者开始其获取)时(步骤103)，由图像识别单元11识别真实空间图像内的物体(步骤104)。将物体的图像假定为将成为视觉效果处理的目标的目标物体图像。

步骤101至102以及步骤103和104的顺序可以是反向的或同时的。换句话说，可以首先执行步骤103，然后可以执行步骤101，或者可以同时执行步骤103和步骤101。

处理单元13根据提取的特征量生成效果图像，将生成的效果图像叠加在包括目标物体图像的真实空间图像上以生成合成图像，并显示合成图像(步骤105)。

例如，当存在多个目标物体图像(如稍后将描述)时，处理单元13针对特征量的每个值分配多个目标物体图像，并对多个目标物体图像执行视觉效果处理。

应当注意，在该实施方式1中，特征量提取单元17通常在再现期间实时提取音乐数据的特征量。信息处理装置100可以具有保存临时提取存储的音乐数据的特征量的功能。因此，当第二次或以后再现音乐数据时，可以省略特征量的提取处理。

1.3)通过视觉效果处理的合成图像的示例

1.3.1)示例1

图3示出了通过视觉效果处理的合成图像的示例1。根据示例1的真实空间图像是夜间道路的景观。音乐的特征量例如是每个频带的信号电平。图像识别单元11识别路灯或照明(或具有预定区域或更大的光源70)的图像作为目标物体图像。处理单元13根据正被再现的音乐的频带将环72作为效果图像叠加在光源70周围。换句话说，处理单元13针对频带中的每个分配多个不同的光源(目标物体图像)70a、70b和70c，并对多个目标物体图像执行视觉效果处理。

在示例1中，例如，当光源的面积小(等于或小于第一阈值)时，生成一个环72的图像作为对应于高音调范围的效果图像(第一频带)(见光源70a)。当光源的面积为中等(超过第一阈值并且等于或小于大于第一阈值的第二阈值)时，生成两个环72的图像作为对应于中间音调范围的效果图像(第二频带)(见光源70b)。当光源的面积大(超过第二阈值)时，生成三个环72的图像作为对应于低音调范围(第三频带)的效果图像(见光源70c)。

使用这些环72的效果图像包括例如动画图像，在动画图像中围绕高音调范围的光源的一个环72闪烁，或者从内侧依次打开低音调范围和中音调范围的多个同心环72。

或者，可以生成效果图像，该效果图像中环72的数量、大小、颜色密度等根据每个频带的信号电平而改变。当目标物体图像是路灯或光源时，效果图像不限于环，并且可以是实心圆或其它形式。

代替光源的区域或除了光源的区域之外，图像识别单元11可以使用光源的亮度或辉度作为目标物体图像的光源的识别参考。

如上所述，信息处理装置100可以向用户呈现合成图像，合成图像包括与用户当前正在收听的音乐同步的节奏效果图像。用户可以通过查看该合成图像来获得乐趣，并且可以实现用户的兴趣的增加。

此外，信息处理装置100包括特征量提取单元17，并且因此可以从再现的音乐的数据中动态地提取特征量以执行视觉效果处理。

此外，用户可以感觉到针对作为特征量的每个频带分配的目标物体图像的视觉效果。

1.3.2)示例2

图4示出了通过视觉效果处理的合成图像的示例2。根据示例2的真实空间图像是一组建筑物的景观。音乐的特征量例如是每个频带的信号电平。图像识别单元11识别建筑物75。处理单元13根据正在被再现的音乐的频带，在结构上叠加具有建筑物75的轮廓或具有与其类似的轮廓的图像77作为效果图像。效果图像包括例如上下拉伸和收缩的动画图像。

在示例2中，例如，将小占地面积建筑物75a的图像(目标物体图像)分配给高音调范围，将大占据面积建筑物75b的图像分配给低音调范围，并且将效果图像叠加在建筑物的各个图像上。

除了效果图像77之外，处理单元13也可以执行降低建筑物75的目标物体图像的可见度的视觉效果处理。因此，效果图像77的可见性相对增强。

1.3.3)示例3

图5示出了通过视觉效果处理的合成图像的示例3。根据示例3的真实空间图像主要是夜空的景观。图像识别单元11基于真实空间图像的亮度(或辉度)、颜色以及其它条件来识别夜空。处理单元13根据正被再现的音乐的频带，在夜空的图像(目标物体图像)上叠加具有不同尺寸的烟花80的动画作为效果图像。例如，针对低音调生成大烟花的效果图像，并且针对高音调生成小烟花的效果图像。也可以对正在观看烟花80的观众的目标物体图像执行与音乐同步的移动视觉效果处理。

作为图像识别单元11的识别的结果，当天空的亮度(或辉度)超过阈值(例如，在白天期间的明亮天空的情况下)时，处理单元13可以生成效果图像，在该效果图像中天空的辉度减小，也就是说，白天的天空变为夜空。然后，处理单元可以将烟花80的效果图像叠加在该夜空上。因此，即使在白天的天空中，用户也可以享受烟花的视觉效果。

1.3.4)示例4

图6示出了通过视觉效果处理的合成图像的示例4。如图3中所示，根据示例4的真实空间图像包括作为目标物体图像的光源70的图像。特征量提取单元17提取声源的位置作为音乐的特征量。处理单元13针对这些声源的位置中的每个分配光源70的图像(目标物体图像)并执行视觉效果处理。

例如，当音乐数据是立体声数据时，如图6所示，将效果图像叠加在分别被设置在真实空间图像内的左侧和右侧的光源70a和70b上。例如，当正在再现的音乐仅是左侧的数据时，效果图像(环72)仅被叠加在左侧的光源70a上。当正在再现的音乐仅是右侧的数据时，效果图像仅被叠加在右侧的光源70b上。

此外，特征量提取单元17可以提取声源的位置中的每个的信号电平，并且处理单元13可以根据那些信号电平对目标物体图像执行视觉效果处理。例如，处理单元13可以根据那些信号电平改变环72的数量。在这种情况下，处理单元13仅需要生成效果图像，其中对于较大信号电平，增加环72的数量。

此外，当音乐数据采用5.1-ch环绕系统时，处理单元13在包括真实空间图像的深度的三维空间内分配更多的声源的位置。因此，可以对被布置在包括深度的三维空间内的每个位置处的目标物体图像执行与音乐同步的视觉效果处理。

1.3.5)示例5

特征量提取单元17可以提取节奏(速度)作为音乐的特征量。作为包括如图3中所示的光源70的真实空间图像的示例，对于慢节奏歌曲，处理单元13也将环72重叠在具有大面积(或高亮度)的光源70c上。同时，对于快节奏歌曲，处理单元13将环72叠加在光源70上，而不考虑光源70的面积(或亮度)的大小。

或者，可以为慢节奏歌曲生成慢动作动画的效果图像，也可以为快节奏歌曲生成快动作动画的效果图像。

2.实施方式2

2.1)信息处理装置的配置

图7是示出根据本技术的实施方式2的信息处理装置的配置的框图。在下面的描述中，与具有根据图1等中所示实施方式的信息处理装置100的功能的元件基本类似的元件将用相同的参考标记表示，其描述将被简化或省略，并且将主要描述差异。

根据实施方式2的信息处理装置200包括存储元信息的元信息存储单元20。元信息存储单元20存储例如附加至音乐数据的元信息。附加至音乐数据的元信息的示例包括诸如歌曲的标题、歌词以及歌手的编目信息。或者，元信息的示例包括预先与该音乐数据相关联的物体ID。

此外，元信息存储单元20也可以存储用于设置视觉效果处理的视觉效果设置信息作为元信息。

处理单元13被配置成获取存储在元信息存储单元20中的元信息，并基于获取的元信息执行视觉效果处理。

2.2)信息处理装置的操作

图8是示出根据实施方式2的信息处理装置200的操作的流程图。步骤201至204与图2中所示的步骤101至104相同。

处理单元13获取元信息(步骤205)。在元信息的基础上，处理单元13将效果图像叠加在包括目标物体图像的真实空间图像上，以根据再现的音乐的特征量生成合成图像，并显示合成图像(步骤206)。在下文中，将利用一些示例来描述步骤206的处理。

2.2.1)操作示例1

假设处理单元13获取歌词或标题作为元信息。处理单元13确定歌词或标题中的词语是否包括预定关键字。如果包括关键字，则处理单元13生成与该关键字对应的效果图像。例如，当包括关键字“花”时，生成预定花的效果图像。处理单元13将花的效果图像叠加在任意真实空间图像内并显示效果图像。

2.2.2)操作示例2

假设处理单元13如上述处理示例1中一样，获取歌词或标题作为元信息，并且还获取物体ID。处理单元13确定歌词或标题中的单词是否包括预定关键字。此外，处理单元13确定由图像识别单元11识别的目标物体图像的物体的类型是否与所获取的物体ID一致。如果关键字被包括在歌词或标题中并且如果目标物体图像的物体的类型与物体ID一致，则处理单元13生成对应于关键字的效果图像。然后，处理单元13将该效果图像叠加在包括目标物体图像的真实空间图像上并显示图像。

例如，当关键字是“花”并且当图像识别单元11将花识别为于物体ID对应的物体时，处理单元13对识别为花的目标物体图像进行与该花相关的视觉效果处理。

2.2.3)操作示例3

除了与诸如歌词或标题的音乐数据有关的信息之外，处理单元13也获取包括与视觉效果处理有关的设置信息(视觉效果设置信息)的元信息。视觉效果设置信息是例如用于设置视觉效果处理的信息，诸如视觉效果的强度(显示的大小或区域)、显示速度、显示频率和显示颜色。

例如，如在操作示例2中，如果关键字被包括在歌词或标题中并且如果目标物体图像的物体的类型与物体ID一致，则处理单元13根据视觉效果设置信息执行视觉效果处理。

处理单元13可以获取例如指示在歌曲的每个时间序列部分中使用的效果图像的信息(效果图像如何)作为视觉效果设置信息。例如，在这种情况下，视觉效果设置信息是指示分别在一首歌曲的前奏部分、第一部分部分、第二部分以及合唱中使用的效果图像的信息。或者，视觉效果设置信息可以是用于根据部分停止视觉效果处理的信息。

应当注意，同样在操作示例2和3中，如实施方式1中所述，物体ID的使用不是必不可少的元素。

2.2.4)其它操作示例

例如，当元信息包括关键字“光”时，图像识别单元11可以根据该关键字识别真实空间图像内的光源区域。

如上所述，通过使用元信息，信息处理装置200可以基于与音乐同步的元信息执行不同的视觉效果处理。

3.实施方式3

图9是示出根据本技术的实施方式3的信息处理装置的配置的框图。信息处理装置300不包括特征量提取单元17(见图1和7)。此外，信息处理装置300包括如图7中所示的信息处理装置200中的元信息存储单元20。

图10是示出信息处理装置300的操作的流程图。步骤301至304与图2所示的步骤201和203至205相同。处理单元13将效果图像叠加在包括目标物体图像的真实空间图像上，以根据元信息生成合成图像，并显示合成图像(步骤305)。在这种情况下，处理单元13仅需要执行视觉效果处理，例如，在音乐的再现期间或与音乐的再现音量同步，而不考虑特征量。

4.实施方式4

根据本技术的实施方式4的信息处理装置(未在图中示出)具有例如用于用户通过操作单元19输入操作的设置功能(设置单元)(见图1等)。设置内容的示例包括音乐的特征量的类型，物体(物体ID)和/或视觉效果处理的内容。

例如，设置单元使显示单元14显示设置屏幕(未示出)。通过用户的经由操作单元19的输入操作，选择和设置音乐、物体以及/或者视觉效果处理的内容的特征量的类型。换句话说，设置用户期望的音乐、物体以及/或者视觉效果处理内容的特征量的类型。视觉效果处理内容是例如要使用什么效果图像以及/或者上述的视觉效果设置信息。

例如，作为选择物体的方法，当用户轻敲在触摸板显示单元14上显示的物体的图像时，可以选择物体。

作为选择视觉效果处理内容的方法，用户从与一个物体相对应的多种类型的效果图像中选择例如一个或更多个效果图像。例如，对于上述视觉效果设置信息也是如此。

根据实施方式4，用户可以享受用户喜欢的视觉效果。例如，用户可以设置具有较少运动的中等效果图像，或者可以根据用户的角色或偏好设置具有剧烈和大运动的效果图像。

5.实施方式5

根据实施方式5的未在图中示出的信息处理装置，进一步包括：周围环境信息获取单元，其被配置成获取周围环境的信息。作为与实施方式4有关的实施方式5，信息处理装置被配置成例如优选向用户呈现基于周围环境的信息设置的一个或更多个视觉效果处理内容项。用户可以通过操作单元19选择一个或更多个视觉效果处理内容项。

周围环境的信息例如是信息处理装置的位置信息、放置处理装置的自然环境的信息或者用户的生物信息。位置信息可以包括但不限于地图上的二维位置、包括高度和方向信息的三维位置。自然环境信息的示例包括天气、大气压、花粉量和方向。用户的生物信息的示例包括体温、血压、心率和跑步速度。

根据实施方式5的信息处理装置仅需要包括检测用户的自然环境信息或生物信息的传感器。例如，可以从服务器获取天气、花粉量等的信息。

根据实施方式5，用户可以享受适合于周围环境或用户的生物信息的有效视觉效果。

6.各种其它实施方式

本技术不限于上述实施方式，并且可以实现各种其它实施方式。应当注意，在以下各种示例中，如实施方式3中所描述的，音乐的特征量的使用不是必不可少的元素。如果不使用特征量，则可以在音乐的再现期间或与音乐的再现音量同步执行视觉效果处理。

6.1)示例1

信息处理装置可以获取用户运动信息作为上面描述的周围环境，并根据该运动信息和/或特征量执行视觉效果处理。用户运动信息的示例包括心率、手臂的扫描以及跑步速度。

例如，当心率高时，生成基于暖色(例如，红色)的效果图像。相反，当心率低时，生成冷色(例如，蓝色)的效果图像。

6.2)示例2

信息处理装置所应用的装置不仅可以是上述智能手机等，还可以是投影仪。投影仪可以执行这样的视觉效果处理，其在窗户或门上执行投影映射。

6.3)示例3

在用户具有利用信息处理装置收听音乐的高倾向的位置处，可以执行预先设置的视觉效果处理。也可以预先设置这样的位置。换句话说，当用户在预定位置利用信息处理装置收听音乐时，执行预定的视觉效果处理。

可以建立一种系统，在该系统中用户可以在该位置处注册有效视觉效果处理内容的信息，或者用户可以与其它用户共享信息。这种系统的具体示例包括用户可以在与地图上商店的位置相关联的信息处理装置或服务器中注册(存储)视觉效果处理内容的信息的系统。或者，视觉效果处理内容的信息不仅可以与地图上的商店的位置相关联，而且可以与该商店的目标物体图像相关联。

6.4)示例4

例如，本技术也可以被应用于用于广告等的数字标牌。在这种情况下，信息处理装置的显示单元14是用于数字标牌的显示单元14。处理单元13基于出现在显示单元14上的真实空间图像上的音乐执行视觉效果处理。例如，音乐数据可以是由广告商或商店提供的音乐，或者可以是从数字标牌的显示的环境中利用麦克风检测到的音乐。

6.5)示例5

例如，音乐可以是用户的歌声。在这种情况下，信息处理装置包括检测用户的歌声的麦克风，以及存储歌声作为音乐数据的存储单元。存储单元可以位于云上的服务器中。

6.6)示例6

信息处理装置可以包括分析单元，该分析单元分析歌词的内容或音乐的标题的内容。分析单元被配置成根据分析生成故事或关键词的摘要。例如，当生成的摘要或关键字包括“光”并且当真实空间图像包括光源的图像作为目标物体图像时，处理单元13可以对光源的图像执行视觉效果处理。

6.7)各种其它示例

在根据上述实施方式中的每个的信息处理装置中，例如，图像识别单元11、音乐数据存储单元15、解码单元161、特征量提取单元17、处理单元13、元信息存储单元20或在示例6的6.6)中描述的分析单元可以是信息处理装置可访问的云上的服务器的功能。

例如，当上述服务器具有特征量提取单元17的功能时，处理单元13被配置成从服务器下载音乐的特征量数据。在这种情况下，信息处理装置100将用于识别用户选择的每个音乐数据项的识别信息发送至服务器，而服务器提取与识别信息对应的音乐的特征量，并将该特征量发送至信息处理装置。在这种情况下，服务器可以具有音乐数据存储单元15的功能，并且可以相互关联地存储将音乐数据及其识别信息。

或者，当上述服务器具有元信息存储单元20的功能时，处理单元13被配置成从服务器下载元信息。在这种情况下，信息处理装置将用于识别用户选择的音乐数据的识别信息发送至服务器，并且服务器将与识别信息对应的元信息发送至信息处理装置。在这种情况下，服务器可以具有音乐数据存储单元15的功能，并且可以相互关联地存储音乐数据、其标识信息以及元信息。

在上述每个实施方式中，处理单元13根据一种特征量类型执行视觉效果处理，但是处理单元13可以根据多种类型的特征量执行处理。换句话说，处理单元13可以根据频带、声源的位置、节奏和音调中的至少两个的组合来执行处理。

上述实施方式中的每个的识别单元(图像识别单元)被配置成识别出现真实空间的图像内的物体。然而，识别单元可以被配置成测量真实空间并识别物体。例如，在这种情况下，识别单元可以通过使用激光、无线电波以及/或者超声波来执行物体识别。或者，识别单元既可以执行以下两者：通过测量真实空间的目标识别和通过图像识别的目标识别。

在上述各个实施方式的特征部分中，可以组合至少两个特征部分。

应当注意，本技术可以具有以下配置。

(1)一种信息处理装置，包括：

识别单元，其被配置成识别真实空间中的物体；以及

处理单元，其被配置成根据音乐的特征量对目标物体图像执行视觉效果处理，所述目标物体图像是由识别单元识别的物体的图像。

(2)根据(1)所述的信息处理装置，其中

所述处理单元被配置成执行与所述物体的类型相关联的视觉效果处理。

(3)根据(1)或(2)所述的信息处理装置，其中

所述处理单元被配置成

获取所述音乐的频带作为所述特征量，

针对所述频带中的每个分配对应于多个物体的多个目标物体图像，以及

对所述多个目标物体图像执行所述视觉效果处理。

(4)根据(1)或(2)所述的信息处理装置，其中

所述处理单元被配置成

获取所述音乐的声源的位置信息作为所述特征量，

针对声源的位置中的每个分配对应于多个物体的多个目标物体图像，以及

对所述多个目标物体图像执行所述视觉效果处理。

(5)根据(3)或(4)所述的信息处理装置，其中

所述处理单元被配置成分别对所述多个目标物体图像执行不同的多个视觉效果处理。

(6)根据(1)或(2)所述的信息处理装置，其中

所述处理单元被配置成

获取所述音乐的节奏的信息作为所述特征量，以及

根据所述节奏执行所述视觉效果处理。

(7)根据(1)或(2)所述的信息处理装置，其中

所述处理单元被配置成

获取所述音乐的音调的信息作为所述特征量，以及

根据所述音调执行所述视觉效果处理。

(8)根据(1)至(7)中任一项所述的信息处理装置，其中

所述处理单元被配置成

获取附加至所述音乐的数据的元信息，以及

根据所述元信息执行所述视觉效果处理。

(9)根据(8)所述的信息处理装置，其中

所述元信息包括视觉效果设置信息，所述视觉效果设置信息是与所述视觉效果处理有关的设置的信息。

(10)根据(1)至(9)中任一项所述的信息处理装置，进一步包括：

特征量提取单元，所述特征量提取单元从所述音乐的数据中提取所述特征量。

(11)根据(1)至(10)中任一项所述的信息处理装置，进一步包括：

设置单元，其被配置成执行使用户设置所述特征量、所述物体或所述视觉效果处理内容中的至少一个的处理。

(12)根据(1)至(10)中任一项所述的信息处理装置，进一步包括：

周围环境信息获取单元，其被配置成获取所述信息处理装置的周围环境的信息，其中

所述处理单元被配置成基于所述周围环境的信息进一步执行所述视觉效果处理。

(13)根据(12)所述的信息处理装置，其中

所述周围环境获取单元被配置成获取所述信息处理装置的位置信息、放置所述信息处理装置的自然环境的信息或用户的生物信息，作为所述周围环境的信息。

(14)一种信息处理装置，包括：

识别单元，其被配置成识别真实空间中的物体；以及

处理单元，其被配置成根据附加至音乐的数据的元信息对目标物体图像执行视觉效果处理，所述目标物体图像是由识别单元识别的所述物体的图像。

(15)一种信息处理方法，包括：

识别真实空间中的物体；以及

根据音乐的特征量对目标物体图像执行视觉效果处理，所述目标物体图像是所识别的物体的图像。

(16)一种信息处理方法，包括：

识别真实空间中的物体；以及

根据附加至音乐的数据的元信息对目标物体图像执行视觉效果处理，所述目标物体图像是所识别物体的图像。

(17)一种程序，使信息处理装置：

识别真实空间中的物体；以及

根据音乐的特征量对目标物体图像执行视觉效果处理，所述目标物体图像是所识别的物体的图像。

(18)一种程序，使信息处理装置：

识别真实空间中的物体；以及

根据附加至音乐的数据的元信息对目标物体图像执行视觉效果处理，所述目标物体图像是所识别的物体的图像。

10 相机

11 图像识别单元

13 处理单元

14 显示单元

15 音乐数据存储单元

16 再现处理单元

17 特征量提取单元

18 扬声器

19 操作单元

20 元信息存储单元

100，200，300 信息处理装置

Claims (15)

1.一种信息处理装置，包括：

识别单元，其被配置成识别真实空间中的物体；以及

处理单元，其被配置成根据音乐的特征量对目标物体图像执行视觉效果处理，所述目标物体图像是由所述识别单元识别的所述物体的图像。

2.根据权利要求1所述的信息处理装置，其中

所述处理单元被配置成执行与所述物体的类型相关联的视觉效果处理。

3.根据权利要求1所述的信息处理装置，其中

所述处理单元被配置成

获取所述音乐的频带作为所述特征量，

针对所述频带中的每个分配对应于多个物体的多个目标物体图像，以及

对所述多个目标物体图像执行所述视觉效果处理。

4.根据权利要求1所述的信息处理装置，其中

所述处理单元被配置成

获取所述音乐的声源的位置信息作为所述特征量，

针对所述声源的位置中的每个分配对应于多个物体的多个目标物体图像，以及

对所述多个目标物体图像执行所述视觉效果处理。

5.根据权利要求3所述的信息处理装置，其中

所述处理单元被配置成分别对所述多个目标物体图像执行不同的多个视觉效果处理。

6.根据权利要求1所述的信息处理装置，其中

所述处理单元被配置成

获取所述音乐的节奏的信息作为所述特征量，以及

根据所述节奏执行所述视觉效果处理。

7.根据权利要求1所述的信息处理装置，其中

所述处理单元被配置成

获取所述音乐的音调的信息作为所述特征量，以及

根据所述音调执行所述视觉效果处理。

8.根据权利要求1所述的信息处理装置，其中

所述处理单元被配置成

获取附加至所述音乐的数据的元信息，以及

根据所述元信息执行所述视觉效果处理。

9.根据权利要求8所述的信息处理装置，其中

所述元信息包括视觉效果设置信息，所述视觉效果设置信息是与所述视觉效果处理有关的设置的信息。

10.根据权利要求1所述的信息处理装置，进一步包括：

特征量提取单元，所述特征量提取单元从所述音乐的数据中提取所述特征量。

11.根据权利要求1所述的信息处理装置，进一步包括：

设置单元，其被配置成执行使用户设置所述特征量、所述物体或所述视觉效果处理的内容中的至少一个的处理。

12.根据权利要求1所述的信息处理装置，进一步包括：

周围环境信息获取单元，其被配置成获取所述信息处理装置的周围环境的信息，其中

所述处理单元被配置成基于所述周围环境的信息进一步执行所述视觉效果处理。

13.根据权利要求12所述的信息处理装置，其中

所述周围环境获取单元被配置成获取所述信息处理装置的位置信息、放置所述信息处理装置的自然环境的信息或用户的生物信息，作为所述周围环境的信息。

14.一种信息处理方法，包括：

识别真实空间中的物体；以及

根据音乐的特征量对目标物体图像执行视觉效果处理，所述目标物体图像是所识别的物体的图像。

15.一种程序，其使信息处理装置：

识别真实空间中的物体；以及

根据音乐的特征量对目标物体图像执行视觉效果处理，所述目标物体图像是所识别的物体的图像。