CN102193772B - 一种信息处理器和信息处理方法 - Google Patents

一种信息处理器和信息处理方法 Download PDF

Info

Publication number
CN102193772B
CN102193772B CN201110061737.0A CN201110061737A CN102193772B CN 102193772 B CN102193772 B CN 102193772B CN 201110061737 A CN201110061737 A CN 201110061737A CN 102193772 B CN102193772 B CN 102193772B
Authority
CN
China
Prior art keywords
sound
reproducing
voice data
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110061737.0A
Other languages
English (en)
Other versions
CN102193772A (zh
Inventor
松田晃
松田晃一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102193772A publication Critical patent/CN102193772A/zh
Application granted granted Critical
Publication of CN102193772B publication Critical patent/CN102193772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address
    • G09F2027/001Comprising a presence or proximity detector
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address
    • G09F2027/002Advertising message recorded in a memory device

Abstract

公开了信息处理器、信息处理方法和程序。该信息处理器包括:存储部,被配置为存储目标对象的特征量数据和与该目标对象相关的音频数据;获取部,被配置为获取目标对象的图像;识别部,被配置为基于存储在存储部中的特征量数据来识别包括在图像中的对象;以及再现部,被配置为再现与所识别出的对象相关的音频数据,并从用户佩带的输出设备输出经再现的声音,其中,识别装置识别包括在述图像中的对象与用户之间的位置关系,以及再现装置输出经再现的声音,对所输出的经再现的声音的声音音量和输出时序进行调节,使得经再现的声音位于述用户位置处,其中包括在图像中的对象的安置位置被设置为声源的位置。

Description

一种信息处理器和信息处理方法
技术领域
本发明涉及信息处理器、信息处理方法和程序,以及更具体而言,涉及允许只有看某个对象的人才能听到与该对象相关的可用音频数据的经再现的声音的信息处理器、信息处理方法和程序。
背景技术
为了使看广告的人听到与该广告有关的声音,可用的技术是从设置于广告的侧面或背面的扬声器输出声音(参见日本专利特开No.2004-77654)。
可用的另一种技术是利用传感器(比如安装在张贴广告的墙上的摄像装置)检测在广告前面的人,以便输出与该广告有关的声音(参见日本专利特开No.2001-142420)。
发明内容
上述技术的问题在于,在看广告的人附近存在不看印制在例如海报上的广告的人的情况下,不看广告的人以及看广告的人都听到声音。
上述技术的问题还在于,如果张贴了多个不同的海报,则来自这些海报的声音混在一起,使得难以听到关注的声音。
通常期望通过仅使特定人听到声音而实现更好的广告效果才采用上述技术。然而,这些问题甚至可导致广告效果降低。
针对前述问题做出了本发明,本发明的目的是仅使看某个对象的人听到与该对象有关的可用音频数据的经再现的声音。
根据本发明的一个实施例,提供一种信息处理器,包括:
存储装置,用于存储目标对象的特征量数据和与该目标对象相关联的音频数据;
获取装置,用于获取目标对象的图像;
识别装置,用于基于存储在存储装置中的特征量数据来识别包括在图像中的对象;以及
再现装置,用于再现与识别出的对象相关联的音频数据,并从用户佩戴的输出设备输出经再现的声音。
识别装置能够识别包括在图像中的对象与用户之间的位置关系。再现装置能够输出经再现的声音,对所输出的经再现的声音的声音音量和输出时序进行调节,使得经再现的声音位于用户位置处,其中包括在图像中的对象的安置位置被设置为声源的位置。
存储装置能够存储目标对象的部分的特征量数据和与目标对象的该部分相关联的音频数据。基于存储在存储装置中的目标对象的部分的特征量数据,识别装置能够识别包括在图像中的目标对象的部分。再现装置能够再现与由识别装置识别出的目标对象的部分相关联的音频数据。
该信息处理器还包括:
定位装置,用于检测位置;以及
通信装置,用于与服务器通信,服务器具有用于特征量数据和音频数据的数据库,通信装置还能够下载安置在包括由定位装置检测到的位置的区域中的对象的特征量数据以及与所述对象相关联的音频数据,其中
存储装置存储由通信装置下载的特征量数据和音频数据。
根据本发明的另一实施例,提供一种信息处理方法,包括下列步骤:
存储目标对象的特征量数据和与目标对象相关联的音频数据;
获取目标对象的图像;
基于所存储的特征量数据来识别包括在图像中的对象;
再现与识别出的对象相关联的音频数据,并从用户佩戴的输出设备输出经再现的声音;
识别包括在图像中的对象与用户之间的位置关系,以及
输出经再现的声音,对所输出的经再现的声音的声音音量和输出时序进行调节,使得经再现的声音位于用户位置处,其中包括在图像中的对象的安置位置被设置为声源的位置。
根据本发明的又一实施例,提供一种使计算机执行处理的程序,所述处理包括下列步骤:
存储目标对象的特征量数据和与目标对象相关联的音频数据;
获取目标对象的图像;
基于存储的特征量数据来识别包括在图像中的对象;以及
再现与识别出的对象相关联的音频数据,并从用户佩戴的输出设备输出经再现的声音。
根据本发明的一个实施例,存储表示目标对象的特征量数据和与所述目标对象相关联的音频数据的数据。获取目标对象的图像。基于存储的特征量数据来识别包括在图像中的对象。另外,再现与识别出的对象相关联的音频数据,并从用户佩戴的输出设备输出经再现的声音。
本发明允许只有看某个对象的人才能听到与该对象有关的可用音频数据的经再现的声音。
附图说明
图1是示出使用根据本发明一个实施例的信息处理器的AR(增强现实)系统的外观示例的图;
图2是示出佩戴HMD(头戴式显示设备)的用户的外观示例的图;
图3是示出AR系统的另一外观示例的图;
图4是示出信息处理器的硬件配置示例的框图;
图5是示出信息处理器的功能配置示例的框图;
图6是描绘对象识别的图;
图7是描绘由信息处理器执行的音频再现处理的流程图;
图8是示出信息处理器的功能配置的另一示例的框图;
图9是示出由如图8中所示配置的信息处理器执行的下载处理的流程图;
图10是示出海报中指定的片段的图。
图11是示出与海报片段有关的音频数据和模型数据的示例的图;以及
图12是示出信息处理器的安装示例的图。
具体实施方式
<第一实施例>
[AR(增强现实)系统]
图1是示出使用根据本发明一种实施例的信息处理器的AR系统的外观示例的图。
在图1中示出的示例中,在墙面W上既水平又垂直地并排张贴海报P1至P4。在海报P1至P4上例如印制有产品或服务的广告。
另外,用户U1至U3站在墙面W前面。用户U1正在看海报P1,而用户U3正在看海报P4。另一方面,用户U2并未在看墙面W上张贴的海报P1至P4中的任何一个海报。图1中的虚线箭头#1至#3分别表示用户U1至U3的视线。
在这种情况下,与海报P1有关的声音被以如下方式输出:只有看海报P1的用户U1能够听到该声音,如每个用户附近的气球所示。类似地,与海报P4有关的声音被以如下方式输出:只有看海报P4的用户U3能够听到该声音。与海报P1和P4有关的声音不能够被不看海报P1和P4的用户U2听到。
当检测到携带信息处理器的用户正在看海报时,用户所携带的信息处理器再现与该海报有关的音频数据并输出经再现的声音,使得只有该用户能听到该声音。与该海报有关的音频数据例如是介绍在海报上印制的产品或服务的音频或音乐数据。
图2是示出图1中示出的用户U1的外观示例的图。
如图2中所示,用户U1携带信息处理器1,信息处理器1是便携式计算机。用户U1还佩戴头戴式显示设备(HMD)2。信息处理器1和HMD 2能够以有线或无线方式彼此进行通信。
HMD 2具有摄像装置11、耳机12以及显示器13。
摄像装置11被附接在能够拍摄到佩戴HMD 2的用户U1前面的景物的地方。摄像装置11的拍摄范围包括用户的视线。摄像装置11拍摄的图像被传送给信息处理器1。摄像装置11持续以预定的帧速率拍摄图像(动态图像)。这允许将用户看到的景物的图像提供给信息处理器1。
耳机12被附接为放置在佩戴HMD 2的用户U1的耳朵上。耳机12输出从信息处理器1传送的经再现的声音。
显示器13被附接为使得该显示器位于佩戴HMD 2的用户U1的眼前。显示器13包括透明的组件,并显示例如信息,如基于从信息处理器1传送的数据的图像或文本。用户能够看到显示器13以外的景物。用户还能够看到显示器13上显示的图像。
用户U2和U3每个都像用户U1那样携带信息处理器1并佩戴HMD 2。
例如,用户U1携带的信息处理器1识别对象,以基于由摄像装置11拍摄的图像来判断用户U1正在看哪个海报。信息处理器1存储适用于对用户正在看哪个海报进行识别的对象识别数据。对象识别数据包括海报P1至P4。
这允许正在看该海报的特定用户能听到与该海报相关的声音。
也就是说,因为经再现的声音是从耳机12输出的,所以看海报的人和不看海报的人都听到声音的问题不再存在。另外,因为再现与海报P1至P4中的一个海报有关的声音数据,所以由来自不同广告的声音混合在一起导致难以听到声音的问题也不再存在。
在用户正看着海报的同时再现与该海报有关的音频数据。
如图3中所示,例如,当用户U1正在由虚线箭头#11所示的位置p1看海报P3时,再现与海报P3有关的音频数据。用户U1能够听到与海报P3有关的音频数据的经再现的声音。
另一方面,如果因为用户U1如实线箭头#12所示移动到了位置p2因此如虚线箭头#13所示不再看着海报P3,那么停止对与海报P3有关的音频数据的再现。用户U1不能听到与海报P3有关的音频数据的经再现的声音。
随后将描述由信息处理器1执行来如上所述地控制音频数据的再现的处理序列。
[信息处理器的配置]
图4是示出信息处理器1的硬件配置的示例的框图。
CPU(中央处理单元)31、ROM(只读存储器)和RAM(随机存取存储器)33通过总线34彼此连接。
I/O(输入/输出)接口35也连接到总线34。输入部36、输出部37、存储部38、通信部39和驱动器40连接到I/O接口35。
输入部36与HMD 2进行通信,并接收由HMD 2的摄像装置11拍摄的图像。
输出部37与HMD 2进行通信,并从耳机12输出音频数据的经再现的声音。另外,输出部37传送显示数据给HMD 2,以便在显示器13上显示信息,诸如图像和文本等。
存储部38包括例如硬盘或非易失性存储器,并存储用于海报的识别数据和与每个海报有关的音频数据。
通信部39包括例如网络接口,比如无线LAN(局域网)模块,并与通过网络连接的服务器进行通信。在存储部38中存储的用于海报的识别数据和音频数据例如是从服务器下载的并被提供给信息处理器1。
驱动器40从加载在驱动器40中的可移除介质41中读取数据以及向可移除介质40写入数据。
图5是示出信息处理器1的功能配置的示例的框图。
在信息处理器1中实现图像获取部51、识别部52、音频再现控制部53、模型数据存储部54、音频数据存储部55和通信控制部56。上述部件中的至少一些部件是作为由图4中示出的CPU 31执行的预定程序的结果而实现的。模型数据存储部54和音频数据存储部55被例如形成为存储部38。
图像获取部51获取由摄像装置11拍摄的由输入部36接收到的图像。图像获取部51将所获得的图像输出给识别部52。
识别部52从图像获取部51接收图像作为查询图像,并基于模型数据存储部54中存储的模型数据来识别包括在图像中的对象。模型数据存储部54存储表示从包含海报的图像中提取的海报特征的数据。随后将描述由识别部52执行的对象识别。
识别部52例如把识别出的对象(海报)的ID以及表示识别出的海报与摄像装置11(用户)之间的相对位置关系的相对位置信息输出给音频再现控制部53作为识别结果。例如,基于该相对位置信息识别出用户相对于识别出的海报的距离和方向。
音频再现控制部53从音频数据存储部55中读取与从识别部52提供 的ID有关的音频数据,从而再现音频数据。音频再现控制部53控制图4中示出的输出部37把通过再现获得的经再现的音频数据传送给HMD 2。经再现的音频数据从耳机12输出。音频数据存储部55存储与音频数据有关的海报ID。
通信控制部56控制通信部39与服务器61进行通信,并下载用于识别海报特征的模型数据和与海报有关的音频数据。服务器61具有用于模型数据和音频数据的数据库。通信控制部56把下载到的模型数据存储在模型数据存储部54中并把下载到的音频数据存储在音频数据存储部55中。
图6是描绘对象(海报)识别的图。
识别部52使用的算法中包括RandomizedFern和SIFT(尺度不变特征转换)。RandomizedFern被公开在文献“Fast Keypoint Recognition using Random Ferns,Mustafa Ozuysal,Michael Calonder,Vincent Le Petite和Pascal Fua,Ecole Polytechnique Federale de Lausanne(EPEL)Computer Vision Laboratory,&C Faculty CH-1015 Lausanne,Switzerland.”中。另一方面,SIFT被公开在“Distinctive Image Features from Scale-Invariant Keypoints,David G.Lowe,January 5,2004.”中。
如图6中所示,在作为学习设备的服务器61中实现图像处理部71、特征点检测部72、特征量提取部73和组合部74。图6中示出的所有部件均作为由服务器61的CPU执行的预定程序的结果而实施。服务器61还包括如图4中所示的电脑。
图像处理部71对模型图像施加仿射变换或其它处理,并将所得到的模型图像输出给特征点检测部72。海报P1至P4的每个图像被依次馈送给图像处理部71作为模型图像。模型图像还被馈送给特征量提取部73。
特征点检测部72把从图像处理部71提供的模型图像中的点确定为模型特征点,并把表示模型特征点的位置的信息输出给特征量提取部73。
特征量提取部73从组成模型图像的像素中提取位置对应于模型特征点的位置的像素的信息作为模型特征量。由特征量提取部73提取的模型特征量数据被与海报(所述海报是包含在从中提取出特征量的模型图像中的海报)的ID相关联地记录在模型字典D1中。模型字典D1包括如下数据:该数据将海报的ID与针对从包含海报的图像中提取出的每个模型特征点的模型特征量数据关联起来。
另外,特征量提取部73把提取出的模型特征量数据输出给组合部74。
组合部74将输入的三维模型数据与从特征量提取部73提供的模型特征量数据组合起来。表示与每个海报P1至P4相对应的三维形式的数据被作为三维模型数据输入组合部74。
例如,组合部74基于三维模型数据来计算从各种角度观看海报时每个模型特征点在三维模型上的位置。组合部74将模型特征量数据分配给模型特征点的计算出的位置中的每个,从而组合三维模型数据与模型特征量数据并生成三维模型数据D2。
模型字典D1和由组合部74生成的三维模型数据D2被提供给信息处理器1,并被存储在模型数据存储部54当中。
如图6中所示,识别部52包括图像处理单元81、特征点检测单元82、特征量提取单元83、匹配单元84和相对位置估计单元85。由摄像装置11拍摄并由图像获取部51获取的图像被馈送给图像处理单元81作为查询图像。该查询图像还被提供给特征量提取单元83。
与图像处理部71所做的一样,图像处理单元81对该查询图像施加仿射变换或其它处理,并将所得到的查询图像输出给特征点检测单元82。
特征点检测单元82把从图像处理单元81提供的查询图像中的点确定为查询特征点,并将表示查询特征点的位置的信息输出给特征量提取单元83。
特征量提取单元83从组成查询图像的像素中提取位置与查对特征点的位置相对应的像素的信息,作为查对特征量。特征量提取单元83把提取出的查对特征量数据输出给匹配单元84。
匹配单元84基于在模型字典D1中包括的特征量数据来执行K-NN(K-最近邻)搜索或其它最近邻搜索(nearest neighbor search),从而确定最接近每个查对特征点的模型特征点。基于最接近查对特征点的模型特征点的数量,匹配单元84例如选择出具有最大数量的最接近的模型特征点的海报。匹配单元84把选定的海报的ID输出作为识别结果。
从匹配单元84输出的海报ID不仅被提供给图5中示出的音频再现控制部53,还被提供给相对位置估计单元85。还向相对位置估计单元85提供表示每个查对特征点的位置的信息。
相对位置估计单元85从模型数据存储部54中读取由匹配单元84识 别出的海报的三维模型数据D2。相对位置估计单元85基于三维模型数据D2来识别最接近每个查对特征点的模型特征点在三维模型上的位置。相对位置估计单元85输出表示海报与用户之间的位置关系的相对位置信息。
如果能够识别最接近从由摄像装置11拍摄的查询图像中检测到的每个查对特征点的模型特征点在三维模型上的位置,则可以确定查询图像是从海报的哪个位置拍摄的,也就是说,可以确定用户的位置。
此外,如果预先使包含在图像中的海报的尺寸和到该海报的距离彼此相关联,则可以基于包含在由摄像装置11拍摄的查询图像中的海报的尺寸来确定海报到用户的距离。摄像装置11的镜头例如是不能变焦的单聚焦镜头。
如上所述地识别用户所看的海报与用户之间的相关位置关系。
[信息处理器的操作]
下面将参照图7中示出的流程图来描述由信息处理器1执行的音频再现处理。例如,在摄像装置11拍摄图像期间,重复图7中示出的处理。
在步骤S1,图像获取部51获取由摄像装置11拍摄的图像。
在步骤S2,识别部52在由图像获取部51获取的图像中执行对象识别。
在步骤S3,识别部52判断与识别出的对象的ID相匹配的ID是否被作为海报ID而存储在模型数据存储部54中,即判断用户是否正在看海报。
如果在步骤S3中判断出用户不正在看海报,则音频再现控制部53在步骤S4中判断是否正在再现音频数据。
当在步骤S4中判断出正在再现音频数据时,音频再现控制部53在步骤S5停止音频数据的再现。当在步骤S5中停止音频数据的再现时,或者如果在步骤S4中判断出不正在再现音频数据,处理返回步骤S1以重复后续处理步骤。
另一方面,当在步骤S3判断出用户正在看海报时,音频再现控制部53在步骤S6中判断与用户正在看的海报相关的音频数据是否被存储在音频数据存储部55中。
如果在步骤S6中判断出与用户正在看的海报相关的音频数据未被存储在音频数据存储部55中,则处理返回步骤S1以重复后续处理步骤。
当在步骤S6中判断出与用户正在看的海报相关的音频数据是被存储在音频数据存储部55中时,音频再现控制部53在步骤S7中判断是否正在再现不同于与用户正在看的海报相关的音频数据的音频数据。
当在步骤S7中判断出正在再现不同于与用户正在看的海报相关的音频数据的音频数据时,音频再现控制部53停止音频数据的再现。当在步骤S8中停止音频数据的再现时,处理返回步骤S1以重复后续处理步骤。
另一方面,如果在步骤S7中判断出并非正在再现不同于与用户正在看的海报相关的音频数据的音频数据,则音频再现控制部53在步骤S9中判断是否正在再现与用户正在看的海报相关的音频数据。
当在步骤S9中判断出正在再现与用户正在看的海报相关的音频数据时,处理返回步骤S1以重复后续处理步骤。在这种情况下,继续再现与用户正在看的海报相关的音频数据。
如果在步骤S9中判断出并非正在再现与用户正在看的海报相关的音频数据,则音频再现控制部53从音频数据存储部55读取与用户正在看的海报相关的音频数据,从而使再现初始化。然后,重复从步骤S1起的处理步骤。
上述处理步骤允许只有在看海报的人才能听到与该海报相关的音频数据的经再现的声音。
当识别出由摄像装置11拍摄的图像中包括多个海报时,可将最接近图像中心的海报识别为用户正在看的海报。
可对从耳机12的左扬声器和右扬声器输出的声音音量和输出时序进行调节,使得经再现的声音位于由相对位置信息表示的用户位置处,将被识别为用户观看的海报的位置设置为声源位置。这使得能够给予用户声音是从海报发出的印象。
[修改示例]
可根据用户位置来更新存储在模型数据存储部54中的模型数据和存储在音频数据存储部55中的音频数据。
图8是示出信息处理器1的功能配置的另一示例的框图。
除了增加了定位部57以外,图8中示出的配置与图5中示出的相同。因此不再赘述。
定位部57基于设置在信息处理器1中的GPS(全球定位系统)传感 器(未示出)的输出来检测信息处理器1的位置,即,携带信息处理器1的用户的位置。定位部57将表示当前位置的位置信息输出给通信控制部56。
通信控制部56将位置信息传送给服务器61,并下载在包括当前位置的区域中张贴的海报的模型数据和下载与海报相关的音频数据。
在服务器61中,为了管理,按区域对海报模型数据和音频数据进行分类。例如,以与一个区域中张贴的海报有关的一组模型数据和音频数据为单位来下载模型数据和音频数据。
通信控制部56把下载到的模型数据存储在模型数据存储部54中,并把下载到的音频数据存储在音频数据存储部55中。
下面将参照图9中的流程图来描述由如图8中所示配置的信息处理器1执行的下载处理。
在步骤S21中,定位部57检测当前位置,并把位置信息输出给通信控制部56。
在步骤S22中,通信控制部56把位置信息传送给服务器61。
在步骤S23中,通信控制部56下载在包括该当前位置的区域中张贴的海报的模型数据以及与这些海报相关的音频数据。
在步骤S24中,通信控制部56把下载到的模型数据存储在模型数据存储部54中,并把下载到的音频数据存储在音频数据存储部55中,之后处理终止。
在存储了新下载到的模型数据和音频数据之后,可分别从模型数据存储部54和音频数据存储部55中删除在包括用户的前一个当前位置的区域中张贴的海报的模型数据和音频数据。这有助于减少模型数据和音频数据的量。
尽管以上描述了在逐个海报的基础上识别用户所看的海报,并据此再现与该海报相关的音频数据;但也可以在单个海报的逐个片段的基础上执行上述处理。在这种情况下,对用户在看海报的哪个片段进行识别,并再现与识别出的海报片段相关的音频数据。
图10是示出海报P1中指定的片段(区域)的图。
在图10中示出的示例中,在海报P1中指定片段1-1、1-2和1-3。在片段1-1、1-2和1-3中分别印制了不同的信息内容,比如不同的产品照片。
如图11中所示,在信息处理器1中与海报片段相关地存储模型数据和音频数据。
在图11中示出的示例中,与海报P1的片段1-1相关地存储模型数据1-1和音频数据1-1。与海报P1的片段1-2相关地存储模型数据1-2和音频数据1-2。与海报P1的片段1-3相关地存储模型数据1-3和音频数据1-3。
类似地,与海报P2至P4的每个海报片段相关地在信息处理器1中存储模型数据和音频数据。
当信息处理器1基于由摄像装置11拍摄的图像和逐个片段的模型数据判断出用户正在看海报P1的片段1-1时,开始音频数据1-1的再现。
这使得能够根据用户正在看的海报片段来改变用户将要听到的音频数据。
尽管以上描述了信息处理器1是由用户携带着的,但信息处理器1也可被安装在其它位置。
图12是示出信息处理器1的安装示例的图。
在图12中示出的示例中,信息处理器1被安装在张贴有海报P1至P4的墙面W上。信息处理器1与用户佩戴的HMD 2进行通信,使得在这两个设备之间交换由摄像装置11拍摄的图像和由信息处理器1再现的音频数据。
尽管以上描述了目标对象是海报的情况,但也可以对显示器上显示的一个或更多图像进行识别,从而再现与识别出的一个或更多图像相关的音频数据。
尽管以上描述了信息处理器1与HMD 2进行通信的情况,但信息处理器1可替代地与用户携带的其它类型的设备(诸如具有拍摄功能的移动音乐播放器等)进行通信。通过用移动音乐播放器拍摄海报,用户能够通过移动音乐播放器的耳机听到与海报相关的声音。
要再现的音频数据的类型可以是可选择的。例如,如果与同一海报相关地可获得每个都针对不同年龄组的多个声音,比如针对成年人一个声音以及针对儿童一个声音,那么再现由用户选择的声音。
在这种情况下,用户预先选择是再现针对成年人的声音还是针对儿童的声音,并在信息处理器1中存储表示其选择的信息。如果检测到用户正在看海报,则信息处理器1开始再现与该海报相关的所有音频数据中的由 存储的信息表示的那种类型的音频数据。这允许用户听取他偏好的声音。
另外,用户可能够从各种语言中选择再现声音时使用的语言,比如一种声音用日语以及另一声音用其它语言。
应注意,上述处理序列可通过硬件或软件来执行。如果处理序列是通过软件执行的话,那么将组成该软件的程序从程序记录介质安装到结合在专用硬件中的计算机、通用个人计算机或其它计算机。
要安装的程序被提供为记录在图4中示出的可移除介质41上,可移除介质41是诸如光盘(例如CD-ROM(只读光盘存储器))、DVD(数字多功能光盘)或半导体存储器。或者,可通过有线或无线传输介质(诸如局域网、因特网或数字广播等)来提供程序。可将程序预先安装在ROM 32或存储部38中。
电脑执行的程序不但可包括根据所描述的序列的时间先后顺序执行的处理,而且还可包括并行执行或按需调用的处理。
本发明的实施例并不限于以上描述的实施例,而是可以在不偏离本发明的精神和范围的情况下以多种方式进行修改。
本发明包含的主题涉及在2010年3月19号提交日本专利局的日本优先权专利申请JP 2010-065115中公开的主题,因此其全部内容通过引用而合并于此。
本领域技术人员应该理解,根据设计需要和其它因素,可以在所附权利要求或其等同方案的范围内进行各种修改、组合、子组合和替换。

Claims (5)

1.一种信息处理器,包括:
存储装置,用于存储目标对象的特征量数据和与该目标对象相关联的音频数据;
获取装置,用于获取所述目标对象的图像;
识别装置,用于基于存储在所述存储装置中的所述特征量数据来识别包括在所述图像中的对象;以及
再现装置,用于再现与由所述识别装置识别出的对象相关联的所述音频数据,并从用户佩戴的输出设备输出经再现的声音,
其中,所述识别装置识别包括在所述图像中的所述对象与所述用户之间的位置关系,以及
所述再现装置输出所述经再现的声音,对所输出的经再现的声音的声音音量和输出时序进行调节,使得所述经再现的声音位于所述用户位置处,其中所述包括在所述图像中的所述对象的安置位置被设置为声源的位置。
2.根据权利要求1所述的信息处理器,其中
所述存储装置存储所述目标对象的部分的特征量数据和与所述目标对象的该部分相关联的音频数据,
所述识别装置基于存储在所述存储装置中的所述目标对象的所述部分的所述特征量数据,来识别包括在所述图像中的所述目标对象的部分,以及
所述再现装置再现与由所述识别装置识别出的所述目标对象的所述部分相关联的音频数据。
3.根据权利要求1所述的信息处理器,还包括:
定位装置,用于检测位置;以及
通信装置,用于与服务器通信,所述服务器具有用于所述特征量数据和音频数据的数据库,所述通信装置还能够下载安置在包括由所述定位装置检测到的所述位置的区域中的对象的所述特征量数据以及与所述对象相关联的所述音频数据,其中
所述存储装置存储由所述通信装置下载的所述特征量数据和所述音频数据。
4.一种信息处理方法,包括以下步骤:
存储目标对象的特征量数据和与所述目标对象相关联的音频数据;
获取所述目标对象的图像;
基于所存储的特征量数据来识别包括在所述图像中的对象;以及
再现与识别出的对象相关联的所述音频数据,并从用户佩戴的输出设备输出经再现的声音,
其中,所述方法还包括:
识别包括在所述图像中的所述对象与所述用户之间的位置关系,以及
输出所述经再现的声音,对所输出的经再现的声音的声音音量和输出时序进行调节,使得所述经再现的声音位于所述用户位置处,其中所述包括在所述图像中的所述对象的安置位置被设置为声源的位置。
5.一种信息处理器,包括:
存储部,被配置为存储目标对象的特征量数据和与所述目标对象相关联的音频数据;
获取部,被配置为获取所述目标对象的图像;
识别部,被配置为基于存储在所述存储部中的所述特征量数据来识别包括在所述图像中的对象;以及
再现部,被配置为再现与识别出的对象相关联的音频数据,并从用户佩戴的输出设备输出经再现的声音,
其中,所述识别部识别包括在所述图像中的所述对象与所述用户之间的位置关系,以及
所述再现部输出所述经再现的声音,对所输出的经再现的声音的声音音量和输出时序进行调节,使得所述经再现的声音位于所述用户位置处,其中所述包括在所述图像中的所述对象的安置位置被设置为声源的位置。
CN201110061737.0A 2010-03-19 2011-03-11 一种信息处理器和信息处理方法 Active CN102193772B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-065115 2010-03-19
JP2010065115A JP6016322B2 (ja) 2010-03-19 2010-03-19 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN102193772A CN102193772A (zh) 2011-09-21
CN102193772B true CN102193772B (zh) 2016-08-10

Family

ID=44601899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110061737.0A Active CN102193772B (zh) 2010-03-19 2011-03-11 一种信息处理器和信息处理方法

Country Status (3)

Country Link
US (1) US20110228983A1 (zh)
JP (1) JP6016322B2 (zh)
CN (1) CN102193772B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013101248A (ja) * 2011-11-09 2013-05-23 Sony Corp 音声制御装置、音声制御方法、およびプログラム
CN103257703B (zh) * 2012-02-20 2016-03-30 联想(北京)有限公司 一种增强现实装置及方法
KR101989893B1 (ko) * 2012-10-29 2019-09-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
JP6102213B2 (ja) * 2012-11-22 2017-03-29 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2014085610A1 (en) * 2012-11-29 2014-06-05 Stephen Chase Video headphones, system, platform, methods, apparatuses and media
JP6201615B2 (ja) * 2013-10-15 2017-09-27 富士通株式会社 音響装置、音響システム、音響処理方法及び音響処理プログラム
JP6194740B2 (ja) * 2013-10-17 2017-09-13 富士通株式会社 音声処理装置、音声処理方法、及びプログラム
CN109996166B (zh) * 2014-01-16 2021-03-23 索尼公司 声音处理装置和方法、以及程序
US9918176B2 (en) * 2014-05-13 2018-03-13 Lenovo (Singapore) Pte. Ltd. Audio system tuning
CN104182051B (zh) * 2014-08-29 2018-03-09 百度在线网络技术(北京)有限公司 头戴式智能设备和具有该头戴式智能设备的交互系统
JP7095703B2 (ja) * 2017-09-28 2022-07-05 日本電気株式会社 録音装置、録音制御プログラムおよび録画装置
JP7140810B2 (ja) * 2020-10-23 2022-09-21 ソフトバンク株式会社 制御装置、プログラム、システム、及び制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1556496A (zh) * 2003-12-31 2004-12-22 天津大学 唇形识别发声器
CN1656503A (zh) * 2002-04-05 2005-08-17 伊登蒂克斯公司 基于视觉的操作方法和系统
TW200900285A (en) * 2007-06-22 2009-01-01 Mitac Int Corp Vehicle distance measurement device and method used thereby

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3594068B2 (ja) * 1998-03-09 2004-11-24 富士ゼロックス株式会社 記録再生装置および記録再生方法
US6195640B1 (en) * 1999-01-29 2001-02-27 International Business Machines Corporation Audio reader
JP2003521202A (ja) * 2000-01-28 2003-07-08 レイク テクノロジー リミティド 地理的な環境で使用される空間オーディオシステム。
JP2002251572A (ja) * 2000-11-29 2002-09-06 Keiichi Kato 広告配信システム
JP2002269298A (ja) * 2001-03-13 2002-09-20 Matsushita Electric Ind Co Ltd 展示物解説システム
GB2378301A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Personal object recognition system for visually impaired persons
US7194148B2 (en) * 2001-09-07 2007-03-20 Yavitz Edward Q Technique for providing simulated vision
JP2003143477A (ja) * 2001-10-31 2003-05-16 Canon Inc 映像合成装置および方法
US20040136570A1 (en) * 2002-04-30 2004-07-15 Shimon Ullman Method and apparatus for image enhancement for the visually impaired
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP4855654B2 (ja) * 2004-05-31 2012-01-18 ソニー株式会社 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
JP2007183924A (ja) * 2005-02-10 2007-07-19 Fujitsu Ltd 情報提供装置および情報提供システム
US7620316B2 (en) * 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US20090010466A1 (en) * 2006-02-03 2009-01-08 Haikonen Pentti O A Hearing Agent and a Related Method
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
US20080218381A1 (en) * 2007-03-05 2008-09-11 Buckley Stephen J Occupant exit alert system
US8594387B2 (en) * 2007-04-23 2013-11-26 Intel-Ge Care Innovations Llc Text capture and presentation device
JP4956375B2 (ja) * 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1656503A (zh) * 2002-04-05 2005-08-17 伊登蒂克斯公司 基于视觉的操作方法和系统
CN1556496A (zh) * 2003-12-31 2004-12-22 天津大学 唇形识别发声器
TW200900285A (en) * 2007-06-22 2009-01-01 Mitac Int Corp Vehicle distance measurement device and method used thereby

Also Published As

Publication number Publication date
US20110228983A1 (en) 2011-09-22
JP2011197477A (ja) 2011-10-06
CN102193772A (zh) 2011-09-21
JP6016322B2 (ja) 2016-10-26

Similar Documents

Publication Publication Date Title
CN102193772B (zh) 一种信息处理器和信息处理方法
US11477156B2 (en) Watermarking and signal recognition for managing and sharing captured content, metadata discovery and related arrangements
JP6151323B2 (ja) 動的テンプレート追跡
KR101348521B1 (ko) 비디오의 개인화
US9224246B2 (en) Method and apparatus for processing media file for augmented reality service
KR102010221B1 (ko) 스마트폰 기반 방법들 및 시스템들
US7634106B2 (en) Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program
JP2005250950A (ja) マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
EP3236345A1 (en) An apparatus and associated methods
US7512335B2 (en) Image capturing apparatus, an image capturing method, and a machine readable medium storing thereon a computer program for capturing images
US8989521B1 (en) Determination of dance steps based on media content
JP7100824B2 (ja) データ処理装置、データ処理方法及びプログラム
KR20170125618A (ko) 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치
CN113542624A (zh) 生成商品对象讲解视频的方法及装置
JP2003274368A (ja) サムネイル表示装置及びサムネイル表示プログラム
KR101244789B1 (ko) 3차원 재구성을 이용한 디지털 만화 콘텐츠 생성 방법
JP6217696B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018191711A1 (en) A themed application for presenting options to purchase content associated with the theme on a mobile device
KR20140037439A (ko) 음악의 분위기를 이용한 슬라이드 쇼 생성 방법 및 장치
JP2005033554A (ja) 画像再生システム及び画像再生プログラム、並びに画像再生方法
JP2022043130A (ja) 情報処理方法、情報処理装置、プログラム、及び情報処理システム
CN110619883A (zh) 音乐的信息嵌入方法、提取方法、装置、终端及存储介质
JP4741362B2 (ja) 出力装置、出力方法、及びプログラム
WO2007108128A1 (ja) 情報呈示装置及び情報呈示端末
JP7140810B2 (ja) 制御装置、プログラム、システム、及び制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant