CN102348014B - 用于使用声音提供增强现实服务的装置和方法 - Google Patents

用于使用声音提供增强现实服务的装置和方法 Download PDF

Info

Publication number
CN102348014B
CN102348014B CN201110207359.2A CN201110207359A CN102348014B CN 102348014 B CN102348014 B CN 102348014B CN 201110207359 A CN201110207359 A CN 201110207359A CN 102348014 B CN102348014 B CN 102348014B
Authority
CN
China
Prior art keywords
additional information
service
data
voice signal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110207359.2A
Other languages
English (en)
Other versions
CN102348014A (zh
Inventor
郑熙远
高俊豪
权东旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102348014A publication Critical patent/CN102348014A/zh
Application granted granted Critical
Publication of CN102348014B publication Critical patent/CN102348014B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/53—Network services using third party service providers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Otolaryngology (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

一种使用声音提供增强现实服务的装置和方法。当用户在移动通信终端开始AR服务提供功能时，接收声音信号，通过分析声音信号，确定该声音信号是否携带附加信息，如果在声音信号上携带附加信息，则提取附加信息，获得与提取的附加信息关联的数据，并且使用获得的数据提供AR服务。因此，可以提供各种类型的附加信息，而且可以提供AR服务。

Description

用于使用声音提供增强现实服务的装置和方法
技术领域
本发明一般涉及移动通信终端，且更具体地，涉及一种在移动通信终端中用于使用声音提供增强现实服务的装置和方法。
背景技术
在用于移动通信终端的各种服务和附加功能的成长增多时，已经开发了向用户提供各种类型的信息的各种服务系统。例如，最近引入的系统能够在期望知道他的当前位置的移动通信终端的用户使用他随身携带的移动通信终端请求他的位置信息(也即，关于移动通信终端的当前位置的信息)时提供移动通信终端的基本位置信息。
在增强现实领域中用于提供此类位置信息的传统技术之一可以利用全球定位系统(GPS)和陀螺仪检测用户的位置，并且在透过型头戴式显示器(HMD)上提供合并其附加信息的真实图像给用户。这是最新的技术，其能够通过将真实世界和计算机创建的计算机世界(cyberworld)混合来提供关于在真实世界中不可能的虚拟表示和信息提供的更有用的信息。该技术广泛熟知为增强现实(AR)技术，例如，其能够用来向观光旅游者提供包括关于附近吸引人的事物的信息的各种信息。
如上所述，传统AR技术可以提供与当前位置的真实图像关联的附加信息。可是，当真实图像由于某些原因无法获得时可能不会提供在当前位置的附加信息。因此，如果即使在真实图像无法获得或它们的特征无法检测的位置中也可以提供AR服务，则可以增强其利用。
发明内容
本发明的一方面基本上解决至少以上的问题和/或不足并且提供至少以下的优点。因此，本发明的一方面提供一种装置和方法，用于即使在真实图像无法获得的位置中也提供增强现实(AR)服务。
本发明的另一方面提供一种用于使用声音替代真实图像提供AR服务的装置和方法。
本发明的另一方面提供一种用于提供基于AR的附加信息的装置和方法。
根据本发明的一方面，提供一种用于在移动通信终端中提供增强现实(AR)服务的方法，该方法包括：接收声音信号，在声音信号上携带了关于AR服务的附加信息；从声音信号提取该附加信息；基于提取的附加信息获得用于提供AR服务的数据；以及基于获得的数据显示AR服务屏幕。
根据本发明的另一方面，提供一种用于提供增强现实(AR)服务的装置，该装置包括：麦克风，用于接收携带了与AR服务关联的附加信息的声音信号；控制器，用于从经过麦克风接收的声音信号提取该附加信息，基于提取的附加信息获得用于提供AR服务的数据，以及基于获得的数据配置AR服务屏幕；和显示单元，用于显示AR服务屏幕。
附图说明
通过结合附图的以下详细描述，本发明的以上和其它方面、特征和优点将变得更明了，其中：
图1是说明根据本发明的实施例的用于提供AR服务的系统的配置的图。
图2是根据本发明的实施例的用于提供AR服务的移动通信终端的框图。
图3是说明根据本发明的实施例的AR服务的示例的图；和
图4是说明根据本发明的实施例的用于提供AR服务的方法的流程图。
具体实施方式
下面将参考附图在此描述本发明的实施例。贯穿附图，相似的参考数字和符号用来表示相似的组件。在以下说明中，公知的功能或结构没有详细说明，因为它们会在不必要的细节上模糊本发明。
这里描述用于使用声音提供增强现实(AR)服务的装置和方法。为了完成它们，本发明包括：如果用户启动在移动通信终端中提供AR服务的功能，则接收声音信号，分析接收的声音信号，确定该声音信号是否携带附加信息，如果在声音信号上携带附加信息则提取附加信息，获得与提取的附加信息关联的数据，并且使用获得的数据提供AR服务。因此，本发明不仅能够提供在当前位置的各种类型的附加信息而且提供不受位置限制的AR服务。
现在将参考图1描述根据本发明的实施例的用于提供AR服务的系统配置。
参考图1，用于提供AR服务的系统可以包括用于提供声音信号的声音源设备110，和用于接收该声音信号的移动通信终端100。
声音源设备110可以根据预设的编码方案将附加信息插入声音信号并且发送该声音信号。声音源设备110可以经过扬声器120广播其上携带附加信息的该声音信号。声音源设备110可以是在预定位置安装的任何设备，诸如地铁车站和建筑物。声音信号可以是在用户能够听到的可听频带的信号，而在声音信号上携带的附加信息可以是在用户无法听到的不可听频带的非声音信号从而附加信息不被用户作为噪声听到。因此，即使在声音信号上携带附加信息，当用户听到对应于该声音信号的声音时，用户也不会识别同正常声音的任何区别。
移动通信终端100可以在用户激活AR服务功能时开始通过麦克风接收该声音信号。移动通信终端100可以确定附加信息是否携带在声音信号上，并且如果附加信息携带在声音信号上，则移动通信终端100可以解码和提取在声音信号上携带的附加信息。在通过解码提取附加信息之后，移动通信终端100可以通过将附加信息与存储在其数据库的信息进行比较来搜索与附加信息关联的数据。之后，移动通信终端100可以基于搜索的数据配置AR服务屏幕并且显示该屏幕。移动通信终端100可以通过其扬声器输出语音以使用搜索的数据提供AR服务。
替换地，移动通信终端100可以将从声音信号提取的附加信息发送到服务器(未示出)，从该服务器接收对应于附加信息的AR数据，并且使用该AR数据配置AR服务。
与附加信息关联的数据可以包括在当前位置的信息，诸如关联的图像、地图、以及在当前位置的本地区域信息，且如果该声音信号对应于音乐，则与附加信息关联的数据可以包括与音乐关联的信息。如上描述的，附加信息可以是在接收声音信号的当前位置的关联信息，或是与声源关联的附加信息。另一方面，移动通信终端100可以使用外部服务器的数据库来搜索与附加信息关联的数据以提供信息。
现在将参考图2详细描述在上述系统中移动通信终端100的操作和组件。在图2中，移动通信终端100可以包括声音信号处理器200、麦克风(MIC)210、扬声器(SPK)220、控制器230、显示单元240和存储器250。移动通信终端100还可以包括用于捕捉真实图像来提供AR服务的照相机(未示出)，其中通过使用在声音信号上携带的附加信息将附加信息添加到真实图像上，以及包括通信单元(未示出)，用于发送从声音信号提取的附加信息到外部服务器并且从外部服务器接收对应于发送的附加信息的AR数据。
声音信号处理器200可以经过麦克风210接收声音信号，放大声音信号，并且传递放大的声音信号到控制器230。当用户启动AR服务功能时可以激活麦克风210来接收声音信号。声音信号处理器200可以连接到扬声器220从而将自控制器230输出的关于AR服务的声音信号输出到外部。
显示单元240通常可以在控制器230的控制下显示移动通信终端100的操作状态和多条信息。当用户设置或激活必需的功能时，显示单元240可以在控制器230的控制下允许用户识别一设置或激活的状态。显示单元240可以显示AR服务屏幕。如此，显示单元240可以使用图形技术显示在用户所处的位置中与附加信息关联的数据。例如，用户可以观看在当前位置的图像，其根据在接收的声音信号上携带的附加信息而动态改变，以及观看与附加信息关联的数据，并且如果声音信号对应于音乐，则用户可以浏览关于音乐的详细信息。
在当前位置的图像可以是在附加信息中包括的图像或由照相机捕捉的真实图像。如果该图像是由照相机捕捉的真实图像，则移动通信终端100可以使用GPS和陀螺仪确定当前位置和当前承载，并且基于在声音信号上携带的附加信息(如，餐厅的菜单信息)和真实图像显示关于周围的信息。
存储器250可以包括只读存储器(ROM)和随机存取存储器(RAM)以存储多个程序和数据。存储器250可以存储与从声音信号提取的附加信息关联的数据。换句话说，存储器250可以包括用于存储提供AR服务的数据的数据库。
控制器230可以控制移动通信终端100的整个操作。根据本发明的实施例，控制器230可以确定是否接收在声音信号携带的附加信息，并且在数据库中搜索对应于附加信息的数据。然后，控制器230可以基于搜索的数据配置AR服务屏幕，并且输出配置的AR服务屏幕。可以插入特征到声音信号以使得可以在声音信号中识别附加信息的位置。特征可以按照特定代码或空白的形式插入。因此，控制器230可以检测在声音信号中插入的特征并且提取在检测的特征之间的附加信息。
根据本发明，附加信息可以具有如下格式。附加信息可以是元数据或具有链接信息格式，用于在数据库中搜索关联数据的位置。如果附加信息是元数据格式，则控制器230可以仅利用该元数据提供AR服务并且通过在数据库搜索与元数据关联的内容来输出详细的信息。如上所述的，元数据可以用来结合数据库提供关于接收的声音信号的各种类型的信息。例如，当接收声音信号时，在其上携带作为附加信息的与音乐关联的各种类型的信息，诸如类别、歌词和销售信息之类，控制器230可以通过分析该声音信号获得对提供AR服务有用的信息。
现在将参考图3描述提供AR服务的过程。本发明可以包括：从其上携带附加信息的声音信号300中提取附加信息，从数据库310中搜索与提取的附加信息关联的数据320，并且基于搜索的数据提供AR服务。
如图3所示，将通过以上所述的过程实现的AR服务屏幕提供给用户。参考图3，当移动通信终端的用户在地铁火车中时该移动通信终端接收地铁通知时，可以在显示单元240上提供AR服务屏幕。
例如，当用户在听到地铁通知的同时希望接收在当前位置的AR服务时，用户可以激活移动通信终端100的AR服务功能。在这种情况下，移动通信终端100可以通过麦克风210接收该地铁通知。依据本发明的实施例，对应于声音信号的地铁通知可以是其上携带附加信息的通知。因此，当用户接收其上携带附加信息的此类地铁通知时，移动通信终端100可以显示各种类型的信息，诸如出口信息和周围的餐厅信息，以及显示在当前位置的关联图像。
虽然在图3中，当选择出口信息时该出口信息被添加到当前位置的关联图像中，但是当选择周围的餐厅信息时，可以将餐厅位置信息添加到关联图像中。也即，可以在AR服务屏幕中做出各种改变。如上所述，关于AR服务的屏幕的内容可以按各种形式提供。
虽然在图3中示出涉及诸如地铁火车的公共交通的AR服务，但是这仅是示例而本发明的主题不局限于此。例如，当用户期望获得关于在路上行走听到的音乐的进一步信息时，移动通信终端100可以获得关于该音乐的附加信息并且显示与音乐关联的数据。类似地，移动通信终端100可以从音乐售卖机器接收声源并且向用户显示关于该声源的附加信息。即使用户没有获得与完整音乐关联的整个声源，用户也可以足以仅利用部分的声源获得期望的附加信息。另外，根据本发明的实施例，移动通信终端100可以通过仅在特定位置(如，商店)接收通知而提供关于产品的详细信息给用户。如上所述，取决于服务提供商做出的选择可以在各种声音信号上携带附加信息。
图4是说明根据本发明的实施例的在移动通信终端100中用于使用声音信号提供AR服务的方法的流程图。虽然在以下说明中将示出通过搜索特征而提取附加信息的方法，根据本发明的实施例的提取附加信息的方法不局限于此。
参考图4，当开始AR服务功能时，在步骤400中移动通信终端100通过麦克风210接收声音信号。在步骤410中移动通信终端100确定该声音信号是否携带附加信息。如果声音信号正携带附加信息，则在步骤420中移动通信终端100通过根据预设的解码方案解码该声音信号而检测用于从声音信号中提取附加信息的特征。检测的特征可以用于识别在其上携带附加信息的声音信号的边界。因此，在步骤430中，移动通信终端100基于检测的特征从声音信号中提取附加信息。在步骤440中移动通信终端100在数据库中搜索对应于提取的附加信息的数据并且获得搜索的数据。在步骤450中移动通信终端100基于获得的数据提供AR服务。
如上所述，在声音信号上携带的附加信息使得与声音信号关联的内容被输出。因此，用户可以实时接收按照各种形式(诸如图像、图形和语音)的各种类型的信息，该信息与在当前位置听到的声音关联。
如前述说明中显然的，本发明可以使用声音替换真实图像来提供基于AR的附加信息，使得即便在诸如地铁火车和建筑物之类的、没有检测到特定的特征，或由于拍摄困难而无法获得真实图像的位置中也可以提供各种类型的附加信息。另外，本发明可以从当前位置接收的声音中提取附加信息，由此提供在当前位置的地图和旅游信息并且有助于于在使用各种附加服务时增加期望。
尽管已经参考本发明的具体实施例示出和描述本发明，但是本领域技术人员将理解：在不背离由以下所附权利要求及其等价物限定的本发明的精神和范围的情况下，这里可以在形式和细节上进行各种改变。

Claims (15)

1.一种在移动通信终端用于提供增强现实(AR)服务的方法，该方法包括：
接收包括可听频带和不可听频带的声音信号，其中在声音信号中包括的不可听频带上携带了关于AR服务的附加信息和特征点；
从接收的声音信号中检测特征点来识别附加信息的位置；
使用检测到的特征点来提取该附加信息；
基于提取的附加信息获得用于提供AR服务的数据；以及
基于获得的数据显示AR服务屏幕。
2.根据权利要求1所述的方法，其中提取该附加信息的步骤包括：
根据预设的解码方案解码声音信号；以及
从解码的声音信号提取该附加信息。
3.根据权利要求1或2所述的方法，其中获得的数据包括以下的至少一个：在接收声音信号的位置中的关联图像、地图和周围的信息。
4.根据权利要求1所述的方法，其中获得的数据包括：
当声音信号对应于音乐时的音乐关联信息。
5.根据权利要求1所述的方法，其中获得用于提供AR服务的数据的步骤包括：在数据库中搜索与提取的附加信息关联的数据。
6.根据权利要求1所述的方法，其中获得用于提供AR服务的数据的步骤包括：
发送提取的附加信息到服务器；以及
从服务器接收对应于发送的附加信息的数据，该数据是配置AR服务屏幕所需要的。
7.根据权利要求1所述的方法，其中与AR服务关联的附加信息是非声音信号。
8.根据权利要求1所述的方法，其中接收声音信号包括：当用户激活AR服务功能时激活麦克风。
9.一种用于提供增强现实(AR)服务的装置，该装置包括：
麦克风，用于接收包括可听频带和不可听频带的声音信号，其中在声音信号中包括的不可听频带上携带了关于AR服务的附加信息和特征点；
控制器，用于从接收的声音信号中检测特征点来识别附加信息的位置，使用检测到的特征点来提取该附加信息，基于提取的附加信息获得用于提供AR服务的数据，以及基于获得的数据配置AR服务屏幕；和
显示单元，用于显示AR服务屏幕。
10.根据权利要求9所述的装置，其中控制器根据预设的解码方案解码携带该附加信息的声音信号，以及从解码的声音信号提取该附加信息。
11.根据权利要求9或10所述的装置，其中获得的数据包括以下的至少一个：在接收声音信号的位置中的关联图像、地图和周围的信息。
12.根据权利要求9所述的装置，其中获得的数据包括：
当声音信号对应于音乐时的音乐关联信息。
13.根据权利要求9所述的装置，还包括：数据库，用于存储提供AR服务的数据。
14.根据权利要求9所述的装置，其中控制器发送提取的附加信息到服务器，从服务器接收对应于发送的附加信息的数据，以及基于接收的数据配置AR服务屏幕。
15.根据权利要求9所述的装置，其中与AR服务关联的附加信息是非声音信号。
CN201110207359.2A 2010-07-22 2011-07-22 用于使用声音提供增强现实服务的装置和方法 Expired - Fee Related CN102348014B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0070994 2010-07-22
KR1020100070994A KR101683676B1 (ko) 2010-07-22 2010-07-22 사운드를 이용한 증강 현실 서비스 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
CN102348014A CN102348014A (zh) 2012-02-08
CN102348014B true CN102348014B (zh) 2016-05-18

Family

ID=44514521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110207359.2A Expired - Fee Related CN102348014B (zh) 2010-07-22 2011-07-22 用于使用声音提供增强现实服务的装置和方法

Country Status (4)

Country Link
US (3) US8749584B2 (zh)
EP (1) EP2410714B1 (zh)
KR (1) KR101683676B1 (zh)
CN (1) CN102348014B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101683676B1 (ko) * 2010-07-22 2016-12-07 삼성전자 주식회사 사운드를 이용한 증강 현실 서비스 제공 장치 및 방법
JP5729161B2 (ja) * 2010-09-27 2015-06-03 ヤマハ株式会社 通信端末、無線機、及び無線通信システム
US10044448B2 (en) * 2011-05-18 2018-08-07 Sparcq, Inc. Sonic signaling communication for user devices
US9563265B2 (en) * 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
EP2658291B1 (de) * 2012-04-24 2018-06-13 Scheidt & Bachmann GmbH Verfahren zur automatisierten Ermittlung des Aufenthaltsortes einer Person
KR101316616B1 (ko) * 2012-06-27 2013-10-15 주식회사 비엔에스웍스 소리 신호를 이용한 위치 기반 서비스 제공 방법
JP2016004340A (ja) * 2014-06-16 2016-01-12 セイコーエプソン株式会社 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN105681991A (zh) * 2016-01-04 2016-06-15 恩平市亿歌电子有限公司 一种基于不可闻声波的无线麦克风信号传输方法以及系统
JP2017134581A (ja) * 2016-01-27 2017-08-03 ヤマハ株式会社 情報処理装置および情報処理方法
WO2017188863A1 (ru) * 2016-04-30 2017-11-02 Виталий Витальевич АВЕРЬЯНОВ Устройство для воздействия на виртуальные объекты дополненной реальности
CN110362204A (zh) * 2019-07-11 2019-10-22 Oppo广东移动通信有限公司 信息提示方法、装置、存储介质及增强现实设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1609993A (zh) * 2003-09-09 2005-04-27 三星电子株式会社 将信息插入音频信号以及再现该信息的方法及装置
CN101444065A (zh) * 2006-05-12 2009-05-27 汤姆森许可贸易公司 用于对已编码音频信号进行加密的方法及设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513129A (en) * 1993-07-14 1996-04-30 Fakespace, Inc. Method and system for controlling computer-generated virtual environment in response to audio signals
US7224819B2 (en) * 1995-05-08 2007-05-29 Digimarc Corporation Integrating digital watermarks in multimedia content
US7711564B2 (en) * 1995-07-27 2010-05-04 Digimarc Corporation Connected audio and other media objects
US6064335A (en) * 1997-07-21 2000-05-16 Trimble Navigation Limited GPS based augmented reality collision avoidance system
DE19951546C2 (de) * 1999-10-26 2002-03-21 Siemens Ag Verfahren zum Benachrichtigen eines Benutzers über eine Verkehrsinformation und Navigationsgerät
US20010055391A1 (en) * 2000-04-27 2001-12-27 Jacobs Paul E. System and method for extracting, decoding, and utilizing hidden data embedded in audio signals
US7359889B2 (en) * 2001-03-02 2008-04-15 Landmark Digital Services Llc Method and apparatus for automatically creating database for use in automated media recognition system
KR100651508B1 (ko) 2004-01-30 2006-11-29 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
US7672543B2 (en) * 2005-08-23 2010-03-02 Ricoh Co., Ltd. Triggering applications based on a captured text in a mixed media environment
US7669148B2 (en) * 2005-08-23 2010-02-23 Ricoh Co., Ltd. System and methods for portable device for mixed media system
DE102004050383A1 (de) * 2004-10-15 2006-04-27 Siemens Ag Übertragung von Daten in und aus Automatisierungskomponenten
TWM282159U (en) * 2005-07-08 2005-12-01 Jabil Circuit Taiwan Ltd GPS receiver for simultaneously receiving the GPS signal and the FM sub carrier wave signal
US20070096909A1 (en) * 2005-10-28 2007-05-03 Matthew Lally Interactive networking device
KR20080029446A (ko) * 2006-09-29 2008-04-03 (주)이스트랩 오디오 워터마킹을 이용하여 정보를 제공하는 시스템 및 그제공 방법.
KR100964096B1 (ko) * 2008-02-29 2010-06-16 서울시립대학교 산학협력단 음향 신호에서 부가정보를 추출하는 시스템 및 추출방법
US9667365B2 (en) * 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US9788043B2 (en) * 2008-11-07 2017-10-10 Digimarc Corporation Content interaction methods and systems employing portable devices
US8508357B2 (en) * 2008-11-26 2013-08-13 The Nielsen Company (Us), Llc Methods and apparatus to encode and decode audio for shopper location and advertisement presentation tracking
KR101683676B1 (ko) * 2010-07-22 2016-12-07 삼성전자 주식회사 사운드를 이용한 증강 현실 서비스 제공 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1609993A (zh) * 2003-09-09 2005-04-27 三星电子株式会社 将信息插入音频信号以及再现该信息的方法及装置
CN101444065A (zh) * 2006-05-12 2009-05-27 汤姆森许可贸易公司 用于对已编码音频信号进行加密的方法及设备

Also Published As

Publication number Publication date
KR20120009131A (ko) 2012-02-01
EP2410714A1 (en) 2012-01-25
US9269373B2 (en) 2016-02-23
CN102348014A (zh) 2012-02-08
US9860661B2 (en) 2018-01-02
US20140358550A1 (en) 2014-12-04
EP2410714B1 (en) 2016-02-10
US20160174007A1 (en) 2016-06-16
US8749584B2 (en) 2014-06-10
KR101683676B1 (ko) 2016-12-07
US20120019558A1 (en) 2012-01-26

Similar Documents

Publication Publication Date Title
CN102348014B (zh) 用于使用声音提供增强现实服务的装置和方法
US10499207B2 (en) Service providing system including display device and mobile device, and method for providing service using the same
CN104170413B (zh) 基于环境上下文控制移动装置中的应用程序
US20120194706A1 (en) Terminal and image processing method thereof
US11362747B2 (en) Vehicle-based media system with audio ad and visual content synchronization feature
EP3516796B1 (en) Efficient near-field communication based on audio signals
US20170140140A1 (en) Information processing system, storage medium, and information processing method
CN103136235A (zh) 数据处理平台、数据处理系统及数据处理方法
CN105872207A (zh) 通信终端及其事件提示方法
JP2005522058A (ja) 送信装置及び送信方法
JP2006080850A (ja) 通信端末とその通信方法
KR101559623B1 (ko) 디지털 사이니지 콘텐츠 유형에 따른 모바일 어플리케이션 매칭 방법 및 그 시스템
TW202245440A (zh) 透過修改音訊和視訊介面來廣播情境資訊
CN110383849A (zh) 内容管理设备、内容管理系统、以及控制方法
CN112786022B (zh) 终端、第一语音服务器、第二语音服务器及语音识别方法
JPWO2015004840A1 (ja) 映像受信装置、情報表示方法および映像受信システム
CN102883282A (zh) 回铃音替换方法、终端及服务器
CN113841121A (zh) 用于提供应用内消息收发的系统和方法
CN106021408A (zh) 通过识读指定图像对所选定的标识图像进行播放的方法
JP2010191503A (ja) ナビゲーション装置、ナビゲーション装置における安否確認方法および安否確認プログラム
CN112449221B (zh) 车载装置、信息播放控制方法以及信息播放控制系统
CN115967693A (zh) 信息群同步方法、装置、设备及存储介质
CN117998158A (zh) 内容分享方法及相关设备
KR101523130B1 (ko) 사운드를 이용한 정보 제공 방법
CN116405914A (zh) 一种服务的控制方法、电子设备及计算机存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160518

Termination date: 20200722