CN110024028B - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN110024028B
CN110024028B CN201780073952.8A CN201780073952A CN110024028B CN 110024028 B CN110024028 B CN 110024028B CN 201780073952 A CN201780073952 A CN 201780073952A CN 110024028 B CN110024028 B CN 110024028B
Authority
CN
China
Prior art keywords
file
data
synthesized
waveform data
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780073952.8A
Other languages
English (en)
Other versions
CN110024028A (zh
Inventor
荻田猛史
中川亚由美
山野郁男
中川佑辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110024028A publication Critical patent/CN110024028A/zh
Application granted granted Critical
Publication of CN110024028B publication Critical patent/CN110024028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/18—Details of the transformation process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

在使通信的数据量最小化的同时，建立振动信息的标准化通信。本发明提供一种包括文件生成单元的信息处理装置，该文件生成单元生成包括语音波形数据和振动波形数据的文件。文件生成单元从第一语音数据去除待合成频带中的波形数据，将从振动数据的合成频带中提取的波形数据合成至待合成频带来生成第二语音数据，并且通过对第二语音数据进行编码来生成文件。

Description

信息处理装置、信息处理方法以及程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
目前已开发出各种生成振动的设备。另外，配备上述设备并使用振动作为信息传输手段之一的设备变得广泛。在一个示例中，专利文献1公开了一种通过振动向用户呈现终端内部信息的技术。
引用列表
专利文献
专利文献1：JP2010-136151A
发明内容
技术问题
同时，除了如专利文献1中描述的设备内完成的处理之外，上述使用振动的设备还被设想用于与其他设备进行有关振动信息的通信。然而，与振动信息有关的通信还没有标准化，并且在振动信息与语音信息和移动图像信息一起被发送和接收的情况下，设想数据通信业务增加。
鉴于此，本公开内容提供了一种新型且改进的信息处理装置、信息处理方法和程序，其能够在减少数据通信业务的同时实现振动信息的统一化通信。
对问题的解决方案
根据本公开内容，提供了一种信息处理装置，该信息处理装置包括：文件生成单元，其被配置成生成包括语音波形数据和振动波形数据的文件。文件生成单元从第一语音数据切除待合成频带中的波形数据，将从振动数据的合成频带中提取的波形数据合成至待合成频带以生成第二语音数据，并对第二语音数据进行编码来生成文件。
另外，根据本公开内容，提供了一种信息处理方法，该信息处理方法包括：由处理器生成包括语音波形数据和振动波形数据的文件。生成文件还包括从第一语音数据切除待合成频带中的波形数据，将从振动数据的合成频带中提取的波形数据合成至待合成频带以生成第二语音数据，并对第二语音数据进行编码来生成文件。
另外，根据本公开内容，提供了一种程序使计算机用作信息处理装置，该信息处理装置包括：文件生成单元，其被配置成生成包括语音波形数据和振动波形数据的文件。文件生成单元从第一语音数据切除待合成频带中的波形数据，将从振动数据的合成频带提取的波形数据合成至待合成频带以生成第二语音数据，并对第二语音数据进行编码以生成文件。
另外，根据本公开内容，提供了一种信息处理装置，该信息处理装置包括：文件分析单元，其被配置成从包括语音波形数据和振动波形数据的文件中获取语音波形数据和振动波形数据。文件分析单元基于待合成频带来分离通过解码文件获得的语音数据以获取语音波形数据和振动波形数据。
另外，根据本公开内容，提供了一种信息处理方法，该信息处理方法包括：由处理器从包括语音波形数据和振动波形数据的文件中获取语音波形数据和振动波形数据。获取还包括基于待合成频带来分离通过解码文件获得的语音数据以获取语音波形数据和振动波形数据。
另外，根据本公开内容，提供了一种使计算机用作信息处理装置的程序，该信息处理装置包括：文件分析单元，其被配置成从包括语音波形数据和振动波形数据的文件中获取语音波形数据和振动波形数据。文件分析单元基于待合成频带来分离通过解码文件获得的语音数据以获取语音波形数据和振动波形数据。
发明的有益效果
根据如上所述的本公开内容，在减少数据通信业务的同时，可以实现振动信息的统一化通信。
注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的任何一种效果或从本说明书中理解的其他效果。
附图说明
[图1A]图1A是被示出以描述振动信息与语音和移动图像信息之间的同步的图。
[图1B]图1B是被示出以描述振动信息与语音和移动图像信息之间的同步的图。
[图2]图2是示出根据本公开内容的实施方式的系统配置示例的图。
[图3]图3是被示出以描述根据本实施方式的单声道语音文件的生成的图。
[图4]图4是示出根据本实施方式的单声道语音文件的分析的图。
[图5]图5是被示出以描述根据本实施方式的立体声语音文件的生成的图。
[图6]图6是被示出以描述根据本实施方式的立体声语音文件的分析的图。
[图7]图7是被示出以描述根据本实施方式的立体声语音多振动文件的生成的图。
[图8]图8是被示出以描述根据本实施方式的立体声语音文件的分析的图。
[图9]图9是被示出以描述根据本实施方式的待合成频带和合成频带是等于或小于预定频率的任何频带的情况的图。
[图10]图10是被示出以描述根据本实施方式的待合成频带是等于或大于预定频率的超高频带的情况的图。
[图11]图11是被示出以描述根据本实施方式的包括多个振动波形数据的文件和从文件中提取振动波形数据的图。
[图12]图12是示出根据本实施方式的发送基于收集的信息生成的文件的文件生成设备的操作的流程图。
[图13]图13是示出根据本实施方式的传送包括振动波形数据的内容的文件生成设备的操作的流程图。
[图14]图14是示出根据本实施方式的回放设备的操作的流程图。
[图15]图15是根据本公开内容的硬件配置示例。
具体实施方式
在下文中，将参照附图详细地描述本公开内容的一个或多个优选实施方式。注意，在本说明书和附图中，使用相同的附图标记来表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
此外，将按照以下顺序来进行描述。
1.实施方式
1.1.实施方式的概述
1.2.系统配置示例
1.3.文件生成设备10的功能配置示例
1.4.回放设备20的功能配置示例
1.5.文件生成和文件分析的细节
1.6.待合成频带的修改
1.7.文件生成设备10和回放设备20的操作
2.硬件配置示例
3.结束语
<1.实施方式>
<<1.1.实施方式的概述>>
现描述本公开内容的实施方式的概述。如上所述，目前使用了各种生成振动的设备，并且开发了许多用于移动终端的振动设备。另外，能够再现各种振动模式的线性谐振致动器(LRA)、压电(电压)致动器等在当今也很普遍，并且因此设想从现在起振动信息的通信将得到积极地发展。
然而，与语音信息和图像信息的通信不同，振动信息的通信还没有标准化。因此，用于使得振动信息能够容易地发送和接收的格式是有必要的。然而，在新生成振动格式的情况下，使振动信息与和振动信息同时发送和接收的语音信息及移动图像信息同步是非常重要的。
图1A和图1B是被示出以描述振动信息与语音和移动图像信息之间的同步的图。图1A示出了通过捕获高尔夫击球获得的移动图像以及伴随移动图像输出的语音信息SO1和振动信息VO1。在此，在图1A所示的示例中，移动图像、语音信息SO1和振动信息VO1的输出定时是彼此同步的，因此用户能够在没有不舒服的感觉的情况下查看移动图像。
另一方面，图1B所示的示例示出了如下情况：移动图像和语音信息SO1的输出定时彼此同步，但不与振动信息VO1的输出定时同步。参照图1B，在高尔夫击球动作完成并且玩家离开视频后，输出振动信息VO1。这样的输出偏差很可能给用户带来不兼容的感觉，因此需要提供防止输出偏差的措施。
在此，在一个示例中，使用时间戳在移动图像、语音与振动之间进行同步被认为是防止上述输出偏差的方法。然而，对于使用时间戳进行同步，有必要设置新的自身的振动文件格式标准，并且例如时间戳的生成的负担增加。另外，在通信时除了移动图像信息和语音信息外，发送和接收振动信息是必要的，这导致数据通信业务的增加。
针对以上几点，设想根据本实施方式的信息处理装置、信息处理方法和程序，并且可以通过以通用文件格式嵌入振动信息，在减少数据通信业务的同时向用户呈现同步振动。为此，根据本实施方式的技术构思具有如下一个特征：从语音数据切除待合成频带中的波形数据，并且将从振动数据的合成频带中提取的波形数据合成至待合成频带。根据本实施方式的信息处理装置、信息处理方法和程序的功能以及通过所述功能实现的效果被详细描述如下。
<<1.2.系统配置示例>>
现描述根据本实施方式的系统配置示例。图2是示出根据本实施方式的系统配置示例的图。参照图2，根据本实施方式的信息处理系统包括文件生成设备10和回放设备20。另外，文件生成设备10和回放设备20经由网络30连接，以便它们可以彼此通信。
(文件生成设备10)
根据本实施方式的文件生成设备10是生成包括语音波形数据和振动波形数据的文件的信息处理装置。如上所述，根据本实施方式的文件生成设备10具有如下一个特征：通过以通用语音文件格式或移动图像文件格式嵌入振动波形数据来生成上述文件。
根据本实施方式的文件生成设备10可以具有如下功能：基于收集到的移动图像信息、语音信息和振动信息生成上述文件，并将其发送到回放设备20。在这种情况下，在一个示例中，根据本实施方式的文件生成设备10可以是智能电话、平板计算机、移动电话、个人计算机(PC)、可穿戴设备等。文件生成设备10能够对捕捉到的移动图像和与移动图像一起收集的振动信息进行编码来生成文件，并将该文件发送到回放设备20。
另外，根据本实施方式的文件生成设备10可以是生成、保存和传送包括语音信息和振动信息的内容的内容服务器。在这种情况下，文件生成设备10能够基于收集到的移动图像信息、语音信息和振动信息生成文件，并响应于来自回放设备20的请求来传送文件。另外，根据本实施方式的文件生成设备10可以通过在现有语音文件或移动图像文件中嵌入振动波形数据来生成上述文件。
(回放设备20)
根据本实施方式的回放设备20是如下信息处理装置，其基于通过解码从文件生成设备10接收到的文件获得的语音波形数据和振动波形数据来输出声音和振动。另外，根据本实施方式的回放设备20可以将移动图像与声音和振动一起回放。在一个示例中，根据本实施方式的回放设备20可以是智能电话、平板计算机、移动电话、PC、可穿戴设备等。
(网络30)
网络30具有连接文件生成设备10和回放设备20的功能。网络30可以包括：公共线路网络，例如因特网、电话线网络和卫星通信网络；包括以太网(注册商标)的各种局域网(LAN)和广域网(WAN)等。另外，网络30可以包括租用线路网络，例如因特网协议虚拟专用网(IP-VPN)。另外，网络30可以包括无线通信网络，例如Wi-Fi(注册商标)和蓝牙(注册商标)。
<<1.3.文件生成设备10的功能配置示例>>
现描述根据本实施方式的文件生成设备10的功能配置示例。参照图2，根据本实施方式的文件生成设备10包括收集单元110、文件生成单元120和通信单元130。
(收集单元110)
收集单元110具有收集语音信息、移动图像信息、振动信息等的功能。为此，根据本实施方式的收集单元110配备有麦克风、成像设备、振动传感器等。
(文件生成单元120)
文件生成单元120具有生成包括语音波形数据和振动波形数据的文件的功能。在这种情况下，根据本实施方式的文件生成单元120首先从第一语音数据中切除待合成频带中的波形数据。在此，第一语音数据可以是由收集单元110收集的语音数据或者通过解码现有文件获得的语音数据。然后，文件生成单元120将从振动数据的合成频带中提取的波形数据合成至待合成频带以生成第二语音数据。随后，文件生成单元120能够对生成的第二语音数据进行编码来生成包括语音波形数据和振动波形数据的文件。
在此情况下，在一个示例中，根据本实施方式的文件生成单元120可以以如下格式生成上述文件：例如广泛使用的MPEG-1音频层-3(MP3)格式、MP4格式等。换句话说，根据本实施方式的文件生成单元120能够将振动波形数据嵌入现有文件格式的语音数据的预定频带中。
如上所述的根据本实施方式的文件生成单元120的功能使得可以在不准备其自身格式的情况下，容易地发送和接收与语音和移动图像同步的振动信息。另外，使用现有的文件格式使得可以减少数据通信业务。此外，下文单独描述根据本实施方式的文件生成单元120的功能的细节。
(通信单元130)
通信单元130具有与回放设备20进行信息通信的功能。具体地，根据本实施方式的通信单元130将由文件生成单元120生成的文件发送到回放设备20。另外，在根据本实施方式的文件生成设备10是内容服务器等的情况下，通信单元130从回放设备20中接收文件下载请求等。
上文描述了根据本实施方式的文件生成设备10的功能配置示例。此外，上面参照图2所述的配置仅仅是示例，并且根据本实施方式的文件生成设备10的功能配置不限于该示例。文件生成设备10还可以设置有除上述部件以外的其他部件。在一个示例中，文件生成设备10还可以具有接受用户输入操作的输入单元以及输出视觉信息和听觉信息的输出单元。根据本实施方式的文件生成设备10的功能配置可灵活修改。
<<1.4.回放设备20的功能配置示例>>
现描述根据本实施方式的回放设备20的功能配置示例。参照图2，根据本实施方式的回放设备20包括输出单元210、文件分析单元220和通信单元230。
(输出单元210)
输出单元210具有输出语音、移动图像、振动等的功能。根据本实施方式的输出单元210可以基于由下文所述的文件分析单元220获取的语音波形数据和振动波形数据进行输出。为此，根据本实施方式的输出单元210包括输出视觉信息、听觉信息和触觉信息的各种设备。
在一个示例中，输出单元210包括阴极射线管(CRT)显示设备、液晶显示(LCD)设备、有机发光二极管(OLED)设备、触摸面板等。
另外，在一个示例中，输出单元210包括音频输出放大器、扬声器等。此外，根据本实施方式的输出单元210可以包括支持立体声再现的多个扬声器。
另外，输出单元210包括振动设备例如LRA、压电致动器或偏心电机以及驱动振动设备的集成电路(IC)。此外，根据本实施方式的输出单元210可以设置有与多个扬声器对应的多个振动设备。
(文件分析单元220)
文件分析单元220具有从由文件生成设备10生成的文件中获取语音波形数据和振动波形数据的功能。在这种情况下，根据本实施方式的文件分析单元220具有如下一个特征：通过基于待合成频带来分离通过解码文件获得的语音数据以获取语音波形数据和振动波形数据。此外，下文单独描述根据本实施方式的文件分析单元220的功能的细节。
(通信单元230)
通信单元230具有与文件生成设备10进行信息通信的功能。具体地，根据本实施方式的通信单元230从文件生成设备10接收包括语音波形数据和振动波形数据的文件。另外，在文件生成设备10是内容服务器等的情况下，通信单元230可以向文件生成设备10发送内容下载请求。
上文描述了根据本实施方式的回放设备20的功能配置示例。此外，参照图2描述的上述功能配置仅仅是示例，并且根据本实施方式的回放设备20的功能配置不限于该示例。回放设备20还可以设置有除上述部件以外的其他部件。在一个示例中，回放设备20还可以包括接受用户输入操作的输入单元等。根据本实施方式的回放设备20的功能配置是可灵活修改的。
<<1.5.文件生成和文件分析的细节>>
现描述根据本实施方式的文件生成和文件分析的细节。如上所述，根据本实施方式的文件生成设备10能够通过从第一语音数据切除待合成频带中的波形数据并通过将从振动波形数据的合成频带中提取的波形数据合成至待合成频带来生成第二语音数据。
(单声道语音文件的生成和分析)
首先描述根据本实施方式的单声道语音文件的生成和分析。根据本实施方式的文件生成设备10能够生成与单声道语音对应的文件，并且根据本实施方式的回放设备20能够通过分析该文件来获取单声道语音数据和振动数据。
图3是被示出以描述根据本实施方式的单声道语音文件的生成的图。如图3所示，文件生成设备10的文件生成单元120首先从第一语音数据SD0切除待合成频带中的波形数据，并且获取语音波形数据Sb1。另外，文件生成单元120从振动数据VD0提取合成频带中的振动波形数据Vb1。此外，第一语音数据SD0可以是由收集单元110收集的语音数据，或者可以是通过解码现有文件获取的语音数据。
在此，根据本实施方式的待合成频带和合成频带可以是0Hz至预定频率或更低频率的低音频带。在一个示例中，如图3所示，文件生成单元120可以从第一语音数据SD0中切除0Hz至200Hz的频带，并且可以从波形数据VD0中提取0Hz至200Hz的振动波形数据Vb1。换句话说，根据本实施方式的文件生成单元120能够从第一语音数据SD0中切除通常难以察觉的低音频带的语音波形数据，并且能够从振动数据VD0中提取易于察觉为振动的频带的振动波形数据。
然后，根据本实施方式的文件生成单元120将从振动数据提取的合成频带合成至通过切除待合成频带获得的第一语音数据来生成第二语音数据SD1。换句话说，文件生成单元120将从第一语音数据SD0提取的200Hz或更高的频带中的波形数据Sb1合成至从振动数据VD0中提取的0Hz至200Hz的合成频带来生成第二语音数据SD1。
另外，文件生成单元120对生成的第二语音数据SD1进行编码以生成文件FM1。在此情况下，根据本实施方式的文件生成单元120能够使用例如MP3或MP4的通用格式来生成文件FM1。
现在描述由回放设备20对单声道语音文件的分析。图4是被示出以描述根据本实施方式的由回放设备20对单声道语音文件的分析的图。如图4所示，回放设备20的通信单元230首先接收由文件生成设备10生成的文件FM1。在这种情况下，在一个示例中，通信单元230可以接收通过用户的操作从文件生成设备10主动发送的文件FM1，或者可以通过向文件生成设备10发出下载请求来接收文件FM1。
然后，根据本实施方式的文件分析单元220对接收到的文件FM1进行解码来获取语音数据SD1。另外，文件分析单元220基于待合成频带来分离语音数据SD1，并且获取用于回放的语音数据SD2和用于回放的振动数据VD2。换句话说，根据本实施方式的文件分析单元220能够通过将从文件FM1中提取的语音数据SD1分离到0Hz至200Hz的频带和200Hz或更高的频带来获取用于回放的语音数据SD2和用于回放的振动数据VD2。
在这种情况下，如图4所示，用于回放的语音数据SD2包括200Hz或更高的语音波形数据Sb1，并且用于回放的振动数据VD2包括0Hz至200Hz的振动波形数据Vb1。由文件分析单元220获取的用于回放的语音数据SD2和用于回放的振动数据VD2被传递到输出单元210，并且分别输出为听觉信息和触觉信息。
(立体声语音文件的生成与分析)
现描述根据本实施方式的立体声语音文件的生成和分析。根据本实施方式的文件生成设备10能够生成与立体声语音对应的文件，并且根据本实施方式的回放设备20能够通过分析该文件来获取立体声语音数据和振动数据。
在这种情况下，根据本实施方式的文件生成单元120可以通过将在待合成频带中的从两条第一语音数据切除的波形数据相加并将经相加的波形数据合成至两条第一语音数据中的一条第一语音数据中的待合成频带来生成第三语音数据。另外，文件生成单元120可以通过将从振动数据提取的合成频带中的波形数据合成至两条第一语音数据中的另一条第一语音数据中的待合成频带来生成第二语音数据。文件生成单元120能够对第二语音数据和第三语音数据进行编码来生成立体声语音文件。
图5是被示出以描述根据本实施方式的立体声语音文件的生成的图。文件生成单元120首先基于待合成频带来分离两个第一语音数据SDL0和SDR0。在此，第一语音数据SDL0和SDR0可以是分别与左扬声器和右扬声器对应的语音数据。
另外，文件生成单元120从振动数据VD0提取合成频带中的振动波形数据Vb1。在此，待合成频带和合成频带均可以是0Hz至200Hz的频带。
然后，文件生成单元120将在待合成频带中的从第一语音数据SDL0和SDR0分别提取的语音波形数据SbL2和SbR2相加以获得经相加的语音波形数据SbM1。在这种情况下，文件生成单元120将经相加的语音波形数据SbM1合成至从第一语音数据SDR0提取的200Hz或更高的频带中的语音波形数据SbR1以生成第三语音波形数据SDR1。
另一方面，文件生成单元120将从第一语音数据SDL0提取的200Hz或更高的频带中的语音波形数据SbL1和从振动数据VD0提取的0Hz至200Hz的频带中的振动波形数据Vb1进行合成，从而合成语音波形数据SDL1。
换句话说，根据本实施方式的文件生成单元120能够基于两条第一语音数据和一条振动数据来生成两条语音数据。在这种情况下，所生成的两条语音数据中的一条语音数据包括从波形数据中提取的振动波形数据，并且另一条语音数据包括从两条第一语音数据提取的低音频带中的经相加的波形数据。如上所述的根据本实施方式的文件生成单元120的功能使得可以将低音频带中的语音波形数据的信息相加，并且将其包括在一条语音数据中，从而防止音质下降。
另外，文件生成单元120对生成的第三语音数据SDR1和第二语音数据SDL1进行编码来生成文件FM1，并将生成的文件FM1发送到回放设备20。
现描述由回放设备20对立体声语音文件的分析。图6是被示出以描述根据本实施方式的由回放设备20对立体声语音文件的分析的图。根据本实施方式的文件分析单元220首先对由通信单元230接收到的文件FM1进行解码来获取语音数据SDR1和SDL1。
然后，根据本实施方式的文件分析单元220基于所获取的两条语音数据SDR1和SDL1来获取用于回放的两条语音数据SDR2和SDL2和用于回放的一条振动数据VD2。在这种情况下，文件分析单元220提取通过对文件进行解码而获得的两条语音数据中的一条语音数据的待合成频带，以获取振动波形数据。另外，文件分析单元220获取通过将从另一条语音数据复制的待合成频带的波形数据合成至该一条语音数据的待合成频带而获得的语音波形数据。
换句话说，根据本实施方式的文件分析单元220基于待合成频带来分离通过对文件FM1进行解码而获得的语音数据SDL1，以获取包括振动波形数据Vb1的用于回放的振动数据VD2。另外，文件分析单元220将通过对文件FM1进行解码而获得的语音数据SDR1的待合成频带中的经相加的语音波形数据SbM1合成至语音数据SDL1的200Hz或更高的频带中的语音波形数据SbL1，以获取用于左回放的语音数据SDL2。另外，文件分析单元220转而将通过解码文件FM1获得的语音数据SDR1用作用于右回放的语音数据SDR2。
如上所述的根据本实施方式的文件分析单元220的功能使得可以从通过解码文件FM1提取的两条语音数据获取声音质量得以保证的用于左右回放的语音数据和振动数据。
(立体声语音多振动文件的生成与分析)
现描述根据本实施方式的立体声语音多振动文件的生成和分析。根据本实施方式的文件生成设备10生成与立体声语音和多振动对应的文件，并且根据本实施方式的回放设备20能够分析文件以生成立体声语音数据和与立体声语音数据对应的多条振动数据。
图7是被示出以描述根据本实施方式的立体声语音多振动文件的生成的图。文件生成单元120首先分别从两条第一语音数据SDL0和SDR0提取200Hz或更高的频带中的语音波形数据SbL1和SbR1。另外，文件生成单元120分别从两条振动波形数据VDL0和VDR0提取0Hz至200Hz的频带中的振动波形数据VbL1和VbR1。
随后，文件生成单元120将提取的语音波形数据SbR1合成至振动波形数据VbR1以生成第二语音数据SDR1。类似地，文件生成单元120将语音波形数据SbL1合成至振动波形数据VbL1以生成第二语音数据SDL1。另外，文件生成单元120对两个生成的第二语音数据SDL1和SDR1进行编码以生成文件FM1。如上所述，根据本实施方式的文件生成单元120使得可以生成与立体声语音和多振动对应的文件。
现描述由回放设备20对立体声语音多振动文件的分析。根据本实施方式的文件分析单元220能够从通过解码由通信单元230接收的文件获得的两条语音数据中提取两组语音波形数据和振动波形数据。
图8是被示出以描述根据本实施方式的由回放设备20对立体声语音文件的分析的图。根据本实施方式的文件分析单元220首先对由通信单元230接收到的文件FM1进行解码以获取语音数据SDR1和SDL1。
然后，根据本实施方式的文件分析单元220基于待合成频带来分离所获取的两条语音数据SDR1和SDL1。换句话说，根据本实施方式的文件分析单元220基于待合成频带分离语音数据SDR1，因此文件分析单元220能够获取用于右回放的语音数据SDR2和用于右回放的振动数据VDR2，语音数据SDR2包括200Hz或更高的频带中的语音波形数据SbR1，而振动数据VDR2包括0Hz至200Hz的频带中的振动波形数据VbR1。类似地，文件分析单元220基于待合成频带来分离语音数据SDL1，因此获取用于左回放的语音数据SDL2和用于左回放的振动数据VDL2，语音数据SDL2包括200Hz或更高的频带中的语音波形数据SbL1，而振动数据VDL2包括0Hz至200Hz的频带中的振动波形数据VbL1。
如上所述的根据本实施方式的文件分析单元220的功能使得可以从通过解码文件FM1提取的两条语音数据中获取与左振动设备和右振动设备对应的两条振动数据。
<<1.6.待合成频带的修改>>
根据本实施方式的文件生成设备10和回放设备20的功能如上所述。此外，以上描述给出了根据本实施方式的待合成频带为0Hz至200Hz的频带的情况作为示例，但根据本实施方式的待合成频带不限于该示例。根据本实施方式的待合成频带可以是0Hz至200Hz以外的其他频带。
(预定频率或更低频率的任何频带)
在一个示例中，根据本实施方式的待合成频带和合成频带可以是预定频率或更低频率的任何频带。图9是被示出以描述根据本实施方式的待合成频带和合成频带是等于或小于预定频率的任何频带的情况的图。
如图9所示，在一个示例中，根据本实施方式的待合成频带和合成频带可以是80Hz至120Hz的频带。在这种情况下，文件生成设备10的文件生成单元120能够从第一语音数据SD0提取0Hz至80Hz的频带中的语音波形数据Sb1-1和120Hz或更高的频带中的语音波形数据Sb1-2。此外，文件生成单元120可以从振动数据VD0提取80Hz至120Hz的频带中的振动波形数据Vb1。文件生成单元120能够将提取的语音波形数据Sb1-1和Sb1-2与振动波形数据Vb1进行合成以生成第二语音数据SD1。
如上所述的根据本实施方式的文件生成单元120的功能使得可以在第二语音数据中包括易于察觉为振动的80Hz至120Hz的频带中的振动波形数据，同时减少了要切割的语音波形数据的量，从而保持了高音质。
(等于或高于预定频率的超高频带)
此外，在一个示例中，根据本实施方式的待合成频带可以是等于或高于预定频率的超高频带。在此，根据本实施方式的超高频带在一个示例中可以是人类听不见的范围。更具体地，在文件格式对应于高分辨率数字语音信号等的情况下，根据本实施方式的待合成频带可以是20kHz或更高的频带。
图10是被示出以描述根据本实施方式的待合成频带是等于或高于预定频率的超高频带的情况的图。图10示出了待合成频带为20kHz或更高的示例。在这种情况下，根据本实施方式的文件生成单元120从第一语音数据SD0切除20kHz或更高的频带中的语音波形数据，以获取0Hz至20kHz频带中的语音波形数据Sb1。另外，文件生成单元120从振动数据VD0获取任意频带中的振动波形数据Vb1。在这种情况下，在一个示例中，文件生成单元120可以获取200Hz或更低的频带中的振动波形数据，或者可以获取80Hz至120Hz的频带中的振动波形数据。随后，文件生成单元120能够将获取的语音波形数据Sb1与振动波形数据Vb1进行合成来生成第二语音数据SD1。
如上所述的根据本实施方式的文件生成单元120的功能使得可以在第二语音数据中包括足以察觉为振动的任何频带中的振动波形数据，同时完全保存与人类可听范围对应的语音波形数据，从而生成具有高音质的文件。
此外，在图10的示例中，将待合成频带是20kHz或更高的频带的情况描述为示例，但根据本实施方式的超高频带不限于该示例。在一个示例中，根据本实施方式的待合成频带可以是15kHz或更高、或者18kHz或更高的频带。人的听不见范围因个体而异，但一般地，已知15kHz或更高的频带随着年龄的增长而变得难以听到。因此，根据本实施方式的文件生成单元120能够生成如下文件，其中通过将振动波形数据包括在如上所述的频带中来保证与更多用户的可听范围相关的音质。
此外，在根据本实施方式的待合成频带是超高频带的情况下，文件生成单元120能够将从振动数据提取的多个合成频带中的波形数据合成至待合成频带。在这种情况下，在一个示例中，文件生成单元120可以依据回放设备20的性能或特性生成包括多条振动波形数据的文件。根据本实施方式的回放设备20能够从上述文件中提取与其自身性能或特性对应的振动波形数据，并基于所提取的振动波形数据进行振动输出。
图11是被示出以描述根据本实施方式的包括多条振动波形数据的文件和从文件中提取振动波形数据的图。根据本实施方式的文件分析单元220首先对由通信单元230接收到的文件FM1进行解码以获取语音数据SD1。
此外，在这种情况下，文件分析单元220获取附于文件FM1的头信息HI1。在此，头信息HI1可以包括用于指定待合成频带的信息。在一个示例中，头信息HI1可以包括指示与每个性能或模型类型对应的待合成频带的频率的信息。
换句话说，根据本实施方式的文件分析单元220能够基于附于文件FM1的头信息HI1或其自身设备信息指定待合成频带。此外，在图11所示的示例的情况下，文件分析单元220基于头信息HI1从语音数据SD1中获取用于回放的语音数据SD2和用于回放的振动数据VD2，语音数据SD2包括语音波形数据Sb1，而振动数据VD2包括振动波形数据Vb1。
如上所述的根据本实施方式的文件生成设备10和回放设备20的功能使得可以根据回放设备20的性能或特性来发送和接收包括多条振动波形数据的文件，并且输出与回放设备20的性能或特性对应的适当的振动。
此外，上文给出了如下情形的描述：待发送或接收的文件中包括多条振动波形数据，但是根据本实施方式的文件生成设备10可以基于传输目的地回放设备20的设备信息预先生成包括适合回放设备20的性能或特性的振动波形数据的文件。另外，根据本实施方式的回放设备20还能够在提取文件中包括的公共振动波形数据之后，根据性能或特征来处理振动波形数据。
<<1.7.文件生成设备10和回放设备20的操作>>
现详细描述根据本实施方式的文件生成设备10和回放设备20的操作。
(文件生成设备10发送基于收集的信息生成的文件的操作)
现在描述文件生成设备10发送基于收集的信息生成的文件的操作。如上所述，根据本实施方式的文件生成设备10可以基于通过收集单元110收集的语音信息和振动信息来生成文件，并且可以将该文件发送到回放设备20。在这种情况下，在一个示例中，根据本实施方式的文件生成设备10可以是智能手机、平板计算机、移动电话、PC、可穿戴设备等。图12是示出文件生成设备10发送基于收集的信息生成的文件的操作的流程图。
参照图12，文件生成设备10的收集单元110首先收集语音数据和振动数据(S1101)。另外，在这种情况下，收集单元110可以同时收集移动图像数据。
然后，根据本实施方式的文件生成单元120生成包括语音波形数据和振动波形数据的第二语音数据(S1102)。
然后，根据本实施方式的文件生成单元120对步骤S1102中生成的第二语音数据进行编码，以生成包括语音波形数据和振动波形数据的文件(S1103)。
然后，根据本实施方式的通信单元130将步骤S1103中生成的文件发送到回放设备20(S1104)。
(文件生成设备10传送包括振动波形数据的内容的操作)
现在描述文件生成设备10传送包括振动波形数据的内容的操作。如上所述，根据本实施方式的文件生成设备10可以通过将振动波形数据嵌入从现有文件提取的语音数据中来生成新文件，并且文件生成设备10可以是传送作为内容的文件的内容服务器。图13是示出文件生成设备10传送包括振动波形数据的内容的操作的流程图。
参照图13，首先，根据本实施方式的文件生成单元120分别从语音文件和振动文件中提取语音波形数据和振动波形数据(S1201)。
然后，根据本实施方式的文件生成单元120生成第二语音数据，该第二语音数据包括语音波形数据和振动波形数据(S1202)。
然后，根据本实施方式的文件生成单元120对步骤S1202中生成的第二语音数据进行编码，以生成包括语音波形数据和振动波形数据的文件(S1203)。
随后，根据本实施方式的文件生成单元120将步骤S1203中生成的文件登记为内容(S1204)。
然后，根据本实施方式的通信单元230基于来自回放设备20的下载请求将步骤S1204中登记的内容发送到回放设备20(S1205)。
(回放设备20的操作)
现描述根据本实施方式的回放设备20的操作。图14是示出根据本实施方式的回放设备20的操作的流程图。
参照图14，首先，回放设备20的通信单元230接收从文件生成设备10发送的文件(S1301)。
然后，根据本实施方式的文件分析单元220从在步骤S1301中接收的文件中获取头信息(S1302)。
随后，根据本实施方式的文件分析单元220基于步骤S1302中获取的头信息和设备信息来指定待合成频带以获取语音数据和振动数据(S1303)。
然后，根据本实施方式的输出单元210基于步骤S1303中获取的语音数据和振动数据来输出声音和振动(S1304)。
<2.硬件配置示例>
现描述根据本公开内容的文件生成设备10和回放设备20共用的硬件配置的示例。图15是示出根据本公开内容的文件生成设备10和回放设备20的硬件配置示例的框图。参照图15，在一个示例中，文件生成设备10和回放设备20均包括CPU 871、ROM 872、RAM 873、主机总线874、桥875、外部总线876、接口877、输入设备878、输出设备879、存储装置880、驱动器881、连接端口882和通信设备883。此外，这里示出的硬件配置是说明性的，并且可以省略一些部件。另外，还可以包括在此显示的部件以外的其他部件。
(CPU 871)
在一个示例中，CPU 871用作算术处理单元或控制设备，并且基于ROM 872、RAM873、存储装置880或可移除记录介质901中记录的各种程序来控制每个部件的操作中的一些或全部操作。
(ROM 872和RAM 873)
ROM 872是用于存储加载到CPU 871中的程序、用于操作的数据等的装置。在一个示例中，RAM 873临时或永久地存储要加载到CPU 871中的程序、在执行程序时适当改变的各种参数等。
(主机总线874、桥875、外部总线876和接口877)
在一个示例中，CPU 871、ROM 872和RAM 873经由能够高速数据传输的主机总线874相互连接。另一方面，主机总线874在一个示例中经由桥875连接到数据传输率相对低的外部总线876。另外，外部总线876经由接口877连接到各个部件。
(输入设备878)
输入设备878的示例包括鼠标、键盘、触摸面板、按钮、开关、控制杆等。此外，输入设备878的示例包括能够使用红外线或其他无线电波发送控制信号的远程控制器(以下称为远程控制器)。另外，输入设备878包括音频输入设备，例如麦克风。
(输出设备879)
输出设备879是能够以视觉或听觉通知用户所获取信息的设备，其包括例如阴极射线管(CRT)、LCD或有机EL的显示设备、例如扬声器或耳机的音频输出设备、打印机、移动电话、传真机等。此外，根据本公开内容的输出设备879包括输出触觉刺激的各种振动设备等。
(存储装置880)
存储装置880是用于存储各种类型数据的设备。存储装置880的示例包括磁存储设备例如硬盘驱动器(HDD)、半导体存储设备、光存储设备、磁光存储设备等。
(驱动器881)
驱动器881是读取记录在例如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质901上的信息或将信息写入可移除记录介质901的设备。
(可移除记录介质901)
可移除记录介质901的示例包括DVD介质、蓝光(注册商标)介质、HD DVD介质、各种半导体存储介质等。当然，在一个示例中，可移除记录介质901优选地是安装有非接触式IC芯片的IC卡或电子设备。
(连接端口882)
连接端口882是用于与外部连接设备902连接的端口，例如通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)、RS-232C端口或光学语音终端。
(外部连接设备902)
外部连接设备902的示例包括打印机、便携式音乐播放器、数码相机、数码移动图像相机、IC记录器等。
(通信设备883)
通信设备883是用于与网络连接的通信设备，并且其示例包括用于有线或无线LAN、蓝牙(注册商标)或无线USB(WUSB)的通信卡、用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器或者用于各种通信的调制解调器。
<3.结束语>
如上所述，根据本公开内容的文件生成设备10合成包括语音波形数据和振动波形数据的语音数据，使用通用格式对语音数据进行编码，从而能够生成包括语音波形数据和振动波形数据的文件。另外，根据本公开内容的回放设备20基于待合成频带来分离文件，因此能够获取和输出语音数据和振动数据。这样的配置使得可以在减少数据通信业务的同时实现振动信息的统一化通信。
以上已经参照附图描述了本公开内容的优选实施方式，而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种变更和修改，并且应当理解它们将自然地属于本公开内容的技术范围。
此外，本文的文件生成设备10和回放设备20的处理中的各个步骤不一定按照流程图中列出的顺序按时间顺序处理。在一个示例中，文件生成设备10和回放设备20的处理中的各个步骤可以以不同于流程图中描述的顺序的序列处理，或者可以并行处理。
此外，本说明书中描述的效果仅是说明性的或示例化的效果，并不是限制性的。换句话说，与上述效果一起或替代上述效果，根据本公开内容的技术可以实现本领域技术人员根据本说明书的描述而清楚的其他效果。
另外，本技术还可以如下被配置。
(1)一种信息处理设备，包括：
文件生成单元，其被配置成生成包括语音波形数据和振动波形数据的文件，
其中，所述文件生成单元从第一语音数据中切除待合成频带中的波形数据，
将从振动数据的合成频带提取的波形数据合成至所述待合成频带以生成第二语音数据，以及
对所述第二语音数据进行编码以生成所述文件。
(2)根据(1)所述的信息处理装置，
其中，所述待合成频带和所述合成频带是预定频率或更低频率的任何频带。
(3)根据(1)或(2)所述的信息处理装置，
其中，所述待合成频带和所述合成频带是0Hz到预定频率或更低频率的低音频频带。
(4)根据(1)所述的信息处理装置，
其中，所述待合成频带是预定频率或更高频率的超高频可听范围。
(5)根据(4)所述的信息处理装置，
其中，所述文件生成单元将多个所述合成频带中的波形数据合成至所述待合成频带。
(6)根据(1)至(5)中任一项所述的信息处理装置，
其中，所述文件生成单元生成两条所述第二语音数据并对所述两条第二语音数据进行编码来生成所述文件。
(7)根据(1)至(5)中任一项所述的信息处理装置，
其中，所述文件生成单元通过将从两条第一语音数据切除的所述待合成频带中的波形数据相加并且将经相加的波形数据合成至所述两条第一语音数据中的一条第一语音数据中的所述待合成频带来生成第三语音数据，
将从所述振动数据提取的所述合成频带中的波形数据合成至所述两条第一语音数据中的另一条第一语音数据中的所述待合成频带以生成所述第二语音数据，以及
对所述第二语音数据和所述第三语音数据进行编码以生成所述文件。
(8)根据(1)至(7)中任一项所述的信息处理装置，还包括：
通信单元，其被配置成发送所述文件。
(9)根据(1)至(8)中任一项所述的信息处理装置，还包括：
收集单元，其被配置成收集所述振动波形数据。
(10)一种信息处理装置，包括：
文件分析单元，其被配置成从包括语音波形数据和振动波形数据的文件中获取所述语音波形数据和所述振动波形数据，
其中，所述文件分析单元基于待合成频带来分离通过解码所述文件获得的语音数据，以获取所述语音波形数据和所述振动波形数据。
(11)根据(10)所述的信息处理装置，
其中，所述文件分析单元基于附于所述文件的头信息来指定所述待合成频带。
(12)根据(11)所述的信息处理装置，
其中，所述文件分析单元还基于设备信息来指定所述待合成频带。
(13)根据(10)至(12)中任一项所述的信息处理装置，
其中，所述文件分析单元从通过解码所述文件获得的两条语音数据中提取两组所述语音波形数据和所述振动波形数据。
(14)根据(10)至(12)中任一项所述的信息处理装置，
其中，所述文件分析单元提取在通过解码所述文件获得的两条语音数据中的一条语音数据中的待合成频带，以获取所述振动波形数据，以及
将从所述两条语音数据中的另一条语音数据复制的待合成频带的波形数据合成至所述一条语音数据的所述待合成频带，以获取所述语音波形数据。
(15)根据(10)至(14)中任一项所述的信息处理装置，还包括：
通信单元，其被配置成接收所述文件。
(16)根据(10)至(15)中任一项所述的信息处理装置，还包括：
输出单元，其被配置成进行基于所述振动波形数据和所述语音波形数据的输出。
(17)一种信息处理方法，包括：
由处理器生成包括语音波形数据和振动波形数据的文件，
其中，生成所述文件还包括
从第一语音数据切除待合成频带中的波形数据，
将从振动数据的合成频带中提取的波形数据合成至所述待合成频带以生成第二语音数据，以及
对所述第二语音数据进行编码以生成所述文件。
(18)一种使计算机用作信息处理装置的程序，所述信息处理装置包括：
文件生成单元，其被配置成生成包括语音波形数据和振动波形数据的文件，
其中，所述文件生成单元从第一语音数据切除待合成频带中的波形数据，
将从振动数据的合成频带提取的波形数据合成至所述待合成频带以生成第二语音数据，以及
对所述第二语音数据进行编码以生成所述文件。
(19)一种信息处理方法，包括：
由处理器从包括语音波形数据和振动波形数据的文件中获取所述语音波形数据和所述振动波形数据，
其中，所述获取还包括基于待合成频带来分离通过解码所述文件获得的语音数据，以获取所述语音波形数据和所述振动波形数据。
(20)一种使计算机用作信息处理装置的程序，所述信息处理装置包括：
文件分析单元，其被配置成从包括语音波形数据和振动波形数据的文件中获取所述语音波形数据和所述振动波形数据，
其中，所述文件分析单元基于待合成频带来分离通过解码所述文件获得的语音数据，以获取所述语音波形数据和所述振动波形数据。
附图标记列表
10 文件生成设备
110 收集单元
120 文件生成单元
130 通信单元
20 回放设备
210 输出单元
220 文件分析单元
230 通信单元
30 网络

Claims (16)

1.一种信息处理装置，包括：
文件生成单元，其被配置成生成包括语音波形数据和振动波形数据的文件，
其中，所述文件生成单元从第一语音数据中切除待合成频带中的波形数据，将从振动数据的合成频带提取的波形数据合成至所述待合成频带以生成第二语音数据，以及对所述第二语音数据进行编码以生成所述文件，
其中，所述文件生成单元通过将从两条第一语音数据切除的所述待合成频带中的波形数据相加并且将经相加的波形数据合成至所述两条第一语音数据中的一条第一语音数据中的所述待合成频带来生成第三语音数据，
将从所述振动数据提取的所述合成频带中的波形数据合成至所述两条第一语音数据中的另一条第一语音数据中的所述待合成频带以生成所述第二语音数据，以及
对所述第二语音数据和所述第三语音数据进行编码以生成所述文件。
2.根据权利要求1所述的信息处理装置，
其中，所述待合成频带和所述合成频带是预定频率或更低频率的任何频带。
3.根据权利要求1所述的信息处理装置，
其中，所述待合成频带和所述合成频带是0Hz至预定频率或更低频率的低音频带。
4.根据权利要求1所述的信息处理装置，
其中，所述待合成频带是预定频率或更高频率的超高频可听范围。
5.根据权利要求4所述的信息处理装置，
其中，所述文件生成单元将多个所述合成频带中的波形数据合成至所述待合成频带。
6.根据权利要求1所述的信息处理装置，还包括：
通信单元，其被配置成发送所述文件。
7.根据权利要求1所述的信息处理装置，还包括：
收集单元，其被配置成收集所述振动波形数据。
8.一种信息处理装置，包括：
文件分析单元，其被配置成从包括语音波形数据和振动波形数据的文件中获取所述语音波形数据和所述振动波形数据，
其中，所述文件分析单元基于待合成频带来分离通过解码所述文件获得的语音数据，以获取所述语音波形数据和所述振动波形数据，
其中，所述文件分析单元提取在通过解码所述文件获得的两条语音数据中的一条语音数据中的待合成频带，以获取所述振动波形数据，以及
将从所述两条语音数据中的另一条语音数据复制的待合成频带的波形数据合成至所述一条语音数据的所述待合成频带，以获取所述语音波形数据。
9.根据权利要求8所述的信息处理装置，
其中，所述文件分析单元基于附于所述文件的头信息来指定所述待合成频带。
10.根据权利要求9所述的信息处理装置，
其中，所述文件分析单元还基于设备信息来指定所述待合成频带。
11.根据权利要求8所述的信息处理装置，还包括：
通信单元，其被配置成接收所述文件。
12.根据权利要求8所述的信息处理装置，还包括：
输出单元，其被配置成进行基于所述振动波形数据和所述语音波形数据的输出。
13.一种信息处理方法，包括：
由处理器生成包括语音波形数据和振动波形数据的文件，
其中，生成所述文件还包括
从第一语音数据切除待合成频带中的波形数据，
将从振动数据的合成频带中提取的波形数据合成至所述待合成频带以生成第二语音数据，以及
对所述第二语音数据进行编码以生成所述文件，
其中，生成所述文件还包括：
通过将从两条第一语音数据切除的所述待合成频带中的波形数据相加并且将经相加的波形数据合成至所述两条第一语音数据中的一条第一语音数据中的所述待合成频带来生成第三语音数据，
将从所述振动数据提取的所述合成频带中的波形数据合成至所述两条第一语音数据中的另一条第一语音数据中的所述待合成频带以生成所述第二语音数据，以及
对所述第二语音数据和所述第三语音数据进行编码以生成所述文件。
14.一种信息处理方法，包括：
由处理器从包括语音波形数据和振动波形数据的文件中获取所述语音波形数据和所述振动波形数据，
其中，所述获取还包括基于待合成频带来分离通过解码所述文件获得的语音数据，以获取所述语音波形数据和所述振动波形数据，
其中，所述获取还包括：
提取在通过解码所述文件获得的两条语音数据中的一条语音数据中的待合成频带，以获取所述振动波形数据，以及
将从所述两条语音数据中的另一条语音数据复制的待合成频带的波形数据合成至所述一条语音数据的所述待合成频带，以获取所述语音波形数据。
15.一种计算机可读介质，其上存储有使计算机用作信息处理装置的程序，所述信息处理装置包括：
文件生成单元，其被配置成生成包括语音波形数据和振动波形数据的文件，
其中，所述文件生成单元从第一语音数据切除待合成频带中的波形数据，将从振动数据的合成频带提取的波形数据合成至所述待合成频带以生成第二语音数据，以及对所述第二语音数据进行编码以生成所述文件，
其中，所述文件生成单元通过将从两条第一语音数据切除的所述待合成频带中的波形数据相加并且将经相加的波形数据合成至所述两条第一语音数据中的一条第一语音数据中的所述待合成频带来生成第三语音数据，
将从所述振动数据提取的所述合成频带中的波形数据合成至所述两条第一语音数据中的另一条第一语音数据中的所述待合成频带以生成所述第二语音数据，以及
对所述第二语音数据和所述第三语音数据进行编码以生成所述文件。
16.一种计算机可读介质，其上存储有使计算机用作信息处理装置的程序，所述信息处理装置包括：
文件分析单元，其被配置成从包括语音波形数据和振动波形数据的文件中获取所述语音波形数据和所述振动波形数据，
其中，所述文件分析单元基于待合成频带来分离通过解码所述文件获得的语音数据，以获取所述语音波形数据和所述振动波形数据，
其中，所述文件分析单元提取在通过解码所述文件获得的两条语音数据中的一条语音数据中的待合成频带，以获取所述振动波形数据，以及
将从所述两条语音数据中的另一条语音数据复制的待合成频带的波形数据合成至所述一条语音数据的所述待合成频带，以获取所述语音波形数据。
CN201780073952.8A 2016-12-05 2017-10-23 信息处理装置、信息处理方法以及程序 Active CN110024028B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-235574 2016-12-05
JP2016235574A JP2018092012A (ja) 2016-12-05 2016-12-05 情報処理装置、情報処理方法、およびプログラム
PCT/JP2017/038118 WO2018105254A1 (ja) 2016-12-05 2017-10-23 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN110024028A CN110024028A (zh) 2019-07-16
CN110024028B true CN110024028B (zh) 2023-12-08

Family

ID=62491853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780073952.8A Active CN110024028B (zh) 2016-12-05 2017-10-23 信息处理装置、信息处理方法以及程序

Country Status (5)

Country Link
US (1) US11138984B2 (zh)
EP (1) EP3550560B1 (zh)
JP (1) JP2018092012A (zh)
CN (1) CN110024028B (zh)
WO (1) WO2018105254A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104049889A (zh) * 2013-03-15 2014-09-17 英默森公司 用于编码和解码多媒体文件中的触觉信息的方法和设备
CN104063056A (zh) * 2006-04-06 2014-09-24 伊梅森公司 用于增强的触觉效果的系统和方法
CN106662915A (zh) * 2014-05-09 2017-05-10 索尼互动娱乐股份有限公司 使用伪白噪声将控制信号嵌入音频信号中的方案

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5510828A (en) * 1994-03-01 1996-04-23 Lutterbach; R. Steven Interactive video display system
US5521631A (en) * 1994-05-25 1996-05-28 Spectravision, Inc. Interactive digital video services system with store and forward capabilities
US20030011627A1 (en) * 1999-11-08 2003-01-16 Thomas Yager Method and system for providing a multimedia presentation
US5825771A (en) * 1994-11-10 1998-10-20 Vocaltec Ltd. Audio transceiver
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6415251B1 (en) * 1997-07-11 2002-07-02 Sony Corporation Subband coder or decoder band-limiting the overlap region between a processed subband and an adjacent non-processed one
US6154531A (en) * 1998-11-13 2000-11-28 Intel Corporation Telephone caller identification system
US6208276B1 (en) * 1998-12-30 2001-03-27 At&T Corporation Method and apparatus for sample rate pre- and post-processing to achieve maximal coding gain for transform-based audio encoding and decoding
US7099848B1 (en) * 1999-02-16 2006-08-29 Listen.Com, Inc. Audio delivery and rendering method and apparatus
US7194753B1 (en) * 1999-04-15 2007-03-20 Microsoft Corporation System and method for efficiently tuning to channels of a variety of different broadcast types
US20030054842A1 (en) * 2001-09-19 2003-03-20 Riedl Wilhelm Ernst Methods and apparatus for simultaneously communicating voice and data in an analog cordless telephone system
US7221663B2 (en) * 2001-12-31 2007-05-22 Polycom, Inc. Method and apparatus for wideband conferencing
JP3614784B2 (ja) * 2001-02-01 2005-01-26 松下電器産業株式会社 情報埋め込み装置、情報埋め込み方法、情報取り出し装置、および情報取り出し方法
GB2378370B (en) * 2001-07-31 2005-01-26 Hewlett Packard Co Method of watermarking data
US20040243817A1 (en) * 2001-10-16 2004-12-02 Hiroshi Hasegawa File creation apparatus and data output apparatus
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
JP4193100B2 (ja) * 2002-08-30 2008-12-10 ソニー株式会社 情報処理方法および情報処理装置、記録媒体、並びにプログラム
US7522967B2 (en) * 2003-07-01 2009-04-21 Hewlett-Packard Development Company, L.P. Audio summary based audio processing
ATE447285T1 (de) * 2004-02-03 2009-11-15 Sandisk Secure Content Solutio Schutz von digitalem dateninhalt
BRPI0706488A2 (pt) * 2006-02-23 2011-03-29 Lg Electronics Inc método e aparelho para processar sinal de áudio
US7538663B2 (en) * 2007-01-26 2009-05-26 Csi Technology, Inc. Enhancement of periodic data collection by addition of audio data
JP5130809B2 (ja) * 2007-07-13 2013-01-30 ヤマハ株式会社 楽曲を制作するための装置およびプログラム
US8005233B2 (en) * 2007-12-10 2011-08-23 Dts, Inc. Bass enhancement for audio
JP5081113B2 (ja) * 2008-09-17 2012-11-21 キヤノン株式会社 画像符号化装置及び画像復号装置、並びにそれらの制御方法
KR101600352B1 (ko) * 2008-10-30 2016-03-07 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 장치 및 방법
JP5227769B2 (ja) 2008-12-05 2013-07-03 ソニーモバイルコミュニケーションズ， エービー 携帯端末およびコンピュータプログラム
US9563278B2 (en) * 2011-12-19 2017-02-07 Qualcomm Incorporated Gesture controlled audio user interface
JP2013135310A (ja) * 2011-12-26 2013-07-08 Sony Corp 情報処理装置、情報処理方法、プログラム、記録媒体、及び、情報処理システム
CN102867153B (zh) * 2012-08-30 2014-04-09 腾讯科技（深圳）有限公司 一种加密、解密视频文件的方法、装置及移动终端
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
JP2015185137A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9928728B2 (en) 2014-05-09 2018-03-27 Sony Interactive Entertainment Inc. Scheme for embedding a control signal in an audio signal using pseudo white noise
US20150325115A1 (en) 2014-05-09 2015-11-12 Sony Computer Entertainment Inc. Scheme for embedding a control signal in an audio signal
JP2015231098A (ja) * 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
JP6527339B2 (ja) * 2015-01-27 2019-06-05 任天堂株式会社 振動信号生成プログラム、振動生成装置、振動生成システム、および振動信号生成方法
US10257567B2 (en) * 2015-04-30 2019-04-09 Verance Corporation Watermark based content recognition improvements

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063056A (zh) * 2006-04-06 2014-09-24 伊梅森公司 用于增强的触觉效果的系统和方法
CN104049889A (zh) * 2013-03-15 2014-09-17 英默森公司 用于编码和解码多媒体文件中的触觉信息的方法和设备
CN106662915A (zh) * 2014-05-09 2017-05-10 索尼互动娱乐股份有限公司 使用伪白噪声将控制信号嵌入音频信号中的方案

Also Published As

Publication number Publication date
US20190287544A1 (en) 2019-09-19
US11138984B2 (en) 2021-10-05
EP3550560A4 (en) 2019-12-18
WO2018105254A1 (ja) 2018-06-14
JP2018092012A (ja) 2018-06-14
EP3550560A1 (en) 2019-10-09
EP3550560B1 (en) 2023-10-04
CN110024028A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
US10334381B2 (en) Binaural audio systems and methods
EP2940940A1 (en) Methods for sending and receiving video short message, apparatus and handheld electronic device thereof
US10019222B2 (en) Method for obtaining music data, earphone and music player
CN113890932A (zh) 一种音频控制方法、系统及电子设备
JP7067484B2 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11482086B2 (en) Drive control device, drive control method, and program
WO2020182020A1 (zh) 一种音频信号播放方法及显示设备
US10798516B2 (en) Information processing apparatus and method
CN107277691B (zh) 基于云的多声道音频播放方法、系统及音频网关装置
JP2004304601A (ja) Ｔｖ電話装置、ｔｖ電話装置のデータ送受信方法
CN103973955A (zh) 一种信息处理方法及电子设备
JP2022050516A (ja) 端末、音声連携再生システム及びコンテンツ表示装置
CN114697742A (zh) 一种视频录制方法及电子设备
CN103729121B (zh) 图像显示设备及其操作方法
JP2016005268A (ja) 情報伝送システム、情報伝送方法、及びプログラム
JP4352409B2 (ja) マルチメディア符号化データ分離伝送装置
US20230122545A1 (en) Bit stream generation method, encoding device, and decoding device
TWI426789B (zh) 電子裝置及提供臨場感之方法
CN108141693B (zh) 信号处理设备、信号处理方法和计算机可读存储介质
CN110024028B (zh) 信息处理装置、信息处理方法以及程序
CN111190568A (zh) 一种音量调节方法及装置
US20200111475A1 (en) Information processing apparatus and information processing method
KR20150056120A (ko) 오디오 출력 제어 방법 및 이를 지원하는 장치
CN114501401A (zh) 音频的传输方法及装置、电子设备、可读存储介质
JP6398694B2 (ja) 無線ｌａｎ機能を備えた携帯機器及び記録システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant