JP2018092012A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2018092012A
JP2018092012A JP2016235574A JP2016235574A JP2018092012A JP 2018092012 A JP2018092012 A JP 2018092012A JP 2016235574 A JP2016235574 A JP 2016235574A JP 2016235574 A JP2016235574 A JP 2016235574A JP 2018092012 A JP2018092012 A JP 2018092012A
Authority
JP
Japan
Prior art keywords
file
waveform data
data
vibration
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016235574A
Other languages
English (en)
Inventor
猛史 荻田
Takeshi Ogita
猛史 荻田
亜由美 中川
Ayumi Nakagawa
亜由美 中川
山野 郁男
Ikuo Yamano
郁男 山野
佑輔 中川
Yusuke Nakagawa
佑輔 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016235574A priority Critical patent/JP2018092012A/ja
Priority to EP17879382.4A priority patent/EP3550560B1/en
Priority to CN201780073952.8A priority patent/CN110024028B/zh
Priority to US16/342,125 priority patent/US11138984B2/en
Priority to PCT/JP2017/038118 priority patent/WO2018105254A1/ja
Publication of JP2018092012A publication Critical patent/JP2018092012A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16Transforming into a non-visible representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/18Details of the transformation process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal

Abstract

【課題】データ通信量を抑えながら、統一化された振動情報の通信を実現する。【解決手段】音声波形データと振動波形データとを含むファイルを生成するファイル生成部、を備え、前記ファイル生成部は、第1の音声データから被合成帯域における波形データを切除し、振動データの合成帯域から抽出した波形データを前記被合成帯域に合成した第2の音声データを生成し、前記第2の音声データをエンコードし前記ファイルを生成する、情報処理装置が提供される。【選択図】図3

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、振動を発生させる種々の装置が開発されている。また、上記のような装置を内蔵し、情報伝達手段の一つとして振動を用いるデバイスが普及している。例えば、特許文献1には、振動により端末の内部情報をユーザに提示する技術が開示されている。
特開2010−136151号公報
ところで、上記のような振動を用いるデバイスでは、特許文献1に記載のようにデバイス内で完結する処理の外、他の装置と振動情報に係る通信を行うことも想定される。しかし、振動情報に係る通信は未だ規格化されておらず、また、音声情報や動画情報と共に振動情報が送受信される場合にあっては、データ通信量の増大も想定される。
そこで、本開示では、データ通信量を抑えながら、統一化された振動情報の通信を実現することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムが提案される。
本開示によれば、音声波形データと振動波形データとを含むファイルを生成するファイル生成部、を備え、前記ファイル生成部は、第1の音声データから被合成帯域における波形データを切除し、振動データの合成帯域から抽出した波形データを前記被合成帯域に合成した第2の音声データを生成し、前記第2の音声データをエンコードし前記ファイルを生成する、情報処理装置が提供される。
また、本開示によれば、プロセッサが、音声波形データと振動波形データとを含むファイルを生成すること、を含み、前記ファイルを生成することは、第1の音声データから被合成帯域における波形データを切除することと、振動データの合成帯域から抽出した波形データを前記被合成帯域に合成した第2の音声データを生成することと、前記第2の音声データをエンコードし前記ファイルを生成することと、をさらに含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、音声波形データと振動波形データとを含むファイルを生成するファイル生成部、を備え、前記ファイル生成部は、第1の音声データから被合成帯域における波形データを切除し、振動データの合成帯域から抽出した波形データを前記被合成帯域に合成した第2の音声データを生成し、前記第2の音声データをエンコードし前記ファイルを生成する、情報処理装置、として機能させるためのプログラムが提供される。
また、本開示によれば、音声波形データと振動波形データとを含むファイルから前記音声波形データと前記振動波形データとを取得するファイル解析部、を備え、前記ファイル解析部は、前記ファイルをデコードして得た音声データを被合成帯域に基づいて分離し、前記音声波形データと前記振動波形データとを取得する、情報処理装置が提供される。
また、本開示によれば、プロセッサが、音声波形データと振動波形データとを含むファイルから前記音声波形データと前記振動波形データとを取得すること、を含み、前記取得することは、前記ファイルをデコードして得た音声データを被合成帯域に基づいて分離し、前記音声波形データと前記振動波形データとを取得すること、をさらに含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、音声波形データと振動波形データとを含むファイルから前記音声波形データと前記振動波形データとを取得するファイル解析部、を備え、前記ファイル解析部は、前記ファイルをデコードして得た音声データを被合成帯域に基づいて分離し、前記音声波形データと前記振動波形データとを取得する、情報処理装置、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、データ通信量を抑えながら、統一化された振動情報の通信を実現することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
振動情報と音声・動画情報との同期について説明するための図である。 振動情報と音声・動画情報との同期について説明するための図である。 本開示の一実施形態に係るシステム構成例を示す図である。 同実施形態に係るモノラル音声ファイルの生成について説明するための図である。 同実施形態に係るモノラル音声ファイルの解析についてするための図である。 同実施形態に係るステレオ音声ファイルの生成について説明するための図である。 同実施形態に係るステレオ音声ファイルの解析について説明するための図である。 同実施形態に係るステレオ音声マルチ振動ファイルの生成について説明するための図である。 同実施形態に係るステレオ音声ファイルの解析について説明するための図である。 同実施形態に係る被合成帯域および合成帯域が所定周波数以下の任意の帯域である場合について説明するための図である。 同実施形態に係る被合成帯域が所定周波数以上の超高音帯域である場合について説明するための図である。 同実施形態に係る複数の振動波形データを含むファイルと当該ファイルからの振動波形データの抽出について説明するための図である。 同実施形態に係る収集情報に基づき生成したファイルを送信するファイル生成装置の動作を示すフローチャートである。 同実施形態に係る振動波形データを含むコンテンツを配信するファイル生成装置の動作を示すフローチャートである。 同実施形態に係る再生装置の動作を示すフローチャートである。 本開示に係るハードウェア構成例である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.実施形態
1.1.実施形態の概要
1.2.システム構成例
1.3.ファイル生成装置10の機能構成例
1.4.再生装置20の機能構成例
1.5.ファイル生成およびファイル解析の詳細
1.6.被合成帯域の変形例
1.7.ファイル生成装置10および再生装置20の動作
2.ハードウェア構成例
3.まとめ
<1.実施形態>
<<1.1.実施形態の概要>>
まず、本開示の一実施形態の概要について説明する。上述したとおり、近年では、振動を発生させる種々の装置が存在し、また、モバイル端末向けの振動デバイスも多く開発されている。さらには、近年では、様々な振動パターンを再現することが可能なLRA(Linear Resonant Actuator:リニア・バイブレータ)やピエゾ(電圧)素子なども広く普及しており、今後は振動情報の通信が盛んに行われることが想定される。
一方、振動情報の通信には、音声情報や画像情報の通信とは異なり、未だに規格が存在しない。このため、振動情報を手軽に送受信することが可能なフォーマットが求められている。しかし、新規に振動フォーマットを生成する場合には、振動情報と同時に送受信される音声情報や動画情報との同期が重要となる。
図1Aおよび図1Bは、振動情報と音声・動画情報との同期について説明するための図である。図1Aには、ゴルフショットを撮像した動画像と、当該動画像に付随して出力される音声情報SO1および振動情報VO1とが示されている。ここで、図1Aに示す例では、動画像と音声情報SO1および振動情報VO1との出力タイミングが同期されており、ユーザは違和感なく動画像を視聴することができる。
一方、図1Bに示す例は、動画像と音声情報SO1との出力タイミングは同期しているものの、振動情報VO1の同期がとれていない場合を示している。図1Bを参照すると、ゴルフショットの動作が終了し、動作者が映像中から去ったのちに振動情報VO1が出力されている。このような出力ずれはユーザに違和感を与える可能性が高いことから、出力ずれを防止する策が求められる。
ここで、上記のような出力ずれを防止する手法としては、例えば、タイムスタンプと用いて、動画像、音声、振動を同期することも想定される。しかし、タイムスタンプを用いる同期では、新たに独自の振動ファイルフォーマット規格を設定する必要があり、またタイムスタンプの生成など負担が大きい。さらには、通信の際に、動画像情報および音声情報に加えて振動情報を送受信する必要があるため、データ通信量の増大も懸念される。
本実施形態に係る情報処理装置、情報処理方法、およびプログラムは、上記の点に着目して発想されたものであり、汎用的に用いられるファイルフォーマットに振動情報を埋め込むことで、データ通信量を抑えながら、同期のとれた振動をユーザに提示することを可能とする。このために、本実施形態に係る技術思想は、音声データから被合成帯域における波形データを切除し、当該被合成帯域に振動データの合成帯域から抽出した波形データを合成すること、を特徴の一つとする。以下、本実施形態に係る情報処理装置、情報処理方法、およびプログラムが有する機能と、当該機能が奏する効果について詳細に説明する。
<<1.2.システム構成例>>
次に、本実施形態に係るシステム構成例について説明する。図2は、本実形態に係るシステム構成例を示す図である。図2を参照すると、本実施形態に係る情報処理システムは、ファイル生成装置10および再生装置20を備える。また、ファイル生成装置10と再生装置20とは、互いに通信が行えるようにネットワーク30を介して接続される。
(ファイル生成装置10)
本実施形態に係るファイル生成装置10は、音声波形データと振動波形データとを含むファイルを生成する情報処理装置である。上述したように、本実施形態に係るファイル生成装置10は、汎用的に用いられる音声ファイルフォーマットや動画像ファイルフォーマットに、振動波形データを埋め込むことで、上記のファイルを生成することを特徴の一つとする。
本実施形態に係るファイル生成装置10は、収集した動画像情報や音声情報、および振動情報に基づいて上記のファイルを生成し、再生装置20に送信する機能を有してもよい。この場合、本実施形態に係るファイル生成装置10は、例えば、スマートフォンやタブレット、携帯電話、PC(Personal Computer)、ウェアラブル装置などであり得る。ファイル生成装置10は、撮像した動画像と当該動画像とともに収集した振動情報とをエンコードしてファイルを生成し、当該ファイルを再生装置20に送信することができる。
また、本実施形態に係るファイル生成装置10は、音声情報と振動情報とを含むコンテンツを生成、保存、配信するコンテンツサーバであってもよい。この場合、ファイル生成装置10は、収集された動画情報や音声情報、振動情報に基づいて上記のファイルを生成し、再生装置20からの要求に基づいて上記のファイルを配信することができる。また、本実施形態に係るファイル生成装置10は、既存の音声ファイルや動画像ファイルに振動波形データを埋め込むことで、上記のファイルを生成してもよい。
(再生装置20)
本実施形態に係る再生装置20は、ファイル生成装置10から受信したファイルをデコードして得た音声波形データと振動波形データとに基づいて、音声および振動を出力する情報処理装置である。また、本実施形態に係る再生装置20は、音声および振動とともに動画を再生してもよい。本実施形態に係る再生装置20は、例えば、スマートフォン、タブレット、携帯電話、PC、またウェアラブル装置などであり得る。
(ネットワーク30)
ネットワーク30は、ファイル生成装置10と再生装置20とを接続する機能を有する。ネットワーク30は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク30は、IP−VPN(Internt Protocol−Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク30は、Wi−Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。
<<1.3.ファイル生成装置10の機能構成例>>
次に、本実施形態に係るファイル生成装置10の機能構成例について説明する。図2を参照すると、本実施形態に係るファイル生成装置10は、収集部110、ファイル生成部120、および通信部130を備える。
(収集部110)
収集部110は、音声情報、動画像情報、および振動情報などを収集する機能を有する。このために、本実施形態に係る収集部110は、マイクロフォンや撮像装置、振動センサなどを含んで構成される。
(ファイル生成部120)
ファイル生成部120は、音声波形データと振動波形データとを含むファイルを生成する機能を有する。この際、本実施形態に係るファイル生成部120は、まず、第1の音声データから被合成帯域における波形データを切除する。ここで、上記の第1の音声データとは、収集部110により収集された音声データであってもよいし、既存のファイルをデコードして得られる音声データであってもよい。次に、ファイル生成部120は、振動データの合成帯域から抽出した波形データを上記の被合成帯域に合成し、第2の音声データを生成する。続いて、ファイル生成部120は、生成した第2の音声データをエンコードし、音声波形データと振動波形データとを含むファイルを生成することができる。
この際、本実施形態に係るファイル生成部120は、例えば、広く活用されるMP3(MPEG−1 Audio Layer−3)フォーマットや、MP4フォーマットなどの形式で上記のファイルを生成してよい。すなわち、本実施形態に係るファイル生成部120は、既存のファイルフォーマットの音声データの所定帯域に振動波形データを埋め込むことができる。
本実施形態に係るファイル生成部120が有する上記の機能によれば、独自フォーマットを用意することなく、音声や動画像との同期のとれた振動情報を容易に送受信することが可能となる。また、既存のファイルフォーマットを用いることで、データ通信量を抑えることが可能となる。なお、本実施形態に係るファイル生成部120が有する機能の詳細については、別途説明する。
(通信部130)
通信部130は、再生装置20との情報通信を行う機能を有する。具体的には、本実施形態に係る通信部130は、ファイル生成部120が生成したファイルを再生装置20に送信する。また、本実施形態に係るファイル生成装置10がコンテンツサーバなどである場合、通信部130は、再生装置20からファイルのダウンロード要求などを受信する。
以上、本実施形態に係るファイル生成装置10の機能構成例について説明した。なお、図2を用いて説明した上記の構成はあくまで一例であり、本実施形態に係るファイル生成装置10の機能構成は係る例に限定されない。ファイル生成装置10は、上記に挙げた以外の構成をさらに備えてもよい。例えば、ファイル生成装置10は、ユーザによる入力操作を受け付ける入力部や、視覚情報や聴覚情報を出力する出力部をさらに備えてもよい。本実施形態に係るファイル生成装置10の機能構成は、柔軟に変形され得る。
<<1.4.再生装置20の機能構成例>>
次に、本実施形態に係る再生装置20の機能構成例について説明する。図2を参照すると、本実施形態に係る再生装置20は、出力部210、ファイル解析部220、および通信部230を備える。
(出力部210)
出力部210は、音声や動画像、振動などを出力する機能を有する。本実施形態に係る出力部210は、特に、後述するファイル解析部220が取得した音声波形データや振動波形データに基づく出力を行ってよい。このために、本実施形態に係る出力部210は、視覚情報、聴覚情報、触覚情報を出力する各種の装置を含んで構成される。
出力部210は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置、タッチパネルなどを含んで構成される。
また、出力部210は、例えば、音声出力アンプやスピーカーなどを含んで構成される。なお、本実施形態に係る出力部210は、ステレオ再生に対応した複数のスピーカーを備えてもよい。
また、出力部210は、例えば、LRA、ピエゾ素子、偏心モーターなどの振動デバイスや当該振動デバイスを駆動するIC(Integrated Circuit)を含んで構成される。なお、本実施形態に係る出力部210は、上記の複数のスピーカーに対応する複数の振動デバイスを備えてもよい。
(ファイル解析部220)
ファイル解析部220は、ファイル生成装置10が生成したファイルから音声波形データと振動波形データとを取得する機能を有する。この際、本実施形態に係るファイル解析部220は、ファイルをデコードして得た音声データを被合成帯域に基づいて分離し、音声波形データと振動波形データを取得することを特徴の一つとする。なお、本実施形態に係るファイル解析部220が有する機能の詳細については、別途説明する。
(通信部230)
通信部230は、ファイル生成装置10との情報通信を行う機能を有する。具体的には、本実施形態に係る通信部230は、ファイル生成装置10から音声波形データと振動波形データとを含むファイルを受信する。また、ファイル生成装置10がコンテンツサーバなどである場合、通信部230は、コンテンツのダウンロード要求をファイル生成装置10に送信してもよい。
以上、本実施形態に係る再生装置20の機能構成例について説明した。なお、図2を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る再生装置20の機能構成は係る例に限定されない。再生装置20は、上記に挙げた以外の構成をさらに備えてもよい。例えば、再生装置20は、ユーザによる入力操作を受け付ける入力部などをさらに備えてもよい。本実施形態に係る再生装置20の機能構成は、柔軟に変形され得る。
<<1.5.ファイル生成およびファイル解析の詳細>>
次に、本実施形態に係るファイル生成およびファイル解析の詳細について説明する。上述したとおり、本実施形態に係るファイル生成装置10は、第1の音声データから被合成帯域における波形データを削除し、振動波形データの合成帯域から抽出した波形データを上記の被合成帯域に合成した第2の音声データを生成することができる。
(モノラル音声ファイルの生成および解析)
まず、本実施形態に係るモノラル音声ファイルの生成および解析について説明する。本実施形態に係るファイル生成装置10は、モノラル音声に対応したファイルを生成し、本実施形態に係る再生装置20は、上記のファイルを解析することでモノラルの音声データと振動データとを取得することができる。
図3は、本実施形態に係るモノラル音声ファイルの生成について説明するための図である。まず、ファイル生成装置10のファイル生成部120は、図3に示すように、第1の音声データSD0から被合成帯域における波形データを切除し音声波形データSb1を取得する。また、ファイル生成部120は、振動データVD0から合成帯域における振動波形データVb1を抽出する。なお、上記の第1の音声データSD0は、収集部110により収集された音声データであってもよいし、既存のファイルをデコードすることで取得される音声データであってもよい。
ここで、本実施形態に係る被合成帯域および合成帯域は、0Hz〜所定周波数以下の低音帯域であってもよい。例えば、ファイル生成部120は、図3に示すように、第1の音声データSD0から0Hz〜200Hzの帯域を切除し、波形データVD0から0Hz〜200Hzの振動波形データVb1を抽出してもよい。すなわち、本実施形態に係るファイル生成部120は、第1の音声データSD0から一般的に知覚しづらい低音帯域の音声波形データを切除し、振動データVD0からは、より振動として知覚が容易い帯域の振動波形データを抽出することができる。
次に、本実施形態に係るファイル生成部120は、被合成帯域を切除した第1の音声データに振動データから抽出した合成帯域を合成して第2の音声データSD1を生成する。すなわち、ファイル生成部120は、第1の音声データSD0から抽出した200Hz以上の帯域における波形データSb1と、振動データVD0から抽出した0Hz〜200Hzの合成帯域とを合成し、第2の音声データSD1を生成する。
また、ファイル生成部120は、生成した第2の音声データSD1をエンコードしてファイルFM1を生成する。この際、本実施形態に係るファイル生成部120は、MP3やMP4などの汎用的なフォーマットを用いてファイルFM1を生成することができる。
次に、再生装置20によるモノラル音声ファイルの解析について説明する。図4は、本実施形態に係る再生装置20によるモノラル音声ファイルの解析について説明するための図である。図4に示すように、まず、再生装置20の通信部230は、ファイル生成装置10により生成されたファイルFM1を受信する。この際、通信部230は、ファイル生成装置10から例えばユーザ操作などにより能動的に送信されるファイルFM1を受信してもよいし、ファイル生成装置10にダウンロード要求を行うことでファイルFM1を受信してもよい。
次に、本実施形態に係るファイル解析部220は、受信したファイルFM1をデコードし、音声データSD1を取得する。さらに、ファイル解析部220は、音声データSD1を被合成帯域に基づいて分離し、再生用音声データSD2と再生用振動データVD2とを取得する。すなわち、本実施形態に係るファイル解析部220は、ファイルFM1から抽出した音声データSD1を0Hz〜200Hzの帯域と200Hz以上の帯域に分離することで、再生用音声データSD2と再生用振動データVD2とを取得することができる。
この際、図4に示すように、再生用音声データSD2には、200Hz以上の音声波形データSb1が含まれ、再生用振動データVD2には、0Hz〜200Hzの振動波形データVb1が含まれる。ファイル解析部220が取得した再生用音声データSD2および再生用振動データVD2は、出力部210に引き渡され、それぞれ聴覚情報および触覚情報として出力される。
(ステレオ音声ファイルの生成および解析)
次に、本実施形態に係るステレオ音声ファイルの生成および解析について説明する。本実施形態に係るファイル生成装置10は、ステレオ音声に対応したファイルを生成し、本実施形態に係る再生装置20は、上記のファイルを解析することで、ステレオの音声データと振動データとを取得することができる。
この際、本実施形態に係るファイル生成部120は、2つの第1の音声データから切除した被合成帯域における波形データを加算し、加算後の波形データを、一方の第1の音声データにおける被合成帯域に合成した第3の音声データを生成してよい。また、ファイル生成部120は、振動データから抽出した合成帯域における波形データを他方の第1の音声データにおける被合成帯域に合成した第2の音声データを生成してよい。ファイル生成部120は、上記の第2の音声データと第3の音声データとをエンコードし、ステレオ音声ファイルを生成することができる。
図5は、本実施形態に係るステレオ音声ファイルの生成について説明するための図である。まず、ファイル生成部120は、2つの第1の音声データSDL0およびSDR0を被合成帯域に基づいて分離する。ここで、第1の音声データSDL0およびSDR0は、それぞれ左右のスピーカーに対応する音声データであってよい。
また、ファイル生成部120は、振動データVD0から合成帯域における振動波形データVb1を抽出する。ここで、上記の被合成帯域および合成帯域は、それぞれ0Hz〜200Hzの帯域であってよい。
次に、ファイル生成部120は、第1の音声データSDL0およびSDR0から抽出した被合成帯域における音声波形データSbL2とSbR2とを加算し、加算後の音声波形データSbM1を得る。この際、ファイル生成部120は、加算後の音声波形データSbM1と、第1の音声データSDR0から抽出した200Hz以上の帯域における音声波形データSbR1とを合成し、第3の音声波形データSDR1を生成する。
一方、ファイル生成部120は、第1の音声データSDL0から抽出した200Hz以上の音声波形データSbL1と、振動データVD0から抽出した0Hz〜200Hzの帯域における振動波形データVb1とを合成し、第2の音声波形データSDL1を合成する。
すなわち、本実施形態に係るファイル生成部120は、2つの第1の音声データと1つの振動データとに基づいて、2つの音声データを生成することができる。この際、生成される2つの音声データの一方は、波形データから抽出された振動波形データを含み、他方の音声データは、2つの第1の音声データから抽出された低音帯域の加算波形データを含んでよい。本実施形態に係るファイル生成部120が有する上記の機能によれば、低音帯域における音声波形データの情報を加算して一方の音声データに含ませることができ、音質の低下を防ぐことが可能となる。
また、ファイル生成部120は、上記で生成した第3の音声データSDR1と第2の音声データSDL1とをエンコードしてファイルFM1を生成し、生成したファイルFM1を再生装置20に送信する。
次に、再生装置20によるステレオ音声ファイルの解析について説明する。図6は、本実施形態に係る再生装置20によるステレオ音声ファイルの解析について説明するための図である。まず、本実施形態に係るファイル解析部220は、通信部230が受信したファイルFM1をデコードし、音声データSDR1およびSDL1を取得する。
次に、本実施形態に係るファイル解析部220は、取得した2つの音声データSDR1およびSDL1に基づいて、2つの再生用音声データSDR2およびSDR1と1つの再生用振動データVD2とを取得する。この際、ファイル解析部220は、ファイルをデコードして得た2つの音声データのうち一方の音声データにおける被合成帯域を抽出して振動波形データを取得する。また、ファイル解析部220は、他方の音声データから複製した被合成帯域の波形データを、一方の被合成帯域に合成した音声波形データを取得する。
すなわち、本実施形態に係るファイル解析部220は、ファイルFM1をデコードして得た音声データSDL1を被合成帯域に基づいて分離し、振動波形データVb1を含む再生用振動データVD2を取得する。また、ファイル解析部220は、ファイルFM1をデコードして得た音声データSDR1の被合成帯域における加算後の音声波形データSbM1と、音声データSDRL1の200Hz以上の帯域における音声波形データSbL1とを合成し、左再生用音声データSDL2を取得する。また、ファイル解析部220は、ファイルFM1をデコードして得た音声データSDR1を右再生用音声データSDR2として転用する。
本実施形態に係るファイル解析部220が有する上記の機能によれば、ファイルFM1をデコードして抽出した2つの音声データから、音質を確保した左右再生用の音声データと振動データとを取得することが可能となる。
(ステレオ音声マルチ振動ファイルの生成および解析)
次に、本実施形態に係るステレオ音声マルチ振動ファイルの生成および解析について説明する。本実施形態に係るファイル生成装置10は、ステレオ音声およびマルチ振動に対応したファイルを生成し、本実施形態に係る再生装置20は、上記のファイルを解析することで、ステレオの音声データと、当該ステレオの音声データに対応した複数の振動データとを取得することができる。
図7は、本実施形態に係るステレオ音声マルチ振動ファイルの生成について説明するための図である。まず、ファイル生成部120は、2つの第1の音声データSDL0およびSDR0から、それぞれ200Hz以上の帯域における音声波形データSbL1およびSbR1を抽出する。また、ファイル生成部120は、2つの振動波形データVDL0およびVDR0から、それぞれ0Hz〜200Hzの帯域における振動波形データVbL1およびVbR1を抽出する。
続いて、ファイル生成部120は、上記で抽出した音声波形データSbR1と振動波形データVbR1とを合成し、第2の音声データSDR1を生成する。同様に、ファイル生成部120は、音声波形データSbL1と振動波形データVbL1とを合成し、第2の音声データSDL1を生成する。また、ファイル生成部120は、生成した2つの第2の音声データSDL1およびSDR1をエンコードしファイルFM1を生成する。このように、本実施形態に係るファイル生成部120によれば、ステレオ音声およびマルチ振動に対応したファイルを生成することが可能となる。
次に、再生装置20によるステレオ音声マルチ振動ファイルの解析について説明する。本実施形態に係るファイル解析部220は、通信部230が受信したファイルをデコードして得た2つの音声データから、2組の音声波形データと振動波形データとを抽出することができる。
図8は、本実施形態に係る再生装置20によるステレオ音声ファイルの解析について説明するための図である。まず、本実施形態に係るファイル解析部220は、通信部230が受信したファイルFM1をデコードし、音声データSDR1およびSDL1を取得する。
次に、本実施形態に係るファイル解析部220は、取得した2つの音声データSDR1およびSDL1を被合成帯域に基づいて分離する。すなわち、本実施形態に係るファイル解析部220は、音声データSDR1を被合成帯域に基づいて分離することで、200Hz以上の帯域における音声波形データSbR1を含む右再生用音声データSDR2と、0Hz〜200Hzの帯域における振動波形データVbR1を含む右再生用振動データVDR2を取得することができる。同様に、ファイル解析部220は、音声データSDL1を被合成帯域に基づいて分離し、200Hz以上の帯域における音声波形データSbL1を含む左再生用音声データSDL2と、0Hz〜200Hzの帯域における振動波形データVbL1を含む左再生用振動データVDL2を取得する。
本実施形態に係るファイル解析部220が有する上記の機能によれば、ファイルFM1をデコードして抽出した2つ音声データから、左右の振動デバイスに対応した2つの振動データを取得することが可能となる。
<<1.6.被合成帯域の変形例>>
以上、本実実施形態に係るファイル生成装置10および再生装置20の機能について説明した。なお、上記の説明では、本実施形態に係る被合成帯域が0Hz〜200Hzの帯域である場合を例に説明したが、本実施形態に係る被合成帯域は係る例に限定されない。本実施形態に係る被合成帯域は、0Hz〜200Hz以外の帯域であってもよい。
(所定周波数以下の任意の帯域)
例えば、本実施形態に係る被合成帯域および合成帯域は、所定周波数以下の任意の帯域であってもよい。図9は、本実施形態に係る被合成帯域および合成帯域が所定周波数以下の任意の帯域である場合について説明するための図である。
図9に示すように、本実施形態に係る被合成帯域および合成帯域は、例えば、80Hz〜120Hzの帯域であってもよい。この場合、ファイル生成装置10のファイル生成部120は、第1の音声データSD0から0Hz〜80Hzの帯域における音声波形データSb1−1と、120Hz以上の帯域における音声波形データSb1−2とを抽出することができる。また、ファイル生成部120は、振動データVD0から80Hz〜120Hzの帯域における振動波形データVb1を抽出してよい。ファイル生成部120は、抽出した音声波形データSb1−1およびSb1−2と、振動波形データVb1とを合成し、第2の音声データSD1を生成することができる。
本実施形態に係るファイル生成部120が有する上記の機能によれば、振動として知覚が容易な80Hz〜120Hzの帯域における振動波形データを第2の音声データに含めると同時に、切除する音声波形データの量を低減することができ、音質を確保することが可能となる。
(所定周波数以上の超高音帯域)
また、例えば、本実施形態に係る被合成帯域は、所定周波数以上の超高音帯域であってよい。ここで、本実施形態に係る超高音帯域とは、例えば、人間の非可聴域であってもよい。より具体的には、ファイルフォーマットがハイレゾリューションデジタル音声信号に対応する場合などには、本実施形態に係る被合成帯域は、20kHz以上の帯域であってもよい。
図10は、本実施形態に係る被合成帯域が所定周波数以上の超高音帯域である場合について説明するための図である。図10には、被合成帯域が20KHz以上である場合の例が示されている。この場合、本実施形態に係るファイル生成部120は、第1の音声データSD0から20KHz以上の帯域における音声波形データを切除し、0Hz〜20KHzの帯域における音声波形データSb1を取得する。また、ファイル生成部120は、振動データVD0から任意の帯域における振動波形データVb1を取得する。この際、ファイル生成部120は、例えば、200Hz以下の帯域における振動波形データを取得してもよいし、80Hz〜120Hzの帯域における振動波形データを取得してもよい。続いて、ファイル生成部120は、取得した音声波形データSb1と、振動波形データVb1とを合成し、第2の音声データSD1を生成することができる。
本実施形態に係るファイル生成部120が有する上記の機能によれば、振動の知覚に十分な任意帯域おける振動波形データを第2の音声データに含めると同時に、人間の可聴域に対応する音声波形データを完全に保存することができ、高音質のファイルを生成することが可能となる。
なお、図10の一例では、被合成帯域が20kHz以上の帯域である場合を例に説明したが、本実施形態に係る超高音帯域は係る例に限定されない。本実施形態に係る被合成帯域は、例えば、15kHz以上や18kHz以上の帯域であってもよい。人間の非可聴域は個人により差があるが、一般的に、15kHz以上の周波数帯域は、加齢とともに聞こえづらくなることが知られている。このため、本実施形態に係るファイル生成部120は、上記のような帯域に振動波形データを含めることで、より多くのユーザの可聴域に係る音質を確保したファイルを生成することができる。
また、本実施形態に係る被合成帯域が超高音帯域である場合、ファイル生成部120は、振動データから抽出した複数の合成帯域における波形データを被合成帯域に合成することもできる。この際、ファイル生成部120は、例えば、再生装置20の性能や特性に応じた複数の振動波形データを含むファイルを生成してもよい。本実施形態に係る再生装置20は、上記のファイルから自身の性能や特性に対応する振動波形データを抽出し、当該振動波形データに基づく振動の出力を行うことができる。
図11は、本実施形態に係る複数の振動波形データを含むファイルと当該ファイルからの振動波形データの抽出について説明するための図である。まず、本実施形態に係るファイル解析部220は、通信部230が受信したファイルFM1をデコードし、音声データSD1を取得する。
また、この際、ファイル解析部220は、ファイルFM1に付加されるヘッダ情報HI1を取得する。ここで、上記のヘッダ情報HI1は、被合成帯域を特定するための情報を含んでよい。例えば、ヘッダ情報HI1には、性能や機種ごとに対応する被合成帯域の周波数を示す情報が含まれてもよい。
すなわち、本実施形態に係るファイル解析部220は、ファイルFM1に付加されるヘッダ情報HI1や自身の装置情報に基づいて被合成帯域を特定することができる。なお、図11に示す一例の場合、ファイル解析部220はヘッダ情報HI1に基づいて、音声データSD1から、音声波形データSb1を含む再生用音声データSD2と振動波形データVb1を含む再生用振動データVD2とを取得している。
本実施形態に係るファイル生成装置10および再生装置20が有する上記の機能によれば、再生装置20の性能や特性に応じた複数の振動波形データを含むファイルを送受信することが可能となり、また再生装置20の性能や特性に応じた適切な振動を出力することが可能となる。
なお、上記の説明では、送受信されるファイルに複数の振動波形データが含まれる場合を説明したが、本実施形態に係るファイル生成装置10は、送信先の再生装置20の装置情報に基づいて、予め再生装置20の性能や特性に適した振動波形データを含むファイルを生成してもよい。また、本実施形態に係る再生装置20は、ファイルに含まれる共通の振動波形データを抽出したのち、当該振動波形データを性能や特性に応じて加工することも可能である。
<<1.7.ファイル生成装置10および再生装置20の動作>>
次に、本実施形態に係るファイル生成装置10および再生装置20の動作について詳細に説明する。
(収集情報に基づき生成したファイルを送信するファイル生成装置10の動作)
まず、収集情報に基づき生成したファイルを送信するファイル生成装置10の動作について説明する。上述したとおり、本実施形態に係るファイル生成装置10は、収集部110が収集した音声情報や振動情報に基づきファイルを生成し、当該ファイルを再生装置20に送信してもよい。この場合、本実施形態に係るファイル生成装置10は、例えば、スマートフォンやタブレット、携帯電話、PC、ウェアラブル装置などであり得る。図12は、収集情報に基づき生成したファイルを送信するファイル生成装置10の動作を示すフローチャートである。
図12を参照すると、まず、ファイル生成装置10の収集部110は、音声データおよび振動データを収集する(S1101)。また、この際、収集部110は、動画像データを同時に収集してもよい。
次に、本実施形態に係るファイル生成部120は、音声波形データと振動波形データとを含む第2の音声データを生成する(S1102)。
次に、本実施形態に係るファイル生成部120は、ステップS1102において生成した第2の音声データをエンコードし、音声波形データと振動波形データとを含むファイルを生成する(S1103)。
次に、本実施形態に係る通信部130は、ステップS1103において生成されたファイルを再生装置20に送信する(S1104)。
(振動波形データを含むコンテンツを配信するファイル生成装置10の動作)
次に、振動波形データを含むコンテンツを配信するファイル生成装置10の動作について説明する。上述したとおり、本実施形態に係るファイル生成装置10は、既存のファイルから抽出した音声データに振動波形データを埋め込んで新たなファイルを生成し、当該ファイルをコンテンツとして配信するコンテンツサーバであってもよい。図13は、振動波形データを含むコンテンツを配信するファイル生成装置10の動作を示すフローチャートである。
図13を参照すると、まず、本実施形態に係るファイル生成部120は、音声ファイルおよび振動ファイルから、それぞれ音声波形データおよび振動波形データを抽出する(S1201)。
次に、本実施形態に係るファイル生成部120は、音声波形データと振動波形データとを含む第2の音声データを生成する(S1202)。
次に、本実施形態に係るファイル生成部120は、ステップS1202において生成した第2の音声データをエンコードし、音声波形データと振動波形データとを含むファイルを生成する(S1203)。
続いて、本実施形態に係るファイル生成部120は、ステップS1203において生成したファイルをコンテンツとして登録する(S1204)。
次に、本実施形態に係る通信部230は、再生装置20からのダウンロード要求に基づいて、ステップS1204において登録したコンテンツを再生装置20に送信する(S1205)。
(再生装置20の動作)
次に、本実施形態に係る再生装置20の動作について説明する。図14は、本実施形態に係る再生装置20の動作を示すフローチャートである。
図14を参照すると、まず、再生装置20の通信部230は、ファイル生成装置10から送信されるファイルを受信する(S1301)。
次に、本実施形態に係るファイル解析部220は、ステップS1301において受信されたファイルからヘッダ情報を取得する(S1302)。
続いて、本実施形態に係るファイル解析部220は、ステップS1302において取得したヘッダ情報と装置情報とに基づいて被合成帯域を特定し、音声データと振動データとを取得する(S1303)。
次に、本実施形態に係る出力部210は、ステップS1303で取得した音声データと振動データとに基づいて、音声および振動を出力する(S1304)。
<2.ハードウェア構成例>
次に、本開示に係るファイル生成装置10および再生装置20に共通するハードウェア構成例について説明する。図15は、本開示に係るファイル生成装置10および再生装置20のハードウェア構成例を示すブロック図である。図15を参照すると、ファイル生成装置10および再生装置20は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(CPU871)
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
(ROM872、RAM873)
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカー、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879には、触覚刺激を出力する各種の振動デバイスなどが含まれる。
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
<3.まとめ>
以上説明したように、本開示に係るファイル生成装置10は、音声波形データと振動波形データを含む音声データを合成し、当該音声データを汎用的なフォーマット形式を用いてエンコードすることで、音声波形データおよび振動波形データを含むファイルを生成することができる。また、本開示に係る再生装置20は、上記のファイルを被合成帯域に基づいて分離することで、音声データおよび振動データを取得し出力を行うことができる。係る構成によれば、データ通信量を抑えながら、統一化された振動情報の通信を実現することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書のファイル生成装置10および再生装置20の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、ファイル生成装置10および再生装置20の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
音声波形データと振動波形データとを含むファイルを生成するファイル生成部、
を備え、
前記ファイル生成部は、第1の音声データから被合成帯域における波形データを切除し、
振動データの合成帯域から抽出した波形データを前記被合成帯域に合成した第2の音声データを生成し、
前記第2の音声データをエンコードし前記ファイルを生成する、
情報処理装置。
(2)
前記被合成帯域および前記合成帯域は、所定周波数以下の任意の帯域である、
前記(1)に記載の情報処理装置。
(3)
前記被合成帯域および前記合成帯域は、0Hz〜所定周波数以下の低音帯域である、
前記(1)または(2)に記載の情報処理装置。
(4)
前記被合成帯域は、所定周波数以上の超高音聴域である、
前記(1)に記載の情報処理装置。
(5)
前記ファイル生成部は、複数の前記合成帯域における波形データを前記被合成帯域に合成する、
前記(4)に記載の情報処理装置。
(6)
前記ファイル生成部は、2つの前記第2の音声データを生成し、当該2つの前記第2の音声データをエンコードし前記ファイルを生成する、
前記(1)〜(5)のいずれかに記載の情報処理装置。
(7)
前記ファイル生成部は、2つの前記第1の音声データから切除した前記被合成帯域における波形データを加算し、加算後の波形データを、一方の前記第1の音声データにおける前記被合成帯域に合成した第3の音声データを生成し、
前記振動データから抽出した前記合成帯域における波形データを他方の前記第1の音声データにおける前記被合成帯域に合成した前記第2の音声データを生成し、
前記第2の音声データと前記第3の音声データとをエンコードし前記ファイルを生成する、
前記(1)〜(5)のいずれかに記載の情報処理装置。
(8)
前記ファイルを送信する通信部、
をさらに備える、
前記(1)〜(7)のいずれかに記載の情報処理装置。
(9)
前記振動波形データを収集する収集部、
をさらに備える、
前記(1)〜(8)のいずれかに記載の情報処理装置。
(10)
音声波形データと振動波形データとを含むファイルから前記音声波形データと前記振動波形データとを取得するファイル解析部、
を備え、
前記ファイル解析部は、前記ファイルをデコードして得た音声データを被合成帯域に基づいて分離し、前記音声波形データと前記振動波形データとを取得する、
情報処理装置。
(11)
前記ファイル解析部は、前記ファイルに付加されるヘッダ情報に基づいて前記被合成帯域を特定する、
前記(10)に記載の情報処理装置。
(12)
前記ファイル解析部は、装置情報にさらに基づいて前記被合成帯域を特定する、
前記(11)に記載の情報処理装置。
(13)
前記ファイル解析部は、前記ファイルをデコードして得た2つの前記音声データから、2組の前記音声波形データと前記振動波形データとを抽出する、
前記(10)〜(12)のいずれかに記載の情報処理装置。
(14)
前記ファイル解析部は、前記ファイルをデコードして得た2つの前記音声データのうち一方の前記音声データにおける被合成帯域を抽出して前記振動波形データを取得し、
他方の前記音声データから複製した被合成帯域の波形データを一方の被合成帯域に合成した前記音声波形データを取得する、
前記(10)〜(12)のいずれかに記載の情報処理装置。
(15)
前記ファイルを受信する通信部、
をさらに備える、
前記(10)〜(14)のいずれかに記載の情報処理装置。
(16)
前記振動波形データおよび前記音声波形データに基づく出力を行う出力部、
をさらに備える、
前記(10)〜(15)のいずれかに記載の情報処理装置。
(17)
プロセッサが、
音声波形データと振動波形データとを含むファイルを生成すること、
を含み、
前記ファイルを生成することは、第1の音声データから被合成帯域における波形データを切除することと、
振動データの合成帯域から抽出した波形データを前記被合成帯域に合成した第2の音声データを生成することと、
前記第2の音声データをエンコードし前記ファイルを生成することと、
をさらに含む、
情報処理方法。
(18)
コンピュータを、
音声波形データと振動波形データとを含むファイルを生成するファイル生成部、
を備え、
前記ファイル生成部は、第1の音声データから被合成帯域における波形データを切除し、
振動データの合成帯域から抽出した波形データを前記被合成帯域に合成した第2の音声データを生成し、
前記第2の音声データをエンコードし前記ファイルを生成する、
情報処理装置、
として機能させるためのプログラム。
(19)
プロセッサが、
音声波形データと振動波形データとを含むファイルから前記音声波形データと前記振動波形データとを取得すること、
を含み、
前記取得することは、前記ファイルをデコードして得た音声データを被合成帯域に基づいて分離し、前記音声波形データと前記振動波形データとを取得すること、
をさらに含む、
情報処理方法。
(20)
コンピュータを、
音声波形データと振動波形データとを含むファイルから前記音声波形データと前記振動波形データとを取得するファイル解析部、
を備え、
前記ファイル解析部は、前記ファイルをデコードして得た音声データを被合成帯域に基づいて分離し、前記音声波形データと前記振動波形データとを取得する、
情報処理装置、
として機能させるためのプログラム。
10 ファイル生成装置
110 収集部
120 ファイル生成部
130 通信部
20 再生装置
210 出力部
220 ファイル解析部
230 通信部
30 ネットワーク

Claims (20)

  1. 音声波形データと振動波形データとを含むファイルを生成するファイル生成部、
    を備え、
    前記ファイル生成部は、第1の音声データから被合成帯域における波形データを切除し、
    振動データの合成帯域から抽出した波形データを前記被合成帯域に合成した第2の音声データを生成し、
    前記第2の音声データをエンコードし前記ファイルを生成する、
    情報処理装置。
  2. 前記被合成帯域および前記合成帯域は、所定周波数以下の任意の帯域である、
    請求項1に記載の情報処理装置。
  3. 前記被合成帯域および前記合成帯域は、0Hz〜所定周波数以下の低音帯域である、
    請求項1に記載の情報処理装置。
  4. 前記被合成帯域は、所定周波数以上の超高音聴域である、
    請求項1に記載の情報処理装置。
  5. 前記ファイル生成部は、複数の前記合成帯域における波形データを前記被合成帯域に合成する、
    請求項4に記載の情報処理装置。
  6. 前記ファイル生成部は、2つの前記第2の音声データを生成し、当該2つの前記第2の音声データをエンコードし前記ファイルを生成する、
    請求項1に記載の情報処理装置。
  7. 前記ファイル生成部は、2つの前記第1の音声データから切除した前記被合成帯域における波形データを加算し、加算後の波形データを、一方の前記第1の音声データにおける前記被合成帯域に合成した第3の音声データを生成し、
    前記振動データから抽出した前記合成帯域における波形データを他方の前記第1の音声データにおける前記被合成帯域に合成した前記第2の音声データを生成し、
    前記第2の音声データと前記第3の音声データとをエンコードし前記ファイルを生成する、
    請求項1に記載の情報処理装置。
  8. 前記ファイルを送信する通信部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  9. 前記振動波形データを収集する収集部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  10. 音声波形データと振動波形データとを含むファイルから前記音声波形データと前記振動波形データとを取得するファイル解析部、
    を備え、
    前記ファイル解析部は、前記ファイルをデコードして得た音声データを被合成帯域に基づいて分離し、前記音声波形データと前記振動波形データとを取得する、
    情報処理装置。
  11. 前記ファイル解析部は、前記ファイルに付加されるヘッダ情報に基づいて前記被合成帯域を特定する、
    請求項10に記載の情報処理装置。
  12. 前記ファイル解析部は、装置情報にさらに基づいて前記被合成帯域を特定する、
    請求項11に記載の情報処理装置。
  13. 前記ファイル解析部は、前記ファイルをデコードして得た2つの前記音声データから、2組の前記音声波形データと前記振動波形データとを抽出する、
    請求項10に記載の情報処理装置。
  14. 前記ファイル解析部は、前記ファイルをデコードして得た2つの前記音声データのうち一方の前記音声データにおける被合成帯域を抽出して前記振動波形データを取得し、
    他方の前記音声データから複製した被合成帯域の波形データを一方の被合成帯域に合成した前記音声波形データを取得する、
    請求項10に記載の情報処理装置。
  15. 前記ファイルを受信する通信部、
    をさらに備える、
    請求項10に記載の情報処理装置。
  16. 前記振動波形データおよび前記音声波形データに基づく出力を行う出力部、
    をさらに備える、
    請求項10に記載の情報処理装置。
  17. プロセッサが、
    音声波形データと振動波形データとを含むファイルを生成すること、
    を含み、
    前記ファイルを生成することは、第1の音声データから被合成帯域における波形データを切除することと、
    振動データの合成帯域から抽出した波形データを前記被合成帯域に合成した第2の音声データを生成することと、
    前記第2の音声データをエンコードし前記ファイルを生成することと、
    をさらに含む、
    情報処理方法。
  18. コンピュータを、
    音声波形データと振動波形データとを含むファイルを生成するファイル生成部、
    を備え、
    前記ファイル生成部は、第1の音声データから被合成帯域における波形データを切除し、
    振動データの合成帯域から抽出した波形データを前記被合成帯域に合成した第2の音声データを生成し、
    前記第2の音声データをエンコードし前記ファイルを生成する、
    情報処理装置、
    として機能させるためのプログラム。
  19. プロセッサが、
    音声波形データと振動波形データとを含むファイルから前記音声波形データと前記振動波形データとを取得すること、
    を含み、
    前記取得することは、前記ファイルをデコードして得た音声データを被合成帯域に基づいて分離し、前記音声波形データと前記振動波形データとを取得すること、
    をさらに含む、
    情報処理方法。
  20. コンピュータを、
    音声波形データと振動波形データとを含むファイルから前記音声波形データと前記振動波形データとを取得するファイル解析部、
    を備え、
    前記ファイル解析部は、前記ファイルをデコードして得た音声データを被合成帯域に基づいて分離し、前記音声波形データと前記振動波形データとを取得する、
    情報処理装置、
    として機能させるためのプログラム。
JP2016235574A 2016-12-05 2016-12-05 情報処理装置、情報処理方法、およびプログラム Pending JP2018092012A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016235574A JP2018092012A (ja) 2016-12-05 2016-12-05 情報処理装置、情報処理方法、およびプログラム
EP17879382.4A EP3550560B1 (en) 2016-12-05 2017-10-23 Information processing device, information processing method, and program
CN201780073952.8A CN110024028B (zh) 2016-12-05 2017-10-23 信息处理装置、信息处理方法以及程序
US16/342,125 US11138984B2 (en) 2016-12-05 2017-10-23 Information processing apparatus and information processing method for generating and processing a file including speech waveform data and vibration waveform data
PCT/JP2017/038118 WO2018105254A1 (ja) 2016-12-05 2017-10-23 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016235574A JP2018092012A (ja) 2016-12-05 2016-12-05 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2018092012A true JP2018092012A (ja) 2018-06-14

Family

ID=62491853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016235574A Pending JP2018092012A (ja) 2016-12-05 2016-12-05 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11138984B2 (ja)
EP (1) EP3550560B1 (ja)
JP (1) JP2018092012A (ja)
CN (1) CN110024028B (ja)
WO (1) WO2018105254A1 (ja)

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5510828A (en) * 1994-03-01 1996-04-23 Lutterbach; R. Steven Interactive video display system
US5521631A (en) * 1994-05-25 1996-05-28 Spectravision, Inc. Interactive digital video services system with store and forward capabilities
US20030011627A1 (en) * 1999-11-08 2003-01-16 Thomas Yager Method and system for providing a multimedia presentation
US5825771A (en) * 1994-11-10 1998-10-20 Vocaltec Ltd. Audio transceiver
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
EP0926658A4 (en) * 1997-07-11 2005-06-29 Sony Corp INFORMATION DECODERS AND DECODING METHOD, INFORMATION CODERS AND CODING METHOD AND DISTRIBUTION MEDIUM
US6154531A (en) * 1998-11-13 2000-11-28 Intel Corporation Telephone caller identification system
US6208276B1 (en) * 1998-12-30 2001-03-27 At&T Corporation Method and apparatus for sample rate pre- and post-processing to achieve maximal coding gain for transform-based audio encoding and decoding
US7099848B1 (en) * 1999-02-16 2006-08-29 Listen.Com, Inc. Audio delivery and rendering method and apparatus
US7194753B1 (en) * 1999-04-15 2007-03-20 Microsoft Corporation System and method for efficiently tuning to channels of a variety of different broadcast types
US20030054842A1 (en) * 2001-09-19 2003-03-20 Riedl Wilhelm Ernst Methods and apparatus for simultaneously communicating voice and data in an analog cordless telephone system
US7221663B2 (en) * 2001-12-31 2007-05-22 Polycom, Inc. Method and apparatus for wideband conferencing
JP3614784B2 (ja) * 2001-02-01 2005-01-26 松下電器産業株式会社 情報埋め込み装置、情報埋め込み方法、情報取り出し装置、および情報取り出し方法
GB2378370B (en) * 2001-07-31 2005-01-26 Hewlett Packard Co Method of watermarking data
CN1327705C (zh) * 2001-10-16 2007-07-18 精工爱普生株式会社 文件生成装置及数据输出装置
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
JP4193100B2 (ja) * 2002-08-30 2008-12-10 ソニー株式会社 情報処理方法および情報処理装置、記録媒体、並びにプログラム
US7522967B2 (en) * 2003-07-01 2009-04-21 Hewlett-Packard Development Company, L.P. Audio summary based audio processing
JP4740157B2 (ja) * 2004-02-03 2011-08-03 サンディスク セキュア コンテンツ ソリューションズ インコーポレイテッド デジタルデータコンテンツの保護
JP5394754B2 (ja) * 2006-02-23 2014-01-22 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
CN101416139B (zh) 2006-04-06 2014-07-09 伊梅森公司 用于增强的触觉效果的系统和方法
US7538663B2 (en) * 2007-01-26 2009-05-26 Csi Technology, Inc. Enhancement of periodic data collection by addition of audio data
JP5130809B2 (ja) * 2007-07-13 2013-01-30 ヤマハ株式会社 楽曲を制作するための装置およびプログラム
US8005233B2 (en) * 2007-12-10 2011-08-23 Dts, Inc. Bass enhancement for audio
JP5081113B2 (ja) * 2008-09-17 2012-11-21 キヤノン株式会社 画像符号化装置及び画像復号装置、並びにそれらの制御方法
KR101600352B1 (ko) * 2008-10-30 2016-03-07 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 장치 및 방법
JP5227769B2 (ja) 2008-12-05 2013-07-03 ソニーモバイルコミュニケーションズ, エービー 携帯端末およびコンピュータプログラム
US9563278B2 (en) * 2011-12-19 2017-02-07 Qualcomm Incorporated Gesture controlled audio user interface
JP2013135310A (ja) * 2011-12-26 2013-07-08 Sony Corp 情報処理装置、情報処理方法、プログラム、記録媒体、及び、情報処理システム
CN102867153B (zh) * 2012-08-30 2014-04-09 腾讯科技(深圳)有限公司 一种加密、解密视频文件的方法、装置及移动终端
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
JP2015185137A (ja) 2014-03-26 2015-10-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9928728B2 (en) 2014-05-09 2018-03-27 Sony Interactive Entertainment Inc. Scheme for embedding a control signal in an audio signal using pseudo white noise
JP6295342B2 (ja) 2014-05-09 2018-03-14 株式会社ソニー・インタラクティブエンタテインメント 疑似ホワイトノイズを使用した音声信号に制御信号を埋め込むスキーム
US20150325115A1 (en) 2014-05-09 2015-11-12 Sony Computer Entertainment Inc. Scheme for embedding a control signal in an audio signal
JP2015231098A (ja) 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
JP6527339B2 (ja) * 2015-01-27 2019-06-05 任天堂株式会社 振動信号生成プログラム、振動生成装置、振動生成システム、および振動信号生成方法
US10257567B2 (en) * 2015-04-30 2019-04-09 Verance Corporation Watermark based content recognition improvements

Also Published As

Publication number Publication date
WO2018105254A1 (ja) 2018-06-14
US11138984B2 (en) 2021-10-05
US20190287544A1 (en) 2019-09-19
EP3550560A4 (en) 2019-12-18
EP3550560A1 (en) 2019-10-09
CN110024028B (zh) 2023-12-08
CN110024028A (zh) 2019-07-16
EP3550560B1 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
JP6676801B2 (ja) マルチチャンネル音声コンテンツを表すビットストリームを生成する方法、およびデバイス
CN105378826B (zh) 音频场景装置
US10834503B2 (en) Recording method, recording play method, apparatuses, and terminals
CN103918284B (zh) 语音控制装置、语音控制方法和程序
JP6231102B2 (ja) 主観的忠実度のための音声コンテンツの変換
WO2017130810A1 (ja) 収録データ処理方法、端末装置および編集装置
TW201820315A (zh) 改良型音訊耳機裝置及其聲音播放方法、電腦程式
KR20120053006A (ko) 개선된 오디오/비디오 방법들 및 시스템들
US10019222B2 (en) Method for obtaining music data, earphone and music player
KR20070011026A (ko) 오디오 썸네일 기능을 지원하는 오디오 재생 방법 및 장치
US20180279048A1 (en) Binaural recording system and earpiece set
JPWO2014112206A1 (ja) 記憶制御装置、再生制御装置および記録媒体
EP2917915B1 (en) Multi-resolution audio signals
RU2616161C2 (ru) Способ обработки аудиосигнала для улучшенного преобразования
US20230122545A1 (en) Bit stream generation method, encoding device, and decoding device
Gan et al. Personalized HRTF measurement and 3D audio rendering for AR/VR Headsets
US20160057527A1 (en) Binaural recording system and earpiece set
WO2018105254A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2016067817A (ja) シミュレーションゲームシステム、情報処理方法及びプログラム
JP6897565B2 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
KR101664144B1 (ko) 스마트 기기 기반의 바이탈사운드를 이용하여 청취자에게 안정감을 제공하는 방법 및 그 시스템
JPWO2013008869A1 (ja) 電子機器及びデータ生成方法
KR102058228B1 (ko) 입체 음향 컨텐츠 저작 방법 및 이를 위한 어플리케이션
JP7139766B2 (ja) 端末装置、端末装置の動作方法およびプログラム
JP2016131329A (ja) 画像音声記録装置、画像音声記録方法、画像音声記録プログラム