JP2020190615A - 音声配信システム、配信サーバ、再生装置、及びプログラム - Google Patents

Abstract

【課題】再生側でレンダリング機能がなくてもオブジェクトベース音響の音声サービスを実現でき、且つ従来のオブジェクトベース音響方式よりも伝送量を低減させる。【解決手段】音声配信システム１は、Ｎ個の第１音声素材の音量を増減して音量制御済み第１音声素材を生成し、該音声素材を混合して音量バランス及び組み合わせが異なるＮ’個のレンダリング済み第１音声素材を生成するレンダリング装置１０と、Ｎ’個のレンダリング済み第１音声素材及びＭ個の第２音声素材を符号化してＮ’個の第１音声ストリーム及びＭ個の第２音声ストリームを生成する符号化装置２０と、第１再生装置４０及び第２再生装置５０からの要求に応じて、Ｎ’個のうち１個の第１音声ストリームを配信し、第２再生装置５０のみからの要求に応じて、Ｍ個のうち要求のあった数の第２音声ストリームを配信する配信サーバ３０と、を備える。【選択図】図１

Description

本発明は、音声配信システム、配信サーバ、再生装置、及びプログラムに関する。

現在広く用いられているチャンネルベース音響方式では、配信側で完成された番組音声を伝送しており、視聴者に音声を選択する自由度は少ない。視聴者が好みの音声を選択して聴くことができる例としては、主音声と副音声の活用が挙げられる。例えば、主音声が母国語であり、副音声が外国語である場合、副音声を選択すれば外国語で動画を視聴することができる。また、主音声としてスポーツ実況の音声が提供され、副音声としてスポーツ実況のない競技場の背景音の音声が提供される場合もある。上記の主音声と副音声の活用のように、配信側で複数種類の音声を生成しておき、再生側で再生する音声を選択する方式とすることで、多様な音声サービスが可能になる。チャンネルベース音響方式において、音声の選択視聴を可能とする配信技術としては、例えば非特許文献１に記載の、ＭＰＥＧ−ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）を用いて音声切り替えを行う技術が知られている。

また、近年では、次世代の音声サービスとして、視聴者の好みや視聴環境に応じて番組音声のカスタマイズができるオブジェクトベース音響方式が注目されている。オブジェクトベース音響方式では、音声素材及び音響メタデータを伝送し、再生側のレンダリング機能を用いて、再生する音声信号を生成する。これにより、背景音及び解説音声の音量バランスの調節、外国語の解説音声への切り替えなど、視聴者が自身の好みに合わせて音声をカスタマイズすることができる。

オブジェクトベース音響方式の再生技術例として、次の２点が挙げられる。１点目は、伝送された音声素材及び音響メタデータから再生する音声信号を生成するレンダリング機能をハードウェアにより実装する方法である。この方法は、チャンネルベース音響用の再生装置とは別にオブジェクトベース音響用のレンダリング機能を用意するか、オブジェクトベース音響用のレンダリング機能が内蔵された再生装置を用意する必要がある。２点目は、伝送された音声素材及び音響メタデータから再生する音声信号を生成するレンダリング機能を、ウェブブラウザ上でソフトウェアにより実装する方法である。例えば非特許文献２に記載の、ウェブ標準のＨＴＭＬ５の音声信号制御機能であるＷｅｂ Ａｕｄｉｏ ＡＰＩを用いて音声のレンダリングを行う技術が知られている。

上記のオブジェクトベース音響方式の再生技術により、再生側で視聴者が自身の好みや視聴環境に応じて番組音声をカスタマイズすることが可能となる。例えば、以下のような音声サービスが挙げられる。日本語の解説音声から英語などの外国語の解説音声に切り替えたり、スポーツ番組においてホーム側解説やビジター側解説に切り替えたりできるマルチ音声サービスが可能である。また、解説音声のみ音量を上げることもでき、高齢者や母語話者でない人などにとっても聞き取りやすい音声に調節することが可能である。さらに、効果音を追加したり、聴取位置を仮想的に切り替えたりといったサービスも考えられる。これらの音声サービスは、ステレオスピーカー、ヘッドフォンなど広く用いられている２チャンネルステレオの他、５．１チャンネルサラウンド、７．１チャンネルサラウンドなどのマルチチャンネルオーディオの再生環境にも対応することができる。

一般財団法人ＮＨＫエンジニアリングシステム、"ハイブリッドキャスト関連技術"、[2019年5月8日検索]、インターネット<URL:http://www.nes.or.jp/transfer/catalog/2018/01/71a/> Chris Pike、Peter Taylour、Frank Melchior、"Proceedings of the 1st Web Audio Conference"、2015

オブジェクトベース音響方式の音声サービスを享受するためには、別途用意したオブジェクトベース音響専用のレンダリング装置、レンダリング機能が内蔵された再生装置、又はブラウザ上にレンダリング機能を実装可能な視聴端末が必要となるため、オブジェクトベース音響方式の再生環境を構築することは必ずしも容易ではない。

非特許文献２に記載の、ブラウザ上にレンダリング機能を実装する方法により、専用のレンダリング機能を有していなくてもオブジェクトベース音響方式の再生が可能となる。しかし、Ｗｅｂ Ａｕｄｉｏ ＡＰＩ対応の視聴端末であることが前提であるため、テレビのブラウザや、ＰＣとモバイル端末の一部のブラウザは、Ｗｅｂ Ａｕｄｉｏ ＡＰＩに対応しておらず、上記技術を利用することができない。

また、再生側でレンダリングを行うためには、レンダリングに用いる全ての音声素材を配信する必要があるため、チャンネルベース音響方式で単一の音声を配信する場合と比較して、音声素材の伝送量が大幅に増大する。伝送量の増加は、配信負荷の増加やネットワークの混雑につながることから、不必要に伝送量を増大させることは望ましくない。

かかる事情に鑑みてなされた本発明の目的は、再生側でレンダリング機能を備えていなくてもオブジェクトベース音響方式の音声サービスを実現でき、且つ従来のオブジェクトベース音響方式よりも伝送量を低減させることが可能な音声配信システム、配信サーバ、再生装置、及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る音声配信システムは、レンダリング機能を有さない第１再生装置及びレンダリング機能を有する第２再生装置に音声ストリームを配信する音声配信システムであって、Ｎ個の第１音声素材それぞれの音量を増減して音量制御済み第１音声素材を生成する音量制御部と、該音量制御済み第１音声素材を異なる組み合わせで混合して、音量バランス及び組み合わせが異なるＮ’個のレンダリング済み第１音声素材を生成する音声混合部と、を有するレンダリング装置と、前記Ｎ’個のレンダリング済み第１音声素材をそれぞれ符号化してＮ’個の第１音声ストリームを生成するとともに、Ｍ個の第２音声素材をそれぞれ符号化してＭ個の第２音声ストリームを生成する符号化装置と、前記第１再生装置及び前記第２再生装置からの要求に応じて、Ｎ’個のうち１個の前記第１音声ストリームを配信し、前記第２再生装置のみからの要求に応じて、Ｍ個のうち要求のあった数の前記第２音声ストリームを配信する配信サーバと、を備えることを特徴とする。

さらに、本発明に係る音声配信システムにおいて、前記音声混合部は、前記第１音声素材をカテゴリー別にグルーピングし、カテゴリーごとに１つの音量制御済み第１音声素材を選択して組み合わせることにより、前記レンダリング済み第１音声素材を生成することを特徴とする。

さらに、本発明に係る音声配信システムにおいて、前記音声混合部は、受信側においてチャンネルベース音響方式の音量を増減させることにより等価な音量バランスを再構築できる組み合わせを除外して、前記レンダリング済み第１音声素材を生成することを特徴とする。

また、上記課題を解決するため、本発明に係る配信サーバは、レンダリング機能を有さない第１再生装置及びレンダリング機能を有する第２再生装置に音声ストリームを配信する配信サーバであって、音量バランス及び組み合わせが異なるＮ’個のレンダリング済み第１音声素材、及びＭ個の第２音声素材をそれぞれ符号化した、Ｎ’個の第１音声ストリーム及びＭ個の第２音声ストリームを記憶し、前記第１再生装置及び前記第２再生装置からの要求に応じて、Ｎ’個のうち１個の前記第１音声ストリームを配信し、前記第２再生装置のみからの要求に応じて、Ｍ個のうち要求のあった数の前記第２音声ストリームを配信することを特徴とする。

また、上記課題を解決するため、本発明に係る再生装置は、配信サーバから第１音声素材の音声ストリームである第１音声ストリームを受信する再生装置であって、視聴者により選択された、チャンネルベース音響方式として第１音声ストリームを再構築することができる音量バランスを表す第１音量バランスパラメータを取得するパラメータ取得部と、前記第１音量バランスパラメータに対応する、配信側にて第１音声素材同士を混合する際の音量バランスを表す第１音量バランス基準パラメータを決定し、該第１音量バランス基準パラメータに従う１個の第１音声ストリームを決定する要求ストリーム決定部と、前記要求ストリーム決定部により決定された前記第１音声ストリームを前記配信サーバから受信するストリーム受信部と、前記第１音量バランスパラメータ及び前記第１音量バランス基準パラメータの差に基づいて、前記ストリーム受信部により受信した前記第１音声ストリームの音量バランスを制御する音量制御部と、を備えることを特徴とする。

さらに、本発明に係る再生装置において、前記パラメータ取得部は、さらに視聴者により選択された素材組み合わせパラメータを取得し、前記要求ストリーム決定部は、前記素材組み合わせパラメータ及び前記第１音量バランスパラメータに従う１個の第１音声ストリームを決定することを特徴とする。

さらに、本発明に係る再生装置において、前記パラメータ取得部は、さらに視聴者により選択された１以上の第２音声ストリームの音量バランスを表すパラメータを第２音量バランスパラメータとして取得し、前記要求ストリーム決定部は、さらに第２音量バランスパラメータに従う１以上の第２音声ストリームを決定し、前記ストリーム受信部は、さらに前記要求ストリーム決定部により決定された前記１以上の第２音声ストリームを前記配信サーバから受信し、前記音量制御部は、さらに前記第２音量バランスパラメータに基づいて、前記ストリーム受信部により受信した前記第２音声ストリームの音量バランスを制御することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記再生装置として機能させることを特徴とする。

本発明によれば、視聴者が好みや再生環境に応じて音声をカスタマイズすることのできるオブジェクトベース音響方式の音声サービスを、再生側でレンダリング機能を備えていなくても簡易的に実現することができる。また、再生側でオブジェクトベース音響専用のレンダリング機能を備えている場合には、従来の再生技術の利点を損なわない。さらに、従来のオブジェクトベース音響方式と比べて、音声サービスを実現するための音声の配信負荷を低減することができる。

本発明の一実施形態に係る音声配信システムの構成例を示す図である。 本発明の一実施形態に係る音声配信システムにおけるレンダリング装置の構成例を示す図である。 本発明の一実施形態に係る音声配信システムにおけるレンダリング装置で生成する音声数を低減する第１の方法を示す図である。 本発明の一実施形態に係る音声配信システムにおけるレンダリング装置で生成する音声数を低減する第２の方法を示す図である。 本発明の一実施形態に係る音声配信システムにおけるレンダリング装置で生成する音声数を低減する第２の方法を示す図である。 本発明の一実施形態に係る音声配信システムにおける符号化装置の入出力信号を示す図である。 本発明の一実施形態に係る第１再生装置の構成例を示す図である。 本発明の一実施形態に係る第１再生装置の音量制御動作の一例を示すフローチャートである。 本発明の一実施形態に係る第２再生装置の構成例を示す図である。 本発明の一実施形態に係る第２音声素材の音量バランスの選択画面の一例を示す図である。 本発明の一実施形態に係る第２再生装置におけるレンダリング処理部の構成例を示すブロック図である。 本発明の一実施形態に係る第１再生装置及び第２再生装置の音声再生方法の一例を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係る音声配信システムの構成例を示す図である。図１に示すように、音声配信システム１は、レンダリング装置１０と、符号化装置２０と、配信サーバ３０とを備え、音声を配信する。なお、以下の実施形態では音声配信に関して説明するが、映像を併せて配信してもよい。したがって、本発明は動画に含まれる音声に対して適用することもできる。

音声配信システム１は、第１音声素材の音声ストリームを、ネットワーク６０を介して、レンダリング機能を有さない１以上の第１再生装置４０及びレンダリング機能を有する１以上の第２再生装置５０の双方に配信する。また、音声配信システム１は、第２音声素材の音声ストリームを、ネットワーク６０を介して、１以上の第２再生装置５０に配信する。図１では便宜上、第１再生装置４０及び第２再生装置５０を１つずつ示している。

ここで、第１音声素材は、番組音声を構成する上で頻繁に用いられる音声素材であり、第２音声素材は、番組音声を構成する上で頻繁には用いられない音声素材である。一例としてスポーツ番組の場合、第１音声素材には日本語解説音声、英語解説音声、ホーム側解説、ビジター側解説、会場の背景音、ホーム側背景音、ビジター側背景音などを割り当てることが考えられる。また、第２音声素材には特定の選手の音声や効果音、第１音声素材に含まれていない外国語、２チャンネルステレオ以外の５．１チャンネルサラウンド、７．１チャンネルサラウンドなどのマルチチャンネルオーディオ用などを割り当てることが考えられる。

レンダリング装置１０は、音声配信システム１の外部からＮ個の第１音声素材を入力し、音量バランス及び組み合わせが異なるＮ’個の音声（レンダリング済み第１音声素材）を生成する。

図２は、レンダリング装置１０の構成例を示す図である。図２に示すように、レンダリング装置１０は、Ｎ個の音量制御部１１と、音声混合部１２とを備える。

各音量制御部１１は、第１音声素材の音量を増減してＧ個の音量制御済み第１音声素材を生成し、音声混合部１２に出力する。

音声混合部１２は、Ｎ個の音量制御部１１から入力された音量制御済み第１音声素材を様々な異なる組み合わせで混合して、音量バランス及び組み合わせが異なるＮ’個のレンダリング済み第１音声素材を生成し、符号化装置２０に出力する。音量制御部１１で調節するゲインをＧ通りとするとき、レンダリング装置１０で生成するレンダリング済み第１音声素材の音声数Ｎ’の最大値は、数学的にはＧ^Ｎ個となる。しかし、Ｇ^Ｎ個全ての音声を生成するとなると、レンダリング装置１０や符号化装置２０における処理負荷が増大することや、配信サーバ３０に記憶させるデータ量が膨大となることが問題になり得る。そこで、音声数Ｎ’を低減させる方法について以下に説明する。

図３は、レンダリング装置１０で生成する音声数Ｎ’を低減する第１の方法を示す図である。この方法では、音声混合部１２は、音量制御済み第１音声素材をカテゴリー別にグルーピングし、カテゴリーごとに１つの音量制御済み第１音声素材を選択して組み合わせることにより、Ｎ’個のレンダリング済み第１音声素材を生成する。これにより、番組音声を構成する際に不要な組み合わせを除外することができ、生成する音声数を低減することができる。該グルーピングは、レンダリング装置１０のユーザの指示に基づいてなされてもよいし、音量制御済み第１音声素材の音声信号から抽出した特徴量などに基づいて自動化されてもよい。

図３に示す例では、スポーツ番組の第１音声素材として日本語解説、英語解説、ホーム側解説、ビジター解説、会場背景、ホーム側背景、及びビジター側背景の７個があり、これら７個の第１音声素材を、解説音声カテゴリーと背景音カテゴリーにグルーピングする。解説音声カテゴリーは、日本語解説音声、英語解説音声、ホーム側解説、及びビジター側解説の４個であり、背景音カテゴリーは、会場の背景音、ホーム側背景音、ビジター側背景音の３個である。視聴操作ではそれぞれのカテゴリーから所望の第１音声素材を１つずつ選択するため、解説音声同士、背景音同士などの不要な組み合わせを削減することができる。したがって、このスポーツ番組の場合、１組の音量バランスに対しては、組み合わせの異なる４×３＝１２通りの音声を生成すればよい。一例を示したが、カテゴリー数は任意でよく、カテゴリーＡ、カテゴリーＢなどと一般化して記述してもよい。このように、どの音声素材同士を混合するかを示すパラメータを、素材組み合わせパラメータと称する。

図４は、レンダリング装置１０で生成する音声数Ｎ’を低減する第２の方法を示す図である。この方法では、音声混合部１２は、受信側においてチャンネルベース音響方式の音量を増減させることにより等価な音量バランスを再構築できる組み合わせを除外して、Ｎ’個のレンダリング済み第１音声素材を生成する。ここでは、図３と同じく、カテゴリー数が２個である場合の例について考える。音量制御部１１で調節する音量は任意だが、一例として元の音声素材に対して、−６ｄＢ，−３ｄＢ，０ｄＢ，＋３ｄＢ，＋６ｄＢの５通り（Ｇ＝５）で音量制御を行うとする。カテゴリーＡとカテゴリーＢから選択した１組の第１音声素材に対する音量バランスは、図のように全部で２５通りとなる。

ここで、例えばカテゴリーＡが＋６ｄＢでカテゴリーＢが−３ｄＢである組み合わせに着目すると、共に３ｄＢ分音量を下げたカテゴリーＡが＋３ｄＢでカテゴリーＢが−６ｄＢである組み合わせは、チャンネルベース音響方式としての音量を３ｄＢ分下げることと等価である。したがって、オブジェクトベース音響方式のレンダリング機能を有していない第１再生装置４０においても、カテゴリーＡが＋６ｄＢでカテゴリーＢが−３ｄＢである組み合わせを配信すれば、カテゴリーＡが＋３ｄＢでカテゴリーＢが−６ｄＢである組み合わせを再構築することができる。同様に、図４Ａの斜線部に該当する音量バランスの組み合わせは受信側で再構築することができるため、レンダリング装置１０による音声生成は不要である。したがって、音声混合部１２は、カテゴリーＡとカテゴリーＢから選択した１組の第１音声素材に対して、（＋６ｄＢ，−６ｄＢ）、（＋６ｄＢ，−３ｄＢ）、（＋６ｄＢ，０ｄＢ）、（＋６ｄＢ，＋３ｄＢ）、（＋６ｄＢ，＋６ｄＢ）、（＋３ｄＢ，＋６ｄＢ）、（０ｄＢ，＋６ｄＢ）、（−３ｄＢ，＋６ｄＢ）、（−６ｄＢ，＋６ｄＢ）の９通りの音量バランスの異なる音声を生成すればよい。

図４Ｂは、第１音量バランス基準パラメータと第１音量バランスパラメータとの対応表の一例を示す図である。ここで、第１音量バランス基準パラメータとは、配信側（レンダリング装置１０）にて第１音声素材同士を混合する際の音量バランスを表すパラメータである。第１音量バランスパラメータとは、視聴操作で選択でき、再生側（第１再生装置４０及び第２再生装置５０）にてチャンネルベース音響方式として第１音声ストリームを再構築することができる音量バランスを表すパラメータである。

図４Ｂに示す対応表は、右欄の第１音量バランスパラメータに従う音量制御が、左欄の第１音量バランス基準パラメータに従って音量制御された音声を基準として行われることを意味する。第１音量バランス基準パラメータに従ってレンダリングした音声素材を配信すれば、その第１音量バランス基準パラメータに対応する第１音量バランスパラメータの音声へは、受信側においてチャンネルベース音響方式で音量を増減させることにより変換することができる。以上より、図３及び図４に示した例であれば、音声混合部１２は、組み合わせと音量バランスが異なるレンダリング済み第１音声素材を、合計で１２×９＝１０８通り生成すればよい。

さらに、音声混合部１２は、視聴者によって選択される数が統計的に少ない組み合わせを除外して、Ｎ’個のレンダリング済み第１音声素材を生成してもよい。これにより、生成する音声数Ｎ’を更に低減させることができる。例えば、過去に放送された類似の構成の番組で用いられていた音声素材の組み合わせのアクセス率を取得し、アクセス率が閾値（例えば１％）未満の組み合わせを生成しないようにする。閾値は、組み合わせ数や視聴者層などの複数の要因で変化するため、適宜変更してもよい。また、該アクセス率は、レンダリング装置１０のユーザが入力してもよい。

図５は、符号化装置２０の入出力信号を示す図である。図５に示すように、符号化装置２０は、レンダリング装置１０から入力されたＮ’個のレンダリング済み第１音声素材をそれぞれ符号化してストリーム形式に変換し、Ｎ’個の第１音声ストリームを生成し、配信サーバ３０に送信する。また、符号化装置２０は、音声配信システム１の外部から入力されたＭ個の第２音声素材をそれぞれ符号化してストリーム形式に変換し、Ｍ個の第２音声ストリームを生成し、配信サーバ３０に送信する。配信プロトコルには、ＭＰＥＧ−ＤＡＳＨやＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇなどのストリーミング方式を利用してもよい。

再び図１を参照する。配信サーバ３０は、符号化装置２０から送信された第１音声ストリーム及び第２音声ストリームを、記憶部３１に格納し、第１再生装置４０，５０から要求のあったストリームを配信する。第１音声ストリームについては、配信サーバ３０は第１再生装置４０及び第２再生装置５０のいずれからも要求を受け付け、Ｎ’個のうち１個の第１音声ストリームを配信する。第２音声ストリームについては、配信サーバ３０は第２再生装置５０のみからの要求を受け付け、Ｍ個のうち要求のあった数の第２音声ストリームを配信する。

＜第１再生装置＞
次に、レンダリング機能を有さない第１再生装置４０について説明する。図６は、第１再生装置４０の構成例を示す図である。第１再生装置４０は、通信インターフェース４１と、パラメータ取得部４２と、パラメータ保持部４３と、要求ストリーム決定部４４と、ストリーム配信要求部４５と、ストリーム受信部４６と、音量制御指示部４７と、音量制御部４８と、再生処理部４９とを備える。

通信インターフェース４１は、イーサネット（登録商標）インターフェース、無線ＬＡＮインターフェースなどであり、有線又は無線によりネットワーク６０と接続する。

パラメータ取得部４２は、図３に示したような素材組み合わせパラメータを表示部（図示しない）に表示させる。そして、視聴者により選択された素材組み合わせパラメータを取得し、パラメータ保持部４３に出力する。また、パラメータ取得部４２は、第１音声素材の組み合わせに対して、図４Ｂの右欄に示したような第１音量バランスパラメータを表示部に表示させる。そして、視聴者により選択された第１音量バランスパラメータを取得し、パラメータ保持部４３に出力する。なお、表示部に表示させるための素材組み合わせパラメータ及び第１音量バランスパラメータは、配信サーバ３０から予め受信しておく。

パラメータ保持部４３は、パラメータ取得部４２により取得した素材組み合わせパラメータ及び第１音量バランスパラメータを、パラメータ取得部４２により新たにパラメータが取得されるまで保持する。パラメータ保持部４３が保持しているパラメータは、ストリーム配信要求部４５及び音量制御指示部４７からの参照要求に応じて、パラメータを提示する。

要求ストリーム決定部４４は、パラメータ取得部４２により取得された第１音量バランスパラメータに対応する第１音量バランス基準パラメータを決定する。そして、要求ストリーム決定部４４は、素材組み合わせパラメータ及び第１音量バランス基準パラメータに従う１個の第１音声ストリームを決定し、ストリーム配信要求部４５に出力する。

ストリーム配信要求部４５は、要求ストリーム決定部４４により決定された１個の第１音声ストリームを、配信サーバ３０に要求する。

ストリーム受信部４６は、要求ストリーム決定部４４により決定された１個の第１音声ストリームを、配信サーバ３０から受信し、バッファリングする。

音量制御指示部４７は、第１音量バランス基準パラメータ及び第１音量バランスパラメータの差に基づいて、ストリーム受信部４６により受信した第１音声ストリームの音量バランスから、第１音量バランスパラメータに基づく音量バランスに再構築するための、第１音声ストリームの音量制御指示値を決定し、音量制御部４８に出力する。

音量制御部４８は、音量制御指示部４７により決定された指示値に従って、ストリーム受信部４６により受信した第１音声ストリームの音量バランスを制御し、再生処理部４９に出力する。

再生処理部４９は、音量制御部４８から入力された音声信号を再生する。音声信号の再生にはスピーカー、ヘッドフォンなどを用いればよい。なお、再生処理部４９を第１再生装置４０から分離し、通信インターフェース４１を介して別の装置で音声信号を再生してもよい。

図７は、音量制御指示部４７及び音量制御部４８の動作例を示すフローチャートである。ステップＳ１０１では、音量制御指示部４７は、パラメータ保持部４３から視聴操作により選択された第１音量バランスパラメータを取得する。

ステップＳ１０２では、音量制御指示部４７は、図４Ｂに例示したような第１音量バランス基準パラメータ及び第１音量バランスパラメータの対応表に基づいて、第１音量バランスパラメータと、該第１音量バランスパラメータに対応する第１音量バランス基準パラメータとを比較する。両者が等しい場合には処理をステップＳ１０３に進め、両者が等しくない場合には処理をステップＳ１０４に進める。

ステップＳ１０３では、第１音量バランス基準パラメータ及び第１音量バランスパラメータが等しいため、音量バランスを再構築する必要がない。したがって、音量制御指示部４７は音声制御値を０［ｄＢ］とする。この場合、音量制御部４８は音量制御を行わない。

ステップＳ１０４では、第１音量バランス基準パラメータ及び第１音量バランスパラメータが異なるため、音量バランスを再構築する必要がある。そのため、音量制御指示部４７は、第１音量バランスパラメータから、該第１音量バランスパラメータに対応する第１音量バランス基準パラメータを引いた差を計算し、その差ｘ［ｄＢ］を音量制御指示値とする。例えば第１音量バランスパラメータが（０ｄＢ，−３ｄＢ）であり、図４Ｂに示した対応表を参照する場合、該第１音量バランスパラメータ対応する第１音量バランス基準パラメータは（＋６ｄＢ，＋３ｄＢ）であるため、音量制御指示値ｘ＝−６［ｄＢ］となる。

ステップＳ１０５では、音量制御部４８は音量制御指示値ｘが正の場合にはｘ［ｄＢ］分音量を増加させ、ｘが負の値の場合は｜ｘ｜［ｄＢ］分音量を減少させる音量制御を行う。

＜第２再生装置＞
次に、レンダリング機能を有する第２再生装置５０について説明する。図８は、第２再生装置５０の構成例を示す図である。第２再生装置５０は、通信インターフェース５１と、パラメータ取得部５２と、パラメータ保持部５３と、要求ストリーム決定部５４と、ストリーム配信要求部５５と、ストリーム受信部５６と、音量制御指示部５７と、レンダリング処理部５８と、再生処理部５９とを備える。

通信インターフェース５１は、第１再生装置４０の通信インターフェース４１と同様に、有線又は無線によりネットワーク６０と接続する。

パラメータ取得部５２は、第１再生装置４０のパラメータ取得部４２と同様に、図３に示したような素材組み合わせパラメータを表示部（図示しない）に表示させる。そして、視聴者により選択された素材組み合わせパラメータを取得し、パラメータ保持部５３に出力する。また、パラメータ取得部５２は、第１再生装置４０のパラメータ取得部４２と同様に、第１音声素材の組み合わせに対して、図４Ｂの右欄に示したような第１音量バランスパラメータを表示部に表示させる。そして、視聴者により選択された第１音量バランスパラメータを取得し、パラメータ保持部５３に出力する。

さらに、パラメータ取得部５２は、図９に示すような第２音声素材の音量バランスの選択画面を表示部に表示させる。そして、視聴者により選択された１以上の第２音声素材の音量バランスを表すパラメータを第２音量バランスパラメータとして取得する。図９に示す例では、第２音声素材１の音量バランスを＋２とし、第２音声素材２の音量バランスを−４とした例を示している。

パラメータ保持部５３は、パラメータ取得部５２により取得した素材組み合わせパラメータ、第１音量バランスパラメータ、及び第２音量バランスパラメータを、パラメータ取得部５２により新たにパラメータが取得されるまで保持する。

要求ストリーム決定部５４は、第１再生装置４０の要求ストリーム決定部４４と同様に、パラメータ取得部５２により取得された第１音量バランスパラメータに対応する第１音量バランス基準パラメータを決定する。そして、要求ストリーム決定部５４は、素材組み合わせパラメータ及び第１音量バランス基準パラメータに従う１個の第１音声ストリームを決定し、ストリーム配信要求部５５に出力する。

また、要求ストリーム決定部５４は、パラメータ取得部５２により取得された第２音量バランスパラメータに従う１以上（視聴者に選択された数）の第２音声ストリームを決定し、ストリーム配信要求部５５に出力する。

ストリーム配信要求部５５は、要求ストリーム決定部５４により決定された１個の第１音声ストリーム及び１以上の第２音声ストリームを、配信サーバ３０に要求する。

ストリーム受信部５６は、要求ストリーム決定部５４により決定された１個の第１音声ストリーム及び１以上の第２音声ストリームを、配信サーバ３０から受信し、バッファリングする。

音量制御指示部５７は、第１再生装置４０の音量制御指示部４７と同様に、第１音量バランス基準パラメータで配信された第１音声ストリームの音量バランスから第１音量バランスパラメータの音量バランスに再構築するための、第１音声ストリームの音声制御指示値を決定し、レンダリング処理部５８に出力する。

また、音量制御指示部５７は、第２音量バランスパラメータに基づいて、第２音声ストリームの音量制御指示値を決定し、レンダリング処理部５８に出力する。

レンダリング処理部５８は、音量制御指示部５７により決定された音量制御指示値に従ってレンダリング処理を行い、再生処理部５９に出力する。

図１０は、レンダリング処理部５８の構成例を示すブロック図である。レンダリング処理部５８は、（ｊ＋１）個の音量制御部５８１と、音声混合部５８２とを備える。音量制御部５８１は、配信サーバ３０から配信された１個の第１音声ストリーム及び選択数（ｊ個）の第２音声ストリームのそれぞれに対して、音量制御指示部５７により決定された音量制御指示値に従って音量バランスを制御し、音声混合部５８２に出力する。音声混合部５８２は、音量制御部５８１から入力された第１音声ストリーム及び第２音声ストリームを混合してレンダリング済み音声信号を生成し、再生処理部５９に出力する。

再生処理部５９は、レンダリング処理部５８から入力されたレンダリング済み音声信号を再生する。レンダリング済み音声信号の再生にはスピーカー、ヘッドフォンなどを用いればよい。なお、再生処理部５９を第２再生装置５０から分離し、通信インターフェース５１を介して別の装置で音声信号を再生してもよい。

＜音声再生方法＞
次に、第１再生装置４０及び第２再生装置５０の音声再生方法について、図１１を参照しながら説明する。図１１は、第１再生装置４０及び第２再生装置５０の音声再生方法の一例を示すフローチャートである。

ステップＳ２０１では、第１再生装置４０及び第２再生装置５０は、通信インターフェース４１，５１を介して、配信サーバ３０から素材組み合わせパラメータ及び第１音量バランスパラメータを受信する。

ステップＳ２０２では、第１再生装置４０及び第２再生装置５０は、音声配信が終了するまで視聴操作を受け付ける。視聴操作があった場合には、ステップＳ２０３の視聴操作を検出するプロセスへ移る。視聴操作がない間は、音声信号の再生を継続する。

ステップＳ２０３では、視聴操作を検出する。視聴者は、表示部に提示されている素材組み合わせパラメータ及び第１音量バランスパラメータのうち、聴きたい音声素材及び音量を画面タッチなどで選択する。視聴操作の方法は、画面タッチの他、リモコンのボタン操作やジェスチャー操作、レーザーポインターなどの遠隔操作であってもよい。

ステップＳ２０４では、パラメータ取得部４２，５２により、視聴操作によって選択された素材組み合わせパラメータ及び第１音量バランスパラメータを取得する。なお、音声素材へのパラメータの付与は、ファイル名に指定してもよいし、配列、リストなどを用いて音声素材のメタデータとして記述してもよい。

ステップＳ２０５では、レンダリング機能を有するか否かに応じて、以降の処理を決定する。レンダリング機能を有さない第１再生装置４０は、ステップＳ２０６〜Ｓ２０９の処理を行った後に音声信号を再生し、レンダリング機能を有する第２再生装置５０は、ステップＳ２１０〜Ｓ２１３の処理を行った後に音声信号を再生する。

（レンダリング機能なし）
ステップＳ２０６では、要求ストリーム決定部４４により、第１音量バランスパラメータから、該第１音量バランスパラメータに対応する第１音量バランス基準パラメータを決定する。

ステップＳ２０７では、要求ストリーム決定部４４により、素材組み合わせパラメータ及び第１音量バランス基準パラメータに従う１個の第１音声ストリームを、配信サーバ３０に要求する。

ステップＳ２０８では、ストリーム受信部４６により、配信サーバ３０から配信された第１音声ストリームを受信する。

ステップＳ２０９では、音量制御指示部４７により、第１音量バランスパラメータ及び第１音量バランス基準パラメータから音声制御指示値を決定し、音量制御部４８により音声制御指示値に従って音量制御を行う。具体的には、第１再生装置４０は、視聴操作で選択された第１音量バランスパラメータと、該第１音量バランスパラメータに対応する第１音量バランス基準パラメータとを比較し、両者が等しい場合には音量制御を行わず、両者が異なる場合には、音量制御指示値に基づいて音量制御を行う。

（レンダリング機能あり）
ステップＳ２１０では、要求ストリーム決定部５４により、第１音量バランスパラメータから、該第１音量バランスパラメータに対応する第１音量バランス基準パラメータを決定する。また、パラメータ取得部５２により、視聴操作によって選択された第２音量バランスパラメータを取得する。

ステップＳ２１１では、要求ストリーム決定部５４により、素材組み合わせパラメータ及び第１音量バランス基準パラメータに従う１個の第１音声ストリームと、第２音量バランスパラメータに従う選択数の第２音声ストリームとを、配信サーバ３０に要求する。

ステップＳ２１２では、ストリーム受信部５６により、配信サーバ３０から配信された第１音声ストリーム及び第２音声ストリームを受信する。

ステップＳ２１３では、音量制御指示部５７により、第１音量バランスパラメータ、第１音量バランス基準パラメータ、及び第２音量バランスパラメータから音声制御指示値を決定し、レンダリング処理部５８により音声制御指示値に従ってレンダリング処理を行う。具体的には、第２再生装置５０は、第１音声ストリームに対しては、視聴操作で選択された第１音量バランスパラメータと、該第１音量バランスパラメータに対応する第１音量バランス基準パラメータとを比較し、両者が等しい場合、音量制御を行わず、両者が異なる場合には、音量制御指示値をもとに音量制御を行う。また、第２再生装置５０は、第２音声ストリームに対しては、第２音量バランスパラメータに一致するように音量制御を行う。そして、第２再生装置５０は、音量制御された第１音声ストリーム及び第２音声ストリームを混合してレンダリング済み音声信号を生成する。

ステップＳ２１４では、再生処理部４９，５９により音声信号を再生し、出力する。

ステップＳ２１５では、第１再生装置４０及び第２再生装置５０は、音声配信が終了しているか否かを判定し、音声配信が終了していなければ、処理をステップＳ２０２に戻す。

なお、上述したレンダリング装置１０、符号化装置２０、配信サーバ３０、第１再生装置４０、及び第２再生装置５０の全体又は一部として機能させるためにコンピュータを用いることも可能である。そのようなコンピュータは、レンダリング装置１０、符号化装置２０、配信サーバ３０、第１再生装置４０、及び第２再生装置５０の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵ(Central Processing Unit)やＤＳＰ(Digital Signal Processor)によってこのプログラムを読み出して実行させることで実現することができる。

また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどの記録媒体であってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。

上述したように、レンダリング装置１０は、音量制御部１１によりＮ個の第１音声素材それぞれの音量を増減して音量制御済み第１音声素材を生成し、音声混合部１２により該音量制御済み第１音声素材を異なる組み合わせで混合して、音量バランス及び組み合わせが異なるＮ’個のレンダリング済み第１音声素材を生成する。符号化装置２０は、Ｎ’個のレンダリング済み第１音声素材及びＭ個の第２音声素を符号化してＮ’個の第１音声ストリーム及びＭ個の第２音声ストリームを生成する。配信サーバ３０は、第１再生装置４０及び第２再生装置５０から第１音声ストリームの要求を受け付けてＮ’個のうち１個の第１音声ストリームを配信し、第２再生装置５０のみから第２音声ストリームの要求を受け付けてＭ個のうち要求のあった数の第２音声ストリームを配信する。

かかる構成により、本発明によれば、視聴者が好みや再生環境に応じて音声をカスタマイズすることのできるオブジェクトベース音響方式の音声サービスを、レンダリング機能を備えていない第１再生装置４０においても簡易的に実現することができる。非特許文献２に記載のブラウザレンダリングを行う方法により、専用のレンダリング装置がなくてもオブジェクトベース音響方式の再生が可能となるが、Ｗｅｂ Ａｕｄｉｏ ＡＰＩ対応の視聴端末であることが前提である。本発明では、ＨＴＭＬ５対応でストリーミング再生が可能な視聴端末でさえあれば、オブジェクトベース音響方式の簡易的な音声サービスをチャンネルベース音響方式の再生環境で享受することができる。また、Ｗｅｂ Ａｕｄｉｏ ＡＰＩに対応していれば、同様にオブジェクトベース音響方式の再生環境を構築できるという利点を損なわない。

また、本発明によれば、配信側で予め設定したパラメータでレンダリングした音声を複数種類用意しておき、選択された音声を配信するため、音声サービスを実現するための音声の配信負荷を低減することができる。ただし、配信する音声を予め設定したパラメータに限定することで、レンダリングに用いる全ての音声素材を伝送する必要がある従来のオブジェクトベース音響方式と比較して音声素材の伝送量は低減されるが、あらゆる視聴者の視聴操作で選択されるあらゆるパターンを予め用意しておくことは非現実的である。そこで、音量制御部１１により、レンダリングして生成する音声数を低減させる工夫を施すことが好適である。また、頻繁には視聴操作で選択されないと予想される音声は、従来のオブジェクトベース音響方式の配信を行うことで、配信側で生成する音声数を低減しつつ、配信負荷を低減させることができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ 音声配信システム
１０ レンダリング装置
１１ 音量制御部
１２ 音声混合部
２０ 符号化装置
３０ 配信サーバ
３１ 記憶部
４０ 第１再生装置
４１，５１ 通信インターフェース
４２，５２ パラメータ取得部
４３，５３ パラメータ保持部
４４，５４ 要求ストリーム決定部
４５，５５ ストリーム配信要求部
４６，５６ ストリーム受信部
４７，５７ 音量制御指示部
４８ 音量制御部
４９，５９ 再生処理部
５０ 第２再生装置
５８ レンダリング処理部
６０ ネットワーク
５８１ 音量制御部
５８２ 音声混合部

Claims (8)

1. レンダリング機能を有さない第１再生装置及びレンダリング機能を有する第２再生装置に音声ストリームを配信する音声配信システムであって、
   Ｎ個の第１音声素材それぞれの音量を増減して音量制御済み第１音声素材を生成する音量制御部と、該音量制御済み第１音声素材を異なる組み合わせで混合して、音量バランス及び組み合わせが異なるＮ’個のレンダリング済み第１音声素材を生成する音声混合部と、を有するレンダリング装置と、
   前記Ｎ’個のレンダリング済み第１音声素材をそれぞれ符号化してＮ’個の第１音声ストリームを生成するとともに、Ｍ個の第２音声素材をそれぞれ符号化してＭ個の第２音声ストリームを生成する符号化装置と、
   前記第１再生装置及び前記第２再生装置からの要求に応じて、Ｎ’個のうち１個の前記第１音声ストリームを配信し、前記第２再生装置のみからの要求に応じて、Ｍ個のうち要求のあった数の前記第２音声ストリームを配信する配信サーバと、
   を備えることを特徴とする、音声配信システム。
2. 前記音声混合部は、前記第１音声素材をカテゴリー別にグルーピングし、カテゴリーごとに１つの音量制御済み第１音声素材を選択して組み合わせることにより、前記レンダリング済み第１音声素材を生成することを特徴とする、請求項１に記載の音声配信システム。
3. 前記音声混合部は、受信側においてチャンネルベース音響方式の音量を増減させることにより等価な音量バランスを再構築できる組み合わせを除外して、前記レンダリング済み第１音声素材を生成することを特徴とする、請求項１又は２に記載の音声配信システム。
4. レンダリング機能を有さない第１再生装置及びレンダリング機能を有する第２再生装置に音声ストリームを配信する配信サーバであって、
   音量バランス及び組み合わせが異なるＮ’個のレンダリング済み第１音声素材、及びＭ個の第２音声素材をそれぞれ符号化した、Ｎ’個の第１音声ストリーム及びＭ個の第２音声ストリームを記憶し、
   前記第１再生装置及び前記第２再生装置からの要求に応じて、Ｎ’個のうち１個の前記第１音声ストリームを配信し、前記第２再生装置のみからの要求に応じて、Ｍ個のうち要求のあった数の前記第２音声ストリームを配信することを特徴とする、配信サーバ。
5. 配信サーバから第１音声素材の音声ストリームである第１音声ストリームを受信する再生装置であって、
   視聴者により選択された、チャンネルベース音響方式として第１音声ストリームを再構築することができる音量バランスを表す第１音量バランスパラメータを取得するパラメータ取得部と、
   前記第１音量バランスパラメータに対応する、配信側にて第１音声素材同士を混合する際の音量バランスを表す第１音量バランス基準パラメータを決定し、該第１音量バランス基準パラメータに従う１個の第１音声ストリームを決定する要求ストリーム決定部と、
   前記要求ストリーム決定部により決定された前記第１音声ストリームを前記配信サーバから受信するストリーム受信部と、
   前記第１音量バランスパラメータ及び前記第１音量バランス基準パラメータの差に基づいて、前記ストリーム受信部により受信した前記第１音声ストリームの音量バランスを制御する音量制御部と、
   を備えることを特徴とする、再生装置。
6. 前記パラメータ取得部は、さらに視聴者により選択された素材組み合わせパラメータを取得し、
   前記要求ストリーム決定部は、前記素材組み合わせパラメータ及び前記第１音量バランスパラメータに従う１個の第１音声ストリームを決定することを特徴とする、請求項５に記載の再生装置。
7. 前記パラメータ取得部は、さらに視聴者により選択された１以上の第２音声ストリームの音量バランスを表すパラメータを第２音量バランスパラメータとして取得し、
   前記要求ストリーム決定部は、さらに第２音量バランスパラメータに従う１以上の第２音声ストリームを決定し、
   前記ストリーム受信部は、さらに前記要求ストリーム決定部により決定された前記１以上の第２音声ストリームを前記配信サーバから受信し、
   前記音量制御部は、さらに前記第２音量バランスパラメータに基づいて、前記ストリーム受信部により受信した前記第２音声ストリームの音量バランスを制御することを特徴とする、請求項５又は６に記載の再生装置。
8. コンピュータを、請求項５から７のいずれか一項に記載の再生装置として機能させるためのプログラム。
   
   

Images