JP2016208189A - 番組音声チャンネル数変換装置、放送番組受信装置及び番組音声チャンネル数変換プログラム - Google Patents

Abstract

【課題】番組音声のチャンネル数を変換する前後において、平均ラウドネス値を一定とし、ダイアログの聞き易さを保つ。【解決手段】番組音声チャンネル数変換装置１の変換前ラウドネス値算出手段１１は、入力音声信号に対し、番組の全区間について全チャンネル、ダイアログ及び背景音の平均ラウドネス値を算出する。チャンネル数変換手段１２は、入力音声信号のチャンネル数を変換する。変換後ラウドネス値算出手段１３は、チャンネル数変換後の音声信号に対し、番組の全区間について全チャンネル、ダイアログ及び背景音の平均ラウドネス値を算出する。ラウドネス調整手段１４は、全チャンネルの平均ラウドネス値がチャンネル数変換前後で一致し、かつ、ダイアログの平均ラウドネス値がチャンネル数変換前におけるダイアログの平均ラウドネス値以上の所定値に一致するように、チャンネル数変換後の音声信号のレベルを調整する。【選択図】図１

Description

本発明は、番組音声の送出時または受信時に、番組音声の制作時とは異なるチャンネル数の音響方式で再生するために、番組音声のチャンネル数を変換する番組音声チャンネル数変換装置、放送番組受信装置及び番組音声チャンネル数変換プログラムに関する。

従来、番組音声のチャンネル数を変換する際に、予め設定された変換係数（非特許文献１，２を参照）、または各チャンネルの音声信号の再生時に想定される位置（想定されるスピーカの位置）及び角度から算出された変換係数（非特許文献３を参照）が用いられる。具体的には、チャンネル数変換前の各チャンネルの音声信号に変換係数が乗算され、乗算結果が加算されることにより、チャンネル数変換後の音声信号が生成される。

例えば、２２．２ｃｈの音響方式から５．１ｃｈの音響方式へチャンネル数を変換する技術、及び５．１ｃｈの音響方式から２ｃｈの音響方式へチャンネル数を変換する技術は、前記非特許文献１の標準規格ＡＲＩＢ ＳＴＤ−Ｂ３２、及び前記非特許文献２の勧告ＩＴＵ−Ｒ ＢＳ．７７５−３等に記載されている。

このようなチャンネル数変換手法は、各チャンネルの音声信号の再生位置に基づいており、音声信号がダイアログであるか、楽器音または背景音であるかに関わることなく、一定の変換係数が用いられる。

しかしながら、例えば番組の視聴者が高齢者の場合には、背景音の影響でダイアログが聞き取り難いという傾向がある。この場合、ダイアログ及び背景音の音圧レベルは、高齢者に適するように調整されることが望ましい（非特許文献４を参照）。

一方で、番組音声の大きさを評価するラウドネス値の測定法が知られており、このラウドネス測定法にて測定される平均ラウドネス値により、番組音声レベルの管理が行われている（非特許文献５を参照）。このラウドネス測定法に従い、番組の全区間（番組の開始時点から終了時点までの間の全時間区間）の平均ラウドネス値が目標ラウドネス値（−２４ＬＫＦＳ）の許容範囲内（±１ｄＢ）に収まるように、番組制作の運用が定められている（非特許文献６を参照）。これにより、番組間及び放送局間の番組音声の音量感を統一することができる。

ＡＲＩＢ標準規格、ＡＲＩＢ ＳＴＤ−Ｂ３２ ３．０版、"デジタル放送における映像符号化、音声符号化及び多重化方式" ＩＴＵ勧告、Recommendation ＩＴＵ−Ｒ ＢＳ．７７５−３、"Multichannel stereophonic sound system with and without accompanying picture" Ville Pulkki、"Localization of amplitude-panned virtual sources II：two- and three-dimensional panning"、J.AudioEng. Soc.、Vol.49、No.9、pp.753-767、2001 小森、都木、黒住、庄田、村川、"高齢者にも聞きやすい放送番組の音量バランス客観評価技術"、電子情報通信学会技術研究報告ＷＩＴ、vol.110、no.164、pp.35-40、2010 ＩＴＵ勧告、Recommendation ＩＴＵ−Ｒ ＢＳ．１７７０−３、"Algorithms to measure audio programme loudness and true-peak audio level" ＡＲＩＢ技術資料、ＡＲＩＢ ＴＲ−Ｂ３２、"デジタルテレビ放送番組におけるラウドネス運用規定"

前述のとおり、従来のチャンネル数変換手法では、チャンネル数を変換するための変換係数として、音声信号の種類に関わらず、各チャンネルの音声信号の再生位置に基づいた一定値を用いていた。このため、特に番組の視聴者が高齢者の場合には、番組によって、チャンネル数変換後の音声信号では、背景音の影響でダイアログが聞き難くなることがあった。

また、前記非特許文献５の勧告ＩＴＵ−Ｒ ＢＳ．１７７０−３に規定されたラウドネス測定法では、各チャンネルの音声信号に対し、その再生位置に応じて異なる重み係数が乗算される。再生位置による重み係数とチャンネル数変換に用いられる係数が異なるため、チャンネル数が変換される前後で平均ラウドネス値が変わってしまい、番組の全区間の平均ラウドネス値が、目標ラウドネス値の許容範囲内に収まらないことがあった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、チャンネル数を変換する前後において、平均ラウドネス値を一定とし、ダイアログの聞き易さを保つことが可能な番組音声チャンネル数変換装置、放送番組受信装置及び番組音声チャンネル数変換プログラムを提供することにある。

前記目的を達成するために、本発明による番組音声チャンネル数変換装置は、番組の入力音声信号のチャンネル数を変換し、出力音声信号を生成する番組音声チャンネル数変換装置において、前記入力音声信号における全チャンネルの音の大きさ、前記入力音声信号に含まれるダイアログの大きさ、及び前記入力音声信号に含まれる背景音の大きさをそれぞれ算出する変換前算出手段と、前記入力音声信号のチャンネル数を変換し、チャンネル数変換後の音声信号を生成するチャンネル数変換手段と、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号における全チャンネルの音の大きさ、前記チャンネル数変換後の音声信号に含まれるダイアログの大きさ、及び前記チャンネル数変換後の音声信号に含まれる背景音の大きさをそれぞれ算出する変換後算出手段と、全チャンネルの音の大きさが前記変換前算出手段により算出された全チャンネルの音の大きさに一致し、かつ、ダイアログの大きさが前記変換前算出手段により算出されたダイアログの大きさ以上の所定値に一致するように、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号のレベルを調整する調整手段と、を備えたことを特徴とする。

また、本発明による番組音声チャンネル数変換装置は、前記変換前算出手段の代わりに変換前ラウドネス値算出手段を、前記変換後算出手段の代わりに変換後ラウドネス値算出手段を、前記調整手段の代わりにラウドネス調整手段をそれぞれ備え、前記変換前ラウドネス値算出手段が、前記入力音声信号に対し、前記番組の全時間区間について、全チャンネルの平均ラウドネス値、前記入力音声信号に含まれるダイアログの平均ラウドネス値、及び前記入力音声信号に含まれる背景音の平均ラウドネス値をそれぞれ算出し、前記変換後ラウドネス値算出手段が、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号に対し、前記番組の全時間区間について、全チャンネルの平均ラウドネス値、前記チャンネル数変換後の音声信号に含まれるダイアログの平均ラウドネス値、及び前記チャンネル数変換後の音声信号に含まれる背景音の平均ラウドネス値をそれぞれ算出し、前記ラウドネス調整手段が、全チャンネルの平均ラウドネス値が前記変換前ラウドネス値算出手段により算出された全チャンネルの平均ラウドネス値に一致し、かつ、ダイアログの平均ラウドネス値が前記変換前ラウドネス値算出手段により算出されたダイアログの平均ラウドネス値以上の所定値に一致するように、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号のレベルを調整する、ことを特徴とする。

また、本発明による番組音声チャンネル数変換装置は、さらに、メタデータ抽出手段を備え、前記メタデータ抽出手段が、前記入力音声信号からメタデータを抽出し、前記メタデータから、前記平均ラウドネス値を算出する際に用いるデータであって、チャンネル数変換前後における各チャンネルの音声信号の再生位置に関するチャンネル配置情報、及び各チャンネルの音声信号がダイアログ及び背景音のいずれであるかを示すダイアログ判定値を抽出する、ことを特徴とする。

また、本発明による番組音声チャンネル数変換装置は、さらに、チャンネル分離手段を備え、前記チャンネル分離手段が、前記入力音声信号を構成する各チャンネルの音声信号のうち、ダイアログ成分及び背景音成分を含むチャンネルの音声信号から、前記ダイアログ成分の音声信号であるダイアログと前記背景音成分の音声信号である背景音とを分離する、ことを特徴とする。

また、本発明による番組音声チャンネル数変換装置は、前記入力音声信号の各チャンネルのうち、センターチャンネル、レフトチャンネル、ライトチャンネル、上層のセンターチャンネル及び下層のセンターチャンネルのうちの少なくとも１つをダイアログチャンネルとして扱うみなし処理を行い、前記ダイアログチャンネルの音声信号を、前記入力音声信号に含まれるダイアログとする、ことを特徴とする。

また、本発明による番組音声チャンネル数変換装置は、予め設定された指定に基づいて、前記みなし処理を行い、前記指定がみなし処理を行わないことを示している場合、前記みなし処理を行うことなく、前記変換前ラウドネス値算出手段が、前記入力音声信号に対し、前記番組の全時間区間について全チャンネルのラウドネス値のみを算出し、前記変換後ラウドネス値算出手段が、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号に対し、前記番組の全時間区間について全チャンネルのラウドネス値のみを算出し、前記ラウドネス調整手段が、全チャンネルの平均ラウドネス値が前記変換前ラウドネス値算出手段により算出された全チャンネルの平均ラウドネス値に一致するように、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号のレベルを調整する、ことを特徴とする。

さらに、本発明による番組音声チャンネル数変換プログラムは、コンピュータを、前記番組音声チャンネル数変換装置として機能させることを特徴とする。

また、本発明による放送番組受信装置は、放送番組の映像信号及び音声信号を受信し、前記映像信号及び前記音声信号を再生する放送番組受信装置において、前記番組音声チャンネル数変換装置を備えたことを特徴とする。

以上のように、本発明によれば、チャンネル数を変換する前後において、平均ラウドネス値を一定とし、ダイアログの聞き易さを保つことが可能となる。

本発明の実施形態による番組音声チャンネル数変換装置の構成を示すブロック図である。 番組音声チャンネル数変換装置の処理を示すフローチャートである。 変換前ラウドネス値算出手段の構成例を示すブロック図である。 ラウドネス調整手段により調整されるラウドネス値を説明する図である。 ラウドネス調整手段の構成例を示すブロック図である。 ラウドネス調整手段の処理を示すフローチャートである。 ラウドネス調整手段により調整されるラウドネス値及び出力音声信号を説明する図である 本発明の他の実施形態による番組音声チャンネル数変換装置の構成を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、音声信号のチャンネル数を変換する際に、チャンネル数変換前後における全チャンネルの音の大きさが一致し、かつ、チャンネル数変換前後のダイアログの大きさが同じになり、またはチャンネル数変換後のダイアログの大きさがチャンネル数変換前よりも大きくなるように、チャンネル数変換後の音声信号のレベルを調整することを特徴とする。

〔番組音声チャンネル数変換装置〕
まず、本発明の実施形態による番組音声チャンネル数変換装置について説明する。図１は、本発明の実施形態による番組音声チャンネル数変換装置の構成を示すブロック図であり、図２は、番組音声チャンネル数変換装置の処理を示すフローチャートである。この番組音声チャンネル数変換装置１は、変換前ラウドネス値算出手段（変換前算出手段）１１、チャンネル数変換手段１２、変換後ラウドネス値算出手段（変換後算出手段）１３及びラウドネス調整手段（調整手段）１４を備えている。

番組音声チャンネル数変換装置１には、Ｎ個のチャンネルにて制作された番組音声である入力音声信号、チャンネル数変換前における各チャンネルの音声信号の再生位置及びチャンネル数変換後における各チャンネルの音声信号の再生位置に関するチャンネル配置情報、各チャンネルの音声信号がダイアログ及び背景音のいずれであるかを示すダイアログ判定値、並びに、番組の全区間における平均ラウドネス値の目標値である目標ラウドネス値がそれぞれ入力される。そして、番組音声チャンネル数変換装置１により、チャンネル数Ｎの音声信号がチャンネル数Ｍの音声信号に変換され、Ｍ個のチャンネルに変換された番組音声が出力音声信号として出力される。ここで、Ｍ，Ｎは、一般に異なる正の整数であるが、再生位置が異なる場合は、Ｍ，Ｎが同数であってもよい。

チャンネル配置情報は、予め設定された情報として番組音声チャンネル数変換装置１に入力され、ダイアログ判定値及び目標ラウドネス値は、予め設定された値として番組音声チャンネル数変換装置１に入力される。

（変換前ラウドネス値算出手段１１）
変換前ラウドネス値算出手段１１は、チャンネル数Ｎの入力音声信号、チャンネル配置情報及びダイアログ判定値を入力し、入力音声信号を構成する各チャンネルの音声信号について、ダイアログ判定値に基づいて、ダイアログチャンネルの音声信号（ダイアログ）と背景音チャンネルの音声信号（背景音）とに振り分けることで、各チャンネルの音声信号を分類する（ステップＳ２０１）。

変換前ラウドネス値算出手段１１は、全チャンネルの音声信号に対し、番組の全区間について、チャンネル配置情報に基づいた重み係数等を用いて全チャンネルの平均ラウドネス値を算出する（ステップＳ２０２）と共に、ステップＳ２０１にて分類したダイアログチャンネルの音声信号に対し、番組の全区間について、チャンネル配置情報に基づいた重み係数等を用いてダイアログの平均ラウドネス値を算出する（ステップＳ２０３）。また、変換前ラウドネス値算出手段１１は、ステップＳ２０１にて分類した背景音チャンネルの音声信号に対し、番組の全区間について、チャンネル配置情報に基づいた重み係数等を用いて背景音の平均ラウドネス値を算出する（ステップＳ２０４）。

これにより、変換前ラウドネス値算出手段１１において、チャンネル数変換前の全チャンネルの平均ラウドネス値、チャンネル数変換前のダイアログの平均ラウドネス値、及び、チャンネル数変換前の背景音の平均ラウドネス値が算出され、変換前のラウドネス値としてラウドネス調整手段１４へ出力される。

図３は、変換前ラウドネス値算出手段１１の構成例を示すブロック図であり、入力音声信号のチャンネル数が５（Ｎ＝５）の場合を示している。この変換前ラウドネス値算出手段１１は、フィルタ処理段２１、二乗平均段２２、重み処理段２３、分類段２４、加算段２５、及び、絶対及び相対ゲーティング段２６を備えている。

フィルタ処理段２１は、各チャンネルの音声信号を入力し、チャンネル毎に、音声信号に対してＫ特性フィルタ処理を施す。二乗平均段２２は、チャンネル毎に、フィルタ処理段２１によりＫ特性フィルタ処理が施された音声信号の二乗平均値を算出する。

重み処理段２３は、チャンネル配置情報に含まれるチャンネル数変換前における各チャンネルの音声信号の再生位置に基づいて、各チャンネルの重み係数を決定し、チャンネル毎に、二乗平均段２２により算出された二乗平均値に、対応するチャンネルの重み係数を乗算する。ここで、重み処理段２３には、チャンネル毎の再生位置に対応する重み係数が予め保持されており、各チャンネルの音声信号の再生位置及び予め保持された重み係数に従って、各チャンネルの重み係数が決定される。これにより、チャンネル毎に、重み係数が乗算された二乗平均値が得られる。

分類段２４は、重み処理段２３からチャンネル毎の重み係数が乗算された二乗平均値をそれぞれ入力し、ダイアログ判定値に基づいて、各チャンネルの音声信号をダイアログまたは背景音に分類する。そして、分類段２４は、全チャンネルの二乗平均値、ダイアログの二乗平均値及び背景音の二乗平均値を加算段２５に出力する。

加算段２５は、分類段２４から全チャンネルの二乗平均値、ダイアログの二乗平均値及び背景音の二乗平均値を入力する。そして、加算段２５は、全チャンネルの二乗平均値を加算し、全チャンネルの二乗平均の瞬時値を求める。加算段２５は、同様に、ダイアログの二乗平均値を加算し、ダイアログのみの二乗平均の瞬時値を求めると共に、背景音の二乗平均値を加算し、背景音のみの二乗平均の瞬時値を求める。

絶対及び相対ゲーティング段２６は、加算段２５により求めた全チャンネルの二乗平均の瞬時値に対し、絶対ゲーティング処理及び相対ゲーティング処理を施し、番組の全区間について、全チャンネルの二乗平均値Ｚ_tを求める。また、絶対及び相対ゲーティング段２６は、以下の式により、全チャンネルの二乗平均値Ｚ_tを全チャンネルの平均ラウドネス値Ｌ_t（ＬＫＦＳ）に変換する。
［数１］
Ｌ_t＝−０．６９１＋１０ｌｏｇ₁₀Ｚ_t ・・・（１）

絶対及び相対ゲーティング段２６は、加算段２５により求めたダイアログの二乗平均の瞬時値に対し、絶対ゲーティング処理及び相対ゲーティング処理を施し、番組の全区間について、ダイアログの二乗平均値Ｚ_dを求める。また、絶対及び相対ゲーティング段２６は、以下の式により、ダイアログの二乗平均値Ｚ_dをダイアログの平均ラウドネス値Ｌ_dに変換する。
［数２］
Ｌ_d＝−０．６９１＋１０ｌｏｇ₁₀Ｚ_d ・・・（２）

絶対及び相対ゲーティング段２６は、ダイアログの二乗平均値Ｚ_d及びラウドネス値Ｌ_dを求める処理と同様に、番組の全区間について、背景音の二乗平均値Ｚ_bを求め、以下の式により、背景音の二乗平均値Ｚ_bを背景音の平均ラウドネス値Ｌ_bに変換する。
［数３］
Ｌ_b＝−０．６９１＋１０ｌｏｇ₁₀Ｚ_b ・・・（３）

図３の例は、チャンネル番号３の音声信号がダイアログであり、チャンネル番号１，２，４，５の音声信号が背景音である場合を示している。加算段２５により、チャンネル番号１〜５の二乗平均値が加算されて全チャンネルの二乗平均の瞬時値が求められ、チャンネル番号３の二乗平均値がダイアログのみの二乗平均の瞬時値として求められ、チャンネル番号１，２，４，５の二乗平均値が加算されて背景音のみの二乗平均の瞬時値が求められる。そして、絶対及び相対ゲーティング段２６により、チャンネル番号１〜５の音声信号について全チャンネルの二乗平均値Ｚ_t及び平均ラウドネス値Ｌ_tが求められ、チャンネル番号３の音声信号についてダイアログの二乗平均値Ｚ_d及び平均ラウドネス値Ｌ_dが求められ、チャンネル番号１，２，４，５の音声信号について背景音の二乗平均値Ｚ_b及び平均ラウドネス値Ｌ_bが求められる。

これにより、チャンネル数変換前のダイアログの音声信号と背景音の音声信号との間のミキシングバランスを知ることができる。変換前ラウドネス値算出手段１１により算出されたチャンネル数変換前の全チャンネルの平均ラウドネス値（二乗平均値Ｚ_t及び平均ラウドネス値Ｌ_t）、チャンネル数変換前のダイアログの平均ラウドネス値（二乗平均値Ｚ_d及び平均ラウドネス値Ｌ_d）、及び、チャンネル数変換前の背景音の平均ラウドネス値（二乗平均値Ｚ_b及び平均ラウドネス値Ｌ_b）は、変換前のラウドネス値としてラウドネス調整手段１４へ出力される。

尚、前記非特許文献５の勧告ＩＴＵ−Ｒ ＢＳ．１７７０−３に規定されたラウドネス測定法によれば、平均ラウドネス値は、各チャンネルの音声信号にフィルタ処理を施し、二乗平均値を求め、重み係数を乗算し、全チャンネルを加算し、そして、絶対ゲーティング処理及び相対ゲーティング処理を行うことにより求められる。変換前ラウドネス値算出手段１１のフィルタ処理段２１、二乗平均段２２、重み処理段２３、加算段２５及び絶対及び相対ゲーティング段２６は、このラウドネス測定法に従った処理を行う。これらの処理の詳細については、前記非特許文献５の勧告ＩＴＵ−Ｒ ＢＳ．１７７０−３及び前記非特許文献６の技術資料ＡＲＩＢ ＴＲ−Ｂ３２を参照されたい。

（チャンネル数変換手段１２）
図１及び図２に戻って、チャンネル数変換手段１２は、チャンネル数Ｎの入力音声信号、チャンネル配置情報及びダイアログ判定値を入力し、チャンネル配置情報及びダイアログ判定値に基づいて、チャンネル数変換前のチャンネル配置（入力音声信号を構成する各チャンネルの音声信号の配置）及びチャンネル数変換後のチャンネル配置（チャンネル数変換後の音声信号を構成する各チャンネルの音声信号の配置）を特定する。そして、チャンネル数変換手段１２は、特定したチャンネル数変換前後のチャンネル配置に従い、予め設定された変換係数を用いて、入力音声信号のチャンネル数を変換し、チャンネル数変換後の音声信号を生成する。つまり、チャンネル数変換手段１２は、予め設定された変換係数を用いて、番組全体のチャンネル数を変換すると共に、ダイアログ判定値に従って、予め設定された変換係数を用いて、ダイアログチャンネルの音声信号のみについてチャンネル数を変換し、また、背景音チャンネルの音声信号のみについてチャンネル数を変換する。

具体的には、チャンネル数変換手段１２は、ステップＳ２０１の処理と同様に、入力した各チャンネルの音声信号について、ダイアログ判定値に基づいて、ダイアログチャンネルの音声信号と背景音チャンネルの音声信号とに振り分けることで、各チャンネルの音声信号を分類する。そして、チャンネル数変換手段１２は、各チャンネルにおける音声信号の分類及びチャンネル配置情報に基づいて、チャンネル数変換前後のダイアログチャンネルの音声信号についてのチャンネル配置、及びチャンネル数変換前後の背景音チャンネルの音声信号についてのチャンネル配置を特定する。

チャンネル数変換手段１２は、例えばチャンネル数５をチャンネル数２に変換する場合、特定したチャンネル数変換前後のチャンネル配置に従って、以下の式により、予め設定された変換係数Ｇ_C，Ｇ_L，Ｇ_R，Ｇ_LS，Ｇ_RSを用いて、入力した全チャンネルの音声信号Ｃ₅，Ｌ₅，Ｒ₅，Ｌs₅，Ｒs₅のチャンネル数５をチャンネル数２に変換し、チャンネル数変換後の全チャンネルの音声信号Ｌ₂，Ｒ₂を生成する（ステップＳ２０５）。
[数４]
Ｌ₂＝Ｇ_CＣ₅＋Ｇ_LＬ₅＋Ｇ_LSＬs₅
Ｒ₂＝Ｇ_CＣ₅＋Ｇ_RＲ₅＋Ｇ_RSＲs₅ ・・・（４）
ここで、音声信号Ｃ₅は、ダイアログチャンネルの音声信号であり、音声信号Ｌ₅，Ｒ₅，Ｌs₅，Ｒs₅は、背景音チャンネルの音声信号である。この場合の変換係数は、Ｇ_C，Ｇ_LS，Ｇ_RS＝０．７０７１、Ｇ_L，Ｇ_R＝１．０００が用いられる。

チャンネル数変換手段１２は、特定したチャンネル数変換前後のダイアログチャンネルの音声信号についてのチャンネル配置に従って、以下の式により、予め設定された変換係数Ｇ_Cを用いて、入力したダイアログチャンネルの音声信号Ｃ₅のチャンネル数１をチャンネル数２に変換し、チャンネル数変換後のダイアログチャンネルの音声信号（ダイアログの音声信号）Ｌ_d2，Ｒ_d2を生成する（ステップＳ２０６）。
[数５]
Ｌ_d2＝Ｇ_CＣ₅
Ｒ_d2＝Ｇ_CＣ₅ ・・・（５）

ここで、番組全体のチャンネル数は５から２に変換されるが、チャンネル数変換後の番組全体のチャンネル数２の音声信号のそれぞれには、ダイアログが含まれる。このため、ダイアログのみに着目すると、チャンネル数変換前のダイアログチャンネルのチャンネル数は１であり、チャンネル数変換後のダイアログチャンネルのチャンネル数は２となる。

チャンネル数変換手段１２は、特定したチャンネル数変換前後の背景音チャンネルの音声信号についてのチャンネル配置に従って、以下の式により、予め設定された変換係数Ｇ_LS，Ｇ_RS，Ｇ_L，Ｇ_Rを用いて、入力した背景音チャンネルの音声信号Ｌ₅，Ｒ₅，Ｌs₅，Ｒs₅のチャンネル数４をチャンネル数２に変換し、チャンネル数変換後の背景音チャンネルの音声信号（背景音の音声信号）Ｌ_b2，Ｒ_b2を生成する（ステップＳ２０７）。
[数６]
Ｌ_b2＝Ｇ_LＬ₅＋Ｇ_LSＬs₅
Ｒ_b2＝Ｇ_RＲ₅＋Ｇ_RSＲs₅ ・・・（６）

ここで、番組全体のチャンネル数は５から２に変換されるが、チャンネル数変換後の番組全体のチャンネル数２の音声信号のそれぞれには、背景音が含まれる。このため、背景音のみに着目すると、チャンネル数変換前の背景音チャンネルのチャンネル数は４であり、チャンネル数変換後の背景音チャンネルのチャンネル数は２となる。

これにより、チャンネル数変換手段１２において、チャンネル数変換後の全チャンネルの音声信号、チャンネル数変換後のダイアログチャンネルの音声信号、及びチャンネル数変換後の背景音チャンネルの音声信号が生成され、変換後の音声信号としてラウドネス調整手段１４へ出力される。

尚、本発明は、チャンネル数変換手段１２によるチャンネル数変換処理を前述の処理に限定するものではない。例えば、チャンネル数変換手段１２は、変換係数として、前記非特許文献２の勧告ＩＴＵ-Ｒ ＢＳ．７７５−３または前記非特許文献１の標準規格ＡＲＩＢ ＳＴＤ−Ｂ３２等に規定されたダウンミックス係数を用いるようにしてもよい。また、チャンネル数変換手段１２は、チャンネル位置に依存した角度に応じて変換係数を求め、この変換係数を用いてチャンネル数を変換するようにしてもよい。

（変換後ラウドネス値算出手段１３）
変換後ラウドネス値算出手段１３は、チャンネル配置情報を入力すると共に、チャンネル数変換手段１２から変換後の音声信号（チャンネル数変換後の全チャンネルの音声信号、チャンネル数変換後のダイアログチャンネルの音声信号、及びチャンネル数変換後の背景音チャンネルの音声信号）を入力する。

変換後ラウドネス値算出手段１３は、チャンネル配置情報に対応したチャンネル数変換後の全チャンネルの音声信号に対し、番組の全区間について、全チャンネルの平均ラウドネス値を算出すると共に（ステップＳ２０８）、チャンネル数変換後のダイアログチャンネルの音声信号に対し、番組の全区間について、ダイアログの平均ラウドネス値を算出する（ステップＳ２０９）。また、変換後ラウドネス値算出手段１３は、チャンネル数変換後の背景音チャンネルの音声信号に対し、番組の全区間について、背景音の平均ラウドネス値を算出する（ステップＳ２１０）。

これらのステップＳ２０８〜ステップＳ２１０の処理は、ステップＳ２０２〜ステップＳ２０４の処理及び図３に示した処理と同様であり、チャンネル数変換後における番組の全区間について、全チャンネルの二乗平均値Ｚ_t2及び平均ラウドネス値Ｌ_t2、ダイアログの二乗平均値Ｚ_d2及び平均ラウドネス値Ｌ_d2、並びに背景音の二乗平均値Ｚ_b2及び平均ラウドネス値Ｌ_b2が算出される。

これにより、変換後ラウドネス値算出手段１３において、チャンネル数変換後の全チャンネルの平均ラウドネス値（二乗平均値Ｚ_t2及び平均ラウドネス値Ｌ_t2）、チャンネル数変換後のダイアログの平均ラウドネス値（二乗平均値Ｚ_d2及び平均ラウドネス値Ｌ_d2）、及び、チャンネル数変換後の背景音の平均ラウドネス値（二乗平均値Ｚ_b2及び平均ラウドネス値Ｌ_b2）が算出され、変換後のラウドネス値としてラウドネス調整手段１４へ出力される。

（ラウドネス調整手段１４）
ラウドネス調整手段１４は、目標ラウドネス値を入力すると共に、チャンネル数変換手段１２から変換後の音声信号（チャンネル数変換後の全チャンネルの音声信号、チャンネル数変換後のダイアログチャンネルの音声信号、及び、チャンネル数変換後の背景音チャンネルの音声信号）を入力する。また、ラウドネス調整手段１４は、変換前ラウドネス値算出手段１１から変換前のラウドネス値（チャンネル数変換前の全チャンネルの平均ラウドネス値（二乗平均値Ｚ_t及び平均ラウドネス値Ｌ_t）、チャンネル数変換前のダイアログの平均ラウドネス値（二乗平均値Ｚ_d及び平均ラウドネス値Ｌ_d）、及び、チャンネル数変換前の背景音の平均ラウドネス値（二乗平均値Ｚ_b及び平均ラウドネス値Ｌ_b））を入力すると共に、変換後ラウドネス値算出手段１３から変換後のラウドネス値（チャンネル数変換後の全チャンネルの平均ラウドネス値（二乗平均値Ｚ_t2及び平均ラウドネス値Ｌ_t2）、チャンネル数変換後のダイアログの平均ラウドネス値（二乗平均値Ｚ_d2及び平均ラウドネス値Ｌ_d2）、及び、チャンネル数変換後の背景音の平均ラウドネス値（二乗平均値Ｚ_b2及び平均ラウドネス値Ｌ_b2））を入力する。

ここで、ラウドネス調整手段１４は、目標ラウドネス値及び変換後の音声信号を入力してラウドネス調整を行うにあたり、変換前ラウドネス値算出手段１１から、番組の全区間について事前に算出された変換前のラウドネス値を入力しておき、また、変換後ラウドネス値算出手段１３から、番組の全区間について事前に算出された変換後のラウドネス値を入力しておく。

ラウドネス調整手段１４は、変換前のラウドネス値及び変換後のラウドネス値に基づいて、ダイアログ及び背景音の目標ラウドネス値を算出し（ステップＳ２１１）、変換後の音声信号を調整し（ステップＳ２１２）、出力音声信号を生成する。具体的には、ラウドネス調整手段１４は、チャンネル数変換後の全チャンネルの音声信号について、平均ラウドネス値が目標ラウドネス値（チャンネル数変換前の全チャンネルの平均ラウドネス値）と一致し、かつ、チャンネル数変換後のダイアログチャンネルの音声信号について、平均ラウドネス値がチャンネル数変換前と一致するように、またはチャンネル数変換前よりも大きくなるように、チャンネル数変換後の音声信号のレベルを調整し、ラウドネス調整後のチャンネル数Ｍの音声信号を出力音声信号として生成する。

図４は、ラウドネス調整手段１４により調整されるラウドネス値を説明する図であり、チャンネル数を５から２に変換する場合の例を示している。以下、説明の便宜上、二乗平均値Ｚをラウドネス値として説明する。図４（１）は、チャンネル数変換前における全チャンネルの音声信号における加算値を表すラウドネス値Ｚ_t、ダイアログチャンネルの音声信号における加算値を表すダイアログＣのラウドネス値Ｚ_d、及び、背景音チャンネルの音声信号における加算値を表す背景音Ｌ，Ｒ，Ｌｓ，Ｒｓのラウドネス値Ｚ_bを示している。

図４（２）は、図４（１）に示したチャンネル数５の音声信号をチャンネル数２の音声信号に変換した後のラウドネス値を示しており、チャンネル数変換後の全チャンネルの音声信号における加算値を表すラウドネス値Ｚ_t2、ダイアログチャンネルの音声信号における加算値を表すダイアログＬ_d2，Ｒ_d2のラウドネス値Ｚ_d2、及び、背景音チャンネルの音声信号における加算値を表す背景音Ｌ_b2，Ｒ_b2のラウドネス値Ｚ_b2を示している。

図４（１）（２）に示すように、チャンネル数を変換することにより、ダイアログのラウドネス値Ｚ_d，Ｚ_d2が変化せず、背景音のラウドネス値Ｚ_b2が変換前のラウドネス値Ｚ_bよりも大きくなった場合を想定する。この場合、図４（３）に示すように、チャンネル数変換後の全チャンネルのラウドネス値Ｚ_t2とチャンネル数変換前の全チャンネルのラウドネス値Ｚ_tとが一致するように、チャンネル数変換後の音声信号を構成比率を保ったまま単純に調整すると、チャンネル数変換後のダイアログのラウドネス値Ｚ_d2は、チャンネル数変換前のダイアログのラウドネス値Ｚ_dよりも小さくなってしまう。

そこで、本発明の実施形態では、ラウドネス調整手段１４は、チャンネル数変換後の全チャンネルのラウドネス値Ｚ_t2とチャンネル数変換前の全チャンネルのラウドネス値Ｚ_tとが一致し、かつ、図４（４）に示すように、チャンネル数変換後のダイアログのラウドネス値Ｚ_d2とチャンネル数変換前のラウドネス値Ｚ_dとが一致するように、チャンネル数変換後の音声信号のレベルを調整する。これにより、ダイアログと背景音との間のミキシングバランスが崩れることなく、チャンネル数を変換することが可能となる。

図４（４）は、チャンネル数変換後の全チャンネルのラウドネス値Ｚ_t2とチャンネル数変換前の全チャンネルのラウドネス値Ｚ_tとが一致し、かつ、チャンネル数変換後のダイアログのラウドネス値Ｚ_d2とチャンネル数変換前のダイアログのラウドネス値Ｚ_dとが一致するように調整したチャンネル数変換後の全チャンネルの音声信号における加算値を表すラウドネス値Ｚ_t2、ダイアログチャンネルの音声信号における加算値を表すＺ_d2、及び、ダイアログチャンネルの音声信号における加算値を表すＺ_b2を示している。

また、本発明の実施形態では、ラウドネス調整手段１４は、チャンネル数変換後の全チャンネルのラウドネス値Ｚ_t2とチャンネル数変換前の全チャンネルのラウドネス値Ｚ_tとが一致し、かつ、図４（５）に示すように、チャンネル数変換後のダイアログのラウドネス値Ｚ_d2がチャンネル数変換前のラウドネス値Ｚ_ｄよりも大きくなるように、チャンネル数変換後の音声信号のレベルを調整する。

図４（５）は、チャンネル数変換後の全チャンネルのラウドネス値Ｚ_t2とチャンネル数変換前の全チャンネルのラウドネス値Ｚ_tとが一致し、かつ、チャンネル数変換後のダイアログのラウドネス値Ｚ_d2がチャンネル数変換前のダイアログの平均ラウドネス値Ｚ_dよりも大きくなるように調整したチャンネル数変換後の全チャンネルの音声信号における加算値を表すラウドネス値Ｚ_t2、ダイアログチャンネルの音声信号における加算値を表すラウドネス値Ｚ_d2、及び、背景音チャンネルの音声信号における加算値表すラウドネス値Ｚ_b2を示している。

本例のように、チャンネル数が５から２に少なくなることにより、ダイアログと背景音とが同じチャンネルに変換され、同じスピーカから再生される。この場合、ダイアログと背景音との音源位置が空間的に重なり、空間マスキングが生じてしまうことから、ダイアログが聞き取り難くなることがあり得る。そこで、チャンネル数変換後のダイアログのラウドネス値Ｚ_d2を大きくし、チャンネル数変換後の背景音のラウドネス値Ｚ_b2を小さくすることにより、このような不具合を解消することができる。

図５は、ラウドネス調整手段１４の構成例を示すブロック図であり、図６は、ラウドネス調整手段１４の処理を示すフローチャートである。図６は、図４と同様に、チャンネル数を５から２に変換する場合の例を示している。

このラウドネス調整手段１４は、目標ラウドネス値算出段３１及びレベル調整段３２を備えている。ラウドネス調整手段１４は、チャンネル数変換手段１２から変換後の音声信号、変換前ラウドネス値算出手段１１及び変換後ラウドネス値算出手段１３から変換前後のラウドネス値、及び目標ラウドネス値を入力する（ステップＳ６０１）。

具体的には、目標ラウドネス値算出段３１は、変換前ラウドネス値算出手段１１から、チャンネル数変換前の全チャンネルのラウドネス値Ｚ_t、ダイアログのラウドネス値Ｚ_d及び背景音のラウドネス値Ｚ_bを入力すると共に、変換後ラウドネス値算出手段１３から、チャンネル数変換後の全チャンネルのラウドネス値Ｚ_t2、ダイアログのラウドネス値Ｚ_d2及び背景音のラウドネス値Ｚ_b2を入力し、目標ラウドネス値Ｚ_ttを入力する。また、レベル調整段３２は、チャンネル数変換手段１２からチャンネル数変換後の音声信号Ｌ₂，Ｒ₂，Ｌ_d2，Ｒ_d2，Ｌ_b2，Ｒ_b2（Ｌ₂＝Ｌ_d2＋Ｌ_b2，Ｒ₂＝Ｒ_d2＋Ｒ_b2）を入力する。

ここで、チャンネル数変換前の全チャンネルのラウドネス値Ｚ_tは、目標ラウドネス値Ｚ_ttと同じである。また、音声信号Ｌ₂，Ｒ₂は、前記式（４）のとおり、チャンネル数変換後の全チャンネルの音声信号であり、音声信号Ｌ_d2，Ｒ_d2は、前記式（５）のとおり、チャンネル数変換後のダイアログチャンネルの音声信号であり、音声信号Ｌ_b2，Ｒ_b2は、前記式（６）のとおり、チャンネル数変換後の背景音チャンネルの音声信号である。

目標ラウドネス値算出段３１は、ラウドネス調整後の全チャンネルの目標ラウドネス値Ｚ_t2Aとして目標ラウドネス値Ｚ_ttを設定する（ステップＳ６０２：Ｚ_t2A＝Ｚ_tt（＝Ｚ_t））。そして、目標ラウドネス値算出段３１は、ラウドネス調整後のダイアログの目標ラウドネス値Ｚ_d2Aとして、チャンネル数変換前のダイアログの二乗平均値Ｚ_dと同じ値、または二乗平均値Ｚ_dよりも大きい所定値を設定する（ステップＳ６０３：Ｚ_d2A≧Ｚ_d）。この所定値は、チャンネル数変換前のダイアログの二乗平均値Ｚ_dよりも大きく、かつ、目標ラウドネス値Ｚ_tt（＝Ｚ_t）よりも小さい値である。

目標ラウドネス値算出段３１は、ステップＳ６０２にて設定した全チャンネルの目標ラウドネス値Ｚ_t2AからステップＳ６０３にて設定したダイアログの目標ラウドネス値Ｚ_d2Aを減算し、減算結果を、ラウドネス調整後の背景音の目標ラウドネス値Ｚ_b2Aに設定する（ステップＳ６０４：Ｚ_b2A＝Ｚ_t2A−Ｚ_d2A）。

目標ラウドネス値算出段３１は、ステップＳ６０２にて設定した全チャンネルの目標ラウドネス値Ｚ_t2A、ステップＳ６０３にて設定したダイアログの目標ラウドネス値Ｚ_d2A、及びステップＳ６０４にて設定した背景音の目標ラウドネス値Ｚ_b2Aをレベル調整段３２に出力する。

レベル調整段３２は、目標ラウドネス値算出段３１から全チャンネルの目標ラウドネス値Ｚ_t2A、ダイアログの目標ラウドネス値Ｚ_d2A及び背景音の目標ラウドネス値Ｚ_b2Aを入力する。そして、レベル調整段３２は、チャンネル数変換手段１２から入力した変換後の音声信号に対し、当該音声信号の全チャンネルのラウドネス値Ｚ_t2が全チャンネルの目標ラウドネス値Ｚ_t2Aと一致し、かつ、当該音声信号のダイアログのラウドネス値Ｚ_d2がダイアログの目標ラウドネス値Ｚ_d2Aに一致するように、当該音声信号のレベルを調整する（ステップＳ６０５）。

図７は、ラウドネス調整手段１４により調整されるラウドネス値及び出力音声信号を説明する図である。図７の左側に示すように、図６に示したステップＳ６０５の処理により、ラウドネス調整後のラウドネス値に対応する音声信号、すなわち、全チャンネルのラウドネス値Ｚ_t2A（図４（４）（５）ではＺ_t2）、ダイアログのラウドネス値Ｚ_d2A（図４（４）（５）ではＺ_d2）及び背景音のラウドネス値Ｚ_b2A（図４（４）（５）ではＺ_b2）の音声信号が得られる。この音声信号は、ダイアログのラウドネス値Ｚ_d2Aに対応するダイアログＬ_d2A，Ｒ_d2A、及び背景音のラウドネス値Ｚ_b2Aに対応する背景音Ｌ_b2A，Ｒ_b2Aにより構成される。

図６に戻って、レベル調整段３２は、図７の右側に示すように、ステップＳ６０５にて調整されたダイアログＬ_d2A及び背景音Ｌ_b2Aにより構成される音声信号Ｌ_2Aを生成すると共に、ステップＳ６０５にて調整されたダイアログＲ_d2A及び背景音Ｒ_b2Aにより構成される音声信号Ｒ_2Aを生成する。そして、レベル調整段３２は、チャンネル数２の音声信号Ｌ_2A，Ｒ_2Aをラウドネス調整後の音声信号である出力音声信号として出力する（ステップＳ６０６）。音声信号Ｌ_2A，Ｒ_2Aを生成するための加算処理は、前記式（４）に対応する。

このように、ラウドネス調整手段１４は、全チャンネルのラウドネス値が全チャンネルの目標ラウドネス値Ｚ_t2A（チャンネル数変換前の全チャンネルのラウドネス値Ｚ_t）と一致し、かつ、ダイアログのラウドネス値がダイアログの目標ラウドネス値Ｚ_d2A（チャンネル数変換前のダイアログのラウドネス値Ｚ_d以上の所定値）に一致するように、変換後の音声信号を構成するダイアログＬ_d2A，Ｒ_d2A及び背景音Ｌ_b2A，Ｒ_b2Aのレベルを調整し、チャンネル数２の音声信号Ｌ_2A（＝Ｌ_d2A＋Ｌ_b2A），Ｒ_2A（＝Ｒ_d2A＋Ｒ_b2A）をラウドネス調整後の音声信号である出力音声信号として出力する。

尚、ラウドネス調整手段１４のレベル調整段３２は、図６のステップＳ６０５において、変換後の音声信号に対し、当該音声信号の全チャンネルのラウドネス値Ｚ_t2が全チャンネルの目標ラウドネス値Ｚ_t2Aと一致し、かつ、当該音声信号のダイアログのラウドネス値Ｚ_d2がダイアログの目標ラウドネス値Ｚ_d2Aに一致するように、当該音声信号のレベルを調整するようにした。これに対し、レベル調整段３２は、変換後の音声信号に対し、当該音声信号のダイアログのラウドネス値Ｚ_d2がダイアログの目標ラウドネス値Ｚ_d2Aに一致し（図４の例では、チャンネル数変換後のダイアログのラウドネス値Ｚ_d2がチャンネル数変換前のダイアログのラウドネス値Ｚ_d、またはラウドネス値Ｚ_dよりも大きい値に一致し）、当該音声信号の背景音のラウドネス値Ｚ_b2が背景音の目標ラウドネス値Ｚ_b2Aに一致するように（図４の例では、チャンネル数変換後の背景音のラウドネス値Ｚ_b2がチャンネル数変換前の背景音のラウドネス値Ｚ_b、またはラウドネス値Ｚ_bよりも小さい値に一致するように）、当該音声信号のレベルを調整するようにしてもよい。

要するに、ラウドネス調整手段１４のレベル調整段３２は、全チャンネルのラウドネス値がチャンネル数変換前の全チャンネルのラウドネス値Ｚ_tと一致し、かつ、ダイアログのラウドネス値がチャンネル数変換前のダイアログのラウドネス値Ｚ_dよりも小さくならないように、変換後の音声信号のレベルを調整すればよい。

以上のように、本発明の実施形態の番組音声チャンネル数変換装置１によれば、変換前ラウドネス値算出手段１１は、チャンネル数Ｎの入力音声信号について、ダイアログ判定値に基づいて、ダイアログと背景音とに分類し、番組の全区間について、チャンネル配置情報に基づいた重み係数等を用いて、全チャンネルの平均ラウドネス値、ダイアログの平均ラウドネス値及び背景音の平均ラウドネス値を算出するようにした。

チャンネル数変換手段１２は、チャンネル配置情報に基づいて、チャンネル数変換前のチャンネル配置及びチャンネル数変換後のチャンネル配置を特定し、特定したチャンネル数変換前後のチャンネル配置に従い、予め設定された変換係数を用いて、入力音声信号のチャンネル数Ｎを出力音声信号のチャンネル数Ｍに変換し、チャンネル数変換後の全チャンネルの音声信号、ダイアログチャンネルの音声信号及び背景音チャンネルの音声信号を生成するようにした。また、変換後ラウドネス値算出手段１３は、チャンネル数変換後の全チャンネルの音声信号、ダイアログチャンネルの音声信号及び背景音チャンネルの音声信号に対し、番組の全区間について、全チャンネルの平均ラウドネス値、ダイアログの平均ラウドネス値及び背景音の平均ラウドネス値を算出するようにした。

ラウドネス調整手段１４は、全チャンネルの平均ラウドネス値がチャンネル数変換前の全チャンネルの平均ラウドネス値と一致し、かつ、ダイアログの平均ラウドネス値がチャンネル数変換前のダイアログの平均ラウドネス値以上の所定値に一致するように、チャンネル数変換後の音声信号を構成するダイアログ及び背景音のレベルを調整し、チャンネル数Ｍの音声信号をラウドネス調整後の音声信号である出力音声信号として出力するようにした。

これにより、チャンネル数変換前後の音声信号の平均ラウドネス値を一定とすることができるから、チャンネル数変換前の音声信号について、番組の全区間の平均ラウドネス値が目標ラウドネス値の許容範囲内に収まっていれば、チャンネル数変換後の音声信号についても、番組の全区間の平均ラウドネス値を目標ラウドネス値の許容範囲内に収めることができる。また、ダイアログの平均ラウドネス値がチャンネル数変換前のダイアログの平均ラウドネス値よりも小さくなることがないから、チャンネル数変換前後の音声信号について、ダイアログの聞き易さを保つことが可能となる。

〔番組音声チャンネル数変換装置／他の実施形態〕
次に、本発明の他の実施形態による番組音声チャンネル数変換装置について説明する。図８は、本発明の他の実施形態による番組音声チャンネル数変換装置の構成を示すブロック図である。この番組音声チャンネル数変換装置２は、変換前ラウドネス値算出手段１１、チャンネル数変換手段１２、変換後ラウドネス値算出手段１３、ラウドネス調整手段１４、メタデータ抽出手段１５及びチャンネル分離手段１６を備えている。番組音声チャンネル数変換装置２は、チャンネル数Ｎの入力音声信号のうちダイアログ成分及び背景音成分を含むチャンネルの音声信号から、ダイアログ及び背景音を分離し、入力音声信号に含まれるメタデータからチャンネル配置情報、ダイアログ判定値及び目標ラウドネス値を抽出するものである。

図１に示した本発明の実施形態による番組音声チャンネル数変換装置１と図８に示す本発明の他の実施形態による番組音声チャンネル数変換装置２とを比較すると、番組音声チャンネル数変換装置１，２は、変換前ラウドネス値算出手段１１、チャンネル数変換手段１２、変換後ラウドネス値算出手段１３、ラウドネス調整手段１４を備えている点で同一であるが、番組音声チャンネル数変換装置２は、番組音声チャンネル数変換装置１の構成に加え、さらに、メタデータ抽出手段１５及びチャンネル分離手段１６を備えている点で相違する。また、図１に示した番組音声チャンネル数変換装置１におけるチャンネル数Ｎの入力音声信号は、ダイアログ専用チャンネルの音声信号及び背景音専用チャンネルの音声信号により構成されているが、図８に示す番組音声チャンネル数変換装置２におけるチャンネル数Ｎの入力音声信号には、ダイアログ成分と背景音成分とを含むチャンネルの音声信号が含まれる点で相違する。図８に示す番組音声チャンネル数変換装置２において、図１に示した番組音声チャンネル数変換装置１の構成と共通する部分には図１と同一の符号を付し、その詳しい説明は省略する。

メタデータ抽出手段１５は、チャンネル数Ｎの入力音声信号を入力し、入力音声信号からメタデータを抽出し、メタデータからチャンネル配置情報、ダイアログ判定値及び目標ラウドネス値を抽出する。そして、メタデータ抽出手段１５は、抽出したチャンネル配置情報を変換前ラウドネス値算出手段１１、チャンネル数変換手段１２及び変換後ラウドネス値算出手段１３に出力し、抽出したダイアログ判定値を変換前ラウドネス値算出手段１１、チャンネル数変換手段１２及びチャンネル分離手段１６に出力し、抽出した目標ラウドネス値をラウドネス調整手段１４に出力する。チャンネル配置情報及びダイアログ判定値は、変換前ラウドネス値算出手段１１及び変換後ラウドネス値算出手段１３において平均ラウドネス値を算出する際に用いられる。また、ダイアログ判定値は、後述するチャンネル分離手段１６においてチャンネルを分離する際に用いられる。さらに、目標ラウドネス値は、ラウドネス調整手段１４においてラウドネス調整する際に用いられる。

ここで、ダイアログ判定値には、各チャンネルの音声信号がダイアログ及び背景音のいずれであるかを示す値に加え、ダイアログ成分及び背景音成分を含む音声信号であることを示す値が含まれるものとする。

チャンネル分離手段１６は、チャンネル数Ｎの入力音声信号を入力すると共に、メタデータ抽出手段１５からダイアログ判定値を入力し、ダイアログ判定値に基づいて、ダイアログ成分及び背景音成分を含むチャンネルの音声信号を特定する。そして、チャンネル分離手段１６は、当該音声信号から、ダイアログ成分の音声信号と背景音成分の音声信号とを分離し、ダイアログチャンネルの音声信号及び背景音チャンネルの音声信号として変換前ラウドネス値算出手段１１に出力する。この分離手法（ダイアログ成分と背景音成分とを含むチャンネルの音声信号から、ダイアログ成分の音声信号と背景音成分の音声信号とを分離する手法）は既知であり、様々な手法がある。チャンネル分離手段１６は、どのよな分離手法を用いてもよく、その手法は問わない。

また、チャンネル分離手段１６は、ダイアログ判定値に基づいて、ダイアログチャンネルの音声信号及び背景音チャンネルの音声信号を特定し、特定したチャンネルの音声信号をそのまま変換前ラウドネス値算出手段１１に出力する。

以上のように、本発明の他の実施形態の番組音声チャンネル数変換装置２によれば、番組音声チャンネル数変換装置１の構成に加え、メタデータ抽出手段１５は、入力音声信号に含まれるメタデータからチャンネル配置情報、ダイアログ判定値及び目標ラウドネス値を抽出し、チャンネル分離手段１６は、ダイアログ成分と背景音成分とを含むチャンネルの音声信号からダイアログ及び背景音を分離するようにした。

これにより、入力音声信号に、ダイアログ成分と背景音成分とを含むチャンネルの音声信号が存在する場合であっても、また、チャンネル配置情報、ダイアログ判定値及び目標ラウドネス値が予め設定されない場合であっても、変換前ラウドネス値算出手段１１は、変換前のラウドネス値を算出することができ、チャンネル数変換手段１２は、入力音声信号のチャンネル数を変換することができ、変換後ラウドネス値算出手段１３は、変換後のラウドネス値を算出することができる。したがって、本発明の実施形態の番組音声チャンネル数変換装置１と同様に、チャンネル数を変換する前後において、平均ラウドネス値を一定とし、ダイアログの聞き易さを保つことが可能となる。

尚、本発明の実施形態による番組音声チャンネル数変換装置１のハードウェア構成及び本発明の他の実施形態による番組音声チャンネル数変換装置２のハードウェア構成としては、通常のコンピュータを使用することができる。番組音声チャンネル数変換装置１，２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。番組音声チャンネル数変換装置１に備えた変換前ラウドネス値算出手段１１、チャンネル数変換手段１２、変換後ラウドネス値算出手段１３及びラウドネス調整手段１４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、番組音声チャンネル数変換装置２に備えた変換前ラウドネス値算出手段１１、チャンネル数変換手段１２、変換後ラウドネス値算出手段１３、ラウドネス調整手段１４、メタデータ抽出手段１５及びチャンネル分離手段１６の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

以上、実施形態及び他の実施形態を挙げて本発明を説明したが、本発明は前記実施形態及び前記他の実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態及び前記他の実施形態では、番組音声チャンネル数変換装置１，２の変換前ラウドネス値算出手段１１及び変換後ラウドネス値算出手段１３は、前記非特許文献５の勧告ＩＴＵ−Ｒ ＢＳ．１７７０−３に規定されたラウドネス測定法により平均ラウドネス値を算出するようにしたが、平均ラウドネス値の代わりに、平均音圧レベル、５％時間率平均音圧レベル等のような音の大きさを表す指標を算出するようにしてもよい。平均ラウドネス値は音の大きさの主観量に対応する数値であるのに対し、平均音圧レベルは音の大きさの客観量に対応する数値である。

この場合、変換前ラウドネス値算出手段１１は、入力音声信号における全チャンネルの音の大きさ、入力音声信号に含まれるダイアログの大きさ、及び入力音声信号に含まれる背景音の大きさをそれぞれ算出し、変換後ラウドネス値算出手段１３は、チャンネル数変換手段１２によりチャンネル数が変換された変換後の音声信号における全チャンネルの音の大きさ、変換後の音声信号に含まれるダイアログの大きさ、及び変換後の音声信号に含まれる背景音の大きさをそれぞれ算出する。そして、ラウドネス調整手段１４は、変換前ラウドネス値算出手段１１及び変換後ラウドネス値算出手段１３により算出されたチャンネル数変換前後の音の大きさに基づいて、チャンネル数変換後の音声信号のレベルを調整する。

また、前記実施形態及び前記他の実施形態では、番組音声チャンネル数変換装置１，２の変換前ラウドネス値算出手段１１及び変換後ラウドネス値算出手段１３は、番組の全区間についての平均ラウドネス値を算出するようにしたが、一定時間毎の短時間ラウドネス値を算出するようにしてもよい。ラウドネス調整手段１４は、変換前ラウドネス値算出手段１１及び変換後ラウドネス値算出手段１３により算出された一定時間毎の短時間ラウドネス値に基づいて、前記一定時間毎に、チャンネル数変換後の音声信号のレベルを調整する。これにより、生放送番組等に対応した逐次処理を行うことが可能となる。

また、前記他の実施形態では、番組音声チャンネル数変換装置２は、変換前ラウドネス値算出手段１１、チャンネル数変換手段１２、変換後ラウドネス値算出手段１３、ラウドネス調整手段１４、メタデータ抽出手段１５及びチャンネル分離手段１６を備えて構成するようにしたが、これらの構成部からメタデータ抽出手段１５を除いて構成するようにしてもよい。チャンネル配置情報、ダイアログ判定値及び目標ラウドネス値は、図１に示した番組音声チャンネル数変換装置１と同様に、予め設定される。これにより、番組音声チャンネル数変換装置２は、入力音声信号からメタデータを抽出する必要がなく、メタデータからチャンネル配置情報、ダイアログ判定値及び目標ラウドネス値を抽出する必要がないから、処理負荷を低減することができる。

さらに、番組音声チャンネル数変換装置２は、図８に示した構成部からチャンネル分離手段１６を除いて構成するようにしてもよい。入力音声信号における各チャンネルの音声信号は、ダイアログ及び背景音のうちのいずれかである。

また、前記実施形態では、入力音声信号にダイアログのチャンネルが含まれる場合について説明し、前記他の実施形態では、入力音声信号を構成する少なくとも１つのチャンネルの音声信号にダイアログ成分及び背景音成分が含まれる場合について説明した。これらは、入力音声信号からダイアログを区別することができる場合を想定している。しかし、前記実施形態において、ユーザがチャンネル配置情報等を予め入手することができない場合、または、前記他の実施形態において、入力音声信号にメタデータが付与されていない場合があり得る。また、前記他の実施形態において、番組音声チャンネル数変換装置２のチャンネル分離手段１６による音源分離技術を用いたとしても、入力音声信号からダイアログを分離することができない場合もあり得る。この場合、入力音声信号からダイアログを区別することができない。

そこで、番組音声チャンネル数変換装置１，２の変換前ラウドネス値算出手段１１及びチャンネル数変換手段１２は、入力音声信号のセンターチャンネル（Ｃ−ｃｈ：Ｃｅｎｔｒｅ ｃｈａｎｎｅｌ）、センターチャンネル及び両サイドのチャンネル（Ｌ−ｃｈ（レフトチャンネル）：Ｌｅｆｔ ｃｈａｎｎｅｌ，Ｒ−ｃｈ（ライトチャンネル）：Ｒｉｇｈｔ ｃｈａｎｎｅｌ）、または、センターチャンネル及び上層・下層のセンターチャンネル（ＴｐＦＣ：Ｔｏｐ ｆｒｏｎｔ ｃｅｎｔｒｅ ｃｈａｎｎｅｌ／Ｃｖ：ｃｅｎｔｒｅ ｆｒｏｎｔ ｖｅｒｔｉｃａｌ ｈｅｉｇｈｔ，ＢｔＦＣ：Ｂｏｔｔｏｍ ｆｒｏｎｔ ｃｅｎｔｒｅ ｃｈａｎｎｅｌ／Ｃｂ：ｃｅｎｔｒｅ ｆｒｏｎｔ ｖｅｒｔｉｃａｌ ｂｏｔｔｏｍ）を、ダイアログチャンネルとして扱うみなし処理を行うようにしてもよい。また、変換前ラウドネス値算出手段１１及びチャンネル数変換手段１２は、センターチャンネル、レフトチャンネル、ライトチャンネル、上層のセンターチャンネル及び下層のセンターチャンネルのうちの少なくとも１つのチャンネルを、ダイアログチャンネルとして扱うみなし処理を行うようにしてもよい。一般に、これらのチャンネルの音声信号には、多くのダイアログ成分が含まれるからである。

この場合、番組音声チャンネル数変換装置１，２の変換前ラウドネス値算出手段１１及びチャンネル数変換手段１２は、それぞれ切り替え段を備えるようにしてもよい。切り替え段は、入力音声信号を入力し、予め設定された切り替え指定がダイアログチャンネルを設定する指定である場合、前述のダイアログチャンネルのみなし処理を行う。一方、切り替え段は、予め設定された切り替え指定がダイアログチャンネルを設定しない指定である場合、前述のダイアログチャンネルのみなし処理を行わない。変換前ラウドネス値算出手段１１は、チャンネル数変換前の全チャンネルのラウドネス値のみを算出し、変換後ラウドネス値算出手段１３は、チャンネル数変換後の全チャンネルのラウドネス値のみを算出する。また、ラウドネス調整手段１４は、全チャンネルのラウドネス値がチャンネル数変換前の全チャンネルのラウドネス値と一致するように、チャンネル数変換後の音声信号のレベルを調整する。

また、入力音声信号における全チャンネルの音声信号がダイアログ成分を含まない場合も同様に、番組音声チャンネル数変換装置１，２の変換前ラウドネス値算出手段１１は、チャンネル数変換前の全チャンネルのラウドネス値のみを算出し、変換後ラウドネス値算出手段１３は、チャンネル数変換後の全チャンネルのラウドネス値のみを算出し、ラウドネス調整手段１４は、全チャンネルのラウドネス値がチャンネル数変換前の全チャンネルのラウドネス値と一致するように、チャンネル数変換後の音声信号のレベルを調整する。変換前ラウドネス値算出手段１１、変換後ラウドネス値算出手段１３及びラウドネス調整手段１４は、ダイアログ判定値に基づいて、入力音声信号における全チャンネルの音声信号がダイアログ成分を含まないことを判定する。

また、番組音声チャンネル数変換装置１，２は、放送番組の映像信号及び音声信号を受信してこれらを再生する放送番組受信装置に適用することができる。放送番組受信装置は、図１に示した番組音声チャンネル数変換装置１、または図８に示した番組音声チャンネル数変換装置２を備えて構成される。

本発明による番組音声チャンネル数変換装置は、番組制作時若しくは番組交換時における音声フォーマット変換、または放送番組受信装置での再生システムへの適応変換において有用である。

１，２ 番組音声チャンネル数変換装置
１１ 変換前ラウドネス値算出手段（変換前算出手段）
１２ チャンネル数変換手段
１３ 変換後ラウドネス値算出手段（変換後算出手段）
１４ ラウドネス調整手段（調整手段）
１５ メタデータ抽出手段
１６ チャンネル分離手段
２１ フィルタ処理段
２２ 二乗平均段
２３ 重み処理段
２４ 分類段
２５ 加算段
２６ 絶対及び相対ゲーティング段
３１ 目標ラウドネス値算出段
３２ レベル調整段

Claims (8)

1. 番組の入力音声信号のチャンネル数を変換し、出力音声信号を生成する番組音声チャンネル数変換装置において、
   前記入力音声信号における全チャンネルの音の大きさ、前記入力音声信号に含まれるダイアログの大きさ、及び前記入力音声信号に含まれる背景音の大きさをそれぞれ算出する変換前算出手段と、
   前記入力音声信号のチャンネル数を変換し、チャンネル数変換後の音声信号を生成するチャンネル数変換手段と、
   前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号における全チャンネルの音の大きさ、前記チャンネル数変換後の音声信号に含まれるダイアログの大きさ、及び前記チャンネル数変換後の音声信号に含まれる背景音の大きさをそれぞれ算出する変換後算出手段と、
   全チャンネルの音の大きさが前記変換前算出手段により算出された全チャンネルの音の大きさに一致し、かつ、ダイアログの大きさが前記変換前算出手段により算出されたダイアログの大きさ以上の所定値に一致するように、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号のレベルを調整する調整手段と、
   を備えたことを特徴とする番組音声チャンネル数変換装置。
2. 請求項１に記載の番組音声チャンネル数変換装置において、
   前記変換前算出手段の代わりに変換前ラウドネス値算出手段を、前記変換後算出手段の代わりに変換後ラウドネス値算出手段を、前記調整手段の代わりにラウドネス調整手段をそれぞれ備え、
   前記変換前ラウドネス値算出手段は、
   前記入力音声信号に対し、前記番組の全時間区間について、全チャンネルの平均ラウドネス値、前記入力音声信号に含まれるダイアログの平均ラウドネス値、及び前記入力音声信号に含まれる背景音の平均ラウドネス値をそれぞれ算出し、
   前記変換後ラウドネス値算出手段は、
   前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号に対し、前記番組の全時間区間について、全チャンネルの平均ラウドネス値、前記チャンネル数変換後の音声信号に含まれるダイアログの平均ラウドネス値、及び前記チャンネル数変換後の音声信号に含まれる背景音の平均ラウドネス値をそれぞれ算出し、
   前記ラウドネス調整手段は、
   全チャンネルの平均ラウドネス値が前記変換前ラウドネス値算出手段により算出された全チャンネルの平均ラウドネス値に一致し、かつ、ダイアログの平均ラウドネス値が前記変換前ラウドネス値算出手段により算出されたダイアログの平均ラウドネス値以上の所定値に一致するように、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号のレベルを調整する、ことを特徴とする番組音声チャンネル数変換装置。
3. 請求項２に記載の番組音声チャンネル数変換装置において、
   さらに、メタデータ抽出手段を備え、
   前記メタデータ抽出手段は、
   前記入力音声信号からメタデータを抽出し、前記メタデータから、前記平均ラウドネス値を算出する際に用いるデータであって、チャンネル数変換前後における各チャンネルの音声信号の再生位置に関するチャンネル配置情報、及び各チャンネルの音声信号がダイアログ及び背景音のいずれであるかを示すダイアログ判定値を抽出する、ことを特徴とする番組音声チャンネル数変換装置。
4. 請求項２または３に記載の番組音声チャンネル数変換装置において、
   さらに、チャンネル分離手段を備え、
   前記チャンネル分離手段は、
   前記入力音声信号を構成する各チャンネルの音声信号のうち、ダイアログ成分及び背景音成分を含むチャンネルの音声信号から、前記ダイアログ成分の音声信号であるダイアログと前記背景音成分の音声信号である背景音とを分離する、ことを特徴とする番組音声チャンネル数変換装置。
5. 請求項２から４までのいずれか一項に記載の番組音声チャンネル数変換装置において、
   前記入力音声信号の各チャンネルのうち、センターチャンネル、レフトチャンネル、ライトチャンネル、上層のセンターチャンネル及び下層のセンターチャンネルのうちの少なくとも１つをダイアログチャンネルとして扱うみなし処理を行い、前記ダイアログチャンネルの音声信号を、前記入力音声信号に含まれるダイアログとする、ことを特徴とする番組音声チャンネル数変換装置。
6. 請求項５に記載の番組音声チャンネル数変換装置において、
   予め設定された指定に基づいて、前記みなし処理を行い、
   前記指定がみなし処理を行わないことを示している場合、前記みなし処理を行うことなく、前記変換前ラウドネス値算出手段は、前記入力音声信号に対し、前記番組の全時間区間について全チャンネルのラウドネス値のみを算出し、前記変換後ラウドネス値算出手段は、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号に対し、前記番組の全時間区間について全チャンネルのラウドネス値のみを算出し、前記ラウドネス調整手段は、全チャンネルの平均ラウドネス値が前記変換前ラウドネス値算出手段により算出された全チャンネルの平均ラウドネス値に一致するように、前記チャンネル数変換手段により生成されたチャンネル数変換後の音声信号のレベルを調整する、ことを特徴とする番組音声チャンネル数変換装置。
7. コンピュータを、請求項１から６までのいずれか一項に記載の番組音声チャンネル数変換装置として機能させるための番組音声チャンネル数変換プログラム。
8. 放送番組の映像信号及び音声信号を受信し、前記映像信号及び前記音声信号を再生する放送番組受信装置において、
   請求項１から６までのいずれか一項に記載の番組音声チャンネル数変換装置を備えたことを特徴とする放送番組受信装置。

Images