JP2010091980A - Transmitting and receiving device, transmitting and receiving method, and program - Google Patents
Transmitting and receiving device, transmitting and receiving method, and program Download PDFInfo
- Publication number
- JP2010091980A JP2010091980A JP2008264452A JP2008264452A JP2010091980A JP 2010091980 A JP2010091980 A JP 2010091980A JP 2008264452 A JP2008264452 A JP 2008264452A JP 2008264452 A JP2008264452 A JP 2008264452A JP 2010091980 A JP2010091980 A JP 2010091980A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- data
- metadata
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereo-Broadcasting Methods (AREA)
Abstract
Description
本発明は、音声音響信号を送受信装置にて受信し、受信した音声音響信号を前記送受信装置から外部へ送信する送受信装置、送受信方法及びプログラムに関する。 The present invention relates to a transmission / reception device, a transmission / reception method, and a program for receiving a sound / acoustic signal by a transmission / reception device and transmitting the received sound / acoustic signal from the transmission / reception device to the outside.
デジタル放送においては変調された情報がキー局から、複数の中継局を経てユーザのチューナに伝送される。情報伝送の際、通信路にて各種ノイズが混入する場合があることから、この影響を低減するために誤り訂正技術等が採用されている(例えば、特許文献1、2参照)。また、MP3(MPeg-1 audio layer 3)、AAC(Advanced Audio Codec)またはdolby-E(登録商標)等の高能率符号化方法として、チャンネル間の相関を利用したM/Sstereo技術等が採用されている。(例えば、非特許文献1、2参照)
しかしながら、情報伝送の際にはランダムノイズまたはバーストノイズ等の各種ノイズの影響を受ける可能性がある。映像データのみならず音声データについてもノイズ等の影響を伝送路中で受けることがあり、これを簡易な処理でかつ効果的に検知する必要があった。また伝送の際にはdolby-E等の各種形式により符号化及び復号処理がなされるが、この符号化及び復号処理に起因する量子化ノイズまたは演算誤差等を、誤って伝送障害ノイズとして検出するという問題もあった。なお、特許文献1及び2並びに非特許文献1及び2には当該問題を解決するための手段が記載されていない。
However, there is a possibility that information transmission may be affected by various noises such as random noise or burst noise. Not only video data but also audio data may be affected by noise or the like in the transmission path, and this must be detected with simple processing and effectively. Also, during transmission, encoding and decoding processes are performed in various formats such as dolby-E. Quantization noise or calculation errors resulting from the encoding and decoding processes are erroneously detected as transmission fault noise. There was also a problem. Note that
本発明は斯かる事情に鑑みてなされたものであり、その目的は符号化及び復号処理に伴う成分を除去した上でメタデータを音声音響信号に付加することにより、より精度良く情報伝送の際のノイズを監視することが可能な送受信装置、送受信方法及びプログラムを提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to remove components accompanying encoding and decoding processes and add metadata to the audio-acoustic signal, thereby transmitting information with higher accuracy. It is an object to provide a transmission / reception apparatus, a transmission / reception method, and a program capable of monitoring noise.
本願に開示の送受信装置は、音声音響信号を受信し、受信した音声音響信号を送信する送受信装置において、受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出部と、該抽出部により抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出するハイパスフィルタと、該ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の和信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく加算データを算出する加算部と、前記ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の差信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく減算データを算出する減算部と、前記加算部及び減算部により算出した加算データ及び減算データをメタデータとして受信した音声音響信号に付加する付加部と、該付加部によりメタデータが付加された音声音響信号を外部へ送信する送信部とを備える。 The transmission / reception apparatus disclosed in the present application is a transmission / reception apparatus that receives a sound sound signal and transmits the received sound sound signal, and extracts an extraction unit that extracts a first sound sound signal and a second sound sound signal related to the received sound sound signal. A high-pass filter that extracts a frequency component equal to or higher than a predetermined frequency from the first audio-acoustic signal and the second audio-acoustic signal extracted by the extraction unit; a first audio-acoustic signal related to the frequency component extracted by the high-pass filter; A value related to a time-series sum signal of the second audio-acoustic signal is calculated, an addition unit that calculates addition data based on a cumulative addition value for a predetermined time of the calculated value, and a frequency component extracted by the high-pass filter A value related to a time-series difference signal between the first audio sound signal and the second audio sound signal is calculated, and subtraction data based on a cumulative addition value for a predetermined time of the calculated value. A subtracting unit that calculates the value, an adding unit that adds the addition data and subtracted data calculated by the adding unit and the subtracting unit to the audio-acoustic signal received as metadata, and a sound and audio signal to which metadata is added by the adding unit And a transmitting unit for transmitting to the outside.
本願に開示の送受信装置は、前記加算部により算出された加算データ及び前記減算部により算出された減算データを、所定の下限値及び上限値に基づき変換する変換部を備え、前記付加部は、前記変換部により変換された加算データ及び減算データをメタデータとして受信した音声音響信号に付加するよう構成してある。 The transmission / reception apparatus disclosed in the present application includes a conversion unit that converts the addition data calculated by the addition unit and the subtraction data calculated by the subtraction unit based on a predetermined lower limit value and an upper limit value, and the addition unit includes: The addition data and the subtraction data converted by the conversion unit are added to the audio-acoustic signal received as metadata.
本願に開示の送受信装置は、前記変換部は、前記加算部により算出された加算データ及び前記減算部により算出された減算データの絶対値の内、前記下限値よりも小さい加算データ及び減算データを零へ変換し、前記上限値を超える加算データ及び減算データの絶対値を前記上限値または上限値未満の値へ変換した後、絶対値算出前の符号を変換後の加算データ及び減算データに付加する上下限変換部と、加算データ及び減算データを整数へ変換する整数変換部とを備える。 In the transmitting / receiving apparatus disclosed in the present application, the conversion unit includes addition data and subtraction data smaller than the lower limit value among the absolute value of the addition data calculated by the addition unit and the subtraction data calculated by the subtraction unit. After converting the absolute value of the addition data and subtraction data exceeding the upper limit value to a value less than the upper limit value or lower limit value, the sign before calculating the absolute value is added to the converted addition data and subtraction data. An upper / lower limit conversion unit, and an integer conversion unit that converts the addition data and the subtraction data into integers.
本願に開示の送受信装置は、前記下限値は3、前記上限値は255である。 In the transmission / reception apparatus disclosed in the present application, the lower limit value is 3, and the upper limit value is 255.
本願に開示の送受信装置は、音声音響信号を受信し、受信した音声音響信号を送信する送受信装置において、受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出部と、該抽出部により抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出するハイパスフィルタと、該ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号の時系列の第1実効値を算出する第1実効値算出部と、前記ハイパスフィルタにより抽出された周波数成分に係る第2音声音響信号の時系列の第2実効値を算出する第2実効値算出部と、前記第1実効値算出部及び第2実効値算出部により算出した第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加する付加部と、該付加部によりメタデータが付加された音声音響信号を外部へ送信する送信部とを備える。 The transmission / reception apparatus disclosed in the present application is a transmission / reception apparatus that receives a sound sound signal and transmits the received sound sound signal, and extracts an extraction unit that extracts a first sound sound signal and a second sound sound signal related to the received sound sound signal. A high-pass filter that extracts a frequency component equal to or higher than a predetermined frequency from the first audio-acoustic signal and the second audio-acoustic signal extracted by the extraction unit, and a first audio-acoustic signal related to the frequency component extracted by the high-pass filter A first effective value calculation unit for calculating a first effective value in time series, and a second effective value calculation for calculating a second effective value in time series of the second audio-acoustic signal related to the frequency component extracted by the high-pass filter. And an adding unit that adds the first effective value and the second effective value calculated by the first effective value calculating unit and the second effective value calculating unit to the received audio-acoustic signal as metadata. And a transmission unit for transmitting the audio acoustic signals metadata is added by the adding unit to the outside.
本願に開示の送受信装置は、前記第1実効値算出部にて算出した第1実効値及び前記第2実効値算出部で算出した第2実効値の対数に基づき変換する変換部を備え、前記付加部は、前記変換部により変換された対数に係る第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加するよう構成してある。 The transmission / reception device disclosed in the present application includes a conversion unit that performs conversion based on a logarithm of the first effective value calculated by the first effective value calculation unit and the second effective value calculated by the second effective value calculation unit, The adding unit is configured to add the first effective value and the second effective value relating to the logarithm converted by the converting unit to the received audio-acoustic signal as metadata.
本願に開示の送受信装置は、前記所定周波数は20Hzである。 In the transmission / reception apparatus disclosed in the present application, the predetermined frequency is 20 Hz.
本願に開示の送受信装置は、前記抽出部は、受信した音声音響信号が第1音声音響信号及び第2音声音響信号を超える複数種類の音声音響信号を有する場合、該複数種類の音声音響信号を第1音声音響信号及び第2音声音響信号へ変換するよう構成してある。 In the transmission / reception device disclosed in the present application, when the received audio sound signal has a plurality of types of audio sound signals exceeding the first audio sound signal and the second audio sound signal, the extraction unit outputs the plurality of types of audio sound signals. The first voice sound signal and the second voice sound signal are converted.
本願に開示の送受信方法は、音声音響信号を送受信装置にて受信し、受信した音声音響信号を前記送受信装置から外部へ送信する送受信方法において、受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出ステップと、該抽出ステップにより抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出する成分抽出ステップと、該成分抽出ステップにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の和信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく加算データを算出する加算ステップと、前記成分抽出ステップにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の差信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく減算データを算出する減算ステップと、前記加算ステップ及び減算ステップにより算出した加算データ及び減算データをメタデータとして受信した音声音響信号に付加する付加ステップと、該付加ステップによりメタデータが付加された音声音響信号を外部へ送信する送信ステップとを含む。 The transmission / reception method disclosed in the present application is a transmission / reception method in which a sound / acoustic signal is received by a transmission / reception device, and the received sound / acoustic signal is transmitted from the transmission / reception device to the outside. An extraction step for extracting the second audio sound signal, a component extraction step for extracting a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction step, and an extraction by the component extraction step An addition step of calculating a value related to a time-series sum signal of the first audio acoustic signal and the second audio acoustic signal related to the frequency component and calculating addition data based on a cumulative addition value for a predetermined time of the calculated value; And calculating a value related to a time-series difference signal between the first audio sound signal and the second audio sound signal related to the frequency component extracted by the component extraction step. A subtraction step for calculating subtraction data based on a cumulative addition value for a predetermined time of the calculated value, and the addition data and subtraction data calculated by the addition step and the subtraction step are added to the received audio-acoustic signal as metadata. An adding step, and a transmitting step of transmitting the audio-acoustic signal to which the metadata is added in the adding step to the outside.
本願に開示の送受信方法は、音声音響信号を送受信装置にて受信し、受信した音声音響信号を前記送受信装置から外部へ送信する送受信方法において、受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出ステップと、該抽出ステップにより抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出する成分抽出ステップと、該成分抽出ステップにより抽出された周波数成分に係る第1音声音響信号の時系列の第1実効値を算出する第1実効値算出ステップと、前記成分抽出ステップにより抽出された周波数成分に係る第2音声音響信号の時系列の第2実効値を算出する第2実効値算出ステップと、前記第1実効値算出ステップ及び第2実効値算出ステップにより算出した第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加する付加ステップと、該付加ステップによりメタデータが付加された音声音響信号を外部へ送信する送信ステップとを含む。 The transmission / reception method disclosed in the present application is a transmission / reception method in which a sound / acoustic signal is received by a transmission / reception device, and the received sound / acoustic signal is transmitted from the transmission / reception device to the outside. An extraction step for extracting the second audio sound signal, a component extraction step for extracting a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction step, and an extraction by the component extraction step A first effective value calculating step of calculating a first effective value of the time series of the first audio-acoustic signal related to the frequency component thus obtained, and a time series of the second audio-acoustic signal related to the frequency component extracted by the component extracting step A second effective value calculating step for calculating a second effective value of the first effective value, and a first actual value calculated by the first effective value calculating step and the second effective value calculating step. Comprising an adding step of adding the voice sound signals received value and the second effective value as metadata, and a transmission step of transmitting the audio acoustic signals metadata is added by the addition step to the outside.
本願に開示のプログラムは、音声音響信号を受信して外部へ該音声音響信号を送信するコンピュータに用いられるプログラムにおいて、コンピュータに、受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出ステップと、該抽出ステップにより抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出する成分抽出ステップと、該成分抽出ステップにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の和信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく加算データを算出する加算ステップと、前記成分抽出ステップにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の差信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく減算データを算出する減算ステップと、前記加算ステップ及び減算ステップにより算出した加算データ及び減算データをメタデータとして受信した音声音響信号に付加する付加ステップと、該付加ステップによりメタデータが付加された音声音響信号を外部へ送信する送信ステップとを実行させる。 The program disclosed in the present application is a program used in a computer that receives a sound sound signal and transmits the sound sound signal to the outside, and the first sound sound signal and the second sound sound related to the received sound sound signal are transmitted to the computer. An extraction step for extracting a signal, a component extraction step for extracting a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction step, and a frequency component extracted by the component extraction step An addition step of calculating a value related to a time-series sum signal of the first audio acoustic signal and the second audio acoustic signal according to the above and calculating addition data based on a cumulative addition value for a predetermined time of the calculated value; A value related to a time-series difference signal between the first audio sound signal and the second audio sound signal related to the frequency component extracted in the step. A subtraction step for calculating subtraction data based on a cumulative addition value for a predetermined time of the calculated value, and the addition data and subtraction data calculated by the addition step and the subtraction step are added to the received audio-acoustic signal as metadata. An adding step and a transmitting step for transmitting the audio-acoustic signal to which metadata is added in the adding step to the outside are executed.
本願に開示のプログラムは、音声音響信号を受信して外部へ該音声音響信号を送信するコンピュータに用いられるプログラムにおいて、コンピュータに、受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出ステップと、該抽出ステップにより抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出する成分抽出ステップと、該成分抽出ステップにより抽出された周波数成分に係る第1音声音響信号の時系列の第1実効値を算出する第1実効値算出ステップと、前記成分抽出ステップにより抽出された周波数成分に係る第2音声音響信号の時系列の第2実効値を算出する第2実効値算出ステップと、前記第1実効値算出ステップ及び第2実効値算出ステップにより算出した第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加する付加ステップと、該付加ステップによりメタデータが付加された音声音響信号を外部へ送信する送信ステップとを実行させる。 The program disclosed in the present application is a program used in a computer that receives a sound sound signal and transmits the sound sound signal to the outside, and the first sound sound signal and the second sound sound related to the received sound sound signal are transmitted to the computer. An extraction step for extracting a signal, a component extraction step for extracting a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction step, and a frequency component extracted by the component extraction step A first effective value calculating step for calculating a first effective value of the time series of the first audio-acoustic signal related to the second effective value of the time series of the second audio-acoustic signal related to the frequency component extracted by the component extracting step. A first effective value calculating step for calculating a value, and a first effective value calculating step calculated by the first effective value calculating step and the second effective value calculating step. An adding step of adding the voice sound signals received the effective value and the second effective value as metadata, to execute a transmission step of transmitting voice sound signals metadata is added by the addition step to the outside.
本願に開示する装置によれば、抽出部は、受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する。ハイパスフィルタは、これら抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出する。加算部は、抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の和信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく加算データを算出する。同様に減算部は、抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の差信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく減算データを算出する。この加算データ及び減算データはメタデータとして付加部により音声音響信号に付加される。最後に、送信部はメタデータが付加された音声音響信号を外部へ送信する。 According to the device disclosed in the present application, the extraction unit extracts the first audio acoustic signal and the second audio acoustic signal related to the received audio acoustic signal. The high-pass filter extracts a frequency component of a predetermined frequency or higher from the extracted first audio sound signal and second audio sound signal. The adding unit calculates a value related to the time-series sum signal of the first audio acoustic signal and the second audio acoustic signal related to the extracted frequency component, and adds the addition data based on a cumulative addition value for a predetermined time of the calculated value. calculate. Similarly, the subtraction unit calculates a value related to the time-series difference signal between the first audio acoustic signal and the second audio acoustic signal related to the extracted frequency component, and subtracts the calculated value based on a cumulative addition value for a predetermined time. Calculate the data. The addition data and subtraction data are added as metadata to the audio-acoustic signal by the adding unit. Finally, the transmission unit transmits the audio / acoustic signal to which the metadata is added to the outside.
本願に開示する装置によれば、変換部は、算出した加算データ及び減算データを、所定の下限値及び上限値に基づき変換する。そして付加部は、変換部により変換された加算データ及び減算データをメタデータとして受信した音声音響信号に付加する。 According to the device disclosed in the present application, the conversion unit converts the calculated addition data and subtraction data based on the predetermined lower limit value and upper limit value. Then, the adding unit adds the addition data and subtraction data converted by the conversion unit to the received audio-acoustic signal as metadata.
本願に開示する装置によれば、抽出部は、受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する。ハイパスフィルタは、これら抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出する。第1実効値算出部は、ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号の時系列の第1実効値を算出する。同様に第2実効値算出部は、ハイパスフィルタにより抽出された周波数成分に係る第2音声音響信号の時系列の第2実効値を算出する。そして、付加部はこの算出した第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加する。最後に送信部はメタデータが付加された音声音響信号を外部へ送信する。 According to the device disclosed in the present application, the extraction unit extracts the first audio acoustic signal and the second audio acoustic signal related to the received audio acoustic signal. The high-pass filter extracts a frequency component of a predetermined frequency or higher from the extracted first audio sound signal and second audio sound signal. The first effective value calculation unit calculates a first effective value in a time series of the first audio-acoustic signal related to the frequency component extracted by the high-pass filter. Similarly, a 2nd effective value calculation part calculates the 2nd time effective 2nd effective value of the 2nd audio | voice sound signal which concerns on the frequency component extracted by the high pass filter. The adding unit adds the calculated first effective value and second effective value to the received audio-acoustic signal as metadata. Finally, the transmission unit transmits the audio / acoustic signal to which the metadata is added to the outside.
本願に開示する装置によれば、変換部は、第1実効値算出部にて算出した第1実効値及び第2実効値算出部で算出した第2実効値の対数に基づき変換する。そして、付加部は変換部により変換された対数に係る第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加する。 According to the device disclosed in the present application, the conversion unit performs conversion based on the logarithm of the first effective value calculated by the first effective value calculation unit and the second effective value calculated by the second effective value calculation unit. The adding unit adds the first effective value and the second effective value relating to the logarithm converted by the converting unit to the received audio-acoustic signal as metadata.
当該装置の一観点によれば、ハイパスフィルタにより第1音声音響信号及び第2音声音響信号の直流成分を排除することができる。従って伝送の際の符号化及び復号処理に伴い直流成分が多く存在する符号化復号形式または直流成分が排除された符号化復号形式の如何にかかわらず、加算データ及び減算データを算出する際、量子化ノイズ等を伝送障害ノイズと誤って判断する事態を回避することが可能となる等、本発明は優れた効果を奏する。 According to one aspect of the apparatus, the high-pass filter can eliminate the direct current components of the first audio sound signal and the second audio sound signal. Therefore, when calculating addition data and subtraction data, regardless of the encoding / decoding format in which a large amount of DC component is present or the encoding / decoding format in which the DC component is excluded, in the encoding and decoding processes during transmission, The present invention has an excellent effect, for example, by making it possible to avoid a situation in which misalignment noise or the like is erroneously determined as transmission failure noise.
実施の形態1
以下本発明の実施の形態を、図面を参照して説明する。図1は伝送システムの概要を示す模式図である。伝送システムはキー局に設けられる送受信装置1、中継局に設けられる送受信装置1、送受信装置1を含んで構成される。制作された映像データ及び音声音響信号からなる番組素材(以下、音声データという)は、複数の中継局を経てキー局に伝送される。その後、放送局で映像データ及び音声データが加工され、キー局から複数の中継局を経て図示しないユーザのチューナに伝送される。キー局及び中継局に設けられる送受信装置1は放送データ中の音声データを分析し、音声データの特徴量である加算データ及び減算データ(以下、場合によりまとめてメタデータという)を算出する。送受信装置1(以下、メタデータ算出器1)は受信した音声データからメタデータを算出する。メタデータ算出器1は算出したメタデータを音声データに付加し、後段の中継局のメタデータ算出器1へ送信する。以下では、音声データを送信するメタデータ算出器1を前段とし、当該メタデータ算出器1から音声データを受信するメタデータ算出器1を後段とする。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic diagram showing an outline of a transmission system. The transmission system includes a transmission /
図2はメタデータ算出器1のハードウェア構成を示すブロック図である。メタデータ算出器1は、デマルチプレクサ11、抽出部12、メタデータ保持部13、メタデータ算出部14、メタデータ付加部15、付加部17、送信部18、ハイパスフィルタ(以下、HPFという)110、及び、変換部111等を含んで構成される。メタデータ算出器1にはMPEG(Moving Pictures Experts Group)、AACまたはdolby-E等により圧縮されたAVストリームが入力される。なお、AVストリームには映像データ及び音声データの双方が含まれるが、本実施の形態においては映像データの記載を省略する。音声データはAACまたはdolby-E形式等によりエンコードされており、図示しないデコーダによりデコードされた音声データ及び後述する特定データ(識別情報)がメタデータ算出器1へ入力される。また、制作した映像データ及び音声データをキー局(放送局)へ伝送する際には、非圧縮のまま音声データを伝送することもある。
FIG. 2 is a block diagram showing a hardware configuration of the
メタデータ算出器1へ入力された音声データ及び特定データはデマルチプレクサ11へ入力される。デマルチプレクサ11は音声データに付加されたメタデータ及び特定データを抽出し、抽出したメタデータ及び特定データ、並びに、メタデータ及び特定データが取り除かれた音声データを分離して出力する。なお、この付加されたメタデータは前段のキー局または中継局のメタデータ算出器1にて算出されたメタデータである。このメタデータの算出処理及び特定データの内容については後述する。デマルチプレクサ11にて分離された音声データは付加部17及び抽出部12にそれぞれ出力される。デマルチプレクサ11にて分離されたメタデータ及び特定データはメタデータ保持部13へ出力される。
The audio data and specific data input to the
抽出部12は入力された音声データに係る第1音声データ(以下、左音声データ)及び第2音声データ(以下、右音声データ)を抽出し、左音声データ及び右音声データを、HPF110を介してメタデータ算出部14へ出力する。すなわち抽出部12は、音声データが左及び右の2chから構成される場合は左音声データ及び右音声データをそれぞれ抽出し、抽出した左音声データ及び右音声データを、HPF110を介してメタデータ算出部14へ出力する。
The
抽出部12は音声データが2chの場合、上述した処理を行うが、音声データが2chを超える3ch以上の場合は、この3以上の複数チャンネルからなる音声データを、変換部121により左音声データ及び右音声データにより構成される2chの音声データへ変換(ダウンミックス)する。出力部122は変換後の2chに係る左音声データ及び右音声データをHPF110へ出力する。変換部121には3ch以上の音声データを2chの音声データへ変換するための数式が記憶されており、当該数式に従い変換を行う。本実施の形態においては音声データが例えば5.1chである例を説明する。
The
入力される音声データが、左音声データL、右音声データR、センター音声データC、左サラウンドデータLs、及び、右サラウンドデータRsとした場合、変換後の左音声データL’、変換後の右音声データR’は、ISO/IEC 13818−7に従い、下記式(1)で表すことができる。 When the input audio data is left audio data L, right audio data R, center audio data C, left surround data Ls, and right surround data Rs, the converted left audio data L ′ and the converted right audio The audio data R ′ can be expressed by the following formula (1) according to ISO / IEC 13818-7.
また、式(1)は.1chの低域効果データLFEを含んでいないが、LFEが存在する場合は、下記式(2)にて変換後の左音声データL’、変換後の右音声データR’を算出するようにすれば良い。 Further, equation (1) does not include .1ch low-frequency effect data LFE. However, when LFE is present, left audio data L ′ after conversion and right audio data after conversion according to equation (2) below. R ′ may be calculated.
図3は係数Aの値を示すテーブルである。この値はISO/IEC 13818−7の8.3.7.5の記載に基づくものであり、matrix_mixdown_idxの値によりAの値が決定される。なお図3に示すテーブルも変換部121に記憶されている。以上の如く、変換部121により左音声データ及び右音声データに変換された音声データは出力部122を介してHPF110へ出力される。なお、本実施の形態においては5.1chの例を説明したが7.1ch等の音声データを変換する形態であっても良い。また、ISO/IEC 13818−7の例を用いて、5.1chからなる音声データを、左音声データ及び右音声データにより構成される2chの音声データへダウンミックスする例を挙げたが、これに限るものではない。例えばARIB/STD−B21等で規定された他のダウンミックスの数式を用いても良い。
FIG. 3 is a table showing the value of the coefficient A. This value is based on the description of 8.3.7.5 of ISO / IEC 13818-7, and the value of A is determined by the value of matrix_mixdown_idx. The table shown in FIG. 3 is also stored in the
HPF110は出力部122から出力された左音声データ及び右音声データのそれぞれの所定周波数以上の周波数成分を抽出する。HPF110は所定周波数以上の周波数成分を抽出した後の左音声データ及び右音声データをメタデータ算出部14へ出力する。HPF110における所定周波数は内部のメモリ(図示せず)に遮断周波数として記憶されている。この遮断周波数は図示しない入力部により適宜値を変更することが可能である。遮断周波数は、例えば20Hz以下の値とすれば良く、好ましくは6Hz程度とすればよい。
The
図4はHPF110の構成を示すブロック図である。HPF110は加算器1101、加算器1102、遅延回路1103及び遅延回路1104等を含む。ここで入力をx[n]、出力をy[n]、中間出力をv[n]とした場合、中間出力v[n]は以下の式(3)で表すことができる。
v[n] = x[n] + a1v[n-1] + a2v[n-2] ・・・(3)
FIG. 4 is a block diagram showing the configuration of the
v [n] = x [n] + a 1 v [n-1] + a 2 v [n-2] (3)
そして、出力y[n]は以下の式(4)で表すことができる。
y[n] = b0v[n] + b1v[n-1] + b2v[n-2] ・・・(4)
The output y [n] can be expressed by the following equation (4).
y [n] = b 0 v [n] + b 1 v [n-1] + b 2 v [n-2] (4)
ここで係数b0は0.999439161786443、係数a1は-1.998878015320690、係数b1は-1.998878323572890、係数a2は0.998878631825079、係数b2は0.999439161786443である。なお図4に示したHPF110の構成は一例であり他のフィルタを適用しても良い。例えば、図4に示すHPF110を複数段カスケード接続したものであっても良い。直流成分がHPF110により除去された右音声データ及び左音声データはメタデータ算出部14へ出力される。
Here, the coefficient b 0 is 0.999439161786443, the coefficient a 1 is -1.998878015320690, the coefficient b 1 is -1.998878323572890, the coefficient a 2 is 0.998878631825079, and the coefficient b 2 is 0.999439161786443. The configuration of the
メタデータ算出部14は加算部141及び減算部142を含んで構成される。加算部141は左音声データ及び右音声データの時系列の和信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく加算データを算出する。また減算部142は左音声データ及び右音声データの時系列の差信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく減算データを算出する。算出された加算データ及び減算データはメタデータとして、変換部111を介してメタデータ付加部15へ出力される。以下に詳細を説明する。
The
図5は左音声データ及び右音声データの時間的変化を模式的に示すグラフである。図5(a)は左音声データの振幅の時間的変化を模式的に示すグラフであり、図5(b)は右音声データの振幅の時間的変化を模式的に示すグラフである。何れも横軸は時間、縦軸は振幅である。入力される音声データは所定時間毎(例えば、NTSC(National Television Standards Committee)映像の1フレームの時間である33.3msの整数倍、または、AACの1フレームの符号化時間である42.6msの整数倍)に分割される。以下ではこの所定時間の一単位をフレームという。図5の例では音声データがフレーム1、フレーム2、・・・フレームjの如く分割され、フレーム毎に加算データ及び減算データが算出される。
FIG. 5 is a graph schematically showing temporal changes of the left audio data and the right audio data. FIG. 5A is a graph schematically showing temporal changes in the amplitude of left audio data, and FIG. 5B is a graph schematically showing temporal changes in the amplitude of right audio data. In either case, the horizontal axis represents time, and the vertical axis represents amplitude. Input audio data is an integer multiple of 33.3ms, which is the time of one frame of NTSC (National Television Standards Committee) video, or an integral multiple of 42.6ms, which is the encoding time of one frame of AAC. ). Hereinafter, one unit of the predetermined time is referred to as a frame. In the example of FIG. 5, the audio data is divided into
フレーム1において左音声データはサンプリング周波数に応じて時系列順にLi、Li+1、・・・Lnと表すことができる。同様にフレーム1における右音声データは、時系列順にRi、Ri+1、・・・Rnと表すことができる。加算部141は左音声データの特定の時間におけるデータと、右音声データの特定の時間におけるデータとを加算し、和信号を算出する。例えばRiとLiとの和信号を算出する。次に、加算部141は加算値を2で除すことにより和信号に関する値を算出する。つまり当該特定時間における左音声データ及び右音声データの平均値を算出する。加算部141は、当該処理を1フレーム内に存在する全ての時間のデータに対して行う。つまり、iからnまですべての時系列の組み合わせに対して演算処理を行う。そして加算部141は、フレーム内に存在する左音声データ及び右音声データ全ての組み合わせにおける平均値の総和を算出する。加算部141はその総和をフレーム内の左音声データ及び右音声データの組み合わせ数で除すことにより、総和の平均値を算出する。具体的には、フレーム1における加算データAII(1)は式(5)により表すことができる。なお、以下では加算データを場合によりAII(Audio in-phase information)と称する。
In the
このように、特定時間における平均値、及び、フレーム内の総和の平均値を用いることにより加算データは音声データの最大振幅以下の値となることからデータ量の低減をも図ることが可能となる。なお、本実施の形態においては、加算データに関し右音声データと左音声データとの和の平均値を算出することとしたが、平均値を算出することなく加算値を利用しても良い。つまり式(5)の1/2を1に代えて演算し和信号に関する値としても良い。この場合、加算値の算出が、1フレーム内に存在する左音声データ及び右音声データ全ての組み合わせに対して行われる。この加算値の総和を算出し、さらにその総和の平均値を算出するようにしても良い。さらには、加算データに関し最後に総和の平均値を算出する例につき説明するが、平均値を算出することなく総和を加算データとして算出するようにしても良い。つまり式(5)の1/nを1とする演算を行う。加算部141は全てのフレーム1〜jについて同様の処理を行い加算データAII(1)〜加算データAII(j)を算出する。
As described above, by using the average value in the specific time and the average value of the sum total in the frame, the added data becomes a value less than or equal to the maximum amplitude of the audio data, so that the data amount can be reduced. . In the present embodiment, the average value of the sum of the right audio data and the left audio data is calculated with respect to the addition data, but the addition value may be used without calculating the average value. That is, 1/2 of equation (5) may be calculated instead of 1 to obtain a value related to the sum signal. In this case, the addition value is calculated for all combinations of left audio data and right audio data existing in one frame. A total sum of the added values may be calculated, and an average value of the total sum may be calculated. Furthermore, although an example in which the average value of the sum is finally calculated regarding the addition data will be described, the sum may be calculated as addition data without calculating the average value. That is, an operation is performed in which 1 / n in the equation (5) is 1. The
次いで減算部142について説明する。減算部142は左音声データの特定の時間におけるデータから、右音声データの特定の時間におけるデータを減算し、差信号を算出する。なお、減算部142は右音声データの特定の時間におけるデータから、左音声データの特定の時間におけるデータを減算しても良い。次に、減算部142は減算値を2で除すことにより差信号に関する値を算出する。つまり減算部142は当該特定時間における減算値の平均値を算出する。減算部142は、当該処理を1フレーム内に存在する左音声データ及び右音声データ全ての組み合わせに対して行う。そして減算部142はこの平均値の総和を算出し、さらにその総和の平均値を算出する。具体的には、フレーム1における減算データAOI(1)は式(6)により表すことができる。なお、以下では減算データを場合によりAOI(Audio out of phase information)と称する。
Next, the subtraction unit 142 will be described. The subtracting unit 142 subtracts the data at the specific time of the right audio data from the data at the specific time of the left audio data to calculate a difference signal. Note that the subtracting unit 142 may subtract data at a specific time of the left audio data from data at a specific time of the right audio data. Next, the subtraction unit 142 calculates a value related to the difference signal by dividing the subtraction value by 2. That is, the subtraction unit 142 calculates an average value of the subtraction values at the specific time. The subtracting unit 142 performs the processing for all combinations of the left audio data and the right audio data existing in one frame. Then, the subtracting unit 142 calculates the sum of the average values, and further calculates the average value of the sums. Specifically, the subtraction data AOI (1) in
減算部142においても加算部141と同様に、減算データに関し減算値の平均値の算出、及び、総和の平均値の算出を必ずしも実行しなくても良い。すなわち、本実施の形態においては、減算データに関し右音声データと左音声データと差の平均値を算出することとしたが、平均値を算出することなく差の値を差信号に関する値として利用しても良い。つまり式(6)の1/2を1に代えて演算する。この場合、差の値の算出が、1フレーム内に存在する左音声データ及び右音声データ全ての組み合わせに対して行われる。この差の値の総和を算出し、さらにその総和の平均値を算出するようにしても良い。さらには、減算データに関し最後に総和の平均値を算出する例につき説明するが、平均値を算出することなく総和を減算データとして算出するようにしても良い。つまり式(6)の1/nを1とする演算を行う。減算部142は全てのフレーム1〜jについて同様の処理を行い減算データAOI(1)〜減算データAOI(j)を算出する。加算部141及び減算部142は予め記憶した式(5)及び式(6)に基づき、全てのフレームに対して演算が行われた加算データ及び減算データ群をメタデータとして、変換部111を介してメタデータ付加部15へ出力する。
Similarly to the adding
続いて、HPF110をメタデータ算出部14の前段に適用したことの効果について検討する。図6はHPF110による処理を経ない場合の加算データの時間的変化を示すグラフである。図6のグラフにおける横軸はフレーム数を示し、縦軸は加算データAIIの値を示す。実線は符号化及び復号処理がなされていない音声データに対する加算データの時間的変化を示す。また点線はdolby-Eによる符号化及び復号処理がなされた音声データに対する加算データの時間的変化を示す。なお実験に用いた音声は女性のアナウンス約20秒であり、ランダムノイズまたはバーストノイズ等の各種ノイズの影響を受けていない。
Next, the effect of applying the
図6の実線及び点線のグラフを比較した場合、dolby-E(点線)が符号化及び復号処理を経ていない実線に対し、全体的にオフセットしていることが理解できる。また図示しないが、AACによる符号化及び復号処理を経た音声データは実線で示す符号化及び復号処理を経ていない音声データにその特性がほぼ一致することが確認できた。音声データを伝送する場合、様々な形式の符号化及び復号処理が適用される。その場合、dolby-E等の符号化及び復号処理を経た加算データは、符号化及び復号処理を経ていない音声データに係る加算データとその特性が相違する。その一方で、AAC等の符号化及び復号処理を経た加算データは、符号化及び復号処理を経ていない音声データに係る加算データとその特性が近似する。 When comparing the solid line and dotted line graphs in FIG. 6, it can be understood that dolby-E (dotted line) is entirely offset with respect to the solid line that has not undergone encoding and decoding processing. Although not shown, it has been confirmed that the characteristics of the voice data that has undergone the encoding and decoding processes by AAC substantially match the characteristics of the voice data that has not undergone the encoding and decoding processes indicated by the solid lines. When audio data is transmitted, various types of encoding and decoding processes are applied. In that case, the added data that has undergone encoding and decoding processing such as dolby-E is different from the additional data related to the audio data that has not undergone encoding and decoding processing. On the other hand, the addition data that has undergone encoding and decoding processing such as AAC approximates the characteristics of the addition data related to audio data that has not undergone encoding and decoding processing.
本願出願人は、様々な形式の符号化及び復号処理を経た音声データに係る加算データを柔軟に活用すべく鋭意研究を重ねた結果、メタデータ算出部14の前段にHPF110を設けることにより、この問題を解決した。図7はHPF110による処理を経た場合の加算データの時間的変化を示すグラフである。横軸及び縦軸の値は図6と同様である。実線は符号化及び復号処理がなされていないが、HPF110による処理がなされた音声データに対する加算データの時間的変化を示す。また点線はdolby-Eによる符号化及び復号処理及びHPF110による処理がなされた音声データに対する加算データの時間的変化を示す。なお、図7の例では、図4に示すHPF110を4段カスケード接続したフィルタを用い、また遮断周波数を6Hzとした例を示す。
The applicant of the present application has conducted extensive research to flexibly utilize the added data related to the audio data that has undergone various types of encoding and decoding processes. As a result, by providing the
図7に示すとおり、HPF110による周波数成分の抽出処理によりオフセット量が低減され、符号化及び復号処理を経ていない音声データに係る加算データとその特性がほぼ一致していることが理解できる。これにより、様々な符号化及び復号処理を経た音声データを受信した場合でも、オフセット量を低減できることから量子化ノイズ等を誤って伝送障害ノイズと検出する事態を回避することが可能となる。なお、実験で用いた遮断周波数は6Hzであるが20Hz以下の値を適宜採用すればよい。これは20Hz以下は人間にとって聴感度が低い周波数であり、この周波数帯域に障害が発生したとしても聞こえない、つまり人間が障害と認識できないからである。
As shown in FIG. 7, it can be understood that the offset amount is reduced by the frequency component extraction processing by the
HPF110をメタデータ算出部14の前段に設けることによる効果は減算データAOIにおいても実証された。図8はHPF110による処理を経ない場合の減算データの時間的変化を示すグラフである。図8のグラフにおける横軸はフレーム数を示し、縦軸は減算データAOIの値を示す。実線は符号化及び復号処理がなされていない音声データに対する減算データの時間的変化を示す。また点線はdolby-Eによる符号化及び復号処理がなされた音声データに対する減算データの時間的変化を示す。図8に示す如く、dolby-Eによる符号化及び復号処理を経た減算データは、符号化及び復号処理を経ていない減算データに対し大きく相違する。減算データも加算データと同じく、符号化及び復号処理の形式如何によってはオフセット量が相違する。
The effect of providing the
図9はHPF110による処理を経た場合の減算データの時間的変化を示すグラフである。横軸及び縦軸の値は図8と同様である。実線は符号化及び復号処理がなされていないが、HPF110による処理がなされた音声データに対する減算データの時間的変化を示す。また点線はdolby-Eによる符号化及び復号処理及びHPF110による処理がなされた音声データに対する減算データの時間的変化を示す。なお、HPF110の構成及び遮断周波数は加算データの実験と同様のものを用いた。図9に示す如く、減算データにおいても加算データと同じくオフセット量が低減され符号化及び復号処理を経た減算データが符号化及び復号処理を経ていない減算データにほぼ一致していることが理解できる。
FIG. 9 is a graph showing temporal changes in the subtraction data when the processing by the
メタデータ算出部14により算出された加算データ及び減算データは変換部111へ出力される。変換部111は上下限変換部1110及び整数変換部1111を含む。上下限変換部1110は加算データ及び減算データの絶対値を求め、内部のメモリ(図示せず)に記憶した上限値及び下限値に基づき加算データ及び減算データの絶対値を変換する。具体的には、下限値として3、上限値として255がメモリに記憶されている。なおこれらの数値は一例でありこれに限るものではない。上下限変換部1110は、加算データ及び減算データの絶対値が下限値3よりも小さい場合、零へその値を変換する。なお、必ずしも零に変換する必要はなく3より小さい1、または2に変換してもよい。この場合、上下限変換部1110は変換前の加算データ及び減算データに予め付与されていた絶対値算出前の符号を、変換後の加算データ及び減算データに付加する。例えば、加算データが−2の場合、絶対値2が算出され、変換処理により1へ変換される。最後に上下限変換部1110は元の符号−を付加して−1を得る。
The addition data and subtraction data calculated by the
さらに上下限変換部1110は加算データ及び減算データの絶対値が上限値255を超える場合、加算データ及び減算データの絶対値を上限値255または255未満の値へ変換する。次いで上下限変換部1110は変換前の加算データ及び減算データに予め付与されていた絶対値算出前の符号を、変換後の加算データ及び減算データに付加する。具体的には、加算データが−329である場合、加算データの絶対値が329と算出され、上限値を超える。上下限変換部1110は、加算データの絶対値を上限値255または上限値未満の73(329−256)に変換する。上限値未満へ変換する場合、例えば予めメモリに記憶された254または253とする他、零としても良い。その他、上限値未満へ変換する処理の一例として、加算データまたは減算データの絶対値から2のn乗に係る値を減算して、所定ビット(例えば8ビット)以下で表現できる数値に変換しても良い。本例では2の8乗に係る値を減算している。その他、2の7乗に係る値を減算しても良い。
Furthermore, when the absolute values of the addition data and the subtraction data exceed the upper limit value 255, the upper / lower
上下限変換部1110は変換前の加算データ及び減算データに予め付与されていた絶対値算出前の符号を、変換後の加算データ及び減算データに付加する。上述の例では加算データが−329であるので、変換後の73に符号−を付加して−73を得る。加算データがより小さい場合、例えば−956である場合、上限値255または上限値未満の188(956−512−256)に変換する。本例では、変換後の値を8ビット以下とすべく、2のn乗に係る値として、2の9乗及び2の8乗を減算している。次いで上下限変換部1110は変換前の加算データ及び減算データに予め付与されていた絶対値算出前の符号を、変換後の加算データ及び減算データに付加する。本例の場合、加算データは−188となる。
The upper / lower
また本実施の形態においては、上下限変換部1110において、正負の値を持つ加算データ及び減算データの絶対値を求めてから変換する処理を述べるが、これに限るものではない。上下限変換部1110はメモリ(図示せず)内に下限値に対応する第1範囲、及び、第2範囲を記憶している。第1範囲は例えば−3より大きく0より小さいと記憶され、第2範囲は例えば0より大きく+3より小さいと記憶されている。また上下限変換部1110はメモリ(図示せず)内に上限値に対応する第3範囲、及び、第4範囲を記憶している。第3範囲は例えば−255よりも小さいと記憶されており、第4範囲は+255よりも大きいと記憶されている。
In the present embodiment, the upper / lower
上下限変換部1110は加算データ及び減算データを受け付けた場合、加算データ及び減算データが第1範囲乃至第4範囲に属するか否かを判断する。上下限変換部1110は第1範囲に属すると判断した場合、加算データ及び減算データを、例えば零、或いは−3より大きい負の値、例えば−1に変換する。上下限変換部1110は第2範囲に属すると判断した場合、加算データ及び減算データを、例えば零、或いは+3より小さい正の値、例えば+1に変換する。上下限変換部1110は第3範囲に属すると判断した場合、−255または−255よりも大きい負の値へ変換する。例えば−254、零、または加算データまたは減算データから2のn乗に係る値を加算して、所定ビット(例えば8ビット)以下で表現できる負の数値等とすれば良い。同様に上下限変換部1110は第4範囲に属すると判断した場合、+255または255より小さい正の値へ変換する。例えば+254、零、または加算データまたは減算データから2のn乗に係る値を減算して、所定ビット(例えば8ビット)以下で表現できる正の数値等とすれば良い。
When receiving the addition data and the subtraction data, the upper / lower
整数変換部1111は、加算データ及び減算データの小数点以下を切り捨て、切り上げまたは四捨五入等することにより、加算データ及び減算データを整数値とする。なお、変換部111へ加算データ及び減算データが入力された場合、上下限変換部1110による変換処理を経てから整数変換部1111による処理を行っても良い。逆に、整数変換部1111により加算データ及び減算データを整数化してから、上下限変換部1110による変換処理を行っても良い。本実施の形態においては、先に上下限変換部1110による変換を行ってから、整数変換部1111により、整数値へ変換する処理を例に挙げて説明する。なお加算データ及び減算データが零の場合、並びに、加算データ及び減算データの絶対値が3以上255以下の場合、上下限変換部1110は変換処理を実行しない。この場合、メタデータ算出部14から出力された加算データ及び減算データは変換部111の整数変換部1111にて整数への変換のみが行われる。
The
図10は各符号化及び復号処理を経た加算データの時間的変化を示すグラフである。図10における横軸はフレーム、縦軸は加算データの値を示す。実線absは符号化及び復号処理を経ていない加算データからAACによる符号化及び復号処理を経た加算データを減じた値の時間的変化を示す。点線absは符号化及び復号処理を経ていない加算データからdolby-Eによる符号化及び復号処理を経た加算データを減じた絶対値の時間的変化を示す。実験に用いた音声データは図6乃至図9の説明に用いた音声データと同一である。 FIG. 10 is a graph showing temporal changes in the added data that has undergone each encoding and decoding process. In FIG. 10, the horizontal axis indicates the frame, and the vertical axis indicates the value of the added data. A solid line abs indicates a temporal change in a value obtained by subtracting the addition data that has undergone the encoding and decoding processing by AAC from the addition data that has not undergone the encoding and decoding processing. A dotted line abs shows a temporal change in absolute value obtained by subtracting the addition data that has undergone encoding and decoding processing by dolby-E from the addition data that has not undergone encoding and decoding processing. The voice data used in the experiment is the same as the voice data used in the description of FIGS.
図11は各符号化及び復号処理を経た減算データの時間的変化を示すグラフである。図11における横軸はフレーム、縦軸は減算データの値を示す。実線absは符号化及び復号処理を経ていない減算データからAACによる符号化及び復号処理を経た減算データを減じた値の時間的変化を示す。点線absは符号化及び復号処理を経ていない減算データからdolby-Eによる符号化及び復号処理を経た減算データを減じた絶対値の時間的変化を示す。図10及び図11に示す如く、各種符号化及び復号処理を経た加算データ及び減算データは伝送障害ノイズを有さない音声データであっても、符号化及び復号処理を経ていない加算データ及び減算データに対し、約3以下の差分を有する。 FIG. 11 is a graph showing temporal changes in subtraction data that has undergone each encoding and decoding process. In FIG. 11, the horizontal axis indicates the frame, and the vertical axis indicates the value of the subtraction data. A solid line abs indicates a temporal change in a value obtained by subtracting subtracted data that has undergone encoding and decoding processing by AAC from subtracted data that has not undergone encoding and decoding processing. A dotted line abs shows a temporal change in absolute value obtained by subtracting subtracted data that has undergone encoding and decoding processing by dolby-E from subtracted data that has not undergone encoding and decoding processing. As shown in FIGS. 10 and 11, addition data and subtraction data that have undergone various encoding and decoding processes are addition data and subtraction data that have not undergone encoding and decoding processes even if they are audio data that does not have transmission disturbance noise. On the other hand, it has a difference of about 3 or less.
この差分は各種符号化及び復号処理に起因するものであり、伝送障害ノイズと判断する虞がある。そのため、本実施の形態においては上下限変換部1110のメモリに下限値3を記憶しておき、3よりも小さい加算データ及び減算データの絶対値を0に変換することで、各符号化及び復号処理を経た音声データの量子化ノイズ等が障害ノイズと誤判断されることを低減するものである。一方、加算データ及び減算データの絶対値は図6乃至図9で示した如く、255を超える値は稀であった。そこで、本実施の形態においては上下限変換部1110のメモリに上限値255を記憶しておき、255を超える加算データ及び減算データの絶対値を上限値255または255未満の値に変換することで、伝送の際の情報量の低減を図ることとしたものである。
This difference is caused by various encoding and decoding processes, and may be determined as transmission failure noise. Therefore, in the present embodiment, the
また、整数変換部1111では加算データ及び減算データの絶対値を整数に変換することで情報量の低減を図ることとしたものである。その結果、変換部111を経ることで、加算データ及び減算データは0または3から255の整数値となり、1または2の数値は存在しないことから、下位の1ビットを無視することとし、0から127の7ビット値と符号1ビット値の合計8ビット値に変換され、情報量の低減を図ることが可能になり、かつ、符号化及び復号処理の種類に起因する量子化ノイズ等の誤検出を低減することが可能となる。変換部111により変換された後の加算データ及び減算データはメタデータ付加部15へ出力される。
Further, the
図12はメタデータ保持部13のレコードレイアウトを示す説明図である。メタデータ保持部13はデマルチプレクサ11から出力される前段のメタデータ算出器1、1・・にて算出されたメタデータ及び特定データを記憶している。メタデータ保持部13は、局IDフィールド、機器IDフィード、及びメタデータフィールドを含んで構成される。局IDはキー局及び中継局に予め割り当てられる固有の識別子である。局IDは例えば数値が小さいほど前段に存在することを意味している。本例では局ID01がキー局であり、その後段に局ID02の中継局、その後段に局ID03の中継局、さらにその後段に局ID04の中継局が存在していることを意味する。
FIG. 12 is an explanatory diagram showing a record layout of the
本例における中継局の局IDはさらにその後段の05であるものとする。機器IDはキー局及び中継局にそれぞれ設置されるメタデータ算出器1を特定するための予め割り当てられた固有の識別子である。この機器IDは例えばMAC(Media Access Control)アドレス等を用いればよい。なお、本実施の形態においては局ID及び機器IDの2種類を設ける形態につき説明するが、いずれか一つを用いても良い。機器IDに関しても、どの機器IDが前段のメタデータ算出器1に係る機器IDであるかの情報が図示しないメモリに記憶されている。特定のメタデータ算出器1にて算出されたメタデータは当該メタデータ算出器1及びメタデータを特定するための局ID及び機器IDに対応づけられる。以下では、算出したメタデータを特定するための局ID、及び、機器IDを特定データという。
The station ID of the relay station in this example is assumed to be 05 in the subsequent stage. The device ID is a unique identifier assigned in advance for specifying the
メタデータフィールドには前段のメタデータ算出器1にて算出されたメタデータが記憶されている。メタデータ保持部13は前段のメタデータ算出器1、1、・・・にて算出したメタデータ及びメタデータを特定するための特定データを履歴として記憶している。メタデータ保持部13は、メタデータ及び特定データを識別情報付加部としてのメタデータ付加部15へ出力する。なお、図2に示すメタデータ算出器1がキー局に存在する場合は、その前段が存在しないので、メタデータ保持部13には何もデータが記憶されない。
In the metadata field, metadata calculated by the preceding
識別情報付加部として機能するメタデータ付加部15はメタデータ算出部14から出力されるメタデータに、局ID(本例では05)、及び、機器IDに係る特定データを付加する。さらにメタデータ付加部15はこのメタデータ及び特定データを、メタデータ保持部13から出力される前段のメタデータ及び特定データに付加する処理を行う。
The
図13はメタデータ及び特定データのデータ構造を示す説明図である。図13に示す如くヘッダに各メタデータ算出器1にて算出されたメタデータ及び特定データが伝送順に結合されている。つまり局IDが小さいものから順に各メタデータが結合されている。キー局のメタデータ算出器1にて算出されたメタデータは、局ID01の特定データと共に最前段に記憶されている。また本メタデータ算出器1にて算出されたメタデータは、局ID05の特定データと共に最後段に記憶されている。メタデータ付加部15にて前段の履歴が付加されたメタデータ及び特定データは付加部17に出力される。
FIG. 13 is an explanatory diagram showing the data structure of metadata and specific data. As shown in FIG. 13, the metadata and specific data calculated by each
付加部17はデマルチプレクサ11から出力された音声データにメタデータ付加部15から出力されたメタデータ及び特定データを付加し、送信部18へ出力する。送信部18は、後段の中継局に設けられるメタデータ算出器1へ映像データと共に、図示しないエンコーダによりエンコードされた音声データ、並びに、これに付加されたメタデータ及び特定データを送信する。これにより、各メタデータ算出器1にて算出されたメタデータ及び特定データが音声データに次々に付加されていくことになる。
The adding
以上のハードウェア構成においてメタデータ算出処理及び付加処理の手順を、フローチャートを用いて説明する。図14乃至図16はメタデータ算出処理及び付加処理の手順を示すフローチャートである。デマルチプレクサ11は入力された音声データにメタデータ及び特定データが付加されているか否かを判断する(ステップS71)。デマルチプレクサ11はメタデータ及び特定データが付加されていると判断した場合(ステップS71でYES)、音声データからメタデータ及び特定データを抽出する(ステップS72)。
The procedure of the metadata calculation process and the addition process in the above hardware configuration will be described using a flowchart. 14 to 16 are flowcharts showing the procedures of the metadata calculation process and the addition process. The
デマルチプレクサ11はメタデータ及び特定データをメタデータ保持部13へ出力する(ステップS73)。ステップS71において、音声データにメタデータ及び特定データが付加されていないと判断した場合(ステップS71でNO)、ステップS72及びS73の処理をスキップする。またデマルチプレクサ11はメタデータ及び特定データが付加されていない音声データを抽出部12及び付加部17へ出力する(ステップS74)。抽出部12は音声データが2chを超えるチャンネル数であるか否かを判断する(ステップS75)。
The
抽出部12は音声データが2chを超えるチャンネル数であると判断した場合(ステップS75でYES)、変換部121は式(1)を読み出し、数値を代入することで2chの音声データに変換し、出力部122を介して2chの音声データを出力する(ステップS76)。抽出部12はステップS76の処理の後、ステップS77へ移行する。またステップS75において音声データが2chを超えるチャンネル数でないと判断した場合(ステップS75でNO)、すなわち、2chの信号であると判断した場合、抽出部12はステップS76の処理をスキップし、左音声データ及び右音声データを抽出する(ステップS77)。
When the
抽出部12は左音声データ及び右音声データをHPF110へ出力する(ステップS78)。HPF110はメモリに記憶した遮断周波数を読み出す。HPF110は読み出した遮断周波数を超える周波数成分を抽出する(ステップS79)。具体的にはHPF110は図4に示すフィルタに、符号化及び復号処理の如何にかかわらず加算データ及び減算データの量子化ノイズ等の要因を低減させるべく、左音声データ及び右音声データをそれぞれ入力し、出力を得る。HPF110は抽出後の左音声データ及び右音声データをメタデータ算出部14へ出力する(ステップS710)。加算部141は式(5)を読み出し、左音声データ及び右音声データを式(5)へ代入することにより、各フレームの加算データを算出する(ステップS711)。減算部142は式(6)を読み出し、左音声データ及び右音声データを式(6)へ代入することにより、各フレームの減算データを算出する(ステップS712)。
The
メタデータ算出部14は各フレームの加算データ及び減算データをメタデータとして変換部111へ出力する(ステップS713)。変換部111の上下限変換部1110はメモリから下限値を読み出す。上下限変換部1110は読み出した下限値よりも小さい加算データ及び減算データの絶対値を零に変換する(ステップS714)。変換部111の上下限変換部1110はメモリから上限値を読み出す。上下限変換部1110は読み出した上限値を超える加算データ及び減算データの絶対値を上限値または上限値未満の値に変換する(ステップS715)。上下限変換部1110は、ステップS715にて変換する前の加算データ及び減算データに予め付与されていた絶対値算出前の符号を、ステップS715にて変換された加算データ及び減算データ(上限値または上限値未満の値)に付加する(ステップS716)。変換部111の整数変換部1111は正負の値を持つ加算データ及び減算データを整数に変換する(ステップS81)。
The
変換部111は変換後の各フレームの加算データ及び減算データをメタデータとして、メタデータ付加部15へ出力する(ステップS82)。メタデータ付加部15は図示しないメモリに記憶された当該メタデータ算出器1に係る局ID及び機器IDを読み出し、メタデータ算出部14から出力されたメタデータに付加する(ステップS83)。メタデータ付加部15はステップS83で特定データが付加されたメタデータに、メタデータ保持部13から出力された前段のメタデータ算出器1に係るメタデータ及び特定データを付加する(ステップS84)。メタデータ付加部15は前段にある局IDまたは機器IDが上位となるよう、例えば、局IDまたは機器IDの数値が小さい順に各メタデータ及び特定データをソートし、図6に示すメタデータ及び特定データ群を生成する。
The
メタデータ付加部15はメタデータ及び特定データを付加部17へ出力する(ステップS85)。付加部17はデマルチプレクサ11から出力された音声データに、メタデータ付加部15から出力されたメタデータ及び特定データを付加する(ステップS86)。付加部17は映像データと共にエンコードされた音声データ、メタデータ及び特定データを送信部18へ出力する(ステップS87)。送信部18は映像データ、音声データ、メタデータ及び特定データを後段のメタデータ算出器1へ送信する(ステップS88)。
The
実施の形態2
実施の形態2はメタデータ算出部14が実効値(RMSV:Root Mean Square Value)を算出する形態に関する。図17は実施の形態2に係るメタデータ算出器1のハードウェア構成を示すブロック図である。実施の形態1に対し、メタデータ算出部14及び変換部111の構成が相違する。メタデータ算出部14は第1実効値算出部である左実効値算出部143及び第2実効値算出部である右実効値算出部144を含む。左実効値算出部143はHPF110から出力された左音声データの実効値を式(7)に基づき算出し、変換部111へ出力する。左音声データの1フレーム目の実効値(LARI)(1)は、式(7)で表すことができる。なお以下では実効値を場合によりARI(Audio root-mean-square information)と称する。
The second embodiment relates to a mode in which the
また右音声データの1フレーム目の実効値(RARI)(1)は、式(8)で表すことができる。 Further, the effective value (RARI) (1) of the first frame of the right audio data can be expressed by Expression (8).
メタデータ算出部14で算出された各フレームの左音声データ及び右音声データの実効値を変換部111へ出力する。変換部111は入力された左音声データ及び右音声データの実効値の対数に基づき変換する。変換部111は対数変換部1112及び整数変換部1113を含む。対数変換部1112は各フレームの左音声データ及び右音声データの実効値の対数を式(9)及び式(10)に基づき算出する。
L=k×log10(LARI(i)) ・・・(9)
R=k×log10(RARI(i)) ・・・(10)
The effective values of the left audio data and the right audio data of each frame calculated by the
L = k × log 10 (LARI (i)) (9)
R = k × log 10 (RARI (i)) (10)
左音声データの対数Lは、式(9)に示す如く、各フレームの左音声データの実効値の対数に係数kを乗じて得ることができる。また、右音声データの対数Rは、式(10)に示す如く、各フレームの右音声データの実効値の対数に係数kを乗じて得ることができる。なおこの係数kは例えば50とすれば良い。整数変換部1113は式(9)及び式(10)で得られた右音声データの対数及び左音声データの対数の小数点以下を切り捨て、切り上げ、または四捨五入等することにより整数化する。変換部111により変換された後の左音声データ及び右音声データの対数に係る実効値はメタデータ付加部15へ出力される。
The logarithm L of the left audio data can be obtained by multiplying the logarithm of the effective value of the left audio data of each frame by a coefficient k, as shown in Equation (9). Also, the logarithm R of the right audio data can be obtained by multiplying the logarithm of the effective value of the right audio data of each frame by the coefficient k as shown in the equation (10). The coefficient k may be 50, for example. The
図18は音声データの実効値の時間的変化を示すグラフである。図18の横軸はフレームであり、縦軸は左音声データの実効値を示す。音声データは女性アナウンスを数秒間録音したものを用いた。実効値は縦軸に示す如く0から約8000までの値をとるため伝送の際、情報量が大きくなる。そのため本実施の形態においては対数をとり、さらに整数化することで情報量の低減を図ることが可能となる。 FIG. 18 is a graph showing temporal changes in the effective value of audio data. In FIG. 18, the horizontal axis represents a frame, and the vertical axis represents the effective value of left audio data. The audio data was a female announcement recorded for a few seconds. Since the effective value takes a value from 0 to about 8000 as shown on the vertical axis, the amount of information increases during transmission. Therefore, in this embodiment, it is possible to reduce the amount of information by taking a logarithm and further converting it to an integer.
図19は音声データの実効値に係る対数の時間的変化を示すグラフである。図19の横軸はフレームであり、縦軸は左音声データの実効値の係数を示す。本実施の形態においては式(7)における係数kを50とした。その結果、実効値の対数は0から255の範囲の整数値内に属し、実施の形態1と同じくメタデータを8ビットの情報量に収めることが可能となる。このように、対数変換、係数乗算及び整数化の一連の処理を経ることで、実施の形態1と同じビット数に情報量を設定することが可能となる。 FIG. 19 is a graph showing the logarithmic change in the effective value of the audio data. In FIG. 19, the horizontal axis represents the frame, and the vertical axis represents the coefficient of the effective value of the left audio data. In the present embodiment, the coefficient k in equation (7) is 50. As a result, the logarithm of the effective value belongs to an integer value in the range of 0 to 255, and the metadata can be stored in the 8-bit information amount as in the first embodiment. As described above, the information amount can be set to the same number of bits as in the first embodiment by performing a series of processes of logarithmic conversion, coefficient multiplication, and integer conversion.
なお、係数kは変換部111が動的に変化させるようにしても良い。対数変換部1112で得た左音声データの対数の最大値または右音声データの対数の最大値のk倍が、予め定めた上限値、例えば255、に最も近づくよう係数kを算出する。具体的には、上限値を、対数変換部1112から出力される左音声データの対数の最大値または右音声データの対数の最大値で除した値を係数kとすれば良い。
The coefficient k may be changed dynamically by the
図20はメタデータ算出処理及び変換処理の手順を示すフローチャートである。実施の形態1で述べたステップS710の処理後以下の処理を実行する。左実効値算出部143は各フレームの左音声データに係る実効値を算出する(ステップS201)。同様に右実効値算出部144は右音声データに係る実効値を算出する(ステップS202)。メタデータ算出部14は、算出した各フレームの左音声データ及び右音声データに係る実効値を変換部111へ出力する(ステップS203)。変換部111の対数変換部1112は、左音声データ及び右音声データに係る実効値の対数を算出する(ステップS204)。
FIG. 20 is a flowchart showing the metadata calculation process and the conversion process. After the process of step S710 described in the first embodiment, the following process is executed. The left effective
対数変換部1112はメモリ(図示せず)から予め記憶した係数kを読み出す(ステップS205)。対数変換部1112は対数に係数kを乗じる(ステップS206)。整数変換部1113は乗算後の左音声データ及び右音声データの実効値に係る対数を整数化する(ステップS207)。最後に変換部111は、整数化した各フレームの左音声データ及び右音声データの実効値に係る対数を、メタデータとしてメタデータ付加部15へ出力する(ステップS208)。なお、以降の処理はステップS83以降と同様であるので詳細な説明は省略する。
The
本実施の形態2は以上の如き構成としてあり、その他の構成及び作用は実施の形態1と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The second embodiment is configured as described above, and other configurations and operations are the same as those of the first embodiment. Therefore, the corresponding parts are denoted by the same reference numerals, and detailed description thereof is omitted.
実施の形態3
実施の形態3は複数の形式に係るメタデータを送信する形態に関する。図21は実施の形態3に係るメタデータ算出器1のハードウェア構成を示すブロック図である。HPF110の出力には選択部112の制御に従いオンまたはオフするスイッチS1及びスイッチS2が設けられている。選択部112は例えばメタデータ算出器1の筐体(図示せず)の外面に設けられるスイッチ等である。選択部112は加算データ及び減算データをメタデータとして用いるか、或いは、実効値をメタデータとして用いるかのいずれかを択一的に選択する事ができる。選択部112により加算データ及び減算データをメタデータとする選択(以下第1選択という)がなされた場合、選択部112はスイッチS1をオン、スイッチS2をオフとなるよう制御する。
この場合HPF110から出力される左音声データ及び右音声データはスイッチS1を経由して加算部141及び減算部142を備えるメタデータ算出部14へ出力される。以下では、加算部141及び減算部142を備えるメタデータ算出部14側を第1選択側S10という。一方、左実効値算出部143及び右実効値算出部144を備えるメタデータ算出部14へは出力されない。以下では、左実効値算出部143及び右実効値算出部144を備えるメタデータ算出部14側を第2選択側S20という。
In this case, the left audio data and the right audio data output from the
第1選択側S10における変換部111により変換処理がなされた加算データ及び減算データはメタデータ付加部15へ出力される。選択部112はメタデータの種類を示す情報をメタデータ付加部15へ出力する。具体的には「第1」の情報を送信する。選択部112により実効値をメタデータとする選択(以下第2選択という)がなされた場合、選択部112はスイッチS1をオフ、スイッチS2をオンとなるよう制御する。
The addition data and the subtraction data converted by the
この場合HPF110から出力される左音声データ及び右音声データはスイッチS2を経由して第2選択側S20のメタデータ算出部14へ出力される。第2選択側S20における変換部111により変換処理がなされた左音声データ及び右音声データに係る実効値の対数はメタデータ付加部15へ出力される。選択部112はメタデータの種類を示す情報をメタデータ付加部15へ出力する。具体的には「第2」の情報を送信する。
In this case, the left audio data and the right audio data output from the
メタデータ付加部15には識別子付加部151が設けられている。識別子付加部151は特定データとして付加されるメタデータの種類を新たに付加する。図22は実施の形態3に係るメタデータ及び特定データのデータ構造を示す説明図である。図22(a)は第1選択がなされた場合のメタデータ及び特定データのデータ構造を示す説明図である。特定データとして付加される機器IDの後段にメタデータの種類を示す情報が新たに付加される。検証の際にはこの特定データ内に記述されたメタデータの種類を参照し、メタデータの分析を行う。図22(a)の例では、メタデータの種類として第1選択を示す「第1」が付加されている。
The
図22(b)は第2選択がなされた場合のメタデータ及び特定データのデータ構造を示す説明図である。図22(b)の例では、メタデータの種類として第2選択を示す「第2」が付加されている。図22(b)に示すように、局IDが「01」のメタデータ算出器1ではメタデータの種類「第1」が付加されており、局IDが「05」のメタデータ算出器1ではメタデータの種類「第2」が付加されていることが理解できる。加算データ及び減算データに係るメタデータを用いたノイズ分析、または、実効値に係るメタデータを用いたノイズ分析の精度は通信環境、機器特性及び音声の種類等により、優劣が存在するため、いずれかを択一的に選択できる構成としたものである。メタデータ付加部15はメタデータ及び特定データを付加部17へ出力する。
FIG. 22B is an explanatory diagram showing the data structure of metadata and specific data when the second selection is made. In the example of FIG. 22B, “second” indicating the second selection is added as the type of metadata. As shown in FIG. 22B, in the
図23及び図24は実施の形態3に係るメタデータ付加処理の手順を示すフローチャートである。予め選択部112は第1選択または第2選択を受け付ける(ステップS231)。選択部112は第1選択を受け付けたか否かを判断する(ステップS232)。選択部112は第1選択を受け付けたと判断した場合(ステップS232でYES)、スイッチS1をオン、スイッチS2をオフとする(ステップS233)。続いて実施の形態1のステップS71乃至ステップS79以降以下の処理を実行する。
23 and 24 are flowcharts showing the procedure of the metadata adding process according to the third embodiment. The
HPF110はスイッチS1を介して、左音声データ及び右音声データを第1選択側S10のメタデータ算出部14へ出力する(ステップS234)。変換部111は変換後の加算データ及び減算データをメタデータとしてメタデータ付加部15へ出力する(ステップS235)。なお、ステップS234及びS235の詳細は実施の形態1で述べたとおりであるので説明を省略する。選択部112はメタデータの種類を示す情報をメタデータ付加部15へ出力する(ステップS236)。
The
選択部112は第1選択を受け付けていないと判断した場合(ステップS232でNO)、スイッチS1をオフ、スイッチS2をオンとする(ステップS237)。続いて実施の形態1のステップS71乃至ステップS79以降以下の処理を実行する。HPF110はスイッチS2を介して、左音声データ及び右音声データを第2選択側S20のメタデータ算出部14へ出力する(ステップS238)。変換部111は変換後の左音声データ及び右音声データの実効値に係る対数をメタデータとしてメタデータ付加部15へ出力する(ステップS239)。なお、ステップS238及びS239の詳細は実施の形態2で述べたとおりであるので説明を省略する。選択部112はメタデータの種類を示す情報をメタデータ付加部15へ出力する(ステップS241)。
If the
メタデータ付加部15は図示しないメモリに記憶された当該メタデータ算出器1に係る局ID及び機器IDを読み出す。識別子付加部151は、選択部112から出力されたメタデータの種類、及び局ID及び機器IDを特定データとして、メタデータ算出部14から出力されたメタデータに付加する(ステップS242)。メタデータ付加部15はステップS242で特定データが付加されたメタデータに、メタデータ保持部13から出力された前段のメタデータ算出器1に係るメタデータ及び特定データを付加する(ステップS243)。
The
メタデータ付加部15は前段にある局IDまたは機器IDが上位となるよう、例えば、局IDまたは機器IDの数値が小さい順に各メタデータ及び特定データをソートし、図22に示すメタデータ及び特定データ群を生成する。メタデータ付加部15はメタデータ及び特定データを付加部17へ出力する(ステップS244)。以降の処理は実施の形態1のステップS86以降と同様であるので詳細な説明を省略する。このように、複数のメタデータ算出部14を設け択一的に選択できるようにしたので、通信環境、符号化及び復号処理の種類、機器特性または音声データの種類等に応じてより好適なメタデータ算出部14を活用することが可能となる。
For example, the
本実施の形態3は以上の如き構成としてあり、その他の構成及び作用は実施の形態1及び2と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The third embodiment is configured as described above, and the other configurations and operations are the same as those of the first and second embodiments. Therefore, the corresponding parts are denoted by the same reference numerals and detailed description thereof is omitted. To do.
実施の形態4
実施の形態4は複数種類のメタデータをあわせて付加する形態に関する。選択部112は、第1選択側S10、第2選択側S20、または、第1選択側S10及び第2選択側S20のいずれか3つを選択する事ができる。第1選択側S10及び第2選択側S20を選択した場合、選択部112は、スイッチS1及びスイッチS2が共にオンとなるよう制御する。この場合HPF110は左音声データ及び右音声データをスイッチS1及びS2を介して、第1選択側S10及び第2選択側S20のメタデータ算出部14双方に出力する。
The fourth embodiment relates to a mode in which a plurality of types of metadata are added together. The
選択部112は、メタデータの種類を示す情報をメタデータ付加部15へ出力する。この場合、選択部112は例えば「第1及び第2」の情報を送信する。なお、本実施の形態においては、選択部112による選択を経て第1選択側S10及び第2選択側S20の双方に係るメタデータを付加する形態を説明するがこれに限るものではない。選択部112を設けることなく、常時HPF110から左音声データ及び右音声データを第1選択側S10のメタデータ算出部14及び第2選択側S20のメタデータ算出部14へ出力するようにしても良い。
The
メタデータ付加部15の識別子付加部151は、選択部112からメタデータの種類を示す情報として「第1及び第2」が出力された場合、第1選択側S10のメタデータ及び第2選択側S20のメタデータそれぞれにメタデータの種類を示す情報を付加する。図25は実施の形態4に係るメタデータ及び特定データのデータ構造を示す説明図である。識別子付加部151は第1選択側S10の変換部111から出力されたメタデータに、メタデータの種類を示す情報「第1」を付加する。図25の例では加算データ及び減算データに係るメタデータの特定データとして「第1」が付加されている。
The
同様に、識別子付加部151は第2選択側S20の変換部111から出力されたメタデータに、メタデータの種類を示す情報「第2」を付加する。図25の例では、左音声データ及び右音声データの対数に係るメタデータの特定データとして「第2」が付加されている。メタデータ付加部15はメモリから局ID及び機器IDを読み出し、特定データとしてメタデータに付加する。
Similarly, the
メタデータ付加部15は図25に示す如く、局ID及び機器IDの後段に、第1選択側S10のメタデータの種類及びメタデータ、さらにその後段に、第2選択側S20のメタデータの種類及びメタデータを連結する。なお、本実施の形態で述べた特定データ及びメタデータのデータ構造はあくまで一例であり、これに限るものではない。メタデータの種類及び局IDまたは機器IDを特定できる形態であれば、この順序に限るものではない。
As shown in FIG. 25, the
図26乃至28は実施の形態4に係るメタデータ付加処理の手順を示すフローチャートである。選択部112は第1選択、第2選択、または、第1選択及び第2選択のいずれかを受け付ける(ステップS261)。選択部112は第1選択を受け付けたか否かを判断する(ステップS262)。選択部112は第1選択を受け付けたと判断した場合(ステップS262でYES)、スイッチS1をオン、スイッチS2をオフとする(ステップS263)。これ以降はステップS234以降の処理を実行し(ステップS264)、一連の処理を終了する。
26 to 28 are flowcharts showing the procedure of the metadata adding process according to the fourth embodiment. The
選択部112は第1選択を受け付けていないと判断した場合(ステップS262でNO)、第1選択及び第2選択の双方を受け付けたか否かを判断する(ステップS265)。選択部112は第1選択及び第2選択の双方を受け付けていないと判断した場合(ステップS265でNO)、第2選択を受け付けたとしてスイッチS1をオフ、スイッチS2をオンとする(ステップS266)。これ以降はステップS238以降の処理を実行し(ステップS267)、一連の処理を終了する。選択部112は第1選択及び第2選択の双方を受け付けたと判断した場合(ステップS265でYES)、スイッチS1をオン、スイッチS2をオンとする(ステップS268)。続いて実施の形態1のステップS71乃至ステップS79以降以下の処理を実行する。
If the
選択部112はメタデータの種類を示す情報をメタデータ付加部15へ出力する(ステップS269)。HPF110はスイッチS1を介して、左音声データ及び右音声データを第1選択側S10のメタデータ算出部14へ出力する(ステップS271)。変換部111は変換後の加算データ及び減算データをメタデータとしてメタデータ付加部15へ出力する(ステップS272)。識別子付加部151はステップS269で出力されたメタデータの種類を参照し、メタデータにメタデータの種類を特定データとして付加する(ステップS273)。具体的には、識別子付加部151は加算データ及び減算データに係るメタデータの前段に特定データとして第1選択側S10を示す「第1」を付加する。
The
さらに、HPF110はスイッチS2を介して、左音声データ及び右音声データを第2選択側S20のメタデータ算出部14へ出力する(ステップS274)。変換部111は変換後の左音声データ及び右音声データの実効値に係る対数をメタデータとしてメタデータ付加部15へ出力する(ステップS275)。識別子付加部151はステップS269で出力されたメタデータの種類を参照し、メタデータにメタデータの種類を特定データとして付加する(ステップS276)。具体的には、識別子付加部151は左音声データ及び右音声データの対数に係るメタデータの前段に特定データとして第2選択側S20を示す「第2」を付加する。
Further, the
識別子付加部151はステップS273で付加した第1選択側S10のメタデータの種類及びメタデータ後段に、ステップS276で付加した第2選択側S20のメタデータの種類及びメタデータを連結する(ステップS277)。メタデータ付加部15はメモリから局ID及び機器IDを読み出す(ステップS278)。メタデータ付加部15は読み出した局ID及び機器IDを特定データとしてステップS277で連結した特定データ及びメタデータの前段に付加する(ステップS279)。これにより、図25で示した局ID(05)の特定データ及びメタデータが完成する。
The
メタデータ付加部15はさらに、ステップS279で特定データが付加されたメタデータに、メタデータ保持部13から出力された前段のメタデータ算出器1に係るメタデータ及び特定データを付加する(ステップS281)。メタデータ付加部15はメタデータ及び特定データを付加部17へ出力する(ステップS282)。このように、変換部111により情報量を削減したので、複数種類のメタデータをあわせて送信することが可能となる。その結果、通信環境、符号化及び復号処理の種類、機器特性または音声データの種類等にかかわらず、複数のメタデータを利用してより精度良くノイズを検出することが可能となる。
The
本実施の形態4は以上の如き構成としてあり、その他の構成及び作用は実施の形態1乃至3と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The fourth embodiment is configured as described above, and the other configurations and operations are the same as those of the first to third embodiments. Therefore, the corresponding parts are denoted by the same reference numerals and detailed description thereof is omitted. To do.
実施の形態5
実施の形態1乃至4に係る処理を図29で示したコンピュータを用いてソフトウェア処理として実現するようにしても良い。図29は実施の形態5に係るメタデータ算出器1のハードウェア構成を示すブロック図である。コンピュータ10はCPU(Central Processing Unit)101、RAM(Random Access Memory)102、ハードディスク等の記憶部105、インターフェースたるI/F106、108、及び通信部109等を含んで構成される。CPU101はバス107を介して各ハードウェアに接続されており、記憶部105に記憶した処理プログラム105Pに従い、上述した各種ソフトウェア処理を実行する。
The processing according to
コンピュータ10を動作させるためのプログラムは、CD−ROM、MO、またはDVD−ROM等の可搬型記録媒体1Aで提供することも可能である。さらに、当該プログラムを、無線LANカード等の通信部109を介して図示しないサーバコンピュータからダウンロードすることも可能である。以下に、その内容を説明する。
A program for operating the
図29に示すコンピュータ10の図示しないリーダ/ライタに、加算データを算出させ、減算データを算出させ、メタデータを付加させる等のプログラムが記録された可搬型記録媒体1A(CD−ROM、MO又はDVD−ROM等)を、挿入して記憶部105の処理プログラム105P内にこのプログラムをインストールする。または、かかるプログラムを、通信部109を介して外部の図示しないサーバコンピュータからダウンロードし、記憶部105にインストールするようにしても良い。かかるプログラムはRAM102にロードして実行される。これにより、デマルチプレクサ11からI/F106を介して音声データ、メタデータ及び特定データが入力され、実施の形態1乃至4で述べた処理が実行される。処理後のメタデータ及び特定データが付加された音声データは、I/F108を介して送信部18へ出力される。
A portable recording medium 1A (CD-ROM, MO, or the like) on which a program for causing a reader / writer (not shown) of the
本実施の形態5は以上の如き構成としてあり、その他の構成及び作用は実施の形態1乃至4と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The fifth embodiment has the above-described configuration, and the other configurations and operations are the same as those of the first to fourth embodiments. Therefore, the corresponding parts are denoted by the same reference numerals and detailed description thereof is omitted. To do.
以上の実施の形態1乃至5を含む実施形態に関し、さらに以下の付記を開示する。 With respect to the embodiments including the first to fifth embodiments, the following additional notes are disclosed.
(付記1)
音声音響信号を受信し、受信した音声音響信号を送信する送受信装置において、
受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出部と、
該抽出部により抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出するハイパスフィルタと、
該ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の和信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく加算データを算出する加算部と、
前記ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の差信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく減算データを算出する減算部と、
前記ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号の時系列の第1実効値を算出する第1実効値算出部と、
前記ハイパスフィルタにより抽出された周波数成分に係る第2音声音響信号の時系列の第2実効値を算出する第2実効値算出部と、
加算データ及び減算データに基づくメタデータ、または、第1実効値及び第2実効値に基づくメタデータのいずれかを選択する選択部と、
前記選択部により加算データ及び減算データに基づくメタデータが選択された場合に、前記加算部及び減算部により算出した加算データ及び減算データをメタデータとして受信した音声音響信号に付加し、前記選択部により第1実効値及び第2実効値に基づくメタデータが選択された場合に、前記第1実効値算出部及び第2実効値算出部により算出した第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加する付加部と、
該付加部によりメタデータが付加された音声音響信号を外部へ送信する送信部と
を備えることを特徴とする送受信装置。
(Appendix 1)
In the transmission / reception device that receives the audio sound signal and transmits the received audio sound signal,
An extraction unit for extracting the first audio sound signal and the second audio sound signal according to the received audio sound signal;
A high-pass filter that extracts a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction unit;
A value related to a time-series sum signal of the first audio acoustic signal and the second audio acoustic signal related to the frequency component extracted by the high-pass filter is calculated, and addition data based on a cumulative addition value for a predetermined time of the calculated value is obtained. An adder to calculate;
A value related to a time-series difference signal between the first audio acoustic signal and the second audio acoustic signal related to the frequency component extracted by the high-pass filter is calculated, and subtraction data based on a cumulative addition value for a predetermined time of the calculated value is calculated. Subtracting part to calculate,
A first effective value calculation unit for calculating a first effective value in a time series of the first audio-acoustic signal related to the frequency component extracted by the high-pass filter;
A second effective value calculation unit for calculating a second effective value in a time series of the second audio-acoustic signal related to the frequency component extracted by the high-pass filter;
A selection unit that selects either metadata based on addition data and subtraction data, or metadata based on the first effective value and the second effective value;
When the selection unit selects metadata based on the addition data and the subtraction data, the addition unit and the subtraction data calculated by the addition unit and the subtraction unit are added to the received audio-acoustic signal as metadata, and the selection unit When metadata based on the first effective value and the second effective value is selected by the above, the first effective value and the second effective value calculated by the first effective value calculation unit and the second effective value calculation unit are metadata. An adding unit for adding to the received sound signal;
A transmission / reception apparatus comprising: a transmission unit that transmits the audio-acoustic signal to which metadata is added by the addition unit to the outside.
(付記2)
音声音響信号を受信し、受信した音声音響信号を送信する送受信装置において、
受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出部と、
該抽出部により抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出するハイパスフィルタと、
該ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の和信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく加算データを算出する加算部と、
前記ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の差信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく減算データを算出する減算部と、
前記ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号の時系列の第1実効値を算出する第1実効値算出部と、
前記ハイパスフィルタにより抽出された周波数成分に係る第2音声音響信号の時系列の第2実効値を算出する第2実効値算出部と、
前記加算部及び減算部により算出した加算データ及び減算データ、並びに、前記第1実効値算出部及び第2実効値算出部により算出した第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加する付加部と、
該付加部によりメタデータが付加された音声音響信号を外部へ送信する送信部と
を備えることを特徴とする送受信装置。
(Appendix 2)
In the transmission / reception device that receives the audio sound signal and transmits the received audio sound signal,
An extraction unit for extracting the first audio sound signal and the second audio sound signal according to the received audio sound signal;
A high-pass filter that extracts a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction unit;
A value related to a time-series sum signal of the first audio acoustic signal and the second audio acoustic signal related to the frequency component extracted by the high-pass filter is calculated, and addition data based on a cumulative addition value for a predetermined time of the calculated value is obtained. An adder to calculate;
A value related to a time-series difference signal between the first audio acoustic signal and the second audio acoustic signal related to the frequency component extracted by the high-pass filter is calculated, and subtraction data based on a cumulative addition value for a predetermined time of the calculated value is calculated. Subtracting part to calculate,
A first effective value calculation unit for calculating a first effective value in a time series of the first audio-acoustic signal related to the frequency component extracted by the high-pass filter;
A second effective value calculation unit for calculating a second effective value in a time series of the second audio-acoustic signal related to the frequency component extracted by the high-pass filter;
Audio that has received the addition data and subtraction data calculated by the addition unit and the subtraction unit, and the first effective value and the second effective value calculated by the first effective value calculation unit and the second effective value calculation unit as metadata. An additional unit for adding to the acoustic signal;
A transmission / reception apparatus comprising: a transmission unit that transmits the audio-acoustic signal to which metadata is added by the addition unit to the outside.
(付記3)
音声音響信号を受信し、受信した音声音響信号を送信する送受信装置において、
受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出部と、
該抽出部により抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出するハイパスフィルタと、
該ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の和信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく加算データを算出する加算部と、
前記ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の差信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく減算データを算出する減算部と、
前記ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号の時系列の第1実効値を算出する第1実効値算出部と、
前記ハイパスフィルタにより抽出された周波数成分に係る第2音声音響信号の時系列の第2実効値を算出する第2実効値算出部と、
加算データ及び減算データに基づくメタデータ、第1実効値及び第2実効値に基づくメタデータ、または、加算データ及び減算データに基づくメタデータ並びに第1実効値及び第2実効値に基づくメタデータ、のいずれかを選択する選択部と、
前記選択部により加算データ及び減算データに基づくメタデータが選択された場合に、前記加算部及び減算部により算出した加算データ及び減算データをメタデータとして受信した音声音響信号に付加し、前記選択部により第1実効値及び第2実効値に基づくメタデータが選択された場合に、前記第1実効値算出部及び第2実効値算出部により算出した第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加し、前記選択部により加算データ及び減算データに基づくメタデータ並びに第1実効値及び第2実効値に基づくメタデータが選択された場合に、前記加算部及び減算部により算出した加算データ及び減算データ並びに前記第1実効値算出部及び第2実効値算出部により算出した第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加する付加部と、
該付加部によりメタデータが付加された音声音響信号を外部へ送信する送信部と
を備えることを特徴とする送受信装置。
(Appendix 3)
In the transmission / reception device that receives the audio sound signal and transmits the received audio sound signal,
An extraction unit for extracting the first audio sound signal and the second audio sound signal according to the received audio sound signal;
A high-pass filter that extracts a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction unit;
A value related to a time-series sum signal of the first audio acoustic signal and the second audio acoustic signal related to the frequency component extracted by the high-pass filter is calculated, and addition data based on a cumulative addition value for a predetermined time of the calculated value is obtained. An adder to calculate;
A value related to a time-series difference signal between the first audio acoustic signal and the second audio acoustic signal related to the frequency component extracted by the high-pass filter is calculated, and subtraction data based on a cumulative addition value for a predetermined time of the calculated value is calculated. Subtracting part to calculate,
A first effective value calculation unit for calculating a first effective value in a time series of the first audio-acoustic signal related to the frequency component extracted by the high-pass filter;
A second effective value calculation unit for calculating a second effective value in a time series of the second audio-acoustic signal related to the frequency component extracted by the high-pass filter;
Metadata based on addition data and subtraction data, metadata based on first effective value and second effective value, or metadata based on addition data and subtraction data, and metadata based on first effective value and second effective value, A selection section for selecting one of
When the selection unit selects metadata based on the addition data and the subtraction data, the addition unit and the subtraction data calculated by the addition unit and the subtraction unit are added to the received audio-acoustic signal as metadata, and the selection unit When metadata based on the first effective value and the second effective value is selected by the above, the first effective value and the second effective value calculated by the first effective value calculation unit and the second effective value calculation unit are metadata. When the metadata based on the addition data and the subtraction data and the metadata based on the first effective value and the second effective value are selected by the selection unit, the addition unit and the subtraction unit And the first and second effective values calculated by the first and second effective value calculating units and the first effective value calculating unit. And adding unit for adding the speech sound signal received as,
A transmission / reception apparatus comprising: a transmission unit that transmits the audio-acoustic signal to which metadata is added by the addition unit to the outside.
1 メタデータ算出器
1A 可搬型記録媒体
11 デマルチプレクサ
12 抽出部
13 メタデータ保持部
14 メタデータ算出部
15 メタデータ付加部
17 付加部
18 送信部
110 HPF
112 選択部
141 加算部
142 減算部
143 左実効値算出部
144 右実効値算出部
151 識別子付加部
1110 上下限変換部
1111、1113 整数変換部
1112 対数変換部
S1 スイッチ
S2 スイッチ
DESCRIPTION OF
112 selecting
Claims (12)
受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出部と、
該抽出部により抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出するハイパスフィルタと、
該ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の和信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく加算データを算出する加算部と、
前記ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の差信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく減算データを算出する減算部と、
前記加算部及び減算部により算出した加算データ及び減算データをメタデータとして受信した音声音響信号に付加する付加部と、
該付加部によりメタデータが付加された音声音響信号を外部へ送信する送信部と
を備えることを特徴とする送受信装置。 In the transmission / reception device that receives the audio sound signal and transmits the received audio sound signal,
An extraction unit for extracting the first audio sound signal and the second audio sound signal according to the received audio sound signal;
A high-pass filter that extracts a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction unit;
A value related to a time-series sum signal of the first audio acoustic signal and the second audio acoustic signal related to the frequency component extracted by the high-pass filter is calculated, and addition data based on a cumulative addition value for a predetermined time of the calculated value is obtained. An adder to calculate;
A value related to a time-series difference signal between the first audio acoustic signal and the second audio acoustic signal related to the frequency component extracted by the high-pass filter is calculated, and subtraction data based on a cumulative addition value for a predetermined time of the calculated value is calculated. Subtracting part to calculate,
An addition unit for adding the addition data and the subtraction data calculated by the addition unit and the subtraction unit to the audio-acoustic signal received as metadata;
A transmission / reception apparatus comprising: a transmission unit that transmits the audio-acoustic signal to which metadata is added by the addition unit to the outside.
前記付加部は、
前記変換部により変換された加算データ及び減算データをメタデータとして受信した音声音響信号に付加するよう構成してある
ことを特徴とする請求項1に記載の送受信装置。 A conversion unit that converts the addition data calculated by the addition unit and the subtraction data calculated by the subtraction unit based on a predetermined lower limit value and an upper limit value;
The additional part is
The transmission / reception apparatus according to claim 1, wherein the addition data and the subtraction data converted by the conversion unit are added to the audio-acoustic signal received as metadata.
前記加算部により算出された加算データ及び前記減算部により算出された減算データの絶対値の内、前記下限値よりも小さい加算データ及び減算データを零へ変換し、前記上限値を超える加算データ及び減算データの絶対値を前記上限値または上限値未満の値へ変換した後、絶対値算出前の符号を変換後の加算データ及び減算データに付加する上下限変換部と、
加算データ及び減算データを整数へ変換する整数変換部と
を備えることを特徴とする請求項2に記載の送受信装置。 The converter is
Of the absolute value of the addition data calculated by the addition unit and the subtraction data calculated by the subtraction unit, the addition data and subtraction data smaller than the lower limit value are converted to zero, and the addition data exceeding the upper limit value and After converting the absolute value of the subtraction data to the upper limit value or a value less than the upper limit value, an upper and lower limit conversion unit that adds the sign before the absolute value calculation to the converted addition data and subtraction data,
The transmission / reception apparatus according to claim 2, further comprising: an integer conversion unit that converts addition data and subtraction data into an integer.
ことを特徴とする請求項3に記載の送受信装置。 The transmission / reception apparatus according to claim 3, wherein the lower limit value is 3 and the upper limit value is 255.
受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出部と、
該抽出部により抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出するハイパスフィルタと、
該ハイパスフィルタにより抽出された周波数成分に係る第1音声音響信号の時系列の第1実効値を算出する第1実効値算出部と、
前記ハイパスフィルタにより抽出された周波数成分に係る第2音声音響信号の時系列の第2実効値を算出する第2実効値算出部と、
前記第1実効値算出部及び第2実効値算出部により算出した第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加する付加部と、
該付加部によりメタデータが付加された音声音響信号を外部へ送信する送信部と
を備えることを特徴とする送受信装置。 In the transmission / reception device that receives the audio sound signal and transmits the received audio sound signal,
An extraction unit for extracting the first audio sound signal and the second audio sound signal according to the received audio sound signal;
A high-pass filter that extracts a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction unit;
A first effective value calculation unit for calculating a first effective value in a time series of the first audio-acoustic signal related to the frequency component extracted by the high-pass filter;
A second effective value calculation unit for calculating a second effective value in a time series of the second audio-acoustic signal related to the frequency component extracted by the high-pass filter;
An adding unit that adds the first effective value and the second effective value calculated by the first effective value calculating unit and the second effective value calculating unit to the audio-acoustic signal received as metadata;
A transmission / reception apparatus comprising: a transmission unit that transmits the audio-acoustic signal to which metadata is added by the addition unit to the outside.
前記付加部は、前記変換部により変換された対数に係る第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加するよう構成してある
ことを特徴とする請求項5に記載の送受信装置。 A conversion unit that performs conversion based on the logarithm of the first effective value calculated by the first effective value calculation unit and the second effective value calculated by the second effective value calculation unit;
The said addition part is comprised so that the 1st effective value and 2nd effective value which concern on the logarithm converted by the said conversion part may be added to the audio | voice sound signal received as metadata. The transmitter / receiver described.
ことを特徴とする請求項1または6に記載の送受信装置。 The transmission / reception apparatus according to claim 1, wherein the predetermined frequency is 20 Hz.
受信した音声音響信号が第1音声音響信号及び第2音声音響信号を超える複数種類の音声音響信号を有する場合、該複数種類の音声音響信号を第1音声音響信号及び第2音声音響信号へ変換するよう構成してある
ことを特徴とする請求項1または6に記載の送受信装置。 The extraction unit includes:
When the received audio-acoustic signal has a plurality of types of audio-acoustic signals exceeding the first audio-acoustic signal and the second audio-acoustic signal, the plurality of types of audio-acoustic signals are converted into the first audio-acoustic signal and the second audio-acoustic signal. The transmission / reception apparatus according to claim 1, wherein the transmission / reception apparatus is configured as described above.
受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出ステップと、
該抽出ステップにより抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出する成分抽出ステップと、
該成分抽出ステップにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の和信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく加算データを算出する加算ステップと、
前記成分抽出ステップにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の差信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく減算データを算出する減算ステップと、
前記加算ステップ及び減算ステップにより算出した加算データ及び減算データをメタデータとして受信した音声音響信号に付加する付加ステップと、
該付加ステップによりメタデータが付加された音声音響信号を外部へ送信する送信ステップと
を含むことを特徴とする送受信方法。 In the transmission / reception method of receiving the audio / acoustic signal by the transmission / reception device and transmitting the received audio / acoustic signal from the transmission / reception device to the outside,
An extraction step of extracting a first audio sound signal and a second audio sound signal according to the received audio sound signal;
A component extraction step of extracting a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction step;
A value related to the time-series sum signal of the first audio sound signal and the second audio sound signal related to the frequency component extracted by the component extraction step is calculated, and the addition data based on the accumulated addition value for a predetermined time of the calculated value An adding step for calculating
Subtract data based on a cumulative addition value for a predetermined time of the calculated value for a time-series difference signal between the first audio sound signal and the second audio sound signal related to the frequency component extracted in the component extraction step. Subtracting step for calculating
An addition step of adding the addition data and the subtraction data calculated by the addition step and the subtraction step to the audio-acoustic signal received as metadata;
And a transmitting step of transmitting the audio-acoustic signal to which the metadata is added in the adding step to the outside.
受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出ステップと、
該抽出ステップにより抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出する成分抽出ステップと、
該成分抽出ステップにより抽出された周波数成分に係る第1音声音響信号の時系列の第1実効値を算出する第1実効値算出ステップと、
前記成分抽出ステップにより抽出された周波数成分に係る第2音声音響信号の時系列の第2実効値を算出する第2実効値算出ステップと、
前記第1実効値算出ステップ及び第2実効値算出ステップにより算出した第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加する付加ステップと、
該付加ステップによりメタデータが付加された音声音響信号を外部へ送信する送信ステップと
を含むことを特徴とする送受信方法。 In the transmission / reception method of receiving the audio / acoustic signal by the transmission / reception device and transmitting the received audio / acoustic signal from the transmission / reception device to the outside,
An extraction step of extracting a first audio sound signal and a second audio sound signal according to the received audio sound signal;
A component extraction step of extracting a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction step;
A first effective value calculating step of calculating a first effective value of a time series of the first audio-acoustic signal related to the frequency component extracted by the component extracting step;
A second effective value calculating step of calculating a second effective value in a time series of the second audio-acoustic signal related to the frequency component extracted by the component extracting step;
An adding step of adding the first effective value and the second effective value calculated in the first effective value calculating step and the second effective value calculating step to the audio-acoustic signal received as metadata;
And a transmitting step of transmitting the audio-acoustic signal to which the metadata is added in the adding step to the outside.
コンピュータに、
受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出ステップと、
該抽出ステップにより抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出する成分抽出ステップと、
該成分抽出ステップにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の和信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく加算データを算出する加算ステップと、
前記成分抽出ステップにより抽出された周波数成分に係る第1音声音響信号及び第2音声音響信号の時系列の差信号に関する値を算出し、算出した値の所定時間分の累積加算値に基づく減算データを算出する減算ステップと、
前記加算ステップ及び減算ステップにより算出した加算データ及び減算データをメタデータとして受信した音声音響信号に付加する付加ステップと、
該付加ステップによりメタデータが付加された音声音響信号を外部へ送信する送信ステップと
を実行させるプログラム。 In a program used in a computer that receives a sound sound signal and transmits the sound sound signal to the outside,
On the computer,
An extraction step of extracting a first audio sound signal and a second audio sound signal according to the received audio sound signal;
A component extraction step of extracting a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction step;
A value related to the time-series sum signal of the first audio sound signal and the second audio sound signal related to the frequency component extracted by the component extraction step is calculated, and the addition data based on the accumulated addition value for a predetermined time of the calculated value An adding step for calculating
Subtract data based on a cumulative addition value for a predetermined time of the calculated value for a time-series difference signal between the first audio sound signal and the second audio sound signal related to the frequency component extracted in the component extraction step. Subtracting step for calculating
An addition step of adding the addition data and the subtraction data calculated by the addition step and the subtraction step to the audio-acoustic signal received as metadata;
And a transmission step of transmitting the audio-acoustic signal to which the metadata is added in the addition step to the outside.
コンピュータに、
受信した音声音響信号に係る第1音声音響信号及び第2音声音響信号を抽出する抽出ステップと、
該抽出ステップにより抽出した第1音声音響信号及び第2音声音響信号から所定周波数以上の周波数成分を抽出する成分抽出ステップと、
該成分抽出ステップにより抽出された周波数成分に係る第1音声音響信号の時系列の第1実効値を算出する第1実効値算出ステップと、
前記成分抽出ステップにより抽出された周波数成分に係る第2音声音響信号の時系列の第2実効値を算出する第2実効値算出ステップと、
前記第1実効値算出ステップ及び第2実効値算出ステップにより算出した第1実効値及び第2実効値をメタデータとして受信した音声音響信号に付加する付加ステップと、
該付加ステップによりメタデータが付加された音声音響信号を外部へ送信する送信ステップと
を実行させるプログラム。 In a program used in a computer that receives a sound sound signal and transmits the sound sound signal to the outside,
On the computer,
An extraction step of extracting a first audio sound signal and a second audio sound signal according to the received audio sound signal;
A component extraction step of extracting a frequency component of a predetermined frequency or higher from the first audio sound signal and the second audio sound signal extracted by the extraction step;
A first effective value calculating step of calculating a first effective value of a time series of the first audio-acoustic signal related to the frequency component extracted by the component extracting step;
A second effective value calculating step of calculating a second effective value in a time series of the second audio-acoustic signal related to the frequency component extracted by the component extracting step;
An adding step of adding the first effective value and the second effective value calculated in the first effective value calculating step and the second effective value calculating step to the audio-acoustic signal received as metadata;
And a transmission step of transmitting the audio-acoustic signal to which the metadata is added in the addition step to the outside.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008264452A JP5419413B2 (en) | 2008-10-10 | 2008-10-10 | Transmission / reception device, transmission / reception method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008264452A JP5419413B2 (en) | 2008-10-10 | 2008-10-10 | Transmission / reception device, transmission / reception method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010091980A true JP2010091980A (en) | 2010-04-22 |
JP5419413B2 JP5419413B2 (en) | 2014-02-19 |
Family
ID=42254733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008264452A Expired - Fee Related JP5419413B2 (en) | 2008-10-10 | 2008-10-10 | Transmission / reception device, transmission / reception method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5419413B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000513888A (en) * | 1996-06-07 | 2000-10-17 | ザット コーポレーション | BTSC encoder |
JP2008209908A (en) * | 2007-02-27 | 2008-09-11 | Sharp Corp | Transmitting/receiving method, transmitter/receiver, and program |
-
2008
- 2008-10-10 JP JP2008264452A patent/JP5419413B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000513888A (en) * | 1996-06-07 | 2000-10-17 | ザット コーポレーション | BTSC encoder |
JP2008209908A (en) * | 2007-02-27 | 2008-09-11 | Sharp Corp | Transmitting/receiving method, transmitter/receiver, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5419413B2 (en) | 2014-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3186472U (en) | Audio decoder using program information metadata | |
JP6508390B2 (en) | Television receiver, signal processing method, and program | |
US7813513B2 (en) | Multi-channel encoder | |
US7613306B2 (en) | Audio encoder and audio decoder | |
CN107592937B (en) | Apparatus and method for encoding or decoding multi-channel signal | |
JP2020003814A (en) | Television receiver and signal processing method, and program | |
CN101002261A (en) | Method and apparatus for encoding and decoding multi-channel audio signal using virtual source location information | |
US11869523B2 (en) | Method and apparatus for decoding a bitstream including encoded higher order ambisonics representations | |
JP2010078915A (en) | Audio decoding method, apparatus, and program | |
US20170194009A1 (en) | Audio signal processing device and method, encoding device and method, and program | |
EP1686562B1 (en) | Method and apparatus for encoding multi-channel signals | |
JP4698688B2 (en) | Transmission / reception method, transmission / reception apparatus, and program | |
JP5419413B2 (en) | Transmission / reception device, transmission / reception method, and program | |
US8392177B2 (en) | Method and apparatus for frequency encoding, and method and apparatus for frequency decoding | |
EP2920981B1 (en) | Making available a sound signal for higher order ambisonics signals | |
CN107077862B (en) | Digital voice processing device, digital voice processing method, and digital voice processing program | |
Lachaise et al. | Inverting dynamics compression with minimal side information | |
CN117859174A (en) | Audio signal down-mixing method, audio signal encoding method, audio signal down-mixing device, audio signal encoding device, and program | |
KR20140027831A (en) | Audio signal transmitting apparatus and method for transmitting audio signal, and audio signal receiving apparatus and method for extracting audio source thereof | |
JP2009081782A (en) | Lossless compression coding method, apparatus thereof, and lossless compression expanding method, and apparatus thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120724 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130222 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130304 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20130329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130927 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20131002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131119 |
|
LAPS | Cancellation because of no payment of annual fees |