JP2003295879A - 音声符号に対するデータ埋め込み/抽出方法および装置並びにシステム - Google Patents

音声符号に対するデータ埋め込み/抽出方法および装置並びにシステム

Info

Publication number
JP2003295879A
JP2003295879A JP2003015538A JP2003015538A JP2003295879A JP 2003295879 A JP2003295879 A JP 2003295879A JP 2003015538 A JP2003015538 A JP 2003015538A JP 2003015538 A JP2003015538 A JP 2003015538A JP 2003295879 A JP2003295879 A JP 2003295879A
Authority
JP
Japan
Prior art keywords
data
voice
code
embedding
embedded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003015538A
Other languages
English (en)
Other versions
JP4330346B2 (ja
Inventor
Takashi Ota
恭士 大田
Masanao Suzuki
政直 鈴木
Yoshiteru Tsuchinaga
義照 土永
Masakiyo Tanaka
正清 田中
Shigeru Sasaki
繁 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2003015538A priority Critical patent/JP4330346B2/ja
Priority to CNB031023223A priority patent/CN100514394C/zh
Priority to CN2008101340452A priority patent/CN101320564B/zh
Priority to EP03250682A priority patent/EP1333424B1/en
Priority to US10/357,323 priority patent/US7310596B2/en
Priority to DE60330413T priority patent/DE60330413D1/de
Priority to EP06007029A priority patent/EP1693832B1/en
Priority to DE60330716T priority patent/DE60330716D1/de
Publication of JP2003295879A publication Critical patent/JP2003295879A/ja
Application granted granted Critical
Publication of JP4330346B2 publication Critical patent/JP4330346B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

(57)【要約】 【課題】 符号器側でデータを音声符号に埋め込むこと
ができ、しかも、復号側で該埋め込みデータを正しく抽出
できるようにする 【解決手段】 音声符号に任意のデータを埋込む際、音
声符号を構成する要素符号のうち第1要素符号と閾値を
用いてデータ埋め込み条件が満たされたか判断し、満た
されていれば、第2要素符号を任意のデータで置き換える
ことによりデータを音声符号に埋め込む。音声符号に埋
め込まれているデータを抽出する際、音声符号を構成す
る要素符号のうち第1要素符号と閾値を用いてデータ埋
め込み条件が満たされているか判断し、満たされている
場合には、音声符号の第2要素符号部分に任意のデータが
埋め込まれていると判断して該埋め込みデータを抽出す
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、パケット音声通信
やデジタル音声蓄積などを適用領域とするデジタル音声
信号処理技術に係わり、特に、データフォーマットの規格
準拠を保ちつつ、しかも音声品質を損なうことなく、音
声符号化技術で圧縮された音声符号(デジタルコード)
の一部を任意のデータと置き換えることにより該データ
を音声符号に埋め込むデータ埋込み技術に関する。かか
るデータ埋込み技術は、ディジタル移動無線システムや
VoIPに代表されるパケット音声伝送システム、デジタル
音声蓄積などに適用されている音声符号化技術と関連
し、伝送ビット系列に影響を与えずに著作権やID情報を
埋め込むことで通話の秘匿性を向上させる電子透かし技
術や機能拡張技術として、その需要、および重要性が高
まっている。
【0002】
【従来の技術】インターネットの爆発的な普及を背景に
IPパケットで音声データを伝送するインターネット電話
への需要が高まっている。音声データをパケット伝送す
ることで、コマンドや画像データなど異なるメディアを
一元的に伝送できるメリットが生まれる。しかし、これ
までは異なるチャネルで独立に伝送するマルチメディア
通信が主であった。また、広告などを挿入することで、
ユーザの通話料金を安くするサービスも行われている
が、通話を開始した冒頭においてのみであった。また、
音声データをパケット伝送することで、コマンドや画像
データなど異なるメディアを一元的に伝送できるが、伝
送フォーマットが周知であるため、秘匿性に問題が出て
くる。これらを背景に、音声圧縮データ(コード)に著作
権情報などを埋め込む“電子透かし”技術が提案されて
いる。
【0003】一方、伝送にあたっては伝送効率を高める
目的で、音声を高能率に圧縮する音声符号化技術が採用
されている。特にVoIPの領域では、国際標準化機関であ
るITU-T(国際電信連合 電信電話標準化部門)の定める
G.729などの音声符号化技術が主流となっている。ま
た、移動体通信の分野でもG.729や3GPP(第三世代パート
ナーズプロジェクト)が定めるAMR(Adaptive Multi Rat
e)などの音声符号化技術が採用されている。これらには
CELP(Code Excited Linear Prediction)と呼ばれるアル
ゴリズムをベースとするといった共通点がある。G.729
の符号化方式及び復号方式は次の通りである。 ・符号器の構成及び動作 図41はITU-T勧告G.729方式の符号器の構成図である。
図41において、1フレーム当り所定サンプル数(=
N)の入力信号(音声信号)Xがフレーム単位でLPC分
析部1に入力する。サンプリング速度を8kHz、1フレー
ム期間を10msecとすれば、1フレームは80サンプルであ
る。LPC分析部1は、人間の声道を次式 H(z)=1/[1+Σαi・z-i] (i=1〜M) (1) で表される全極型フィルタと見なし、このフィルタの係
数αi(i=1,・・・,M)を求める。ここで、Mはフィルタ次数
である。一般に、電話帯域音声の場合はMとして10〜12
の値が用いられる。LPC(線形予測)分析部1では、入力
信号の80サンプルと先読み分の40サンプル及び過去の信
号120サンプルの合計240サンプルを用いてLPC分析を行
いLPC係数を求める。
【0004】パラメータ変換部2はLPC係数をLSP(線ス
ペクトル対)パラメータに変換する。ここで、LSPパラメ
ータは、LPC係数と相互に変換が可能な周波数領域のパ
ラメータであり、量子化特性がLPC係数よりも優れてい
ることから量子化はLSPの領域で行われる。LSP量子化部
3は変換されたLSPパラメータを量子化してLSP符号とLS
P逆量子化値を求める。LSP補間部4は、現フレームで求
めたLSP逆量子化値と前フレームで求めたLSP逆量子化値
によりLSP補間値を求める。すなわち、1フレームは5ms
ecの第1、第2の2つのサブフレームに分割され、LPC
分析部1は第2サブフレームのLPC係数を決定するが、
第1サブフレームのLPC係数は決定しない。そこで、LSP
補間部4は、現フレームで求めたLSP逆量子化値と前フ
レームで求めたLSP逆量子化値を用いて補間演算により
第1サブフレームのLSP逆量子化値を予測する。
【0005】パラメータ逆変換部5はLSP逆量子化値とL
SP補間値をそれぞれLPC係数に変換してLPC合成フィルタ
6に設定する。この場合、LPC合成フィルタ6のフィル
タ係数として、フレームの第1サブフレームではLSP補
間値から変換されたLPC係数が用いられ、第2サブフレ
ームではLSP逆量子化値から変換したLPC係数が用られ
る。尚、以降において1に添字があるもの、例えばlspi,
li(n),・・・における1はアルファベットのエルであ
る。LSPパラメータlspi(i=1,・・・,M)はLSP量子化部3で
ベクトル量子化により量子化された後、量子化インデッ
クス(LSP符号)が復号器側へ伝送される。
【0006】次に音源とゲインの探索処理を行なう。音
源とゲインはサブフレーム単位で処理を行う。まず、音
源信号をピッチ周期成分と雑音成分の2つに分け、ピッ
チ周期成分の量子化には過去の音源信号系列を格納した
適応符号帳7を用い、雑音成分の量子化には代数符号帳
や雑音符号帳などを用いる。以下では、音源符号帳とし
て適応符号帳7と雑音符号帳8の2つを使用する音声符
号化方式について説明する。
【0007】適応符号帳7は、インデックス1〜Lに対
応して順次1サンプル遅延したNサンプル分の音源信号
(周期性信号という)を出力するようになっている。N
は1サブフレームのサンプル数であり(N=40)、最新の(L
+39)サンプルのピッチ周期成分を記憶するバッファを有
している。インデックス1により第1〜第40サンプルより
なる周期性信号が特定され、インデックス2により第2
〜第41サンプルよりなる周期性信号が特定され、・・・イ
ンデックスLにより第L〜第L+39サンプルよりなる周期
性信号が特定される。初期状態では適応符号帳7の中身
は全ての振幅が0の信号が入っており、サブフレーム毎
に時間的に一番古い信号をサブフレーム長だけ捨て、現
サブフレームで求めた音源信号を適応符号帳7に格納す
るように動作する。
【0008】適応符号帳探索は、過去の音源信号を格納
している適応符号帳7を用いて音源信号の周期性成分を
同定する。すなわち、適応符号帳7から読み出す開始点
を1サンプルづつ変えながら適応符号帳7内の過去の音
源信号をサブフレーム長(=40サンプル)だけ取り出し、L
PC合成フィルタ6に入力してピッチ合成信号βAPLを
作成する。ただし、PLは適応符号帳7から取り出され
た遅れLに相当する過去のピッチ周期性信号(適応符号
ベクトル)、AはLPC合成フィルタ6のインパルス応答、
βは適応符号帳ゲインである。
【0009】演算部9は入力音声XとβAPLの誤差電
力ELを次式 EL=|X−βAPL| (2) により求める。適応符号帳出力の重み付き合成出力をA
PLとし、APLの自己相関をRpp、APLと入力信号
Xの相互相関をRxpとすると、式(2)の誤差電力が最小
となるピッチラグLoptにおける適応符号ベクトルPL
は、次式 PL=argmax(Rxp2/Rpp) (3) により表わされる。すなわち、ピッチ合成信号APLと入
力信号Xとの相互相関Rxpをピッチ合成信号の自己相関
Rppで正規化した値が最も大きくなる読み出し開始点を
最適な開始点とする。以上より、誤差電力評価部10は
(3)式を満足するピッチラグLoptを求める。このとき、
最適ピッチゲインβoptは次式 βopt=Rxp/Rpp (4) で与えられる。
【0010】次に雑音符号帳8を用いて音源信号に含ま
れる雑音成分を量子化する。雑音符号帳8は、振幅が1
又は−1の複数のパルスから構成される。例として、サ
ブフレーム長が40サンプルの場合のパルス位置を表1に
示す。
【表1】 雑音符号帳8は、1サブフレームを構成するN(=40)サ
ンプル点を複数のパルス系統グループ1〜4に分割し、
各パルス系統グループから1つのサンプル点m0〜m3を取
り出してなる全組み合わせについて、各サンプル点で+
1あるいは−1のパルスを有するパルス性信号を雑音成
分として順次出力する。この例では、基本的に1サブフ
レームあたり4本のパルスが配置される。
【0011】図42は各パルス系統グループ1〜4に割
り当てたサンプル点の説明図であり、(1) パルス系統グ
ループ1には8個のサンプル点 0,5,10,15,20,25,30,35
が割り当てられ、(2) パルス系統グループ2には8個の
サンプル点 1,6,11,16,21,26,31,36が割り当てられ、
(3) パルス系統グループ3には8個のサンプル点 2,7,1
2,17,22,27,32,37が割り当てられ、(4) パルス系統グル
ープ4には16個のサンプル点 3,4,8,9,13,14,18,19,23,
24,28,29,33,34,38,39が割り当てられている。
【0012】パルス系統グループ1〜3のサンプル点を
表現するために3ビット、パルスの正負を表現するのに
1 bit、トータル4 bit が必要であり、又、パルス系統
グループ4のサンプル点を表現するために4 bit、パル
スの正負を表現するのに1 bit、トータル5 bit 必要で
ある。従って、表1のパルス配置を有する雑音符号帳8
から出力するパルス性の音源信号を特定するために17bi
tが必要になり、パルス性音源信号の種類は217(=
24×24×24×25)存在する。表1に示すように
各パルス系統のパルス位置は限定されており、雑音符号
帳探索では各パルス系統のパルス位置の組み合わせの中
から、再生領域で入力音声との誤差電力が最も小さくな
るパルスの組み合わせを決定する。すなわち、適応符号
帳探索で求めた最適ピッチゲインβoptとし、適応符号
帳出力PLに該ゲインβoptを乗算して加算器11に入
力する。これと同時に雑音符号帳8より順次パルス性音
源信号を加算器に11に入力し、加算器出力をLPC合成
フィルタ6に入力して得られる再生信号と入力信号Xと
の差が最小となるパルス性音源信号を特定する。具体的
には、まず入力信号Xから適応符号帳探索で求めた最適
な適応符号帳出力PL、最適ピッチゲインβoptから次
式により雑音符号帳探索のためのターゲットベクトル
X′を生成する。
【0013】X′=X−βoptAPL (5) この例では、パルスの位置と振幅(正負)を前述のように
17bitで表現するため、その組合わせは2の17乗通り存在
する。ここで、k通り目の雑音符号出力ベクトルをCkと
すると、雑音符号帳探索では次式 D=|X′−GCACk| (6) の評価関数誤差電力Dを最小とする符号ベクトルCkを
求める。GCは雑音符号帳ゲインである。誤差電力評価
部10は雑音符号帳の探索において、雑音合成信号AC
kと入力信号X′の相互相関値Rcxの2乗を雑音合成信
号の自己相関値Rccで正規化して得られる正規化相互相
関値(Rcx*Rcx/Rcc)が最も大きくなるパルス位置と極性
の組み合わせを探索する。
【0014】次にゲイン量子化について説明する。G.72
9方式において雑音符号帳ゲインは直接量子化されず、
適応符号帳ゲインGa(=βopt)と雑音符号帳ゲインG
cの補正係数γをベクトル量子化する。ここで、雑音符
号帳ゲインGCと補正係数γとの間には GC=g′×
γなる関係がある。g′は過去の4サブフレームの対数
利得から予測される現フレームの利得である。ゲイン量
子化器12の図示しないゲイン量子化テーブルには、適
応符号帳ゲインGaと雑音符号帳ゲインに対する補正係
数γの組み合わせが128通り(=27)用意されている。
ゲイン符号帳の探索方法は、適応符号帳出力ベクトル
と雑音符号帳出力ベクトルに対して、ゲイン量子化テー
ブルの中から1組のテーブル値を取り出してゲイン可変
部13、14に設定し、ゲイン可変部13、14でそ
れぞれのベクトルにゲインGa、Gcを乗じてLPC合成フ
ィルタ6に入力し、誤差電力評価部10において入力
信号Xとの誤差電力が最も小さくなる組み合わせを選択
する、ことにより行なう。
【0015】以上より、回線多重化部15は、LSPの
量子化インデックスであるLSP符号、適応符号帳の量
子化インデックスであるピッチラグ符号Lopt、(3) 雑
音符号帳インデックスである雑音符号、(4) ゲインの量
子化インデックスであるゲイン符号を多重して回線デー
タを作成する。実際には伝送路に送出する前に回線符号
化やパケット化処理が必要となる。
【0016】・復号器の構成及び動作 図43はG.729方式の復号器のブロック図である。回線
から受信した回線データが回線分離部21へ入力されて
LSP符号、ピッチラグ符号、雑音符号、ゲイン符号が分
離出力される。復号器ではこれらの符号に基づいて音声
データを復号する。復号器の動作については、復号器の
機能が符号器に含まれているため一部重複するが、以下
で簡単に説明する。LSP逆量子化部22はLSP符号が入力
すると逆量子化し、LSP逆量子化値を出力する。LSP補間
部23は現フレームの第2サブフレームにおけるLSP逆
量子化値と前フレームの第2サブフレームのLSP逆量子
化値から現フレームの第1サブフレームのLSP逆量子化
値を補間演算する。次に、パラメータ逆変換部24はLS
P補間値とLSP逆量子化値をそれぞれLPC合成フィルタ係
数へ変換する。G.729方式のLPC合成フィルタ25は、最
初の第1サブフレームではLSP補間値から変換されたLPC
係数を用い、次の第2サブフレームではLSP逆量子化値
から変換されたLPC係数を用いる。
【0017】適応符号帳26はピッチラグ符号が指示す
る読み出し開始位置からサブフレーム長(=40サンプル)
のピッチ信号を出力し、雑音符号帳27は雑音符号に対
応するの読出し位置からパルス位置とパルスの極性を出
力する。また、ゲイン逆量子化部28は入力されたゲイ
ン符号より適応符号帳ゲイン逆量子化値と雑音符号帳ゲ
イン逆量子化値を算出してゲイン可変部29,30に設
定する。加算部31は適応符号帳出力に適応符号帳ゲイ
ン逆量子化値を乗じて得られる信号と、雑音符号帳出力
に雑音符号帳ゲイン逆量子化値を乗じて得られる信号と
を加え合わせて音源信号を作成し、この音源信号をLPC
合成フィルタ25に入力する。これにより、LPC合成フ
ィルタ25から再生音声を得ることができる。尚、初期
状態では復号器側の適応符号帳26の内容は全て振幅0
の信号が入っており、サブフレーム毎に時間的に一番古
い信号をサブフレーム長だけ捨て、一方、現サブフレー
ムで求めた音源信号を適応符号帳26に格納するように
動作する。つまり、符号器と復号器の適応符号帳26は
常に最新の同じ状態になるように維持される。
【0018】・電子透かし技術 上記のCELPを対象とした電子透かし技術として、特開平
11-272299に開示されている「音声符号化時の透かしビ
ットの埋込方法」がある。図44はかかる電子透かし技
術説明図である。表1において、第4パス系統i3に着目す
る。第4パス系統i3のパルス位置m3は、他の第1〜第3パ
ルス系統i0〜i2のパルス位置m0〜m2と異なり、隣接
した候補を持っている。G.729の規格によれば、第4パルス
系統i3におけるパルス位置は隣接したパルス位置を選
択しても差し支えないことになっている。例えば、第4パ
ルス系統i3におけるパルス位置m3=4はパルス位置m
3′=3に置き換えても良く、置き換えて音声符号を再生
しても人間の聴覚に与える影響は殆どない。そこで、m3
の候補にラベル付けを行なうために8ビットのキーKpを
導入する。例えば、図44に示すようにKp=000011
11とし、Kpの各ビットにm3の各候補3,8,13,18,23,28,
33,38をそれぞれ対応させ、かつ、*Kp=1111000
0とし、*Kpの各ビットにm3の各候補4,9,14,19,24,2
9,34,39を対応付けする。このように対応付けすれば、
3の全候補にキーKpに従って"0"と"1"のラベル付けを
行なうことができる。かかる状況において、音声符号に透
かしビット"0"を埋め込む場合は、キーKpに従って"0"の
ラベルを付けられた候補の中からm3を選択する。一方、
透かしビット"1"を埋め込む場合は、キーKpに従って"1"
のラベルを付けられた候補の中からm3を選択する。この
方法により2値化された透かし情報を音声符号の中に埋
め込むことが可能となる。従って、送受信機で相互に前記
キーKpを持ち合うことにより透かし情報の埋め込み及び
抽出が可能となる。5msecのサブフレーム毎に1ビットの
透かし情報を埋め込むことができるため1秒当たり200ビ
ットを埋め込むことができる。
【0019】ところで、同じキーKpを用いて全符号に透
かし情報を埋め込むと、不正な第3者により解読される可
能性が高くなる。そこで、秘匿性の向上を図る必要があ
る。m0〜m3の合計値をCpとすれば、合計値は図45の
(a)に示す58通りのいずれかになる。そこで、58ビットの
第2のキーKconを導入し、該キーの各ビットに図45の
(b)に示すように58通りの合計値Cpを対応させる。そし
て、音声符号化した時の雑音符号におけるm0〜m3の合
計値(図では72)を算出し、該合計値に応じたキーKconの
ビット値Cpbが"0"であるか"1"であるか調べ、Cpb="1"の
ときは、音声符号に図44に従って透かしビットを埋め
込み、"0"であれば透かしビットを埋め込まない。このよ
うにすれば、キーKconを知らない第3者は透かし情報を
解読することが困難になる。
【特許文献1】特開平11-272299
【0020】
【発明が解決しようとする課題】音声チャネルと独立な
チャネルで他のメディアを伝送する場合には、基本的に
両端の端末機がマルチチャネル対応である必要がある。
この場合、例えば現在最も普及している第二世代の携帯
電話機など、従来の通信網に繋がる端末では制約が加わ
る問題がある。また、たとえ両端の端末機がマルチチャ
ネル対応で、複数のメディアが伝送可能であってもパケ
ット交換の場合は経路がバラバラで、途中の中継機での
同期・連携は難しい。特に特定のユーザが発声した音声
自体に付随するデータを使った連携には経路設定や同期
処理など複雑な制御が必要となる問題がある。又、従来
の電子透かし技術では、キーの使用が必須である。この
ため送受双方で特定のキーを共有する必要がある。加え
て、データ埋込み対象が雑音符号帳の第4パルス系統の
パルス位置に限定されている。そのため、鍵の存在がユ
ーザの知り得る可能性が高く、知り得た場合には埋込み
位置が特定できるために、データの漏洩、改ざんが可能
となる問題がある。また、従来の電子透かし技術では、デ
ータの埋込みの実施、非実施がパルス位置候補の合計値
によっておこなわれる“確率的”な制御であるため、デ
ータ埋込みによる音質劣化の影響が大きくなる可能性が
高い問題がある。通信規格としてはデータ埋込みを意識
しない、すなわち、端末で復号(音声再生)した場合にも
音質の劣化が生じないデータ埋込み技術が望ましいが、
従来技術では音質劣化が発生するためかかる要求に答え
られない問題がある。
【0021】以上から本発明の目的は、符号器側、復号器
側双方でキーを持ち合はなくても、符号器側でデータを
音声符号に埋め込むことができ、しかも、復号器側で該埋
め込みデータを正しく抽出できるようにすることであ
る。本発明の別の目的は、データを音声符号に埋め込んで
も音質劣化が殆どなく、再生音声の聴取者にデータ埋込
みを意識させないようにすることである。本発明の別の
目的は、埋め込みデータの漏洩、改ざんを困難にすること
である。本発明の別の目的は、データと制御コードの両
方を埋め込むことができるようにし、これにより復号器
側に制御コードに従った処理を実行させるようにするこ
とである。本発明の別の目的は、埋め込みデータの伝送容
量を大きくできるようにすることである。本発明の別の
目的は、音声チャネルのみで音声、画像、個人情報などの
マルチメディア伝送を可能にすることである。本発明の
別の目的は、互いに音声データの通信をしているエンド
ユーザに広告情報等の任意の情報を提供できるようにす
ることである。本発明の別の目的は、受信した音声データ
に発信者、受信者、受信時刻、会話カテゴリーなどを埋め
込んで蓄積できるようにすることである。
【0022】
【課題を解決するための手段】本発明の第1は、音声符号
に任意のデータを埋込む際、音声符号を構成する要素符
号のうち第1要素符号と閾値を用いてデータ埋め込み条
件が満たされたか判断し、満たされていれば、第2要素符
号を任意のデータで置き換えることによりデータを音声
符号に埋め込む。具体的に、第1の要素符号は雑音符号帳
ゲイン符号であり、第2の要素符号は雑音符号帳のインデ
ックスである雑音符号であり、該雑音符号帳ゲイン符号
の逆量子化値が前記閾値より小さいとき、前記データ埋
め込み条件が満たされていると判断し、前記雑音符号を
所定のデータで置き換えることによりデータを音声符号
に埋め込む。別の具体例として、第1の要素符号はピッ
チゲイン符号であり、第2の要素符号は適応符号帳のイン
デックスであるピッチラグ符号であり、該ピッチゲイン
符号の逆量子化値が前記閾値より小さいとき、前記デー
タ埋め込み条件が満たされていると判断し、前記ピッチ
ラグ符号を任意のデータで置き換えることによりデータ
を音声符号に埋め込む。
【0023】音源信号の2種類の符号語、すなわち、ピ
ッチ音源に対応する適応符号語(ピッチラグ符号)と雑音
音源に対応する固定符号語(雑音符号)に着目すると、利
得が各符号語の寄与度を示すファクタとみることができ
る。つまり、利得が小さい場合は対応する符号語の寄与
度が小さくなる。そこで、利得を判定パラメータとして
定義し、ある閾値以下になる場合は対応する音源符号語
の寄与度が小さいと判断して、該音源符号語のインデッ
クスを任意のデータ系列で置き換える。これにより、置
き換えの影響を小さく抑えながら、任意のデータを埋め
込むことが可能となる。また、閾値を制御することで、
再生音質への影響を考慮しながら埋込みデータ量を調整
できる。
【0024】本発明の第2は、所定の音声符号化方式で
符号化された音声符号に埋め込まれているデータを抽出
する際、前記音声符号を構成する要素符号のうち第1要素
符号と閾値を用いてデータ埋め込み条件が満たされてい
るか判断し、満たされている場合には、音声符号の第2要
素符号部分に任意のデータが埋め込まれていると判断し
て該埋め込みデータを抽出する。具体的に、第1の要素符
号は雑音符号帳ゲイン符号であり、第2の要素符号は雑音
符号帳のインデックスである雑音符号であり、該雑音符
号帳ゲイン符号の逆量子化値が前記閾値より小さいと
き、データ埋め込み条件が満たされていると判断し、前
記雑音符号より埋め込みデータを抽出する。別の具体例
として、第1の要素符号はピッチゲイン符号であり、第2
の要素符号は適応符号帳のインデックスであるピッチラ
グ符号であり、該ピッチゲイン符号の逆量子化値が前記
閾値より小さいとき、データ埋め込み条件が満たされて
いると判断し、前記ピッチラグ符号より埋め込みデータ
を抽出する。
【0025】以上のようにすれば、符号器側、復号器側双
方でキーを持ち合わなくても、符号器側でデータを音声
符号に埋め込むことができ、しかも、復号器側で該埋め込
みデータを正しく抽出することができる。また、データ
を音声符号に埋め込んでも音質劣化が殆どなく、再生音
声の聴取者にデータ埋込みを意識させないようにするこ
とができる。又、閾値を変更することにより埋め込みデ
ータの漏洩、改ざんを困難にすることができる。
【0026】本発明の第3は、音声符号化装置と音声再生
装置を備えたシステムにおいて、音声符号化装置が音声
を所定の音声符号化方式で符号化すると共に得られた音
声符号に任意のデータを埋め込み、音声再生装置が該音
声符号から埋め込みデータを抽出すると共に、該音声符
号より音声を再生する。かかるシステムにおいて、デー
タが埋め込まれているか否かを判定するために使用する
第1要素符号と閾値、該判定の結果に基いてデータが埋め
込まれる第2要素符号をそれぞれ定義しておく。かかる
状態において、音声符号化装置がデータを埋め込む際、前
記音声符号を構成する要素符号のうち第1要素符号と閾
値を用いてデータ埋め込み条件が満たされたか判断し、
満たされていれば、第2要素符号を任意のデータで置き換
えることによりデータを音声符号に埋め込む。一方、音
声再生装置はデータ抽出に際して、前記音声符号を構成
する要素符号のうち第1要素符号と閾値を用いてデータ
埋め込み条件が満たされているか判断し、満たされてい
る場合には、音声符号の第2要素符号部分に任意のデータ
が埋め込まれていると判断し、該埋め込みデータを抽出
し、しかる後、音声符号に復号化処理を施す。
【0027】以上のようにすれば、閾値の初期値のみを
送受双方で予め定義しておけば、キーを使用することな
くデータの埋め込み、抽出が可能になる。また、埋込みデ
ータに制御コードを定義しておけば、該制御コードを用
いて閾値の変更を行なうことができ、該閾値の変更によ
り埋込みデータの伝送量を調整することができる。ま
た、ゲイン値に応じて、データ系列のみを埋め込むか、
あるいは、データと制御コードの種別を識別できる形式
でデータ/制御コード列を埋め込むか、を決定するため、
データ系列のみを埋め込む場合にはデータ種別情報を含
ませる必要がないため伝送容量を改善することができ
る。本発明の第4は、音声を所定の音声符号化方式で符号
化して送信するデジタル音声通信システムであり、入力
音声を符号化した音声データを分析する手段と、その分
析結果に応じて音声データの一部の特定部分に任意のコ
ードを埋め込む手段と、前記埋め込まれたデータを音声
データとして送信する手段を備え、通常の音声通話と同
時に付加情報を送信する。また、デジタル音声通信シス
テムは、更に、受信した音声データを分析する手段と、そ
の分析結果に応じて音声データの一部の特定部分からコ
ードを抽出する手段を備え、通常の音声通話と同時に付
加情報を受信して出力する。上記付加情報としては、画
像情報(所在地周辺の映像、地図画像など)、個人情報(顔
写真、声紋、指紋)等とすることにより、マルチメディア通
信が可能になる。また、付加情報として端末のシリアル
番号、声紋等とすることにより、正当のユーザであるか
の認証性能を高めることができ、しかも、音声データの
セキュリティ性能を高めることが可能になる。また、デ
ジタル音声通信システムに音声データを中継するサーバ
装置を設け、該サーバにより、互いに音声データの通信
をしているエンドユーザに広告情報等の任意の情報を提
供できるように構成することができる。また、受信した
音声データに、発信者、受信者、受信時刻、会話カテゴリ
ーなどを埋め込んで記憶手段に蓄積することで、音声デ
ータのファイル化が可能になり、後の利用を容易にする
ことができる。
【0028】
【発明の実施の形態】(A)本発明の原理 CELPアルゴリズムの復号器では、音源系列を指定するイ
ンデックスと利得情報にて音源信号を生成し、線形予測
係数で構成される合成フィルタにて、音声が生成(再生)
され、再生音声は次式 Srp=H・R=H(Gp・P+ Gc・C)=H・Gp・P+H・Gc・C により表現される。ここでSrpは再生音声、HはLPC合成フ
ィルタ、Gpは適応符号語ゲイン(ピッチゲイン)、Pは適応
符号語(ピッチラグ符号)、Gcは雑音符号語ゲイン(雑音
符号帳ゲイン)、Cは雑音符号語である。又、右辺第1項は
ピッチ周期合成信号、第2項は雑音合成信号である。
【0029】以上のように、CELPにて符号化されたデジ
タルコード(伝送パラメータ)は音声生成系の特徴パラメ
ータと対応している。この特徴に着目すると、各伝送パ
ラメータの状態を把握することができる。例えば、音源
信号の2種類の符号語、すなわち、ピッチ音源に対応す
る適応符号語と雑音音源に対応する雑音符号語に着目す
ると、利得Gp,Gcが各符号語P,Cの寄与度を示すファ
クタとみることができる。つまり、利得Gp,Gcが小さい
場合は対応する符号語P,Cの寄与度が小さくなる。そ
こで、利得Gp,Gcを判定パラメータとして定義し、ある
閾値以下になる場合は対応する音源符号語P,Cの寄与
度が小さいと判断して、音源符号語のインデックスを任
意のデータ系列で置き換える。これにより、置き換えの
影響を小さく抑えながら、任意のデータを埋め込むこと
が可能となる。また、閾値を制御することで、再生音質
への影響を考慮しながら埋込みデータ量を調整できる。
【0030】本技術は閾値の初期値のみを送受双方で予
め定義しておけば、判定パラメータ(ピッチゲイン、雑音
符号帳ゲイン)および埋込み対象パラメータ(ピッチラ
グ、雑音符号)のみで、埋込みデータの有無と埋込み場
所、および埋込みデータの書込み/読出しが可能とな
る。すなわち、特定のキーの伝送が不要となる。また、
埋込みデータに制御コードを定義しておけば、制御コー
ドで閾値の変更を指示するだけで埋込みデータの伝送量
を調整できる。このように、本技術の適用により、符号
化フォーマットの変更なく、任意データの埋込みが可能
となる。つまり、通信/蓄積の用途で必須の互換性を損
なうことなく、かつユーザに知られることなく、IDや他
メディアの情報を音声情報に埋め込んで伝送/蓄積する
ことができる。加えて、本発明ではCELPに共通したパラ
メータにて制御仕様を規定するため、特定の方式に限定
されることなく、幅広い方式に適用できる。例えば、Vo
IP向けのG.729や移動体通信向けのAMRなどにも対応でき
る。
【0031】(B)符号器側の実施例 (a)一般的構成 図1は本発明の符号器側における一般的構成図である。
音声・音響CODEC(符号器)51は入力音声を所定の符号化
方式に従って符号化し、得られた音声符号(符号データ)
を出力する。音声符号は複数の要素符号で構成されてい
る。埋め込みデータ発生部52は音声符号に埋め込むため
の所定のデータを発生する。データ埋め込み制御部53は
埋め込み判定部54とセレクタ構成のデータ埋め込み部55
を備え、適宜、データを音声符号に埋め込む。埋め込み判
定部54は、音声符号を構成する要素符号のうち第1要素
符号と閾値THを用いてデータ埋め込み条件が満たされた
か判断し、データ埋め込み部55はデータ埋め込み条件が
満たされている場合には、第2要素符号を任意の埋め込み
データで置き換えることによりデータを音声符号に埋め
込み、データ埋め込み条件が満たされていない場合に
は、第2要素符号をそのまま出力する。多重部56は音声符
号を構成する各要素符号を多重して伝送する。
【0032】図2は埋め込み判定部の構成図であり、逆
量子化部54aは第1要素符号を逆量子化して逆量子化値G
を出力し、閾値発生部54bは閾値THを出力する。比較部54c
は逆量子化値Gと閾値THを比較し、比較結果をデータ埋め
込み判定部54dに入力する。データ埋め込み判定部54d
は、例えば、G≧THであればデータ埋め込み不可能と判定
し、符号器51から出力する第2要素符号を選択するため
のセレクト信号SLを発生し、G<THであれば、データ埋め込
み可能と判定し、埋め込みデータ発生部52から出力する
埋め込みデータを選択するためのセレクト信号SLを発生
する。この結果、データ埋め込み部55はセレクト信号SL
に基いて第2要素符号と埋め込みデータの一方を選択的
に出力する。尚、図2では第1要素符号を逆量子化して閾値
と比較したが、閾値を符号で設定することにより符号レ
ベルで比較できる場合もあり、かかる場合必ずしも逆量
子化する必要はない。
【0033】(b)第1実施例 図3はG.729の符号化方式に従って符号化する符号器を
使用する場合の第1実施例の構成図であり、図1と同一部
分には同一符号を付している。図1と異なる点は、第1要素
符号としてゲイン符号(雑音符号帳ゲイン)を使用し、第2
要素符号として雑音符号帳のインデックスである雑音符
号を使用する点である。符号器51はG.729に従って入力音
声を符号化し、得られた音声符号をデータ埋め込み部53
に入力する。G.729の音声符号は表2に示すように、LSP符
号、適応符号帳インデックス(ピッチラグ符号)、雑音符
号帳インデックス(雑音符号)、ゲイン符号を要素符号と
して有している。ゲイン符号はピッチゲインと雑音符号
帳ゲインを組み合せて符号化したものである。
【0034】
【表2】 データ埋め込み部53の埋め込み判定部54は、ゲイン符号
の逆量子化値と閾値THを用いてデータ埋め込み条件が満
たされたか判断し、データ埋め込み部55はデータ埋め込
み条件が満たされている場合には、雑音符号を所定のデ
ータで置き換えることによりデータを音声符号に埋め込
み、データ埋め込み条件が満たされていない場合には、
雑音符号をそのまま出力する。多重部56は音声符号を構
成する各要素符号を多重して伝送する。
【0035】埋め込み判定部54は図4に示す構成を備え、
逆量子化部54aはゲイン符号を逆量子化し、比較部54c
は逆量子化値(雑音符号帳ゲイン)Gcと閾値THを比較し、
データ埋め込み判定部54dは逆量子化値Gcが閾値THよ
り小さいとき、データ埋め込み条件が満たされていると
判断し、埋め込みデータ発生部52から出力する埋め込み
データを選択するためのセレクト信号SLを発生する。
又、データ埋め込み判定部54dは逆量子化値Gcが閾値
より大きいとき、データ埋め込み条件が満たされていな
いと判断し、符号器51から出力する雑音符号を選択する
ためのセレクト信号SLを発生する。データ埋め込み部55
はセレクト信号SLに基いて雑音符号と埋め込みデータの
一方を選択的に出力する。
【0036】図5は音声符号の標準フォーマット、図6は
埋め込み制御による伝送符号の説明図であり、音声符号
が5つの符号(LSP符号、適応符号帳インデックス、適応符
号帳利得、雑音符号帳インデックス、雑音符号帳利得)で
構成されている場合を示している。雑音符号帳ゲインGc
が閾値THより大きい場合には、図6の(1)に示すように音
声符号にデータは埋め込まれない。しかし、雑音符号帳
ゲインGcが閾値THより小さい場合には、図6の(2)に示す
ように音声符号の雑音符号帳インデックス部にデータが
埋め込まれる。図6の例では、雑音符号帳インデックス
(雑音符号)に用いられるM(=17)ビット全部に任意の
データを埋め込む場合の例であるが、図7に示すように
最上位ビット(MSB)をデータ種別ビットすることによ
り、残りの(M-1)ビットにデータと制御コードを区別して
埋め込むことができる。このように、埋込みデータの一
部にデータ/制御コードを識別するビットを定義するこ
とで、制御コードを用いて閾値の変更、同期制御などを
行うことが可能となる。
【0037】G.729音声符号化方式において、ある利得
値以下の場合に雑音符号帳インデックスである雑音符号
(17ビット)を任意のデータで置き換えた場合のシミュレ
ーション結果を表3に示す。任意のデータは乱数発生し
たデータとし、この乱数データを雑音符号と見なして再
生した場合の音質の変化をSNRにて評価した結果と、デ
ータで置き換えフレームの割合を測定した。なお、表中
の閾値はゲインインデックス番号であり、数が大きくな
るほど閾値としてのゲインが大きくなる。また、SNR
は、音声符号における雑音符号をデータで置き換えない
場合の音源信号と、置き換えない場合と置き換えた場合
の音源信号の差である誤差信号との比(dB)である。SNRs
egは1フレーム毎のSNR、 SNRtotは音声区間全体の平均S
NRである。割合は(%)は、音声信号として標準信号を入
力したとき、ゲインが対応する閾値以下になってデータ
が埋め込まれる割合である。
【0038】
【表3】 表3の通り、例えば、雑音符号帳ゲインの閾値を12に設
定することで、雑音符号帳インデックス(雑音符号)の総
伝送容量の43%を任意のデータで置き換えることがで
き、かつ、復号器でそのまま復号しても、データを埋め
込まない場合(閾値が0の場合)に比べてわずか0.1dB(=1
1.60-11.50)の音質の差に抑えることができる。これ
は、G.729において音質劣化が非常に少ないことを意味
し、実に1462bits/s(=0.43×17×(1000/5))の任意データ
の伝送が行えることを意味する。また、この閾値を上下
させることにより、音質への影響を考慮しながら、埋込
みデータの伝送容量(割合)も調整できる。例えば、0.2d
Bの音質変化を許容するなら、閾値を20に設定すること
で46%(1564bits/s)まで伝送容量を増やすことができ
る。
【0039】(c)第2実施例 図8はG.729の符号化方式に従って符号化する符号器を
使用する場合の第2実施例の構成図であり、図1と同一部
分には同一符号を付している。図1と異なる点は、第1要素
符号としてゲイン符号(ピッチゲイン符号)を使用し、第2
要素符号として適応符号帳インデックスであるピッチラ
グ符号を使用する点である。
【0040】符号器51はG.729に従って入力音声を符号
化し、得られた音声符号をデータ埋め込み部53に入力す
る。データ埋め込み部53の埋め込み判定部54は、ゲイン
符号の逆量子化値(ピッチゲイン)と閾値THを用いてデー
タ埋め込み条件が満たされたか判断し、データ埋め込み
部55はデータ埋め込み条件が満たされている場合には、
ピッチラグ符号を所定のデータで置き換えることにより
データを音声符号に埋め込み、データ埋め込み条件が満
たされていない場合には、ピッチラグ符号をそのまま出
力する。多重部56は音声符号を構成する各要素符号を多
重して伝送する。
【0041】埋め込み判定部54は図9に示す構成を備
え、逆量子化部54aはゲイン符号を逆量子化し、比較部
54cは逆量子化値(ピッチゲイン)Gpと閾値THを比較し、デ
ータ埋め込み判定部54dは逆量子化値Gpが閾値THより
小さいとき、データ埋め込み条件が満たされていると判
断し、埋め込みデータ発生部52から出力する埋め込みデ
ータを選択するためのセレクト信号SLを発生する。又、
データ埋め込み判定部54dは逆量子化値Gpが閾値より
大きいとき、データ埋め込み条件が満たされていないと
判断し、符号器51から出力するピッチラグ符号を選択す
るためのセレクト信号SLを発生する。データ埋め込み部
55はセレクト信号SLに基いてピッチラグ符号と埋め込み
データの一方を選択的に出力する。
【0042】図10は音声符号の標準フォーマット、図
11は埋め込み制御による伝送符号の説明図であり、音
声符号が5つの符号(LSP符号、適応符号帳インデックス、
適応符号帳利得、雑音符号帳インデックス、雑音符号帳利
得)で構成されている場合を示している。ピッチゲインGp
が閾値THより大きい場合には、図11の(1)に示すように
音声符号にデータは埋め込まれない。しかし、ピッチゲ
インGpが閾値THより小さい場合には、図11の(2)に示す
ように音声符号の適応符号帳インデックス部にデータが
埋め込まれる。表4にG.729音声符号化方式において、
ある利得値以下の場合に適応符号帳インデックスである
ピッチラグ符号(13ビット/10msec)を任意のデータで置
き換えた場合のシミュレーション結果を示す。任意のデ
ータは乱数発生したデータとし、この乱数データをピッ
チラグ符号として再生した場合の音質の変化をSNRを用
いて評価した結果と、置き換えフレームの割合を表4に
示している。
【0043】
【表4】 表4に示す通り、例えば、閾値をゲイン0.5に設定する
と、適応符号帳インデックスであるピッチラグ符号のの
総伝送容量の45%を任意のデータで置き換えることがで
き、かつ復号器でそのまま復号してもわずか0.24dB(=1
1.60-11.36)の音質の差に抑えることができることを示
している。
【0044】(C)復号器側の実施例 (a)一般的構成 図12は本発明の復号器側における一般的構成図であ
る。分離部61は音声符号を受信すれば、該音声符号を要
素符号に分離してデータ抽出部62に入力する。データ抽
出部62は分離された要素符号のうち第1要素符号よりデ
ータを抽出してデータ処理部63に入力すると共に、入力
された各要素符号をそのまま音声・音響CODEC(復号器)6
4に入力する。復号器64は入力された音声符号を復号し
て音声を再生して出力する。
【0045】データ抽出部62は、埋め込み判定部65と振
り分け部66を備え、適宜、データを音声符号より抽出す
る。埋め込み判定部65は、音声符号を構成する要素符号
のうち第1要素符号と閾値THを用いてデータ埋め込み条
件が満たされたか判断し、振り分け部66はデータ埋め込
み条件が満たされていれば、要素符号のうち第2要素符号
を埋め込みデータと見なして抽出し、該埋め込みデータ
をデータ処理部63に送出する。また、振り分け部66はデ
ータ埋め込み条件が満たされているか否かに関係なく、
入力された第2要素符号をそのまま符号器64に入力す
る。
【0046】図13は埋め込み判定部の構成図であり、
逆量子化部65aは第1要素符号を逆量子化して逆量子化値
Gを出力し、閾値発生部65bは閾値THを出力する。比較部65
cは逆量子化値Gと閾値THを比較し、比較結果をデータ埋
め込み判定部65dに入力する。データ埋め込み判定部65d
は、G≧THであればデータが埋め込まれていないと判定
し、G<THであれば、データが埋め込まれていると判定し、
振り分け信号BLを発生する。振り分け部66は振り分け信
号BLに基いて、データが埋め込まれていれば該データを
第2要素符号より抽出してデータ処理部63に入力すると
共に該第2要素符号をそのまま復号器64に入力する。又、
振り分け部66はデータが埋め込まれていなければ、第2要
素符号をそのまま復号器64に入力する。尚、図13では第
1要素符号を逆量子化して閾値と比較したが、閾値を符
号で設定することにより符号レベルで比較できる場合も
あり、かかる場合必ずしも逆量子化する必要はない。
【0047】(b)第1実施例 図14はG.729の雑音符号にデータが埋め込まれている
場合の第1実施例構成図であり、図12と同一部分には同
一符号を付している。図12と異なる点は、第1要素符号
としてゲイン符号(雑音符号帳ゲイン)を使用し、第2要素
符号として雑音符号帳のインデックスである雑音符号を
使用する点である。 分離部61は音声符号を受信すれば、該音声符号を要素符
号に分離してデータ抽出部62に入力する。G.729に従って
符号化されているとすれば、分離部61は音声符号をLSP符
号、ピッチラグ符号、雑音符号、ゲイン符号に分離してデ
ータ抽出部62に入力する。尚、ゲイン符号はピッチゲイン
と雑音符号帳ゲインを組み合せ、量子化テーブルを用い
て量子化(符号化)したものである。
【0048】データ抽出部62の埋め込み判定部65は、ゲ
イン符号の逆量子化値と閾値THを用いてデータ埋め込み
条件が満たされたか判断し、振り分け部66はデータ埋め
込み条件が満たされていれば雑音符号を埋め込みデータ
と見なして抽出し、該埋め込みデータをデータ処理部63
に入力すると共に、該雑音符号を入力されたままの形で
復号器64に入力する。また、振り分け部66はデータ埋め
込み条件が満たされていなければ、雑音符号を入力され
たままの形で復号器64に入力する。 埋め込み判定部65は図15に示す構成を備え、逆量子化
部65aはゲイン符号を逆量子化し、比較部65cは逆量子化
値(雑音符号帳ゲイン)Gcと閾値THを比較し、データ埋め
込み判定部65dは逆量子化値Gcが閾値THより小さいと
き、データが埋め込まれていると判断し、逆量子化値Gc
が閾値THより大きいとき、データが埋め込まれていない
と判断し、それぞれ振り分け信号BLを発生する。振り分
け66は振り分け信号BLに基いて、雑音符号に埋め込まれ
ているデータをデータ処理部63に入力し、又、雑音符号
を復号器64に入力する。
【0049】図16は受信音声符号の標準フォーマッ
ト、図17はデータ埋め込み判定部による判定結果説明
図であり、音声符号が5つの符号(LSP符号、適応符号帳イ
ンデックス、適応符号帳利得、雑音符号帳インデックス、
雑音符号帳利得)で構成されている場合を示している。受
信時、音声符号の雑音符号帳インデックス部(雑音符号
部)にデータが埋め込まれているか否かは不明である(図
16)。しかし、雑音符号帳ゲインGcと閾値THの大小を判
別することによりデータが埋め込まれているか否かが判
明する。すなわち、雑音符号帳ゲインGcが閾値THより大
きければ、図17の(1)に示すようにデータは雑音符号帳
インデックス部に埋め込まれていない。しかし、雑音符
号帳ゲインGcが閾値THより小さければ、図17の(2)に示
すようにデータは雑音符号帳インデックス部に埋め込ま
れている。図7に示すように最上位ビット(MSB)をデ
ータ種別ビットとすることにより、残りの(M-1)ビットに
データと制御コードが区別して埋め込まれていれば、デ
ータ処理部63該最上位ビットを参照し、制御コードであ
れば該コマンドに応じた処理、例えば、閾値の変更、同期
制御処理などを実行する。
【0050】(c)第2実施例 図18はG,729のピッチラグ符号にデータが埋め込まれ
ている場合の第2実施例構成図であり、図12と同一部
分には同一符号を付している。図12と異なる点は、第1
要素符号としてゲイン符号(ピッチゲイン符号)を使用
し、第2要素符号として適応符号帳のインデックスである
ピッチラグ符号を使用する点である。分離部61は音声符
号を受信すれば、該音声符号を要素符号に分離してデー
タ抽出部62に入力する。G.729に従って符号化されている
とすれば、分離部61は音声符号をLSP符号、ピッチラグ符
号、雑音符号、ゲイン符号に分離してデータ抽出部62に入
力する。尚、ゲイン符号はピッチゲインと雑音符号帳ゲイ
ンを組み合せ、量子化テーブルを用いて量子化(符号化)
したものである。
【0051】データ抽出部62の埋め込み判定部65は、ゲ
イン符号の逆量子化値と閾値THを用いてデータ埋め込み
条件が満たされたか判断し、振り分け部66はデータ埋め
込み条件が満たされていればピッチラグ符号を埋め込み
データと見なして抽出し、該埋め込みデータをデータ処
理部63に入力すると共に、該ピッチラグ符号を入力され
たままの形で復号器64に入力する。また、振り分け部66
はデータ埋め込み条件が満たされていなければ、ピッチ
ラグ符号を入力されたままの形で復号器64に入力する。 埋め込み判定部65は図19に示す構成を備え、逆量子化
部65aはゲイン符号を逆量子化し、比較部65cは逆量子化
値(ピッチゲイン)Gpと閾値THを比較し、データ埋め込み
判定部65dは逆量子化値Gpが閾値THより小さいとき、デ
ータが埋め込まれていると判断し、逆量子化値Gpが閾値
THより大きいとき、データが埋め込まれていないと判断
し、それぞれ振り分け信号BLを発生する。振り分け66は
振り分け信号BLに基いて、ピッチラグ符号に埋め込まれ
ているデータをデータ処理部63に入力し、又、ピッチラ
グ符号を復号器64に入力する。
【0052】図20は受信音声符号の標準フォーマッ
ト、図21はデータ埋め込み判定部による判定結果説明
図であり、音声符号が5つの符号(LSP符号、適応符号帳イ
ンデックス、適応符号帳利得、雑音符号帳インデックス、
雑音符号帳利得)で構成されている場合を示している。受
信時、音声符号の適応符号帳インデックス部(ピッチラグ
符号部)にデータが埋め込まれているか否かは不明であ
る(図20)。しかし、適応符号帳ゲインGpと閾値THの大
小を判別することによりデータが埋め込まれているか否
かが判明する。すなわち、適応符号帳ゲインGpが閾値TH
より大きければ、図21の(1)に示すようにデータは適応
符号帳インデックス部に埋め込まれていない。しかし、
適応符号帳ゲインGpが閾値THより小さければ、図21の
(2)に示すように任意のデータが雑音符号帳インデック
ス部に埋め込まれている。
【0053】(D)閾値を多段に設定した実施例 (a)符号器側の実施例 図22は閾値を多段に設定した符号器側の実施例構成図
であり、図1と同一部分には同一符号を付している。異な
る点は、閾値が2つ設定されている点、第1要素符号
の逆量子化値の大きさに応じて、データ系列のみを埋め
込むか、あるいはデータ種別ビットを有するデータ/制
御コード系列を埋め込むかを決定する点、該決定に基
づいてデータを埋め込む点である。 音声・音響CODEC(符号器)51は入力音声を所定の符号化
方式、例えばG.729に従って符号化し、得られた音声符号
(符号データ)を出力する。音声符号は複数の要素符号で
構成されている。埋め込みデータ発生部52は音声符号に
埋め込む2種類のデータ系列を発生する。第1のデータ系
列は例えばメディアデータのみからなるデータ系列であ
り、第2のデータ系列は図7に示すデータ種別ビットを有
するデータ/制御コード系列であり、データ種別ビット
の"1"、"0"によりメディアデータと制御コードを混在さ
せることができる。
【0054】データ埋め込み制御部53は埋め込み判定部
54とセレクタ構成のデータ埋め込み部55を備え、適宜、メ
ディアデータあるいは制御コードを音声符号に埋め込
む。埋め込み判定部54は、音声符号を構成する要素符号
のうち第1要素符号と閾値TH1、TH2(TH2>TH1)を用いてデ
ータ埋め込み条件が満たされたか判定すると共に、満た
されている場合には、メディアデータのみからなるデー
タ系列の埋め込み条件が満たされているか、データ種別
ビットを有するデータ/制御コード系列の埋め込み条件
が満たされているか判定する。例えば、図23に示すよう
に第1要素符号の逆量子化値Gが、TH2<Gであればデータ
埋め込み条件が満たされていないと判定し、TH1≦G<TH
2であれば、データ種別ビットを有するデータ/制御コ
ード系列の埋め込み条件が満たされていると判定し、G
<TH1であればメディアデータのみからなるデータ系列の
埋め込み条件が満たされていると判定する。
【0055】データ埋め込み部55は、TH1≦G<TH2であ
れば、埋め込みデータ発生部52から発生するデータ種別
ビットを有するデータ/制御コード系列で第2要素符号
を置き換えることによりデータを音声符号に埋め込み、
G<TH1であれば,埋め込みデータ発生部52から発生す
るメディアデータ系列で第2要素符号を置き換えること
によりデータを音声符号に埋め込み、TH2<Gであれば、
第2要素符号をそのまま出力する。多重部56は音声符号を
構成する各要素符号を多重して伝送する。
【0056】図24は埋め込み判定部54の構成図であ
り、逆量子化部54aは第1要素符号を逆量子化して逆量子
化値Gを出力し、閾値発生部54bは第1、第2の閾値TH1、TH2
を出力する。比較部54cは逆量子化値Gと閾値TH1,TH2を比
較し、比較結果をデータ埋め込み判定部54dに入力する。
データ埋め込み判定部54dは、TH2<Gであるか、TH1
≦G<TH2であるか、G<TH1であるかに応じて所定のセレ
クト信号SLを出力する。この結果、データ埋め込み部55
はセレクト信号SLに基いて第2要素符号、データ種別ビ
ットを有するデータ/制御コード系列、メディアデータ
系列のいずれかを選択して出力する。符号器としてG.729
符号化方式の符号器を採用する場合、前記第1の要素符号
に応じた値は雑音符号帳ゲインあるいはピッチゲインで
あり、第2の要素符号は雑音符号あるいはピッチラグ符号
である。
【0057】図25は第1の要素符号の逆量子化値に応
じた値を雑音符号帳ゲインGp、第2の要素符号を雑音符号
とした場合のデータ埋め込み説明図であり、Gp<TH1であ
れば17ビットの雑音符号部分に全てメディアデータなど
の任意のデータを埋め込む。又、TH1≦Gp<TH2であれば最
上位ビットを"1"にして残り16ビットに制御コードを埋
め込み、最上位ビットを"0"にして残り16ビットに任意の
データを埋め込む。
【0058】(b)復号器側の実施例 図26は閾値を多段に設定した復号器側の実施例構成図
であり、図12と同一部分には同一符号を付している。異
なる点は、閾値が2つ設定されている点、第1要素符
号の逆量子化値の大きさに応じて、データ系列のみが埋
め込れているかか、あるいはデータ種別ビットを有する
データ/制御コード系列が埋め込まれているかを判定す
る点、該判定に基づいてデータを振り分けている点で
ある。分離部61は音声符号を受信すれば、該音声符号を要
素符号に分離してデータ抽出部62に入力する。データ抽
出部62は分離された要素符号のうち第1要素符号よりデ
ータ系列あるいはデータ/制御コード系列を抽出してデ
ータ処理部63に入力すると共に、入力された各要素符号
をそのまま音声・音響CODEC(復号器)64に入力する。復号
器64は入力された音声符号を復号して音声を再生して出
力する。
【0059】データ抽出部62は、埋め込み判定部65と振
り分け部66を備え、適宜、データ系列あるいはデータ/
制御コード系列を音声符号より抽出する。埋め込み判定
部65は、音声符号を構成する要素符号のうち第1要素符
号に応じた値と図23に示す閾値TH1、TH2(TH2>TH1)を用
いてデータ埋め込み条件が満たされたか判定すると共
に、満たされている場合には、メディアデータのみから
なるデータ系列の埋め込み条件が満たされているか、デ
ータ種別ビットを有するデータ/制御コード系列の埋め
込み条件が満たされているか判定する。例えば、第1要素
符号の逆量子化値Gが、TH2<Gであればデータ埋め込み
条件が満たされていないと判定し、TH1≦G<TH2であれ
ば、データ種別ビットを有するデータ/制御コード系列
の埋め込み条件が満たされていると判定し、G<TH1であ
ればメディアデータのみからなるデータ系列の埋め込み
条件が満たされていると判定する。
【0060】振り分け部66は、TH1≦G<TH2であれば、
第2要素符号をデータ種別ビットを有するデータ/制御
コード系列とみなしてデータ処理部63に入力すると共
に、該第2要素符号を復号器64に入力し、また、G<TH1
であれば、第2要素符号をメディアデータのみからなる
データ系列とみなしてデータ処理部63に入力すると共
に、該第2要素符号を復号器64に入力し、更に、TH2<G
であれば第2要素符号にデータは埋め込まれていないと
見なして該第2要素符号を復号器64に入力する。
【0061】図27は埋め込み判定部65の構成図であ
り、逆量子化部65aは第1要素符号を逆量子化して逆量子
化値Gを出力し、閾値発生部65bは第1、第2の閾値TH1、TH2
を出力する。比較部65cは逆量子化値Gと閾値TH1,TH2を比
較し、比較結果をデータ埋め込み判定部65dに入力する。
データ埋め込み判定部65dは、TH2<Gであるか、TH1
≦G<TH2であるか、G<TH1であるかに応じて所定の振り
分け信号BLを出力する。この結果、振り分け部66は振り
分け信号BLに基いて前述の振り分けを行なう。G.729符号
化方式により符号化した音声符号を受信する場合、前記
第1の要素符号に応じた値は雑音符号帳ゲインあるいは
ピッチゲインであり、第2の要素符号は雑音符号あるいは
ピッチラグ符号である。以上では符号器を有する送信装
置から復号器を有する受信装置に音声符号を送信する音
声通信システムに本発明を適用した場合について説明し
た。しかし、本発明はかかる音声通信システムに限ら
ず、その他のシステム、例えば、符号器を有する記録装置
で音声を符号化して記憶媒体に記録し、該記憶媒体より
復号器を有する再生装置で音声を再生する記録・再生シ
ステム等にも適用できるものである。
【0062】(E)デジタル音声通信システム (a)画像伝送サービスを実現するシステム 図28は画像を埋め込むことで音声と同時に画像を伝送
するマルチメディア伝送を実現するデジタル音声通信シ
ステムの構成図であり、端末A 100と端末B 200が公衆
網300を介して接続されている状況が示されている。各
端末A,Bは同一の構成を備えている。端末A 100にお
いて、音声符号化部101はマイクロホンMICから入力され
た音声データを例えばG.729方式に従って音声符号化し
て埋め込み部103に入力し、画像データ生成部102は、送
信すべき画像データを生成して埋め込み部103に入力す
る。画像データ生成部102は、例えば、図示しないデジタ
ルカメラで撮影した周辺写真やユーザ自身の顔写真等の
画像を圧縮、コード化してメモリに保存しておき、これら
画像データ、あるいは話者周辺の地図画像データをコー
ド化して埋め込み部103に入力する。埋め込み部103は、
図3あるいは図8の実施例で示したデータ埋め込み制御部
53に対応する部分で、該実施例と同一の埋め込み判定基
準に従って画像データを、音声符号化部101から入力する
音声符号データに埋め込んで出力する。伝送処理部104
は画像データが埋め込まれた音声符号データを公衆網30
0を介して相手端末に送信する。
【0063】相手端末B 200の伝送処理部204は公衆網3
00より音声符号データを受信して抽出部205に入力する。
抽出部205は図14あるいは図18の実施例で示したデータ
抽出部62に対応する部分で、該実施例と同一の埋め込み
判定基準に従って画像データを抽出して画像出力部206
に入力し、また、音声符号データを音声復号部207に入力
する。画像出力部206は入力された画像データを復号して
画像を発生して表示部に表示する。音声復号部207は入力
された音声符号データを復号してスピーカSPより出力す
る。 なお、端末Bから端末Aに画像データを音声符号データ
に埋め込んで送信し、端末Aで画像を出力する制御も同
様に行われる。
【0064】図29は画像伝送サービスにおける送信側端
末の送信処理フローである。入力音声を所望の符号化方
式、例えばG.729方式に従って音声符号化して圧縮し(ス
テップ1001)、符号化された音声フレーム内の情報を分析
し(ステップ1002)、分析の結果に基づいて埋め込み可能
であるか調べ(ステップ1003)、埋め込みが可能であれば
音声符号データに画像データを埋め込み(ステップ100
4)、画像データが埋め込まれた音声符号データを伝送し
(ステップ1005)、送信が完了するまで上記動作を繰り返
す(ステップ1006)。
【0065】図30は画像伝送サービスにおける受信側端
末の受信処理フローである。音声符号データを受信すれ
ば(ステップ1101)、符号化された音声フレーム内の情報
を分析し(ステップ1102)、分析の結果に基づいて画像デ
ータが埋め込まれているか調べ(ステップ1103)、埋め込
まれていなければ音声符号データを復号してスピーカよ
り再生音声を出力する(ステップ1104)。一方、画像デー
タが埋め込まれていれば、ステップ1104の音声再生と並
行して、画像データを抽出し(ステップ1105)、 該画像データを復号して画像を再生して表示部に表示す
る(ステップ1106)。以後、再生が完了するまで上記動作
を繰り返す(ステップ1107)。 以上、図28のデジタル音声通信システムによれば、通常の
音声伝送プロトコルのまま、音声と同時に付加情報を伝
送することができる。また、付加情報は音声データの裏
に埋め込まれているため、聴感上の重なりはなく、邪魔
な存在になったり、異音となる場合もない。そして、付
加情報として画像情報(所在地周辺の映像、地図画像な
ど)、個人情報(顔写真、指紋)等とすることにより、マル
チメディア通信が可能になる。
【0066】(b)認証情報伝送サービスを実現するシ
ステム 図31は認証情報を埋め込むことで音声と同時に認証情報
を伝送するデジタル音声通信システムの構成図であり、
図28と同一部分には同一符号を付している。異なる点は、
画像データ生成部102,202の代わりに認証データ生成部1
11,211を設けた点、画像出力部106,206の代わりに認証確
認部112,212を設けた点である。図31には認証情報とし
て、声紋を埋め込む場合が示されている。認証データ生成
部111はデータが埋め込まれる前の音声符号化データあ
るいは生の音声データを用いて声紋情報を作成して保存
しておく。そして、この声紋情報を音声符号化データに埋
め込んで送信する。受信側において認証確認部112,212は
声紋情報を抽出し、予め登録されている本人の声紋であ
るか比較することで認証を行ない、本人であれば音声復
号化を許容する。なお、認証情報としては声紋に限ら
ず、端末のユニークコード(シリアル番号)、あるいはユー
ザ自信のユニークコードあるいはこれら両コードを組み
合せたユニークコードなどであっても良い。
【0067】図32は認証伝送サービスにおける送信側端
末の送信処理フローである。入力音声を所望の符号化方
式、例えばG.729方式に従って音声符号化して圧縮し(ス
テップ2001)、符号化された音声フレーム内の情報を分析
し(ステップ2002)、分析の結果に基づいて埋め込み可能
であるか調べ(ステップ2003)、埋め込みが可能であれば
音声符号データに個人認証データを埋め込み(ステップ2
004)、認証データが埋め込まれた音声符号データを伝送
し(ステップ2005)、送信が完了するまで上記動作を繰り
返す(ステップ2006)。
【0068】図33は認証伝送サービスにおける受信側端
末の受信処理フローである。音声符号データを受信すれ
ば(ステップ2101)、符号化された音声フレーム内の情報
を分析し(ステップ2102)、分析の結果に基づいて認証情
報が埋め込まれているか調べ(ステップ2103)、埋め込ま
れていなければ音声符号データを復号してスピーカより
再生音声を出力する(ステップ2104)。一方、認証情報が
埋め込まれていれば、ステップ2104の音声再生と並行し
て、認証情報を抽出し(ステップ2105)、認証処理を行う
(ステップ2106)。例えば、予め登録されている本人の認証
情報と比較して認証のNG,OKを判別し(ステップ210
7)、認証結果がNGであれば、すなわち、本人でなければ
音声符号化データの復号(再生、伸長)を中止する(ステッ
プ2108)。認証結果がOKであれば、すなわち、本人であれ
ば音声符号データの復号を許容し、音声を再生してスピ
ーカより出力する(ステップ2104)。以後、相手からの送
信が完了するまで上記動作を繰り返す(ステップ2109)。 以上、図31のデジタル音声通信システムによれば、通常の
音声伝送プロトコルのまま、音声と同時に付加情報を伝
送することができる。また、付加情報は音声データの裏
に埋め込まれているため、聴感上の重なりはなく、邪魔
な存在になったり、異音となる場合もない。そして、付
加情報として認証情報を埋め込むことにより、正当のユ
ーザであるかの認証性能を高めることができ、しかも、
音声データのセキュリティ性能を高めることが可能にな
る。
【0069】(c)鍵情報伝送サービスを実現するシス
テム 図34は鍵情報を埋め込むことで音声と同時に鍵情報を伝
送するデジタル音声通信システムの構成図であり、図28
と同一部分には同一符号を付している。異なる点は、画像
データ生成部102,202の代わりに鍵生成部121,221を設け
た点、画像出力部106,206の代わりに鍵照合部122,222を
設けた点である。鍵生成部121は予め設定された鍵情報を
内蔵の記憶部に予め保存しておく。そして、埋め込み部10
3は、図3あるいは図8の実施例と同一の埋め込み判定基
準に従って、鍵生成部121から入力される鍵情報を、音
声符号化部101から入力する音声符号データに埋め込ん
で出力する。伝送処理部104は鍵情報が埋め込まれた音
声符号データを公衆網300を介して相手端末に送信する。 相手端末B 200の伝送処理部204は公衆網300より音声符
号データを受信して抽出部205に入力する。抽出部205は
図14あるいは図18の実施例と同一の埋め込み判定基準に
従って鍵情報を抽出して鍵照合部222に入力すると共に、
音声符号データを音声復号部207に入力する。鍵照合部22
2は入力された情報が予め登録されている鍵情報である
か比較することで認証を行ない、鍵情報が一致すれば音
声復号を許容し、一致しなければ音声復号を禁止する。
以上のようにすれば、特定のユーザのみからの音声デー
タの再生を可能にできる。
【0070】(d)マルチポイントアクセスサービスを
実現するシステム 図35は関連アドレス情報(たとえばIP電話アドレス情
報)を埋め込むことで音声と同時に関連アドレス情報を
伝送するデジタル音声通信システムの構成図であり、図
28と同一部分には同一符号を付している。異なる点は、画
像データ生成部102,202の代わりにアドレス入力部131,2
31を設けた点、画像出力部106,206の代わりにアドレス蓄
積部132,232を設けた点、表示・キー部DPKを設けた点であ
る。 アドレス入力部131には予め設定された関連アドレス情
報が内蔵の記憶部に保存されている。このアドレスは端
末Aの代替IP電話番号やメールアドレスであっても、端
末A以外の別施設、別サイトの電話番号やメールアドレ
スであっても良い。埋め込み部103は、図3あるいは図8の
実施例と同一の埋め込み判定基準に従って、アドレス入
力部131から入力される関連アドレス情報を音声符号化
部101から入力する音声符号データに埋め込んで出力す
る。伝送処理部104は関連アドレス情報が埋め込まれた
音声符号データを、公衆網300を介して相手端末に送信
する。相手端末B 200の伝送処理部204は公衆網300より
音声符号データを受信して抽出部205に入力する。抽出部
205は図14あるいは図18の実施例と同一の埋め込み判定
基準に従って関連アドレス情報を抽出してアドレス蓄積
部232に入力し、又、音声符号データを音声復号部207に入
力する。アドレス蓄積部232は入力された関連アドレス情
報を蓄積する。 表示・キー部DPKはアドレス蓄積部232に蓄積された関連
アドレス情報を表示するから、この情報を選択してワン
クリックで電話したり、メール送信することができる。
【0071】(e)広告情報埋め込みサービスを実現す
るシステム 図36は広告情報埋め込みサービスを実現するデジタル音
声通信システムの構成図であり、サーバ(ゲートウェイ)
を設け、該サーバにおいて、音声符号化データに広告情
報を埋め込むことで、互いに通信しているエンドユーザ
に直接広告情報を提供するようになっている。図36にお
いて、図28と同一部分には同一符号を付している。図28
と異なる点は、端末100,200より画像データ生成部102,
202及び埋め込み部103,203を除去した点、画像出力部1
06,206の代わりに広告情報再生部142,242を設けた点、
表示・キー部DPKを設けた点、及び公衆網300に端末間の
音声データを中継するサーバ(ゲートウェイ)400を設け
た点である。
【0072】サーバ400において、ビットストリーム分解
・生成部401は、送信側端末100から入力するビットスト
リームより伝送パケットを切り出し、該パケットのIPヘ
ッダより送信者、受信者を特定し、又、RTPヘッダよりメデ
ィア種と符号化方式を特定し、これら情報に基づいて広
告情報挿入条件を満たしているか判別し、満たしていれ
ば埋め込み部402に伝送パケットの音声符号データを入
力する。埋め込み部402は図3あるいは図8の実施例と同一
の埋め込み判定基準に従って、埋め込みの可否を判別
し、埋め込み可能であれば、別途広告主(情報提供者)が提
供してメモリ403に保存してある広告情報を音声符号デ
ータに埋め込んでビットストリーム分解・生成部401に
入力する。ビットストリーム分解・生成部401は該音声符
号データを用いて伝送パケットを生成して受信側端末B
200に送信する。
【0073】受信側端末B 200の伝送処理部204は、公
衆網300より音声符号データを受信して抽出部205に入力
する。抽出部205は図14あるいは図18の実施例と同一の埋
め込み判定基準に従って広告情報を抽出して広告情報再
生部242に入力し、又、音声符号データを音声復号部207に
入力する。広告情報再生部242は入力された広告情報を再
生して表示・キー部DPKの表示部に表示し、音声復号部20
7は音声を再生してスピーカSPより出力する。
【0074】図37はインタネット電話サービスにおける
IPパケットの構成例であり、ヘッダはIPヘッダと、UDP(U
ser Datagram Protocol)ヘッダと、 RTP(Real-time Tran
sport Protocol)ヘッダとで構成され、IPヘッダには図示
しないが発信元アドレス、送信元アドレスが含まれてお
り、RTPヘッダのペイロードタイプPTによりメディア種
とCODEC種が規定されている。従って、ビットストリーム
分解・生成部401は伝送パケットのヘッダを参照するこ
とにより、送信者、受信者、メディア種、符号化方式を
識別することができる。
【0075】図38はサーバにおける広告情報挿入処理フ
ローである。 サーバ400は、ビットストリームが入力すると伝送パケ
ットのヘッダ及び符号化音声データの分析を行う(ステ
ップ3001)。すなわち、ビットストリームより伝送パケッ
トを切り出し(ステップ3001a)、IPヘッダから送信アドレ
ス、受信アドレスを抽出し(3001b)、送信者、受信者が広
告提供契約を結んでいるかチェックし(ステップ3001
c)、広告提供契約を結んでいればRTPヘッダを参照して
メディア種とCODEC種を識別する(ステップ3001d)。ここ
で、たとえばメディア種が音声でCODEC種がG.729であ
れば(ステップ3001e)、次に図3あるいは図8の実施例と
同一の埋め込み判定基準に従って、埋め込みの可否を判
別し(ステップ3001f)、判別結果に従って埋め込み可、埋
め込み不可とする(ステップ3001g,3001h)。尚、ステップ3
001cで広告提供契約を結んでいない場合、ステップ3001e
でメディア種が音声でない場合、あるいはCODEC種が対象
外の場合には埋め込み不可とする(ステップ3001h)。 しかる後、サーバ400は埋め込み可能であれば(3002)、広
告主(情報提供者)が提供する広告情報を音声符号データ
に埋め込み(ステップ3003)、埋め込み不可能であれば広
告情報を音声符号データに埋め込むことなく、受信側の
端末に送信し(ステップ3004)、以後、送信が完了するまで
上記動作を繰り返す(ステップ3005)。
【0076】図39は広告情報埋め込みサービスにおける
受信側端末の広告情報受信処理フローである。音声符号
データを受信すれば(ステップ3101)、符号化された音声
フレーム内の情報を分析し(ステップ3102)、分析の結果
に基づいて広告情報が埋め込まれているか調べ(ステッ
プ3103)、埋め込まれていなければ音声符号データを復号
してスピーカより再生音声を出力する(ステップ3104)。
一方、広告情報が埋め込まれていれば、ステップ3104の
音声再生と並行して、広告情報を抽出し(ステップ310
5)、該広告情報を表示・キー部DPKに表示する(ステップ31
06)。以後、再生が完了するまで上記動作を繰り返す(ス
テップ3107)。 なお、実施例では広告情報を埋め込む場合について説明
したが広告情報に限らず任意の情報を埋め込むことがで
きる。また、広告情報と共にIP電話アドレスを挿入して
おくことにより、ワンクリックでより該IP電話アドレス
先に電話して詳細な広告情報やその他の詳細情報を入力
できるように構成することができる。 以上、図36のデジタル音声通信システムによれば、音声デ
ータを中継するサーバ装置を設け、該サーバにより、互
いに音声データの通信をしているエンドユーザに広告情
報等の任意の情報を提供することができる。
【0077】(f)情報蓄積システム 図40はデジタル音声通信システムに連携させた情報蓄積
システムの構成図であり、端末A 100とセンター500が公
衆網300を介して接続されている状態が示されている。セ
ンター500は例えば企業のコールセンターで、苦情や修理
相談、その他ユーザからの要望を受付けて応答する施設
である。端末A 100において音声符号化部101はマイクロ
ホンMICから入力する音声を符号化して伝送処理部104を
介して網300に送出すると共に、音声復号部107は網300か
ら伝送処理部104を介して入力する音声符号データを復
号してスピーカSPから再生音声を出力する。センター500
において、音声通信端末側Bは端末Aと同様の構成を備
えている。すなわち、音声符号化部501はマイクロホンM
ICから入力する音声を符号化して伝送処理部504を介し
て網300に送出すると共に、音声復号部507は網300から伝
送処理部504を介して入力する音声符号データを復号し
てスピーカSPから再生音声を出力する。以上の構成によ
り、端末A(ユーザ)から電話がかかってくるとオペレー
タが該ユーザに対して応答する。
【0078】センター500のデジタル音声蓄積側におい
て、付加データ埋め込み部510は、端末Aから送られてき
た音声符号化データに付加データを埋め込んで音声デー
タ蓄積部520に蓄積し、付加データ抽出部530は音声デー
タ蓄積部520から読み出された所定の音声符号化データ
より埋め込まれている情報を抽出して操作部540の表示
部に表示すると共に、音声符号化データを音声復号部550
に入力し、音声復号部550は入力された音声符号データを
復号してスピーカ560より出力する。 付加データ埋め込み部510において、付加データ発生部51
1は操作部540から入力された発信者名、受信者名、受信時
刻、会話カテゴリー(苦情、相談、修理依頼などの別)を付
加データとしてコード化して埋め込み部512に入力する。
埋め込み部512は、図3あるいは図8の実施例と同一の埋
め込み判定基準に従って、伝送処理部504を介して端末
A 100から送信されてくる音声符号データに付加情報の
埋め込みが可能であるか判別する。そして、埋め込みが可
能であれば、付加データ発生部511から入力するコード情
報を音声符号データに埋め込んで音声ファイルとして音
声データ蓄積部520に蓄積する。
【0079】付加データ抽出部530において、抽出部531
は図14あるいは図18の実施例と同一の埋め込み判定基準
に従って音声符号データに情報が埋め込まれているか判
定し、埋め込まれている場合には埋め込みコードを抽出
して付加データ利用部532に入力すると共に、音声符号デ
ータを音声復号部550に入力する。付加データ利用部532
は抽出されたコードを復号して操作部540の表示部に、
発信者名、受信者名、受信時刻、会話カテゴリー等を表示
する。又、音声復号部550は音声を再生してスピーカより
出力する。 なお、音声データ蓄積部520より音声符号データを読み
出す際、埋め込まれている情報を用いて所望の音声符号
データを検索して出力することができる。すなわち、操作
部540より検索キーワード、例えば、発信者名を入力して
この発信者名が埋め込まれている音声ファイルを出力す
るよう指示する。これにより抽出部531は指定された発信
者名が埋め込まれた音声ファイルを検索し、埋め込み情
報を出力すると共に、音声符号データを音声復号部550に
入力し、復号音声をスピーカより出力する。 以上図40の実施例によれば、音声符号データに発信者、受
信者、受信時刻、会話カテゴリーなどを埋め込んで記憶手
段に蓄積し、適宜、蓄積した音声符号データを読み出して
再生すると共に、埋め込み情報を抽出して表示できる。
又、埋め込みデータを用いて音声データのファイル化が
可能になり、しかも、埋め込みデータを検索キーワード
として所望の音声ファイルを速やかに検索して再生出力
することができる。
【0080】・付記 (付記1) 音声を所定の音声符号化方式で符号化して
得られる音声符号に任意のデータを埋込むデータ埋め込
み方法において、音声符号を構成する要素符号のうち第1
要素符号と閾値を用いてデータ埋め込み条件が満たされ
たか判断し、満たされている場合には、第2要素符号を任
意のデータで置き換えることによりデータを音声符号に
埋め込む、ことを特徴とするデータ埋め込み方法。 (付記2) 所定の音声符号化方式で符号化された音声
符号に埋め込まれているデータを抽出する埋め込みデー
タ抽出方法において、前記音声符号を構成する要素符号
のうち第1要素符号と閾値を用いてデータ埋め込み条件
が満たされているか判断し、満たされている場合には、音
声符号の第2要素符号部分に任意のデータが埋め込まれ
ていると判断して該埋め込みデータを抽出する、ことを
特徴とする埋め込みデータ抽出方法。 (付記3) 音声符号化装置において、音声を所定の音
声符号化方式で符号化すると共に得られた音声符号に任
意のデータを埋め込み、音声再生装置において、音声符
号から埋め込みデータを抽出すると共に、該音声符号よ
り音声を再生する、システムにおけるデータ埋め込み/
抽出方法において、予め、データが埋め込まれているか
否かを判定するために使用する第1要素符号と閾値、該判
定の結果に基いてデータが埋め込まれる第2要素符号を
それぞれ定義し、データ埋め込みに際して、前記第1要素
符号と閾値を用いてデータ埋め込み条件が満たされたか
判断し、満たされている場合には、第2要素符号を任意の
データで置き換えることによりデータを音声符号に埋め
込み、データ抽出に際して、前記第1要素符号と閾値を用
いてデータ埋め込み条件が満たされているか判断し、満
たされている場合には、音声符号の第2要素符号部分に任
意のデータが埋め込まれていると判断して該埋め込みデ
ータを抽出する、ことを特徴とするデータ埋め込み/抽
出方法。 (付記4) 第1要素符号の逆量子化値と閾値を比較し、
比較結果に基づいてデータ埋め込み条件が満たされたか
判断する、ことを特徴とする付記1乃至3記載のデータ
埋め込み又はデータ抽出方法。 (付記5) 前記第1の要素符号は雑音符号帳ゲイン符号
であり、第2の要素符号は雑音符号帳のインデックス情報
である雑音符号であり、該雑音符号帳ゲイン符号の逆量
子化値が前記閾値より小さいとき、前記データ埋め込み
条件が満たされていると判断し、前記雑音符号を任意の
データで置き換えることによりデータを音声符号に埋め
込み、あるいは、前記雑音符号部分に任意のデータが埋
め込まれていると判断して該埋め込みデータを抽出す
る、ことを特徴とする付記1乃至3記載のデータ埋め込
み又はデータ抽出方法。 (付記6) 前記第1の要素符号はピッチゲイン符号であ
り、第2の要素符号は適応符号帳のインデックス情報であ
るピッチラグ符号であり、該ピッチゲイン符号の逆量子
化値が前記閾値より小さいとき、前記データ埋め込み条
件が満たされていると判断し、前記ピッチラグ符号を任
意のデータで置き換えることによりデータを音声符号に
埋め込み、あるいは、前記ピッチラグ符号部分に任意の
データが埋め込まれていると判断して該埋め込みデータ
を抽出する、ことを特徴とする付記1乃至3記載のデー
タ埋め込み又はデータ抽出方法。 (付記7) 前記埋め込みデータの一部分をデータ種別
識別情報とし、該データ種別識別情報により埋め込みデ
ータの種別を特定する、ことを特徴とする付記付記1乃
至3記載のデータ埋め込み又はデータ抽出方法 (付記8) 前記閾値を複数個設定し、第1要素符号ある
いは第1要素符号の逆量子化値に基いて、埋め込みデー
タが全てデータ系列であるか、データと制御コードの種
別を識別できる形式であるデータ/制御コード列である
かを区別する、ことを特徴とする付記1乃至3記載のデ
ータ埋め込み又はデータ抽出方法。 (付記9) 音声を所定の音声符号化方式で符号化して
得られる音声符号に任意のデータを埋め込むデータ埋め
込み装置において、前記音声符号を構成する要素符号の
うち第1要素符号と閾値を用いてデータ埋め込み条件が
満たされたか判断する埋め込み判定部、データ埋め込み
条件が満たされている場合には、第2要素符号を任意のデ
ータで置き換えることによりデータを音声符号に埋め込
むデータ埋め込み部、を備えたことを特徴とするデータ
埋め込み装置。 (付記10) 所定の音声符号化方式で符号化された音
声符号に埋め込まれているデータを抽出するデータ抽出
装置において、前記音声符号を構成する要素符号を分離
する分離部、該要素符号のうち第1要素符号と閾値を用
いてデータ埋め込み条件が満たされているか判断する埋
め込み判定部、データ埋め込み条件が満たされている場
合には、音声符号の第2要素符号部分に任意のデータが埋
め込まれていると判断して該データを抽出する埋め込み
データ抽出部、を備えたことを特徴とするデータ抽出装
置。 (付記11) 音声を所定の音声符号化方式で符号化す
ると共に得られた音声符号に任意のデータを埋め込み、
該音声符号から埋め込みデータを抽出すると共に、該音
声符号より音声を再生する音声符号化/復号化システム
において、音声を所定の音声符号化方式で符号化して得
られる音声符号に任意のデータを埋込む音声符号化装置
と、所定の音声符号化方式で符号化された音声符号に復
号処理を施して音声を再生すると共に該音声符号に埋め
込まれているデータを抽出する音声復号化装置と、を備
え、前記音声符号化装置は、音声を所定の音声符号化方
式で符号化する符号器、音声符号を構成する要素符号の
うち第1要素符号と閾値を用いてデータ埋め込み条件が
満たされたか判断する埋め込み判定部、満たされている
場合には、第2要素符号を任意のデータで置き換えること
によりデータを音声符号に埋め込むデータ埋め込み部、
を備え、前記音声復号化装置は、音声符号を要素符号に
分離する分離部受信音声符号を構成する要素符号のうち
第1要素符号と閾値を用いてデータ埋め込み条件が満た
されているか判断する埋め込み判定部、データ埋め込み
条件が満たされている場合には、音声符号の第2要素符号
部分に任意のデータが埋め込まれていると判断して該デ
ータを抽出する埋め込みデータ抽出部、受信音声符号を
復号して音声を再生する復号器、を備え、予め、音声符
号化装置及び音声復号化装置においてデータが埋め込ま
れているか否かを判定するために使用する前記第1要素
符号と閾値、該判定の結果に基いてデータが埋め込まれ
る前記第2要素符号をそれぞれ定義しておくことを特徴
とする音声符号化/復号化システム。 (付記12) 前記埋め込み判定部は、前記第1要素符号
を逆量子化する逆量子化部、逆量子化により得られる逆
量子化値と前記閾値を比較する比較部、比較結果に基づ
いてデータ埋め込み条件が満たされているか否かを出力
する判定部、を有することを特徴とする付記9または1
0記載のデータ埋め込み装置またはデータ抽出装置。 (付記13) 前記第1の要素符号は雑音符号帳ゲイン符
号であり、第2の要素符号は雑音符号帳のインデックス情
報である雑音符号であり、前記埋め込み判定部は、該雑
音符号帳ゲイン符号の逆量子化値が前記閾値より小さい
とき、前記データ埋め込み条件が満たされていると判断
する、ことを特徴とする付記12記載のデータ埋め込み
装置またはデータ抽出装置。 (付記14) 前記第1の要素符号はピッチゲイン符号で
あり、第2の要素符号は適応符号帳のインデックス情報で
あるピッチラグ符号であり、前記埋め込み判定部は、該
ピッチゲイン符号の逆量子化値が前記閾値より小さいと
き、前記データ埋め込み条件が満たされていると判断す
る、ことを特徴とする付記12記載のデータ埋め込み装
置またはデータ抽出装置。 (付記15) 一部分がデータの種別を特定する種別情
報である埋め込みデータを発生する埋め込みデータ発生
部、を備えることを特徴とする付記9記載のデータ埋め
込み装置。 (付記16) 前記データ埋め込み部は、前記第1要素符
号あるいは該第1要素符号に応じた値に基いて、データ
と制御コードの種別を識別できる形式でデータ/制御コ
ード列を埋め込むか、あるいは、データ系列のみを埋め
込むか決定する、ことを特徴とする付記9記載のデータ
埋め込み装置。 (付記17) 音声を所定の音声符号化方式で符号化し
て送信するデジタル音声通信システムにおいて、入力音
声を符号化した音声データを分析する手段と、その分析
結果に応じて音声データの一部の特定部分に任意のコー
ドを埋め込む手段と、前記埋め込まれたデータを音声デ
ータとして送信する手段、を備え、通常の音声通話と同
時に付加情報を送信する、ことを特徴とするデジタル音
声通信システム。 (付記18) 音声を所定の音声符号化方式で符号化し
て送信された音声データを受信するデジタル音声通信シ
ステムにおいて、受信した音声データを分析する手段
と、その分析結果に応じて音声データの一部の特定部分
からコードを抽出する手段、を備え、通常の音声通話と
同時に付加情報を受信する、ことを特徴とするデジタル
音声通信システム。 (付記19) 音声を所定の音声符号化方式で符号化し
て送受信するデジタル音声通信システムにおいて、端末
装置は送信部と受信部を備え、前記送信部は、入力音声
を符号化したデータを分析する手段と、その分析結果に
応じて音声データの一部の特定部分に任意のコードを埋
め込む手段と、前記埋め込まれたデータを音声データと
して送信する手段、を備え、前記受信部は、受信した音
声データを分析する手段と、その分析結果に応じて音声
データの一部の特定部分からコードを抽出する手段、を
備え、端末装置間で網を介して通常の音声通話と同時に
付加情報を双方向伝送する、ことを特徴とするデジタル
音声通信システム。 (付記20) 前記送信部は、ユーザ端末が保有する画
像あるいは個人情報を用いて前記埋め込み用のコードを
生成する手段を備え、前記受信部は、前記埋め込まれた
コードを抽出して出力する手段を備え、音声通話の形態
でマルチメディア伝送を可能にする、ことを特徴とする
付記19記載のデジタル音声通信システム。 (付記21) 前記送信部は、送信側でユーザが使用す
る端末のユニークコードあるいは使用者自身のユニーク
コードを前記埋め込み用のコードとする手段を備え、前
記受信部は、埋め込みコードを抽出して内容を判別する
手段を備えた、ことを特徴とする請求項19記載のデジ
タル音声通信システム。 (付記22) 前記送信部は、鍵情報を前記埋め込み用
のコードとする手段を備え、前記受信部は、該鍵情報を
抽出する手段、該抽出した鍵情報を用いて特定のユーザ
のみ音声データの解凍を可能とする手段、を備えたこと
を特徴とする付記19記載のデジタル音声通信システ
ム。 (付記23) 前記送信部は、関連アドレス情報を前記
埋め込み用のコードとする手段を備え、前記受信部は、
該アドレス情報を抽出する手段、該アドレス情報を用い
てワンクリックで情報発信者に電話をかける、もしくは
メールを送信する手段、を備えたことを特徴とする付記
19記載のデジタル音声通信システム。 (付記24) 音声を所定の音声符号化方式で符号化し
て送受信するデジタル音声通信システムにおいて、端末
装置と、網に接続されて端末装置間の音声データを中継
するサーバ装置を備え、端末装置は、入力音声を符号化
する音声符号化手段と、音声符号化データを送信する手
段と、受信した音声データを分析する手段と、その分析
結果に応じて音声データの一部の特定部分からコードを
抽出する手段を備え、前記サーバ装置は、端末装置間で互
いにやりとりされるデータを受信し、該データが音声デ
ータであるかどうかを判定する手段と、音声データであ
れば該データを分析する手段と、その分析結果に応じて
一部の特定部分に任意のコードを埋め込んで送出する手
段と、を備え、サーバ装置を介してデータを受信した端
末装置は該サーバ装置で埋め込まれたコードを抽出して
出力する、ことを特徴とするデジタル音声通信システ
ム。 (付記25) 音声を所定の音声符号化方式で符号化し
て蓄積するデジタル音声蓄積システムにおいて、入力音
声を符号化した音声データを分析する手段と、その分析
結果に応じて音声データの一部の特定部分に任意のコー
ドを埋め込む手段と、前記埋め込まれたデータを音声デ
ータとして蓄積する手段、を備え、通常のデジタル音声
の蓄積と同時に付加情報も同時に蓄積する、ことを特徴
とするデジタル音声蓄積システム。 (付記26) 音声を所定の音声符号化方式で符号化し
て蓄積するデジタル音声蓄積システムにおいて、符号化
音声データの一部に任意のコードを埋め込んで蓄積する
手段と、該蓄積されている音声データを復号する際、該
蓄積音声データを分析する手段と、その分析結果に応じ
て該蓄積データの特定部分から前記埋め込まれているコ
ードを抽出する手段、を備えたことを特徴とするデジタ
ル音声蓄積システム。 (付記27) 音声を所定の音声符号化方式で符号化し
て蓄積するデジタル音声蓄積システムにおいて、入力音
声を符号化した音声データを分析する手段と、その分析
結果に応じて音声データの一部の特定部分に任意のコー
ドを埋め込む手段と、前記埋め込まれたデータを音声デ
ータとして蓄積する手段と、該蓄積されている音声デー
タを復号する際、該音声データを分析する手段と、その
分析結果に応じて該音声データの特定部分から前記埋め
込まれているコードを抽出する手段、を備えたことを特
徴とするデジタル音声蓄積システム。 (付記28) 前記埋め込むコードは、話者特定情報あ
るいは蓄積日時情報であり、これらの情報を用いて解凍
すべき蓄積音声データを検索する手段、を備えたことを
特徴とする請求項27記載のデジタル音声蓄積システ
ム。
【0081】
【発明の効果】以上の本発明によれば、符号器側、復号器
側双方でキーを持ち合はなくても、符号器側でデータを
音声符号に埋め込むことができ、しかも、復号器側で該埋
め込みデータを正しく抽出することができる。又、本発
明によれば、また、データを音声符号に埋め込んでも音
質劣化が殆どなく、再生音声の聴取者にデータ埋込みを
意識させないようにすることができる。又、本発明によ
れば、閾値の初期値のみを送受双方で予め定義しておけ
ば、データの埋め込み、抽出が可能となる。
【0082】又、本発明によれば、埋込みデータに制御
コードを定義しておけば、該制御コードで閾値の変更等
を行なうことができ、別経路の付加情報の伝送なくして
埋込みデータの伝送量を調整できる。又、本発明によれ
ば、ゲイン値に応じて、データ系列のみを埋め込むか、
あるいは、データと制御コードの種別を識別できる形式
でデータ/制御コード列を埋め込むか、を決定するため、
データ系列のみを埋め込む場合にはデータ種別情報を含
ませる必要がないため伝送容量を改善することができ
る。
【0083】又、本発明によれば、符号化フォーマットの
変更なく、任意データの埋込みが可能となる。つまり、
通信/蓄積の用途で必須の互換性を損なうことなく、か
つユーザに知られることなく、IDや他メディアの情報を
音声情報に埋め込んで伝送/蓄積することができる。加
えて、本発明によれば、CELPに共通したパラメータにて
制御仕様を規定するため、特定の方式に限定されること
なく、幅広い方式に適用できる。例えば、VoIP向けのG.
729や移動体通信向けのAMRなどにも対応できる。
【0084】又、本発明のデジタル音声通信システムに
よれば、送信端あるいは経路途中で圧縮音声データの特
定部分に任意のコードを埋め込み、受信端、あるいは経
路途中で伝送音声データを分析することで特定部分から
埋め込まれたコードを抽出するようにしたから、通常の
音声伝送プロトコルのまま、音声と同時に付加情報を伝
送することができる。また、付加情報は音声データの裏
に埋め込まれているため、聴感上の重なりはなく、邪魔
な存在になったり、異音となる場合もない。また、付加
情報としては、画像情報(所在地周辺の映像、地図画像な
ど)、個人情報(顔写真、声紋、指紋)等とすることにより、
マルチメディア通信が可能になる。また、付加情報とし
て端末のシリアル番号、声紋等とすることにより、正当
のユーザであるかの認証性能を高めることができ、しか
も、音声データのセキュリティ性能を高めることが可能
になる。また、本発明によれば、音声データを中継するサ
ーバ装置を設けることにより、互いに音声データの通信
をしているエンドユーザに広告情報等の任意の情報を提
供することができる。また、本発明によれば、受信した
音声データに、発信者、受信者、受信時刻、会話カテゴリ
ーなどを埋め込んで記憶手段に蓄積することで、音声デ
ータのファイル化が可能になり、後の利用を容易にする
ことができる。
【図面の簡単な説明】
【図1】本発明の符号器側における一般的構成図であ
る。
【図2】埋め込み判定部の構成図である。
【図3】G.729の符号化方式に従って符号化する符号器
を使用する場合の第1実施例の構成図である。
【図4】埋め込み判定部の構成図である。
【図5】音声符号の標準フォーマットである。
【図6】埋め込み制御による伝送符号の説明図である。
【図7】データと制御コードを区別して埋め込む場合の
説明図である。
【図8】G.729の符号化方式に従って符号化する符号器
を使用する場合の第2実施例の構成図である。
【図9】埋め込み判定部の構成図である。
【図10】音声符号の標準フォーマットである。
【図11】埋め込み制御による伝送符号説明図である。
【図12】本発明の復号器側における一般的構成図であ
る。
【図13】埋め込み判定部の構成図である。
【図14】雑音符号にデータが埋め込まれている場合の
第1実施例構成図である。
【図15】雑音符号にデータが埋め込まれている場合の
埋め込み判定部の構成図である。
【図16】受信音声符号の標準フォーマットである。
【図17】データ埋め込み判定部による判定結果説明図
である。
【図18】ピッチラグ符号にデータが埋め込まれている
場合の第2実施例構成図である。
【図19】ピッチラグ符号にデータが埋め込まれている
場合の埋め込み判定部の構成図である。
【図20】受信音声符号の標準フォーマットである。
【図21】データ埋め込み判定部による判定結果説明図
である。
【図22】閾値を多段に設定した符号器側の実施例構成
図である。
【図23】データ埋め込み可能範囲説明図である。
【図24】閾値を多段に設定した場合の埋め込み判定部
の構成図である。
【図25】データ埋め込み説明図である。
【図26】閾値を多段に設定した復号器側の実施例構成
図である。
【図27】埋め込み判定部の構成図である。
【図28】画像を埋め込むことで音声と同時に画像を伝
送するマルチメディア伝送を実現するデジタル音声通信
システムの構成図である。
【図29】画像伝送サービスにおける送信側端末の送信
処理フローである。
【図30】画像伝送サービスにおける受信側端末の受信
処理フローである。
【図31】認証情報を埋め込むことで音声と同時に認証
情報を伝送するデジタル音声通信システムの構成図であ
る。
【図32】認証伝送サービスにおける送信側端末の送信
処理フローである。
【図33】認証伝送サービスにおける受信側端末の受信
処理フローである。
【図34】鍵情報を埋め込むことで音声と同時に鍵情報
を伝送するデジタル音声通信システムの構成図である。
【図35】関連アドレス情報を埋め込むことで音声と同
時に関連アドレス情報を伝送するデジタル音声通信シス
テムの構成図である。
【図36】広告情報埋め込みサービスを実現するデジタ
ル音声通信システムの構成図である。
【図37】インタネット電話サービスにおけるIPパケッ
トの構成例である。
【図38】サーバにおける広告情報挿入処理フローであ
る。
【図39】広告情報埋め込みサービスにおける受信側端
末の広告情報受信処理フローである。
【図40】デジタル音声通信システムに連携させた情報
蓄積システムの構成図である。
【図41】ITU-T勧告G.729方式の符号器の構成図であ
る。
【図42】各パルス系統グループに割り当てたサンプル
点の説明図である。
【図43】G.729方式の復号器のブロック図である。
【図44】従来の電子透かし技術説明図である。
【図45】従来の電子透かし技術の別の説明図
【符号の説明】
51 音声・音響CODEC(符号器) 52 埋め込みデータ発生部 53 データ埋め込み制御部 54 埋め込み判定部 55 データ埋め込み部 56 多重部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 土永 義照 福岡県福岡市博多区博多駅前三丁目22番8 号 富士通九州ディジタル・テクノロジ株 式会社内 (72)発明者 田中 正清 神奈川県川崎市中原区上小田中4丁目1番 1号 富士通株式会社内 (72)発明者 佐々木 繁 神奈川県川崎市中原区上小田中4丁目1番 1号 富士通株式会社内

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 音声を所定の音声符号化方式で符号化し
    て得られる音声符号に任意のデータを埋込むデータ埋め
    込み方法において、音声符号を構成する要素符号のうち
    第1要素符号と閾値を用いてデータ埋め込み条件が満た
    されたか判断し、満たされている場合には、第2要素符号
    を任意のデータで置き換えることによりデータを音声符
    号に埋め込む、ことを特徴とするデータ埋め込み方法。
  2. 【請求項2】 所定の音声符号化方式で符号化された音
    声符号に埋め込まれているデータを抽出する埋め込みデ
    ータ抽出方法において、 前記音声符号を構成する要素符号のうち第1要素符号と
    閾値を用いてデータ埋め込み条件が満たされているか判
    断し、満たされている場合には、音声符号の第2要素符号
    部分に任意のデータが埋め込まれていると判断して該埋
    め込みデータを抽出する、ことを特徴とする埋め込みデ
    ータ抽出方法。
  3. 【請求項3】 音声符号化装置において、音声を所定の
    音声符号化方式で符号化すると共に得られた音声符号に
    任意のデータを埋め込み、音声再生装置において、音声
    符号から埋め込みデータを抽出すると共に、該音声符号
    より音声を再生する、システムにおけるデータ埋め込み
    /抽出方法において、 予め、データが埋め込まれているか否かを判定するため
    に使用する第1要素符号と閾値、該判定の結果に基いてデ
    ータが埋め込まれる第2要素符号をそれぞれ定義し、デ
    ータ埋め込みに際して、前記第1要素符号と閾値を用いて
    データ埋め込み条件が満たされたか判断し、満たされて
    いる場合には、第2要素符号を任意のデータで置き換える
    ことによりデータを音声符号に埋め込み、 データ抽出に際して、前記第1要素符号と閾値を用いてデ
    ータ埋め込み条件が満たされているか判断し、満たされ
    ている場合には、音声符号の第2要素符号部分に任意のデ
    ータが埋め込まれていると判断して該埋め込みデータを
    抽出する、 ことを特徴とするデータ埋め込み/抽出方法。
  4. 【請求項4】 音声を所定の音声符号化方式で符号化し
    て得られる音声符号に任意のデータを埋め込むデータ埋
    め込み装置において、前記音声符号を構成する要素符号
    のうち第1要素符号と閾値を用いてデータ埋め込み条件
    が満たされたか判断する埋め込み判定部、データ埋め込
    み条件が満たされている場合には、第2要素符号を任意の
    データで置き換えることによりデータを音声符号に埋め
    込むデータ埋め込み部、を備えたことを特徴とするデー
    タ埋め込み装置。
  5. 【請求項5】 所定の音声符号化方式で符号化された音
    声符号に埋め込まれているデータを抽出するデータ抽出
    装置において、 前記音声符号を構成する要素符号を分離する分離部、 該要素符号のうち第1要素符号と閾値を用いてデータ埋
    め込み条件が満たされているか判断する埋め込み判定
    部、データ埋め込み条件が満たされている場合には、音声
    符号の第2要素符号部分に任意のデータが埋め込まれて
    いると判断して該データを抽出する埋め込みデータ抽出
    部、を備えたことを特徴とするデータ抽出装置。
  6. 【請求項6】 音声を所定の音声符号化方式で符号化し
    て送信するデジタル音声通信システムにおいて、 入力音声を符号化した音声データを分析する手段と、 その分析結果に応じて音声データの一部の特定部分に任
    意のコードを埋め込む手段と、 前記埋め込まれたデータを音声データとして送信する手
    段、 を備え、通常の音声通話と同時に付加情報を送信する、 ことを特徴とするデジタル音声通信システム。
  7. 【請求項7】 音声を所定の音声符号化方式で符号化し
    て送信された音声データを受信するデジタル音声通信シ
    ステムにおいて、 受信した音声データを分析する手段と、 その分析結果に応じて音声データの一部の特定部分から
    コードを抽出する手段、 を備え、通常の音声通話と同時に付加情報を受信する、 ことを特徴とするデジタル音声通信システム。
  8. 【請求項8】 音声を所定の音声符号化方式で符号化し
    て送受信するデジタル音声通信システムにおいて、 端末装置は送信部と受信部を備え、 前記送信部は、 入力音声を符号化したデータを分析する手段と、 その分析結果に応じて音声データの一部の特定部分に任
    意のコードを埋め込む手段と、 前記埋め込まれたデータを音声データとして送信する手
    段、 を備え、前記受信部は、 受信した音声データを分析する手段と、 その分析結果に応じて音声データの一部の特定部分から
    コードを抽出する手段、 を備え、端末装置間で網を介して通常の音声通話と同時
    に付加情報を双方向伝送する、 ことを特徴とするデジタル音声通信システム。
  9. 【請求項9】 音声を所定の音声符号化方式で符号化し
    て送受信するデジタル音声通信システムにおいて、 端末装置と、網に接続されて端末装置間の音声データを
    中継するサーバ装置を備え、 端末装置は、入力音声を符号化する音声符号化手段と、
    音声符号化データを送信する手段と、受信した音声デー
    タを分析する手段と、その分析結果に応じて音声データ
    の一部の特定部分からコードを抽出する手段を備え、前
    記サーバ装置は、端末装置間で互いにやりとりされるデ
    ータを受信し、該データが音声データであるかどうかを
    判定する手段と、音声データであれば該データを分析す
    る手段と、その分析結果に応じて一部の特定部分に任意
    のコードを埋め込んで送出する手段と、を備え、サーバ
    装置を介してデータを受信した端末装置は該サーバ装置
    で埋め込まれたコードを抽出して出力する、 ことを特徴とするデジタル音声通信システム。
  10. 【請求項10】 音声を所定の音声符号化方式で符号化
    して蓄積するデジタル音声蓄積システムにおいて、 入力音声を符号化した音声データを分析する手段と、 その分析結果に応じて音声データの一部の特定部分に任
    意のコードを埋め込む手段と、 前記埋め込まれたデータを音声データとして蓄積する手
    段、 を備え、通常のデジタル音声の蓄積と同時に付加情報も
    同時に蓄積する、 ことを特徴とするデジタル音声蓄積システム。
JP2003015538A 2002-02-04 2003-01-24 音声符号に対するデータ埋め込み/抽出方法および装置並びにシステム Expired - Fee Related JP4330346B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2003015538A JP4330346B2 (ja) 2002-02-04 2003-01-24 音声符号に対するデータ埋め込み/抽出方法および装置並びにシステム
CN2008101340452A CN101320564B (zh) 2002-02-04 2003-01-30 数字语音通信系统
CNB031023223A CN100514394C (zh) 2002-02-04 2003-01-30 对于语音代码进行数据嵌入/抽取方法、装置以及系统
US10/357,323 US7310596B2 (en) 2002-02-04 2003-02-03 Method and system for embedding and extracting data from encoded voice code
EP03250682A EP1333424B1 (en) 2002-02-04 2003-02-03 Embedding data in encoded voice and extracting data from encoded voice
DE60330413T DE60330413D1 (de) 2002-02-04 2003-02-03 Einbettung von Daten in kodierte Sprache und Extrahierung von Daten aus kodierter Sprache
EP06007029A EP1693832B1 (en) 2002-02-04 2003-02-03 Method and apparatus for embedding data in encoded voice code
DE60330716T DE60330716D1 (de) 2002-02-04 2003-02-03 Verfahren und Vorrichtung zur Dateneinbettung in einen kodierten Sprachkode

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002-26958 2002-02-04
JP2002026958 2002-02-04
JP2003015538A JP4330346B2 (ja) 2002-02-04 2003-01-24 音声符号に対するデータ埋め込み/抽出方法および装置並びにシステム

Publications (2)

Publication Number Publication Date
JP2003295879A true JP2003295879A (ja) 2003-10-15
JP4330346B2 JP4330346B2 (ja) 2009-09-16

Family

ID=26625679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003015538A Expired - Fee Related JP4330346B2 (ja) 2002-02-04 2003-01-24 音声符号に対するデータ埋め込み/抽出方法および装置並びにシステム

Country Status (4)

Country Link
EP (2) EP1333424B1 (ja)
JP (1) JP4330346B2 (ja)
CN (1) CN100514394C (ja)
DE (2) DE60330716D1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006001218A1 (ja) * 2004-06-25 2006-01-05 Matsushita Electric Industrial Co., Ltd. 音声符号化装置、音声復号化装置、およびこれらの方法
JP2006323161A (ja) * 2005-05-19 2006-11-30 Dainippon Printing Co Ltd 音響信号への制御コード埋込装置、および音響信号を用いた時系列駆動装置の制御システム
JP2008197660A (ja) * 2007-02-15 2008-08-28 Avaya Technology Llc 圧縮された情報信号全体にわたって散在させられたデジタル・メッセージの伝送
JP2008199629A (ja) * 2007-02-15 2008-08-28 Avaya Technology Llc 暗号化の存在下での信号ウォーターマーキング
WO2008114432A1 (ja) * 2007-03-20 2008-09-25 Fujitsu Limited データ埋め込み装置、データ抽出装置、及び音声通信システム
US7778827B2 (en) 2003-05-01 2010-08-17 Nokia Corporation Method and device for gain quantization in variable bit rate wideband speech coding
JP2011504313A (ja) * 2007-10-26 2011-02-03 シェラキ、ジャン 既存のデジタル音声転送プロトコルを用いてマルチメディアコンテンツを転送する方法およびシステム
JP2012078702A (ja) * 2010-10-05 2012-04-19 Yamaha Corp 歌唱音声評価装置
JP2014509409A (ja) * 2011-02-07 2014-04-17 クゥアルコム・インコーポレイテッド ウォーターマーク入り信号を適応的に符号化し復号するためのデバイス
US9767823B2 (en) 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and detecting a watermarked signal
US9767822B2 (en) 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and decoding a watermarked signal

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004069963A (ja) * 2002-08-06 2004-03-04 Fujitsu Ltd 音声符号変換装置及び音声符号化装置
KR100565682B1 (ko) 2004-07-12 2006-03-29 엘지전자 주식회사 이동통신 단말기를 이용한 통화중 디지털 데이터 전송방법및 전송장치
JP4896455B2 (ja) * 2005-07-11 2012-03-14 株式会社エヌ・ティ・ティ・ドコモ データ埋込装置、データ埋込方法、データ抽出装置、及び、データ抽出方法
CN110970038B (zh) * 2019-11-27 2023-04-18 云知声智能科技股份有限公司 语音解码方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI103700B1 (fi) * 1994-09-20 1999-08-13 Nokia Mobile Phones Ltd Samanaikainen puheen ja datan siirto matkaviestinjärjestelmässä
TW312770B (en) * 1996-10-15 1997-08-11 Japen Ibm Kk The hiding and taking out method of data
US6363339B1 (en) * 1997-10-10 2002-03-26 Nortel Networks Limited Dynamic vocoder selection for storing and forwarding voice signals
JP3022462B2 (ja) * 1998-01-13 2000-03-21 興和株式会社 振動波の符号化方法及び復号化方法
JP3321767B2 (ja) * 1998-04-08 2002-09-09 株式会社エム研 音声データに透かし情報を埋め込む装置とその方法及び音声データから透かし情報を検出する装置とその方法及びその記録媒体
ID25532A (id) * 1998-10-29 2000-10-12 Koninkline Philips Electronics Penanaman data tambahan dalam sinyal informasi
AU6533799A (en) * 1999-01-11 2000-07-13 Lucent Technologies Inc. Method for transmitting data in wireless speech channels
JP2003526274A (ja) * 2000-03-06 2003-09-02 メイヤー,トーマス,ダブリュー ディジタル電話信号へのデータの埋め込み

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7778827B2 (en) 2003-05-01 2010-08-17 Nokia Corporation Method and device for gain quantization in variable bit rate wideband speech coding
JP2006011091A (ja) * 2004-06-25 2006-01-12 Matsushita Electric Ind Co Ltd 音声符号化装置、音声復号化装置、およびこれらの方法
WO2006001218A1 (ja) * 2004-06-25 2006-01-05 Matsushita Electric Industrial Co., Ltd. 音声符号化装置、音声復号化装置、およびこれらの方法
US7840402B2 (en) 2004-06-25 2010-11-23 Panasonic Corporation Audio encoding device, audio decoding device, and method thereof
JP2006323161A (ja) * 2005-05-19 2006-11-30 Dainippon Printing Co Ltd 音響信号への制御コード埋込装置、および音響信号を用いた時系列駆動装置の制御システム
JP2008197660A (ja) * 2007-02-15 2008-08-28 Avaya Technology Llc 圧縮された情報信号全体にわたって散在させられたデジタル・メッセージの伝送
JP2008199629A (ja) * 2007-02-15 2008-08-28 Avaya Technology Llc 暗号化の存在下での信号ウォーターマーキング
JP2013017233A (ja) * 2007-02-15 2013-01-24 Avaya Technology Llc 暗号化の存在下での信号ウォーターマーキング
WO2008114432A1 (ja) * 2007-03-20 2008-09-25 Fujitsu Limited データ埋め込み装置、データ抽出装置、及び音声通信システム
JP2011504313A (ja) * 2007-10-26 2011-02-03 シェラキ、ジャン 既存のデジタル音声転送プロトコルを用いてマルチメディアコンテンツを転送する方法およびシステム
JP2012078702A (ja) * 2010-10-05 2012-04-19 Yamaha Corp 歌唱音声評価装置
JP2014509409A (ja) * 2011-02-07 2014-04-17 クゥアルコム・インコーポレイテッド ウォーターマーク入り信号を適応的に符号化し復号するためのデバイス
US9767823B2 (en) 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and detecting a watermarked signal
US9767822B2 (en) 2011-02-07 2017-09-19 Qualcomm Incorporated Devices for encoding and decoding a watermarked signal

Also Published As

Publication number Publication date
EP1333424B1 (en) 2009-12-09
JP4330346B2 (ja) 2009-09-16
CN100514394C (zh) 2009-07-15
EP1693832A2 (en) 2006-08-23
EP1693832A3 (en) 2007-06-20
EP1333424A2 (en) 2003-08-06
CN1437169A (zh) 2003-08-20
DE60330716D1 (de) 2010-02-04
DE60330413D1 (de) 2010-01-21
EP1333424A3 (en) 2005-07-13
EP1693832B1 (en) 2009-12-23

Similar Documents

Publication Publication Date Title
US7310596B2 (en) Method and system for embedding and extracting data from encoded voice code
Huang et al. Steganography integration into a low-bit rate speech codec
JP5226777B2 (ja) 音声信号中に埋め込まれた隠れデータの回復
JP4330346B2 (ja) 音声符号に対するデータ埋め込み/抽出方法および装置並びにシステム
JP4263412B2 (ja) 音声符号変換方法
EP2360682A1 (en) Audio packet loss concealment by transform interpolation
Gibson Multimedia communications: directions and innovations
Sun et al. Guide to voice and video over IP: for fixed and mobile networks
KR20070028373A (ko) 음성음악 복호화 장치 및 음성음악 복호화 방법
WO2005081232A1 (ja) 通信装置及び信号符号化/復号化方法
Kheddar et al. High capacity speech steganography for the G723. 1 coder based on quantised line spectral pairs interpolation and CNN auto-encoding
Lin An imperceptible information hiding in encoded bits of speech signal
JP2004069963A (ja) 音声符号変換装置及び音声符号化装置
CN101320564B (zh) 数字语音通信系统
JP4236675B2 (ja) 音声符号変換方法および装置
US7949016B2 (en) Interactive communication system, communication equipment and communication control method
JP4347323B2 (ja) 音声符号変換方法及び装置
US20030065512A1 (en) Communication device and a method for transmitting and receiving of natural speech
JP6713424B2 (ja) 音声復号装置、音声復号方法、プログラム、および記録媒体
EP1542422B1 (en) Two-way communication system, communication instrument, and communication control method
JP4330303B2 (ja) 音声符号変換方法及び装置
JP4900402B2 (ja) 音声符号変換方法及び装置
Montminy A study of speech compression algorithms for Voice over IP.
Bhoyar et al. A Study of LPC: Speech Coding Compression Method
Somasundaram et al. Source Codec for Multimedia Data Hiding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070116

AA91 Notification that invitation to amend document was cancelled

Free format text: JAPANESE INTERMEDIATE CODE: A971091

Effective date: 20070130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070417

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090520

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090616

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120626

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120626

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130626

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130626

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees