JP2005128132A

JP2005128132A - 話速変換方法及び話速変換装置

Info

Publication number: JP2005128132A
Application number: JP2003361687A
Authority: JP
Inventors: Mikio Oda; 幹夫小田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-10-22
Filing date: 2003-10-22
Publication date: 2005-05-19

Abstract

【課題】周囲ノイズや効果音を含んだ音声信号入力時において、画面との時間ズレの少ない話速変換処理を行える話速変換方法を提供する。
【解決手段】入力された音声信号のうち、低域成分と高域成分を減衰するバンドパスフィルターと、前記バンドパスフィルターで抽出出力された中域の音声信号を入力とし所定の話速変換を行う話速変換処理部とを具備し、中域の音声信号成分だけを話速変換する構成とし、画面との時間ズレの少ない話速変換の実現を図る。
【選択図】図１

Description

本発明は、話す速度を制御する話速変換に関するものである。

昨今のテレビ放送は放送局の増加、また衛星デジタル放送の開局などで、さまざまなジャンルのプログラムを放送できるようになり、視聴者を楽しませている。しかしながらこれらのプログラムの中には、早口でしゃべるアナウンサーやタレントがおり、高齢者には聞き取れない場合がある。この課題を解決する技術として、デジタル技術の進歩により、音程を変えずに、速度のみをゆっくりとするデジタル方式の話速変換装置が提案されている（例えば特許文献１参照）。

以下図４を参照しながら、デジタル方式の話速変換装置における従来技術の一例について説明する。図４において、符号２０は映像、音声信号の記録媒体としてのハードディスクドライブ、２１はハードディスクドライブ２０から読み出された映像、音声データをフレーム毎に記憶するフレームメモリ、２２は映像、音声信号を分離する信号分離部、２３は分離された音声ステレオ信号を加算する信号加算部、２４は話速変換するために、ピッチ周期を検出するピッチ周期算出部、２５は１フレーム分の加算音声信号が有音区間か無音区間かを判定する区間判定部、２６は区間判定部２５で無音区間と判定された区間のＬチャンネル音声と、Ｒチャンネル音声を共に削除する無音区間削除部、２７はピッチ周期単位で時間軸圧縮伸張処理する時間軸圧縮伸張部、２８は時間軸圧縮伸張された音声データを記憶する音声メモリ、２９は音声メモリ２８のデータ蓄積率を算出し、話速変換制御を行う蓄積率算出、話速制御部、３０は音声メモリ２８から順次読み出される音声ＬＲデータを分離するＬ／Ｒ分離部、３１はＬＲ分離された音声信号のうち、Ｌチャンネルの音声信号をデジタルからアナログに変換するＤ／Ａコンバータ、３２はＬＲ分離された音声信号のうち、Ｒチャンネルの音声信号をデジタルからアナログに変換するＤ／Ａコンバータである。

以上のように構成された従来の話速変換装置について、その動作を説明する。デジタルテレビ放送などで送られた映像信号、音声信号は復調され、ハードディスクドライブ２０に記録される。記録された映像信号、音声信号はフレームメモリ２１にフレーム単位で読み出され、信号分配部２２で映像信号、音声信号に分離する。分離された音声ＬＲ信号は信号加算部２３で順次加算され、両チャンネルの１フレーム分の音声信号が加算された時点で加算信号を出力する。区間判定部２５は、加算出力された１フレーム分の信号の信号レベルを検出し、有音区間か、無音区間かを判定し、無音区間削除部２６を制御し、無音区間であれば、その１フレーム分のＬチャンネル音声と、Ｒチャンネル音声を共に削除する。次にピッチ周期算出部２４でピッチ周期を算出し、同一のピッチ周期を用いて時間軸圧縮伸張処理を行う。時間軸圧縮伸張された音声データは音声メモリ２８に記録され、順次読み出され、音声ＬＲデータを分離するＬ／Ｒ分離部３０、Ｌチャンネルの音声信号をデジタルからアナログに変換するＤ／Ａコンバータ３１、Ｒチャンネルの音声信号をデジタルからアナログに変換するＤ／Ａコンバータ３２を通してアナログ２チャンネルで再生される。また音声メモリ２８のデータ蓄積率を算出し、話速変換制御を行う蓄積率算出、話速制御部２９は、蓄積率が少ないと無音区間を削除しないとか、逆に蓄積率が多いと、圧縮率を高くするとか、話速変換停止の制御を行う。

図５はこの従来の話速変換のタイミングを説明したものであり、図５（ａ）に示す具体的な音声例「これはわたしのですそれもわたしのです」が入力された時の話速変換の様子を説明するものであり、図５（ｂ）に示すごとく、単純に２倍の時間に話速を延ばすとすると「こーれーはーわーたーしーのーでーすーそーれーもーわーたーしーのーでーすー」という具合に母音を追加して時間を延ばす処理を行う。時間を延ばされた音声デジタル信号はＤ／Ａコンバータ１２でデジタル音声信号からアナログ音声信号に戻され、一連の話速変換処理を終了する。一方、話速変換され時間が延ばされていくと、有限なメモリ容量であるメモリ１３は、書き込みアドレスを読み出しアドレスが追い越す、いわゆるオーバーフローする可能性が出てくる。メモリ１３の残量を照会しながら話速変換処理の話速変換率を決定しようとするのが従来の方式であり、逆に無音区間では保存の必要がなく、つぎの音声信号の立ち上がりで、話速変換の頭合わせを行い、オーバーフローの削減を図る。
特開２００２−２９７２００号公報

しかしながら前記従来の構成では、周囲ノイズや効果音のない音声信号なら話速変換することで、聞き易くなるが、テレビ放送における音声信号は周囲ノイズや効果音が音声信号に混在しているのが普通であり、このような音声以外の信号が混在した音声信号を話速変換する場合、従来構成では音声以外の信号による無音区間の切り出しが不可能となり、画面とのズレの拡大、メモリ容量不足による話速変換の停止などの問題が考えられる。すなわち、図４の話速変換装置に、図５（ｃ）で示す音声信号（記号Ｎは低域高域のノイズを示す）が入力された場合の話速変換は、図５（ｄ）に示すごとく話速変換された音声信号は時刻ｔ１で言い終わっているのにも係らず、ノイズを区間判定部２５で時刻ｔ２まで音声信号と判断し、ノイズも話速変換して、「こーれーはーＮーわーたーしーのーでーすーＮーＮーＮー」と時間を引き延ばし、そのあと無音区間を詰めて「そーれーもーＮーわーたーしーのーでーすー」とつづく。周囲ノイズや効果音がない音声信号なら話速変換すると時刻ｔ４から「そーれーもーわーたーしー」とつづくが、ノイズがある場合は時刻ｔ５から始まるようになり、時刻ｔ４から時刻ｔ５へ時間遅れが発生し、このことはとりもなおさず、画面との時間ズレが拡大されることを意味する。また場合によっては、順次遅れることにより、音声メモリ２８のデータ蓄積率を算出し、蓄積率算出話速制御部２９の制御でメモリ容量が不足による話速変換停止などが発生する問題があった。

前記課題を解決するために、本発明の話速変換方法は、入力された音声信号をバンドパスフィルタで、低域成分と高域成分を減衰させ、中域の音声信号成分だけを抽出して話速変換することを特徴としたものである。

また話速変換装置として、入力された音声信号のうち、低域成分と高域成分を減衰するバンドパスフィルタと、前記バンドパスフィルタで抽出出力された中域の音声信号を入力とし所定の話速変換を行う話速変換処理部とを具備し、中域の音声信号成分だけを話速変換して再生するように構成したものであり、また、話速変換処理部で処理された音声出力信号のうち高域成分をブーストする高域ブースト部を具備し、中域の音声信号成分だけを話速変換し、欠落し明瞭さを欠いた高域成分をブーストすることで高域補償して再生するように構成したものである。

上記構成を備えることにより、本発明は、周囲ノイズや効果音が音声信号に混在している話速変換処理の場合において、無音区間の切り出しが不可能なことから発生する、画面とのズレの拡大、メモリ容量不足による話速変換の停止を極力防止できるとともに、しかも簡単な回路構成で話速変換が行えるものである。

（実施の形態１）
以下に、本発明の第１の実施の形態について、図１、図２を用いて説明する。

図１は、本発明の第１の実施の形態における話速変換装置の構成を示すブロック図である。図１において、符号１は、入力された音声信号のうち、低域成分と高域成分を減衰するバンドパスフィルタ、２はバンドパスフィルタ１で抽出出力された中域の音声信号を入力とし所定の話速変換を行う話速変換処理部である。

以上のように構成された話速変換装置について、その動作と各部の詳細を説明する。例えばテレビ受信機の音声再生において、検波された音声信号はバンドパスフィルタ１で低域成分と高域成分を減衰され、中域の音声帯域信号のみとなる。バンドパスフィルタ１は簡単な抵抗、コンデンサ回路素子で構成でき、またオペアンプ、トランジスタなどを使用しアクティブ構成とし次数を上げても良い。次数が高い程急峻に低域高域が減衰できることは言うまでも無い。低域及び高域を減衰するフィルタであればバンドパスフィルタ１の構成は限定されない。

次に中域の音声帯域のみとなった音声信号は、話速変換処理部２で所定の話速変換処理をする。以下、図２を用いて話速変換の詳細を説明する。

今、図２（ａ）に示すごとく、音声信号例として「これはＮわたしですＮＮＮそれもＮわたしです」（記号Ｎは低域高域のノイズを示す）が入力された場合、バンドパスフィルタ１の処理で図２（ｂ）に示すごとくノイズが減衰して「これはわたしのです」が時刻ｔ１で終了し、時刻ｔ４から「それもわたしのです」となる。

話速変換処理部２における話速変換処理は、例えばその一例を示すと、まず入力された音声信号の無音区間の切り出し、話速変換する発音の母音切り出しなどの処理を行う。例えば変換比率を２倍の時間に話速変換すると仮定すると、無音区間を除いた音声信号の区間に母音を追加して２倍の時間に延ばす処理を行う。その処理結果を図２（ｃ）に示す。つまり、ノイズが減衰された図（ｂ）の音声信号を話速変換すると、図２（ｃ）に示すごとく「こーれーはーわーたーしーのーでーすー」、そのあと無音区間を詰めて時刻ｔ４から「そーれーもーわーたーしーのーでーすー」とつづく。つまり無音区間を正確に切り出し、つぎの音声入力の始まりである時刻ｔ４から画面との時間ズレを最小にしながら、話速変換されたことが分かる。

さらに、話速変換された音声信号はスピーカ再生のための回路、たとえばアンプ回路などに供給され、テレビ受信機内蔵のスピーカで再生されてテレビ視聴が可能となる。

以上のように、本発明の話速変換装置によれば、入力された音声信号のうち、低域成分と高域成分を減衰させる簡単な回路構成で、中域の音声信号のみを話速変換することで、画面との時間ズレの少ない話速変換が実現でき、聞き易いテレビ視聴が可能となる。

また、従来技術の構成のように周囲ノイズや効果音を含んだまま話速変換処理を行った場合、周囲ノイズと音声信号の切り分けの必要があるのと、余分なメモリが必要となることが予想され、話速変換による画像とのズレの拡大と、話速変換処理システムが大きくなる欠点があるのに対し、本願発明のように低域成分と高域成分を減衰させる、中域の音声信号のみを話速変換することで、低音不足による音の迫力、高域不足による明瞭さは損なわれるが、上記の従来技術の構成で予想されるような欠点もなく、簡単な構成で画面との時間ズレの少ない聞き易い話速変換が実現でき、例えば高齢者など速い会話を聞き取ることが困難な視聴者に対するそのメリットは大きい。

なお、本実施の形態では話速変換の変換比率が２倍の場合を説明したが、変換比率はこの値に限定されることはなく、必要に応じてその値を設定すればよい。その場合、図２で示した最初の音声信号「こーれーはーわーたーしーのーでーすー」の終了時刻ｔ３に相当するタイミングが変わるだけで、本願発明の作用効果は同様に奏し得るものである。

また、周囲ノイズとして低域高域のノイズを例にあげて説明したが、低域高域のみのノイズであれば図２（ｂ）に示すごとくきれいにノイズが低減削除できるが、実際のテレビ放送における音声信号の周囲ノイズや効果音は低域高域のみならず、音声信号帯域と重なっている場合が多い。このような場合でもバンドパスフィルタ１で低域高域のノイズを少しでも低減できれば、無音区間の切り出しに役立ち、画面とのズレの少ない話速変換が実現できる。

（実施の形態２）
つぎに、本発明の第２の実施の形態について、図３を用いて説明する。図３は、本発明の第２の実施の形態における話速変換装置の構成を示すブロック図である。なお、第１の実施の形態と同一の構成要素に対しては同一の符号を付すこととし、説明が重複する部分は適宜省略するものとする。

図３において、符号１は、入力された音声信号のうち、低域成分と高域成分を減衰するバンドパスフィルタ、２はバンドパスフィルタ１で抽出出力された中域の音声信号を入力とし所定の話速変換を行う話速変換処理部、３は話速変換処理部２で処理された音声出力信号のうち高域成分をブーストする高域ブースト部である。

以上のように構成された話速変換装置について、その動作を説明する。テレビ受信機の音声再生において、検波された音声信号はバンドパスフィルタ１で低域成分と高域成分を減衰され、中域の音声帯域信号のみとなる。さらに中域の音声帯域のみとなった音声信号は、話速変換処理部２で所定の話速変換処理をする。話速変換処理部２で処理された音声出力信号は高域ブースト部３により高域成分がブーストされ、スピーカ再生のための回路、たとえばアンプ回路などに供給され、テレビ受信機内蔵のスピーカで再生されて、欠落し明瞭さを欠いた高域成分をブーストすることで高域補償再生されたテレビ視聴が可能となる。なお、話速変換の動作や各構成要素の詳細な説明は前述の実施の形態１で説明したのと同じなので、ここでは割愛する。

以上のような構成により、入力された音声信号のうち、低域成分と高域成分を減衰させる簡単な回路構成で、中域の音声信号のみを話速変換することで、画面との時間ズレの少ない話速変換が実現でき、聞き易いテレビ視聴が可能となるとともに、話速変換が必要な、高齢者などは、加齢とともに劣化する高域の聞きづらさを高域成分をブーストすることで、さらに聞き易くなるなどそのメリットは大きい。

本発明に係る話速変換方法及び話速変換装置によれば、簡単な回路構成で画面との時間ズレの少ない話速変換が実現でき、とりわけ、画像が映し出される場合には画像と音声のズレを極力少なくできるので、画像を伴う話速変換に効果があり、テレビのみならずＶＴＲ、ＤＶＤなどのＡＶ機器の話速変換においてとりわけ有用である。

本発明の第１の実施の形態における話速変換装置のブロック構成図本発明の話速変換のタイミング説明図本発明の第２の実施の形態における話速変換装置のブロック構成図従来の実施例の話速変換装置のブロック構成図従来の話速変換のタイミング説明図

符号の説明

１バンドパスフィルタ
２話速変換処理部
３高域ブースト部

Claims

入力された音声信号をバンドパスフィルタで、低域成分と高域成分を減衰させ、中域の音声信号成分だけを抽出して話速変換することを特徴とする話速変換方法。
入力された音声信号のうち、低域成分と高域成分を減衰するバンドパスフィルタと、前記バンドパスフィルタで抽出出力された中域の音声信号を入力とし所定の話速変換を行う話速変換処理部とを具備し、中域の音声信号成分だけを話速変換する構成としたことを特徴とする話速変換装置。
入力された音声信号のうち、低域成分と高域成分を減衰するバンドパスフィルタと、前記バンドパスフィルタで抽出出力された中域の音声信号を入力とし所定の話速変換を行う話速変換処理部と、前記話速変換処理部で処理された音声出力信号のうち高域成分をブーストする高域ブースト部を具備し、中域の音声信号成分だけを話速変換し、欠落し明瞭さを欠いた高域成分をブーストすることで高域補償する構成としたことを特徴とする話速変換装置。