JP2004080069A

JP2004080069A - テレビジョン受像機

Info

Publication number: JP2004080069A
Application number: JP2002233351A
Authority: JP
Inventors: Shigehiro Kaneko; 金子　滋博
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-08-09
Filing date: 2002-08-09
Publication date: 2004-03-11
Anticipated expiration: 2022-08-09
Also published as: JP4219129B2

Abstract

【課題】テレビジョン放送信号に含まれる映像信号に基づいて、音声源が発する音声を音声データに変換して字幕スーパーとして表示することにより、視聴者が放送内容を容易に理解することを可能とする。
【解決手段】受信した映像信号に基づいて音声源を判別するための音声入力判別手段（音声入力判別回路３）と、音声入力判別手段で判別される音声源が発する音声を解析するための音声解析手段（音声スペクトラム解析回路４）と、音声解析手段により解析された音声を文字データに変換するための文字変換手段（音声・文字変換処理回路６）と、文字変換手段により変換された文字データと映像信号を合成して画面上に表示するための文字・映像合成手段（文字・映像合成回路１０）とを備える。
【選択図】　　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビジョン受像機に関し、詳しくは、受信したテレビジョン放送信号に基づいて文字データを作成し、該文字データを映像とともに表示することができるテレビジョン受像機に関する。
【０００２】
【従来の技術】
従来、受信した放送信号に基づいて文字データを作成して表示するためのテレビジョン受像機が種々開発されている。
【０００３】
例えば、特開２０００−２０６９８６号公報には、発音を必ずしも前提とすることなく、顔の外皮の一部を三次元デジタイザで検出し、音声等の言語情報を入力するための言語情報検出装置が開示されている。
【０００４】
また、実開平２−５３６７０号公報には、受信した音声信号を文字データに変換し、該文字データを字幕スーパーとして表示することができるテレビジョン受像機が開示している。
【０００５】
また、特開平９−１３４１９４号公報には、カメラにより撮像した画像情報に基づいて読話認識を行うための画像認識システムが開示されている。この画像認識システムは、カメラにより撮像した顔の一部の特徴に基づいて当該人物を特定して、電話による売買契約を可能としたものである。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記特開２０００−２０６９８６号公報に記載された言語情報検出技術は、必ずしも発話を前提としたものではなく、３次元デジタイザを用いて顔の外皮の一部を検出し、スペクトラムテーブルと比較することにより誰が会話をしているかの認識程度しか行うことができない。
【０００７】
また、実開平２−５３６７０号公報に記載されたテレビジョン受像機は、テレビジョン放送信号の音声信号に含まれる様々な音声が同時に入力される。また、不要な音声、例えば雑音等が含まれている場合もある。このため、これらの音声をそのまま字幕に取り込んだだけでは文字列の羅列となる。さらに、全ての音声を文字列として表現しているので、誰が話をしているのか、周囲の声なのか、ナレーションなのか、あるいはＢＧＭなのかを特定することができず、これらの文字列が画面下の字幕欄に羅列されることになり、字幕欄に表示された文字を追いかけてゆくと映像の状況がわからなくなってしまうという問題があった。
【０００８】
また、特開平９−１３４１９４号公報に記載された画像認識システムは、カメラを用いて撮像した画像情報により読話認識を行っているため、カメラが必須の構成要件となっており、テレビジョン放送信号に含まれる画像情報をそのまま利用することができないという問題があった。
【０００９】
本発明は、上述した事情に鑑み提案されたもので、テレビジョン放送信号に含まれる映像信号に基づいて、音声源が発する音声を音声データに変換して字幕スーパーとして表示することにより、視聴者が放送内容を容易に理解することが可能なテレビジョン受像機を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明に係るテレビジョン受像機は、上述した目的を達成するため、以下の特徴点を備えている。
【００１１】
すなわち、本発明に係るテレビジョン受像機は、受信した映像信号に基づいて音声源を判別するための音声入力判別手段と、前記音声入力判別手段で判別される音声源が発する音声を解析するための音声解析手段と、前記音声解析手段により解析された音声を文字データに変換するための文字変換手段と、前記文字変換手段により変換された文字データと前記映像信号を合成して画面上に表示するための文字・映像合成手段とを備えたことを特徴とするものである。
【００１２】
また、本発明に係るテレビジョン受像機は、前記音声入力判別手段により判別される音声源の周辺空間位置を検出するための空間位置検出手段を備え、前記文字・映像合成手段は、前記文字変換手段により変換された文字データを、前記空間位置検出手段により得られた空間位置に挿入することを特徴とする。
【００１３】
また、本発明に係るテレビジョン受像機は、前記音声入力判別手段により判別される音声源に対して適宜個数の解析点をピックアップし、該解析点の動きに基づいて音声源の動きを解析するための音声源動き解析手段を備え、前記音声解析手段は、前記音声源動き解析手段の解析結果に基づいて、音声を解析すべき音声源を特定することを特徴とする。
【００１４】
また、本発明に係るテレビジョン受像機は、前記映像信号と合成するための文字データに対して文字枠を付加するための文字枠付加手段を備えることを特徴とする。
【００１５】
また、本発明に係るテレビジョン受像機は、前記テレビジョン放送信号に送信側文字信号が含まれているか否かを判断するための送信側文字信号判別手段を備え、前記文字・映像合成手段は、前記送信側文字信号判別手段により前記テレビジョン放送信号に送信側文字信号が含まれていると判断された場合に、該送信側文字信号に基づく文字データと前記文字変換手段により変換された文字データとが重ならないように配列することを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面に基づいて、本発明に係るテレビジョン受像機の実施形態を説明する。
【００１７】
図１〜図４は、本発明の実施形態に係るテレビジョン受像機を示すもので、図１はテレビジョン受像機の構成を示すブロック図、図２はテレビジョン受像機における画面表示例を示す模式図、図３（ａ）は人物検知の手順を示すフローチャート、図３（ｂ）は人物検知を行う場合の表示画面の模式図、図３（ｃ）は人物画像解析を行う場合の顔画像の模式図、図３（ｄ）は人物画像以外の空間領域検索を行う場合の表示画面の模式図、図４（ａ）は音声認識の手順を示すフローチャート、図４（ｂ）は文字枠生成の手順を示すフローチャートである。
【００１８】
本発明の実施形態に係るテレビジョン受像機は、図１に示すように、中間周波増幅回路１、音声検波回路２、音声入力判別回路３、音声スペクトラム解析回路４、文字生成回路５、音声・文字変換処理回路６、人物・文字区別処理回路７、文字枠・文字合成回路８、文字枠・吹出位置生成回路９、文字・映像合成回路１０、送信側文字信号有無判別回路１１、音声増幅回路１２、スピーカ１３、ＣＰＵ（Ａ）１４、ＣＰＵ（Ｂ）１５、ＣＰＵ（Ｃ）１６、ＣＰＵ（Ｄ）１７、映像検波回路２０、映像メモリ２１、人物検出・判別処理回路２２、人物外・空間位置検出回路２３、文字挿入位置確定処理回路２４、映像増幅出力回路２５、映像表示装置２６、および人物確認メモリ４０を備えて構成される。
【００１９】
テレビジョン受像機では、スイッチを入れた場合のように、番組の始めはどのようなシーンであるのか分からない。そこで、音声が発せられたと同時に、音声に対してスペクトラム解析を行うとともに、映像は映像メモリ２１に一旦記憶する。そして、音声と映像の学習効果を応用しつつ、人物Ａ、人物Ｂ、人物Ｃ、ナレーション、およびその他の音声に分類するとともに、発せられた言葉を文字データに変換して、人物Ａが発した言葉であれば人物Ａの近傍に文字を挿入する。また、人物Ｂとの対話であれば人物Ｂの近傍に、漫画の吹き出しのようにして文字を填め込む。また、ナレーションであれば画面上に文字を表示し、その他の音声であれば画面下に文字を表示する。
【００２０】
なお、文字の挿入位置は上述したものに限られず、画面上の任意の位置とすることができ、視聴者が判別し易い挿入場所を選択して文字を表示することが好ましい。
【００２１】
具体的には、図２に示すように、画面上に現れている人物Ａおよび人物Ｂの近傍に、吹き出しとして各人物が発した言葉が表示され、画面上に現れていない人物Ｃが発した言葉は、画面下に表示される。
【００２２】
次に、音声を文字データに変換し、文字挿入位置を決定し、しかも音声を発している人物を見つける方法を説明する。
従来の技術として、個々の方法および事例は若干違うが、特開平９−１３４１９４号公報に、読話のための画像認識システム、読話システム、および読舌システムが開示されている。これらの技術は、カメラ、マイク、マイクディジタイザ等の外部装置を用いて、口の動き、顔の動き、舌の動き、歯の動き等を検知するとともに、発生される音声をも認識して、その人物を確実に認証しようとするものである。しかしながら、当該公報には、音声を発している人物を特定する方法が開示されていない。
【００２３】
これに対して、本実施形態に係るテレビジョン受像機は、特に、受信した映像信号と音声信号を用いて、音声を発している人物を特定することができるようになっている。
まず、発せられた音声に関しては、音声が発せられた場面において、その映像中に人物が存在するか否かを判別しなければならない。しかも、当該映像中に表示されている人物が一人とは限らず、複数の人物が表示されている場合には、音声を発した人物を特定しなければならない。
【００２４】
ここで、図３（ｂ）に示すように、画面中に人物Ａ、人物Ｂ、および人物Ｃが表示され、画面外に人物Ｄが存在する場合を例にとって説明する。
実際の映像画面は多様な態様をなしているため、まず人物が登場しているかどうか確認しなければならない。ここで、事前に人間と判断できる画像を、人物確認メモリ４０に記憶しておき、この画像と、判断を行うべき時点の映像を比較して、人物を特定する。
【００２５】
音声を発している人物を特定するには、図３（ａ）に示すように、人物確認メモリ４０に記憶された画像と、実際に画面中に表示されている人物とを比較して、人物Ａ、人物Ｂ、および人物Ｃが登場していることを検出する（Ｓ４１）。
【００２６】
続いて、読話システム等を用いて、画面中に表示されている人物のうちの誰が音声を発しているのかを判別する（Ｓ４２）。ここで、読話システムだけでは、笑っていたり、頷いていたりしている場合に検出を行うことができないので、音声信号に基づいて画面位置に対する人物位置の再検証を行う（Ｓ４３）。
すなわち、テレビジョン受像機で受信した音声信号は、例えばステレオ放送であれば、左右どちらの人物が発した音声であるかを判別することができるし、音声スペクトラムを解析して、女性なのか、あるいは男性なのかを判別することもできる。
【００２７】
続いて、再度、人物確認メモリ４０との比較を行い、音声を発している人物を再確認する（Ｓ４４）。すなわち、日本人であれば母音「あ」「い」「う」「え」「お」を発声する場合に口や顔の表情が変わるため、当該データを事前に登録しておき、発せられた人物と比較検討することにより、再検証することができる。
【００２８】
また、人物を再確認する他の方法として、人物画像解析を行う方法がある。例えば、図３（ｃ）に示すように、人物の目、鼻、耳、頬、口等のように、顔の中の数ポイントを捕らえて点描写を解析し、喋っているのか、笑っているのか、あるいは頷いているのかを区別し、現在音声を発している人物を、再確認する。
ここで、人物の特定が間違っている場合には、処理の最初（Ｓ４１）に戻り、再度検証を行う。
【００２９】
また、音声を発している人物が、例えば人物Ａと判断できれば、次に人物Ａの画面位置、他の人物Ｂ、人物Ｃの位置および距離関係を検出する（Ｓ４５）。例えば、図３（ｄ）に示すように、各人物の位置を破線枠Ｑ，Ｒ，Ｓ，Ｔとして特定する。そして、これらの破線枠Ｑ，Ｒ，Ｓ，Ｔ内に、規定の文字が挿入可能か否かを解析し、どの位置に文字を挿入したらよいかを判断する（Ｓ４５）。この処理は、人物検出・判別処理回路２２、人物外・空間位置検出回路２３により行われる。
【００３０】
続いて、発せられた音声がどの人物のものであるかを判別できた場合には、音声スペクトラム解析回路４により得たスペクトラムと一致させ（Ｓ４６）、人物確認メモリ４０に記憶する（Ｓ４７）。
上述した手順を場面毎に繰り返して行うことにより学習効果が生じ、即時に人物を判別できるようになる。
【００３１】
次に、実際に発生された音声を文字化するための手順を説明する。
図４（ａ）に示すように、音声検波回路２により検波された音声信号は、音声増幅回路１２へ入力される（Ｓ５１）。このとき、所定の入力信号より大きな音声と判断された場合には、画面に主要人物が登場していると判断し、ＣＰＵ（Ａ）１４へ信号を送信して、映像メモリ２１に映像信号を記憶する（Ｓ５２）。
【００３２】
また、当該音声を文字化すべく音声フィルタによる処理を行い、何種類の音声かを選別するとともに（Ｓ５３）、Ｓ／Ｎ比の改善および雑音判別を行う（Ｓ５４）。ここで、実際の音声は、映像状態により、車の音、風の音、その他の雑音が混ざっており、人物の音声との区別を行わなければ文字化することが困難である。
【００３３】
続いて、人物を判別するとともに、女性の音声であるのか、あるいは男性の音声であるのかを判別する（Ｓ５５）。さらに、ナレーション、Ｂ／Ｇ、およびその他の判別を行う（Ｓ５６）。
【００３４】
ところで、種々の映像場面に対応するためには、文字化したい主人公および他の登場人物をいかに選別してピックアップできるかが、良い字幕スーパーを作成するための重要な要件となる。このため、様々な音声に対して選別フィルタ処理を行い、字幕にしたい音声を音声スペクトラム解析回路４により解析するとともに（Ｓ５７）、スペクトラム登録を行う（Ｓ５８）。
【００３５】
続いて、文字生成回路５により、音声信号を文字化（簡素文字化）するとともに（Ｓ５９）、音声・文字変換処理回路６により文字変換を行う（Ｓ６０）。実際には、冗長な言葉は簡素化し、方言、和製英語、および新語などは表示色を変え、あるいはカタカナ文字で表示する等、種々の配慮が必要となる。
【００３６】
続いて、話し言葉を文字枠内に挿入する手順、および文字挿入の手順を説明する。
なお、文字枠等の図形作成に関しては、周知の技術を用いて、マイコンのソフトウエア作成時に容易にプログラムすることができる。
【００３７】
図４（ｂ）に示すように、文字挿入を行う際、あるいは字幕スーパースイッチがオンとなった際に、文字枠・吹出位置生成回路９が稼動される（Ｓ６１）。
続いて、文字生成回路５で得られた文字列を文字枠にはめ込むために、文字枠のサイズおよび表示段数を判定し（Ｓ６２）、当該判定結果に基づいて、文字枠サイズを決定する（Ｓ６３）。
【００３８】
続いて、例えば人物Ａが音声を発したとすると、人物Ａの周辺（図３（ｄ）における枠Ｑ、枠Ｒ）の大きさを検知し、文字枠が入るか否かを判断する（Ｓ６４）。
続いて、文字枠挿入・位置判別処理を行う（Ｓ６５）。この文字枠挿入・位置判別処理では、挿入位置に対して文字列が長いと判断された場合に、途中で文面を区切って、まず先頭文字列を表示し、その後、同じ位置に後続文字列を表示するという判断が行われる。
【００３９】
続いて、実際は同時に判断すべきことだが、人物が音声を発している位置を検出するとともに、その位置の近傍に生成した吹き出しを付加する（Ｓ６６、Ｓ６７）。ここで、実際の映像において文字枠が邪魔になるのであれば、文字枠ＯＮ／ＯＦＦスイッチを用いて文字枠を非表示にすればよい（Ｓ６８）。
続いて、文字枠・文字合成回路８により文字枠と文字列を合成し（Ｓ６９）、さらに、文字・映像合成回路１０により、文字枠および文字列と映像とを合成することにより（Ｓ７０）、いかにも漫画の文字の様な表現を行うことができる。図２は、映像に対して文字枠および文字列を合成した画面を示すものである。
【００４０】
なお、人物Ａが発した音声であっても、他の登場人物として人物Ｂおよび人物Ｃが存在する場合には、人物Ｂあるいは人物Ｃの顔の上に文字表現してしまうと、受信画像が文字で乱されてしまい鑑賞し辛いものとなってしまう。また、登場人物Ａ，Ｂ，Ｃは、常にじっと座っているとも限らない。このため、図１に示す人物・文字区別処理回路７では、各人物の動作をファジー的に読み取って判断し、文字挿入位置を判断しなければならない。
【００４１】
一般には、頭の上に文字表現できれば、人物の横方向の動きが少々変化しようが大勢に影響がない。さらに、背景がスタジオのお客さん等のように沢山の人物が存在する場合には、ソフトウエアの設計を変更することにより適宜対処することができる。
【００４２】
また、ニュース速報、地震情報、台風情報等のように、放送局側で必要なテロップを表示している場合には、当該テロップに文字を重ね合わせて表示することはできない。この場合、図１に示す送信側文字信号有無判別回路１１の判断に基づいて、文字列の表示位置や文字色を適宜変更し、あるいは文字列の表示を中止することが好ましい。
【００４３】
なお、本発明に係るテレビジョン受像機は、アナログ信号あるいはデジタル信号のいずれを用いたテレビジョン受像機にも適用することができる。また、音声・文字変換処理回路６には、多言語翻訳機能を含ませることができ、多言語放送に対しても本発明に係るテレビジョン受像機を適用することができる。
【００４４】
【発明の効果】
本発明に係るテレビジョン受像機は、上述した構成を備えているため、テレビジョン放送信号に含まれる映像信号に基づいて、音声源が発する音声を音声データに変換して字幕スーパーとして表示することにより、視聴者が放送内容を容易に理解することができる。
例えば、聴力障害を持った人の手助けになるとともに、健聴な人にとっても、聞き逃した音声を文字として認識することができる。また、周囲がうるさく、テレビジョン受像機からの音声を聞き取ることができない場合であっても、登場人物の会話内容を理解することができる。
【００４５】
さらに、テレビジョン受像機を２台設置し、それぞれ異なる放送局を選曲するとともに、そのうちの１台は普通の音声を視聴し、他の１台は文字列を表示させるというような使い方をすることもできる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るテレビジョン受像機の構成を示すブロック図である。
【図２】本発明の実施形態に係るテレビジョン受像機における画面表示例を示す模式図である。
【図３】
（ａ）は人物検知の手順を示すフローチャート、（ｂ）は人物検知を行う場合の表示画面の模式図、（ｃ）は人物画像解析を行う場合の顔画像の模式図、（ｄ）は人物画像以外の空間領域検索を行う場合の表示画面の模式図である。
【図４】（ａ）は音声認識の手順を示すフローチャート、（ｂ）は文字枠生成の手順を示すフローチャートである。
【符号の説明】
１　中間周波増幅回路
２　音声検波回路
３　音声入力判別回路
４　音声スペクトラム解析回路
５　文字生成回路
６　音声・文字変換処理回路
７　人物・文字区別処理回路
８　文字枠・文字合成回路
９　文字枠・吹出位置生成回路
１０　文字・映像合成回路
１１　送信側文字信号有無判別回路
１２　音声増幅回路
１３　スピーカ
１４　ＣＰＵ（Ａ）
１５　ＣＰＵ（Ｂ）
１６　ＣＰＵ（Ｃ）
１７　ＣＰＵ（Ｄ）
２０　映像検波回路
２１　映像メモリ
２２　人物検出・判別処理回路
２３　人物外・空間位置検出回路
２４　文字挿入位置確定処理回路
２５　映像増幅出力回路
２６　映像表示装置
４０　人物確認メモリ

Claims

受信した映像信号に基づいて音声源を判別するための音声入力判別手段と、
前記音声入力判別手段で判別される音声源が発する音声を解析するための音声解析手段と、
前記音声解析手段により解析された音声を文字データに変換するための文字変換手段と、
前記文字変換手段により変換された文字データと前記映像信号を合成して画面上に表示するための文字・映像合成手段とを備えたことを特徴とするテレビジョン受像機。
前記音声入力判別手段により判別される音声源の周辺空間位置を検出するための空間位置検出手段を備え、
前記文字・映像合成手段は、前記文字変換手段により変換された文字データを、前記空間位置検出手段により得られた空間位置に挿入することを特徴とする請求項１記載のテレビジョン受像機。
前記音声入力判別手段により判別される音声源に対して適宜個数の解析点をピックアップし、該解析点の動きに基づいて音声源の動きを解析するための音声源動き解析手段を備え、
前記音声解析手段は、前記音声源動き解析手段の解析結果に基づいて、音声を解析すべき音声源を特定することを特徴とする請求項１記載のテレビジョン受像機。
前記映像信号と合成するための文字データに対して文字枠を付加するための文字枠付加手段を備えたことを特徴とする請求項１記載のテレビジョン受像機。
前記テレビジョン放送信号に送信側文字信号が含まれているか否かを判断するための送信側文字信号判別手段を備え、
前記文字・映像合成手段は、前記送信側文字信号判別手段により前記テレビジョン放送信号に送信側文字信号が含まれていると判断された場合に、該送信側文字信号に基づく文字データと前記文字変換手段により変換された文字データとが重ならないように配列することを特徴とする請求項１記載のテレビジョン受像機。