JP2011170282A

JP2011170282A - 再生装置および再生方法

Info

Publication number: JP2011170282A
Application number: JP2010036502A
Authority: JP
Inventors: Yoko Masuo; 容子増尾
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-02-22
Filing date: 2010-02-22
Publication date: 2011-09-01
Also published as: US20110206345A1

Abstract

【課題】映像・音声等の再生時に重要な環境音を利用者に告知する再生装置および再生方法を提供する。
【解決手段】周囲の環境音を入力する音声情報入力手段と、注目すべき環境音の特性情報を管理する音声情報管理手段と、前記入力手段から入力された音声情報を解析する音声情報解析手段と、前記入力された音声情報が前記注目すべき環境音の特性情報と一致した場合に告知情報を生成する告知情報生成手段と、生成した前記告知情報を映像または音声に重畳して出力する出力制御手段とを備えることを特徴とする再生装置。
【選択図】図１

Description

本発明は、映像・音声等の再生装置および再生方法に関する。

周囲の環境音から必要な成分と、これによく似た不要な成分とを弁別する手段は多く工夫されてきた。例えば特許文献１に記載の内容は、ドアチャイムや電話ベル等の報知音とテレビ等の音響出力との識別を目的としたものである。手段として周囲音を収録するマイクと音響出力のモニター手段を備え、予め記憶した報知音の類似音が検出された場合に、視聴者に告知可能な装置である。

特許文献１は、コンテンツに含まれる音響成分をモニターし、比較する手段を備えて常時動作させるものである。また、報知音の類似音を検出するための具体的手法が提示されていない。現実的に環境音を一意に特定することは難しく、誤検出の可能性が高い点も課題である。

従って、より安価かつ簡易で省電力な構成により、聞き逃してはいけない重要な環境音を利用者に告知する映像・音声等の再生装置が求められている。

特開平９−２６３５４号公報

本発明は、映像・音声等の再生時に重要な環境音を利用者に告知する技術を提供することを目的とする。

上記課題を解決するために、本発明の再生装置は、周囲の環境音を入力する音声情報入力手段と、注目すべき環境音の特性情報を管理する音声情報管理手段と、前記入力手段から入力された音声情報を解析する音声情報解析手段と、前記入力された音声情報が前記注目すべき環境音の特性情報と一致した場合に告知情報を生成する告知情報生成手段と、生成した前記告知情報を映像または音声に重畳して出力する出力制御手段とを備えることを特徴とする。

本発明によれば、映像・音声等の再生時に重要な環境音を利用者に告知する再生装置および再生方法が得られる。

この発明の一実施形態を示す機能システム全体構成図。同実施形態の処理フロー例を示す図。同実施形態の音声情報データベース例を説明するために示す図。同実施形態の利用シーン例（１）。同実施形態の利用シーン例（２）。同実施形態の利用シーン例（３）。本発明の一実施形態に係わるテレビ受信装置の構成を概略的に示すブロック図。

以下、本発明の実施形態を図１乃至図７を参照して説明する。
本発明は、映像・音声コンテンツの再生機能を有するデジタルテレビやカーナビゲーション装置等、デジタルメディア再生機器全般に適用することができる。
（放送受信装置の構成と動作）
まず、本発明の一実施形態であるテレビ受信装置を、図７を用いて説明する。
図７は、次に述べる図１のシステムを適用する放送受信装置の一実施形態であるデジタル放送受信装置等のテレビ受信装置の構成の一例を示すブロック図である。
このテレビ受信装置は、地上アナログ放送波、並びにＢＳ、ＣＳ及び地上デジタル放送波を受信可能であり、マイクロプロセッサ１０、デジタル用チューナ１１、アナログ用チューナ１２、デジタル用復調器１３、アナログ用復調器１４及びＴＳ復号器１５を備えている。

ＢＳ、ＣＳ及び地上デジタル放送波は、アンテナ１で受信され、この受信信号がデジタル用チューナ１１に供給される。同様に、地上アナログ放送波は、アンテナ１で受信され、この受信信号がアナログ用チューナ１２に供給される。デジタル用チューナ１１及びアナログ用チューナ１２は、フェーズロックドループ(ＰＬＬ)方式を採用し、マイクロプロセッサ１０の制御により中心周波数及び帯域幅等の受信パラメータを指定してそれぞれ所望の放送波を選局するために用いられる。

デジタル用チューナ１１で選局した放送波の受信信号は、例えば日本の地上デジタル放送の場合にＯＦＤＭ(orthogonal frequency division multiplexing)方式のデジタル用復調器１３及びＴＳ復号器１５に順次供給され、これらでデジタル映像信号及び音声信号に復調及び復号される。アナログ用チューナ１２で選局された受信信号は、アナログ用復調器１４に供給され、ここでアナログ映像信号及び音声信号に復調される。

このテレビ受信装置は、更に、信号処理部１６、グラフィック処理部１７、ＯＳＤ(on screen display)信号生成部１８、映像処理部１９、ディスプレイ２０、音声処理部２１、スピーカー２２、操作パネル２３、赤外線受光部２４、リモコン２５、フラッシュメモリ２６、ＵＳＢ(Universal Serial Bus)コネクタ２７、カードコネクタ２８、及びネットワーク通信回路２９を備える。信号処理部１６は、ＴＳ復号器１５からのデジタル映像信号及び音声信号に対して選択的に所定のデジタル信号処理を施し、それぞれグラフィック処理部１７及び音声処理部２１に出力する。また、信号処理部１６は、アナログ用復調器１４からのアナログ映像信号及び音声信号を選択的にデジタル化し、このデジタル化された映像信号及び音声信号に対して所定のデジタル信号処理を施し、それぞれグラフィック処理部１７及び音声処理部２１に出力する。

グラフィック処理部１７は、信号処理部１６から出力されたデジタル映像信号にＯＳＤ信号生成部１８で生成されたＯＳＤ信号を選択的に重畳して出力する。映像処理部１９は、グラフィック処理部１７から出力されたデジタル映像信号に対してディスプレイ２０に適合させる例えばサイズ調整等の変換を行う。ディスプレイ２０は、映像処理部１９から出力された映像信号に対応する映像を表示する。音声処理部２１は、信号処理部１６から出力されたデジタル音声信号をスピーカー２２に適合させる音量調整等の変換を行う。スピーカー２２は、音声処理部２１から出力された音声信号に対応する音声を再生する。

マイクロプロセッサ１０は、操作パネル２３からの操作情報、またはリモコン２５から送出され赤外線受光部２４で受信された操作情報を受けて、その操作内容が反映されるように各コンポーネントを制御する。ここで、操作パネル或いはキーボード２３及びリモコン２５は、ユーザーインタフェースとして機能する操作モジュールに相当している。図１に示すように、マイクロプロセッサ１０は、様々な処理及び制御を行うＣＰＵ(central processing unit）３１、このＣＰＵ３１の制御プログラム及び様々な初期データを保持するＲＯＭ(read only memory）３２、ＣＰＵ３１の入出力情報を一時的に格納する作業エリアを提供するＲＡＭ(random access memory）３３、Ｉ^２Ｃバス等を介して各コンポーネントに対する設定情報及び制御情報を入出力するインタフェース３４、及び放送波やネットワーク経由で取得される時刻情報及び日付情報に従って補正される時計回路３５を含んでいる。

ＵＳＢコネクタ２７は、様々なＵＳＢ機器を接続するために設けられている。カードコネクタ２８は、様々なメディアカードを接続するために設けられている。また、ネットワーク通信回路２９は、インターネットに直接あるいはＬＡＮ(local area network)経由で接続されている。時刻情報を放送波から取得する場合は、アンテナ１で受信した信号から、また時刻情報，天気，占い等基礎データをネットワークから取得する場合は、ネットワーク通信回路２９から、それぞれマイクロプロセッサ１０に取り込まれる。

不揮発性メモリとしてのフラッシュメモリ２６には、予め製造側においてテレビ受信装置の出荷段階でＢＧＭ(プリインストールＢＧＭ）及びこのＢＧＭを再生するために利用される様々な登録情報を格納しておいてもよい。

またＵＳＢコネクタ２７やカードコネクタ２８は、外部からＵＳＢ機器（メモリ等）やメディアカードを接続して動画、写真、音楽データを読み出すことができる。
マイクロプロセッサ１０は、例えばフォトビューア機能やフォトフレーム機能を実現するために、ＵＳＢコネクタ２７に接続されるＵＳＢメモリやカードコネクタ２８に接続されるメディアカードにファイルとして保持される１または複数のフォト画像を取り込み、信号処理部１６、グラフィック処理部１７、及び映像処理部１９での処理を経て各フォト画像をディスプレイ２０に表示させる制御を行えるように構成されている。

なお次の図１に関し、光ディスクDまたはハードディスクHに相当する部分は記載を省略しているが、上記ＵＳＢ機器として備えられていて音声情報データベース１１５を構成していてもよい。また視聴中の映像または音声はこれらに記録されたコンテンツを再生しているものであってもよい。

また音声情報入力部１１２と音声情報管理部１１３と音声情報解析部１１４と告知情報生成部１１６は、例えばマイクロプロセッサ１０のＣＰＵ３１、ＲＯＭ３２及びＲＡＭ３３を中心に構成すればよい。

図1に、本発明をデジタルテレビに適用した場合を例に、システム全体の機能構成図を示す。
アンテナ１０１（アンテナ１に相当）から受信部１０２（デジタル用チューナ１１に相当）により受信されたテレビ放送は、いったんIF(中間周波数)信号に変換される。デジタル復調部１０３（デジタル用復調器１３及びＴＳ復号器１５に相当）は、IF信号からデジタル信号(TS：トランスポートストリーム)を抽出し、MPEG処理部１０６（信号処理部１６及び映像処理部１９及び音声処理部２１に相当）に出力する。MPEG処理部１０６は、TSを映像、音声、およびEPG表示用のSI(Service Information)に分離し、映像、音声のデコードを行う。デコードされた映像および音声データは、出力制御部１０７よりディスプレイ１０９およびスピーカー１０８に出力される。

システム制御部１１０（マイクロプロセッサ１０に相当）は、各処理部の動作を統括的に制御するための処理部である。リモコン等外部の操作部１１１から発信される各種制御コマンドを受信する。この制御コマンドとは、例えば、テレビ放送の再生・録画や、録画済みコンテンツの再生等を指示するコマンドである。テレビ放送の録画指示が発行された場合、受信された放送コンテンツはMPEG処理部１０６にてエンコードされ、光ディスクドライブ１０４を介して光ディスクDに、またはハードディスクドライブ１０５を介してハードディスクHに記録される。一方、光ディスクDまたはハードディスクHに記録済みのコンテンツの再生指示が発行された場合は、MPEG処理部１０６にてデコーダされた後、出力制御部１０７に出力される。

以上の従来の映像視聴装置の一般的な構成に加え、本実施形態は、音声情報入力部１１２と音声情報管理部１１３と音声情報解析部１１４と音声情報データベース１１５と告知情報生成部１１６とを備えることを特徴とする。

音声情報入力部１１２は、周囲の環境音を集音するための処理部であり、マイクもしくは受信機を備える。受信機を備える場合、その受信手段は、無線LAN、Bluetooth（R）、赤外線通信、可視光通信のいずれでも良い。音声情報データベース１１５は、視聴者が聞き逃してはいけない注目すべき環境音の特性情報を予め登録しておくためのデータベースであり、音声情報管理部１１３により管理される。本データベースは、図3に示すように、音の種類別に、周波数や周波数パターン等一つ以上の音声特性情報を備えることを特徴とする。音声情報入力部１１２にて取得された音声は、音声情報解析部１１４で解析され、ここで抽出された周波数や周波数パターン等の音声特性が音声情報データベース１１５と照合される。その結果、入力音声がデータベース中の音声特性と一致した場合、告知情報生成部１１６にて入力音声の増幅処理が行われる。増幅処理された音声は、出力制御部１０７に出力され、視聴中のオリジナル音声と重畳して出力される。

以上の構成により、注目すべき環境音を、再生中のコンテンツ音声で打ち消すことなく、視聴者に開示することが容易に可能となる。
次に図2を用いて、本実施形態による処理フローの一例を説明する。
ステップ201: 受信部１０２にて、再生対象コンテンツを受信する。
ステップ202: デジタル復調部１０３にて受信コンテンツからTSを抽出し、MPEG処理部１０６にてデコードする。
ステップ203: ステップ201-202と平行して、音声情報入力部１１２により周囲の環境音を集音する。
ステップ204: S203で集音された音声を音声情報解析部１１３にて解析する。具体的には、音声情報をAD変換器によりデジタル信号化し、一定時間記録した後周波数分析を行って基本周波数や周波数パターン等の特性情報を抽出する。

ステップ205, 206: S204で抽出した周波数が、音声情報データベース１１５に登録されている特定の音声の周波数帯域と一致した場合、告知情報生成部１１６にて当該入力音声の増幅処理を行う。例えば図4のケースでは、赤ちゃんの泣き声を増幅加工する。

ステップ207, 208: S204で抽出した周波数パターンが、音声情報データベース１１５に登録されている特定の音声の周波数パターンと一致し、音の種類が一意に判定できた場合、告知情報生成部１１６にて、検知された音の種類を告知するためのテロップ画像を生成する。例えば図4のケースでは、「赤ちゃんの泣き声が検知されました」といったテロップ画像を生成する。

S206でオリジナルの環境音そのものが増幅される効果により、視聴者は自身で何の音が発生したかを判別可能である。従って、S207, 208の処理は必ずしも必要ではない。

ステップ209: 出力制御部１０７にて、S207, 208で生成したテロップ画像があればこれを、S202でデコードしたコンテンツフレーム画像と合成する。

ステップ210: 出力制御部１０７にて、S205, 206で生成した増幅音声があればこれを、S202でデコードしたコンテンツ音声と合成する。このときコンテンツ音声側を相対的に弱めてもよい。またステップ205における一致の判定の信頼度に基づいて音量を加減してもよい。

ステップ211: S209で生成した映像およびS210で生成した音声を出力する。
ステップ212: コンテンツの再生が終了されるまで、上記S201-S211を繰り返し行う。
次に示す図3は、音声情報データベースの例である。音の種類として上記の赤ちゃんの泣き声のほかに、洗濯機の終了音や電子レンジの終了音などが各対応する周波数、周波数パターン等と共に登録されている。

赤ちゃんの泣き声は、洗濯機や電子レンジの音より変動があるので、また空腹やその他でパターンが異なるので、更にピッチやホルマントの時間変動をサンプリングしてＭＴ(Mahalanobis-Taguchi )システム及びその変化形等の音声認識手段で扱える認識パターンを複数備えておいてもよい。

以下の図4〜図6に、本実施形態の利用シーン例を示す。
図4は、別室で眠っている赤ちゃんの泣き声（ｃｒ）を検知した場合であり、このとき視聴中のTVスピーカーから赤ちゃんの泣き声が拡大再生（ＣＲ）される。従来は育児中に赤ちゃんの側から離れてTVをゆったり視聴することは困難であったが、本発明により、赤ちゃんを静かな部屋で寝かしつけた上で母親が安心してTV視聴を楽しむ時間を確保できるようになる。近年問題視されている育児負荷の軽減効果も期待できる。

図5は、TV視聴中に携帯電話への着信があった（ｋｅ）場合であり、このとき視聴中のTVスピーカーから当該着信音が拡大再生（ＫＥ）される。
図6は、TV視聴中に洗濯機から終了を知らせる告知音（ｓｅ）が鳴った場合であり、このとき視聴中のTVスピーカーから当該告知音が拡大再生（ＳＥ）される。
上記図4〜図6のいずれのケースにおいても、S207, 208の処理によりテロップ画像を表示させた場合は、TV視聴中にあたかもニュース速報のような形態で利用者が当該状況を把握することが可能となる。

従来は、映像・音声の視聴中、視聴中のコンテンツ音に打ち消され、現実世界の重要な環境音を聞き逃してしまうという問題があった。本発明による装置では、注目すべき環境音そのものを増幅し、視聴中コンテンツに重畳して出力することが、安価かつ簡易な構成により実現できる。利用者は、拡張現実感を伴って重要な環境音を的確に判断可能となる。そのため、たとえば育児や家事に追われる主婦層も安心してTV視聴を楽しむ時間を確保できるようになり、家事・育児の負荷軽減という副次効果も期待できる。

本実施形態では映像・音声再生装置において、周囲の環境音を入力する音声情報入力手段と、注目すべき環境音の特性情報を管理する音声情報管理手段と、前記入力手段から入力された音声情報を解析する音声情報解析手段と、入力された音声情報が注目すべき環境音と一致した場合に告知情報を生成する告知情報生成手段と、生成した告知情報を視聴中の映像または音声に重畳して出力する出力制御手段を備えることにより、従来、映像・音声の視聴中に聞き逃していた現実世界の重要な環境音を自動検知し、利用者に的確に告知可能な装置を提供する。

この告知情報は、入力された音声情報を増幅加工して得られた音声情報、もしくは、音声に対応したメッセージ情報のいずれかまたは両方であることを特徴とする。
上記のように本実施形態では現実世界の環境音そのものを増幅し、利用者に拡張現実感を伴って開示可能なため、利用者は自身で的確な判断を下すことができる。また、音声情報管理部１１３において特定人物の声を予め登録することにより、家庭内のコミュニケーションツールとしても活用可能である。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で例えば次のように種々変形して実施することができる。
（１）音声情報データベース１１５は、予め本装置に内蔵させておいても良いし、利用者が任意に外部から登録可能な構成にしても良い。
（２）音声情報データベース１１５に特定人物の声を登録可能とし、かつ音声認識手段を追加することにより、特定人物が発声した言葉を再生できるような構成にしても良い。家庭内のコミュニケーションツールとして利用可能となる。

なおＭＴシステムを用いると、単位空間（言わば言葉や話者の認識辞書の一種）は正常データ（ここでは必要な特定人物の声）のみから構成することができる。例えば、本人に２０回ほど発声させて、単純には周波数軸分１６×時間軸分１６＝２５６項目など必要成分を装置が抽出し学習しておけばよい。

前述の例では赤ちゃんの泣き声について述べたが、例えば反対のケースとしてマイク近くの子の音声はフィルタリングして、家族の中の他の部屋に居る特定の相手とコミュニケートしたい場合に有用である。

（３）TV視聴中に注目すべき環境音が検知された場合、自動的にタイムシフト再生処理を開始する構成にしても良い。重要な環境音検知時には、TV視聴を一時的に中断する必要が発生する可能性が高いためである。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１０…マイクロプロセッサ、１６…信号処理部、１７…グラフィック処理部、１８…ＯＳＤ信号生成部、１９…映像処理部、２０…ディスプレイ、２３…操作パネル、２４…赤外線受光部、２５…リモコン、２６…フラッシュメモリ、２７…ＵＳＢコネクタ、２８…カードコネクタ、２９…ネットワーク通信回路、１０１…アンテナ、１０２…受信部、１０３…デジタル復調部、１０４…光ディスクドライブ、１０５…ハードディスクドライブ、１０６…MPEG処理部、１０７…出力制御部、１０８…スピーカー、１０９…ディスプレイ、１１０…システム制御部、１１１…操作部、１１２…音声情報入力部、１１３…音声情報管理部、１１４…音声情報解析部、１１５…音声情報データベース、１１６…告知情報生成部、D…光ディスク、H…ハードディスク、Ｒ…リモコン。

Claims

周囲の環境音を入力する音声情報入力手段と、
注目すべき環境音の特性情報を管理する音声情報管理手段と、
前記入力手段から入力された音声情報を解析する音声情報解析手段と、
前記入力された音声情報が前記注目すべき環境音の特性情報と一致した場合に告知情報を生成する告知情報生成手段と、
生成した前記告知情報を映像または音声に重畳して出力する出力制御手段とを
備えることを特徴とする再生装置。
前記特性情報は、注目すべき電子音から抽出されたものであることを特徴とする請求項１に記載の再生装置。
前記音声情報解析手段は、前記注目すべき電子音以外をフィルタリングして働くことを特徴とする請求項２に記載の再生装置。
前記特性情報は、特定人物の声から抽出されたものであることを特徴とする請求項１に記載の再生装置。
前記音声情報解析手段は、前記特定人物の声以外をフィルタリングして働くことを特徴とする請求項４に記載の再生装置。
前記告知情報は、前記注目すべき環境音を増幅して出力されたものであることを特徴とする請求項１に記載の再生装置。
前記告知情報は、前記音声情報に対応する、文字または映像によるメッセージであることを特徴とする請求項１に記載の再生装置。
周囲の環境音を入力する音声情報入力手段と、
注目すべき環境音の特性情報を管理する音声情報管理手段と、
前記入力手段から入力された音声情報を解析する音声情報解析手段と、
前記入力された音声情報が前記注目すべき環境音の特性情報と一致した場合に映像または音声をタイムシフト再生して出力する出力制御手段とを
備えることを特徴とする再生装置。
前記音声情報並びに特性情報は、ＭＴシステムを用いて抽出されたものであることを特徴とする請求項４に記載の再生装置。
更に映像または音声の表示手段を備え、この表示手段は、前記出力制御手段からの出力を表示することを特徴とする請求項１または請求項８に記載の再生装置。
周囲の環境音を入力し、
注目すべき環境音の特性情報を記憶し、
前記入力手段から入力された音声情報を解析し、
前記入力された音声情報が前記注目すべき環境音の特性情報と一致した場合に告知情報を生成し、
生成した前記告知情報を映像または音声に重畳して出力することを特徴とする再生方法。