JP2011130211A

JP2011130211A - 映像表示装置及び映像表示方法

Info

Publication number: JP2011130211A
Application number: JP2009286953A
Authority: JP
Inventors: Michio Yamashita; 道生山下; Koichi Nakazato; 耕一中里
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-12-17
Filing date: 2009-12-17
Publication date: 2011-06-30

Abstract

【課題】ユーザが視聴していない画面の番組について音量を検出して利用する映像表示装置及び映像表示方法を提供する。
【解決手段】複数の映像信号を入力しこれらの映像信号の一つ以上を出力する映像出力部と、前記複数の映像信号に対応する複数の音声信号を入力してこの音声信号の音量を解析する音声解析部と、前記映像信号およびこの映像信号に対応する音声信号の追いかけ再生を行う再生制御部と、前記解析結果に基づいて前記映像信号を出力する視聴効果を制御する効果制御部とを有することを特徴とする映像表示装置。
【選択図】図１

Description

本発明は、映像表示装置におけるマルチ表示方法および制御方法に関する。

テレビにおいて、多画面表示が行われるようになって久しく、様々な技術が提案されている。例えば、特許文献１では、２画面が表示されている時にどちらの画面から音声が出力されるかを容易に視覚で識別できるテレビジョン受像機を提供することを目的とすると記載されている。

しかしながら、ユーザが視聴していない（音声出力していない）画面の番組について音量を検出して利用する技術は開示されていなかった。

特開平８−１１６４９９号公報

本発明は、ユーザが視聴していない画面の番組について音量を検出して利用する技術を提供することを目的とする。

上記課題を解決するために、本発明の映像表示装置は、複数の映像信号を入力しこれらの映像信号の一つ以上を出力する映像出力部と、前記複数の映像信号に対応する複数の音声信号を入力してこの音声信号の音量を解析する音声解析部と、前記解析結果に基づいて前記映像信号を出力する視聴効果を制御する効果制御部とを有することを特徴とする。

本発明によれば、ユーザが視聴していない画面の番組について音量を検出して利用する映像表示装置及び映像表示方法が得られる。

この発明の一実施形態を示すブロック構成図。同実施形態におけるシーン通知方法（フォーカス）を示す説明図。同実施形態におけるシーン通知方法（拡大表示）を示す説明図。同実施形態におけるシーン通知方法（立体表示）を示す説明図。同実施形態におけるシーン通知方法（アイコン表示）を示す説明図。同実施形態におけるシーン通知方法（音声切替）を示す説明図。同実施形態における検出位置と追いかけ再生を示す説明図。同実施形態の音声解析部１６の処理フロー。同実施形態の効果制御部１８の処理フロー。同実施形態のシーン通知の処理フロー。

本発明による実施形態を図１乃至図９を参照して説明する。
図１は、この発明の一実施形態を示すブロック構成図である。例えば、デジタルテレビへ組み込み、受信した複数の映像信号を一覧表示し、特に視聴者の趣向に沿った一覧表示をするための映像表示装置内のシステム構成の一例である。

この映像表示装置は、ＴＵＮＥＲ制御部１１、分離部１２、記録部１３、映像復調部１４、音声復調部１５、音声解析部１６、再生制御部１７、効果制御部１８、出力部１９等から構成されている。

ＴＵＮＥＲ制御部１１は、例えば図示せぬアンテナからの電波信号を受信し選局する。この選局結果の信号は、分離部１２、記録部１３、映像復調部１４へと導かれ、分離部１２は更にこの信号を映像信号と音声信号とに分離し番組ジャンル情報を取得し、また記録部１３はこの信号を記録する。映像復調部１４はこの映像信号を復調し、音声復調部１５はこの音声信号を復調する。音声解析部１６は、この復調された音声信号（音声ストリーム）を出力するとともに、以下に述べるように解析しこの解析結果も出力する。再生制御部１７は、記録部１３に記録された信号を再生する。効果制御部１８は、この再生された信号、又は映像復調部１４で復調された映像信号と音声解析部１６からの音声信号を出力する。効果制御部１８からの出力信号は、例えば液晶パネル等の表示部である出力部１９へ導かれ表示や音出しが行われるよう構成されている。

ここで図２から図６を説明するにあたり、図１０の実施形態のシーン通知の効果制御部１８による処理フローを説明する。
まず表示効果を実施すべきという通知があったかを判定しこの通知が無いと判定されれば処理を終了し、この通知があると判定されれば次のステップＳ１２に進む（ステップＳ１１）。この通知は後述する３種の状態変化のフラグに相当する。

放送局に対応する表示すべき場所を特定する（ステップＳ１２）。次に図２から図６のような形態のうちいずれの表示設定であるか確認する（ステップＳ１３）。次にこの確認された表示形態にて先に特定された場所に表示効果の表示を行い（ステップＳ１４）処理を終了する。

さて図２は、本実施形態におけるシーン通知方法（フォーカス）を説明するための図である。
音声ストリームでの音量検出（方法は後述のフローにて分類する）結果をメインフォーカスとは異なる枠（フォーカス）を付加することにより、視聴者へ音声が出力されていない番組の重要シーンを視覚効果により通知する。

初期状態を図２（ａ）で示しており、音楽の開始を検出、または歓声が検出された場合を図２（ｂ）で示している。即ち初めは図２（ａ）で示すようにメインフォーカスは太線で示すようにＥ放送局にあってＥ放送局の放送の音声が流れていたがこの音声はそのままに、Ａ放送局の放送において音量検出が有ったことを視聴者に通知している。図２（ｂ）ではこのＡ放送局を破線囲いで示しているが、実際にはメインフォーカスとは太さや色を変えた実線で、あるいはブリンクなどの効果によって示すように構成しても良い。

この視聴者に通知するか否かは予め表示効果ＯＮ／ＯＦＦとして設定しておくことを可とするように構成しておいてもよい。図３以下に関しても同様である。
図３は、本実施例におけるシーン通知方法（拡大表示）を説明するための図である。
音声ストリームでの検出結果をもとに重要シーンの番組を拡大表示することにより、視聴者へ音声が出力されていない番組の重要シーンを視覚効果により通知する。
初期状態を図３（ａ）で示しており、音楽の開始を検出、または歓声が検出された場合を図３（ｂ）で示している。
図４は、本実施例におけるシーン通知方法（立体表示）を説明するための図である。
音声ストリームでの検出結果をもとに重要シーンの番組を立体表示することにより、視聴者へ音声が出力されていない番組の重要シーンを視覚効果により通知する。
初期状態を図４（ａ）で示しており、音楽の開始を検出、または歓声が検出された場合を図４（ｂ）で示している。
図５は、本実施例におけるシーン通知方法（アイコン表示）を説明するための図である。
音声ストリームでの検出結果をもとに重要シーンの番組にアイコン表示することにより、視聴者へ音声が出力されていない番組の重要シーンを視覚効果により通知する。

初期状態を図５（ａ）で示しており、音楽の開始を検出、または歓声が検出された場合を図５（ｂ）で示している。
アイコンの表示位置は、当該番組上であれば、表示位置はどこでも構わない。アイコンの例を、図５（ｃ）（音楽の場合）と図５（ｄ）（歓声の場合）に示している。

なおアイコン表示の代りにまたは加えて、音楽や歓声を表現するテキストを表示してもよい。
図６は、本実施例におけるシーン通知方法（音声切替）を説明するための図である。
音声ストリームでの検出結果をもとに重要シーンの番組の音声の出力に自動的に切り替えることにより、視聴者へ音声が出力されていない番組の重要シーンを聴覚効果により通知する。前記視覚効果とこの聴覚効果のいずれか、あるいは合わせたものが視聴効果となる。

初期状態を図６（ａ）で示しており、音楽の開始を検出、または歓声が検出されメインフォーカスが切り替えられた場合を図６（ｂ）で示している。
メインフォーカスが切り替えられるか否かは予め音声切替ＯＮ／ＯＦＦとして設定しておくことを可とするように構成しておいてもよい。
図７は、本実施形態における音量の検出位置と追いかけ再生を説明するための図である。なお、本実施形態における追いかけ再生は、既存の技術を用いることを前提としている。

（１）複数の放送波が同時に表示されており、Ｂ放送局の映像・音声が出力されている状態で、その他の放送波は映像のみが出力されている状態を示している。
（２）Ａ放送局の放送波で開始位置が検出され、Ａ放送局の追いかけ再生が開始されることを示している。なお、追いかけ再生開始位置は、検出された開始位置より過去の位置となる。

（３）Ａ放送局の放送波で終了位置が検出され、Ａ放送局のリアルタイムの放送波へ追いつくための再生が開始されることを示している。リアルタイムへ追いつく必要があるため、等速ではなく、再生制御部１７が１．α倍速で再生する（αは正数）。

（４）Ａ放送局のリアルタイムの放送波へ追いつき、追いかけ再生から放送波への表示に切り替える。
（５）Ｂ放送局の放送波で開始位置が検出され、Ｂ放送局の追いかけ再生が開始されることを示している。なお、追いかけ再生開始位置は、（２）同様に検出された開始位置より過去の位置となる。

（６）Ｂ放送局の放送波で終了位置が検出され、Ｂ放送局のリアルタイムの放送波へ追いつくための再生が開始されることを示している。リアルタイムへ追いつく必要があるため、等速ではなく、１．α倍速で再生する（αは正数）。

（７）Ｃ放送局の放送波で開始位置が検出され、Ｃ放送局の追いかけ再生が開始されることを示している。なお、追いかけ再生開始位置は、（２）同様に検出された開始位置より過去の位置となる。

また、Ｂ放送局の追いかけ再生は、音声出力は中断され、映像のみで追いかけ再生となる。
（８）Ｃ放送局の放送波で終了位置が検出され、Ｃ放送局のリアルタイムの放送波へ追いつくための再生が開始されることを示している。リアルタイムへ追いつく必要があるため、等速ではなく、１．α倍速で再生する（αは正数）。

（９）Ｃ放送局のリアルタイムの放送波へ追いつき、追いかけ再生から放送波への表示に切り替える。
図８は、本実施例の音声解析部１６の処理フローを説明するための図である。例えば１パケット（１０２４サンプル）または既定の複数パケットの音声ストリームの到着毎にこの処理フローは起動される。或いは１パケットに起動し複数パケット分の結果を総合判定するように構成してもよい。

ステップＳ８１：番組ジャンルの判定を行なう。この判定において番組ジャンルが音楽ともスポーツとも判定されなかった場合には、ステップＳ８４へ進む。
ステップＳ８２：ステップＳ８１で番組ジャンルが音楽と判定された場合には、音楽の検出を行い検出された場合には検出された旨のフラグを立て、検出されなかった場合には同フラグをＯＦＦし、いずれもステップＳ８４へ進む。

ステップＳ８３：ステップＳ８１で番組ジャンルがスポーツと判定された場合には、歓声の検出を行い検出された場合には検出された旨のフラグを立て、検出されなかった場合には同フラグをＯＦＦし、いずれもステップＳ８４へ進む。

ステップＳ８４：ＣＭの検出を行い検出された場合には検出された旨のフラグを立て、検出されなかった場合には同フラグをＯＦＦし、いずれもステップＳ８５へ進む。

ステップＳ８５：上記３種のフラグに状態変化があったか否かを判定し、状態変化が無かったと判定された場合には処理を終了する。なお、最初にこのフローが起動される前には予めどのフラグもＯＦＦの状態としておけばよい。

ステップＳ８６：ステップＳ８５で上記３種のフラグに状態変化があったと判定された場合には、状態変化があった旨を効果制御部１８に通知して処理を終了する。
なお上記３種のフラグをＯＮ／ＯＦＦするサブルーチン（定義済み処理）は、既存の技術による。既存の技術で有力のものが複数ある場合はまとめて総合判定してもよい。

例えばあるサブルーチンに関し、既存の技術で有力のものがＡとＢと２つあったとする。ＡとＢとの夫々を指標として数値化し更に線形または非線形に１００点満点の点数（検出が確実なものが１００点）として正規化する。簡単には、これら２つの正規化された点数を各指標の信頼度を表現した重みつき一次結合で算出してこの結果の点数が例えば５０点を超えるならば検出されたと判定する。

このやり方の一般化としては有力指標が３個以上例えばｎ個ならば、例えばΣβ_i＝１となる非負の係数β_i（ｉはある自然数ｎに対し、０＜ｉ＜ｎ＋１となる整数）を、複数個ｎの指標を線形または非線形に正規化したもの（０と１の間の値をとり、例えば０．５でいずれとも判定できない程度に調整）に、それぞれ乗じて和をとり、例えばこの和が０．５を超える値となれば検出されたとする。

図９は、本実施形態の効果制御部１８の処理フローを説明するための図である。
ステップＳ９１：音声解析部１６より前述の３種のフラグに状態変化があった旨の通知があったか否かの判定を行い、通知が無かった場合は処理を終了し通知があった場合はステップＳ９２へ進む。

ステップＳ９２：図２（ｂ）等に示した効果中の状態か否かを判定し、効果中の状態と判定された場合は次のステップＳ９３へ進み、効果中の状態でないと判定された場合はステップＳ９８へ進む。

ステップＳ９３：前述の表示効果ＯＮの設定がある場合はステップＳ９４へ進み、表示効果ＯＮの設定がない場合はステップＳ９５へ進む。
ステップＳ９４：前述の３種のフラグの状態変化に基づいて表示効果制御を行い、ステップＳ９５へ進む。
ステップＳ９５：前述の音声切替ＯＮの設定がある場合はステップＳ９６へ進み、音声切替ＯＮの設定がない場合は処理を終了する。
ステップＳ９６：追いかけ再生中で終了未検出の場合は処理を終了し、そうでない場合はステップＳ９７へ進む。
ステップＳ９７：追いかけ再生制御を行い、処理を終了する。
ステップＳ９８：前述の表示効果ＯＮの設定がある場合はステップＳ９９へ進み、表示効果ＯＮの設定がない場合はステップＳ１００へ進む。
ステップＳ９９：前述の３種のフラグの状態変化に基づいて表示効果制御を行い、ステップＳ１００へ進む。
ステップＳ１００：前述の音声切替ＯＮの設定がある場合はステップＳ１０１へ進み、音声切替ＯＮの設定がない場合は処理を終了する。
ステップＳ１０１：追いかけ再生制御を行い、処理を終了する。
上記の実施形態の効果として複数の番組を同時に視聴している場合に、音声が出力されていない番組中の重要なシーンを効果的に視聴者に通知することで重要なシーンの見逃しをなくすことができる。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば音量を検出することとして、音声信号を解析してスペクトルに分解して特定の周波数帯域のゲインを得て音量の有無を判定するといったことも一般的に行なえる。また、入力される複数の映像信号はすべて表示しておく必要はなく、例えば表番組一つを表示している状態で裏番組の音量が検出された場合に、この表番組とこの裏番組の２つを表示させるようにしてもよいし、この表番組に代えてこの裏番組１つを表示させるようにしてもよい。またこの映像信号の例としては、放送波のほかにＤＶＤ等の記録媒体やネットワーク経由によるものでもよい。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１１…ＴＵＮＥＲ制御部、１２…分離部、１３…記録部、１４…映像復調部、１５…音声復調部、１６…音声解析部、１７…再生制御部、１８…効果制御部、１９…出力部。

Claims

複数の映像信号を入力しこれらの映像信号の一つ以上を出力する映像出力部と、
前記複数の映像信号に対応する複数の音声信号を入力してこの音声信号の音量を解析する音声解析部と、
前記解析結果に基づいて前記映像信号を出力する視聴効果を制御する効果制御部とを
有することを特徴とする映像表示装置。
前記音声解析部は音声の開始ポイントまたは終了ポイントとして、前記音声信号よりCMの開始と終了を検出し、または音楽番組の音声信号より音楽の歌い出しを検出し、またはスポーツ番組の音声信号より歓声を検出することを特徴とする請求項１に記載の映像表示装置。
前記効果制御部は、前記音声解析部で解析した結果を基に出力する音声を更に切替え、複数の映像の表示場所または表示サイズ、あるいは前記検出結果を基にマーク（アイコン）の表示方法を決定し、前記切替のタイミングに合わせて前記再生制御部を制御し、これら前記視聴効果を制御することを特徴とする請求項１に記載の映像表示装置。
前記再生制御部は、前記音声解析部で解析した前記開始ポイントを基に指定時間戻り音声を含んだ映像を再生し、前記音声解析部で検出した前記終了ポイントを経過後は徐々にリアルタイムに追いつくよう再生することを特徴とする請求項１に記載の映像表示装置。
前記効果制御部より出力される映像信号を表示する表示部を更に備えたことを特徴とする請求項１に記載の映像表示装置。
前記映像信号およびこの映像信号に対応する音声信号の追いかけ再生を行う再生制御部とを更に備えたことを特徴とする請求項１に記載の映像表示装置。
複数の映像信号を入力しこれらの映像信号に由来する映像を同時に出力し、
前記複数の映像信号に対応する複数の音声信号を入力してこの音声信号の音量を解析し、
前記映像信号およびこの映像信号に対応する音声信号の追いかけ再生を行い、
前記解析結果に基づいて前記映像信号を出力する視聴効果を制御することを特徴とする映像表示方法。