JP2009105580A - 情報処理装置、情報処理方法、プログラム並びに記録媒体 - Google Patents

Abstract

【課題】視聴者にコンテンツを効率よく理解させることができるようにする。
【解決手段】チューナ部で第１のコンテンツ（表番組）及び第２のコンテンツ（裏番組）を取得し、取得した第１のコンテンツ（表番組）と第２のコンテンツ（裏番組）を記憶部に記憶する。そして、記憶された第１のコンテンツ（表番組）及び第２のコンテンツ（裏番組）を読み出し、第１のコンテンツ（表番組）の音声に、第２のコンテンツ（裏番組）の音声を第１のコンテンツより所定時間先行させて重ねて出力する。
【選択図】図２

Description

本発明は、例えば複数のコンテンツを提示するのに好適な情報処理装置、情報処理方法、プログラム並びに記録媒体に関する。

近年、情報処理技術の向上とともに、テレビジョン受信機の多機能化も進み、単に、放送局より放送されるテレビジョン放送を受信し、テレビジョン放送番組としての画像を表示するだけでなく、様々な機能を有するようになってきている。

例えば、それぞれ個別にテレビジョン放送を受信する第１及び第２のチューナと、第１のチューナで受信したテレビジョン放送に多重化された映像データを復号し表番組映像として出力する第１のビデオデコーダと、第２のチューナで受信したテレビジョン放送に多重化された映像データを構成する画像データの一部を復号し、裏番組画像として出力する第２のビデオデコーダとを備え、当該裏番組画像を、第２のチューナで受信したテレビジョン放送の番組情報に付加して出力するテレビジョン受信機が提案されている（例えば、特許文献１参照）。

上記テレビジョン受信機は、簡易な構成で、視聴中の番組（表番組）以外の番組（裏番組）の内容をユーザに対してわかりやすく提供することができる。
特開２００５−３４７８７１号公報

ところで、本願出願人が実施した実験では、視聴者が複数のコンテンツ（映像、音声）を同時に視聴する際、時分割で視聴するのが効率的であるという結果が得られた。このことから、コンテンツの内容を理解する上でも時分割で視聴することが効果的であると考えられる。また同様の実験から、少しでも次に視聴する番組の内容を知っていることでその番組をより早く理解できることもわかった。

本発明は、このような点に鑑みてなされたものであり、視聴者にコンテンツを効率よく理解させることができるようにするものである。

本発明の第１の側面の情報処理装置は、第１のコンテンツ及び第２のコンテンツを取得する取得部と、取得部で取得したこの第１のコンテンツとこの第２のコンテンツを記憶する記憶部と、該記憶部に記憶されたこの第１のコンテンツ及びこの第２のコンテンツを読み出し、第１のコンテンツに、記第２のコンテンツを第１のコンテンツより所定時間先行させて重ねて出力する情報処理部と、を備えることを特徴とする。
本発明において、第１のコンテンツ及び第２のコンテンツは異なる番組又は異なるタイトルのコンテンツのみならず、同一番組又は同一タイトルのコンテンツであっても時系列が異なるものあれば、第１のコンテンツ及び第２のコンテンツと称することがある。

本発明の第１の側面の情報処理方法は、コンテンツを取得し所定の処理を行って出力する情報処理装置の情報処理方法であって、第１のコンテンツ及び第２のコンテンツを取得し、取得した第１のコンテンツと第２のコンテンツを記憶する。そして、記憶された第１のコンテンツ及び第２のコンテンツを読み出し、第１のコンテンツに、第２のコンテンツを第１のコンテンツより所定時間先行させて重ねて出力することを特徴とする。

本発明の第１の側面のプログラムは、第１のコンテンツ及び第２のコンテンツを取得する処理と、取得した第１のコンテンツと第２のコンテンツを記憶する処理と、記憶された第１のコンテンツ及び第２のコンテンツを読み出し、第１のコンテンツに、第２のコンテンツを第１のコンテンツより所定時間先行させて重ねて出力する処理と、を含むことを特徴とする。

本発明の第１の側面の記録媒体に記録されているプログラムは、第１のコンテンツ及び第２のコンテンツを取得する処理と、取得した第１のコンテンツと第２のコンテンツを記憶する処理と、記憶された第１のコンテンツ及び第２のコンテンツを読み出し、第１のコンテンツに、第２のコンテンツを第１のコンテンツより所定時間先行させて重ねて出力する処理と、を含むことを特徴とする。

本発明の第２の側面の情報処理装置は、第１のコンテンツ及び第２のコンテンツを取得する取得部と、取得部で取得した第１のコンテンツと第２のコンテンツを記憶する記憶部と、記憶部に記憶された第１のコンテンツ及び第２のコンテンツを読み出し、第１のコンテンツに、第２のコンテンツを重ねて出力する情報処理部と、を備えることを特徴とする。

本発明の第１の側面においては、第１のコンテンツと第２のコンテンツを取得し、取得した第２のコンテンツを、第１のコンテンツに対して相対的に所定時間先行させた状態にする。そして、第１のコンテンツに、所定時間先行した第２のコンテンツを重ねて出力する。

本発明の第２の側面においては、第１のコンテンツと第２のコンテンツを取得し、取得した第１のコンテンツに、第２のコンテンツを重ねて出力する。

本発明によれば、視聴者にコンテンツを効率よく理解させることができる。

以下、本発明の実施の形態の例について、添付図面を参照しながら説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる処理時間、処理順序及び各パラメータの数値的条件等は好適例に過ぎず、説明に用いた各図における形状及び配置関係も一例を示す概略的なものである。

図１は、各実施の形態（第１〜第４の実施の形態）に係る情報提示システムの概要を示す構成図である。図１に示すように、情報提示システムは、テレビジョン放送波を受信して得られるコンテンツに後述する処理を行い表示装置２に出力する情報処理装置１と、その情報処理装置１から出力されるコンテンツを表示する表示装置２からなる。情報処理装置１は、チューナ部３、蓄積部４、情報処理部５、音響変換部６、入力部７を有する。

チューナ部３は、複数チャンネルの番組を含むテレビジョン放送波（テレビジョン放送信号）からユーザ（視聴者）から要求されたテレビジョン放送波を、アンテナ（図示せず）を介して受信及び復調する。このチューナ部３は、特許請求の範囲に記載した取得部の一例である。なお、本実施の形態においては、情報処理装置１はチューナ部３を２つ以上有しており、２以上のチャンネルのテレビジョン放送信号を同時に受信することができるもの（いわゆるダブルチューナ、トリプルチューナ）とする。放送は、テレビジョン放送に替えて衛星放送でもよい。これらの放送は、デジタル放送でもアナログ放送でもよい。

蓄積部４は、特許請求の範囲に記載した記録部の一例であり、チューナ部３が受信したテレビジョン放送波に含まれるテレビジョン放送番組（以下、単に「番組」ともいう）を、一旦蓄積（記録）する。チューナ部３が２つ以上ある場合、蓄積部４は、それぞれのチューナ部３で受信したテレビジョン放送番組を記録、保存する。蓄積部４には、一例としてハードディスク（HDD：Hard Disk Drive）や半導体メモリ等を適用することができる。この蓄積部４は、チューナ部３の数に対応する台数分設けてもよい。あるいは、１台の蓄積部４を複数のパーティション（領域）に分割し、チューナ部３が受信した複数のテレビジョン放送番組をそれぞれの領域に記録するようにしてもよい。

情報処理部５は、映像処理部５Ａと音声処理部５Ｂを有しており、蓄積部４に記録された各テレビジョン放送番組（コンテンツ）をデコードして映像信号と音声信号に分離し、映像信号を映像処理部５Ａへ、音声信号を音声処理部５Ｂへ送る。さらに、情報処理部５は、情報処理装置１全体の動作を制御し、入力部７から入力されるユーザの操作入力に応じて、情報処理装置１内の各部へ対して処理の指示を出す。

映像処理部５Ａは、ユーザの要求に応じて、情報処理部５が蓄積部４から読み出したテレビジョン放送番組（コンテンツ）に含まれる映像信号を、後述する表示装置２に出力するよう制御する。以降において、映像信号を単に「映像」ということもある。

音声処理部５Ｂは、ユーザの要求に応じて、情報処理部５が蓄積部４から読み出した各テレビジョン放送番組（コンテンツ）に含まれる音声信号を、後述する表示装置２に設けられたスピーカ２Ｌ，２Ｒに出力する。この音声処理部５Ｂにおいては、ユーザの操作入力に応じて、現在視聴しているテレビジョン放送番組の音声信号に、それと異なる音声信号（同音声で時間軸がずれた音声を含む）を重ねて出力することができる。以降において、音声信号を単に「音声」ということもある。

音響変換部６は、情報処理部５が蓄積部４から読み出したテレビジョン放送番組の音声信号に対し、音響変換を行う。音響変換としては各種の各方式が考えられるが、それらについては後に詳述する。

入力部７は、リモートコントローラ（図示せず）等を利用したユーザのチャンネル選択の入力信号等を受信し、情報処理部５へ伝える。当該入力部７により受信された入力信号に基づいて、ユーザが選択したチャンネルのテレビジョン放送番組が蓄積部４から読み出され、映像処理部５Ａ及び音声処理部５Ｂにより映像信号及び音声信号がデコードされて映像化及び音声化される。

表示装置２は、映像処理部５Ａから入力される映像信号を表示画面２Ａに表示する。また、音声処理部５Ｂから入力される音声信号をスピーカ２Ｌ，２Ｒから出力（放音）する。この表示装置２には、例えば例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＦＥＤ（Field Emission Display）、ＣＲＴ（Cathode Ray Tube）等を適用できる。なお、表示装置２は、複数の表示装置からなる表示システム、いわゆるマルチディスプレイでもよい。また、本実施の形態の例では、表示装置２の表示画面２Ａの両側にスピーカ２Ｌ，２Ｒが配置されているが、スピーカは表示装置２と別体でもよいことは勿論である。

本実施の形態では、コンテンツの例として、チューナ部３で受信したテレビジョン放送番組を挙げているが、これに限られるものではない。例えば外部記録媒体（リムーバブルメディア）に保存されている複数の映像コンテンツ及び音声コンテンツを、蓄積部４の各領域に記録するようにしてもよい。映像は動画に限らず静止画であっても構わない。

＜第１の実施の形態＞
本発明の第１の実施の形態について、図２〜図３を参照して説明する。
第１の実施の形態は、情報処理装置１において第１のコンテンツと第２のコンテンツを取得し、この取得した第１のコンテンツの音声に、第２のコンテンツの音声を重ねて出力する「裏番組先行提示」に関するものである。なお、この第１の実施の形態における複数コンテンツは、表番組・裏番組でもマルチディスプレイ上に表示された複数コンテンツでもよいが、以下の例では１つの表示画面を有する表示装置２における表番組と裏番組を複数コンテンツとして扱う。

図２を参照して裏番組先行提示の概念を説明する。図２において、表示装置２に表番組として第１のコンテンツの映像１１，１２が表示されているとき、映像処理部５Ａの表示制御により裏番組として第２のコンテンツの映像２１，２２が表示装置２に出力される。このとき、音声処理部５Ｂは、表番組の音声１１Ａ，１２Ａに裏番組の音声２１Ａ，２２Ａを重ねてスピーカ２Ｌ，２Ｒへ出力する。したがって、ユーザが聞く音声は、表番組の音声１１Ａ，１２Ａと裏番組の音声２１Ａ，２２Ａが混じったものになる。

そして、ユーザがリモートコントローラ等を操作して現在の表番組と裏番組を切り替えた場合、切替え前まで表番組だった第１のコンテンツの映像１３，１４は切替え後に裏番組として、また切替え前まで裏番組だった第２のコンテンツの映像２３，２４は切替え後に表番組として表示装置２に出力されるよう、映像処理部５Ａによって制御される。同時に、切替え前に裏番組だった第２のコンテンツの音声２３Ａ，２４Ａが表番組の音声としてスピーカ２Ｌ，２Ｒから出力されるようになる。

この裏番組先行提示モードではチャンネルを切り替えたとき、切替え前の裏番組の映像２２からチャンネル切替えにかかった時間だけ遅れた映像２３が、表番組として表示装置２に表示される。図２に示す例では、映像２１はバスケットボールの試合を映したものであり、映像２１では一方のチームが左から右に攻めているが、次の映像２２では他方のチームがボールをインターセプトして右から左へ攻めて、センターサークル手前まできている。そして、チャンネル切替え後の同じコンテンツの映像２３では、センターサークルまで進み、次の映像２４では他方のチームが一方のチームのサイド（陣地）まで攻め込んでいる様子が見てとれる。

このような裏番組先行提示を行うことにより、現在視聴中の表番組を見ながらも裏番組に関する情報を得ることができる。つまり、ユーザが裏番組にチャンネルを切り替える以前から裏番組の音声をある程度聞いていることにより、チャンネル切り替えた後で即座に番組の内容に追従してゆくことができるようになる。

図３のフローチャートを参照して、裏番組先行提示の処理例を説明する。
まず、ユーザが表番組（第１のコンテンツ）を視聴中に、例えばリモートコントローラを操作して、現在の表示モードから裏番組先行提示モードに切り替える指示を行う。このとき、リモートコントローラからユーザの操作に応じた信号が入力部７を介して情報処理部５に入力され、表示装置２が裏番組先行提示モードに切り替えられる（ステップＳ１）。

次に、情報処理部５は、映像処理部５Ａを制御して、裏番組先行提示モードにおいて着目したい裏番組、すなわちどの音声を表番組の音声に重ねて聞きたいのかユーザに選択を促す裏番組選択画面を表示装置２に出力する。ユーザは、リモートコントローラを操作して、表示装置２に表示された裏番組選択画面から、表番組の音声に重ねる裏番組の音声を選択する（ステップＳ２）。

チューナ部３はユーザに選択された裏番組を選局して受信し、受信した裏番組（第２のコンテンツ）を蓄積部４に保存する。情報処理部５は、選択された裏番組を蓄積部４から読み出し、音響変換部６に送る。音響変換部６は、表番組の音声に裏番組の音声を重ねる際、表番組の音声と重ねる裏番組の音声が混同してしまうのを抑制するために、情報処理部５から送られた裏番組の音声に対して音響変換処理を行う（ステップＳ３）。

音響変換の例として、例えば重ねる方の裏番組の音声のゲイン（利得）を小さくする、ピッチ変換、ローバスフィルタ、残響付加などのエフェクト（音響効果）をかける。このような処理を行うことにより、ユーザは重ねられた裏番組の音声が表番組の音声と違う音声であることをより直感的に感じられるようになる。音響変換処理の具体的な方法については後述する。

そして、音声処理部５Ｂは、音響変換部６から音響変換処理された裏番組の音声を受け取り、ユーザが現在視聴中の表番組の音声に、音響変換された裏番組の音声を重ねてスピーカ２Ｌ，２Ｒへ出力する（ステップＳ４）。

上述した第１の実施の形態の裏番組先行提示によると、現在視聴中の番組（表番組）の音声に裏番組の音声を重ねて出力するので、ユーザは裏番組のある程度の内容を表番組の音声に重畳された音声から知ることができるようになり、ユーザが表番組から裏番組へチャンネルを切り替えても即座に裏番組の内容に追従しやすい環境を提供できる。

また、ユーザが表番組を視聴した状態において、表番組の音声に重ねる裏番組の音声のチャンネルを切り替えることにより、ユーザが所望する番組（裏番組）の情報を得ることができる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について、図４〜図５を参照して説明する。
この第２の実施の形態は、情報処理装置１において第１のコンテンツを取得し、この取得した第１のコンテンツの音声に、当該第１のコンテンツの音声を所定時間先行させて（ずらして）重ねて出力する「時間先行提示」に関するものである。この場合、同じコンテンツの音声に時間差を設けて第１のコンテンツ及び第２のコンテンツと扱うことができる。

図４を参照して時間先行提示の概念を説明する。図４において、表示装置２に視聴中の番組の映像１１，１２，３１，３２・・・が順に表示され、番組の主音声に当該主音声の所定時間（数秒〜数十秒）前の音声が重ねてスピーカ２Ｌ，２Ｒより出力される。

例として、表示装置２にユーザに選択された番組（例えば、クイズ番組）の映像１１が表示されているとき、主音声の「みなさま」に当該主音声の本来の再生位置より数秒前言い換えると未来の「また来週」が重ねてスピーカ２Ｌ，２Ｒより出力される。同様に次の瞬間、表示装置２に番組の映像１２が表示されるとともに、主音声の「また来週」に当該主音声の数秒前すなわち未来の「今日の」が重ねてスピーカ２Ｌ，２Ｒより出力される。そして、番組のシーンが切り替わり、例えばニュース番組の映像３１が表示されるとともに、主音声の「今日の」に当該主音声の数秒前すなわち未来の「ニュース」が重ねてスピーカ２Ｌ，２Ｒより出力される。同様に次の瞬間、表示装置２に番組のシーンが切り替わった映像３２が表示されるとともに、主音声の「ニュース」に当該主音声の数秒前すなわち未来の「をお届け」が重ねてスピーカ２Ｌ，２Ｒより出力される。

このような時間先行提示を行うことにより、ユーザが番組を視聴している際、ユーザの指定する時間だけ先行した主音声が現在の主音声に重なって聞こえるので、ユーザは番組の内容（例えば、シーンの変わり目や盛り上がりの瞬間など）をある程度予知された状態で見ることができる。それにより、ユーザは現在視聴中の番組をより効率的に理解することができる。例えば、映像の一瞬しか映らないような情報を見逃すことがなくなる。スポーツの試合で言うところのリプレイ（巻き戻し再生）を視聴するのと同様な効果がある。また、ユーザは、重畳された音声と元の音声の二回同じ音声を聞くことができるので、その記憶に残りやすく、理解が深まる。

この場合の重畳された音声に関しても、元の音声と重畳された音声が混同してしまわないよう、第１の実施の形態における「裏番組先行提示」の場合と同様に、音響変換をかけることが望ましい。

図５のフローチャートを参照して、時間先行提示の処理例を説明する。
まず、ユーザが所望の番組を視聴中に、例えばリモートコントローラを操作して、現在の表示モードから裏番組先行提示モードに切り替える指示を行う。このとき、リモートコントローラからユーザ操作に応じた信号が入力部７を介して情報処理部５に入力され、表示装置２が裏番組先行提示モードに切り替えられる（ステップＳ１１）。

次に、情報処理部５は、映像処理部５Ａを制御して、時間先行提示モードにおいて重ねる音声が現在の主音声から先行する時間Ｔ（秒）の指定をユーザに促す先行時間指定画面を表示装置２に出力する。ユーザは、リモートコントローラを操作して、表示装置２に表示された先行時間指定画面に対して先行時間Ｔを指定する（ステップＳ１２）。

情報処理部５は、ユーザに指定された先行時間Ｔを設定する。そして、情報処理部５は、視聴中の番組の指定された先行時間Ｔ秒前すなわちＴ秒未来の音声を蓄積部４から読み出し、音響変換部６に送る。音響変換部６は、現在の主音声に対しＴ秒先行する主音声を重ねる際、現在の主音声と重ねるＴ秒先行した主音声が混同してしまうのを抑制するために、情報処理部５から送られたＴ秒先行した主音声に対して音響変換処理を行う（ステップＳ１３）。音響変換の具体的な方法については後述する。

そして、音声処理部５Ｂは、音響変換部６から音響変換処理されたＴ秒先行する主音声を受け取り、ユーザが現在視聴中の番組の主音声に、音響変換されたＴ秒先行する主音声を重ねてスピーカ２Ｌ，２Ｒへ出力する（ステップＳ１４）。

上述した第２の実施の形態の時間先行提示によると、現在視聴中の番組の主音声に所定時間先行させた主音声を重ねて出力するので、現在視聴中の番組を効率的に理解することができる。例えば、ユーザは同じ音声を複数回聞くことより理解が深められる、記憶しやすくなるなどの効果が得られる。

また、音声によって映像中の出来事をある程度先行して知ることができるので、大事なシーンなどの見逃しが少なくなる。

＜第３の実施の形態＞
本発明の第３の実施の形態について、図６を参照して説明する。
第３の実施の形態は、情報処理装置１において第１のコンテンツと第２のコンテンツを取得し、この取得した第１のコンテンツの音声に、第２のコンテンツの音声を所定時間先行させて重ねて出力する「裏番組時間先行提示」に関するものである。裏番組時間先行提示の基本的な概念は、裏番組先行提示と時間先行提示を組み合わせたものである。なお、この第３の実施の形態における複数コンテンツは、表番組・裏番組でもマルチディスプレイ上に表示された複数コンテンツでもよいが、以下の例では第１の実施の形態の場合と同様、１つの表示画面を有する表示装置２における表番組と裏番組を複数コンテンツとして扱う。

図６を参照して裏番組時間先行提示の概念を説明する。図６において、表示装置２に表番組として第１のコンテンツの映像１１，１２が表示されているとき、映像処理部５Ａの表示制御により裏番組として第２のコンテンツの映像２１，２２が表示装置２に出力される。このとき、音声処理部５Ｂは、表番組の音声１１Ａ，１２Ａのそれぞれに相対的に所定時間先行する裏番組の映像２２，２３に対応する音声２２Ａ，２３Ａを重ねてスピーカ２Ｌ，２Ｒへ出力する。したがって、ユーザが聞く音声は、表番組の音声１１Ａ，１２Ａと裏番組の音声２２Ａ，２３Ａが混じったものになる。

そして、ユーザがリモートコントローラ等を操作して現在の表番組と裏表番組を切り替えた場合、切替え前まで表番組だった第１のコンテンツの映像１３，１４は切替え後に裏番組として、また切替え前まで裏番組だった第２のコンテンツの映像２３，２４は切替え後に表番組として表示装置２に出力されるよう、映像処理部５Ａによって制御される。同時に、切替え前に裏番組だった第２のコンテンツの音声２３Ａ，２４Ａが表番組の音声としてスピーカ２Ｌ，２Ｒから出力されるようになる。

一般にチャンネルを切り替えたとき、切替え前の裏番組の映像２２からチャンネル切替えにかかった時間だけ遅れた映像２３が、表番組として表示装置２に表示される。図６に示す例では、図２と同様に、映像２１はバスケットボールの試合を映したものであり、映像２１では一方のチームが左から右に攻めているが、次の映像２２では他方のチームがボールをインターセプトして右から左へ攻めて、センターサークル手前まできている。そして、チャンネル切替え後の同じコンテンツの映像２３では、センターサークルまで進み、次の映像２４では他方のチームが一方のチームのサイド（陣地）まで攻め込んでいる様子が見てとれる。

第１の実施の形態のところで説明したように、表番組を視聴しながら裏番組の音声を表番組の音声に重畳させておくことにより、裏番組では何が起きているのかを視聴者は知ることができる。しかし、ユーザが裏番組の変化に気づいてリモートコントローラなどの操作をしてチャンネルを変えた時点で、その変化は過ぎてしまっているので、見逃しが発生することがある。そこで、裏番組時間先行提示モードでは、予め重畳する裏番組の音声を実際の裏番組のそれ（＝表番組の音声）よりも先行させる。もしくは表番組の情報提示を裏番組より相対的に遅らせることにより、チャンネル切替え時にかかる時間を確保しておく。言い換えれば、チャンネル切替え時に時間をさかのぼって裏番組を再生するということである。チャンネル切替え時に第２のコンテンツの音声２３Ａが繰り返されているのは、再び同じ音声が流れているということを示している。このようにすることによって、表番組から裏番組にチャンネルを替えた際に生じるリモートコントローラ操作による遅れを補償し、情報の見逃しを防ぐことができる。

チャンネル切替え時に要する時間の指定、つまり先行時間Ｔの指定はユーザがリモートコントローラを操作して直接入力することができる。あるいは、先行時間Ｔをユーザに応じて適宜変更する学習型で決定することも考えられる。学習型の場合、何度かユーザにリモートコントローラを操作してもらい、それにかかる時間を計測し、計測した時間に安全率をかけたものが先行時間として利用されるようにするとよい。

次に、裏番組時間先行提示の処理例を説明する。裏番組時間先行提示の処理は、基本的に図５に示したフローチャートを準用できる。ただし、図５のステップＳ１１において裏番組先行提示モードを選択すること、ステップＳ１２において裏番組を選択し、この選択した裏番組が所定時間Ｔを先行させる対象であることが異なる。

まず、ユーザが所望の番組を視聴中に、例えばリモートコントローラを操作して、現在の表示モードから裏番組時間先行提示モードに切り替える指示を行う。このとき、リモートコントローラからユーザ操作に応じた信号が入力部７を介して情報処理部５に入力され、表示装置２が裏番組時間先行提示モードに切り替えられる（ステップＳ１１に対応）。

次に、情報処理部５は、映像処理部５Ａを制御して、裏番組時間先行提示モードにおいて着目したい裏番組、すなわちどの音声を表番組の音声に重ねて聞きたいのかユーザに選択を促す裏番組選択画面を表示装置２に出力する。ユーザは、リモートコントローラを操作して、表示装置２に表示された裏番組選択画面から、表番組の音声に重ねる裏番組の音声を選択するまた、ユーザは、現在（リアルタイム）の裏番組に対して重ねる裏番組の音声をどのくらい先行させるかを指定する。例えば、先行時間Ｔ（秒）の指定をユーザに促す先行時間指定画面を表示装置２に出力する。ユーザは、リモートコントローラを操作して、表示装置２に表示された先行時間指定画面に対して先行時間Ｔを指定する（ステップＳ１２に対応）。

情報処理部５は、ユーザに指定された先行時間Ｔを設定する。そして、情報処理部５は、裏番組の指定された先行時間Ｔ秒前すなわちＴ秒未来の音声を蓄積部４から読み出し、音響変換部６に送る。音響変換部６は、現在の表番組の音声に対しＴ秒先行する裏番組の音声を重ねる際、現在の表番組の音声と重ねるＴ秒先行した裏番組の音声が混同してしまうのを抑制するために、情報処理部５から送られたＴ秒先行した裏番組の音声に対して音響変換処理を行う（ステップＳ１３に対応）。音響変換の具体的な方法については後述する。

そして、音声処理部５Ｂは、音響変換部６から音響変換処理されたＴ秒先行する裏番組の音声を受け取り、ユーザが現在視聴中の表番組の音声に、音響変換されたＴ秒先行する裏番組の音声を重ねてスピーカ２Ｌ，２Ｒへ出力する（ステップＳ１４に対応）。

上述した第３の実施の形態の裏番組時間先行提示によると、第１の実施の形態による効果に加え、現在視聴中の表番組の音声に所定時間先行させた裏番組の音声を重ねて出力するので、裏番組でこれから何が起こるかを視聴者に伝えることができるという効果がある。

また、表番組から裏番組へチャンネルを替える際、リモートコントローラの操作時間の遅れによる情報の見逃しを防ぐことができる。
＜第４の実施の形態＞
次に、上記第１〜第３の実施の形態における音声の重畳提示について説明する。主に、視聴中の番組の音声に重ねる音声に対して音響変換部６で音響変換を行うことで２つの音声に違いを持たせ、ユーザが識別しやすいようにしている。音響処理には大きく分けて、（ア）音量における処理、（イ）周波数による処理、（ウ）音源位置による処理、の３つの方法がある。

これらの処理は、あくまで表番組の音声（主音声）の提示内容を邪魔することなく、裏番組の音声（副音声）を聞かせることが目的である。裏番組の音声（副音声）については、ユーザが聞こうと意識を集中すれば聞こえ、意識を集中していなくても大枠の流れ（番組音声内で起きる変化）を捕らえることができることが望ましい。なお、ここで述べている「音声を重畳する」とは、単純に２つの音声を重ねて提示することを示している。

(ア) 音量における処理例
１． 表番組の音声と比較して重畳する裏番組の音声の音量を小さくする。
２． 裏番組の音声の音量に比例（一般的な盛り上がり検出のように）して重畳する音声の音量を調節する。それによって通常時は小音量、盛り上がり時には大音量にする。図７に表番組の音声４１と裏番組の音声４２の音量変化の一例を示す。このように、表番組の音声４１の立ち上がり、立ち下がり及びピーク値等の条件から裏番組の音声を調整する。
３． 裏番組の映像動きに連動して重畳する音声の音量を調節する。例えば動きが少ないときは小音量、映像内での動きが多い（テロップ出現やシーンチェンジ時）ときは大音量とする。映像内の動きを分析する方法としては、例えば映像信号のフィールドあるいはフレーム毎の差分の絶対値をとって分析する方法等がある。
４． 視聴者の特定の行動に応じて重畳する裏番組の音声の音量を調節する。例えばリモートコントローラ操作時（表番組に集中していないことを示す行動）は大音量、それ以外は小音量とする。

(イ) 周波数における処理例
１． ピッチ変換：表番組の音声に対してピッチ（全体の周波数）を上げ下げし、基本周波数を通常の帯域からずらした裏番組の音声を重畳することで聞き分けが容易になる。ある程度聴取者の好みもあると思われるが、ピッチを下げた方が聞き分けはしやすいと感じることが多い。
２． 残響付加：表番組の音声に対して残響を付加した裏番組の音声を重畳することによって裏番組の音声の音源位置が遠くなるような感覚を与え、聞き分けを容易にする。

(ウ) スピーカ配置、位相差・音量差、バーチャルサラウンドなどを用いた音源位置における処理
１． マルチスピーカシステムを搭載したシステムを用いている場合、表番組の音声をメインスピーカ、裏番組の音声をサブスピーカに振り分ける。また、Ｌチャンネルを表番組の音声、Ｒチャンネルを裏番組の音声に振り分けることで２つの音声の聞き分けが容易になる。
２． 位相差・音量差を用いて音源の発生位置を擬似的に変更することによって聞き分けを容易にする。例えば表番組の音声の音像を中央に持ってくるようにし、裏番組の音声の音像を左ないし右に寄せるように配置する。
３． 上記項目２と同様のことは頭部伝達関数を用いたバーチャルサラウンド技術で実現することも考えられる。

上述した第４の実施の形態の音声の重畳提示によると、音響的な変換を行った音声を重畳提示しておくことで、主として視聴している音声（例えば表番組の音声）の聴取を大きく妨げることなく、別の音声情報（例えば裏番組の音声）を提示しやすい、すなわちユーザが聞き取りやすくなる。

また、音声の複数スピーカへの振り分け、位相差・音量差・バーチャルサラウンド技術等を利用して音源の空間的な配置を調整することにより、主として視聴している音声の聴取を大きく妨げることなく、別の音声情報を提示しやすい、すなわちユーザが聞き取りやすくなる。

なお、上述の第１及び第３の実施の形態においては、情報処理装置１が放送局から受信したテレビジョン放送波の表番組と裏番組を、表示装置２へ出力するようにしているが、この例に限られるものではない。例えば、コンテンツが記録されたリムーバブルメディアやネットワーク等を介して複数のコンテンツを蓄積部４に保存しておき、情報処理部５が蓄積部４から読み出した２以上のコンテンツを表示装置２へ出力する場合にも適用することができる。

また、上述の第１及び第３の実施の形態においては、チャンネル切替え後は２つの音声の重ね合わせを行っていないが（図２、図６を参照）、チャンネル切替え後も引き続き、表番組の音声（主音声）に裏番組の音声（副音声）を重ね合わせて出力するようにしてもよい。

また、上述の各実施の形態においては、本発明をテレビジョン放送波を受信して表示装置に出力する情報処理装置に適用した場合について述べたが、本発明はこれに限らず、テレビジョン放送波の受信機能を備えたテレビジョンチューナやテレビジョン放送波を受信して記録する録画再生装置等に適用できる。さらに、表示装置と一体か別体かは問わず、テレビジョン放送波の受信機能を備えた携帯電話機やパーソナルコンピュータ等、種々のテレビジョン受信機に適用することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。

図８は、チューナ部を備え上述した一連の処理をプログラムにより実行するパーソナルコンピュータ１１０の構成例を示すブロック図である。

パーソナルコンピュータ１１０のＣＰＵ（Central Processing Unit）１１１は、ＲＯＭ（Read Only Memory）１１２、または記録部１１８に記録されているプログラムに従って、上記一連の処理の他、各種の処理を実行する。ＲＡＭ（Random Access Memory）１１３には、ＣＰＵ１１１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ１１１、ＲＯＭ１１２、およびＲＡＭ１１３は、バス１１４により相互に接続されている。

ＣＰＵ１１１にはまた、バス１１４を介して入出力インタフェース１１５が接続されている。入出力インタフェース１１５には、キーボード、マウス、マイクロホンなどよりなる入力部１１６、ディスプレイ、スピーカなどよりなる出力部１１７が接続されている。ＣＰＵ１１１は、入力部１１６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ１１１は、処理の結果を出力部１１７に出力する。

入出力インタフェース１１５に接続されている記録部１１８は、例えばハードディスクからなり、ＣＰＵ１１１が実行するプログラムや各種のデータを記録する。

通信部１１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また通信部１１９を介してプログラムを取得し、記録部１１８に記録してもよい。

入出力インタフェース１１５に接続されているドライブ１２０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア１３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部１１８に転送され、記録される。

チューナ部１２１は、複数チャンネルの番組を含むテレビジョン放送波（テレビジョン放送信号）からユーザから要求されたテレビジョン放送波を、アンテナ（図示せず）を介して受信及び復調する。なお、本実施の形態においては、パーソナルコンピュータ１１０はチューナ部１２１を２つ以上有しており、２以上のチャンネルのテレビジョン放送信号を同時に受信することができる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図８に示すように、リムーバブルメディア１３１によりパッケージメディアとして提供される。リムーバブルメディア１３１としては、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory），ＤＶＤ（Digital Versatile Disc），光磁気ディスクを含む）、もしくは半導体メモリなどを適用することができる。あるいは、プログラム記録媒体は、プログラムが一時的もしくは永続的に格納（記録）されるＲＯＭ１１２や、記録部１１８を構成するハードディスクなどにより構成される。

プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１１９を介して、ローカルエリアネットワーク(LAN：Local Area Network)、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。

また、プログラムは、一つのコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

本発明の第１の実施の形態に係る情報提示システムの概要を示す構成図である。 本発明の第１の実施の形態に係る裏番組先行提示の概念を示す説明図である。 本発明の第１の実施の形態に係る裏番組先行提示の処理例を示すフローチャートである。 本発明の第２の実施の形態に係る時間先行提示の概念を示す説明図である。 本発明の第２の実施の形態に係る時間先行提示の処理例を示すフローチャートである。 本発明の第３の実施の形態に係る裏番組先行提示の概念を示す説明図である。 表番組の音声及び裏番組の音声の音量変化の一例を示すグラフである。 パーソナルコンピュータの内部構成の一例を示すブロック図である。

符号の説明

１…情報処理装置、２…表示装置、２Ａ…表示画面、２Ｌ，２Ｒ…スピーカ、３…チューナ部、４…蓄積部、５…情報処理部、５Ａ…映像処理部、５Ｂ…音声処理部、６…音響変換部、７…入力部、１１，１２，１３，１４…第１のコンテンツの映像、１１Ａ，１２Ａ…第１のコンテンツの音声、２１，２２，２３，２４…第２のコンテンツの映像、２１Ａ，２２Ａ，２３Ａ，２４Ａ…第２のコンテンツの音声、３１，３２…第３のコンテンツの映像、１１０…パーソナルコンピュータ、１１１…ＣＰＵ、１１２…ＲＯＭ、１１３…ＲＡＭ、１１４…バス、１１５…入出力インタフェース、１１６…入力部、１１７…出力部、１１８…記録部、１１９…通信部、１２０…ドライブ、１２１Ａ，１２１Ｂ…チューナ部、１３１…リムーバブルメディア、１２１…チューナ部

Claims (15)

1. 第１のコンテンツ及び第２のコンテンツを取得する取得部と、
   前記取得部で取得した前記第１のコンテンツと前記第２のコンテンツを記憶する記憶部と、
   前記記憶部に記憶された前記第１のコンテンツ及び前記第２のコンテンツを読み出し、前記第１のコンテンツに、前記第２のコンテンツを前記第１のコンテンツより所定時間先行させて重ねて出力する情報処理部と、
   を備える情報処理装置。
2. 前記情報処理部は、前記第１のコンテンツ又は前記第２のコンテンツの映像に所定の処理を行い出力する映像処理部と、
   前記第１のコンテンツ又は前記第２のコンテンツの音声に所定の処理を行い出力する音声処理部と、
   を備える請求項１に記載の情報処理装置。
3. 前記第１のコンテンツ及び前記第２のコンテンツは、それぞれテレビジョン放送番組であり、
   前記映像処理部及び前記音声処理部は、第１のテレビジョン放送番組を表番組として、第２のテレビジョン放送番組を裏番組として出力する
   請求項２に記載の情報処理装置。
4. 前記第２のテレビジョン放送番組は表番組である前記第１のテレビジョン放送番組と同一番組であり、
   前記音声処理部は、前記表番組の音声に同番組の所定時間前の音声を重ねて出力する
   請求項３に記載の情報処理装置。
5. 前記音声処理部は、前記表番組の音声に、前記裏番組の音声を前記表番組の音声より相対的に所定時間先行させて重ねて出力する
   請求項３に記載の情報処理装置。
6. ユーザ操作による指示が入力される入力部を備え、
   前記入力部に前記表番組と前記裏番組を切り替える指示が入力された場合、前記映像処理部は、切替え後の表番組の映像として切替え前の裏番組の映像を、前記指示があった時点から所定時間戻して出力し、
   前記音声出力部は、切替え後の表番組の音声として切替え前の裏番組の音声を、前記指示があった時点から前記所定時間戻して出力する
   請求項５に記載の情報処理装置。
7. 前記映像処理部から出力された前記表番組の映像を表示する表示手段
   を備える請求項３に記載の情報処理装置。
8. 前記第１のコンテンツ及び前記第２のコンテンツは、映像である
   請求項１に記載の情報処理装置。
9. 前記第１のコンテンツ及び前記第２のコンテンツは、音声である
   請求項１に記載の情報処理装置。
10. 前記第１のコンテンツの音声に重ねる前記第２のコンテンツの音声に対し音響変換処理を行う音響変換部
    を備える請求項８に記載の情報処理装置。
11. 前記第１のコンテンツの音声と前記第２のコンテンツの音声の空間的な配置を調整する
    請求項８に記載の情報処理装置。
12. 第１のコンテンツ及び第２のコンテンツを取得する取得部と、
    前記取得部で取得した前記第１のコンテンツと前記第２のコンテンツを記憶する記憶部と、
    前記記憶部に記憶された前記第１のコンテンツ及び前記第２のコンテンツを読み出し、前記第１のコンテンツに、前記第２のコンテンツを重ねて出力する情報処理部と、
    を備える情報処理装置。
13. コンテンツを取得し所定の処理を行って出力する情報処理装置の情報処理方法であって、
    第１のコンテンツ及び第２のコンテンツを取得するステップと、
    取得した前記第１のコンテンツと前記第２のコンテンツを記憶するステップと、
    記憶された前記第１のコンテンツ及び前記第２のコンテンツを読み出し、前記第１のコンテンツに、前記第２のコンテンツを前記第１のコンテンツより所定時間先行させて重ねて出力するステップと、
    を含む情報処理方法。
14. コンテンツを取得し所定の処理を行って出力する情報処理装置を制御するコンピュータに実行させるプログラムにおいて、
    第１のコンテンツ及び第２のコンテンツを取得する処理と、
    取得した前記第１のコンテンツと前記第２のコンテンツを記憶する処理と、
    記憶された前記第１のコンテンツ及び前記第２のコンテンツを読み出し、前記第１のコンテンツに、前記第２のコンテンツを前記第１のコンテンツより所定時間先行させて重ねて出力する処理と、
    をコンピュータに実行させるプログラム。
15. コンテンツを取得し所定の処理を行って出力する情報処理装置を制御するコンピュータに実行させるプログラムが記録された記録媒体において、
    第１のコンテンツ及び第２のコンテンツを取得する処理と、
    取得した前記第１のコンテンツと前記第２のコンテンツを記憶する処理と、
    記憶された前記第１のコンテンツ及び前記第２のコンテンツを読み出し、前記第１のコンテンツに、前記第２のコンテンツを前記第１のコンテンツより所定時間先行させて重ねて出力する処理と、
    をコンピュータに実行させるプログラムが記録された記録媒体。

Images