JP2011091754A - 映像処理装置及び映像処理方法 - Google Patents

Abstract

【課題】番組映像とテレビチャットとを同時に出力する際に、番組映像の内容とチャット発言の内容とが整合しなくなることを抑制することができる映像処理装置及び映像処理方法を提供する。
【解決手段】番組を録画する録画記録部と、前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれたチャット発言と、該番組の放送時に視聴者がチャット発言の入力を開始したタイミングであるチャット入力開始タイミングと、を記録するチャット記録部と、前記録画記録部に録画された番組の再生時に、該番組の映像と前記チャット記録部に記録された該番組に関連するチャット発言とを同時に出力する映像出力部と、を備え、前記映像出力部は、再生中の番組の前記チャット入力開始タイミングに対応する再生位置において前記チャット発言を出力することを特徴とする。
【選択図】図１

Description

本発明は、テレビ番組の映像と番組に関連するテレビチャットとを同時に出力する映像処理装置及び映像処理方法に関する。

テレビ放送を受信可能なチューナを内蔵し、番組の視聴や録画を行なうことが可能なパーソナルコンピュータが普及している。一方、家庭のインターネット常時接続環境の普及により、テレビチューナ内蔵型パーソナルコンピュータにおいて番組を視聴しながら他の視聴者とチャットを楽しむことができるテレビチャットが利用できるようになった。

テレビチャットに関連した技術として、特許文献１には、録画した番組を再生する時に、当該番組に関連するテレビチャットで交わされたチャットの情報をサーバから取得し、番組の映像とチャット情報とを同時に表示する方法が記載されている。特許文献２には、テレビ番組の映像内の対象を特定してチャットの発言を入力し、当該特定した対象について他の視聴者とチャットをする方法が記載されている。

特開２００７−２１４８６１号公報 特開２００３−１５０５２９号公報

テレビチャットに参加する視聴者は、番組において興味を惹くイベントの発生を契機として、そのイベントに関するチャット発言を行なうべくチャット発言の入力を開始する。視聴者がチャット発言の入力を完了し、入力した発言内容をテレビチャットサーバに対して送信すると、テレビチャット画面に当該チャット発言が表示され、チャット発言が行なわれる。チャット発言の入力は、視聴者がキーボード等の入力装置を操作することによって行なわれるので、チャット発言の入力にはチャット発言の長さに応じた時間を要する。番組映像とテレビチャットとを同時に視聴する場合、番組においてあるイベントが発生してから、視聴者による当該イベントについて言及したチャット発言がチャット画面に表示されるまでには、少なくとも視聴者がチャット発言の入力に要した時間分の遅延が生じる。そのため、チャット画面に当該チャット発言が表示された時点で、番組映像においては当該イベントが既に終了してしまっており、別のイベントが表示されているという状況が起こり得る。この場合、番組映像とテレビチャットとの同時視聴において、番組映像の内容とチャット発言の内容とが整合しなくなるため、発言者以外の視聴者は、チャット画面に現われたチャット発言が何について言及したものかわかりにくいという問題がある。

特許文献1には、チャット発言とそのチャット発言が言及している映像の放送当時の時
刻とを関連付けることによって、チャット発言と映像との同期を確保することが記載されているが、発言者がそのチャット発言のテキスト入力に要した時間は考慮されていない。

特許文献2には、映像の注目領域情報とチャット情報とを共に出力し、チャット発言の
言及しているイベントを判別できるようにする方法が記載されているが、発言者がそのチャット発言のテキスト入力に要した時間はやはり考慮されていない。

本発明は上記の問題点に鑑みてなされたものであり、番組映像とテレビチャットとを同
時に出力する際に、番組映像の内容とチャット発言の内容とが整合しなくなることを抑制することができる映像処理装置及び映像処理方法を提供することを目的とする。

本発明の映像処理装置は、
番組を録画する録画記録部と、
前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれたチャット発言と、該番組の放送時に視聴者がチャット発言の入力を開始したタイミングであるチャット入力開始タイミングと、を記録するチャット記録部と、
前記録画記録部に録画された番組の再生時に、該番組の映像と前記チャット記録部に記録された該番組に関連するチャット発言とを同時に出力する映像出力部と、
を備え、
前記映像出力部は、再生中の番組の前記チャット入力開始タイミングに対応する再生位置において前記チャット発言を出力することを特徴とする。

本発明の映像処理装置は、
番組を録画する録画記録部と、
前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれたチャット発言と、該番組の放送時にチャット発言が行なわれたタイミングであるチャット発言タイミングと、を記録するチャット記録部と、
視聴者がチャット発言の入力に要した時間であるチャット入力時間を推測し、前記記録したチャット発言タイミングから該推測したチャット入力時間を減算することによって、該番組の放送時に視聴者がチャット発言の入力を開始したタイミングであるチャット入力開始タイミングを算出する算出部と、
前記録画記録部に録画された番組の再生時に、該番組の映像と前記チャット記録部に記録された該番組に関連するチャット発言とを同時に出力する映像出力部と、
を備え、
前記映像出力部は、再生中の番組の前記チャット入力開始タイミングに対応する再生位置において前記チャット発言を出力することを特徴とする。

本発明の映像処理装置は、
放送中の番組の映像及び音声を一時的に蓄積するとともに、該番組が放送された時刻から所定の遅延時間だけ遅延させたタイミングで前記蓄積した映像及び音声を出力するバッファ部と、
前記放送中の番組の視聴時に、前記バッファ部より出力される映像と、該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれているチャット発言と、を同時に出力する映像出力部と、
を備え、
前記映像出力部は、前記番組の放送時にチャット発言が行なわれたタイミングで該チャット発言を出力することを特徴とする。

本発明の映像処理装置は、
番組を録画する録画記録部と、
前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれたチャット発言と、該番組の放送時にチャット発言が行なわれたタイミングであるチャット発言タイミングと、を記録するチャット記録部と、
前記録画記録部に録画された番組の再生時に、該番組の映像と前記チャット記録部に記録された該番組に関連するチャット発言とを同時に出力する映像出力部と、
を備え、
前記映像出力部は、前記番組の再生開始時から所定の遅延時間だけ遅延させて該番組の
映像の出力を開始するとともに、再生開始時を基準とする時間軸上の前記チャット発言タイミングに対応するタイミングにおいて前記チャット発言を出力することを特徴とする。

本発明の映像処理方法は、
番組を録画する録画記録工程と、
前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれたチャット発言と、該番組の放送時に視聴者がチャット発言の入力を開始したタイミングであるチャット入力開始タイミングと、を記録するチャット記録工程と、
前記録画記録工程で録画された番組の再生時に、該番組の映像と前記チャット記録工程で記録された該番組に関連するチャット発言とを同時に出力する映像出力工程と、
を備え、
前記映像出力工程は、再生中の番組の前記チャット入力開始タイミングに対応する再生位置において前記チャット発言を出力することを特徴とする。

本発明の映像処理方法は、
番組を録画する録画記録工程と、
前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれたチャット発言と、該番組の放送時にチャット発言が行なわれたタイミングであるチャット発言タイミングと、を記録するチャット記録工程と、
視聴者がチャット発言の入力に要した時間であるチャット入力時間を推測し、前記記録したチャット発言タイミングから該推測したチャット入力時間を減算することによって、該番組の放送時に視聴者がチャット発言の入力を開始したタイミングであるチャット入力開始タイミングを算出する算出工程と、
前記録画記録工程で録画された番組の再生時に、該番組の映像と前記チャット記録工程で記録された該番組に関連するチャット発言とを同時に出力する映像出力工程と、
を備え、
前記映像出力工程は、再生中の番組の前記チャット入力開始タイミングに対応する再生位置において前記チャット発言を出力することを特徴とする。

本発明の映像処理方法は、
放送中の番組の映像及び音声を一時的に蓄積するとともに、該番組が放送された時刻から所定の遅延時間だけ遅延させたタイミングで前記蓄積した映像及び音声を出力するバッファ工程と、
前記放送中の番組の視聴時に、前記バッファ工程で出力される映像と、該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれているチャット発言と、を同時に出力する映像出力工程と、
を備え、
前記映像出力工程は、前記番組の放送時にチャット発言が行なわれたタイミングで該チャット発言を出力することを特徴とする。

本発明の映像処理方法は、
番組を録画する録画記録部と、
前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれたチャット発言と、該番組の放送時にチャット発言が行なわれたタイミングであるチャット発言タイミングと、を記録するチャット記録部と、
前記録画記録部に録画された番組の再生時に、該番組の映像と前記チャット記録部に記録された該番組に関連するチャット発言とを同時に出力する映像出力部と、
を備え、
前記映像出力部は、前記番組の再生開始時から所定の遅延時間だけ遅延させて該番組の映像の出力を開始するとともに、再生開始時を基準とする時間軸上の前記チャット発言タ
イミングに対応するタイミングにおいて前記チャット発言を出力することを特徴とする。

本発明によれば、番組映像とテレビチャットとを同時に出力する際に、番組映像の内容とチャット発言の内容とが整合しなくなることを抑制することが可能になる。

実施例1の映像処理装置の構成を示す図 実施例1及び2のチャット情報を記録するか決定するフロー 実施例1、2及び3のチャット情報を取得するフロー 実施例1のチャット情報と番組相対時刻とを関連付けて記録するフロー 実施例1及び2のチャット情報の一例 実施例1及び2のチャット情報をチャット記録部から取得するフロー 実施例1及び2のチャット情報の出力タイミングを決定するフロー 実施例1及び2のチャット情報の取得から出力までの処理を表す図 実施例1、2及び3の番組映像とチャット情報を同時に視聴する表示画面例 実施例1及び2のチャット発言を表示するタイミングを説明する図 実施例2の映像処理装置の構成を示す図 実施例2のチャット情報と番組相対時刻とを関連付けて記録するフロー 実施例2のチャット入力に要した時間を推測する処理の一例 実施例3の映像処理装置の構成を示す図 実施例3のチャット情報の同時表示の可否を判定する処理のフロー 実施例3の番組映像及び音声をバッファする処理のフロー 実施例3のチャット発言を表示するタイミングを説明する図

（実施例１）
本発明の映像処理装置の第1の実施例について図を用いて説明する。本実施例の映像処
理装置は、ハードディスクレコーダやテレビ番組受信録画機能付きのデジタルテレビやパーソナルコンピュータ等に適用できる。

本実施例は、録画した番組の再生時に、番組映像と、放送時に番組に関連するテレビチャットにおいて番組と並行して行なわれたチャット発言と、が同一画面に表示されるように出力する映像処理装置である。本実施例の映像処理装置の特徴点は、番組再生時にチャット発言が表示されるタイミングが、放送時に視聴者がチャット発言の入力を開始したタイミング（チャット入力開始タイミング）になるように、番組の映像とチャット発言とを同期させて出力する点である。本実施例では、番組録画時に、チャット情報を管理するネットワーク上のサーバ（チャット管理サーバ）からチャット入力開始タイミングを取得し、記録する。そして、録画した番組の再生時に、当該記録したチャット入力開始タイミングに基づいてチャット発言の出力タイミングを決定する。

＜構成＞
図1は、本実施例に係る映像処理装置100の構成を示す図である。
アンテナ101は、放送信号を受信し、映像処理装置100へ放送信号を送出する。
チューナ部102は、アンテナ101を介し受信した放送信号からTS（Transport Stream）を生成し、メインデコード部103へTSを送出する。
メインデコード部103は、チューナ部102から取得したTSをデコードして音声信号と映像信号を生成し、音声信号を音声出力部104へ送出し、映像信号を画面合成部105へ送出する。
音声出力部104は、メインデコード部103から取得した音声信号をスピーカ107へ出力す
る。
画面合成部105は、メインデコード部103から取得した映像信号が表示される映像画面と、チャット出力制御部116から取得したチャット発言が表示されるチャット画面と、の両
方の画面が一画面に表示される映像信号を生成し、映像出力部106へ送出する。
映像出力部106は、画面合成部105から取得した映像信号をモニタ108へ出力する。

＜選局＞
リモコン109は、視聴者がチャンネル選局に対応するボタンを押下すると、選局要求信
号を赤外線受光部110へ送出する。
赤外線受光部110は、リモコン109から取得した信号をシステム制御部118へ送出する。
システム制御部118は、赤外線受光部110が取得した信号を処理して選局要求を取得し、選局情報としてメインデコード部103へ送出する。
メインデコード部103は、システム制御部118から取得した選局情報をチューナ部102へ
送出する。
チューナ部102は、メインデコード部103から取得した選局情報に基づいて受信周波数を決定し、該周波数の放送信号を受信し、該放送信号からTSを生成する。
ネットワーク111には、番組に関連するテレビチャットのチャット情報を管理するチャ
ット管理サーバ（不図示）が備えられている。ネットワーク111は、インターネットやイ
ントラネット等である。
チャット情報受信部112は、ネットワーク111上のチャット管理サーバからチャット情報を取得する。本実施例では、チャット情報受信部112が取得するチャット情報は、チャッ
ト発言者、チャット発言内容（テキスト、アイコン等）、チャット入力開始タイミングである。

＜録画＞
録画管理部113は、システム制御部118から番組の録画要求信号を受けると、メインデコード部103から録画対象番組のTSを取得し、録画記録部114へ記録を行う。
また、録画管理部113は、システム制御部118から番組の録画要求信号とともにテレビにチャット記録要求信号を受けた場合、チャット情報受信部112からチャット情報を取得す
る。そして、タイマー部117から取得する録画対象番組の番組相対時刻と関連付けてチャ
ット記録部115へ記録する。番組相対時刻とは、番組開始時刻からの経過時間である。番
組相対時刻の算出方法及びチャット情報を番組相対時刻と関連付けて記録する処理の詳細は、後述する。

＜再生＞
視聴者がリモコン109で録画番組を再生するための操作を行うと、リモコン109は録画番組の再生要求信号を赤外線受光部110へ送出する。
赤外線受光部110は、リモコン109から取得した信号をシステム制御部118へ送出する。
システム制御部118は、赤外線受光部110から取得した信号を処理して録画番組の再生要求を取得し、録画管理部113へ録画番組の再生要求信号を送出する。
録画管理部113は、システム制御部118から録画番組の再生要求信号を受けると、再生要求信号から再生対象番組を取得し、録画記録部114から再生対象番組のTSを取得し、メイ
ンデコード部103へ送出する。
また、録画管理部113は、システム制御部118から録画番組の再生要求と同時にテレビチャット同時視聴要求の通知を受けた場合、録画番組に関連付けて記録されたチャット情報をチャット記録部115から取得し、チャット出力制御部116へ送出する。

チャット出力制御部116は、タイマー部117から番組再生位置を取得し、適切なタイミングでチャット発言を画面合成部105へ送出する。番組再生位置とは、録画番組の現在再生
している位置を、録画番組の冒頭を原点とする時間軸上の位置で表したものである。チャ
ット発言を画面合成部105へ送出するタイミングを決定する方法の詳細は、後述する。

内部バス119は、映像処理装置100を構成する上記各ブロック間のデータ送受信を行う。

＜番組の録画とチャット情報の記録について＞
＜テレビチャットの有無確認＞
図2は、番組を録画する際に、番組に関連するテレビチャットの有無を確認し、番組放
送と並行して交わされているチャット発言を記録するか決定する処理を表すフローチャートである。この処理は録画管理部113によって実行される。
ステップS201において、録画管理部113がシステム制御部118から録画要求を取得すると、番組を録画するための動作を開始する。
ステップS202において、録画管理部113は、メインデコード部103からSI（Service Information:番組配列情報）を取得し、SIのEITに含まれる番組名情報に基づいて録画対象の
番組を識別する。
ステップS203において、録画管理部113は、ステップS202で識別した番組に関連するテ
レビチャットがネットワーク111上に有るかをチャット管理サーバに問い合わせる。チャ
ット管理サーバは、各番組に関連するテレビチャットの有無を管理するサーバである。ステップS203において、録画管理部113は、ステップS202で識別した録画対象の番組の情報
をチャット管理サーバへ送出する。チャット管理サーバは、録画管理部113から問い合わ
せを受けた番組に関連するテレビチャットの有無情報を録画管理部113へ送出する。
ステップS204において、録画管理部113は、ステップS203でチャット管理サーバから取
得したテレビチャットの有無情報に基づいて、録画対象の番組に関連したテレビチャットがネットワーク111上に有るか判定する。なお、録画対象の番組に関連するテレビチャッ
トの有無は他の方法で判定しても良い。例えば、SIに番組に関連するテレビチャットの有無を識別する記述子を格納する運用が行なわれる場合には、当該記述子を参照して判定しても良い。判定方法は特に限定されない。録画対象の番組に関連するテレビチャットが有る場合（S204:Yes）、録画管理部113は、ステップS205に進む。一方、録画対象の番組に
関連するテレビチャットが無い場合（S204:No）、録画管理部113は、ステップS206に進む。
ステップS205において、録画管理部113は、録画対象の番組のTSと番組に関連するテレ
ビチャットのチャット情報とを関連付けて録画記録部114とチャット記録部115にそれぞれ記録する。録画対象番組及び関連するチャット情報を関連付けて記録する処理の詳細は後述する。
ステップS206において、録画管理部113は、録画対象の番組のTSのみを録画記録部114に記録する。

＜番組の録画＞
録画対象番組を録画記録部114へ録画する処理について説明する。
録画管理部113は、録画対象の番組が放送される周波数へ選局するようメインデコード
部103へ要求する。
メインデコード部103は、チューナ部102から取得した録画対象番組のTSを録画管理部113へ送出する。
録画管理部113はメインデコード部103から取得した録画対象番組のTSを録画記録部114
へ送出し、記録する。

＜チャット情報の記録＞
録画対象番組に関連するチャット情報の取得及びチャット記録部115への記録について
説明する。
＜チャット情報の取得＞
図3は、番組の録画と同時に、番組に関連するテレビチャットにおいて番組放送と並行
して交わされているチャット発言をリアルタイムに取得する処理を表すフローチャートである。この処理はチャット情報受信部112によって実行される。
ステップS301において、チャット情報受信部112は、録画管理部113から録画中の番組に関連するテレビチャットのチャット情報の取得要求を受ける。
ステップS302において、チャット情報受信部112は、ネットワーク111上にあるチャット管理サーバへアクセスする。そして、録画中の番組に関連するテレビチャットで番組放送と並行して交わされているチャット発言をリアルタイムに取得するために、チャット情報の更新監視を開始する。
ステップS303において、チャット情報受信部112は、録画管理部113から送出されるチャット取得終了要求を監視する。チャット取得終了要求を取得していない場合（S303:No）
、チャット情報受信部112は、ステップS304に進む。一方、チャット取得終了要求を取得
した場合（S303:Yes）、チャット情報受信部112は、ステップS307に進む。
ステップS304において、チャット情報受信部112は、新しいチャット情報の有無を確認
する。新しいチャット情報が存在した場合（S304:Yes）、チャット情報受信部112は、ス
テップS305に進む。
ステップS305において、チャット情報受信部112は、ネットワーク111上のチャット管理サーバからチャット情報を取得する。ここで取得するチャット情報には、チャット発言者、チャット発言内容（テキスト、アイコン等）、チャット入力開始タイミング等が含まれる。チャット入力開始タイミングは、視聴者がチャット発言をするためにテキストの入力を開始した時刻である。視聴者がテレビチャットのクライアントでテキスト入力を開始すると、クライアントがその時刻を取得し、チャット入力開始タイミングとしてチャット管理サーバに送信する。チャット管理サーバは各クライアントから送信されるチャット入力開始タイミングを受信し管理する。なお、テレビチャットのシステムはこのような構成に限定されるものではなく、チャット情報受信部112がチャット入力開始タイミングを取得
可能に構成されたシステムであればどのようなものであっても良い。本実施例では、チャット入力開始タイミングは、番組相対時刻の値で記録する。
ステップS306において、チャット情報受信部112は、ステップS305で取得したチャット
情報を録画管理部113へ送出する。
ステップS307において、チャット情報受信部112は、チャット情報の更新監視を終了す
る。

＜チャット情報の記録＞
図4は、チャット情報受信部112から取得したチャット情報を、録画中の番組の番組相対時刻と関連付けて記録する処理を表すフローチャートである。この処理は録画管理部113
及びチャット記録部115によって実行される。

チャット情報を番組相対時刻と関連付けて記録するのは、番組の最初から録画した場合、番組相対時刻と番組再生位置とは等しい値になるので、録画番組の再生時にチャット発言を同時出力する場合に、番組の映像とチャット発言との同期をとりやすいからである。番組の途中から録画した場合でも、録画開始時刻に基づいて番組相対時刻と番組再生位置との対応関係を容易に求められる。以下、簡単のために番組の録画は番組の最初から開始したものとする。

番組相対時刻は、タイマー部117で生成される。タイマー部117は、メインデコード部103からSIを取得し、SIのTOT（Time Offset Table）に格納された情報と内部クロックとに
基づいて現在時刻を求める。また、タイマー部117は、SIのEIT（Event Information Table）に格納された情報から番組開始時刻を取得する。タイマー部117は、前記現在時刻と番組開始時刻との差を求めることで、番組相対時刻を算出する。なお、チャット情報を番組絶対時刻と関連付けて記録した場合でも、録画した番組の再生時に映像とチャット情報との同期をとることは可能であり、本発明の実施に何ら問題はない。ここで、番組絶対時刻
とは、番組が放送された実際の時刻である。

ステップS401において、録画管理部113は、番組の録画が終了したか判定する。録画が
終了していない場合（S401:No）、録画管理部113は、ステップS402に進む。録画が終了した場合（S401:Yes）、ステップS405に進む。
ステップS402において、録画管理部113は、チャット情報受信部112から送出された新しいチャット情報が有るか確認する。新しいチャット情報が有る場合（S402:Yes）、録画管理部113は、ステップS403に進む。
ステップS403において、録画管理部113は、タイマー部117から番組相対時刻を取得する。ここで取得した番組相対時刻は、チャット情報受信部112から新たなチャット情報が録
画記録部113に送出された時刻であり、図3のフローチャートで説明したように、この時刻はチャット管理サーバのチャット情報が更新された時刻である。そして、チャット管理サーバのチャット情報は、テレビチャットに参加している視聴者がチャット発言を行なった時に更新される。この意味で、本ステップS403で取得した番組相対時刻は、視聴者がチャット発言を行なったタイミングを表すと言える。よって、以下、ステップS403で取得した番組相対時刻を「チャット発言タイミング」と称することとする。
ステップS404において、録画管理部113は、チャット情報受信部112から取得したチャット情報と、ステップS403でタイマー部117から取得したチャット発言タイミングと、を関
連づけて、チャット記録部115へ記録する。
ステップS405において、チャット記録部115は、ステップS404までの処理でチャット記
録部115に記録された全てのチャット情報を、チャット入力開始タイミングの早い順にソ
ートする。
ステップS406において、チャット記録部115は、ステップS405でソートした各チャット
情報にソート番号を付与する。ソート番号は初期値を1とし、ソート順に1ずつインクリメントして各チャット情報に付与する。つまり、ソート番号はチャット入力開始タイミングの早い順に1から番号が付与されている。チャット記録部115がチャット情報のソート及びソート番号付与を終了すると、チャット記録部115はチャット情報の記録を終了する。

＜チャット情報の例＞
図5に、チャット記録部115に記録されるチャット情報の一例を示す。

番組名501には、録画した番組の番組名が記録される。番組名501のデータは、メインデコード部103から取得したSIのEITに含まれる番組名情報に基づいて記録される。図5の例
では、番組名は「XYZ」である。
Index502には、録画管理部113がチャット情報受信部112から取得した順、すなわちチャット発言タイミングの早い順にチャット情報に付与される番号であるIndex番号が記録さ
れる。
発言タイミング503には、録画管理部113がタイマー部117から取得したチャット発言タ
イミングが記録される。チャット発言タイミングは番組相対時刻の値で記録される。図5
の例では、Index2のチャット情報509のチャット発言タイミング「00:00:14」とは、チャ
ット情報509のチャット発言が、番組開始から14秒後に行なわれたことを表す。
発言者504には、テレビチャットでチャット発言を行なった視聴者の識別情報が記録さ
れる。図5の例では、Index2のチャット情報509の発言者は、「C」という名前によって識
別されていることを表す。
内容505には、チャット発言内容情報が記録される。図5の例では、チャット発言内容情報はテキストデータである。チャット発言内容情報にはテキスト以外のデータ（アイコン等）が含まれていても良い。図5の例では、Index2のチャット情報509のチャット発言内容情報は、「初めまして、こんばんは」というテキストデータである。
入力開始タイミング506には、チャット情報受信部112がチャット管理サーバから取得したチャット入力開始タイミングが記録される。図5の例では、チャット入力開始タイミン
グを番組相対時刻の値で取得及び記録した例を示したが、チャット管理サーバから番組絶対時刻の値でチャット入力開始タイミングを取得し、チャット記録部115に記録する際に
番組相対時刻の値に変換しても良い。図5の例では、Index2のチャット情報509のチャット入力開始タイミング「00:00:07」は、発言者「C」の視聴者は、番組開始後7秒後に「初めまして、こんばんは」というテキストの入力を開始したことを表す。
ソート番号507には、チャット入力開始タイミングの早い順に付与される番号であるソ
ートが記録される。

Index番号とソート番号は一致しない場合もある。図5の、チャット情報508とチャット
情報509を例に説明する。
チャット情報508のチャット発言タイミングはチャット情報509のチャット発言タイミングより早いので、チャット発言タイミングの早い順に付与されるIndex番号は、チャット
情報508の方がチャット情報509より小さい。
一方、チャット情報508のチャット入力開始タイミングはチャット情報509のチャット入力開始タイミングより遅いので、チャット入力開始タイミングの早い順に付与されるソート番号は、チャット情報508の方がチャット情報509より大きい。
この例では、発言者Cは発言者Bより先にチャット発言内容のテキストを入力し始めたが、チャット発言が行なわれた（チャット画面に表示された）のは発言者Bの方が先だった
ことがわかる。

以上説明したようにチャット情報を記録することで、録画中の番組の番組相対時刻と、番組放送と並行してこの番組に関連するテレビチャットで交わされたチャット発言と、を関連付けて記録することが可能となる。

＜録画番組の再生映像とチャット情報の同時表示について＞
次に、録画記録部114に録画した番組を再生する際に、番組映像とテレビチャットとを
同時出力する処理について説明する。

＜チャット情報の表示タイミング＞
本実施例では、チャット発言内容情報の出力タイミングを、チャット入力開始タイミングに基づいて決定する点に特徴がある。以下、チャット発言内容情報の出力タイミングの制御について図6及び図7に基づいて説明する。

図6は、チャット発言内容情報を画面合成部105へ送出する処理を表すフローチャートである。この処理は録画番組の再生開始と同時に録画管理部113によって実行される。
ステップS601において、録画管理部113は、再生中の録画番組の番組再生位置をタイマ
ー部117から取得する。
ステップS602において、録画管理部113は、チャット記録部115に記録されたチャット情報のうち、そのチャット入力開始タイミングが番組再生位置に最も近く且つ番組再生位置より後であるチャット情報をチャット記録部115から取得する。
ステップS603において、録画管理部113は、ステップS602において取得したチャット情
報のチャット入力開始タイミングをチャット出力制御部116へ送出する。
ステップS604において、録画管理部113は、システム制御部118からの録画番組の再生終了要求を監視する。再生終了要求を取得した場合（S604:Yes）、録画管理部113は、この
処理を終了する。一方、再生終了要求を取得しない場合（S604:No）、録画管理部113は、ステップS605に進む。
ステップS605において、録画管理部113は、チャット出力制御部116からのチャット出力要求を監視する。チャット出力要求を取得しない場合（S605:No）、録画管理部113は、ステップS604及びステップS605の処理に戻り、再生終了要求及びチャット出力要求の監視を継続する。チャット出力要求を取得した場合（S605:Yes）、録画管理部113は、ステップS
606に進む。なお、録画管理部113に対してチャット出力要求を送出する処理はチャット出力制御部116が実行する処理であり、その詳細については、図7に基づいて後述する。
ステップS606において、録画管理部113は、チャット情報に含まれるチャット発言者情
報及びチャット発言内容情報を画面合成部105へ送出する。
ステップS607において、録画管理部113は、ステップS606で送出したチャット情報の次
のソート番号のチャット情報をチャット記録部115から取得する。次のソート番号のチャ
ット情報を取得した後、録画管理部113は、ステップS603の処理に戻り、上述した処理を
繰り返す。

図7は、チャット出力制御部116が録画管理部113に対してチャット出力要求を送出する
処理を表すフローチャートである。この処理はチャット出力制御部116によって実行され
る。
ステップS701において、チャット出力制御部116は、録画管理部113からチャット入力開始タイミングを取得する。このチャット入力開始タイミングは、図6のステップS603で送
出されたものである。
ステップS702において、チャット出力制御部116は、タイマー部117から再生中の番組の番組再生位置を取得する。
ステップS703において、チャット出力制御部116は、ステップS701で取得したチャット
入力開始タイミングと、ステップS702で取得した番組再生位置とを比較する。番組再生位置がチャット入力開始タイミングより前である場合、言い換えると、番組再生位置が番組時間軸上でチャット入力開始タイミングに未だ至っていない場合（S703:No）、チャット
出力制御部116は、ステップS702の処理に戻る。一方、番組再生位置とチャット入力開始
タイミングとが一致した場合又は番組再生位置がチャット入力開始タイミングより後である場合（S703:Yes）、チャット出力制御部116は、ステップS704に進む。
ステップS704において、チャット出力制御部116は、チャット出力要求を録画管理部113へ送出する。

なお、チャット出力制御部116は、ステップS703においてYesと判定されるまで、ステップS702の番組再生位置の取得処理及びステップS703の比較処理を周期的に繰り返す。番組再生位置がチャット入力開始タイミングより後、言い換えると、番組再生位置が番組時間軸上でチャット入力開始タイミングを既に過ぎているという状況は、この周期が長い場合に起こり得る。

図8は、以上説明したチャット発言内容情報の出力タイミング制御の処理を概念的に図
示したものである。ここでは、チャット記録部115に図5に示したチャット情報が記録された録画番組を最初から再生した場合の、再生開始直後の状態を例に説明する。
処理A:録画番組の再生が開始されると、録画管理部113（802）はチャット記録部115（801）からチャット入力開始タイミングが番組再生位置「00:00:00」に最も近く且つ番組再生位置「00:00:00」より後のチャット情報を取得する。図5を参照すると、この条件を満
たすチャット情報は、チャット入力開始タイミングが「00:00:03」であるソート番号1の
チャット情報である。
処理B:録画管理部113（802）は、取得したチャット情報（804）に含まれるチャット入
力開始タイミング「00:00:03」（805）をチャット出力制御部116（803）に送出する。
処理C:チャット出力制御部116（803）は、タイマー部117から周期的に番組再生位置（806）を取得し、録画管理部113（802）から取得したチャット入力開始タイミング（805）
と比較する。
処理D:チャット出力制御部116（803）は、番組再生位置（806）がチャット入力開始タ
イミング（805）以降の値になった時点で、録画管理部113（802）へチャット出力要求を
送出する。
処理E:録画管理部113（802）は、チャット出力制御部116（803）からチャット出力要求
を取得すると、チャット発言者情報「A」とチャット発言内容情報「こんばんは〜」を画
面合成部105（807）へ送出する。

録画管理部113（802）は、画面合成部105（807）へソート番号1のチャット情報（804）を送出した後、次のソート番号2のチャット情報をチャット記録部115（801）から取得し
、上記と同様に処理A〜Eを実行する。

以上の処理を行うことで、録画番組の再生時に映像とテレビチャットとを同時に出力する場合に、チャット発言がチャット入力開始タイミングで表示されるようになる。

図9は、録画番組の再生時に映像とチャット発言とを同時に表示する場合の表示画面例
である。図9において、モニタ108に表示される全画面900のうち、左側の領域901には再生中の番組の映像が表示され、右側の領域902には再生中の番組に関連するテレビチャット
において番組放送と並行して交わされたチャット発言が表示される。チャット画面902に
チャット発言が表示されるタイミングは、チャット入力開始タイミングに同期させられる。従って、再生中の番組において、放送当時視聴者のチャット発言の契機となったイベントが映像画面901に表示されるタイミングから、当該チャット発言がチャット画面902に表示されるタイミングまでの遅延が短縮される。これにより、番組映像とテレビチャットとの同時視聴において、映像画面901に表示される映像の内容と、チャット画面902に表示されるチャット発言の内容と、が整合しない状態になることを抑制できる。従って、チャット発言が番組のどのイベントについて言及したものであるか分りやすい映像とテレビチャットとの同時視聴を実現できる。

図10は、録画番組の再生時に番組映像とテレビチャットとを同時視聴する場合に、チャット発言がチャット入力開始タイミングで表示されることの利点を説明するための図である。ここでは、一定時間花の映像が表示された後、花とは別の映像が表示される番組を例に説明する。

番組放送時、テレビチャットに参加していたある視聴者は、映像に表示された花に興味を持ち、この花について「綺麗な花ですね」というチャット発言を行なうべく、このチャット発言のテキスト入力を開始した（チャット入力開始タイミングA）。この視聴者がチ
ャット発言のテキストの入力を完了し、このテキストを送信することにより、チャット管理サーバのチャット情報が更新され、放送当時のチャット画面にこのチャット発言が表示された（チャット発言タイミングB）。

ここで、図10に示すように、チャット発言タイミングBにおいて、既に花の映像は終了
し、花とは別の映像が表示されていたとする。この場合、チャット発言タイミングBにお
いて表示されたチャット発言の内容と、その時に表示されている映像の内容とが整合しないため、テレビチャットに参加している他の視聴者には、このチャット発言が何について言及したものかわかりにくい。

この番組及びチャット情報を録画及び記録し、番組映像とテレビチャットとを同時出力する場合に、放送当時の映像の表示タイミングとチャット発言の表示タイミングとを忠実に再現すると、映像内容とチャット発言内容とが整合しない状況も忠実に再現される。

これに対し、本実施例に係る映像処理装置100では、番組映像とテレビチャットとを同
時出力する場合に、チャット発言がチャット入力開始タイミングAにおいて表示されるよ
うに、映像とチャット発言とを同期させる。これにより、図10に示すように、チャット発言が言及している花の映像が表示されている時に、チャット発言を表示することができる。よって、視聴者は、このチャット発言が何について言及したものかわかりやすい。この
ように、本実施例に係る映像処理装置100によれば、番組映像とテレビチャットとを同時
視聴する際にチャット発言内容と映像内容とが整合しない状態になることを極力抑制することが可能になる。

（実施例2）
本発明の映像処理装置の第2の実施例について図を用いて説明する。本実施例は、実施
例1と同様、録画番組の再生時に番組映像とテレビチャットとを同時に出力する映像処理
装置であり、チャット発言の出力タイミングをチャット入力開始タイミングに基づいて決定することを特徴とする。本実施例と実施例1との相違点は、実施例1ではチャット入力開始タイミングをチャット管理サーバから取得したのに対し、本実施例では、チャット入力開始タイミングを計算によって求める点である。そして、番組再生時に、当該算出したチャット入力開始タイミングに基づいてチャット発言の出力タイミングを決定する。

図11は、実施例2に係る映像処理装置1100の構成を示す図である。図11において、図1で説明した実施例1の映像処理装置100の構成要素と同等の機能を有する構成要素については、図1と同一の名称及び符号を付し、説明を省略する。以下、実施例1との相違点を中心に説明する。

チャット情報受信部112は、ネットワーク111上のチャット管理サーバからチャット情報を取得する。本実施例では、チャット情報受信部112が取得するチャット情報は、チャッ
ト発言者及びチャット発言内容（テキスト、アイコン等）である。実施例1との相違点は
、チャット入力開始タイミングを取得しない点である。本実施例では、チャット入力開始タイミングは、映像処理装置1100において算出する。そのために、本実施例の映像処理装置1100には、チャット入力時間推測部1102が備えられている。チャット入力時間推測部1102は、チャット発言内容に基づいて視聴者がチャット入力に要した時間を推測する機能を有する。そして、チャット入力時間推測部1102で推測したチャット入力時間と番組相対時刻を用いてチャット入力開始タイミングを算出する。チャット入力開始タイミングを算出する処理の詳細は、後述する。また、録画管理部による処理内容は実施例1とは異なるた
め、本実施例では録画管理部に実施例1とは異なる符号を付し、録画管理部1101とする。

＜番組の録画とチャット情報の記録について＞
ここで、映像処理装置1100による番組の録画とチャット情報の記録の処理について、実施例1と異なる点を中心に説明する。

＜チャット情報の取得＞
番組録画時に、番組に関連するテレビチャットにおいて番組放送と並行して交わされているチャット発言をリアルタイムに取得する処理は、図3を用いて説明した実施例1の処理と同等である。但し、ステップS305においてチャット情報受信部112がチャット管理サー
バから取得する情報には、チャット入力開始タイミングは含まれない。従って、ステップS306において録画管理部1101に送出する情報にもチャット入力開始タイミングは含まれない。

＜チャット情報の記録＞
図12は、チャット情報受信部112から取得したチャット情報を、録画中の番組の番組相
対時刻と関連付けて記録する処理を表すフローチャートである。この処理は録画管理部1101、チャット入力時間推測部1102及びチャット記録部115によって実行される。

ステップS1201〜ステップS1204の処理内容は、実施例1で説明した図4のフローチャートのステップS401〜ステップS404の処理内容と同等である。また、ステップS1207〜ステッ
プS1208の処理内容は、実施例1で説明した図4のフローチャートのステップS405〜ステッ
プS406の処理内容と同等である。すなわち、図12の処理内容は、実施例1で説明した図4のフローチャートにおいて、録画が終了した場合にチャット情報のソート及びソート番号の付与の処理を行なう前に、ステップS1205及びステップS1206の処理を追加したものである。
ステップS1205において、録画管理部1101は、チャット記録部115に記録したチャット発言内容をチャット入力時間推測部1102へ送出する。
ステップS1206において、チャット入力時間推測部1102は、録画管理部1101から取得し
たチャット発言内容に基づいて、チャット入力に要した時間を推測し、当該推測したチャット入力時間の推測値を録画管理部1101へ送出する。録画管理部1101は、チャット入力時間推測部1102から取得したチャット入力時間の推測値と、ステップS1203で取得した番組
相対時刻との差を算出し、当該算出した値をチャット入力開始タイミングとする。このようにしてチャット入力開始タイミングを算出する処理を行なう録画管理部1101が、本発明における「算出部」に相当する。

＜チャット入力時間推測処理＞
図13は、チャット入力時間推測部1102が、録画管理部1101から取得したチャット発言内容に基づいてチャット入力に要した時間を推測する処理の一例を示す。この処理例では、文字の種類や数に応じてその文字を入力するのに要する時間の典型的な値を予め定めておき、チャット発言内容のテキストの文字構成に基づいて当該チャット発言全体を入力するのに要した時間を推測する。

図13において、文字1301は、文字種を表す。
変換1302は、文字の入力に際し仮名漢字変換操作が必要か否かの別を表す。
連続数1303は、文字種が「漢字」の場合にのみ有効な項目であり、漢字が連続する部分の文字数を表す。例えば、「花」の連続数は1文字、「花粉」の連続数は2文字、「花粉症」の連続数は3文字である。
タイプ数1304は、文字の入力に要するキーの押下数を表す。この数値は、各文字種についての典型的な値を設定値としている。文字種が「平仮名」「片仮名」「アルファベット」の文字については、タイプ数1304の値は、1文字の入力に要するキー押下数を表し、平
仮名と片仮名は1文字につきタイプ数2、アルファベットは1文字につきタイプ数2とした。文字種が「アスキーアート」の文字については、タイプ数1304の値は、1組のアスキーア
ートの入力に要するキー押下数を表し、この例ではタイプ数8とした。文字種が「漢字」
の文字については、タイプ数を連続数1303の4倍に設定した。なお、これらのタイプ数の
値は一例であって、図13に例示した値に限定されない。
時間1305は、文字の入力に要する時間を表す。図13の例では、入力時間は、変換1302とタイプ数1304に基づいて「δ＋T*0.125」で算出する。ここで、δは変換1302が「要」な
ら1、「不要」なら0をとる変数である。変換が「要」の場合のδ＝１とは、変換に要する典型的な時間を1秒と見積もっていることを表す。なお、この見積もり値は1秒に限定されない。Tはタイプ数1304の値であり、T*0.125とは、タイプ数1回に要する典型的な時間を0.125秒と見積もっていることを表す。なお、この見積もり値は0.125秒に限定されない。
文字種「平仮名」及び「片仮名」は変換「不要」でタイプ数「2」であるから、文字入
力時間は1文字につき0.25秒である。文字種「アルファベット」は変換「不要」でタイプ
数「1」であるから、文字入力時間は1文字につき0.125秒である。文字種「アスキーアー
ト」は変換「要」でタイプ数「8」であるから、文字入力時間は1組につき2秒である。文
字種「漢字」は変換「要」でタイプ数は連続数Xの場合「4X」であるから、連続数Xの場合の文字入力時間は（1＋4X*0.125）秒である。

一例として、テキスト内容が「花です」、「花粉だ(ToT)」、「花粉症ですハクション
」であるチャット発言の入力時間の推測値の算出について説明する。
チャット発言「花です」のテキスト構成は、連続数1の漢字が1つと、平仮名2文字であ
る。よって、このチャット発言の入力時間は、漢字1.5秒＋平仮名0.25秒×2＝2秒と推測
される。
チャット発言「花粉だ(ToT)」のテキスト構成は、連続数2の漢字が1つ、平仮名1文字及びアスキーアート1つである。よって、このチャット発言の入力時間は、漢字2秒＋平仮名0.25秒＋アスキーアート2秒＝4.25秒と推測される。
チャット発言「花粉症ですハクション」のテキスト構成は、連続数3の漢字が1つ、平仮名2文字及び片仮名5文字である。よって、このチャット発言の入力時間は、漢字2.5秒＋
平仮名0.25秒×2＋片仮名0.25秒×5＝4.25秒と推測される。

以上説明したようにチャット発言内容からチャット入力に要した時間を推測することができる。そして、チャット入力開始タイミングからチャット入力に要した時間経過した時にチャット発言が行なわれた、と考え、チャット発言タイミングからチャット入力に要した時間を減算することによってチャット入力開始タイミングを算出する。録画管理部1101は、チャット情報受信部112から取得したチャット情報と、チャット入力時間推測部1102
が以上説明した処理によって算出したチャット入力開始タイミングと、を関連付けてチャット記録部115へ記録する。

以降の処理は実施例１と同等であるから説明を割愛する。

本実施例の映像処理装置1100によれば、チャット管理サーバからチャット入力開始タイミングを取得しない構成でも、録画番組とテレビチャットとの同時視聴において、チャット情報をチャット入力開始タイミングで表示させることが可能になる。従って、録画番組の再生時に、番組映像内容とチャット発言内容との内容が整合しない状態になることを抑制できる。

以上、チャット発言内容のテキストの文字構成に基づいてチャット入力時間を推測する例について説明したが、アイコン、絵文字、フォント、文字色等を設定することが可能なテレビチャットの場合には、それらを考慮してチャット入力時間を推測しても良い。また、テレビチャットにおける処理のオーバーヘッドやチャット管理サーバとクライアント間のチャット情報送受信に要する時間を更に考慮してチャット入力時間を推測しても良い。

（実施例3）
本発明の映像処理装置の第3の実施例について図を用いて説明する。本実施例の映像処
理装置は、デジタルテレビやテレビ番組受信機能付きのパーソナルコンピュータ等に適用できる。

本実施例は、現在放送中の番組の視聴時に、番組映像と、番組に関連するテレビチャットで番組放送と並行して交わされているチャット発言と、を同時に出力する映像処理装置である。実施例1及び2は、録画した番組の再生時に番組映像とテレビチャットとを同時に出力する映像処理装置であった点で、本実施例の映像処理装置とは相違する。本実施例の映像処理装置の特徴点は、番組視聴時に、番組映像及び音声の出力を所定の遅延時間だけ遅延させて表示し、チャット発言をリアルタイムに表示することによって、番組時間軸上におけるチャット発言の位置を早める点である。以下、詳細に説明する。

＜構成＞
図14は、本実施例に係る映像処理装置1400の構成を示す図である。図14において、図1
で説明した実施例1の映像処理装置100の構成要素と同等の機能を有する構成要素については、図1と同一の名称及び符号を付し、説明を省略する。以下、実施例1との相違点を中心に説明する。

本実施例の映像処理装置1400には実施例1の映像処理装置100の録画再生関係の構成要素（録画管理部、録画記録部、チャット記録部及びチャット出力制御部）に相当する構成要素は無い。チャット情報受信部、タイマー部及びシステム制御部はそれぞれ処理内容が実施例1と異なるので、本実施例では実施例1とは異なる符号を付し、それぞれチャット情報受信部1401、タイマー部1403及びシステム制御部1404とする。
映像音声データバッファ部1402は、番組映像データ及び音声データを一時的に蓄積するバッファリング機能を有する。詳細については後述する。本実施例の映像音声データバッファ部1402が、本発明における「バッファ部」に相当する。
視聴者がリモコン109で番組視聴と同時にテレビチャットを視聴する操作を行なうと、
リモコン109はテレビチャット同時視聴要求信号を赤外線受光部110へ送出する。
赤外線受光部110は、リモコン109から取得した信号をシステム制御部1404へ送出する。

＜番組の視聴とチャット情報の同時表示について＞
＜チャットの有無確認＞
図15は、番組を視聴する際に、番組に関連して番組放送と並行して行なわれているテレビチャットの有無を確認し、テレビチャットの同時視聴を行なうか決定する処理を表すフローチャートである。この処理はシステム制御部1404によって実行される。
ステップS1501において、システム制御部1404は、赤外線受光部110からテレビチャットの同時視聴要求を取得すると、番組映像とテレビチャットとを同時に表示するための動作を開始する。
ステップS1502において、システム制御部1404は、メインデコード部103からSIを取得し、SIのEITに含まれる番組名情報に基づいて、テレビチャット同時視聴要求を受けた番組
を識別する。
ステップS1503において、システム制御部1404は、ステップS1502で識別した番組に関連するテレビチャットがネットワーク111上に有るかをチャット管理サーバに問い合わせる
。ステップS1503において、システム制御部1404は、ステップS1502で識別した番組の情報をチャット管理サーバへ送出する。チャット管理サーバは、システム制御部1404からから問い合わせを受けた番組に関連するテレビチャットの有無情報をチャット情報受信部1401へ送出する。
ステップS1504において、チャット情報受信部1401は、ステップS1503で取得したテレビチャットの有無情報に基づいて、テレビチャット同時視聴要求を受けた番組に関連したテレビチャットがネットワーク111上に有るか判定する。なお、テレビチャットの有無判定
をSIの記述子を参照して行なうこともできる点は実施例1で説明した通りである。判定方
法は特に限定されない。テレビチャット同時視聴要求を受けた番組に関連するテレビチャットが有る場合（S1504:Yes）、システム制御部1404は、ステップS1505の処理を実行する。一方、テレビチャット同時視聴要求を受けた番組に関連するテレビチャットが無い場合（S1504:No）、システム制御部1404は、ステップS1506の処理を実行する。
ステップS1505において、システム制御部1404は、番組の映像とテレビチャットとを同
時表示するための処理を開始する。
ステップS1506において、システム制御部1404は、番組に関連するテレビチャットは無
い旨をモニタ108上に表示させる処理を行なう。

＜チャット情報の取得＞
チャット情報受信部1401が、番組の視聴と同時に、番組に関連するテレビチャットにおいて番組放送と並行して交わされているチャット発言をリアルタイムに取得する処理については、実施例1で図3のフローチャートに基づいて説明した処理と同等である。但し、実施例1では、チャット情報受信部はチャット管理サーバから取得したチャット情報を録画
管理部113へ送出したが、本実施例では、チャット情報受信部1401は取得したチャット情
報を画面合成部105へ送出する。画面合成部105は、メインデコード部103から取得した番
組映像と、チャット情報受信部1401から取得したチャット情報と、を合成し、合成した映
像データを映像出力部106へ送出する。これにより、モニタ108には、番組映像が表示される映像画面と、テレビチャットが表示されるチャット画面と、が同一画面上に表示される。このように、チャット情報受信部1401がチャット管理サーバから新たなチャット情報を取得した時点で当該チャット情報は即座にモニタ108上に表示される。

＜チャット情報との同時視聴において、番組映像を遅延させて表示する＞
図16は、番組の映像及び音声を遅延させて映像出力部106及び音声出力部104へ送出するために番組の映像データ及び音声データをバッファリングする処理を表すフローチャートである。この処理は映像音声データバッファ部1402によって実行される。
ステップS1601において、映像音声データバッファ部1402は、システム制御部1404から
テレビチャット同時視聴要求を取得すると、ステップS1602に進む。
ステップS1602において、映像音声データバッファ部1402は、タイマー部1403へ遅延時
間のカウントを開始するように要求する。
ステップS1603において、映像音声データバッファ部1402は、メインデコード部103から取得した映像データ及び音声データのバッファリングを開始する。タイマー部1403は、映像音声データバッファ部1402から遅延時間のカウント開始要求を取得すると、遅延時間のカウントを開始し、予め設定された遅延時間が経過した時点で、映像音声データバッファ部1402へ遅延時間が経過した旨を通知する。遅延時間としては、実施例2で用いたチャッ
ト入力に要する時間（チャット入力時間）の平均値を予め調べて映像処理装置1400に記憶させておき、この値を用いる。なお、遅延時間は、チャット管理サーバから取得するようにしても良い。或いは、視聴者が任意の値を設定できるようにしても良い。遅延時間の設定方法は、特に限定されない。
ステップS1604において、映像音声データバッファ部1402は、遅延時間が経過したか判
定する。遅延時間が経過していない場合（S1604:No）、映像音声データバッファ部1402は映像データ及び音声データのバッファリングを継続する。遅延時間が経過した旨の通知をタイマー部1403から取得した場合（S1604:Yes）、映像音声データバッファ部1402はステ
ップS1605に進む。
ステップS1605において、映像音声データバッファ部1402は、テレビチャット同時視聴
を終了する要求が有るか判定する。テレビチャット同時視聴を終了する要求が有った場合（S1605:Yes）、映像音声データバッファ部1402はステップS1607に進む。テレビチャット同時視聴を終了する要求が無い場合（S1605:No）、映像音声データバッファ部1402はステップS1606に進む。
ステップS1606において、映像音声データバッファ部1402は、番組の映像及び音声のデ
ータをバッファするとともに、バッファ内の映像及び音声のデータをFIFO（First In, First Out）方式でメインデコード部103へ送出する。そして、テレビチャット同時視聴の終了要求の監視を継続する。
ステップS1607において、映像音声データバッファ部1402は、番組の映像データ及び音
声データのバッファリングを終了する。
ステップS1608において、映像音声データバッファ部1402は、バッファ内の映像データ
及び音声データが全てメインデコード部103へ送出されたか判定し、全て送出した時点で
本フローチャートの処理を終了する。

以上の処理を行うことで、番組映像及び音声とテレビチャットとの同時視聴において、遅延時間分遅れた番組映像及び音声とリアルタイムのチャット発言とが同期して表示されることになる。従って、リアルタイムの番組映像及び音声とリアルタイムのチャット発言とが同期して表示される場合よりも、番組時間軸上におけるチャット発言が表示されるタイミングが早くなる。これにより、チャット発言が言及しているイベントの表示タイミングから当該チャット発言の表示タイミングまでの遅延を短縮することができる。よって、番組映像の内容とチャット発言の内容との関連が視聴者にとってより分かりやすいテレビチャット同時視聴を提供することが可能となる。

図17は、番組視聴時に番組映像とテレビチャットとを同時視聴する場合に、遅延させた番組映像と、リアルタイムで取得したチャット発言と、を同期させて表示することの利点を説明するための図である。ここでは、実施例1の図10で説明した例と同様、一定時間花
の映像が表示された後、花とは別の映像が表示される番組を例に説明する。

番組視聴時、テレビチャットに参加しているある視聴者は、映像に表示された花に興味を持ち、この花について「綺麗な花ですね」というチャット発言を行なうべく、このチャット発言内容のテキスト入力を開始した（チャット入力開始タイミングA）。この視聴者
がチャット発言内容のテキストの入力を完了し、テレビチャットに対してこのテキストを送信することにより、チャット管理サーバのチャット情報が更新される。この時点でチャット情報受信部1401がこの新たなチャット情報を取得し、画面合成部105に送出すること
により、このチャット発言がチャット画面に表示される（チャット発言タイミングB）。
図17に示すように、視聴者が花の映像イベントを契機としてチャット発言の入力を開始してから、そのチャット発言が実際にチャット画面に表示されるまでには、チャット入力に要する時間に相当する遅延Δtが有る。番組の進行や遅延Δtの長さによっては、図17に示すように、チャット発言が実際にチャット画面に表示された時点で、既に番組映像は花とは別の映像に変わってしまっている状況が起こり得る。この場合、リアルタイムの番組映像とリアルタイムのチャット発言とを同時に視聴している視聴者は、チャット画面に表示されたチャット発言が何について言及したものかわかりにくい。

これに対し、本実施例の映像処理装置1400によれば、図17に示すように、遅延時間分遅らせた番組映像とリアルタイムのチャット発言とが同時に表示される。これにより、本実施例の映像処理装置1400の出力映像においては、チャット発言が表示されるタイミングの番組時間軸上での位置が遅延時間分早められ、チャット入力開始タイミングからチャット発言タイミングまでの遅延が短縮される（Δt’）。その結果、チャット発言の契機とな
った花の映像イベントの存続中に当該チャット発言が表示されるようになり、表示されたチャット発言が何について言及したものか分りやすくなる。

なお、本実施例に係る、番組映像を遅らせることによって番組時間軸上におけるチャット発言タイミングを早くする方法は、放送中の番組視聴時のみならず、実施例1及び2のような録画番組の再生時にも適用可能である。例えば、図1において、録画管理部113は、録画番組の再生要求を取得してから、録画記録部114から画面合成部105への番組映像の送出を開始するまでの間に、上述したように設定される遅延時間を設ける。一方、チャット出力制御部116は、チャット記録部115に記録されたチャット情報からチャット発言タイミングを取得し、録画番組の再生要求を取得してからの経過時間がチャット発言タイミングに達した時点で、画面合成部105へチャット発言を送出する。言い換えると、番組冒頭を基
準とする番組時間軸上ではなく、録画番組の再生開始時を基準とする時間軸上のチャット発言タイミングに対応するタイミングにおいてチャット発言を送出する。これにより、チャット発言が送出されるタイミングの再生中の番組の番組時間軸上での位置は、放送時の番組の番組時間軸上におけるチャット発言タイミングの位置よりも早くなる。よって、番組映像とチャット発言との同期態様は図17と同等になる。

100:映像処理装置、106:映像出力部、114:録画記録部、115:チャット記録部

Claims (8)

1. 番組を録画する録画記録部と、
   前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれたチャット発言と、該番組の放送時に視聴者がチャット発言の入力を開始したタイミングであるチャット入力開始タイミングと、を記録するチャット記録部と、
   前記録画記録部に録画された番組の再生時に、該番組の映像と前記チャット記録部に記録された該番組に関連するチャット発言とを同時に出力する映像出力部と、
   を備え、
   前記映像出力部は、再生中の番組の前記チャット入力開始タイミングに対応する再生位置において前記チャット発言を出力することを特徴とする映像処理装置。
2. 番組を録画する録画記録部と、
   前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれたチャット発言と、該番組の放送時にチャット発言が行なわれたタイミングであるチャット発言タイミングと、を記録するチャット記録部と、
   視聴者がチャット発言の入力に要した時間であるチャット入力時間を推測し、前記記録したチャット発言タイミングから該推測したチャット入力時間を減算することによって、該番組の放送時に視聴者がチャット発言の入力を開始したタイミングであるチャット入力開始タイミングを算出する算出部と、
   前記録画記録部に録画された番組の再生時に、該番組の映像と前記チャット記録部に記録された該番組に関連するチャット発言とを同時に出力する映像出力部と、
   を備え、
   前記映像出力部は、再生中の番組の前記チャット入力開始タイミングに対応する再生位置において前記チャット発言を出力することを特徴とする映像処理装置。
3. 放送中の番組の映像及び音声を一時的に蓄積するとともに、該番組が放送された時刻から所定の遅延時間だけ遅延させたタイミングで前記蓄積した映像及び音声を出力するバッファ部と、
   前記放送中の番組の視聴時に、前記バッファ部より出力される映像と、該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれているチャット発言と、を同時に出力する映像出力部と、
   を備え、
   前記映像出力部は、前記番組の放送時にチャット発言が行なわれたタイミングで該チャット発言を出力することを特徴とする映像処理装置。
4. 番組を録画する録画記録部と、
   前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれたチャット発言と、該番組の放送時にチャット発言が行なわれたタイミングであるチャット発言タイミングと、を記録するチャット記録部と、
   前記録画記録部に録画された番組の再生時に、該番組の映像と前記チャット記録部に記録された該番組に関連するチャット発言とを同時に出力する映像出力部と、
   を備え、
   前記映像出力部は、前記番組の再生開始時から所定の遅延時間だけ遅延させて該番組の映像の出力を開始するとともに、再生開始時を基準とする時間軸上の前記チャット発言タイミングに対応するタイミングにおいて前記チャット発言を出力することを特徴とする映像処理装置。
5. 番組を録画する録画記録工程と、
   前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して
   行なわれたチャット発言と、該番組の放送時に視聴者がチャット発言の入力を開始したタイミングであるチャット入力開始タイミングと、を記録するチャット記録工程と、
   前記録画記録工程で録画された番組の再生時に、該番組の映像と前記チャット記録工程で記録された該番組に関連するチャット発言とを同時に出力する映像出力工程と、
   を備え、
   前記映像出力工程は、再生中の番組の前記チャット入力開始タイミングに対応する再生位置において前記チャット発言を出力することを特徴とする映像処理方法。
6. 番組を録画する録画記録工程と、
   前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれたチャット発言と、該番組の放送時にチャット発言が行なわれたタイミングであるチャット発言タイミングと、を記録するチャット記録工程と、
   視聴者がチャット発言の入力に要した時間であるチャット入力時間を推測し、前記記録したチャット発言タイミングから該推測したチャット入力時間を減算することによって、該番組の放送時に視聴者がチャット発言の入力を開始したタイミングであるチャット入力開始タイミングを算出する算出工程と、
   前記録画記録工程で録画された番組の再生時に、該番組の映像と前記チャット記録工程で記録された該番組に関連するチャット発言とを同時に出力する映像出力工程と、
   を備え、
   前記映像出力工程は、再生中の番組の前記チャット入力開始タイミングに対応する再生位置において前記チャット発言を出力することを特徴とする映像処理方法。
7. 放送中の番組の映像及び音声を一時的に蓄積するとともに、該番組が放送された時刻から所定の遅延時間だけ遅延させたタイミングで前記蓄積した映像及び音声を出力するバッファ工程と、
   前記放送中の番組の視聴時に、前記バッファ工程で出力される映像と、該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれているチャット発言と、を同時に出力する映像出力工程と、
   を備え、
   前記映像出力工程は、前記番組の放送時にチャット発言が行なわれたタイミングで該チャット発言を出力することを特徴とする映像処理方法。
8. 番組を録画する録画記録工程と、
   前記番組の放送時に該番組に関連するテレビチャットにおいて該番組の放送と並行して行なわれたチャット発言と、該番組の放送時にチャット発言が行なわれたタイミングであるチャット発言タイミングと、を記録するチャット記録工程と、
   前記録画記録工程で録画された番組の再生時に、該番組の映像と前記チャット記録工程で記録された該番組に関連するチャット発言とを同時に出力する映像出力工程と、
   を備え、
   前記映像出力工程は、前記番組の再生開始時から所定の遅延時間だけ遅延させて該番組の映像の出力を開始するとともに、再生開始時を基準とする時間軸上の前記チャット発言タイミングに対応するタイミングにおいて前記チャット発言を出力することを特徴とする映像処理方法。

Images