JP2006270634A - デジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システム - Google Patents
デジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システム Download PDFInfo
- Publication number
- JP2006270634A JP2006270634A JP2005087112A JP2005087112A JP2006270634A JP 2006270634 A JP2006270634 A JP 2006270634A JP 2005087112 A JP2005087112 A JP 2005087112A JP 2005087112 A JP2005087112 A JP 2005087112A JP 2006270634 A JP2006270634 A JP 2006270634A
- Authority
- JP
- Japan
- Prior art keywords
- stream
- signature information
- digital broadcast
- signature
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】 格納する時系列ストリームを再生する為の、異なる場所に存在する2つ以上の記録再生装置が、同一コンテンツを同期再生できるようにするデジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システムを提供する。
【解決手段】 本発明のデジタル放送同期再生装置は、圧縮映像ストリームを格納するストリーム記憶手段7、ストリーム記憶手段より取得する圧縮映像ストリーム内のフレーム構造を分析し、フレーム単位にフレームのビット列の一部から、ビット列より短いビット列であるシグニチャ情報を生成するシグニチャ生成手段12、通信ネットワークを介して他装置側にシグニチャ情報を送信し、他装置側よりシグニチャ情報を受信する通信手段15、受信するシグニチャ情報列とストリーム記憶手段に格納されるシグニチャ情報列とを比較し、比較結果に従って同期再生を行う同期手段14とを備える。
【選択図】 図2
【解決手段】 本発明のデジタル放送同期再生装置は、圧縮映像ストリームを格納するストリーム記憶手段7、ストリーム記憶手段より取得する圧縮映像ストリーム内のフレーム構造を分析し、フレーム単位にフレームのビット列の一部から、ビット列より短いビット列であるシグニチャ情報を生成するシグニチャ生成手段12、通信ネットワークを介して他装置側にシグニチャ情報を送信し、他装置側よりシグニチャ情報を受信する通信手段15、受信するシグニチャ情報列とストリーム記憶手段に格納されるシグニチャ情報列とを比較し、比較結果に従って同期再生を行う同期手段14とを備える。
【選択図】 図2
Description
本発明は、デジタルテレビ放送の受信もしくはDVD等の外部記録媒体の読み込みによって時系列ストリームを記録媒体に記録し、ユーザの必要に応じて再生する記録再生装置に関し、異なる場所に存在する2つ以上の記録再生装置が同一コンテンツを同期再生できるようにするデジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システムに関する。
近年、個人がテレビキャプチャーカード付きパーソナルコンピュータやカメラ付き携帯電話を用いて、テレビ番組を画像又は映像ファイルに変換し、不特定多数の人がアクセス可能な情報センタサーバに蓄積および公開することが可能となっている。個人は、テレビ番組の決定的シーンを表した画像や映像等のファイルと、それに関連づけられた文章ファイルに自らの意見などを記述し、公開することで、テレビ番組の放映が終わった後に、別の場所に居る他人とテレビ番組という共通の話題についてコミュニケーションを図ることができる。最近では、画像アップロード機能付き電子掲示板を備えた情報センタサーバも増えてきており、より簡単なインタフェースで、画像ファイルと文章ファイルを、情報センタサーバへ登録することができる。
この情報センタサーバを介したコミュニケーションを可能とする現在の技術背景について説明する。第1に、映像や音声等の各種情報信号をデジタル化して信号処理する技術がめざましく進歩し、これに伴ってデジタル放送システムが各国で導入された。2003年12月より、東京、名古屋、大阪地区において、地上デジタル放送が一斉に開始された。デジタル放送システムは、HD(ファイデフィニション=高精細)TVによる高画質放送、データ放送などの付加サービス、多チャンネル放送などの特徴がある。
第2に、デジタル化された映像信号及び音声信号やその他の情報データ等を圧縮処理する技術が急速に開発された。現在、このデータ圧縮処理技術の規格としては、ISO(国際標準化機構)/IEC(国際電気標準会議)13818[ISO/IEC JTC(ジョイントテクニカルコミッティ)1/SC(サブコミッティ)に9/WG(ワーキンググループ)11]で提案されているMPEG(ムービングピクチャエキスパートグループ)方式が主流となっている。主に放送では、MPEGビデオストリームとMPEGオーディオストリームを、互いの再生同期がとれるように時間軸方向に多重化した、MPEG2−TSストリームが用いられている。
MPEG−TSストリームの記録再生の構成例として特許第3146969号の「デジタル放送受信端末装置」が挙げられる。この発明では、パケットを多重化してなるデジタルデータのビットストリームに基づいて得たデジタル放送波を受信するデジタル放送受信端末装置について、所定の番組情報を分離し、ユーザに提示し、受信対象番組(チャンネル)を選択し、選択した受信対象番組のパケットのみをデコーダに与えて映像化したり、記録再生装置に与えて録画できるようにする技術について開示している。
第3に、ユーザは、デジタル放送受信端末装置にてライブ視聴するほかに、VDR(ビデオディスクレコーダ)、HDR(ハードディスクレコーダ)等の記録再生装置を用いてコンテンツの記録及び再生を行うことで、所望の時刻に所望のコンテンツを視聴することができるようになった。
第4に、最近の電話サービスは、電話会社間の競争やIP電話の普及によって低廉化が進んでいる。特に、IP電話サービスでは、同一事業者間の通話は定額制になっているものが多い。よってユーザは、遠隔地の家族、友達等と電話を用いて長時間会話したり、会話をしながら同一のテレビ番組を視聴したりすることが気軽に出来るようになっている。
第5に、インターネットに類する通信ネットワークの爆発的な普及に伴い、個人がWeb(ワールドワイドウェブ)等のハイパーテキストを主体とした情報サービスを用いて、情報を発信することが可能となった。ハイパーテキストは、HTML(パイパーテキストマークアップランゲッジ)にて、リンク情報と呼ばれる別ファイルへの参照関係を記述することによって、文章,静止画,映像,音声その他のメディアを有機的に結合させて、ユーザに提供することができる。また、Webブラウザは、アプリケーションソフトウェアであり、ハイパーテキストを読み込みして参照関係を解析し、必要であれば通信ネットワークを介して別ファイルを取得し、表示手段に沿う形でレンダリング(画像化)し、ユーザに提供することができる。また、上述した情報センタサーバは、Webブラウザが参照する資源を保存するために各地に設けられている。Webサーバ間同士は、通信ネットワークで結ばれており、HTTP(ハイパーテキストトランスファプロトコル)に類する通信プロトコルを送受信することによって、様々なデータを内包したファイルの送受信を行うことができる。情報センタサーバに蓄積されたファイルは、URI(ユニフォームリソースアイデンティファイア)にて、世界中で一意となる資源識別子によって特定され、URIを指定することによって世界中に情報を発信することが可能となる。
このように、個人によって、一方向にテレビより情報を受信するのみでなく、テレビ番組について情報センタサーバに自らの意見等を公開することで、他人と共通の話題についてコミュニケーションを図ることができる環境が整ってきている。
更に、環境の整備に伴い情報センタサーバや個人の記録再生装置に蓄積するデジタル放送等の画像及び映像が膨大になると、所望の画像及び映像を短時間で検索する必要が出てくる。
従来、画像及び映像の識別方法としては、動画像の特徴量を利用したマルチメディア情報処理システムが開発されている。例えば、検索対象のビデオからフレーム画像を抽出し、該フレーム画像の特徴量を計算し、該特徴量に対応してフレーム画像に対してテーブル上で一意となるコードを割り当て、該ビデオを該フレーム画像の列に対応してコード列化し、該コード列と予めデータベースに格納された複数のビデオに対応するコード列との照合するビデオの検索手法について開示されている(特許文献1参照。)。
特許第3340532号公報
しかしながら、年々記憶媒体は巨大化しており、特許文献1の手法により巨大容量のコンテンツが蓄積された記憶媒体より、短時間にて所望のコンテンツを検索することは困難である。例えば、特許文献1の検索方式を数千個のコンテンツに適用した場合、検索用コードの列の生成に膨大な時間がかかってしまうこととなる。更に、巨大容量のコンテンツが蓄積された記憶媒体より、短時間にて所望のコンテンツを検索するには、この他にも諸問題が発生する可能性がある。詳細は後述する。
本発明は、上記の問題点に鑑みてなされたものであり、デジタル放送の受信若しくは外部記録媒体の読み込みによって時系列ストリームを巨大記録媒体に記録し、ユーザの必要に応じて再生する記録再生装置に関し、異なる場所に存在する2つ以上の記録再生手段が同一コンテンツを同期再生できるようにするデジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システムを提供することを目的とする。
上記の目的を達成するために、本発明の第1の特徴は、[イ]少なくともデジタル放送の再生処理を行う他装置と、通信ネットワークを介して通信可能に接続されるデジタル放送同期再生装置であって、デジタル放送を受信して圧縮映像ストリームを取得するストリーム制御手段(4)と、[ロ]圧縮映像ストリームを格納するストリーム記憶手段(7)と、[ハ]ストリーム記憶手段より取得する圧縮映像ストリーム内のフレーム構造を分析し、フレーム単位にフレームのビット列の一部から、ビット列より短いビット列であるシグニチャ情報を生成するシグニチャ生成手段(12)と、[ニ]通信ネットワークを介して他装置側にシグニチャ情報を送信し、他装置側よりシグニチャ情報を受信する通信手段(15)と、[ホ]受信するシグニチャ情報列と、ストリーム記憶手段に格納されるシグニチャ情報列とを比較し、比較結果に従って同期再生を行う同期手段(14)とを備えるデジタル放送同期再生装置であることを要旨とする。
本発明の第1の特徴は、更に、[ヘ]通信手段(18)は、通信ネットワークにて発生する伝送遅延を測定し、[ト]同期手段(19)は、圧縮映像ストリームより成るコンテンツの頭出し時刻に伝送遅延を加算することを加えても良い。
本発明の第2の特徴は、[イ]少なくともストリーム再生処理を行う他装置と、通信ネットワークを介して通信可能に接続されるストリーム同期再生装置であって、時系列を伴うコンテンツから生成されたストリームを格納するストリーム記憶手段と、[ロ]記憶手段より取得するストリームのフレーム構造を分析し、フレーム単位にフレームビット列の一部から、フレームビット列より短く、かつフレームビット列の特徴を表現しうるシグニチャ情報を生成し、シグニチャ情報をコンテンツの時系列に沿って並べたシグニチャ情報列を、ストリーム記憶手段に格納するシグニチャ生成手段と、[ハ]ストリーム記憶手段より取得するシグニチャ情報列の一部を通信ネットワークを介して他装置側に送信し、他装置側より受信するシグニチャ情報列の一部に該当するストリームの時間的位置を特定する通信手段と[ニ]他装置側より受信するシグニチャ情報列の一部と、ストリーム記憶手段に格納されているシグニチャ情報列を比較してストリームの同期をとる同期手段とを備えるストリーム同期再生装置であることを要旨とする。
本発明の第3の特徴は、[イ]コンテンツの圧縮映像ストリームの一部に対応したシグニチャ情報列の一部を含むコンテンツに関する情報を格納する情報センタサーバ(210)と、[ロ]デジタル放送を受信して圧縮映像ストリームを取得するストリーム制御手段(4)、圧縮映像ストリームを格納するストリーム記憶手段(7)、ストリーム記憶手段より取得する圧縮映像ストリーム内のフレーム構造を分析し、フレーム単位にフレームのビット列の一部から、ビット列より短いビット列であるシグニチャ情報を生成するシグニチャ生成手段(12)、通信ネットワークを介して情報センタサーバからシグニチャ情報を受信する通信手段(22)、受信するシグニチャ情報列と一致するシグニチャ情報列をストリーム記憶手段から検索する検索手段(23)とを有するデジタル放送同期再生装置(205)とを備えるストリーム同期再生システムであることを要旨とする。
本発明のデジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システムによると、
(1)ユーザは、簡便な操作で、遠隔地の別のユーザが視聴しているテレビ番組と、自己のデジタル放送同期再生装置に録画されたテレビ番組とを同期再生することができる。
(1)ユーザは、簡便な操作で、遠隔地の別のユーザが視聴しているテレビ番組と、自己のデジタル放送同期再生装置に録画されたテレビ番組とを同期再生することができる。
(2)ユーザ間で伝送されるシグニチャ情報が要する帯域は、番組コンテンツの品質に依存せず、概ね1Kbps以下であって、HDTV MPEG−TSストリームを直接伝送する方式と比較して、約1/104の帯域で、双方のユーザに大した再生同期ずれなく同一のコンテンツを視聴させることができる。
(3)放送局によってCM等の番組編成が異なる場合でも、ユーザが同期の外れたことを知覚した時点で、簡便な操作でテレビ番組同士の同期をとることができる。
(4)ネットワーク上にテレビ番組コンテンツを伝送しないため、著作権保護の問題を発生させないことができる。
(5)圧縮映像ストリームをデコードし、非圧縮画像データに変換してから、特徴量を抽出する必要がなく、直接圧縮映像ストリームからシグニチャ情報を生成するため、低処理量且つ低メモリ帯域で済み、廉価なデジタル放送同期再生装置を実現できる。
(6)情報センタサーバには、テレビ番組コンテンツから生成された画像又は映像ファイルが登録されないため、著作権者が多数の情報センタサーバへの逐一長期間監視を不要にすることができる。
(7)情報センタサーバに登録するシグニチャ情報列ファイルは、画像又は映像ファイルの1/3333〜1/105のファイルサイズであり、情報センタサーバの記憶容量を圧迫することを防ぐことができる。
(8)情報センタサーバに登録するシグニチャ情報列ファイルは、画像又は映像ファイルの1/3333〜1/105のファイルサイズであり、複数の登録画像又は映像ファイルを連続的に閲覧したとしても、回線帯域を長時間占有することがなく、待ち時間に対するユーザのストレスを無くすことができる。
年々、記録再生装置内の記憶媒体の容量は増加している。記憶媒体としての一般的なハードディスクドライブの容量は、1年で約2倍のペースで増加している。例えば、記憶媒体として250〜600ギガバイトのハードディスクドライブを搭載したHDRに類する記録再生装置では、SDTV(スタンダードデフィニションテレビジョン:標準TV)品質コンテンツを100時間以上、HDTV品質コンテンツを50時間以上記録できる。数年後には、HDTV品質コンテンツを数百〜数千時間分記録できる記録再生装置が市販されることが予想される。以下においては、このように巨大記憶容量を備える記録再生装置が市販され、それを使用することを前提として説明する。
現状、既に、ユーザが能動的にコンテンツ記録を指示する、つまりテレビ番組コンテンツであれば録画予約する等の用途においては、記憶容量は充足していると言える。数千時間記録できても、ユーザの可処分時間(記録されたコンテンツを視聴する時間)が増加しない限り、おのずと視聴できるコンテンツ量には限界がある。
今後の巨大記憶容量を備える記録再生装置の活用方法としては、記録再生装置が、ユーザの指示を待たずに自動的にコンテンツを取得して記録する、つまりテレビ番組コンテンツであれば自動録画しておき、ユーザは後で必要に応じて検索してから一部分を視聴するという方法が考えられる。このような自動記録又は自動録画においては、コンテンツ検索方式が重要となる。
現在、HDRが備えるコンテンツ検索方式では、ユーザにコンテンツに関連付けられたタイトル名や録画開始日時やコンテンツの映像を加工したサムネイル画像などを画面上の縦または横にリスト状に提示し、対話選択入力させるリスト表示方式が主流である。
今後における巨大記憶容量を備える記録再生装置が自動的にコンテンツを取得して、数日〜数十日分のデジタル放送を記録する場合に、ユーザが記録したコンテンツを視聴しようとする前段階は現在とは変化する。つまり、友人等からの電話、電子メール、インターネットチャット等によるコミュニケーションがある場合に視聴欲求が発生することが多いと想定される。例えば、遠隔地に住む家族や友人等から突然電話がかかってきて、「録画したコンテンツが大変おもしろいので、電話で話しながら一緒に見よう」と持ちかける場合等がある。
このような突発的な欲求に対応する自然なコンテンツ検索方式として、遠隔地の記録再生装置が再生しているコンテンツが、そのまま大した再生同期ずれなく、ユーザ手元の記録再生装置で再生可能とする同期再生方式が必要になる。
市販のDVDコンテンツなど、時間軸方向に渡って内容が完全に一致していることが保証されているコンテンツである場合、2人のユーザが、それぞれ再生装置に同一コンテンツをセットして、電話等でタイミングを合わせながら同時に再生開始することにより同期再生方式は簡単に実現できる。
しかし、時間軸方向に渡って内容が完全に一致していることが保証されていないコンテンツ、例えば遠距離に存在する2人以上のユーザが視聴するデジタルテレビ放送を録画した圧縮映像ストリームについては、以下のような問題が発生すると想定される。
(1)放送日程の違い
地上波デジタル放送では、地方局がテレビ番組の編成権を留保している。例を挙げると、同一のテレビ番組を放映する場合であっても、放送局A(例えばテレビ神奈川)と放送局B(例えば千葉テレビ)では放送日程が異なる場合が多い。この場合、神奈川県に居住するユーザAと、千葉県に居住するユーザBが、同一のテレビ番組についてライブで会話することはできない。
地上波デジタル放送では、地方局がテレビ番組の編成権を留保している。例を挙げると、同一のテレビ番組を放映する場合であっても、放送局A(例えばテレビ神奈川)と放送局B(例えば千葉テレビ)では放送日程が異なる場合が多い。この場合、神奈川県に居住するユーザAと、千葉県に居住するユーザBが、同一のテレビ番組についてライブで会話することはできない。
これに対処するために、先にテレビ番組を放映する地域に居住するユーザAが、記録再生装置の録画モードを用いてテレビ番組を録画し、後からテレビ番組を放映する地域に居住するユーザBにあわせて、再生モードを用いて再生することができる。しかし、地域が異なるため、ユーザAは、ユーザBが視聴しているライブのテレビ番組画面を見ることができない。このため、ユーザ同士が現在映っているコンテンツの内容を説明しなければならないため、両テレビ番組の同期をとることは非常に困難である。
もちろん、同期がとれないまま再生することは可能であるが、ユーザ間で同一テレビ番組を見ながら電話などで会話することは難しい。例えば、バラエティーや漫才などのテレビ番組を考えた場合、同期がとれていない状態では、ユーザAがユーザBの笑い声などの反応を電話経由で聞いても、ユーザAはユーザBがなぜ笑っているのか理解できない。
(2)CM編成の違い
地上波デジタル放送では、地方局がテレビ番組の編成権を留保している。このため、同一日、同一の時間帯に同一のテレビ番組を放映したとしても、CM編成は地方局ごとに異なる。CM入りのテレビ番組編成は、例えば図16に示すように、それぞれ14分の番組コンテンツ1、2に、30秒のCM1、2、3、4が挿入され総計30分のテレビ番組となるようになっている。
地上波デジタル放送では、地方局がテレビ番組の編成権を留保している。このため、同一日、同一の時間帯に同一のテレビ番組を放映したとしても、CM編成は地方局ごとに異なる。CM入りのテレビ番組編成は、例えば図16に示すように、それぞれ14分の番組コンテンツ1、2に、30秒のCM1、2、3、4が挿入され総計30分のテレビ番組となるようになっている。
図16を見れば明らかなように、ユーザAとユーザBでは、同一放映開始時刻から同一テレビ番組を見られるにも関わらず、ある時刻t1の内容は同期していない。このため、ユーザ同士が、テレビ番組放映開始時刻から同時に視聴を開始しても、電話による会話は途中から噛み合わなくなってしまう。
仮に、CM編成が全く同一だとしても、ユーザがデジタル放送受信装置に備え付けられた編集機能を用いて、片方のユーザが、録画したMPEG−TSストリームに対して、CMカット等の編集作業を行った場合は、全く同様の問題が容易に起こり得る。また、操作ミス等で録画が番組途中から行なわれた場合でも、全く同様の問題が容易に起こり得る。
(3)著作権保護
(1)及び(2)に対する簡便な解決策として、インターネット等の通信ネットワークを通じて、ユーザのうちどちらかが録画したテレビ番組を、もう他方のユーザへネットワーク伝送して、同時に視聴する方法が考えられる。この場合は、通信遅延と再生装置内部のバッファリング程度しか同期を乱す要因はなく、大した再生同期ずれなくコンテンツの同期再生が可能となる。
(1)及び(2)に対する簡便な解決策として、インターネット等の通信ネットワークを通じて、ユーザのうちどちらかが録画したテレビ番組を、もう他方のユーザへネットワーク伝送して、同時に視聴する方法が考えられる。この場合は、通信遅延と再生装置内部のバッファリング程度しか同期を乱す要因はなく、大した再生同期ずれなくコンテンツの同期再生が可能となる。
しかし、現状のデジタル放送のテレビ番組で用いられるコンテンツについては、著作権保護の観点からインターネットへの伝送が厳しく制限されており、録画したテレビ番組を通信ネットワーク経由で伝送することは非常に困難である。例えば、有限会社エフエービジョンが運営している海外顧客向けテレビ番組ストリーング伝送代行サービス「録画ネット」[URL:http://www.6ga.net/]に対しては、日本放送協会(NHK)他6社からサービス停止のための仮処分の申し立てがなされている。
(4) 伝送帯域
著作権保護の問題(3)を解決し、インターネット等の通信ネットワークを通じて、ユーザのうちどちらかが録画したテレビ番組を、もう他方のユーザへ伝送してから視聴する方法が可能だとしても、伝送帯域の問題が生じる。現状の個人向けインターネット接続サービスでは、ADSL(アシメトリックデジタルサブスクライバライン:非対称デジタル加入者線)を用いたものが主流である。ASDLでは回線帯域は、回線環境や立地条件によって大きく変動し、概ね1Mbps以下の低帯域であることが多い。一方で、デジタル放送におけるHDTV品質のMPEG−TSストリームは、15〜24Mbpsの伝送帯域を必要とするため、ADSLを用いてリアルタイム伝送することはできない。送信側で、MPEG−TSストリームに対してトランスコーディング(再符号化)を行い、回線帯域に適した伝送帯域に加工することも考えられるが、画質は猛烈に悪化する。例えば、MPEG−2ビデオ規格において、1Mbpsに対応するリーズナブルな解像度はCIF規格(352×240ピクセル)であり、元のHDTV品質と比較すると、解像度が1/5以下になってしまう。
著作権保護の問題(3)を解決し、インターネット等の通信ネットワークを通じて、ユーザのうちどちらかが録画したテレビ番組を、もう他方のユーザへ伝送してから視聴する方法が可能だとしても、伝送帯域の問題が生じる。現状の個人向けインターネット接続サービスでは、ADSL(アシメトリックデジタルサブスクライバライン:非対称デジタル加入者線)を用いたものが主流である。ASDLでは回線帯域は、回線環境や立地条件によって大きく変動し、概ね1Mbps以下の低帯域であることが多い。一方で、デジタル放送におけるHDTV品質のMPEG−TSストリームは、15〜24Mbpsの伝送帯域を必要とするため、ADSLを用いてリアルタイム伝送することはできない。送信側で、MPEG−TSストリームに対してトランスコーディング(再符号化)を行い、回線帯域に適した伝送帯域に加工することも考えられるが、画質は猛烈に悪化する。例えば、MPEG−2ビデオ規格において、1Mbpsに対応するリーズナブルな解像度はCIF規格(352×240ピクセル)であり、元のHDTV品質と比較すると、解像度が1/5以下になってしまう。
(5)演算量とメモリ帯域
(1)〜(4)の問題を全て回避するためには、インターネット上にはコンテンツそのものを伝送することなしに、リモート側の再生装置が現在再生しているコンテンツ上の時間的位置をリアルタイムに把握し、ローカル側の記憶媒体から対応するコンテンツの再生位置を検索し、さらにコンテンツ同期再生を行う同期再生方式が必要である。現在の技術としてフレーム画像(非圧縮画像データ)をブロック分割し、各ブロック毎の色特徴量を計算し、さらにコード列化する処理が存在する。しかし、このようなフレーム画像の色特徴量の抽出を、MPEGのような圧縮処理されたストリームに適用するためには、MPEG圧縮を一旦デコードし、非圧縮画像データに変換してから、非圧縮画像データを処理することで、特徴量を抽出する必要があり、膨大な処理量を費やす必要がある。
(1)〜(4)の問題を全て回避するためには、インターネット上にはコンテンツそのものを伝送することなしに、リモート側の再生装置が現在再生しているコンテンツ上の時間的位置をリアルタイムに把握し、ローカル側の記憶媒体から対応するコンテンツの再生位置を検索し、さらにコンテンツ同期再生を行う同期再生方式が必要である。現在の技術としてフレーム画像(非圧縮画像データ)をブロック分割し、各ブロック毎の色特徴量を計算し、さらにコード列化する処理が存在する。しかし、このようなフレーム画像の色特徴量の抽出を、MPEGのような圧縮処理されたストリームに適用するためには、MPEG圧縮を一旦デコードし、非圧縮画像データに変換してから、非圧縮画像データを処理することで、特徴量を抽出する必要があり、膨大な処理量を費やす必要がある。
更に、特徴量の抽出には処理量のみならず、非圧縮画像データを扱うための高速バスと高メモリ帯域が必要である。例えば、非圧縮HDTV(解像度1920×1080ピクセル)をRGB各8Bitで処理したときの伝送帯域は1.5Gbpsに相当する。
上記はユーザ同士が同時間にチャットや電話等でコミュニケーションを取る手法についての問題点であったが、ユーザが自分の知りえなかったコンテンツの視聴欲求を感じる別の前段階として、情報センタサーバに設置された電子掲示板を閲覧し、不特定多数の第三者の登録文章を読むことが考えられる。例えば、第三者が電子掲示板に登録した「12月20日に放映されたバラエティー番組Aで、シーンBが激しく笑った」といった登録文章を読んで、自分も見てみたいと考える場合である。
これは第三者が該当シーンBの全てまたは一部を、カメラ付き携帯電話などで撮影、もしくはテレビキャプチャーカード付きパソコンでキャプチャーし、画像ファイルに変換し、電子掲示板に対して文章と一緒に登録すれば、ある程度は実現可能である。しかしながら、第三者が情報センタサーバに画像ファイルを登録することによって、以下のような問題が生じる。
(6) 著作権及び肖像権の侵害
画像ファイルの登録が、コンテンツの著作権者や出演者の了解なしに行われた場合、著作権及び肖像権等の権利侵害に当たる。ところが前記電子掲示板は、登録者を特定できる所望の認証手段などを備えずに、気軽に登録できるシステムが多く運用されている。また近年、このような情報センタサーバは、通信ネットワークの回線料の低減に伴って、法人のみならず個人でも運営できるようになってきた。このためコンテンツの著作権者が、インターネット上の多数の情報センタサーバ内におかれた電子掲示板について、著作権及び肖像権侵害が行われているかを、逐一長期間に渡って監視することは事実上不可能である。
画像ファイルの登録が、コンテンツの著作権者や出演者の了解なしに行われた場合、著作権及び肖像権等の権利侵害に当たる。ところが前記電子掲示板は、登録者を特定できる所望の認証手段などを備えずに、気軽に登録できるシステムが多く運用されている。また近年、このような情報センタサーバは、通信ネットワークの回線料の低減に伴って、法人のみならず個人でも運営できるようになってきた。このためコンテンツの著作権者が、インターネット上の多数の情報センタサーバ内におかれた電子掲示板について、著作権及び肖像権侵害が行われているかを、逐一長期間に渡って監視することは事実上不可能である。
(7) 情報センタサーバの記憶容量
例え(6)を解決したとしても、情報センタサーバの記憶容量の問題が生じる。ハードディスクドライブ等の記憶媒体の容量は年々増加しているものの、情報センタサーバは不特定多数の第三者が利用するものであり、1つの画像ファイルが大きくなると、それに反比例して登録件数が減ってしまう。
例え(6)を解決したとしても、情報センタサーバの記憶容量の問題が生じる。ハードディスクドライブ等の記憶媒体の容量は年々増加しているものの、情報センタサーバは不特定多数の第三者が利用するものであり、1つの画像ファイルが大きくなると、それに反比例して登録件数が減ってしまう。
例えば、HDTV品質画像(1920×960ドット)をJPEG静止画圧縮方式により静止画ファイルに圧縮した場合、2MB程度のファイルサイズがある。一般に登録文章は大きくとも30KB程度であるから、登録文章に比べて60倍以上の記憶容量を消費する。
さらにHDTV品質のMPEG−TSストリームでは、約2MB/毎秒(伝送帯域15Mbps用ストリームを想定)を必要とする。仮に、30秒程度のシーンを映像ファイルに変換した場合、60MB程度のファイルサイズがある。このため、HDTV品質の映像ファイルを情報センタサーバに多数登録し、不特定多数に公開することは難しい。
(8) 閲覧に要する時間の問題
例え(7)の問題を解決したとしても、個人向けインターネット接続サービスとして普及しているADSLの回線帯域は概ね1Mbpsであるため、情報センタサーバから画像ファイルを取得するには時間がかかる。例えば、前記静止画ファイルの取得には16秒以上、前記映像ファイルの取得には480秒以上かかる。このような長い取得時間がある場合、電子掲示板の閲覧に要する時間が長くなり、ユーザのストレスとなる。
例え(7)の問題を解決したとしても、個人向けインターネット接続サービスとして普及しているADSLの回線帯域は概ね1Mbpsであるため、情報センタサーバから画像ファイルを取得するには時間がかかる。例えば、前記静止画ファイルの取得には16秒以上、前記映像ファイルの取得には480秒以上かかる。このような長い取得時間がある場合、電子掲示板の閲覧に要する時間が長くなり、ユーザのストレスとなる。
以下より説明する本発明の第1の実施の形態に係るデジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システムでは、(1)〜(5)の問題を解決する機器及び手法について説明する。更に本発明の第2の実施の形態に係るデジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システムでは、(6)〜(8)の問題を解決する機器及び手法について説明する。尚、本発明の実施の形態において使用される機器、手法等は一例であり、本発明はこれらに限定されるものではないことは勿論である。
(第1の実施の形態)
本発明の第1の実施の形態に係るストリーム同期再生システム501は、図1に示すように、通信ネットワーク201を介して、通信機能を備えたデジタル放送同期再生装置202が通信可能に2台以上接続されている。
本発明の第1の実施の形態に係るストリーム同期再生システム501は、図1に示すように、通信ネットワーク201を介して、通信機能を備えたデジタル放送同期再生装置202が通信可能に2台以上接続されている。
通信ネットワーク201は、LAN(ローカルエリアネットワーク)やインターネット等の、多数の機器が網状に接続された通信網である。通信ネットワーク201に接続された装置には、IPアドレスに類する識別子が割り振られ、互いを識別でき、TCP/IPに類する通信プロトコルを用いて、パケット単位にデータを交換できるものとする。
各々のデジタル放送同期再生装置202は、ストリーム同期再生装置であって、九州、関西、関東、東北等のデジタル放送局が異なる地域、例えば図1では片方はA局エリア、もう片方はB局エリア等に存在するものとする。A局エリアのユーザAとB局エリアのユーザBは、デジタル放送同期再生装置202と同じLAN65等のネットワークに接続されるパーソナルコンピュータ61を介してのチャット又はIP電話62等により、互いにコミュニケーションを取ることができる。尚、パーソナルコンピュータ61やIP電話62は、通信ネットワーク201に直接接続してもかまわない。又、ユーザ同士は携帯電話64や固定電話63を介してもコミュニケーション可能とする。
デジタル放送同期再生装置202は、異なるエリア間においても同一コンテンツ内の同一シーンを閲覧することを可能とするために、映像又は画像の同期手段を備えている。例えば、A局エリア及びB局エリアのユーザ同士が、チャット、IP電話、固定電話、携帯電話等にてのコミュニケーションの最中に、あるコンテンツの特定シーンを視聴することを希望したとする。その場合、A局エリア及びB局エリアのデジタル放送同期再生装置202同士は、そのコンテンツの同期をとり、ユーザA,Bに提示する。これによりユーザA,Bは、同期の取れたコンテンツを閲覧しながら、コミュニケーションを取る。
尚、局エリアは複数存在して構わず、各局エリアに複数のデジタル放送同期再生装置202が存在していて構わない。
(デジタル放送同期再生装置)
本発明の実施の形態に係るデジタル放送同期再生装置202は、図2に示すように、アンテナ手段1、チューナ手段2、入力手段3、ストリーム制御手段4、多重分離手段5、ファイルI/O手段6、ストリーム記憶手段7、映像デコード手段8、音声デコード手段9、表示手段10、スピーカ手段11、シグニチャ生成手段12、シグニチャファイル生成手段13、同期手段14、通信手段15及びフォーマット手段16等より構成される。
本発明の実施の形態に係るデジタル放送同期再生装置202は、図2に示すように、アンテナ手段1、チューナ手段2、入力手段3、ストリーム制御手段4、多重分離手段5、ファイルI/O手段6、ストリーム記憶手段7、映像デコード手段8、音声デコード手段9、表示手段10、スピーカ手段11、シグニチャ生成手段12、シグニチャファイル生成手段13、同期手段14、通信手段15及びフォーマット手段16等より構成される。
アンテナ手段1は変調信号を受信するためのアンテナである。チューナ手段2は、変調信号を復調し、エラー訂正等の所定の信号処理を施し、変調信号に複数の番組が含まれている場合は、入力手段3からのチャンネル制御信号により指定された番組に対応したMPEG−TSストリームを出力する。ここでMPEG−TSストリームとは、MPEGシステムにおいてMPEGビデオストリーム及びMPEGオーディオストリーム等を多重化する多重化ストリームである。
入力手段3は、デジタル放送同期再生装置202を利用するユーザからの様々な指示を入力するための手段であり、一般的なHDRが備えるリモコン装置、リモコン受光装置からなる。加えて、同期開始トリガを発生するボタンに類する入力装置を備える。同期開始トリガは、同期手段14へ入力される。
ストリーム制御手段4は、予めプログラミングされたマイクロコンピュータに相当し、入力手段3からの動作制御信号より、選択的に以下の主動作モードを切り替える。
(イ)視聴モード: チューナ手段2から得たMPEG−TSストリームを多重分離手段5へ出力する。
(ロ)録画モード: チューナ手段2から得たMPEG−TSストリームを分岐し、片方はファイルI/O手段6へ出力し、もう片方は多重分離手段5へ出力する。
(ハ)再生モード: ファイルI/O手段6から得たMPEG−TSストリームを多重分離手段5へ出力する。
さらに、ストリーム制御手段4の主動作モードが(ハ)再生モードである時、入力手段3からの動作制御信号は、一般的なHDRが持つような再生動作モードを持つ。
(い)再生動作モード: ファイルI/O手段6を介して、記録したMPEG−TSストリームの一部を、多重分離手段5へ出力する。
(ろ)停止動作モード: 何も出力しない。
(は)頭出し動作モード: ファイルI/O手段6を介して、記録したMPEG−TSストリームに含まれるコンテンツ再生時刻情報PTS(プレゼンテーションタイムスタンプ)をサーチし、外部から指定された再生時刻(例えば入力手段3から入力された時刻)と最も近いPTSを持つ再生位置へジャンプし、(ハ)再生動作モードへ移行する。
更に、(ロ)の録画モードに移行する際には、録画開始した日付情報を利用して、ファイル名を生成してファイルI/O手段6へ出力する。例えば、日付情報"2004年9月24日22時23分55秒"に録画モードに移行した際には、ファイル名"20040924222355.mpg"を生成する。
多重分離手段5は、入力されたMPEG−TSストリームの多重化を解析し、MPEGビデオストリームと、MPEGオーディオストリームに分離する。
ファイルI/O手段6は、OS(オペレーションシステム)等に実装されているファイルシステムに類し、読み書きする情報の各々を、ファイル単位で分別する。又、1つのファイルの1部分を指定して読み書きする。
ストリーム記憶手段7は、MPEG−TSストリームのビットレートに追従し、リアルタイムで記録または再生することのできるディスク装置である。これは、D−VHSドライブ、ハードディスクドライブ、DVDドライブ、ブルーレイドライブに類する。ストリーム記憶手段7は、時系列を伴うコンテンツから生成されたストリームを格納するストリーム記憶手段である。具体的に、MPEG−TSストリームと、MPEG−TSストリームと関連付けられたシグニチャファイルを格納する。
映像デコード手段8は、MPEGビデオストリームをデコードし、映像信号を生成する。音声デコード手段9は、MPEGオーディオストリームをデコードし、音声信号を生成する。
表示手段10は、映像信号をユーザに提示するCRTテレビ、液晶テレビ等に類する装置である。スピーカ手段11は、音声信号をユーザに提示するスピーカ等に類する装置である。
シグニチャ生成手段12は、ストリーム記憶手段7より取得するストリームのフレーム構造を分析し、フレーム単位にフレームビット列の一部から、フレームビット列より短く、かつフレームビット列の特徴を表現しうるシグニチャ情報を生成し、シグニチャ情報をコンテンツの時系列に沿って並べたシグニチャ情報列を、ストリーム記憶手段に格納する。具体的には、MPEGビデオストリームから映像フレームのシグニチャ情報を生成する。MPEGビデオストリームは、MPEGの文法にしたがって階層構造になっており、シーケンス層、GOP(グループオブピクチャ)層、ピクチャ層、スライス層、MB(マクロブロック)層、ブロック層に分かれている。シグニチャ生成手段12は、所定の解析アルゴリズムによって、MPEGビデオストリームの少なくともピクチャ層以下を入力ビット列として取り出し後述する一時記憶手段34に格納する。更に入力ビット列をシグニチャ生成関数に入力し、出力されたビット列をシグニチャ情報として出力する。
シグニチャ情報は、指紋情報(フィンガープリント)とも呼ばれ、全く同一の入力ビット列からは同一のシグニチャ情報が生成される。シグニチャ情報は、入力ビット列よりも十分短い出力ビット列であるため、2つ以上のデータを迅速に照合する指標として好適である。しかし、入力ビット列長と出力ビット列長の非対称性(入力ビット列長>出力ビット列長)により、シグニチャ情報が一致したからといって元の入力ビット列が完全に同一であることは保証されない。
シグニチャ情報を生成する変換関数を、一般にメッセージダイジェスト関数と呼ぶ。このような変換関数の一例として、RFC(リクエストフォーコメント)1321「ザMD5メッセージダイジェストアルゴリズム」に開示されるMD5関数が挙げられる。MD5関数は、任意の長さの入力ビット列をとり、固定長の出力ビット列を得ることができる。メッセージダイジェスト関数の出力ビット列長Rは、R=128〜160bitが一般に広く使われているが、本発明の第1の実施の形態では、説明の簡略化のためにR=12bitとする。また、メッセージダイジェスト関数の中で最も広く使われているMD5関数を挙げたが、同様の特性を持つものであれば他の変換関数でも構わない。
シグニチャファイル生成手段13は、シグニチャ生成手段12の出力をシグニチャファイル記録用に拡張したものであり、デジタル放送同期再生装置202の主動作モードが(ロ)録画モードである場合に、録画と同時にシグニチャファイルを生成し、ストリーム記憶手段7に格納する。尚、本実施例において、シグニチャ生成手段12とシグニチャファイル生成手段13の解析アルゴリズム、メッセージダイジェスト関数の種類、出力ビット長Rは、完全に同一であるものとする。
同期手段14は、他装置側より受信するシグニチャ情報列の一部と、ストリーム記憶手段に格納されているシグニチャ情報列を比較してストリームの同期をとる。具体的に、同期開始トリガが入力され、かつデジタル放送同期再生装置202の主動作モードが(ハ)再生モードである場合、通信手段15を通じて他のデジタル放送受信装置からシグニチャ情報をリアルタイム取得し、後述する比較バッファ手段33へ一時記憶しながら、シグニチャファイル全体との逐次比較を行う。シグニチャファイル上で一致したポイントが1つに絞りこめた時点で、ストリーム制御手段4を制御し、再生モードを(は)頭出し動作モードへ移行させ、一致したポイントの先行PTSを用いて、MPEG−TSストリームの再生位置をジャンプする。
ここで先行PTSとは、比較バッファ手段33のシグニチャ情報列と一致したシグニチャファイル内のシグニチャ情報列に関連づけられたPTS列のどれよりも大きく、かつ時間的に隣接したPTSを指す。これは、他のデジタル放送受信装置から伝送されてきたシグニチャ情報は、既にデジタル放送同期再生装置202内ではデコード済みで、映像信号として出力されている可能性が高いからである。このため、デジタル放送同期再生装置202内では、前記デコード済み映像信号よりも、先行したポイントで同期をとることで、両装置間の再生同期ずれを最小に抑える。
通信手段15は、ストリーム記憶手段7より取得するシグニチャ情報列の一部を通信ネットワーク201を介して他装置側に送信し、他装置側より受信するシグニチャ情報列の一部に該当するストリームの時間的位置を特定する。具体的に、イーサネット(登録商標)に類するネットワークインタフェースを介して、TCP/IPに類する通信プロトコル処理を行う。通信手段15は、サーバ機能手段15a及びクライアント機能手段15bを備えている。
サーバ機能手段15aは、他のデジタル放送受信装置からシグニチャ情報リクエストがあり、かつ、シグニチャ生成手段12から入力されたシグニチャ情報をパケット化して逐次送信する。尚、デジタル放送同期再生装置202の主動作モードのうち、(ハ)再生モードでかつ再生動作モードが(ろ)停止動作モードである場合は、多重分離手段5にMPEG−TSストリームが入力されないため、結果的にシグニチャ生成手段12は動作していないが、前記モード時にシグニチャ情報リクエストがあると、リクエストごとに空シグニチャ情報として、例えば定数0等を送信する。
クライアント機能手段15bは、同期手段14のシグニチャ情報を取得する時に、他のデジタル放送受信装置にシグニチャ情報リクエストを送信し、受信パケットからシグニチャ情報を取り出し、同期手段14へ入力する。
サーバ機能手段15a及びクライアント機能手段15bは並列に動作してもよい。また、サーバ機能手段15aは一度に複数のデジタル放送受信装置からのシグニチャ情報リクエストを受け付けてもよい。
フォーマット手段16は、ユーザにデジタル放送同期再生装置202の内部状態を提示するための表示インタフェースである。例えば、成功メッセージが入力された場合は、表示手段10の右上角に「○」マークを、映像信号に重畳させて表示する。また、失敗メッセージが入力された場合は表示手段10の右上角に「×」マークを映像信号に重畳させて表示する。ユーザは、入力手段3を用いて同期トリガを入力し、フォーマット手段16により結果を知ることができる。
デジタル放送同期再生装置202を構成するブロックのうち、全てまたは一部がコンピュータで実行可能なプログラムとして実現し、予めコンピュータ読み取り可能な記録媒体などに記録して提供することも可能である。
比較バッファ手段33は、他のデジタル放送受信装置からのシグニチャ情報とシグニチャファイル全体との逐次比較を行う為の作業領域である。
一時記憶手段34は、所定の解析アルゴリズムによってMPEGビデオストリームより取り出された入力ビット列を一時格納する。
(シグニチャファイルのデータ構造)
シグニチャファイルのデータ構造の一例を図3に示す。MPEG−TSストリームに多重化されているMPEGビデオストリームは、PES(パケッタイズドエレメンタリストリーム)パケット構造を持つ。PESには、MPEG−TSストリーム内に多重化されている複数のストリーム、例えば映像と音声等のMPEGストリーム間の再生時刻同期を実現するために、PTSが含まれている。シグニチャファイル生成手段13は、多重分離手段5から現在多重分離しているMPEGビデオストリームのPESパケットからPTSを取得し、シグニチャ情報が生成されるタイミングで、PTSとシグニチャ情報を1組として、ファイルI/O手段6を制御する。又、元となったMPEG−TSストリームと関連付けて、ストリーム記憶手段7内に、シグニチャファイルとして、逐次記録する。
シグニチャファイルのデータ構造の一例を図3に示す。MPEG−TSストリームに多重化されているMPEGビデオストリームは、PES(パケッタイズドエレメンタリストリーム)パケット構造を持つ。PESには、MPEG−TSストリーム内に多重化されている複数のストリーム、例えば映像と音声等のMPEGストリーム間の再生時刻同期を実現するために、PTSが含まれている。シグニチャファイル生成手段13は、多重分離手段5から現在多重分離しているMPEGビデオストリームのPESパケットからPTSを取得し、シグニチャ情報が生成されるタイミングで、PTSとシグニチャ情報を1組として、ファイルI/O手段6を制御する。又、元となったMPEG−TSストリームと関連付けて、ストリーム記憶手段7内に、シグニチャファイルとして、逐次記録する。
元となったMPEG−TSストリームと、シグニチャファイルとの、関連付け方法には、単純なファイル名の命名規則が挙げられる。例えば、ストリーム制御手段4によってMPEG−TSストリームにファイル名「20040924222355.mpg」が与えられている場合、適当な文字列「.sig」を付加し、シグニチャファイルのファイル名を「20040924222355.mpg.sig」と変更する方法等が考えられる。この規則は同期手段14でシグニチャファイルの特定に用いられる。
(シグニチャ生成の動作)
次に、シグニチャ生成手段12において入力ビット列を取り出すための解析アルゴリズムの一例を図4を用いて説明する。解析アルゴリズムは、MPEGビデオストリームを逐次比較し、所定のストリームヘッダが出現した時点で処理を行うMPEGパーサーに相当する。
次に、シグニチャ生成手段12において入力ビット列を取り出すための解析アルゴリズムの一例を図4を用いて説明する。解析アルゴリズムは、MPEGビデオストリームを逐次比較し、所定のストリームヘッダが出現した時点で処理を行うMPEGパーサーに相当する。
(a)先ず、ピクチャヘッダ検出ステップS1においては、MPEGの画像単位であるピクチャ毎に付随するピクチャヘッダを検出するまで偽、検出した時に真となる。
(b)ピクチャタイプ分岐ステップS2においては、ピクチャヘッダからピクチャタイプを取り出し、ピクチャタイプがIntra(基準フレーム)である場合に真、それ以外の場合偽となる。
(c)記憶終了検出ステップS3においては、ピクチャヘッダまたはシーケンスヘッダまたはGOPヘッダのいずれかが出現すると真、それ以外の時は偽となる。
(d)一時記憶ステップS4においては、入力ビット列を一時記憶手段34に逐次記憶する。
(e)出力ステップS5においては、一時記憶手段34に蓄積された入力ビット列を前記変換関数を用いてシグニチャ情報に変換して出力し、一時記憶手段34をクリアする。
(f)終端検出ステップS6においては、ストリームが終端に達した時のみ真となり、それ以外は偽となる。
尚、本実施例の解析アルゴリズムにおいては、シグニチャ情報の時間軸方向の圧縮(間引)のために、ピクチャタイプ分岐ステップS2を用いているが、通信ネットワークの回線帯域が十分であれば、ステップS2は省略してもよい。
尚、他のデジタル放送同期再生装置から取得するシグニチャ情報列は、自己のストリーム記憶手段7内に保存されたストリームのうち、1区間に絞り込めるだけの長さがあればよい。このため、受信すべきシグニチャ情報列の長さは可変長となる。
(同期処理の動作)
同期手段14による同期処理動作の一例を図5に示す。
同期手段14による同期処理動作の一例を図5に示す。
(a)同期トリガ検出ステップS101は、入力手段3から同期トリガが入力された時点で真となり比較バッファ手段33をクリアする。それ以外の時は偽となり、同期トリガ検出ステップへ戻る。
(b)主動作モード判定ステップS102は、デジタル放送同期再生装置202の主動作モードが(ハ)再生モードである場合に真、それ以外の時は偽となる。
(c)シグニチャ情報取得ステップS103は、通信手段15を介して、シグニチャ情報リクエストを他のデジタル放送受信装置へ送信し、対応したシグニチャ情報を受け取る。シグニチャ情報は、比較バッファ手段33に最大数Mまで蓄積される。
(d)比較バッファフロー判定ステップS104は、比較バッファ手段33内のシグニチャ情報数mが、最大数Mに達していた場合に真、m<Mの時に偽となる。
(e)一致ポイント抽出ステップS105は、現在(ハ)再生モードで再生しているMPEG−TSストリームファイルに関連づけられたシグニチャファイル内のシグニチャ情報列を、出力ビット長Rずつずらしながら全域探索し、比較バッファ手段33内のシグニチャ情報列に一致する全てのポイントの先行PTSリストと、PTS個数pを出力する。
(f)一致ポイント判定ステップS106は、PTS個数p=1の時は頭出しステップS107へ、PTS個数p=0の時は失敗メッセージ出力ステップS109へ、PTS個数p>1の時は主動作モード判定ステップS102へ分岐する。
(g)頭出しステップS107は、ストリーム制御手段4をコントロールし、再生動作モードを頭出し動作モードに移行させ、先行PTSリスト中の先行PTSにしたがって頭出しを行う。
(h)成功メッセージ出力ステップS108では、フォーマット手段16が成功メッセージを出力する。失敗メッセージ出力ステップS109は、フォーマット手段16が失敗メッセージを出力する。
一致ポイント抽出ステップS105の動作の一例について図6を参照して説明する。図6のシグニチャファイルは、主動作モードが(ハ)再生モードの時に、再生中のMPEG−TSファイルに関連付けられたものである。本発明の第1の実施の形態においては説明の簡素化のために、出力ビット長R=12bitを採用しているので、ひとつのシグニチャ情報は、ASCII文字列による16進数表記を用いて、模式的に3文字の英数字で表せる。
図6の比較バッファ手段33は、シグニチャ情報数m=2であり、2個のシグニチャ情報「def」、「013」が蓄積されている。一致ポイントの発見は、シグニチャファイル内のシグニチャ情報を、シグニチャ情報数m×出力ビット長R=24bitずつ、比較バッファ手段33内のシグニチャ情報列と比較していき、両者が完全に一致したポイントを検索することで行う。比較はmを1つずつ時系列に従ってずらしながら行う。一致したポイントでは、シグニチャファイルから、一致したシグニチャ情報列に対応した先行PTSを取り出して、先行PTSリストを生成する。図6では、シグニチャファイル中の2箇所に一致ポイントがあり、2つの先行PTS、「PTS4」と「PTS9」が取り出され、先行PTSリストはPTS個数p=2となった。尚、この例では未だ頭出しポイントは絞り込めておらず、上述したように追加のシグニチャ情報を取得すべく、ステップS106にてステップS102へ分岐する。
上記のようなストリーム同期では、通信ネットワーク201を介して送受信される情報は、シグニチャ情報列のみであり、ストリームが送受信されることはない。しかしながら、他のデジタル放送同期再生装置がライブ取得中のストリームから生成されたシグニチャ情報列と比較することで、自己のストリーム記憶手段7内に保存されたストリームのうち、どの部分が相手側でライブ取得中であるのかを即座に知ることができる。このため2台以上のデジタル放送同期再生装置同士で、ユーザに提供すべきコンテンツの時間的位置を決定することができる。
(変更例1)
図1においては、ストリーム同期再生システム501は、通信ネットワーク201を介して、2台以上のデジタル放送同期再生装置202が通信可能に接続されていた。しかし、同期を取るには、双方のデジタル放送同期再生装置202が同期手段14を備えている必要はない。つまり、片方のデジタル放送同期再生装置202が同期手段14を備えていれば、もう片方は、同期手段14を備えていない、録画されたデジタル放送の視聴機能のみを備えたデジタル放送受信装置203であっても構わない。
図1においては、ストリーム同期再生システム501は、通信ネットワーク201を介して、2台以上のデジタル放送同期再生装置202が通信可能に接続されていた。しかし、同期を取るには、双方のデジタル放送同期再生装置202が同期手段14を備えている必要はない。つまり、片方のデジタル放送同期再生装置202が同期手段14を備えていれば、もう片方は、同期手段14を備えていない、録画されたデジタル放送の視聴機能のみを備えたデジタル放送受信装置203であっても構わない。
デジタル放送同期再生装置202及びデジタル放送受信装置203を備えるストリーム同期再生システム502は図7に示すように、アンテナ手段1、チューナ手段2、多重分離手段5、映像デコード手段8、音声デコード手段9、表示手段10、スピーカ手段11、シグニチャ生成手段12及び通信手段17等を備える。
ストリーム同期再生システム502のデジタル放送受信装置203は図7に示すように、デジタル放送同期再生装置202を(イ)視聴モードのみに特化した装置である。この為、通信手段17は、図2の通信手段15のうちサーバ機能手段15aのみを実装する。その他の装置は図2のデジタル放送同期再生装置202と同様であるため説明を省略する。
このように、デジタル放送同期再生装置202及びデジタル放送受信装置203の組み合わせにおいても、デジタル放送同期再生装置202側がデジタル放送受信装置203側に同期を取ることで、同様の処理を行うことが可能である。
デジタルテレビは、一般的に、アンテナ手段1、チューナ手段2、多重分離手段5、映像デコード手段8、音声デコード手段9、表示手段10、スピーカ手段11を備えている。さらに、日本のデジタル放送規格(ARIB規格)では、デジタルテレビはネットワークインタフェースを備えることが規定されているため、通信手段17とシグニチャ生成手段12をソフトウェアで実装すれば、全てのデジタルテレビをハードウェア的なコストアップなしにデジタル放送受信装置203として機能させることができる。
尚、デジタル放送受信装置203を構成するブロックのうち、全てまたは一部がコンピュータで実行可能なプログラムとして実現し、予めコンピュータ読み取り可能な記録媒体などに記録して提供することも可能である。
(変更例2)
本発明の第1の実施の形態に係るデジタル放送同期再生装置202の通信手段15及び同期手段14においては、通信ネットワーク201を伝送する際の伝送遅延については考慮していない。よって変更例2では、伝送遅延を考慮して通信処理及び同期処理を行うことより、より高い精度の同期再生を実現することが可能なデジタル放送同期再生装置204について説明する。
本発明の第1の実施の形態に係るデジタル放送同期再生装置202の通信手段15及び同期手段14においては、通信ネットワーク201を伝送する際の伝送遅延については考慮していない。よって変更例2では、伝送遅延を考慮して通信処理及び同期処理を行うことより、より高い精度の同期再生を実現することが可能なデジタル放送同期再生装置204について説明する。
デジタル放送同期再生装置204は、図8に示すように、アンテナ手段1、チューナ手段2、入力手段3、ストリーム制御手段4、多重分離手段5、ファイルI/O手段6、ストリーム記憶手段7、映像デコード手段8、音声デコード手段9、表示手段10、スピーカ手段11、シグニチャ生成手段12、シグニチャファイル生成手段13、フォーマット手段16、通信手段18及び同期手段19等を備えている。
通信手段18は、図2の通信手段15と同様に、シグニチャ情報リクエストとシグニチャ情報の受信のためのクライアント機能を担うが、それに加えて、インターネット上で動画像を送るストリーミングプロトコルRFC1889のうち、RTCP−SR(リアルタイムトランスファコントロールプロトコル−センダーリポート),RTCP−RR(レシーバレポート)に類する同期統計情報の送受信を行う機能を備える(オーディオビデオトランスポートワーキンググループ「RTP:トランスポートプロトコルフォーリアルタイムアプリケーション」参照。)。
RFC1889の「6.3.2 RR(レシーバレポートRTCPパケット)」に類するアルゴリズムによって、通信手段18がRTCP−SRを送った時刻(LSR)と、他のデジタル放送受信装置がRTCP−SRを受け取ってからRTCP−RRを送るまでの滞留時間(DLSR)と、通信手段18がRTCP−RRを受け取った時刻(A)を下記の計算式に当てはめることにより、片道の伝送遅延Dtは算出できる。
Dt = (A − DLSR − LSR)/2・・・式(1)
その他の装置は図2のデジタル放送同期再生装置202と同様であるため説明を省略する。
その他の装置は図2のデジタル放送同期再生装置202と同様であるため説明を省略する。
次に、同期手段19による同期アルゴリズムを図9を用いて説明する。
(a)先ず、ステップS101〜S104においては、図5の同期動作で説明したステップと同一の処理を行う。
(b)一致ポイント抽出ステップS205は、一致ポイント抽出ステップS105の動作に加え、一致ポイントから先行PTSが得られた時、先行PTSに前記伝送遅延Dtを加算後、先行PTSリストを生成する。
前記伝送遅延DtとPTSでは、時刻単位が異なる場合がある。例えば、伝送遅延Dtの時刻単位を秒、PTSの時刻単位をMPEGタイムスタンプ周波数TF(一般に90KHz)とした場合、加算後の先行PTS2は以下の計算式で求められる。
PTS2=PTS+Dt×TF・・・式(2)
(c)ステップS106〜S109においては、図5の同期動作で説明したステップと同一の処理を行う。
(c)ステップS106〜S109においては、図5の同期動作で説明したステップと同一の処理を行う。
尚、デジタル放送同期再生装置204を構成するブロックのうち、全てまたは一部がコンピュータで実行可能なプログラムとして実現し、予めコンピュータ読み取り可能な記録媒体などに記録して提供することも可能である。
上述したように、本発明の第1の実施の形態に係るデジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システムでは、通信ネットワーク201を介して送受信される情報は、シグニチャ情報列のみであり、ストリームが送受信されることはない。しかし、他のデジタル放送同期再生装置より、ライブ取得中のストリームから生成されたシグニチャ情報列を受信することで、自己のストリーム記憶手段7内に保存されたストリームのうち、どの部分が相手側でライブ取得中であるのかを即座に検知する。この検知処理により2台以上のデジタル放送同期再生装置同士又は一台のデジタル放送同期再生装置と他のデジタル放送受信装置間で、ユーザに提供すべきコンテンツの時間的位置を適宜決定する。
これにより、(1)ユーザは、簡便な操作で、遠隔地の別のユーザが視聴しているテレビ番組と、自己のデジタル放送受信装置に録画されたテレビ番組とを同期再生することができる。(2)ユーザ間で伝送されるシグニチャ情報が要する帯域は、番組コンテンツの品質に依存せず、概ね1Kbps以下であって、HDTV MPEG−TSストリームを直接伝送する方式と比較して、約1/104の帯域で、双方のユーザに大した再生同期ずれなく同一のコンテンツを視聴させうる。尚、この算出の根拠として、基準フレームが0.5秒に1フレーム内挿されるMPEGビデオストリームの場合、0.5秒毎に160bitシグニチャ情報+TCPヘッダ160bit+IPヘッダ160bit、合計960bpsであることが挙げられる。(3)放送局によってCM等の番組編成が異なる場合でも、ユーザが同期の外れたことを知覚した時点で、簡便な操作でテレビ番組同士の同期をとることができる。(4)ネットワーク上にテレビ番組コンテンツを伝送しないため、著作権保護の問題が一切生じない。(5)圧縮映像ストリームをデコードし、非圧縮画像データに変換してから、特徴量を抽出する必要がなく、直接圧縮映像ストリームからシグニチャ情報を生成するため、低処理量且つ低メモリ帯域で済み、廉価なデジタル放送同期再生装置を実現できる。
(第2の実施の形態)
本発明の第1の実施の形態のストリーム同期再生システム501においては、A局エリア及びB局エリアのユーザ同士が、チャット、IP電話、固定電話、携帯電話等にてのコミュニケーションの最中に、あるコンテンツの特定シーンを同時に視聴する為に構成されていた。しかし、実際にはユーザからの情報を掲示する電子掲示板のような場所にあるユーザが書き込みを行い、その後に書き込みを読んだ別のユーザが書き込みに関するコンテンツの特定シーンを視聴する場合もある。本発明の第2の実施の形態においては、このように2人以上のユーザが時差をもってコンテンツの特定シーンを視聴するストリーム同期再生システム504について説明する。
本発明の第1の実施の形態のストリーム同期再生システム501においては、A局エリア及びB局エリアのユーザ同士が、チャット、IP電話、固定電話、携帯電話等にてのコミュニケーションの最中に、あるコンテンツの特定シーンを同時に視聴する為に構成されていた。しかし、実際にはユーザからの情報を掲示する電子掲示板のような場所にあるユーザが書き込みを行い、その後に書き込みを読んだ別のユーザが書き込みに関するコンテンツの特定シーンを視聴する場合もある。本発明の第2の実施の形態においては、このように2人以上のユーザが時差をもってコンテンツの特定シーンを視聴するストリーム同期再生システム504について説明する。
(ストリーム同期再生システム)
本発明の第2の実施の形態にかかるストリーム同期再生システム504は、図10に示すように、2つ以上、不特定多数のデジタル放送同期再生装置205と、情報センタサーバ210にて構成される。デジタル放送同期再生装置205と情報センタサーバ210間は通信ネットワーク201を介して通信可能に接続されている。又、各々のデジタル放送同期再生装置205は、LAN等を介してパーソナルコンピュータ61に接続されている。尚、デジタル放送同期再生装置205が2つ以上不特定多数であるのは、少なくとも1台の、情報を情報センタサーバ210に登録するデジタル放送同期再生装置205と、登録された情報を視聴する不特定多数のデジタル放送同期再生装置205より構成されるためである。
本発明の第2の実施の形態にかかるストリーム同期再生システム504は、図10に示すように、2つ以上、不特定多数のデジタル放送同期再生装置205と、情報センタサーバ210にて構成される。デジタル放送同期再生装置205と情報センタサーバ210間は通信ネットワーク201を介して通信可能に接続されている。又、各々のデジタル放送同期再生装置205は、LAN等を介してパーソナルコンピュータ61に接続されている。尚、デジタル放送同期再生装置205が2つ以上不特定多数であるのは、少なくとも1台の、情報を情報センタサーバ210に登録するデジタル放送同期再生装置205と、登録された情報を視聴する不特定多数のデジタル放送同期再生装置205より構成されるためである。
情報センタサーバ210は情報記憶手段30、ファイルI/O手段31及び通信手段32等を備えている。
情報記憶手段30は、デジタル放送同期再生装置205等から送信されるデータを保存するディスク装置である。ファイルI/O手段31は、OS等に実装されているファイルシステムに類し、読み書きする情報それぞれを、ファイル単位で分別することができ、1つのファイルの一部分を指定して読み書きができる、インタフェースである。
通信手段32は、イーサネットに類するネットワークインタフェースを介して、HTTPに類する通信プロトコル処理を行う。HTTPは、メソッドと呼ばれる所定のヘッダを付加した通信プロトコルによって、ファイルの送信、受信を行うプロトコルである。通信手段32は、他のデジタル放送受信装置からのHTTPリクエストを処理し、ファイルI/O手段31を制御し、情報記憶手段30に対して、データをファイルとして書き込み、又、URIから予め記述されたマッピング規則によって、そのURIが指し示すファイル名を用いて、ファイルを読み出す。
このマッピング規則には様々なものが考えられるが、最も良く使われているマッピング規則は、URIとファイル名を一対一対応させるマッピング規則である。例えば、情報センタサーバ210のホスト名が"www.jvc.jp"であるとし、他のデジタル放送受信装置から、HTTPリクエストに内包する形でURI「http://www.jvc.jp/upload1.sig」が送られて来たとする。この時、通信手段32は、上記のURIを解釈して、情報記憶手段30内に存在するファイル「upload1.sig」をアクセス対象として選択する。
不特定多数のデジタル放送同期再生装置205は、各々で非同期に、シグニチャ情報列を情報センタサーバ210へ登録し、情報センタサーバ210からシグニチャ情報列を取得する。デジタル放送同期再生装置205は、取得したシグニチャ情報列を用いて、自己が保存するストリームのうち、他のユーザに提供すべきコンテンツの時間的位置を決定する。実際には、時間的位置を決定したのち、該当個所のストリームを映像や音声等に変換して同期再生する。
尚、情報センタサーバ210に登録するシグニチャ情報列の長さは、登録側のデジタル放送同期再生装置205が決定するものである。このため、取得側のデジタル放送同期再生装置205の状態によっては、必ずしも保存するストリームのうち、1区間に絞り込めるだけの長さがあるとは限らない。しかし少なくとも、他のユーザに提供したいシーンの時間区間に相当するシグニチャ情報列長を選択しておけば、その時間区間全域に完全一致するコンテンツは、すなわち同一内容及び同一シーンであると仮定できる。
例えば、テレビ番組中に内挿されるあるCMコンテンツが、1日のうち7時と18時の2回放映されたとする。ユーザAが7時のCMコンテンツを見て、これを他のユーザにも見せたいと思い、シグニチャ情報列を情報センタサーバ210に登録したとする。ユーザBは、情報センタサーバ210から非同期にシグニチャ情報列を取得し、自装置が保存する18時に放映されたCMコンテンツを検索してきても、実用上何ら問題は生じない。このように、シグニチャ情報列によるコンテンツ検索方式は、他のコンテンツタイトル名や録画開始日時などによるコンテンツ検索方式と比較して、コンテンツのシーン単位での組み替えに強い性質を持つ。
このようにして、あるデジタル放送同期再生装置205から情報センタサーバ210へある映像等のシグニチャ情報列を登録し、別のデジタル放送同期再生装置205が情報センタサーバ210から取得したシグニチャ情報列に該当するMPEG−TSストリームを自装置内より検索して、当該映像等を視聴する。
(デジタル放送同期再生装置)
本発明の第2の実施の形態にかかるデジタル放送同期再生装置205は、図11に示すように、アンテナ手段1、チューナ手段2、ストリーム制御手段4、多重分離手段5、ファイルI/O手段6、ストリーム記憶手段7、映像デコード手段8、音声デコード手段9、表示手段10、スピーカ手段11、シグニチャファイル生成手段13、同期手段19、通信手段18、入力手段20、アップロード手段21、通信手段22、検索手段23、ブラウザ手段24、フォーマット手段25及び文章バッファ手段35等を備えている。
本発明の第2の実施の形態にかかるデジタル放送同期再生装置205は、図11に示すように、アンテナ手段1、チューナ手段2、ストリーム制御手段4、多重分離手段5、ファイルI/O手段6、ストリーム記憶手段7、映像デコード手段8、音声デコード手段9、表示手段10、スピーカ手段11、シグニチャファイル生成手段13、同期手段19、通信手段18、入力手段20、アップロード手段21、通信手段22、検索手段23、ブラウザ手段24、フォーマット手段25及び文章バッファ手段35等を備えている。
入力手段20は、デジタル放送同期再生装置205を利用するユーザからの様々な指示を入力するための手段であり、一般的なHDRが持つリモコン装置、リモコン受光装置からなる。加えて、アップロードトリガを発生するボタンに類するトリガ入力装置と、ユーザの文章作成を支援するキーボードに類する文章入力装置と、URIを入力するURI入力装置とが拡張されている。トリガ入力装置と文章入力装置の入力は、アップロード手段21へ出力する。URI入力装置の入力は、ブラウザ手段24へ出力する。
文章バッファ手段35は、キーボードに類する文章用の入力手段20から入力された情報を一時記憶する。
アップロード手段21は、文章バッファ手段35への一時記憶処理を制御する。又、アップロードトリガが入力され、且つデジタル放送同期再生装置205の主動作モードが(ハ)再生モードである場合、多重分離手段5から現在再生中の直近PTSを取得する。更に、ストリーム制御手段4から現在再生中のMPEG−TSストリームファイルに関連づけられたシグニチャファイル名を生成し、ファイルI/O手段6経由でシグニチャファイルを参照し、前記直近PTS以前の一定個数のシグニチャ情報列を取り出し、通信手段22を経由して、情報センタサーバ210へ登録する。
通信手段22は、イーサネットに類するネットワークインタフェースを介して、HTTPに類する通信プロトコル処理を行う。
検索手段23は、シグニチャ情報列が入力され、かつデジタル放送同期再生装置205の主動作モードが(ロ)録画モード以外である場合、ストリーム記憶手段7に保存されている1つ以上のシグニチャファイルを検索し、シグニチャ情報列と一致するシグニチャファイルを発見し、一致ポイントPTSを抽出する。更に、再生モードを(は)頭出し動作モードへ移行させ、一致ポイントPTSを用いてMPEG−TSストリームの再生位置をジャンプする。
ブラウザ手段24は、Webブラウザに類するアプリケーションであって、ユーザが入力手段20のURI入力装置に入力した、URIに類する資源識別子が指定する情報センタサーバへ通信手段22を制御して接続する。更に、URIの指し示すファイルを取得し、ファイルがHTMLに類するマークアップ記述言語で記述されたいた場合は解析し、リンク情報が含まれていた場合は、関連する別ファイルも逐次取得し、所望のレンダリング(映像化)を施す。この映像信号はフォーマット手段25へ出力する。ブラウザ手段24は、情報センタサーバから取得したファイルがシグニチャ情報列ファイルであった場合は、シグニチャ情報列を検索手段23へ入力する。
フォーマット手段25は、表示手段10に、映像デコード手段8からの映像信号と、ブラウザ手段24からの映像信号を重畳して提示するための表示インタフェースである。フォーマット手段25は入力によってユーザが使いやすい表示を行う。例えば、ブラウザ手段24からの映像信号がない場合は、映像デコード手段8からの映像信号を全画面表示する。ブラウザ手段24からの映像信号がある場合は、映像デコード手段8からの映像信号に縮小処理をかけ、画面の一部に表示し、残りの画面領域に、ブラウザ手段24からの映像信号を表示する。
その他の装置については図2と同様であるため説明を省略する。
(アップロード手段の動作)
次に、アップロード手段21の動作について図12のフロー図を用いて説明する。
次に、アップロード手段21の動作について図12のフロー図を用いて説明する。
(a)先ず、文章入力検出ステップS301は、前記文章入力装置からの入力がある場合は真、ない場合は偽となる。
(b)文章編集ステップS302は、テキストエディタや日本語入力フロントエンドプロセッサに類するアプリケーションであり、前記文章入力検出ステップS301で検出された入力文字を、文章バッファ手段35に一時記憶する。
(c)アップロードトリガ検出ステップS303は、入力手段20からアップロードトリガが入力された時点で真となる。それ以外は偽となる。
(d)主動作モード判定ステップS304は、デジタル放送同期再生装置205の主動作モードが(ハ)再生モードである場合に真となる。それ以外の時は偽となる。
(e)シグニチャ情報取得ステップS305は、多重分離手段5から現在多重分離しているMPEGビデオストリームのPESパケットから直近PTSを取得する。次にストリーム制御手段4から、MPEG−TSストリームファイル名を取得し、現在再生中のMPEG−TSストリームファイルに関連づけられたシグニチャファイル名を得る。次に、シグニチャ情報取得ステップS305は、シグニチャファイル名を用いて、ファイルI/O手段6を制御し、シグニチャファイルを読み出す。シグニチャファイルには、PTSとシグニチャ情報が組として保存されている。さらに、シグニチャ情報取得ステップS305は、PTSをキーとしてシグニチャファイル内を検索し、(直近PTS−定数α)から(直近PTS)までの範囲に該当する1個以上のシグニチャ情報を、時系列を崩さずにシグニチャ情報列として出力する。
(f)アップロードステップS306は、文章バッファ手段35内の文章データと、シグニチャ情報列とを、情報センタサーバ210へ登録に適したファイルに変換する。ここでは説明の簡略化のためにHTMLを書式として採用する。HTMLは、マークアップ記述言語の一種であり、HTMLテキスト中に、特定の文字列であるタグによって、別のファイルへのリンク情報を埋め込むことができる。よって、文章データはHTMLファイルへ変換し、シグニチャ情報列はシグニチャ情報列ファイルへ変換し、HTMLファイル内にシグニチャ情報列ファイルへのリンク情報を埋め込むことで、両者の関連付けを行うことができる。
アップロードステップS306から生成されるHTMLファイル「upload1.html」と、シグニチャ情報列ファイル「upload1.sig」は一例として図13に示すように構成される。図13のHTMLファイルには、HTML文法における画像タグ(IMGタグ)を用いて、このシグニチャ情報列ファイルへのリンク情報が埋め込まれている。また、シグニチャ情報列ファイルには、元のシグニチャファイルのPTS3から、定数αだけ遡った範囲に相当する、シグニチャ情報2及びシグニチャ情報3が記述されている。この定数αが示すPTSは、アップロードトリガが発生した再生時刻に対応した直近PTSである。
アップロードステップS306は、生成した前記2つのファイルを、通信手段22を制御して、情報センタサーバ210へ送信する。送信には、HTTPのPUTメソッドまたはPOSTメソッドに類する通信プロトコルを用いる。
上述したように、ユーザは、アップロード手段21を用いることで、録画したテレビ番組を任意に再生し、他人にアピールしたい決定的シーンを対話的に選択し、自分の意見等を文章に記述して、情報センタサーバ210へ登録することができる。
(検索手段の動作)
次に、検索手段23による検索アルゴリズムの一例を図14のフロー図に示す。
次に、検索手段23による検索アルゴリズムの一例を図14のフロー図に示す。
(a)先ずシグニチャ情報列検出ステップS401は、ブラウザ手段24からシグニチャ情報列が入力された場合に真となる。それ以外の場合は偽となる。
(b)主動作モード判定ステップS402は、デジタル放送同期再生装置205の主動作モードが(ロ)録画モードである場合に真、それ以外の時は偽となる。つまり、後述する頭出し動作モードに突入することにより、録画モードが解除されてしまう不具合を抑える。尚、本実施例では(ロ)録画モードとそれ以外の主動作モードが並列動作しないためでの制限であるが、並列動作が可能である場合は、本ステップを削除しても良い。
(c)ファイル名リスト取得ステップS403は、ファイルI/O手段6を制御して、ストリーム記憶手段7内の全てのシグニチャファイルのファイル名リストを作成する。又、ファイル名リストを指し示すファイル名ポインタFPに初期値0を代入し、ファイル名数FNにシグニチャファイルの個数を代入する。ファイル名リストは、一種の配列であって、0〜(FN−1)個までの添字によって自由にアクセスでき、任意のシグニチャファイル名を取り出すことができるものとする。
(d)検索終了判定ステップS404は、ファイル名ポインタFPとファイル名数FNが等しくなった場合に真、それ以外の場合は偽となる。
(e)一致ポイント抽出ステップS405は、ファイル名リストから、ファイルポインタFPが指し示しているシグニチャファイル名を取得し、該当するシグニチャファイルを読み込む。読み込みでは、シグニチャファイル内のシグニチャ情報列を、出力ビット長Rずつずらしながら全域を探索し、ブラウザ手段24から入力されたシグニチャ情報列に一致する一致ポイントを検索する。一致ポイントが発見できた場合は真となり、該当シグニチャファイル名と一致ポイントPTSを記憶し、シグニチャファイル終端まで検索しても発見できなかった場合は偽となる。
ここで一致ポイントPTSとは、該当シグニチャファイル内の、一致したシグニチャ情報列に関連づけられたPTSのうち、最も小さいPTS(開始時刻)である。図5における一致ポイント抽出ステップS105とステップS405を比較して、本質的に動作が異なる点は、S405では一致ポイントが複数あったとしても、そのうちの1つさえ判明していればよく、1つに絞り込めていなくても構わない。
(f)FP加算ステップS406は、ファイル名ポインタFPに1を加算する。
(g)頭出しステップS407は、ストリーム制御手段4をコントロールし、再生動作モードを(は)頭出し動作モードに移行させ、該当シグニチャファイル名に関連づけられたMPEG−TSストリームファイルを再生開始し、一致ポイントPTSにしたがって頭出しを行う。
上述した検索アルゴリズムによるシグニチャ情報列の構造の変化例を図15に示す。第2の実施の形態においては、説明の簡素化のために、出力ビット長R=12bitを採用しているので、ひとつのシグニチャ情報は、ASCII文字列による16進数表記を用いて、3文字の英数字で表せる。
図15のシグニチャ情報列は、シグニチャ情報数m=2であり、2個のシグニチャ情報「def」「013」が蓄積されている。一致ポイントの発見は、シグニチャファイル内のシグニチャ情報を、シグニチャ情報数m×出力ビット長R=24bitずつ、該当シグニチャファイル内のシグニチャ情報列と比較していき、両者が完全に一致したポイントを検索することで行う。シグニチャ情報数mは一行(出力ビット長R)ずつずらしながら比較される。
図15では、該当シグニチャファイル名「20040924222355.mpg.sig」内に一致したシグニチャ情報列が見付かり、一致ポイントPTSはPTS2となった。この場合、頭出しステップS407では、MPEG−TSストリームファイル名「20040924222355.mpg」がオープンされ、PTS2の位置までジャンプして、再生が開始される。
尚、第2の実施の形態の検索アルゴリズムにおいては、説明の簡略化のために最も単純な線形探索アルゴリズムを採用したが、予めシグニチャ情報とファイル名を対応づけたインデックステーブルを作成しておき、インデックス検索アルゴリズムを採用して高速化を図ってもよい。
上述したように、ストリーム同期再生システム504において、情報センタサーバ210にはHTMLファイルとシグニチャ情報列ファイルが登録されているのみで、コンテンツからキャプチャーした画像(映像)ファイルは一切登録されない。しかしながら、デジタル放送同期再生装置205に備えられたブラウザ手段24を通じて、他のユーザの登録したHTMLファイルにかかれた文章を閲覧する際に、自動的にストリーム記憶手段7に保存されているMPEG−TSストリームファイルのうち、最も適切なシーンが自動的に頭出しされ、再生開始される。これにより、ユーザは極簡便な操作で、所望の映像と文章を同時に閲覧することができる。
尚、デジタル放送同期再生装置205を構成するブロックのうち、全てまたは一部がコンピュータで実行可能なプログラムとして実現し、予めコンピュータ読み取り可能な記録媒体などに記録して提供することも可能である。
このように、本発明の第2の実施の形態に係るデジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システムによると、(6)情報センタサーバ210には、テレビ番組コンテンツから生成された画像又は映像ファイルが登録されないため、著作権者が多数の情報センタサーバを逐一長期間監視する必要がない。(7)情報センタサーバ210に登録するシグニチャ情報列ファイルは、画像又は映像ファイルの1/3333〜1/105のファイルサイズでしかなく、情報センタサーバ210の記憶容量を圧迫しない。この算出の根拠を説明すると、基準フレームが0.5秒に1フレーム内挿されるMPEGビデオストリームの場合、0.5秒毎に160bitシグニチャ情報が発生する。これを30秒分集めてシグニチャ情報列を生成したとき、その容量は600バイトとなる。30秒分の映像ファイル60MBと比較すると、1/105であることが挙げられる。(8)情報センタサーバ210に登録するシグニチャ情報列ファイルは、画像又は映像ファイルの1/3333〜1/105のファイルサイズでしかなく、複数の登録画像又は映像ファイルを連続的に閲覧したとしても、回線帯域を長時間占有することがなく、ユーザのストレスにならない。
1…アンテナ手段
2…チューナ手段
3…入力手段
4…ストリーム制御手段
5…多重分離手段
6…ファイルI/O手段
7…ストリーム記憶手段
8…映像デコード手段
9…音声デコード手段
10…表示手段
11…スピーカ手段
12…シグニチャ生成手段
13…シグニチャファイル生成手段
14…同期手段
15…通信手段
15a…クライアント機能手段
15b…サーバ機能手段
16…フォーマット手段
17…通信手段
18…通信手段
19…同期手段
20…入力手段
21…アップロード手段
22…通信手段
23…検索手段
24…ブラウザ手段
25…フォーマット手段
30…情報記憶手段
31…ファイルI/O手段
32…通信手段
33…比較バッファ手段
34…一時記憶手段
35…文章バッファ手段
61…パーソナルコンピュータ
62…IP電話
63…携帯電話
64…固定電話
65…LAN
201…通信ネットワーク
202,204,205…デジタル放送同期再生装置
203…デジタル放送受信装置
210…情報センタサーバ
501,502,504…ストリーム同期再生システム
2…チューナ手段
3…入力手段
4…ストリーム制御手段
5…多重分離手段
6…ファイルI/O手段
7…ストリーム記憶手段
8…映像デコード手段
9…音声デコード手段
10…表示手段
11…スピーカ手段
12…シグニチャ生成手段
13…シグニチャファイル生成手段
14…同期手段
15…通信手段
15a…クライアント機能手段
15b…サーバ機能手段
16…フォーマット手段
17…通信手段
18…通信手段
19…同期手段
20…入力手段
21…アップロード手段
22…通信手段
23…検索手段
24…ブラウザ手段
25…フォーマット手段
30…情報記憶手段
31…ファイルI/O手段
32…通信手段
33…比較バッファ手段
34…一時記憶手段
35…文章バッファ手段
61…パーソナルコンピュータ
62…IP電話
63…携帯電話
64…固定電話
65…LAN
201…通信ネットワーク
202,204,205…デジタル放送同期再生装置
203…デジタル放送受信装置
210…情報センタサーバ
501,502,504…ストリーム同期再生システム
Claims (4)
- 少なくともデジタル放送の再生処理を行う他装置と、通信ネットワークを介して通信可能に接続されるデジタル放送同期再生装置であって、
デジタル放送を受信して圧縮映像ストリームを取得するストリーム制御手段と、
前記圧縮映像ストリームを格納するストリーム記憶手段と、
前記ストリーム記憶手段より取得する前記圧縮映像ストリーム内のフレーム構造を分析し、フレーム単位にフレームのビット列の一部から、前記ビット列より短いビット列であるシグニチャ情報を生成するシグニチャ生成手段と、
前記通信ネットワークを介して前記他装置側に前記シグニチャ情報を送信し、前記他装置側より前記シグニチャ情報を受信する通信手段と、
受信する前記シグニチャ情報列と、前記ストリーム記憶手段に格納される前記シグニチャ情報列とを比較し、比較結果に従って同期再生を行う同期手段
とを備えることを特徴とするデジタル放送同期再生装置。 - 前記通信手段は、前記通信ネットワークにて発生する伝送遅延を測定し、
前記同期手段は、前記圧縮映像ストリームより成るコンテンツの頭出し時刻に前記伝送遅延を加算する
ことを特徴とする請求項1に記載のデジタル放送同期再生装置。 - 少なくともストリーム再生処理を行う他装置と、通信ネットワークを介して通信可能に接続されるストリーム同期再生装置であって、
時系列を伴うコンテンツから生成されたストリームを格納するストリーム記憶手段と、
前記ストリーム記憶手段より取得する前記ストリームのフレーム構造を分析し、フレーム単位にフレームビット列の一部から、前記フレームビット列より短く、かつフレームビット列の特徴を表現しうるシグニチャ情報を生成し、前記シグニチャ情報を前記コンテンツの時系列に沿って並べたシグニチャ情報列を、前記ストリーム記憶手段に格納するシグニチャ生成手段と、
前記ストリーム記憶手段より取得する前記シグニチャ情報列の一部を前記通信ネットワークを介して前記他装置側に送信し、前記他装置側より受信する前記シグニチャ情報列の一部に該当するストリームの時間的位置を特定する通信手段と
前記他装置側より受信する前記シグニチャ情報列の一部と、前記ストリーム記憶手段に格納されているシグニチャ情報列を比較して前記ストリームの同期をとる同期手段
とを備えることを特徴とするストリーム同期再生装置。 - コンテンツの圧縮映像ストリームの一部に対応したシグニチャ情報列の一部を含む前記コンテンツに関する情報を格納する情報センタサーバと、
デジタル放送を受信して圧縮映像ストリームを取得するストリーム制御手段、前記圧縮映像ストリームを格納するストリーム記憶手段、前記ストリーム記憶手段より取得する前記圧縮映像ストリーム内のフレーム構造を分析し、フレーム単位にフレームのビット列の一部から、前記ビット列より短いビット列であるシグニチャ情報を生成するシグニチャ生成手段、前記通信ネットワークを介して前記情報センタサーバから前記シグニチャ情報を受信する通信手段、受信する前記シグニチャ情報列と一致するシグニチャ情報列を前記ストリーム記憶手段から検索する検索手段とを有するデジタル放送同期再生装置
とを備えることを特徴とするストリーム同期再生システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005087112A JP2006270634A (ja) | 2005-03-24 | 2005-03-24 | デジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005087112A JP2006270634A (ja) | 2005-03-24 | 2005-03-24 | デジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006270634A true JP2006270634A (ja) | 2006-10-05 |
Family
ID=37206103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005087112A Pending JP2006270634A (ja) | 2005-03-24 | 2005-03-24 | デジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006270634A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008092015A (ja) * | 2006-09-29 | 2008-04-17 | Nec Personal Products Co Ltd | 映像特定システム |
JP2010523068A (ja) * | 2007-03-31 | 2010-07-08 | ソニー ドイチュラント ゲゼルシャフト ミット ベシュレンクテル ハフツング | 音声信号内の時点を決定する方法 |
WO2012091322A1 (ko) * | 2010-12-26 | 2012-07-05 | 엘지전자 주식회사 | 방송 서비스 전송 방법, 그 수신 방법 및 그 수신 장치 |
JP2013143688A (ja) * | 2012-01-11 | 2013-07-22 | Canon Inc | 画像処理装置及びその制御方法、プログラム、並びに画像処理システム |
WO2014038413A1 (ja) * | 2012-09-06 | 2014-03-13 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム |
CN105898323A (zh) * | 2015-12-04 | 2016-08-24 | 乐视致新电子科技(天津)有限公司 | 一种在视频中添加水印和确定水印的信息的方法和设备 |
CN105979332A (zh) * | 2015-12-04 | 2016-09-28 | 乐视致新电子科技(天津)有限公司 | 一种视频数据的检测方法和装置 |
JPWO2014091942A1 (ja) * | 2012-12-14 | 2017-01-05 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09275549A (ja) * | 1996-04-05 | 1997-10-21 | Omron Corp | 画像表示制御方法および装置 |
JPH10136312A (ja) * | 1996-10-25 | 1998-05-22 | Nec Corp | 情報再生装置 |
WO2003043006A1 (en) * | 2001-11-13 | 2003-05-22 | Koninklijke Philips Electronics N.V. | System for synchronizing the playback of two or more connected playback devices using closed captioning |
WO2003051046A2 (en) * | 2001-12-11 | 2003-06-19 | Koninklijke Philips Electronics N.V. | Apparatus and method for synchronizing presentation from bit streams based on their content |
-
2005
- 2005-03-24 JP JP2005087112A patent/JP2006270634A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09275549A (ja) * | 1996-04-05 | 1997-10-21 | Omron Corp | 画像表示制御方法および装置 |
JPH10136312A (ja) * | 1996-10-25 | 1998-05-22 | Nec Corp | 情報再生装置 |
WO2003043006A1 (en) * | 2001-11-13 | 2003-05-22 | Koninklijke Philips Electronics N.V. | System for synchronizing the playback of two or more connected playback devices using closed captioning |
WO2003051046A2 (en) * | 2001-12-11 | 2003-06-19 | Koninklijke Philips Electronics N.V. | Apparatus and method for synchronizing presentation from bit streams based on their content |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008092015A (ja) * | 2006-09-29 | 2008-04-17 | Nec Personal Products Co Ltd | 映像特定システム |
JP4709112B2 (ja) * | 2006-09-29 | 2011-06-22 | Necパーソナルプロダクツ株式会社 | 映像特定システム |
JP2010523068A (ja) * | 2007-03-31 | 2010-07-08 | ソニー ドイチュラント ゲゼルシャフト ミット ベシュレンクテル ハフツング | 音声信号内の時点を決定する方法 |
GB2508451B (en) * | 2010-12-26 | 2017-05-03 | Lg Electronics Inc | Broadcast service transmitting method, broadcast service receiving method and broadcast service receiving apparatus |
US9661397B2 (en) | 2010-12-26 | 2017-05-23 | Lg Electronics Inc. | Broadcast service transmitting method, broadcast service receiving method and broadcast service receiving apparatus |
US9860611B2 (en) | 2010-12-26 | 2018-01-02 | Lg Electronics Inc. | Broadcast service transmitting method, broadcasting service receiving method and broadcast service receiving apparatus |
WO2012091322A1 (ko) * | 2010-12-26 | 2012-07-05 | 엘지전자 주식회사 | 방송 서비스 전송 방법, 그 수신 방법 및 그 수신 장치 |
GB2508451A (en) * | 2010-12-26 | 2014-06-04 | Lg Electronics Inc | Broadcast service transmitting method, broadcast service receiving method and broadcast service receiving apparatus |
KR101479890B1 (ko) * | 2010-12-26 | 2015-01-06 | 엘지전자 주식회사 | 미디어 콘텐트 송수신 방법 및 그를 이용한 송수신 장치 |
JP2013143688A (ja) * | 2012-01-11 | 2013-07-22 | Canon Inc | 画像処理装置及びその制御方法、プログラム、並びに画像処理システム |
JP2014053711A (ja) * | 2012-09-06 | 2014-03-20 | Sony Corp | 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム |
RU2628773C2 (ru) * | 2012-09-06 | 2017-08-22 | Сони Корпорейшн | Устройство обработки информации, способ обработки информации, программа и система совместного использования контента |
WO2014038413A1 (ja) * | 2012-09-06 | 2014-03-13 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム |
US10073901B2 (en) | 2012-09-06 | 2018-09-11 | Saturn Licensing Llc | Information processing apparatus, information processing method, program, and content sharing system |
JPWO2014091942A1 (ja) * | 2012-12-14 | 2017-01-05 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN105898323A (zh) * | 2015-12-04 | 2016-08-24 | 乐视致新电子科技(天津)有限公司 | 一种在视频中添加水印和确定水印的信息的方法和设备 |
CN105979332A (zh) * | 2015-12-04 | 2016-09-28 | 乐视致新电子科技(天津)有限公司 | 一种视频数据的检测方法和装置 |
WO2017092320A1 (zh) * | 2015-12-04 | 2017-06-08 | 乐视控股(北京)有限公司 | 一种在视频中添加水印和确定水印的信息的方法和设备 |
WO2017092343A1 (zh) * | 2015-12-04 | 2017-06-08 | 乐视控股(北京)有限公司 | 一种视频数据的检测方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7369755B2 (en) | System and method for synchronizing video indexing between audio/video signal and data | |
US11627381B2 (en) | Video assets having associated graphical descriptor data | |
US20080124052A1 (en) | Systems and methods to modify playout or playback | |
JP2006270634A (ja) | デジタル放送同期再生装置、ストリーム同期再生装置及びストリーム同期再生システム | |
JP2005229587A (ja) | 多重化方式変換装置 | |
KR101472013B1 (ko) | 부가 데이터를 포함하는 음원 스트리밍을 제공하는 서버 및 방법, 그리고 디바이스 | |
US20080175568A1 (en) | System and method for associating presented digital content within recorded digital stream and method for its playback from precise location | |
WO2003079690A1 (en) | Video information delivery apparatus and reception apparatus | |
JP2008263502A (ja) | 記録再生装置及び記録再生システム | |
JP3821362B2 (ja) | インデックス情報生成装置、記録再生装置、及びインデックス情報生成方法 | |
JP6301616B2 (ja) | 電子機器、電子機器の制御方法、及びシーン制御プログラム | |
KR101731829B1 (ko) | 디지털 영상 수신기의 디지털 콘텐츠 처리 장치 및 방법 | |
US20030219041A1 (en) | Method for recording location information of broadcasting signals, and a broadcasting signal receiving device and transmitting device capable of recording location information of broadcasting signals | |
US8254764B2 (en) | Recording apparatus, image reproducing apparatus, and special reproduction method therefor | |
JP5557958B2 (ja) | 情報提供システム、受信装置及び情報管理サーバ | |
JP2003009085A (ja) | デジタル信号記録装置および方法、デジタル信号再生装置および方法 | |
KR102049119B1 (ko) | 클라우드 환경에서 녹화 서비스 제공 방법 및 장치 | |
JP2015053588A (ja) | 電子機器、電子機機器の制御方法、及び情報記憶媒体 | |
KR101158435B1 (ko) | 이동통신 단말기와 우선순위 정보 데이터를 이용한 방송시스템 및 이를 이용한 방송 방법 | |
US20080104656A1 (en) | Method of storing and reproducing interactive digital broadcast signals and apparatus therefor | |
JP2004304306A (ja) | Avストリーム情報交換装置、avストリーム受信装置およびavストリーム格納装置 | |
JP2004248056A (ja) | コンテンツ記録装置およびコンテンツ再生装置ならびにコンテンツ記録プログラムおよびコンテンツ再生プログラム | |
JP5100852B2 (ja) | デジタル信号記録再生装置および方法、デジタル信号再生装置および方法 | |
WO2002062062A1 (en) | Method and arrangement for creation of a still shot video sequence, via an apparatus, and transmission of the sequence to a mobile communication device for utilization | |
JP2009147969A (ja) | 複数動画像の閲覧装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100608 |