JP2004312567A

JP2004312567A - 動画要約機能付き閲覧装置

Info

Publication number: JP2004312567A
Application number: JP2003105953A
Authority: JP
Inventors: Yoshibumi Fujikawa; 義文藤川; Koichi Terada; 光一寺田; Yukio Fujii; 藤井　　由紀夫
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-04-10
Filing date: 2003-04-10
Publication date: 2004-11-04

Abstract

【課題】要約コンテンツを閲覧するために、配信サーバに重い負荷が掛からないようにする。
【解決手段】閲覧装置に、ランク情報生成手段と要約割合レジスタとランク比較手段を設ける。受信動画データをデータ記憶手段に記憶しながら、同時にランク情報生成手段によりランク情報データを生成し記憶する。再生時に、ランク情報データと要約割合レジスタをランク比較手段で比較し、再生フレームを特定する。要約割合レジスタの内容を変えることで、再生中に容易に要約割合を変えることが可能となる。
【効果】配信サーバに要約のための負荷をかけずに、要約コンテンツの閲覧が可能となる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、メモリ媒体配布や通信ネットワーク配信による動画コンテンツを閲覧する方法、装置に関する。
【０００２】
【従来の技術】
近年、高速ネットワークの整備が進み、インターネットを介した動画コンテンツの配信が始まっている。今後、配信されるコンテンツは多くなってくるが、視聴者が視聴する時間は限られており、あまり増えることはない。そこで、多くのコンテンツの中から、自分の欲しい映像を効率よく選択し、限られた時間内で視聴することが重要になると考えられている。このような要求に対して、従来、長時間のコンテンツを短く要約したコンテンツを用意し、視聴者がはじめに要約したコンテンツを見て、コンテンツ全体を見るべきかを判断する方法がある。この場合、配信サーバが、要約した動画を蓄積しておくか、または動的に要求に従って生成し、配信する必要がる。
【０００３】
図２と図３に従来技術による要約画像を閲覧するシステムの例を示す。図２と図３の閲覧装置３は、視聴者操作手段１６によって選択されたコンテンツまたはコンテンツを要約した要約コンテンツを、閲覧制御手段３１を通して配信サーバ４または配信サーバ５に要求する。要約コンテンツを選択するときは、視聴者の嗜好（たとえば要約の割合）の違いを反映した要約規則情報データ１３１を配信サーバ４または配信サーバ５に伝える。配信サーバ４または配信サーバ５からのコンテンツデータは、コンテンツ受信手段１２により受信され、一旦、データ記憶手段１３内に、受信動画データ１３２として記憶される。コンテンツ再生手段３４は、閲覧制御手段３１からの制御信号によって、受信動画データ１３２を読み込み再生データを表示手段１５に送る。視聴者は、表示手段１５によって表示されたコンテンツを視聴する。
【０００４】
図２の配信サーバ４では、予め、記憶手段２３に、動画コンテンツ２３１を要約した要約コンテンツ２３２を数種用意しておく。配信制御手段４１は、閲覧装置３から送られてきた要約規則にしたがって、要約コンテンツ２３２または、動画コンテンツ２３１を選び、コンテンツ配信手段２２を用いて、コンテンツデータを配信する。
【０００５】
図３の配信サーバ５では、配信制御手段５１は、閲覧装置３から送られてきた要約規則にしたがって、コンテンツ要約手段５４を用いて、動画コンテンツ２３１の要約コンテンツを生成する。そして、配信制御手段５１は、生成された要約コンテンツまたは動画コンテンツ２３１を選び、コンテンツ配信手段２２を用いて、コンテンツデータを配信する。
【０００６】
要約動画を生成する技術には、非特許文献１や非特許文献２に書かれた技術がある。
【０００７】
【非特許文献１】
寺口正義他「時区間インデックス生成によるパーソナルビデオダイジェスト」、電子情報通信学会技術研究報告、Ｖｏｌ．１０１Ｎｏ．３０２、２００１、第４３頁〜第５０頁
【非特許文献２】
ＤａｎｉｅｌＤｅＭｅｎｔｈｏｎ，ＶｉｋｒａｎｔＫｏｂｌａ，ＤａｖｉｄＤｏｅｒｍａｎｎ，“ＶｉｄｅｏＳｕｍｍａｒｉｚａｔｉｏｎｂｙＣｕｒｖｅＳｉｍｐｌｉｆｉｃａｔｉｏｎ”，ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅｓｉｘｔｈＡＣＭｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔｉｍｅｄｉａ１９９８，Ｂｒｉｓｔｏｌ，ＵｎｉｔｅｄＫｉｎｇｄｏｍ，ｐｐ．２１１−２１８，１９９８
【０００８】
【発明が解決しようとする課題】
図２のような予め要約画像を配信サーバに蓄積しておくシステムでは、要約に対する視聴者の嗜好の違いに配慮するために、複数の要約画像を蓄積しておく必要があり、多様な種類の要約には対応できないという問題がある。また、視聴者が要約コンテンツを視聴している間に動的に要約の割合を変えたい場合、柔軟に対応することができないという問題がある。
【０００９】
図３のような要求に従って配信サーバが要約動画を動的に生成し配信するシステムでは、同時に多くの視聴者に配信する場合、要約画像を生成する配信サーバの負荷が重くなることが問題となる。
【００１０】
本発明は、配信サーバに要約動画のための負荷をかけずに、視聴者の要求する要約度合（嗜好）の要約動画の閲覧を可能にする、閲覧装置を提供する。
【００１１】
【課題を解決するための手段】
コンテンツ受信手段とデータ記憶手段とコンテンツ再生手段を備える閲覧装置に、ランク情報生成手段と要約割合レジスタとランク比較手段を設ける。
【００１２】
コンテンツ受信手段で受信した受信動画データをデータ記憶手段に記憶しながら、同時に受信動画データをランク情報生成手段に送る。ランク情報生成手段は所定時間間隔で、受信動画をランク生成処理区間に分割し、ランク生成処理区間内の全フレームに対して重要度のランクを付ける。ランク付け情報は、データ記憶手段内に、ランク情報データとして記憶する。
【００１３】
受信動画データを再生する場合、ランク比較手段によって、要約割合レジスタとランク情報データとを比較し表示するフレームを決定する。ランク比較手段によって決定した表示フレーム情報に基づいて、コンテンツ再生手段は、受信動画データを再生する。
【００１４】
このように閲覧装置を構成することで、サーバには要約のための負荷がかからず、また、個々の閲覧装置内の要約割合レジスタに記憶された要約割合を変えることで、視聴者の要求に応じた要約を生成することが可能となる。
【００１５】
【発明の実施の形態】
図１を用いて、本発明の実施例を示す。図１の１が、本発明の実施例の閲覧装置である。閲覧装置１は、装置全体を制御する閲覧制御手段１１と、視聴者のキー操作などを入力する視聴者操作手段１６と、電波放送やネットワークなどを介してコンテンツを受信するコンテンツ受信手段１２と、受信した受信動画データ１３２を記憶するデータ記憶手段１３と、受信動画データ１３２を復号再生するコンテンツ再生手段１４と、動画を視聴者に表示する表示手段１５と、受信動画データ１３２を分析し動画を構成する各フレームの重要度の順位を示すランクを決定するランク情報生成手段１７と、再生時にどのくらい要約して再生するかを示す要約割合レジスタ１８と、各フレームのランクと要約割合レジスタ１８の内容を比較し表示するフレームを決定するランク比較手段１９からなる。
【００１６】
次に閲覧装置１の動作を、順をおって説明する。視聴者は、視聴者操作手段１６を介して配信してもらうコンテンツを選択する。閲覧制御手段１１は、視聴者操作手段１６からのコンテンツ選択の情報を受け、配信サーバ２にコンテンツの配信を要求する。配信サーバ２は、要求に従って、動画コンテンツを閲覧装置１に配信する。
【００１７】
配信された動画コンテンツデータ２３１は、コンテンツ受信手段１２により受信され、受信動画データ１３２として、データ記憶手段１３に記憶される。このとき、同時にランク情報生成手段１７にも受信動画データ１３２が入力される。受信動画データ１３２は、複数の受信フレーム画像データ１３２１から構成されている。
【００１８】
ランク情報生成手段１７は、入力された受信動画データ１３２を、図５に示すように、所定の時間分、例えば約２分間分ごとに区切り、ランク生成処理区間とする。１つのランク生成処理区間分のデータが入力されると、その区間内のフレーム数を数え、ランク生成処理区間内のフレーム数１３３４とする。そして、非特許文献２に記述されている方法を用いて、ランク生成処理区間内の各フレームを重要度の高い順に１から番号を振り、ランク１３３３とする。ランク１３３３とランク生成処理区間内のフレーム数１３３４は、図５に示すように、フレーム番号１３３１と格納場所１３３２とともに、ランク情報データ１３３として、データ記憶手段１３に格納する。
【００１９】
視聴者が視聴する場合、まず、視聴者操作手段１６を介して、要約の割合を入力する。閲覧制御手段１１は、視聴者操作手段１６から要約の割合の入力情報を受け、要約割合レジスタ１８の内容を変更する。要約割合レジスタの内容は、要約する割合を示す０から１の間の実数値である。要約割合レジスタの内容が０の場合、まったく要約せずにもとのコンテンツを視聴することを意味し、０．５の場合、半分の時間に要約することを意味する。
【００２０】
次に視聴者は、視聴者操作手段１６を介して、再生指示を入力する。閲覧制御手段１１は、視聴者操作手段１６から再生指示の情報を受け、ランク比較手段１９と、コンテンツ再生手段１４を動作させる。ランク比較手段１９は、データ記憶手段１３に記憶されたランク情報データ１３３をフレーム番号順に読み出し、各フレームのランク１３３３とランク生成処理区間内のフレーム数１３３４と、要約割合レジスタ１８の内容を、式１に従って比較する。そして、式１を満たす場合、フレーム番号１３３１と格納場所１３３２の情報をコンテンツ再生手段１４に伝える。式１を満たさない場合は、次のフレームの比較を行う。そして順に各フレームの情報の比較を行う。
【００２１】
【数１】

【００２２】
フレーム番号１３３１と格納場所１３３２の情報を受け取ったコンテンツ再生手段１４は、データ記憶手段１３に記憶された受信動画データ１３２のうち、受け取った格納場所１３３２情報に従って、受け取ったフレーム番号１３３１に関する受信フレーム画像データ１３２１を読み出し、復号再生する。復号した画像は、表示手段１５へ送られ、視聴者に提示する。
【００２３】
再生中、視聴者が視聴者操作手段１６を介して、要約の割合を入力すると、閲覧制御手段１１を介して、要約割合レジスタ１８の内容を変更する。ランク比較手段１９は、約割合レジスタ１８の内容が変更されると、次のフレームの比較処理より新しい値を用いて比較評価する。この動作により、再生中にも要約割合を変更して、任意の要約割合のコンテンツを視聴できる。
【００２４】
データ記憶手段１３内の要約規則情報データ１３１には、省略時の要約の割合や、ランク情報生成手段１７によるランク付けの規則情報を記憶する。視聴者が視聴者操作手段１６を介して再生指示を入力する時、まだ要約の割合を入力していない場合は、データ記憶手段１３内の要約規則情報データ１３１内の省略時の要約の割合を、要約割合レジスタ１８に設定する。ランク付けの規則情報は、ランク情報生成手段１７によるランク付けの評価において、輝度や色の値の変化を重視するか、物の動きを重視するか、音を重視するかなどの、評価の割合や、ランク生成処理区間の長さなどの情報からなる。閲覧制御手段１１は、これらランク付けの規則情報を、ランク情報生成手段１７に伝える。また、視聴者は、視聴者操作手段１６と閲覧制御手段１１を介して、要約規則情報データ１３１を設定する。
【００２５】
以上の構成と動作により、配信サーバ側には要約のための負荷はかからず、また閲覧装置のコンテンツデータの受信処理とランク付け処理が同時に終了し、受信後ただちに要約コンテンツを視聴できる。要約したコンテンツの視聴時には、要約のために負荷はほとんどかからず、また要約割合の変更に対する負荷もほとんどかからない。
【００２６】
本発明は、ソフトウェアで実施してもよい。その場合の閲覧装置６のハードウェア構成を図４に示す。システムバス６１に、中央演算装置６２と主記憶装置６３と入出力装置６４を接続する。入出力装置６４には、補助記憶装置６５とコンテンツ受信装置６６と視聴者操作装置６７と表示装置６８を接続する。補助記憶装置６５には、閲覧装置６全体の処理を行うプログラムとデータと、コンテンツ受信装置６６によって受信した受信動画データを記憶する。主記憶装置６３は、中央演算装置６２に与える処理手順を記述したプログラムと処理途中のデータを記憶する。また、要約割合を示すデータも、主記憶装置６３に記憶する。中央演算装置６２は主記憶装置６３内のプログラムに従って、処理を行う。中央演算装置６２の処理により、コンテンツ受信装置６６で受信した受信動画データを、補助記憶装置６５に記憶すると同時に、ランク情報を生成し補助記憶装置６５に記憶する。再生時には、中央演算装置６２の処理により、補助記憶装置６５内のランク情報と主記憶装置６３内の要約割合を示すデータを比較し、表示するフレームを決定する。そして、その決定に基づいて、補助記憶装置６５内に記憶された受信動画データを復号し、表示装置６８を通して表示する。視聴者は視聴者操作装置６７を通して、要約割合の変更を指示すると、中央演算装置６２の処理により、主記憶装置６３内の要約割合を示すデータを変更する。
【００２７】
【発明の効果】
図１の構成による閲覧装置を用いれば、配信サーバにコンテンツの要約のための負荷をかけずに、視聴者は、自分の嗜好にあった要約割合の要約画像を見ることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施例の構成を示す図である。
【図２】従来技術による要約コンテンツ視聴システムの構成を示す図である。
【図３】従来技術による要約コンテンツ視聴システムの構成を示す図である。
【図４】本発明の第２の実施例の構成を示す図である。
【図５】ランク情報データの構成を示す図である。
【符号の説明】
１…閲覧装置、１１…閲覧制御手段、１２…コンテンツ受信手段、１３…データ記憶手段、１３１…要約規則情報データ、１３２…受信動画データ、１３２１…受信フレーム画像データ、１３３…ランク情報データ、１３３１…フレーム番号、１３３２…格納場所、１３３３…ランク、１３３４…ランク生成処理区間内のフレーム数、１４…コンテンツ再生手段、１５…表示手段、１６…視聴者操作手段、１７…ランク情報生成手段、１８…要約割合レジスタ、１９…ランク比較手段、２…配信サーバ、２１…配信制御手段、２２…コンテンツデータ記憶手段、２３１…動画コンテンツデータ、２３２…要約コンテンツデータ、３…閲覧装置、３１…閲覧制御手段、３４…コンテンツ再生手段、４…配信サーバ、４１…配信制御手段、５…配信サーバ、５１…配信制御手段、５４…コンテンツ要約手段、６…閲覧装置、６１…システムバス、６２…中央演算装置、６３…主記憶装置、６４…入出力装置、６５…補助記憶装置、６６…コンテンツ受信装置、６７…視聴者操作装置、６８…表示装置。

Claims

放送または配信される動画コンテンツデータを受信し再生処理する動画閲覧装置であって、
動画コンテンツデータを受信するコンテンツ受信手段と、前記コンテンツ受信手段によって受信したデータを記憶する受信データ記憶手段と、前記コンテンツ受信手段によって受信した動画コンテンツを構成する各フレーム画像の重要度の順位を所定時間間隔で計算するランク情報生成手段と、前記ランク情報生成手段によって生成された情報を記憶するランク情報データ記憶手段を備え、
前記コンテンツ受信手段によって受信したデータを前記受信データ記憶手段に記憶すると同時に前記ランク情報生成手段は重要度の順位を計算しランク情報データ記憶手段に記憶することを特徴とする動画閲覧装置。
請求項１記載の動画閲覧装置であって、要約の度合を指定する要約割合レジスタと、前記要約割合レジスタの内容と前記ランク情報データ記憶手段の内容を比較するランク比較手段と、前記ランク比較手段による比較結果によって前記受信データ記憶手段内のデータを読み出し再生処理するコンテンツ再生手段を備えることを特徴とする動画閲覧装置。
請求項２記載の動画閲覧装置であって、視聴者が情報を入力する視聴者操作手段と、前記視聴者操作手段からの情報に従って前記要約割合レジスタの内容を再生中に変える閲覧制御手段を備えることを特徴とする動画閲覧装置。