JP2004320092A - Digital contents summary reproducing method and system - Google Patents

Digital contents summary reproducing method and system Download PDF

Info

Publication number
JP2004320092A
JP2004320092A JP2003107195A JP2003107195A JP2004320092A JP 2004320092 A JP2004320092 A JP 2004320092A JP 2003107195 A JP2003107195 A JP 2003107195A JP 2003107195 A JP2003107195 A JP 2003107195A JP 2004320092 A JP2004320092 A JP 2004320092A
Authority
JP
Japan
Prior art keywords
content
digital content
playback
video
summarizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003107195A
Other languages
Japanese (ja)
Other versions
JP4356343B2 (en
JP2004320092A5 (en
Inventor
Koichi Terada
光一 寺田
Yukio Fujii
藤井  由紀夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003107195A priority Critical patent/JP4356343B2/en
Publication of JP2004320092A publication Critical patent/JP2004320092A/en
Publication of JP2004320092A5 publication Critical patent/JP2004320092A5/ja
Application granted granted Critical
Publication of JP4356343B2 publication Critical patent/JP4356343B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a digital contents summary reproducing method with excellent convenience and high efficiency. <P>SOLUTION: All frames in a stream are rearranged in orders of high importance, and the resultant stream is used for a digest index. Only the optional number of frames is extracted from the head of the index and reproduced in a temporal order to display the summary with an optional length. In the case that a contents storage location is apart from a reproduction location, data are sequentially transmitted from the frame at the head of the index to realize quick summary viewing / listening of an important frame group. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、多量のコンテンツを視聴する際に、コンテンツ本体とは別に、コンテンツ内容に関するダイジェスト情報を供給する技術に関するものであり、特にデジタルビデオコンテンツを配信するためのビデオサーバ装置、該配信を受けるビデオ再生端末装置、及びこれらを用いたビデオ配信システムに関する。
【0002】
【従来の技術】
近年のデジタル映像処理技術の発達に伴い、多量のデジタル映像コンテンツが流通し始めている。これらのコンテンツを効率的に流通させるため、また、視聴者の限られた時間を有効に利用させるため、コンテンツのダイジェスト情報を提供するための技術の発達が著しい。
【0003】
コンテンツのダイジェスト情報は、例えば対象コンテンツが映画であれば、その映画に関する各種の属性、例えば製作年や製作者に関わる情報などのほか、映画配給直前に使用された予告CM映像などが利用されることがある。対象コンテンツがスポーツ中継映像のようなものであれば、コンテンツ配信を開始する前に人間がコンテンツを視聴し、重要と思われるシーンにタグを打つなどして部分的に抜き出し、抜き出した映像をダイジェスト情報として利用することもある。
【0004】
このような技術としては、例えば、特開平11−196385号公報に示されているようなものがある。
【0005】
しかし、以上述べたような従来技術には、以下に述べるような課題があった。
【0006】
映像を含むコンテンツを販売する場合、映像情報を含むダイジェスト情報の有無は、宣伝効果に大きな差を生むであろうことが予想される。このような映像ダイジェスト情報は、近年配給された映画のようなコンテンツであれば予告CM映像などを流用することが可能であるものの、一般的にはコンテンツ本体を元にして生成するほかないのが現状である。
【0007】
映像コンテンツ本体を元にして映像ダイジェスト情報を生成する場合、コンテンツのうちのどの部分がダイジェストに適当であるかを判断し、映像を部分的に抜き出す必要が生じる。この抜き出すための作業は、従来から人間がコンテンツを視聴してタグ打ちするなどの方法により行ってきた。しかし近年の研究により、対象コンテンツが限られてはいるものの、計算機による自動作業が行えるようになってきている。このような研究としては、例えば、非特許文献1に示されるようなものがある。
【0008】
しかしいずれの方法においても、予めダイジェスト映像情報を生成しておく方式であることから、生成されるダイジェスト映像情報の長さは、生成時に一意に決定されてしまう。つまり、例えば2時間分のコンテンツのダイジェストを生成し、これが1分の映像となった場合、ダイジェスト映像を見たい視聴者にとっては、必ず1分間の視聴時間が必要となる。仮にこの視聴者がもっと短いダイジェストを欲していたとしても、1分間のダイジェスト映像をもっと短縮して視聴することができないことになる。同様に、もう少し詳しいダイジェスト映像がほしいと思ったとしても、そのような視聴方法をとることはできない。
【0009】
このような視聴者向けに、複数のダイジェスト映像、例えば1分間版のほかに、15秒版や3分間版を用意したりすることは可能である。しかし、このような点に関しては視聴者の要求は細分化する傾向にあり、早晩30秒版や2分間版を用意せざるを得なくなる可能性が高い。また、このような要求にこたえるためには、前記のような人間によるタグ打ちによる方法では、タグ打ちの際に複数の重み付けを持ったタグを打っていく必要が生じるため、タグ打ちのコストが大幅に上昇することが予想される。
【0010】
【特許文献1】
特開平11−196385号公報
【非特許文献1】
益満健他「映像重要度を用いたパーソナライズ要約映像作成手法」、電子情報通信学会論文誌D−II Vol. J84−D−II No. 8、pp.1848−1855、2001
【非特許文献2】
Daniel DeMenthon, Vikrant Kobla, David Doermann,“Video Summarization byCurve Simplification”,Proceedings of the sixth ACM international conference on Multimedia 1998, Bristol, United Kingdom, pp.211−218, 1998
【0011】
【発明が解決しようとする課題】
本発明の目的は、利便性が高く効率の良いデジタルコンテンツ要約再生システムを得ることにある。
【0012】
【課題を解決するための手段】
上記課題は、
デジタルコンテンツを要約して再生時間を短縮する方法において、
該要約する方法は、デジタルコンテンツを時間軸で分割し、分割した要素それぞれについてその重要度を評価し、評価値の高い要素のみを再生する方法であって、
該再生時間の短縮方法は、指定された再生時間となるように評価値の高い要素から順に選択する方法であって、
再生時間の短縮率はデジタルコンテンツ再生時に指定される、
とすることによって解決される。
【0013】
【発明の実施の形態】
以下、本発明の実施例について、図面を用いて説明する。
〔第一実施例の説明〕
図1に本発明の第一の実施例を示す。図1において、1はビデオサーバシステム、2はビデオ再生端末システムである。また、101はビデオエンコード手段、102はビデオストリーム保持手段、103はダイジェスト生成手段、104はダイジェストインデックス情報送出手段、105はビデオストリーム送出手段である。また、201はダイジェストインデックス情報要求手段、202は部分ビデオストリーム要求手段、203は部分ビデオストリーム一時保持手段、204はビデオストリーム一時保持手段、205はダイジェストインデックス選択整形手段、206はビデオデコード手段、207はビデオ表示手段である。
【0014】
次に図1を用いて、本実施例の動作について説明する。
【0015】
ビデオサーバシステム1に対してコンテンツ画像が入力されると、ビデオエンコード手段101がこれを例えばMPEG方式などによりエンコードし、エンコード結果をビデオストリーム保持手段102に保存する。もちろん、既にエンコードされたビデオストリームを直接にビデオストリーム保持手段102に入力しても良いが、本明細書では説明の簡単のため省略する。
【0016】
ユーザはビデオ再生端末システム2を操作し、コンテンツの選択を行い、選択の結果をビデオサーバシステムに伝達する。ここで選択や伝達に用いる手段は、例えばコンテンツタイトル名をリストから選択しても良いし、画像の一部を示した一覧から選択しても良い。このような選択手段等については、従来から利用されている技術を用いればよいため、本明細書では説明を省略する。
【0017】
選択されたコンテンツの情報がビデオサーバシステムに伝えられると、ビデオサーバシステムは必要なビデオストリームを取り出し、ダイジェスト生成手段103によって該ビデオストリームに対応するダイジェストインデックスを生成する。
【0018】
ここでダイジェストインデックスは、対応するビデオストリームの全フレームに整数の番号を振り、各フレームを重要と思われる順に並べ替え、並べ替えた結果のフレーム番号を列挙したものである。図2にダイジェストインデックスの例について示す。この例では、1034番目のフレームが全コンテンツ中で最も重要と思われるフレームであり、以下順に、26番目、544番目、39番目、1667番目のフレームが重要であると判断されたことを示す。仮に、対応するビデオストリームが10万フレームの長さを持つとすると、これを例えば1000倍速で視聴するためには、ダイジェストインデックスの先頭100個のフレーム番号を取得し、これを昇順にソートし、対応するフレームを順に表示することで、所望の速度でのダイジェスト視聴が可能となる。
【0019】
ダイジェストインデックス生成のための演算方式自体は、本発明では特に触れないが、例えば、前記非特許文献2に示されているような方法を利用することを想定している。もちろん、ダイジェストインデックス生成のための演算方式については、上記文献によるものに限ることなく、任意の方式を利用しても良い。
【0020】
さて、本実施例では、ビデオサーバシステムによって生成されたダイジェストインデックス情報が、ダイジェストインデックス送出手段104によってビデオ再生端末システムに伝達される。ビデオ再生端末システムがダイジェストインデックス情報を取得すると、ダイジェストインデックス選択整形手段205は、別途ユーザによって指定された再生速度に基づいて、ダイジェストインデックスの先頭部分を必要個数だけ取り出す。これを昇順にソートし、ソート結果をビデオサーバシステムへ伝達する。なお、このソート処理自体は、ビデオ再生端末システム側で行う必要はなく、構成によってはビデオサーバシステム側で行っても良い。また、ダイジェストインデックスの先頭部分を必要個数だけ取り出す処理自体についても、これをビデオ再生端末システム側で行う必要はなく、必要な再生速度情報をビデオ再生端末システムからビデオサーバシステムに伝達し、ビデオサーバシステム側でダイジェストインデックスの切り出しを行っても構わない。
【0021】
次に、ビデオサーバシステムが再生すべきダイジェストインデックスを取得すると、ストリーム送出手段105は、該インデックス情報に基づいて対応するビデオストリームを送出し、ビデオ再生端末システムはこれを受け取ってダイジェスト再生を行う。
【0022】
ダイジェスト再生前、再生中もしくは再生終了後のしかるべきタイミングで、ビデオサーバシステムは主ストリームを送出し、ビデオ再生端末システムはこれを受け取って主ストリーム保持手段204に一時保存し、ユーザにコンテンツを視聴させるための処理を行う。
【0023】
なお、主コンテンツの視聴が有料であるならば、ビデオ再生端末システムがビデオストリーム本体を取得した段階で課金することが想定される。また、もしダイジェスト再生のみを無料とするならば、再生速度に下限を設定したり、ダイジェストインデックス生成対象をビデオストリームの先頭など一部分に限るといった制限が必要となる。
〔第二実施例の説明〕
次に、本発明の別の実施例について説明する。
【0024】
図3に本発明の第二の実施例を示す。図3において、1はビデオサーバシステム、2はビデオ再生端末システムである。また、101はビデオエンコード手段、102はビデオストリーム保持手段、103はダイジェスト生成手段、104はダイジェストインデックス情報送出手段、105はビデオストリーム送出手段、106は部分ストリーム読み出し手段、107はビデオデコード手段、108はビデオエンコード手段、109は部分ストリーム送出手段である。また、201はダイジェストインデックス情報要求手段、202は部分ビデオストリーム要求手段、203は部分ビデオストリーム一時保持手段、204はビデオストリーム一時保持手段、205はダイジェストインデックス選択整形手段、206はビデオデコード手段、207はビデオ表示手段である。
【0025】
なお、ビデオエンコード手段108及びビデオデコード手段206は、それぞれ複数の方式によるエンコード手段、及びデコード手段を保持していても良い。
【0026】
次に図3を用いて、本実施例の動作について説明する。
【0027】
ビデオサーバシステム1に対してコンテンツ画像が入力されると、ビデオエンコード手段101がこれを例えばMPEG方式などによりエンコードし、エンコード結果をビデオストリーム保持手段102に保存する。
【0028】
ユーザはビデオ再生端末システム2を操作し、コンテンツの選択を行い、選択の結果をビデオサーバシステムに伝達する。
【0029】
選択されたコンテンツの情報がビデオサーバシステムに伝えられると、ビデオサーバシステムは必要なビデオストリームを取り出し、ダイジェスト生成手段103によって該ビデオストリームに対応するダイジェストインデックスを生成する。
【0030】
ビデオサーバシステムによって生成されたダイジェストインデックス情報は、ダイジェストインデックス送出手段104によってビデオ再生端末システムに伝達される。ビデオ再生端末システムが受け取ったダイジェストインデックス情報は、ダイジェストインデックス選択整形手段207に送られ、ここで別途ユーザによって指定された再生速度に基づいて、ダイジェストインデックスの先頭部分が必要個数だけ取り出される。これを昇順にソートし、部分ストリーム要求としてビデオサーバシステムへ伝達する。
【0031】
ビデオサーバシステムがダイジェストインデックス情報を含んだ部分ストリーム要求を受け取ると、部分ストリーム読み出し手段106は、該インデックス情報に基づいてビデオストリームを部分的に読み出す。これを元に、ビデオデコード手段107及びビデオエンコード手段108を介し、部分ストリームを生成する。生成結果を部分ストリーム送出手段109が受け取り、ビデオ再生端末システムへと送出する。
【0032】
ここでビデオサーバシステムが送出する部分ストリームは、元々ビデオストリーム保持手段が持っているMPEG形式のデータの一部分でも良いし、エンコーダによってJPEG形式やMPEG形式でエンコードしなおしたりしたものでもよく、その形式には依存しない。例えば、ユーザが要求したビデオ再生速度が十分高速である場合は、再生すべきフレーム相互間の相関性が低いことが予想されるため、JPEG形式による再エンコードが最も高い処理効率を得る、といったことが期待できる。このような条件においては、JPEGエンコーダを選択し、部分ストリームとしてMotionJPEG形式のデータを送出してもよい。
【0033】
ビデオ再生端末システムはビデオサーバシステムから送出される部分ストリームを受け取り、部分ストリーム一時保持手段203にこれを一時保存し、ダイジェスト再生を行う。部分ストリームとして複数の形式によるストリームが送られてくるため、ビデオ再生端末システム内のデコード手段206はこれら複数の形式に対応したデコード手段を持ち、必要に応じて切り替えて動作するよう制御される。
【0034】
ダイジェスト再生前、再生中もしくは再生終了後のしかるべきタイミングで、ビデオサーバシステムは主ストリームを送出し、ビデオ再生端末システムはこれを受け取って主ストリーム保持手段204に一時保存し、ユーザにコンテンツを視聴させるための処理を行う。
【0035】
ここで、複数の形式に対応したビデオエンコード手段及びビデオデコード手段については、複数のビデオエンコーダ及びビデオデコーダを個別に搭載することで実現しても良いし、単一の演算装置に複数のソフトウエアを組み込みことで複数の形式に対応するのでも良い。
【0036】
また、ビデオ再生端末システムが、自らがサポートするビデオデコード手段の一覧をビデオサーバシステムへ伝達しておき、ビデオサーバシステムは、一覧の中から最も効率よく処理可能なエンコード形式を選択するような構成としても良い。なお、サポート可能なビデオデコード手段の一覧を伝達するのは、ビデオサーバシステムへ部分ストリームを要求する時点で行うのが効率が良いと考えられる。
〔第三実施例の説明〕
次に、本発明のさらに別の実施例について説明する。
【0037】
図4に本発明の第三の実施例を示す。図4において、1はビデオサーバシステム、2はビデオ再生端末システムである。また、101はビデオエンコード手段、102はビデオストリーム保持手段、103はダイジェスト生成手段、104はダイジェストインデックス情報送出手段、105はビデオストリーム送出手段である。また、201はダイジェストインデックス情報要求手段、202は部分ビデオストリーム要求手段、203は部分ビデオストリーム一時保持手段、204はビデオストリーム一時保持手段、205はダイジェストインデックス選択整形手段、206はビデオデコード手段、207はビデオ表示手段である。また、401は伝送路性能検出手段である。
【0038】
次に図4を用いて、本実施例の動作について説明する。本実施例の動作は、前述の第一実施例の動作と一点を除き同一である。第一実施例と異なる動作となるのは、次の点である。第一実施例において、ビデオ再生端末システムに対する再生速度入力はユーザによって外部から行われていた。本実施例においては、ビデオサーバシステム及びビデオ再生端末システムの双方が具備する伝送路性能検出手段401によって、ビデオ再生端末システムにおける再生速度が自動的に決定される。
【0039】
これは例えば、ビデオサーバシステムとビデオ再生端末システムの間が高速の伝送路で接続されている場合は、比較的多くのデータを短時間に伝送することができることから、低い速度での再生が可能であるが、両者の間の伝送路が低速である場合には、伝送すべきデータ量を削減し、見かけ上の再生速度を速くすることが必要になるためである。
【0040】
もちろんこのような構成であっても、再生速度を全て機械が決定するのではなく、制限を設けてその範囲内で人間が所望の再生速度を設定する、といった方式でも良い。例えば、伝送路速度が十分でない場合には、通常選択可能な100倍速はメニューに現れず、最小でも500倍速になる、といった制限が想定できる。
〔第四実施例の説明〕
次に、本発明のさらに別の実施例について説明する。
【0041】
図5に本発明の第四の実施例を示す。図5において、11は画像監視サーバシステム、12は監視センタ制御端末システム、13は監視画像再生端末システムである。また、101はビデオエンコード手段、102はビデオストリーム保持手段、103はダイジェスト生成手段、104はダイジェストインデックス情報送出手段、105はビデオストリーム送出手段、110は警報制御手段である。また、201はダイジェストインデックス情報取得手段、202は部分ビデオストリーム要求手段、203は部分ビデオストリーム一時保持手段、204はビデオストリーム一時保持手段、205はダイジェストインデックス選択整形手段、206はビデオデコード手段、207はビデオ表示手段である。また、301は部分ビデオストリーム一時保持手段、302はビデオデコード手段、303はビデオ表示手段である。
【0042】
次に図5を用いて、本実施例の動作について説明する。
【0043】
ここで、画像監視サーバシステム11は、映像による監視を行おうとしている監視対象サイト近傍に設置されることを想定し、また、監視センタ制御端末システム12は、該監視システムを統括する中央監視センタのような場所に設置されることを想定し、また、監視画像再生端末13は、移動体や、各種公的機関(警察、消防等)に設置されることを想定している。
【0044】
画像監視サーバシステム11は、監視対象を映し出すカメラに接続されていることを想定する。監視カメラから入力される画像は、エンコード手段101によってエンコードされ、ビデオストリーム保持手段102に保存される。カメラからの入力画像はダイジェスト生成手段103にも供給され、リアルタイムもしくは一定時間間隔でダイジェストインデックスを生成する。
【0045】
次に、監視対象に関する何らかの異常を操作スイッチやセンサなどにより検出した場合、警報入力が警報制御手段110に入力される。この入力をトリガとして、ダイジェストインデックス送出手段104は、その時点で求められていたダイジェストインデックス情報を、監視センタ制御端末システムに向けて送出する。なお、このとき同時に、どこに設置されている画像監視サーバシステムであるかを示す情報や、どのようなトリガによって発生した警報かを示す情報を、同時に送出するという方法も考えられる。
【0046】
監視センタ制御端末システムがこの警報を受け取ると、予め設定してある再生速度情報に基づき、ダイジェストインデックスの選択及びソート処理などを行い、部分ストリーム要求を画像監視サーバシステムに向けて送出する。この際、必要であればオペレータ等が介在して、再生速度を変更しても良い。
【0047】
画像監視サーバシステム11が部分ストリーム要求を受け取ると、これに含まれるダイジェストインデックス情報に基づいてビデオストリーム保持手段102に格納されているビデオストリームの一部分を抜き出し、部分ストリームとして送出を行う。
【0048】
監視センタ制御端末システム12は、この部分ストリームを受け取ると、部分ストリーム一時保持手段203にこれを一時保存し、ストリームの表示処理を行う。オペレータはこれを視聴し、もし必要であれば再生速度の調整を行い、再度、部分ストリーム要求を送出しても良い。
【0049】
画像監視サーバシステム11から送出される部分ストリームは、監視センタ制御端末システム12だけに送られるのではなく、監視画像再生端末13にも送られる。この端末は比較的単純な構成であり、部分ストリームを再生する機能だけを持つ。画像監視サーバシステムから受け取った部分ストリームは、部分ビデオストリーム保持手段301にいったん保存され、次に新しい部分ストリームを受け取るまで繰り返し再生表示を行う。
【0050】
このような動作により、監視画像中の重要フレームだけを先に送出することで、たとえ移動体への伝送路が低速であったとしても、問題解決に役立つであろう高解像度の画像を各端末に対して送ることができる。例えば、火災による高温をセンサが検知して警報を発した場合、火元の場所はどこで何が燃え始めたのか、人間は残っていないか、周辺に危険物はないか、といった消火に役立つと思われる重要な情報を、迅速に関係各所に送付することができる。
【0051】
なお、本実施例では、監視センタ制御端末にいったんダイジェストインデックスを送り、これを送付しなおすことで部分ストリームの送出が始まるようになっているが、これに制限されるものではなく、監視センタ制御端末システムとの通信を行う前に、画像監視サーバシステムが自律的に予め指定されていた再生速度情報によって部分ストリームを生成し、これを自動的に送出する、といった構成でも構わない。
【0052】
また、必ずしも全ての監視画像再生端末に向けて部分ストリームを送出する必要はなく、監視センタ制御端末システムにおいて何らかの制約条件を送付していても構わない。例えば、監視対象サイトの近隣に位置している監視画像再生端末に向けてだけ、部分ストリームを送付する、といった制約をかけてもよい。
〔実施例の別方式の説明〕
次に、以上述べた実施例においては、以下に述べる特徴を併せ持つことができる。この特徴について、図6を用いて説明する。
【0053】
図6は、上記実施例において、ビデオサーバシステム1からストリームが送出され、これをビデオ再生端末システム2が受け取り、いったんストリーム一時保持手段に格納したものを再生表示する動作の部分について、説明のため部分的に抜き出したものである。
【0054】
図6において、102はビデオストリーム保持手段、105はストリーム送出手段、204はビデオストリーム一時保持手段、206はビデオデコード手段、207はビデオ表示手段である。
【0055】
始めに、step1001において、部分ストリームの送出が行われる。ストリーム送出手段105は、別途指定されたビデオストリームの一部分を送出する。これを受け取ったビデオ再生端末システム2は、単一のビデオストリーム一時保持手段中の、当該部分ストリームが本来占めるべき位置にこれを格納していく。この結果、図6に模式的に示すように、部分ストリームは、ビデオストリーム一時保持手段204をストライプ状に占有するように格納される。
【0056】
次に、step1002において、部分ストリームの再生表示と、これに平行して主ストリーム全体の送出が行われる。ビデオデコード手段206によってストライプ状に格納された部分ストリームが読み出され、これがデコードされて表示処理される。一方、ストリーム送出手段105は、ビデオストリーム102に格納されているストリームのうち、先ほど部分ストリームとして送出しなかった部分だけを、順に送出する。これを受け取ったビデオ再生端末システム2は、先ほど部分ストリームを格納しなかった残りの部分に対して、受け取ったストリームを格納していく。この処理によって最終的には、ビデオストリーム一時保持手段204は、先頭から順々にビデオストリーム全体が格納されたのと同じ状態となる。
【0057】
次に、step1003において、ストリーム全体の再生表示が行われる。前のステップが完了した時点で、ビデオストリーム一時保持手段204にはストリーム全体が正しい順序で格納されていることになるため、これを先頭から順にデコードすることで、ストリーム全体の再生を行うことができる。
【0058】
以上のような処理を行うことによって、部分ストリーム用の専用ストリーム保持手段を用意することなく、単一のストリーム保持手段によってビデオ再生端末システムを構築することができる。これにより構成の単純化を図ることができる。
〔第五実施例の説明〕
次に、以上述べた実施例は、何れも部分ストリームと主ストリームの2段階に分けた伝送を行うものであるが、ダイジェストインデックスによって重要なフレームと判断されたものから順に伝送を行う方法がある。
【0059】
この方法の例として、さらに別に実施例について説明する。
【0060】
図7に本発明の第五の実施例を示す。図7において、1はビデオサーバシステム、2はビデオ再生端末システムである。また、101はビデオエンコード手段、102はビデオストリーム保持手段、103はダイジェスト生成手段、105はビデオストリーム送出手段、111はビデオストリーム構造情報保持手段、112は部分ストリーム選択手段、113はシステム制御手段である。また、204はビデオストリーム一時保持手段、205はダイジェストインデックス選択整形手段、206はビデオデコード手段、207はビデオ表示手段、208はストリーム要求手段、209はダイジェストインデックス一時保持手段である。
【0061】
次に図7を用いて、本実施例の動作について説明する。
【0062】
ビデオサーバシステム1に画像が入力されると、ビデオエンコード手段101によってMPEG等のエンコードが行われ、ビデオストリーム保持手段102に保存される。またこのとき、ビデオエンコード手段101は、エンコードの際に使用したストリーム構造情報を出力し、ストリーム構造情報保持手段111がこれを格納する。ここでストリーム構造情報は、例えばMPEGによるエンコードを仮定すると、フレームデータがフレーム間相関を利用してエンコードされているかどうか、どのフレームとの間の相関を用いたエンコードか、といった情報である。
【0063】
次に、ユーザがコンテンツの視聴を要求すると、ビデオ再生端末システム2のストリーム要求手段208は、ビデオサーバシステムに対してストリームの要求を行う。制御手段113がこれを受け、対応するビデオストリームをビデオストリーム保持手段112から取り出し、これをもとにしてダイジェスト生成手段103がダイジェストインデックスを生成する。ダイジェストインデックス情報は、ビデオ再生端末システム2へ送られ、ダイジェストインデックス一時保持手段209に格納される。制御手段113はまた、ストリーム構造情報保持手段111から、対応するストリームの構造情報を取り出し、先ほど生成されたダイジェストインデックスと共に部分ストリーム選択手段112へ送る。部分ストリーム選択手段112は、受け取った情報から、ダイジェストインデックスの先頭に指定されているフレームをデコードするために必要な部分ストリームを求め、ストリーム送出手段105は、この情報をもとにして、必要とされている部分ストリームだけをビデオ再生端末システム2へ送出する。例えば、指定フレームがフレーム間相関を利用したエンコードによるものであれば、そのデコードに際しては参照先のフレームデータが場合によっては複数必要となるため、これらをまとめて部分ストリームとして送出する、といった動作になる。
【0064】
部分ストリーム選択手段112は、ダイジェストインデックスの先頭に指定されているフレームの処理を終えると、2番目に指定されているフレーム、3番目のフレーム、といったように順次処理を進め、最終的に全てのフレームに対応するストリームを送出する。なお、MPEGのようにフレーム間相関を用いるエンコード方式の場合、既に参照先フレームとして送出したフレームが、n番目に指定されているフレームとして再度送出対象となることになるが、この場合は既に送出済みであるとして実際には送出しないことができる。
【0065】
次に、ビデオ再生端末システム2は、ダイジェストインデックス情報とビデオストリームとを、ビデオサーバシステム1から受け取って内部に一時的に保持する。このうちビデオストリームは、ダイジェストインデックスの先頭に現れるフレームから順に受け取ることになる。ユーザが指定した再生速度に基づき、ダイジェストインデックスを先頭から部分的に選択及びソートし、これを元にビデオストリームを順次デコードし、ユーザに視聴させる。
【0066】
ここで、ビデオストリームは重要なフレームから順に送られてくるため、ビデオストリーム受信開始直後には最も重要なフレームが少しだけビデオ再生端末システム内に保持されている状態となる。この状態では、例えば20%分のダイジェスト再生を行おうとしても、対応するビデオストリームが手元にないため再生できない。よって、ビデオストリームが送信されている途中の状態においては、ユーザが指定できる再生速度に制限を設けることになる。例えば、ビデオストリーム一時保持手段204に3%分のダイジェストに対応するビデオストリームが入っているものとすれば、再生速度入力において3%より多い値が設定できないように制限する。もちろん、ビデオストリーム一時保持手段204に格納されているビデオストリームの量が順次増えることで、3%より大きい値を選択できるようにする。
【0067】
なお、本実施例において用いるビデオストリーム一時保持手段204では、図6において模式的に示したストライプ状のデータ格納方法を採ることが適当であることはいうまでもない。
【0068】
以上述べた何れの実施例においても、ストリームに含まれるデータとしてビデオデータについてしか触れていないが、ビデオに付随する音声データもしくはそれ以外のデータについても、同様の取扱いによって処理することができる。
【0069】
また、ビデオ再生端末システムは、部分ストリームと主ストリームを両方とも受け取るように記述しているところがあるが、これは必須ではなく、例えばユーザの指示によって、主ストリームは受け取らずに部分ストリームだけを受け取るような動作をしても良い。
【0070】
また、ダイジェストインデックス情報の生成は、ビデオ再生端末側からの要求をトリガとして処理されているところがあるが、ビデオサーバシステム内にビデオストリームが取り込まれた時点でこれを生成し保持しておいても良い。また、必ずしもビデオサーバシステム内においてダイジェストインデックス情報を生成する必要はなく、これを外部から別途供給しても構わない。
【0071】
【発明の効果】
以上述べたように本発明によれば、
コンテンツのダイジェスト視聴時に、どれだけの長さのダイジェストを視聴するかを端末側で予め決定することが可能となり、
ダイジェストを視聴する際には、コンテンツの一部だけをサーバからダウンロードすることにより、視聴を開始するまでに要する時間を短縮することが可能となり、
また、ダイジェストだけを再生する場合には、サーバから受信するデータの総量を低減することが可能となり、
以上により、利便性が高く効率が良いシステムを提供することができるという効果がある。
【図面の簡単な説明】
【図1】本発明の第一実施例の構成図。
【図2】本発明のダイジェストインデックスの例。
【図3】本発明の第二実施例の構成図。
【図4】本発明の第三実施例の構成図。
【図5】本発明の第四実施例の構成図。
【図6】本発明におけるストリーム一時保持方法の別方式。
【図7】本発明の第五実施例の構成図。
【符号の説明】
1…ビデオサーバシステム、2…ビデオ再生端末システム、11…画像監視サーバシステム、12…監視センタ制御端末システム、13…監視画像再生端末システム、101…ビデオエンコード手段、102…ビデオストリーム保持手段、103…ダイジェスト生成手段、104…ダイジェストインデックス情報送出手段、105…ビデオストリーム送出手段、106…部分ストリーム読み出し手段、107…ビデオデコード手段、108…ビデオエンコード手段、109…部分ストリーム送出手段、110…警報制御手段、111…ビデオストリーム構造情報保持手段、112…部分ストリーム選択手段、113…システム制御手段、201…ダイジェストインデックス情報要求手段、202…部分ビデオストリーム要求手段、203…部分ビデオストリーム一時保持手段、204…ビデオストリーム一時保持手段、205…ダイジェストインデックス選択整形手段、206…ビデオデコード手段、207…ビデオ表示手段、208…ストリーム要求手段、209…ダイジェストインデックス一時保持手段、301…部分ビデオストリーム一時保持手段、302…ビデオデコード手段、303…表示手段、401…伝送路性能検出手段。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for supplying digest information relating to content content separately from the content itself when viewing a large amount of content, and in particular, a video server device for distributing digital video content, and receiving the distribution. The present invention relates to a video playback terminal device and a video distribution system using the same.
[0002]
[Prior art]
With the development of digital video processing technology in recent years, a large amount of digital video content has begun to be distributed. In order to efficiently distribute these contents and to effectively use the limited time of the viewer, the technology for providing digest information of the contents has been remarkably developed.
[0003]
As the digest information of the content, for example, if the target content is a movie, various attributes related to the movie, for example, information related to the production year and the creator, etc., as well as a preview CM video used immediately before distribution of the movie, etc. are used. Sometimes. If the target content is something like a sports broadcast video, humans will watch the content before starting content distribution, tag it out with scenes that are considered important, etc., partially extract it, and digest the extracted video Sometimes used as information.
[0004]
As such a technique, for example, there is a technique disclosed in Japanese Patent Application Laid-Open No. H11-196385.
[0005]
However, the conventional techniques described above have the following problems.
[0006]
When selling content including video, it is expected that the presence or absence of digest information including video information will make a significant difference in advertising effectiveness. Such video digest information can be diverted to a preview CM video or the like if it is a content like a movie distributed in recent years, but generally, it must be generated based on the content itself. It is the current situation.
[0007]
When video digest information is generated based on a video content body, it is necessary to determine which part of the content is appropriate for the digest and extract a part of the video. This extraction work has conventionally been performed by a method in which a person views and tags the content. However, recent research has made it possible to perform automatic work by a computer, although the target content is limited. As such a study, for example, there is a study shown in Non-Patent Document 1.
[0008]
However, in any of the methods, since the digest video information is generated in advance, the length of the generated digest video information is uniquely determined at the time of generation. That is, for example, if a digest of the content for two hours is generated, and this is a one-minute video, a viewer who wants to view the digest video necessarily needs one minute of viewing time. Even if the viewer wants a shorter digest, he / she cannot view the digest video of one minute more shortened. Similarly, if you want a more detailed digest, you can't do that.
[0009]
For such a viewer, it is possible to prepare a plurality of digest videos, for example, a one-minute version, a 15-second version, or a three-minute version. However, regarding this point, the demands of the viewer tend to be fragmented, and there is a high possibility that a 30-second version or a 2-minute version must be prepared soon or later. In order to respond to such a demand, in the method of tagging by a human as described above, it is necessary to strike a tag having a plurality of weights at the time of tagging. It is expected to rise significantly.
[0010]
[Patent Document 1]
JP-A-11-196385
[Non-patent document 1]
Takemasa, et al., "Personalized summary video creation method using video importance", IEICE Transactions D-II Vol. J84-D-II No. 8, pp. 1848-1855, 2001
[Non-patent document 2]
Daniel DeMenthon, Vikrant Kobla, David Doermann, "Video Summarization by Curve Simplification", Proceedings of the next edition of the International Convention of the International Union of Communications, ACM international communication. 211-218, 1998
[0011]
[Problems to be solved by the invention]
SUMMARY OF THE INVENTION An object of the present invention is to provide a highly convenient and efficient digital content summarizing and reproducing system.
[0012]
[Means for Solving the Problems]
The above issues are
In a way to reduce playback time by summarizing digital content,
The summarizing method is a method of dividing the digital content on a time axis, evaluating the importance of each of the divided elements, and reproducing only the element having a high evaluation value,
The method of shortening the reproduction time is a method of sequentially selecting elements having higher evaluation values so that the specified reproduction time is obtained,
The playback time reduction rate is specified when playing digital content.
And is solved.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Description of First Embodiment]
FIG. 1 shows a first embodiment of the present invention. In FIG. 1, reference numeral 1 denotes a video server system, and 2 denotes a video playback terminal system. Also, 101 is a video encoding unit, 102 is a video stream holding unit, 103 is a digest generation unit, 104 is a digest index information transmission unit, and 105 is a video stream transmission unit. 201 is a digest index information requesting unit, 202 is a partial video stream requesting unit, 203 is a partial video stream temporary holding unit, 204 is a video stream temporary holding unit, 205 is a digest index selection and shaping unit, 206 is a video decoding unit, 207 Is a video display means.
[0014]
Next, the operation of the present embodiment will be described with reference to FIG.
[0015]
When a content image is input to the video server system 1, the video encoding unit 101 encodes the content image by, for example, the MPEG method, and stores the encoding result in the video stream holding unit 102. Of course, an already encoded video stream may be directly input to the video stream holding unit 102, but is omitted in this specification for simplicity of description.
[0016]
The user operates the video playback terminal system 2 to select content, and transmits the selection result to the video server system. Here, the means used for selection and transmission may select, for example, a content title name from a list or a list showing a part of an image. For such a selecting means, etc., a conventionally used technique may be used, and therefore description thereof is omitted in this specification.
[0017]
When the information of the selected content is transmitted to the video server system, the video server system extracts a required video stream, and generates a digest index corresponding to the video stream by the digest generation unit 103.
[0018]
Here, the digest index is obtained by assigning an integer number to all frames of the corresponding video stream, rearranging the frames in the order considered to be important, and listing the frame numbers of the rearranged results. FIG. 2 shows an example of the digest index. In this example, the 1034th frame is considered to be the most important frame in the entire contents, and the 26th, 544th, 39th, and 1667th frames are determined to be important in the following order. Assuming that the corresponding video stream has a length of 100,000 frames, in order to view it at, for example, 1000 times speed, obtain the first 100 frame numbers of the digest index and sort them in ascending order. By sequentially displaying the corresponding frames, digest viewing at a desired speed becomes possible.
[0019]
Although the arithmetic method itself for generating the digest index is not particularly described in the present invention, it is assumed that, for example, a method as described in Non-Patent Document 2 is used. Of course, the arithmetic method for generating the digest index is not limited to the method described in the above document, and an arbitrary method may be used.
[0020]
Now, in this embodiment, the digest index information generated by the video server system is transmitted to the video reproduction terminal system by the digest index sending means 104. When the video playback terminal system obtains the digest index information, the digest index selection and shaping means 205 extracts the required number of heads of the digest index based on the playback speed separately specified by the user. This is sorted in ascending order, and the sorting result is transmitted to the video server system. Note that this sort processing itself does not need to be performed on the video reproduction terminal system side, and may be performed on the video server system side depending on the configuration. Also, the process of extracting the required number of the leading portions of the digest index itself does not need to be performed on the video playback terminal system side, and the necessary playback speed information is transmitted from the video playback terminal system to the video server system, The digest index may be cut out on the system side.
[0021]
Next, when the video server system obtains a digest index to be reproduced, the stream transmitting means 105 transmits a corresponding video stream based on the index information, and the video reproduction terminal system receives this and performs digest reproduction.
[0022]
At an appropriate timing before, during or after the digest playback, the video server system sends out the main stream, and the video playback terminal system receives this and temporarily saves it in the main stream holding means 204 to allow the user to view the content. Perform a process for causing
[0023]
If the viewing of the main content is charged, it is assumed that the video playback terminal system charges for the main content of the video stream. If only digest playback is free, it is necessary to set a lower limit on the playback speed and to limit the digest index generation target to a part such as the head of the video stream.
[Explanation of the second embodiment]
Next, another embodiment of the present invention will be described.
[0024]
FIG. 3 shows a second embodiment of the present invention. In FIG. 3, 1 is a video server system, and 2 is a video playback terminal system. Also, 101 is a video encoding unit, 102 is a video stream holding unit, 103 is a digest generation unit, 104 is a digest index information sending unit, 105 is a video stream sending unit, 106 is a partial stream reading unit, 107 is a video decoding unit, 108 Is a video encoding means, and 109 is a partial stream sending means. 201 is a digest index information requesting unit, 202 is a partial video stream requesting unit, 203 is a partial video stream temporary holding unit, 204 is a video stream temporary holding unit, 205 is a digest index selection and shaping unit, 206 is a video decoding unit, 207 Is a video display means.
[0025]
Note that the video encoding means 108 and the video decoding means 206 may respectively hold encoding means and decoding means using a plurality of methods.
[0026]
Next, the operation of this embodiment will be described with reference to FIG.
[0027]
When a content image is input to the video server system 1, the video encoding unit 101 encodes the content image by, for example, the MPEG method, and stores the encoding result in the video stream holding unit 102.
[0028]
The user operates the video playback terminal system 2 to select content, and transmits the selection result to the video server system.
[0029]
When the information of the selected content is transmitted to the video server system, the video server system extracts a required video stream, and generates a digest index corresponding to the video stream by the digest generation unit 103.
[0030]
The digest index information generated by the video server system is transmitted to the video reproduction terminal system by the digest index sending means 104. The digest index information received by the video playback terminal system is sent to the digest index selection and shaping means 207, where the required number of digest index heads are extracted based on the playback speed separately specified by the user. This is sorted in ascending order and transmitted to the video server system as a partial stream request.
[0031]
When the video server system receives the partial stream request including the digest index information, the partial stream reading unit 106 partially reads the video stream based on the index information. Based on this, a partial stream is generated via a video decoding unit 107 and a video encoding unit 108. The generation result is received by the partial stream sending means 109 and sent to the video playback terminal system.
[0032]
Here, the partial stream transmitted by the video server system may be a part of the MPEG format data originally possessed by the video stream holding means, or may be re-encoded in the JPEG format or the MPEG format by an encoder. Does not depend on For example, if the video playback speed requested by the user is sufficiently high, the correlation between frames to be played back is expected to be low, so re-encoding in the JPEG format achieves the highest processing efficiency. Can be expected. Under such conditions, a JPEG encoder may be selected and Motion JPEG format data may be transmitted as a partial stream.
[0033]
The video playback terminal system receives the partial stream sent from the video server system, temporarily stores the partial stream in the partial stream temporary holding unit 203, and performs digest playback. Since streams in a plurality of formats are sent as partial streams, the decoding means 206 in the video playback terminal system has decoding means corresponding to the plurality of formats, and is controlled to switch and operate as necessary.
[0034]
At an appropriate timing before, during or after the digest playback, the video server system sends out the main stream, and the video playback terminal system receives this and temporarily saves it in the main stream holding means 204 to allow the user to view the content. Perform a process for causing
[0035]
Here, the video encoding unit and the video decoding unit corresponding to a plurality of formats may be realized by separately mounting a plurality of video encoders and video decoders, or a plurality of software units may be installed in a single arithmetic unit. May be used to support multiple formats.
[0036]
Also, the video playback terminal system transmits a list of video decoding means supported by itself to the video server system, and the video server system selects an encoding format that can be processed most efficiently from the list. It is good. It is considered efficient to transmit the list of supportable video decoding means at the time of requesting a partial stream from the video server system.
[Description of Third Embodiment]
Next, still another embodiment of the present invention will be described.
[0037]
FIG. 4 shows a third embodiment of the present invention. In FIG. 4, 1 is a video server system, and 2 is a video playback terminal system. Also, 101 is a video encoding unit, 102 is a video stream holding unit, 103 is a digest generation unit, 104 is a digest index information sending unit, and 105 is a video stream sending unit. 201 is a digest index information requesting unit, 202 is a partial video stream requesting unit, 203 is a partial video stream temporary holding unit, 204 is a video stream temporary holding unit, 205 is a digest index selection and shaping unit, 206 is a video decoding unit, 207 Is a video display means. Reference numeral 401 denotes a transmission path performance detection unit.
[0038]
Next, the operation of this embodiment will be described with reference to FIG. The operation of this embodiment is the same as the operation of the above-described first embodiment except for one point. The operation different from that of the first embodiment is as follows. In the first embodiment, the input of the playback speed to the video playback terminal system is performed externally by the user. In this embodiment, the playback speed in the video playback terminal system is automatically determined by the transmission path performance detection means 401 provided in both the video server system and the video playback terminal system.
[0039]
For example, if the video server system and the video playback terminal system are connected by a high-speed transmission line, relatively large amounts of data can be transmitted in a short time, so playback at a low speed is possible. However, if the transmission path between the two is low, it is necessary to reduce the amount of data to be transmitted and increase the apparent reproduction speed.
[0040]
Of course, even with such a configuration, a system may be used in which the machine does not determine all the playback speeds, but rather limits are set and a desired playback speed is set by a person within the range. For example, when the transmission path speed is not sufficient, a limit that the normally selectable 100 × speed does not appear in the menu but becomes at least 500 × speed can be assumed.
[Explanation of the fourth embodiment]
Next, still another embodiment of the present invention will be described.
[0041]
FIG. 5 shows a fourth embodiment of the present invention. In FIG. 5, reference numeral 11 denotes an image monitoring server system, 12 denotes a monitoring center control terminal system, and 13 denotes a monitoring image reproduction terminal system. Also, 101 is a video encoding unit, 102 is a video stream holding unit, 103 is a digest generation unit, 104 is a digest index information transmission unit, 105 is a video stream transmission unit, and 110 is an alarm control unit. 201 is a digest index information acquisition unit, 202 is a partial video stream requesting unit, 203 is a partial video stream temporary holding unit, 204 is a video stream temporary holding unit, 205 is a digest index selection and shaping unit, 206 is a video decoding unit, 207 Is a video display means. Reference numeral 301 denotes a partial video stream temporary holding unit, 302 denotes a video decoding unit, and 303 denotes a video display unit.
[0042]
Next, the operation of this embodiment will be described with reference to FIG.
[0043]
Here, it is assumed that the image monitoring server system 11 is installed in the vicinity of a monitoring target site that is going to monitor by video, and the monitoring center control terminal system 12 is a central monitoring center that controls the monitoring system. The surveillance image reproducing terminal 13 is assumed to be installed in a mobile body or various public institutions (police, fire department, etc.).
[0044]
It is assumed that the image monitoring server system 11 is connected to a camera that projects a monitoring target. The image input from the surveillance camera is encoded by the encoding unit 101 and stored in the video stream holding unit 102. The input image from the camera is also supplied to the digest generation unit 103, and generates a digest index in real time or at fixed time intervals.
[0045]
Next, when any abnormality related to the monitoring target is detected by an operation switch, a sensor, or the like, an alarm input is input to the alarm control unit 110. With this input as a trigger, the digest index transmitting means 104 transmits the digest index information obtained at that time to the monitoring center control terminal system. At this time, it is also conceivable to simultaneously transmit information indicating where the image monitoring server system is installed and information indicating what kind of trigger has caused an alarm.
[0046]
When the monitoring center control terminal system receives this warning, it selects a digest index and sorts it based on preset playback speed information, and sends a partial stream request to the image monitoring server system. At this time, if necessary, the playback speed may be changed by an operator or the like.
[0047]
When the image monitoring server system 11 receives the partial stream request, it extracts a part of the video stream stored in the video stream holding means 102 based on the digest index information included in the request and sends it as a partial stream.
[0048]
Upon receiving the partial stream, the monitoring center control terminal system 12 temporarily stores the partial stream in the partial stream temporary holding unit 203, and performs a stream display process. The operator may watch this, adjust the playback speed if necessary, and send a partial stream request again.
[0049]
The partial stream sent from the image monitoring server system 11 is sent not only to the monitoring center control terminal system 12 but also to the monitoring image reproduction terminal 13. This terminal has a relatively simple configuration, and has only a function of reproducing a partial stream. The partial stream received from the image monitoring server system is temporarily stored in the partial video stream holding unit 301, and is repeatedly reproduced and displayed until the next new partial stream is received.
[0050]
By transmitting only the important frames in the monitoring image first by such an operation, even if the transmission path to the moving object is slow, a high-resolution image that will help solve the problem is transmitted to each terminal. Can be sent to For example, if the sensor detects a high temperature due to a fire and issues an alarm, it may help to extinguish the fire, such as where the fire started and what began to burn, no human remains, or if there is no dangerous material around. Possible important information can be quickly sent to relevant parties.
[0051]
In this embodiment, the digest index is once sent to the monitoring center control terminal, and the transmission of the partial stream is started by sending the digest index again. However, the present invention is not limited to this. Before performing communication with the terminal system, the image monitoring server system may autonomously generate a partial stream based on reproduction speed information specified in advance, and automatically transmit the partial stream.
[0052]
Further, it is not always necessary to transmit the partial stream to all the monitoring image reproduction terminals, and some restriction conditions may be transmitted in the monitoring center control terminal system. For example, a restriction may be imposed that a partial stream is sent only to a monitoring image reproducing terminal located near a monitoring target site.
[Explanation of another method of the embodiment]
Next, the embodiments described above can have the following features. This feature will be described with reference to FIG.
[0053]
FIG. 6 is a diagram for explaining the operation of the above embodiment in which a stream is transmitted from the video server system 1 and received by the video playback terminal system 2 to reproduce and display the stream once stored in the stream temporary holding means. It is partially extracted.
[0054]
6, reference numeral 102 denotes a video stream holding unit, 105 denotes a stream sending unit, 204 denotes a video stream temporary holding unit, 206 denotes a video decoding unit, and 207 denotes a video display unit.
[0055]
First, in step 1001, a partial stream is transmitted. The stream sending means 105 sends out a part of a separately specified video stream. The video playback terminal system 2 receiving this stores the video stream temporarily in the single video stream temporary holding means at the position that the partial stream should occupy. As a result, as schematically shown in FIG. 6, the partial stream is stored so as to occupy the video stream temporary holding unit 204 in a stripe shape.
[0056]
Next, in step 1002, the reproduction and display of the partial stream and the transmission of the entire main stream are performed in parallel. The video decoding means 206 reads out the partial stream stored in a stripe shape, decodes the partial stream, and performs display processing. On the other hand, the stream transmission means 105 sequentially transmits only the portion of the stream stored in the video stream 102 that has not been transmitted as a partial stream earlier. Upon receiving this, the video playback terminal system 2 stores the received stream in the remaining part where the partial stream was not stored earlier. By this processing, finally, the video stream temporary holding unit 204 is in the same state that the entire video stream is sequentially stored from the beginning.
[0057]
Next, in step 1003, reproduction and display of the entire stream is performed. When the previous step is completed, the entire stream is stored in the video stream temporary holding means 204 in the correct order, so that the entire stream can be reproduced by decoding it in order from the beginning. it can.
[0058]
By performing the above processing, a video playback terminal system can be constructed by a single stream holding unit without preparing a dedicated stream holding unit for a partial stream. Thereby, the configuration can be simplified.
[Description of Fifth Embodiment]
Next, in each of the above-described embodiments, the transmission is performed in two stages of the partial stream and the main stream. However, there is a method in which the transmission is performed in order from the frame determined to be important by the digest index. .
[0059]
Another example will be described as an example of this method.
[0060]
FIG. 7 shows a fifth embodiment of the present invention. In FIG. 7, 1 is a video server system, and 2 is a video playback terminal system. Reference numeral 101 denotes a video encoding unit, 102 denotes a video stream holding unit, 103 denotes a digest generation unit, 105 denotes a video stream sending unit, 111 denotes a video stream structure information holding unit, 112 denotes a partial stream selection unit, and 113 denotes a system control unit. is there. Reference numeral 204 denotes a video stream temporary holding unit, 205 denotes a digest index selection and shaping unit, 206 denotes a video decoding unit, 207 denotes a video display unit, 208 denotes a stream requesting unit, and 209 denotes a digest index temporary holding unit.
[0061]
Next, the operation of this embodiment will be described with reference to FIG.
[0062]
When an image is input to the video server system 1, the image is encoded by the video encoding unit 101 such as MPEG and stored in the video stream holding unit 102. At this time, the video encoding unit 101 outputs the stream structure information used at the time of encoding, and the stream structure information holding unit 111 stores this. Here, the stream structure information is information as to whether or not frame data is encoded using inter-frame correlation, and to which frame the encoding is to be performed using correlation, assuming encoding by MPEG, for example.
[0063]
Next, when the user requests viewing of the content, the stream request means 208 of the video playback terminal system 2 requests a stream to the video server system. The control means 113 receives this, extracts the corresponding video stream from the video stream holding means 112, and based on this, the digest generation means 103 generates a digest index. The digest index information is sent to the video playback terminal system 2 and stored in the digest index temporary holding unit 209. The control unit 113 also extracts the structure information of the corresponding stream from the stream structure information holding unit 111 and sends it to the partial stream selection unit 112 together with the digest index generated earlier. The partial stream selecting unit 112 obtains a partial stream necessary for decoding the frame specified at the head of the digest index from the received information, and the stream transmitting unit 105 determines whether the partial stream is necessary based on this information. Only the partial stream that has been sent is sent to the video playback terminal system 2. For example, if the specified frame is encoded by using inter-frame correlation, decoding may require a plurality of frame data of a reference destination in some cases. Become.
[0064]
After finishing the processing of the frame specified at the head of the digest index, the partial stream selection unit 112 sequentially proceeds with the processing of the second specified frame, the third frame, and so on. Send the stream corresponding to the frame. In the case of an encoding method using inter-frame correlation such as MPEG, a frame that has already been transmitted as a reference destination frame is to be transmitted again as the n-th designated frame. It may not be actually sent as already completed.
[0065]
Next, the video playback terminal system 2 receives the digest index information and the video stream from the video server system 1 and temporarily stores the digest index information and the video stream therein. Among them, the video stream is received in order from the frame appearing at the head of the digest index. Based on the playback speed designated by the user, the digest index is partially selected and sorted from the beginning, and based on this, the video stream is sequentially decoded and the user is made to view.
[0066]
Here, since the video stream is sent in order from the important frames, immediately after the start of the video stream reception, the most important frames are slightly held in the video playback terminal system. In this state, for example, even if an attempt is made to perform the digest reproduction for 20%, the reproduction cannot be performed because the corresponding video stream is not at hand. Therefore, while the video stream is being transmitted, a limit is imposed on the reproduction speed that can be specified by the user. For example, assuming that the video stream temporary holding unit 204 contains a video stream corresponding to a digest of 3%, the reproduction speed input is limited so that a value larger than 3% cannot be set. Of course, a value larger than 3% can be selected by sequentially increasing the amount of the video stream stored in the video stream temporary holding means 204.
[0067]
It is needless to say that the video stream temporary holding means 204 used in the present embodiment suitably employs a stripe-shaped data storage method schematically shown in FIG.
[0068]
In each of the embodiments described above, only video data is described as data included in a stream. However, audio data accompanying video or other data can be processed in the same manner.
[0069]
In addition, the video playback terminal system has been described to receive both the partial stream and the main stream, but this is not essential. For example, according to a user instruction, the main stream is not received and only the partial stream is received. Such an operation may be performed.
[0070]
In some cases, the generation of the digest index information is processed using a request from the video playback terminal as a trigger, but when the video stream is captured in the video server system, it may be generated and stored. good. In addition, it is not always necessary to generate digest index information in the video server system, and this may be separately supplied from outside.
[0071]
【The invention's effect】
According to the present invention as described above,
When viewing the digest of the content, the terminal can determine in advance how long the digest should be viewed,
By downloading only a part of the content from the server when viewing the digest, it is possible to reduce the time required to start viewing.
Also, when only the digest is reproduced, the total amount of data received from the server can be reduced,
As described above, there is an effect that a highly convenient and efficient system can be provided.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a first embodiment of the present invention.
FIG. 2 is an example of a digest index according to the present invention.
FIG. 3 is a configuration diagram of a second embodiment of the present invention.
FIG. 4 is a configuration diagram of a third embodiment of the present invention.
FIG. 5 is a configuration diagram of a fourth embodiment of the present invention.
FIG. 6 shows another method of the stream temporary holding method according to the present invention.
FIG. 7 is a configuration diagram of a fifth embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Video server system, 2 ... Video reproduction terminal system, 11 ... Image monitoring server system, 12 ... Monitoring center control terminal system, 13 ... Surveillance image reproduction terminal system, 101 ... Video encoding means, 102 ... Video stream holding means, 103 ... digest generating means, 104 ... digest index information sending means, 105 ... video stream sending means, 106 ... partial stream reading means, 107 ... video decoding means, 108 ... video encoding means, 109 ... partial stream sending means, 110 ... alarm control Means: 111: video stream structure information holding means, 112: partial stream selecting means, 113: system control means, 201: digest index information requesting means, 202: partial video stream requesting means, 203: unit Video stream temporary holding means, 204: Video stream temporary holding means, 205: Digest index selection and shaping means, 206: Video decoding means, 207: Video display means, 208: Stream request means, 209: Digest index temporary holding means, 301 ... Partial video stream temporary holding means, 302: video decoding means, 303: display means, 401: transmission path performance detection means.

Claims (14)

デジタルコンテンツを要約して再生時間を短縮する方法において、
該要約する方法は、デジタルコンテンツを時間軸で分割し、分割した要素それぞれについてその重要度を評価し、評価値の高い要素のみを再生する方法であって、
該再生時間の短縮方法は、指定された再生時間となるように評価値の高い要素から順に選択する方法であって、
再生時間の短縮率はデジタルコンテンツ再生時に指定されるものであることを特徴とする、
デジタルコンテンツ要約再生方法。
In a way to reduce playback time by summarizing digital content,
The summarizing method is a method of dividing the digital content on a time axis, evaluating the importance of each of the divided elements, and reproducing only the element having a high evaluation value,
The method of shortening the reproduction time is a method of sequentially selecting elements having higher evaluation values so that the specified reproduction time is obtained,
The playback time reduction rate is specified at the time of digital content playback,
Digital content summary playback method.
前記デジタルコンテンツは、デジタルビデオコンテンツであって、
前記デジタルコンテンツを時間軸で分割する方法は、デジタルビデオコンテンツをフレーム単位で分割する方法であることを特徴とする、
請求項1のデジタルコンテンツ要約再生方法。
The digital content is digital video content,
The method of dividing the digital content on a time axis is a method of dividing the digital video content on a frame basis,
The method of claim 1 for summarizing and reproducing digital contents.
請求項1、2に記載の特徴を備え、
デジタルコンテンツを取得するための入力手段と、デジタルコンテンツを要約するための要約手段と、再生時間の短縮率を指定する再生速度指定手段と、デジタルコンテンツを出力するための出力手段とを備え、入力したデジタルコンテンツを指定した短縮率で要約して出力することを特徴とする、
デジタルコンテンツ要約システム。
With the features of claims 1 and 2,
Input means for acquiring digital content, summarizing means for summarizing digital content, playback speed designating means for designating a reduction rate of playback time, and output means for outputting digital content, comprising: Characterized in that the digital content is summarized and output at a specified shortening rate,
Digital content summarization system.
請求項1、2に記載の特徴を備え、
デジタルコンテンツを保持するための記憶手段と、デジタルコンテンツを要約するための要約手段と、再生時間の短縮率を指定する再生速度指定手段と、デジタルコンテンツを出力するための出力手段とを備え、保持しているデジタルコンテンツを指定した短縮率で要約して出力することを特徴とする、
デジタルコンテンツ要約システム。
With the features of claims 1 and 2,
Storage means for holding the digital content, summarizing means for summarizing the digital content, playback speed designating means for designating a reduction rate of the playback time, and output means for outputting the digital content; Digital content being summarized and output at a specified shortening rate,
Digital content summarization system.
請求項1、2に記載の特徴を備え、
デジタルコンテンツを保持するための記憶手段と、デジタルコンテンツを要約するための要約手段と、該要約に用いた評価値一覧を出力する評価値出力手段と、該評価値一覧において評価の高い要素から順に該コンテンツ要素を出力するコンテンツ要素出力手段とを備えるコンテンツ要約装置と、
再生時間の短縮率を指定する再生速度指定手段と、デジタルコンテンツを再生出力するための再生出力手段と、前記評価値一覧を取得する評価値入力手段と、前記コンテンツ要素を取得するコンテンツ要素入力手段と、該コンテンツ要素を一時的に保持するコンテンツ要素一時記憶手段とを備えるコンテンツ再生装置と、
両装置を結合する通信路とから構成されることを特徴とする、
デジタルコンテンツ要約再生システム。
With the features of claims 1 and 2,
Storage means for holding the digital content, summarizing means for summarizing the digital content, evaluation value output means for outputting a list of evaluation values used for the summarization, and elements having the highest evaluation in the evaluation value list in order. A content summarization device comprising: a content element output unit that outputs the content element;
Playback speed designating means for designating a reduction rate of playback time, playback output means for playing back and outputting digital content, evaluation value input means for obtaining the evaluation value list, and content element input means for obtaining the content element And a content reproduction device comprising: a content element temporary storage unit for temporarily holding the content element;
And a communication path connecting the two devices,
Digital content summary playback system.
請求項1、2に記載の特徴を備え、
デジタルコンテンツを保持するための記憶手段と、デジタルコンテンツを要約するための要約手段と、該要約に用いた評価値一覧を出力する評価値出力手段と、出力要求されたコンテンツ要素を選択的に出力するコンテンツ要素出力手段とを備えるコンテンツ要約装置と、
再生時間の短縮率を指定する再生速度指定手段と、前記評価値一覧を取得する評価値入力手段と、該評価値一覧において評価の高い要素から順に出力要求するコンテンツ要素出力要求手段と、前記コンテンツ要素を取得するコンテンツ要素入力手段と、該コンテンツ要素を一時的に保持するコンテンツ要素一時記憶手段と、デジタルコンテンツを再生出力するための再生出力手段とを備えるコンテンツ再生装置と、
両装置を結合する通信路とから構成されることを特徴とする、
デジタルコンテンツ要約再生システム。
With the features of claims 1 and 2,
Storage means for holding digital content, summarizing means for summarizing digital content, evaluation value output means for outputting a list of evaluation values used for the summarization, and selectively outputting content elements requested to be output A content summarization device comprising:
Playback speed designating means for designating a shortening rate of playback time; evaluation value input means for acquiring the evaluation value list; content element output requesting means for sequentially requesting an output with the highest evaluation in the evaluation value list; A content element input unit for acquiring an element, a content element temporary storage unit for temporarily holding the content element, and a content reproduction apparatus including a reproduction output unit for reproducing and outputting the digital content;
And a communication path connecting the two devices,
Digital content summary playback system.
請求項6に記載のデジタルコンテンツ要約再生システムであって、
前記コンテンツ要素一時記憶手段は、再生速度指定手段によって指定された再生時間向けに選択されたコンテンツ要素を一時的に保持する要約部分コンテンツ要素一時記憶手段と、該選択されたコンテンツ要素以外のコンテンツ要素を一時的に保持する非要約部分コンテンツ要素一時記憶手段とから構成されることを特徴とする、
デジタルコンテンツ要約再生システム。
The digital content summary playback system according to claim 6, wherein
The content element temporary storage means includes: a summary partial content element temporary storage means for temporarily holding a content element selected for a playback time designated by a playback speed designation means; and a content element other than the selected content element. And non-summary partial content element temporary storage means for temporarily holding
Digital content summary playback system.
請求項7に記載のデジタルコンテンツ要約再生システムであって、
前記コンテンツ要約装置は、コンテンツ要素のデータ形式を変更するためのトランスコーデック手段を備え、
前記コンテンツ再生装置は、該トランスコーデック手段によってデータ形式を変更されたコンテンツ要素を再生するための、マルチデコード手段を備え、
前記要約部分コンテンツ要素一時記憶手段に保持されるコンテンツ要素と、前記非要約部分コンテンツ要素一時記憶手段に保持されるコンテンツ要素は、互いに異なるデータ形式であることを特徴とする、
デジタルコンテンツ要約再生システム。
The digital content summary playback system according to claim 7, wherein
The content summarizing apparatus includes transcodec means for changing a data format of a content element,
The content reproducing apparatus includes a multi-decoding unit for reproducing a content element whose data format has been changed by the transcodec unit,
The content element stored in the summary partial content element temporary storage unit and the content element stored in the non-summary partial content element temporary storage unit have different data formats.
Digital content summary playback system.
請求項5、6、7、8に記載のデジタルコンテンツ要約再生システムであって、
前記再生速度指定手段は、システム外部から短縮率を指定する再生速度入力手段であることを特徴とする、
デジタルコンテンツ要約再生システム。
The digital content summarizing and reproducing system according to claim 5, 6, 7, or 8,
The playback speed designation means is a playback speed input means for designating a shortening rate from outside the system,
Digital content summary playback system.
請求項5、6、7、8に記載のデジタルコンテンツ要約再生システムであって、
前記再生速度指定手段は、コンテンツ要約装置とコンテンツ再生装置とを結合する通信路に関する属性情報を元にして、短縮率を求める再生速度判定手段であることを特徴とする、
デジタルコンテンツ要約再生システム。
The digital content summarizing and reproducing system according to claim 5, 6, 7, or 8,
The playback speed designation unit is a playback speed determination unit that obtains a shortening rate based on attribute information on a communication path that connects the content summarization device and the content playback device.
Digital content summary playback system.
請求項10に記載のデジタルコンテンツ要約再生システムであって、
前記通信路に関する属性情報は、通信路の伝送速度に関する情報であることを特徴とする、
デジタルコンテンツ要約再生システム。
The digital content summary playback system according to claim 10, wherein
The attribute information on the communication path is information on a transmission speed of the communication path,
Digital content summary playback system.
請求項5、6、7、8、9、10、11に記載のデジタルコンテンツ要約再生システムであって、
前記コンテンツ要約装置と前記コンテンツ再生装置の間の通信は、該コンテンツ要約装置の備える通信開始手段によって開始されるものであることを特徴とする、
デジタルコンテンツ要約再生システム。
The digital content summarizing and reproducing system according to claim 5, 6, 7, 8, 9, 10, 11, or 12,
The communication between the content summarizing device and the content reproducing device is started by a communication start unit provided in the content summarizing device,
Digital content summary playback system.
請求項12に記載のデジタルコンテンツ要約再生システムであって、
前記通信開始手段は、前記コンテンツ要約装置に接続された入力装置であることを特徴とする、
デジタルコンテンツ要約再生システム。
The digital content summary playback system according to claim 12, wherein
The communication start unit is an input device connected to the content summarization device,
Digital content summary playback system.
請求項5、6、7、8、9、10、11、12、13に記載のデジタルコンテンツ要約再生システムであって、
該システムは、一つまたは複数の前記コンテンツ要約装置と、複数の前記コンテンツ再生装置と、これらを相互に結合する通信路とから構成されるものであって、
該複数のコンテンツ再生装置は、要約された部分的なコンテンツのみを受信し再生する一つまたは複数の部分コンテンツ再生装置と、コンテンツ全体を受信し再生する一つまたは複数の全コンテンツ再生装置とから構成されることを特徴とする、
デジタルコンテンツ要約再生システム。
The digital content summary playback system according to claim 5, 6, 7, 8, 9, 10, 11, 12, or 13,
The system comprises one or a plurality of the content summarizing devices, a plurality of the content reproducing devices, and a communication path interconnecting them,
The plurality of content playback devices include one or more partial content playback devices that receive and play only the summarized partial content, and one or more total content playback devices that receive and play the entire content. Characterized by being composed,
Digital content summary playback system.
JP2003107195A 2003-04-11 2003-04-11 Content summary playback system Expired - Fee Related JP4356343B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003107195A JP4356343B2 (en) 2003-04-11 2003-04-11 Content summary playback system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003107195A JP4356343B2 (en) 2003-04-11 2003-04-11 Content summary playback system

Publications (3)

Publication Number Publication Date
JP2004320092A true JP2004320092A (en) 2004-11-11
JP2004320092A5 JP2004320092A5 (en) 2006-01-26
JP4356343B2 JP4356343B2 (en) 2009-11-04

Family

ID=33469089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003107195A Expired - Fee Related JP4356343B2 (en) 2003-04-11 2003-04-11 Content summary playback system

Country Status (1)

Country Link
JP (1) JP4356343B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008271456A (en) * 2007-04-25 2008-11-06 Hitachi Ltd Recording and reproducing device and digest information generating device
JP2011029948A (en) * 2009-07-27 2011-02-10 Hitachi Consumer Electronics Co Ltd Content processing apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008271456A (en) * 2007-04-25 2008-11-06 Hitachi Ltd Recording and reproducing device and digest information generating device
JP2011029948A (en) * 2009-07-27 2011-02-10 Hitachi Consumer Electronics Co Ltd Content processing apparatus

Also Published As

Publication number Publication date
JP4356343B2 (en) 2009-11-04

Similar Documents

Publication Publication Date Title
US11240538B2 (en) Methods and systems for network based video clip generation and management
EP1528809B1 (en) Interactivity with audiovisual programming
TWI701945B (en) Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
US9357245B1 (en) System and method for providing an interactive, visual complement to an audio program
US6848117B1 (en) Video-on-demand system capable of performing a high-speed playback at a correct speed
JP4076067B2 (en) Recording / playback system
JP3907839B2 (en) Broadcast system
US20010004417A1 (en) Video editing system
US20030095790A1 (en) Methods and apparatus for generating navigation information on the fly
KR100872138B1 (en) A Multimedia Contents Providing System and a Method thereof
WO1998037699A1 (en) System and method for sending and receiving a video as a slide show over a computer network
JP2003111048A (en) Server and program for contents reproduction
JP2004023667A (en) Profile information transmitting apparatus
US20150067721A1 (en) Method and system for transmitting videos to mobile phones
CN108093300B (en) Animation capture management system
US8166503B1 (en) Systems and methods for providing multiple video streams per audio stream
JPH114417A (en) Bit stream information display method, bit stream information generating method and recording medium
JP4178631B2 (en) Receiving apparatus and method, transmitting apparatus
JPH10191261A (en) Multiple viewpoint video reproducing method
WO2001018658A1 (en) Method and apparatus for sending slow motion video-clips from video presentations to end viewers upon request
JP2010010736A (en) Video content playback device
JP2004320092A (en) Digital contents summary reproducing method and system
JP2006339980A (en) Image reproducer
JP2004312268A (en) Data structure of multimedia content file, multimedia content generation device and multimedia content browsing device
JP2005176164A (en) Video accumulation and distribution apparatus and video distribution system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090727

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees