JP2004304676A - ランキング計算方式及びシステム - Google Patents
ランキング計算方式及びシステム Download PDFInfo
- Publication number
- JP2004304676A JP2004304676A JP2003097578A JP2003097578A JP2004304676A JP 2004304676 A JP2004304676 A JP 2004304676A JP 2003097578 A JP2003097578 A JP 2003097578A JP 2003097578 A JP2003097578 A JP 2003097578A JP 2004304676 A JP2004304676 A JP 2004304676A
- Authority
- JP
- Japan
- Prior art keywords
- content
- key frame
- frame
- moving image
- ranking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
【課題】映像だけでなく音声や字幕なども含んでいる動画コンテンツや、複数の動画コンテンツに対して、ランキング計算を行って要約コンテンツを生成する場合、ランキング計算結果で求められるフレーム画像をフレーム番号で管理すると、フレーム画像と同一の時刻の音声、字幕、他の画像を取得することが困難となり、同期をとることができない。
【解決手段】ランキング計算で求められるフレーム画像を再生時刻で管理する。
【効果】要約コンテンツとして使用するフレーム画像の再生時刻を使って、音声、字幕、他の画像を取得することにより、容易に複数の画像、音声、字幕の同期をとることが可能となる。
【選択図】 図１
【解決手段】ランキング計算で求められるフレーム画像を再生時刻で管理する。
【効果】要約コンテンツとして使用するフレーム画像の再生時刻を使って、音声、字幕、他の画像を取得することにより、容易に複数の画像、音声、字幕の同期をとることが可能となる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画コンテンツに対して、意味のある画像であるキーフレーム画像を重要度の高い順に求めるランキング計算の方式、システムに関する。
【０００２】
【従来の技術】
近年、高速ネットワークの整備が進み、ＣＡＴＶインターネットやＤＳＬサービスを利用して大量の動画コンテンツを閲覧することが可能になってきている。今後、配信されるコンテンツはさらに多くなると考えられるが、視聴者が視聴する時間は限られており、あまり増えることはない。そこで、多くのコンテンツの中から、視聴者の嗜好にあった動画コンテンツを効率よく選択できるように、動画コンテンツから意味のあるフレーム画像（以下、キーフレーム画像と呼ぶ）を自動検出し、要約コンテンツを生成する技術が研究されている。
【０００３】
キーフレーム画像を自動検出し、要約コンテンツを生成する技術の一つとして、視聴者が要約コンテンツの詳細レベルを指定し、詳細レベルが高ければ、多くのキーフレーム画像で構成される要約コンテンツを、詳細レベルが低ければ、少ないキーフレーム画像で構成される要約コンテンツを生成する技術がある（例えば、非特許文献１等参照）。この技術では、図７に示すように、複数のフレーム画像６２から構成される動画コンテキスト６１において、各フレーム画像に対して、重要度を示すランクを計算する。例えば、動画コンテキスト６１に含まれるフレーム画像６２が３０００フレームある場合、ランクとして１から３０００の値が各フレーム画像の重要度を計算して割り振られる。そして、指定された詳細レベルによって、取り出すフレーム画像の数を決定し、ランクの高い順からフレーム画像をとりだす。この技術を使うことにより、例えば、２時間の映画を、視聴者の要求に応じて、５分版や２０分版など自由に縮小して提供することができる。視聴者がリアルタイムに要約コンテンツの詳細レベルを変更できるようにするためには、動画コンテンツから前もって、重要度（ランク）の高い順に並んだフレーム画像の列を求める必要がある（以下、この処理をランキング計算と呼ぶ）。一般にフレーム画像はフレーム番号を使用して管理されるので（例えば、特許文献１等参照）、ランキング計算の結果は図８のように、ランクの高い順にフレーム番号が並んだテーブルとなる。そして、視聴者が指定した詳細レベルに従って、ランキング結果の上位からフレーム番号を複数個選択し、フレーム番号の小さい順に（過去から未来へ）並べ替えた後、各々のフレーム画像をデコードするのに必要な画像情報を動画コンテンツから取り出す。そして、必要なら各々のフレーム画像のデコード処理をおこない、それらをまとめて要約コンテンツを生成する。例えば、視聴者が５分版の詳細レベルで毎秒３０フレームの動画コンテンツを指定した場合には、ランキング結果の上位９０００フレーム分（毎秒３０フレーム＊６０秒＊５分）を取得し、並び替えをおこなって、要約コンテンツを生成する。最終的に、要約コンテンツはモニタ画面に出力されたり、ハードディスクへ保存されたり、ネットワークに配信されたりする。
【０００４】
【非特許文献１】
Ｄａｎｉｅｌ ＤｅＭｅｎｔｈｏｎ， Ｖｉｋｒａｎｔ Ｋｏｂｌａ， Ｄａｖｉｄ Ｄｏｅｒｍａｎｎ，“Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｂｙＣｕｒｖｅ Ｓｉｍｐｌｉｆｉｃａｔｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｓｉｘｔｈ ＡＣＭ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ １９９８， Ｂｒｉｓｔｏｌ， Ｕｎｉｔｅｄ Ｋｉｎｇｄｏｍ， ｐｐ．２１１−２１８， １９９８
【特許文献１】
特開平１１−２５９０６１号公報
【０００５】
【発明が解決しようとする課題】
動画コンテンツが映像だけでなく音声や字幕情報なども含んでいる場合、動画コンテンツをＭＰＥＧ−２システムで規定されているトランスポートストリームやプログラムストリーム等のように、映像、音声、字幕情報などを１本のストリームにする場合と、映像、音声、字幕情報などを別々のストリームにして管理する場合が考えられる。いずれの場合も、要約コンテンツに音声、字幕情報を付加するために、ランキング計算によって求めたキーフレーム画像の時刻と同一の時刻の音声、字幕情報をストリームから取得する必要がある。仮に、音声や字幕などの情報の各フレームが動画コンテキストのどの位置に格納されているかを図９で示すような構成のテーブルで管理していたとしても、映像、音声、字幕情報のフレームレートは全く異なるので、フレーム画像のフレーム番号と音声、字幕情報のフレーム番号が同一でも、再生する時刻は同一とならない。つまり、ランキング結果をフレーム番号で管理すると、フレーム画像と同一時刻の音声、字幕情報を取得することは難しく、お互いの同期をとることは困難となる。
【０００６】
また、ネットワークを使った監視カメラシステムなどのように、複数の遠隔地で録画された動画コンテンツを１箇所に転送するようなシステムで、録画された映像の要約コンテンツも同時に転送する場合、動画コンテンツのフレームレートが同一でないと、各々の動画コンテンツのフレーム番号が同一でも、再生する時刻は同一とならない。その結果、お互いのフレーム番号を使用しても、それぞれの映像の同期をとることは困難となる。
【０００７】
本発明は、要約コンテンツを生成するために、ランキング計算によって検出されたキーフレーム映像と、音声、字幕情報との間の同期や、複数の要約コンテンツの同期をとることを可能にする手段を提供する。
【０００８】
【課題を解決するための手段】
上記課題は、動画コンテンツから、意味のある画像であるキーフレーム画像を重要度の高い順に求めるランキング計算方式であって、動画コンテンツを受け取り、重要度の高いキーフレーム画像の順に、各キーフレーム画像の再生出力の時刻管理情報が並んだ列を出力することによって、解決される。
【０００９】
【発明の実施の形態】
図１は、本発明のランキング計算方式である。
【００１０】
ランキング計算手段１は記憶装置から動画コンテンツ２を取得し、重要度の高いフレーム画像順に配列された、フレーム画像の再生時刻の配列を記憶装置に出力する。配列の構成例として、図２に示す構成のテーブルが挙げられる。
【００１１】
図３は、本発明のランキング計算方式を使用した、映像と音声等の情報との同期をとることが可能なランキング計算システムの一実施例である。
【００１２】
ランキング計算手段１１は動画コンテンツ１２から、すべてのフレーム画像を取得し、ランキング計算を実行して各フレーム画像のランクを算出する。そして、図２で示すような、重要度の高いフレーム画像順に並んだフレーム画像の再生時刻のテーブル１３を出力する。要約コンテンツ再生手段１５は再生時刻のテーブル１３を読み込み、視聴者が指定した詳細レベルにしたがって、上位のランクから複数のフレーム画像の再生時刻を取得し、小さい順に並び替えを行う。そして、小さい順に再生時刻に対応する映像、音声等の情報を動画コンテンツ１２から取得し、再生した結果を選択手段１６に出力する。また、コンテンツ再生手段１４は動画コンテンツ１２を取得し、すべてのフレームの再生を行い、選択手段１６に出力する。選択手段１６は視聴者の要求にしたがい、動画コンテンツか要約コンテンツのいずれかを選択し、表示装置１７に出力する。
【００１３】
上位ランクで選択されたフレーム画像の再生時刻を基に、映像、音声等の情報を取得するので、容易に同時刻のフレームを動画コンテンツから取り出すことができ、映像、音声等の同期が可能となる。
【００１４】
次に、図４のフローチャートを用いて、本実施例の動作について説明する。
【００１５】
まず初めに、動画コンテンツから順にフレーム画像をとりだし、ランキング計算を実行して、表２のテーブルを出力する（ステップ２１）。次に、視聴者からの詳細レベルから取得するフレーム画像のフレーム数を計算する（ステップ２２）。上位のランクから再生時刻を取得するため、現在対象としているランクとして１を設定する（ステップ２３）。現在対象としているランクがフレーム数以下かどうかを判定し（ステップ２４）、フレーム数以下なら、テーブルから再生時刻を取得する（ステップ２５）。そして、対象としているランクの値に１を加算し（ステップ２６）、再度ステップ２４を実行する。もし、フレーム数分の再生時刻の取得を完了したら、それらの再生時刻を小さい順に並び替え（ステップ２７）、その順に、再生時刻のデコードに必要な画像、音声、字幕の情報を動画コンテンツから取得する（ステップ２８）。最後に、画像、音声、字幕の同期をとりながら、再生して出力するか、ディスクへ保存するか、または、ネットワークに配信する。
【００１６】
図５は、本発明のランキング計算方式を使用した、複数の要約コンテンツの同期をとることが可能なランキング計算システムの一実施例である。
【００１７】
ランキング計算システムは、複数の配信サーバ３０、閲覧装置３６とネットワーク３５で構成され、配信サーバ３０は、ランキング計算手段３１、コンテンツ圧縮手段３２、動画コンテンツ３３、ランクと再生時刻のテーブル３４で構成される。配信サーバ３０内では、コンテンツ圧縮手段３２が外部から入力された原画像に対して、ＭＰＥＧ−２やＭＰＥＧ−４，ＪＰＥＧ−２０００などの形式に圧縮し、動画コンテンツ３３を生成する。ランキング計算手段３１は動画コンテンツ３３を読み込んで、各フレーム画像のランクを計算し、ランクと再生時刻のテーブル３４を図２のような形式で出力する。閲覧装置３６は、複数の動画コンテンツ３７、複数のランクと再生時刻のテーブル３８、フレーム選択手段３９、コンテンツ再生手段４０、コンテンツ統合手段４１、表示装置４２で構成される。閲覧装置３６では、ネットワーク３５を介して、各配信サーバから動画コンテンツ３７、ランクと再生時刻のテーブル３８を取得する。フレーム選択手段３９は、視聴者からの詳細レベルにしたがって、各々のテーブル３８から、必要なフレーム画像の再生時刻を算出し、その時刻の再生に必要なフレーム画像を複数の動画コンテンツ３７からそれぞれ取り出す。コンテンツ再生手段４０は、フレーム選択手段３９から複数のフレーム画像を取得し、コンテンツ圧縮手段３２でＭＰＥＧ−２やＭＰＥＧ−４，ＪＰＥＧ−２０００などに圧縮された形式を復元する処理を行う。コンテンツ統合手段４１は、コンテンツ再生手段４０で復元された複数の要約コンテンツに対して、視聴者の要求にしたがって、複数の要約コンテンツを１つの画面に統合するか、１つの要約コンテンツを選択して１つの画面にして、表示装置４２により画面出力する。
【００１８】
フレーム番号ではなく再生時刻を基にフレーム画像を選択するので、各動画コンテンツのフレームレートが異なっても、同時刻のフレーム画像を取得することが可能であり、容易に要約コンテンツの同期をとることができる。
【００１９】
図６は、本発明のランキング計算方式で使用する関数インタフェースの一実施例である。
【００２０】
関数の引数はフレーム画像の格納先５１と、ランキング計算結果であるランク順に並んだ各フレーム画像の再生時刻の格納先５２で構成される。
【００２１】
【発明の効果】
本発明により、動画コンテンツが映像だけでなく音声や字幕なども含んでいる場合においても、ランキング計算によって求めたキーフレーム画像に対応する音声や字幕を取得し、キーフレーム画像と、音声、字幕間の同期をとるのが容易となる。
【００２２】
また、複数の地点で別々に生成された動画コンテンツを１箇所に集約する場合で、各々の動画コンテンツのフレームレートが異なった場合においても、キーフレーム画像のフレーム番号ではお互いのキーフレーム画像の同期をとることができる。
【図面の簡単な説明】
【図１】本発明のランキング計算方式の構成を示す図である。
【図２】本発明のビデオフレームのランクと再生時刻のテーブルの構成を示す図である。
【図３】本発明の映像と音声等、他の情報との同期をとることが可能なランキング計算システムの構成を示す図である。
【図４】本発明の映像と音声、字幕情報との同期をとることが可能なランキング計算処理のフローチャートを示す図である。
【図５】本発明のネットワークを介して複数のランキング計算結果を使用して、一つの要約コンテンツを生成するランキング計算システムの構成を示す図である。
【図６】本発明のビデオフレームのランクと再生時刻のテーブルを取得するプログラムのインタフェースを示す図である。
【図７】動画コンテンツのフレームとランクの関係を示す図である。
【図８】ビデオフレームのランクとフレーム番号のテーブルの構成を示す図である。
【図９】ビデオフレームのフレーム番号と格納先のテーブルの構成を示す図である。
【符号の説明】
１…動画コンテンツ、２…ランキング計算手段、３…ビデオフレームのランクと再生時刻のテーブル、１１…ランキング計算手段、１２…動画コンテンツ、１３…ビデオフレームのランクと再生時刻のテーブル、１４…コンテンツ再生手段、１５…要約コンテンツ再生手段、１６…選択手段、１７…表示装置、３０…配信サーバ、３１…ランキング計算手段、３２…コンテンツ圧縮手段、３３…動画コンテンツ、３４…ビデオフレームのランクと再生時刻のテーブル、３５…ネットワーク、３６…閲覧装置、３７…動画コンテンツ、３８…ビデオフレームのランクと再生時刻のテーブル、３９…フレーム選択手段、４０…コンテンツ再生手段、４１…コンテンツ統合手段、４２…表示装置、５１…ビデオフレームの格納先、５２…再生時刻の配列へのポインタ、６１…動画コンテンツ、６２…フレーム画像。
【発明の属する技術分野】
本発明は、動画コンテンツに対して、意味のある画像であるキーフレーム画像を重要度の高い順に求めるランキング計算の方式、システムに関する。
【０００２】
【従来の技術】
近年、高速ネットワークの整備が進み、ＣＡＴＶインターネットやＤＳＬサービスを利用して大量の動画コンテンツを閲覧することが可能になってきている。今後、配信されるコンテンツはさらに多くなると考えられるが、視聴者が視聴する時間は限られており、あまり増えることはない。そこで、多くのコンテンツの中から、視聴者の嗜好にあった動画コンテンツを効率よく選択できるように、動画コンテンツから意味のあるフレーム画像（以下、キーフレーム画像と呼ぶ）を自動検出し、要約コンテンツを生成する技術が研究されている。
【０００３】
キーフレーム画像を自動検出し、要約コンテンツを生成する技術の一つとして、視聴者が要約コンテンツの詳細レベルを指定し、詳細レベルが高ければ、多くのキーフレーム画像で構成される要約コンテンツを、詳細レベルが低ければ、少ないキーフレーム画像で構成される要約コンテンツを生成する技術がある（例えば、非特許文献１等参照）。この技術では、図７に示すように、複数のフレーム画像６２から構成される動画コンテキスト６１において、各フレーム画像に対して、重要度を示すランクを計算する。例えば、動画コンテキスト６１に含まれるフレーム画像６２が３０００フレームある場合、ランクとして１から３０００の値が各フレーム画像の重要度を計算して割り振られる。そして、指定された詳細レベルによって、取り出すフレーム画像の数を決定し、ランクの高い順からフレーム画像をとりだす。この技術を使うことにより、例えば、２時間の映画を、視聴者の要求に応じて、５分版や２０分版など自由に縮小して提供することができる。視聴者がリアルタイムに要約コンテンツの詳細レベルを変更できるようにするためには、動画コンテンツから前もって、重要度（ランク）の高い順に並んだフレーム画像の列を求める必要がある（以下、この処理をランキング計算と呼ぶ）。一般にフレーム画像はフレーム番号を使用して管理されるので（例えば、特許文献１等参照）、ランキング計算の結果は図８のように、ランクの高い順にフレーム番号が並んだテーブルとなる。そして、視聴者が指定した詳細レベルに従って、ランキング結果の上位からフレーム番号を複数個選択し、フレーム番号の小さい順に（過去から未来へ）並べ替えた後、各々のフレーム画像をデコードするのに必要な画像情報を動画コンテンツから取り出す。そして、必要なら各々のフレーム画像のデコード処理をおこない、それらをまとめて要約コンテンツを生成する。例えば、視聴者が５分版の詳細レベルで毎秒３０フレームの動画コンテンツを指定した場合には、ランキング結果の上位９０００フレーム分（毎秒３０フレーム＊６０秒＊５分）を取得し、並び替えをおこなって、要約コンテンツを生成する。最終的に、要約コンテンツはモニタ画面に出力されたり、ハードディスクへ保存されたり、ネットワークに配信されたりする。
【０００４】
【非特許文献１】
Ｄａｎｉｅｌ ＤｅＭｅｎｔｈｏｎ， Ｖｉｋｒａｎｔ Ｋｏｂｌａ， Ｄａｖｉｄ Ｄｏｅｒｍａｎｎ，“Ｖｉｄｅｏ Ｓｕｍｍａｒｉｚａｔｉｏｎ ｂｙＣｕｒｖｅ Ｓｉｍｐｌｉｆｉｃａｔｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｓｉｘｔｈ ＡＣＭ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ １９９８， Ｂｒｉｓｔｏｌ， Ｕｎｉｔｅｄ Ｋｉｎｇｄｏｍ， ｐｐ．２１１−２１８， １９９８
【特許文献１】
特開平１１−２５９０６１号公報
【０００５】
【発明が解決しようとする課題】
動画コンテンツが映像だけでなく音声や字幕情報なども含んでいる場合、動画コンテンツをＭＰＥＧ−２システムで規定されているトランスポートストリームやプログラムストリーム等のように、映像、音声、字幕情報などを１本のストリームにする場合と、映像、音声、字幕情報などを別々のストリームにして管理する場合が考えられる。いずれの場合も、要約コンテンツに音声、字幕情報を付加するために、ランキング計算によって求めたキーフレーム画像の時刻と同一の時刻の音声、字幕情報をストリームから取得する必要がある。仮に、音声や字幕などの情報の各フレームが動画コンテキストのどの位置に格納されているかを図９で示すような構成のテーブルで管理していたとしても、映像、音声、字幕情報のフレームレートは全く異なるので、フレーム画像のフレーム番号と音声、字幕情報のフレーム番号が同一でも、再生する時刻は同一とならない。つまり、ランキング結果をフレーム番号で管理すると、フレーム画像と同一時刻の音声、字幕情報を取得することは難しく、お互いの同期をとることは困難となる。
【０００６】
また、ネットワークを使った監視カメラシステムなどのように、複数の遠隔地で録画された動画コンテンツを１箇所に転送するようなシステムで、録画された映像の要約コンテンツも同時に転送する場合、動画コンテンツのフレームレートが同一でないと、各々の動画コンテンツのフレーム番号が同一でも、再生する時刻は同一とならない。その結果、お互いのフレーム番号を使用しても、それぞれの映像の同期をとることは困難となる。
【０００７】
本発明は、要約コンテンツを生成するために、ランキング計算によって検出されたキーフレーム映像と、音声、字幕情報との間の同期や、複数の要約コンテンツの同期をとることを可能にする手段を提供する。
【０００８】
【課題を解決するための手段】
上記課題は、動画コンテンツから、意味のある画像であるキーフレーム画像を重要度の高い順に求めるランキング計算方式であって、動画コンテンツを受け取り、重要度の高いキーフレーム画像の順に、各キーフレーム画像の再生出力の時刻管理情報が並んだ列を出力することによって、解決される。
【０００９】
【発明の実施の形態】
図１は、本発明のランキング計算方式である。
【００１０】
ランキング計算手段１は記憶装置から動画コンテンツ２を取得し、重要度の高いフレーム画像順に配列された、フレーム画像の再生時刻の配列を記憶装置に出力する。配列の構成例として、図２に示す構成のテーブルが挙げられる。
【００１１】
図３は、本発明のランキング計算方式を使用した、映像と音声等の情報との同期をとることが可能なランキング計算システムの一実施例である。
【００１２】
ランキング計算手段１１は動画コンテンツ１２から、すべてのフレーム画像を取得し、ランキング計算を実行して各フレーム画像のランクを算出する。そして、図２で示すような、重要度の高いフレーム画像順に並んだフレーム画像の再生時刻のテーブル１３を出力する。要約コンテンツ再生手段１５は再生時刻のテーブル１３を読み込み、視聴者が指定した詳細レベルにしたがって、上位のランクから複数のフレーム画像の再生時刻を取得し、小さい順に並び替えを行う。そして、小さい順に再生時刻に対応する映像、音声等の情報を動画コンテンツ１２から取得し、再生した結果を選択手段１６に出力する。また、コンテンツ再生手段１４は動画コンテンツ１２を取得し、すべてのフレームの再生を行い、選択手段１６に出力する。選択手段１６は視聴者の要求にしたがい、動画コンテンツか要約コンテンツのいずれかを選択し、表示装置１７に出力する。
【００１３】
上位ランクで選択されたフレーム画像の再生時刻を基に、映像、音声等の情報を取得するので、容易に同時刻のフレームを動画コンテンツから取り出すことができ、映像、音声等の同期が可能となる。
【００１４】
次に、図４のフローチャートを用いて、本実施例の動作について説明する。
【００１５】
まず初めに、動画コンテンツから順にフレーム画像をとりだし、ランキング計算を実行して、表２のテーブルを出力する（ステップ２１）。次に、視聴者からの詳細レベルから取得するフレーム画像のフレーム数を計算する（ステップ２２）。上位のランクから再生時刻を取得するため、現在対象としているランクとして１を設定する（ステップ２３）。現在対象としているランクがフレーム数以下かどうかを判定し（ステップ２４）、フレーム数以下なら、テーブルから再生時刻を取得する（ステップ２５）。そして、対象としているランクの値に１を加算し（ステップ２６）、再度ステップ２４を実行する。もし、フレーム数分の再生時刻の取得を完了したら、それらの再生時刻を小さい順に並び替え（ステップ２７）、その順に、再生時刻のデコードに必要な画像、音声、字幕の情報を動画コンテンツから取得する（ステップ２８）。最後に、画像、音声、字幕の同期をとりながら、再生して出力するか、ディスクへ保存するか、または、ネットワークに配信する。
【００１６】
図５は、本発明のランキング計算方式を使用した、複数の要約コンテンツの同期をとることが可能なランキング計算システムの一実施例である。
【００１７】
ランキング計算システムは、複数の配信サーバ３０、閲覧装置３６とネットワーク３５で構成され、配信サーバ３０は、ランキング計算手段３１、コンテンツ圧縮手段３２、動画コンテンツ３３、ランクと再生時刻のテーブル３４で構成される。配信サーバ３０内では、コンテンツ圧縮手段３２が外部から入力された原画像に対して、ＭＰＥＧ−２やＭＰＥＧ−４，ＪＰＥＧ−２０００などの形式に圧縮し、動画コンテンツ３３を生成する。ランキング計算手段３１は動画コンテンツ３３を読み込んで、各フレーム画像のランクを計算し、ランクと再生時刻のテーブル３４を図２のような形式で出力する。閲覧装置３６は、複数の動画コンテンツ３７、複数のランクと再生時刻のテーブル３８、フレーム選択手段３９、コンテンツ再生手段４０、コンテンツ統合手段４１、表示装置４２で構成される。閲覧装置３６では、ネットワーク３５を介して、各配信サーバから動画コンテンツ３７、ランクと再生時刻のテーブル３８を取得する。フレーム選択手段３９は、視聴者からの詳細レベルにしたがって、各々のテーブル３８から、必要なフレーム画像の再生時刻を算出し、その時刻の再生に必要なフレーム画像を複数の動画コンテンツ３７からそれぞれ取り出す。コンテンツ再生手段４０は、フレーム選択手段３９から複数のフレーム画像を取得し、コンテンツ圧縮手段３２でＭＰＥＧ−２やＭＰＥＧ−４，ＪＰＥＧ−２０００などに圧縮された形式を復元する処理を行う。コンテンツ統合手段４１は、コンテンツ再生手段４０で復元された複数の要約コンテンツに対して、視聴者の要求にしたがって、複数の要約コンテンツを１つの画面に統合するか、１つの要約コンテンツを選択して１つの画面にして、表示装置４２により画面出力する。
【００１８】
フレーム番号ではなく再生時刻を基にフレーム画像を選択するので、各動画コンテンツのフレームレートが異なっても、同時刻のフレーム画像を取得することが可能であり、容易に要約コンテンツの同期をとることができる。
【００１９】
図６は、本発明のランキング計算方式で使用する関数インタフェースの一実施例である。
【００２０】
関数の引数はフレーム画像の格納先５１と、ランキング計算結果であるランク順に並んだ各フレーム画像の再生時刻の格納先５２で構成される。
【００２１】
【発明の効果】
本発明により、動画コンテンツが映像だけでなく音声や字幕なども含んでいる場合においても、ランキング計算によって求めたキーフレーム画像に対応する音声や字幕を取得し、キーフレーム画像と、音声、字幕間の同期をとるのが容易となる。
【００２２】
また、複数の地点で別々に生成された動画コンテンツを１箇所に集約する場合で、各々の動画コンテンツのフレームレートが異なった場合においても、キーフレーム画像のフレーム番号ではお互いのキーフレーム画像の同期をとることができる。
【図面の簡単な説明】
【図１】本発明のランキング計算方式の構成を示す図である。
【図２】本発明のビデオフレームのランクと再生時刻のテーブルの構成を示す図である。
【図３】本発明の映像と音声等、他の情報との同期をとることが可能なランキング計算システムの構成を示す図である。
【図４】本発明の映像と音声、字幕情報との同期をとることが可能なランキング計算処理のフローチャートを示す図である。
【図５】本発明のネットワークを介して複数のランキング計算結果を使用して、一つの要約コンテンツを生成するランキング計算システムの構成を示す図である。
【図６】本発明のビデオフレームのランクと再生時刻のテーブルを取得するプログラムのインタフェースを示す図である。
【図７】動画コンテンツのフレームとランクの関係を示す図である。
【図８】ビデオフレームのランクとフレーム番号のテーブルの構成を示す図である。
【図９】ビデオフレームのフレーム番号と格納先のテーブルの構成を示す図である。
【符号の説明】
１…動画コンテンツ、２…ランキング計算手段、３…ビデオフレームのランクと再生時刻のテーブル、１１…ランキング計算手段、１２…動画コンテンツ、１３…ビデオフレームのランクと再生時刻のテーブル、１４…コンテンツ再生手段、１５…要約コンテンツ再生手段、１６…選択手段、１７…表示装置、３０…配信サーバ、３１…ランキング計算手段、３２…コンテンツ圧縮手段、３３…動画コンテンツ、３４…ビデオフレームのランクと再生時刻のテーブル、３５…ネットワーク、３６…閲覧装置、３７…動画コンテンツ、３８…ビデオフレームのランクと再生時刻のテーブル、３９…フレーム選択手段、４０…コンテンツ再生手段、４１…コンテンツ統合手段、４２…表示装置、５１…ビデオフレームの格納先、５２…再生時刻の配列へのポインタ、６１…動画コンテンツ、６２…フレーム画像。
Claims (5)
- 動画コンテンツから、意味のある画像であるキーフレーム画像を重要度の高い順に求めるランキング計算方式であって、
動画コンテンツを受け取り、重要度の高いキーフレーム画像の順に配列された、キーフレーム画像の再生時刻情報の集合を出力することを特徴とするランキング計算方式。 - 外部から入力された動画コンテンツに対して、意味のある画像であるキーフレーム画像を重要度の高い順に求めるランキング計算プログラムを格納した記録媒体であって、
外部から入力された動画コンテンツを取得し、重要度の高いキーフレーム画像の順に配列された、キーフレーム画像の再生時刻情報の集合を出力することを特徴とするプログラムを格納した記録媒体。 - 前記ランキング計算プログラムで、外部から入力される動画コンテンツの格納先と、重要度の高いキーフレーム画像の順に配列された、キーフレーム画像の再生時刻情報の集合の格納先を、関数引数としてもつプログラムの関数インタフェース。
- 記憶装置とランキング計算手段で構成され、
ランキング計算手段は記憶装置に格納されている動画コンテンツを読み込み、記憶装置に重要度の高いキーフレーム画像の順に配列された、キーフレーム画像の再生時刻情報の集合を出力すること特徴とする、ランキング計算システム。 - 記憶装置、ランキング計算手段、コンテンツ圧縮手段で構成され、
コンテンツ圧縮手段は外部から入力された画像を圧縮し、動画コンテンツとして記憶装置に格納し、ランキング計算手段は記憶装置に格納されている動画コンテンツを読み込み、記憶装置に重要度の高いキーフレーム画像の順に配列された、キーフレーム画像の再生時刻情報の集合を出力すること特徴とする、ランキング計算システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003097578A JP4378988B2 (ja) | 2003-04-01 | 2003-04-01 | コンテンツ生成システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003097578A JP4378988B2 (ja) | 2003-04-01 | 2003-04-01 | コンテンツ生成システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004304676A true JP2004304676A (ja) | 2004-10-28 |
| JP4378988B2 JP4378988B2 (ja) | 2009-12-09 |
Family
ID=33409323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003097578A Expired - Fee Related JP4378988B2 (ja) | 2003-04-01 | 2003-04-01 | コンテンツ生成システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4378988B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007150975A (ja) * | 2005-11-30 | 2007-06-14 | Toshiba Corp | 映像記録再生装置及び映像記録再生方法 |
| KR20190093722A (ko) * | 2018-01-08 | 2019-08-12 | 삼성전자주식회사 | 전자장치, 그 제어방법 및 컴퓨터프로그램제품 |
| US20220092312A1 (en) * | 2020-07-30 | 2022-03-24 | Ncr Corporation | Image/video analysis with activity signatures |
-
2003
- 2003-04-01 JP JP2003097578A patent/JP4378988B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007150975A (ja) * | 2005-11-30 | 2007-06-14 | Toshiba Corp | 映像記録再生装置及び映像記録再生方法 |
| KR20190093722A (ko) * | 2018-01-08 | 2019-08-12 | 삼성전자주식회사 | 전자장치, 그 제어방법 및 컴퓨터프로그램제품 |
| US11386665B2 (en) | 2018-01-08 | 2022-07-12 | Samsung Electronics Co., Ltd. | Display apparatus, server, system and information-providing methods thereof |
| KR102542788B1 (ko) * | 2018-01-08 | 2023-06-14 | 삼성전자주식회사 | 전자장치, 그 제어방법 및 컴퓨터프로그램제품 |
| US20220092312A1 (en) * | 2020-07-30 | 2022-03-24 | Ncr Corporation | Image/video analysis with activity signatures |
| US12062236B2 (en) * | 2020-07-30 | 2024-08-13 | Ncr Voyix Corporation | Image/video analysis with activity signatures |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4378988B2 (ja) | 2009-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100904098B1 (ko) | 다수의 비디오 스트림의 리스팅 및 네비게이팅 방법, 장치및 시스템 | |
| JP4450021B2 (ja) | 記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラム | |
| WO1999066722A1 (en) | Broadcasting method and broadcast receiver | |
| WO2000014741A1 (fr) | Procede et dispositif de gestion de fichier multimedia | |
| JP2002271744A (ja) | 番組記録装置及び方法 | |
| JP6686541B2 (ja) | 情報処理システム | |
| US20130247098A1 (en) | Video distribution system, video distribution apparatus, video distribution method and medium | |
| CA2753044A1 (en) | Video assets having associated graphical descriptor data | |
| Angelides et al. | The handbook of MPEG applications: standards in practice | |
| KR101142379B1 (ko) | 디지털 방송 재생 방법 및 장치, 디지털 방송 녹화 방법 | |
| JP2004201100A (ja) | 付加情報挿入装置及びその方法 | |
| JP2009225116A (ja) | ネットワーク伝送機能を備えた映像記録装置 | |
| JP4378988B2 (ja) | コンテンツ生成システム | |
| EP1590959B1 (fr) | Dispositif securise pour la diffusion, l ' enregistrement et la visualisation a la demande des oeuvres audiovisuelles au format de type mpeg-2 ts | |
| JP6355634B2 (ja) | データ処理装置、データ処理方法、プログラム、記録媒体及びデータ処理システム | |
| US20080232782A1 (en) | Recording apparatus, image reproducing apparatus, and special reproduction method therefor | |
| KR101603976B1 (ko) | 동영상 파일 결합 방법 및 그 장치 | |
| JP2000278643A (ja) | データ変換装置 | |
| JP3547210B2 (ja) | 音声付き動画データ作成装置 | |
| JP4682267B1 (ja) | プログレッシブダウンロード再生方法及び再生用プログラム | |
| JP4725675B2 (ja) | 記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラム | |
| KR20040039113A (ko) | 동영상 색인, 검색 및 편집 가능한 개인용 디지털 비디오녹화기(ｐｖｒ) 기능을 탑재한 셋탑박스시스템 | |
| JP2008153955A (ja) | 映像記録再生装置、その特殊再生方法 | |
| JP2003219362A (ja) | 映像記録再生装置、映像記録再生方法および監視システム | |
| KR100577099B1 (ko) | 동영상 제공 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060328 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090310 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090508 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090907 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |