JP2003134450A - 代表フレーム画像検出装置及びそのプログラム - Google Patents
代表フレーム画像検出装置及びそのプログラムInfo
- Publication number
- JP2003134450A JP2003134450A JP2001326406A JP2001326406A JP2003134450A JP 2003134450 A JP2003134450 A JP 2003134450A JP 2001326406 A JP2001326406 A JP 2001326406A JP 2001326406 A JP2001326406 A JP 2001326406A JP 2003134450 A JP2003134450 A JP 2003134450A
- Authority
- JP
- Japan
- Prior art keywords
- cut
- feature amount
- frame
- frame image
- cut feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 少ない演算量でカットの代表フレームを検出
すること。 【解決手段】 カットを構成する全てのフレームを用い
てカットの特徴量を計算する手段と、カットを構成する
全てのフレームと、前記手段により計算されたカット特
徴量と、を用いて各フレームとカット特徴量との間のユ
ークリッド距離を計算し、最も距離の小さいフレームを
代表フレーム画像として出力する手段とを有する。カッ
ト特徴量として、フレームにおける各画素位置単位、画
素ブロック単位、色空間ヒストグラム単位などで、カッ
トを構成するフレーム全体に渡っての画素値の平均を計
算して用いる。
すること。 【解決手段】 カットを構成する全てのフレームを用い
てカットの特徴量を計算する手段と、カットを構成する
全てのフレームと、前記手段により計算されたカット特
徴量と、を用いて各フレームとカット特徴量との間のユ
ークリッド距離を計算し、最も距離の小さいフレームを
代表フレーム画像として出力する手段とを有する。カッ
ト特徴量として、フレームにおける各画素位置単位、画
素ブロック単位、色空間ヒストグラム単位などで、カッ
トを構成するフレーム全体に渡っての画素値の平均を計
算して用いる。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像（ビデオ信
号）について、カット内の代表フレーム画像を検出する
代表フレーム画像検出装置及びそのプログラムに関す
る。
号）について、カット内の代表フレーム画像を検出する
代表フレーム画像検出装置及びそのプログラムに関す
る。
【０００２】
【従来の技術】デジタル式のビデオカメラの普及が進
み、ＣＰＵの性能の向上に伴ってパーソナルコンピュー
タ上で映像を表示・編集する環境が整いつつある。テー
プやディスクに記録された一連の映像は、基本的に録画
開始から停止までのシーケンスである「カット」が時系
列に沿って並べられたものになる。この「カット（cu
t)」は、「シーン」や「ショット」などと呼ばれる場合
もあるが、本明細書では「カット」という呼称で統一す
る。
み、ＣＰＵの性能の向上に伴ってパーソナルコンピュー
タ上で映像を表示・編集する環境が整いつつある。テー
プやディスクに記録された一連の映像は、基本的に録画
開始から停止までのシーケンスである「カット」が時系
列に沿って並べられたものになる。この「カット（cu
t)」は、「シーン」や「ショット」などと呼ばれる場合
もあるが、本明細書では「カット」という呼称で統一す
る。
【０００３】このような映像を表示・編集する際には、
映画のようにシーケンシャルに観るべきものを除くと、
カット単位で頭出しなどを行ってから表示・編集できる
ことが好ましい。例えば、子供の運動会の各シーンを撮
影した場合に、参加競技それぞれについて頭出しを行っ
てからそれぞれを再生したいという欲求がある。
映画のようにシーケンシャルに観るべきものを除くと、
カット単位で頭出しなどを行ってから表示・編集できる
ことが好ましい。例えば、子供の運動会の各シーンを撮
影した場合に、参加競技それぞれについて頭出しを行っ
てからそれぞれを再生したいという欲求がある。
【０００４】そこで、映像内のカットを自動検出し、カ
ットごとの代表フレームを決定して表示することによっ
て、ユーザが映像内容中心の形式でカットを再生・編集
することができるような映像表示・編集ソフトが販売さ
れている。また、カメラの録画開始／停止動作の記録を
もとにしてカットを検出し、カットごとに代表フレーム
を決定して表示し、カットごとの再生を可能にしている
ものもある。
ットごとの代表フレームを決定して表示することによっ
て、ユーザが映像内容中心の形式でカットを再生・編集
することができるような映像表示・編集ソフトが販売さ
れている。また、カメラの録画開始／停止動作の記録を
もとにしてカットを検出し、カットごとに代表フレーム
を決定して表示し、カットごとの再生を可能にしている
ものもある。
【０００５】ところが、現存の映像表示・編集システム
におけるカットの代表フレームとしては、カメラの切り
替わり後（即ち録画開始後）の最初のフレームや最後の
フレームやその中間のフレームを利用するものが多い。
しかし、カットの内容を表す代表フレームが時間的にど
の部分にあるかは一般には一意には決まらない。
におけるカットの代表フレームとしては、カメラの切り
替わり後（即ち録画開始後）の最初のフレームや最後の
フレームやその中間のフレームを利用するものが多い。
しかし、カットの内容を表す代表フレームが時間的にど
の部分にあるかは一般には一意には決まらない。
【０００６】そこで、カット内の各フレームの画像・音
声的特徴を用いて代表フレームを検出する手法が提案さ
れている。例えば、特開２０００−３５０１５６号公報
「動画像情報の記憶方法及びこれを記録した記録媒体」
においては、映像に付随する音響データや、画面内の輝
度や総和など、ニュース映像を対象にして代表画像を検
出する方法が開示されているが、ニュース映像でない一
般的な画像の場合には必ずしも有効な手法ではない。
声的特徴を用いて代表フレームを検出する手法が提案さ
れている。例えば、特開２０００−３５０１５６号公報
「動画像情報の記憶方法及びこれを記録した記録媒体」
においては、映像に付随する音響データや、画面内の輝
度や総和など、ニュース映像を対象にして代表画像を検
出する方法が開示されているが、ニュース映像でない一
般的な画像の場合には必ずしも有効な手法ではない。
【０００７】さらに、特許第３１３１５６０号「動画像
処理システムにおける動画像情報検出装置」において
は、各シーン（カット）を判別して静止画シーン、カメ
ラ移動シーン、物体移動シーンに分類し、分類それぞれ
に対して独自の代表画像検出手法を適用して代表フレー
ム画像を検出する装置が開示されているが、代表画像検
出の前にシーンの分類が必要であるなど、多大な演算量
を要するという欠点を持っている。
処理システムにおける動画像情報検出装置」において
は、各シーン（カット）を判別して静止画シーン、カメ
ラ移動シーン、物体移動シーンに分類し、分類それぞれ
に対して独自の代表画像検出手法を適用して代表フレー
ム画像を検出する装置が開示されているが、代表画像検
出の前にシーンの分類が必要であるなど、多大な演算量
を要するという欠点を持っている。
【０００８】
【発明が解決しようとする課題】本発明は、かかる問題
点に鑑みてなされたものであり、少ない演算量でカット
の代表フレームを検出することのできる代表フレーム画
像検出装置及びプログラムを提供することを目的とす
る。
点に鑑みてなされたものであり、少ない演算量でカット
の代表フレームを検出することのできる代表フレーム画
像検出装置及びプログラムを提供することを目的とす
る。
【０００９】
【課題を解決するための手段】かかる目的を達成するた
めに、請求項１記載の発明は、ビデオ映像において、カ
ットについて代表フレーム画像を検出する代表フレーム
画像検出装置であって、カットを構成する全てのフレー
ムを用いてカットの特徴量を計算するカット特徴量計算
手段と、カットを構成する全てのフレームと、カット特
徴量計算手段により計算されたカット特徴量と、を用い
て各フレームとカット特徴量との間のユークリッド距離
を計算し、最も距離の小さいフレームを代表フレーム画
像として出力する代表フレーム画像選択手段と、を有す
ることを特徴としている。
めに、請求項１記載の発明は、ビデオ映像において、カ
ットについて代表フレーム画像を検出する代表フレーム
画像検出装置であって、カットを構成する全てのフレー
ムを用いてカットの特徴量を計算するカット特徴量計算
手段と、カットを構成する全てのフレームと、カット特
徴量計算手段により計算されたカット特徴量と、を用い
て各フレームとカット特徴量との間のユークリッド距離
を計算し、最も距離の小さいフレームを代表フレーム画
像として出力する代表フレーム画像選択手段と、を有す
ることを特徴としている。
【００１０】請求項２記載の発明は、請求項１記載の発
明において、カット特徴量計算手段は、カット特徴量と
して、フレームにおける各画素位置について、カットを
構成するフレーム全体に渡っての画素値の総和あるいは
平均を計算することを特徴としている。
明において、カット特徴量計算手段は、カット特徴量と
して、フレームにおける各画素位置について、カットを
構成するフレーム全体に渡っての画素値の総和あるいは
平均を計算することを特徴としている。
【００１１】請求項３記載の発明は、請求項１記載の発
明において、カット特徴量計算手段は、各フレームをブ
ロックに分割し、ブロックに含まれる全画素の画素値の
平均を求め、ブロックごとの平均値について、カットを
構成するフレーム全体に渡っての総和あるいは平均を計
算してカット特徴量とすることを特徴としている。
明において、カット特徴量計算手段は、各フレームをブ
ロックに分割し、ブロックに含まれる全画素の画素値の
平均を求め、ブロックごとの平均値について、カットを
構成するフレーム全体に渡っての総和あるいは平均を計
算してカット特徴量とすることを特徴としている。
【００１２】請求項４記載の発明は、請求項１記載の発
明において、カット特徴量計算手段は、各フレームから
色空間におけるヒストグラムを計算し、ヒストグラムの
各クラスについて、カットを構成するフレーム全体に渡
っての総和あるいは平均を計算してカット特徴量とする
ことを特徴としている。
明において、カット特徴量計算手段は、各フレームから
色空間におけるヒストグラムを計算し、ヒストグラムの
各クラスについて、カットを構成するフレーム全体に渡
っての総和あるいは平均を計算してカット特徴量とする
ことを特徴としている。
【００１３】請求項５記載の発明は、ビデオ映像におい
て、カットについて代表フレーム画像を検出するプログ
ラムであって、カットを構成する全てのフレームを用い
てカットの特徴量を計算するカット特徴量計算処理と、
カットを構成する全てのフレームと、カット特徴量計算
処理により計算されたカット特徴量とを用いて各フレー
ムとカット特徴量との間のユークリッド距離を計算し、
最も距離の小さいフレームを代表フレーム画像として出
力する代表フレーム画像選択処理と、をコンピュータに
実行させることを特徴としている。
て、カットについて代表フレーム画像を検出するプログ
ラムであって、カットを構成する全てのフレームを用い
てカットの特徴量を計算するカット特徴量計算処理と、
カットを構成する全てのフレームと、カット特徴量計算
処理により計算されたカット特徴量とを用いて各フレー
ムとカット特徴量との間のユークリッド距離を計算し、
最も距離の小さいフレームを代表フレーム画像として出
力する代表フレーム画像選択処理と、をコンピュータに
実行させることを特徴としている。
【００１４】請求項６記載の発明は、請求項５記載の発
明において、カット特徴量計算処理は、カット特徴量と
して、フレームにおける各画素位置について、カットを
構成するフレーム全体に渡っての画素値の総和あるいは
平均を計算する処理を行うことを特徴としている。
明において、カット特徴量計算処理は、カット特徴量と
して、フレームにおける各画素位置について、カットを
構成するフレーム全体に渡っての画素値の総和あるいは
平均を計算する処理を行うことを特徴としている。
【００１５】請求項７記載の発明は、請求項５記載の発
明において、カット特徴量計算処理は、各フレームをブ
ロックに分割し、ブロックに含まれる全画素の画素値の
平均を求め、ブロックごとの平均値について、カットを
構成するフレーム全体に渡っての総和あるいは平均を計
算してカット特徴量とする処理を行うことを特徴として
いる。
明において、カット特徴量計算処理は、各フレームをブ
ロックに分割し、ブロックに含まれる全画素の画素値の
平均を求め、ブロックごとの平均値について、カットを
構成するフレーム全体に渡っての総和あるいは平均を計
算してカット特徴量とする処理を行うことを特徴として
いる。
【００１６】請求項８記載の発明は、請求項５記載の発
明において、カット特徴量計算処理は、各フレームから
色空間におけるヒストグラムを計算し、ヒストグラムの
各クラスについて、カットを構成するフレーム全体に渡
っての総和あるいは平均を計算してカット特徴量とする
処理を行うことを特徴としている。
明において、カット特徴量計算処理は、各フレームから
色空間におけるヒストグラムを計算し、ヒストグラムの
各クラスについて、カットを構成するフレーム全体に渡
っての総和あるいは平均を計算してカット特徴量とする
処理を行うことを特徴としている。
【００１７】
【発明の実施の形態】以下、本発明の実施の形態を添付
図面を参照しながら詳細に説明する。
図面を参照しながら詳細に説明する。
【００１８】図１は、本発明の実施の形態における代表
フレーム画像検出装置の構成を示す図である。本装置
は、カット特徴量計算手段１０１と、代表フレーム画像
選択手段１０２と、を含んで構成される。また、本装置
は、所定のプログラムが所定のハードウェア上で実行さ
れる形でその機能を実現する。本発明を実現するプログ
ラムは、所定の記憶装置に記録された形で維持され、処
理装置により読み込まれて実行される。本プログラム
は、カット特徴量計算処理部と代表フレーム画像選択処
理部の２つのモジュールを含んで構成される（非図
示）。各部は上記各手段の機能と対応したものである。
フレーム画像検出装置の構成を示す図である。本装置
は、カット特徴量計算手段１０１と、代表フレーム画像
選択手段１０２と、を含んで構成される。また、本装置
は、所定のプログラムが所定のハードウェア上で実行さ
れる形でその機能を実現する。本発明を実現するプログ
ラムは、所定の記憶装置に記録された形で維持され、処
理装置により読み込まれて実行される。本プログラム
は、カット特徴量計算処理部と代表フレーム画像選択処
理部の２つのモジュールを含んで構成される（非図
示）。各部は上記各手段の機能と対応したものである。
【００１９】カット特徴量計算手段１０１は、一連の映
像フレームをカット単位などで入力する。カット特徴量
計算手段１０１は、各カットについて、カットを構成す
る全フレーム画像を用いて特徴量を計算して出力する処
理を行う。カットの特徴量として、フレームにおける各
画素位置の、カットに渡っての画素値の平均（算術平
均）あるいは総和を用いる手法、フレームをブロック分
割してブロック内の全画素の画素値の平均を求め、上記
手法と同様にそのブロック平均値についてカットに渡っ
て平均あるいは総和を求めて特徴量とする手法、さらに
は、フレームの色空間におけるヒストグラムを求め、分
布の各クラス（ブロック）について上記手法と同様にカ
ットに渡っての平均あるいは総和を求めて特徴量とする
手法といったものが挙げられる。
像フレームをカット単位などで入力する。カット特徴量
計算手段１０１は、各カットについて、カットを構成す
る全フレーム画像を用いて特徴量を計算して出力する処
理を行う。カットの特徴量として、フレームにおける各
画素位置の、カットに渡っての画素値の平均（算術平
均）あるいは総和を用いる手法、フレームをブロック分
割してブロック内の全画素の画素値の平均を求め、上記
手法と同様にそのブロック平均値についてカットに渡っ
て平均あるいは総和を求めて特徴量とする手法、さらに
は、フレームの色空間におけるヒストグラムを求め、分
布の各クラス（ブロック）について上記手法と同様にカ
ットに渡っての平均あるいは総和を求めて特徴量とする
手法といったものが挙げられる。
【００２０】代表フレーム画像選択手段１０２は、カッ
トを構成する全フレーム画像と、カット特徴量計算手段
において計算されたカット特徴量と、を入力して用い
て、カットについての代表フレーム画像を計算して決定
し、出力する。
トを構成する全フレーム画像と、カット特徴量計算手段
において計算されたカット特徴量と、を入力して用い
て、カットについての代表フレーム画像を計算して決定
し、出力する。
【００２１】まず、カット特徴量として、フレームにお
ける各画素位置のカットに渡っての画素値の平均を用い
る手法について説明する。図２にその様子を示す。カッ
トを構成する各フレームのＩＤをｆ、カットを構成する
フレーム数をｎ、フレームにおける画素位置を（ｘ、
ｙ）、各画素の画素値をＰ（ｆ、ｘ、ｙ）で表すものと
する。カット特徴量計算手段１０１は、各フレームを入
力し、各画素位置について、カットを構成する全フレー
ムに渡っての平均値を計算する。全画素位置について計
算を行うと、各画素位置の画素の平均値からなるフレー
ム（＝ｆｍとする）がカット特徴量として求まる。
ける各画素位置のカットに渡っての画素値の平均を用い
る手法について説明する。図２にその様子を示す。カッ
トを構成する各フレームのＩＤをｆ、カットを構成する
フレーム数をｎ、フレームにおける画素位置を（ｘ、
ｙ）、各画素の画素値をＰ（ｆ、ｘ、ｙ）で表すものと
する。カット特徴量計算手段１０１は、各フレームを入
力し、各画素位置について、カットを構成する全フレー
ムに渡っての平均値を計算する。全画素位置について計
算を行うと、各画素位置の画素の平均値からなるフレー
ム（＝ｆｍとする）がカット特徴量として求まる。
【００２２】次に、代表フレーム画像選択手段１０２
は、カット特徴量計算手段１０１において計算されたカ
ット特徴量（この場合、フレームｆｍ）と、カットを構
成する全フレームを入力し、各フレームｆと平均値フレ
ームｆｍとの間で画素値のユークリッド距離を計算し、
ユークリッド距離の最も小さいフレームｆを代表フレー
ム画像として決定して出力する。例えば、１フレームが
６４０×４８０ピクセルの場合、６４０×４８０次元の
ベクトルのユークリッド距離を求める処理となる。ユー
クリッド距離の計算は、積和計算が多くなるため、各画
素位置における画素値の差の絶対値の和を用いる手法も
挙げられる。図３にその計算式を示す。
は、カット特徴量計算手段１０１において計算されたカ
ット特徴量（この場合、フレームｆｍ）と、カットを構
成する全フレームを入力し、各フレームｆと平均値フレ
ームｆｍとの間で画素値のユークリッド距離を計算し、
ユークリッド距離の最も小さいフレームｆを代表フレー
ム画像として決定して出力する。例えば、１フレームが
６４０×４８０ピクセルの場合、６４０×４８０次元の
ベクトルのユークリッド距離を求める処理となる。ユー
クリッド距離の計算は、積和計算が多くなるため、各画
素位置における画素値の差の絶対値の和を用いる手法も
挙げられる。図３にその計算式を示す。
【００２３】第２の手法として、ブロック平均値を用い
る手法について説明する。図４にその様子を示す。カッ
ト特徴量計算手段１０１は、フレームを所定の大きさの
矩形領域（ブロック）に分割し、ブロック内の全画素の
画素値の平均を求め、このブロック平均値について、第
１の手法と同様にカットを構成する全フレームに渡って
の平均値を計算する。全ブロックについて計算を行う
と、各ブロックについてのカット単位の平均値からなる
テーブルがカット特徴量として求まる。
る手法について説明する。図４にその様子を示す。カッ
ト特徴量計算手段１０１は、フレームを所定の大きさの
矩形領域（ブロック）に分割し、ブロック内の全画素の
画素値の平均を求め、このブロック平均値について、第
１の手法と同様にカットを構成する全フレームに渡って
の平均値を計算する。全ブロックについて計算を行う
と、各ブロックについてのカット単位の平均値からなる
テーブルがカット特徴量として求まる。
【００２４】代表フレーム画像選択手段１０２は、カッ
ト特徴量計算手段１０１において計算されたカット特徴
量（上記テーブル）とカットを構成する全フレームとを
入力し、各フレームｆと平均値テーブルｆｍとの間で、
ブロック単位で、画素値のユークリッド距離を計算し、
ユークリッド距離の最も小さいフレームｆを代表フレー
ム画像として決定して出力する。例えば、図４では、４
×４ブロックに分割されているので、４×４次元のベク
トルのユークリッド距離を求める計算となる。この手法
は、画素ごとの平均値を用いる第１の手法と比較する
と、距離計算のための演算量が少なくなる。
ト特徴量計算手段１０１において計算されたカット特徴
量（上記テーブル）とカットを構成する全フレームとを
入力し、各フレームｆと平均値テーブルｆｍとの間で、
ブロック単位で、画素値のユークリッド距離を計算し、
ユークリッド距離の最も小さいフレームｆを代表フレー
ム画像として決定して出力する。例えば、図４では、４
×４ブロックに分割されているので、４×４次元のベク
トルのユークリッド距離を求める計算となる。この手法
は、画素ごとの平均値を用いる第１の手法と比較する
と、距離計算のための演算量が少なくなる。
【００２５】次に、第３の手法として、カット特徴量と
して色空間における画素値のヒストグラムを用いる手法
について説明する。図５にその様子を示す。カット特徴
量計算手段１０１は、各フレームについて色空間におけ
る画素値のヒストグラムを計算する。フレーム内の各画
素は、ヒストグラム内の所定のクラス（ブロック）にマ
ッピングされる。また、ヒストグラムを値の自乗和が一
定値になるように正規化する処理を必要に応じて行う。
フレームをヒストグラムによって表現される多次元空間
の値であると考え、正規化されたヒストグラムの各クラ
ス、例えば、色空間をＲＧＢ系で表現している場合の３
次元空間内の各クラス（ブロック）について、前述の手
法と同様にカットを構成する全フレーム（ヒストグラ
ム）に渡っての平均を求めてカット特徴量として出力す
る。なお、図５では、便宜的に色空間ヒストグラムを立
方体イメージで示した。
して色空間における画素値のヒストグラムを用いる手法
について説明する。図５にその様子を示す。カット特徴
量計算手段１０１は、各フレームについて色空間におけ
る画素値のヒストグラムを計算する。フレーム内の各画
素は、ヒストグラム内の所定のクラス（ブロック）にマ
ッピングされる。また、ヒストグラムを値の自乗和が一
定値になるように正規化する処理を必要に応じて行う。
フレームをヒストグラムによって表現される多次元空間
の値であると考え、正規化されたヒストグラムの各クラ
ス、例えば、色空間をＲＧＢ系で表現している場合の３
次元空間内の各クラス（ブロック）について、前述の手
法と同様にカットを構成する全フレーム（ヒストグラ
ム）に渡っての平均を求めてカット特徴量として出力す
る。なお、図５では、便宜的に色空間ヒストグラムを立
方体イメージで示した。
【００２６】代表フレーム画像選択手段１０２は、カッ
ト特徴量計算手段１０１において計算されたカット特徴
量（上記ヒストグラムを用いて計算した平均値のセッ
ト）とカットを構成する全フレームとを入力し、各フレ
ーム（色空間ヒストグラム）ｆとヒストグラム平均値の
セットｆｍとの間で、ユークリッド距離を計算し、ユー
クリッド距離の最も小さいフレームｆを代表フレーム画
像として決定して出力する。例えば、図５では、４×４
×４クラスに分割されているので、４×４×４次元のベ
クトルのユークリッド距離を求める計算となる（実際は
もっと次元は大きくなる）。
ト特徴量計算手段１０１において計算されたカット特徴
量（上記ヒストグラムを用いて計算した平均値のセッ
ト）とカットを構成する全フレームとを入力し、各フレ
ーム（色空間ヒストグラム）ｆとヒストグラム平均値の
セットｆｍとの間で、ユークリッド距離を計算し、ユー
クリッド距離の最も小さいフレームｆを代表フレーム画
像として決定して出力する。例えば、図５では、４×４
×４クラスに分割されているので、４×４×４次元のベ
クトルのユークリッド距離を求める計算となる（実際は
もっと次元は大きくなる）。
【００２７】図６は、本発明の実施の形態における代表
フレーム画像検出装置及びプログラムの動作を示すフロ
ーチャートである。まず、本装置は、所定の出力部から
映像フレームをカット単位などで入力する（ステップＳ
１）。カット特徴量計算手段１０１は、カットを入力
し、前述のいずれかの手法に従い、カット特徴量の計算
処理を行う。算出されたカット特徴量は、代表フレーム
画像選択手段１０２に出力するか、あるいはバッファに
一時的に記憶するなどする（ステップＳ２）。
フレーム画像検出装置及びプログラムの動作を示すフロ
ーチャートである。まず、本装置は、所定の出力部から
映像フレームをカット単位などで入力する（ステップＳ
１）。カット特徴量計算手段１０１は、カットを入力
し、前述のいずれかの手法に従い、カット特徴量の計算
処理を行う。算出されたカット特徴量は、代表フレーム
画像選択手段１０２に出力するか、あるいはバッファに
一時的に記憶するなどする（ステップＳ２）。
【００２８】代表フレーム画像選択手段１０２は、カッ
ト特徴量計算手段１０１において計算されたカット特徴
量と、対応するカットとを読み込み、前述のユークリッ
ド距離の計算処理他を行う。ユークリッド距離の最も小
さいフレームを代表フレーム画像として決定し、所定の
入力部へ出力する（ステップＳ３）。検出された代表フ
レーム画像は、例えば表示装置などへ出力される。
ト特徴量計算手段１０１において計算されたカット特徴
量と、対応するカットとを読み込み、前述のユークリッ
ド距離の計算処理他を行う。ユークリッド距離の最も小
さいフレームを代表フレーム画像として決定し、所定の
入力部へ出力する（ステップＳ３）。検出された代表フ
レーム画像は、例えば表示装置などへ出力される。
【００２９】なお、上述した実施形態は、本発明の好適
な実施形態の一例を示すものであり、本発明はそれに限
定されるものではなく、その要旨を逸脱しない範囲内に
おいて、種々変形実施が可能である。
な実施形態の一例を示すものであり、本発明はそれに限
定されるものではなく、その要旨を逸脱しない範囲内に
おいて、種々変形実施が可能である。
【００３０】
【発明の効果】以上の説明から明らかなように、本発明
によれば、一連のビデオ画像において、録画やカメラの
切り替わりなどによって区切られる映像カットから、カ
ットを代表するフレーム画像を少ない演算量で決定して
出力することができる。
によれば、一連のビデオ画像において、録画やカメラの
切り替わりなどによって区切られる映像カットから、カ
ットを代表するフレーム画像を少ない演算量で決定して
出力することができる。
【図１】本発明の実施の形態における代表フレーム画像
検出装置の構成を示す機能ブロック図である。
検出装置の構成を示す機能ブロック図である。
【図２】フレーム内の各画素位置ごとに平均値を求めて
カット特徴量とする手法について示す図である。
カット特徴量とする手法について示す図である。
【図３】ユークリッド距離の計算式について示す図であ
る。
る。
【図４】フレームをブロック分割してブロック単位で平
均値を求めてカット特徴量とする手法について示す図で
ある。
均値を求めてカット特徴量とする手法について示す図で
ある。
【図５】フレームから色空間におけるヒストグラムを求
め、ヒストグラムの各クラス単位で平均値を求めてカッ
ト特徴量とする手法について示す図である。
め、ヒストグラムの各クラス単位で平均値を求めてカッ
ト特徴量とする手法について示す図である。
【図６】本発明の実施の形態における代表フレーム画像
検出装置及びプログラムの動作を示すフローチャートで
ある。
検出装置及びプログラムの動作を示すフローチャートで
ある。
１００ 代表フレーム画像検出装置
１０１ カット特徴量計算手段
１０２ 代表フレーム画像選択手段
Claims (8)
- 【請求項１】 ビデオ映像において、カットについて代
表フレーム画像を検出する代表フレーム画像検出装置で
あって、 前記カットを構成する全てのフレームを用いて前記カッ
トの特徴量を計算するカット特徴量計算手段と、 前記カットを構成する全てのフレームと、前記カット特
徴量計算手段により計算された前記カット特徴量と、を
用いて各フレームとカット特徴量との間のユークリッド
距離を計算し、最も距離の小さいフレームを前記代表フ
レーム画像として出力する代表フレーム画像選択手段
と、を有することを特徴とする代表フレーム画像検出装
置。 - 【請求項２】 前記カット特徴量計算手段は、 前記カット特徴量として、フレームにおける各画素位置
について、前記カットを構成するフレーム全体に渡って
の画素値の総和あるいは平均を計算することを特徴とす
る請求項１記載のフレーム画像検出装置。 - 【請求項３】 前記カット特徴量計算手段は、 各フレームをブロックに分割し、該ブロックに含まれる
全画素の画素値の平均を求め、該ブロックごとの平均値
について、前記カットを構成するフレーム全体に渡って
の総和あるいは平均を計算して前記カット特徴量とする
ことを特徴とする請求項１記載の代表フレーム画像検出
装置。 - 【請求項４】 前記カット特徴量計算手段は、 各フレームから色空間におけるヒストグラムを計算し、
該ヒストグラムの各クラスについて、前記カットを構成
するフレーム全体に渡っての総和あるいは平均を計算し
て前記カット特徴量とすることを特徴とする請求項１記
載の代表フレーム画像検出装置。 - 【請求項５】 ビデオ映像において、カットについて代
表フレーム画像を検出するプログラムであって、 前記カットを構成する全てのフレームを用いて前記カッ
トの特徴量を計算するカット特徴量計算処理と、 前記カットを構成する全てのフレームと、前記カット特
徴量計算処理により計算された前記カット特徴量と、を
用いて各フレームと前記カット特徴量との間のユークリ
ッド距離を計算し、最も距離の小さいフレームを前記代
表フレーム画像として出力する代表フレーム画像選択処
理と、をコンピュータに実行させることを特徴とするプ
ログラム。 - 【請求項６】 前記カット特徴量計算処理は、 前記カット特徴量として、フレームにおける各画素位置
について、前記カットを構成するフレーム全体に渡って
の画素値の総和あるいは平均を計算する処理を行うこと
を特徴とする請求項５記載のプログラム。 - 【請求項７】 前記カット特徴量計算処理は、 各フレームをブロックに分割し、該ブロックに含まれる
全画素の画素値の平均を求め、該ブロックごとの平均値
について、前記カットを構成するフレーム全体に渡って
の総和あるいは平均を計算して前記カット特徴量とする
処理を行うことを特徴とする請求項５記載のプログラ
ム。 - 【請求項８】 前記カット特徴量計算処理は、 各フレームから色空間におけるヒストグラムを計算し、
該ヒストグラムの各クラスについて、前記カットを構成
するフレーム全体に渡っての総和あるいは平均を計算し
て前記カット特徴量とする処理を行うことを特徴とする
請求項５記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001326406A JP2003134450A (ja) | 2001-10-24 | 2001-10-24 | 代表フレーム画像検出装置及びそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001326406A JP2003134450A (ja) | 2001-10-24 | 2001-10-24 | 代表フレーム画像検出装置及びそのプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003134450A true JP2003134450A (ja) | 2003-05-09 |
Family
ID=19142794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001326406A Pending JP2003134450A (ja) | 2001-10-24 | 2001-10-24 | 代表フレーム画像検出装置及びそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003134450A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020536332A (ja) * | 2017-12-27 | 2020-12-10 | 北京市商▲湯▼科技▲開▼▲発▼有限公司Ｂｅｉｊｉｎｇ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏ．， Ｌｔｄ． | キーフレームスケジューリング方法及び装置、電子機器、プログラム並びに媒体 |
-
2001
- 2001-10-24 JP JP2001326406A patent/JP2003134450A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020536332A (ja) * | 2017-12-27 | 2020-12-10 | 北京市商▲湯▼科技▲開▼▲発▼有限公司Ｂｅｉｊｉｎｇ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏ．， Ｌｔｄ． | キーフレームスケジューリング方法及び装置、電子機器、プログラム並びに媒体 |
| US11164004B2 (en) | 2017-12-27 | 2021-11-02 | Beijing Sensetime Technology Development Co., Ltd. | Keyframe scheduling method and apparatus, electronic device, program and medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10367997B2 (en) | Enriched digital photographs | |
| TWI253860B (en) | Method for generating a slide show of an image | |
| JP4241709B2 (ja) | 画像処理装置 | |
| CN102611865B (zh) | 处理运动图像数据的运动图像处理装置及运动图像处理方法 | |
| US7856145B2 (en) | Image processing system and method therefor, image processing apparatus and method, image capturing apparatus and method, program recording medium, and program | |
| EP1667418A2 (en) | Digital camera having video file creating function | |
| JPH09130732A (ja) | シーンチェンジ検出方法および動画像編集装置 | |
| US20060192784A1 (en) | Image reproduction apparatus and program, and photo movie producing apparatus and program | |
| US7450778B2 (en) | Artifact reduction in a digital video | |
| JP2010079446A (ja) | 電子機器、ぼけ画像選別方法及びプログラム | |
| JPH08163488A (ja) | 動画像ダイジェスト生成方法及び動画像ダイジェスト生成装置 | |
| JP2006314090A (ja) | コンピュータ実施される、ビデオを変換して表示する方法 | |
| JP2008061032A (ja) | 画像再生装置及び画像再生方法、並びにコンピュータ・プログラム | |
| JP2000350156A (ja) | 動画像情報の記憶方法及びこれを記録した記録媒体 | |
| JP2005107885A (ja) | 画像分類装置及び画像分類プログラム | |
| US20110064319A1 (en) | Electronic apparatus, image display method, and content reproduction program | |
| JP2008035149A (ja) | 映像記録再生システムおよび映像記録再生方法 | |
| JPH0738842A (ja) | 動画編集装置 | |
| JP2011155477A (ja) | 映像処理装置、映像処理方法及びプログラム | |
| JP2005033276A (ja) | 画像再生システム及び画像再生プログラム、並びに画像再生方法 | |
| CN101841654B (zh) | 图像处理装置以及图像处理方法 | |
| JP2006074483A (ja) | 撮像装置 | |
| JP2008199330A (ja) | 動画像管理装置 | |
| JP2008166895A (ja) | 映像表示装置及びその制御方法、プログラム、記録媒体 | |
| JP2003134450A (ja) | 代表フレーム画像検出装置及びそのプログラム |