JP2000299829A - 画像処理装置及び方法 - Google Patents
画像処理装置及び方法Info
- Publication number
- JP2000299829A JP2000299829A JP11105767A JP10576799A JP2000299829A JP 2000299829 A JP2000299829 A JP 2000299829A JP 11105767 A JP11105767 A JP 11105767A JP 10576799 A JP10576799 A JP 10576799A JP 2000299829 A JP2000299829 A JP 2000299829A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- key frame
- image
- image processing
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】動画像データの内容確認を容易かつ適確に行え
るようにする。 【解決手段】動画蓄積部２０５は動画データを格納す
る。シーン指定部２０２は、動画像データ中の少なくと
も１つのシーンを指定するとともに、指定された各シー
ン内におけるキーフレームと、指定されたシーンの重要
度を設定する。また、フレーム特徴抽出部２０３は、指
定された各キーフレームの画像特徴量を取得する。シー
ン特徴情報蓄積部２０４は、シーン指定部２０２で指定
された各シーンについて、その区間、キーフレーム、重
要度、キーフレームの画像特徴量を含むシーン特徴情報
を生成し、これを動画像に関連づけてメモリに格納す
る。このシーン特徴情報に基づいて、指定された動画像
データの主要部分のみを再生するダイジェスト再生を実
行したり、キーフレームの類似画像検索により所望の動
画データを検索する。
るようにする。 【解決手段】動画蓄積部２０５は動画データを格納す
る。シーン指定部２０２は、動画像データ中の少なくと
も１つのシーンを指定するとともに、指定された各シー
ン内におけるキーフレームと、指定されたシーンの重要
度を設定する。また、フレーム特徴抽出部２０３は、指
定された各キーフレームの画像特徴量を取得する。シー
ン特徴情報蓄積部２０４は、シーン指定部２０２で指定
された各シーンについて、その区間、キーフレーム、重
要度、キーフレームの画像特徴量を含むシーン特徴情報
を生成し、これを動画像に関連づけてメモリに格納す
る。このシーン特徴情報に基づいて、指定された動画像
データの主要部分のみを再生するダイジェスト再生を実
行したり、キーフレームの類似画像検索により所望の動
画データを検索する。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像データの検
索操作を容易に行うのに適した形態にて動画像データを
格納するための画像処理装置及び方法に関する。
索操作を容易に行うのに適した形態にて動画像データを
格納するための画像処理装置及び方法に関する。
【０００２】
【従来技術】近年、ＭＰＥＧ等の動画像データ圧縮技術
の進歩と、記録メディアの大容量化により、インターネ
ット等を用いて動画像データを配信することが実現され
ている。また、個人ユーザレベルにおいても、大量のデ
ジタル画像データを格納しておくことが一般に行える状
況となっている。
の進歩と、記録メディアの大容量化により、インターネ
ット等を用いて動画像データを配信することが実現され
ている。また、個人ユーザレベルにおいても、大量のデ
ジタル画像データを格納しておくことが一般に行える状
況となっている。
【０００３】このような大量の動画像データの中から自
分の見たい動画像を選択するには、操作者が一つ一つの
動画像データについて倍速再生を行なったり、早送りと
再生を繰り返したりすることにより、その内容を確認す
る必要があった。
分の見たい動画像を選択するには、操作者が一つ一つの
動画像データについて倍速再生を行なったり、早送りと
再生を繰り返したりすることにより、その内容を確認す
る必要があった。
【０００４】
【発明が解決しようとする課題】しかしながら、従来の
ような方法では、ユーザは面倒な操作を強いられ、所望
の動画にたどり着くまでに大変な労力と時間を費やさな
ければならない。
ような方法では、ユーザは面倒な操作を強いられ、所望
の動画にたどり着くまでに大変な労力と時間を費やさな
ければならない。
【０００５】本発明は上記の問題に鑑みてなされたもの
であり、動画像データの内容確認を容易かつ適確に行え
る画像処理装置及び方法を提供することを目的とする。
であり、動画像データの内容確認を容易かつ適確に行え
る画像処理装置及び方法を提供することを目的とする。
【０００６】また、本発明の他の目的は、上記目的を達
成するのに好適なデータ構造を提供することにある。
成するのに好適なデータ構造を提供することにある。
【０００７】また、本発明の他の目的は、所望の動画像
データを得るための検索を容易に行えるようにすること
にある。
データを得るための検索を容易に行えるようにすること
にある。
【０００８】
【課題を解決するための手段】上記の目的を達成するた
めの本発明の画像処理装置は例えば以下の構成を備え
る。すなわち、動画像データ中の少なくとも１つの所望
のシーンと、各所望のシーン内におけるキーフレームと
すべきフレームとを特定する特定手段と、前記特定手段
で特定された所望のシーンの各々の重要度を設定する設
定手段と、前記特定手段で特定されたシーンとキーフレ
ームを示す情報、及び前記設定手段で設定された重要度
をシーン情報として当該動画像データに関連させて格納
する格納手段とを備える。
めの本発明の画像処理装置は例えば以下の構成を備え
る。すなわち、動画像データ中の少なくとも１つの所望
のシーンと、各所望のシーン内におけるキーフレームと
すべきフレームとを特定する特定手段と、前記特定手段
で特定された所望のシーンの各々の重要度を設定する設
定手段と、前記特定手段で特定されたシーンとキーフレ
ームを示す情報、及び前記設定手段で設定された重要度
をシーン情報として当該動画像データに関連させて格納
する格納手段とを備える。
【０００９】また、好ましくは、前記キーフレームの特
徴量情報を取得する取得手段を更に備え、前記格納手段
において格納されるシーン情報は前記取得手段で取得さ
れたキーフレームの画像の特徴量情報を含み、前記キー
フレームの一つが指定された場合に、該指定されたキー
フレームと他のキーフレームの画像の類似度を、各キー
フレームの画像特徴量に基づいて算出する算出手段と、
前記算出手段で算出された類似度に基づいてキーフレー
ムを提示する提示手段と、前記提示手段で提示されたキ
ーフレームの中から選択されたキーフレームを含む画像
を取得し、再生する再生手段とを備える。
徴量情報を取得する取得手段を更に備え、前記格納手段
において格納されるシーン情報は前記取得手段で取得さ
れたキーフレームの画像の特徴量情報を含み、前記キー
フレームの一つが指定された場合に、該指定されたキー
フレームと他のキーフレームの画像の類似度を、各キー
フレームの画像特徴量に基づいて算出する算出手段と、
前記算出手段で算出された類似度に基づいてキーフレー
ムを提示する提示手段と、前記提示手段で提示されたキ
ーフレームの中から選択されたキーフレームを含む画像
を取得し、再生する再生手段とを備える。
【００１０】また、好ましくは、前記シーン情報は、各
キーフレームの画像の画像特徴量を含み、前記格納手段
に格納されたシーン情報に基づいて、動画再生が可能な
抽出動画データを生成する生成手段と、前記キーフレー
ムの一つが指定された場合に、該選択されたキーフレー
ムと他のキーフレームの画像の類似度を各キーフレーム
の画像特徴量に基づいて算出する算出手段と、前記算出
手段で算出された類似度に基づいてキーフレームを提示
する提示手段と、前記提示手段で提示されたキーフレー
ムの中から選択されたキーフレームを含む画像に関し
て、前記生成手段で生成された抽出画像データを再生す
る再生手段とを備える。
キーフレームの画像の画像特徴量を含み、前記格納手段
に格納されたシーン情報に基づいて、動画再生が可能な
抽出動画データを生成する生成手段と、前記キーフレー
ムの一つが指定された場合に、該選択されたキーフレー
ムと他のキーフレームの画像の類似度を各キーフレーム
の画像特徴量に基づいて算出する算出手段と、前記算出
手段で算出された類似度に基づいてキーフレームを提示
する提示手段と、前記提示手段で提示されたキーフレー
ムの中から選択されたキーフレームを含む画像に関し
て、前記生成手段で生成された抽出画像データを再生す
る再生手段とを備える。
【００１１】
【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な実施形態を説明する。
明の好適な実施形態を説明する。
【００１２】＜第１の実施形態＞図１は本実施形態の画
像処理装置の制御構成を示すブロック図である。図１に
おいて、１０１はＣＰＵであり、本実施形態の画像処理
装置における各種制御を実行する。１０２はＲＯＭであ
り、本装置の立ち上げ時に実行されるブートプログラム
や各種データを格納する。１０３はＲＡＭであり、ＣＰ
Ｕ１０１が処理するための制御プログラムを格納すると
ともに、ＣＰＵ１０１が各種制御を実行する際の作業領
域を提供する。１０４はキーボード、１０５はマウスで
あり、ユーザによる各種入力操作環境を提供する。
像処理装置の制御構成を示すブロック図である。図１に
おいて、１０１はＣＰＵであり、本実施形態の画像処理
装置における各種制御を実行する。１０２はＲＯＭであ
り、本装置の立ち上げ時に実行されるブートプログラム
や各種データを格納する。１０３はＲＡＭであり、ＣＰ
Ｕ１０１が処理するための制御プログラムを格納すると
ともに、ＣＰＵ１０１が各種制御を実行する際の作業領
域を提供する。１０４はキーボード、１０５はマウスで
あり、ユーザによる各種入力操作環境を提供する。
【００１３】１０６は外部記憶装置であり、ハードディ
スクやフロッピーディスク、ＣＤ−ＲＯＭ等で構成され
る。１０７は表示器であり、ＣＲＴディスプレイや液晶
ディスプレイなどで構成され、ＣＰＵ１０１の制御の下
で各種表示を行う。１０８はネットワークインターフェ
ースであり、ネットワーク上の各機器との通信を可能と
する。１０９はビデオインターフェースであり、ビデオ
カメラ１１０や、ＶＴＲ１１２からの動画データの取り
込みを可能とする。また、１１１は、上記の各構成を接
続するバスである。
スクやフロッピーディスク、ＣＤ−ＲＯＭ等で構成され
る。１０７は表示器であり、ＣＲＴディスプレイや液晶
ディスプレイなどで構成され、ＣＰＵ１０１の制御の下
で各種表示を行う。１０８はネットワークインターフェ
ースであり、ネットワーク上の各機器との通信を可能と
する。１０９はビデオインターフェースであり、ビデオ
カメラ１１０や、ＶＴＲ１１２からの動画データの取り
込みを可能とする。また、１１１は、上記の各構成を接
続するバスである。
【００１４】なお、上記の構成においてビデオカメラ１
１０、ＶＴＲ１１２や外部記憶装置１０６はネットワー
ク上に配置されたもので代用してもよい。
１０、ＶＴＲ１１２や外部記憶装置１０６はネットワー
ク上に配置されたもので代用してもよい。
【００１５】図２は本実施形態の画像処理装置の機能構
成を示すブロック図である。図２において、２０１は動
画入力部であり、ビデオカメラ１１０、ＶＴＲ１１２等
からビデオインターフェース１０９を介して画像を取り
込む、或いは、ネットワーク上からネットワークインタ
ーフェース１０８を介して動画を取り込む。２０５は動
画蓄積部であり、動画入力部２０１で取り込まれた動画
の全フレームを蓄積するものである。２００は動画再生
部であり、指定されたフレーム番号に基づいて動画蓄積
部２０５から動画フレームを順次呼び出すことで動画を
再生する。
成を示すブロック図である。図２において、２０１は動
画入力部であり、ビデオカメラ１１０、ＶＴＲ１１２等
からビデオインターフェース１０９を介して画像を取り
込む、或いは、ネットワーク上からネットワークインタ
ーフェース１０８を介して動画を取り込む。２０５は動
画蓄積部であり、動画入力部２０１で取り込まれた動画
の全フレームを蓄積するものである。２００は動画再生
部であり、指定されたフレーム番号に基づいて動画蓄積
部２０５から動画フレームを順次呼び出すことで動画を
再生する。
【００１６】２０７は表示部であり、動画再生部２００
によって再生される動画や、サムネイル作成部２１０に
よって作成されるサムネイル画像を、ユーザに対して表
示器１０７を介して表示する。ユーザ操作部２０６は、
ユーザがキーポード１０４、マウス１０５を用いて、動
画再生の指示、ランダム表示指示、類似検索指示、ダイ
ジェスト再生指示、等を行うものである。
によって再生される動画や、サムネイル作成部２１０に
よって作成されるサムネイル画像を、ユーザに対して表
示器１０７を介して表示する。ユーザ操作部２０６は、
ユーザがキーポード１０４、マウス１０５を用いて、動
画再生の指示、ランダム表示指示、類似検索指示、ダイ
ジェスト再生指示、等を行うものである。
【００１７】２０２はシーン指定部であり、重要なシー
ンの開始フレーム、終了フレーム、及び、キーフレーム
の指定を行う。２０３はフレーム特徴抽出部であり、シ
ーン指定部２０２で指定されたキーフレームからカラー
レイアウトを抽出する。なお、本実施形態においては、
カラーレイアウトは特開平１０−２６０９８３に開示さ
れているように、フレーム画像を分割してえられる複数
のブロックの特徴量をラベル化し、これを所定のルール
で並べたラベル列が用いられる。２０４はシーン特徴情
報蓄積部であり、シーン指定部２０２で指定されたデー
タとフレーム特徴抽出部２０３で抽出されたカラーレイ
アウトをひとつのデータ構造にまとめて蓄積する。
ンの開始フレーム、終了フレーム、及び、キーフレーム
の指定を行う。２０３はフレーム特徴抽出部であり、シ
ーン指定部２０２で指定されたキーフレームからカラー
レイアウトを抽出する。なお、本実施形態においては、
カラーレイアウトは特開平１０−２６０９８３に開示さ
れているように、フレーム画像を分割してえられる複数
のブロックの特徴量をラベル化し、これを所定のルール
で並べたラベル列が用いられる。２０４はシーン特徴情
報蓄積部であり、シーン指定部２０２で指定されたデー
タとフレーム特徴抽出部２０３で抽出されたカラーレイ
アウトをひとつのデータ構造にまとめて蓄積する。
【００１８】２０８はダイジェスト用シーン決定部であ
り、シーン特徴情報蓄積部２０４を参照してダイジェス
ト用シーンを決定するものである。２０９はダイジェス
トシーン情報蓄積部であり、ダイジェスト用シーン決定
部２０８によって決定されたダイジェスト用シーンの情
報を格納する。２１２はダイジェスト再生部であり、ダ
イジェストシーン情報蓄積部２０９を参照し、動画再生
部２００を介して、ダイジェストの再生を行う。
り、シーン特徴情報蓄積部２０４を参照してダイジェス
ト用シーンを決定するものである。２０９はダイジェス
トシーン情報蓄積部であり、ダイジェスト用シーン決定
部２０８によって決定されたダイジェスト用シーンの情
報を格納する。２１２はダイジェスト再生部であり、ダ
イジェストシーン情報蓄積部２０９を参照し、動画再生
部２００を介して、ダイジェストの再生を行う。
【００１９】２１０はサムネイル作成部であり、シーン
指定部２０２により指定されたキーフレーム画像を縮小
してサムネイル画像を作成する。２１１はパターンマッ
チング部であり、キーフレームのカラーレイアウトのラ
ベル列同士のマッチングを行うものである。
指定部２０２により指定されたキーフレーム画像を縮小
してサムネイル画像を作成する。２１１はパターンマッ
チング部であり、キーフレームのカラーレイアウトのラ
ベル列同士のマッチングを行うものである。
【００２０】図３は本実施形態の画像処理装置に格納さ
れるシーン特徴データのデータ構造を示す図である。シ
ーン特徴情報蓄積部２０４は、図３の（ａ）に示される
ごときシーン特徴データを、当該シーン特徴データが抽
出された動画像データに対応づけて格納する。シーン特
徴データにおいて、開始フレーム番号は、当該シーンの
始まりのフレームのフレーム番号である。キーフレーム
番号は、当該シーンの中で最も代表的なフレームのフレ
ーム番号である。終了フレーム番号は、当該シーンの終
了のフレームのフレーム番号である。また、シーンの重
要度は、動画中でどのくらいそのシーンが重要であるか
を示すものである。本実施形態では、動画全体に対する
シーンの重要度を例えば１００を最大値とした整数など
で指定する。キーフレームのカラーレイアウトは、特開
平１０−２６０９８３に示したラベル列及びその属性情
報である。
れるシーン特徴データのデータ構造を示す図である。シ
ーン特徴情報蓄積部２０４は、図３の（ａ）に示される
ごときシーン特徴データを、当該シーン特徴データが抽
出された動画像データに対応づけて格納する。シーン特
徴データにおいて、開始フレーム番号は、当該シーンの
始まりのフレームのフレーム番号である。キーフレーム
番号は、当該シーンの中で最も代表的なフレームのフレ
ーム番号である。終了フレーム番号は、当該シーンの終
了のフレームのフレーム番号である。また、シーンの重
要度は、動画中でどのくらいそのシーンが重要であるか
を示すものである。本実施形態では、動画全体に対する
シーンの重要度を例えば１００を最大値とした整数など
で指定する。キーフレームのカラーレイアウトは、特開
平１０−２６０９８３に示したラベル列及びその属性情
報である。
【００２１】図３の（ｂ）はキーフレームのカラーレイ
アウトのデータ構造を示す図である。また、図４は本実
施形態による画像のブロック分割例を示す図である。以
下、図３及び図４を参照して、本実施形態における「キ
ーフレームのカラーレイアウト」について更に詳細な説
明を加える。
アウトのデータ構造を示す図である。また、図４は本実
施形態による画像のブロック分割例を示す図である。以
下、図３及び図４を参照して、本実施形態における「キ
ーフレームのカラーレイアウト」について更に詳細な説
明を加える。
【００２２】図３の（ｂ）において、「分割数」は画像
の分割数である。本実施形態では、画像の分割を縦横同
じ分割数でかつ２のべき乗の数とし、そのべきの数で分
割数を表現する。例えば、図４に示すように、縦横の分
割数がそれぞれ８であれば、８＝２3であるから、３で
表されることになる。
の分割数である。本実施形態では、画像の分割を縦横同
じ分割数でかつ２のべき乗の数とし、そのべきの数で分
割数を表現する。例えば、図４に示すように、縦横の分
割数がそれぞれ８であれば、８＝２3であるから、３で
表されることになる。
【００２３】また、「色特徴の抽出方法」は、画像を分
割して得られた各ブロックにおける特徴量の抽出方法を
示す。例えば、平均色（画素全体の色の平均）、最頻色
（画素全体の中で最も頻度の高い色）を用いることなど
が上げられる。
割して得られた各ブロックにおける特徴量の抽出方法を
示す。例えば、平均色（画素全体の色の平均）、最頻色
（画素全体の中で最も頻度の高い色）を用いることなど
が上げられる。
【００２４】「カラーデータフォーマット」は、色デー
タの形式を示すものである。図３の（ｃ）に、カラーデ
ータフォーマットのデータ構造を示す。「色空間」は色
を表現するための空間であり、例えばＲＧＢ空間や、Ｌ
*ｕ*ｖ*空間などである。「色の深さ」は、１画素あた
り何ｂｉｔで表現するかであり、３２bit/pixel，２４b
it/pixel，１６bit/pixelなどである。「カラーマッ
プ」は色番号と実際の色を対応付けるマップである。た
だし、「カラーマップ」は、必ずしも必要ではない。
タの形式を示すものである。図３の（ｃ）に、カラーデ
ータフォーマットのデータ構造を示す。「色空間」は色
を表現するための空間であり、例えばＲＧＢ空間や、Ｌ
*ｕ*ｖ*空間などである。「色の深さ」は、１画素あた
り何ｂｉｔで表現するかであり、３２bit/pixel，２４b
it/pixel，１６bit/pixelなどである。「カラーマッ
プ」は色番号と実際の色を対応付けるマップである。た
だし、「カラーマップ」は、必ずしも必要ではない。
【００２５】「ラベル列」は、各ブロックについて取得
された特徴量に応じて付与されたラベルの列である。こ
の数はもちろん、ブロックの分割数によって決まる。以
下、ラベル列の生成について説明する。
された特徴量に応じて付与されたラベルの列である。こ
の数はもちろん、ブロックの分割数によって決まる。以
下、ラベル列の生成について説明する。
【００２６】図５は本実施形態による多次元特徴量空間
を説明する図である。図５に示すように、多次元特徴量
空間（ＲＧＢカラー空間）を複数の色セルに分割し、夫
々の色セルに対して通し番号でユニークなラベルを付与
する。ここで、多次元特徴用空間（ＲＧＢカラー空間）
を複数の色セルに分けたのは微妙な特徴量（色）の違い
を吸収するためである。なお、多次元特徴量空間に関し
ては、画像特徴量をそのまま用いるものではなく各パラ
メータを平均と分散を実験によって求め規格化（正規
化）した後、例えば、主成分分析等の直交変換を行い、
意味のある次元にしたものを用いることが考えられる。
なお、「意味のある次元」とは、主成分分析において、
寄与率が大きな主成分軸で構成される次元である。
を説明する図である。図５に示すように、多次元特徴量
空間（ＲＧＢカラー空間）を複数の色セルに分割し、夫
々の色セルに対して通し番号でユニークなラベルを付与
する。ここで、多次元特徴用空間（ＲＧＢカラー空間）
を複数の色セルに分けたのは微妙な特徴量（色）の違い
を吸収するためである。なお、多次元特徴量空間に関し
ては、画像特徴量をそのまま用いるものではなく各パラ
メータを平均と分散を実験によって求め規格化（正規
化）した後、例えば、主成分分析等の直交変換を行い、
意味のある次元にしたものを用いることが考えられる。
なお、「意味のある次元」とは、主成分分析において、
寄与率が大きな主成分軸で構成される次元である。
【００２７】次に、キーフレーム画像を分割して得られ
た各ブロックに対して、「色特徴の抽出方法」によって
定められた画像特徴量計算処理を行い、上記多次元特徴
量空間上のどのセルに属するかを求め、対応するラベル
を求める。この処理を全てのブロックに対して行う。す
なわち、各ブロックにおいて全ての画素がどの色セルに
属するかの計算処理を行い、もっとも頻度の多い色セル
のラベルをその分割画像ブロックのラベルとして決定
し、この処理を全てのブロックに対して行う。
た各ブロックに対して、「色特徴の抽出方法」によって
定められた画像特徴量計算処理を行い、上記多次元特徴
量空間上のどのセルに属するかを求め、対応するラベル
を求める。この処理を全てのブロックに対して行う。す
なわち、各ブロックにおいて全ての画素がどの色セルに
属するかの計算処理を行い、もっとも頻度の多い色セル
のラベルをその分割画像ブロックのラベルとして決定
し、この処理を全てのブロックに対して行う。
【００２８】以上のようにして各ブロックに対してパラ
メータラベルが付与されると、各ブロックに付与された
パラメータラベルを所定のブロック順序で並べることに
より、ラベル列が生成される。例えば、図４に示される
ように、左から右への走査を上から下へ行うことにより
パラメータラベルを並べ、ラベル列を作る。
メータラベルが付与されると、各ブロックに付与された
パラメータラベルを所定のブロック順序で並べることに
より、ラベル列が生成される。例えば、図４に示される
ように、左から右への走査を上から下へ行うことにより
パラメータラベルを並べ、ラベル列を作る。
【００２９】以上のような構成を備えた本実施形態の画
像処理装置の動作例を以下に説明する。
像処理装置の動作例を以下に説明する。
【００３０】［シーン特徴抽出処理］まず、動画から重
要なシーンに関する情報を抽出しシーン特徴データ（図
３）として記憶する処理を説明する。
要なシーンに関する情報を抽出しシーン特徴データ（図
３）として記憶する処理を説明する。
【００３１】図６は本実施形態による登録処理の手順を
表すフローチャートである。まず、ステップＳ１１にお
いて、シーン指定部２０２は、動画中の重要なシーンの
開始フレーム、終了フレーム、当該シーンのキーとなる
キーフレームを決定するとともに、当該シーンの重要度
を決定する。この処理は、人手によってマニュアルで行
っても、何らかの演算処理を用いて自動的に行っても構
わない。以下では、マニュアルによって決定を行う例を
示す。
表すフローチャートである。まず、ステップＳ１１にお
いて、シーン指定部２０２は、動画中の重要なシーンの
開始フレーム、終了フレーム、当該シーンのキーとなる
キーフレームを決定するとともに、当該シーンの重要度
を決定する。この処理は、人手によってマニュアルで行
っても、何らかの演算処理を用いて自動的に行っても構
わない。以下では、マニュアルによって決定を行う例を
示す。
【００３２】まず、動画再生部２００は、動画入力部２
０１によって入力され動画蓄積部２０５に記憶された動
画を読み出す。ユーザによるユーザ操作部２０６を介し
た指示によって再生、早送り、巻き戻し等を行う。そし
て、ユーザは、表示部２０７に再生される画像を観察
し、重要なシーンを指定する。例えば、画像を再生させ
ながら、重要シーンの開始場面（フレーム）と終了場面
（フレーム）を指示するとともに、当該重要シーンの中
で最もよくそのシーンを表わしている場面（フレーム）
をキーフレームとして指示する。
０１によって入力され動画蓄積部２０５に記憶された動
画を読み出す。ユーザによるユーザ操作部２０６を介し
た指示によって再生、早送り、巻き戻し等を行う。そし
て、ユーザは、表示部２０７に再生される画像を観察
し、重要なシーンを指定する。例えば、画像を再生させ
ながら、重要シーンの開始場面（フレーム）と終了場面
（フレーム）を指示するとともに、当該重要シーンの中
で最もよくそのシーンを表わしている場面（フレーム）
をキーフレームとして指示する。
【００３３】シーン指定部２０２では、ユーザ操作部２
０６を介して指示された開始フレームと、終了フレーム
と、キーフレームのそれぞれのフレーム番号を得る。さ
らに、当該動画全体に対する当該シーンの重要度を、例
えば１００を最大値とした整数を用いて指定する。こう
して得られたそれぞれの値は、シーン指定部２０２によ
って図３のシーン特徴データの形式にまとめられる。
０６を介して指示された開始フレームと、終了フレーム
と、キーフレームのそれぞれのフレーム番号を得る。さ
らに、当該動画全体に対する当該シーンの重要度を、例
えば１００を最大値とした整数を用いて指定する。こう
して得られたそれぞれの値は、シーン指定部２０２によ
って図３のシーン特徴データの形式にまとめられる。
【００３４】次に、こうして得られたシーン特徴データ
は、ステップＳ１２において、対象としている動画のＩ
Ｄと当該動画から抽出されたシーンの先頭から割り振ら
れたシーンＩＤと共にシーン特徴情報としてシーン特徴
情報蓄積部２０４に格納される。図７は、シーン特徴情
報の一例を示す図である。
は、ステップＳ１２において、対象としている動画のＩ
Ｄと当該動画から抽出されたシーンの先頭から割り振ら
れたシーンＩＤと共にシーン特徴情報としてシーン特徴
情報蓄積部２０４に格納される。図７は、シーン特徴情
報の一例を示す図である。
【００３５】次にステップＳ１３において、フレーム特
徴抽出部２０３は、シーン特徴情報蓄積部２０４を参照
して、動画蓄積部２０５よりキーフレームを順次取り出
し、色に関する特徴抽出を行って「キーフレームのカラ
ーレイアウト」を決定し、シーン特徴情報蓄積部２０４
に格納していく。カラーレイアウトを決定する処理似つ
いては上述したとおりであり、更に詳細な説明は、特開
平１０−２６０９８３に述べられている。この処理はシ
ーン特徴情報に含まれる全てのキーフレーム番号につい
て行われる。
徴抽出部２０３は、シーン特徴情報蓄積部２０４を参照
して、動画蓄積部２０５よりキーフレームを順次取り出
し、色に関する特徴抽出を行って「キーフレームのカラ
ーレイアウト」を決定し、シーン特徴情報蓄積部２０４
に格納していく。カラーレイアウトを決定する処理似つ
いては上述したとおりであり、更に詳細な説明は、特開
平１０−２６０９８３に述べられている。この処理はシ
ーン特徴情報に含まれる全てのキーフレーム番号につい
て行われる。
【００３６】以上のようにして、ユーザによって指定さ
れた全てのシーンについて、シーン特徴データ（図３）
が抽出され、シーン特徴情報としてシーン特徴情報蓄積
部２０４に格納される。以上がシーン特徴抽出の処理で
あり、この処理を対象となる全ての動画に対して行う。
れた全てのシーンについて、シーン特徴データ（図３）
が抽出され、シーン特徴情報としてシーン特徴情報蓄積
部２０４に格納される。以上がシーン特徴抽出の処理で
あり、この処理を対象となる全ての動画に対して行う。
【００３７】［ダイジェスト動画作成処理］次に、シー
ン特徴情報からそれぞれの動画についてのダイジェスト
動画を自動作成する処理を説明する。図８及び図９は本
実施形態による（一つの動画に対する）ダイジェスト動
画作成処理の手順を表すフローチャートである。
ン特徴情報からそれぞれの動画についてのダイジェスト
動画を自動作成する処理を説明する。図８及び図９は本
実施形態による（一つの動画に対する）ダイジェスト動
画作成処理の手順を表すフローチャートである。
【００３８】まず、ステップＳ２１において、ダイジェ
スト用シーン決定部２０８は、シーン特徴情報蓄積部２
０４を参照し、同一の動画ＩＤをもつ全てのシーン特徴
データの開始フレーム番号と終了フレーム番号から、そ
の合計時間を算出する。この合計時間と、ユーザによっ
て指定されたダイジェスト動画再生のための指定時間か
ら動画の先頭及び終了シーンの時間を差し引いた時間
（以下、これをＴＳと表わす）とを比較する。ここで指
定時間から先頭及び終了シーンの時間を除くのは、ダイ
ジェスト動画には動画像の先頭と終了のシーンが必ず含
まれるという観点に基づいている。また、先頭及び終了
シーンの時間は、人間の視覚特性に基づき目にちらつか
ない程度の最適な長さのものとする。よってこの時間長
に関しては特に限定しないが、数秒オーダーのものであ
る。なお、先頭と終了のシーンを必ずしも含めないよう
に構成することももちろん可能である。
スト用シーン決定部２０８は、シーン特徴情報蓄積部２
０４を参照し、同一の動画ＩＤをもつ全てのシーン特徴
データの開始フレーム番号と終了フレーム番号から、そ
の合計時間を算出する。この合計時間と、ユーザによっ
て指定されたダイジェスト動画再生のための指定時間か
ら動画の先頭及び終了シーンの時間を差し引いた時間
（以下、これをＴＳと表わす）とを比較する。ここで指
定時間から先頭及び終了シーンの時間を除くのは、ダイ
ジェスト動画には動画像の先頭と終了のシーンが必ず含
まれるという観点に基づいている。また、先頭及び終了
シーンの時間は、人間の視覚特性に基づき目にちらつか
ない程度の最適な長さのものとする。よってこの時間長
に関しては特に限定しないが、数秒オーダーのものであ
る。なお、先頭と終了のシーンを必ずしも含めないよう
に構成することももちろん可能である。
【００３９】さて、ステップＳ２１において、シーンの
合計時間の方が長い場合は、シーンの合計時間を指定時
間に合わせるべくステップＳ２２以降の処理を実行す
る。
合計時間の方が長い場合は、シーンの合計時間を指定時
間に合わせるべくステップＳ２２以降の処理を実行す
る。
【００４０】まず、ステップＳ２２では、全てのシーン
特徴データの重要度からその最大値を取得する。次に、
ステップＳ２３において、重要度の下限の閾値と最大値
の中間値を、重要度の閾値とする。ここで、重要度の下
限の閾値とは、人間が重要なシーンであると判定する際
の最低限の重要度である。すなわち、重要なシーンと判
定されたシーンの開始フレームと終了フレームが、この
重要度を持っているものと仮定される。なお、この重要
度の下限の閾値は経験的に決まるものであり、特に限定
されるものではない。次に、ステップＳ２４において、
後続のステップＳ２５からＳ３２までの一連の処理のた
めに、初期値としてＳａに重要度の最大値を、Ｓｂに重
要度の下限の閾値を設定する。
特徴データの重要度からその最大値を取得する。次に、
ステップＳ２３において、重要度の下限の閾値と最大値
の中間値を、重要度の閾値とする。ここで、重要度の下
限の閾値とは、人間が重要なシーンであると判定する際
の最低限の重要度である。すなわち、重要なシーンと判
定されたシーンの開始フレームと終了フレームが、この
重要度を持っているものと仮定される。なお、この重要
度の下限の閾値は経験的に決まるものであり、特に限定
されるものではない。次に、ステップＳ２４において、
後続のステップＳ２５からＳ３２までの一連の処理のた
めに、初期値としてＳａに重要度の最大値を、Ｓｂに重
要度の下限の閾値を設定する。
【００４１】次に、ステップＳ２５において、閾値以上
の重要度を持つダイジェスト用シーンを決定する。この
処理について、図１０を用いてより詳細に説明する。図
１０には、動画とその重要なシーンを概念的に表したも
のと、これに対応させて、横軸に時間、縦軸にフレーム
の重要度をとったグラフが示されている。先述したよう
にそれぞれの重要なシーンの開始フレーム、終了フレー
ムの重要度は閾値の下限値と仮定される。また、キーフ
レームはそのシーンを最もよく表しているものであるか
ら、シーンの重要度がキーフレームの重要度に相当する
ものとする。なお、重要なシーン以外のフレームの重要
度は不定であるとする（点線で図示された部分）。
の重要度を持つダイジェスト用シーンを決定する。この
処理について、図１０を用いてより詳細に説明する。図
１０には、動画とその重要なシーンを概念的に表したも
のと、これに対応させて、横軸に時間、縦軸にフレーム
の重要度をとったグラフが示されている。先述したよう
にそれぞれの重要なシーンの開始フレーム、終了フレー
ムの重要度は閾値の下限値と仮定される。また、キーフ
レームはそのシーンを最もよく表しているものであるか
ら、シーンの重要度がキーフレームの重要度に相当する
ものとする。なお、重要なシーン以外のフレームの重要
度は不定であるとする（点線で図示された部分）。
【００４２】以上から、開始フレームの重要度からキー
フレームの重要度までの間と、キーフレームの重要度か
ら終了フレームの重要度までの間に仮想的な直線を引く
ことができる（図１０において実線で示された部分）。
これらの仮想的な重要度の直線と閾値の交点を求め、そ
の交点の間に存在するフレームが、閾値以上の重要度を
もったフレームとして抽出され、これら抽出されたフレ
ームによってダイジェスト用シーンが決定される。すな
わち、図１０では（ａ）から（ｂ）までのフレームと
（ｃ）から（ｄ）までのフレームがこれに相当し、これ
らのフレームがダイジェスト用シーンとなる。
フレームの重要度までの間と、キーフレームの重要度か
ら終了フレームの重要度までの間に仮想的な直線を引く
ことができる（図１０において実線で示された部分）。
これらの仮想的な重要度の直線と閾値の交点を求め、そ
の交点の間に存在するフレームが、閾値以上の重要度を
もったフレームとして抽出され、これら抽出されたフレ
ームによってダイジェスト用シーンが決定される。すな
わち、図１０では（ａ）から（ｂ）までのフレームと
（ｃ）から（ｄ）までのフレームがこれに相当し、これ
らのフレームがダイジェスト用シーンとなる。
【００４３】次にステップＳ２６において、ステップＳ
２５で決定されたダイジェスト用シーンの合計時間から
ＴＳを減算し、これをＴＲとする。次に、ステップＳ２
７において、ＴＲが０以上であり、かつ誤差の時間以内
かどうかを判定する。ここで誤差の時間とは、閾値をど
の位置に動かしても、ＴＲが０とならない（即ち、ダイ
ジェスト用のシーンの合計時間がＴＳに一致しない）場
合を想定して設けられた時間であり、経験的に求まるも
のである。ここで、ＴＲが所定の時間以上であれば、次
にステップＳ２８に進む。
２５で決定されたダイジェスト用シーンの合計時間から
ＴＳを減算し、これをＴＲとする。次に、ステップＳ２
７において、ＴＲが０以上であり、かつ誤差の時間以内
かどうかを判定する。ここで誤差の時間とは、閾値をど
の位置に動かしても、ＴＲが０とならない（即ち、ダイ
ジェスト用のシーンの合計時間がＴＳに一致しない）場
合を想定して設けられた時間であり、経験的に求まるも
のである。ここで、ＴＲが所定の時間以上であれば、次
にステップＳ２８に進む。
【００４４】ステップＳ２８では、ＴＲが正であるかを
判定する。ここで正であると判定された場合は、ダイジ
ェスト用シーンの合計時間が長すぎることを意味するの
で、ステップＳ２９へ進み、現在の閾値をＳｂに設定す
る。そして、ステップＳ３０において、閾値をＳａと現
在の閾値の中間値に更新する。そして、ステップＳ２５
へ戻る。すなわち、重要度の下限の閾値を現在設定され
ている閾値に設定し、この新たに設定された下限の閾値
とＳａに格納されている最大値との中間値を新たに閾値
に設定して、上述のステップＳ２５以降の処理を繰り返
す。
判定する。ここで正であると判定された場合は、ダイジ
ェスト用シーンの合計時間が長すぎることを意味するの
で、ステップＳ２９へ進み、現在の閾値をＳｂに設定す
る。そして、ステップＳ３０において、閾値をＳａと現
在の閾値の中間値に更新する。そして、ステップＳ２５
へ戻る。すなわち、重要度の下限の閾値を現在設定され
ている閾値に設定し、この新たに設定された下限の閾値
とＳａに格納されている最大値との中間値を新たに閾値
に設定して、上述のステップＳ２５以降の処理を繰り返
す。
【００４５】一方、ステップＳ２７において負であると
判定された場合は、ダイジェスト用シーンの合計時間が
短すぎることを意味し、処理はステップＳ３１へ進む。
ステップＳ３１においては、現在の閾値をＳａに設定す
る。そして、ステップＳ３２において、閾値をＳｂと現
在の閾値の中間値に更新する。そして、ステップＳ２５
へと戻る。すなわち、重要度の最大値を現在設定されて
いる閾値に設定し、この新たに設定された最大値とＳｂ
に格納されている下限値との間の中間値を新たな閾値に
設定として、上述のステップＳ２５以降の処理を繰り返
す。
判定された場合は、ダイジェスト用シーンの合計時間が
短すぎることを意味し、処理はステップＳ３１へ進む。
ステップＳ３１においては、現在の閾値をＳａに設定す
る。そして、ステップＳ３２において、閾値をＳｂと現
在の閾値の中間値に更新する。そして、ステップＳ２５
へと戻る。すなわち、重要度の最大値を現在設定されて
いる閾値に設定し、この新たに設定された最大値とＳｂ
に格納されている下限値との間の中間値を新たな閾値に
設定として、上述のステップＳ２５以降の処理を繰り返
す。
【００４６】以上のようにステップＳ２５からステップ
Ｓ３２を繰り返すことで、ダイジェスト用シーンは、Ｔ
Ｓに最も近くなり、最終的にステップＳ２７で、ＴＲは
０以上で所定の時間より短いと判定され、ステップＳ３
４へと進むことになる。
Ｓ３２を繰り返すことで、ダイジェスト用シーンは、Ｔ
Ｓに最も近くなり、最終的にステップＳ２７で、ＴＲは
０以上で所定の時間より短いと判定され、ステップＳ３
４へと進むことになる。
【００４７】一方、ステップＳ２１で、シーンの合計時
間の方が短いと判定された場合は、このままでは、ダイ
ジェスト動画の時間がユーザの指定した時間に満たない
ので、ステップＳ３３へ進み、例外処理を行う。ステッ
プＳ３３では、シーン特徴情報に登録されている当該動
画像の全ての重要なシーンについて、そのキーフレーム
を中心として、それぞれ暫時、シーンを長くしていき、
これら重要シーンの再生時間をＴＳに近づける。すなわ
ち、キーフレームの左側と右側交互にフレームを追加し
ていき、シーンを長くする。そして、ステップＳ３４へ
進む。
間の方が短いと判定された場合は、このままでは、ダイ
ジェスト動画の時間がユーザの指定した時間に満たない
ので、ステップＳ３３へ進み、例外処理を行う。ステッ
プＳ３３では、シーン特徴情報に登録されている当該動
画像の全ての重要なシーンについて、そのキーフレーム
を中心として、それぞれ暫時、シーンを長くしていき、
これら重要シーンの再生時間をＴＳに近づける。すなわ
ち、キーフレームの左側と右側交互にフレームを追加し
ていき、シーンを長くする。そして、ステップＳ３４へ
進む。
【００４８】ステップＳ３４において、ダイジェスト用
シーンとして抽出、決定されたシーンは時系列にソート
され、図１１に例示するようなダイジェストシーン情報
として、ダイジェストシーン情報蓄積部２０９へ蓄積さ
れる。次に、ステップＳ３５において、当該動画像の先
頭シーンをダイジェストシーン情報の先頭に、終了シー
ンをダイジェストシーン情報の最後に格納する。もしこ
のとき、前後のシーンと重要シーンのフレームが重なる
ときは、マージを行う。
シーンとして抽出、決定されたシーンは時系列にソート
され、図１１に例示するようなダイジェストシーン情報
として、ダイジェストシーン情報蓄積部２０９へ蓄積さ
れる。次に、ステップＳ３５において、当該動画像の先
頭シーンをダイジェストシーン情報の先頭に、終了シー
ンをダイジェストシーン情報の最後に格納する。もしこ
のとき、前後のシーンと重要シーンのフレームが重なる
ときは、マージを行う。
【００４９】次に、ステップＳ３６において、ダイジェ
ストシーン情報の各シーンを順に調べて、短すぎるシー
ンが存在しないかどうかチェックを行う。ここで短すぎ
るシーンとは、人間が目でその内容を判定不可能と思わ
れる時間であり、人間の視覚特性に基づき決定されるも
のである。本例では、先頭及び終了シーンの時間として
定めたものより短いものとする。ここで短すぎるシーン
が存在した場合は、ステップＳ３７において、その短す
ぎるシーンをダイジェストシーン情報より取り除く。次
に、ステップＳ３８において、ステップＳ３７で取り除
いたシーンの前後にあるシーンのうち、その重要度の高
い方のシーンについて、キーフレームを中心にシーンを
暫時長くしていき（ステップＳ３３と同様）、取り除い
た分を埋める。次に、ステップＳ３９において、ダイジ
ェストシーン情報中の全てのシーンについてチェックを
行ったかどうかを判定し、全てについてチェックが行わ
れるまでステップＳ３６からステップＳ３８を繰り返
す。
ストシーン情報の各シーンを順に調べて、短すぎるシー
ンが存在しないかどうかチェックを行う。ここで短すぎ
るシーンとは、人間が目でその内容を判定不可能と思わ
れる時間であり、人間の視覚特性に基づき決定されるも
のである。本例では、先頭及び終了シーンの時間として
定めたものより短いものとする。ここで短すぎるシーン
が存在した場合は、ステップＳ３７において、その短す
ぎるシーンをダイジェストシーン情報より取り除く。次
に、ステップＳ３８において、ステップＳ３７で取り除
いたシーンの前後にあるシーンのうち、その重要度の高
い方のシーンについて、キーフレームを中心にシーンを
暫時長くしていき（ステップＳ３３と同様）、取り除い
た分を埋める。次に、ステップＳ３９において、ダイジ
ェストシーン情報中の全てのシーンについてチェックを
行ったかどうかを判定し、全てについてチェックが行わ
れるまでステップＳ３６からステップＳ３８を繰り返
す。
【００５０】以上の処理によって得られたダイジェスト
シーン情報から、それぞれのシーンを順に再生させるこ
とにより、動画データに対するダイジェスト動画を得る
ことができる。以上が、ダイジェスト動画作成処理であ
り、この処理を対象となる全ての動画に対して行う。
シーン情報から、それぞれのシーンを順に再生させるこ
とにより、動画データに対するダイジェスト動画を得る
ことができる。以上が、ダイジェスト動画作成処理であ
り、この処理を対象となる全ての動画に対して行う。
【００５１】［動画検索処理］次に、ユーザが所望の動
画を検索する際の処理について述べる。図１２は本実施
形態による動画検索の際のユーザの典型的な操作におけ
る状態遷移図である。また、図１３は、本実施形態によ
る動画検索の処理を説明するフローチャートである。
画を検索する際の処理について述べる。図１２は本実施
形態による動画検索の際のユーザの典型的な操作におけ
る状態遷移図である。また、図１３は、本実施形態によ
る動画検索の処理を説明するフローチャートである。
【００５２】まず、ユーザのユーザ操作部２０６を介し
てランダム表示が指示されると、処理はステップＳ５１
からステップＳ５２へ進み、状態：キーフレームランダ
ム表示１００となる。このとき、サムネイル作成部２１
０は、シーン特徴情報蓄積部２０４によって格納された
シーン特徴情報を参照して所定数のシーンＩＤに含まれ
るキーフレームの番号を取り出し（ステップＳ５２）、
これを基に動画蓄積部２０５よりキーフレーム画像を取
り出す（ステップＳ５３）。そして、キーフレーム画像
を縮小してこれをサムネイルとして、ランダムに表示部
２０７を介して表示する（ステップＳ５４）。なお、ス
テップＳ５２における所定数とは、一画面で表示するサ
ムネイル画像の数に対応する。こなお、れらサムネイル
画像は、動画ＩＤ、シーンＩＤ、キーフレーム番号と関
連づけて特に図示しないメモリ上に保持してもよいし、
蓄積媒体上に記憶しておいてもよい。このようにサムネ
イルを保持しておけば、ステップＳ５４でその都度サム
ネイルを生成する必要がなくなる。もちろん、検索処理
の初期化として、全てのキーフレームのサムネール画像
を作成してこれをメモリ又は蓄積媒体上に動画ＩＤなど
と関連づけて保持しておき、ランダム表示の指示がある
ごとに、所定数のサムネイル画像をメモり又は蓄積媒体
より取り出して表示するようにしてもい。
てランダム表示が指示されると、処理はステップＳ５１
からステップＳ５２へ進み、状態：キーフレームランダ
ム表示１００となる。このとき、サムネイル作成部２１
０は、シーン特徴情報蓄積部２０４によって格納された
シーン特徴情報を参照して所定数のシーンＩＤに含まれ
るキーフレームの番号を取り出し（ステップＳ５２）、
これを基に動画蓄積部２０５よりキーフレーム画像を取
り出す（ステップＳ５３）。そして、キーフレーム画像
を縮小してこれをサムネイルとして、ランダムに表示部
２０７を介して表示する（ステップＳ５４）。なお、ス
テップＳ５２における所定数とは、一画面で表示するサ
ムネイル画像の数に対応する。こなお、れらサムネイル
画像は、動画ＩＤ、シーンＩＤ、キーフレーム番号と関
連づけて特に図示しないメモリ上に保持してもよいし、
蓄積媒体上に記憶しておいてもよい。このようにサムネ
イルを保持しておけば、ステップＳ５４でその都度サム
ネイルを生成する必要がなくなる。もちろん、検索処理
の初期化として、全てのキーフレームのサムネール画像
を作成してこれをメモリ又は蓄積媒体上に動画ＩＤなど
と関連づけて保持しておき、ランダム表示の指示がある
ごとに、所定数のサムネイル画像をメモり又は蓄積媒体
より取り出して表示するようにしてもい。
【００５３】ユーザはキーフレームのサムネイル画像の
中から、所望の動画中に含まれるシーンに似ているもの
が見つかるまで、このランダム表示の指示を繰り返す
（ステップＳ５５）。そして、似ているキーフレーム
（所望のキーフレーム）が見つかったら、ユーザ操作部
２０６を介して所望のキーフレームを指定することによ
り類似フレームの表示を指示する（ステップＳ５６）。
この指示により処理はステップＳ５７以降へ進み、画像
処理装置は、状態：類似フレーム表示１０１となる。こ
のとき、パターンマッチング部２１１は、指定されたキ
ーフレームを比較元として、シーン特徴情報蓄積部２０
４に含まれるキーフレームのカラーレイアウトに含まれ
るラベル列同士でマッチングを行い、各動画像中のキー
フレームとの類似度を算出する（ステップＳ５７）。
中から、所望の動画中に含まれるシーンに似ているもの
が見つかるまで、このランダム表示の指示を繰り返す
（ステップＳ５５）。そして、似ているキーフレーム
（所望のキーフレーム）が見つかったら、ユーザ操作部
２０６を介して所望のキーフレームを指定することによ
り類似フレームの表示を指示する（ステップＳ５６）。
この指示により処理はステップＳ５７以降へ進み、画像
処理装置は、状態：類似フレーム表示１０１となる。こ
のとき、パターンマッチング部２１１は、指定されたキ
ーフレームを比較元として、シーン特徴情報蓄積部２０
４に含まれるキーフレームのカラーレイアウトに含まれ
るラベル列同士でマッチングを行い、各動画像中のキー
フレームとの類似度を算出する（ステップＳ５７）。
【００５４】この類似度の算出には、例えば特開平１０
−２６０９８３号に記載されたラベル列間のマッチング
処理を適用することが可能である。簡単に説明すると次
のとおりである。まず、図１４に示すようなペナルティ
マトリクスを用意する。このペナルティマトリクスで
は、図５で示した特徴量空間の各色セルにおいて、隣接
する色セル間には小さいペナルティ（距離）を与え、遠
い色セル間には大きいペナルティ（距離）を与えるよう
にラベル間のペナルティが設定されている。そして、比
較元のキーフレームのラベル列と他のキーフレームのラ
ベル列との距離を、このペナルティマトリクスを参照し
て算出し、類似度を得る。特に、曖昧なパターンマッチ
ングを行えるように、音声認識等において用いられるＤ
Ｐマッチング手法や、特開平８−２４１３３５号に開示
されているようなファジー非決定性有限オートマトンを
適用することも可能である。
−２６０９８３号に記載されたラベル列間のマッチング
処理を適用することが可能である。簡単に説明すると次
のとおりである。まず、図１４に示すようなペナルティ
マトリクスを用意する。このペナルティマトリクスで
は、図５で示した特徴量空間の各色セルにおいて、隣接
する色セル間には小さいペナルティ（距離）を与え、遠
い色セル間には大きいペナルティ（距離）を与えるよう
にラベル間のペナルティが設定されている。そして、比
較元のキーフレームのラベル列と他のキーフレームのラ
ベル列との距離を、このペナルティマトリクスを参照し
て算出し、類似度を得る。特に、曖昧なパターンマッチ
ングを行えるように、音声認識等において用いられるＤ
Ｐマッチング手法や、特開平８−２４１３３５号に開示
されているようなファジー非決定性有限オートマトンを
適用することも可能である。
【００５５】また、このとき比較元と比較先においてキ
ーフレームのイメージの「分割数」などの属性情報が異
なるときは、それぞれの属牲情報を元にラベル列のデー
タ変換を行うことが可能である。例えば、比較元の分割
数が３（２3×２3＝６４個のブロックとなる）であり、
比較先の分割数が２（２2×２2＝１６個のブロックとな
る）であり、色特徴の抽出方法が共に「平均色」である
場合は、比較元のラベル列を、４つ一組としてそれぞれ
一旦対応する色セルの重心にあたる中間色に直し、この
４つの中間色の平均を求め、この平均色に対応するラベ
ルを新たなラベルとしていくことにより、比較先と同じ
１６個のラベルを含むラベル列に変換できる。
ーフレームのイメージの「分割数」などの属性情報が異
なるときは、それぞれの属牲情報を元にラベル列のデー
タ変換を行うことが可能である。例えば、比較元の分割
数が３（２3×２3＝６４個のブロックとなる）であり、
比較先の分割数が２（２2×２2＝１６個のブロックとな
る）であり、色特徴の抽出方法が共に「平均色」である
場合は、比較元のラベル列を、４つ一組としてそれぞれ
一旦対応する色セルの重心にあたる中間色に直し、この
４つの中間色の平均を求め、この平均色に対応するラベ
ルを新たなラベルとしていくことにより、比較先と同じ
１６個のラベルを含むラベル列に変換できる。
【００５６】以上のようにして各キーフレームとの類似
度が求まると、類似度の高い順番に表示部２０７を介し
て対応するサムネイル画像を検索給果として表示する
（ステップＳ５８、Ｓ５９）。
度が求まると、類似度の高い順番に表示部２０７を介し
て対応するサムネイル画像を検索給果として表示する
（ステップＳ５８、Ｓ５９）。
【００５７】ユーザは所望するシーンと思われるキーフ
レームが得られるまで、これらランダム表示、及び、類
似フレーム表示を繰り返す（ステップＳ６０）。次に、
ユーザがキーフレーム類似検索結果の中から所望の動画
中のシーンと思われるキーフレームのサムネイル画像を
ユーザ操作部２０６を介して指定し、再生の指示を出す
と画像処理装置は、状態：動画再生１０２となる（ステ
ップＳ６１）。このとき、動画再生部２００は、指示さ
れたキーフレームに関連付けられた動画ＩＤとキーフレ
ーム番号を参照し、動画蓄積部２０５から対応する動画
のキーフレーム番号から順次フレーム画像を取り出して
表示部２０７を介して表示する（ステップＳ６３）。
レームが得られるまで、これらランダム表示、及び、類
似フレーム表示を繰り返す（ステップＳ６０）。次に、
ユーザがキーフレーム類似検索結果の中から所望の動画
中のシーンと思われるキーフレームのサムネイル画像を
ユーザ操作部２０６を介して指定し、再生の指示を出す
と画像処理装置は、状態：動画再生１０２となる（ステ
ップＳ６１）。このとき、動画再生部２００は、指示さ
れたキーフレームに関連付けられた動画ＩＤとキーフレ
ーム番号を参照し、動画蓄積部２０５から対応する動画
のキーフレーム番号から順次フレーム画像を取り出して
表示部２０７を介して表示する（ステップＳ６３）。
【００５８】なお、再生させたシーンがユーザの所望す
る動画に含まれるシーンでなければ、ランダム表示を再
度指示することにより（ステップＳ６０）、ランダム表
示を再度実行させたり、他のサムネイル画像を比較元に
指定しなおして類似シーン表示を行わせることができ
る。
る動画に含まれるシーンでなければ、ランダム表示を再
度指示することにより（ステップＳ６０）、ランダム表
示を再度実行させたり、他のサムネイル画像を比較元に
指定しなおして類似シーン表示を行わせることができ
る。
【００５９】そして、所望の動画に含まれるシーンであ
ると思われれば、動画全体を確認するためにユーザはユ
ーザ操作部２０６を介してダイジェスト再生の指示を出
す。ダイジェスト再生が指示されると（ステップＳ６
２）、画像処理装置は、状態：ダイジェスト再生１０３
となる（ステップＳ６４）。このときダイジェスト再生
部２１２は、ダイジェスト蓄積部２０９のダイジェスト
シーン情報を参照して、指定されたキーフレームの動画
ＩＤにおける全てのダイジェスト用シーンの開始フレー
ム番号から終了フレーム番号を、動画再生部２００に通
知する。動画再生部２００は、通知された開始フレーム
番号から終了フレーム番号までのフレームを動画蓄積部
から順次取り出して、表示部２０７を介して表示する。
このようにして動画のダイジェストが表示され、ユーザ
は所望の動画であったかどうかの判定が行える。
ると思われれば、動画全体を確認するためにユーザはユ
ーザ操作部２０６を介してダイジェスト再生の指示を出
す。ダイジェスト再生が指示されると（ステップＳ６
２）、画像処理装置は、状態：ダイジェスト再生１０３
となる（ステップＳ６４）。このときダイジェスト再生
部２１２は、ダイジェスト蓄積部２０９のダイジェスト
シーン情報を参照して、指定されたキーフレームの動画
ＩＤにおける全てのダイジェスト用シーンの開始フレー
ム番号から終了フレーム番号を、動画再生部２００に通
知する。動画再生部２００は、通知された開始フレーム
番号から終了フレーム番号までのフレームを動画蓄積部
から順次取り出して、表示部２０７を介して表示する。
このようにして動画のダイジェストが表示され、ユーザ
は所望の動画であったかどうかの判定が行える。
【００６０】そして、もし所望の動画でなければ、ラン
ダム表示や、他のサムネイル画像を比較元として類似シ
ーン表示を行う（ステップＳ６０）。以上のことを繰り
返すことによって、ユーザは所望の動画を得ることが可
能となる。
ダム表示や、他のサムネイル画像を比較元として類似シ
ーン表示を行う（ステップＳ６０）。以上のことを繰り
返すことによって、ユーザは所望の動画を得ることが可
能となる。
【００６１】もちろん、上記の処理の流れは一例であ
り、それぞれの操作を自由に組み合わせることで、所望
の動画に辿り着く事も可能である。例えば、状態：類似
フレーム表示１０１から、ダイジェスト再生指示を与え
て、状態：ダイジェスト再生１０３に移り、動画全体の
チェックを行っても構わない。或いは、状態：キーフレ
ームランダム表示１００において所望のキーフレームを
選択して動画再生やダイジェスト再生を行わせるように
構成することもできる。
り、それぞれの操作を自由に組み合わせることで、所望
の動画に辿り着く事も可能である。例えば、状態：類似
フレーム表示１０１から、ダイジェスト再生指示を与え
て、状態：ダイジェスト再生１０３に移り、動画全体の
チェックを行っても構わない。或いは、状態：キーフレ
ームランダム表示１００において所望のキーフレームを
選択して動画再生やダイジェスト再生を行わせるように
構成することもできる。
【００６２】以上説明したように、上記第１の実施形態
によれば、シーン特徴というデータ構造で動画の重要な
シーンに関する情報が記述できるため、キーフレームの
ランダム表示、キーフレーム類似検索、及び、ダイジェ
スト自動作成とダイジェスト再生が可能となり、ユーザ
はこれらを好みの組み合わせで操作することによって、
瞬時に所望の動画にたどり着くことが可能となる。ま
た、シーン特徴というデータ構造に従えば、他の画像処
理装置で利用されている動画像も同様に扱うことが可能
となる。
によれば、シーン特徴というデータ構造で動画の重要な
シーンに関する情報が記述できるため、キーフレームの
ランダム表示、キーフレーム類似検索、及び、ダイジェ
スト自動作成とダイジェスト再生が可能となり、ユーザ
はこれらを好みの組み合わせで操作することによって、
瞬時に所望の動画にたどり着くことが可能となる。ま
た、シーン特徴というデータ構造に従えば、他の画像処
理装置で利用されている動画像も同様に扱うことが可能
となる。
【００６３】＜第２の実施形態＞上記第１の実施形態に
おいては、ダイジェスト動画作成処理において、指定の
時間に納まるように閾値を変化させて、ダイジェスト用
シーンを決定している。しかしながら、指定時間に応じ
たダイジェスト用シーンの決定方法はこれに限られるも
のではない。例えば、この処理の他の実施形態として図
１５に示した処理手順を用いることも可能である。
おいては、ダイジェスト動画作成処理において、指定の
時間に納まるように閾値を変化させて、ダイジェスト用
シーンを決定している。しかしながら、指定時間に応じ
たダイジェスト用シーンの決定方法はこれに限られるも
のではない。例えば、この処理の他の実施形態として図
１５に示した処理手順を用いることも可能である。
【００６４】図１５は、第２の実施形態によるダイジェ
スト用シーンの決定処理手順を説明するフローチャート
である。まず、ステップＳ７１において、ダイジェスト
用シーン決定部２０８は、シーン特徴情報蓄積部２０４
を参照し、同一の動画ＩＤをもつ全てのシーン特徴の開
始フレーム番号と終了フレーム番号を得て、これに基づ
いて当該動画の重要シーンとして指定されたシーンの合
計時間を算出する。そして、この合計時間と、ユーザに
よって指定されたダイジェスト動画の再生時間（指定時
間）から開始シーンと終了シーンとを差し引いた時間Ｔ
Ｓとを比較する。ここでシーンの合計時間の方がＴＳよ
りも長いときは、このままではダイジェスト再生時間が
指定時間を越えてしまうので、ステップＳ７２へ進み、
再生時間の調整を行う。
スト用シーンの決定処理手順を説明するフローチャート
である。まず、ステップＳ７１において、ダイジェスト
用シーン決定部２０８は、シーン特徴情報蓄積部２０４
を参照し、同一の動画ＩＤをもつ全てのシーン特徴の開
始フレーム番号と終了フレーム番号を得て、これに基づ
いて当該動画の重要シーンとして指定されたシーンの合
計時間を算出する。そして、この合計時間と、ユーザに
よって指定されたダイジェスト動画の再生時間（指定時
間）から開始シーンと終了シーンとを差し引いた時間Ｔ
Ｓとを比較する。ここでシーンの合計時間の方がＴＳよ
りも長いときは、このままではダイジェスト再生時間が
指定時間を越えてしまうので、ステップＳ７２へ進み、
再生時間の調整を行う。
【００６５】まず、ステップＳ７２において、シーン特
徴情報の同一の動画ＩＤを持つシーン特徴データについ
て、シーンの重要度でソートを行う。次にステップＳ７
３において、この重要度の高い順番に、所定の時間の長
さでシーンを取り出し、これをダイジェスト用シーンと
する。このとき、所定の時間とは人間の目にちらつかな
い程度の長さであり、人間の視覚特性によって決定され
る。また、各シーンから所定の時間分を取り出すとき
は、キーフレームを中心にして所定時間分のフレームを
取り出す。
徴情報の同一の動画ＩＤを持つシーン特徴データについ
て、シーンの重要度でソートを行う。次にステップＳ７
３において、この重要度の高い順番に、所定の時間の長
さでシーンを取り出し、これをダイジェスト用シーンと
する。このとき、所定の時間とは人間の目にちらつかな
い程度の長さであり、人間の視覚特性によって決定され
る。また、各シーンから所定の時間分を取り出すとき
は、キーフレームを中心にして所定時間分のフレームを
取り出す。
【００６６】次にステップＳ７４において、ステップＳ
７３の処理を最も重要度の低いシーンまで行ったか、即
ち、ソートされた重要シーンの全てについて行ったかを
判定する。ここで、全てのシーン特徴情報についてステ
ップＳ７３の処理が行われたということは、取得したシ
ーンによるダイジェスト再生時間が指定時間以下である
ことを意味するので、ステップＳ７８へ進み各シーンの
再生時間を長くする方向で調整を行う。
７３の処理を最も重要度の低いシーンまで行ったか、即
ち、ソートされた重要シーンの全てについて行ったかを
判定する。ここで、全てのシーン特徴情報についてステ
ップＳ７３の処理が行われたということは、取得したシ
ーンによるダイジェスト再生時間が指定時間以下である
ことを意味するので、ステップＳ７８へ進み各シーンの
再生時間を長くする方向で調整を行う。
【００６７】一方、ステップＳ７４において、ステップ
Ｓ７３の処理が全ての重要シーンについて行われていな
いと判断されると、処理はステップＳ７５へ進む。ステ
ップＳ７５では、ダイジェスト用シーンの合計時間がＴ
Ｓ以上となったかどうかを判定し、ＴＳ以上となるまで
ステップＳ７３（及びＳ７４）を繰り返す。そして、シ
ーンの合計時間がＴＳ以上となった時点でステップＳ７
６へ処理を移す。この結果、ダイジェスト用シーンに重
要度の高いシーンが優先的に含まれることになる。
Ｓ７３の処理が全ての重要シーンについて行われていな
いと判断されると、処理はステップＳ７５へ進む。ステ
ップＳ７５では、ダイジェスト用シーンの合計時間がＴ
Ｓ以上となったかどうかを判定し、ＴＳ以上となるまで
ステップＳ７３（及びＳ７４）を繰り返す。そして、シ
ーンの合計時間がＴＳ以上となった時点でステップＳ７
６へ処理を移す。この結果、ダイジェスト用シーンに重
要度の高いシーンが優先的に含まれることになる。
【００６８】ここでステップＳ７１においてシーンの合
計時間の方が短いと判定された場合、及び、ステップＳ
７４において最も重要度の低いシーンまで取得されたと
判定された場合の処理であるステップＳ７８について説
明する。ステップＳ７８へ処理が移行してきた場合、こ
のままでは、ダイジェスト動画の再生時間がユーザの指
定した時間に満たない。従って、ステップＳ７８では、
この時点でダイジェスト用シーンを構成する全てのシー
ンについて、そのキーフレームを中心としてそれぞれ暫
時シーンを長くしていき、シーンの合計時間をＴＳに近
づけていく。
計時間の方が短いと判定された場合、及び、ステップＳ
７４において最も重要度の低いシーンまで取得されたと
判定された場合の処理であるステップＳ７８について説
明する。ステップＳ７８へ処理が移行してきた場合、こ
のままでは、ダイジェスト動画の再生時間がユーザの指
定した時間に満たない。従って、ステップＳ７８では、
この時点でダイジェスト用シーンを構成する全てのシー
ンについて、そのキーフレームを中心としてそれぞれ暫
時シーンを長くしていき、シーンの合計時間をＴＳに近
づけていく。
【００６９】ステップＳ７６においては、ダイジェスト
用シーンとして抽出されたシーンを時系列にソートし、
図１１に例を示したダイジェストシーン情報として、ダ
イジェストシーン情報蓄積部２０９へ蓄積する。次に、
ステップＳ７７において、先頭のシーンをダイジェスト
シーン情報の先頭に、終了のシーンをダイジェストシー
ン情報の最後に格納する。もしこのとき、前後のシーン
とフレームが重なるときは、マージを行う。
用シーンとして抽出されたシーンを時系列にソートし、
図１１に例を示したダイジェストシーン情報として、ダ
イジェストシーン情報蓄積部２０９へ蓄積する。次に、
ステップＳ７７において、先頭のシーンをダイジェスト
シーン情報の先頭に、終了のシーンをダイジェストシー
ン情報の最後に格納する。もしこのとき、前後のシーン
とフレームが重なるときは、マージを行う。
【００７０】以上のような処理によってもダイジェスト
動画を自動的に得ることが可能である。
動画を自動的に得ることが可能である。
【００７１】［他の実施形態］上記各実施形態において
は、ダイジェストの作成は、ダイジェストシーン情報を
対象となる全ての動画の対して求めた後、一旦、蓄積媒
体上に記憶している。しかしながら、ダイジェスト再生
指示によりその都度、指示のあった動画のみについてメ
モリ上にダイジェストシーン情報を作成するようにして
もよい。この場合、本実施形態で説明したダイジェスト
動画作成処理そのものは軽いので、即座にダイジェスト
再生を行うことが可能である。
は、ダイジェストの作成は、ダイジェストシーン情報を
対象となる全ての動画の対して求めた後、一旦、蓄積媒
体上に記憶している。しかしながら、ダイジェスト再生
指示によりその都度、指示のあった動画のみについてメ
モリ上にダイジェストシーン情報を作成するようにして
もよい。この場合、本実施形態で説明したダイジェスト
動画作成処理そのものは軽いので、即座にダイジェスト
再生を行うことが可能である。
【００７２】また、上記各実施形態においては、シーン
特徴抽出処理と動画検索処理（及びダイジェスト動画作
成処理）を一つの画像処理装置で実現しているが、シー
ン特徴のデータ構造持ったデータと原動画像及びこれら
を関連付ける仕組みが存在すれば、それぞれを別々の画
像処理装置で実現しても構わない。
特徴抽出処理と動画検索処理（及びダイジェスト動画作
成処理）を一つの画像処理装置で実現しているが、シー
ン特徴のデータ構造持ったデータと原動画像及びこれら
を関連付ける仕組みが存在すれば、それぞれを別々の画
像処理装置で実現しても構わない。
【００７３】また、上記各実施形態においては、各フレ
ームの位置を示すのに動画の先頭から割り振られるフレ
ームの番号（開始フレーム番号等）で表現したがこれに
限られるものではない。例えば、先頭から再生したとき
の時間であってもよく、動画中でそのフレームを特定で
きれば何であってもよい。
ームの位置を示すのに動画の先頭から割り振られるフレ
ームの番号（開始フレーム番号等）で表現したがこれに
限られるものではない。例えば、先頭から再生したとき
の時間であってもよく、動画中でそのフレームを特定で
きれば何であってもよい。
【００７４】また、上記各実施形態においては、シーン
特徴抽出処理において、開始フレーム、終了フレーム、
キーフレームの決定を手動で行う場合を説明したが、自
動的に各フレームを決定することも可能である。例え
ば、動画中の全てのフレームに対して特徴抽出を行って
カラーレイアウトを求め、近傍のフレーム間でラベル列
の比較を行ってその類似度を算出する。類似度が低いほ
どフレーム間の変化が激しく、この変化が激しい部分が
心理的に印象に残る。このことを利用して類似度から各
フレームの重要度を決定するといった方法が挙げられ
る。
特徴抽出処理において、開始フレーム、終了フレーム、
キーフレームの決定を手動で行う場合を説明したが、自
動的に各フレームを決定することも可能である。例え
ば、動画中の全てのフレームに対して特徴抽出を行って
カラーレイアウトを求め、近傍のフレーム間でラベル列
の比較を行ってその類似度を算出する。類似度が低いほ
どフレーム間の変化が激しく、この変化が激しい部分が
心理的に印象に残る。このことを利用して類似度から各
フレームの重要度を決定するといった方法が挙げられ
る。
【００７５】なお、本発明は、例えばホストコンピュー
タ、インターフェース機器、リーダ、プリンタなどの複
数の機器から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。
タ、インターフェース機器、リーダ、プリンタなどの複
数の機器から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。
【００７６】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
憶した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読み出し実行することによっても、達成されることは言
うまでもない。
の機能を実現するソフトウェアのプログラムコードを記
憶した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読み出し実行することによっても、達成されることは言
うまでもない。
【００７７】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。
【００７８】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、Ｃ
Ｄ−Ｒ、磁気テープ、不揮発生のメモリカード、ＲＯＭ
などを用いることができる。
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、Ｃ
Ｄ−Ｒ、磁気テープ、不揮発生のメモリカード、ＲＯＭ
などを用いることができる。
【００７９】また、コンピュータが読み出したプログラ
ムを実行することにより、前述した実施形態の機能が実
現されるだけでなく、そのプログラムコードの指示に基
づき、コンピュータ上で稼動しているＯＳ（オペレーテ
ィングシステム）などが実際の処理の一部または全部を
行い、その処理によって前述した実施形態の機能が実現
される場合も含まれることは言うまでもない。
ムを実行することにより、前述した実施形態の機能が実
現されるだけでなく、そのプログラムコードの指示に基
づき、コンピュータ上で稼動しているＯＳ（オペレーテ
ィングシステム）などが実際の処理の一部または全部を
行い、その処理によって前述した実施形態の機能が実現
される場合も含まれることは言うまでもない。
【００８０】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ポードや機能拡張ユニットに
備わるＣＰＵなどが実際の処理の一部または全部を行
い、その処理によって前述した実施形態の機能が実現さ
れる場合も含まれることは言うまでもない。
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示に基づき、その機能拡張ポードや機能拡張ユニットに
備わるＣＰＵなどが実際の処理の一部または全部を行
い、その処理によって前述した実施形態の機能が実現さ
れる場合も含まれることは言うまでもない。
【００８１】
【発明の効果】以上説明したように、本発明によれば、
動画像データの内容確認を容易かつ適確に行える。ま
た、本発明のデータ構造によれば、複数の画像処理装置
間で、内容確認のための情報を共有することができる。
動画像データの内容確認を容易かつ適確に行える。ま
た、本発明のデータ構造によれば、複数の画像処理装置
間で、内容確認のための情報を共有することができる。
【図１】本実施形態の画像処理装置の制御構成を示すブ
ロック図である。
ロック図である。
【図２】本実施形態の画像処理装置の機能構成を示すブ
ロック図である。
ロック図である。
【図３】本実施形態の画像処理装置に格納されるシーン
特徴データのデータ構造を示す図である。
特徴データのデータ構造を示す図である。
【図４】本実施形態による画像のブロック分割例を示す
図である。
図である。
【図５】本実施形態による多次元特徴量空間を説明する
図である。
図である。
【図６】本実施形態による登録処理の手順を表すフロー
チャートである。
チャートである。
【図７】シーン特徴情報の一例を示す図である。
【図８】第１の実施形態によるダイジェスト動画作成処
理の手順を表すフローチャートである。
理の手順を表すフローチャートである。
【図９】第１の実施形態によるダイジェスト動画作成処
理の手順を表すフローチャートである。
理の手順を表すフローチャートである。
【図１０】動画とその重要なシーンを概念的に表すとと
もに、これに対応させて各シーンの重要度と閾値の関係
を概念的に表わす図である。
もに、これに対応させて各シーンの重要度と閾値の関係
を概念的に表わす図である。
【図１１】本実施形態によるダイジェストシーン情報の
データ構成例を示す図である。
データ構成例を示す図である。
【図１２】本実施形態による動画検索の際のユーザの典
型的な操作における状態遷移図である。
型的な操作における状態遷移図である。
【図１３】本実施形態による動画検索の処理を説明する
フローチャートである。
フローチャートである。
【図１４】ラベル列間の類似度計算を行うためのペナル
ティマトリクスの例を示す図である。
ティマトリクスの例を示す図である。
【図１５】第２の実施形態によるダイジェスト動画作成
処理の手順を表すフローチャートである。
処理の手順を表すフローチャートである。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/91 Ｚ (72)発明者 東條 洋 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 Ｆターム(参考） 5B050 BA10 CA07 EA09 GA08 5B075 ND12 NK06 PP02 PP03 PQ02 PQ48 PR08 QM08 5C052 AA01 AA16 AB04 AC08 CC06 5C053 FA07 FA14 GB09 GB21 GB37 HA29 HA30 JA21 JA24 LA06
Claims (58)
- 【請求項１】 動画像データ中の少なくとも１つの所望
のシーンと、各所望のシーン内におけるキーフレームと
すべきフレームとを特定する特定手段と、 前記特定手段で特定された所望のシーンの各々の重要度
を設定する設定手段と、 前記特定手段で特定されたシーンとキーフレームを示す
情報、及び前記設定手段で設定された重要度をシーン情
報として当該動画像データに関連させて格納する格納手
段とを備えることを特徴とする画像処理装置。 - 【請求項２】 前記特定手段で特定されたシーンを示す
情報は当該シーンの開始フレームと終了フレームのそれ
ぞれのフレーム識別子を含み、キーフレームを示す情報
は当該キーフレームのフレーム番号を含むことを特徴と
する請求項１に記載の画像処理装置。 - 【請求項３】 前記キーフレームの特徴量情報を取得す
る取得手段を更に備え、 前記格納手段において格納されるシーン情報は前記取得
手段で取得されたキーフレームの画像の特徴量情報を含
むことを特徴とする請求項１又は２に記載の画像処理装
置。 - 【請求項４】 前記キーフレームの特徴量情報は、該キ
ーフレームの画像を複数ブロックに分割し、各ブロック
について取得された特徴量に応じてラベルを付与し、付
与されたラベルを所定の順序で並べて得られるラベル列
であることを特徴とする請求項３に記載の画像処理装
置。 - 【請求項５】 前記格納手段に格納されたシーン情報に
基づいて、動画再生が可能な抽出動画データを生成する
生成手段を更に備えることを特徴とする請求項１又は２
に記載の画像処理装置。 - 【請求項６】 前記生成手段は、前記格納手段に格納さ
れたシーン情報が示すシーンを時系列順にマージするこ
とにより、抽出動画データを生成することを特徴とする
請求項５に記載の画像処理装置。 - 【請求項７】 前記生成手段は、前記格納手段に格納さ
れたシーン情報が示すシーンと、当該動画像の所定時間
分の先頭シーン及び終了シーンを時系列順にマージする
ことにより、抽出動画データを生成することを特徴とす
る請求項５に記載の画像処理装置。 - 【請求項８】 前記抽出動画の再生時間を指定する指定
手段と、 前記指定手段で指定された再生時間に基づいて、前記生
成手段でマージされる各シーンの長さを調整する調整手
段とを更に備えることを特徴とする請求項５に記載の画
像処理装置。 - 【請求項９】 前記調整手段は、 各シーンに設定された重要度に基づいてシーン内の各フ
レームの重要度を決定し、該シーン内において閾値を越
える重要度を有するフレームを抽出し、これをマージ対
象のシーンとして前記生成手段に提供するフレーム抽出
手段と、 前記生成手段で生成される抽出動画データの再生時間
が、前記指定された再生時間の所定誤差範囲に納まるよ
うに、前記フレーム抽出手段において用いられる閾値を
制御する閾値制御手段とを備えることを特徴とする請求
項８に記載の画像処理装置。 - 【請求項１０】 前記シーン情報によって指定される全
てのシーンの合計時間が前記指定手段で指定された再生
時間よりも短い場合、該指定された再生時間の所定誤差
範囲に納まるように各シーンのキーフレームを中心とし
て再生時間を暫時延長する延長調整手段を更に備えるこ
とを特徴とする請求項９に記載の画像処理装置。 - 【請求項１１】 前記抽出動画データを構成するシーン
の中に、その再生時間が所定時間よりも短いものが存在
する場合に、これを除去する除去手段を更に備えること
を特徴とする請求項５に記載の画像処理装置。 - 【請求項１２】 前記除去手段で除去されたシーンの再
生時間に相当する時間分だけ他のシーンを延長する延長
手段を更に備えることを特徴とする請求項１１に記載の
画像処理装置。 - 【請求項１３】 前記延長手段は、前記抽出動画データ
内における前記除去手段で除去されたシーンの前後に隣
接するシーンのうちの設定された重要度の高いほうのシ
ーンを、キーフレームを中心に時間延長することを特徴
とする請求項１２に記載の画像処理装置。 - 【請求項１４】 前記抽出動画の再生時間を指定する指
定手段と、 前記格納手段に格納されたシーン情報によって示される
シーンをその重要度の順に選択して所定時間長分を切り
出す切出し手段と、該切出し手段は、切り出されたシー
ンの合計時間が前記指定手段で指定された指定時間を越
えるまで処理を実行し、 前記生成手段は、前記切出し手段で切り出されたシーン
を時系列関係を保ちながら順次マージして抽出動画デー
タを生成することを特徴とする請求項５に記載の画像処
理装置。 - 【請求項１５】 前記所定時間長は、ユーザが画像を認
識可能な長さであることを特徴とする請求項１４に記載
の画像処理装置。 - 【請求項１６】 前記シーン情報によって指定される全
てのシーンの合計時間が前記指定手段で指定された再生
時間よりも短い場合、該指定された再生時間の所定誤差
範囲に納まるように各シーンのキーフレームを中心とし
て再生時間を暫時延長する延長調整手段を更に備えるこ
とを特徴とする請求項１５に記載の画像処理装置。 - 【請求項１７】 前記キーフレームの画像をサムネイル
化して一覧表示する表示手段を更に備えることを特徴と
する請求項１又は２に記載の画像処理装置。 - 【請求項１８】 前記キーフレームの一つが指定された
場合に、該指定されたキーフレームと他のキーフレーム
の画像の類似度を、各キーフレームの画像特徴量に基づ
いて算出する算出手段と、 前記算出手段で算出された類似度に基づいてキーフレー
ムを提示する提示手段と、 前記提示手段で提示されたキーフレームの中から選択さ
れたキーフレームを含む動画像データを取得し、再生す
る再生手段とを更に備えることを特徴とする請求項３ま
たは４に記載の画像処理装置。 - 【請求項１９】 前記シーン情報は、各キーフレームの
画像の画像特徴量を含み、 前記キーフレームの一つが指定された場合に、該選択さ
れたキーフレームと他のキーフレームの画像の類似度を
各キーフレームの画像特徴量に基づいて算出する算出手
段と、 前記算出手段で算出された類似度に基づいてキーフレー
ムを提示する提示手段と、 前記提示手段で提示されたキーフレームの中から選択さ
れたキーフレームを含む動画像データに関して、前記生
成手段で生成された抽出画像データを再生する再生手段
とを更に備えることを特徴とする請求項５乃至１６のい
ずれかに記載の画像処理装置。 - 【請求項２０】 動画像データ中の少なくとも１つの所
望のシーンと、各所望のシーン内におけるキーフレーム
とすべきフレームとを特定する特定工程と、 前記特定工程で特定された所望のシーンの各々の重要度
を設定する設定工程と、 前記特定工程で特定されたシーンとキーフレームを示す
情報、及び前記設定工程で設定された重要度をシーン情
報として当該動画像データに関連させて記憶手段に格納
する格納工程とを備えることを特徴とする画像処理方
法。 - 【請求項２１】 前記特定工程で特定されたシーンを示
す情報は当該シーンの開始フレームと終了フレームのそ
れぞれのフレーム番号を含み、キーフレームを示す情報
は当該キーフレームのフレーム番号を含むことを特徴と
する請求項２０に記載の画像処理方法。 - 【請求項２２】 前記キーフレームの特徴量情報を取得
する取得工程を更に備え、 前記格納工程において格納されるシーン情報は前記取得
工程で取得されたキーフレームの画像の特徴量情報を含
むことを特徴とする請求項２０又は２１に記載の画像処
理方法。 - 【請求項２３】 前記キーフレームの特徴量情報は、該
キーフレームの画像を複数ブロックに分割し、各ブロッ
クについて取得された特徴量に応じてラベルを付与し、
付与されたラベルを所定の順序で並べて得られるラベル
列であることを特徴とする請求項２２に記載の画像処理
方法。 - 【請求項２４】 前記記憶手段に格納されたシーン情報
に基づいて、動画再生が可能な抽出動画データを生成す
る生成工程を更に備えることを特徴とする請求項２０又
は２１に記載の画像処理方法。 - 【請求項２５】 前記生成工程は、前記記憶手段に格納
されたシーン情報が示すシーンを時系列順にマージする
ことにより、抽出動画データを生成することを特徴とす
る請求項２４に記載の画像処理方法。 - 【請求項２６】 前記生成工程は、前記記憶手段に格納
されたシーン情報が示すシーンと、当該動画像の所定時
間分の先頭シーン及び終了シーンを時系列順にマージす
ることにより、抽出動画データを生成することを特徴と
する請求項２４に記載の画像処理方法。 - 【請求項２７】 前記抽出動画の再生時間を指定する指
定工程と、 前記指定工程で指定された再生時間に基づいて、前記生
成工程でマージされる各シーンの長さを調整する調整工
程とを更に備えることを特徴とする請求項２４に記載の
画像処理方法。 - 【請求項２８】 前記調整工程は、 各シーンに設定された重要度に基づいてシーン内の各フ
レームの重要度を決定し、該シーン内において閾値を越
える重要度を有するフレームを抽出し、これをマージ対
象のシーンとして前記生成工程に提供するフレーム抽出
工程と、 前記生成工程で生成される抽出動画データの再生時間
が、前記指定された再生時間の所定誤差範囲に納まるよ
うに、前記フレーム抽出工程において用いられる閾値を
制御する閾値制御工程とを備えることを特徴とする請求
項２７に記載の画像処理方法。 - 【請求項２９】 前記シーン情報によって指定される全
てのシーンの合計時間が前記指定工程で指定された再生
時間よりも短い場合、該指定された再生時間の所定誤差
範囲に納まるように各シーンのキーフレームを中心とし
て再生時間を暫時延長する延長調整工程を更に備えるこ
とを特徴とする請求項２８に記載の画像処理方法。 - 【請求項３０】 前記抽出動画データを構成するシーン
の中に、その再生時間が所定時間よりも短いものが存在
する場合に、これを除去する除去工程を更に備えること
を特徴とする請求項２４に記載の画像処理方法。 - 【請求項３１】 前記除去工程で除去されたシーンの再
生時間に相当する時間分だけ他のシーンを延長する延長
工程を更に備えることを特徴とする請求項３０に記載の
画像処理方法。 - 【請求項３２】 前記延長工程は、前記抽出動画データ
内における前記除去工程で除去されたシーンの前後に隣
接するシーンのうちの設定された重要度の高いほうのシ
ーンを、キーフレームを中心に時間延長することを特徴
とする請求項３１に記載の画像処理方法。 - 【請求項３３】 前記抽出動画の再生時間を指定する指
定工程と、 前記記憶手段に格納されたシーン情報によって示される
シーンをその重要度の順に選択して所定時間長分を切り
出す切出し工程と、該切出し工程は、切り出されたシー
ンの合計時間が前記指定工程で指定された指定時間を越
えるまで処理を実行し、 前記生成工程は、前記切出し工程で切り出されたシーン
を時系列関係を保ちながら順次マージして抽出動画デー
タを生成することを特徴とする請求項２４に記載の画像
処理方法。 - 【請求項３４】 前記所定時間長は、ユーザが動画を認
識可能な長さであることを特徴とする請求項３３に記載
の画像処理方法。 - 【請求項３５】 前記シーン情報によって指定される全
てのシーンの合計時間が前記指定工程で指定された再生
時間よりも短い場合、該指定された再生時間の所定誤差
範囲に納まるように各シーンのキーフレームを中心とし
て再生時間を暫時延長する延長調整工程を更に備えるこ
とを特徴とする請求項３４に記載の画像処理方法。 - 【請求項３６】 前記キーフレームの画像をサムネイル
化して一覧表示する表示工程を更に備えることを特徴と
する請求項２０又は２１に記載の画像処理方法。 - 【請求項３７】 前記キーフレームの一つが指定された
場合に、該指定されたキーフレームと他のキーフレーム
の画像の類似度を、各キーフレームの画像特徴量に基づ
いて算出する算出工程と、 前記算出工程で算出された類似度に基づいてキーフレー
ムを提示する提示工程と、 前記提示工程で提示されたキーフレームの中から選択さ
れたキーフレームを含む動画像データを取得し、再生す
る再生工程とを更に備えることを特徴とする請求項２２
または２３に記載の画像処理方法。 - 【請求項３８】 前記シーン情報は、各キーフレームの
画像の画像特徴量を含み、 前記キーフレームの一つが指定された場合に、該選択さ
れたキーフレームと他のキーフレームの画像の類似度を
各キーフレームの画像特徴量に基づいて算出する算出工
程と、 前記算出工程で算出された類似度に基づいてキーフレー
ムを提示する提示工程と、 前記提示工程で提示されたキーフレームの中から選択さ
れたキーフレームを含む動画像データに関して、前記生
成工程で生成された抽出画像データを再生する再生工程
とを更に備えることを特徴とする請求項２４乃至３５の
いずれかに記載の画像処理方法。 - 【請求項３９】 コンピュータによる動画像データの格
納処理を実現するための制御プログラムを格納する記憶
媒体であって、該制御プログラムが、 動画像データ中の少なくとも１つの所望のシーンと、各
所望のシーン内におけるキーフレームとすべきフレーム
とを特定する特定工程のコードと、 前記特定工程で特定された所望のシーンの各々の重要度
を設定する設定工程のコードと、 前記特定工程で特定されたシーンとキーフレームを示す
情報、及び前記設定工程で設定された重要度をシーン情
報として当該動画像データに関連させて記憶手段に格納
する格納工程のコードとを備えることを特徴とする記憶
媒体。 - 【請求項４０】 前記キーフレームの特徴量情報を取得
する取得工程のコードを更に備え、 前記格納工程において格納されるシーン情報は前記取得
工程で取得されたキーフレームの画像の特徴量情報を含
むことを特徴とする請求項３９に記載の記憶媒体。 - 【請求項４１】 前記記憶手段に格納されたシーン情報
に基づいて、動画再生が可能な抽出動画データを生成す
る生成工程のコードを更に備えることを特徴とする請求
項３９に記載の記憶媒体。 - 【請求項４２】 前記キーフレームの一つが指定された
場合に、該指定されたキーフレームと他のキーフレーム
の画像の類似度を、各キーフレームの画像特徴量に基づ
いて算出する算出工程のコードと、 前記算出工程で算出された類似度に基づいてキーフレー
ムを提示する提示工程のコードと、 前記提示工程で提示されたキーフレームの中から選択さ
れたキーフレームを含む画像を取得し、再生する再生工
程のコードとを更に備えることを特徴とする請求項４０
に記載の記憶媒体。 - 【請求項４３】 前記シーン情報は、各キーフレームの
画像の画像特徴量を含み、 前記キーフレームの一つが指定された場合に、該選択さ
れたキーフレームと他のキーフレームの画像の類似度を
各キーフレームの画像特徴量に基づいて算出する算出工
程のコードと、 前記算出工程で算出された類似度に基づいてキーフレー
ムを提示する提示工程のコードと、 前記提示工程で提示されたキーフレームの中から選択さ
れたキーフレームを含む動画像データに関して、前記生
成工程で生成された抽出画像データを再生する再生工程
のコードとを更に備えることを特徴とする請求項４１に
記載の記憶媒体。 - 【請求項４４】 動画像データを格納する記憶媒体であ
って、 格納されている動画像データ中より特定された少なくと
も１つの所望のシーンを表わすシーン特定情報と、 前記シーン特定情報で特定される各シーンにおけるキー
フレームを表わすキーフレーム情報と、 前記シーン特定情報で特定されるシーンの各々について
設定された重要度とを含むシーン情報を、当該動画像デ
ータに対応づけて格納してあることを特徴とする記憶媒
体。 - 【請求項４５】 前記シーン特定情報は、各シーンの開
始フレームと終了フレームのそれぞれのフレーム番号を
含み、前記キーフレーム情報は当該キーフレームのフレ
ーム番号を含むことを特徴とする請求項４４に記載の記
憶媒体。 - 【請求項４６】 前記シーン情報において、前記キーフ
レーム情報は、各キーフレームの画像の特徴量情報を含
むことを特徴とする請求項４４に記載の記憶媒体。 - 【請求項４７】 前記複数ブロックへの分割は、画像を
縦横共に２のべき乗でブロックに分割するものであるこ
とを特徴とする請求項４に記載の画像処理装置。 - 【請求項４８】 前記ラベル列とともに画像の分割数、
特徴量の抽出方法、および色表現に関する情報を記憶す
る手段を備えることを特徴とする請求項４又は４７に記
載の画像処理装置。 - 【請求項４９】 前記シーン情報は、各キーフレームの
画像の画像特徴量を含み、 前記キーフレームをランダムに表示する第１手段と、 前記生成手段で生成された抽出画像データを再生する第
２手段と、 指定されたキーフレームと他のキーフレームの画像の類
似度を各キーフレームの画像特徴量に基づいて算出し、
類似検索を行う第３手段と、 指定されたキーフレーム〜動画を再生する第４手段とを
備え、 前記第１乃至第４手段を任意の組み合わせで機能させる
べく操作可能としたことを特徴とする請求項５乃至１６
のいずれかに記載の画像処理装置。 - 【請求項５０】 前記フレーム識別子は、動画像データ
における先頭からのフレーム番号であることを特徴とす
る請求項２に記載の画像処理装置。 - 【請求項５１】 前記フレーム識別子は、動画像データ
における先頭から当該フレームまでの時間であることを
特徴とする請求項２に記載の画像処理装置。 - 【請求項５２】 前記キーフレームの特徴量情報は、該
キーフレームの画像を複数ブロックに分割し、各ブロッ
クについて取得された特徴量に応じてラベルを付与し、
付与されたラベルを所定の順序で並べて得られるラベル
列であることを特徴とする請求項１９に記載の画像処理
装置。 - 【請求項５３】 前記複数ブロックへの分割は、画像を
縦横共に２のべき乗でブロックに分割するものであるこ
とを特徴とする請求項２３に記載の画像処理方法。 - 【請求項５４】 前記ラベル列とともに画像の分割数、
特徴量の抽出方法、および色表現に関する情報を記憶す
る工程を備えることを特徴とする請求項２３又は５３に
記載の画像処理方法。 - 【請求項５５】 前記シーン情報は、各キーフレームの
画像の画像特徴量を含み、 前記キーフレームをランダムに表示する第１工程と、 前記生成工程で生成された抽出画像データを再生する第
２工程と、 指定されたキーフレームと他のキーフレームの画像の類
似度を各キーフレームの画像特徴量に基づいて算出し、
類似検索を行う第３工程と、 指定されたキーフレーム〜動画を再生する第４工程とを
備え、 前記第１乃至第４工程を任意の組み合わせで機能させる
べく操作可能としたことを特徴とする請求項２４乃至３
５のいずれかに記載の画像処理方法。 - 【請求項５６】 前記フレーム識別子は、動画像データ
における先頭からのフレーム番号であることを特徴とす
る請求項２１に記載の画像処理方法。 - 【請求項５７】 前記フレーム識別子は、動画像データ
における先頭から当該フレームまでの時間であることを
特徴とする請求項２１に記載の画像処理方法。 - 【請求項５８】 前記キーフレームの特徴量情報は、該
キーフレームの画像を複数ブロックに分割し、各ブロッ
クについて取得された特徴量に応じてラベルを付与し、
付与されたラベルを所定の順序で並べて得られるラベル
列であることを特徴とする請求項３８に記載の画像処理
方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10576799A JP4227241B2 (ja) | 1999-04-13 | 1999-04-13 | 画像処理装置及び方法 |
| US09/547,342 US6704029B1 (en) | 1999-04-13 | 2000-04-11 | Method and apparatus for specifying scene information in a moving picture |
| EP00303086A EP1045316A3 (en) | 1999-04-13 | 2000-04-12 | Image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10576799A JP4227241B2 (ja) | 1999-04-13 | 1999-04-13 | 画像処理装置及び方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000299829A true JP2000299829A (ja) | 2000-10-24 |
| JP2000299829A5 JP2000299829A5 (ja) | 2007-04-05 |
| JP4227241B2 JP4227241B2 (ja) | 2009-02-18 |
Family
ID=14416342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10576799A Expired - Fee Related JP4227241B2 (ja) | 1999-04-13 | 1999-04-13 | 画像処理装置及び方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6704029B1 (ja) |
| EP (1) | EP1045316A3 (ja) |
| JP (1) | JP4227241B2 (ja) |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001119649A (ja) * | 1999-10-22 | 2001-04-27 | Internatl Business Mach Corp <Ibm> | 映像の要約方法及び装置 |
| JP2001265391A (ja) * | 2000-03-17 | 2001-09-28 | Nippon Columbia Co Ltd | 記録装置 |
| JP2002199332A (ja) * | 2000-12-27 | 2002-07-12 | Kddi Corp | オーディオ概要情報、オーディオビデオ概要情報の抽出装置、再生装置、および記録媒体 |
| JP2002262228A (ja) * | 2001-03-02 | 2002-09-13 | Sharp Corp | ダイジェスト作成装置 |
| JP2003087728A (ja) * | 2001-06-26 | 2003-03-20 | Pioneer Electronic Corp | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
| JP2003189220A (ja) * | 2001-12-14 | 2003-07-04 | Fuji Photo Film Co Ltd | 画像処理装置並びに携帯端末 |
| KR100396580B1 (ko) * | 2001-07-16 | 2003-09-02 | 삼성에스디에스 주식회사 | 분산처리를 이용한 동영상 레이블 방법 및 그 장치 |
| JP2005065244A (ja) * | 2003-07-24 | 2005-03-10 | Hewlett-Packard Development Co Lp | ビデオをレビューする方法および装置 |
| JP2005524916A (ja) * | 2002-05-07 | 2005-08-18 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | スケーラブルなビデオの要約化 |
| JPWO2003088665A1 (ja) * | 2002-04-12 | 2005-08-25 | 三菱電機株式会社 | メタデータ編集装置、メタデータ再生装置、メタデータ配信装置、メタデータ検索装置、メタデータ再生成条件設定装置、及びメタデータ配信方法 |
| KR100512138B1 (ko) * | 2000-03-08 | 2005-09-02 | 엘지전자 주식회사 | 합성 키프레임을 이용한 비디오 브라우징 시스템 |
| WO2005086478A1 (ja) * | 2004-03-04 | 2005-09-15 | Seiko Epson Corporation | 動画像データ処理 |
| JP2005293212A (ja) * | 2004-03-31 | 2005-10-20 | Toshiba Corp | 要約映像生成装置、要約映像生成方法及びプログラム |
| JP2007018605A (ja) * | 2005-07-07 | 2007-01-25 | Sony Corp | 再生装置、再生方法および再生プログラム |
| JP2007049332A (ja) * | 2005-08-09 | 2007-02-22 | Sony Corp | 記録再生装置および記録再生方法、並びに、記録装置および記録方法 |
| JP2007521736A (ja) * | 2003-07-03 | 2007-08-02 | 松下電器産業株式会社 | 映像処理装置、映像処理装置の集積回路、映像処理方法、及び映像処理プログラム |
| JP2008004116A (ja) * | 2007-08-02 | 2008-01-10 | Hitachi Ltd | 映像中の文字検索方法及び装置 |
| JP2008016930A (ja) * | 2006-07-03 | 2008-01-24 | Sony Corp | 表示制御装置および方法、並びにプログラム |
| JPWO2006016605A1 (ja) * | 2004-08-10 | 2008-07-31 | ソニー株式会社 | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 |
| JP2008273637A (ja) * | 2007-04-25 | 2008-11-13 | Mitsubishi Electric Building Techno Service Co Ltd | エレベーターの防犯録画装置 |
| JP2010010908A (ja) * | 2008-06-25 | 2010-01-14 | Hitachi Systems & Services Ltd | 管理サーバ及びビデオコンテンツ処理方法 |
| US7664376B2 (en) | 2003-08-20 | 2010-02-16 | Sony Corporation | Information signal processing apparatus and method, information signal processing system and method, and information signal playback apparatus and method |
| EP2246807A1 (en) | 2009-04-30 | 2010-11-03 | Sony Corporation | Information processing apparatus and method, and program |
| JP2011010007A (ja) * | 2009-06-25 | 2011-01-13 | Sony Corp | 電子機器、画像出力方法及びプログラム |
| JP2011035837A (ja) * | 2009-08-05 | 2011-02-17 | Toshiba Corp | 電子機器および画像データの表示方法 |
| JP2011217183A (ja) * | 2010-03-31 | 2011-10-27 | Toshiba Corp | 電子機器、画像出力方法及びプログラム |
| JP2012010405A (ja) * | 2011-09-28 | 2012-01-12 | Toshiba Corp | 電子機器、画像データの表示方法およびプログラム |
| US8111304B2 (en) | 2005-04-27 | 2012-02-07 | Fujifilm Corporation | Image capturing apparatus, image capturing method, and computer readable medium in which an image extracted in association with selected object information is displayed |
| JP2012044390A (ja) * | 2010-08-18 | 2012-03-01 | Nippon Telegr & Teleph Corp <Ntt> | 映像要約装置および映像要約プログラム |
| US8219928B2 (en) | 2005-07-28 | 2012-07-10 | Sony Corporation | Reproduction device and display control method |
| US8225235B2 (en) | 2004-06-30 | 2012-07-17 | Sony Corporation | Reproduction apparatus and reproduction method |
| JP2012256105A (ja) * | 2011-06-07 | 2012-12-27 | Sony Corp | 表示装置、オブジェクト表示方法、及びプログラム |
| US8503770B2 (en) | 2009-04-30 | 2013-08-06 | Sony Corporation | Information processing apparatus and method, and program |
| US8830247B2 (en) | 2006-05-24 | 2014-09-09 | Nec Display Solutions, Ltd. | Image displaying device having image cache memory |
| JP5886839B2 (ja) * | 2011-05-23 | 2016-03-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路 |
| JP2017191609A (ja) * | 2017-04-14 | 2017-10-19 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP2022529225A (ja) * | 2019-04-04 | 2022-06-20 | グーグル エルエルシー | ビデオ時間調節アンカー |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6571052B1 (en) * | 1997-07-11 | 2003-05-27 | Mitsubishi Denki Kabushiki Kaisha | Moving picture playback apparatus |
| WO1999003273A1 (fr) | 1997-07-11 | 1999-01-21 | Mitsubishi Denki Kabushiki Kaisha | Appareil de lecture de films et appareil permettant de constituer un recueil de films |
| JP2000350156A (ja) * | 1999-06-09 | 2000-12-15 | Hitachi Ltd | 動画像情報の記憶方法及びこれを記録した記録媒体 |
| JP2001320667A (ja) * | 2000-05-12 | 2001-11-16 | Sony Corp | サービス提供装置および方法、受信端末装置および方法、サービス提供システム |
| JP3784289B2 (ja) * | 2000-09-12 | 2006-06-07 | 松下電器産業株式会社 | メディア編集方法及びその装置 |
| US7010744B1 (en) * | 2001-05-14 | 2006-03-07 | The Mathworks, Inc. | System and method of navigating and creating electronic hierarchical documents |
| US7224892B2 (en) * | 2001-06-26 | 2007-05-29 | Canon Kabushiki Kaisha | Moving image recording apparatus and method, moving image reproducing apparatus, moving image recording and reproducing method, and programs and storage media |
| US7231131B2 (en) * | 2001-08-02 | 2007-06-12 | Warner Bros. Home Entertainment Inc. | Apparatus for generating content codes for audiovisual programs by multiple viewers |
| US7330638B2 (en) * | 2001-08-02 | 2008-02-12 | Warner Bros. Home Entertainment Inc. | Apparatus generating content codes for audiovisual programs |
| JP4426743B2 (ja) * | 2001-09-13 | 2010-03-03 | パイオニア株式会社 | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
| TW544634B (en) * | 2001-10-05 | 2003-08-01 | Newsoft Technology Corp | Thumbnail sequence generation system and method |
| JP4194272B2 (ja) * | 2001-12-28 | 2008-12-10 | キヤノン株式会社 | 動画像管理装置及び方法 |
| US7035435B2 (en) * | 2002-05-07 | 2006-04-25 | Hewlett-Packard Development Company, L.P. | Scalable video summarization and navigation system and method |
| JP3738843B2 (ja) * | 2002-06-11 | 2006-01-25 | ソニー株式会社 | 画像検出装置、画像検出方法および画像検出プログラム |
| US7319764B1 (en) | 2003-01-06 | 2008-01-15 | Apple Inc. | Method and apparatus for controlling volume |
| KR100991619B1 (ko) * | 2003-09-17 | 2010-11-04 | 엘지전자 주식회사 | 내용 기반 트릭 플레이를 위한 방송 서비스 방법 및 시스템 |
| JP2005159781A (ja) * | 2003-11-27 | 2005-06-16 | Seiko Epson Corp | 画像選択処理装置、画像選択方法およびそのプログラム、記録媒体 |
| US7664292B2 (en) * | 2003-12-03 | 2010-02-16 | Safehouse International, Inc. | Monitoring an output from a camera |
| US20050198067A1 (en) * | 2004-03-05 | 2005-09-08 | Casper Liu | Multi-resolution feature extraction for video abstraction |
| JP4285287B2 (ja) * | 2004-03-17 | 2009-06-24 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法およびそのプログラム、記録媒体 |
| JP2005277733A (ja) * | 2004-03-24 | 2005-10-06 | Seiko Epson Corp | 動画像処理装置 |
| JP4835439B2 (ja) * | 2004-08-10 | 2011-12-14 | ソニー株式会社 | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 |
| US20070098281A1 (en) * | 2005-10-31 | 2007-05-03 | International Business Machines Corporation | Damping rotational vibration in a multi-drive tray |
| JP4670683B2 (ja) * | 2006-02-28 | 2011-04-13 | ソニー株式会社 | 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム |
| KR100836611B1 (ko) * | 2006-02-28 | 2008-06-10 | (주)케이티에프테크놀로지스 | 방송 프로그램을 배경화면으로 설정하는 방법 및 장치,이를 이용한 휴대용 단말기 |
| JP4826333B2 (ja) * | 2006-05-11 | 2011-11-30 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| US8331674B2 (en) * | 2007-04-06 | 2012-12-11 | International Business Machines Corporation | Rule-based combination of a hierarchy of classifiers for occlusion detection |
| US8788963B2 (en) * | 2008-10-15 | 2014-07-22 | Apple Inc. | Scrollable preview of content |
| CN102217304A (zh) * | 2008-11-14 | 2011-10-12 | 松下电器产业株式会社 | 拍摄装置和摘要再生方法 |
| US8286081B2 (en) | 2009-04-30 | 2012-10-09 | Apple Inc. | Editing and saving key-indexed geometries in media editing applications |
| US8566721B2 (en) * | 2009-04-30 | 2013-10-22 | Apple Inc. | Editing key-indexed graphs in media editing applications |
| KR101647064B1 (ko) * | 2010-03-24 | 2016-08-23 | 삼성전자 주식회사 | 휴대 단말기의 입체 영상 출력 방법 및 장치 |
| US8621351B2 (en) | 2010-08-31 | 2013-12-31 | Blackberry Limited | Methods and electronic devices for selecting and displaying thumbnails |
| EP2423921A1 (en) * | 2010-08-31 | 2012-02-29 | Research In Motion Limited | Methods and electronic devices for selecting and displaying thumbnails |
| JP2014106637A (ja) * | 2012-11-26 | 2014-06-09 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| US11853690B1 (en) | 2016-05-31 | 2023-12-26 | The Mathworks, Inc. | Systems and methods for highlighting graphical models |
| CN111782874B (zh) * | 2020-06-30 | 2023-01-17 | 科大讯飞股份有限公司 | 视频检索方法、装置、电子设备和存储介质 |
| CN115967823A (zh) * | 2021-10-09 | 2023-04-14 | 北京字节跳动网络技术有限公司 | 视频封面生成方法、装置、电子设备及可读介质 |
| CN116188700B (zh) * | 2023-04-27 | 2023-07-14 | 南京大圣云未来科技有限公司 | 一种基于aigc自动生成3d场景的系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08191411A (ja) * | 1994-11-08 | 1996-07-23 | Matsushita Electric Ind Co Ltd | シーン判別方法および代表画像記録・表示装置 |
| JPH10112835A (ja) * | 1996-10-04 | 1998-04-28 | Matsushita Electric Ind Co Ltd | 映像要約方法および映像表示方法 |
| JPH10260983A (ja) * | 1997-03-19 | 1998-09-29 | Canon Inc | 画像検索装置及び方法 |
| JPH11238071A (ja) * | 1998-02-20 | 1999-08-31 | Toshiba Corp | ダイジェスト作成装置及びダイジェスト作成方法 |
| JP2000197002A (ja) * | 1998-12-24 | 2000-07-14 | Sharp Corp | 情報記録装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0778804B2 (ja) * | 1992-05-28 | 1995-08-23 | 日本アイ・ビー・エム株式会社 | シーン情報入力システムおよび方法 |
| US5606690A (en) | 1993-08-20 | 1997-02-25 | Canon Inc. | Non-literal textual search using fuzzy finite non-deterministic automata |
| US5553221A (en) * | 1995-03-20 | 1996-09-03 | International Business Machine Corporation | System and method for enabling the creation of personalized movie presentations and personalized movie collections |
| US6400853B1 (en) * | 1997-03-19 | 2002-06-04 | Canon Kabushiki Kaisha | Image retrieval apparatus and method |
| JPH1175150A (ja) * | 1997-08-29 | 1999-03-16 | Hitachi Denshi Ltd | 動画像編集方法及び動画像編集装置並びに動画像編集動作を実行するためのプログラムを記録した記録媒体 |
| JP3613543B2 (ja) * | 1997-11-11 | 2005-01-26 | 株式会社日立国際電気 | 動画像編集装置 |
-
1999
- 1999-04-13 JP JP10576799A patent/JP4227241B2/ja not_active Expired - Fee Related
-
2000
- 2000-04-11 US US09/547,342 patent/US6704029B1/en not_active Expired - Lifetime
- 2000-04-12 EP EP00303086A patent/EP1045316A3/en not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08191411A (ja) * | 1994-11-08 | 1996-07-23 | Matsushita Electric Ind Co Ltd | シーン判別方法および代表画像記録・表示装置 |
| JPH10112835A (ja) * | 1996-10-04 | 1998-04-28 | Matsushita Electric Ind Co Ltd | 映像要約方法および映像表示方法 |
| JPH10260983A (ja) * | 1997-03-19 | 1998-09-29 | Canon Inc | 画像検索装置及び方法 |
| JPH11238071A (ja) * | 1998-02-20 | 1999-08-31 | Toshiba Corp | ダイジェスト作成装置及びダイジェスト作成方法 |
| JP2000197002A (ja) * | 1998-12-24 | 2000-07-14 | Sharp Corp | 情報記録装置 |
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001119649A (ja) * | 1999-10-22 | 2001-04-27 | Internatl Business Mach Corp <Ibm> | 映像の要約方法及び装置 |
| KR100512138B1 (ko) * | 2000-03-08 | 2005-09-02 | 엘지전자 주식회사 | 합성 키프레임을 이용한 비디오 브라우징 시스템 |
| JP2001265391A (ja) * | 2000-03-17 | 2001-09-28 | Nippon Columbia Co Ltd | 記録装置 |
| JP2002199332A (ja) * | 2000-12-27 | 2002-07-12 | Kddi Corp | オーディオ概要情報、オーディオビデオ概要情報の抽出装置、再生装置、および記録媒体 |
| JP2002262228A (ja) * | 2001-03-02 | 2002-09-13 | Sharp Corp | ダイジェスト作成装置 |
| JP2003087728A (ja) * | 2001-06-26 | 2003-03-20 | Pioneer Electronic Corp | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
| JP4546682B2 (ja) * | 2001-06-26 | 2010-09-15 | パイオニア株式会社 | 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム |
| KR100396580B1 (ko) * | 2001-07-16 | 2003-09-02 | 삼성에스디에스 주식회사 | 분산처리를 이용한 동영상 레이블 방법 및 그 장치 |
| JP2003189220A (ja) * | 2001-12-14 | 2003-07-04 | Fuji Photo Film Co Ltd | 画像処理装置並びに携帯端末 |
| US8811800B2 (en) | 2002-04-12 | 2014-08-19 | Mitsubishi Electric Corporation | Metadata editing apparatus, metadata reproduction apparatus, metadata delivery apparatus, metadata search apparatus, metadata re-generation condition setting apparatus, metadata delivery method and hint information description method |
| JPWO2003088665A1 (ja) * | 2002-04-12 | 2005-08-25 | 三菱電機株式会社 | メタデータ編集装置、メタデータ再生装置、メタデータ配信装置、メタデータ検索装置、メタデータ再生成条件設定装置、及びメタデータ配信方法 |
| US7826709B2 (en) | 2002-04-12 | 2010-11-02 | Mitsubishi Denki Kabushiki Kaisha | Metadata editing apparatus, metadata reproduction apparatus, metadata delivery apparatus, metadata search apparatus, metadata re-generation condition setting apparatus, metadata delivery method and hint information description method |
| JP2005524916A (ja) * | 2002-05-07 | 2005-08-18 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | スケーラブルなビデオの要約化 |
| JP2007521736A (ja) * | 2003-07-03 | 2007-08-02 | 松下電器産業株式会社 | 映像処理装置、映像処理装置の集積回路、映像処理方法、及び映像処理プログラム |
| JP2005065244A (ja) * | 2003-07-24 | 2005-03-10 | Hewlett-Packard Development Co Lp | ビデオをレビューする方法および装置 |
| US8577207B2 (en) | 2003-08-20 | 2013-11-05 | Sony Corporation | Information signal processing apparatus and method, information signal processing system and method, and information signal playback apparatus and method |
| US7664376B2 (en) | 2003-08-20 | 2010-02-16 | Sony Corporation | Information signal processing apparatus and method, information signal processing system and method, and information signal playback apparatus and method |
| JPWO2005086478A1 (ja) * | 2004-03-04 | 2008-01-24 | セイコーエプソン株式会社 | 動画像データ処理 |
| WO2005086478A1 (ja) * | 2004-03-04 | 2005-09-15 | Seiko Epson Corporation | 動画像データ処理 |
| JP2005293212A (ja) * | 2004-03-31 | 2005-10-20 | Toshiba Corp | 要約映像生成装置、要約映像生成方法及びプログラム |
| US8225235B2 (en) | 2004-06-30 | 2012-07-17 | Sony Corporation | Reproduction apparatus and reproduction method |
| JPWO2006016605A1 (ja) * | 2004-08-10 | 2008-07-31 | ソニー株式会社 | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 |
| JP4882746B2 (ja) * | 2004-08-10 | 2012-02-22 | ソニー株式会社 | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 |
| US8111304B2 (en) | 2005-04-27 | 2012-02-07 | Fujifilm Corporation | Image capturing apparatus, image capturing method, and computer readable medium in which an image extracted in association with selected object information is displayed |
| JP2007018605A (ja) * | 2005-07-07 | 2007-01-25 | Sony Corp | 再生装置、再生方法および再生プログラム |
| JP4556789B2 (ja) * | 2005-07-07 | 2010-10-06 | ソニー株式会社 | 再生装置、再生方法および再生プログラム |
| US8086333B2 (en) | 2005-07-07 | 2011-12-27 | Sony Corporation | Reproducing apparatus, reproducing method, and reproducing program |
| US8219928B2 (en) | 2005-07-28 | 2012-07-10 | Sony Corporation | Reproduction device and display control method |
| US10901572B2 (en) | 2005-07-28 | 2021-01-26 | Sony Corporation | Reproduction device and display control method |
| US10642447B2 (en) | 2005-07-28 | 2020-05-05 | Sony Corporation | Reproduction device and display control method |
| JP2007049332A (ja) * | 2005-08-09 | 2007-02-22 | Sony Corp | 記録再生装置および記録再生方法、並びに、記録装置および記録方法 |
| US8830247B2 (en) | 2006-05-24 | 2014-09-09 | Nec Display Solutions, Ltd. | Image displaying device having image cache memory |
| JP2008016930A (ja) * | 2006-07-03 | 2008-01-24 | Sony Corp | 表示制御装置および方法、並びにプログラム |
| JP2008273637A (ja) * | 2007-04-25 | 2008-11-13 | Mitsubishi Electric Building Techno Service Co Ltd | エレベーターの防犯録画装置 |
| JP2008004116A (ja) * | 2007-08-02 | 2008-01-10 | Hitachi Ltd | 映像中の文字検索方法及び装置 |
| JP2010010908A (ja) * | 2008-06-25 | 2010-01-14 | Hitachi Systems & Services Ltd | 管理サーバ及びビデオコンテンツ処理方法 |
| EP2246807A1 (en) | 2009-04-30 | 2010-11-03 | Sony Corporation | Information processing apparatus and method, and program |
| WO2010125962A1 (ja) | 2009-04-30 | 2010-11-04 | ソニー株式会社 | 表示制御装置、表示制御方法、及び、プログラム |
| US8457469B2 (en) | 2009-04-30 | 2013-06-04 | Sony Corporation | Display control device, display control method, and program |
| US8503770B2 (en) | 2009-04-30 | 2013-08-06 | Sony Corporation | Information processing apparatus and method, and program |
| JP2011010007A (ja) * | 2009-06-25 | 2011-01-13 | Sony Corp | 電子機器、画像出力方法及びプログラム |
| JP2011035837A (ja) * | 2009-08-05 | 2011-02-17 | Toshiba Corp | 電子機器および画像データの表示方法 |
| JP2011217183A (ja) * | 2010-03-31 | 2011-10-27 | Toshiba Corp | 電子機器、画像出力方法及びプログラム |
| US8988457B2 (en) | 2010-03-31 | 2015-03-24 | Kabushiki Kaisha Toshiba | Multi image-output display mode apparatus and method |
| JP2012044390A (ja) * | 2010-08-18 | 2012-03-01 | Nippon Telegr & Teleph Corp <Ntt> | 映像要約装置および映像要約プログラム |
| JP5886839B2 (ja) * | 2011-05-23 | 2016-03-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路 |
| JP2012256105A (ja) * | 2011-06-07 | 2012-12-27 | Sony Corp | 表示装置、オブジェクト表示方法、及びプログラム |
| JP2012010405A (ja) * | 2011-09-28 | 2012-01-12 | Toshiba Corp | 電子機器、画像データの表示方法およびプログラム |
| JP2017191609A (ja) * | 2017-04-14 | 2017-10-19 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP2022529225A (ja) * | 2019-04-04 | 2022-06-20 | グーグル エルエルシー | ビデオ時間調節アンカー |
| JP7350883B2 (ja) | 2019-04-04 | 2023-09-26 | グーグル エルエルシー | ビデオ時間調節アンカー |
| US11823716B2 (en) | 2019-04-04 | 2023-11-21 | Google Llc | Video timed anchors |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1045316A3 (en) | 2006-02-08 |
| EP1045316A2 (en) | 2000-10-18 |
| JP4227241B2 (ja) | 2009-02-18 |
| US6704029B1 (en) | 2004-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4227241B2 (ja) | 画像処理装置及び方法 | |
| EP1459212B1 (en) | Moving image data management apparatus | |
| US6587637B2 (en) | Image retrieving method and apparatuses therefor | |
| US7123264B2 (en) | Moving image management apparatus and method | |
| EP1168840A2 (en) | Method and apparatus for special video reproduction modes | |
| US6154218A (en) | Method for generating, managing and displaying information retrieval data on information processing system | |
| US20040263529A1 (en) | Authoring device and authoring method | |
| US20080031586A1 (en) | Video apparatus and method | |
| JP2000299829A5 (ja) | ||
| JPH0993588A (ja) | 動画像処理方法 | |
| JPH0390968A (ja) | 動画像ダイジェスト自動生成方式 | |
| US8311393B2 (en) | Image editing apparatus and method | |
| JP3897476B2 (ja) | 画像処理装置及びその方法、コンピュータ可読メモリ | |
| JP4323601B2 (ja) | 画像処理システム及び画像処理方法 | |
| JP2001054607A (ja) | ゴルフスイングフォーム記録再生装置 | |
| JP2005318618A (ja) | 動画像管理装置及び方法 | |
| JP3882396B2 (ja) | 動画処理装置及び記録媒体 | |
| JP2000242649A (ja) | 画像検索装置および画像検索方法ならびにこの方法を記録した記録媒体 | |
| JP2004088313A (ja) | 動画像整理方法および装置、動画像再生方法および装置並びにプログラム | |
| JP2003009070A (ja) | 動画記録装置、動画記録方法、動画再生装置、動画記録再生方法、プログラムおよび記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060413 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060413 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20060413 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060413 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080724 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080801 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081121 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081128 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
| S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |