JP2002223412A - 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラムソフトウェア - Google Patents
画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラムソフトウェアInfo
- Publication number
- JP2002223412A JP2002223412A JP2001018785A JP2001018785A JP2002223412A JP 2002223412 A JP2002223412 A JP 2002223412A JP 2001018785 A JP2001018785 A JP 2001018785A JP 2001018785 A JP2001018785 A JP 2001018785A JP 2002223412 A JP2002223412 A JP 2002223412A
- Authority
- JP
- Japan
- Prior art keywords
- image
- representative
- partial moving
- images
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
識することが可能な画像処理装置を提供する。 【解決手段】 対象動画を部分動画に分割し(15
1)、当該分割された部分動画から代表画像を抽出し
(153)、上記分割された部分動画を統合し(15
2)、上記抽出された代表画像に基づいて上記統合され
た統合部分動画の代表画像を生成する(154)。
Description
理するコンピュータやビデオ録画装置等に用いられる、
画像処理装置、画像処理システム、画像処理方法、それ
を実施するための処理ステップをコンピュータが読出可
能に格納した記憶媒体、及びソフトウェアに関するもの
である。
形成することが多い。ここでは、以下の説明において混
乱を避けるために、動画の階層構造に関する主なる用語
について、次のように定義する。 ・撮影を中断せずに一台のカメラで撮影して得られた一
連の動画像を「ショット」と言う。 ・動画像の構成や内容の連続性等に基づいて複数の「シ
ョット」を統合したもの、あるいは、1つの場面を複数
のカメラで撮影して得られた複数の「ショット」を統合
したものを「シーン」と言う。また、複数のシーンを統
合したものも同じく「シーン」と言う。 ・パンやズーム等のカメラの動きを考慮して「ショッ
ト」を分割、あるいは、写っている物体の出入りを考慮
して「ショット」を分割したものを「サブシヨット」と
言う。
検索や編集等を行う画像処理装置として、例えば、特開
平5−30464号や特開平5−282379号等で提
案された装置がある。このような画像処理装置では、動
画を階層構造として画面表示し、当該表示画面上から動
画の検索や編集等を行えるようになされている。
画を階層構造として表示した画面を示したものである。
上記図15において、“705”は、シーンの代表画像
を示し、“704”は、当該シーンに含まれるショット
の代表画像を示し、“701”〜“703”は、当該シ
ョットに含まれるサブショットの代表画像を示す。
や、ショット及びシーンを代表するフレームを1つだけ
選び、そのフレーム(代表フレーム)の縮小画像を用い
ている。代表フレームの選択方法としては、例えば、シ
ョットやシーンの先頭のフレームを自動的に選択する方
法や、ユーザから指定されたフレームを代表フレームと
する方法等が提案されている。
形成する方法としては、例えば、「繰り返しショットの
統合による階層化アイコンを用いたビデオ・インターフ
ェース」(情報処理学会論文誌:Vo1.39、No.
5,1998)等に記載された方法がある。この方法で
は、ドラマ等で複数の人間が対話するシーンでは各発話
者をアップにしたショットが発話毎に切り替わり同一シ
ーン中に類似するショットが複数回出現する、という規
則性を利用して、自動的にショットをシーンに統合する
ようになされている。
たような従来の画像処理装置及び方法では、動画を階層
構造として画面表示するために、シーンやショットの代
表フレームを1枚だけを選択しても、その代表フレーム
が、当該シーンやショットの内容を十分に表現している
とは言えなかった。このため、あるシーン或いはショッ
トの内容を把握するためには、それ下位のノードの代表
フレームを見なければならなかった。
形成されたシーンが、例えば、対話シーンである場合、
統合して得られた当該シーンの代表フレームとして、発
話者の1人のみが存在するフレームが選択される場合が
あった。このため、この代表フレームからは、対話シー
ンであるということが把握できない場合があった。
は、人間が存在しないショットに比べて重要なショット
であることが一般的であるが、任意のショットの代表フ
レームを選択するようにすると、人間が存在しないショ
ットの代表フレームが選択される場合があった。これ
は、シーンの内容を十分に代表していない。
在する場合、これを縮小して画面表示することになるた
め、当該表示画面上で、誰が出現しているのか識別しづ
らかった。
ために成されたもので、動画が階層構造として表示され
た画面から、各階層の動画(部分動画)の内容を容易に
且つ正確に認識することが可能な、画像処理装置、画像
処理システム、画像処理方法、、上記画像処理の処理ス
テップをコンピュータに実行させるためのプログラムが
記憶された記憶媒体、及び上記画像処理方法をコンピュ
ータに実行させるためのプログラムソフトウェアを提供
することを目的とする。
第1の発明は、動画を処理する画像処理装置であって、
対象動画を部分動画に分割する分割手段と、上記分割
手段で得られた部分動画から代表画像を抽出する抽出手
段と、上記分割手段で得られた部分動画を統合する統合
手段と、上記抽出手段で得られた代表画像に基づいて、
上記統合手段で得られた統合部分動画の代表画像を生成
する生成手段とを備えることを特徴とする。
上記統合部分動画を構成する複数の部分動画に対応する
代表画像から所定数以内の代表画像を選択する選択手段
を備え、上記生成手段は、上記選択手段で選択された代
表画像に基づいて、上記統合部分動画の代表画像の生成
を行うことを特徴とする。
上記選択手段は、上記複数の部分動画の再生時間に基づ
いて、上記代表画像の選択を行うことを特徴とする。
上記選択手段は、再生時間の長い代表画像を選択するこ
とを特徴とする。
上記統合手段は、上記部分動画の代表画像の類似性に基
づいて、上記部分動画の統合を行い、上記選択手段は、
類似する代表画像の組に対応した部分画像の再生時間の
合計に基づいて、上記代表画像の選択を行うことを特徴
とする。
上記選択手段は、上記代表画像中に所定画像の領域が存
在するか否かの判定に基づいて、上記代表画像の選択を
行い、上記生成手段は、上記選択手段で選択された代表
画像に基づいて、上記統合部分動画の代表画像の生成を
行うことを特徴とする。
上記所定画像の領域は、顔領域を含むことを特徴とす
る。
上記選択手段は、異なる上記所定画像の領域が存在する
か否かの判定に基づいて、上記代表画像の選択を行うこ
とを特徴とする。
上記生成手段は、上記選択手段で選択された代表画像に
存在する所定画像の向きに基づいて、上記統合部分動画
の代表画像の生成を行うことを特徴とする。
て、上記生成手段は、上記選択手段で選択された代表画
像に存在する所定画像の拡大画像に基づいて、上記統合
部分動画の代表画像の生成を行うことを特徴とする。
可能に接続されてなる画像処理システムであって、上記
複数の機器のうち少なくとも1つの機器は、請求項1〜
9の何れかに記載の画像処理装置の機能を有することを
特徴とする。
像処理方法であって、対象動画を部分動画に分割する分
割ステップと、上記分割ステップにより得られた部分動
画を代表する画像を抽出する抽出ステップと、上記分割
ステップにより得られた部分動画を統合する統合ステッ
プと、上記抽出ステップにより得られた代表画像に基づ
いて、上記統合ステップにより得られた統合部分動画の
代表画像を生成する生成ステップとを含むことを特徴と
する。
て、上記統合部分動画を構成する複数の部分動画に対応
する代表画像から所定数以内の代表画像を選択する選択
ステップを含み、上記生成ステップは、上記選択ステッ
プで選択された代表画像に基づいて、上記統合部分動画
の代表画像の生成を行うステップを含むことを特徴とす
る。
像処理方法であって、動画を時間的に部分動画に分割す
る分割ステップと、上記部分動画を代表する静止画像を
抽出する抽出するステップと、上記部分動画を任意の単
位で統合する統合ステップと、上記統合部分動画を代表
する静止画像を、上記統合前の部分動画の代表画像に基
づいて生成する生成ステップとを含むことを特徴とす
る。
て、上記統合ステップによる統合前の部分動画の代表画
像の中から所定数以内の代表画像を選択する選択ステッ
プを含み、上記生成ステップは、上記選択ステップによ
り選択された代表画像に基づいて、上記統合部分動画を
代表する静止画像を生成するステップを含むことを特徴
とする。
て、上記選択ステップは、上記統合前の部分動画の再生
時間に基づいて、上記代表画像の選択を行うステップを
含むことを特徴とする。
て、上記選択ステップは、上記統合前の部分動画の再生
時間が長いものから順に対応する代表画像を選択するス
テップを含むことを特徴とする。
て、上記統合ステップは、上記統合前の各部分動画の代
表画像の類似性に基づいて、上記部分動画の統合を行う
ステップを含み、上記選択ステップは、類似する代表画
像の組に対応した各部分動画の再生時間の合計の大きい
ものから順に類似する代表画像の組を選択するステップ
と、当該選択された代表画像の各組の中から代表画像を
1つずつ選択するステップとを含むことを特徴とする。
像処理方法であって、動画を時間的に部分動画に分割す
る分割ステップと、上記部分動画を代表する画像を抽出
する抽出ステップと、上記部分動画を統合する統合ステ
ップと、上記代表画像から特定のオブジェクト領域を検
出する検出ステップと、上記検出ステップでの検出結果
により、上記特定のオブジェクト領域が存在すると判定
された代表画像を優先的に、上記統合ステップにより統
合される前の各部分動画に対する代表画像の中から所定
数以下の代表画像を選択する選択ステップと、上記選択
ステップにより選択された代表画像に基づいて、上記統
合ステップにより統合された後の統合部分動画を代表す
る画像を生成する生成ステップとを含むことを特徴とす
る。
て、上記特定のオブジェクト領域は、顔領域を含み、上
記検出ステップは、上記顔領域の人物をも特定するステ
ップを含み、上記選択ステップは、異なる人物が存在す
る代表画像を優先的に選択するステップを含むことを特
徴とする。
て、上記検出ステップは、上記特定のオブジェクト領域
のオブジェクトの向きをも特定するステップを含み、上
記生成ステップは、上記特定のオブジェクトが存在する
各代表画像の特定のオブジェクトの向きが中心を向いた
状態の画像を、上記統合部分動画の代表画像として生成
するステップを含むことを特徴とする。
像処理方法であって、動画を時間的に部分動画に分割す
る分割ステップと、上記部分動画を代表する画像を抽出
する抽出ステップと、上記代表画像中の特定のオブジェ
クト領域を検出する検出ステップと、上記部分動画を統
合する統合ステップと、上記統合ステップにより統合さ
れる前の各部分動画に対する代表画像の中から、上記統
合ステップによる統合部分動画に対する代表画像を選択
する選択ステップと、上記選択ステップにより選択され
た代表画像に基づいて、上記統合部分動画を代表する画
像を生成する生成ステップとを含み、上記生成ステップ
は、上記検出ステップにより、上記代表画像に特定のオ
ブジェクト領域が存在する場合、当該特定のオブジェク
ト領域を拡大した部分画像から上記統合部分動画に対す
る代表画像を生成するステップを含むことを特徴とす
る。
に記載の画像処理装置の機能、又は請求項11記載の画
像処理システムの機能をコンピュータに実現させるため
のプログラムをコンピュータ読出可能な記憶媒体に記録
したことを特徴とする。
かに記載の画像処理方法の処理ステップをコンピュータ
に実行させるためのプログラムをコンピュータ読出可能
な記憶媒体に記録したことを特徴とする。
に記載の画像処理装置の機能、又は請求項11記載の画
像処理システムの機能をコンピュータに実現させるため
のプログラムソフトウェアを特徴とする。
かに記載の画像処理方法をコンピュータに実行させるた
めのプログラムソフトウェアを特徴とする。
て図面を用いて説明する。
処理装置100に適用される。本実施の形態の画像処理
装置100は、上記図1に示すように、CPU101、
ROM102、RAM103、CD−ROMドライブ1
04、HDドライブ106、キーボード107、ディス
プレイ108、マウス109、及びプリンタ110が、
システムバス111を介して互いに通信可能なように接
続された構成としている。
の動作制御を司るものであり、例えば、ROM102等
に予め記憶された処理プログラムを読み出して実行する
ことで、図2に示すような機能を実現する。すなわち、
画像処理装置100は、上記図2に示すように、処理対
象動画を時間的に分割する動画分割部151と、動画分
割部151で得られた部分動画を代表する画像(代表画
像)を抽出する代表画像抽出部153と、動画分割部1
51で得られた一連の部分動画を意味的にまとまりのあ
る部分動画として統合する部分動画統合152と、代表
画像抽出部153で得られた代表画像(部分動画統合1
52での統合前の部分画像の代表画像)の中から人物
(顔)が存在する画像を優先的に規定枚数選択する代表
画像選択部155と、代表画像選択部155で選択され
た代表画像に基づいて部分動画統合152での統合後の
部分動画(統合部分動画)の代表画像を作成する代表画
像作成部154とを備えている。
うに、CPU101での動作制御に必要な処理プログラ
ム(制御手順プログラム)102a等が格納されてい
る。
に、基本I/Oプログラムの格納領域103a及びオペ
レーションシステムプログラムの格納領域103bと共
に、動画検索プログラムの格納領域103c、動画デー
タベース103d、ショット情報の格納領域103e、
シーン統合情報の格納領域103f、及び代表画像分類
情報の格納領域103g等を含んでいる。
れる動画検索プログラムは、例えば、図5に示すよう
に、CD−ROM105に記憶されている。したがっ
て、図6に示すように、動画検索プログラム105aが
記憶されたCD−ROM105が、画像処理装置100
のCD−ROMドライブ104にセットされることで、
動画検索プログラム105aは、上記図4に示したよう
に、RAM103の格納領域103cへ格納(ロード)
されることになる。
3へ格納されCPU101から実行可能状態となると、
これと同時に、RAM103の格納領域103eへのシ
ョット情報の格納等が、HDドライブ106から行なわ
れる。また、動画検索プログラム105aの実行で使用
されるメモリとしてのRAM103の動画データベース
103dの確保や、RAM103のシーン統合情報用の
格納領域103f及び代表画像分類情報用の格納領域1
03g等の確保が行なわれる。
に格納されたショット情報を示したものである。ショッ
ト情報は、動画データベース103dに格納されている
動画に対するショットの情報を含んでいる。具体的には
例えば、ショット情報は、ショットを一意に識別するた
めのショットID、動画中における開始位置を示す開始
時間、ショットの時間の長さを表すショット時間、ショ
ットを代表する画像のファイル名、ショット中に出現す
る人物のID、及びショット中の人物の顔の向きを表す
顔方向の情報を含んでいる。
に格納されたシーン統合情報を示したものである。シー
ン統合情報は、類似するショットを統合するための情報
を含んでいる。具体的には例えば、シーン統合情報は、
対象ショットを識別するためのショットID、対象ショ
ットに類似するショットのショットID、当該類似する
ショットの時間の合計時間、当該類似するショットの中
で最も長いショットを示す最長ショットID、及び当該
類似するショットに出現する人物の情報を含んでいる。
に格納された代表画像分類情報を示したものである。代
表画像分類情報は、統合されたショットの代表画像を選
択する際に使用され、シーン統合情報を人物別にまとめ
た情報を含んでいる。具体的には例えば、代表画像分類
情報は、対象人物を識別するための人物の情報、対象人
物が出現する類似のショットのID、対象人物が出現す
る時間の合計時間、及び最も長く人物が出現するショッ
トを示す最長ショットIDを含んでいる。
動作を示したものである。例えば、CPU101は、図
10〜図13のフローチャートに従った処理プログラム
(制御手順プログラム)をROM102から読み出して
実行する。これにより、画像処理装置100は、次のよ
うに動作する。
を介して、CD−ROM105に格納された動画検索プ
ログラム等をRAM103へロードすると共に、HDド
ライブ106から対象動画及びショット情報等をRAM
103へロードする。また、CPU101は、RAM1
03に対して、シーン統合情報及び代表画像分類情報等
の格納領域を確保し、必要な初期化処理を実行する。
PU101は、キーボード107或いはマウス109に
よるユーザ指示に従って、処理を分岐させる(ステップ
S102)。すなわち、CPU101は、ユーザから動
画検索の指示がなされた場合にはステップS103の処
理を実行し、ユーザから動画登録の指示がなされた場合
にはステップS104の処理を実行する。
U101は、RAM103の動画データベース103d
に格納された対象動画の中から、ユーザが所望するシー
ン(ユーザから指定されたシーン)を検索する処理を実
行する。
図15に示したような動画像の階層構造の画面を、ディ
スプレイ108へ表示させる。これにより、ユーザは、
ディスプレイ108の表示画面から、キーボード107
或いはマウス109を用いて、所望するシーンの代表画
像を検索指示する。
開平5−30464号等に記載された方法や、任意の方
法を適用可能である。ただし、特開平5−30464号
等に記載された処理が、シーンを代表する画像として、
シーン中のフレームを直接使用している構成であるのに
対して、本実施の形態では、後述するステップS104
で作成されるシーンの代表画像を使用する。
登録処理は、CPU101により実現される上記図2に
示した構成により、指定された動画像をRAM103の
動画データベース103dへ登録する処理である。図1
1は、当該動画登録処理を示したものである。
対象動画(指定動画)を先頭から解析して、シーンチェ
ンジ(ショットの切り替わり)を検出し、その検出結果
の情報をショット情報として、RAM103の格納領域
103e(上記図7参照)に格納する。シーンチェンジ
の検出方法としては、例えば、特開平5−30464号
等に記載されているような、フレーム間の変化量の大き
さから、ショットとショットの境界を検出する方法を適
用可能である。
に格納されるショット情報は、ショットID、開始時
間、及びショット時間のみの情報である。ショットID
としては、使用されているショットIDの最大値に
“1”を加えた値を用いる。開始時間及びショット時間
については、シーンチェンジが検出されるフレームの、
動画先頭からのフレーム番号から自動的に求めることが
可能である。
ジ(ショットの切り替わり)が検出された場合、或いは
処理が対象動画の末尾に到達した場合に、次のステップ
S202へ進む。
は、ステップS201で動画分割部151により検出さ
れたショットに対するキーフレーム(部分動画を代表す
るフレーム)を抽出する。キーフレームの抽出方法とし
ては、例えば、ショットの先頭や中心、或いは末尾等、
ショットの位置を指定することによって、ショットのキ
ーフレームを決定する方法を適用可能である。
抽出後、そのキーフレームの画像情報をファイルとして
保持するために、そのファイル名を、ショット情報の代
表画像ファイル名として、RAM103の格納領域10
3eに格納する。ここでのファイル名としては、上記図
7に示されるように、例えば、ショットID=“10
0”のショットに関しては、そのショットIDを利用し
て、ファイル名=“100.bmp”とすることで、フ
ァイル名の重複を避けることができる。
て、ステップS201及びステップS202の処理を実
行し終えるまで、ステップS201及びステップS20
2の処理を繰り返し実行する。そして、対象画像の全て
に対して、ステップS201及びステップS202の処
理を実行し終えた場合に、すなわち動画の末尾まで処理
が到達した場合に、次のステップS204へ進む。
は、ステップS202において代表画像抽出部153に
より抽出されたキーフレームの類似性に基づいて、複数
のショットをまとめて1つのシーンとして統合し、その
統合結果をシーン統合情報として、RAM103の格納
領域103f(上記図8参照)に格納する。ここでのシ
ーン統合処理方法については、例えば、「繰り返しショ
ットの統合による階層化アイコンを用いたビデオ・イン
ターフェース」(情報処理学会論文誌:Vo1.39,
No.5,1998)等に記載された方法を適用可能で
ある。
実行した統合に関する一時的な情報であり、本ステップ
S204の実行前に、最初に必ず初期化されるようにな
されている。例えば、本ステップS204の処理実行
後、上記図7に示したショット情報に対して、上記図8
に示したようなシーン統合情報が得られる。ただし、当
該シーン統合情報として格納される情報としては、類似
ID、ショットID、合計時間、及び最長ショットID
のみの情報であり、人物の情報は含まれない。
は、詳細は後述するが、ステップS204で部分動画統
合部152により得られたシーンを代表するフレーム画
像を、ステップS202で代表画像抽出部153により
得られたショットのキーフレーム(統合前のショットの
キーフレーム)の中から2枚選択する。
は、詳細は後述するが、ステップS205で代表画像選
択部155により得られた2枚のキーフレームに基づい
て、ステップS204で部分動画統合152により得ら
れたシーンの代表フレーム(代表画像)を作成する。
て、ステップS204〜ステップS206の処理を実行
し終えるまで、ステップS204〜ステップS206の
処理を繰り返し実行する。そして、対象画像の全てに対
して、ステップS204〜ステップS206の処理を実
行し終えた場合に、すなわち動画の末尾まで処理が到達
した場合に、本処理終了となる。
図12は、代表画像選択部155による代表画像選択処
理を示したものである。
は、RAM103の格納領域103fに格納されたシー
ン統合情報に含まれるショットIDにより示されるショ
ットのキーフレームに対して、当該フレームに存在する
人物の顔領域を推定し、その人物と顔の方向を特定し、
その結果をショット情報としてRAM103の格納領域
103e(上記図7参照)に格納すると共に、RAM1
03の格納領域103f(上記図8参照)のシーン統合
情報を更新する。人物の顔領域を推定して当該人物を特
定する方法としては、例えば、特開平9−251534
号等に記載されている方法を適用可能である。また、顔
の方向を特定する方法としては、例えば、特開平9−2
51534号等に記載されているような、人物の顔を上
下左右等の様々な向きから撮った画像を辞書画像として
用意しておく方法が適用可能である。
格納領域103eのショット情報において、顔領域の情
報が示されていないが、当該ショット情報のショットI
Dに対しては、キーフレームに存在する人物の顔領域を
矩形で表現したときの当該矩形を示す2点の座標の情報
が対応付けられている。また、上記図7に示したショッ
ト情報の格納領域103e、及び上記図8に示したシー
ン統合情報の格納領域103fが、本ステップS301
の処理後の状態である。上記図8において、例えば、類
似ID=“5”に対する人物の情報の欄が空欄であるの
は、そのショットに人物が存在しないことを意味する。
は、代表フレーム(代表画像)を選択するために、RA
M103の格納領域103e及び格納領域103fに格
納されたショット情報及びシーン統合情報に基づいて、
RAM103の格納領域103gに格納する代表画像分
類情報を生成する。
AM103の格納領域103fに格納されたシーン統合
情報の先頭から順番に、対象類似IDの情報を取得し、
その人物に対する代表画像分類情報を生成する。すなわ
ち、対象人物が代表画像分類情報に登録されていなけれ
ば、RAM103の格納領域103g(上記図9参照)
において、新たに、代表画像分類情報に対してエントリ
を生成し、これに対応する類似IDを格納し、当該類似
IDに対応させて合計時間及び最長ショットIDを格納
する。一方、対象人物が代表画像分類情報に登録されて
いれば、RAM103の格納領域103gにおいて、対
象人物に対して、類似IDを追加し、合計時間を加算
し、最長ショットIDの大小を比較して、必要に応じて
最長ショットIDの更新を行う。また、対象類似IDの
情報に対して人物の情報が含まれていない場合、RAM
103の格納領域103gにおいて、人物の情報欄は空
欄にし、類似ID及び合計時間最長ショットIDをその
まま格納する。
3の格納領域103eに格納されたショット情報、及び
上記図8に示したRAM103の格納領域103fに格
納されたシーン統合情報からは、上記図9に示したよう
な代表画像分類情報が生成される。
のシーンに1人しか出現していないものとしているが、
2人同時に出現している場合であっても、代表画像分類
情報の人物の欄には必ず1人の情報しか格納しないよう
に構成しているので、1つの類似シーンに対して出現す
る人数分、同様の処理を実行すればよい。ただし、この
場合、最長ショットIDとして、1人のみのショットが
選ばれるようにする。
は、上記図9の代表画像分類情報に基づいて、人物が出
現する代表画像を選択する。具体的には、代表画像選択
部155は、当該代表画像分類情報において、人物の情
報が存在する行で、且つ、合計時間が長い行から順番
に、各行のソーティングを行う。これにより、当該ソー
ティング後の代表画像分類情報の先頭の行から選択する
ことで、人物を優先的に、且つ、同一人物が重複して選
ばれないように、代表画像を選ぶことができる。また、
長時間出現する人物を優先的に代表画像として選ぶこと
もできる。
は、人物に基づいた代表画像の選択が終了したか否かを
判別する。具体的には例えば、代表画像選択部155
は、上記図9の代表画像分類情報において、人物のエン
トリーが規定枚数(ここでは“2”)以上あれば、代表
画像の選択が終わったものと判別して本処理を終了し、
そうでなければ次のステップS305へ進む。
は、上記図9の代表画像分類情報に基づいて、人物が出
現しないショットから代表画像を選択する。具体的には
例えば、代表画像選択部155は、上記図9の代表画像
分類情報において、人物の情報が存在しない行を合計時
間が長いものから順に並ぶようにソーティングを行う。
このとき、人物の情報欄に人物のIDが格納されている
行の位置は変更しないようにする。これにより、代表画
像分類情報の先頭から規定枚数(ここでは“2”)分の
行の最長ショットIDに対応した代表画像を選ぶことに
より、人物が出現しないショットに関しては、ショット
の時間が長いショットから代表画像が選ばれることにな
る。本ステップS305の処理の終了後、本処理終了と
なる。
図13は、代表画像作成部154による代表画像作成処
理を示したものである。
は、上記図9の代表画像分類情報の先頭から順番に一行
ずつの情報を取り出し、これに対応する代表画像を取り
出す。ここでは、最長ショットIDに対応した上記図7
に示したようなショット情報の代表画像ファイル名に示
される代表画像が取り出されることになる。これによ
り、人物が存在する代表画像が人物が存在しない代表画
像よりも優先され、それぞれの画像中で、ショットの合
計時間が長い画像の方が優先され、人物が重複すること
なく代表画像が取り出せることになる。
は、ステップS401で取り出した代表画像に人物が存
在しているか否かを判別する。具体的には例えば、代表
画像作成部154は、上記図7のショット情報の対象と
なる情報に人物の情報が含まれている場合(当該情報欄
が空欄でない場合)、人物が存在するものとして、次の
ステップS403へ進み、そうでない場合には、後述す
るステップS405へ進む。
は、ステップS401で取り出した代表画像を、統合さ
れたシーンの代表画像の中にはめ込む位置を決定する。
合前のショットの代表画像2枚を用いて、統合後のシー
ンの代表画像を作成する構成としているので、はめ込み
位置としては、左側と右側の2箇所としており、スナッ
ブS401で取り出した代表画像の人物の顔の向きによ
って、はめ込み位置を決定する。すなわち、最長ショッ
トIDに対応したショット情報中の顔方向が右であれ
ば、シーン統合後の代表画像の左側をはめ込み位置とし
て決定し、顔方向が左であれば、シーン統合後の代表画
像の右側をはめ込み位置として決定する。また、既には
め込まれている場合には、はめ込まれていないほうをは
め込み位置として決定する。この結果、例えば、2枚の
代表画像が、図14(a)に示されるような人物Aが存
在する画像、及び同図(b)に示されるような人物Bが
存在する画像である場合、同図(c)に示すように、人
物Aが左向きであることにより人物Aの代表画像は右側
に、人物Bが右向きであることにより人物Bの代表画像
を左側に、それぞれのめ込み位置を決定する。
は、ステップS403で決定したはめ込み位置に基づい
て、ステップS401で取り出した代表画像を、シーン
統合後の代表画像にはめ込む。このとき、上記図14
(c)に示すように、顔領域の部分を拡大してはめ込み
を行う。例えば、ショットの代表画像中の顔領域は、既
に矩形として求まっているので、はめ込み先のはめ込み
領域の形と顔領域の形(矩形)を勘案し、顔領域ができ
るだけ大きくなり、顔領域がはめ込み領域に収まる程度
に拡大、或いは縮小してはめ込みを行う。その後、後述
するステップS406へ進む。
別の結果、人物が存在しない場合、すなわち代表画像が
人物以外のショットの画像である場合、代表画像作成部
154は、当該代表画像をそのままシーン統合後の代表
画像にはめ込む。このときのはめ込み位置は、空いてい
るはめ込み位置から左から順番に選ぶ等、任意の規則で
選択するようにしてもよい。また、はめ込み領域の形に
合わせて、必要に応じて縮小を行って、はめ込みを行
う。その後、次のステップS406へ進む。
は、上記図9の代表画像分類情報の全ての情報に対し
て、規定枚数以上のショットの代表画像を取り出し終え
ている場合には本処理終了とし、そうでない場合には再
びステップS401へと戻る。
ステップS404の処理により、シーン統合後の代表画
像として、上記図14(c)に示したような画像が得ら
れることになる。すなわち、対話シーンでは、シーン統
合後の代表画像が、人物がお互いに向き合った状態で、
また、顔領域の部分がはめ込み領域のサイズに合わせて
はめ込まれた状態の画像となるので、対話シーンである
ということが容易に且つ明確に認識できる。
とはなく、以下のような形態をも含まれる。
が、外部記憶装置としてのCD−ROM105から、上
述したような画像処理装置100の機能を実施するため
の処理プログラム(動画検索プログラム)を直接RAM
103にロードして実行するように構成したが、これに
限られることはなく、CD−ROM105から当該処理
プログラムを一旦HDドライブ106に格納(インスト
ール)しておき、当該処理プログラムを動作させる時点
で、HDドライブ106からRAM103にロードする
ようにしてもよい。また、当該処理プログラムを記録す
る媒体としては、CD−ROM105に限られることは
なく、例えば、FD(フロッピー(登録商標)ディス
ク)やICメモリカード等であってもよい。また、当該
処理プログラムを、ROM102に記録しておき、これ
をメモリマップの一部となるように構成し、直接CPU
101で実行するように構成してもよい。
において、ステップS204では、ショットをまとめて
1つのシーンとして統合するために、ショットの代表フ
レームの類似性を利用して自動的に行うように構成した
が、これに限られることはなく、例えば、類似するショ
ットを人手で指定することで統合を行うようにしてもよ
い。
では、ステップS201でシーンチェンジを検出した後
に、対応するショットのキーフレームを抽出して代表画
像とするように構成したが、これに限られることはな
く、例えば、シーンチェンジを検出した後に、対応する
ショットを、ズームやパン等のカメラの動き等に基づい
て、サブショツトに分割し、その分割サブシヨットに対
してキーフレームを検出し、ステップS204〜ステッ
プS206と同様の処理を実行することで、サブシヨッ
トのキーフレームを合成してショットの代表画像を作成
するようにしてもよい。
において、ステップS207では、全てのショットに対
してシーンの統合が終了した場合に本処理終了とするよ
うに構成したが、これに限られることはなく、例えば、
さらに、階層を重ねてシーンとシーンの統合を行い、当
該統合後のシーンに対して、ステップS205及びステ
ップS206と同様の処理を実行して代表画像を作成す
るようにしてもよい。
像を、2つのショットの代表フレームとしたが、これに
限られることはなく、例えば、3つ以上のショットの代
表フレームとしてもよい。この場合、予め、使用する代
表フレームの個数に応じて、代表フレームをはめ込む領
域を決定する。例えば、4つの代表フレームを使用する
場合は、代表画像の上下左右の4分割した領域を用意し
ておく。
したステップS205の処理において、代表画像選択部
155が顔領域の存在を判定するように構成したが、こ
れに限られることはなく、例えば、同図に示したステッ
プS202の処理において、代表画像抽出部153が顔
領域の存在を判定するようにしてもよい。これにより、
より適切なキーフレームを抽出することができる。
スト及び端末の機能を実現するソフトウェアのプログラ
ムコードを記憶した記憶媒体を、システム或いは装置に
供給し、そのシステム或いは装置のコンピュータ(又は
CPUやMPU)が記憶媒体に格納されたプログラムコ
ードを読みだして実行することによっても、達成される
ことは言うまでもない。この場合、記憶媒体から読み出
されたプログラムコード自体が本実施の形態の機能を実
現することとなり、そのプログラムコードを記憶した記
憶媒体は本発明を構成することとなる。プログラムコー
ドを供給するための記憶媒体としては、ROM、フロッ
ピーディスク、ハードディスク、光ディスク、光磁気デ
ィスク、CD−ROM、CD−R、磁気テープ、不揮発
性のメモリカード等を用いることができる。また、コン
ピュータが読みだしたプログラムコードを実行すること
により、本実施の形態の機能が実現されるだけでなく、
そのプログラムコードの指示に基づき、コンピュータ上
で稼動しているOS等が実際の処理の一部又は全部を行
い、その処理によって本実施の形態の機能が実現される
場合も含まれることは言うまでもない。さらに、記憶媒
体から読み出されたプログラムコードが、コンピュータ
に挿入された拡張機能ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに書き込まれた後、
そのプログラムコードの指示に基づき、その機能拡張ボ
ードや機能拡張ユニットに備わるCPUなどが実際の処
理の一部又は全部を行い、その処理によって本実施の形
態の機能が実現される場合も含まれることは言うまでも
ない。
り画像の選択・分類・登録処理を行なっているが、人物
(顔)に限定されるものではい、様々なオブジェクト
(例えば、車、動物等)に対応できることは言うまでも
ない。
分動画を構成する複数の部分動画(統合前の部分動画)
の各代表画像に基づいて、統合部分動画の代表画像を生
成するように構成したので、当該代表画像により、統合
部分動画の内容を充分に表現できることが可能となる。
また、統合前の部分動画の再生時間に基づいて、統合部
分動画の代表画像の生成に使用する代表画像を選択する
ように構成すれば、一般的に、長いシーンのほうが短い
シーンよりも重要なシーンであると言われる当該シーン
を、明確に把握することができる。
用する代表画像を選択する際に、所定画像の領域(顔領
域等)が存在するものを優先的に代表画像として選択す
るように構成すれば、重要なショットを用いた代表画像
を生成することができる。このとき、さらに、異なる所
定画像のものを代表画像として選択するように構成すれ
ば、例えば、同一人物の顔領域が存在する代表画像が複
数選択されてしまうことを防ぐことができるため、でき
るだけ多くの登場人物が含まれる統合部分動画の代表画
像を作成することができ、統合部分動画の内容を十分に
表すことができる。また、所定画像の向き(登場人物の
顔の向き等)を考慮して、統合部分動画の作成を行うよ
うに構成した場合、対話シーン等の内容をより明確に表
現することができる。また、所定画像を拡大して統合部
分動画の代表画像を作成するように構成した場合、統合
前の部分動画の代表画像が縮小画像であっても、どのよ
うな登場人物が存在するか等、統合部分動画の内容を、
より明確に把握することができる。
画面表示するための装置或いはシステムに対して非常に
有効であり、当該階層構造の各階層の動画(部分動画)
の内容を容易に且つ正確に認識することができるように
なる。
ロック図である。
図である。
である。
である。
グラム等が記憶されたCD−ROMを説明するための図
である。
像処理装置へ供給されることを説明するための図であ
る。
図である。
の図である。
めの図である。
めのフローチャートである。
めのフローチャートである。
するためのフローチャートである。
するためのフローチャートである。
ーンの代表画像を説明するための図である。
めの図である。
Claims (26)
- 【請求項1】 動画を処理する画像処理装置であって、 対象動画を部分動画に分割する分割手段と、 上記分割手段で得られた部分動画から代表画像を抽出す
る抽出手段と、 上記分割手段で得られた部分動画を統合する統合手段
と、 上記抽出手段で得られた代表画像に基づいて、上記統合
手段で得られた統合部分動画の代表画像を生成する生成
手段とを備えることを特徴とする画像処理装置。 - 【請求項2】 上記統合部分動画を構成する複数の部分
動画に対応する代表画像から所定数以内の代表画像を選
択する選択手段を備え、 上記生成手段は、上記選択手段で選択された代表画像に
基づいて、上記統合部分動画の代表画像の生成を行うこ
とを特徴とする請求項1記載の画像処理装置。 - 【請求項3】 上記選択手段は、上記複数の部分動画の
再生時間に基づいて、上記代表画像の選択を行うことを
特徴とする請求項2記載の画像処理装置。 - 【請求項4】 上記選択手段は、再生時間の長い代表画
像を選択することを特徴とする請求項3記載の画像処理
装置。 - 【請求項5】 上記統合手段は、上記部分動画の代表画
像の類似性に基づいて、上記部分動画の統合を行い、 上記選択手段は、類似する代表画像の組に対応した部分
画像の再生時間の合計に基づいて、上記代表画像の選択
を行うことを特徴とする請求項2記載の画像処理装置。 - 【請求項6】 上記選択手段は、上記代表画像中に所定
画像の領域が存在するか否かの判定に基づいて、上記代
表画像の選択を行い、 上記生成手段は、上記選択手段で選択された代表画像に
基づいて、上記統合部分動画の代表画像の生成を行うこ
とを特徴とする請求項2記載の画像処理装置。 - 【請求項7】 上記所定画像の領域は、顔領域を含むこ
とを特徴とする請求項6記載の画像処理装置。 - 【請求項8】 上記選択手段は、異なる上記所定画像の
領域が存在するか否かの判定に基づいて、上記代表画像
の選択を行うことを特徴とする請求項6記載の画像処理
装置。 - 【請求項9】 上記生成手段は、上記選択手段で選択さ
れた代表画像に存在する所定画像の向きに基づいて、上
記統合部分動画の代表画像の生成を行うことを特徴とす
る請求項6記載の画像処理装置。 - 【請求項10】 上記生成手段は、上記選択手段で選択
された代表画像に存在する所定画像の拡大画像に基づい
て、上記統合部分動画の代表画像の生成を行うことを特
徴とする請求項6記載の画像処理装置。 - 【請求項11】 複数の機器が互いに通信可能に接続さ
れてなる画像処理システムであって、 上記複数の機器のうち少なくとも1つの機器は、請求項
1〜9の何れかに記載の画像処理装置の機能を有するこ
とを特徴とする画像処理システム。 - 【請求項12】 動画を処理するための画像処理方法で
あって、 対象動画を部分動画に分割する分割ステップと、 上記分割ステップにより得られた部分動画を代表する画
像を抽出する抽出ステップと、 上記分割ステップにより得られた部分動画を統合する統
合ステップと、 上記抽出ステップにより得られた代表画像に基づいて、
上記統合ステップにより得られた統合部分動画の代表画
像を生成する生成ステップとを含むことを特徴とする画
像処理方法。 - 【請求項13】 上記統合部分動画を構成する複数の部
分動画に対応する代表画像から所定数以内の代表画像を
選択する選択ステップを含み、 上記生成ステップは、上記選択ステップで選択された代
表画像に基づいて、上記統合部分動画の代表画像の生成
を行うステップを含むことを特徴とする請求項12記載
の画像処理方法。 - 【請求項14】 動画を処理するための画像処理方法で
あって、 動画を時間的に部分動画に分割する分割ステップと、 上記部分動画を代表する静止画像を抽出する抽出するス
テップと、 上記部分動画を任意の単位で統合する統合ステップと、 上記統合部分動画を代表する静止画像を、上記統合前の
部分動画の代表画像に基づいて生成する生成ステップと
を含むことを特徴とする画像処理方法。 - 【請求項15】 上記統合ステップによる統合前の部分
動画の代表画像の中から所定数以内の代表画像を選択す
る選択ステップを含み、 上記生成ステップは、上記選択ステップにより選択され
た代表画像に基づいて、上記統合部分動画を代表する静
止画像を生成するステップを含むことを特徴とする請求
項14記載の画像処理方法。 - 【請求項16】 上記選択ステップは、上記統合前の部
分動画の再生時間に基づいて、上記代表画像の選択を行
うステップを含むことを特徴とする請求項15記載の画
像処理方法。 - 【請求項17】 上記選択ステップは、上記統合前の部
分動画の再生時間が長いものから順に対応する代表画像
を選択するステップを含むことを特徴とする請求項16
記載の画像処理方法。 - 【請求項18】 上記統合ステップは、上記統合前の各
部分動画の代表画像の類似性に基づいて、上記部分動画
の統合を行うステップを含み、 上記選択ステップは、類似する代表画像の組に対応した
各部分動画の再生時間の合計の大きいものから順に類似
する代表画像の組を選択するステップと、当該選択され
た代表画像の各組の中から代表画像を1つずつ選択する
ステップとを含むことを特徴とする請求項16記載の画
像処理方法。 - 【請求項19】 動画を処理するための画像処理方法で
あって、 動画を時間的に部分動画に分割する分割ステップと、 上記部分動画を代表する画像を抽出する抽出ステップ
と、 上記部分動画を統合する統合ステップと、 上記代表画像から特定のオブジェクト領域を検出する検
出ステップと、 上記検出ステップでの検出結果により、上記特定のオブ
ジェクト領域が存在すると判定された代表画像を優先的
に、上記統合ステップにより統合される前の各部分動画
に対する代表画像の中から所定数以下の代表画像を選択
する選択ステップと、 上記選択ステップにより選択された代表画像に基づい
て、上記統合ステップにより統合された後の統合部分動
画を代表する画像を生成する生成ステップとを含むこと
を特徴とする画像処理方法。 - 【請求項20】 上記特定のオブジェクト領域は、顔領
域を含み、 上記検出ステップは、上記顔領域の人物をも特定するス
テップを含み、 上記選択ステップは、異なる人物が存在する代表画像を
優先的に選択するステップを含むことを特徴とする請求
項19記載の画像処理方法。 - 【請求項21】 上記検出ステップは、上記特定のオブ
ジェクト領域のオブジェクトの向きをも特定するステッ
プを含み、 上記生成ステップは、上記特定のオブジェクトが存在す
る各代表画像の特定のオブジェクトの向きが中心を向い
た状態の画像を、上記統合部分動画の代表画像として生
成するステップを含むことを特徴とする請求項19記載
の画像処理方法。 - 【請求項22】 動画を処理するための画像処理方法で
あって、 動画を時間的に部分動画に分割する分割ステップと、 上記部分動画を代表する画像を抽出する抽出ステップ
と、 上記代表画像中の特定のオブジェクト領域を検出する検
出ステップと、 上記部分動画を統合する統合ステップと、 上記統合ステップにより統合される前の各部分動画に対
する代表画像の中から、上記統合ステップによる統合部
分動画に対する代表画像を選択する選択ステップと、 上記選択ステップにより選択された代表画像に基づい
て、上記統合部分動画を代表する画像を生成する生成ス
テップとを含み、 上記生成ステップは、上記検出ステップにより、上記代
表画像に特定のオブジェクト領域が存在する場合、当該
特定のオブジェクト領域を拡大した部分画像から上記統
合部分動画に対する代表画像を生成するステップを含む
ことを特徴とする画像処理装置。 - 【請求項23】 請求項1〜10の何れかに記載の画像
処理装置の機能、又は請求項11記載の画像処理システ
ムの機能をコンピュータに実現させるためのプログラム
を記録したコンピュータ読出可能な記憶媒体。 - 【請求項24】 請求項12〜22の何れかに記載の画
像処理方法の処理ステップをコンピュータに実行させる
ためのプログラムを記録したコンピュータ読取可能な記
憶媒体。 - 【請求項25】 請求項1〜10の何れかに記載の画像
処理装置の機能、又は請求項11記載の画像処理システ
ムの機能をコンピュータに実現させるためのプログラム
ソフトウェア。 - 【請求項26】 請求項12〜22の何れかに記載の画
像処理方法をコンピュータに実行させるためのプログラ
ムソフトウェア。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001018785A JP4536940B2 (ja) | 2001-01-26 | 2001-01-26 | 画像処理装置、画像処理方法、記憶媒体、及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001018785A JP4536940B2 (ja) | 2001-01-26 | 2001-01-26 | 画像処理装置、画像処理方法、記憶媒体、及びコンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002223412A true JP2002223412A (ja) | 2002-08-09 |
JP2002223412A5 JP2002223412A5 (ja) | 2008-03-13 |
JP4536940B2 JP4536940B2 (ja) | 2010-09-01 |
Family
ID=18884755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001018785A Expired - Fee Related JP4536940B2 (ja) | 2001-01-26 | 2001-01-26 | 画像処理装置、画像処理方法、記憶媒体、及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4536940B2 (ja) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2003088665A1 (ja) * | 2002-04-12 | 2005-08-25 | 三菱電機株式会社 | メタデータ編集装置、メタデータ再生装置、メタデータ配信装置、メタデータ検索装置、メタデータ再生成条件設定装置、及びメタデータ配信方法 |
JP2005352718A (ja) * | 2004-06-10 | 2005-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 代表画像選択装置,代表画像選択方法および代表画像選択プログラム |
JP2006054872A (ja) * | 2004-08-02 | 2006-02-23 | Microsoft Corp | スマートメディアコンテンツサムネイル抽出のシステムおよび方法 |
JP2007266655A (ja) * | 2006-03-27 | 2007-10-11 | Sanyo Electric Co Ltd | サムネイル生成装置及び撮像装置 |
JP2008148121A (ja) * | 2006-12-12 | 2008-06-26 | Yahoo Japan Corp | 動画要約自動作成装置、方法、及びコンピュータ・プログラム |
JP2009044423A (ja) * | 2007-08-08 | 2009-02-26 | Univ Of Electro-Communications | シーン検出システム及びシーン検出方法 |
JP2010039724A (ja) * | 2008-08-04 | 2010-02-18 | Sony Corp | 画像処理装置、撮像装置、画像処理方法およびプログラム |
WO2010109943A1 (ja) * | 2009-03-25 | 2010-09-30 | 日本ビクター株式会社 | サムネイル生成装置及びサムネイル生成方法 |
US8000558B2 (en) | 2006-03-27 | 2011-08-16 | Sanyo Electric Co., Ltd. | Thumbnail generating apparatus and image shooting apparatus |
JP2011244155A (ja) * | 2010-05-17 | 2011-12-01 | Toshiba Corp | 電子機器及び画像処理プログラム |
JP2012004713A (ja) * | 2010-06-15 | 2012-01-05 | Canon Inc | 画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体 |
WO2012016370A1 (en) * | 2010-08-02 | 2012-02-09 | Peking University | Representative motion flow extraction for effective video classification and retrieval |
US8196032B2 (en) | 2005-11-01 | 2012-06-05 | Microsoft Corporation | Template-based multimedia authoring and sharing |
US8270806B2 (en) | 2008-10-29 | 2012-09-18 | Canon Kabushiki Kaisha | Information processing apparatus and method of controlling same |
JP2012235492A (ja) * | 2012-07-04 | 2012-11-29 | Toshiba Corp | 電子機器および再生方法 |
US8866900B2 (en) | 2008-11-12 | 2014-10-21 | Canon Kabushiki Kaisha | Information processing apparatus and method of controlling same |
US9053754B2 (en) | 2004-07-28 | 2015-06-09 | Microsoft Technology Licensing, Llc | Thumbnail generation and presentation for recorded TV programs |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7116716B2 (en) | 2002-11-01 | 2006-10-03 | Microsoft Corporation | Systems and methods for generating a motion attention model |
US8180826B2 (en) | 2005-10-31 | 2012-05-15 | Microsoft Corporation | Media sharing and authoring on the web |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10257436A (ja) * | 1997-03-10 | 1998-09-25 | Atsushi Matsushita | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 |
JPH11120353A (ja) * | 1997-10-16 | 1999-04-30 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
JPH11242542A (ja) * | 1998-02-25 | 1999-09-07 | Mitsubishi Electric Corp | 要約作成表示装置 |
-
2001
- 2001-01-26 JP JP2001018785A patent/JP4536940B2/ja not_active Expired - Fee Related
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2003088665A1 (ja) * | 2002-04-12 | 2005-08-25 | 三菱電機株式会社 | メタデータ編集装置、メタデータ再生装置、メタデータ配信装置、メタデータ検索装置、メタデータ再生成条件設定装置、及びメタデータ配信方法 |
JP2005352718A (ja) * | 2004-06-10 | 2005-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 代表画像選択装置,代表画像選択方法および代表画像選択プログラム |
US9053754B2 (en) | 2004-07-28 | 2015-06-09 | Microsoft Technology Licensing, Llc | Thumbnail generation and presentation for recorded TV programs |
JP2006054872A (ja) * | 2004-08-02 | 2006-02-23 | Microsoft Corp | スマートメディアコンテンツサムネイル抽出のシステムおよび方法 |
US8196032B2 (en) | 2005-11-01 | 2012-06-05 | Microsoft Corporation | Template-based multimedia authoring and sharing |
JP4637045B2 (ja) * | 2006-03-27 | 2011-02-23 | 三洋電機株式会社 | 撮像装置 |
JP2007266655A (ja) * | 2006-03-27 | 2007-10-11 | Sanyo Electric Co Ltd | サムネイル生成装置及び撮像装置 |
US8000558B2 (en) | 2006-03-27 | 2011-08-16 | Sanyo Electric Co., Ltd. | Thumbnail generating apparatus and image shooting apparatus |
JP2008148121A (ja) * | 2006-12-12 | 2008-06-26 | Yahoo Japan Corp | 動画要約自動作成装置、方法、及びコンピュータ・プログラム |
JP2009044423A (ja) * | 2007-08-08 | 2009-02-26 | Univ Of Electro-Communications | シーン検出システム及びシーン検出方法 |
JP2010039724A (ja) * | 2008-08-04 | 2010-02-18 | Sony Corp | 画像処理装置、撮像装置、画像処理方法およびプログラム |
US8269857B2 (en) | 2008-08-04 | 2012-09-18 | Sony Corporation | Image processing device, imaging apparatus, image-processing method, and program for face detection, discrimination and file entry correlation |
JP4636135B2 (ja) * | 2008-08-04 | 2011-02-23 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
US8270806B2 (en) | 2008-10-29 | 2012-09-18 | Canon Kabushiki Kaisha | Information processing apparatus and method of controlling same |
US8866900B2 (en) | 2008-11-12 | 2014-10-21 | Canon Kabushiki Kaisha | Information processing apparatus and method of controlling same |
US8849093B2 (en) | 2009-03-25 | 2014-09-30 | JVC Kenwood Coorporation | Thumbnail generating apparatus and thumbnail generating method |
JP2010226572A (ja) * | 2009-03-25 | 2010-10-07 | Victor Co Of Japan Ltd | サムネイル生成装置、サムネイル生成方法、及びサムネイル生成プログラム |
JP4640515B2 (ja) * | 2009-03-25 | 2011-03-02 | 日本ビクター株式会社 | サムネイル生成装置、サムネイル生成方法、及びサムネイル生成プログラム |
WO2010109943A1 (ja) * | 2009-03-25 | 2010-09-30 | 日本ビクター株式会社 | サムネイル生成装置及びサムネイル生成方法 |
JP2011244155A (ja) * | 2010-05-17 | 2011-12-01 | Toshiba Corp | 電子機器及び画像処理プログラム |
JP2012004713A (ja) * | 2010-06-15 | 2012-01-05 | Canon Inc | 画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体 |
WO2012016370A1 (en) * | 2010-08-02 | 2012-02-09 | Peking University | Representative motion flow extraction for effective video classification and retrieval |
US8995531B2 (en) | 2010-08-02 | 2015-03-31 | Peking University | Representative motion flow extraction for effective video classification and retrieval |
US9268794B2 (en) | 2010-08-02 | 2016-02-23 | Peking University | Representative motion flow extraction for effective video classification and retrieval |
JP2012235492A (ja) * | 2012-07-04 | 2012-11-29 | Toshiba Corp | 電子機器および再生方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4536940B2 (ja) | 2010-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002223412A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラムソフトウェア | |
US9672411B2 (en) | Information processing apparatus and method, and program | |
US8768097B2 (en) | Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor | |
US8306281B2 (en) | Human image retrieval system | |
US7725830B2 (en) | Assembling verbal narration for digital display images | |
US20080022230A1 (en) | Information processing apparatus and method, and program | |
US8379931B2 (en) | Image processing apparatus for retrieving object from moving image and method thereof | |
US20120294496A1 (en) | Face recognition apparatus, control method thereof, and face recognition method | |
JP2003507793A (ja) | 色ベースセグメンテーションを用いて領域ベース画像検索を実行するシステム及び方法 | |
JP2007281858A (ja) | 動画編集装置 | |
JPH05108730A (ja) | 動画像データベースの検索 | |
JP2018005555A (ja) | 画像処理装置、情報処理装置、および方法、並びにプログラム | |
US7308119B2 (en) | Image retrieval apparatus and method, and image display apparatus and method thereof | |
JP4370792B2 (ja) | ビデオシーケンスの階層形成方法及びプログラム | |
JP4490214B2 (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
JP3258924B2 (ja) | シーン管理装置、シーン管理方法及び記録媒体 | |
US20070031066A1 (en) | Device and method for image searching, and recording medium in which image searching program is recorded | |
US7576786B2 (en) | Information processing apparatus and method, program therefor and storage medium | |
US7170935B2 (en) | Image processing apparatus and method, and computer-readable memory | |
JP2006079460A (ja) | 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム | |
JP2006217046A (ja) | 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム | |
JPH0520366A (ja) | 動画像照合方法 | |
JP2006163527A (ja) | 画像検索装置及び方法 | |
JP2005157134A (ja) | 情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体 | |
WO2012157611A1 (ja) | 類似画像検索システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100615 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100617 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130625 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |