JP2011135126A - 動画表示装置、動画表示方法及びプログラム - Google Patents
動画表示装置、動画表示方法及びプログラム Download PDFInfo
- Publication number
- JP2011135126A JP2011135126A JP2009289971A JP2009289971A JP2011135126A JP 2011135126 A JP2011135126 A JP 2011135126A JP 2009289971 A JP2009289971 A JP 2009289971A JP 2009289971 A JP2009289971 A JP 2009289971A JP 2011135126 A JP2011135126 A JP 2011135126A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- clusters
- moving image
- cluster
- granularity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000003860 storage Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 17
- 230000010354 integration Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 20
- 230000008859 change Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】動画データから抽出した代表フレームそれぞれをクラスタと見なして、破線で示すクラスタA〜Fを形成する。即ち、6つのクラスタに各代表フレームがそれぞれ分類される。そして、クラスタリング部は、各クラスタに属する代表フレームのフレーム番号を要約生成の対象とする動画IDのクラスタ数Kに対応付けて要約インデックスに記憶する。次ぎに、各クラスタ間の類似度を算出した結果、類似度の最も高いクラスタAとクラスタBを統合する。そして、統合したクラスタ数Cと、各クラスタから選出したフレーム画像を要約インデックスに記憶する。
【選択図】図5
Description
前記動画データから複数の代表的なフレーム画像を抽出する代表フレーム抽出工程と、
前記抽出された複数のフレーム画像の各々が属するクラスタを形成し、その形成された複数のクラスタが一のクラスタとなるまで、前記クラスタに属するフレーム画像の特徴量に基づいて類似するクラスタ同士を統合することで、前記複数のクラスタを纏め上げるクラスタリング処理を行うクラスタ統合工程と、
前記クラスタリング処理によるクラスタの統合の都度、各クラスタに属するフレーム画像から要約フレームを選出し、その要約フレームとクラスタの数とを対応付けて要約記憶手段に記憶する要約記憶工程と、
ユーザによる前記要約の粒度の指定を受け付ける受付工程と、
前記受け付けられた粒度に基づいたクラスタ数に対応付けられた要約フレームを前記要約記憶手段から読み出して、該要約フレームを前記ユーザ端末に表示させる要約表示工程と、
を行うことを特徴としている。
以下、本発明の実施の形態を図面に基づいて説明する。
図1は、本発明を適用した動画表示装置1の機能ブロック図である。動画表示装置1には、図示しないクライアント端末が通信ネットワーク(インターネットや電話回線網等)を介して接続され、互いにデータ通信可能となっている。
“Content-based image retrieval at the end of the early years”,IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22,No.12,pp.1349-1380.Dec 2000.
が知られている。
次ぎに、図3に示すフローチャートと、図5のクラスタリングと要約生成メモリ40の遷移の様子を示す図に基づいて、クラスタリング部30による階層的クラスタリング処理の詳細を説明する。尚、この説明では、図4で抽出された代表フレーム#2,#5,#8,#9,#12,#15に対して処理を行う例を取り上げて説明する。また、要約生成メモリ40の図示において、特徴量のメモリ内容の図示は省略している。
10 動画DB
20 要約生成部
22 動画入力部
24 ショット分割部
26 ノイズ除去部
28 代表フレーム抽出部
30 クラスタリング部
40 要約生成メモリ
50 要約インデックス
60 ズーミングUI部
62 粒度取得部
64 要約取得部
66 要約表示部
T ユーザ端末
Claims (8)
- 複数のフレーム画像により構成される動画データの要約をユーザ端末に表示させる動画表示装置において、
前記動画データから複数の代表的なフレーム画像を抽出する代表フレーム抽出手段と、
前記抽出された複数のフレーム画像の各々が属するクラスタを形成し、その形成された複数のクラスタが一のクラスタとなるまで、前記クラスタに属するフレーム画像の特徴量に基づいて類似するクラスタ同士を統合することで、前記複数のクラスタを纏め上げるクラスタリング処理を行うクラスタ統合手段と、
前記クラスタリング処理によるクラスタの統合の都度、各クラスタに属するフレーム画像から要約フレームを選出し、その要約フレームとクラスタの数とを対応付けて記憶する要約記憶手段と、
ユーザによる前記要約の粒度の指定を受け付ける受付手段と、
前記受け付けられた粒度に基づいたクラスタ数に対応付けられた要約フレームを前記要約記憶手段から読み出して、該要約フレームを前記ユーザ端末に表示させる要約表示手段と、
を備えることを特徴とする動画表示装置。 - 前記フレーム画像の中からノイズを除去するノイズ除去手段を更に備え、
前記クラスタ統合手段は、
前記ノイズが除去された前記代表的なフレーム画像に対して前記クラスタリング処理を行うことを特徴とする請求項1に記載の動画表示装置。 - 前記要約表示手段は、
前記粒度が受け付けられる都度、該粒度に基づいたクラスタ数に対応付けられた要約フレームを読み出して、該要約フレームを表示させるための表示データを前記ユーザ端末に送信して表示更新させることを特徴とする請求項1又は2に記載の動画表示装置。 - 前記要約記憶手段は、
前記クラスタに属するフレーム画像のうち、該クラスタに属するフレーム画像の特徴量の平均値に最も近い特徴量を有するフレーム画像を前記要約フレームとして選出することを特徴とする請求項1〜3の何れかに記載の動画表示装置。 - 前記要約記憶手段は、
前記クラスタに属するフレーム画像を時系列に配列した際の、その配列順序に基づいて前記要約フレームを選出することを特徴とする請求項1〜3の何れかに記載の動画表示装置。 - コンピュータが、複数のフレーム画像により構成される動画データの要約をユーザ端末に表示させる動画表示方法において、
前記動画データから複数の代表的なフレーム画像を抽出する代表フレーム抽出工程と、
前記抽出された複数のフレーム画像の各々が属するクラスタを形成し、その形成された複数のクラスタが一のクラスタとなるまで、前記クラスタに属するフレーム画像の特徴量に基づいて類似するクラスタ同士を統合することで、前記複数のクラスタを纏め上げるクラスタリング処理を行うクラスタ統合工程と、
前記クラスタリング処理によるクラスタの統合の都度、各クラスタに属するフレーム画像から要約フレームを選出し、その要約フレームとクラスタの数とを対応付けて要約記憶手段に記憶する要約記憶工程と、
ユーザによる前記要約の粒度の指定を受け付ける受付工程と、
前記受け付けられた粒度に基づいたクラスタ数に対応付けられた要約フレームを前記要約記憶手段から読み出して、該要約フレームを前記ユーザ端末に表示させる要約表示工程と、
を行うことを特徴とする動画表示方法。 - 請求項6に記載の動画表示方法を前記コンピュータに実行させるためのプログラム。
- ネットワークを介してサーバに接続された端末装置であって、
ユーザ操作に基づいて要約の粒度を入力する入力手段と、
前記入力により粒度が更新される都度、前記サーバに該粒度を送信する送信手段と、
前記送信に応答して前記サーバから返送される要約フレームを受信し、その受信に応じて該要約フレームの表示を更新する表示制御手段と、
を備えることを特徴とする端末装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009289971A JP5066172B2 (ja) | 2009-12-22 | 2009-12-22 | 動画表示装置、動画表示方法、プログラム及び端末装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009289971A JP5066172B2 (ja) | 2009-12-22 | 2009-12-22 | 動画表示装置、動画表示方法、プログラム及び端末装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011135126A true JP2011135126A (ja) | 2011-07-07 |
JP5066172B2 JP5066172B2 (ja) | 2012-11-07 |
Family
ID=44347438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009289971A Expired - Fee Related JP5066172B2 (ja) | 2009-12-22 | 2009-12-22 | 動画表示装置、動画表示方法、プログラム及び端末装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5066172B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018097849A (ja) * | 2016-12-13 | 2018-06-21 | 富士ゼロックス株式会社 | 熱出力機能を有するコンピュータディスプレイにおける映像再生時の熱出力のオーサリング及びレンダリングのためのシステムと方法、並びに、コンピュータ装置、方法、非一時的コンピュータ可読媒体、及びプログラム |
JP2019133605A (ja) * | 2018-02-02 | 2019-08-08 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
WO2024034401A1 (ja) * | 2022-08-10 | 2024-02-15 | 株式会社ユニゾンシステムズ | 映像編集装置、映像編集プログラム、及び映像編集方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5930229B2 (ja) | 2014-03-10 | 2016-06-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 電子文書の内容の把握を支援する装置及び方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004310436A (ja) * | 2003-04-07 | 2004-11-04 | Fuji Photo Film Co Ltd | ファイル選択支援プログラムおよびファイル選択支援方法 |
JP2005236646A (ja) * | 2004-02-19 | 2005-09-02 | Fuji Xerox Co Ltd | 画像表示装置および方法およびプログラム |
JP2007034762A (ja) * | 2005-07-28 | 2007-02-08 | Chugoku Electric Power Co Inc:The | 代金支払代行方法 |
JP2007080109A (ja) * | 2005-09-16 | 2007-03-29 | Ricoh Co Ltd | データ表示装置、データ表示方法、およびその方法をコンピュータに実行させるプログラム |
-
2009
- 2009-12-22 JP JP2009289971A patent/JP5066172B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004310436A (ja) * | 2003-04-07 | 2004-11-04 | Fuji Photo Film Co Ltd | ファイル選択支援プログラムおよびファイル選択支援方法 |
JP2005236646A (ja) * | 2004-02-19 | 2005-09-02 | Fuji Xerox Co Ltd | 画像表示装置および方法およびプログラム |
JP2007034762A (ja) * | 2005-07-28 | 2007-02-08 | Chugoku Electric Power Co Inc:The | 代金支払代行方法 |
JP2007080109A (ja) * | 2005-09-16 | 2007-03-29 | Ricoh Co Ltd | データ表示装置、データ表示方法、およびその方法をコンピュータに実行させるプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018097849A (ja) * | 2016-12-13 | 2018-06-21 | 富士ゼロックス株式会社 | 熱出力機能を有するコンピュータディスプレイにおける映像再生時の熱出力のオーサリング及びレンダリングのためのシステムと方法、並びに、コンピュータ装置、方法、非一時的コンピュータ可読媒体、及びプログラム |
JP7020010B2 (ja) | 2016-12-13 | 2022-02-16 | 富士フイルムビジネスイノベーション株式会社 | 熱出力機能を有するコンピュータディスプレイにおける映像再生時の熱出力のオーサリング及びレンダリングのためのシステムと方法、並びに、コンピュータ装置、方法、非一時的コンピュータ可読媒体、及びプログラム |
JP2019133605A (ja) * | 2018-02-02 | 2019-08-08 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
WO2024034401A1 (ja) * | 2022-08-10 | 2024-02-15 | 株式会社ユニゾンシステムズ | 映像編集装置、映像編集プログラム、及び映像編集方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5066172B2 (ja) | 2012-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10529381B2 (en) | Method, system and computer program product for interactively identifying same individuals or objects present in video recordings | |
JP5358083B2 (ja) | 人物画像検索装置及び画像検索装置 | |
US9367757B2 (en) | Content extracting device, content extracting method and program | |
CN101138233B (zh) | 用于选择视听节目部分的方法和设备 | |
CN102483767B (zh) | 对象关联装置、对象关联方法、程序及记录介质 | |
JP4201454B2 (ja) | 動画要約生成方法及び動画要約生成装置 | |
JP4643735B1 (ja) | 電子機器及び映像処理方法 | |
JP2007286864A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP2007193380A (ja) | 情報処理装置,情報処理方法,およびコンピュータプログラム | |
JP2006216026A (ja) | ディジタル写真の時間的イベント・クラスタリングのための有効な方法 | |
WO2019011936A1 (en) | IMAGE EVALUATION METHOD | |
US20180276471A1 (en) | Information processing device calculating statistical information | |
JP5066172B2 (ja) | 動画表示装置、動画表示方法、プログラム及び端末装置 | |
JP2011018238A (ja) | 画像検索システム及び画像検索方法 | |
JP2014067333A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2021509201A (ja) | 映像前処理方法、装置及びコンピュータプログラム | |
JP2012256176A (ja) | 情報提示装置 | |
JP2006217045A (ja) | インデックス画像生成装置及びインデックス画像を生成するプログラム | |
JP2006217046A (ja) | 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム | |
JP5627002B2 (ja) | 類似映像出力方法、類似映像出力装置および類似映像出力プログラム | |
JP4995770B2 (ja) | 画像辞書生成装置,画像辞書生成方法,および画像辞書生成プログラム | |
JP2003330941A (ja) | 類似画像分類装置 | |
JP2006039753A (ja) | 画像処理装置、画像処理方法 | |
JP4692784B2 (ja) | 画像記述システムにおける特徴量選択プログラム、特徴量選択方法および装置 | |
JP4336813B2 (ja) | 画像記述システムおよび方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111213 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120210 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120612 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120717 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5066172 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150817 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |