JP2008141621A - 映像抽出装置及び映像抽出プログラム - Google Patents
映像抽出装置及び映像抽出プログラム Download PDFInfo
- Publication number
- JP2008141621A JP2008141621A JP2006327532A JP2006327532A JP2008141621A JP 2008141621 A JP2008141621 A JP 2008141621A JP 2006327532 A JP2006327532 A JP 2006327532A JP 2006327532 A JP2006327532 A JP 2006327532A JP 2008141621 A JP2008141621 A JP 2008141621A
- Authority
- JP
- Japan
- Prior art keywords
- video
- similarity
- data
- text data
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 claims abstract description 108
- 239000000284 extract Substances 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 106
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 16
- 239000013598 vector Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 238000012015 optical character recognition Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【解決手段】映像抽出装置1は、字幕のテキストデータを所定の単位に分割して映像区間に対応させたCC文を抽出する字幕情報抽出手段(映像付加単位データ生成手段)10と、映像に付加された音声データをテキストデータとし、所定の単位に分割して映像区間に対応させた音声認識文を生成する音声認識手段(映像付加単位データ生成手段)11と、CC文又は音声認識文について所定の特徴量を解析して、他の映像の番組紹介文とのこの特徴量の類似度を算出する他番組紹介文類似度算出部(他映像類似度算出手段)14bと、類似度に基づいてCC文又は音声認識文を選定して、対応する映像区間の映像を抽出する番組紹介映像抽出部(部分映像抽出手段)14cとを備えることを特徴とする。
【選択図】図1
Description
「プラットフォームビジネスアリーナ 情報大航海」カタログ、p.6、2006年10月3日〜7日、CEATEC JAPAN 2006で配布
[映像抽出装置の構成]
まず、図1を参照して、本発明における映像抽出装置1の構成について説明する。図1は、本発明における映像抽出装置の構成を示したブロック図である。
次に、図2から図4を参照して、映像抽出装置1の動作について説明する。まず、図2を参照(適宜図1参照)して、映像抽出装置1の動作について説明する。図2は、本発明の映像抽出装置が番組紹介映像を生成する動作を示したフローチャートである。
続いて、図3を参照(適宜図1及び図2参照)して、紹介文類似度算出部14a及び番組紹介映像抽出部14cによって番組紹介文を生成する動作(EPG番組紹介映像生成動作)について説明する。図3は、EPG番組紹介映像生成動作を示したフローチャートである。
続いて、図4を参照(適宜図1及び図2参照)して、他番組紹介文類似度算出部14b及び番組紹介映像抽出部14cによって番組紹介文を生成する動作(番組紹介映像生成動作)について説明する。図4は、番組紹介映像生成動作を示したフローチャートである。なお、ここでは、他番組紹介文類似度算出部14bのAdaBoostの学習による識別器がすでに生成されていることとする。
ここで、図5を参照して、映像抽出装置1の利用例について説明する。図5は、本発明の映像抽出装置を備える映像検索装置の構成を示したブロック図である。
10 字幕情報抽出手段(映像付加単位データ生成手段)
11 音声認識手段(映像付加単位データ生成手段)
12 テロップ認識手段
13 電子番組表取得手段
14 番組紹介映像生成手段
14a 紹介文類似度算出部(類似度算出手段)
14b 他番組紹介文類似度算出部(他映像類似度算出手段、テロップ類似度算出手段)
14c 番組紹介映像抽出部(部分映像抽出手段)
Claims (5)
- 映像と、当該映像の内容の要約を示すテキストデータである要約テキストデータとを入力し、前記映像に付加された音声データ及び字幕の情報の少なくともひとつに基づいて、前記要約テキストデータに対応する当該映像の一部分を抽出する映像抽出装置であって、
前記映像に付加された音声データ及び字幕の情報の少なくともひとつをテキストデータとし、このテキストデータを所定の単位に分割して、この単位ごとに前記映像における区間に対応させた映像付加単位データを生成する映像付加単位データ生成手段と、
この映像付加単位データ生成手段によって生成された映像付加単位データにおいて、前記要約テキストデータに含まれる形態素が出現する頻度に基づいて、それぞれの前記映像付加単位データについて前記要約テキストデータと類似する度合いを示す類似度を算出する類似度算出手段と、
この類似度算出手段によって算出された類似度に基づいて前記映像付加単位データを選定して、当該映像付加単位データに対応する前記映像の区間を検出し、この区間の映像を抽出する部分映像抽出手段と、
を備えることを特徴とする映像抽出装置。 - 映像を入力し、当該映像に付加された音声データ及び字幕の情報の少なくともひとつに基づいて、当該映像の一部分を抽出する映像抽出装置であって、
前記映像に付加された音声データ及び字幕の情報の少なくともひとつをテキストデータとし、このテキストデータを所定の単位に分割して、この単位ごとに前記映像における区間に対応させた映像付加単位データを生成する映像付加単位データ生成手段と、
この映像付加単位データ生成手段によって生成された映像付加単位データについて所定の特徴量を解析して、この解析結果と、複数の他の映像に対して生成された当該他の映像の内容の要約を示すテキストデータである他映像要約テキストデータについて解析された前記所定の特徴量の解析結果とに基づいて、前記他映像要約テキストデータと特徴量が類似する度合いを示す他映像類似度を算出する他映像類似度算出手段と、
この他映像類似度算出手段によって算出された他映像類似度に基づいて前記映像付加単位データを選定して、当該映像付加単位データに対応する前記映像の区間を検出し、この区間の映像を抽出する部分映像抽出手段と、
を備えることを特徴とする映像抽出装置。 - 映像内のテロップを抽出してテキストデータとし、前記映像付加単位データの前記区間に対応付けたテロップ単位データを生成するテロップ単位データ生成手段と、
このテロップ単位データ生成手段によって生成されたテロップ単位データ及び当該テロップ単位データに対応付けられた前記区間の映像について所定の特徴量を解析して、この解析結果と、複数の他の映像に対して生成された当該他の映像の内容の要約を示す映像であるスポット映像について解析された前記所定の特徴量の解析結果とに基づいて、前記スポット映像と特徴量が類似する度合いを示すテロップ類似度を算出するテロップ類似度算出手段とを更に備え、
前記部分映像抽出手段が、前記他映像類似度算出手段によって算出された他映像類似度と、前記テロップ類似度算出手段によって算出されたテロップ類似度とに基づいて前記映像付加単位データを選定することを特徴とする請求項2に記載の映像抽出装置。 - 映像と、当該映像の内容の要約を示すテキストデータである要約テキストデータとを入力し、前記映像に付加された音声データ及び字幕の情報の少なくともひとつに基づいて、前記要約テキストデータに対応する当該映像の一部分を抽出するためにコンピュータを、
前記映像に付加された音声データ及び字幕の情報の少なくともひとつをテキストデータとし、このテキストデータを所定の単位に分割して、この単位ごとに前記映像における区間に対応させた映像付加単位データを生成する映像付加単位データ生成手段、
この映像付加単位データ生成手段によって生成された映像付加単位データにおいて、前記要約テキストデータに含まれる形態素が出現する頻度に基づいて、それぞれの前記映像付加単位データについて前記要約テキストデータと類似する度合いを示す類似度を算出する類似度算出手段、
この類似度算出手段によって算出された類似度に基づいて前記映像付加単位データを選定して、当該映像付加単位データに対応する前記映像の区間を検出し、この区間の映像を抽出する部分映像抽出手段として機能させることを特徴とする映像抽出プログラム。 - 映像を入力し、当該映像に付加された音声データ及び字幕の情報の少なくともひとつに基づいて、当該映像の一部分を抽出するためにコンピュータを、
前記映像に付加された音声データ及び字幕の情報の少なくともひとつをテキストデータとし、このテキストデータを所定の単位に分割して、この単位ごとに前記映像における区間に対応させた映像付加単位データを生成する映像付加単位データ生成手段、
この映像付加単位データ生成手段によって生成された映像付加単位データについて所定の特徴量を解析して、この解析結果と、複数の他の映像に対して生成された当該他の映像の内容の要約を示すテキストデータである他映像要約テキストデータについて解析された前記所定の特徴量の解析結果とに基づいて、前記他映像要約テキストデータと特徴量が類似する度合いを示す他映像類似度を算出する他映像類似度算出手段、
この他映像類似度算出手段によって算出された他映像類似度に基づいて前記映像付加単位データを選定して、当該映像付加単位データに対応する前記映像の区間を検出し、この区間の映像を抽出する部分映像抽出手段として機能させることを特徴とする映像抽出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006327532A JP4695582B2 (ja) | 2006-12-04 | 2006-12-04 | 映像抽出装置及び映像抽出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006327532A JP4695582B2 (ja) | 2006-12-04 | 2006-12-04 | 映像抽出装置及び映像抽出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008141621A true JP2008141621A (ja) | 2008-06-19 |
JP4695582B2 JP4695582B2 (ja) | 2011-06-08 |
Family
ID=39602602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006327532A Active JP4695582B2 (ja) | 2006-12-04 | 2006-12-04 | 映像抽出装置及び映像抽出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4695582B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039915A (ja) * | 2009-08-17 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | シーン検索装置及びプログラム |
CN112966596A (zh) * | 2021-03-04 | 2021-06-15 | 北京秒针人工智能科技有限公司 | 视频光学字符识别系统方法及系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110298270B (zh) * | 2019-06-14 | 2021-12-31 | 天津大学 | 一种基于跨模态重要性感知的多视频摘要方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005115607A (ja) * | 2003-10-07 | 2005-04-28 | Matsushita Electric Ind Co Ltd | 映像検索装置 |
JP2005234786A (ja) * | 2004-02-18 | 2005-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 映像キーワード抽出方法及び装置及びプログラム |
-
2006
- 2006-12-04 JP JP2006327532A patent/JP4695582B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005115607A (ja) * | 2003-10-07 | 2005-04-28 | Matsushita Electric Ind Co Ltd | 映像検索装置 |
JP2005234786A (ja) * | 2004-02-18 | 2005-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 映像キーワード抽出方法及び装置及びプログラム |
Non-Patent Citations (2)
Title |
---|
JPN6010068655, 河合吉彦、外3名, "AdaBoostを利用したスポット候補映像区間の抽出手法", FIT2006 第5回情報科学技術フォーラム 一般講演論文集 第3分冊, 20060821, p.161−162, 社団法人電子情報通信学会 * |
JPN6010068693, 河合吉彦、外3名, "EPGテキストとクローズドキャプション情報を利用した番組スポット候補映像区間の抽出手法", 電子情報通信学会技術研究報告 データ工学, 20060609, 第106巻,第98号, p.25−30, 社団法人電子情報通信学会 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039915A (ja) * | 2009-08-17 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | シーン検索装置及びプログラム |
CN112966596A (zh) * | 2021-03-04 | 2021-06-15 | 北京秒针人工智能科技有限公司 | 视频光学字符识别系统方法及系统 |
CN112966596B (zh) * | 2021-03-04 | 2024-05-14 | 北京秒针人工智能科技有限公司 | 视频光学字符识别系统方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP4695582B2 (ja) | 2011-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100828166B1 (ko) | 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를기록한 기록매체 | |
JP5691289B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US8750681B2 (en) | Electronic apparatus, content recommendation method, and program therefor | |
Snoek et al. | Multimedia event-based video indexing using time intervals | |
US9280709B2 (en) | Information processing device, information processing method and program | |
CN101202864B (zh) | 动画再现装置 | |
US7769761B2 (en) | Information processing apparatus, method, and program product | |
US20180068690A1 (en) | Data processing apparatus, data processing method | |
US20070033050A1 (en) | Information processing apparatus and method, and program | |
CN101422041A (zh) | 基于因特网搜索的电视 | |
JP2007519987A (ja) | 内部及び外部オーディオビジュアルデータの統合解析システム及び方法 | |
KR20000054561A (ko) | 비디오 인덱싱 방식을 이용한 네트워크 기반의 비디오검색 시스템 및 그 운영방법 | |
JP2012238232A (ja) | 興味区間検出装置、視聴者興味情報提示装置、および興味区間検出プログラム | |
JP4192703B2 (ja) | コンテンツ処理装置、コンテンツ処理方法及びプログラム | |
US20240062748A1 (en) | Age-sensitive automatic speech recognition | |
KR20060089922A (ko) | 음성 인식을 이용한 데이터 추출 장치 및 방법 | |
EP2336900A2 (en) | Search device and search method | |
JP4695582B2 (ja) | 映像抽出装置及び映像抽出プログラム | |
JP2004289530A (ja) | 記録再生装置 | |
JP5231130B2 (ja) | キーフレーズ抽出装置、シーン分割装置およびプログラム | |
JP5152857B2 (ja) | 電子機器、表示制御方法、およびプログラム | |
Parsodkar et al. | Movie Captioning For Differently Abled People | |
JP2002014973A (ja) | 映像検索装置、方法、映像検索プログラムを記録した記録媒体 | |
JP2006106451A (ja) | テレビ放送受信機における音声入力方法 | |
JP4456573B2 (ja) | 映像抽出装置及び映像抽出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110201 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110225 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140304 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4695582 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |