JP2011048729A - クエリ抽出装置、クエリ抽出方法およびクエリ抽出プログラム - Google Patents
クエリ抽出装置、クエリ抽出方法およびクエリ抽出プログラム Download PDFInfo
- Publication number
- JP2011048729A JP2011048729A JP2009197920A JP2009197920A JP2011048729A JP 2011048729 A JP2011048729 A JP 2011048729A JP 2009197920 A JP2009197920 A JP 2009197920A JP 2009197920 A JP2009197920 A JP 2009197920A JP 2011048729 A JP2011048729 A JP 2011048729A
- Authority
- JP
- Japan
- Prior art keywords
- lyrics
- keyword
- image
- query
- query extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 22
- 239000000284 extract Substances 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
- G06F16/4387—Presentation of query results by the use of playlists
- G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】歌詞に合った画像を検索するためのクエリ抽出装置100であって、クエリ抽出対象となる歌詞を複数に区分し、それらの区分から優先的にキーワード群が選択される優先区分を決定し、1または2以上の他の区分の情報も参照して、優先区分の歌詞に合った画像を検索するためのキーワード群を選択する。これにより、優先区分にあったキーワードが優先的に選択され、かつ他の区分も参照して画像検索用クエリを抽出するため、歌詞の一部分に合っており、かつその他の部分との適合性もある画像を検索できる。
【選択図】図2
Description
本発明では、歌詞の雰囲気に適した画像を抽出するために、歌詞および、推定印象からキーワード候補を抽出する。さらに、最適なクエリ(キーワード群)をキーワード候補から抽出することで、歌詞の雰囲気に適した画像を自動で抽出し、不要な画像の検索を回避する。
図1は、クエリ抽出システム50の構成を示す図である。クエリ抽出システム50は、クエリ抽出装置100、楽曲データベース200および画像検索サーバ300から構成されている。
次に、クエリ抽出装置100の構成を説明する。図2は、クエリ抽出装置100の構成を示すブロック図である。図2に示すように、クエリ抽出装置は、楽曲提示部110、形態素解析部120、キーワード抽出部130、クエリ抽出部140、印象情報収集部150、画像抽出部160および再生部170を備えている。
図3は、クエリ抽出装置100の動作の一例を示すフローチャートである。図3に示すように、まず、クエリ抽出装置100は、楽曲データベース200に格納される楽曲を指定可能に提示する(ステップS1)。ユーザから楽曲の指定を受けたら、歌詞の行単位で形態素解析を行い、単語を抽出する(ステップS2)。そして全行の単語抽出が終了したか否かを判定する(ステップS3)。全行が終了していないと判定されたときには、ステップS2に戻る。
上記ステップS5のクエリ抽出動作の一例について説明する。図4は、クエリ抽出動作を示すフローチャートである。クエリ抽出の過程で、キーワード群を抽出する主な対象がキーワード群集合N1、N2、・・・、Ni、・・・、Nnと変わるものとする。iはn以下の自然数である。
キーワード抽出によって得られたキーワードをそのまま利用した場合には、意図しない画像が多く得られることがあるため、検索に適したキーワードを抽出する必要がある。たとえば、キーワードを基に画像検索APIなどを用いてキーワードを入力し、パラメータとして検索結果画像群に含まれるユニークな画像投稿者ID数(UF)と検索ヒット数(DF)を取得し、式(1)によって重要度を計算する。
クエリ抽出部140は、入力されたキーワード群から、画像検索に最適なクエリ群を抽出するための組み合わせを計算することができる。以下に、クエリ抽出基準の一例を示す。
次に、具体的に歌詞から画像が検索され、楽曲と画像が同期再生される例を説明する。図5および図6は、動作例を示す概念図である。図5および図6に示す例では、歌詞411の第1行および第2行についてそれぞれ画像を検索、抽出し、抽出された画像を歌詞の行ごとに表示している。
上記の実施形態では、クエリ抽出装置はPCや携帯端末であるが、サーバであってもよい。図7は、クエリ抽出装置600がサーバとして機能するクエリ抽出システム550の構成を示す図である。図7に示すように、クエリ抽出システム550は、クエリ抽出装置600、端末700、楽曲データベース200、画像検索サーバ300を備えている。本実施形態では、クエリ抽出装置600がサーバとしてクエリを抽出、画像検索し、端末700はその結果を受け取る。そして、端末700は、抽出された画像を楽曲と同期させて再生する。このようなシステムは端末700の処理能力が低い場合には有効である。
100 クエリ抽出装置
110 楽曲提示部
120 形態素解析部
130 キーワード抽出部
140 クエリ抽出部
142 集合特定部
145 選択部
150 印象情報収集部
160 画像抽出部
170 再生部
200 楽曲データベース
300 画像検索サーバ
411 歌詞
413 行キーワード
414 段落・印象キーワード
415 抽出クエリ
416 画面表示
417 行
418 画像
423 行キーワード
425 抽出クエリ
426 画面表示
427 行
428 画像
550 クエリ抽出システム
600 クエリ抽出装置
700 端末
Claims (14)
- 歌詞に合った画像を検索するためのクエリ抽出装置であって、
クエリ抽出対象となる歌詞を複数に区分し、
それらの区分から、優先的にキーワード群が選択される優先区分を決定し、
1または2以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とするクエリ抽出装置。 - 前記クエリ抽出対象となる歌詞の1つの行を前記優先区分として、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項1記載のクエリ抽出装置。
- 前記クエリ抽出対象となる歌詞の段落を前記他の区分として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項1または請求項2記載のクエリ抽出装置。
- 前記クエリ抽出対象となる歌詞の全体または一部分の印象情報を前記他の区分の情報として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項1から請求項3のいずれかに記載のクエリ抽出装置。
- 2以上の互いに異なる区分の情報を、前記他の区分の情報として参照し、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項1から請求項4のいずれかに記載のクエリ抽出装置。
- Web検索結果に基づいて算出された重要度の高さを基準として、前記画像検索用のキーワード群として選択することを特徴とする請求項1から請求項5のいずれかに記載のクエリ抽出装置。
- Web上の画像検索において1以上のヒット数があり、キーワード数が最大となるキーワード群をキーワード群の集合から選択する過程を繰り返すことで、前記優先区分の歌詞に合った画像を検索するためのキーワード群として選択することを特徴とする請求項6記載のクエリ抽出装置。
- 前記優先区分から選ばれたキーワード群のべき集合から1つのキーワード群を選択し、
さらに他の区分から選ばれたキーワード群のべき集合と前記選択されたキーワード群の組合せの集合から前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択することを特徴とする請求項1から請求項7のいずれかに記載のクエリ抽出装置。 - 前記優先区分または他の区分の歌詞から分解された単語の集合から、(ユニークな画像投稿者数)/{log(検索ヒット数)}が多いものをキーワードとして抽出することを特徴とする請求項1から請求項8のいずれかに記載のクエリ抽出装置。
- 前記優先区分の歌詞に合った画像を検索するために選択されたキーワード群をクエリとしてWeb上で画像検索し、
検索の結果得られた画像と前記クエリ抽出対象となる歌詞に対応する楽曲とを同期させて再生することを特徴とする請求項1から請求項9のいずれかに記載のクエリ抽出装置。 - 歌詞に合った画像を検索するためのクエリ抽出装置であって、
クエリ抽出対象となる歌詞を形態素に分解する形態素解析部と、
前記分解された形態素から、キーワードを抽出するキーワード抽出部と、
区分された前記クエリ抽出対象となる歌詞について、優先的にキーワード群が選択される優先区分から分解抽出されたキーワード群のべき集合から1の要素を選択し、他の区分から分解抽出されたキーワード群のべき集合の各要素と前記選択された要素との組合せのうちから前記優先区分の歌詞に合った画像を検索するためのクエリとして1の組合せを抽出するクエリ抽出部とを備えることを特徴とするクエリ抽出装置。 - 歌詞に合った画像を検索するためのクエリ抽出装置であって、
クエリ抽出対象となる歌詞を形態素に分解する形態素解析部と、
前記分解された形態素から、キーワードを抽出するキーワード抽出部と、
区分された前記クエリ抽出対象となる歌詞について、優先的にキーワード群が選択される優先区分から分解抽出されたキーワード群のべき集合から1の要素を選択し、他の区分の印象情報からなるキーワード群のべき集合の各要素と前記選択された要素との組合せのうちから1の組合せを抽出するクエリ抽出部とを備えることを特徴とするクエリ抽出装置。 - 歌詞に合った画像を検索するためのクエリ抽出方法であって、
クエリ抽出対象となる歌詞を複数に区分するステップと、
それらの区分から、優先的にキーワード群が選択される優先区分を決定するステップと、
1または2以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択するステップとを含むことを特徴とするクエリ抽出方法。 - 歌詞に合った画像を検索するためにコンピュータに実行させるクエリ抽出プログラムであって、
クエリ抽出対象となる歌詞を複数の区分する処理と、
それらの区分から、優先的にキーワード群が選択される優先区分を決定する処理と、
1または2以上の他の区分の情報も参照して、前記優先区分の歌詞に合った画像を検索するためのキーワード群を選択する処理とを含むことを特徴とするクエリ抽出プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009197920A JP5306114B2 (ja) | 2009-08-28 | 2009-08-28 | クエリ抽出装置、クエリ抽出方法およびクエリ抽出プログラム |
US12/851,525 US20110055213A1 (en) | 2009-08-28 | 2010-08-05 | Query extracting apparatus, query extracting method and query extracting program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009197920A JP5306114B2 (ja) | 2009-08-28 | 2009-08-28 | クエリ抽出装置、クエリ抽出方法およびクエリ抽出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011048729A true JP2011048729A (ja) | 2011-03-10 |
JP5306114B2 JP5306114B2 (ja) | 2013-10-02 |
Family
ID=43626373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009197920A Expired - Fee Related JP5306114B2 (ja) | 2009-08-28 | 2009-08-28 | クエリ抽出装置、クエリ抽出方法およびクエリ抽出プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110055213A1 (ja) |
JP (1) | JP5306114B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013114107A (ja) * | 2011-11-30 | 2013-06-10 | Advanced Telecommunication Research Institute International | コミュニケーションシステム、発話内容生成装置、発話内容生成プログラムおよび発話内容生成方法 |
JP2014081478A (ja) * | 2012-10-16 | 2014-05-08 | Kddi Corp | 楽曲処理装置および楽曲処理方法 |
CN106484843A (zh) * | 2016-09-30 | 2017-03-08 | 维沃移动通信有限公司 | 一种歌词海报生成方法及服务器 |
JP2017521794A (ja) * | 2014-12-30 | 2017-08-03 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 検索方法及び装置 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012220582A (ja) * | 2011-04-05 | 2012-11-12 | Sony Corp | 音楽再生装置、音楽再生方法、プログラム、およびデータ作成装置 |
WO2014168717A2 (en) * | 2013-03-15 | 2014-10-16 | Advanced Search Laboratories, Inc. | System and apparatus for information retrieval |
JP6159989B2 (ja) * | 2013-06-26 | 2017-07-12 | Kddi株式会社 | シナリオ生成システム、シナリオ生成方法およびシナリオ生成プログラム |
EP2963651A1 (en) * | 2014-07-03 | 2016-01-06 | Samsung Electronics Co., Ltd | Method and device for playing multimedia |
CN105224581B (zh) * | 2014-07-03 | 2019-06-21 | 北京三星通信技术研究有限公司 | 在播放音乐时呈现图片的方法和装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1616275A1 (en) * | 2003-04-14 | 2006-01-18 | Koninklijke Philips Electronics N.V. | Method and apparatus for summarizing a music video using content analysis |
JP2005173938A (ja) * | 2003-12-10 | 2005-06-30 | Pioneer Electronic Corp | 曲検索装置、曲検索方法及び曲検索用プログラム並びに情報記録媒体 |
US8145034B2 (en) * | 2005-03-02 | 2012-03-27 | Sony Corporation | Contents replay apparatus and contents replay method |
KR20080043129A (ko) * | 2006-11-13 | 2008-05-16 | 삼성전자주식회사 | 음악의 무드를 이용한 사진 추천 방법 및 그 시스템 |
KR101392273B1 (ko) * | 2008-01-07 | 2014-05-08 | 삼성전자주식회사 | 키워드 제공 방법 및 이를 적용한 영상기기 |
US20090307207A1 (en) * | 2008-06-09 | 2009-12-10 | Murray Thomas J | Creation of a multi-media presentation |
-
2009
- 2009-08-28 JP JP2009197920A patent/JP5306114B2/ja not_active Expired - Fee Related
-
2010
- 2010-08-05 US US12/851,525 patent/US20110055213A1/en not_active Abandoned
Non-Patent Citations (2)
Title |
---|
CSNJ200910110095; 舟澤慎太郎、外4名: '歌詞特徴を考慮したWeb画像と楽曲同期再生システムの提案' FIT2009 第8回情報科学技術フォーラム 講演論文集 第2分冊, 20090820, pp.333〜334, 社団法人情報処理学会、社団法人電子情報通信学会 * |
JPN6013017365; 舟澤慎太郎、外4名: '歌詞特徴を考慮したWeb画像と楽曲同期再生システムの提案' FIT2009 第8回情報科学技術フォーラム 講演論文集 第2分冊, 20090820, pp.333〜334, 社団法人情報処理学会、社団法人電子情報通信学会 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013114107A (ja) * | 2011-11-30 | 2013-06-10 | Advanced Telecommunication Research Institute International | コミュニケーションシステム、発話内容生成装置、発話内容生成プログラムおよび発話内容生成方法 |
JP2014081478A (ja) * | 2012-10-16 | 2014-05-08 | Kddi Corp | 楽曲処理装置および楽曲処理方法 |
JP2017521794A (ja) * | 2014-12-30 | 2017-08-03 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 検索方法及び装置 |
US10296541B2 (en) | 2014-12-30 | 2019-05-21 | Baidu Online Network Technology (Beijing) Co., Ltd. | Searching method and apparatus |
CN106484843A (zh) * | 2016-09-30 | 2017-03-08 | 维沃移动通信有限公司 | 一种歌词海报生成方法及服务器 |
CN106484843B (zh) * | 2016-09-30 | 2019-07-26 | 维沃移动通信有限公司 | 一种歌词海报生成方法及服务器 |
Also Published As
Publication number | Publication date |
---|---|
JP5306114B2 (ja) | 2013-10-02 |
US20110055213A1 (en) | 2011-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5306114B2 (ja) | クエリ抽出装置、クエリ抽出方法およびクエリ抽出プログラム | |
US8156114B2 (en) | System and method for searching and analyzing media content | |
JP5302319B2 (ja) | コンテンツ品目のコレクションと関連のメタデータ生成 | |
US7546288B2 (en) | Matching media file metadata to standardized metadata | |
US10324899B2 (en) | Methods for characterizing content item groups | |
US20100082653A1 (en) | Event media search | |
JPWO2006019101A1 (ja) | コンテンツ関連情報取得装置、コンテンツ関連情報取得方法、およびコンテンツ関連情報取得プログラム | |
JP6429382B2 (ja) | コンテンツ推薦装置、及びプログラム | |
JP2006244002A (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
EP2208149A2 (en) | Classifying a set of content items | |
JP2008084193A (ja) | インスタンス選択装置、インスタンス選択方法及びインスタンス選択プログラム | |
US20060253433A1 (en) | Method and apparatus for knowledge-based music searching and method and apparatus for managing music file | |
KR20210134866A (ko) | 동영상 내부의 정보를 검색하는 방법 및 장치 | |
US20150178387A1 (en) | Method and system of audio retrieval and source separation | |
TW200928812A (en) | System and method for assisting a user in constructing of a search query | |
KR102252522B1 (ko) | 내용 기반 동영상 목차 자동생성 방법 및 시스템 | |
JP5474591B2 (ja) | 画像選定装置、画像選定方法および画像選定プログラム | |
JP2010165160A (ja) | 楽曲分類装置、楽曲検索システム及びコンピュータプログラム | |
JP2008204007A (ja) | 画像辞書生成方法及び装置及びプログラム | |
TWI780333B (zh) | 動態處理並播放多媒體內容的方法及多媒體播放裝置 | |
KR101575819B1 (ko) | 동영상 검색 및 제공 방법 | |
JP6114980B2 (ja) | 楽曲処理装置および楽曲処理方法 | |
KR101466404B1 (ko) | 플레이리스트 정보를 이용한 컨텐츠 검색장치 및 그 방법 | |
JP2009103945A (ja) | 映像コンテンツ処理装置およびプログラム | |
JP2011145813A (ja) | 検索支援装置及び検索支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130625 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5306114 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |