JP2010283542A - メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム - Google Patents

メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム Download PDF

Info

Publication number
JP2010283542A
JP2010283542A JP2009134452A JP2009134452A JP2010283542A JP 2010283542 A JP2010283542 A JP 2010283542A JP 2009134452 A JP2009134452 A JP 2009134452A JP 2009134452 A JP2009134452 A JP 2009134452A JP 2010283542 A JP2010283542 A JP 2010283542A
Authority
JP
Japan
Prior art keywords
section
metadata
search
content
correspondence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009134452A
Other languages
English (en)
Other versions
JP5213797B2 (ja
Inventor
Takayuki Kurozumi
隆行 黒住
Takahito Kawanishi
隆仁 川西
Makoto Mukai
良 向井
Kunio Kayano
邦夫 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009134452A priority Critical patent/JP5213797B2/ja
Publication of JP2010283542A publication Critical patent/JP2010283542A/ja
Application granted granted Critical
Publication of JP5213797B2 publication Critical patent/JP5213797B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】コンテンツに合致するメタデータを迅速に選択すること。
【解決手段】区間長対応関係取得部c101が、コンテンツの区間あるいは領域を示すクエリ区間の情報と、クエリ区間に含まれる信号に類似する信号の蓄積コンテンツの区間あるいは領域の大きさを示す蓄積区間長情報と、を対応付けた区間長対応関係情報を予め記憶する区間長対応関係記憶部から読み出す。検索命令取得部c102が、コンテンツの区間あるいは領域を示す検索区間の情報を取得する。メタデータ検索部c103が、検索区間に含まれる信号に類似する信号の蓄積コンテンツの区間あるいは領域のメタデータを抽出する。検索結果出力部c104が、区間長対応関係情報の蓄積区間長情報であって検索区間に含まれるクエリ区間に対応する蓄積区間長情報に基づいて、メタデータ検索部c103が抽出したメタデータを出力する。
【選択図】図8

Description

本発明は、メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システムに関する。
映像コンテンツや楽曲コンテンツに関連する様々な付随情報を、メタデータとしてコンテンツに対して付与することが行われている。楽曲コンテンツを例にとると、曲名、アーチスト名、ジャンル等がメタデータとしてコンテンツに付与されている。さらに、コンテンツ全体に対するメタデータばかりでなく、歌唱映像に対して時間毎に付随する歌詞のテキスト情報、ドラマの映像に対して時間毎に付随する出演者情報等、コンテンツ中の所定の区間あるいは領域に対するメタデータがコンテンツの所定の区間あるいは領域に対して付与されている。
このメタデータを検索する技術として、特許文献1(特開2008−219608)に記載されているものがある。特許文献1に示される表示装置では、再生コンテンツの特徴データの抽出開始時刻となる基準時刻が取得され、再生コンテンツから特徴データが抽出される。そして、その特徴データに基づいて、蓄積コンテンツ中の特徴データが探索され、再生コンテンツから導き出された特徴データに対応する蓄積コンテンツ中の時刻が該当基準時刻として特定され、再生コンテンツの現在の再生時刻が取得される。そして、再生時刻と基準時刻と該当基準時刻とに基づいて再生該当基準時刻が計算され、蓄積コンテンツ中の時刻ごとに対応付けられたメタデータの中から、再生該当基準時刻に該当する時刻に対応付けられたメタデータが選択されて表示される。
特開2008−219608号公報
しかしながら、特許文献1に記載された表示装置では、再生コンテンツの特徴データに基づいた検索の結果、複数の蓄積コンテンツのメタデータが抽出される場合があった。特に、より長い再生コンテンツの区間で検索を行うと、この区間の一部の特徴データに類似する蓄積コンテンツの特徴データが多くなり、より多くの蓄積コンテンツのメタデータが抽出される。複数のメタデータが抽出された場合、特許文献1に記載された表示装置では、どのメタデータを表示すべきかの基準がないため、メタデータを表示することができない、又は、すべてのメタデータを一律に表示してしまう。このため、特許文献1に記載された表示装置では、再生コンテンツに合致するメタデータを選択できない、又は、利用者等がメタデータを選択するのに時間がかかるという欠点があった。
本発明は上記の点に鑑みてなされたものであり、その目的は、コンテンツに合致するメタデータを迅速に選択することができるメタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システムを提供することにある。
本発明は上記の課題を解決するためになされたものであり、本発明は、コンテンツの信号に類似する信号の蓄積コンテンツを検索し、検索した蓄積コンテンツのメタデータを出力するメタデータ検索装置において、前記コンテンツの区間あるいは領域に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域のメタデータを、当該蓄積コンテンツの区間あるいは領域の大きさを示す蓄積区間長情報に基づいて出力する検索結果出力部を備えることを特徴とするメタデータ検索装置である。
また、本発明は、コンテンツの信号に類似する信号の蓄積コンテンツを検索し、検索した蓄積コンテンツのメタデータを出力するメタデータ検索装置おいて、前記コンテンツの区間あるいは領域を示すクエリ区間の情報と、前記クエリ区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域の大きさを示す蓄積区間長情報と、を対応付けた区間長対応関係情報を予め記憶する区間長対応関係記憶部から読み出す区間長対応関係取得部と、前記コンテンツの区間あるいは領域を示す検索区間の情報を取得する検索命令取得部と、前記検索区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域のメタデータを抽出するメタデータ検索部と、前記区間長対応関係情報の蓄積区間長情報であって前記検索区間に含まれるクエリ区間に対応する蓄積区間長情報に基づいて、前記メタデータ検索部が抽出したメタデータを出力する検索結果出力部と、を備えることを特徴とするメタデータ検索装置である。
また、本発明は、上記のメタデータ検索装置において、前記検索結果出力部は、前記区間長対応関係情報の蓄積区間長情報であって前記検索区間に含まれるクエリ区間に対応する蓄積区間長情報が示す区間あるいは領域の大きさの大きい順に、前記メタデータ検索部が抽出したメタデータを出力することを特徴とする。
また、本発明は、上記のメタデータ検索装置において、前記蓄積区間長情報は、前記クエリ区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域を示す蓄積区間の情報であることを特徴とする。
また、本発明は、上記のメタデータ検索装置において、前記検索結果出力部は、前記区間長対応関係情報の蓄積区間長情報であって前記検索区間に含まれるクエリ区間に対応する蓄積区間長情報を出力することを特徴とする。
また、本発明は、上記のメタデータ検索装置において、前記検索結果出力部は、前記検索区間内のコンテンツの区間あるいは領域ごとに、蓄積コンテンツの出現頻度を表すヒストグラムを計算し、計算したヒストグラムが示す出現頻度に基づいて前記メタデータ検索部が抽出したメタデータを出力することを特徴とする。
また、本発明は、上記のメタデータ検索装置において、計算したヒストグラムが示す出現頻度に基づいて、前記メタデータ検索部が抽出したメタデータの出力順序を決定することを特徴とする。
また、本発明は、上記のメタデータ検索装置において、前記クエリ区間と、当該クエリ区間のコンテンツの信号に類似する信号の前記蓄積区間と、を含む対応関係を複数取得するコンテンツ対応関係取得部と、前記クエリ区間と前記蓄積区間との複数の対応関係を結合して結合対応関係を生成する結合対応関係生成部と、前記結合対応関係生成部が結合した前記クエリ区間と、前記結合対応関係の前記蓄積区間の大きさを示す蓄積区間長情報と、を前記区間長対応関係情報として区間長対応関係記憶部に記憶する区間長対応関係生成部と、を備えることを特徴とする。
また、本発明は、コンテンツの信号に類似する信号の蓄積コンテンツを検索し、検索した蓄積コンテンツのメタデータを出力するメタデータ検索装置おけるメタデータ検索方法において、区間長対応関係取得部が、前記コンテンツの区間あるいは領域を示すクエリ区間の情報と、前記クエリ区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域の大きさを示す蓄積区間長情報と、を対応付けた区間長対応関係情報を予め記憶する区間長対応関係記憶部から読み出す区間長対応関係取得過程と、検索命令取得部が、前記コンテンツの区間あるいは領域を示す検索区間の情報を取得する検索命令取得過程と、メタデータ検索部が、前記検索区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域のメタデータを抽出するメタデータ検索過程と、検索結果出力部が、前記区間長対応関係情報の蓄積区間長情報であって前記検索区間に含まれるクエリ区間に対応する蓄積区間長情報に基づいて、前記メタデータ検索過程にて抽出したメタデータを出力する検索結果出力過程と、を有することを特徴とするメタデータ検索方法である。
また、本発明は、コンテンツの信号に類似する信号の蓄積コンテンツを検索し、検索した蓄積コンテンツのメタデータを出力するメタデータ検索装置のコンピュータに、前記コンテンツの区間あるいは領域を示すクエリ区間の情報と、前記クエリ区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域の大きさを示す蓄積区間長情報と、を対応付けた区間長対応関係情報を予め記憶する区間長対応関係記憶部から読み出す区間長対応関係取得手段、前記コンテンツの区間あるいは領域を示す検索区間の情報を取得する検索命令取得手段、前記検索区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域のメタデータを抽出するメタデータ検索手段、前記区間長対応関係情報の蓄積区間長情報であって前記検索区間に含まれるクエリ区間に対応する蓄積区間長情報に基づいて、前記メタデータ検索手段にて抽出したメタデータを出力する検索結果出力手段、として機能させるメタデータ検索プログラムである。
また、本発明は、コンテンツの信号に類似する信号の蓄積コンテンツを検索し、検索した蓄積コンテンツのメタデータを出力するメタデータ検索装置を具備するメタデータ管理システムにおいて、前記メタデータ管理システムは、メタデータ生成装置を具備し、前記メタデータ検索装置は、前記コンテンツの区間あるいは領域を示すクエリ区間の情報と、前記クエリ区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域の大きさを示す蓄積区間長情報と、を対応付けた区間長対応関係情報を予め記憶する区間長対応関係記憶部から読み出す区間長対応関係取得部と、前記コンテンツの区間あるいは領域を示す検索区間の情報を取得する検索命令取得部と、前記検索区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域のメタデータを抽出するメタデータ検索部と、前記区間長対応関係情報の蓄積区間長情報であって前記検索区間に含まれるクエリ区間に対応する蓄積区間長情報に基づいて、前記メタデータ検索部が抽出したメタデータを出力する検索結果出力部と、を備え、前記メタデータ生成装置は、前記クエリ区間と、当該クエリ区間のコンテンツの信号に類似する信号の前記蓄積区間と、を含む対応関係を複数取得するコンテンツ対応関係取得部と、前記クエリ区間と前記蓄積区間との複数の対応関係を結合して結合対応関係を生成する結合対応関係生成部と、前記結合対応関係生成部が結合した前記クエリ区間と、前記結合対応関係の前記蓄積区間の大きさを示す蓄積区間長情報と、を前記区間長対応関係情報として区間長対応関係記憶部に記憶する区間長対応関係生成部と、を備えることを特徴とするメタデータ検索システムである。
本発明によれば、メタデータ検索装置は、コンテンツの区間あるいは領域に含まれる信号に類似する信号の蓄積コンテンツの区間あるいは領域のメタデータを、当該蓄積コンテンツの区間あるいは領域の大きさを示す蓄積区間長情報に基づいて出力するので、コンテンツの類似の度合いに従ってメタデータを出力することができ、利用者等がコンテンツに合致するメタデータを迅速に選択することができる。例えば、蓄積コンテンツの区間あるいは領域の大きさが大きい順にメタデータを出力する場合、メタデータ検索装置は、コンテンツの類似の度合いが高い順にメタデータを出力することができ、利用者等がコンテンツに合致するメタデータを迅速に選択することができる。また、メタデータ検索装置は、出現頻度ヒストグラムを出力するので、出現頻度が高い時間区間のメタデータを選択することができ、検索コンテンツに合致したメタデータを表示することができる。
本発明の実施形態に係るメタデータ検索システムを示す概念図である。 本実施形態に係るメタデータ生成装置の構成を示す概略ブロック図である。 本実施形態に係るメタデータ管理装置の動作の一例を示すフローチャートである。 本実施形態に係る結合対応関係の一例を示す概念図である。 本実施形態に係るコンテンツ情報の一例を示す概念図である。 本実施形態に係る複数の結合対応関係の一例を示す概念図である。 本実施形態に係る区間長対応関係情報の一例を示す概念図である。 本実施形態に係るメタデータ検索装置の構成を示す概略ブロック図である。 本実施形態に係るメタデータ検索装置の動作の一例を示すフローチャートである。 本実施形態に係るクエリデータ検索画面の一例を示す概略図である。 本実施形態の変形例1に係るクエリデータ検索画面の一例を示す概略図である。 本実施形態の変形例2に係る出現頻度ヒストグラムの一例を示す概略図である。 本実施形態の変形例2に係る検索結果出力部が表示するメタデータの別の一例を示す図である。 本実施形態の変形例2に係る検索結果出力部が表示するメタデータの別の一例を示す図である。 本実施形態の変形例2に係る検索結果出力部が表示するメタデータの別の一例を示す図である。
(実施形態)
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図1は、本発明の実施形態に係るメタデータ検索システムを示す概念図である。この図において、メタデータ検索システムは、メタデータ生成装置a1、データベースb1、及びメタデータ検索装置c1を含んで構成される。データベースb1は、対応関係記憶部b111、コンテンツ情報記憶部b121、区間長対応関係記憶部b122、及び蓄積コンテンツ記憶部b131を含んで構成される。なお、コンテンツ情報記憶部b121及び区間長対応関係記憶部b122をメタデータ記憶部b12という。
メタデータ生成装置a1は、新たなコンテンツが入力されると、入力された新たなコンテンツと、そのコンテンツの信号に類似する信号の蓄積コンテンツであって蓄積コンテンツ記憶部b131が予め記憶する蓄積コンテンツと、の結合対応関係情報を生成して対応関係記憶部b111に記憶する(図4参照)。ここで、メタデータ生成装置a1に入力又は記憶されるコンテンツとは、例えば、動画や音楽等のコンテンツであり、利用者がメタデータ生成装置a1にアップロード、又は、コンピュータプログラムによって自動的にウェブサイトからメタデータ生成装置a1にダウンロードされたコンテンツである。
メタデータ生成装置a1は、対応関係記憶部b111が記憶する結合対応関係情報と、メタデータ記憶部b12が記憶する蓄積コンテンツのメタデータと、に基づいて、新たなコンテンツのメタデータを生成する。メタデータ生成装置a1は、生成したメタデータをメタデータ記憶部b12に記憶する。なお、メタデータとは、コンテンツに対する付加情報であり、例えば、コンテンツの種類、タイトル、又は出演者・演奏者等の情報である。また、メタデータ生成装置a1は、メタデータのうち、新たなコンテンツの区間あるいは領域(クエリ区間)と、結合した蓄積コンテンツの区間あるいは領域(蓄積区間;蓄積区間長情報)と、の対応情報である区間長対応関係情報を区間長対応関係記憶部b122に記憶する(図7参照)。メタデータ生成装置a1は、区間長対応関係情報以外のメタデータ(コンテンツ情報という)をコンテンツ情報記憶部b121に記憶する(図5参照)。
メタデータ検索装置c1は、利用者等から指定された検索条件を含む検索命令が入力されると、検索条件と一致する蓄積コンテンツのメタデータを出力する。
ここで、本実施形態かかるメタデータ検索装置c1は、区間長対応関係記憶部b122が記憶する区間長対応関係情報に基づいて、検索結果の情報の出力順序を並び換えて出力する。
以下、まず、メタデータ生成装置a1について説明し、その後、メタデータ検索装置c1について説明をする。
<メタデータ生成装置a1の構成について>
図2は、本実施形態に係るメタデータ生成装置a1の構成を示す概略ブロック図である。この図において、メタデータ管理装置a1は、コンテンツ対応関係取得部a101、結合対応関係生成部a102、コンテンツ情報生成部a103、及び蓄積区間長対応関係生成部a104を含んで構成される。また、メタデータ管理装置a1は、クエリコンテンツIDおよびクエリコンテンツの区間あるいは領域と、蓄積コンテンツIDおよび蓄積コンテンツの区間あるいは領域を入力とし、クエリデータに付与するクエリメタデータを出力とする。
コンテンツ対応関係取得部a101は、図1中の対応関係記憶部b111からクエリ区間と、当該クエリ区間のコンテンツの信号に類似する信号の蓄積区間と、を含む対応関係を複数取得する。
結合対応関係生成部a102は、コンテンツ対応関係取得部a101が取得したクエリ区間と蓄積区間との複数の対応関係を結合して結合対応関係を生成する。具体的には、結合対応関係生成部a102は、複数の対応関係のクエリコンテンツの時間区間(クエリ時間区間という)の差、および当該蓄積コンテンツの時間区間(蓄積時間区間という)の差、を計算する。結合対応関係生成部a102は、計算した差に基づいて、複数の対応関係のクエリ時間区間および蓄積時間区間を結合し、クエリコンテンツIDおよび結合したクエリ時間区間と、蓄積コンテンツIDおよび結合した蓄積時間区間と、からなる結合対応関係を生成する。
コンテンツ情報生成部a103は、結合対応関係生成部a102が生成した結合対応関係から、クエリ区間についてのコンテンツ情報、またはクエリコンテンツの全体についてのコンテンツ情報を、対応する蓄積コンテンツの蓄積コンテンツID、メタデータのうちの少なくとも1つ以上に基づいて生成する。コンテンツ情報生成部a103は、生成したコンテンツ情報を、図1中のコンテンツ情報記憶部b121に記憶する。
区間長対応関係生成部a104は、結合対応関係生成部a102が結合したクエリ区間と、その蓄積区間長情報とを、区間長対応関係情報として、図1中の区間長対応関係記憶部b122に記憶する。
<メタデータ管理装置a1の動作について>
上述したコンテンツ対応関係取得部a101からコンテンツ情報生成部a103における処理を具体的に説明する。
図3は、本実施形態に係るメタデータ生成装置a1の動作の一例を示すフローチャートである。
(ステップS101)コンテンツ対応関係取得部a101は、クエリコンテンツのクエリコンテンツIDおよびクエリ時間区間と、当該クエリコンテンツに対応するデータベース中の蓄積コンテンツの蓄積コンテンツIDおよび蓄積時間区間を読み込む。そして、クエリコンテンツのクエリコンテンツIDおよびクエリ時間区間と、当該クエリコンテンツに対応するデータベース中の蓄積コンテンツの蓄積コンテンツIDおよび蓄積時間区間との対応関係を複数取得する。
ここで、コンテンツ対応関係取得部a101は、特開2008−219608号公報の段落「0016」に記載された手法により、音または映像の対応区間を探索して得られた探索結果を使用して、対応関係を取得する。具体的には、コンテンツ対応関係取得部a101は、記憶部(図示せず)が予め記憶する特徴系列であって蓄積コンテンツを3秒毎に16秒の長さに区切ったデータの特徴系列(蓄積特徴系列という)を読み出す。次に、コンテンツ対応関係取得部a101は、クエリコンテンツの信号(入力信号という)中に窓(入力信号注目窓という)をかけ、当該入力信号注目窓内の信号について特徴量系列を生成する(生成した特徴量系列をクエリ特徴量系列という)。コンテンツ対応関係取得部a101は、生成したクエリ特徴量系列と読み出した蓄積特徴系列との類似度合いを示す入力信号類似値を計算する。コンテンツ対応関係取得部a101は、当該計算した入力信号類似値に基づいて、入力信号注目窓を移動できる量を示す移動可能量を計算し、その移動可能量に基づいて、入力信号注目窓の位置を決定し、その位置に該入力信号注目窓を設定する。さらに、コンテンツ対応関係取得部a101は、これらの処理を繰り返すことによって、入力信号注目窓の各位置について、入力信号類似値を計算する。コンテンツ対応関係取得部a101は、入力信号類似値が予め設定された閾値より大きい場合、クエリ特徴量系列と蓄積特徴系列とが一致すると判定(類似すると判定)し、閾値以下の場合、一致しないと判定する。
コンテンツ対応関係取得部a101は、クエリ特徴量系列と蓄積特徴系列とが一致すると判定した場合、次のように対応関係を生成する。コンテンツ対応関係取得部a101は、探索に用いたクエリコンテンツのファイル名をクエリコンテンツIDとし、入力信号注目窓の区間をクエリ時間区間として抽出する。そして、探索の出力として得られた一致する蓄積コンテンツのIDを蓄積コンテンツID、その蓄積コンテンツのうちのクエリ時間区間と対応する箇所として出力された該当区間を、蓄積時間区間として抽出する。なお、蓄積コンテンツID(ファイル名)、クエリ時間区間、及び蓄積特徴系列の記憶場所を示す情報(パス、ファイル名)の対応付け情報は予め記憶部に記憶されている。
コンテンツ対応関係取得部a101は、抽出したクエリコンテンツID、クエリ時間区間、蓄積コンテンツID、及び蓄積時間区間を対応付けた対応関係を生成する。その後、ステップS102に進む。
なお、ここでは、対応する範囲として、時間区間を使用するが、時間と音の時間伸縮やピッチ変動を組み合わせた空間中の軌跡を区間として使用してもよいし、静止画像の平面中の部分画像のような領域を使用してもよいし、映像中の部分画像と時間を組み合わせた領域を使用してもよい。また、特開2008−219608号公報に記載された手法に代えて特開2006−524545号公報に記載された手法により、対応関係を取得してもよい。また、本実施形態では、クエリコンテンツID及び蓄積コンテンツIDとして、クエリコンテンツ及び蓄積コンテンツのファイル名としているが、クエリコンテンツ及び蓄積コンテンツを識別する情報であればよい。
(ステップS102)結合対応関係生成部a102は、ステップS101にて取得した対応関係であって、前回までのステップS102で選択した対応関係以外の対応関係を、1つ選択する(選択した対応関係を第一の対応関係という)。その後、ステップS103に進む。
(ステップS103)結合対応関係生成部a102は、ステップS101にて取得した対応関係であって、あるステップS103〜S106の繰り返しにおいて前回までのステップS103で選択した対応関係以外の対応関係を、1つ選択する(選択した対応関係を第二の対応関係という)。その後、ステップS104に進む。
なお、ステップS103で選択する対応関係は、直前のステップS102で選択された第一の対応関係以外の対応関係である。
(ステップS104)結合対応関係生成部a102は、第一の対応関係と第二の対応関係に基づいて結合条件を判定する。結合条件を満たす場合には、第二の対応関係を第一の対応関係に結合する(結合した対応関係を結合対応関係という)。この結合対応関係の生成処理については後述する。その後、ステップS105に進む。
(ステップS105)コンテンツ情報生成部a103は、ステップS104にて生成された結合対応関係から、クエリ時間区間に対応するコンテンツ情報を生成する。その後、ステップS106に進む。
(ステップS106)区間長対応関係生成部a104は、ステップS104にて結合したクエリ区間と蓄積区間とを、区間長対応関係情報として生成する。なお、このメタデータ(コンテンツ情報、区間長対応関係情報)の生成処理については後述する。その後、ステップS107に進む。
(ステップS107)結合対応関係生成部a102は、全ての第二の対応関係を選択済みか否か、つまり、第二の対応関係を処理済みであるか否かを判定する。全ての第二の対応関係を処理済みであると判定した場合(Yes)、ステップS103に戻る。一方、全ての第二の対応関係を処理済みでないと判定した場合(No)、ステップS108に進む。
(ステップS108)結合対応関係生成部a102は、全ての第一の対応関係を選択済みか否か、つまり、第一の対応関係を処理済みであるか否かを判定する。全ての第一の対応関係を処理済みであると判定した場合(Yes)、ステップS102に戻る。一方、全ての第一の対応関係を処理済みでないと判定した場合(No)、動作を終了する。
このように、図3に示す動作では、結合対応関係生成部a102は、第一の対応関係と、第二の対応関係を読み込んだ全ての対応関係の中からそれぞれ選択し、条件を満足するかどうかの結合判定を行いながら、結合対応関係を生成する。また、区間長対応関係生成部a104は、生成した結合対応関係に基づいて、クエリ区間と、その蓄積区間長情報とを、区間長対応関係情報として生成する。
<結合対応関係の生成処理について>
図4は、本実施形態に係る結合対応関係の一例を示す概念図である。なお、結合対応関係の生成処理は、結合対応関係生成部a102が行う。この図は、クエリコンテンツとしてファイル名「C2.mp3」の音楽データが入力された場合の図である。この図は、まず、第一の対応関係A(図4(A))と第二の対応関係B(図4(B))が入力され、結合対応関係(図4(C))が生成されたことを示す。なお、生成された結合対応関係は第二の対応関係(図4(D))として記憶部に記憶される。次に、第一の対応関係C(図4(E))と第二の対応関係(図4(D))とが入力され、結合対応関係(図4(F))が生成されたことを示す。
結合対応関係生成部a102は、対応関係Aから対応関係Cまでの対応関係について、クエリコンテンツと対応する蓄積時間区間を結合し、結合対応関係を生成する。コンテンツ情報生成部a103は、結合できるかできないかを、qを第一の対応関係のクエリ時間区間の始まり、qを第二の対応関係のクエリ時間区間の始まり、dを第一の蓄積時間区間の始まり、dを第二の蓄積時間区間の始まり、θを予め決めておいた閾値(5秒)として、以下の式(1)を用いて判定する。
Figure 2010283542
上記式(1)を満たす場合、結合対応関係生成部a102は、第一の対応関係と第二の対応関係とを結合する。つまり、式(1)は上記の結合条件である。
なお、閾値θが大きくなると、結合する結合対応関係の時間区間が長くなり、この時間区間に対応するメタデータには関連性のないメタデータが多く含まれてしまう。一方、閾値θが小さくなると、結合する結合対応関係の時間区間が短くなり、関連性のあるメタデータを結合できなくなる。本実施形態では、シミュレーションの結果、関連性のあるメタデータが含まれる適切な時間区間となる閾値θとして、5秒を選択している。なお、この閾値は、5秒から数秒前後してもよい。
図4の例では、図4(A)に示す対応関係Aを第一の対応関係、図4(B)に示す対応関係Bを第二の対応関係として、式(1)の左辺が「0」になるので、式(1)を満たす。この場合、結合対応関係生成部a102は、図4(C)に示すように、対応関係Aと対応関係Bを結合する。
また、図4(D)に示す結合した対応関係を第一の対応関係、図4(E)に示す対応関係Cを第二の対応関係として、式(1)が「0」になるので、式(1)を満たす。この場合、結合対応関係生成部a102は、図4(F)に示すように、対応関係Aと、AとBとの結合対応関係を結合する。その結果、図4(F)に示すように、対応関係Aから対応関係Cまでが結合され1つの結合対応関係となる。例えば、図4(F)は、クエリコンテンツID「C2.mp3」のクエリコンテンツの「3分21秒」から「3分43秒」と、蓄積コンテンツID「C1.wav」の蓄積コンテンツの「14秒」から「30秒」との結合対応関係が生成されたことを示す。
なお、上記の例では、時間区間の始まりを用いて結合可能か判定を行ったが、時間区間の終わりを用いてもよい。
また、結合対応関係生成部a102は、第一、第二の対応関係に加えて、第三の対応関係を選択し、これらの対応関係の時間区間の差分の比を結合条件としてもよい。例えば、結合対応関係生成部a102は、結合条件を、qを第一の対応関係のクエリ時間区間の始まり、qを第二の対応関係のクエリ時間区間の始まり、qを第三の対応関係のクエリ時間区間の始まり、dを第一の蓄積時間区間の始まり、dを第二の蓄積時間区間の始まり、dを第三の蓄積時間区間の始まり、θを予め決めておいた閾値(0.5)として、以下の式(2)を用いて判定する。なお、この閾値θも、シミュレーションの結果、関連性のあるメタデータが含まれる適切な時間区間となる閾値θとして、0.5を選択している。
Figure 2010283542
上記式(2)を満たす場合、結合対応関係生成部a102は、第一の対応関係と第二の対応関係と第三の対応関係とを結合する。なお、結合対応関係生成部a102は、結合の条件を満たす対応関係の時間区間の始まりのうち最も小さい時間を結合後の時間区間の始まりとし、対応関係の時間区間の終わりのうち最も大きい時間を結合後の時間区間の終わりとして、この時間区間を結合対応関係の時間区間にする。
また、上記では時間区間に基づいて対応関係を結合する場合について説明をしたが、本発明はこれに限らず、位置領域に基づいて対応関係を結合してもよい。この場合、対応関係として、2次元画像中の部分画像のような領域毎にコンテンツIDと位置領域情報を取得する。この場合、結合対応関係生成部a102は、以下のような結合条件を用いて、結合するかしないかを判定してもよい。例えば、結合対応関係生成部a102は、q=(q11,q12,q13,q14)を第一の対応関係のクエリコンテンツの2次元座標の縦軸の上限値、下限値、横軸の上限値、下限値からなる領域を表すベクトルとし、q=(q21,q22,q23,q24)を第二の対応関係のクエリコンテンツの縦軸の上限値、下限値、横軸の上限値、下限値からなる領域を表すベクトルとし、d=(d11,d12,d13,d14)を第一の蓄積コンテンツの左上の縦軸の上限値、下限値、横軸の上限値、下限値からなる領域を表すベクトルとし、d=(d21,d22,d23,d24)を第二の蓄積コンテンツの左上の縦軸の上限値、下限値、横軸の上限値、下限値からなる領域を表すベクトルとし、θ=(θ,θ,θ,θ)を予め決めておいた閾値として、以下の式(3)〜(6)を用いて判定する。
Figure 2010283542
上記式(3)〜(6)のすべてを満たす場合、結合対応関係生成部a102は、第一の対応関係と第二の対応関係とを結合する。
<メタデータの生成処理について>
以下、メタデータの生成処理について説明をする。
まず、コンテンツ情報の生成処理について説明する。
図5は、本実施形態に係るコンテンツ情報の一例を示す概念図である。コンテンツ情報生成部a103は、結合対応関係生成部a102が生成した結合対応関係のクエリコンテンツのコンテンツ情報に、対応する蓄積コンテンツのコンテンツ情報を加えたコンテンツ情報を、新たなクエリコンテンツのコンテンツ情報として生成する。この図は、図3(C)に示す結合対応関係に基づいて行うコンテンツ情報の生成処理前後のコンテンツ情報を示す。
図5(A)は、コンテンツ情報の生成処理前のコンテンツ情報を示す概略図である。この図は、生成処理前、クエリコンテンツID「C2.mp3」のクエリ時間区間「03:21−03:40」のクエリコンテンツのコンテンツ情報が「ジャンル1:ドラマ、ジャンル2:サスペンス、出演者:△△花子、放送媒体:テレビ,BS、チャンネルID:348Ch」であることを示す。また、この図は、生成処理前、蓄積コンテンツID「C1.wav」及び「C2.mp3」のコンテンツ情報が、「楽曲名:ABC、ジャンル:ロック、アーチスト:○○太郎、放送媒体:ラジオ,AM、周波数:1079Hz」であることを示す。なお、放送媒体は、例えば、テレビあるいはラジオ等、及び、BS(Broadcasting Satellite;放送衛星)放送あるいは地上波放送等の放送媒体の種類を示す情報である。また、チャンネルや周波数は、放送周波数を識別する情報であり、また、放送局を識別する情報である。
図5(B)は、コンテンツ情報の生成処理後のコンテンツ情報を示す概略図である。この図は、生成処理後、クエリコンテンツID「C8.mpeg」のクエリコンテンツのコンテンツ情報が、「ジャンル1:ドラマ、ジャンル2:サスペンス、出演者:△△花子、楽曲名:ABC、ジャンル:ロック、アーチスト:○○太郎、放送媒体:テレビ,BS、チャンネルID:348Ch」であることを示す。つまり、コンテンツ情報生成部a303が、クエリコンテンツ(C2.mpeg)のコンテンツ情報に、対応する蓄積コンテンツ(C1.wav)のコンテンツ情報を加えたコンテンツ情報を、クエリコンテンツの新たなコンテンツ情報として生成したことを示す。なお、放送媒体、チャンネルIDあるいは周波数のように、予め定めた項目であって、コンテンツに固有の情報は、新たなコンテンツ情報として追加をしなくてもよい。また、メタデータには蓄積コンテンツIDが含まれてもよい。また、本実施形態では、生成するメタデータがクエリ時間区間のメタデータである場合について説明したが、本発明はこれに限らず、クエリコンテンツ全体のメタデータとしてメタデータを生成してもよい。
このように、メタデータ管理装置a1は、蓄積コンテンツのメタデータをクエリコンテンツのメタデータに加えたメタデータを、クエリコンテンツのメタデータとして生成する。これにより、メタデータ管理装置a1は、利用者がメタデータを付与する手間をかけることなく、クエリコンテンツのメタデータを追加し、充実させることができる。例えば、図5の例では、映像のクエリコンテンツに楽曲情報が追加されている。このように、メタデータ管理装置は、例えば、映像のシーンで流れるBGM(BackGround Music)の楽曲を検索し、映像のクエリコンテンツのメタデータに検索した楽曲の情報を追加することができる。
次に、区間長対応関係情報の生成処理について説明をする。
区間長対応関係生成部a104は、結合対応関係生成部a102が生成した結合対応関係のクエリ時間区間と、結合した蓄積コンテンツ毎の蓄積時間区間であってクエリ時間区間に換算した蓄積時間区間(対応蓄積時間区間という;蓄積区間;蓄積区間長情報)と、を対応付けた区間長対応関係情報を生成する。以下、図6に結合対応関係の一例を示し、図7に図6に示す結合対応関係に基づいて生成される区間長対応関係情報の一例を示す。
図6は、本実施形態に係る複数の結合対応関係の一例を示す概念図である。この図は、クエリコンテンツに対応する蓄積コンテンツが複数ある場合の結合対応関係の一例である。この図は、クエリコンテンツID「C3.mpeg」のクエリコンテンツに対して、蓄積コンテンツID「C4.mpeg」、「C5.wav」、「C6.wmv」、「C7.mp3」の蓄積コンテンツが対応する場合の結合対応関係を示す。対応関係1〜4は、それぞれ、蓄積コンテンツID「C4.mpeg」、「C5.wav」、「C6.wmv」、「C7.mp3」の蓄積コンテンツに対応する結合対応関係である。例えば、結合対応関係1は、クエリコンテンツID「C3.mpeg」のクエリコンテンツの「0分0秒」から「3分50秒」に、蓄積コンテンツID「C4.mpeg」の蓄積コンテンツの「2分31秒」から「6分31秒」が対応することを示す。
図7は、本実施形態に係る区間長対応関係情報の一例を示す概念図である。この図は、図6に示した結合対応関係が入力された場合の区間長対応関係情報を示す。
図7は、クエリコンテンツID「C3.mpeg」の時間区間「00:00−03:00」のクエリコンテンツの区間長対応関係情報を示す。例えば、この図は、クエリコンテンツ「C3.mpeg」の信号と類似する信号の蓄積コンテンツID「C4.mpeg」の対応蓄積時間区間が「00:00−03:00」であることを示す。なお、この対応蓄積時間区間が示す蓄積区間長は「180秒」である。また、例えば、この図は、クエリコンテンツ「C3.mpeg」の信号と類似する信号の蓄積コンテンツID「C5.wav」の対応蓄積時間区間が「00:40−01:30」及び「02:10−03:00」であることを示す。なお、この対応蓄積時間区間が示す蓄積区間長は、対応蓄積時間区間の長さの合計「100秒」である。
<メタデータ検索装置c1の構成について>
以下、メタデータ検索装置c1について説明をする。
図8は、本実施形態に係るメタデータ検索装置c1の構成を示す概略ブロック図である。この図において、メタデータ検索装置c1は、区間長対応関係取得部c101、検索命令取得部c102、メタデータ検索部c103、及び検索結果出力部c104を含んで構成される。また、メタデータ検索装置c1は、区間長対応関係情報のクエリコンテンツID、クエリコンテンツの時間区間あるいは領域、蓄積コンテンツID、蓄積コンテンツの区間あるいは領域と、蓄積コンテンツのコンテンツ情報と、を入力とする。また、メタデータ検索装置c1は、検索命令が示す検索コンテンツID及び検索コンテンツの区間あるいは領域と、これらに対応する蓄積コンテンツID、蓄積コンテンツの区間あるいは領域、及びコンテンツ情報を出力とする。
区間長対応関係取得部c101は、区間長対応関係記憶部b122から区間長対応関係情報を読み出す。
検索命令取得部c102は、検索するコンテンツ(検索コンテンツという)の時間区間(検索区間という)を取得する。
メタデータ検索部c103は、検索区間に含まれる信号に類似する信号の蓄積コンテンツの区間あるいは領域のメタデータ(区間長対応関係情報、コンテンツ情報)を抽出する。
検索結果出力部c104は、区間長対応関係情報の蓄積区間長情報であって検索区間に含まれるクエリ区間に対応する蓄積区間長情報に基づいて、メタデータ検索部c103が抽出したメタデータを並び換えて出力する。
<メタデータ検索装置c1の動作について>
上述した区間長対応関係取得部c101から検索結果出力部c104における処理を具体的に説明する。
図9は、本実施形態に係るメタデータ検索装置c1の動作の一例を示すフローチャートである。
(ステップS201)区間長対応関係取得部c101は、区間長対応関係記憶部b122から区間長対応関係情報を読み出す。その後、ステップS202に進む。
(ステップS202)検索命令取得部c102は、検索命令に含まれる検索条件の入力を待つ。その後、ステップS202に進む。
(ステップS203)検索命令取得部c102は、検索命令が入力されると、検索命令に含まれる検索条件を読み込む。ここで、検索条件には、例えば、メタデータ及び検索時間区間が含まれる。その後、ステップS204に進む。
(ステップS204)メタデータ検索部c103は、検索条件に対応するメタデータを選択する。具体的には、まず、メタデータ検索部c103は、ステップS203にて読み込んだ検索条件から検索コンテンツIDを選択する。例えば、検索条件としてメタデータのキーワードが入力された場合、このキーワードを含むメタデータをメタデータ記憶部b12から選択し、そのメタデータに対応するファイル名を検索コンテンツIDとして選択する。次に、メタデータ検索部c103は、クエリコンテンツID及びクエリ時間区間がそれぞれ検索コンテンツID及び検索時間区間である区間長対応関係情報を、区間長対応関係情報b122から選択する。また、選択した区間長対応関係情報の蓄積コンテンツIDに基づいて、この蓄積コンテンツIDのコンテンツ情報を、コンテンツ情報記憶部b121から抽出する。その後、ステップS205に進む。
(ステップS205)検索結果出力部c104は、ステップS204にて選択したメタデータを、蓄積区間長が長い順に並び替える。具体的に、検索結果出力部c104は、区間長対応関係情報の対応蓄積時間区間に含まれる時間(蓄積区間長)を計算し、計算した時間が長い順に蓄積コンテンツID及び蓄積区間を並び替える。例えば、図7の一例では、検索結果出力部c104は、蓄積コンテンツID「C4.mpeg」、「C5.wav」、「C6.wmv」及び「C7.mp3」の蓄積区間長を、それぞれ、「180秒」、「100秒」、「80秒」、及び「70秒」と計算する。この場合、検索結果出力部c104は、蓄積コンテンツID「C4.mpeg」、「C5.wav」、「C6.wmv」、「C7.mp3」の順序に並び替える。その後、ステップS206に進む。
(ステップS206)検索結果出力部c104は、ステップS205にて並び替えた順序で、区間長対応関係情報の蓄積コンテンツID、蓄積区間、及び蓄積コンテンツIDのコンテンツ情報を、つまり、メタデータを出力する。出力された情報は、例えば、出力順序でディスプレイ等の表示部に表示される。その後、ステップS207に進む。
(ステップS207)検索結果出力部c104は、全ての検索条件を処理済であるか否かを判定する。全ての検索条件を処理済であると判定した場合(YES)、動作を終了する。全ての検索条件を処理済でないと判定した場合(NO)、ステップS202に戻る。
図10は、本実施形態に係るクエリデータ検索画面V1の一例を示す概略図である。この図は、放送媒体が「テレビ」、「地上波」、チャンネルIDが「019Ch.」、及び、放送時間帯(検索時間区間)が「2009年4月11日09時00分」から「2009年4月11日10時00分」の検索条件が入力された場合を示す。この場合、メタデータ検索部c103は、放送媒体が「テレビ」、「地上波」、チャンネルIDが「019Ch.」をキーワードとして含むメタデータをメタデータ記憶部b12から選択し、そのメタデータに対応するファイル名を検索コンテンツIDとして選択する。次に、メタデータ検索部c103は、クエリコンテンツIDがこの検索コンテンツID、及びクエリ時間区間が「2009年4月11日09時00分」から「2009年4月11日10時00分」である区間長対応関係情報を、区間長対応関係情報b122から選択する。また、選択した区間長対応関係情報の蓄積コンテンツIDに基づいて、この蓄積コンテンツIDのコンテンツ情報を、コンテンツ情報記憶部b121から抽出する。すなわち、クエリとして指定した時間区間と対応関係が重畳する区間を含む全ての時間区間を含む蓄積コンテンツのメタデータ(区間長対応関係情報及びコンテンツ情報)を取得する。検索結果出力部c104は、メタデータ検索部c103が選択及び抽出したメタデータを、蓄積区間長が長い順に並び替えて表示する。
図10は、上記の検索条件及び処理の結果として、23件の蓄積コンテンツのメタデータを抽出し、そのうち、8件の一覧を表示していることを示す。
また、図10は、検索結果の蓄積コンテンツのメタデータが、蓄積区間長が長い順に並び替えられて表示されていることを示す。例えば、符号V11を付した破線で囲まれた蓄積コンテンツのメタデータV11は、放送媒体が「テレビ」、「BS」、チャンネルIDが「348Ch.」であり、蓄積区間が「2009年4月11日09時08分」から「2009年4月11日09時14分」、蓄積区間長が「7分」であることを示す。また、符号V12を付した破線で囲まれた蓄積コンテンツのメタデータV12は、放送媒体が「ラジオ」、「AM」、周波数が「1079Hz」、蓄積区間が「2009年4月11日09時03分」から「2009年4月11日09時05分」及び「2009年4月11日09時45分」から「2009年4月11日09時46分」であり、蓄積区間長が「5分」であることを示す。
なお、メタデータの右隣に表示されたボタンは、蓄積コンテンツのメタデータを選択するラジオボタンを示す。例えば、この図において、符号V13を付した破線で囲まれたラジオボタンが選択されており、メタデータV11の蓄積コンテンツを選択していることを示す。この場合に、視聴ボタンを押下すると、メタデータ検索装置は、このメタデータに対応する蓄積コンテンツを蓄積コンテンツ記憶部b131から読み出して再生し、画面に表示する。
このように、本実施形態によれば、メタデータ検索装置c1は、検索コンテンツの時間区間に含まれる信号に類似する信号の蓄積コンテンツの時間区間のメタデータを、当該蓄積コンテンツの蓄積区間長情報に基づいてメタデータを出力するので、コンテンツの類似の度合いに従ってメタデータを出力することができ、利用者等があるコンテンツに合致するメタデータを迅速に選択することができる。ここで、蓄積区間長が長いと信号の類似する区間も長く、コンテンツの類似の度合いが高いといえる。よって、例えば、蓄積区間長が長い順にメタデータを出力する場合、メタデータ検索装置c1は、コンテンツの類似の度合いが高い順にメタデータを出力することができ、利用者等があるコンテンツに合致するメタデータを迅速に選択することができる。
<変形例1>
上記の実施形態では、検索結果出力部c104が蓄積区間としてクエリ時間区間に換算した対応蓄積時間区間を出力したが、蓄積時間区間をそのまま出力してもよいし、対応蓄積区間と蓄積時間区間との両方を出力してもよい。
図11は、本実施形態の変形例1に係るクエリデータ検索画面V2の一例を示す概略図である。本変形例に係るクエリデータ検索画面V2(図11)と上記の実施形態に係るクエリデータ検索画面V1(図10)とを比較すると、検索結果として表示されるメタデータの項目が異なる。図11は、メタデータとして、蓄積時間区間を表示していることを示す。例えば、符号V21を付した破線で囲まれた蓄積コンテンツのメタデータV21は、放送媒体が「テレビ」、「BS」、チャンネルIDが「348Ch.」であり、蓄積時間区間が「2009年4月10日13時32分」から「2009年4月10日13時38分」、蓄積区間長が「7分」であることを示す。
一般に、映像や音楽には流行があり、ある時期にまとまって放送等がなされ、また、ある時期にまとまって利用者がサーバ等にコンテンツをアップロードする。本変形例1によれば、メタデータ検索装置c1が蓄積時間区間を出力するので、検索時間区間に近い時間の蓄積時間区間を選択することができ、コンテンツに合致したメタデータを選択することができる。
<変形例2>
また、検索結果出力部c104が、検索区間内のコンテンツの区間あるいは領域ごとに、蓄積コンテンツの出現頻度を表すヒストグラムを計算し、計算したヒストグラムが示す出現頻度に基づいてメタデータ検索部c103が抽出したメタデータを出力して表示してもよい。
図12は、本実施形態の変形例2に係る出現頻度ヒストグラムの一例を示す概略図である。この図において、横軸は時間(検索時間区間)を示し、縦軸は出現頻度を示す。なお、この図において、時間は予め定めた時間(1分)毎に区切られている。
例えば、破線H11で囲まれた出現頻度は、「9時10分00秒」から「9時10分59秒」の間の検索コンテンツの信号に類似する信号の蓄積コンテンツの数を示し、その数は「6個」であることを示す。
ここで、検索結果出力部c104は、以下のようにして、出現頻度ヒストグラムを生成して出力する。検索結果出力部c104は、まず、ヒストグラム配列を生成し、ヒストグラム配列中の出現頻度を空(「0」回)にする。ここで、ヒストグラム配列は、例えば、検索時間区間を1分間の時間区間(ビンの幅)で区切った区間各々の出現頻度を示す。検索結果出力部c104は、検索時間区間に対応する蓄積区間を区間長対応関係情報から抽出し、抽出した時間区間がヒストグラム配列が示す時間区間に含まれる場合、その時間区間の現頻度を「1」回加算してインクリメントする。
検索結果出力部c104は、検索結果として、メタデータに付与したヒストグラムが示す出現頻度を出力してもよいし、出現頻度からメタデータを検索してもよい。ここで、検索結果出力部c104は、検索結果としてヒストグラムが示す出現頻度が高い時間区間を示す情報を出力してもよいし、ヒストグラムが示す出現頻度が順に従って検索結果(例えば、蓄積コンテンツIDやそのコンテンツ名)を並び換えて出力してもよい。具体的には、検索結果出力部c104は、ヒストグラムのピーク値の高い順に蓄積コンテンツをソートする。また、ヒストグラムの積分値が大きい順にソートしてもよい。
すなわち、検索結果出力部c104は、取得したヒストグラムが示す出現頻度に基づいて、検索結果の出力順序を決定する。このように、出現頻度ヒストグラムの情報を用いて、蓄積コンテンツの優先順位付けを行うことが可能になる。
人気があるコンテンツなど利用者の嗜好が強いコンテンツは、頻繁に放送等がなされ、また、多くの利用者がサーバ等にコンテンツをアップロードする。つまり、蓄積コンテンツの出現頻度が高い時間区間では、検索コンテンツが嗜好の強い蓄積コンテンツであり、同じ信号の蓄積コンテンツが複数存在する可能性が高い。よって、この出現頻度が高い時間区間では、検索コンテンツに合致した蓄積コンテンツを選択することができ、そのメタデータを選択することができる可能性が高い。本変形例2によれば、メタデータ検索装置c1が出現頻度ヒストグラムを出力するので、出現頻度が高い時間区間のメタデータを選択することができ、検索コンテンツに合致したメタデータを表示することができる。
図13〜図15は、本実施形態の変形例2に係る検索結果出力部c104が表示するメタデータの一例を示す図である。
図13は、結合対応関係での蓄積コンテンツIDの数が多い順にその蓄積コンテンツへのパス及び蓄積コンテンツのファイル名(URL)を表示している画面である。具体的には、検索結果出力部c104は、すべての結合対応関係の蓄積コンテンツIDとクエリコンテンツIDとの組を抽出し、重複を排除する。次に、検索結果出力部c104は、重複を排除した組の蓄積コンテンツIDを集計し、集計した蓄積コンテンツIDの数が多い順に、その蓄積コンテンツのURLを表示する。なお、検索結果出力部c104は、重複を排除することで蓄積コンテンツが含まれているクエリコンテンツの数を集計しているが、本発明はこれに限らず、重複を排除しなくてもよい。なお、クエリコンテンツに蓄積コンテンツが含まれていることを、蓄積コンテンツの二次利用という。
この図において、例えば、順位が「1」位の蓄積コンテンツは、二次利用頻度「21」件のクエリコンテンツに含まれ、そのURLが「http://XXXX/database/cid0002931.flv」であることを示す。
図14は、図13にて符号P1で示したURLが選択されてクリックされた場合に表示される画面である。図14は、図13にて選択された蓄積コンテンツをクエリコンテンツとして、そのコンテンツの出現頻度ヒストグラムを表示していることを示す。
例えば、図14において、出現頻度が最も高い時間区間は、二次利用頻度が最もの高い「9」件の区間であり、時刻が「00:00:20−00:0040」の区間である。
このように、図14では、検索結果出力部c104が出現頻度ヒストグラムを出力するので、出現頻度が高い時間区間のメタデータを選択することができ、検索コンテンツに合致したメタデータを表示することができる。
図15は、図14にて符号P2で示した「詳細」が選択されてクリックされた場合に表示される画面である。図15は、図14のクエリコンテンツ(コンテンツIDが「cid0002931」)で選択された時刻(本例では、「00:00:20−00:00:40」)の蓄積コンテンツのメタデータを表示していることを示す。例えば、画面の上部に表示された一覧の下から2番目のメタデータは、コンテンツが「映像」メディア、結合対応関係に含まれるクエリコンテンツ上の時間区間(対応区間1という)が「00:00:00−00:00:23」、蓄積コンテンツのURLが「http://XXXX/database/cid6283258.flv」、対応する蓄積コンテンツ上の区間(対応区間2という)が「00:00:00−00:00:23」であることを示す。
また、図15は、蓄積コンテンツのメタデータが、蓄積区間長(対応区間1の時間区間)が長い順に並び替えられて表示されていることを示す。例えば、画面の上部に表示された一覧の下から1番目、2番目のメタデータは、それぞれ、蓄積区間長が22秒、23秒であることを示す。
また、上から1番目のメタデータと下から1番目のメタデータとを比較すると、同じメディア(「音楽))、同じURL(蓄積コンテンツID「cid0242456.flv」)にもかかわらず、対応区間2が異なる。一般に音楽では、同じメロディと歌詞をくり返すことがある(1回目を1コーラス目、2回目を2コーラス目という)。つまり、上から1番目のメタデータは、cid0242456.flv中の音楽の全体の信号が類似する信号として抽出され、下から1番目のメタデータは、cid0242456.flv中の音楽の2コーラス目の一部の信号が、クエリコンテンツ(cid0002931.flv)の1コーラス目の信号と類似する信号として抽出されていることを示す。
また、画面下部の画像は、符号P3で示した対応区間「00:00:00−00:00:23」がクリックされた場合の動画である。検索対象動画G1は、クエリコンテンツ(コンテンツIDが「cid0002931」)のうち対応区間1の動画が表示されていることを示す。また、一致動画G2は、蓄積コンテンツ(コンテンツID「cid6283258.flv」」)のうち検索対象動画G1として表示されている時刻と対応する時刻の動画が表示されていることを示す。また、図15は、一致動画G2では、検索対象動画G1に文字列(テロップ)が追加された動画であることを示す。このように、クエリコンテンツと対応する蓄積コンテンツを表示することにより、利用者が追加情報を得ることもできる。
なお、上記実施形態において、メタデータ検索装置c1は、メタデータ生成装置a1の構成(コンテンツ対応関係取得部a101、結合対応関係生成部a102、コンテンツ情報生成部a103及び蓄積区間長対応関係生成部a104)を含んで構成されてもよい。
また、上記実施形態において、メタデータ検索装置c1は、蓄積区間長が一番長い蓄積コンテンツのメタデータのみを出力してもよい。これにより、メタデータ検索装置c1は、コンテンツの類似の度合いが最も高い蓄積コンテンツのメタデータを選択して出力することができる。また、メタデータ検索装置c1は、蓄積区間長が長い順に、予め定めた個数の蓄積コンテンツのメタデータを出力してもよい。
また、上記実施形態において、メタデータ検索装置c1は、出現頻度ヒストグラムに基づいてメタデータを出力してもよい。例えば、出現頻度が最も高い時間区間のメタデータのみを出力してもよい。
なお、上述した実施形態におけるメタデータ生成装置a1、メタデータ検索装置c1の一部、例えば、コンテンツ対応関係取得部a101、結合対応関係生成部a102、コンテンツ情報生成部a103、蓄積区間長対応関係生成部a104、区間長対応関係取得部c101、検索命令取得部c102、メタデータ検索部c103、検索結果出力部c104をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、メタデータ生成装置a1又はメタデータ検索装置c1に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
a1・・・メタデータ生成装置、b1・・・データベース、c1・・・メタデータ検索装置、b11・・・対応関係記憶部、b121・・・コンテンツ情報記憶部、b122・・・区間長対応関係記憶部、b131・・・蓄積コンテンツ記憶部、b12・・・メタデータ記憶部、a101・・・コンテンツ対応関係取得部、a102・・・結合対応関係生成部、a103・・・コンテンツ情報生成部、a104・・・蓄積区間長対応関係生成部、c101・・・区間長対応関係取得部、c102・・・検索命令取得部、c103・・・メタデータ検索部、c104・・・検索結果出力部

Claims (11)

  1. コンテンツの信号に類似する信号の蓄積コンテンツを検索し、検索した蓄積コンテンツのメタデータを出力するメタデータ検索装置において、
    前記コンテンツの区間あるいは領域に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域のメタデータを、当該蓄積コンテンツの区間あるいは領域の大きさを示す蓄積区間長情報に基づいて出力する検索結果出力部を備えることを特徴とするメタデータ検索装置。
  2. コンテンツの信号に類似する信号の蓄積コンテンツを検索し、検索した蓄積コンテンツのメタデータを出力するメタデータ検索装置おいて、
    前記コンテンツの区間あるいは領域を示すクエリ区間の情報と、前記クエリ区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域の大きさを示す蓄積区間長情報と、を対応付けた区間長対応関係情報を予め記憶する区間長対応関係記憶部から読み出す区間長対応関係取得部と、
    前記コンテンツの区間あるいは領域を示す検索区間の情報を取得する検索命令取得部と、
    前記検索区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域のメタデータを抽出するメタデータ検索部と、
    前記区間長対応関係情報の蓄積区間長情報であって前記検索区間に含まれるクエリ区間に対応する蓄積区間長情報に基づいて、前記メタデータ検索部が抽出したメタデータを出力する検索結果出力部と、
    を備えることを特徴とするメタデータ検索装置。
  3. 前記検索結果出力部は、前記区間長対応関係情報の蓄積区間長情報であって前記検索区間に含まれるクエリ区間に対応する蓄積区間長情報が示す区間あるいは領域の大きさの大きい順に、前記メタデータ検索部が抽出したメタデータを出力することを特徴とする請求項2に記載のメタデータ検索装置。
  4. 前記蓄積区間長情報は、前記クエリ区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域を示す蓄積区間の情報であることを特徴とする請求項2又は3に記載のメタデータ検索装置。
  5. 前記検索結果出力部は、前記区間長対応関係情報の蓄積区間長情報であって前記検索区間に含まれるクエリ区間に対応する蓄積区間長情報を出力することを特徴とする請求項2乃至4のいずれかの項に記載のメタデータ検索装置。
  6. 前記検索結果出力部は、前記検索区間内のコンテンツの区間あるいは領域ごとに、蓄積コンテンツの出現頻度を表すヒストグラムを計算し、計算したヒストグラムが示す出現頻度に基づいて前記メタデータ検索部が抽出したメタデータを出力することを特徴とする請求項2乃至5のいずれかの項に記載のメタデータ検索装置。
  7. 前記検索結果出力部は、計算したヒストグラムが示す出現頻度に基づいて、前記メタデータ検索部が抽出したメタデータの出力順序を決定することを特徴とする請求項6に記載のメタデータ検索装置。
  8. 前記クエリ区間と、当該クエリ区間のコンテンツの信号に類似する信号の前記蓄積区間と、を含む対応関係を複数取得するコンテンツ対応関係取得部と、
    前記クエリ区間と前記蓄積区間との複数の対応関係を結合して結合対応関係を生成する結合対応関係生成部と、
    前記結合対応関係生成部が結合した前記クエリ区間と、前記結合対応関係の前記蓄積区間の大きさを示す蓄積区間長情報と、を前記区間長対応関係情報として区間長対応関係記憶部に記憶する区間長対応関係生成部と、
    を備えることを特徴とする請求項2乃至7のいずれかの項に記載のメタデータ検索装置。
  9. コンテンツの信号に類似する信号の蓄積コンテンツを検索し、検索した蓄積コンテンツのメタデータを出力するメタデータ検索装置おけるメタデータ検索方法において、
    区間長対応関係取得部が、前記コンテンツの区間あるいは領域を示すクエリ区間の情報と、前記クエリ区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域の大きさを示す蓄積区間長情報と、を対応付けた区間長対応関係情報を予め記憶する区間長対応関係記憶部から読み出す区間長対応関係取得過程と、
    検索命令取得部が、前記コンテンツの区間あるいは領域を示す検索区間の情報を取得する検索命令取得過程と、
    メタデータ検索部が、前記検索区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域のメタデータを抽出するメタデータ検索過程と、
    検索結果出力部が、前記区間長対応関係情報の蓄積区間長情報であって前記検索区間に含まれるクエリ区間に対応する蓄積区間長情報に基づいて、前記メタデータ検索過程にて抽出したメタデータを出力する検索結果出力過程と、
    を有することを特徴とするメタデータ検索方法。
  10. コンテンツの信号に類似する信号の蓄積コンテンツを検索し、検索した蓄積コンテンツのメタデータを出力するメタデータ検索装置のコンピュータに、
    前記コンテンツの区間あるいは領域を示すクエリ区間の情報と、前記クエリ区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域の大きさを示す蓄積区間長情報と、を対応付けた区間長対応関係情報を予め記憶する区間長対応関係記憶部から読み出す区間長対応関係取得手段、
    前記コンテンツの区間あるいは領域を示す検索区間の情報を取得する検索命令取得手段、
    前記検索区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域のメタデータを抽出するメタデータ検索手段、
    前記区間長対応関係情報の蓄積区間長情報であって前記検索区間に含まれるクエリ区間に対応する蓄積区間長情報に基づいて、前記メタデータ検索手段にて抽出したメタデータを出力する検索結果出力手段、
    として機能させるメタデータ検索プログラム。
  11. コンテンツの信号に類似する信号の蓄積コンテンツを検索し、検索した蓄積コンテンツのメタデータを出力するメタデータ検索装置を具備するメタデータ管理システムにおいて、
    前記メタデータ管理システムは、メタデータ生成装置を具備し、
    前記メタデータ検索装置は、
    前記コンテンツの区間あるいは領域を示すクエリ区間の情報と、前記クエリ区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域の大きさを示す蓄積区間長情報と、を対応付けた区間長対応関係情報を予め記憶する区間長対応関係記憶部から読み出す区間長対応関係取得部と、
    前記コンテンツの区間あるいは領域を示す検索区間の情報を取得する検索命令取得部と、
    前記検索区間に含まれる信号に類似する信号の前記蓄積コンテンツの区間あるいは領域のメタデータを抽出するメタデータ検索部と、
    前記区間長対応関係情報の蓄積区間長情報であって前記検索区間に含まれるクエリ区間に対応する蓄積区間長情報に基づいて、前記メタデータ検索部が抽出したメタデータを出力する検索結果出力部と、
    を備え、
    前記メタデータ生成装置は、
    前記クエリ区間と、当該クエリ区間のコンテンツの信号に類似する信号の前記蓄積区間と、を含む対応関係を複数取得するコンテンツ対応関係取得部と、
    前記クエリ区間と前記蓄積区間との複数の対応関係を結合して結合対応関係を生成する結合対応関係生成部と、
    前記結合対応関係生成部が結合した前記クエリ区間と、前記結合対応関係の前記蓄積区間の大きさを示す蓄積区間長情報と、を前記区間長対応関係情報として区間長対応関係記憶部に記憶する区間長対応関係生成部と、
    を備えることを特徴とするメタデータ検索システム。
JP2009134452A 2009-06-03 2009-06-03 メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム Expired - Fee Related JP5213797B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009134452A JP5213797B2 (ja) 2009-06-03 2009-06-03 メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009134452A JP5213797B2 (ja) 2009-06-03 2009-06-03 メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム

Publications (2)

Publication Number Publication Date
JP2010283542A true JP2010283542A (ja) 2010-12-16
JP5213797B2 JP5213797B2 (ja) 2013-06-19

Family

ID=43539912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009134452A Expired - Fee Related JP5213797B2 (ja) 2009-06-03 2009-06-03 メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム

Country Status (1)

Country Link
JP (1) JP5213797B2 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243236A (ja) * 2000-02-28 2001-09-07 Nippon Telegr & Teleph Corp <Ntt> 映像特徴抽出方法、映像特徴抽出装置、映像検索方法、映像検索装置、およびそのプログラムを記録した記録媒体
JP2001256245A (ja) * 2000-03-09 2001-09-21 Kddi Corp 動画像の特徴画面抽出装置、その記憶媒体および動画像の特徴情報記述方法
JP2002117037A (ja) * 2000-10-06 2002-04-19 Nec Corp 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体
JP2004219804A (ja) * 2003-01-16 2004-08-05 Nippon Telegr & Teleph Corp <Ntt> 類似音声音楽検索装置,類似音声音楽検索処理方法,類似音声音楽検索プログラムおよびそのプログラムの記録媒体
JP2004333605A (ja) * 2003-05-01 2004-11-25 Nippon Telegr & Teleph Corp <Ntt> 前後の検索結果利用型類似音楽検索装置,前後の検索結果利用型類似音楽検索処理方法,前後の検索結果利用型類似音楽検索プログラムおよびそのプログラムの記録媒体
JP2005167452A (ja) * 2003-12-01 2005-06-23 Nippon Telegr & Teleph Corp <Ntt> 映像シーン区間情報抽出方法,映像シーン区間情報抽出装置,映像シーン区間情報抽出プログラムおよびそのプログラムを記録した記録媒体
JP2006106964A (ja) * 2004-10-01 2006-04-20 Nippon Telegr & Teleph Corp <Ntt> 映像構造化情報作成方法及び装置及びプログラム
JP2006330795A (ja) * 2005-05-23 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> 映像トピック区間情報作成装置、映像トピック区間情報作成方法、映像トピック区間情報作成プログラム、及び記録媒体
JP2007323319A (ja) * 2006-05-31 2007-12-13 Nippon Telegr & Teleph Corp <Ntt> 類似検索処理方法及び装置及びプログラム
JP2008217701A (ja) * 2007-03-07 2008-09-18 Sharp Corp メタデータ付与装置,メタデータ付与方法,メタデータ付与プログラム,及びメタデータ付与プログラムを記録した記録媒体
JP2009022018A (ja) * 2008-08-07 2009-01-29 Hitachi Ltd 映像の検索方法および装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001243236A (ja) * 2000-02-28 2001-09-07 Nippon Telegr & Teleph Corp <Ntt> 映像特徴抽出方法、映像特徴抽出装置、映像検索方法、映像検索装置、およびそのプログラムを記録した記録媒体
JP2001256245A (ja) * 2000-03-09 2001-09-21 Kddi Corp 動画像の特徴画面抽出装置、その記憶媒体および動画像の特徴情報記述方法
JP2002117037A (ja) * 2000-10-06 2002-04-19 Nec Corp 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体
JP2004219804A (ja) * 2003-01-16 2004-08-05 Nippon Telegr & Teleph Corp <Ntt> 類似音声音楽検索装置,類似音声音楽検索処理方法,類似音声音楽検索プログラムおよびそのプログラムの記録媒体
JP2004333605A (ja) * 2003-05-01 2004-11-25 Nippon Telegr & Teleph Corp <Ntt> 前後の検索結果利用型類似音楽検索装置,前後の検索結果利用型類似音楽検索処理方法,前後の検索結果利用型類似音楽検索プログラムおよびそのプログラムの記録媒体
JP2005167452A (ja) * 2003-12-01 2005-06-23 Nippon Telegr & Teleph Corp <Ntt> 映像シーン区間情報抽出方法,映像シーン区間情報抽出装置,映像シーン区間情報抽出プログラムおよびそのプログラムを記録した記録媒体
JP2006106964A (ja) * 2004-10-01 2006-04-20 Nippon Telegr & Teleph Corp <Ntt> 映像構造化情報作成方法及び装置及びプログラム
JP2006330795A (ja) * 2005-05-23 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> 映像トピック区間情報作成装置、映像トピック区間情報作成方法、映像トピック区間情報作成プログラム、及び記録媒体
JP2007323319A (ja) * 2006-05-31 2007-12-13 Nippon Telegr & Teleph Corp <Ntt> 類似検索処理方法及び装置及びプログラム
JP2008217701A (ja) * 2007-03-07 2008-09-18 Sharp Corp メタデータ付与装置,メタデータ付与方法,メタデータ付与プログラム,及びメタデータ付与プログラムを記録した記録媒体
JP2009022018A (ja) * 2008-08-07 2009-01-29 Hitachi Ltd 映像の検索方法および装置

Also Published As

Publication number Publication date
JP5213797B2 (ja) 2013-06-19

Similar Documents

Publication Publication Date Title
CN105979398B (zh) 使用播放列表的系统和方法
US10313714B2 (en) Audiovisual content presentation dependent on metadata
US8634944B2 (en) Auto-station tuning
EP1421792B1 (en) Audio and video program recording, editing and playback systems using metadata
KR101502343B1 (ko) 검색어와 관련된 컨텐츠를 제공하기 위한 멀티미디어제공방법 및 이를 적용한 멀티미디어 기기
JP5685373B2 (ja) 映像コンテンツ推奨管理装置、映像コンテンツのシーン再生指示方法及びそのプログラム
EP2073193A1 (en) Method and device for generating a soundtrack
CN1518710A (zh) 自动视频检索器精灵
JP4476786B2 (ja) 検索装置
JP2011128981A (ja) 検索装置及び検索方法
JP2008227909A (ja) 映像検索装置
JP2010218423A (ja) 音楽概念データ処理方法及び映像表示装置及び音楽概念データ処理サーバ
JP5303747B2 (ja) メタデータ管理装置、メタデータ管理方法、及び、メタデータ管理プログラム
JP2007294020A (ja) 記録再生方法、記録再生装置、記録方法、記録装置、再生方法および再生装置
JP2007037031A (ja) 編集装置及び編集方法
JP5213797B2 (ja) メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム
JP2009147775A (ja) 番組再生方法、装置、プログラム及び媒体
EP1546942A2 (en) System and method for associating different types of media content
JP2008099012A (ja) コンテンツ再生システム及びコンテンツ蓄積システム
US8131236B2 (en) Method of selecting audio contents received from an audio or audio-visual receiver and receiver selecting the contents in accordance with the method
JP2010113434A (ja) コンテンツ表示装置、方法、プログラム及び記録媒体
JP5266981B2 (ja) 電子機器、情報処理方法及びプログラム
JP6647141B2 (ja) キーワードリスト生成装置、コンテンツ視聴装置、およびキーワードリスト生成プログラム
JP2005148801A (ja) 関連情報提供方法、関連情報提供装置、関連情報提供プログラム、および、関連情報提供プログラムの記録媒体
KR101995531B1 (ko) 방송 음악 제공 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130226

R151 Written notification of patent or utility model registration

Ref document number: 5213797

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees