JP2011128981A - 検索装置及び検索方法 - Google Patents

検索装置及び検索方法 Download PDF

Info

Publication number
JP2011128981A
JP2011128981A JP2009288265A JP2009288265A JP2011128981A JP 2011128981 A JP2011128981 A JP 2011128981A JP 2009288265 A JP2009288265 A JP 2009288265A JP 2009288265 A JP2009288265 A JP 2009288265A JP 2011128981 A JP2011128981 A JP 2011128981A
Authority
JP
Japan
Prior art keywords
content
metadata
relevance
contents
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009288265A
Other languages
English (en)
Inventor
Takashi Kasano
孝志 笠野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009288265A priority Critical patent/JP2011128981A/ja
Priority to EP10168470A priority patent/EP2336900A2/en
Publication of JP2011128981A publication Critical patent/JP2011128981A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/433Query formulation using audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • G06F16/4387Presentation of query results by the use of playlists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Abstract

【課題】検索のキーとした音楽コンテンツと関連のあるコンテンツの検索を精度よく行うことを可能とする。
【解決手段】表示装置100では、複数のコンテンツと、複数のコンテンツの各々に対応したメタデータとをコンテンツDB152に記憶しており、そのコンテンツDB152に記憶するコンテンツが映像コンテンツである場合には、その映像コンテンツに含まれるテロップ及び字幕を認識して取得した文字列を、映像コンテンツのメタデータにメタデータ取得部103が追加している。表示装置100は、検索のキーとする音楽コンテンツのメタデータの内容と、他のコンテンツのメタデータの内容との類似性に応じた関連度を、他のコンテンツごとに関連度算出部104が算出し、その他のコンテンツの各々について、関連度の値順に並べた検索結果を表示部170に出力している。
【選択図】図1

Description

本発明は、検索装置及び検索方法に関する。
近年、AV機器のコンテンツ保存能力の拡大や機器内に留まらない機器間又はネットワーク上に存在するコンテンツとのシームレス性の拡大などにより、ユーザがアクセス可能なコンテンツ数は急速に増加してきている。このため、ユーザが一つの音楽コンテンツを検索のキーとして特定し、その音楽コンテンツに関連するコンテンツを見つけようとする場合には、膨大なコンテンツの中から関連度合いの高いコンテンツを見つけるための検索装置が重要である。
この検索装置に関する従来技術としては特許文献1が知られている。特許文献1は、検索のキーとした音楽コンテンツにおける曲名、作者名、演奏者名などの曲情報(音楽コンテンツのメタデータ)と、映像コンテンツ中に含まれる挿入曲に関する曲情報(映像コンテンツのメタデータ)とを比較して、一致又は類似する挿入曲を含む映像コンテンツを検索している。
特開2008−227881号公報
しかしながら、上記従来技術では、映像コンテンツ中に含まれる挿入曲が映像コンテンツのメタデータに記述されていない場合、その挿入曲が検索のキーとした音楽コンテンツと関連のあるものであったとしても、関連度の高い映像コンテンツとして検索されないことがあった。
本発明は、上記に鑑みてなされたものであって、検索のキーとした音楽コンテンツと関連のあるコンテンツの検索を精度よく行うことを可能とする検索装置及び検索方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の検索装置は、複数のコンテンツと、当該複数のコンテンツの各々に対応したメタデータとを記憶する記憶手段と、前記記憶手段が記憶するコンテンツが映像コンテンツである場合に、当該映像コンテンツに含まれるテロップ及び字幕を認識して取得した文字列を、前記映像コンテンツのメタデータに追加するメタデータ追加手段と、前記複数のコンテンツの中から、検索のキーとする音楽コンテンツの選択操作を受け付ける操作手段と、前記音楽コンテンツのメタデータの内容と、前記記憶手段に記憶された前記音楽コンテンツ以外の他のコンテンツのメタデータの内容との類似性に応じた関連度を、前記他のコンテンツごとに算出する関連度算出手段と、前記他のコンテンツの各々を、前記算出された関連度の値順に並べた検索結果を出力する検索結果出力手段と、を備えることを特徴とする。
また、本発明は、複数のコンテンツと、当該複数のコンテンツの各々に対応したメタデータとを記憶する記憶手段を有する検索装置の検索方法であって、メタデータ追加手段が、前記記憶手段が記憶するコンテンツが映像コンテンツである場合に、当該映像コンテンツに含まれるテロップ及び字幕を認識して取得した文字列を、前記映像コンテンツのメタデータに追加するステップと、操作手段が、前記複数のコンテンツの中から、検索のキーとする音楽コンテンツの選択操作を受け付けるステップと、関連度算出手段が、前記音楽コンテンツのメタデータの内容と、前記記憶手段に記憶された前記音楽コンテンツ以外の他のコンテンツのメタデータの内容との類似性に応じた関連度を、前記他のコンテンツごとに算出するステップと、検索結果出力手段が、前記他のコンテンツの各々を、前記算出された関連度の値順に並べた検索結果を出力するステップと、を含むことを特徴とする。
本発明によれば、検索のキーとした音楽コンテンツと関連のあるコンテンツの検索を精度よく行うことを可能とする、という効果を奏する。
図1は、本実施形態にかかる表示装置の構成を示すブロック図である。 図2は、TV番組をコンテンツとした場合におけるメタデータの一例を示す説明図である。 図3−1は、コンテンツの内容を表わす表示情報の一例を示す図である。 図3−2は、コンテンツの内容を表わす表示情報の一例を示す図である。 図4−1は、表示情報の表示動作の詳細に関する説明図である。 図4−2は、表示情報の表示動作の詳細に関する説明図である。 図5は、表示情報の表示動作の詳細に関する説明図である。 図6は、表示情報の表示動作の詳細に関する説明図である。 図7は、表示情報の表示動作の詳細に関する説明図である。 図8は、表示情報の表示動作の詳細に関する説明図である。 図9は、キーコンテンツの表示情報と他のコンテンツの表示情報を配置した一覧情報の一例を示す図である。 図10は、表示装置による取得処理の流れを示すフローチャートである。 図11は、表示装置による表示処理の流れを示すフローチャートである。 図12は、検索結果の表示例を示す図である。
以下に添付図面を参照して、この発明にかかる検索装置及び検索方法の最良な実施形態を詳細に説明する。なお、以下の実施形態においては、本発明にかかる検索装置をテレビジョン(Television:TV)などの表示装置に適用した例を示すが、これに限定されることなく、パーソナルコンピュータ等にも本発明を適用することができる。本実施形態の表示装置は、ユーザが複数のコンテンツから検索のキーとなるキーコンテンツおよびそのキーコンテンツに関連するコンテンツの検索を行う場合、ユーザによりキーコンテンツが指定されると、そのキーコンテンツとともにキーコンテンツに関連する複数のコンテンツを表示するものである。
まず、表示装置の機能構成について説明する。図1は、本実施形態にかかる表示装置100の構成を示すブロック図である。図1に示すように、表示装置100は、記憶部150と、表示部170と、放送受信部108と、通信部180とを備えており、IPTVサーバ200(IPTV:Internet Protocol TeleVision)やサーバ201とは通信ネットワークNTを介して接続されている。
また、表示装置100は、ASIC(Application Specific Integrated Circuit)やCPU(Central Processing Unit)等の処理装置、表示装置100の動作を制御する所定のプログラムが格納されたROM(Read Only Memory)や処理装置のワーク領域となるRAM(Random Access Memory)等の記憶装置を備えており(何れも図示せず)、処理装置と記憶装置に格納されたプログラムとの協働により、リモコン操作受付部101、メタデータ検索部102、メタデータ取得部103、関連度算出部104、表示情報生成部105、表示制御部106、映像再生部107、テロップ認識部109、文字列照合部110、オーディオ照合部111の各機能部を実現する。
IPTVサーバ200は、IPを利用してテレビ番組や映画などの映像を配信するサービスを提供するサーバであり、表示装置100からの要求により、映像等のコンテンツ、そのコンテンツのメタデータを配信する。サーバ201は、Webや電子メールなどのサービスを提供する汎用サーバである。映像等のコンテンツ、そのコンテンツのメタデータ等の配信は、表示装置100からの要求によりサーバ201で行われてもよい。
通信部180は、表示装置100と、IPTVサーバ200やサーバ201とを、通信ネットワークNTを介して接続するインターフェースである。
記憶部150は、HDD(Hard Disk Drive)やメモリ等の記憶媒体であり、電子番組表151、コンテンツDB152などを格納する。記憶部150は、電子番組表(EPG:Electronic Program Guide)を管理・配信している外部サーバから取得したEPGデータである。具体的には、インターネットなどのネットワーク網である通信ネットワークNTに接続されたサービス提供者のサーバ201から、通信部180を介してTV、CATV、CS放送、BS放送などの電子番組表151を取得し、取得した電子番組表151を記憶部150に格納している。ここで、電子番組表151には、現在から未来のある時点(例えば、1週間後)までに放送される番組に関する情報が含まれているものとする。
コンテンツDB152は、映像等のコンテンツが格納されたデータベースである。例えば、表示装置100がHDDを備えたTVである場合は、コンテンツDB152は、TV番組等を録画した映像のコンテンツを格納することになる。また、DVD(Digital Versatile Disk)の映像や、ビデオカメラで撮像した映像等をコンテンツとして格納してもよい。
また、コンテンツDB152は、コンテンツ毎に、そのコンテンツに関するメタデータを関連付けて記憶している。ここで「メタデータ」とは、各コンテンツに固有の特性を示した情報群であって、各コンテンツのタイトルや放送日時等が含まれる。
例えば、コンテンツがTV番組の場合には、TV番組のタイトル、チャンネルや放送日時、出演者、番組内容、ジャンル等の情報(番組情報)がメタデータとなり、コンテンツとともこのメタデータが提供され、コンテンツDB152に格納される。
図2は、TV番組をコンテンツとした場合におけるメタデータの一例を示す説明図である。図2に示すメタデータは、TV番組を録画したコンテンツに関する情報であり、TV番組のタイトル「お昼のコメディーショー」、チャンネル「○×放送」、放送日時「2008年8月1日 12:00〜12:40」、出演者「○○△、□□××」、番組内容「今旬の〜世界にいざなう」、ジャンル「お笑い」などの情報が記憶されている。
なお、上記では、メタデータが予め設定された状態で提供される態様を説明したが、これに限定されることなく、リモートコントローラ(以下、リモコンという。)などのリモコン90などを介してユーザから入力された情報をメタデータとして、コンテンツと関連付けてコンテンツDB152に格納する態様としてもよい。
表示部170は、文字や画像を表示する液晶画面(LCD:Liquid Crystal Display)などであり、受信したTV番組などのコンテンツや記憶されているコンテンツ、電子番組表などを表示するものである。また、表示部170は、ユーザがコンテンツの検索を行うために、後述する表示情報生成部105により生成されたコンテンツの内容を表わす表示情報を表示する(図3−1、3−2参照)。
放送受信部108は、TV放送により放送された映像のコンテンツ(TV番組)、そのコンテンツのメタデータを、アンテナやケーブル(不図示)を介して受信するものである。
映像再生部107は、ユーザが再生を所望する映像のコンテンツ、すなわち放送受信部108により受信したTV番組などのコンテンツ、通信部180を介してIPTVサーバ200から取得した映像のコンテンツ、またはコンテンツDB152に格納されている映像のコンテンツを取得して、取得したコンテンツをデコード(再生)して表示制御部106に送出するものである。
リモコン操作受付部101は、ユーザによりリモコン90に備えられた操作ボタンが押下されたことを認識し、操作を受け付けるものである。例えば、リモコン操作受付部101は、ユーザが複数のコンテンツから所望のコンテンツを検索し、さらにそのコンテンツと関連するコンテンツを検索する場合などにおいて、ユーザによりリモコン90で操作された内容を受け付ける。より具体的には、リモコン操作受付部101は、ユーザによるリモコン90の操作内容に応じて、表示部170に表示された複数のコンテンツから検索の中心(キー)となるコンテンツ(キーコンテンツ)の選択(指定)を受け付ける。また、再生中や再生が終了したコンテンツをキーコンテンツとしてもよく、その場合には、ユーザがコンテンツの再生中や再生が終了した際に、リモコン90に備えられた操作ボタンを押下した場合、リモコン操作受付部101は、その再生中や再生が終了したコンテンツをキーコンテンツとする選択操作、すなわちコンテンツの検索を行う旨の操作を受け付ける。また、リモコン操作受付部101は、表示部170に表示された複数のコンテンツの表示情報が表示された一覧情報から、キーコンテンツを選択して指定する操作を受け付けてもよい。
メタデータ取得部103は、放送受信部108や通信部180が受信したコンテンツやメタデータを取得して、コンテンツDB152に格納する。また、メタデータ取得部103は、放送受信部108や通信部180が受信したコンテンツが映像を含む場合は、その映像にかかるデータをテロップ認識部109に出力し、テロップ認識部109による認識結果をメタデータに追加してコンテンツDB152に格納する(詳細は後述する)。また、メタデータ取得部103は、リモコン操作受付部101により、キーコンテンツの選択操作を受け付けた場合、全てのコンテンツ(キーコンテンツおよびキーコンテンツ以外の他のコンテンツ)のメタデータを取得する。具体的には、例えば、メタデータ取得部103は、コンテンツのメタデータをコンテンツDB152から取得する。また、メタデータ取得部103は、IPTVサーバ200に対してコンテンツのメタデータを要求して、メタデータを取得してもよい。さらに、メタデータ取得部103は、電子番組表151からコンテンツのメタデータを取得してもよい。
メタデータ検索部102は、リモコン操作受付部101により、キーコンテンツの選択操作を受け付けた場合、メタデータ取得部103により取得したコンテンツのメタデータから、キーコンテンツのメタデータを検索し、検索したキーコンテンツのメタデータを関連度算出部104に送出する。さらに、メタデータ検索部102は、メタデータ取得部103により取得したキーコンテンツのコンテンツのメタデータから、関連度算出部104によりメタデータとの関連度を算出する対象となる他のコンテンツのメタデータを検索し、検索した他のコンテンツのメタデータを関連度算出部104に送出する。
また、メタデータ検索部102は、リモコン操作受付部101により、キーコンテンツの選択操作を受け付けた場合、メタデータ取得部103により取得した全てのコンテンツのメタデータを表示情報生成部105に送出する。
関連度算出部104は、メタデータ検索部102から送出された選択されたキーコンテンツのメタデータと他のコンテンツのメタデータとに基づいて、キーコンテンツに対する他のコンテンツ各々の関連度を、メタデータに含まれる項目、例えば、タイトル、チャンネルごとに算出するものである。具体的に、関連度RMの算出は、下記式(1)を用いて算出する。
Figure 2011128981
上記式(1)において、Nはメタデータ取得部103で取得可能なメタデータの総数を意味している。また、キーコンテンツに対応するメタデータM11(n)、いずれかの他のコンテンツに対応するメタデータM21(n)の「(n)」は、メタデータ取得部103で取得されるn番目のメタデータを意味している。また、fa(M11(n)、M21(n))は、メタデータM11(n)とM21(n)との関連度をRMとして返す関数であり、Waは重みを示す値(n=1、・・・、N)である。
ここでメタデータとして取得される情報は上述の通り多岐に渡るが、以下、説明を簡略化するため、メタデータは{録画日時、コンテンツのタイトル、チャンネル、ジャンル、出演者リスト}の5つの集合である(N=5)とし、これら5つのメタデータを先頭からn=1、2、・・・、5であるとして説明を進める。
すると、キーコンテンツに対する他のコンテンツの関連度RMは、下記に示した5つの関連度RM〜RMの重み付き線形和で表すことができる。
RM=fa(メタデータM11の録画日時、メタデータM21の録画日時)
RM=fa(メタデータM11のタイトル、メタデータM21のタイトル)
RM=fa(メタデータM11のチャンネル、メタデータM21のチャンネル)
RM=fa(メタデータM11のジャンル、メタデータM21のジャンル)
RM=fa(メタデータM11の出演者リスト、メタデータM21の出演者リスト)
faは例えば、録画日時が近い程大きな値をとり、遠くなる程小さな値を取る関数である。具体的には、例えば、MO1/|rec_data(M11)−rec_data(M21)|等の関係式を用いることができる。ここで、rec_data(x)は、xの録画日時を一意の整数化する関数であり、ある基準日時を0として、そこからの経過秒数などに整数化する関数である。またMO1は任意の定数であり、|X|はXの大きさを示す関数であり、典型的には絶対値である。
なお、ここでは、fa(M11、M21)=g(rec_data(M11)−rec_data(M21))とした場合、g(x)=MO1/|X|という関数であるgを用いた例を示したが、これに限定されるものではない。L2ノルムなどを使用するようなg、例えば、g(x)=MO1/||x||のようなものであってもよい。この場合、||x||は、xを構成するそれぞれの要素の差の自乗合計の平方根をとったものとなる。
また、g(x)は、シグモイド関数等を用いてもよいし、ガンマ関数等を用いてもよい。なお、上記ではメタデータM11とM21が近い時に大きな値をとるような例を示したが、これに限定されるものではない。逆に小さな値をとるように構成することとしてもよい。また、特定の条件の時に大きな値をとるような関数gを用いることもできる。
faは例えば、メタデータM11とM21とのタイトル文字列に同様の文字列が多く含まれている程大きな値をとるような関数で実現される。例えば、M11のタイトルが“あいうえお”、M21のタイトルが“かきうえこ”ならば、間の“うえ”の2文字が両者に含まれている。一方、“あいうえお”と“かきくけお”の場合は、1文字が両者に含まれているため、前者の方がfaの値が大きくなる。なお、番組内容に含まれるキーワードにより関連度を判断する場合も、タイトルと同様に算出することが可能である。
以上では単純に両者に含まれている文字数の比較による例を示したが、これに限定されるものではない。例えば、先頭からの共通の文字数が多い方をより大きな値をとるようにする、であるとか、共通の文字が無くても、同様の概念を含むものならば共通と見なすとかといったような条件をさらに加えることとしてもよい。後者の例としては、例えば、“野球”と“ベースボール”を同様とみなし、これらがそれぞれに含まれている場合は、共通文字列が含まれていると見なすなどといったようなものである。
また、メインの文字列が同じで、サブの文字列が異なる場合には、これらは共通のシリーズのコンテンツであることが多いため、このような場合には、よりfaの値を大きくするなどといったこともあり得る。例えば、“あいうえお#2”と、“あいうえお#3”は、同じドラマコンテンツの異なる回であるとみなせるため、このような場合には、faの値を2倍するなどといったようなものである。なお、以上での説明はあくまでも一例であり、曖昧検索などの公知の技術を用いたり、正規表現による検索などの公知の技術を用いたりすることで、以上で説明したよりも高度な比較を行うことが可能となる。
faは例えば、メタデータM11とM21とのチャンネルが同じ場合は大きな値をとるような関数である。単純には、チャンネルが同じ場合は、値MO2を、そうでない場合には値0をとる関数として実現できる。ここで、MO2は任意の定数である。さらに拡張して、同系列のチャンネルの場合には、別の値をとるようにしてもよい。例えば、同じ系列局の場合には、値MO2/2を返す関数とすることとしてもよい。また、同系列だが放送メディアが異なるような場合には、MO2/4を返す関数とすることとしてもよい。なお、以上で説明した態様はあくまでも一例であり、任意の関数を用いることが可能である。
faは例えば、メタデータM11とM21とのジャンルが同じ場合は大きな値をとるような関数である。例えば、M11とM21とが双方とも「スポーツ」というジャンルの場合、値MO3を、そうでない場合には値0を取り、さらに、M21がM11のサブジャンルである場合、例えば、M11のジャンルが「スポーツ」、M21のジャンルが「野球」である場合には、MO3/2を取るような関数とすることとしてもよい。また、M11のジャンルとM21のジャンルが直接同じでなくとも双方の親となるジャンルが同じとなる場合、例えば、M11のジャンルが「野球」、M21のジャンルが「サッカー」の場合には、双方の親ジャンルは「スポーツ」で同じであるため、MO3/4を取るといった関数とすることとしてもよい。なお、以上で説明した態様はあくまでも一例であり、任意の関数を用いることが可能である。
faはfaと同様である。例えば、メタデータM11とM21との出演者リストが夫々「WW、XX、YY」、「XX、YY、ZZ」の場合には、共通の出演者は2人となるため、2×MO4を取り(ここでMO4は任意の定数値)、共通の出演者が居ない場合には0を取るような関数を用いることができる。また、出演者にはグループも含まれるため、ある出演者KKがグループXXのメンバであった場合、「VV、WW、XX」、「KK、YY、ZZ」のようなメタデータM11、M21があったときに、M11にはグループXXが出演、すなわち、このメンバのKKも出演、M21にはグループXXは出演していないが、メンバであるKKは出演しているため、このような場合には、MO4/2を返すようにすることとしてもよい。
同様に、登場グループや出演者の関係が定義される場合、例えば、グループXXとグループYYは同じ所属事務所であるなどといったような場合には、MO4/4を返すといったようにも拡張することとしてもよい。この場合、人物とグループ間の関係又は各人物、グループの所属する所属事務所間の関係は、メタデータ内に定義されている態様としてもよいし、外部のサーバ(情報サイト)から取得する態様としてもよい。
なお、以上では、出演者リストに登場する人に対して関連度の区別をしない例を示したが、これに限定されるものではない。出演者リストに出現する順番によって、さらに重み付けされる態様としてもよい。例えば、メタデータM11の1番目に出てくる人との比較の場合は算出した関連度はそのままとし、2番目ならば関連度を1/2、3番目なら1/3とするといったように出現する順番に応じて重み付けを変化させることとしてもよい。また、メタデータM11での順番とM21での順番を両方とも加味する態様としてもよい。例えば、メタデータM11の2番目の人物と、メタデータM21の3番目の人物とを比較する場合、メタデータM11の2番目ならば1/2、メタデータM21の3番目ならば1/3となるため、トータルの関連度を1/2×1/3=1/6とするようにしてもよい。また、メタデータとして、主演などの情報を用いて、主演者に対する関連度の重み付けを変えるようにしてもよい。例えば、主演の場合には算出した関連度を2倍するといったように重み付けを変化させることができる。
上述した関連度RMの算出法により、名称、アーティスト名、作曲者、作詞者、メーカー名などの名称・人名を基準に、キーコンテンツと同じ名称・人名が多く含まれるほど高い関連度としてもよい。また、ジャンル、歌詞、タイトル名などを単語に分割したキーワードを基準に、キーコンテンツにかかるキーワードと同じキーワードが多く含まれるほど高い関連度としてもよい。また、音域を基準に、最高音と最低音や平均の音の高さが、キーコンテンツに近いものほど高い関連度としてもよい。また、日時・場所を基準に、キーコンテンツに近い日時・場所のものほど高い関連度としてもよい。
また、関連度算出部104は、文字列照合部110やオーディオ照合部111の照合結果をもとに、キーコンテンツと他のコンテンツとの関連度を算出する(詳細は後述する)。
表示情報生成部105は、メタデータ検索部102から送出されたキーコンテンツのメタデータおよび他のコンテンツのメタデータから、キーコンテンツおよび他のコンテンツの内容を表わす表示情報を生成するものである。具体的には、例えば、表示情報生成部105は、コンテンツがコンテンツDB152に格納された映像データのメタデータに基づいて、その映像データの代表画像にタイトル等を付随させることで、表示部170に表示可能とした表示情報を生成する。また、例えば、表示情報生成部105は、コンテンツがIPTVサーバ200から取得した映像データのメタデータに基づいて、その映像データの代表画像にタイトル等を付随させることで、表示部170に表示可能とした表示情報を生成する。また、例えば、表示情報生成部105は、電子番組表151に基づいて、TV番組のタイトル、放送日時、チャンネル、番組内容等を、表示部170に表示可能とした表示情報を生成する。
ここで、表示情報の詳細について説明する。図3−1、3−2は、コンテンツの内容を表わす表示情報の一例を示す図である。図3−1では、例えば、コンテンツDB152に格納された映像データのメタデータに基づいて生成されたキーコンテンツの表示情報C1である。同図に示すように、キーコンテンツの表示情報C1は、C1−1にそのコンテンツの代表画像が表示され、C1−2にそのコンテンツ(映像)のタイトル「L358△*6」が表示されている。また、図3−2では、例えば、電子番組表151に基づいて生成されたキーコンテンツの表示情報C1である。同図に示すように、キーコンテンツの表示情報C1は、C1−3にチャンネルが表示され、C1−4にそのコンテンツ(映像)のタイトル「お昼のコメディーショー」、番組内容「今旬の〜世界にいざなう」が表示され、C1−5に放送日時が表示されている。
表示制御部106は、映像再生部107により送出されたコンテンツを表示部170に再生表示するものである。
また、表示制御部106は、上述したようにリモコン操作受付部101がユーザからコンテンツの検索を行う旨の操作を受け付けた場合、ユーザが検索を行うための、キーコンテンツの表示情報とキーコンテンツに関連性を持つ他のコンテンツの表示情報とを一覧表示した一覧情報を表示する。
一覧情報は、キーコンテンツの表示情報を所望の位置に配置するとともに、そのキーコンテンツの表示情報の位置を中心に同心形状に形成された複数の多角形上であって、リモコン90に備えられた操作ボタン、例えば十字キーの操作ボタンによる操作方向に沿う形状で、他のコンテンツの表示情報をそれぞれ配置したものである。また、一覧情報は、他のコンテンツ表示情報は、中心から放射方向に向けて項目ごとに分別された所定領域に、中心近傍から関連度の高い順にそれぞれ配置される。また、一覧情報は、キーコンテンツの表示情報の表示サイズを最大とし、中心近傍から離れるに従って他のコンテンツの表示情報の表示サイズを小さくして表示される。この表示情報の表示動作の詳細について、図を参照して説明する。図4−1〜図8は、表示情報の表示動作の詳細に関する説明図である。
まず、図4−1に示すように、表示制御部106は、キーコンテンツの表示情報C1を所望の位置に配置し、キーコンテンツの表示情報C1を中心にx軸正方向、x軸負方向、y軸正方向、y軸負方向の4軸(軸1〜4)を設定し、選択されたキーコンテンツのメタデータに含まれている項目を各軸に割り当てて配置する。図2を参照すると、例えば、メタデータに含まれる項目としては、TV番組(コンテンツ)の「タイトル」、出演者を示す「人物」、番組内容に含まれる検索を行う際の「キーワード」、TV番組の「ジャンル」などを割り当てる。この各軸に割り当てた項目は、ユーザがキーコンテンツに関連する他のコンテンツを検索する際の指標として用いることができる。
そして、表示制御部106は、図4−2に示すように、各項目を示す各軸をそれぞれ含む任意の角度、例えば軸を含む90度で、中心にあるキーコンテンツの表示情報C1から放射方向に向けて領域を分別することで、各軸を含む所定の表示領域(領域1〜4)を生成する。
次に、表示制御部106は、図5に示すように、キーコンテンツの表示情報C1の位置を中心とした同心形状に形成された複数の8角形F1、F2…上であって、リモコン90に備えられた操作ボタンによる上下左右の操作方向に沿う形状で、他のコンテンツの表示情報を配置していく。つまり、表示制御部106は、8角形F1の頂点には、他のコンテンツの表示情報C11〜18までの8個の表示情報を配置する。また、表示制御部106は、8角形F2の頂点には、他のコンテンツの表示情報C21、23、25、27、29、31、33、35の8つの表示情報を配置し、それぞれの表示情報の間に、操作方向に沿うように他のコンテンツの表示情報C22、24、26、28、30、32、34、36の8個の表示情報を配置する。以下同様に、8角形の頂点に他のコンテンツの表示情報を8つ配置し、それぞれの表示情報の間にさらに他のコンテンツの表示情報を配置していく。このように他のコンテンツの表示情報を配置すると、いずれの表示情報から上下左右の操作がなされても、その操作方向に沿って、その表示情報以外の表示情報が配置されることになる。
このとき、表示制御部106は、図6に示すように、他のコンテンツの表示情報を、キーコンテンツの表示情報C1が配置されている中心近傍から外側に向かって、キーコンテンツとの関連度の高い順に配置する。すなわち、表示制御部106は、図5で示すと、8角形F1上に、最もキーコンテンツとの関連度が高い他のコンテンツの表示情報を配置し、さらに、F2、F3(不図示)…上に、関連度の高い順に他のコンテンツの表示情報を配置していく。
また、表示制御部106は、先に分別した表示領域の項目ごとに、キーコンテンツとの関連度が高い順に他のコンテンツの表示情報を配置していく。つまり、表示制御部106は、図7に示すように、境界線B1と境界線B4とで囲まれた領域1、境界線B1と境界線B2とで囲まれた領域2、境界線B2と境界線B3とで囲まれた領域3、および境界線B3と境界線B4とで囲まれた領域4に割り当てられた領域の項目ごとに、図7の表示情報上に示した数字の順番で他のコンテンツの表示情報を配置することで、項目ごとにキーコンテンツとの関連度が高い順に中心近傍から他のコンテンツの表示情報を配置できる。
なお、表示情報C11、21、41は、領域1または領域2のいずれにも属することができる位置であるが、例えば、キーコンテンツに対する関連度が所定の閾値よりも高い他のコンテンツをより多く有する項目の領域に属するように設定できる。つまり、図7における表示情報C11、21、41は、領域1の項目より、領域2の項目の方が、所定の閾値より高い関連度を有する他のコンテンツがより多く存在するため、領域2に属している。また、表示情報C13、25、47、15、29、53、17、33、59についても同様である。
なお、ここでは、各境界線付近に表示される表示情報を、キーコンテンツとの関連度の高さによりいずれの項目の領域に属するかを判断しているが、これに限定されることなく、例えば、キーコンテンツとの関連する他のコンテンツの総数が多い項目の領域に、各境界線付近に表示される表示情報を属するように構成してもよい。
また、図8に示すように、表示制御部106は、キーコンテンツの表示情報の表示サイズを最大とし、中心近傍から離れるに従って他のコンテンツの表示情報の表示サイズを小さくして表示する。また、表示制御部106は、他のコンテンツの表示情報が複数の領域に属する場合、いずれか一つの領域に表示する。具体的には、表示制御部106は、他のコンテンツの表示情報が領域1、2の両領域に属する場合、キーコンテンツに対する関連度が最も高い項目の領域に表示する。
表示制御部106は、このようにしてキーコンテンツの表示情報C1と他のコンテンツの表示情報C11〜を配置した一覧情報を生成し、生成した一覧情報を表示部170に表示する。なお、表示情報の配置位置および表示サイズは、予め表示制御部106が記憶しており、キーコンテンツに対する関連度を算出した後に、他のコンテンツの表示情報を所定の表示サイズにして順番に配置していく。図9は、キーコンテンツの表示情報C1と他のコンテンツの表示情報C11〜を配置した一覧情報の一例を示す図である。図9の一覧情報では、上側に「タイトル」、右側に「人物」、下側に「キーワード」、左側に「ジャンル」の項目が表示されており、キーコンテンツの表示情報C1を中心位置として、他のコンテンツの表示情報が中心近傍から外側に向けて配置されている。
また、本実施形態では、上下左右の操作方向に沿う形状で他のコンテンツの表示情報を配置したため、例えば、検索中における注目コンテンツが表示情報C30であった場合に、操作ボタンにより左右の指示操作を受け付けると、矢印Aのように注目コンテンツが変わっていく。また、検索中における注目コンテンツが表示情報C30であった場合に、操作ボタンにより上下の指示操作を受け付けると、矢印Bのように注目コンテンツが変わっていく。また、例えば、注目コンテンツが表示情報C11であった場合に、指示操作を受け付けて右にカーソル1つ分移動すると、表示情報C36へ注目コンテンツが変わる。同じく、上にカーソル1つ分移動すると表示情報C22へ、左にカーソル1つ分移動すると表示情報C12へ、下にカーソル1つ分移動すると表示情報C18へ注目コンテンツが変わることになる。これより、リモコン90の十字キーなどの操作ボタンからの指示操作が行いやすくなる。
また、上述した操作によって変更された注目コンテンツを、キーコンテンツとして指定してもよい。この場合は、変更された注目コンテンツを新たなキーコンテンツとし、他のコンテンツとの関連度が再計算されて、新たなキーコンテンツの表示情報と、他のコンテンツの表示情報とを配置した一覧情報が表示部170に再表示されることとなる。
テロップ認識部109は、放送受信部108や通信部180が受信したコンテンツが映像を含む場合にメタデータ取得部103から出力された映像にかかるデータを元に、映像に含まれるテロップ、字幕を認識して文字列に変換し、その変換結果をメタデータ取得部103へ出力する。テロップは、画像中にかかれている文字画像であり、抽出には画像認識が必要である。この画像に含まれるテロップの認識方法には、例えば特許第3692018号に記載された手法を用いてもよい。字幕は、映像にかかる映像信号中に含まれる字幕データを指し、文字列データとして映像データとは分離して取得可能である。一般に、テロップはオープンキャプション、字幕はクローズキャプションとも呼ばれている。以下の説明では、上述したテロップや字幕を単に「テロップ」と呼ぶこととし、「テロップ」には字幕が含まれているものとする。また、メタデータ取得部103への出力は、テロップを変換した文字列を含むテキストデータなどであってよい。また、テロップを認識して変換した文字列は文であることから、テロップ認識部109は、形態素解析によって文を単語単位に分割し、その分割結果をメタデータ取得部103へ出力してもよい。また、テロップ認識部109は、単語単位に分割した分割結果をメタデータ取得部103へ出力する際に、出現頻度の高い単語をキーワードとして出力してもよい。
文字列照合部110は、関連度算出部104が関連度の算出を行う際に、キーコンテンツのメタデータに含まれる文字列と、他のコンテンツのメタデータに含まれる文字列との照合を行い、一致する文字列の数を関連度算出部104へ出力する。関連度算出部104では、一致する文字列の数が多いほど、高い関連度を付ける。
例えば、キーコンテンツがカラオケコンテンツなどの音楽コンテンツであり、他のコンテンツが映像コンテンツの場合は、音楽コンテンツのメタデータに含まれるタイトル、演奏者、歌詞などの文字列と、映像コンテンツのメタデータに含まれる、テロップを認識して変換した文字列との照合が行われる。映像コンテンツのテロップに、挿入歌のタイトル、演奏者、歌詞などが含まれており、そのタイトル、演奏者、歌詞が音楽コンテンツのタイトル、演奏者、歌詞などと一致する場合には、一致する数に応じて高い関連度が付けられることとなる。
また、キーコンテンツがカラオケコンテンツなどの音楽コンテンツであり、他のコンテンツが音楽CDなどの商品コンテンツの場合には、音楽コンテンツのメタデータに含まれるタイトル、演奏者、歌詞などの文字列と、商品コンテンツのメタデータに含まれる音楽CDのタイトル、演奏者などの文字列との照合が行われる。音楽CDのタイトル、演奏者が音楽コンテンツのタイトル、演奏者などと一致する場合には、一致する数に応じて高い関連度が付けられることとなる。
また、キーコンテンツが映像コンテンツであり、他のコンテンツが音楽CDなどの商品コンテンツの場合には、映像コンテンツのメタデータに含まれる、テロップを認識して変換した文字列と、商品コンテンツのメタデータに含まれる音楽CDのタイトル、演奏者などの文字列との照合が行われる。映像コンテンツのテロップに、挿入歌のタイトル、演奏者などが含まれており、そのタイトル、演奏者が音楽CDのタイトル、演奏者などと一致する場合には、一致する数に応じて高い関連度が付けられることとなる。
オーディオ照合部111は、関連度算出部104が関連度の算出を行う際に、キーコンテンツと他のコンテンツが共に音声データを含むコンテンツである場合に、互いの音声データの照合を行い、音声が一致する区間の長さを関連度算出部104へ出力する。関連度算出部104では、キーコンテンツと他のコンテンツの互いの音声データについて、音声が一致する区間が長いほど、高い関連度を付ける。なお、上述した音声データの照合方法には、例えば特開2009−186944に記載された手法を用いてもよい。
例えば、キーコンテンツがカラオケコンテンツなどの音楽コンテンツであり、他のコンテンツが音声を含む映像コンテンツである場合は、音楽コンテンツの音声と、映像コンテンツの音声との照合が行われる。映像コンテンツの音声に、音楽コンテンツの音声と一致する区間が含まれる場合、すなわち、映像コンテンツの挿入歌などで音声コンテンツの曲が用いられている場合には、挿入歌として用いられている区間の長さに応じて高い関連度が付けられることとなる。
次に、以上のように構成された表示装置100によるコンテンツやメタデータの取得処理について説明する。図10は、表示装置100による取得処理の流れを示すフローチャートである。
まず、メタデータ取得部103は、放送受信部108や通信部180が受信したコンテンツやメタデータを取得して(S1)、取得したコンテンツが映像を含む映像コンテンツであるか否かを判定する(S2)。このS2は、取得したコンテンツにかかるデータファイルの内容を解析することで、そのデータファイルが静止画像や動画像などの映像を含むか否かを判定するものであってもよいし、そのデータファイルの種別を示すファイルの拡張子などをもとに判定するものであってもよい。
取得したコンテンツが映像を含む映像コンテンツである場合(S2:YES)、メタデータ取得部103は、映像にかかるデータをテロップ認識部109に出力することで、映像に含まれるテロップを認識した結果をテロップ認識部109から取得する(S3)。次いで、メタデータ取得部103は、コンテンツとともに取得したメタデータへテロップを認識した結果を追加し、取得したコンテンツと、メタデータとをコンテンツDB152へ格納する(S4)。
取得したコンテンツが映像を含まないコンテンツである場合(S2:NO)、メタデータ取得部103は、放送受信部108や通信部180から取得したコンテンツと、メタデータとをそのままコンテンツDB152へ格納する(S4)。
次に、以上のように構成された表示装置100による表示情報の表示処理について説明する。図11は、表示装置100による表示処理の流れを示すフローチャートである。
まず、リモコン操作受付部101は、リモコン90の操作ボタンから、キーコンテンツの選択操作を受け付けるまで待機する(S10)。選択操作を受け付けた場合(S10:YES)、メタデータ取得部103は、選択されたキーコンテンツのメタデータを取得する(S11)。次に、メタデータ取得部103は、キーコンテンツ以外の他のコンテンツのメタデータを取得する(S12)。
次いで、関連度算出部104により、キーコンテンツに対する他のコンテンツ各々の関連度を、メタデータに含まれる項目ごとに算出する(S13)。なお、キーコンテンツと他のコンテンツが共に音声データを含むコンテンツである場合には、オーディオ照合部111により互いの音声データの照合が行われ、音声が一致する区間に応じた関連度の算出が関連度算出部104で行われることとなる。次いで、表示制御部106は、キーコンテンツに対する他のコンテンツ各々の関連度に応じて、キーコンテンツおよび他のコンテンツの表示情報を配置した一覧情報を生成し(S14)、生成した一覧情報を表示部170に表示する(S15)。
したがって、表示部170には、検索のキーとなるキーコンテンツの表示情報の位置を中心に同心形状に形成された複数の多角形上であって、操作ボタンによる操作方向に沿う形状で、中心近傍から関連度の高い順に、他のコンテンツの表示情報をそれぞれ配置した一覧情報が表示される。
図12は、検索結果の表示例を示す図である。より具体的には、図12は、音楽コンテンツである「音楽XXXX」をキーコンテンツとして、他のコンテンツの表示情報をそれぞれ配置した検索結果の表示例を示している。図12に示すように、「音楽XXXX」をキーコンテンツとした場合には、その「音楽XXXX」の表示情報C1を中心に、「番組」、「CM」、「カラオケ」、「商品」などの項目ごとに関連度の高いコンテンツが中心に近い位置に配置される。
例えば、映像コンテンツの場合には、その映像コンテンツとともに配信されたメタデータとの関連度だけでなく、映像に含まれるテロップを認識した文字列との関連度も算出される。したがって、そのテロップに含まれる挿入歌のタイトル、演奏者、歌詞などが「音楽XXXX」のメタデータと一致する場合には、その映像コンテンツは、より関連度が高いコンテンツとして中心に近い位置に配置されることとなる。また、音声データを含むコンテンツの場合には、そのコンテンツとともに配信されたメタデータとの関連度だけでなく、「音楽XXXX」との音声が一致する区間に応じた関連度も算出される。したがって、コンテンツの中で「音楽XXXX」が挿入歌として用いられている場合には、そのコンテンツは、より関連度が高いコンテンツとして中心に近い位置に配置されることとなる。
このため、ユーザは、リモコン90からの操作により、音楽コンテンツをキーコンテンツとした場合、コンテンツとともに配信されたメタデータだけでなく、映像のテロップに含まれる文字情報との関連や、音声の符合具合から、膨大なコンテンツの中で関連度の高いコンテンツを容易に検索できることになる。
以上のように、表示装置100では、複数のコンテンツと、複数のコンテンツの各々に対応したメタデータとをコンテンツDB152に記憶しており、そのコンテンツDB152に記憶するコンテンツが映像コンテンツである場合には、その映像コンテンツに含まれるテロップをテロップ認識部109で認識して取得した文字列を、映像コンテンツのメタデータにメタデータ取得部103が追加している。また、表示装置100では、コンテンツDB152の複数のコンテンツの中から、検索のキーとする音楽コンテンツの選択操作をリモコン操作受付部101で受け付け、その音楽コンテンツのメタデータの内容と、コンテンツDB152に記憶された他のコンテンツのメタデータの内容との類似性に応じた関連度を、他のコンテンツごとに関連度算出部104が算出し、その他のコンテンツの各々について、関連度算出部104が算出した関連度の値順に並べた検索結果を表示制御部106が表示部170に出力している。
したがって、表示装置100は、コンテンツが映像コンテンツである場合には、その映像コンテンツに含まれるテロップを認識して取得した文字列を、映像コンテンツのメタデータに追加しているため、検索のキーとした音楽コンテンツと関連のあるコンテンツの検索を精度よく行うことが可能となる。例えば、映像コンテンツ中に含まれる挿入曲が映像コンテンツのメタデータに記述されていない場合であっても、その挿入曲が検索のキーとした音楽コンテンツと関連のある場合には、関連度の高い映像コンテンツとして検索されることとなる。
なお、本実施形態の表示装置100のCPUが実行するプログラムは、ROM等に予め組み込んで提供するように構成してもよい。また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
また、上記プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上記プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
90 リモコン
100 表示装置
101 リモコン操作受付部
102 メタデータ検索部
103 メタデータ取得部
104 関連度算出部
105 表示情報生成部
106 表示制御部
107 映像再生部
108 放送受信部
109 テロップ認識部
110 文字列照合部
111 オーディオ照合部
150 記憶部
151 電子番組表
152 コンテンツDB
170 表示部
180 通信部
200 IPTVサーバ
201 サーバ
NT 通信ネットワーク
上述した課題を解決し、目的を達成するために、本発明の検索装置は、複数のコンテンツと、当該複数のコンテンツの各々に対応したメタデータとを記憶する記憶手段と、前記記憶手段が記憶するコンテンツが映像コンテンツである場合に、当該映像コンテンツに含まれるテロップ及び字幕を認識して取得した文字列を、前記映像コンテンツのメタデータに追加するメタデータ追加手段と、前記複数のコンテンツの中から、検索のキーとする音楽コンテンツの選択操作を受け付ける操作手段と、前記音楽コンテンツと、音声を含むコンテンツとの間で音声照合を行う音声照合手段と、前記音楽コンテンツと、前記記憶手段に記憶された前記音楽コンテンツ以外の他のコンテンツとの類似性に応じた関連度を、前記他のコンテンツが映像コンテンツである場合には、追加された前記文字列を含む前記映像コンテンツのメタデータの内容と、前記音楽コンテンツのメタデータの内容との比較を用いて算出し、前記他のコンテンツが音声を含むコンテンツである場合には、前記音楽コンテンツの音声と、前記他のコンテンツに含まれる音声との音声照合を用いて算出する関連度算出手段と、前記他のコンテンツの各々を、前記算出された関連度の値順に並べた検索結果を出力する検索結果出力手段と、を備えることを特徴とする。
また、本発明は、複数のコンテンツと、当該複数のコンテンツの各々に対応したメタデータとを記憶する記憶手段、メタデータ追加手段、操作手段、音声照合手段、関連度算出手段及び検索結果出力手段を有する検索装置の検索方法であって、前記メタデータ追加手段が、前記記憶手段が記憶するコンテンツが映像コンテンツである場合に、当該映像コンテンツに含まれるテロップ及び字幕を認識して取得した文字列を、前記映像コンテンツのメタデータに追加するステップと、前記操作手段が、前記複数のコンテンツの中から、検索のキーとする音楽コンテンツの選択操作を受け付けるステップと、前記音声照合手段が、前記音楽コンテンツと、音声を含むコンテンツとの間で音声照合を行うステップと、前記関連度算出手段が、前記音楽コンテンツと、前記記憶手段に記憶された前記音楽コンテンツ以外の他のコンテンツとの類似性に応じた関連度を、前記他のコンテンツが映像コンテンツである場合には、追加された前記文字列を含む前記映像コンテンツのメタデータの内容と、前記音楽コンテンツのメタデータの内容との比較を用いて算出し、前記他のコンテンツが音声を含むコンテンツである場合には、前記音楽コンテンツの音声と、前記他のコンテンツに含まれる音声との音声照合を用いて算出するステップと、前記検索結果出力手段が、前記他のコンテンツの各々を、前記算出された関連度の値順に並べた検索結果を出力するステップと、を含むことを特徴とする。
上述した課題を解決し、目的を達成するために、本発明の検索装置は、複数のコンテンツと、当該複数のコンテンツの各々に対応したメタデータとを記憶する記憶手段と、前記記憶手段が記憶するコンテンツが映像コンテンツである場合に、当該映像コンテンツに含まれるテロップ及び字幕を認識して取得した文字列を、前記映像コンテンツのメタデータに追加するメタデータ追加手段と、前記複数のコンテンツの中から、検索のキーとするカラオケコンテンツの選択操作を受け付ける操作手段と、前記カラオケコンテンツと、音声を含むコンテンツとの間で音声照合を行う音声照合手段と、前記カラオケコンテンツと、前記記憶手段に記憶された前記カラオケコンテンツ以外の他のコンテンツとの類似性に応じた関連度を、前記他のコンテンツが映像コンテンツである場合には、追加された前記文字列を含む前記映像コンテンツのメタデータの内容と、前記カラオケコンテンツのメタデータの内容との比較を用いて算出し、前記他のコンテンツが音声を含むコンテンツである場合には、前記カラオケコンテンツの音声と、前記他のコンテンツに含まれる音声との音声照合を用いて算出する関連度算出手段と、前記他のコンテンツの各々を、前記算出された関連度の値順に並べた検索結果を出力する検索結果出力手段とを備えることを特徴とする
また、本発明は、複数のコンテンツと、当該複数のコンテンツの各々に対応したメタデータとを記憶する記憶手段、メタデータ追加手段、操作手段、音声照合手段、関連度算出手段及び検索結果出力手段を有する検索装置の検索方法であって、前記メタデータ追加手段が、前記記憶手段が記憶するコンテンツが映像コンテンツである場合に、当該映像コンテンツに含まれるテロップ及び字幕を認識して取得した文字列を、前記映像コンテンツのメタデータに追加するステップと、前記操作手段が、前記複数のコンテンツの中から、検索のキーとするカラオケコンテンツの選択操作を受け付けるステップと、前記音声照合手段が、前記カラオケコンテンツと、音声を含むコンテンツとの間で音声照合を行うステップと、前記関連度算出手段が、前記カラオケコンテンツと、前記記憶手段に記憶された前記カラオケコンテンツ以外の他のコンテンツとの類似性に応じた関連度を、前記他のコンテンツが映像コンテンツである場合には、追加された前記文字列を含む前記映像コンテンツのメタデータの内容と、前記カラオケコンテンツのメタデータの内容との比較を用いて算出し、前記他のコンテンツが音声を含むコンテンツである場合には、前記カラオケコンテンツの音声と、前記他のコンテンツに含まれる音声との音声照合を用いて算出するステップと、前記検索結果出力手段が、前記他のコンテンツの各々を、前記算出された関連度の値順に並べた検索結果を出力するステップとを含むことを特徴とする

Claims (6)

  1. 複数のコンテンツと、当該複数のコンテンツの各々に対応したメタデータとを記憶する記憶手段と、
    前記記憶手段が記憶するコンテンツが映像コンテンツである場合に、当該映像コンテンツに含まれるテロップ及び字幕を認識して取得した文字列を、前記映像コンテンツのメタデータに追加するメタデータ追加手段と、
    前記複数のコンテンツの中から、検索のキーとする音楽コンテンツの選択操作を受け付ける操作手段と、
    前記音楽コンテンツのメタデータの内容と、前記記憶手段に記憶された前記音楽コンテンツ以外の他のコンテンツのメタデータの内容との類似性に応じた関連度を、前記他のコンテンツごとに算出する関連度算出手段と、
    前記他のコンテンツの各々を、前記算出された関連度の値順に並べた検索結果を出力する検索結果出力手段と、
    を備えることを特徴とする検索装置。
  2. 前記関連度算出手段は、前記他のコンテンツが映像コンテンツである場合、当該映像コンテンツのメタデータに含まれる、前記テロップ及び字幕を認識して取得した文字列と、前記音楽コンテンツのメタデータに含まれる文字列とを比較し、一致する文字列の数が多いほど高い関連度を算出することを特徴とする請求項1に記載の検索装置。
  3. 前記他のコンテンツが音声を含むコンテンツである場合に、前記音楽コンテンツとの間で音声照合を行う音声照合手段を更に備え、
    前記関連度算出手段は、前記音楽コンテンツの音声と、前記他のコンテンツに含まれる音声との類似性に応じた関連度を算出することを特徴とする請求項1又は2に記載の検索装置。
  4. 前記関連度算出手段は、前記音楽コンテンツの音声と、前記他のコンテンツに含まれる音声との間で、一致する音声の区間が長いほど高い関連度を算出することを特徴とする請求項1〜3のいずれか一項に記載の検索装置。
  5. 前記関連度算出手段は、前記関連度を予め設定された項目ごとに算出し、
    前記検索結果出力手段は、前記音楽コンテンツの表示情報を中心に配置し、前記項目ごとに算出された関連度に基づいて、前記中心から放射方向に向けて前記項目ごとに分別された所定領域に、前記他のコンテンツの表示情報をそれぞれ配置した表示画面を出力することを特徴とする請求項1〜4のいずれか一項に記載の検索装置。
  6. 複数のコンテンツと、当該複数のコンテンツの各々に対応したメタデータとを記憶する記憶手段を有する検索装置の検索方法であって、
    メタデータ追加手段が、前記記憶手段が記憶するコンテンツが映像コンテンツである場合に、当該映像コンテンツに含まれるテロップ及び字幕を認識して取得した文字列を、前記映像コンテンツのメタデータに追加するステップと、
    操作手段が、前記複数のコンテンツの中から、検索のキーとする音楽コンテンツの選択操作を受け付けるステップと、
    関連度算出手段が、前記音楽コンテンツのメタデータの内容と、前記記憶手段に記憶された前記音楽コンテンツ以外の他のコンテンツのメタデータの内容との類似性に応じた関連度を、前記他のコンテンツごとに算出するステップと、
    検索結果出力手段が、前記他のコンテンツの各々を、前記算出された関連度の値順に並べた検索結果を出力するステップと、
    を含むことを特徴とする検索方法。
JP2009288265A 2009-12-18 2009-12-18 検索装置及び検索方法 Pending JP2011128981A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009288265A JP2011128981A (ja) 2009-12-18 2009-12-18 検索装置及び検索方法
EP10168470A EP2336900A2 (en) 2009-12-18 2010-07-05 Search device and search method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009288265A JP2011128981A (ja) 2009-12-18 2009-12-18 検索装置及び検索方法

Publications (1)

Publication Number Publication Date
JP2011128981A true JP2011128981A (ja) 2011-06-30

Family

ID=43828352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009288265A Pending JP2011128981A (ja) 2009-12-18 2009-12-18 検索装置及び検索方法

Country Status (2)

Country Link
EP (1) EP2336900A2 (ja)
JP (1) JP2011128981A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013084793A1 (ja) * 2011-12-08 2013-06-13 シャープ株式会社 関連コンテンツ検索システムおよび関連コンテンツ検索方法
JP2013122561A (ja) * 2011-12-12 2013-06-20 Brother Ind Ltd 情報処理プログラム、通信システム、情報処理装置、及び歌詞テロップ描画方法
JP2015507253A (ja) * 2011-12-13 2015-03-05 インテル・コーポレーション キーワードの選択による、接続されたメディア機器におけるチャンネルナビゲーション
JP2015179323A (ja) * 2014-03-18 2015-10-08 Kddi株式会社 表示制御装置、表示制御方法及び表示制御プログラム
JP5816852B2 (ja) * 2010-09-06 2015-11-18 パナソニックIpマネジメント株式会社 コンテンツ検索装置、コンテンツ検索方法、プログラム
JP2018092324A (ja) * 2016-12-01 2018-06-14 日本放送協会 コンテンツ同定装置及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285787A (ja) * 2000-03-31 2001-10-12 Nec Corp 映像録画方法およびそのシステムとその記録媒体
JP2002063209A (ja) * 2000-08-22 2002-02-28 Sony Corp 情報処理装置および方法、情報システム、並びに記録媒体
JP2004219804A (ja) * 2003-01-16 2004-08-05 Nippon Telegr & Teleph Corp <Ntt> 類似音声音楽検索装置,類似音声音楽検索処理方法,類似音声音楽検索プログラムおよびそのプログラムの記録媒体
JP2007012013A (ja) * 2005-06-03 2007-01-18 Nippon Telegr & Teleph Corp <Ntt> 映像データ管理装置及び方法及びプログラム
JP2008227881A (ja) * 2007-03-13 2008-09-25 Yamaha Corp 映像コンテンツ再生装置
JP2009080580A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3692018B2 (ja) 2000-01-24 2005-09-07 株式会社東芝 テロップ情報処理装置
JP5093806B2 (ja) 2008-02-11 2012-12-12 株式会社イクシコム 類似音楽検索システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285787A (ja) * 2000-03-31 2001-10-12 Nec Corp 映像録画方法およびそのシステムとその記録媒体
JP2002063209A (ja) * 2000-08-22 2002-02-28 Sony Corp 情報処理装置および方法、情報システム、並びに記録媒体
JP2004219804A (ja) * 2003-01-16 2004-08-05 Nippon Telegr & Teleph Corp <Ntt> 類似音声音楽検索装置,類似音声音楽検索処理方法,類似音声音楽検索プログラムおよびそのプログラムの記録媒体
JP2007012013A (ja) * 2005-06-03 2007-01-18 Nippon Telegr & Teleph Corp <Ntt> 映像データ管理装置及び方法及びプログラム
JP2008227881A (ja) * 2007-03-13 2008-09-25 Yamaha Corp 映像コンテンツ再生装置
JP2009080580A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5816852B2 (ja) * 2010-09-06 2015-11-18 パナソニックIpマネジメント株式会社 コンテンツ検索装置、コンテンツ検索方法、プログラム
WO2013084793A1 (ja) * 2011-12-08 2013-06-13 シャープ株式会社 関連コンテンツ検索システムおよび関連コンテンツ検索方法
JP2013120568A (ja) * 2011-12-08 2013-06-17 Sharp Corp 関連コンテンツ検索システムおよび関連コンテンツ検索方法
JP2013122561A (ja) * 2011-12-12 2013-06-20 Brother Ind Ltd 情報処理プログラム、通信システム、情報処理装置、及び歌詞テロップ描画方法
JP2015507253A (ja) * 2011-12-13 2015-03-05 インテル・コーポレーション キーワードの選択による、接続されたメディア機器におけるチャンネルナビゲーション
JP2015179323A (ja) * 2014-03-18 2015-10-08 Kddi株式会社 表示制御装置、表示制御方法及び表示制御プログラム
JP2018092324A (ja) * 2016-12-01 2018-06-14 日本放送協会 コンテンツ同定装置及びプログラム

Also Published As

Publication number Publication date
EP2336900A2 (en) 2011-06-22

Similar Documents

Publication Publication Date Title
JP4910582B2 (ja) 情報処理装置および方法、並びに、プログラム
JP3654173B2 (ja) 番組選択支援装置、番組選択支援方法およびそのプログラムを記録した記録媒体
JP4393565B1 (ja) 表示処理装置、表示処理方法、およびプログラム
US7209942B1 (en) Information providing method and apparatus, and information reception apparatus
US7890490B1 (en) Systems and methods for providing advanced information searching in an interactive media guidance application
US20090129749A1 (en) Video recorder and video reproduction method
US20110320471A1 (en) Movie Recommendation System and Movie Recommendation Method
KR20090004990A (ko) 인터넷 검색 기반 텔레비전을 위한 방법, 매체 및 시스템
US20100333140A1 (en) Display processing apparatus, display processing method, and computer program product
JP4745437B2 (ja) 表示処理装置及び表示処理方法
JP2011086315A (ja) オーディオ/データ/ビジュアル情報選択のための方法及び装置
WO2010113619A1 (ja) コンテンツ推薦装置、方法、及びプログラム
JP2009081575A (ja) 映像を出力する装置、方法およびシステム
KR20030007727A (ko) 자동 비디오 리트리버 제니
JP2011128981A (ja) 検索装置及び検索方法
US20110231799A1 (en) Display processing apparatus, display processing method, and computer program product
JP2011034394A (ja) コンテンツ提供装置、コンテンツ提供プログラムおよびコンテンツ提供方法
JP4585597B1 (ja) 表示処理装置、プログラムおよび表示処理方法
JP2011013860A (ja) 表示処理装置、表示処理方法およびプログラム
JP2012008868A (ja) 表示処理装置、表示処理方法、及び表示処理プログラム
JP2011049707A (ja) 動画再生装置、動画再生方法及びプログラム
JP2009147775A (ja) 番組再生方法、装置、プログラム及び媒体
JP5266981B2 (ja) 電子機器、情報処理方法及びプログラム
JP4897025B2 (ja) 表示処理装置、表示処理方法、およびプログラム
JP2008099012A (ja) コンテンツ再生システム及びコンテンツ蓄積システム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110318

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110524