JP2018081389A - 分類検索システム - Google Patents

Abstract

【課題】テレビ放送の映像又はインターネット配信動画の映像とインターネット上のメディアとを複合的に検索又は分析できるシステムを提供する。【解決手段】分類検索システム１０は、テレビ放送局５０が放送する映像又はインターネットを介して配信された映像を録画する録画手段１２と、映像に関する情報を格納する映像情報格納手段１４と、録画手段１２により録画された映像のメタデータを格納するメタデータ格納手段１６と、複数のウェブサイト１７からインターネット１８を介して取得したメディア情報を格納するメディア情報格納手段２０と、検索キーワードを用いてメタデータ格納ファイル１５及びメディア情報格納ファイル１９を検索し、検索キーワードに対応するメタデータに紐付けられた映像情報又はメディア情報を抽出する情報抽出手段２２と、抽出された映像情報又はメディア情報を所定のジャンル毎に分類する情報分類手段２３と、を有する。【選択図】図１

Description

本発明は、分類検索システムに関し、特にテレビ放送及びインターネット上の情報を検索するシステムに関するものである。

従来より、テレビ放送は重要なメディアの一つとして位置付けられている。テレビ放送は映像であることから、視聴者が直接映像を見ることでその情報を取得することができる。
但し、テレビ放送にあっては、これから放送されるテレビ放送又は録画したテレビ放送から観たいテレビ放送を検索する場合や、テレビ放送から効率良く情報を取得したい場合において、映像を直接見て管理・検索することが難しいという欠点があった。
このような欠点は、テレビ放送の映像に限らず、急速に実用化が進んだインターネット配信動画の映像に関しても存在するものである。

そこで、映像に関して、メタデータを付与するという方法がある。メタデータとは、あるデータそのものではなく、そのデータに関連する情報のことである。データの作成日時や作成者、データ形式、タイトル、注釈などが考えられる。データを効率的に管理したり検索したりするために重要な情報である。
例えば、本件特許出願人は、過去において、テレビ放送局が放送するテレビ放送番組を録画する録画手段と、前記録画手段により録画された映像に対応させ番組内容を要約したメタデータを格納するメタデータ格納手段と、画面上に前記メタデータを表示させることができるディスプレイ手段とを備え、ユーザーが画面上に表示されたメタデータを視認して適宜選択することにより、当該メタデータに対応する映像を画面上に表示させて視認できるように構成された映像システムに関する発明を出願して特許を取得している（特許文献１）。

一方で、近年、インターネットに接続されたコンピューター、スマートフォン等からウェブサイトにアクセスして、世界中のあらゆる情報を容易に得ることができるようになっている。特に、大手新聞社、地方新聞社、ニュース配信会社、テレビ会社等により構成される報道機関のウェブサイトから得られるメディア情報は、世論への影響力も大きく、テレビ放送やインターネット配信動画と同様に重要視される情報である。
しかしながら、これまでテレビ放送映像やインターネット配信動画とインターネット上のメディア情報とを複合的に検索したり、分析したりすることはできなかった。

特許第４２２７８６６号

本発明は、以上のような従来の不具合を解決するためのものであって、その課題は、テレビ放送の映像又はインターネット配信動画の映像とインターネット上のメディアとを複合的に検索又は分析できるシステムを提供することにある。

前記課題を解決するために、請求項１に記載の発明にあっては、テレビ放送局が放送するテレビ放送の映像又はインターネットを介して配信されたインターネット配信動画の映像を録画ファイルに録画又は保存する録画手段と、前記映像に関する情報を映像情報として映像情報格納ファイルに格納する映像情報格納手段と、前記録画手段により録画又は保存されたテレビ放送の映像又はインターネット配信動画の映像のメタデータをメタデータ格納ファイルに格納するメタデータ格納手段と、複数のウェブサイトにインターネットを介して接続可能であり、前記ウェブサイトから取得したメディア情報をメディア情報格納ファイルに格納するメディア情報格納手段と、検索キーワードが格納された検索キーワード格納ファイルを有し、前記検索キーワードを前記メタデータ格納ファイル及び前記メディア情報格納ファイルから検索し、前記検索キーワードに対応するメタデータに紐付けられた映像情報又は前記検索キーワードに対応するメディア情報を前記映像情報格納ファイル又は前記メディア情報格納ファイルから抽出する情報抽出手段と、前記情報抽出手段によって抽出された映像情報又はメディア情報を所定のジャンル毎に分類する情報分類手段とを有することを特徴とする。

ここで、録画とは、テレビ放送の映像やインターネット配信動画の映像をビデオテープやＤＶＤメディア、ハードディスクなどの映像記録媒体に記録、保存する行為を意味する。
また、所定のジャンルとは、政治、経済、行政、ビジネス、科学、流行、ファッション、スポーツ、芸能等を指す。
従って、前記録画手段によって、前記録画ファイルにテレビ放送の映像又はインターネット配信動画の映像が録画又は保存された場合には、前記映像情報格納手段によって、前記映像に関する情報が映像情報として前記映像情報格納ファイルに格納されると共に、前記メタデータ格納手段によって、前記映像のメタデータが前記メタデータ格納ファイルに格納され、前記メディア情報格納手段によって、前記ウェブサイトから取得したメディア情報が前記メディア情報格納ファイルに格納され、前記情報抽出手段によって、前記検索キーワード格納ファイルに格納された検索キーワードが前記メタデータ格納ファイル及び前記メディア情報格納ファイルから検索され、前記検索キーワードに対応するメタデータに紐付けられた映像情報又は前記検索キーワードに対応するメディア情報が抽出され、前記情報分類手段によって、前記抽出された映像情報又はメディア情報が所定のジャンル毎に分類される。

請求項２に記載の発明にあっては、前記情報抽出手段は、前記検索キーワードに対応するメタデータを前記メタデータ格納ファイルから抽出するメタデータ抽出手段と、前記検索キーワードに対応する情報を前記メディア情報格納ファイルから抽出するメディア情報抽出手段と、前記メタデータ抽出手段及び前記メディア情報抽出手段によって、夫々、抽出されたメタデータ及びメディア情報を互いに照合する情報照合手段とを有することを特徴とする。

従って、前記メタデータ抽出手段によって、前記検索キーワードに対応するメタデータが前記メタデータ格納ファイルから抽出され、前記メディア情報抽出手段によって、前記検索キーワードに対応する情報が前記メディア情報格納ファイルから抽出され、前記情報照合手段によって、前記抽出されたメタデータ及びメディア情報が互いに照合される。

請求項３に記載の発明にあっては、前記情報抽出手段によって抽出された情報を統計処理する統計処理手段を有することを特徴とする。
ここで、統計処理とは、相関分析、回帰分析、因子分析等の公知の統計処理を意味する。
従って、前記統計処理手段によって、前記情報抽出手段によって抽出された情報が統計処理される。

請求項４に記載の発明にあっては、前記メタデータ格納手段は、前記録画ファイルに録画又は保存された映像から文字情報を取得する文字情報取得手段と、前記文字情報取得手段によって取得された前記文字情報を集約して文章化する文字情報文章化手段とを有し、前記文字情報文章化手段によって文章化された前記文字情報を前記録画ファイルに録画又は保存された映像のメタデータとして前記メタデータ格納ファイルに格納することを特徴とする。

ここで、文字情報とは、映像に表示され、映像に関連する単語、文章の情報であって、例えば、映像に表示されたテロップの文字列を含む概念である。
従って、前記録画手段によって、前記録画ファイルに映像が録画又は保存された場合には、前記文字情報取得手段によって、前記録画ファイルに録画又は保存された前記映像に表示された文字情報が取得され、前記文字情報文章化手段によって、取得された前記文字情報が文章化され、前記メタデータ格納手段によって、文章化された前記文字情報が前記映像のメタデータとして前記メタデータ格納ファイルに格納される。

請求項５に記載の発明にあっては、前記文字情報取得手段は、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とを照合し、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情を文字情報として抽出する映像認識情報抽出手段を有することを特徴とする。

従って、前記映像認識情報抽出手段によって、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とが照合され、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情が文字情報として抽出される。

請求項６に記載の発明にあっては、前記文字情報取得手段は、前記録画ファイルに録画又は保存された映像と共に録音又は保存された音声に対して音声解析を行い、前記音声から文字情報を抽出する音声情報抽出手段を有することを特徴とする。
従って、前記音声情報抽出手段によって、前記録画ファイルに録画又は保存された前記映像と共に録音又は保存された前記音声が音声解析されることにより前記音声から文字情報が抽出される。

請求項７に記載の発明にあっては、前記文字情報取得手段は、前記録画ファイルに録画又は保存された映像に対して画像解析を行い、前記映像から文字情報を抽出する文字情報抽出手段と、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とを照合し、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情を文字情報として抽出する映像認識情報抽出手段と、前記録画ファイルに録画又は保存された映像と共に録音又は保存された音声に対して音声解析を行い、前記音声から文字情報を抽出する音声情報抽出手段と、前記文字情報抽出手段、前記映像認識情報抽出手段、及び、前記音声情報抽出手段によって、夫々、抽出された文字情報を互いに照合する複合情報照合手段とを有することを特徴とする。

従って、前記録画手段によって、前記録画ファイルに映像が録画又は保存された場合には、前記文字情報抽出手段によって、前記録画ファイルに録画又は保存された前記映像が画像解析されることにより前記映像から文字情報が抽出され、前記映像認識情報抽出手段によって、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とが照合され、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情が文字情報として抽出され、前記音声情報抽出手段によって、前記録画ファイルに録画又は保存された前記映像と共に録音又は保存された前記音声が音声解析されることにより前記音声から文字情報が抽出され、前記複合情報照合手段によって、前記文字情報抽出手段、前記映像認識情報抽出手段、及び、前記音声情報抽出手段によって、夫々、抽出された文字情報が互いに照合される。

請求項８に記載の発明にあっては、前記メディア情報格納手段は、前記複数のウェブサイトの中から予め選定した分野に適合したウェブサイトを検索対象サイトとして検索対象格納ファイルに格納する検索対象格納手段と、前記検索対象格納ファイルに格納された検索対象サイトについて、各検索対象サイトのサイト構造を解析するサイト構造解析手段と、前記各検索対象サイトを巡回し、前記解析したサイト構造に基づいて前記各検索対象サイトに記述されたサイト情報を取得するサイト情報取得手段と、前記各検索対象サイトから取得した前記サイト情報を、前記メディア情報として前記メディア情報格納ファイルに格納するサイト情報格納手段とを有することを特徴とする。

従って、前記検索対象格納手段によって、前記複数のウェブサイトの中から予め選定した分野に適合したウェブサイトを検索対象サイトとして前記検索対象格納ファイルに格納した場合には、前記検索サーバーは、前記サイト構造解析手段によって、前記検索対象格納ファイルに格納された検索対象サイトに基づいて、各検索対象サイトのサイト構造を解析し、前記サイト情報取得手段によって、前記各検索対象サイトを巡回し、前記解析したサイト構造に基づいて前記各検索対象サイトに記述されたサイト情報を取得し、前記サイト情報格納手段によって、前記各検索対象サイトから取得した前記サイト情報が、前記メディア情報として前記メディア情報格納ファイルに格納される。

請求項９に記載の発明にあっては、前記メタデータ格納ファイルには、前記番組コンテンツ要約テキストデータと、前記番組コンテンツが放送されたチャンネル名と、前記番組コンテンツのタイムコードとが記録されていることを特徴とする。

請求項１〜９に記載の分類検索システムにあっては、前記録画手段によって、前記録画ファイルにテレビ放送の映像又はインターネット配信動画の映像が録画又は保存された場合には、前記映像情報格納手段によって、前記映像に関する情報が映像情報として前記映像情報格納ファイルに格納されると共に、前記メタデータ格納手段によって、前記テレビ放送の映像又はインターネット配信動画の映像のメタデータが前記メタデータ格納ファイルに格納され、前記メディア情報格納手段によって、前記ウェブサイトから取得したメディア情報が前記メディア情報格納ファイルに格納され、前記情報抽出手段によって、前記検索キーワード格納ファイルに格納された検索キーワードが前記メタデータ格納ファイル及び前記メディア情報格納ファイルから検索され、前記検索キーワードに対応するメタデータに紐付けられた映像情報又は前記検索キーワードに対応するメディア情報が抽出され、前記情報分類手段によって、前記抽出された情報が所定のジャンル毎に分類される。
従って、検索キーワードを指定することによって、前記映像情報及び前記メディア情報を所定のジャンル毎に分類された状態で検索して抽出することができる。
その結果、テレビ放送の映像又はインターネット配信動画の映像とインターネット上のメディアとを複合的に検索又は分析できるシステムを提供することができる。

請求項２に記載の分類検索システムにあっては、前記メタデータ抽出手段によって、前記検索キーワードに対応するメタデータが前記メタデータ格納ファイルから抽出され、前記メディア情報抽出手段によって、前記検索キーワードに対応する情報が前記メディア情報格納ファイルから抽出され、前記情報照合手段によって、前記抽出されたメタデータ及びメディア情報が互いに照合されるので、前記検索キーワードによって抽出された映像情報及びメディア情報の検索精度を高めることができる。

請求項３に記載の分類検索システムにあっては、前記統計処理手段によって、前記情報抽出手段によって抽出された情報が統計処理されるので、映像情報及びメディア情報に対して、検討、分析、又は、追求をすることができる。

請求項４に記載の分類検索システムにあっては、前記録画手段によって、前記録画ファイルに映像が録画又は保存された場合には、前記文字情報取得手段によって、前記録画ファイルに録画又は保存された前記映像に表示された文字情報が取得され、前記文字情報文章化手段によって、取得された前記文字情報が文章化され、前記メタデータ格納手段によって、文章化された前記文字情報が前記映像のメタデータとして前記メタデータ格納ファイルに格納される。
従って、前記映像に表示され、前記映像に関連する単語、文章の情報である前記文字情報から前記映像のメタデータを精度良く自動作成することができる。
その結果、テレビ放送の映像又はインターネット配信動画の映像に関するメタデータを短時間で作成し、人的コストを削減することができる。

請求項５に記載の分類検索システムにあっては、前記映像認識情報抽出手段によって、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とが照合され、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情が文字情報として抽出されるので、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情から前記映像のメタデータを作成することができる。

請求項６に記載の分類検索システムにあっては、前記音声情報抽出手段によって、前記録画ファイルに録画又は保存された前記映像と共に録音又は保存された前記音声が音声解析されることにより前記音声から文字情報が抽出される。
従って、音声解析によって効率よく前記映像と共に録音又は保存された前記音声から前記文字情報を抽出することができる。

請求項７に記載の分類検索システムにあっては、前記録画手段によって、前記録画ファイルに映像が録画又は保存された場合には、前記文字情報抽出手段によって、前記録画ファイルに録画又は保存された前記映像が画像解析されることにより前記映像から文字情報が抽出され、前記映像認識情報抽出手段によって、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とが照合され、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情が文字情報として抽出され、前記音声情報抽出手段によって、前記録画ファイルに録画又は保存された前記映像と共に録音又は保存された前記音声が音声解析されることにより前記音声から文字情報が抽出され、前記複合情報照合手段によって、前記文字情報抽出手段、前記映像認識情報抽出手段、及び、前記音声情報抽出手段によって、夫々、抽出された文字情報が互いに照合される。
従って、画像解析、音声解析、及び、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情から効率よく前記文字情報を抽出できる。
また、前記複合情報照合手段によって、前記文字情報抽出手段、前記映像認識情報抽出手段、及び、前記音声情報抽出手段によって、夫々、抽出された文字情報が互いに照合されるので、例えば、前記文字情報抽出手段によって誤認識したり、完全に認識することが出来なかったりした文字や単語を、前記音声情報抽出手段によって抽出された文字情報に基づいて修正することができる。
その結果、テレビ放送の映像又はインターネット配信動画の映像に関するメタデータをより精度良く効率的に自動生成することが出来る。

請求項８に記載の分類検索システムにあっては、前記検索対象格納手段によって、前記複数のウェブサイトの中から予め選定した分野に適合したウェブサイトが検索対象サイトとして前記検索対象格納ファイルに格納された場合には、前記サイト構造解析手段によって、前記検索対象格納ファイルに格納された検索対象サイトに基づいて、各検索対象サイトのサイト構造が解析され、前記サイト情報取得手段によって、前記各検索対象サイトが巡回され、前記解析したサイト構造に基づいて前記各検索対象サイトに記述されたサイト情報が取得され、前記サイト情報格納手段によって、前記各検索対象サイトから取得した前記サイト情報がメディア情報として前記メディア情報格納ファイルに格納されるので、前記各検索対象サイトに記述されたサイト情報を予め前記メディア情報格納ファイルに格納しておくことができる。
従って、従来の一般の検索エンジンにあっては、無関係なウェブサイトを大量に検索結果に表示してしまうため、ユーザーはその検索結果からさらに精査をして、必要な情報を選別しなければならないという事態を生じていたのに対し、請求項８に記載の分類検索システムにあっては、前記事態を生じることがなく、その結果、有益な情報を正確かつ迅速に得ることができる。
また、前記検索キーワードに関連する情報は、前記メディア情報格納ファイルに格納されたメディア情報から抽出されるので、検索する毎に前記各検索対象サイトを巡回する必要がなく、有益な情報をさらに迅速に得ることができる。

図１は、本発明に係る分類検索システムの一実施の形態を示すブロック図である。 図２は、本発明に係る分類検索システムの一実施の形態において、分類検索システムにおける処理の流れを示すフローチャートである。

以下、添付図面に示す実施の形態に基づき、本発明を詳細に説明する。本実施の形態においては、録画対象をテレビ放送局が放送するテレビ放送の映像であるものとして説明する。
（１）本実施の形態に係る分類検索システム１０の構成
図１に示すように、本発明の一実施の形態に係る分類検索システム１０は、テレビ放送局５０が放送するテレビ放送の映像を録画ファイル１１に録画する録画手段１２と、前記映像に関する情報を映像情報として映像情報格納ファイル１３に格納する映像情報格納手段１４と、録画手段１２により録画された映像のメタデータをメタデータ格納ファイル１５に格納するメタデータ格納手段１６と、複数のウェブサイト１７、１７・・・にインターネット１８を介して接続可能であり、ウェブサイト１７、１７・・・から取得したメディア情報をメディア情報格納ファイル１９に格納するメディア情報格納手段２０と、検索キーワードが格納された検索キーワード格納ファイル２１を有し、前記検索キーワードをメタデータ格納ファイル１５及びメディア情報格納ファイル１９から検索し、前記検索キーワードに対応するメタデータに紐付けられた映像情報又は前記検索キーワードに対応するメディア情報を映像情報格納ファイル１３又はメディア情報格納ファイル１９から抽出する情報抽出手段２２と、情報抽出手段２２によって抽出された情報を所定のジャンル毎に分類する情報分類手段２３とを有している。

また、図１に示すように、本実施の形態に係る情報抽出手段２２は、前記検索キーワードに対応するメタデータをメタデータ格納ファイル１５から抽出するメタデータ抽出手段２４と、前記検索キーワードに対応するメディア情報をメディア情報格納ファイル１９から抽出するメディア情報抽出手段２５と、メタデータ抽出手段２４及びメディア情報抽出手段２５によって、夫々、抽出されたメタデータ及びメディア情報を互いに照合する情報照合手段２６とを有している。
また、図１に示すように、本実施の形態に係る分類検索システム１０は、情報抽出手段２２によって抽出された情報を統計処理する統計処理手段２７を有している。
また、図１に示すように、本実施の形態に係るメタデータ格納手段１６は、録画ファイル１１に録画された映像から文字情報を取得する文字情報取得手段２８と、文字情報取得手段２８によって取得された前記文字情報を集約して文章化する文字情報文章化手段２９とを有し、文字情報文章化手段２９によって文章化された前記文字情報を録画ファイル１１に録画された映像のメタデータとしてメタデータ格納ファイル１５に格納するように構成されている。
具体的には、メタデータ格納手段１６が、番組コンテンツ４２の映像のメタデータとして、例えば、「（０３／０１ １２：００）［××ニュース］○×オープンに出場している日本のトップテニスプレーヤー○△選手が決勝に進出した」というメタデータをメタデータ格納ファイル１５に格納することができる。

また、図１に示すように、本実施の形態に係る文字情報取得手段２８は、録画ファイル１１に録画された映像に対して画像解析を行い、映像から文字情報を抽出する文字情報抽出手段３０を有している。
本実施の形態にかかる文字情報抽出手段３０は、録画ファイル１１に録画された映像に対して画像解析を行うことによって文字列を抽出する画像解析手段３１と、抽出した前記文字列に対して形態素解析を行うことによって前記文字列に含まれる単語を抽出する単語解析手段３２とを有している。
ここで、形態素解析とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業である。具体的には、例えば、「○×オープン決勝進出」という文字列から「○×」（大会名）、「○×オープン」、「決勝」、「進出」、「決勝進出」といった単語を抽出することができる。

図１に示すように、本実施の形態に係る画像解析手段３１は、画像解析済みの映像と、前記画像解析済みの映像から抽出された文字情報とを有する画像解析蓄積ファイル３３と照合して画像解析するように構成されている。
ここで、画像解析済みの映像とは、これまでに画像解析された映像を意味し、前記画像解析済みの映像から抽出された文字情報とは、画像解析された結果、正しく前記映像から抽出された文字情報を意味する。
また、図１に示すように、本実施の形態に係る文字情報抽出手段３０は、画像解析手段３１によって画像解析された映像と、前記映像から抽出された文字情報とに基づいて、画像解析蓄積ファイル３３を修正する画像解析学習手段５３をさらに有している。

また、図１に示すように、本実施の形態に係る文字情報取得手段２８は、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とを照合し、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情を文字情報として抽出する映像認識情報抽出手段３４を有している。
具体的には、映像認識情報抽出手段３４が番組コンテンツ４２の映像に含まれる人物、ロゴ、人物の持ち物、人物の表情に対して、人物情報、ロゴ情報、物情報、表情情報を照合することによって、例えば、人物が「○△選手」、ロゴが「○×オープン」、人物の持ち物が「テニス（ラケット）」、人物の表情が「精一杯な表情」であることが照合され、夫々を文字情報として抽出することができる。
本実施の形態に係る人物情報、ロゴ情報、物情報又は表情情報は、画像解析済みの映像と、前記画像解析済みの映像から抽出された文字情報とにより構成されている。

また、図１に示すように、本実施の形態に係る文字情報取得手段２８は、録画ファイル１１に録画された映像と共に録音された音声に対して音声解析を行い、前記音声から文字情報を抽出する音声情報抽出手段３５を有している。

図１に示すように、本実施の形態に係る文字情報取得手段２８にあっては、文字情報抽出手段３０、映像認識情報抽出手段３４、及び、音声情報抽出手段３５によって、夫々、抽出された文字情報を互いに照合する複合情報照合手段３６を備えている。

図１に示すように、本実施の形態に係るメディア情報格納手段２０は、複数のウェブサイト１７、１７・・・の中から予め選定した分野に適合したウェブサイトを検索対象サイト１７ａ、１７ａ・・・として検索対象格納ファイル３７に格納する検索対象格納手段３８と、検索対象格納ファイル３７に格納された検索対象サイト１７ａ、１７ａ・・・について、各検索対象サイトのサイト構造を解析するサイト構造解析手段３９と、前記各検索対象サイトを巡回し、前記解析したサイト構造に基づいて前記各検索対象サイトに記述されたサイト情報を取得するサイト情報取得手段４０と、前記各検索対象サイトから取得した前記サイト情報を、前記メディア情報としてメディア情報格納ファイル１９に格納するサイト情報格納手段４１とを有している。

図１に示すように、本実施の形態に係る録画手段１２は、全ての放送局、例えば、我が国における全ての地上局及び衛星放送の放送局から放送された全ての放送番組の映像を、所定期間、例えば１ヶ月に亘って録画しうるように所定の容量のハードディスク型の記憶装置を有する大型の録画装置である。
本実施の形態において、録画手段１２内に装備されたハードディスク内の録画ファイル１１は、テレビ放送局５０により放送された映像からなる番組コンテンツ４２と、番組コンテンツ４２が放送されたチャンネル名４３と、番組コンテンツ４２のタイムコード４４に関する情報を有している。
この場合、番組コンテンツ４２は、放送番組単位、当該放送番組を構成するコーナー単位、又は当該放送番組を構成する記事単位からなる。

また、図１に示すように、本実施の形態において、メタデータ格納手段１６のメタデータ格納ファイル１５には、番組コンテンツ要約テキストデータ４５と、番組コンテンツ４２が放送されたチャンネル名４３と、番組コンテンツ４２のタイムコード４４とが記録されており、いずれも本実施の形態におけるメタデータを構成するデータである。
番組コンテンツ要約テキストデータ４５とは、テレビ放送局５０により放送されたテレビ番組の内容を文字化して要約したものである。番組コンテンツ要約テキストデータ４５は、番組コンテンツ４２と同様に、放送番組単位、当該放送番組を構成するコーナー単位、又は当該放送番組を構成する記事単位からなる。
また、番組コンテンツ要約テキストデータ４５には、ニュアンスパラメータを含めることができる。ここで、「ニュアンスパラメータ」とは、前記検索キーワードに対応する語句が出現する前記サイト情報のニュアンス（印象）を人工知能等のような自動システムや人間の判断により、数値化したものである。
例えば、番組コンテンツが良い内容（ｇｏｏｄ）であれば高く（プラス評価）、悪い内容（ｂａｄ）であれば低く（マイナス評価）、事実を述べただけの中立的な内容（ｎｅｕｔｒａｌ）であれば０（ゼロ評価）とすることができる。

本実施の形態に係る分類検索システム１０は、コンピューターとして構成されている。図示しないが、分類検索システム１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスクドライブ（ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、インターネット１８に接続するための通信制御手段、キーボード、マウス等の入力手段、プリンタ、モニター等の出力手段をバスで接続して構成されている。
本実施の形態に係る録画ファイル１１、映像情報格納ファイル１３、メタデータ格納ファイル１５、メディア情報格納ファイル１９、検索キーワード格納ファイル２１、画像解析蓄積ファイル３３、検索対象格納ファイル３７は、データベースとして構成され、ハードディスクドライブ内に構築してもよいし、外部の記憶媒体に構築することもできる。
また、本実施の形態に係る分類検索システム１０を、分類検索サーバーとユーザー端末とにより構成してもよい。

（２）本実施の形態に係る分類検索システム１０の処理の流れ
図２に示すように、本実施の形態に係る分類検索システム１０は以下の工程に従って処理を行う。
まず、映像情報に関して説明する。図２に示すように、本実施の形態に係る録画手段１２が、テレビ放送局５０が放送するテレビ放送の映像を録画ファイル１１に録画する（Ｓｔ１）。
この際、録画手段１２は、全ての放送局、例えば、我が国における全ての地上局及び衛星放送の放送局から放送された全ての放送番組の映像を、所定期間、例えば１ヶ月に亘って録画することもできる。

次いで、図２に示すように、文字情報取得手段２８が、録画ファイル１１に録画された映像に表示された文字情報を取得する。
この際、文字情報抽出手段３０が、録画ファイル１１に録画された映像に対して画像解析を行い、映像から文字情報を抽出する（Ｓｔ２ａ）。
特に、図１に示すように、本実施の形態にかかる文字情報抽出手段３０にあっては、画像解析手段３１が録画ファイル１１に録画された映像に対して画像解析を行うことによって文字列を抽出し、単語解析手段３２が抽出した前記文字列に対して形態素解析を行うことによって前記文字列に含まれる単語を抽出する。
なお、図１に示すように、本実施の形態に係る文字情報抽出手段３０にあっては、画像解析手段３１が、録画ファイル１１に録画された映像と、画像解析済みの映像及び前記画像解析済みの映像から抽出された文字情報を有する画像解析蓄積ファイル３３とを照合することにより、画像解析する。

また、図２に示すように、映像認識情報抽出手段３４が、映像に含まれる人物、ロゴ、人物の持ち物又は人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とを照合し、映像に含まれる人物、ロゴ、人物の持ち物又は人物の表情を文字情報として抽出する（Ｓｔ２ｂ）。
なお、図１に示すように、本実施の形態にあっては、映像認識情報抽出手段３４が、録画ファイル１１に録画された映像と、画像解析済みの映像及び前記画像解析済みの映像から抽出された文字情報を有する人物情報、ロゴ情報、物情報又は表情情報とを照合することにより、映像に含まれる人物、ロゴ、人物の持ち物又は人物の表情を文字情報として抽出する。

また、図２に示すように、音声情報抽出手段３５が、録画ファイル１１に録画された映像と共に録音された音声に対して音声解析を行い、前記音声から文字情報を抽出する（Ｓｔ２ｃ）。

続いて、図２に示すように、複合情報照合手段３６が、文字情報抽出手段３０、映像認識情報抽出手段３４、及び、音声情報抽出手段３５によって、夫々、抽出された文字情報を互いに照合する（Ｓｔ３）。
なお、処理速度を優先する場合には、複合情報照合手段３６による照合工程Ｓｔ３を省略してもよい。

次いで、図２に示すように、文字情報文章化手段２９が、取得された文字情報を集約して文章化する（Ｓｔ４）。
この際、文字情報文章化手段２９は、メタデータ格納ファイル１５を参照し、作成済みメタデータの内、文字情報取得手段２８によって取得された文字情報に関連するメタデータを文字情報の文章化に利用することができる。

次いで、図２に示すように、メタデータ格納手段１６が、文字情報文章化手段２９によって文章化された文字情報を録画ファイル１１に録画された映像のメタデータとしてメタデータ格納ファイル１５に検索可能に格納する（Ｓｔ５）。
以上より、映像に表示され、映像に関連する単語、文章の情報である文字情報から映像のメタデータを作成することができる。

次に、メディア情報に関して説明する。図２に示すように、検索対象格納手段３８がインターネット１８に接続された複数のウェブサイト１７、１７・・・の中から予め選定した分野、例えばニュースに関する報道機関のウェブサイトを検索対象サイト１７ａ、１７ａ・・・として選定し、検索対象サイト１７ａ、１７ａ・・・のドキュメントルートのＵＲＬを、検索対象格納ファイル３７に格納する（Ｓｍ１）。
これにより、巡回対象となる検索対象サイトが選択され、不必要な情報収集のために使用される無駄な時間や、ノイズ情報の収集がなくなり、高精度となる。

次いで、サイト構造解析手段３９が、選定した検索対象サイト１７ａ、１７ａ・・・のサイト構造を解析し、各検索対象サイト１７ａ、１７ａ・・・のサイト構造を把握する（Ｓｍ２）。

次いで、サイト情報取得手段４０が各検索対象サイト１７ａ、１７ａ・・・を定期的、あるいは順次巡回し、各検索対象サイト１７ａ、１７ａ・・・に記述されたサイト情報を取得する（Ｓｍ３）。
その後、サイト情報格納手段４１が、取得されたサイト情報をメディア情報としてメディア情報格納ファイル１９に検索可能に格納する（Ｓｍ４）。
以上より、インターネット上のウェブサイトからメディア情報を取得することができる。

最後に、情報分類に関して説明する。図２に示すように、検索キーワード格納ファイル２１に検索キーワードが格納された場合には、情報抽出手段２２に含まれるメタデータ抽出手段２４が前記検索キーワードに対応するメタデータをメタデータ格納ファイル１５から抽出する（Ｓｃ１）。
次いで、図２に示すように、情報抽出手段２２に含まれるメディア情報抽出手段２５が前記検索キーワードに対応するメディア情報をメディア情報格納ファイル１９から抽出する（Ｓｃ２）。
次いで、図２に示すように、情報照合手段２６がメタデータ抽出手段２４及びメディア情報抽出手段２５によって、夫々、抽出されたメタデータ及びメディア情報を互いに照合する（Ｓｃ３）。
最後に、図２に示すように、情報分類手段２３が情報抽出手段２２によって抽出された情報を、政治、経済、行政、ビジネス、科学、流行、ファッション、スポーツ、芸能等の所定のジャンル毎に分類する（Ｓｃ４）。
以上より、検索キーワードを指定することによって、映像情報及びインターネット上のメディア情報を所定のジャンル毎に分類された状態で検索して抽出することができる。

（３）本実施の形態に係る分類検索システム１０の効果
図１に示すように、本実施の形態に係る分類検索システム１０にあっては、録画手段１２によって、録画ファイル１１にテレビ放送の映像が録画された場合には、映像情報格納手段１４によって、前記映像に関する情報が映像情報として映像情報格納ファイル１３に格納されると共に、メタデータ格納手段１６によって、前記映像のメタデータがメタデータ格納ファイル１５に格納され、メディア情報格納手段２０によって、前記ウェブサイトから取得したメディア情報がメディア情報格納ファイル１９に格納され、情報抽出手段２２によって、検索キーワード格納ファイル２１に格納された検索キーワードがメタデータ格納ファイル１５及びメディア情報格納ファイル１９から検索され、前記検索キーワードに対応するメタデータに紐付けられた映像情報又は前記検索キーワードに対応するメディア情報が抽出され、情報分類手段２３によって、前記抽出された情報が所定のジャンル毎に分類される。
従って、検索キーワードを指定することによって、前記映像情報及び前記インターネット上のメディア情報を所定のジャンル毎に分類された状態で検索して抽出することができる。
その結果、テレビ放送とインターネット上のメディアとを複合的に検索又は分析できるシステムを提供することができる。

また、図１に示すように、本実施の形態に係る分類検索システム１０にあっては、メタデータ抽出手段２４によって、前記検索キーワードに対応するメタデータがメタデータ格納ファイル１５から抽出され、メディア情報抽出手段２５によって、前記検索キーワードに対応するメディア情報がメディア情報格納ファイル１９から抽出され、情報照合手段２６によって、前記抽出されたメタデータ及びメディア情報が互いに照合されるので、前記検索キーワードによって抽出された映像情報及びメディア情報の検索精度を高めることができる。

また、図１に示すように、本実施の形態に係る分類検索システム１０にあっては、統計処理手段２７によって、情報抽出手段２２によって抽出された情報が統計処理されるので、映像情報及びメディア情報に対して、検討、分析、又は、追求をすることができる。具体的には、例えば、あるニュース内の政治に関する関連報道量の推移を統計処理して、世論への影響等を分析することができる。

また、図１に示すように、本実施の形態に係る分類検索システム１０にあっては、録画手段１２によって、録画ファイル１１に映像が録画された場合には、文字情報取得手段２８によって、録画ファイル１１に録画された前記映像に表示された文字情報が取得され、文字情報文章化手段２９によって、取得された前記文字情報が文章化され、メタデータ格納手段１６によって、文章化された前記文字情報が前記映像のメタデータとしてメタデータ格納ファイル１５に格納される。
従って、前記映像に表示され、前記映像に関連する単語、文章の情報である前記文字情報から前記映像のメタデータを精度良く自動作成することができる。
その結果、テレビ放送番組に関するメタデータを短時間で作成し、人的コストを削減することができる。

また、図１に示すように、本実施の形態に係る分類検索システム１０にあっては、映像認識情報抽出手段３４によって、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とが照合され、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情が文字情報として抽出されるので、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情から前記映像のメタデータを作成することができる。

また、図１に示すように、本実施の形態に係る分類検索システム１０にあっては、音声情報抽出手段３５によって、録画ファイル１１に録画された前記映像と共に録音された前記音声が音声解析されることにより前記音声から文字情報が抽出される。
従って、音声解析によって効率よく前記映像と共に録音された前記音声から前記文字情報を抽出することができる。

また、図１に示すように、本実施の形態に係る分類検索システム１０にあっては、録画手段１２によって、録画ファイル１１に映像が録画された場合には、文字情報抽出手段３０によって、録画ファイル１１に録画された前記映像が画像解析されることにより前記映像から文字情報が抽出され、映像認識情報抽出手段３４によって、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とが照合され、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情が文字情報として抽出され、音声情報抽出手段３５によって、録画ファイル１１に録画された前記映像と共に録音された前記音声が音声解析されることにより前記音声から文字情報が抽出され、複合情報照合手段３６によって、文字情報抽出手段３０、映像認識情報抽出手段３４、及び、音声情報抽出手段３５によって、夫々、抽出された文字情報が互いに照合される。
従って、画像解析、音声解析、及び、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情から効率よく前記文字情報を抽出できる。
また、複合情報照合手段３６によって、文字情報抽出手段３０、映像認識情報抽出手段３４、及び、音声情報抽出手段３５によって、夫々、抽出された文字情報が互いに照合されるので、例えば、文字情報抽出手段３０によって誤認識したり、完全に認識することが出来なかったりした文字や単語を、音声情報抽出手段３５によって抽出された文字情報に基づいて修正することができる。
その結果、テレビ放送番組に関するメタデータをより精度良く効率的に自動生成することが出来る。

また、図１に示すように、本実施の形態に係る分類検索システム１０にあっては、検索対象格納手段３８によって、複数のウェブサイト１７、１７・・・の中から予め選定した分野に適合したウェブサイトが検索対象サイト１７ａ、１７ａ・・・として検索対象格納ファイル３７に格納された場合には、サイト構造解析手段３９によって、検索対象格納ファイル３７に格納された検索対象サイトに基づいて、各検索対象サイトのサイト構造が解析され、サイト情報取得手段４０によって、前記各検索対象サイトが巡回され、前記解析したサイト構造に基づいて前記各検索対象サイトに記述されたサイト情報が取得され、サイト情報格納手段４１によって、前記各検索対象サイトから取得した前記サイト情報がメディア情報としてメディア情報格納ファイル１９に格納されるので、前記各検索対象サイトに記述されたサイト情報を予めメディア情報格納ファイル１９に格納しておくことができる。
従って、従来の一般の検索エンジンにあっては、無関係なウェブサイトを大量に検索結果に表示してしまうため、ユーザーはその検索結果からさらに精査をして、必要な情報を選別しなければならないという事態を生じていたのに対し、本実施の形態に係る分類検索システム１０にあっては、前記事態を生じることがなく、その結果、有益な情報を正確かつ迅速に得ることができる。
また、前記検索キーワードに関連する情報は、メディア情報格納ファイル１９に格納されたメディア情報から抽出されるので、検索する毎に前記各検索対象サイトを巡回する必要がなく、有益な情報をさらに迅速に得ることができる。

本実施の形態に係る分類検索システムにあっては、録画対象をテレビ放送局が放送するテレビ放送の映像であるものとして説明したが、インターネットを介して配信されたインターネット配信動画の映像を録画対象としてもよい。
また、テレビ放送及びインターネット配信動画の両方の映像を録画対象として構成することもできる。

本考案は、映像情報及びメディア情報を分類、検索するシステムに広く適用可能であり、産業上利用可能性を有している。

１０：分類検索システム
１１：録画ファイル
１２：録画手段
１３：映像情報格納ファイル
１４：映像情報格納手段
１５：メタデータ格納ファイル
１６：メタデータ格納手段
１７：ウェブサイト
１７ａ：検索対象サイト
１８：インターネット
１９：メディア情報格納ファイル
２０：メディア情報格納手段
２１：検索キーワード格納ファイル
２２：情報抽出手段
２３：情報分類手段
２４：メタデータ抽出手段
２５：メディア情報抽出手段
２６：情報照合手段
２７：統計処理手段
２８：文字情報取得手段
２９：文字情報文章化手段
３０：文字情報抽出手段
３１：画像解析手段
３２：単語解析手段
３３：画像解析蓄積ファイル
３４：映像認識情報抽出手段
３５：音声情報抽出手段
３６：複合情報照合手段
３７：検索対象格納ファイル
３８：検索対象格納手段
３９：サイト構造解析手段
４０：サイト情報取得手段
４１：サイト情報格納手段
４２：番組コンテンツ
４３：チャンネル名
４４：タイムコード
４５：番組コンテンツ要約テキストデータ
５０：テレビ放送局
５３：画像解析学習手段

Claims (9)

1. テレビ放送局が放送するテレビ放送の映像又はインターネットを介して配信されたインターネット配信動画の映像を録画ファイルに録画又は保存する録画手段と、前記映像に関する情報を映像情報として映像情報格納ファイルに格納する映像情報格納手段と、
   前記録画手段により録画又は保存されたテレビ放送の映像又はインターネット配信動画の映像のメタデータをメタデータ格納ファイルに格納するメタデータ格納手段と、
   複数のウェブサイトにインターネットを介して接続可能であり、前記ウェブサイトから取得したメディア情報をメディア情報格納ファイルに格納するメディア情報格納手段と、
   検索キーワードが格納された検索キーワード格納ファイルを有し、前記検索キーワードを前記メタデータ格納ファイル及び前記メディア情報格納ファイルから検索し、前記検索キーワードに対応するメタデータに紐付けられた映像情報又は前記検索キーワードに対応するメディア情報を前記映像情報格納ファイル又は前記メディア情報格納ファイルから抽出する情報抽出手段と、
   前記情報抽出手段によって抽出された映像情報又はメディア情報を所定のジャンル毎に分類する情報分類手段とを有することを特徴とする分類検索システム。
2. 前記情報抽出手段は、前記検索キーワードに対応するメタデータを前記メタデータ格納ファイルから抽出するメタデータ抽出手段と、前記検索キーワードに対応する情報を前記メディア情報格納ファイルから抽出するメディア情報抽出手段と、前記メタデータ抽出手段及び前記メディア情報抽出手段によって、夫々、抽出されたメタデータ及びメディア情報を互いに照合する情報照合手段とを有することを特徴とする請求項１記載の分類検索システム。
3. 前記情報抽出手段によって抽出された情報を統計処理する統計処理手段を有することを特徴とする請求項１又は２に記載の分類検索システム。
4. 前記メタデータ格納手段は、前記録画ファイルに録画又は保存された映像から文字情報を取得する文字情報取得手段と、前記文字情報取得手段によって取得された前記文字情報を集約して文章化する文字情報文章化手段とを有し、前記文字情報文章化手段によって文章化された前記文字情報を前記録画ファイルに録画又は保存された映像のメタデータとして前記メタデータ格納ファイルに格納することを特徴とする請求項１〜３のいずれか１項に記載の分類検索システム。
5. 前記文字情報取得手段は、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とを照合し、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情を文字情報として抽出する映像認識情報抽出手段を有することを特徴とする請求項４に記載の分類検索システム。
6. 前記文字情報取得手段は、前記録画ファイルに録画又は保存された映像と共に録音された音声に対して音声解析を行い、前記音声から文字情報を抽出する音声情報抽出手段を有することを特徴とする請求項４に記載の分類検索システム。
7. 前記文字情報取得手段は、前記録画ファイルに録画又は保存された映像に対して画像解析を行い、前記映像から文字情報を抽出する文字情報抽出手段と、
   前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情と、人物情報、ロゴ情報、物情報又は表情情報とを照合し、前記映像に含まれる人物、ロゴ、前記人物の持ち物又は前記人物の表情を文字情報として抽出する映像認識情報抽出手段と、
   前記録画ファイルに録画又は保存された映像と共に録音又は保存された音声に対して音声解析を行い、前記音声から文字情報を抽出する音声情報抽出手段と、
   前記文字情報抽出手段、前記映像認識情報抽出手段、及び、前記音声情報抽出手段によって、夫々、抽出された文字情報を互いに照合する複合情報照合手段とを有することを特徴とする請求項４記載の分類検索システム。
8. 前記メディア情報格納手段は、前記複数のウェブサイトの中から予め選定した分野に適合したウェブサイトを検索対象サイトとして検索対象格納ファイルに格納する検索対象格納手段と、
   前記検索対象格納ファイルに格納された検索対象サイトについて、各検索対象サイトのサイト構造を解析するサイト構造解析手段と、
   前記各検索対象サイトを巡回し、前記解析したサイト構造に基づいて前記各検索対象サイトに記述されたサイト情報を取得するサイト情報取得手段と、
   前記各検索対象サイトから取得した前記サイト情報を、前記メディア情報として前記メディア情報格納ファイルに格納するサイト情報格納手段とを有することを特徴とする請求項１〜３のいずれか１項に記載の分類検索システム。
9. 前記メタデータ格納ファイルには、前記番組コンテンツ要約テキストデータと、前記番組コンテンツが放送されたチャンネル名と、前記番組コンテンツのタイムコードとが記録されていることを特徴とする請求項１〜８のいずれか１項に記載の分類検索システム。