JP2019191712A - 録画再生システム - Google Patents

Abstract

【課題】希望する内容のコンテンツを的確に再生できる録画再生システムを提供する。【解決手段】録画手段と、録画されたコンテンツの送出元、送出日時、タイトル、出演者、送出予定テキスト、音声及びコンテンツ内容の要約を含むメタデータを作成するメタデータ作成手段と、メタデータ格納手段とを備え、メタデータ作成手段は、コンテンツの内容を要約した要約テキストを出力する要約作成手段を備え、要約作成手段は、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約設定学習手段を備え、指示情報が入力された場合には、指示情報を解釈してコンテンツ特定情報を認識する特定情報認識手段と、コンテンツ特定情報に基づいてメタデータを検索してコンテンツの少なくとも一部を特定するコンテンツ特定手段と、特定されたコンテンツの映像データを送出する映像データ送出手段と、を備える。【選択図】図１

Description

本発明は、録画したコンテンツから所望のコンテンツを選択して再生する録画再生システムに関する。

従来、大量に撮りためたコンテンツから所望のコンテンツを選択して再生する技術が知られている。

即ち、このような技術では、コンテンツに含まれる字幕テキスト、放送番組のコーナーごとの放送開始時刻、放送終了時刻、出演者、及び、コーナーの要約等のメタデータを収集し、入力されたキーワードに基づいてメタデータを検索して所望のコンテンツを選択して再生する。このメタデータは、放送番組の終了後に配信する有料サービス（番組メタデータサービスとも称される）のサービス提供者が提供するデータや、ユーザがキーボード等を操作することによって入力する（例えば、特許文献１参照）。

また、本件特許出願人は、映像を録画する録画ファイルを有する録画手段と、前記録画ファイルに録画された映像から文字情報を取得する文字情報取得手段と、前記文字情報取得手段によって取得された前記文字情報を集約して文章化する文字情報文章化手段と、前記文字情報文章化手段によって文章化された前記文字情報を前記録画ファイルに録画された映像のメタデータとしてメタデータ格納ファイルに格納するメタデータ格納手段とを備えるメタデータ生成システムを提案している（特許文献２参照）。

特開２０１０−２６２４１３号公報 特開２０１８−３３０４８号公報

これらの技術は、映像に表示されたテキストや音声からの文字情報を照合してメタデータとして生成するものであるが、メタデータの生成の精度及びコンテンツ選択の適正をより向上させ、希望するコンテンツを的確に再生したという要望がある。

本発明は上述した課題に鑑みてなされたものであり、録画したコンテンツから希望する内容のコンテンツを的確に再生できる録画再生システムを提供することを目的とする。

前記課題を解決する請求項１に記載の発明は、映像データからなるコンテンツを録画する録画手段と、録画されたコンテンツの送出元、送出日時、タイトル、出演者、送出予定テキスト、音声及びコンテンツ内容の要約を含むメタデータを作成するメタデータ作成手段と、前記メタデータを格納するメタデータ格納手段とを備え、前記メタデータ作成手段は、前記コンテンツの内容を要約した要約テキストを出力する要約作成手段を備え、前記要約作成手段は、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約設定学習手段を備え、指示情報が入力された場合には、前記指示情報を解釈してコンテンツ特定情報を認識する特定情報認識手段と、前記コンテンツ特定情報に基づいて前記メタデータを検索して前記コンテンツの少なくとも一部を特定するコンテンツ特定手段と、特定されたコンテンツの映像データを送出する映像データ送出手段と、を備えることを特徴とする録画再生システムである。

本発明によれば、要約作成手段は、コンテンツの内容を要約して要約テキストを出力する。ここで要約作成手段は、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約設定学習手段を備え、最適な要約作製設定を学習している。このため、当該コンテンツの場面やシチュエーションに最適な要約作成状態とされている。よって、最適な要約テキストを作成することができる。

同じく請求項２に記載の発明は、請求項１に記載の録画再生システムにおいて、特定情報認識手段は、蓄積された過去の特定情報認識処理の入力データと出力データとを教材として最適な特定情報認識処理設定を学習する特定情報認識設定学習手段を備えることを特徴とする。

本発明によれば、特定情報認識手段は、特定情報認識手段設定学習手段により、蓄積された過去の特定情報認識処理における入力データと出力データとを教材として最適な特定情報認識設定を学習する。このため、最も適した特定情報を認識することができる。よって、入力された指示情報から最適な特定情報が認識される。

同じく請求項３に記載の発明は、請求項１に記載の録画再生システムにおいて、前記コンテンツ特定手段は、蓄積された過去のコンテンツ特定結果の入力データと出力データとを教材として最適なコンテンツ特定設定を学習するコンテンツ特定設定学習手段を備えることを特徴とする。

本発明によれば、コンテンツ特定手段は、コンテンツ特定設定学習手段により、蓄積された過去のコンテンツ特定結果の入力データと出力データとを教材として最適なコンテンツ特定設定を学習する。このため、最も適したコンテンツを特定することができる。よって、入力された指示情報から最適なコンテンツが選択される。

同じく請求項４に記載の発明は、請求項１に記載の録画再生システムにおいて、前記要約作成手段は、前記コンテンツについてのビデオ信号から抽出した前記コンテンツにおける人の発話内容を記述した発話テキスト、前記ビデオ信号から抽出した前記コンテンツにおけるテロップの表示内容を記載したテロップテキスト、前記ビデオ信号に現れる場面、状況、物品、及び事象のうち少なくとも一つの説明を記述した背景画像テキスト、前記ビデオ信号に現れるロゴマーク、商標、記号、符号を含むマークについて記述するロゴマークテキスト、のうち少なくとも２つのテキストを統合して統合テキストを出力するテキスト統合手段と、前記統合テキストを要約した要約テキストを出力する要約テキスト作成手段と、を備え、前記テキスト統合手段は、蓄積された過去のテキスト統合処理の入力データと出力データとを教材として最適なテキスト統合設定を学習するテキスト統合設定手段を備え、前記要約テキスト作成手段は、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約設定学習手段を備えることを特徴とする。

本発明によれば、録画再生システムにおいて、テキスト統合手段は、前記要約作成手段、コンテンツについてのビデオ信号から抽出した前記コンテンツにおける人の発話内容を記述した発話テキスト、前記ビデオ信号から抽出した前記コンテンツにおけるテロップの表示内容を記載したテロップテキスト、前記ビデオ信号に現れる場面、状況、物品、及び事象のうち少なくとも一つの説明を記述した背景画像テキスト、前記ビデオ信号に現れるロゴマーク、商標、記号、符号を含むマークについて記述するロゴマークテキスト、のうち少なくとも２つのテキストを統合する。

そして、テキスト統合手段は、テキスト統合設定手段を備えるから、テキスト統合設定手段は、蓄積された過去のテキスト統合処理の入力データと出力データとを教材として最適なテキスト統合設定を学習する。

よって、テキスト統合手段は、発話テキスト、テロップテキスト、背景画像テキスト、ロゴマークテキストを最適な状態で生成し、各テキストの統合を行うことができる。

また、請求項５に記載の発明は、請求項４に記載の録画再生システムにおいて、前記コンテンツについての前記ビデオ信号の音声信号から発話情報を抽出する手段、前記発話情報から前記発話内容を認識する手段、及び、前記発話内容をテキスト化して発話テキストを出力する手段を備えた発話テキスト化部と、前記ビデオ信号の映像信号から、テロップを表示するテロップ情報を抽出する手段、前記テロップ情報からテロップ内容を認識する手段、及び、前記テロップ内容をテキスト化してテロップテキストを出力する手段、を備えたテロップテキスト化部と、前記ビデオ信号の映像信号から、背景画像情報を抽出する手段、前記背景画像情報から背景画像内容を認識する手段、及び前記背景画像内容をテキスト化して背景テキストを出力する手段、を備えた背景画像テキスト化部と、前記ビデオ信号の映像信号から、ロゴマーク画像情報を抽出する手段、前記ロゴマーク画像情報からロゴマーク内容を認識する手段、及び前記ロゴマーク内容をテキスト化してロゴマークテキストを出力する手段を備えるロゴマークテキスト化部と、から選択した少なくとも２つのテキスト化部を備え、前記発話テキスト化部、テロップテキスト化部、背景画像テキスト化部、及びロゴマークテキスト化部のうち少なくとも一つは、蓄積された過去のテキスト化処理における入力データと出力データから最適なテキスト作成設定を学習するテキスト化学習手段を備えることを特徴とする。

本発明によれば、発話内容テキスト化部では、ビデオ信号の音声信号から発話情報が抽出され発話内容が認識され発話テキストが生成される。また、テロップテキスト化部ではビデオ信号の映像信号からテロップ情報が抽出され、テロップの表示内容が認識され、テロップテキスト生成される。また、背景画像テキスト化部ではビデオ信号の映像信号から背景画像情報が抽出され、背景画像の内容が認識され、背景テキストが生成される。また、ロゴマークテキスト化部ではビデオ信号の映像信号からロゴマークテキスト情報が認識されロゴマークテキストが生成される。

よって、発話情報、テロップ情報、背景画像情報、及びロゴマーク情報からそれぞれテキストが生成され、コンテンツのビデオ信号から多様な情報をもとにテキストが生成され、コンテンツの場面やシチュエーションに最適な要約を作成できる。

また、本発明によれば、各テキスト化部は、テキスト化学習手段により蓄積された過去のテキスト化処理の入力データと出力データに基づいて学習を行う。

よって、過去に実行された多数の要約作成から最適なテキスト化作成の設定を学習し、でき、設定に同様のコンテンツの場面やシチュエーションに最適な要約を作成できる。

また、請求項６に記載の発明は、請求項１に記載の録画再生システムにおいて、前記コンテンツは、テレビ放送局が放送する放送番組、又は、インターネットによって配信される動画映像から取得することを特徴とする。
よって、録画再生システムは多様なコンテンツを対象として録画再生をすることができる。

更に、請求項７に記載の発明は、請求項１に記載の録画再生システムにおいて、前記録画手段、前記メタデータ作成手段、前記メタデータ格納手段、指定情報認識手段、前記コンテンツ特定手段、及び前記映像データ送出手段は、一つの箇所に配置されていることを特徴する。

本発明によれば、すべての手段は一箇所に配置されているから、例えば自宅で独立して録画再生システムを構築でき、使用者の音声やテキストによる指示で録画されたコンテンツから最も適切なコンテンツのビデオ信号が再生される。

また、請求項８に記載の発明は、請求項１に記載の録画再生システムにおいて、少なくとも前記メタデータ作成手段は、前記録画手段と異なる箇所に配置され、インターネットで接続されていることを特徴とする。

本発明によれば、最も処理能力を必要とするメタデータ生成手段を外部のサーバ装置におき、これに自宅からインターネットで接続して処理を行うことができ、録画再生システムを手軽に構築できる。

本発明に係る録画再生システムによれば、録画したコンテンツから希望する内容のコンテンツを的確に再生できる。

即ち、請求項１に記載の録画再生システムによれば、要約作成手段は、コンテンツの内容を要約して要約テキストを出力する。ここで要約作成手段は、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約設定学習手段を備え、最適な要約作製設定を学習している。このため、当該コンテンツの場面やシチュエーションに最適な要約作成状態とされている。よって、最適な要約テキストを作成することができる。

よって、発話テキスト、テロップテキスト、背景画像テキスト、ロゴマークテキストを統合した、コンテンツの場面やシチュエーションに最適な要約テキストを作成することができる。

また、請求項２に記載の録画再生システムによれば、特定情報認識手段は、特定情報認識手段設定学習手段により、蓄積された過去の特定情報認識処理における入力データと出力データとを教材として最適な特定情報認識設定を学習する。このため、最も適した特定情報を認識することができる。よって、入力された指示情報から最適な特定情報が認識される。

また、請求項３に記載の録画再生システムによれば、コンテンツ特定手段は、コンテンツ特定設定学習手段により、蓄積された過去のコンテンツ特定結果の入力データと出力データとを教材として最適なコンテンツ特定設定を学習する。このため、最も適したコンテンツを特定することができる。よって、入力された指示情報から最適なコンテンツが選択される。

また、請求項４に記載の録画再生システムによれば、録画再生システムにおいて、テキスト統合手段は、前記要約作成手段、コンテンツについてのビデオ信号から抽出した前記コンテンツにおける人の発話内容を記述した発話テキスト、前記ビデオ信号から抽出した前記コンテンツにおけるテロップの表示内容を記載したテロップテキスト、前記ビデオ信号に現れる場面、状況、物品、及び事象のうち少なくとも一つの説明を記述した背景画像テキスト、前記ビデオ信号に現れるロゴマーク、商標、記号、符号を含むマークについて記述するロゴマークテキスト、のうち少なくとも２つのテキストを統合する。

ここでテキスト統合手段は、テキスト統合設定手段を備える。テキスト統合設定手段は、蓄積された過去のテキスト統合処理の入力データと出力データとを教材として最適なテキスト統合設定を学習する。

よって、テキスト統合手段は、発話テキスト、テロップテキスト、背景画像テキスト、ロゴマークテキストを最適な状態で生成し、各テキストの統合を行うことができる。

また、請求項５に記載の録画再生システムによれば、発話内容テキスト化部では、ビデオ信号の音声信号から発話情報が抽出され発話内容が認識され発話テキストが生成される。また、テロップテキスト化部ではビデオ信号の映像信号からテロップ情報が抽出され、テロップの表示内容が認識され、テロップテキスト生成される。また、背景画像テキスト化部ではビデオ信号の映像信号から背景画像情報が抽出され、背景画像の内容が認識され、背景テキストが生成される。また、ロゴマークテキスト化部ではビデオ信号の映像信号からロゴマークテキスト情報が認識されロゴマークテキストが生成される。

よって、発話情報、テロップ情報、背景画像情報、及びロゴマーク情報からそれぞれテキストが生成され、コンテンツのビデオ信号から多様な情報をもとにテキストが生成され、コンテンツの場面やシチュエーションに最適な要約を作成できる。

また、本発明によれば、各テキスト化部は、テキスト化学習手段により蓄積された過去のテキスト化処理の入力データと出力データに基づいて学習を行う。

よって、過去に実行された多数の要約作成から最適なテキスト化作成の設定を学習し、でき、設定に同様のコンテンツの場面やシチュエーションに最適な要約を作成できる。

また、請求項６に記載の録画再生システムによれば、テレビ放送局が放送する放送番組、又は、インターネットによって配信される動画映像から取得することができる。よって、録画再生システムは多様なコンテンツを対象として録画再生をすることができる。

また、請求項７に記載の録画再生システムによれば、すべての手段は一箇所に配置されているから、例えば自宅で独立して録画再生システムを構築でき、使用者の音声やテキストによる指示で録画されたコンテンツから最も適切なコンテンツのビデオ信号が再生される。

更に、請求項８に記載の録画再生システムによれば、最も処理能力を必要とするメタデータ生成手段を外部のサーバ装置におき、これに自宅からインターネットで接続して処理を行うことができ、録画再生システムを手軽に構築できる。

本発明の実施形態に係る録画再生システムの全体構成を示すブロック図である。 同録画再生システムの動作を示すフローチャートである。 同録画再生システムにおけるメタデータ作成部の要約作成システムを示すブロック図である。 同要約作成システムの発話テキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。 同要約作成システムのテロップテキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。 同要約作成システムの背景画像テキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。 同要約作成システムのロゴマークテキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。 同要約作成システムのテキスト統合部を示すブロック図である。 同要約作成システムの要約作成部を示すブロック図である。 同要約作成システムの処理手順を示すフローチャートである。 同要約作成システムの処理例を示す図である。

［第１実施形態］
本発明を実施するための形態に係る録画再生システムについて説明する。まず第１実施形態に係る録画再生システムの全体構成について説明する。図１は本発明の実施形態に係る要約作成システムの全体構成を示すブロック図である。

＜録画再生システム９００の全体構成＞
本実施形態に係る録画再生システム９００は、図1に示すように、映像データ取得部９１０、メタデータ作成手段であるメタデータ作成部９２０、メタデータ格納手段であるメタデータ格納部９３０、録画手段である録画部９４０、映像データ送出手段である映像データ送出部９５０を備える。また、録画再生システム９００は、使用者入力手段９６０、特定情報認識手段である特定情報認識部９７０、メタデータ検索部９８０、コンテンツ特定手段であるコンテンツ特定部９９０を備える。

映像データ取得部９１０は、テレビ放送局３０又はインターネット４０から送出されるコンテンツの映像データを取得する。映像データ取得部９１０は、例えば複数のテレビ局からの映像データを取得するマルチチューナーや、インターネットを介して送出されるネット動画を取得するウェブブラウザにより実現される。

メタデータ作成部９２０は、メタデータを作成する。このメタデータは、放送番組のコーナーごとの放送開始時刻データ、放送終了時刻データ、放送番組の終了後に有料サービスから取得されるテキストデータ、ユーザがキーボード等を操作することによって入力するテキストデータ、メタデータ作成部９２０に内蔵された要約作製システム１０で生成される各種のテキストデータ、これらを要約した要約テキストデータ、メタデータ作成部９２０が外部から取得したデータを含む。

要約作製システム１０は、コンテンツにおける人の発話内容、コンテンツにおけるテロップの表示内容、場面、状況、物品、及び事象のうち少なくとも一つの説明、ロゴマーク、商標、記号、符号を含むマークについての説明のうち少なくとも２つを統合して要約した要約テキストを出力する。

メタデータ格納部９３０はメタデータ作成部９２０が生成したメタデータを格納する。このメタデータはコンテンツに関連付けられている。

録画部９４０は、同時に取得される複数のコンテンツを録画でき、例えばマルチチャンネルビデオレコーダで構成される。複数コンテンツの画像データはハードディスクドライブに格納される。各コンテンツには上述したメタデータがタグとして格納されている。

映像データ送出部９５０は、指定されたコンテンツの映像データを映像音声再生部５０に送出して、映像と音声を出力する。映像音声再生部５０は例えば液晶表示装置及びスピーカ又はテレビジョン装置で構成される。

使用者入力手段９６０は、使用者が再生を希望するコンテンツを指定するため、放送日時、放送局、キーワード、その他のデータを入力する機器で構成される。使用者入力手段９６０は、例えば、マイク、キーボード、マウス、ジョイスティックにより実現される。マイクからは音声が入力され、キーボードからはテキストが入力される。マウスやジョイスティックは、映像音声再生部５０に表示される画像から所定の位置を選択することで情報が入力される。

特定情報認識部９７０は、使用者入力手段９６０からの指示情報を解釈してコンテンツを特定するための情報であるコンテンツ特定情報を認識して出力する。特定情報認識部９７０により、放送日時、放送局、キーワード、その他のデータからコンテンツを特定する情報を認識する。羅列された単語等の情報からコンテンツを特定するために最も適切な情報を生成する。

指定情報は音声の場合、話し言葉で入力されることが多い。特定情報認識部９７０はこの話し言葉を解釈してコンテンツを特定する最適な特定情報を出力する。例えば「先月の○○テニス大会での××選手を見たい」と入力されたとする。特定情報認識部９７０はこの発話を含む音声情報から発話情報を抽出し、更に言語解釈をする。これにより特定情報として「●月」「○○テニス大会」、「××選手」等を抽出する。なお、テキスト入力された場合はこの処理を行わないことができる。

この抽出の精度を向上させるため本実施形態に係る録画再生システム９００にあっては特定情報認識部９７０に、特定情報認識設定学習手段として学習部９７１を設けている。

学習部９７１は、蓄積された過去の特定情報認識のための入力データと、認識結果である出力データとを教材として最適な特定情報認識のための設定を学習する。学習は、データ処理をＡＩ（人工知能：Artificial Intelligence）により高速かつ適切に処理する。ＡＩ処理は、上述した機械学習（ＭＬ：Machine Learning）により実現できる。更に、機械学習として、既存データを正解とする教師有り学習が採用できる。また、機械学習としてディープラーニング（深層学習：ＤＬ：Deep Learning）により行うと効果的である。

メタデータ検索部９８０は、特定情報認識部９７０の特定した情報に基づいて、メタデータ格納部９３０を参照してメタデータを検索する。検索されたメタデータはコンテンツ特定部９９０に送出される。

コンテンツ特定部９９０はメタデータ検索部９８０が検索したメタデータで特定される多数のコンテンツから所定のコンテンツを特定する。

コンテンツ特定部９９０は、多数のコンテンツを特定することがある。例えば「●月」「○○テニス大会」、「××選手」をメタデータに持つコンテンツは、生中継、ニュース、その他の番組と多岐にわたる。

コンテンツ特定部９９０は選定された多数のコンテンツから指定者（使用者）の関心が高いコンテンツを選定するものである。この選定基準は選定者により異なる。このためコンテンツ特定部９９０は選定者の傾向を学習するためコンテンツ特定設定学習手段として学習部９９１を備える。

学習部９９１は、蓄積された過去のコンテンツ特定のための入力データと、認識結果である出力データとを教材として最適な特定情報認識のための設定を学習する。学習は、データ処理をＡＩ（人工知能：Artificial Intelligence）により高速かつ適切に処理する。ＡＩ処理は、上述した機械学習（ＭＬ：Machine Learning）により実現できる。更に、機械学習として、既存データを正解とする教師有り学習が採用できる。また、機械学習としてディープラーニング（深層学習：ＤＬ：Deep Learning）により行うと効果的である。

上記の場合例えば、指定者が恒に特定のニュース番組を選定していると判定した場合は、△△局の××時のニュースで「○○テニス大会における××選手の試合結果」を紹介するコーナーを選定する。選択したコンテンツが複数の場合、再生するコンテンツの候補を表示して音声やキーボード、マウス等で指定する構成にすることができる。

そして、コンテンツ特定部９９０で選択されたコンテンツが録画部９４０から映像データ送出部９５０を経て映像音声再生部５０に出力され、映像音声再生部５０から所望の映像及び音声が出力される。

次に録画再生システム９００の処理の流れについて説明する。図２は同録画再生システムの動作を示すフローチャートである。

本実施形態に係る録画再生システム９００では、まず各部、即ち、要約作製システム１０、特定情報認識部９７０、コンテンツ特定部９９０において学習が行われる（ステップＳ１）。この学習は録画再生システム９００の運用中にも行うことができる。

録画再生システム９００では、各部の学習と並行して、映像データ取得部９１０から取得した映像データが録画部９４０によって録画されていく（ステップＳ２）。そして、直ちにメタデータ作成部９２０がこの映像データから要約作製システム１０による要約テキストやその他のテキストを取得してこれらをメタデータとしてメタデータ格納部９３０に格納する（ステップＳ３）。コンテンツの録画とメタデータの格納は、停止指示があるまで続行される。

この状態で、使用者が録画された多数のコンテンツから所望のコンテンツ又はコンテンツの部分を再生できる状態となる。例えば、使用者が音声で入力する（ステップＳ４）と、使用者入力手段９６０から入力された音声は、特定情報認識部９７０で認識され（ステップＳ５）、コンテンツを特定する特定情報指定が出力される。すると、メタデータ検索部９８０は、メタデータ格納部９３０を参照して、１又は複数のコンテンツ及びコンテンツの部分、例えばニュースやワイドショーのコーナーを候補として選択する。

コンテンツ特定部９９０はこのコンテンツの候補から最適なコンテンツを特定し（ステップＳ７）、録画部９４０から映像データ送出部９５０に送出させ、映像音声再生部５０で再生する（ステップＳ８）。終了の指示がなければ（ステップＳ９のＮｏ）必要に応じてステップＳ４からステップＳ８を繰り返す。再生終了の指示があった場合（ステップＳ９のＹｅｓ）、再生を終了する。

以上のように、録画再生システム９００によれば、録画したコンテンツから使用者が希望する内容のコンテンツを迅速かつ的確に再生できる。

なお、録画再生システム９００の映像データ取得部９１０、メタデータ作成部９２０、メタデータ格納部９３０、録画部９４０、使用者入力手段９６０、特定情報認識部９７０、メタデータ検索部９８０及びコンテンツ特定部９９０を一台の装置として一箇所（例えば使用者の自宅）に配置することができる。即ち、録画再生システム９００を、例えばマルチチャンネルのデジタルレコーダとして構成することができる。これにより、録画再生システム９００を自宅で独立して使用でき、使用者の音声やテキストによる指示で録画されたコンテンツから最も適切なコンテンツのビデオ信号が再生することができる。

また、録画再生システム９００のうち、映像データ取得部９１０、使用者入力手段９６０、録画部９４０、映像データ送出部９５０を一台の装置として一箇所（使用者の自宅）に配置し、その他の部分、即ちメタデータ作成部９２０、メタデータ格納部９３０、特定情報認識部９７０、メタデータ検索部９８０、コンテンツ特定部９９０を他の箇所例えばサービス提供会社に配置しインターネットで接続することができる。最も処理能力を必要とするメタデータ生成手段を外部（クラウド）におき、これに自宅からインターネットで接続して処理を行うことができ、録画再生システムを手軽に構築できる。

＜要約作製システム１０＞
以下、実施形態に係る録画再生システム９００におけるメタデータ作成部９２０に配置される要約作製システム１０について説明する。

＜要約作製システム１０の全体構成＞
図３は同録画再生システムにおけるメタデータ作成部の要約作成システムを示すブロック図である。図３に示すように、要約作製システム１０は、ビデオ信号分離部２０、発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、ロゴマークテキスト化部４００、テキスト統合手段であるテキスト統合部５００、及び要約作成手段である要約作成部６００を備える。本実施形態では要約作製システム１０はビデオ信号をテレビ放送局３０からの放送番組やインターネット４０で配信される動画映像から取得する。なお、ビデオ信号は、インターネットにおける動画から取得することができる。なお、テロップテキスト化部２００、背景画像テキスト化部３００、ロゴマークテキスト化部４００、及びテキスト統合部５００から選択した少なくとも２つの部分を備えるものとできる。

音声信号と映像信号を含むビデオ信号Ｖは、ビデオ信号分離部２０で音声信号Ａと映像信号Ｂとに分離される。音声信号Ａは発話テキスト化部１００に入力され、映像信号Ｂはテロップテキスト化部２００、背景画像テキスト化部３００、及びロゴマークテキスト化部４００に入力される。

＜発話テキスト化部１００＞
発話テキスト化部１００は音声信号Ａを受けてコンテンツ中における人の発話内容を記述したテキストである発話テキストを出力する。発話テキスト化部１００は、発話情報抽出部１１０、発話内容認識部１２０、発話内容テキスト化部１３０を備える。

発話情報抽出部１１０は、ビデオ信号Ｖの音声信号Ａから発話情報を抽出する。即ち、音声信号Ａ中の雑音を取り除き、人の発話音声の情報を抽出する。この発話情報として効果音や特徴的な音楽を含むことができる。

発話内容認識部１２０は、発話情報から発話内容を認識する。即ち、発話情報を音響的、文法的に解析して発話内容を言語として認識する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去の音声テキストの生成データから機械学習により生成できる。

発話内容テキスト化部１３０は発話内容をテキスト化して出力する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去の音声テキストの入力データ及び生成データから機械学習により生成できる。

＜テロップテキスト化部２００＞
テロップテキスト化部２００は映像信号Ｂを受けてコンテンツ中におけるテロップ内容を記述したテキストであるテロップテキストを出力する。テロップテキスト化部２００は、テロップ情報抽出部２１０、テロップ内容認識部２２０、テロップ内容テキスト化部２３０を備える。

テロップ情報抽出部２１０は、ビデオ信号Ｖの映像信号Ｂからテロップ情報を抽出する。即ち、映像信号Ｂ中の背景を取り除き、テロップ画像だけの情報を抽出する。

発話内容認識部１２０は、テロップ画像情報からテロップ内容を認識する。即ち、テロップ情報を言語的、文法的に解析してテロップ表示内容を言語として認識する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去のテロップテキストの入力データ及び生成データから機械学習により生成できる。

テロップ内容テキスト化部２３０はテロップ内容をテキスト化して出力する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去のテロップテキストの入力データ及び生成データから機械学習により生成できる。

＜背景画像テキスト化部３００＞
背景画像テキスト化部３００は映像信号Ｂを受けてコンテンツ中における背景画像内容を記述したテキストである背景画像テキストを出力する。背景画像としては、場面、状況、物品、及び事象のうち少なくとも一つ、例えば、人物、人物の持ち物、人物の表情、風景、建築物の状況、室内の状況、動物、乗り物、その他の物品を挙げることができる。背景画像テキスト化部３００は、背景画像情報抽出部３１０、背景画像内容認識部３２０、背景画像内容テキスト化部３３０を備える。

背景画像情報抽出部３１０は、ビデオ信号Ｖの映像信号Ｂから背景画像情報を抽出する。即ち、映像信号Ｂ中のテロップや不鮮明な画像を取り除き、認識可能な背景画像だけの情報を抽出する。

背景画像内容認識部３２０は、背景画像情報から背景画像の内容を認識する。即ち、背景画像情報を解析して表されている人物、人物の持ち物、人物の表情、風景、建築物の状況、室内の状況、動物、乗り物、その他の物品を認識する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去の背景画像テキストの入力データ及び生成データから機械学習により生成できる。

背景画像内容テキスト化部３３０は背景画像内容をテキスト化して出力する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去の背景画像テキストの入力データ及び生成データから機械学習により生成できる。

＜ロゴマークテキスト化部４００＞
ロゴマークテキスト化部４００は映像信号Ｂを受けてコンテンツ中におけるロゴマーク内容を記述したテキストであるロゴマークテキストを出力する。ロゴマークとしては、商品の出所を表示する商標、記号、符号を含むマーク、その他の標章を挙げることができる。ロゴマークテキスト化部４００は、ロゴマーク画像情報抽出部４１０、ロゴマーク内容認識部４２０、ロゴマーク内容テキスト化部４３０を備える。

ロゴマーク画像情報抽出部４１０は、ビデオ信号Ｖの映像信号Ｂからロゴマーク画像情報を抽出する。即ち、映像信号Ｂ中のテロップや背景画像を取り除き、認識可能なロゴマーク画像だけの情報を抽出する。

ロゴマーク内容認識部４２０は、ロゴマーク画像情報からロゴマークの内容を認識する。即ち、ロゴマーク画像情報を解析して表されている商品、サービス、店舗、施設等を認識する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去のロゴマークテキストの入力データ及び生成データから機械学習により生成できる。

ロゴマーク内容テキスト化部４３０はロゴマーク画像内容をテキスト化して出力する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去のロゴマークテキストの入力データ及び生成データから機械学習により生成できる。

＜テキスト統合部５００＞
テキスト統合部５００は、発話テキスト化部１００からの発話テキスト、テロップテキスト化部２００からのテロップテキスト、背景画像テキスト化部３００からの背景テキスト、ロゴマークテキスト化部４００からの背景テキストを統合する。即ち、各テキストにおける矛盾や誤りを訂正して、統合テキストを生成する。このテキストの統合に使用するパラメータ、条件等は後述するように蓄積された過去のテキスト統合の入力、出力データから機械学習により生成できる。

＜要約作成部６００＞
要約作成部６００は、テキスト統合部５００からの統合テキストを要約する。即ち、要約テキストの内容を要約して指定された文字数とする。この要約に使用するパラメータ、条件等は後述するように蓄積された過去のようよう役処理の入力データ、出力データから機械学習により生成できる。

次に、各部の機械学習処理について説明する。
＜発話テキスト化部１００の機械学習処理＞
図４は同要約作成システムの発話テキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。同図（ａ）に示すように、発話テキスト化部１００は、発話情報抽出部１１０、発話内容認識部１２０、発話内容テキスト化部１３０の他、テキスト化学習手段である機械学習部１４０、内容認識テキスト作成設定部１５０、比較評価部１６０を備える。また発話テキスト化部１００には、既存データ格納部７００が接続されている。

発話テキスト化部１００は既存データ格納部７００が格納する既存のビデオデータと既存の発話テキストに基づいて機械学習を行い、発話内容認識部１２０及び発話内容テキスト化部１３０を最適化する。既存データ格納部７００には、過去に人が発話テキストを作成したときに使用した多数のビデオデータを格納した既存ビデオデータ格納部７１０と、このビデオデータの発話内容から作成した発話テキストを格納した既存発話テキスト格納部７２０を備える。これらのビデオデータ及び発話テキストは機械学習の教材となる。

また、発話テキスト化部１００には、機械学習を行うときと、新規のビデオデータから発話内容テキストを作成するときにデータ出力の切り換えを行う切換部１７０、１８０を備える。

内容認識テキスト作成設定部１５０は、発話情報抽出部１１０の発話情報の抽出処理の設定と、発話内容認識部１２０の発話内容認識処理の設定と、発話内容テキスト化部１３０のテキスト化処理の設定とが格納されている。発話情報抽出部１１０、発話内容認識部１２０及び発話内容テキスト化部１３０は内容認識テキスト作成設定部１５０の設定した条件、パラメータに従って発話情報抽出と、発話内容の認識、テキスト化とを行う。

比較評価部１６０は、比較部１６１と評価部１６２とを備える。比較部１６１は、既存ビデオデータ格納部７１０からの既存ビデオデータを受けて発話内容テキスト化部１３０が作成した発話テキストと、既存発話テキスト格納部７２０からの既存発話テキストとを比較する。評価部１６２は比較部１６１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。

機械学習部１４０は、評価部１６２からの評価を受け、内容認識テキスト作成設定部１５０の設定状態を変更する。この処理を同一のビデオデータについて繰り返し行い、評価部１６２の評価値をできるだけ高いものとする。この処理は複数のビデオデータについて繰り返し行うことができる。

このような機械学習を行うことにより、発話内容認識部１２０及び発話内容テキスト化部１３０の能力が向上する。所定の機械学習を終了した後、発話テキスト化部１００は新規ビデオデータを処理して、最適な発話テキストを出力できる状態となる。

発話テキスト化部１００の処理について説明する。図４（ｂ）に示すように、まず内容認識テキスト作成設定部１５０に音声認識及びテキスト化の特徴量を設定する（ステップＳＡ１）。この設定は機械学習部１４０の学習結果により行う。

次いで、発話情報抽出部１１０が、設定された特徴に基づいて音声を大量の音声信号の中から抽出する（ステップＳＡ２）。

更に、発話内容認識部１２０が、設定された特徴に基づいて抽出した音声を解析する（ステップＳＡ３）。

そして、発話内容テキスト化部１３０が、設定された特徴に基づいて音声をテキスト化して発話テキストを出力する（ステップＳＡ４）。

＜テロップテキスト化部２００の機械学習＞
図５は同要約作成システムのテロップテキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。同図（ａ）に示すように、テロップテキスト化部２００は、テロップ情報抽出部２１０、テロップ内容認識部２２０、テロップ内容テキスト化部２３０の他、機械学習部２４０、内容認識テキスト作成設定部２５０、比較評価部２６０を備える。またテロップテキスト化部２００には、既存データ格納部７００が接続されている。

テロップテキスト化部２００は既存データ格納部７００が格納する既存のビデオデータと既存のテロップテキストに基づいて機械学習を行い、テロップ内容認識部２２０及びテロップ内容テキスト化部２３０を最適化する。既存データ格納部７００には、過去に人がテロップテキストを作成したときに使用した多数のビデオデータを格納した既存ビデオデータ格納部７１０と、このビデオデータの発話内容から作成したテロップテキストを格納した既存テロップテキスト格納部７３０を備える。これらのビデオデータ及び発話テキストは機械学習の教材となる。

また、テロップテキスト化部２００には、機械学習を行うときと、新規のビデオデータから発話内容テキストを作成するときにデータ出力の切り換えを行う切換部２７０、２８０を備える。

内容認識テキスト作成設定部２５０は、テロップ情報抽出部２１０のテロップ情報抽出の設定と、テロップ内容認識部２２０のテキスト内容認識処理の設定と、テロップ内容テキスト化部２３０のテキスト化処理の設定とが格納されている。テロップ情報抽出部２１０、テロップ内容認識部２２０及びテロップ内容テキスト化部２３０は内容認識テキスト作成設定部２５０の設定した条件、パラメータに従ってテロップの抽出、内容認識、及びテキスト化を行う。

比較評価部２６０は、比較部２６１と評価部２６２とを備える。比較部２６１は、既存ビデオデータ格納部７１０からの既存ビデオデータを受けてテロップ内容テキスト化部２３０が作成したテロップテキストと、既存テロップテキスト格納部７３０からの既存テロップテキストとを比較する。評価部２６２は比較部２６１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。

機械学習部２４０は、評価部２６２からの評価を受け、内容認識テキスト作成設定部２５０の設定状態を変更する。この処理を同一のビデオデータについて繰り返し行い、評価部２６２の評価値をできるだけ高いものとする。この処理は複数のビデオデータについて繰り返し行うことができる。

このような機械学習を行うことにより、テロップ内容認識部２２０及びテロップ内容テキスト化部２３０の能力が向上する。所定の機械学習を終了した後、テロップテキスト化部２００は新規ビデオデータを処理して、最適なテロップテキストを出力できる状態となる。

テロップテキスト化部２００の処理について説明する。図５（ｂ）に示すように、まず内容認識テキスト作成設定部２５０にテロップ情報抽出、内容抽出、及びテキスト化の特徴量を設定する（ステップＳＢ１）。この設定は機械学習部２４０の学習結果により行う（ステップＳＢ２）。

次いで、テロップ情報抽出部２１０が、設定された特徴に基づいてテロップを大量の映像信号の中から抽出する（ステップＳＢ２）。

更に、テロップ内容認識部２２０が、設定された特徴に基づいて抽出したテロップを解析する（ステップＳＢ３）。

そして、テロップ内容テキスト化部２３０が、設定された特徴に基づいてテロップの内容をテキスト化してテロップテキストとして出力する（ステップＳＢ４）。

＜背景画像テキスト化部３００の機械学習＞
図６は同要約作成システムの背景画像テキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。同図（ａ）に示すように、背景画像テキスト化部３００は、背景画像情報抽出部３１０、背景画像内容認識部３２０、背景画像内容テキスト化部３３０の他、テキスト統合設定手段である機械学習部３４０、内容認識テキスト作成設定部３５０、比較評価部３６０を備える。また背景画像テキスト化部３００には、既存データ格納部７００が接続されている。

背景画像テキスト化部３００は既存データ格納部７００が格納する既存のビデオデータと既存の背景画像テキストに基づいて機械学習を行い、背景画像内容認識部３２０及び背景画像内容テキスト化部３３０を最適化する。既存データ格納部７００には、過去に人がテロップテキストを作成したときに使用した多数のビデオデータを格納した既存ビデオデータ格納部７１０と、このビデオデータの発話内容から作成した背景画像テキストを格納した既存背景画像テキスト格納部７４０を備える。これらのビデオデータ及び背景画像テキストは機械学習の教材となる。

また、背景画像テキスト化部３００には、機械学習を行うときと、新規のビデオデータから発話内容テキストを作成するときにデータ出力の切り換えを行う切換部３７０、３８０を備える。

内容認識テキスト作成設定部３５０は、背景画像情報抽出部３１０の背景画像抽出処理の設定と、背景画像内容認識部３２０の背景画像内容認識処理の設定と、背景画像内容テキスト化部３３０のテキスト化処理の設定とが格納されている。背景画像情報抽出部３１０、背景画像内容認識部３２０及び背景画像内容テキスト化部３３０は内容認識テキスト作成設定部３５０の設定した条件、パラメータに従って背景画像の抽出、背景画像の内容認識及びテキスト化を行う。

比較評価部３６０は、比較部３６１と評価部３６２とを備える。比較部３６１は、既存ビデオデータ格納部７１０からの既存ビデオデータを受けて背景画像内容テキスト化部３３０が作成した背景画像テキストと、既存背景画像テキスト格納部７４０からの既存背景画像テキストとを比較する。評価部３６２は比較部３６１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。

機械学習部３４０は、評価部３６２からの評価を受け、内容認識テキスト作成設定部３５０の設定状態を変更する。この処理を同一のビデオデータについて繰り返し行い、評価部３６２の評価値をできるだけ高いものとする。この処理は複数のビデオデータについて繰り返し行うことができる。

このような機械学習を行うことにより、背景画像内容認識部３２０及び背景画像内容テキスト化部３３０の能力が向上する。所定の機械学習を終了した後、背景画像テキスト化部３００は新規ビデオデータを処理して、最適な背景画像テキストを出力できる状態となる。

背景画像テキスト化部３００の処理について説明する。図６（ｂ）に示すように、まず内容認識テキスト作成設定部３５０に背景画像情報抽出、背景画像認識、及びテキスト化の特徴量を設定する（ステップＳＣ１）。この設定は機械学習部３４０の学習結果により行う。

次いで、背景画像情報抽出部３１０が、設定された特徴に基づいて背景画像を大量の映像信号の中から抽出する（ステップＳＣ２）。

更に、背景画像内容認識部３２０が、設定された特徴に基づいて抽出した背景画像を解析する（ステップＳＣ３）。

そして、背景画像内容テキスト化部３３０が、設定された特徴に基づいて背景画像の内容をテキスト化して背景画像テキストとして出力する（ステップＳＣ４）。

＜ロゴマークテキスト化部４００の機械学習＞
図７は同要約作成システムのロゴマークテキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。ロゴマークテキスト化部４００は、ロゴマーク画像情報抽出部４１０、ロゴマーク内容認識部４２０、ロゴマーク内容テキスト化部４３０の他、機械学習部４４０、内容認識テキスト作成設定部４５０、比較評価部４６０を備える。またロゴマークテキスト化部４００には、既存データ格納部７００が接続されている。

ロゴマークテキスト化部４００は既存データ格納部７００が格納する既存のビデオデータと既存のロゴマークテキストに基づいて機械学習を行い、ロゴマーク画像情報抽出部４１０、ロゴマーク内容認識部４２０及びロゴマーク内容テキスト化部４３０を最適化する。既存データ格納部７００には、過去に人がロゴマークテキストを作成したときに使用した多数のビデオデータを格納した既存ビデオデータ格納部７１０と、このビデオデータの発話内容から作成したロゴマークテキストを格納した既存ロゴマークテキスト格納部７５０を備える。これらのビデオデータ及びロゴマークテキストは機械学習の教材となる。

また、ロゴマークテキスト化部４００には、機械学習を行うときと、新規のビデオデータから発話内容テキストを作成するときにデータ出力の切り換えを行う切換部４７０、４８０を備える。

内容認識テキスト作成設定部４５０は、ロゴマーク内容認識部４２０のロゴマーク画像内容認識処理の設定と、ロゴマーク内容テキスト化部４３０のテキスト化処理の設定が格納されている。ロゴマーク画像情報抽出部４１０、ロゴマーク内容認識部４２０及びロゴマーク内容テキスト化部４３０は内容認識テキスト作成設定部４５０の設定した条件、パラメータに従ってロゴマークの抽出、内容認識及びテキスト化を行う。

比較評価部４６０は、比較部４６１と評価部４６２とを備える。比較部４６１は、既存ビデオデータ格納部７１０からの既存ビデオデータを受けてロゴマーク内容テキスト化部４３０が作成したテキストと、既存ロゴマークテキスト格納部７５０からの既存背景画像テキストとを比較する。評価部４６２は比較部４６１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。

機械学習部４４０は、評価部４６２からの評価を受け、内容認識テキスト作成設定部４５０の設定状態を変更する。この処理を同一のビデオデータについて繰り返し行い、評価部４６２の評価値をできるだけ高いものとする。この処理は複数のビデオデータについて繰り返し行うことができる。

このような機械学習を行うことにより、ロゴマーク内容認識部４２０及びロゴマーク内容テキスト化部４３０の能力が向上する。所定の機械学習を終了した後、ロゴマークテキスト化部４００は新規ビデオデータを処理して、最適な背景画像テキストを出力できる状態となる。

ロゴマークテキスト化部４００の処理について説明する。図７（ｂ）に示すように、まず内容認識テキスト作成設定部４５０にロゴマークの特徴量を設定する（ステップＳＣ１）。この設定は機械学習部３４０の学習結果により行う。

次いで、ロゴマーク画像情報抽出部４１０が、設定された特徴に基づいてロゴマークを大量の映像信号の中から抽出する（ステップＳＤ２）。

更に、ロゴマーク内容認識部４２０が、設定された特徴に基づいて抽出した背景画像を解析し、自動的に確認して登録する（ステップＳＤ３）。

更に、ロゴマーク内容認識部４２０が、登録されたロゴマークや特定のロゴマークに合致したものをロゴマークとして認識する（ステップＳＤ４）。

そして、ロゴマーク内容テキスト化部４３０が設定された特徴に基づいてロゴマークの内容をテキスト化してロゴマークテキストとして出力する（ステップＳＤ５）。

＜テキスト統合部５００の機械学習＞
図８は同要約作成システムのテキスト統合部を示すブロック図である。テキスト統合部５００は、統合テキスト作成部５１０、統合テキスト作成設定部５２０、機械学習部５３０、比較評価部５４０を備える。テキスト統合部５００には、既存データ格納部７００が接続されている。

テキスト統合部５００は既存データ格納部７００が格納する既存の各種、即ち、発話テキスト、テロップテキスト、背景テキスト及びロゴマークテキストと既存の統合テキストに基づいて機械学習を行い、統合テキスト作成部５１０の動作を最適化する。既存データ格納部７００には、過去に統合テキストを作成したときに使用した各種テキストデータを格納した既存各種テキスト格納部７６０と、この各種テキストから作成した統合テキストを格納した既存統合テキスト格納部７７０とを備える。これらの各種テキスト及び統合テキストは機械学習の教材となる。

また、テキスト統合部５００には、機械学習を行うときと、新規の各種テキストから新たな統合テキストを作成するときにデータ出力の切り換えを行う切換部５７０、５８０を備える。

統合テキスト作成設定部５２０は、統合テキスト作成部５１０のテキスト統合処理の設定が格納されている。統合テキスト作成部５１０は統合テキスト作成設定部５２０の設定した条件、パラメータに従ってテキスト統合処理を行う。

比較評価部５４０は、比較部５４１と評価部５４２とを備える。比較部５４１は、既存各種テキスト格納部７６０からの既存各種テキストを受けて統合テキスト作成部５１０が作成した統合テキストと、既存統合テキスト格納部７７０からの既存統合テキストとを比較する。評価部５４２は比較部５４１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。

機械学習部５３０は、評価部５４２からの評価を受け、統合テキスト作成設定部５２０の設定状態を変更する。この処理を同一の各種テキストデータについて繰り返し行い、評価部５４２の評価値をできるだけ高いものとする。この処理は複数の各種テキストデータについて繰り返し行うことができる。

このような機械学習を行うことにより、統合テキスト作成部５１０の能力が向上する。所定の機械学習を終了した後、テキスト統合部５００は新規ビデオデータを処理して、最適な統合テキストを出力できる状態となる。

＜要約作成部６００の機械学習＞
図９は同要約作成システムの要約作成部を示すブロック図である。要約作成部６００は、要約テキスト作成部６１０、要約作成設定部６２０、要約設定学習手段である機械学習部６３０、比較評価部６４０を備える。要約作成部６００には、既存データ格納部７００が接続されている。

要約作成部６００は既存データ格納部７００が格納する統合テキストと要約テキストに基づいて機械学習を行い、要約テキスト作成部６１０の動作を最適化する。既存データ格納部７００には、過去に要約テキストを作成したときに使用した統合テキストデータを格納した既存統合テキスト格納部７７０と、この統合テキストから作成した要約テキストを格納した過去の要約作成結果である既存要約テキスト格納部７８０とを備える。これらの統合テキスト及び要約テキストは機械学習の教材となる。

また、要約作成部６００には、機械学習を行うときと、新規の統合テキストから新たな要約テキストを作成するときにデータ出力の切り換えを行う切換部６７０、６８０を備える。

要約作成設定部６２０には、要約テキスト作成部６１０の要約処理の設定が格納されている。要約テキスト作成部６１０は要約作成設定部６２０の設定した条件、パラメータに従ってテキスト要約処理を行う。

比較評価部６４０は、比較部６４１と評価部６４２とを備える。比較部６４１は、既存統合テキスト格納部７７０からの既存統合テキストを受けて要約テキスト作成部６１０が作成した要約テキストと、既存要約テキスト格納部７８０からの要約テキストとを比較する。評価部６４２は比較部６４１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。

機械学習部６３０は、評価部６４２からの評価を受け、要約作成設定部６２０の設定状態を変更する。この処理を同一の各種テキストデータについて繰り返し行い、評価部６４２の評価値をできるだけ高いものとする。この処理は複数の統合テキストデータについて繰り返し行うことができる。

このような機械学習を行うことにより、要約テキスト作成部６１０の能力が向上する。所定の機械学習を終了した後、要約作成部６００は新規ビデオデータを処理して、最適な要約テキストを出力できる状態となる。

次に要約作製システム１０の処理について説明する。図１０は同要約作成システムの動作を示すフローチャートである。まず、既存データ格納部７００の既存ビデオデータ格納部７１０、既存発話テキスト格納部７２０、既存テロップテキスト格納部７３０、既存背景画像テキスト格納部７４０、既存ロゴマークテキスト格納部７５０、既存各種テキスト格納部７６０、既存統合テキスト格納部７７０、既存要約テキスト格納部７８０に既存のビデオ信号、各種テキストデータを読み込む（ステップＳＴ１）。

次いで発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、ロゴマークテキスト化部４００において、機械学習処理を行う（ステップＳＴ２ａ、ＳＴ２ｂ、ＳＴ２ｃ、ＳＴ２ｄ）。この学習処理は逐次的に行うこともできる。

次に、テキスト統合部５００の既存データ格納部５５０、要約作成部６００の既存データ格納部６５０に既存の入力データ、出力データを読み込む（ステップＳＴ３）。次いで、テキスト統合部５００、要約作成部６００において機械学習処理を行う（ステップＳＴ３ａ、３ｂ）。この学習処理は逐次的に行うこともできる。なお、発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、及びロゴマークテキスト化部４００の機械学習処理と、及びテキスト統合部５００及び要約作成部６００の機械学習処理とは処理の順序を問わず、逆の順序で行うことができる。

学習処理が終了すると（ステップＳＴ４のyes）、処理対象となるビデオ信号をビデオ信号分離部２０に入力する（ステップＳＴ５）。これにより、発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、ロゴマークテキスト化部４００は、テキスト化処理を実行する（ステップＳＴ６ａ、ＳＴ６ｂ、ＳＴ６ｃ、ＳＴ６ｄ）

そして、各テキストをテキスト統合部５００で統合処理し（ステップＳＴ７）、更に統合されたテキストを要約作成部６００で要約処理し（ステップＳＴ８）、要約テキストを出力し、要約作製システム１０の処理は終了する。

次の要約作成処理からは、機械学習処理（ステップＳＴ１〜ＳＴ４）は行わなくて直ちに要約作成の対象ビデオ信号を入力（ステップＳＴ５）するだけで最適な要約作成を行うことができる。また、機械学習処理は必要に応じて行うことができる。

以下、要約作製システム１０の処理の一例について説明する。図１１は同要約作成システムの処理例を示す図である。ビデオデータには、映像８１０を含む映像データとナレーション８５０を含む音声データが格納されている。この例は、テニストーナメントの結果を知らせるニュース番組の一部を例とする。

まず、発話テキスト化部１００において、発話情報抽出部１１０が音声データからナレーション８５０を抽出し、発話内容認識部１２０が内容を認識する。そして、この認識された内容が発話内容テキスト化部１３０によりテキスト化される。

この例では、発話内容テキスト化部１３０は、発話テキストとして「▲▲で開催されている、××オープン選手権で○月○日、日本の○○選手は準決勝に勝利し決勝に進出しました。決勝は来る○日□時から行われます。△△テレビでは◆時からこのゲームを生中継します。」を出力する。

また、テロップテキスト化部２００において、テロップ情報抽出部２１０が映像データからテロップ画像を抽出する。本例では、テロップ表示部８１１に表示されたテロップ、映像８１０上部に表示されたニュース名８１２、提供会社名８１３を抽出する。更に、テロップ内容認識部２２０がテロップの内容を認識し、テロップ内容認識部２２０がテロップの内容を認識する。そして、この認識した内容を背景画像内容テキスト化部３３０がテキスト化する。

この例では、テロップ内容テキスト化部２３０は、テロップ表示部８１１の「速報 ○○選手 ××オープン決勝進出！」、ニュース名８１２として「△△ニュース」、提供会社名８１３として「提供◆◆株式会社」がテロップテキストとして出力する。

更に、背景画像テキスト化部３００において、背景画像情報抽出部３１０が背景画像８２０から人物、物品、状況等を抽出する。本例では、テニスプレーヤー８３０、顔８３１、キャップ８３２、テニスウエア８３３、テニスパンツ８３４、ラケット８３５、ボール８３６、テニスコート８３７等の画像を抽出する。この抽出された画像に基づいて、背景画像内容認識部３２０が各背景画像の内容を認識する。例えば、テニスプレーヤー８３０の画像及び顔８３１から性別、人種、年齢、表情を認識する。また、キャップ８３２、テニスウエア８３３、テニスパンツ８３４のスタイル、色等を認識する。更に、ラケット８３５、ボール８３６についてもそれらの色、型番等を認識する。そして、この認識した内容を背景画像内容テキスト化部３３０がテキスト化する。

この例では、テニスプレーヤー８３０について「男性」、「○○系」、「２０代」等、顔８３１から「汗」、「苦しい」、キャップ８３２について「白色」、テニスウエア８３３について「白」、「半袖」、テニスパンツ８３４について「白色」、「半ズボン」、ラケット８３５について「メーカー」、「型番」、ボール８３６について「黄色」、テニスコート８３７について「クレイ」等が背景画像テキストとして出力される。

そして、ロゴマークテキスト化部４００において、ロゴマーク画像情報抽出部４１０が映像８１０からロゴマークを抽出する。本例では、映像８１０の上部にニュース名８１２と共に付されたロゴマーク８４１、テニスウエア８３３に付されたロゴマーク８４２、テニスパンツ８３４に付されたロゴマーク８４３を抽出する。このとき、ロゴマーク８４２及びロゴマーク８４３は衣服に記載されているから、テニスプレーヤー８３０の運動により変形する。本例では、この変形も考慮して、抽出をおこなう。そして、この抽出されたロゴマークに基づいて、背景画像内容認識部３２０が各ロゴマークの内容を認識する。そして、この認識したロゴマークの内容をロゴマーク内容テキスト化部４３０がテキスト化する。

この例では、背景画像内容テキスト化部３３０は、ロゴマーク８４１について「△△Ｎ」の記載があり「△△テレビ株式会社」、ロゴマーク８４２について「ＡＡＡ」の記載であり「株式会社ＢＢＢ」の「ＡＡＡブランド」、ロゴマーク８４３について「ＢＢ」の記載であり「ＣＣ株式会社」の「ＢＢブランド」をロゴマークテキストとして出力する。

テキスト統合部５００は、発話テキスト化部１００からの発話テキスト、テロップテキスト化部２００からのテロップテキスト、背景画像テキスト化部３００からの背景画像テキスト、ロゴマークテキスト化部４００からのロゴマークテキストを統合する。

この例では、「▲▲で開催されている、××オープン選手権で○月○日、日本の○○選手は準決勝に勝利し決勝に進出しました。決勝は来る○日□時から行われます。△△テレビでは◆時からこのゲームを生中継します。」、「速報 ○○選手 」、オープン決勝進出！」、「△△ニュース」、「提供◆◆株式会社」、「男性」、「○○系」、「２０代」、「汗」、「苦しい」、「キャップ白色」、「テニスウエア白」、「テニスウエア半袖」、「テニスパンツ白色」、「半ズボン」、「ラケットメーカー」、「型番」、「ボール黄色」、「テニスコートクレイ」、「△△Ｎ」、「△△テレビ株式会社」、「ロゴマークＡＡＡ」の記載であり「株式会社ＢＢＢ」、「ＡＡＡブランド」、「ロゴマークＢＢ」、「ＣＣ株式会社」、「ＢＢブランド」等のテキストを網羅的に統合して出力する。
この統合用テキストは膨大なデータとなるが、機械検索に適している。

要約作成部６００はテキスト統合部５００からの統合テキストを受け、所定の文字数、例えば２００字以内に要約し出力する。この例では、要約作成部６００は、「日本の○○選手は○月○日、××オープン選手権の準決勝に勝利し、決勝に進出した。××オープン選手権は、▲▲で開催されており、クレイコートで行われる。○○選手は、白のキャップ、ＡＡＡブランドの白色のテニスウエアとＢＢブランドの白色のテニスパンツを着用し、勝利を得た。決勝戦は、○月○日、◆時から△△テレビで生中継される。」と出力する。要約は内容を把握しやすいため、人が一見して理解できる。

以上の録画再生システムは、処理装置としてのＣＰＵ(Central Processing Unit)、記憶装置としてＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）等を備えたコンピュータシステムでアプリケーションションソフトウエアを実行して実現できる。また、各部は同一箇所に配置される必要はなく、一部をクラウド上に配置してネットワークで接続して実現することができる。また、これらの処理は、大量のデータを対象とするためＧＰＵ（Graphics Processing Unit）を使用して処理することが望ましい。

即ち、統合テキストは、単に、音声、文字,背景映像等の文字化してものであり、膨大な文章についてのデータである。このため、ＧＰＵをテキスト処理に特化することにより高速に処理できる。

更に、テキスト統合部５００には、発話テキスト、テロップテキスト、背景画像テキスト及びロゴマークテキストの他、テレビ番組を対象とする場合、電子番組表データから取得したテキストを入力することができる。更に、インターネットで配信される動画映像の場合には第三者の評価や評判をテキストとして取得して入力できる。これにより、統合テキストの質と量を向上させることができる。

［他の実施形態］
本発明に係る録画再生システムあってはデータ処理をＡＩ（人工知能：Artificial Intelligence）により高速かつ適切に処理する。ＡＩ処理は、上述した機械学習（ＭＬ：Machine Learning）により実現できる。更に、機械学習として、既存データを正解とする教師有り学習が採用できる。また、機械学習としてディープラーニング（深層学習：ＤＬ：Deep Learning）により行うと効果的である。

ディープラーニングでは、既存の多数のビデオデータ、各ビデオデータに対応する各種テキストデータ、統合テキスト、要約テキストをビッグデータとして学習を行う。この各機械学習部は、入力層、複数の中間層、出力層を備え、多数のニューロンを備えたニューラルネットワークにより処理を行い。即ち、本発明に係る要約作成システムに入力された新規ビデオデータ、このビデオデータによる各種テキスト、統合テキスト、要約を入力とした出力が、既存の各種テキスト、統合テキスト、要約に近づくように中間層のニューロンにおける重み、パラメータを最小二乗法等の手法で適正化する。

本発明は、テレビやインターネット動画の録画再生システム及び録画再生装置に広く適用可能であり、産業上の利用可能性がある。

１０：要約作製システム
２０：ビデオ信号分離部
３０：テレビ放送局
４０：インターネット
５０：映像音声再生部
１００：発話テキスト化部
１１０：発話情報抽出部
１２０：発話内容認識部
１３０：発話内容テキスト化部
１４０：機械学習部
１５０：内容認識テキスト作成設定部
１６０：比較評価部
１６１：比較部
１６２：評価部
１７０：切換部
１８０：切換部
２００：テロップテキスト化部
２１０：テロップ情報抽出部
２２０：テロップ内容認識部
２３０：テロップ内容テキスト化部
２４０：機械学習部
２５０：内容認識テキスト作成設定部
２６０：比較評価部
２６１：比較部
２６２：評価部
２７０：切換部
２８０：切換部
３００：背景画像テキスト化部
３１０：背景画像情報抽出部
３２０：背景画像内容認識部
３３０：背景画像内容テキスト化部
３４０：機械学習部
３５０：内容認識テキスト作成設定部
３６０：比較評価部
３６１：比較部
３６２：評価部
３７０：切換部
３８０：切換部
４００：ロゴマークテキスト化部
４１０：ロゴマーク画像情報抽出部
４２０：ロゴマーク内容認識部
４３０：ロゴマーク内容テキスト化部
４４０：機械学習部
４５０：内容認識テキスト作成設定部
４６０：比較評価部
４６１：比較部
４６２：評価部
４７０：切換部
４８０：切換部
５００：テキスト統合部
５１０：統合テキスト作成部
５２０：統合テキスト作成設定部
５３０：機械学習部
５４０：比較評価部
５４１：比較部
５４２：評価部
５５０：既存データ格納部
５７０：切換部
５８０：切換部
６００：要約作成部
６１０：要約テキスト作成部
６２０：要約作成設定部
６３０：機械学習部
６４０：比較評価部
６４１：比較部
６４２：評価部
６５０：既存データ格納部
６７０：切換部
６８０：切換部
７００：既存データ格納部
７１０：既存ビデオデータ格納部
７２０：既存発話テキスト格納部
７３０：既存テロップテキスト格納部
７４０：既存背景画像テキスト格納部
７５０：既存ロゴマークテキスト格納部
７６０：既存各種テキスト格納部
７７０：既存統合テキスト格納部
７８０：既存要約テキスト格納部
８１０：映像
８１１：テロップ表示部
８１２：ニュース名
８１３：提供会社名
８２０：背景画像
８３０：テニスプレーヤー
８３１：顔
８３２：キャップ
８３３：テニスウエア
８３４：テニスパンツ
８３５：ラケット
８３６：ボール
８３７：テニスコート
８４１：ロゴマーク
８４２：ロゴマーク
８４３：ロゴマーク
８５０：ナレーション
９００：録画再生システム
９１０：映像データ取得部
９２０：メタデータ作成部
９３０：メタデータ格納部
９４０：録画部
９５０：映像データ送出部
９６０：使用者入力手段
９７０：特定情報認識部
９７１：学習部（特定情報認識設定学習手段）
９８０：メタデータ検索部
９９０：コンテンツ特定部
９９１：学習部（コンテンツ特定設定学習手段）

Claims (8)

1. 映像データからなるコンテンツを録画する録画手段と、
   録画されたコンテンツの送出元、送出日時、タイトル、出演者、送出予定テキスト、音声及びコンテンツ内容の要約を含むメタデータを作成するメタデータ作成手段と、
   前記メタデータを格納するメタデータ格納手段とを備え、
   前記メタデータ作成手段は、前記コンテンツの内容を要約した要約テキストを出力する要約作成手段を備え、
   前記要約作成手段は、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約設定学習手段を備え、
   指示情報が入力された場合には、前記指示情報を解釈してコンテンツ特定情報を認識する特定情報認識手段と、
   前記コンテンツ特定情報に基づいて前記メタデータを検索して前記コンテンツの少なくとも一部を特定するコンテンツ特定手段と、
   特定されたコンテンツの映像データを送出する映像データ送出手段と、
   を備えることを特徴とする録画再生システム。
2. 特定情報認識手段は、
   蓄積された過去の特定情報認識処理の入力データと出力データとを教材として最適な特定情報認識処理設定を学習する特定情報認識設定学習手段を備えることを特徴とする請求項１に記載の録画再生システム。
3. 前記コンテンツ特定手段は、
   蓄積された過去のコンテンツ特定結果の入力データと出力データとを教材として最適なコンテンツ特定設定を学習するコンテンツ特定設定学習手段を備えることを特徴とする請求項１に記載の録画再生システム。
4. 前記要約作成手段は、
   前記コンテンツについてのビデオ信号から抽出した前記コンテンツにおける人の発話内容を記述した発話テキスト、
   前記ビデオ信号から抽出した前記コンテンツにおけるテロップの表示内容を記載したテロップテキスト、
   前記ビデオ信号に現れる場面、状況、物品、及び事象のうち少なくとも一つの説明を記述した背景画像テキスト、
   前記ビデオ信号に現れるロゴマーク、商標、記号、符号を含むマークについて記述するロゴマークテキスト、
   のうち少なくとも２つのテキストを統合して統合テキストを出力するテキスト統合手段と、
   前記統合テキストを要約した要約テキストを出力する要約テキスト作成手段と、
   を備え、
   前記テキスト統合手段は、蓄積された過去のテキスト統合処理の入力データと出力データとを教材として最適なテキスト統合設定を学習するテキスト統合設定手段を備え、
   前記要約テキスト作成手段は、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約設定学習手段を備えることを特徴とする請求項１に記載の録画再生システム。
5. 前記コンテンツについての前記ビデオ信号の音声信号から発話情報を抽出する手段、前記発話情報から前記発話内容を認識する手段、及び、前記発話内容をテキスト化して発話テキストを出力する手段を備えた発話テキスト化部と、
   前記ビデオ信号の映像信号から、テロップを表示するテロップ情報を抽出する手段、前記テロップ情報からテロップ内容を認識する手段、及び、前記テロップ内容をテキスト化してテロップテキストを出力する手段、を備えたテロップテキスト化部と、
   前記ビデオ信号の映像信号から、背景画像情報を抽出する手段、前記背景画像情報から背景画像内容を認識する手段、及び前記背景画像内容をテキスト化して背景テキストを出力する手段、を備えた背景画像テキスト化部と、
   前記ビデオ信号の映像信号から、ロゴマーク画像情報を抽出する手段、前記ロゴマーク画像情報からロゴマーク内容を認識する手段、及び前記ロゴマーク内容をテキスト化してロゴマークテキストを出力する手段を備えるロゴマークテキスト化部と、
   から選択した少なくとも２つのテキスト化部を備え、
   前記発話テキスト化部、前記テロップテキスト化部、前記背景画像テキスト化部、及び前記ロゴマークテキスト化部のうち少なくとも一つは、蓄積された過去のテキスト化処理における入力データと出力データから最適なテキスト作成設定を学習するテキスト化学習手段を備えることを特徴とする請求項４に記載の録画再生システム。
6. 前記コンテンツは、テレビ放送局が放送する放送番組、又は、インターネットによって配信される動画映像から取得することを特徴とする請求項１に記載の録画再生システム。
7. 前記録画手段、前記メタデータ作成手段、前記メタデータ格納手段、指定情報認識手段、前記コンテンツ特定手段、及び前記映像データ送出手段は、一つの箇所に配置されていることを特徴する請求項１に記載の録画再生システム。
8. 少なくとも前記メタデータ作成手段は、前記録画手段と異なる箇所に配置され、インターネットで接続されていることを特徴とする請求項１に記載の録画再生システム。