JP2005157463A - データ分類方法、要約データ生成方法、データ分類装置、要約データ生成装置、データ分類プログラム、要約データ生成プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】 データベース内に格納されているデータを検索する際の客観的指標を提供すると共に、特に画像データ等のテキスト形式以外の形式により記述されているデータを的確に検索することができるようにデータを分類する。
【解決手段】 画像処理装置１は、各コンテンツデータに対応する登場人物等の属性を示す付加情報に基づいて、人物マトリクス生成テーブルＴＢＬ１等を生成し、同テーブルＴＢＬ１を更新することにより、各登場人物及び各登場場所が当該コンテンツデータの任意のフレームに登場する登場確率を示すストーリーマトリクスを算出する。このストーリーマトリクスに基づいて各コンテンツデータの潜在主人公等を決定し、その決定結果に基づいて各コンテンツデータのストーリー分類を決定する。
【選択図】 図１

Description

本発明はデータベース内の各種コンテンツデータの管理に関し、特に、コンテンツデータをデータベースにおいて分類する際の技術分野に関する。

従来、データベース内のデータを検索する方法として、主として用いられているものに、フルテキスト検索、条件付き検索、内容検索と呼ばれる検索方法がある。これらの検索方法は、検索キーワードに対応するコードと同一のコードを当該テキスト内において検索し、当該キーワードを文字列として含むデータが検索結果として出力される。

また、画像データ等のテキスト形式以外の形式により記述されているデータを検索する場合には、専ら、キーワード検索と呼ばれる手法が採用されている。このキーワード検索は、各データに予めキーワードを設定して、当該キーワードによって各データを分類しておき、データの検索を行う際には、かかるキーワードに基づいて検索が行われる。
（株）アスキー、"アスキーデジタル用語辞典"、［online］［平成１５年１０月１４日検索］、インターネット＜ＵRL: http://yougo.ascii24.com/＞

ところで、上述したキーワード検索において予め設定されるキーワードは、各データを利用したユーザが、自己の感覚に基づいて決定している。このため、設定されているキーワードに強い主観が含まれてしまい、客観性が担保できず、的確な検索を行うことができなかった。

本願は、以上のような事情に鑑みてなされたものであり、その課題の一例としては、データベース内に格納されているデータを検索する際の客観的指標を提供することにあり、特に画像データ等のテキスト形式以外の形式により記述されているデータを的確に検索することができるようにデータを分類するためのデータ分類方法、データ分類装置、データ分類プログラム、要約データ生成方法、要約データ生成装置、要約データ生成プログラム及び情報記録媒体を提供することにある。

上述した課題を解決するため、本願の一つの観点では、データ分類方法は、ストーリー性のあるコンテンツに登場するキャラクタに対応する属性と当該コンテンツにおける舞台として登場している設定場所に対応する属性と、少なくとも何れか一方の属性を示す付加情報を含むコンテンツデータを取得する第１ステップと、前記キャラクタ及び前記設定場所の、少なくとも何れか一方が、前記コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を、前記付加情報に基づいて算出する第２ステップと、前記登場確率に基づいて前記コンテンツデータを分類する第３ステップとを備える。

また、本願の他の観点では、要約データ生成方法は、ストーリー性のあるコンテンツに登場するキャラクタに対応する属性と当該コンテンツにおける舞台として登場している設定場所に対応する属性と、少なくとも何れか一方の属性を示す付加情報を含むコンテンツデータを取得する第１ステップと、前記キャラクタと前記設定場所と、少なくとも何れか一方が、前記コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を、前記付加情報に基づいて算出する第２ステップと、前記登場確率に基づいて前記コンテンツにおける主たる前記キャラクタ、または、前記コンテンツにおけるメイン舞台となる前記設定場所の少なくとも何れか一方を決定する第３ステップと、前記第３ステップによって決定されたキャラクタまたは設定場所の登場する部分を時系列的に結合することにより、前記コンテンツデータの要約に対応する要約データを生成する第４ステップとを備える。

また更に、本願の他の観点では、データ分類装置は、ストーリー性のあるコンテンツに登場するキャラクタに対応する属性と当該コンテンツにおける舞台として登場している設定場所に対応する属性と、少なくとも何れか一方の属性を示す付加情報を含むコンテンツデータを取得するコンテンツデータ取得手段と、前記キャラクタと前記設定場所と、少なくとも何れか一方が、前記コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を、前記付加情報に基づいて算出する算出手段と、前記登場確率に基づいて前記コンテンツデータを分類する分類手段とを備える。

更に、本願の他の観点では、要約データ生成装置は、ストーリー性のあるコンテンツに登場するキャラクタに対応する属性と当該コンテンツにおける舞台として登場している設定場所に対応する属性と、少なくとも何れか一方の属性を示す付加情報を含むコンテンツデータを取得するコンテンツデータ取得手段と、前記キャラクタと前記設定場所と、少なくとも何れか一方が、前記コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を、前記付加情報に基づいて算出する算出手段と、前記登場確率に基づいて前記コンテンツにおける主たる前記キャラクタ、または、前記コンテンツにおけるメイン舞台となる前記設定場所の少なくとも何れか一方を決定する決定手段と、前記決定手段によって決定されたキャラクタまたは設定場所の登場する部分を時系列的に結合することにより、前記コンテンツデータの要約に対応する要約データを生成する要約データ生成手段とを備える。

更にまた、本願の他の観点では、データ分類プログラムは、コンピュータによって、コンテンツデータの分類を行うためのデータ分類プログラムであって、前記コンピュータを、ストーリー性のあるコンテンツに登場するキャラクタに対応する属性と当該コンテンツにおける舞台として登場している設定場所に対応する属性と、少なくとも何れか一方の属性を示す付加情報を含むコンテンツデータを取得するコンテンツデータ取得手段、前記キャラクタと前記設定場所と、少なくとも何れか一方が、前記コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を、前記付加情報に基づいて算出する算出手段、前記登場確率に基づいて前記コンテンツデータを分類する分類手段として機能させる。

また、本願の他の観点では、要約データ生成プログラムは、コンピュータによって、コンテンツデータの分類を行うための要約データ生成プログラムであって、前記コンピュータを、ストーリー性のあるコンテンツに登場するキャラクタに対応する属性と当該コンテンツにおける舞台として登場している設定場所に対応する属性と、少なくとも何れか一方の属性を示す付加情報を含むコンテンツデータを取得するコンテンツデータ取得手段、前記キャラクタと前記設定場所と、少なくとも何れか一方が、前記コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を、前記付加情報に基づいて算出する算出手段、前記登場確率に基づいて前記コンテンツにおける主たる前記キャラクタ、または、前記コンテンツにおけるメイン舞台となる前記設定場所の少なくとも何れか一方を決定する決定手段、前記決定手段によって決定されたキャラクタまたは設定場所の登場する部分を時系列的に結合することにより、前記コンテンツデータの要約に対応する要約データを生成する要約データ生成手段として機能させる。

また更に、本願の他の観点では、情報記録媒体は、上記のデータ分類プログラムを記録している。

また更に、本願の他の観点では、情報記録媒体は、上記の要約データ生成プログラムを記録している。

以下、図面を参照し、本願の実施の形態について説明する。なお、係る実施形態は、本願を限定するものではなく、本願の技術思想の範囲内において任意に変更可能である。

［１］実施形態
［１．１］実施形態の構成
まず、図１を用いて本願の実施形態にかかる画像処理装置１の構成を説明する。なお、図１は、本実施形態にかかる画像処理装置１の構成を示すブロック図である。

同図に示すように、本実施形態にかかる画像処理装置１は、ＴＶ受信部１１と、ハードディスク１２１（以下、「ＨＤ１２１」と略記する）を有するハードディスクドライブ１２（以下、「ＨＤＤ１２」と略記する。）と、ユーザインターフェイス部１３（以下、「インターフェイス」を「Ｉ／Ｆ」と略記する。）と、画像表示部１４と、テーブル記録部１５と、システム制御部１６と、これらを相互に接続するデータバス１７を有する。

なお、例えば、本実施形態のＨＤ１２１は本願の「記録媒体」を構成し、ＴＶ受信部１１と、ＨＤＤ１２と、システム制御部１６は、「コンテンツデータ取得手段」を構成する。また、例えば、本実施形態のシステム制御部１６は本願の「算出手段」と、「分類手段」と、「要約データ生成手段」を構成すると共に、画像表示部１４及びモニタ２は「表示手段」を構成する。

本実施形態にかかる画像処理装置１は、地上デジタル放送を受信し、放送波に含まれたコンテンツデータをＨＤＤ１２に記録して、再生する装置である。また、この画像処理装置１は、ＨＤＤ１２に記録されているコンテンツデータをストーリーマトリクスデータと呼ばれる情報に従って分類し、各コンテンツデータの検索等の利便性を実現している。

なお、ストーリーマトリクスデータとは、各コンテンツデータのストーリーの内容に対応した情報であるが、これについては、後に詳述する。また、本実施形態においてストーリーというときは、各コンテンツデータに対応するコンテンツの物語を意味するものとする。

以下、各要素について説明する。

ＴＶ受信部１１は、地上波デジタル放送の受信装置であり、ユーザが選択した周波数に同調すると共に、受信アンテナＡＴを介して受信した放送波に復調処理を施し、その復調して得られたコンテンツデータをシステム制御部１６へ供給する。

ここで、本実施形態において、放送波に含まれているコンテンツデータは、図２に示すようなデータフォーマットを有している。

同図に示すように本実施形態において、このコンテンツデータは、複数のフレームに対応したデータから構成されている。また、各コンテンツデータは、物語を構成するストーリーの一場面である複数のシーンに分割されており、各シーンは、カメラアングルの切り替え等により複数のカットに分割されている。

なお、各カットを構成するフレーム数及び各シーンを構成するカット数は任意であり、各コンテンツデータの生成時に当該コンテンツデータの作成者が決定するものである。

一方、各フレームに対応するデータは、当該フレームに対応する画像データ、音声データ及び付加情報を有している。この付加情報とは、当該フレームの属性を示す情報であり、当該フレームに登場している人物やキャラクタ（以下、これらをまとめて「人物」とする）のストーリー上の氏名、年齢、性別、職業等を示す人物情報と、当該フレームのストーリー設定上の舞台となっている場所名と、当該設定場所に対応する時代を示す場所情報が含まれている。また、この付加情報には、「ドラマ」、「ドキュメント」等、当該コンテンツデータの属するジャンルを示すジャンル情報や当該フレームにおいてＢＧＭが流れている場合には、当該ＢＧＭの曲調を示す曲調情報が含まれている。

例えば、当該フレームに「人物ａ」「人物ｂ」２名が登場しており、その舞台となっている場所が「ａの家」の場合、この付加情報には、登場人物である「人物ａ」及び「人物ｂ」を示す人物情報の他、場所情報として「ａの家」なる情報が含まれることとなる。

なお、画像データ、音声データ及び付加情報のデータ形式は、任意であるが、本実施形態においては、画像データについてはＭＰＥＧ（Moving Picture Experts Group）形式で、音声データについてはＡＣ−３（Audio Code number 3）形式で、付加情報についてはＸＭＬ（eXtensible Markup Language）形式で記述されているものとする。

ユーザＩ／Ｆ部１３は、図示しないキーボード等からなる操作部または外部リモコンを有しており、ユーザの入力操作に対応した入力信号をシステム制御部１６に出力する。

画像表示部１４は、システム制御部１６の制御の下、ＨＤＤ１２のＨＤ１２１に記録されているコンテンツデータを復号し、動画像信号および音声信号に変換して、モニタ２に出力する。この結果、モニタ２から、当該コンテンツデータに対応した動画像が表示されると共に音声が出力される。

テーブル記録部１５は、例えば、ＥＥＰＲＯＭやＳＲＡＭ等の内部メモリ、装着可能な外部メモリ等によって構成され、画像処理装置内１内において各種処理を実行するために必要なテーブルが格納される。

システム制御部１６は、図示せぬＣＰＵ（Central Processing Ｕnit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ等を有し、ＲＯＭ内に格納されている各種のアプリケーションを実行することにより画像処理装置１の各部を制御する。

具体的には、図１に示すように、システム制御部１６は、ストーリー分析部１６１と、記録再生部１６２とを有する。

ストーリー分析部１６１は、コンテンツデータをＨＤＤ１２に記録するに際して、当該コンテンツデータに対応するストーリーマトリクスデータの生成処理を実行し、この処理の結果として得られたストーリーマトリクスデータに対して変換処理を施した後、各コンテンツデータのストーリー分類処理を実行する。

ここで、ストーリーマトリクスデータとは、上述のように、各コンテンツデータに対応する物語を形成するストーリー内容に対応した情報であり、人物マトリクスデータと、場所マトリクスデータから構成されている。人物マトリクスデータとは、各コンテンツデータのストーリー中に登場する人物やキャラクタ毎に重み付けを行った行列（以下、この行列を「人物マトリクス」という）に対応するデータであり、各人物が登場したフレーム数に基づいて決定される。一方、場所マトリクスデータとは、各コンテンツデータのストーリーにおいて舞台となる場所毎に重み付けを行った行列（以下、この行列を「場所マトリクス」という）に対応するデータであり、当該コンテンツデータに対応するストーリー中において各場所が舞台となっているフレーム数に基づいて決定される。

以下、ストーリー分析部１６１が実行する処理について説明する。
［ストーリーマトリクスデータの生成処理］
このストーリーマトリクス生成処理において、ストーリー分析部１６１は、まず、ＨＤ１２１に記録されているコンテンツデータを読み出して図示せぬＲＡＭ上に展開すると共に、以下の処理を実行することにより、人物マトリクスデータと場所マトリクスデータを生成する。なお、以下に説明する両処理は、ストーリー分析部１６１により同時並列的に行われるものである。

＜人物マトリクスデータの生成＞
人物マトリクスデータの生成に際し、ストーリー分析部１６１は、ＲＡＭ上に展開されているコンテンツデータを検索して、当該コンテンツデータに含まれている付加情報中の人物情報からストーリー中に登場している全人物名を抽出する。そして、ストーリー分析部１６１は、この抽出した人物名に基づいて、図３に示す人物マトリクス生成テーブルＴＢＬ１をテーブル記録部１５に生成する。

ここで、同図において、行及び列は、上記処理により抽出された人物名、すなわち、当該コンテンツデータに対応したストーリー中に登場している人物名を意味している。従って、図３に示す例の場合には、当該コンテンツデータのストーリー中に「人物１」、「人物２」、「人物３」、・・・「人物ｎ」なるｎ人の人物が登場していることとなる。

また、この人物マトリクス生成テーブルＴＢＬ１の各行と各列の交わるフィールドには、カウンタが設けられており、このカウンタをインクリメントすることにより人物マトリクス生成テーブルＴＢＬ１は、更新される。

具体的には、以下の処理を通じて、人物マトリクス生成テーブルＴＢＬ１が更新される。
まず、ストーリー分析部１６１は、人物マトリクスデータの生成対象となっているコンテンツデータの開始フレームから順に人物情報に含まれている人物名を抽出して、当該人物名に対応する行と列の交わるフィールドのカウンタをインクリメントする。この際、

（ｉ）フレーム内に登場している人物が一人の場合
例えば、登場人物が「人物１」のみの場合、ストーリー分析部１６１は、人物マトリクス生成テーブルＴＢＬ１において、ｔ（１１）のカウンタを“１”だけインクリメントする。

（ｉｉ）フレーム内に登場している人物が複数の場合
例えば、登場人物が「人物１」と「人物２」の場合、ストーリー分析部１６１は、人物マトリクス生成テーブルＴＢＬ１において、ｔ（１１）、ｔ（２２）、ｔ（１２）、ｔ（２１）の各カウンタを“１”ずつインクリメントする。

かかるカウンタのインクリメントが最終フレームまで、順次行われることにより、人物マトリクス生成テーブルＴＢＬ１の更新が完了する。このような処理を通じて、人物マトリクス生成テーブルＴＢＬ１が更新されるため、テーブルＴＢＬ１の各フィールドに格納されているカウンタは、夫々、ａ）ストーリーに各登場人物が登場した延べ登場フレーム数、及び、ｂ）他の登場人物と同一フレーム内に登場したフレーム数、を示すこととなる。

なお、フレーム数は、当該コンテンツデータに対応するストーリーに占める、時間数を意味するため、これらは、それぞれ、ａ）ストーリーに各登場人物が登場した延べ登場時間数、及び、ｂ）他の登場人物と同一フレーム内に登場した時間数に対応したものとなる。

以上のように、人物マトリクス生成テーブルＴＢＬ１の更新が完了すると、ストーリー分析部１６１は、当該テーブルＴＢＬ１に格納されている各カウンタ値「ｔ（ｉｊ）」を以下の（式１）に代入する。

ここで、（式１）において右辺は、人物マトリクス生成テーブルＴＢＬ１の行方向の数値の和であり、「人物ｊ」の登場している延べ登場フレーム数を意味している。かかる数値計算が各行について終了すると、ストーリー分析部１６１は、その算出したＴｔ（ｉｊ）を（式２）に代入してａ（ｉｊ）を算出すると共に、この算出結果に基づいて（式３）に示す人物マトリクス「Ａ」を算出して、当該Ａに対応するデータを生成する。

なお、この人物マトリクス「Ａ」の各パラメータａ（ｉｊ）は、「人物ｊ」の延べ登場フレーム数に対して占める、「人物ｊ」と「人物ｉ」の同時登場フレーム数の割合、すなわち、「人物ｊ」が「人物ｉ」と同一フレーム上に現れている確率を意味している。よって、「人物ｊ」に対応するａ（ｉｊ）（ｉ=１，２，．．．．，ｎ）は、

という関係にある。

＜場所マトリクスデータの生成＞
場所マトリクスデータの生成に際し、ストーリー分析部１６１は、ＲＡＭ上に展開されているコンテンツデータを検索して、当該コンテンツデータに含まれている付加情報中の場所情報からストーリー中において舞台となっている全場所名を抽出する。そして、ストーリー分析部１６１は、この抽出した場所名に基づいて、図４に示す場所マトリクス生成テーブルＴＢＬ２をテーブル記録部１５に生成する。

ここで、同図において、行及び列は、上記処理により抽出された場所名、すなわち、当該コンテンツデータに対応したストーリー中において舞台となっている場所名を意味している。従って、図４に示す例の場合、当該コンテンツデータのストーリー中において「場所１」、「場所２」、「場所３」、・・・「場所ｍ」なるｍ箇所の場所が舞台となっていることを意味している。

また、この場所マトリクス生成テーブルＴＢＬ２の各行と各列の交わるフィールドには、人物マトリクス生成テーブルＴＢＬ１と同様にカウンタが設けられており、このカウンタをインクリメントすることにより場所マトリクス生成テーブルＴＢＬ２は、更新される。

なお、この際の更新方法は、上述した人物マトリクス生成テーブルＴＢＬ１更新時の処理と基本的には同じであるが、カウンタのインクリメント基準のみが以下のように異なっている。
すなわち、

（ｉ）当該コンテンツデータの最初のフレームの場合
場所マトリクス生成テーブルＴＢＬ２において、舞台となっている場所に対応するカウンタが“１”だけインクリメントされる。例えば、舞台が「場所１」の場合、ストーリー分析部１６１は、場所マトリクス生成テーブルＴＢＬ２において、ｔｐ（１１）のカウンタのみを“１”だけインクリメントする。

（ｉｉ）最初以降のフレームの場合
ａ）開始から一度も場所に変化が生じていない場合
場所マトリクス生成テーブルＴＢＬ２において、舞台となっている場所に対応するカウンタが“１”だけインクリメントされる。例えば、舞台が「場所１」の場合、ストーリー分析部１６１は、場所マトリクス生成テーブルＴＢＬ２において、ｔｐ（１１）のカウンタのみを“１”だけインクリメントする。

ｂ）開始後、一度でも場所に変化が生じた後のフレームの場合
場所マトリクス生成テーブルＴＢＬ２において、変化前と変化後の場所名のそれぞれに対応するカウンタが“１”ずつインクリメントされる。例えば、舞台が「場所１」から「場所２」へと変化した場合、ストーリー分析部１６１は、場所マトリクス生成テーブルＴＢＬ２において、ｔｐ（１１）、ｔｐ（１２）、ｔｐ（２１）、ｔｐ（２２）、のカウンタを“１”ずつインクリメントする。

ｃ）場所変化後のフレームであって、当該場所の状態が継続している場合
場所マトリクス生成テーブルＴＢＬ２において、変化前と変化後の場所名のそれぞれに対応するカウンタが“１”ずつインクリメントされる。例えば、舞台が「場所１」から「場所２」へと変化後、「場所２」の状態が継続している場合、ストーリー分析部１６１は、場所マトリクス生成テーブルＴＢＬ２において、ｔｐ（２２）の他、ｔｐ（１２）、ｔｐ（２１）のカウンタを“１”ずつインクリメントする。

以上の処理を経て、場所マトリクス生成テーブルＴＢＬ２を更新すると、ストーリー分析部１６１は、当該テーブルＴＢＬ２に格納されている各数値を以下の（式５）に代入する。

ここで、（式５）において右辺は、場所マトリクス生成テーブルＴＢＬ２の行方向の数値の和であり、「場所ｊ」の登場している延べ登場フレーム数を意味している。かかる算出結果に基づいて、ストーリー分析部１６１は、人物マトリクスデータの生成時と同様に（式６）に基づいて各パラメータを算出し（式７）に示す場所マトリクス「Ｂ」を算出することにより場所マトリクスデータを生成する。

なお、ｂ（ｉｊ）についても、上述のａ（ｉｊ）と同様に

という関係が成立する。

［ストーリーマトリクス変換処理］
上記生成処理によって得られた人物マトリクスデータ（式３）及び場所マトリクスデータ（式７）は、マルコフチェーンにおける推移確率行列を表している。

ストーリー分析部１６１は、それぞれの推移確率行列の収束値（定常分布）を求める。以下の変換式（式９）及び（式１０）のｋの値を無限大（∞）にしたものが収束値（定常分布）となるが、経験的に「３０」以上でほぼ収束することから、本実施形態においては「ｋ」の値として「３０」以上を設定するものとする。マルコフチェーンでは収束値は（式９）及び（式１０）に示すように各行の値が等しい行列となることが知られている。

この（式９）における、α（ｉ）なるパラメータは、各フレームに対して各人物が登場する確率を示すものであり、（式１０）におけるβ（ｉ）なるパラメータは、各場所が各フレームの舞台となる確率を示すものである。従って、上記（式９）及び（式１０）により、Ｕ及びＶの両マトリクスを算出すれば、当該コンテンツデータに対応するストーリーに登場する全人物の中で、どの人物の登場確率が最も高く、どの場所の登場確率が最も高いのかを特定することが可能となる。このことは同時に、Ｕ及びＶなるマトリクスを算出することにより、当該コンテンツデータのストーリー中における主人公であると想定される人物（以下、「潜在主人公」）及びメイン舞台であると想定される場所（以下、「潜在中心位置」）を特定できることを意味している。

ここで、人物マトリクスデータを例に、上記（式３）の算出結果と、この算出結果を（式９）に代入した場合の関係を図５及び図６に従って説明する。なお、図５は、あるコンテンツデータについてストーリー分析部１６１が（式３）に従って人物マトリクス「Ａ」を算出した実験結果を図式化したものであり、図６は、この人物マトリクス「Ａ」を（式９）に代入した後の算出結果を図式化したものである。なお、これらの図において、ｘｙ平面は、人物マトリクス「Ａ」における行及び列に対応しており、ｚ軸は、行列Ａの各パラメータに対応する数値を表している。

図５に示すように、人物マトリクス「Ａ」は、ランダムな値を示している。これに対して、人物マトリクス「Ａ」を（式９）に代入すると、人物マトリクス「Ａ」の収束値（定常分布）が求められ、ストーリー中での最終的な各人物の登場確率が得られることとなる。従って、図６に示す例の場合、「人物１」が最もそのストーリーに登場する可能性が高いこととなり、「人物１」が潜在主人公と特定できる。

また、この処理において、ストーリー分析部１６１は、以下の（式１１）及び（式１２）に従って、自乗平均平方根（ＲＭＳ）を算出し、これらに対応するデータを生成する。

このｄＡ及びｄＢなる値は、各コンテンツデータが分類可能か否かを判断する際の指標とされるが、これについては、後述する。

［ストーリー分類処理］
ストーリー分析部１６１は、上述した（式９）及び（式１１）の算出結果に基づいて、当該コンテンツデータに対応するストーリー中の潜在主人公を特定すると共に、当該コンテンツデータを幾つかの人物グループに分類する。また、ストーリー分析部１６１は、上述した（式１０）及び（式１２）の算出結果に基づいて、当該コンテンツデータに対応するストーリー中の潜在中心位置を特定すると共に、当該コンテンツデータを幾つかの場所グループに分類する。

この際の分類方法は、以下の通りである。
（ｉ）人物グループの分類
＜人物グループａａ＞
この「人物グループａａ」は、当該コンテンツデータに対応するｄＡ値が閾値ＲＡを越えていない場合に設定されるグループである。上述のように本実施形態において、ｄＡは、自乗平均平方根を意味しているが、この値が、小さくなり“０”に近づくということは初期値と収束値の差があまりないことを意味する。
また、当該コンテンツデータに対応するｄＡ値が閾値ＲＡを越えている場合であっても、Ｕの各パラメータα（ｉ）が全登場人物に対して低い値しかとらず、全登場人物が平均的な登場確率しか有していない場合、潜在主人公を特定することが困難となる。
そこで、ストーリー分析部１６１は、ｄＡ値が閾値ＲＡを越えていない場合、及びＵマトリクスの各α（ｉ）値の中に後述する閾値Ｌαを越えるものが存在しない場合については、一律にこの「人物グループａａ」に分類する。このグループに属するコンテンツデータは、ストーリーの起伏がなく、ストーリー性に乏しいドラマ等であることが想定される。

＜人物グループａｂ＞
当該コンテンツデータに対応するｄＡ値が閾値ＲＡを越えている場合には、Ｕの算出値と初期値の差が大きくなるため、潜在主人公を特定して、当該コンテンツデータを分類することが可能となる。そこで、ストーリー分析部１６１は、各α（ｉ）値を閾値Ｈα及びＬαと比較する。
なお、Ｈαの値は、Ｌαよりも高い数値として設定されているが、これらの値は任意である。ただし、本実施形態においては、説明を具体的なものとするため、閾値Ｈαを「０．２５」（登場確率２５％）、閾値Ｌαを「０．１３」（登場確率１３％）としているものとして説明する。

（人物グループａｂ１）
Ｕにおいて、各人物に対応するα（ｉ）の中に、この閾値Ｈαを越えている登場人物が一人しかいない場合、ストーリー分析部１６１は、当該コンテンツデータを「人物グループａｂ１」に分類する。上述のようにα（ｉ）の値は、各人物が各フレームに登場する確率を意味しているが、このグループに属するコンテンツデータは、一人の人物の登場確率が突出して高く、主人公が一人であるものと想定される。このため、この「グループａｂ１」に属するコンテンツデータは、例えば、ドラマなら主人公が目覚ましい活躍をするようなものであると想定される。

（人物グループａｂ２）
Ｕにおいて、各人物に対応するα（ｉ）の中に、この閾値Ｈαを越えている登場人物が二人いる場合、ストーリー分析部１６１は、当該コンテンツデータを「人物グループａｂ２」に分類する。このグループに属するコンテンツデータは、登場確率が突出して高い人物が二人おり、主人公が二人いるものと想定される。このため、本グループに属するコンテンツデータは、例えば、ドラマの場合、恋愛もののように二人の人物の軌跡を追ったものであると想定される。

（人物グループａｂ３）
Ｕにおいて、各人物に対応するα（ｉ）の中に、この閾値Ｈαを越えている登場人物が三人以上いる場合、ストーリー分析部１６１は、当該コンテンツデータを「人物グループａｂ３」に分類する。このグループに属するコンテンツデータは、メインの登場人物が三人以上いることとなり、例えば、ドラマの場合、ヒーロー戦隊もののように複数の主人公が存在するものであると想定される。

（人物グループａｂ４）
Ｕにおいて、各人物に対応するα（ｉ）の中に、この閾値Ｈαを越えている登場人物が存在せず、閾値Ｌαを越えている人物が一人だけいる場合、ストーリー分析部１６１は、当該コンテンツデータを「人物グループａｂ４」に分類する。このグループに属するコンテンツデータは、何れの登場人物も登場確率が低く、一人だけがある程度の時間登場するもの、例えば、ドラマなら一応主人公はいるものの、脇役の登場場面が非常に多いドラマ等であると考えられる。

（人物グループａｂ５）
Ｕにおいて、各人物に対応するα（ｉ）の中に、この閾値Ｈαを越えている登場人物が存在せず、閾値Ｌαを越えている人物が二人いる場合、ストーリー分析部１６１は、当該コンテンツデータを「人物グループａｂ５」に分類する。このグループに属するコンテンツデータは、何れの登場人物も登場確率が低く、二人の人物の登場場面が比較的多いもの、例えば、ドラマなら恋愛ドラマではあるが、脇役の活躍場面の多い、人間関係の複雑に絡み合ったドラマであると想定される。

（人物グループａｂ６）
Ｕにおいて、各人物に対応するα（ｉ）の中に、この閾値Ｈαを越えている登場人物が存在せず、閾値Ｌαを越えている人物が三人以上いる場合、ストーリー分析部１６１は、当該コンテンツデータを「人物グループａｂ６」に分類する。このグループに属するコンテンツデータは、何れの登場人物も登場確率が低く、α（ｉ）が閾値Ｌαを越えている人物も三人以上いるため、メインとなる人物のいない、例えば、喜劇ドラマのようなものであると想定される。

（ｉｉ）場所グループの分類
＜場所グループａａ＞
この「場所グループａａ」は、当該コンテンツデータに対応するｄＢ値が閾値ＲＢを越えていない場合、及びＶマトリクスのβ（ｉ）値に閾値Ｌβを越えるものが存在しない場合に設定されるグループである。上述したように、ｄＢ値が非常に小さい場合、及びＶの各パラメータβ（ｉ）が全場所に対して低い値しかとらない場合、潜在中心位置を特定することが困難となる。そこで、かかる場合に、ストーリー分析部１６１は、当該コンテンツデータを一律にこの「場所グループａａ」に分類する。

＜場所グループａｂ＞
当該コンテンツデータに対応するｄＢ値が閾値ＲＢを越えている場合には、ストーリー分析部１６１は、各β（ｉ）値を閾値Ｈβ及びＬβと比較する。なお、Ｈβの値は、Ｌβよりも高い数値として設定されているが、これらの値は任意である。ただし、これらの値は、閾値Ｈβが「０．２５」、閾値Ｌβが「０．１３」であるものとして説明する。

なお、この分類については、上述した人物グループの分類と同様であり
ａ）Ｖにおいて、各場所に対応するβ（ｉ）の中に、この閾値Ｈβを越えている場所が一箇所しかない場合：場所グループａｂ１
ｂ）Ｖにおいて、β（ｉ）の中に、この閾値Ｈβを越えている場所が二箇所ある場合：場所グループａｂ２
ｃ）Ｖにおいて、β（ｉ）の中に、この閾値Ｈβを越えている場所が三箇所以上ある場合：場所グループａｂ３
ｄ）Ｖにおいて、β（ｉ）の中に、この閾値Ｈβを越えている場所が存在せず、閾値Ｌβを越えている場所が一箇所だけある場合：場所グループａｂ４
ｅ）Ｖにおいて、β（ｉ）の中に、この閾値Ｈβを越えている場所が存在せず、閾値Ｌβを越えている場所が二箇所ある場合：場所グループａｂ５
ｆ）Ｖにおいて、β（ｉ）の中に、この閾値Ｈβを越えている場所が存在せず、閾値Ｌβを越えている人物が三箇所以上ある場合：場所グループａｂ６
の６分類に分類する。

以上の処理を実行することにより、各コンテンツデータに対応する人物グループ及び場所グループを決定すると、ストーリー分析部１６１は、当該コンテンツデータのストーリー分類を決定する。かかる機能を実現するため、本実施形態にかかるテーブル記録部１５には、図７に示すストーリー分類テーブルＴＢＬ３-ｋ（ｋ＝１，２，．．．．，ｎ）が格納されている。

同図に示すように、このストーリー分類テーブルＴＢＬ３-ｋは、例えば、ドラマ、ドキュメンタリー等のコンテンツデータのジャンル毎に設けられており、各ストーリー分類テーブルＴＢＬ３-ｋには、人物グループ及び場所グループの組み合わせに対応づけてストーリー分類が格納されている。

実際にストーリー分類を行う場合、ストーリー分析部１６１は、分類対象となっているコンテンツデータに含まれている付加情報中のジャンル情報に基づいて、使用すべきストーリー分類テーブルＴＢＬ３-ｋを決定すると共に、当該ストーリー分類テーブルＴＢＬ３-ｋにおいて当該コンテンツデータの人物グループと場所グループの組み合わせに対応したストーリー分類を選択することとなる。

例えば、図７に示す場合において、ストーリー分類の対象となっているコンテンツデータが「人物グループａｂ２」かつ「場所グループａｂ３」に属している場合、ストーリー分析部１６１は、当該コンテンツデータをストーリー分類「分類ａｂ３ａｂ２」に分類する。そして、ストーリー分析部１６１は、以上の処理の結果、決定されたストーリー分類とジャンル名を含む制御信号をＨＤＤ１２に出力する。この結果、当該コンテンツデータとストーリー分類、ジャンル名が対応づけてＨＤ１２１に記録され、ＨＤ１２１内にデータベースが構築される。

なお、各ストーリー分類を、どのように定義づけるかは任意であるが、例えば、「ドラマ」ジャンルの「分類ａｂ３ａｂ２」であれば、「三つの場所を舞台にした恋愛ドラマ」等と定義づけることにより、適切なストーリー分類が可能となる。

一方、記録再生部１６２は、ＨＤＤ１２に対するコンテンツデータの記録及び消去を制御する。具体的には、記録再生部１６２は、ユーザＩ／Ｆ部１３から供給されるユーザの入力操作に対応した入力信号に従い、コンテンツデータの記録予約を行う。そして、当該記録予約日時になると、記録再生部１６２は、同調周波数の変更信号をデータバス１７を介してＴＶ受信部１１へと出力すると共に、ＨＤＤ１２へと制御信号を送る。この結果、ＴＶ受信部１１を介して受信された放送波中のコンテンツデータがＨＤ１２１へと順次記録されることとなる。

また、記録再生部１６２は、ＨＤＤ１２に記録されているコンテンツデータの再生を制御する。具体的には、記録再生部１６２は、ユーザＩ／Ｆ部１３から送られてくる、ユーザの入力操作に対応した入力信号に従い、画像表示部１４に制御信号を出力する。かかる制御信号が送られてくると、画像表示部１４は、ＨＤＤ１２に記録されたコンテンツデータを読み出し表示処理を行う。この結果、モニタ２に当該コンテンツデータ等に対応した画像が表示される。

ここで、本実施形態において、特徴的な事項として、この記録再生部１６２は、ＨＤ１２１に記録されているコンテンツデータを再生するに際して、ユーザがＨＤ１２１内に記録されているコンテンツデータを検索しやすいように、各コンテンツデータに対応するストーリー分類に従って、再生候補一覧画面に対応したデータを生成し、表示する。これにより、客観的指標に基づいたコンテンツ検索を行い、真に自己の意図に沿ったコンテンツを選択して再生することが可能となる。

ＨＤＤ１２は、ＨＤ１２１を有しており、システム制御部１６の制御の下、ＨＤ１２１へのデータの読み出し及び書き込みを行う。このＨＤ１２１には、コンテンツデータと、各コンテンツデータに対応したストーリー分類が対応づけて記録されるようになっており、この結果、ＨＤ１２１内には、コンテンツデータのデータベースが構築される。

［１．２］実施形態の動作
以下、本実施形態の動作について説明する。
なお、上述したストーリー分析部１６１が、如何なるタイミングで各コンテンツデータに対応するストーリー分類を決定するかは任意であるが、本実施形態においては、コンテンツデータの記録時に決定するものとする。

（１）コンテンツデータ記録時の動作概要
次に、本実施形態にかかる画像処理装置１においてコンテンツデータを記録する際の動作を説明する。
まず、ユーザが、ユーザＩ／Ｆ部１３を操作することにより、画像処理装置１の電源を入れると、ＴＶ受信部１１によって受信されたコンテンツデータが、システム制御部１６の記録再生部１６２による制御の下、画像表示部１４によって復号され、画像信号等としてモニタ２に供給される。この結果、モニタ２には、放送中のコンテンツに対応した画像が表示されることとなる。

この状態において、放送コンテンツを記録しようとする場合、ユーザは、ユーザＩ／Ｆ部１３の図示せぬ操作部或いは外部リモコンに所定の操作を行うことが必要となる。この際の操作内容は、任意である。例えば、操作子或いは外部リモコンに記録予約ボタンを設けておき、このボタンが押下された場合に、モニタ２へと予約画面に対応した画像を出力し、当該画面上で記録予約日時等を指定する構成としても良い。また、ユーザＩ／Ｆ部１３の操作部や外部リモコンに液晶表示部を設け、当該表示部上に記録予約日時、放送ｃｈ等を指定させるための画面を表示させ、記録予約を行う構成としても良い。

そして、かかる操作の結果、ユーザが記録日時等を指定してコンテンツデータの記録予約を行うと、記録再生部１６２は、当該日時にコンテンツデータをＨＤＤ１２に記録させる。なお、この際の動作は、従来のＨＤレコーダ等と同様であるため、詳細は略する。

このようにして、ＨＤＤ１２にコンテンツデータが記録されると、ストーリー分析部１６１は、図８に示すストーリー分析処理を実行する。
この処理において、ストーリー分析部１６１は、まず、本記録予約によりＨＤ１２１に記録されたコンテンツデータを読み出すべく、ＨＤＤ１２に制御信号を出力する（ステップＳ１）。この結果、当該コンテンツデータがＨＤＤ１２によって読み出されて、システム制御部１６へと供給され、システム制御部１６の図示せぬＲＡＭ上に展開される。

ストーリー分析部１６１は、このようにして読み出されたコンテンツデータに基づいて上述したストーリーマトリクスデータ生成処理を実行し、人物マトリクスデータと場所マトリクスデータを生成する（ステップＳ２）。

次に、ストーリー分析部１６１は、ステップＳ２において生成された人物マトリクスデータと場所マトリクスデータのマトリクス変換処理を実行する（ステップＳ３）。この際、ストーリー分析部１６１は、ステップＳ２において生成したデータに対応するマトリックスの各パラメータを上述した（式９）〜（式１２）に代入することにより、Ｕ及びＶマトリクスを算出し、これらＵ及びＶマトリクスに対応するデータを生成すると共に、ｄＡ、ｄＢを算出し、これらに対応するデータを生成する。

次いで、ストーリー分析部１６１は、上述したストーリー分類処理を実行する（ステップＳ４）。なお、このストーリー分類処理における、具体的な動作については、後述する。

そして、当該コンテンツデータに関するストーリー分類処理が完了すると、ストーリー分析部１６１は、該処理の結果であるストーリー分類を含む制御信号をＨＤＤ１２に出力して（ステップＳ５）、処理を終了する。この際、例えば、ストーリー分類の決定対象となっているコンテンツデータが図７に示す例において「人物グループａｂ２」かつ「場所グループａｂ３」に属している場合、ストーリー分析部１６１は、当該コンテンツデータをストーリー分類「分類ａｂ３ａｂ２」に分類し、このストーリー分類とジャンル名を含む制御信号をＨＤＤ１２に出力する。

以上の処理の結果、当該コンテンツデータとストーリー分類とジャンル名が対応づけてＨＤＤ１２１に記録され、データベース化されることとなる。
一方、係る処理が終了すると、ストーリー分析部１６１は、分類結果と、例えば「処理が終了しました」等の文字列を含むデータを画像表示部１４に出力して（ステップＳ６）、処理を終了する。この結果、モニタ２に当該データに対応する画像が表示される。

（２）ストーリーマトリクス生成処理の具体的動作
次に、図９を用いつつ、図８ステップＳ２において実行されるストーリーマトリクス生成処理の具体的動作について説明する。なお、図９においてはフレームｆ１、フレームｆ２、・・・フレームｆ５の順で、順次フレームが進行しているものとし、当該コンテンツデータはフレームｆ１からスタートしているものとする。また、フレームｆ１及びｆ２における登場人物は「人物１」「人物２」であるものとし、フレームｆ４及びｆ５の登場人物は「人物３」及び「人物４」であるものとする。更に、フレームｆ１〜ｆ３の舞台となっている場所は「場所１」であるものとし、フレームｆ４及びｆ５の舞台となっている場所は「場所２」であるものとする。

この処理において、ストーリー分析部１６１は、まず、ＲＡＭ上に展開されているコンテンツデータを検索して、当該コンテンツデータに含まれている付加情報中の人物情報及び場所情報からストーリー中に登場している全人物名と、全場所名を抽出して、人物マトリクス生成テーブルＴＢＬ１と場所マトリクス生成テーブルＴＢＬ２をテーブル記録部１５に生成する。

かかるテーブルの生成が終了すると、ストーリー分析部１６１は、ＲＡＭ上のフレームｆ１に対応するデータから人物情報と場所情報を抽出し、これらの情報に含まれている人物名と場所名に従って、人物マトリクス生成テーブルＴＢＬ１と場所マトリクス生成テーブルＴＢＬ２内のカウンタを更新する。

本動作例の場合、フレームｆ１に対応する付加情報中の人物情報等には、人物名として「人物１」「人物２」が、場所名として「場所１」が含まれている。このため、ストーリー分析部１６１は、人物マトリクス生成テーブルＴＢＬ１において、ｔ（１１）、ｔ（２２）ｔ（１２）及びｔ（２１）カウンタを夫々“１”ずつインクリメントすると共に、場所マトリクス生成テーブルＴＢＬ２においてｔｐ（１１）カウンタを“１”だけインクリメントする。同様に、フレームｆ２についても、人物マトリクス生成テーブルＴＢＬ１のｔ（１１）、ｔ（２２）、ｔ（１２）及びｔ（２１）カウンタが夫々“１”ずつインクリメントされると共に、場所マトリクス生成テーブルＴＢＬ２のｔｐ（１１）カウンタが“１”だけインクリメントされる。

次いで、ストーリー分析部１６１は、フレームｆ３に対応する付加情報に基づいて人物マトリクス生成テーブルＴＢＬ１と場所マトリクス生成テーブルＴＢＬ２を更新する。本動作例の場合、フレームｆ３には、登場人物が存在しないため、ストーリー分析部１６１は、人物マトリクス生成テーブルＴＢＬ１内のカウンタをインクリメントすることなく、場所マトリクス生成テーブルＴＢＬ２のｔｐ（１１）カウンタのみを“１”だけインクリメントする。

更に次いで、ストーリー分析部１６１は、フレームｆ４の付加情報に基づいて人物マトリクス生成テーブルＴＢＬ１及び場所マトリクス生成テーブルＴＢＬ２を更新する。フレームｆ４の場合、フレームｆ３から舞台となっている場所が変わっているので、ストーリー分析部１６１は、場所マトリクス生成テーブルＴＢＬ２において、ｔｐ（２２）カウンタと共に、ｔｐ（１１）、ｔｐ（１２）、ｔｐ（２１）カウンタを夫々“１”ずつインクリメントする。また、人物マトリクス生成テーブルＴＢＬ１については、ｔ（３３）、ｔ（４４）、ｔ（３４）及びｔ（４３）のカウンタがストーリー分析部１６１によって“１”ずつインクリメントされる。

次いで、フレームｆ５の付加情報に基づいて人物マトリクス生成テーブルＴＢＬ１及び場所マトリクス生成テーブルＴＢＬ２が更新されるが、同フレームｆ５は、フレームｆ４から場所に変化が生じていない。このため、ストーリー分析部１６１は、場所マトリクス生成テーブルＴＢＬ２において、ｔｐ（２２）、ｔｐ（１２）、ｔｐ（２１）カウンタを夫々“１”ずつインクリメントし、ｔｐ（１１）カウンタについては、インクリメントすることはない。一方、人物マトリクス生成テーブルＴＢＬ１については、フレームｆ４から登場人物に変化が生じていないため、フレームｆ４と同様にｔ（３３）、ｔ（４４）、ｔ（３４）及びｔ（４３）のカウンタがインクリメントされる。

その後、当該コンテンツデータを構成する全てのフレームについて同様の処理が実行され、人物マトリクス生成テーブルＴＢＬ１及び場所マトリクス生成テーブルＴＢＬ２の更新が完了すると、ストーリー分析部１６１は、これらのテーブルＴＢＬ１及びＴＢＬ２に格納されているカウンタ値ｔ（ｉｊ）及びｔｐ（ｉｊ）を上述した（式１）、（式５）に代入し、各テーブルの行方向のカウンタ値の和を算出する。かかる数値計算が各行について終了すると、ストーリー分析部１６１は、その算出したＴｔ（ｉｊ）、Ｔｔｐ（ｉｊ）を（式２）、（式６）に代入することによりａ（ｉｊ）、ｂ（ｉｊ）を算出する一方、この算出結果に基づいて（式３）と（式７）に示す人物マトリクス「Ａ」と場所マトリクス「Ｂ」を算出する。そして、ストーリー分析部１６１は、算出した人物マトリクス「Ａ」及び場所マトリクス「Ｂ」に対応するデータを生成して、ストーリーマトリクス生成処理を終了する。

（３）ストーリー分類時の動作
次に、図１０〜図１２を用いて、上述した図８ステップＳ４において実行されるストーリー分類処理について説明する。なお、図１０は、上述した図８のステップＳ４においてストーリー分析部１６１が実行する処理を示すフローチャートである。
同図に示すように、この処理においてストーリー分析部１６１は、まず、以下に示す人物グループ分類処理及び場所グループ分類処理を実行する(ステップＳａ１、Ｓａ２)。

（ｉ）人物グループ分類処理（ステップＳａ１）について
この人物グループ分類処理の処理内容を図１１に示す。同図に示すように、この処理において、ストーリー分類部１６１は、まず、上記図８のステップＳ３において、（式１１）に基づいて算出された、ｄＡ値が閾値ＲＡよりも大きいか否かを判定する（図１１ステップＳｂ１）。この判定の結果、「ｎｏ」と判定した場合には、当該コンテンツデータの人物グループを分類することが困難であるため、ストーリー分析部１６１は、当該コンテンツデータの人物グループを「人物グループａａ」に決定して（図１１ステップＳｂ１３）、処理を終了する。

一方、図１１ステップＳｂ１において「ｙｅｓ」と判定した場合、ストーリー分析部１６１は、Ｕマトリクスのα（ｉ）値に基づいて、潜在主人公を選択する（図１１ステップＳｂ２）。具体的には、ストーリー分析部１６１は、Ｕマトリクスのα（ｉ）値の中で、値の大きなα（ｉ）値に対応する人物を数名抽出し、当該人物を潜在主人公として選択する。例えば、図６に示す例の場合、「人物１」、「人物２」、「人物３」の３名のα（ｉ）値が高くなっている。このため、ストーリー分析部１６１は、この三名を潜在主人公として決定するのである。

なお、この際、潜在主人公として何名の人物を選択するかは任意であるが、例えば、予め選択人数を決定しておき、α（ｉ）値の大きい順から当該人数を選択するようにしても良いし、α（ｉ）値が一定値を越えている人物を潜在主人公として選択するようにしても良い。

このようにして、潜在主人公の選択が完了すると、ストーリー分析部１６１は、各潜在主人公に対応する最も大きなα（ｉ）値、すなわち、Ｕマトリクスの各潜在主人公に対応する行におけるα（ｉ）の最大値を抽出すると共に、当該α（ｉ）値の中に閾値Ｈαよりも大きいα（ｉ）値が存在するか否かを判定する（図１１ステップＳｂ３）。この判定の結果、「ｙｅｓ」と判定した場合、ストーリー分析部１６１は、閾値Ｈαを越えている潜在主人公が何名いるかを判定し（図１１ステップＳｂ４）、
ａ）閾値Ｈαを越えている潜在主人公が一人の場合：人物グループａｂ１
ｂ）閾値Ｈαを越えている潜在主人公が二人の場合：人物グループａｂ２
ｃ）閾値Ｈαを越えている潜在主人公が三人以上の場合：人物グループａｂ３
と、当該コンテンツデータの人物グループを決定して（図１１ステップＳｂ５〜ステップＳｂ７）、処理を終了する。

これに対して、図１１ステップＳｂ３において「ｎｏ」と判定した場合、今度は、図１１ステップＳｂ２において選択された各潜在主人公に対応する最も大きなα（ｉ）値の中に閾値Ｌαよりも大きいα（ｉ）値が存在するか否かを判定する（図１１ステップＳｂ８）。この判定の結果、「ｎｏ」と判定した場合、当該コンテンツデータの人物グループ分類は困難であることから、ストーリー分析部１６１は、当該コンテンツデータの人物グループを「人物グループａａ」に分類して（図１１ステップＳｂ１３）、処理を終了する。

一方、この図１１ステップＳｂ８における判定の結果、「ｙｅｓ」と判定した場合、ストーリー分析部１６１は、閾値Ｌαを越えている人物が何名いるかを判定し（図１１ステップＳｂ９）、
ａ）閾値Ｌαを越えている潜在主人公が一人の場合：人物グループａｂ４
ｂ）閾値Ｌαを越えている潜在主人公が二人の場合：人物グループａｂ５
ｃ）閾値Ｌαを越えている潜在主人公が三人以上の場合：人物グループａｂ６
と、当該コンテンツデータの人物グループを決定して（図１１ステップＳｂ１０〜ステップＳｂ１２）、処理を終了する。

（ｉｉ）場所グループ分類処理（ステップＳａ２）について
場所グループ分類処理の処理内容を図１２に示す。同図に示すように、この処理において、ストーリー分類部１６１は、まず、上記図８のステップＳ３において（式１２）に基づいて算出されたｄＢ値が閾値ＲＢよりも大きいか否かを判定する（図１２ステップＳｃ１）。この判定の結果、「ｎｏ」と判定した場合、ストーリー分析部１６１は、当該コンテンツデータの場所グループを「場所グループａａ」に決定して（図１２ステップＳｃ１３）、処理を終了する。

一方、図１２ステップＳｃ１において「ｙｅｓ」と判定した場合、ストーリー分析部１６１は、Ｖマトリクスのβ（ｉ）値に基づいて、潜在中心位置を選択する（図１２ステップＳｃ２）。なお、この際の選択方法は、上述した人物グループ分類処理におけるステップＳｂ２（図１１）と同様である。

このようにして、潜在中心位置の選択が完了すると、図１２ステップＳｃ２において選択された各潜在中心位置に対応する最も大きなβ（ｉｊ）値を抽出すると共に、当該β（ｉ）値の中に閾値Ｈβよりも大きいβ（ｉ）値が存在するか否かを判定する（図１２ステップＳｃ３）。この判定の結果、「ｙｅｓ」と判定した場合、ストーリー分析部１６１は、閾値Ｈβを越えている潜在中心位置が何カ所あるかを判定し（図１２ステップＳｃ４）、
ａ）閾値Ｈβを越えている潜在中心位置が一箇所の場合：場所グループａｂ１
ｂ）閾値Ｈβを越えている潜在中心位置が二箇所の場合：場所グループａｂ２
ｃ）閾値Ｈβを越えている潜在中心位置が三箇所以上の場合：場所グループａｂ３
と、当該コンテンツデータの場所グループを決定して（図１２ステップＳｃ５〜ステップＳｃ７）、処理を終了する。

これに対して、図１２ステップＳｃ３において「ｎｏ」と判定した場合、今度は、図１２ステップＳｃ２において選択された各潜在中心位置に対応する最も大きなβ（ｉ）値の中に閾値Ｌβよりも大きいβ（ｉ）値が存在するか否かを判定する（図１２ステップＳｃ８）。この判定の結果、「ｎｏ」と判定した場合、ストーリー分析部１６１は、当該コンテンツデータの場所グループを「場所グループａａ」に決定して（図１２ステップＳｃ１３）、処理を終了する。

一方、この図１２ステップＳｃ８における判定の結果、「ｙｅｓ」と判定した場合、ストーリー分析部１６１は、閾値Ｌβを越えている人物が何名いるかを判定し（図１２ステップＳｃ９）、
ａ）閾値Ｌβを越えている潜在中心位置が一箇所の場合：場所グループａｂ４
ｂ）閾値Ｌβを越えている潜在中心位置が二箇所の場合：場所グループａｂ５
ｃ）閾値Ｌβを越えている潜在中心位置が三箇所以上の場合：場所グループａｂ６
と、当該コンテンツデータの場所グループを決定して（図１２ステップＳｃ１０〜ステップＳｃ１２）、処理を終了する。

以上説明した、人物グループ分類処理（ステップＳａ１）及び場所グループ分類処理（ステップＳａ２）により当該コンテンツデータに対応した人物グループ及び場所グループが決定されると、ストーリー分析部１６１は、これらのグループに基づいて、当該コンテンツデータのストーリー分類を決定して（ステップＳａ３）、ストーリー分類処理を終了する。

この際、ストーリー分析部１６１は、当該コンテンツデータの付加情報に含まれているジャンル情報を抽出して、当該ジャンル情報に基づいて、使用すべきストーリー分類テーブルＴＢＬ３-ｋを決定する。そして、ストーリー分析部１６１は、当該ストーリー分類テーブルＴＢＬ３-ｋにおいて当該コンテンツデータの人物グループと場所グループの組み合わせに対応したストーリー分類を選択する。

（４）コンテンツデータ再生時の動作
次に、本実施形態にかかる画像処理装置１において、ＨＤ１２１に格納されているコンテンツデータを再生する際の動作について説明する。
まず、画像処理装置１内のコンテンツデータの再生を行う場合、ユーザは、ユーザＩ／Ｆ部１３を操作することにより再生を行う旨の入力操作を行うことが必要となる。こうして、ユーザがユーザＩ／Ｆ部１３を操作すると、記録再生部１６２は、ユーザＩ／Ｆ部１３から送られてきた入力信号に従い、ＨＤＤ１２に対して制御信号を出力する。この結果、ＨＤＤ１２において、各コンテンツデータと対応づけてＨＤ１２１に記録されているストーリー分類とジャンル名が読み出され、システム制御部１６へと送られる。

一方、ＨＤＤ１２からストーリー分類とジャンル名が送られてくると、記録再生部１６２は、これらの情報に基づいてａ）ジャンル選択画面と、ｂ）コンテンツ選択画面に対応した画像データを生成する。

ここで、これらの画面について説明すると以下の通りである。
ａ）ジャンル選択画面
ジャンル選択画面は、ＨＤ１２１に記録されているコンテンツデータの中から再生候補を選択する際に、まず、再生候補となるジャンルをユーザに選択させるための画面である。このジャンル選択画面には、図１３に示すようにＨＤ１２１に記録されている全てのコンテンツデータに対応したジャンル名がボタンとして表示される。
また、各ジャンル項目に対応したボタンには、アンカーが対応づけられており、ユーザがユーザＩ／Ｆ部１３に対して何れかの各ボタンを選択する入力操作を行うと、当該ボタンと対応づけられているコンテンツ選択画面が表示されることとなる。
なお、このジャンル選択画面を如何なる形式で生成するかは任意であるが、本実施形態においては、説明をより具体的なものとするため、ＨＴＭＬ（Hyper Text Markup Language）形式で生成されているものとする。

ｂ）コンテンツ選択画面
コンテンツ選択画面は、ジャンル毎に設けられた画面であり、ジャンル選択画面の各ボタンと対応づけられている。このジャンル選択画面の一例を図１４に示す。同図に示すように、このコンテンツ選択画面には、各ストーリー分類毎に当該ストーリー分類を意味するコメントと、コンテンツ名等が表示される。
かかるコンテンツ選択画面に対応した画像データを生成するに当たり、記録再生部１６２は、各コンテンツデータに対応するストーリー分類と、ジャンルに従って、本画面に対応する画像データを生成する。

なお、この際、図１４に示すように潜在主人公の氏名、年齢等の情報や潜在中心位置となっている場所名等を表示するようにしても良い。この場合、ストーリー分類処理に際して、潜在主人公の人物名、年齢等を人物情報から抽出して、当該コンテンツデータと対応づけてＨＤ１２１に記録するようにすれば良い。

かかるコンテンツ選択画面上において、ユーザが再生すべきコンテンツデータを選択する旨をユーザＩ／Ｆ部１３に入力すると、記録再生部１６２は、制御信号をＨＤＤ１２と画像表示部１４に出力する。すると、ＨＤＤ１２は、ＨＤ１２１から当該コンテンツデータを読み出して、画像表示部１４に供給し、画像表示部１４は、ＨＤＤ１２から供給されるコンテンツデータを、順次複合してモニタ２に供給する。この結果、モニタ２には、当該コンテンツデータに対応した画像が表示される。

このようにして、本実施形態にかかる画像処理装置１は、ストーリー性のあるコンテンツに登場する人物に対応する属性を示す人物情報と当該コンテンツにおける舞台として登場している場所に対応する属性を示す場所情報と、少なくとも何れか一方を示す付加情報を含むコンテンツデータを取得し、登場人物及び登場場所の、少なくとも何れか一方が、コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を示すストーリーマトリクスを、付加情報に基づいて算出して、当該ストーリーマトリクスに基づいてコンテンツデータを分類する構成となっている。

この構成により、各コンテンツデータの内容を客観的に示すストーリーマトリクスデータが生成されると共に、当該ストーリーマトリクスに基づいた客観的なデータ分類が可能となる。

更に、本実施形態にかかる画像処理装置１は、データ分類を決定するに際して、ストーリーマトリクスに基づいて、当該コンテンツにおける潜在主人公を決定すると共に、当該決定結果に基づいてコンテンツデータを分類する構成となっている。

この構成によれば、各コンテンツデータに対応するストーリー中において、誰が主人公であるのかまで、把握することが可能となるため、より正確なストーリー分類を実現することが可能となる。

また、本実施形態にかかる画像処理装置１は、データ分類を決定する際に、ストーリーマトリクスに基づいて、当該コンテンツにおけるメイン舞台となる潜在中心位置を決定すると共に、当該決定結果に基づいてコンテンツデータを分類する構成となっている。

この構成によれば、各コンテンツデータに対応するストーリー中において、どの場所がメイン舞台となっているのかまで、把握することが可能となるため、より正確なストーリー分類を実現することが可能となる。

更に、本実施形態にかかる画像処理装置１は、コンテンツデータの分類結果を、モニタ２に表示させる構成となっている。このため、分類結果をユーザに示すことが可能となる。

更にまた、本実施形態にかかる画像処理装置１は、コンテンツデータの分類結果に対応したデータ分類をコンテンツデータと対応づけて、ＨＤ１２１に記録する構成となっている。このため、ＨＤ１２１に記録されているコンテンツデータの検索に際して、データ分類を利用することが可能となり、従来に無い客観的な基準に基づくデータ検索が可能となる。

更にまた、本実施形態にかかる画像処理装置１は、ＨＤ１２１に記録されているデータ分類をモニタ２に表示させ、この表示の結果、ユーザによって指定されたデータ分類と対応づけてＨＤ１２１に記録されているコンテンツデータを処理する構成となっている。このため、検索結果に対応したデータを確実に処理することが可能となる。

なお、本実施形態において画像処理装置１は、ＴＶ受信部１１を介して受信されたコンテンツデータをＨＤＤ１２に記録する構成となっているが、このＴＶ受信部１１に変えて、インターネット接続用の装置を設け、この装置を介してインターネットからコンテンツデータをダウンロードするようにしても良い。

また、本実施形態においてＨＤＤ１２に記録されているコンテンツデータには、フレーム毎に付加情報が付加されている構成となっている。しかし、この付加情報は、連続する複数のフレームのおいて登場人物や場所等に変化がない場合には、複数のフレーム毎、或いは、カット毎、シーン毎に付加することも可能である。ただし、かかる構成を採用する場合には、例えば、「フレームｆ１〜フレームｆ３０まで、変化なし」等の情報を付加情報に追加することが必要となる。そして、ストーリーマトリクス生成処理（図８ステップＳ２）においてストーリー分析部１６１は、フレームｆ１〜フレームｆ３０までは、同一のカウンタｔ（ｉｊ）をインクリメントするようにすればよい。

更に、本実施形態において画像処理装置１は、コンテンツデータのジャンル毎にストーリー分類テーブルＴＢＬ３-ｋを有する構成となっている。しかし、ストーリー分類の精度が低くても良い場合には、ストーリー分類テーブルＴＢＬ３-ｋは、１つのテーブルにより実現するようにしても良い。また、高い精度が必要とされる場合には、ストーリー分類テーブルＴＢＬ３-ｋは、ジャンルのみならず、潜在主人公の男女、年齢等に分けて設けるようにしても良い。

更にまた、このストーリー分類テーブルＴＢＬ３-ｋは、適宜、変更できるようにしても良い。この場合、ストーリー分類テーブルＴＢＬ３-ｋは、インターネットからダウンロードして、テーブル記録部１５に格納するようにしても良いし、光ディスク等からインストールするようにしても良い。

また、本実施形態において画像処理装置１は、コンテンツデータの記録が行われるたびに、当該コンテンツデータのストーリー分類を決定する構成をとっているが、ストーリー分類の決定タイミングは、これに限らず、コンテンツデータの再生時等であっても良い。

また更に、本実施形態において閾値ＲＡ、Ｈα、Ｌα及び閾値ＲＢ、Ｈβ、Ｌβは、予め定められた数値としているが、不揮発性のメモリや光ディスク等に記録しておき、ユーザの嗜好に合わせて、適宜変更可能としても良い。また、この場合、インターネット等のネットワークを介してダウンロードする構成とすることも可能である。

更に、本実施形態では、コンテンツデータに対応するストーリー分類を決定する処理の動作を、ストーリー分析部１６１によって実行するようになっているが、当該記録処理の動作を規定するプログラムが記録された記録媒体と、それを読み取るコンピュータと、を備え、このコンピュータで当該プログラムを読み込むことによって上述と同様の記録処理の動作を行うようにしてもよい。

更にまた、本実施形態において画像処理装置１は、上記（式９）、（式１０）により、ストーリーマトリクスを変換した後にストーリー分類を決定する構成としているが、ストーリーマトリクスを変換することなくデータ分類を決定するようにしても良い。

［２］応用例
［２．１］応用例１
応用例１にかかる画像処理装置１は、図１に示した構成と同様の構成により実現されるものである。従って、特に示さない限り、図１の各構成要素は、第１実施形態と同様の構成を有し、同一の動作を行うものである。
上述した実施形態にかかる画像処理装置１は、各コンテンツデータに対応するストーリー分類を決定すると共に、ユーザが再生候補となるコンテンツデータを選択する際に、このストーリー分類を用いて各コンテンツデータの検索を容易にするためのものであった。これに対し、応用例１にかかる画像処理装置１は、ＨＤ１２１の空き容量が所定の閾値を下回った場合に、記録再生部１６２が上記ストーリー分類に基づいてコンテンツデータの自動消去を行うものである。なお、かかる閾値をどのような値とするかは、任意である。

かかる機能を実現するため、本応用例にかかる画像処理装置１のテーブル記録部１５には、図１５に示す再生履歴テーブルＴＢＬ４が格納されている。同図に示すように、再生履歴テーブルＴＢＬ４には、各ジャンルに対応するストーリー分類と対応づけて当該ストーリー分類に属するコンテンツデータの再生回数をカウントするためのカウンタが格納されている。また、この再生履歴テーブルＴＢＬ４には、各ジャンル毎に、当該ジャンルにおける再生回数の合計値をカウントするためのカウンタも格納されている。

ここで、この再生履歴テーブルＴＢＬ４は、コンテンツデータの再生が行われる度に、記録再生部１６２によって更新される。この際、記録再生部１６２は、当該コンテンツデータと対応づけてＨＤ１２１に記録されているジャンル名とストーリー分類を読み出し、当該分類に対応するフィールドのカウンタをインクリメントする。かかる更新がなされる結果、再生履歴テーブルＴＢＬ４には、各ストーリー分類に属するコンテンツデータの延べ再生回数と、その合計値が格納されることとなる。

なお、この再生履歴テーブルＴＢＬ４に格納されている各カウンタを如何なるタイミングでクリアするか否かは任意である。しかし、これらのカウンタ値は、ユーザの嗜好性を把握するために必要なものであるため、本応用例１においては、クリアされることなく継続的に再生履歴が蓄積されていくものとする。

応用例１において記録再生部１６２は、この再生履歴テーブルＴＢＬ４に格納されている各ジャンルに対応する再生回数の合計値が最も低いジャンルに属するコンテンツデータの中から消去対象を選択する。かかる選択に際して、記録再生部１６２は、再生履歴テーブルＴＢＬ４の当該ジャンルに対応するストーリー分類において、最も延べ再生回数の多いストーリー分類を決定する一方、当該ストーリー分類と最も内容的に関連性の低いストーリー分類に属するコンテンツデータを消去対象として選択する。

この際、記録再生部１６２は、延べ再生回数の最も多いストーリー分類と最も内容的に関連性の低いストーリー分類を以下のようにして選択する。

まず、上述した、ストーリー分類テーブルＴＢＬ３-ｋにおいては、各人物グループ及び場所グループに対応したストーリー分類が格納されているが、これらのグループは、
ａ）人物グループ
潜在主人公の人数と、当該主人公の各フレームに対する登場確率
ｂ）場所グループ
潜在中心位置の数と、当該場所が各フレームに登場する確率
によって決定されるものである。このことは、すなわち、次のような関係を意味している。

（ｉ）潜在主人公の人数が多い人物グループと少ない人物グループではストーリー内容的に関連性が低いと考えられるため、潜在主人公の人数の差が少なければ少ないほど内容的な関連性が高く、多ければ多いほど内容的関連性が低い。
（ｉｉ）潜在主人公の登場確率が高い人物グループと低い人物グループでは、ストーリー内容的な関連性が低い。
（ｉｉｉ）潜在中心位置となる場所数が多い場所グループと少ない場所グループではストーリー内容的に関連性が低いと考えられるため、潜在中心位置の数の差が少なければ少ないほど内容的な関連性が高く、多ければ多いほど内容的関連性が低い。
（ｉｖ）潜在中心位置となる場所の登場確率が高い場所グループと低い場所グループでは、ストーリー内容的な関連性が低い。

従って、上記ストーリー分類テーブルＴＢＬ３-ｋにおいて、横方向のフィールド位置及び縦方向のフィールド位置が離れれば離れるほどストーリー内容的な関連性が低いということができ、これを式で表すと、

と表すことができる。ここで、ｐ、ｑはストーリー分類テーブルＴＢＬ３-ｋで最も延べ再生回数の多かったフィールド位置を表し、ｉ、ｊは任意の当該フィールド位置を表す。すなわち、（式１３）において「（ｐ−ｉ）」は、ストーリー分類テーブルＴＢＬ３-ｋにおいて、最も延べ再生回数の多かったストーリー分類に対応するフィールドからの横方向のフィールド数を意味する。例えば、図７に示す例において最も延べ再生回数の多かったストーリー分類が「分類ａｂ１ａｂ１」である場合、「場所グループａｂ２」に属するストーリー分類については「（ｐ−ｉ）」＝１、「場所グループａｂ３」に属するストーリー分類については「（ｐ−ｉ）」＝２となる。

また、（式１３）の「（ｑ−ｊ）」は、ストーリー分類テーブルＴＢＬ３-ｋにおいて、最も延べ再生回数の多かったストーリー分類に対応するフィールドからの縦方向のフィールド数を意味する。例えば、図７に示す例において最も延べ再生回数の多かったストーリー分類が「分類ａｂ１ａｂ１」である場合、「人物グループａｂ２」に属するストーリー分類については「（ｑ−ｊ）」＝１、「人物グループａｂ３」に属するストーリー分類については「（ｑ−ｊ）」＝２となる。

応用例１において、記録再生部１６２は、この関係を利用して、消去対象とすべきストーリー分類、すなわち、ｅijが最も小さくなる分類を決定して、当該ストーリー分類に属するコンテンツデータを消去対象として選択する。

次に、かかる機能を実現する本応用例１にかかる画像処理装置１においてコンテンツデータを記録する際の動作について、次に説明する。

まず、ユーザが、ユーザＩ／Ｆ部１３を操作することにより、画像処理装置１の電源を入れると、ＴＶ受信部１１によって受信されたコンテンツデータが画像表示部１４によって復号され、画像信号等としてモニタ２に供給される。この結果、モニタ２には、放送中のコンテンツに対応した画像が表示されることとなる。

この状態において、ユーザがコンテンツデータの記録予約を行うと、記録再生部１６２は、その予約日時にコンテンツデータをＨＤＤ１２に記録させる。なお、この際の動作は、上述した「実施形態」と同様である。

このようにして、ＨＤＤ１２にコンテンツデータが記録されると、ストーリー分析部１６１は、上述した図８に示す処理を実行し、当該コンテンツデータに対応するストーリー分類を決定する。なお、この際の動作は、上述と同様であるため、詳細は省略する。

次いで、記録再生部１６２は、図１６に示すコンテンツデータの消去処理を実行する。

この処理において記録再生部１６２は、まず、ＨＤ１２１の記憶容量の空き容量を検索して、その空き容量が、所定の閾値を下回っているか否かを判定する（ステップＳｄ１）。この判定の結果、当該空き容量が未だ閾値を下回っていないものと判定すると（「ｎｏ」）、記録再生部１６２は、処理を終了する。

一方、ステップＳｄ１において「ｙｅｓ」と判定した場合、記録再生部１６２は、再生履歴テーブルＴＢＬ４を検索し、延べ再生回数の合計値が最も低いジャンルを選択する（ステップＳｄ２）。そして、記録再生部１６２は、このジャンルにおいて最も延べ再生回数の多いストーリー分類を選択すると共に、当該ジャンルに対応するストーリー分類テーブルＴＢＬ３-ｋにおいて横方向のフィールド位置及び縦方向のフィールド位置が最も離れているストーリー分類に属するコンテンツデータを（式１３）に従って選択する（ステップＳｄ３）。この際、
ａ）（式１３）の算出結果が同一となるストーリー分類が複数存在する場合
ｂ）選択されたストーリー分類に属するコンテンツデータが複数ある場合
の何れかに該当する場合、選択されたストーリー分類に属するコンテンツデータの内、最も記録日時の古いコンテンツデータを消去対象として選択する。

以上の処理により、消去対象となるコンテンツデータが選択されると、記録再生部１６２は、ＨＤＤ１２に制御信号を出力して（ステップＳｄ４）、処理を終了する。この結果、ＨＤＤ１２においては、その選択されたコンテンツデータがＨＤ１２１から消去される。

このようにして、本応用例１にかかる画像処理装置１においては、データ分類に基づいて、ＨＤ１２１に記録されているコンテンツデータの内において、消去すべきコンテンツデータを選択し、その選択された前記コンテンツデータを、ＨＤ１２１から消去する構成となっている。

この構成により、ユーザの嗜好に合致しないコンテンツデータが消去対象として自動的に決定されるため、ユーザの意図を反映しつつコンテンツデータの自動消去を行うことが可能となる。

また、本応用例１にかかる画像処理装置１においては、データ分類情報と、コンテンツデータの再生履歴の双方に基づいてユーザの嗜好に合致しない前記コンテンツを決定すると共に、その決定結果に基づいて消去すべきコンテンツデータを選択する構成を採用している。このため、よりユーザの嗜好性を反映した消去対象の決定が可能となる。

［２．２］応用例２
応用例２にかかる画像処理装置１は、図１に示した構成と同様の構成により実現されるものである。従って、特に示さない限り、図１の各構成要素は、第１実施形態と同様の構成を有し、同一の動作を行うものである。
ここで、応用例２は、各コンテンツデータに対応するストーリーマトリクスを各コンテンツデータのストーリー的な比較に利用したものである。

本応用例２においてストーリー分析部１６１は、上述の（式１）〜（式１０）に基づき、ストーリー比較を行うべき２つのコンテンツデータについて、Ｕ及びＶマトリクスを算出し、この両コンテンツデータに対応するＵ及びＶマトリクスに基づいて、ストーリー比較処理を行う。このストーリー比較処理について説明すると以下のとおりである。

［ストーリー比較処理］
ストーリー分析部１６１は、上述した（式９）の算出結果を（式１４）及び（式１５）に代入することによりＵマトリクスの自乗平均平方根を算出する。

なお、同式において「α１（ｉ）」及び「α２（ｉ）」は、比較対照となる各コンテンツデータのＵマトリクスに対応したパラメータであり、「β１（ｉ）」及び「β２（ｉ）」は、比較対照となる各コンテンツデータのＶマトリクスに対応したパラメータである。

ここで、（式１４）に示すように、ｃＡ値は、比較対照となる両コンテンツデータにおいて潜在主人公と各登場人物とが同一フレーム内に登場する確率の差分によって決定されるため、両コンテンツデータに対応するＵマトリクスにおいてパラメータ値が近い程ｃＡ値は小さくなる。従って、この値が小さくなればなる程、両コンテンツデータに対応するＵマトリクスは近似性を示すこととなり、両コンテンツデータにおいては、潜在主人公と他の登場人物との人間関係が類似したものとなると想定される。

ｃＢ値についても同様であり、このｃＢ値が小さくなればなるほど両コンテンツデータの潜在中心位置のストーリー中の位置づけが類似したものとなると想定される。

ストーリー分析部１６１は、このｃＡ値及びｃＢ値を、夫々、所定の閾値と比較することにより、両コンテンツデータに対応したストーリーにおける人間関係及び潜在中心位置のストーリー中における位置づけが類似しているか否かを判定し、この判定結果に基づいて、両コンテンツデータのストーリー的な比較を行う。なお、この閾値の値については任意である。

かかる判定を可能とするため、本変形例においてテーブル記録部１５には、図１７に示すストーリー比較テーブルＴＢＬ５が格納されており、このテーブルＴＢＬ５に基づいてストーリー分析部１６１は、比較対照となる両コンテンツデータのストーリー的な類似性を決定する。なお、同図に示す場合においては「類似度Ａ」＞「類似度Ｂ」＞「類似度Ｃ」＞「類似度Ｄ」の順番に両コンテンツデータにストーリー的な類似性が認められることを意味している。

次に、本応用例にかかる画像処理装置１においてストーリー比較を行う際の動作について詳細に説明する。

まず、ユーザが、ユーザＩ／Ｆ部１３を操作することにより、画像処理装置１の電源を入れ、コンテンツデータのストーリー比較を行う旨の入力操作をユーザＩ／Ｆ部１３に対して行うと、当該入力操作に対応した入力信号がシステム制御部１６へと送られる。ストーリー分析部１６１は、この入力信号に従って、ストーリー比較を行うべきコンテンツデータを選択するための選択画面に対応する画像データを生成して、画像表示部１４へと出力する。この結果、モニタ２には、当該画像データに対応した選択画面が表示される。なお、この選択画面の構成は任意である。

次いで、ユーザが、この選択画面の表示に従って、ユーザＩ／Ｆ部１３にストーリー比較を行うべき２つのコンテンツデータを選択する旨の入力操作を行うと、当該入力操作に対応した入力信号がシステム制御部１６へと出力される。ストーリー分析部１６１は、この入力信号に従って、図１８に示す処理を実行する。

この処理において、ストーリー分析部１６１は、まず、ストーリーの比較対照として選択された２つのコンテンツデータを読み出して（ステップＳｅ１）、両コンテンツデータに対応するストーリーマトリクスデータを生成すると共に（ステップＳｅ２）、この算出したストーリーマトリクスデータをＵ及びＶマトリクスに対応するデータに変換する（ステップＳｅ３）。なお、この際の処理については、上述した図８のステップＳ１〜Ｓ３と同様であるため詳細は省略する。

次いで、ストーリー分析部１６１は、ステップＳｅ３においてストーリーマトリクスを変換して得られたＵ及びＶマトリクスに対して図１９に示すストーリー比較処理を実行する（ステップＳｅ４）。この処理において、ストーリー分析部１６１は、まず、Ｕマトリクスによるストーリー比較処理と（図１９ステップＳｆ１）、Ｖマトリクスによるストーリー比較処理（図１９ステップＳｆ２）を実行する。この結果、両コンテンツデータに対応するストーリー中の人間関係が類似しているか否か及び潜在中心位置のストーリー中の位置づけが類似しているか否かが決定される。なお、これらの処理の詳細については後述する。

このようにして、図１９ステップＳｆ１、Ｓｆ２の結果、両コンテンツデータについての人間関係の類似性と、潜在中心位置の位置づけの類似性が決定すると、ストーリー分析部１６１は、その決定結果に基づいて、ストーリー比較テーブルＴＢＬ５を検索する。この際、例えば、両コンテンツデータに対応するストーリーが人間関係において類似しており、かつ、中心位置の位置づけについても類似している場合には、ストーリー分析部１６１は、両コンテンツデータは、「類似度Ａ」の関係にあるものと決定する。これに対して、ステップＳｆ１、Ｓｆ２の結果、両コンテンツデータに対応するストーリーが人間関係において類似しておらず、かつ、潜在中心位置の位置づけについても類似していない場合には、ストーリー分析部１６１は、両コンテンツデータは、「類似度Ｄ」の関係にあるものと決定する。

以上説明したストーリー比較処理が終了すると、ストーリー分析部１６１は、ステップＳｅ４において決定した「類似度Ａ」等の情報を付加した制御信号をＨＤＤ１２に出力する（ステップＳｅ５）。この結果、比較対照となったコンテンツデータと対応づけて「類似度Ａ」等の情報がＨＤ１２１に記録される。

次いで、ストーリー分析部１６１は、ストーリー比較結果の表示処理を行い（ステップＳｅ６）、処理を終了する。具体的には、例えば、「ストーリー比較の結果、両コンテンツは非常に似たものであると考えられます。」等の文字列を含む画像データを生成して、画像表示部１４へと供給するのである。この結果、モニタ２上に当該画像データに対応する画像が表示されることとなる。

その後、ユーザがユーザＩ／Ｆ部１３に対しコンテンツデータの再生を行う旨の入力操作を行うと、この入力操作に従って、記録再生部１６２は、当該コンテンツデータと対応づけて記録されているストーリー比較結果を検索して、「このコンテンツに内容的に類似しているコンテンツが存在します。再生対象は、このコンテンツデータでよろしいですか。」等の文字列と共に、類似性を有するコンテンツデータのタイトル等をモニタ２に表示させる。そして、ユーザがユーザＩ／Ｆ部１３に対して、タイトルを選択する旨の入力操作を行うと、記録再生部１６２は、その入力操作に従って、コンテンツデータの再生処理を実行する。

このようにして、本応用例にかかる画像処理装置によれば、各コンテンツデータ間のストーリー的な比較結果がコンテンツデータと対応づけて記録されるため、ユーザの選択したコンテンツデータとストーリー的に類似するコンテンツデータをユーザに提示することが可能となり、この結果、コンテンツデータの検索の不便さを解消することが可能となる。

次に、図２０を参照しつつ、上述した図１９ステップＳｆ１において実行されるＵマトリクスによるストーリー比較処理について説明した後に、図２１を参照しつつステップＳｆ２において実行されるＶマトリクスによるストーリー比較処理について説明する。

Ｕマトリクスによるストーリー比較処理において、ストーリー分析部１６１は、まず、両コンテンツデータに対応するＵマトリクスに含まれているパラメータ数から、両コンテンツデータの登場人物の人数が一致しているか否かを判定する（ステップＳｇ１）。この判定の結果、「ｎｏ」と判定すると、ストーリー分析部１６１は、両コンテンツデータのストーリー中における人間関係は類似していないものと決定して（ステップＳｇ５）、処理を終了する。

一方、この判定において「ｙｅｓ」と判定した場合、ストーリー分析部１６１は、上述した（式１４）に従って、ｃＡ値を算出すると共に（ステップＳｇ２）、その算出されたｃＡ値が予め定められている閾値以下であるか否かを判定する（ステップＳｇ３）。この判定の結果、「ｎｏ」と判定した場合、ストーリー分析部１６１は、両コンテンツデータのストーリー中における人間関係は類似していないものと決定して（ステップＳｇ５）、処理を終了する。

これに対して、ステップＳｇ３において「ｙｅｓ」と判定した場合、ストーリー分析部１６１は、両コンテンツデータのストーリー中における人間関係は類似しているものと決定して（ステップＳｇ４）、処理を終了する。

次に、Ｖマトリクスによるストーリー比較処理において、ストーリー分析部１６１は、まず、両コンテンツデータに対応するＶマトリクスに含まれているパラメータ数から、両コンテンツデータの登場場所数が一致しているか否かを判定する（ステップＳｈ１）。この判定の結果、「ｎｏ」と判定すると、ストーリー分析部１６１は、両コンテンツデータの中心位置のストーリー中における位置づけは類似していないものと決定して（ステップＳｈ５）、処理を終了する。

一方、この判定において「ｙｅｓ」と判定した場合、ストーリー分析部１６１は、上述した（式１５）に従って、ｃＢ値を算出すると共に（ステップＳｈ２）、その算出されたｃＢ値が予め定められている閾値以下であるか否かを判定する（ステップＳｈ３）。この判定の結果、「ｎｏ」と判定した場合、ストーリー分析部１６１は、両コンテンツデータの中心位置の位置づけは類似していないものと決定し（ステップＳｈ５）、「ｙｅｓ」と判定した場合、ストーリー分析部１６１は、両コンテンツデータの中心位置の位置づけは類似しているものと決定して（ステップＳｈ４）、処理を終了する。

このようにして、応用例２によれば、ストーリーマトリクスデータに基づき、コンテンツデータ間の登場確率の差分を算出し、その差分に基づいてコンテンツデータ間におけるコンテンツの類似性を決定することにより、コンテンツデータの比較を行う構成となっている。このため、従来人手に頼らざるをえなかった、ストーリー内容の比較作業を客観的指標に基づいて行うことが可能となる。また、この際、比較結果は、当該コンテンツデータと対応づけてＨＤ１２１に記録されるため、各コンテンツデータを検索する際に客観的指標として利用することが可能となる。

なお、本応用例では、コンテンツデータに対応するストーリー比較を行う際の処理を、ストーリー分析部１６１によって実行するようになっているが、当該記録処理の動作を規定するプログラムが記録された記録媒体と、それを読み取るコンピュータと、を備え、このコンピュータで当該プログラムを読み込むことによって上述と同様の記録処理の動作を行うようにしてもよい。

［２．３］応用例３
本応用例は、各コンテンツデータに対応するストーリーマトリクスデータを各コンテンツデータのストーリー的な要約を作成することに応用したものである。なお、本応用例にかかる画像処理装置は、図１に示した構成と同様の構成により実現されるものである。従って、特に示さない限り、図１の各構成要素は、第１実施形態と同様の構成を有し、同一の動作を行うものである。

本応用例において、上述した実施形態と異なる点は、ストーリー分析部１６１の実行する処理のみである。以下、本応用例にかかるストーリー分析部１６１が、ストーリーの要約に対応したデータ（以下、「要約データ」という）を生成する際の具体的動作について詳細に説明する。

まず、ユーザが、ユーザＩ／Ｆ部１３を操作することにより、画像処理装置１の電源を入れ、要約を作成する旨の入力操作をユーザＩ／Ｆ部１３に対して行うと、当該入力操作に対応した入力信号がシステム制御部１６へと送られる。ストーリー分析部１６１は、この入力信号に従って、要約を作成すべきコンテンツデータを選択するための選択画面に対応する画像データを生成して、画像表示部１４へと出力する。この結果、モニタ２には、当該画像データに対応した選択画面が表示される。なお、この選択画面の構成は任意である。

次いで、ユーザが、この選択画面の表示に従って、ユーザＩ／Ｆ部１３に要約を作成すべきコンテンツデータを選択する旨の入力操作を行うと、当該入力操作に対応した入力信号がシステム制御部１６へと出力される。ストーリー分析部１６１は、この入力信号に従って、図２２に示す処理を実行することにより、各コンテンツデータに対応するストーリーの要約データを生成する。

この処理において、まず、ストーリー分析部１６１は、入力信号に対応するコンテンツデータを読み出して（ステップＳｉ１）、当該コンテンツデータに対応したストーリーマトリクスを（式１）〜（式７）に従って算出し、その算出結果に対応するストーリーマトリクスデータを生成すると共に（ステップＳｉ２）、このストーリーマトリクスデータを（式９）及び（式１０）に従ってＵ及びＶマトリクスに対応するデータへと変換する（ステップＳｉ３）。なお、この際の処理については、上述した図８のステップＳ１〜Ｓ３と同様であるため詳細は省略する。

次いで、ストーリー分析部１６１は、ストーリー要約処理を実行する（ステップＳｉ４）。この処理において、ストーリー分析部１６１は、ステップＳｉ３において得られたＵ及びＶマトリクスに対応するデータに基づいて、潜在主人公と、潜在中心位置を決定する。この際、ストーリー分析部１６１は、上述した図１１ステップＳｂ２及び図１２ステップＳｃ２と同様に値の大きなα（ｉ）値及びβ（ｉ）値に対応した人物を数名抽出し、当該人物を潜在主人公として選択する。

このようにして、潜在主人公及び潜在中心位置が決定すると、ストーリー分析部１６１は、当該コンテンツデータにおいて、潜在主人公と潜在中心位置の双方が同一フレーム内に現れているフレームを選択する。この際、ストーリー分析部１６１は、当該コンテンツデータに対応した全てのフレームに含まれている付加情報を検索することにより、潜在主人公等の登場しているフレームを選択する。そして、ストーリー分析部１６１は、この選択したフレームに対応するデータを当該コンテンツデータから抽出し、該データを時系列的に配列し直すことにより当該コンテンツデータに対応する要約データを生成する。

以上の処理の結果、ステップＳｉ４のストーリー要約処理が終了すると、ストーリー分析部１６１は、ステップＳｉ４において作成した要約データを付加した制御信号をＨＤＤ１２に出力する（ステップＳｉ５）。この結果、要約作成対象となったコンテンツデータと対応づけて要約データがＨＤ１２１に記録される。

次いで、ストーリー分析部１６１は、要約データの表示処理を行い（ステップＳｉ６）、処理を終了する。具体的には、ストーリー分析部１６１から画像表示部１４に対して要約データを付加した制御信号が送られ、この結果、画像表示部１４によって、要約データに対応した画像信号等がモニタ２に出力される。

その後、ユーザがユーザＩ／Ｆ部１３に対しコンテンツデータの再生を行う旨の入力操作を行うと、この入力操作に従って、記録再生部１６２は、当該コンテンツデータと対応づけてＨＤ１２１に記録されている要約データを連続再生する。ユーザは、この連続再生されている要約データを参照しながら、自信が再生を所望するコンテンツデータを選択することが可能となる。

このようにして、本応用例によれば、ストーリー性のあるコンテンツに登場する人物の属性を示す人物情報と当該コンテンツにおける舞台として登場している場所の属性を示す場所情報と、少なくとも何れか一方を示す付加情報を含むコンテンツデータを取得し、登場人物と場所と、少なくとも何れか一方が、コンテンツのストーリー進行にかかる任意のフレームに登場する登場確率を示すストーリーマトリクスを、付加情報に基づいて算出し、このストーリーマトリクスに基づいてコンテンツにおける潜在主人公、または、潜在中心位置の少なくとも何れか一方を決定すると共に、当該コンテンツにおいて潜在主人公または潜在中心位置の登場する部分を時系列的に結合することにより、当該コンテンツデータの要約に対応する要約データを生成する構成となっている。このため、従来、人手に頼らざるを得なかったコンテンツの要約の作成が自動的に行われるため、従来不可能であった客観的指標に基づく要約の作成が可能となり、また、これに基づいてコンテンツデータの検索を行うことも可能となる。

なお、本応用例では、コンテンツデータに対応する要約データを生成する際の処理を、ストーリー分析部１６１によって実行するようになっているが、当該記録処理の動作を規定するプログラムが記録された記録媒体と、それを読み取るコンピュータと、を備え、このコンピュータで当該プログラムを読み込むことによって上述と同様の記録処理の動作を行うようにしてもよい。

第１実施形態における画像処理装置１の構成を示すブロック図である。 本実施形態におけるコンテンツデータのデータフォーマットを示す図である。 同実施形態における人物マトリクス生成テーブルＴＢＬ１の内容を示す図である。 同実施形態における場所マトリクス生成テーブルＴＢＬ２の内容を示す図である。 同実施形態における人物マトリクスの実験的な算出結果を示す図である。 同実施形態におけるＵマトリクスの実験的な算出結果を示す図である。 同実施形態におけるストーリー分類テーブルＴＢＬ３-ｋの内容を示す図である。 同実施形態におけるストーリー分析部１６１が実行する処理を示すフローチャートである。 コンテンツデータを構成するフレームの変化例を示す図である。 同実施形態におけるストーリー分析部１６１が実行する処理を示すフローチャートである。 同実施形態におけるストーリー分析部１６１が実行する処理を示すフローチャートである。 同実施形態におけるストーリー分析部１６１が実行する処理を示すフローチャートである。 同実施形態におけるモニタ２に表示される画面の表示例を示した図である。 同実施形態におけるモニタ２に表示される画面の表示例を示した図である。 応用例１における再生履歴テーブルＴＢＬ４の内容を示す図である。 同応用例における記録再生部１６２が実行する処理を示すフローチャートである。 応用例２におけるストーリー比較テーブルＴＢＬ５の内容を示す図である。 同応用例におけるストーリー分析部１６１が実行する処理を示すフローチャートである。 同応用例におけるストーリー分析部１６１が実行する処理を示すフローチャートである。 同応用例におけるストーリー分析部１６１が実行する処理を示すフローチャートである。 同応用例におけるストーリー分析部１６１が実行する処理を示すフローチャートである。 応用例３におけるストーリー分析部１６１が実行する処理を示すフローチャートである。

符号の説明

１・・・画像処理装置
１１・・・ＴＶ受信部
１２・・・ＨＤＤ
１２１・・・ＨＤ
１３・・・ユーザＩ／Ｆ部
１４・・・画像表示部
１５・・・テーブル記録部
１６・・・システム制御部
１６１・・・ストーリー分析部
１６２・・・記録再生部
２・・・モニタ
ＴＢＬ１・・・人物マトリクス生成テーブル
ＴＢＬ２・・・場所マトリクス生成テーブル
ＴＢＬ２・・・コンテンツ管理テーブル
ＴＢＬ３-ｋ・・・ストーリー分類テーブル
ＴＢＬ４・・・再生履歴テーブル
ＴＢＬ５・・・ストーリー比較テーブル

Claims (17)

1. ストーリー性のあるコンテンツに登場するキャラクタに対応する属性と当該コンテンツにおける舞台として登場している設定場所に対応する属性と、少なくとも何れか一方の属性を示す付加情報を含むコンテンツデータを取得する第１ステップと、
   前記キャラクタ及び前記設定場所の、少なくとも何れか一方が、前記コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を、前記付加情報に基づいて算出する第２ステップと、
   前記登場確率に基づいて前記コンテンツデータを分類する第３ステップと
   を具備することを特徴とするデータ分類方法。
2. 前記第３ステップにおいては、
   前記登場確率に基づいて、当該コンテンツにおける主たる前記キャラクタを決定すると共に、当該決定結果に基づいて前記コンテンツデータを分類する
   ことを特徴とする請求項１に記載のデータ分類方法。
3. 前記第３ステップにおいては、
   前記登場確率に基づいて、当該コンテンツにおけるメイン舞台となる前記設定場所を決定すると共に、当該決定結果に基づいて前記コンテンツデータを分類する
   ことを特徴とする請求項１または請求項２に記載のデータ分類方法。
4. 前記第３ステップの後に行われるステップであって、
   前記第３ステップにおける前記コンテンツデータの分類結果を、表示手段に表示させる第４ステップを
   更に有することを特徴とする請求項１に記載のデータ分類方法。
5. 前記第３ステップの後に行われるステップであって、
   前記第３ステップにおける前記コンテンツデータの分類結果に対応した分類情報を生成する第５ステップと、
   前記分類情報を前記コンテンツデータと対応づけて、記録媒体に記録する第６ステップと
   を具備することを特徴とする請求項１に記載のデータ分類方法。
6. 前記第６ステップの後に行われるステップであって、
   前記記録媒体に記録されている前記分類情報を表示手段に表示させる第７ステップと、
   前記第７ステップにおいて前記分類情報を表示した結果、ユーザによって指定された分類情報と対応づけて前記記録媒体に記録されている前記コンテンツデータを処理する第８ステップと
   を更に有することを特徴とする請求項５に記載のデータ分類方法。
7. 前記第６ステップの後に行われるステップであって、
   前記分類情報に基づいて、前記記録媒体に記録されている前記コンテンツデータの中から消去すべき前記コンテンツデータを選択する第９ステップと、
   前記第７ステップにおいて選択された前記コンテンツデータを、前記記録媒体から消去する第１０ステップと
   を更に有することを特徴とする請求項５に記載のデータ分類方法。
8. 前記第９ステップにおいては、
   前記分類情報と、前記コンテンツデータの再生履歴の双方に基づいてユーザの嗜好に合致しない前記コンテンツを決定すると共に、その決定結果に基づいて消去すべき前記コンテンツデータを選択することを特徴とする請求項７に記載のデータ分類方法。
9. 前記第２ステップの後に行われるステップであって、
   前記登場確率に基づいて、当該コンテンツデータと当該他のコンテンツデータの間において前記登場確率の差分を算出する第１１ステップと、
   前記差分に基づいて当該コンテンツデータと当該他のコンテンツデータの間における前記コンテンツの類似性を決定する第１２ステップと
   を具備することを特徴とする請求項１に記載のデータ分類方法。
10. 前記第１ステップに先だってなされる過程であって、
    放送波を受信して、この放送波に含まれている前記コンテンツデータを記録媒体に記録する第１３ステップを更に有し、
    前記第１ステップにおいては、
    前記記録媒体から前記コンテンツデータを読み出すことにより、前記コンテンツデータを取得する
    ことを特徴とする請求項１に記載のデータ分類方法。
11. ストーリー性のあるコンテンツに登場するキャラクタに対応する属性と当該コンテンツにおける舞台として登場している設定場所に対応する属性と、少なくとも何れか一方の属性を示す付加情報を含むコンテンツデータを取得する第１ステップと、
    前記キャラクタと前記設定場所と、少なくとも何れか一方が、前記コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を、前記付加情報に基づいて算出する第２ステップと、
    前記登場確率に基づいて前記コンテンツにおける主たる前記キャラクタ、または、前記コンテンツにおけるメイン舞台となる前記設定場所の少なくとも何れか一方を決定する第３ステップと、
    前記第３ステップによって決定されたキャラクタまたは設定場所の登場する部分を時系列的に結合することにより、前記コンテンツデータの要約に対応する要約データを生成する第４ステップと
    を具備することを特徴とする要約データ生成方法。
12. ストーリー性のあるコンテンツに登場するキャラクタに対応する属性と当該コンテンツにおける舞台として登場している設定場所に対応する属性と、少なくとも何れか一方の属性を示す付加情報を含むコンテンツデータを取得するコンテンツデータ取得手段と、
    前記キャラクタと前記設定場所と、少なくとも何れか一方が、前記コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を、前記付加情報に基づいて算出する算出手段と、
    前記登場確率に基づいて前記コンテンツデータを分類する分類手段と
    を具備することを特徴とするデータ分類装置。
13. ストーリー性のあるコンテンツに登場するキャラクタに対応する属性と当該コンテンツにおける舞台として登場している設定場所に対応する属性と、少なくとも何れか一方の属性を示す付加情報を含むコンテンツデータを取得するコンテンツデータ取得手段と、
    前記キャラクタと前記設定場所と、少なくとも何れか一方が、前記コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を、前記付加情報に基づいて算出する算出手段と、
    前記登場確率に基づいて前記コンテンツにおける主たる前記キャラクタ、または、前記コンテンツにおけるメイン舞台となる前記設定場所の少なくとも何れか一方を決定する決定手段と、
    前記決定手段によって決定されたキャラクタまたは設定場所の登場する部分を時系列的に結合することにより、前記コンテンツデータの要約に対応する要約データを生成する要約データ生成手段と
    を具備することを特徴とする要約データ生成装置。
14. コンピュータによって、コンテンツデータの分類を行うためのデータ分類プログラムであって、
    前記コンピュータを、
    ストーリー性のあるコンテンツに登場するキャラクタに対応する属性と当該コンテンツにおける舞台として登場している設定場所に対応する属性と、少なくとも何れか一方の属性を示す付加情報を含むコンテンツデータを取得するコンテンツデータ取得手段、
    前記キャラクタと前記設定場所と、少なくとも何れか一方が、前記コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を、前記付加情報に基づいて算出する算出手段、
    前記登場確率に基づいて前記コンテンツデータを分類する分類手段
    として機能させることを特徴とするデータ分類プログラム。
15. コンピュータによって、コンテンツデータの分類を行うための要約データ生成プログラムであって、
    前記コンピュータを、
    ストーリー性のあるコンテンツに登場するキャラクタに対応する属性と当該コンテンツにおける舞台として登場している設定場所に対応する属性と、少なくとも何れか一方の属性を示す付加情報を含むコンテンツデータを取得するコンテンツデータ取得手段、
    前記キャラクタと前記設定場所と、少なくとも何れか一方が、前記コンテンツのストーリー進行にかかる任意の時点に登場する登場確率を、前記付加情報に基づいて算出する算出手段、
    前記登場確率に基づいて前記コンテンツにおける主たる前記キャラクタ、または、前記コンテンツにおけるメイン舞台となる前記設定場所の少なくとも何れか一方を決定する決定手段、
    前記決定手段によって決定されたキャラクタまたは設定場所の登場する部分を時系列的に結合することにより、前記コンテンツデータの要約に対応する要約データを生成する要約データ生成手段
    として機能させることを特徴とする要約データ生成プログラム。
16. 請求項１４に記載のデータ分類プログラムを記録したコンピュータに読みとり可能な情報記録媒体。
17. 請求項１５に記載の要約データ生成プログラムを記録したコンピュータに読みとり可能な情報記録媒体。

Images