JP2005167456A

JP2005167456A - Ａｖコンテンツ興趣特徴抽出方法及びａｖコンテンツ興趣特徴抽出装置

Info

Publication number: JP2005167456A
Application number: JP2003401248A
Authority: JP
Inventors: Meiko Masaki; 芽衣子正木; Masayuki Misaki; 正之三▲さき▼; Takeshi Kawamura; 岳河村; Toshihiko Date; 俊彦伊達
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-12-01
Filing date: 2003-12-01
Publication date: 2005-06-23

Abstract

【課題】ＡＶコンテンツのジャンル毎に特定の特徴量に絞り、その特徴量が変化する区間のみに着目しているため、作品全体の中でのその場面の位置づけや、全体の流れといった番組構造に関わる興趣特徴パターンを抽出することができない。また、多様なユーザの視点に答えるためには、ジャンル毎に特定の特徴量だけの増減に着目した、狭い区間での判定ではなく、作品全体を大局的に判断する仕組みが必要である。
【解決手段】前記従来の課題を解決するために、ＡＶコンテンツにおける興趣の時間的変化の様子を作品毎にパターン化し、そのパターンを用いてＡＶコンテンツの分類を行うことができるＡＶコンテンツ興趣特徴抽出装置を提供する。このことによって、大量のＡＶコンテンツからユーザが所望するＡＶコンテンツをユーザ自身で直感的に選択が可能となる。
【選択図】図１

Description

本発明はＡＶコンテンツの録画や再生、編集等を行うＡＶコンテンツ関連装置において、ＡＶコンテンツの検索あるいは内容把握の効率化を図るために、蓄積されたＡＶコンテンツに対し、興趣を示す興趣特徴を推定し、その興趣特徴の時間推移を用いて１作品毎に表示や分類及び検索を行うための装置に関するものである。

近年、ＡＶコンテンツの録画や再生、編集等ＡＶコンテンツを行うＡＶコンテンツ関連装置の大容量化に伴い、映像の検索あるいは内容把握の効率化を図るための手段が求められている。その一つとして、ＡＶコンテンツを短時間に要約したＡＶコンテンツ（以下要約コンテンツという）を提供するダイジェスト再生（要約再生）が研究されている。要約再生では、ＡＶコンテンツの中から重要と思われるシーンを利用し、残りシーンの削除を行い、短縮した時間での再生を可能にしている。重要と思われるシーンの判定には、スポーツやニュースなど特定のジャンルごとに、特定のパラメータを設定し、判定を行っている。そのため、特定のパラメータの値が大きくなる近傍付近のみでそのシーンが要約再生として採用されるかが決められている。

従来、ＡＶコンテンツデータベースなど大量に蓄積されたものを効率的に利用するため、ジャンル情報を取得し、音声の特徴を利用して、番組の要約を行っているものがあった（例えば、特許文献１参照）。図９は、前記特許文献１に記載された従来例を示すものである。

要約再生装置２０１は、入力された音声映像情報に付帯されている付帯情報を検出し、付帯情報を分離するデマルチプレクサ２１０と、デマルチプレクサ２１０によって付帯情報が除去された音声映像情報から予め設定されたパラメータに基づいて音声特徴量を取得する音声特徴量抽出部２０２と、デマルチプレクサ２１０から入力された付帯情報からジャンル情報を取得するジャンル情報取得部２０３と、ジャンル情報に基づいて音声特徴量を抽出する際の最適なパラメータを設定するパラメータ設定部２０６と、設定されたパラメータに適合する音声特徴量に基づいて蓄積された音声映像情報における抽出すべき要約セグメントを決定するとともにこの要約セグメントに基づいて再生部２０７を制御する制御部２０８とを備え、ジャンル毎に最適化されたパラメータによって要約再生を行うようになっている。
特開２００３−１０１９３９号公報（第１頁、図１）

しかしながら、前記従来の構成では、ＡＶコンテンツのジャンル毎に特定の特徴量に絞り、その特徴量が変化する区間のみに着目しているため、作品全体の中でのその場面の位置づけや、全体の流れといった番組構造に関わる興趣特徴パターンを抽出することができない。例えば、ニュース番組では冒頭に事件の見出しとなるような一文を話し、次の事件の内容に移る際には一定の無音区間があるなど、決まった構造をもちやすい。そのため、ある特定の特徴量のみで、結果を述べていると思われるシーンを定めることができる。しかし、結果のみが重要というわけではなく、何が重要かはユーザによって異なる。結果のみではなく、全体の話の展開を楽しむドラマや、選手のかけひきに着目し順を追って見たい視聴者には、結果のみに着目し、その他のシーンでは、削除を伴うＡＶコンテンツの要約再生は適切ではない。また、このように、多様なユーザの視点に答えるためには、ジャンル毎に特定の特徴量だけの増減に着目した、狭い区間での判定ではなく、作品全体を大局的に判断する仕組みが必要である。

本発明は、前記従来の課題を解決するもので、大量のＡＶコンテンツからユーザが所望するＡＶコンテンツをユーザ自身で直感的に選択を可能にするために、ＡＶコンテンツにおける興趣の時間的変化の様子を作品毎にパターン化し、そのパターンを用いてＡＶコンテンツの分類を行うことができるＡＶコンテンツ興趣特徴抽出装置を提供することを目的とする。ＡＶコンテンツの興趣パターンは、スポーツ中継番組であれば、得点シーンなど、観客が盛り上がっている場面、バラエティ番組では、笑いや拍手が多く発生している場面などで値が大きくなる。

前記従来の課題を解決するために、請求項１の発明は、ＡＶコンテンツ興趣特徴抽出方法において、ＡＶコンテンツのオーディオ信号から所定の音響的な特徴量を算出し、前記ＡＶコンテンツに含まれる書誌情報を抽出し、前記音響的な特徴量から所定の音響イベントを算出し、前記書誌情報に含まれる前記ＡＶコンテンツの番組興趣特徴を推定するために用いる番組興趣特徴推定情報を抽出し、前記音響イベントと、前記番組興趣特徴推定情報とから、予め定められた推定条件に基づいて前記番組興趣特徴を算出することを特徴とするものである。

また、請求項２の発明は、請求項１記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴推定情報はＡＶコンテンツのジャンルを示す情報であることを特徴とするものである。

また、請求項３の発明は、請求項１記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴推定情報は前記書誌情報から推定することを特徴とするものである。

また、請求項４の発明は、請求項１記載のＡＶコンテンツ興趣特徴抽出方法において、前記音響イベントは特定の意味をもつ単音や音の集まりであることを特徴とするものである。

また、請求項５の発明は、請求項１記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴の時間的な変動を時系列で表示することを特徴とするものである。

また、請求項６の発明は、請求項５記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴の時間的な変動と共に、前記書誌情報もあわせて表示することを特徴とするものである。

また、請求項７の発明は、請求項５または６記載のＡＶコンテンツ興趣特徴抽出方法において、表示された前記番組興趣特徴において指定された箇所に対応する前記ＡＶコンテンツの時間位置から前記ＡＶコンテンツを再生可能にすることを特徴とするものである。

また、請求項８の発明は、請求項１記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴から番組興趣特徴パターンを抽出し、前記抽出した番組興趣特徴パターンを予め定められた基準に従って分類することを特徴とするものである。

また、請求項９の発明は、請求項８記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴パターンは作品時間で正規化することを特徴とするものである。

また、請求項１０の発明は、請求項８記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴パターンは前記番組興趣特徴の時間的な変動を示す曲線の山の数に着目し分類することを特徴とするものである。

また、請求項１１の発明は、請求項８記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴パターンは前記番組興趣特徴の時間的な変動を示す曲線の山の位置に着目し分類することを特徴とするものである。

また、請求項１２の発明は、請求項８記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴パターンは前記番組興趣特徴の時間的な変動を示す曲線の山の数と位置に着目し分類することを特徴とするものである。

また、請求項１３の発明は、請求項８記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴パターンから前記ＡＶコンテンツの重要箇所を抽出することを特徴とするものである。

また、請求項１４の発明は、請求項１３記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴パターンごとに前記重要箇所の抽出方法を設定することを特徴とするものである。

また、請求項１５の発明は、請求項１３記載のＡＶコンテンツ興趣特徴抽出方法において、前記重要箇所は前記番組興趣特徴パターン曲線の山の部分を抽出することを特徴とするものである。

また、請求項１６の発明は、請求項１３記載のＡＶコンテンツ興趣特徴抽出方法において、前記重要箇所として抽出された部分をつなぎあわせて再生可能にすることを特徴とするものである。

また、請求項１７の発明は、請求項１３記載のＡＶコンテンツ興趣特徴抽出方法において、前記重要箇所として抽出されなかった部分を速い速度で再生可能にすることを特徴とするものである。

また、請求項１８の発明は、請求項１記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴推定情報から前記算出する所定の音響的な特徴量を決定することを特徴とするものである。

また、請求項１９の発明は、ＡＶコンテンツ興趣特徴抽出方法において、ＡＶコンテンツの映像信号から所定の動画像特徴量を算出し、前記ＡＶコンテンツに含まれる書誌情報を抽出し、前記動画像特徴量から所定の動画像イベントを算出し、前記書誌情報に含まれる前記ＡＶコンテンツの番組興趣特徴を推定するために用いる番組興趣特徴推定情報を抽出し、前記動画像イベントと、前記番組興趣特徴推定情報とから、予め定められた推定条件に基づいて前記番組興趣特徴を算出することを特徴とするものである。

また、請求項２０の発明は、請求項１９記載のＡＶコンテンツ興趣特徴抽出方法において、前記動画像イベントは特定の意味をもつ画像の集まりであることを特徴とするものである。

また、請求項２１の発明は、請求項１９記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴推定情報から前記算出する所定の動画像特徴量を決定することを特徴とするものである。

また、請求項２２の発明は、ＡＶコンテンツ興趣特徴抽出方法において、ＡＶコンテンツの映像信号から所定の動画像特徴量を算出し、前記ＡＶコンテンツのオーディオ信号から所定の音響的な特徴量を算出し、前記ＡＶコンテンツに含まれる書誌情報を抽出し、前記動画像特徴量から所定の動画像イベントを算出し、前記音響的な特徴量から所定の音響イベントを算出し、前記書誌情報に含まれる前記ＡＶコンテンツの番組興趣特徴を推定するために用いる番組興趣特徴推定情報を抽出し、前記動画像イベントと、前記音響イベントと、前記番組興趣特徴推定情報とから、予め定められた推定条件に基づいて前記番組興趣特徴を算出することを特徴とするものである。

また、請求項２３の発明は、請求項２２記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴推定情報から前記算出する所定の音響的な特徴量および動画特徴量を決定することを特徴とするものである。

また、請求項２４の発明は、請求項８記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴パターンを蓄積し、検索条件となる前記番組興趣特徴パターンを指定し、類似した前記番組興趣特徴パターンをもつ前記ＡＶコンテンツを検索することを特徴とするものである。

また、請求項２５の発明は、請求項２４記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴パターンは前記書誌情報をあわせて蓄積することを特徴とするものである。

また、請求項２６の発明は、請求項２４記載のＡＶコンテンツ興趣特徴抽出方法において、前記検索条件は前記番組興趣特徴パターンと時間情報をもつことを特徴とするものである。

また、請求項２７の発明は、請求項２４記載のＡＶコンテンツ興趣特徴抽出方法において、前記検索条件は前記番組興趣特徴パターンとキーワードをもつことを特徴とするものである。

また、請求項２８の発明は、請求項２４記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴パターンと、前記番組興趣特徴パターンに対応する語句との関係を保持し、前記検索条件は前記番組興趣特徴パターンに対応した語句であることを特徴とするものである。

また、請求項２９の発明は、請求項２４記載のＡＶコンテンツ興趣特徴抽出方法において、過去にユーザが入力した前記検索条件の履歴を保持しておき、前記ユーザが前記検索条件を入力する際に前記保持された履歴から前記検索条件を選択可能であることを特徴とするものである。

また、請求項３０の発明は、請求項２９記載のＡＶコンテンツ興趣特徴抽出方法において、前記検索条件の履歴は前記ユーザ自身もしくは前記ユーザと嗜好の類似した人物の履歴であることを特徴とするものである。

また、請求項３１の発明は、請求項１、１９、２２のいずれかに記載のＡＶコンテンツ興趣特徴抽出方法において、前記番組興趣特徴の推定条件が変更可能であることを特徴とするものである。

また、請求項３２の発明は、請求項３１記載のＡＶコンテンツ興趣特徴抽出方法において、前記推定条件は重視する前記音響イベントや前記動画像イベントであることを特徴とするものである。

また、請求項３３の発明は、ＡＶコンテンツ興趣特徴抽出装置において、ＡＶコンテンツのオーディオ信号から所定の音響的な特徴量を算出するオーディオ特徴量抽出手段と、前記ＡＶコンテンツに含まれる書誌情報を抽出する書誌情報抽出手段と、前記音響的な特徴量から所定の音響イベントを算出する音響イベント抽出手段と、前記書誌情報に含まれる前記ＡＶコンテンツの番組興趣特徴を推定するために用いる番組興趣特徴推定情報を抽出する興趣条件選択手段と、前記音響イベントと、前記番組興趣特徴推定情報とから、予め定められた推定条件に基づいて前記番組興趣特徴を算出する興趣推定手段とを有することを特徴とするものである。

また、請求項３４の発明は、請求項３３記載のＡＶコンテンツ興趣特徴抽出装置において、前記興番組興趣特徴推定情報はＡＶコンテンツのジャンルを示す情報であることを特徴とするものである。

また、請求項３５の発明は、請求項３３記載のＡＶコンテンツ興趣特徴抽出装置において、前記興趣条件選択手段は前記書誌情報から前記番組興趣特徴推定情報を推定することを特徴とするものである。

また、請求項３６の発明は、請求項３３記載のＡＶコンテンツ興趣特徴抽出装置において、前記音響イベントは特定の意味をもつ単音や音の集まりであることを特徴とするものである。

また、請求項３７の発明は、請求項３３記載のＡＶコンテンツ興趣特徴抽出装置において、前記番組興趣特徴の時間的な変動を時系列で表示する興趣推移表示手段を有することを特徴とするものである。

また、請求項３８の発明は、請求項３７記載のＡＶコンテンツ興趣特徴抽出装置において、前記興趣推移表示手段は、前記番組興趣情報の時間的な変動と共に前記書誌情報もあわせて表示することを特徴とするものである。

また、請求項３９の発明は、請求項３７または３８記載のＡＶコンテンツ興趣特徴抽出装置において、前記興趣推移表示手段は、表示された前記番組興趣特徴において指定された箇所に対応する前記ＡＶコンテンツの時間位置から前記ＡＶコンテンツを再生可能にすることを特徴とするものである。

また、請求項４０の発明は、請求項３３記載のＡＶコンテンツ興趣特徴抽出装置において、前記番組興趣特徴から番組興趣特徴パターンを抽出し、前記抽出した番組興趣特徴パターンを予め定められた基準に従って分類する状態遷移判定分類手段を有することを特徴とするものである。

また、請求項４１の発明は、請求項４０記載のＡＶコンテンツ興趣特徴抽出装置において、前記状態遷移判定分類手段は、前記番組興趣特徴を作品時間で正規化し、前記番組興趣特徴パターンに分類することを特徴とするものである。

また、請求項４２の発明は、請求項４０記載のＡＶコンテンツ興趣特徴抽出装置において、前記状態遷移判定分類手段は、前記番組興趣特徴の時間的な変動を示す曲線の山の数に着目して前記番組興趣特徴パターンに分類することを特徴とするものである。

また、請求項４３の発明は、請求項４０記載のＡＶコンテンツ興趣特徴抽出装置において、前記状態遷移判定分類手段は、前記番組興趣特徴の時間的な変動を示す曲線の山の位置に着目して前記番組興趣特徴パターンに分類することを特徴とするものである。

また、請求項４４の発明は、請求項４０記載のＡＶコンテンツ興趣特徴抽出装置において、前記状態遷移判定分類手段は、前記番組興趣特徴の時間的な変動を示す曲線の山の数と位置に着目して前記番組興趣特徴パターンに分類することを特徴とするものである。

また、請求項４５の発明は、請求項４０記載のＡＶコンテンツ興趣特徴抽出装置において、前記番組興趣特徴パターンから前記ＡＶコンテンツの重要箇所を抽出する重要箇所抽出手段を有することを特徴とするものである。

また、請求項４６の発明は、請求項４５記載のＡＶコンテンツ興趣特徴抽出装置において、前記重要箇所抽出手段は前記番組興趣特徴パターンごとに抽出方法を設定することを特徴とするものである。

また、請求項４７の発明は、請求項４５記載のＡＶコンテンツ興趣特徴抽出装置において、前記重要箇所抽出手段は前記番組興趣特徴パターン曲線の山の部分を抽出することを特徴とするものである。

また、請求項４８の発明は、請求項４５記載のＡＶコンテンツ興趣特徴抽出装置において、前記重要箇所抽出手段により前記重要箇所として抽出された部分をつなぎあわせて再生可能にすることを特徴とするものである。

また、請求項４９の発明は、請求項４５記載のＡＶコンテンツ興趣特徴抽出装置において、前記重要箇所抽出手段により前記重要箇所として抽出されなかった部分を速い速度で再生可能にすることを特徴とするものである。

また、請求項５０の発明は、請求項３３記載のＡＶコンテンツ興趣特徴抽出装置において、前記番組興趣特徴推定情報から前記算出する所定の音響的な特徴量を決定することを特徴とするものである。

また、請求項５１の発明は、ＡＶコンテンツ興趣特徴抽出装置において、ＡＶコンテンツの映像信号から所定の動画像特徴量を算出する動画像特徴量抽出手段と、前記ＡＶコンテンツに含まれる書誌情報を抽出する書誌情報抽出手段と、前記動画像特徴量から所定の動画像イベントを算出する動画像イベント抽出手段と、前記書誌情報に含まれる前記ＡＶコンテンツの番組興趣特徴を推定するために用いる番組興趣特徴推定情報を抽出する興趣条件選択手段と、前記動画像イベントと、前記番組興趣特徴推定情報とから、予め定められた推定条件に基づいて前記番組興趣特徴を算出する興趣特徴推定手段とを有することを特徴とするものである。

また、請求項５２の発明は、請求項５１記載のＡＶコンテンツ興趣特徴抽出装置において、前記番組興趣特徴推定情報から前記算出する所定の動画像特徴量を決定することを特徴とするものである。

また、請求項５３の発明は、請求項５１記載のＡＶコンテンツ興趣特徴抽出装置において、前記動画像イベントは特定の意味をもつ画像の集まりであることを特徴とするものである。

また、請求項５４の発明は、ＡＶコンテンツ興趣特徴抽出装置において、前記ＡＶコンテンツの映像信号から所定の動画像特徴量を算出する動画像特徴量抽出手段と、前記ＡＶコンテンツのオーディオ信号から所定の音響的な特徴量を算出するオーディオ特徴量抽出手段と、前記ＡＶコンテンツに含まれる書誌情報を抽出する書誌情報抽出手段と、前記動画像特徴量から所定の動画像イベントを算出する動画像特徴量抽出手段と、前記音響的な特徴量から所定の音響イベントを算出する音響イベント抽出手段と、前記書誌情報に含まれる前記ＡＶコンテンツの番組興趣特徴を推定するために用いる番組興趣特徴推定情報を抽出する興趣条件選択手段と、前記動画像イベントと、前記音響イベントと、前記番組興趣特徴推定情報とから、予め定められた推定条件に基づいて前記番組興趣特徴を算出する興趣推定手段とを有することを特徴とするものである。

また、請求項５５の発明は、請求項５４記載のＡＶコンテンツ興趣特徴抽出装置において、前記番組興趣特徴推定情報から前記算出する所定の音響的な特徴量及び動画像特徴量を決定することを特徴とするものである。

また、請求項５６の発明は、請求項４０記載のＡＶコンテンツ興趣特徴抽出装置において、前記番組興趣特徴パターンを蓄積する蓄積手段と、検索条件となる前記番組興趣特徴パターンを指定するユーザ入力手段と、類似した前記番組興趣特徴パターンをもつＡＶコンテンツを検索する検索手段とを有することを特徴とするものである。

また、請求項５７の発明は、請求項５６記載のＡＶコンテンツ興趣特徴抽出装置において、前記蓄積手段は前記番組興趣特徴パターンと前記書誌情報をあわせて蓄積することを特徴とするものである。

また、請求項５８の発明は、請求項５６記載のＡＶコンテンツ興趣特徴抽出装置において、前記ユーザ入力手段は前記検索条件として前記番組興趣特徴パターンと時間情報を入力することを特徴とするものである。

また、請求項５９の発明は、請求項５６記載のＡＶコンテンツ興趣特徴抽出装置において、前記ユーザ入力手段は前記検索条件として前記番組興趣特徴パターンとキーワードを入力することを特徴とするものである。

また、請求項６０の発明は、請求項５６記載のＡＶコンテンツ興趣特徴抽出装置において、前記検索手段は前記番組興趣特徴パターンと、前記番組興趣特徴パターンに対応する語句との関係を保持し、前記ユーザ入力手段は、前記検索条件として前記番組興趣特徴パターンに対応した語句を入力することを特徴とするものである。

また、請求項６１の発明は、請求項５６記載のＡＶコンテンツ興趣特徴抽出装置において、前記検索手段は、過去にユーザが入力した前記検索条件の履歴を保持しておき、前記ユーザが前記検索条件を入力する際に前記保持された履歴から前記検索条件を選択可能であることを特徴とするものである。

また、請求項６２の発明は、請求項６１記載のＡＶコンテンツ興趣特徴抽出装置において、前記検索条件の履歴は前記ユーザ自身もしくは前記ユーザと嗜好の類似した人物の履歴であることを特徴とするものである。

また、請求項６３の発明は、請求項３３、５１、５４のいずれかに記載のＡＶコンテンツ興趣特徴抽出装置において、前記興趣推定手段において、前記番組興趣特徴の推定条件が変更可能であることを特徴とするものである。

また、請求項６４の発明は、請求項６３記載のＡＶコンテンツ興趣特徴抽出装置において、前記推定条件は重視する前記音響イベントや前記動画像イベントであることを特徴とするものである。

本発明のＡＶコンテンツ興趣特徴抽出装置によれば、本構成によって、番組興趣特徴が得られることから、ＡＶコンテンツ一作品を通しての番組興趣特徴時間的推移パターンを推定し、そのパターンを用いてＡＶコンテンツの分類を行うことにより、ユーザが所望するＡＶコンテンツをユーザ自身がより直感的に判断することができる。

また、番組興趣特徴の時間的な変動を時系列で表示することにより、各々のＡＶコンテンツについて、どのくらい重要箇所、即ち見所があるのか、見所はどこか、など作品全体の流れを大局的に判断する材料を提供することが可能となる。

また、番組興趣特徴パターンにより重要箇所を抽出することや、同じような番組興趣特徴パターンをもつＡＶコンテンツの検索を行うことができる。

また、番組興趣特徴の抽出ルールをユーザが設定できるようにすることにより、予め設定されているルールで抽出した番組興趣特徴ではなく、ユーザ独自の好みのルールに基づいた番組興趣特徴を抽出することができる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１におけるＡＶコンテンツ興趣特徴抽出装置のブロック図である。

図１において、ＡＶコンテンツ興趣特徴抽出装置１２０は、通信回線から送信された、または、図示にない受信部によって受信されたデジタル音声映像情報と、ＥＰＧや字幕情報、インターネット上にあるＡＶコンテンツの紹介ページ等、その番組に関する書誌情報が入力される。書誌情報は、例えば、ニュース番組、スポーツ中継番組、映画、ドラマ、歌番組およびバラエティ番組などのジャンル情報を一部に有しており、ＢＳデジタル放送では、番組配列情報がこの番組に関する書誌情報に当たる。書誌情報はあらかじめ番組に付帯しているものや番組表などの公の情報、ｗｅｂ等の視聴者が作成したような口コミ情報、またコンテンツ自身を解析することで得られる字幕認識結果や音声認識結果の書誌情報も含む。この書誌情報抽出手段１０２では、ＡＶコンテンツの種別情報や時間情報を抽出するとともに、出演者名やタイトル名など、他の情報もＡＶコンテンツごとに抽出される。この情報はＡＶコンテンツ興趣特徴を算出する際の特徴量になるだけではなく、ＡＶコンテンツ興趣情報を表示する際に番組内容として、書誌情報の一部もしくはすべてが表示される。また、ＡＶコンテンツの検索キーワードとしても用いることができる。

オーディオ特徴量抽出手段１０１は、入力されたオーディオ信号に基づいて単位時間での分析を行って、音声、音楽、歓声、無音といった音響イベントを特定するための特徴量を算出する。特徴量としては、パワー包絡線の近似直線の傾きや数秒後のパワー値の比など音量変化に関する特徴量と、周波数重心や特定周波数の変化度合いを算出したり、エネルギー分布の比較を行ったりするスペクトルに関する特徴量と、自己相関等を用いて時間軸や周波数軸の波形とのマッチング具合を算出した特徴量と、ある閾値での交差回数や時間変化による推移求めた特徴量などを算出する。時間幅や周波数帯域だけが異なり、算出方法の共通したものもある。

オーディオ特徴量抽出手段で算出された各パラメータの値は、音響イベント抽出手段１０４で音響イベントの抽出に用いられる。音響イベントとは特定の意味をもつ単音や音の集まりをさす。例えば、図１１に一例を示すように、音楽や音声、歓声などを指している。音響イベント抽出手段は特定の音響イベントの区間を推定するものである。音響イベント抽出手段は、あらかじめ音響イベントを判定する基準を音響イベントごとに持っており、オーディオ特徴量抽出手段で算出された特徴量と比較して音響イベントを算出する。例えば、音楽であれば、音の持続性を示す特徴量、ベース音を示す低域でのエネルギー分布を示す特徴量、周期的な繰り返し音つまりビートがあるかどうかを示す特徴量の値などが大きいときに音楽と判定する。このように、音響イベント判定に用いる特徴量の種類と閾値及び判定条件を音響イベントごとにあらかじめ用意している。なお、今回は閾値による判定を用いて説明したが、音響イベントごとに特徴量を算出した教師用のデータを作成し、それに基づいて機械学習を行い、作成されたモデルに基づき、音響イベントを検出しても同様の効果が得られる。また、特徴量の次元を主成分分析や線形判別分析などを用いて次元圧縮を行ったのちに閾値や評価関数による判別を行うか、学習によってモデル関数を作成し判別しても同様の効果が得られる。

興趣条件選択手段１０３は、書誌情報抽出手段の出力から興趣条件の基準となるジャンル情報を抽出する。書誌情報にジャンル情報が定義されていない場合は、書誌情報抽出手段で得られたキーワードから、ジャンルを推定する。事前にジャンルとタイトルに用いられる語句の共起頻度を調べておく。タイトルの用いられている語句について、最も高い共起頻度をもつジャンルをそのコンテンツのジャンルとする。例えば、タイトルに「ミュージック」や「歌」のような文字が含まれている場合は、そのＡＶコンテンツは歌番組であると判定する。また、タイトルに「第×話」のような文字が含まれている場合は、そのＡＶコンテンツはドラマであると判定する。尚、今回はタイトルに含まれる語句のみを用いて説明したが、タイトルだけではなく出演者など他の書誌情報を用いても同様の効果が得られる。

興趣推定手段１０５はジャンル情報と音響イベントの種類と発生頻度及び発生時間間隔、そして重なり具合から番組興趣特徴を算出する。番組興趣特徴とは、番組の重要なところやおもしろいところほど値が大きくなり、時間毎に算出される値である。たとえば、スポーツ中継番組であれば、歓声などの背景雑音には観客の反応が現れるので、野球のホームランのシーンやサッカーのゴールシーンなど盛り上がった場面では、自然にアナウンサーや観衆の声、つまり音声や歓声が大きくなる。このような音響イベントのパターンの検出を興趣推定手段１０５で行う。番組興趣特徴と各音響イベントとジャンルとの関係を示す一例を図１１に示す。音楽番組では音楽部分が重要なため音楽が大きく他の音響イベントが小さいときに番組興趣特徴が大きくなる。スポーツ番組で音楽イベントが大きいときは、選手入場や応援など試合経過に影響を与えない部分が多いため番組興趣特徴が小さくなる。このように、番組興趣特徴の値を算出するための音響イベントの閾値及び判定条件をジャンルごとにあらかじめ設定しておく。また、番組興趣特徴は、ある時点で同時に起きた音響イベントの大小のみならず、音響イベントの種類と頻度及び時間間隔またそれらの重畳具合のパターンによって決定する。図１２は番組興趣特徴の推定例を示したものである。番組興趣特徴はある単位時間フレーム内での音響イベントをジャンル等のＡＶコンテンツ内容情報に基づきあらかじめ設定された条件から算出される値である。そのため図１２（ａ）のように、音楽番組では音楽の区間では番組興趣特徴が大きく、音楽が終わった直後に番組興趣特徴が小さくなる。これは音楽番組というジャンル情報から音楽イベントを重要と位置づけているためで、また似たような音響イベントを持つ場合でもＡＶコンテンツ内容によってその番組興趣特徴は全く異なる。

例えば、図１２（ｂ）は野球中継の音響イベント及び番組興趣特徴を示している。音楽区間は応援音声であり、突発音はホームランの音を示している。この場合、番組興趣特徴はホームランを打った瞬間が最も高くなる。これは突発音のあとに歓声が発生しているため、重要な突発音として処理されているためである。このように、番組興趣特徴は時間的に前後に発生しているイベントも考慮して、各音響イベントの頻度及び時間間隔またそれらの重畳具合を算出し、閾値を用いて判別を行う。なお、これら音響イベントの頻度及び時間間隔またそれらの重畳具合を多次元ベクトルで表現し、あらかじめ学習アルゴリズムによってモデルを作成し、それを用いて算出を行っても同様の効果が得られる。

興趣推移表示手段１０６は、番組興趣特徴を一作品の開始から終了まで時系列で表示する。図１３（ａ）はある一作品の番組興趣特徴を示している。これにより、ＡＶコンテンツ一作品のうちのどの位置で盛り上がっているかを一目で確認できる。興趣推移表示手段１０６は書誌情報抽出手段１０２で抽出されたＡＶコンテンツと対応した書誌情報を加工して、キーワードや要約を表示することも可能である。また、この番組興趣特徴で一作品の流れを把握し、この興趣推移表示のある点を指定して、興趣推移表示手段１０６が指定された箇所に対応するＡＶコンテンツの時間位置から再生を開始するようにＡＶコンテンツ再生手段（図示せず）に指示し、そこから再生を始めるといった、番組内での頭だしの選択や再生区間の指定も可能である。

（実施の形態２）
図２は、本発明の実施の形態２におけるＡＶコンテンツ興趣特徴抽出装置のブロック図である。図１と同一部分には同一符号を付してある。

状態遷移判定分類手段１０７は、番組興趣特徴から一作品毎のパターンを抽出し、分類を行う。図１５は番組興趣特徴パターンの例をいくつか示す。図１５（ａ）のように番組の後半部分で盛り上がっている様子や、図１５（ｄ）のように全体的に大きな変化はなく淡々と展開していくなど話の展開をパターン化する。この番組興趣特徴が似たようなパターンをもつ番組は類似した展開をしている可能性が高く、類似した話の展開や盛り上がり方をした番組を検索する際にも有効なため、一作品毎に図１５のようなパターンを抽出し分類する。まず、算出された番組興趣特徴で示される曲線に対して平滑化処理を行う。次に、作品時間で正規化し、処理した曲線の変曲点と状態遷移判定分類手段１０７がもつ番組興趣特徴パターンの変曲点を比較し、山の数と位置に着目し分類する。例えば、図１３（ａ）のような番組興趣特徴を示した曲線に平滑化処理を行い、作品開始時刻が０、終了時刻が１になるように正規化を行い、山の位置と数に着目して分類を行うことで、図１３（ｂ）のような始めと終わりに山のあるパターンに分類される。

重要箇所抽出手段１０８は状態遷移判定分類手段１０７で分類されたパターン毎に定められた条件に基づき重要箇所を抽出する。番組興趣特徴の算出にあたり、ジャンル等の条件を考慮しているため、番組興趣特徴の高いところはジャンルを問わず、重要度が高いところといえる。例えば、図１６（ａ）のように、番組興趣特徴が２つの山をもつ場合、重要な箇所は山の頂上付近になる。そのため、番組興趣特徴の値が大きい頂上付近を抽出する。また、図１６（ｂ）のように、番組興趣特徴が平板なパターンに分類されたコンテンツでは、作品の最初と最後を含み、ほぼ均等な時間間隔で抽出される。これら抽出される区間数は重要箇所抽出手段１０８がコンテンツの長さに対してデフォルトの値をもっており、その値を用いる。抽出された重要箇所をもとに、そのシーンだけをつなぎ合わせて、要約再生を行ってもよいし、重要箇所をゆっくり再生し、その他を速い速度で再生するといった可変速再生を行ってもよい。尚、重要箇所の抽出条件は、要約再生や可変速再生といった用途に応じて変更してもよい。たとえば、図１６（ｂ）のように平板なパターンに分類されている場合、要約再生では始めと最後を含み、均等な間隔で抽出するが、可変速再生のようにカットを伴わない再生方法では図１６（ｄ）のように、中央を対象軸として、作品の端から指数的な間隔でその付近の速度を遅くし、他の部分では速く再生するという方法もある。要約再生では、視聴者は要約部分以外視聴しないため、要約部分のみで内容が理解できるものにしなくてはいけない。そのため重要箇所の抽出方法が大事であり、興趣特徴が平板な場合は、時間間隔を均等にすることで、内容がわからなくなるリスクを低減している。しかし、可変速再生では、全シーンを再生しており、視聴者は可変速再生中に見たいときはいつでも通常再生に戻ることができる。そこで、作品の初めと終わりを重点的に再生し他の部分を速い速度で再生するといった方法が考えられる。図１６（ｄ）はその場合の重要箇所の抽出方法を示したものである。また、図１６（ｃ）のように、興趣特徴の高くなるまでの部分部分も重要箇所として抽出し、通常再生を行うことで、盛り上がっていく過程がよりわかりやすくなる。要約再生はカットを伴うことから重要な結果を短時間で把握することに適しており、可変速再生は重要な流れを短時間で把握することに適している。このように用途に合わせて重要箇所の抽出ポイントの設定を変えてもよい。

（実施の形態３）
図３は、本発明の実施の形態３におけるＡＶコンテンツ興趣特徴抽出装置のブロック図である。図１と同一部分には同一符号を付してある。

興趣条件選択手段１０９は、書誌情報抽出手段１０２でのＡＶコンテンツのジャンル情報を用いて、抽出するオーディオ特徴量の選択設定を行う。特徴量を選択する理由として、その後のイベント抽出、興趣推定で不必要な特徴量の計算を省き、高速化を図るためである。例えば音声らしさを判定するために算出する特徴量でも、騒音が重畳したオーディオ信号と音楽が重畳した音声では振る舞いが異なるため、オーディオ特徴量抽出手段ではどんなオーディオ信号がきでもカバーできるよう、時間幅や周波数帯域だけが異なるような特徴量が数多く用意される。しかし、ジャンルがわかれば、コンテンツ中に含まれる音響イベントも絞られてくるため、不必要な特徴量の計算を省くことで処理の高速化が可能となる。そのため、興趣条件選択手段１０９ではあらかじめ、ジャンル毎にどの特徴量を計算するかを定めたリストを持っている。また、音響イベント抽出手段１０４でも同様にジャンル情報を用いることで、処理の削減が行うことができる。例えば、音声の場合、ニュース番組では音響イベントが音声だけの区間が多く、音響イベントが重畳する区間が少ない。しかし、スポーツ観戦番組では、歓声音などの背景雑音があるため、絶えず音響イベントが重畳する。このようにＡＶコンテンツのジャンルによって音響イベントの重畳状態は大きく異なる。このため、ジャンル情報を利用することで、高速化、高精度が望める。従って、オーディオ特徴量抽出手段１０１への特徴量の選択設定だけではなく、音響イベント抽出手段１０４への閾値の選択や、評価関数の選択、モデルの選択を行ってもよい。

（実施の形態４）
図４は、本発明の実施の形態４におけるＡＶコンテンツ興趣特徴抽出装置のブロック図である。図１と同一部分には同一符号を付してある。本実施の形態は、興趣特徴を抽出する対象が映像データであることが実施の形態１と異なる。

動画像特徴量抽出手段１１８は通信回線から送信された、または、図示にない受信部によって受信されたデジタル映像情報から分析を行って、ズーミングやパンといったカメラワークやテロップ、シーンチェンジといった動画像イベントを特定するための特徴量を算出する。特徴量には隣あうフレームの間での類似度やより間隔をおいた２枚のフレームの間での類似度や動き情報を算出する。類似度は画素の色差成分と輝度成分を用いて計算する。例えば、画素ごとに、加法混色いわゆる光の３原色赤緑青に分解して色相を２次元ベクトルで表現する。例えば、赤なら(−１，０)、緑なら(１，０)、黄色は(０，−１)、青は(０，−１)のように色相環と同じ位置関係になる。これら色相ベクトルにより、すべての色相は色相ベクトルとベクトル(１，０)との角度θで表現できる。１フレーム中の全画素について計算を行い、同じ色相をもつ頻度はベクトルの長さに対応させる。また、輝度も同様に１フレームをベクトルで表現する。また１フレーム内の位置関係や複数フレーム間に渡る動きを検出するため、画面をブロックごとに分割し、色相や輝度の特徴量を算出し、隣接ブロックの位置関係もあわせて算出しておく。複数フレームを比較することで、動き方向を示す特徴量を算出する。尚、本実施の形態では色相及び輝度で類似度を算出しているが、色相、明度、彩度を用いても同様の効果が得られる。

このように、動き方向を示す特徴量や、色相や輝度のなどの特徴量から、動画像イベント抽出手段１１０で動画像イベントの抽出に用いられる。動画像イベントとはズーミングやパンなどのカメラワークや、テロップやシーンチェンジなど、特定の意味をもつ映像の集まりをさす。フレーム間の類似比較を行い、フレーム間の差分値がある一定の閾値内にある場合は、類似フレームとみなし、同じショットとみなす。ショットとは、類似フレームごとにまとめあげたものをさす。類似フレーム群の先頭フレームをショットの代表画像とする。対談シーンなどは収録場所が固定しているため、話者ごとのショットが繰り返し現れる。このように、数種類のショットが繰り返し用いられている区間を同一シーンとし、これら数種類のショットがある閾値以上離れても用いられなくなったとき、シーンチェンジとして扱う。また、動き方向を示す特徴量と隣接ブロック間の特徴量から、ズームやパンなどのカメラワークを判定する。図１７はニュース番組での動画像イベントを示す。字幕はニュースの見だしを示したテロップが流れているシーンである。

このような画像イベントの種類と発生頻度及び発生時間間隔、そして重なり具合から興趣推定手段１１１は番組興趣特徴を算出する。番組興趣特徴とは、番組の重要なところやおもしろいところほど値が大きくなり、時間毎に算出される値である。たとえばドラマであれば、クローズアップされている場面や、シーンチェンジが短い間隔で頻繁に起こる場面などで番組興趣特徴が大きくなる。クローズアップは登場人物が重要な台詞を述べる可能性が高く、短いシーンチェンジが頻繁に起こる場面は、緊迫した場面である可能性がある。また、ニュースであれば、テロップがニュースの冒頭に現れるため、テロップの検出がコーナーの冒頭を示すので、テロップの近傍において番組興趣特徴が高くなる。このように、番組興趣特徴は、動画像イベントの種類と頻度及び時間間隔またそれらの重畳具合のパターンによって決定する。このように、音響イベントからの番組興趣特徴算出の処理と同様に、閾値及び判定条件をジャンルごとにあらかじめ設定しておく。また番組興趣特徴は、ある時点で同時に起きた動画像イベントの有無のみならず、動画像イベントの種類と頻度及び時間間隔またそれらの重畳具合のパターンによって決定する。このように、番組興趣特徴は時間的に前後に発生しているイベントも考慮して、各動画像イベントの頻度及び時間間隔またそれらの重畳具合を算出し、閾値を用いて判別を行う。なお、これら動画像イベントの頻度及び時間間隔またそれらの重畳具合を多次元ベクトルで表現し、あらかじめ学習アルゴリズムによってモデルを作成し、それを用いて算出を行っても同様の効果が得られる。

算出された番組興趣特徴を興趣推移表示手段１０６によって表示を行う。

（実施の形態５）
図５は、本発明の実施の形態５におけるＡＶコンテンツ興趣特徴抽出装置のブロック図である。図１、図２及び図４と同一部分には同一符号を付してある。

書誌情報抽出手段１０２、興趣条件選択手段１０３、状態遷移判定分類手段１０７及び重要箇所抽出手段１０８は図２と同様の処理を行う。また、動画像特徴量抽出手段１１８、動画像イベント抽出手段１１０及び興趣推定手段１１１は図４と同様の処理を行う。

本実施の形態は、実施の形態２における番組興趣特徴を実施の形態４で示したような動画像イベントに基づいて算出し、重要個所を抽出することが出来る。

（実施の形態６）
図６は、本発明の実施の形態６におけるＡＶコンテンツ興趣特徴抽出装置のブロック図である。図１及び図４と同一部分には同一符号を付してある。

興趣推定手段１１２は、書誌情報抽出手段１０２と、音響イベント抽出手段１０４と、動画像イベント抽出手段１１０で得られた出力を入力とし、番組興趣特徴を算出する。図１８のように番組興趣特徴は、動画像イベント及び音響イベントの種類と頻度及び時間間隔またそれらの重畳具合のパターンによって決定する。このように、音響イベントや動画像イベントどちらか片方のみを用いた番組興趣特徴算出の場合と同様に、閾値及び判定条件をジャンルごとにあらかじめ設定しておく。また番組興趣特徴は、ある時点で同時に起きた動画像イベント及び音響イベントの有無のみならず、動画像イベント及び音響イベントの種類と頻度及び時間間隔またそれらの重畳具合のパターンによって決定する。このように、番組興趣特徴は時間的に前後に発生しているイベントも考慮して、各動画像イベント及び音響イベントの頻度及び時間間隔またそれらの重畳具合を算出し、閾値を用いて判別を行う。なお、これら動画像イベント及び音響イベントの頻度及び時間間隔またそれらの重畳具合を多次元ベクトルで表現し、あらかじめ学習アルゴリズムによってモデルを作成し、それを用いて算出を行っても同様の効果が得られる。

算出された番組興趣特徴を興趣推移表示手段１０６によって表示する。

（実施の形態７）
図７は、本発明の実施の形態７におけるＡＶコンテンツ興趣特徴抽出装置のブロック図である。図６と同一部分には同一符号を付してある。

蓄積手段１１５は、ＡＶコンテンツ一作品毎に、書誌情報抽出手段１０２で抽出された書誌情報と番組興趣特徴パターンを付帯して蓄積する。番組興趣特徴パターンは状態遷移判定分類手段１０７で分類されたもので、一作品中で番組興趣特徴の値が大きくなっている山の部分の個数と位置により分類されたものである。図１４（ａ）や（ｂ）のように、作品の中盤に番組興趣特徴が大きくなる山場をもつ作品は作品時間で正規化を行うため、番組興趣特徴パターンは１時間番組も２時間番組も同じパターンに分類される。

ユーザはユーザ入力手段１１３で、番組興趣特徴パターンを指定することで、検索手段１１４は同じ番組興趣特徴パターンをもつ作品を検索する。また、番組興趣特徴パターンのみならず、作品時間を指定し、絞り込むこともできる。また、キーワードを入力することで、蓄積された書誌情報から該当するキーワードを含む作品を検索する。またキーワードではなく、特定の作品を指定することで、その作品の時間、キーワード、及び番組興趣特徴パターンから類似した作品を検索することができる。また、見たい作品のイメージを表す印象語、例えば「ハラハラドキドキ」といった印象語での検索も可能とする。これは、番組興趣特徴パターンと印象語との対応関係を予め事前に調べておき、番組興趣特徴パターンと印象語との対応表を作成しておく。そうすることにより、印象語をキーワードとして入力することで、番組興趣特徴パターンを指定するのと同様の効果が得られる。なお、ユーザ入力手段１１３で、過去にユーザが検索に用いたキーワードや時間情報、番組興趣特徴パターンや印象語の履歴を保持しておき、ユーザが検索条件を入力する際にその履歴情報を表示し、ユーザはその中から入力する検索条件を選択できるようにすることにより、ユーザの入力手順を簡略化したり、省略したりしてもよい。

また、履歴情報はユーザ本人のものでなくてもユーザと嗜好の類似した人物の履歴情報を利用してもよい。これにより、嗜好の類似したユーザの履歴を複数保持する必要がなくなるため、記憶領域が削減できる。

（実施の形態８）
図８は、本発明の実施の形態８におけるＡＶコンテンツ興趣特徴抽出装置のブロック図である。図７と同一部分には同一符号を付してある。

ユーザ入力手段１１６は、番組興趣特徴を推定する際の重要とする観点をユーザに選択及び入力してもらう。デフォルト設定では、音楽番組では音楽区間の番組興趣特徴が高くなっている。しかしユーザによっては音楽番組中のトーク場面のほうが音楽区間よりも重要だと位置づける場合もある。また、音響イベントのみならず、画像イベントでも同様に、ズームアップをしているところではなく、パンしているところだけを取り出したいといった要求もある。そこで、このユーザ入力手段１１６により、興趣推定手段１１７に反映させるためにユーザの観点を入力する。つまり、重視する音響イベントや画像イベントを入力し、その区間を重視した番組興趣特徴推定を行う。状態遷移判定分類手段１０７でパターンに分類し、蓄積手段１１５で蓄積される。これら、ユーザの要望を反映した番組興趣特徴によってパターン分類された蓄積データを用いて、検索を行うことができる。尚、検索した後、実施の形態２の重要箇所抽出手段１０８を加え、要約再生や可変速再生を行ってもよい。また、蓄積手段１１５に蓄積は行わず、状態遷移判定分類手段１０７の後に実施の形態２の重要箇所抽出手段１０８を加え、要約再生や可変速再生を行ってもよい。例えば、以前みたことがある番組で、ある特定のシーンを探していて、場所はわからないが、ある突発音が鳴っていたことだけは覚えているといったようなときに、突発音が鳴っているシーンだけを取り出せるよう、ユーザの観点をユーザ入力手段１１６で入力し、興趣推定手段１１７で番組興趣特徴に反映させる。そうすることで、重要箇所抽出手段１０８により、重要な箇所のみ、つまり突発音を含むシーンが多く抽出され、ユーザは特定のシーンが見つけやすくなる。

本発明にかかるＡＶコンテンツ興趣特徴抽出装置は、番組興趣特徴を推定し、番組興趣特徴毎にＡＶコンテンツを分類する機能を有し、番組選択時の番組概要表示や要約再生等として有用である。また類似番組検索等の用途にも応用できる。

本発明の実施の形態１におけるＡＶコンテンツ特徴抽出装置のブロック図本発明の実施の形態２におけるＡＶコンテンツ特徴抽出装置のブロック図本発明の実施の形態３におけるＡＶコンテンツ特徴抽出装置のブロック図本発明の実施の形態４におけるＡＶコンテンツ特徴抽出装置のブロック図本発明の実施の形態５におけるＡＶコンテンツ特徴抽出装置のブロック図本発明の実施の形態６におけるＡＶコンテンツ特徴抽出装置のブロック図本発明の実施の形態７におけるＡＶコンテンツ特徴抽出装置のブロック図本発明の実施の形態８におけるＡＶコンテンツ特徴抽出装置のブロック図従来の映像要約装置のブロック図音響イベントを説明する模式図興趣特徴を推定する際の判断基準例を示す図興趣特徴を説明する模式図興趣特徴の平滑化を説明する模式図興趣特徴の時間軸の正規化を説明する模式図興趣特徴の状態遷移分類パターンを説明する模式図興趣特徴の重要箇所抽出方法を説明する模式図動画像イベントを説明する模式図動画像イベント及び音響イベントを説明する模式図

符号の説明

１０１オーディオ特徴量抽出手段
１０２書誌情報抽出手段
１０３興趣条件選択手段
１０４音響イベント抽出手段
１０５興趣推定手段
１０６興趣推移表示手段
１０７状態遷移判定分類手段
１０８重要箇所抽出手段
１０９興趣条件選択手段
１１０動画像イベント抽出手段
１１１興趣推定手段
１１２興趣推定手段
１１３ユーザ入力手段
１１４検索手段
１１５蓄積手段
１１６ユーザ入力手段
１１７興趣推定手段
１１８動画像特徴量抽出手段
１２０ＡＶコンテンツ興趣特徴抽出装置
２０１要約再生装置
２０２音声特徴量抽出部
２０３ジャンル情報取得部
２０４蓄積部
２０５操作部
２０６パラメータ設定部
２０７再生部
２０８制御部
２０９表示部
２１０デマルチプレクサ

Claims

ＡＶコンテンツのオーディオ信号から所定の音響的な特徴量を算出し、
前記ＡＶコンテンツに含まれる書誌情報を抽出し、
前記音響的な特徴量から所定の音響イベントを算出し、
前記書誌情報に含まれる前記ＡＶコンテンツの番組興趣特徴を推定するために用いる番組興趣特徴推定情報を抽出し、
前記音響イベントと、前記番組興趣特徴推定情報とから、予め定められた推定条件に基づいて前記番組興趣特徴を算出する
ことを特徴とするＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴推定情報はＡＶコンテンツのジャンルを示す情報である
ことを特徴とする請求項１記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴推定情報は前記書誌情報から推定する
ことを特徴とする請求項１記載のＡＶコンテンツ興趣特徴抽出方法。
前記音響イベントは特定の意味をもつ単音や音の集まりである
ことを特徴とする請求項１記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴の時間的な変動を時系列で表示する
ことを特徴とする請求項１記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴の時間的な変動と共に、前記書誌情報もあわせて表示する
ことを特徴とする請求項５記載のＡＶコンテンツ興趣特徴抽出方法。
表示された前記番組興趣特徴において指定された箇所に対応する前記ＡＶコンテンツの時間位置から前記ＡＶコンテンツを再生可能にする
ことを特徴とする請求項５または６記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴から番組興趣特徴パターンを抽出し、前記抽出した番組興趣特徴パターンを予め定められた基準に従って分類する
ことを特徴とする請求項１記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴パターンは作品時間で正規化する
ことを特徴とする請求項８記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴パターンは前記番組興趣特徴の時間的な変動を示す曲線の山の数に着目し分類する
ことを特徴とする請求項８記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴パターンは前記番組興趣特徴の時間的な変動を示す曲線の山の位置に着目し分類する
ことを特徴とする請求項８記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴パターンは前記番組興趣特徴の時間的な変動を示す曲線の山の数と位置に着目し分類する
ことを特徴とする請求項８記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴パターンから前記ＡＶコンテンツの重要箇所を抽出する
ことを特徴とする請求項８記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴パターンごとに前記重要箇所の抽出方法を設定する
ことを特徴とする請求項１３記載のＡＶコンテンツ興趣特徴抽出方法。
前記重要箇所は前記番組興趣特徴パターン曲線の山の部分を抽出する
ことを特徴とする請求項１３記載のＡＶコンテンツ興趣特徴抽出方法。
前記重要箇所として抽出された部分をつなぎあわせて再生可能にする
ことを特徴とする請求項１３記載のＡＶコンテンツ興趣特徴抽出方法。
前記重要箇所として抽出されなかった部分を速い速度で再生可能にする
ことを特徴とする請求項１３記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴推定情報から前記算出する所定の音響的な特徴量を決定することを特徴とする請求項１記載のＡＶコンテンツ興趣特徴抽出方法。
ＡＶコンテンツの映像信号から所定の動画像特徴量を算出し、
前記ＡＶコンテンツに含まれる書誌情報を抽出し、
前記動画像特徴量から所定の動画像イベントを算出し、
前記書誌情報に含まれる前記ＡＶコンテンツの番組興趣特徴を推定するために用いる番組興趣特徴推定情報を抽出し、
前記動画像イベントと、前記番組興趣特徴推定情報とから、予め定められた推定条件に基づいて前記番組興趣特徴を算出する
ことを特徴とするＡＶコンテンツ興趣特徴抽出方法。
前記動画像イベントは特定の意味をもつ画像の集まりである
ことを特徴とする請求項１９記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴推定情報から前記算出する所定の動画像特徴量を決定することを特徴とする請求項１９記載のＡＶコンテンツ興趣特徴抽出方法。
ＡＶコンテンツの映像信号から所定の動画像特徴量を算出し、
前記ＡＶコンテンツのオーディオ信号から所定の音響的な特徴量を算出し、
前記ＡＶコンテンツに含まれる書誌情報を抽出し、
前記動画像特徴量から所定の動画像イベントを算出し、
前記音響的な特徴量から所定の音響イベントを算出し、
前記書誌情報に含まれる前記ＡＶコンテンツの番組興趣特徴を推定するために用いる番組興趣特徴推定情報を抽出し、
前記動画像イベントと、前記音響イベントと、前記番組興趣特徴推定情報とから、予め定められた推定条件に基づいて前記番組興趣特徴を算出する
ことを特徴とするＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴推定情報から前記算出する所定の動画像特徴量及び音響的な特徴量を決定することを特徴とする請求項２２記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴パターンを蓄積し、
検索条件となる前記番組興趣特徴パターンを指定し、
類似した前記番組興趣特徴パターンをもつ前記ＡＶコンテンツを検索する
ことを特徴とする請求項８記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴パターンは前記書誌情報をあわせて蓄積する
ことを特徴とする請求項２４記載のＡＶコンテンツ興趣特徴抽出方法。
前記検索条件は前記番組興趣特徴パターンと時間情報をもつ
ことを特徴とする請求項２４記載のＡＶコンテンツ興趣特徴抽出方法。
前記検索条件は前記番組興趣特徴パターンとキーワードをもつ
ことを特徴とする請求項２４記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴パターンと、前記番組興趣特徴パターンに対応する語句との関係を保持し、前記検索条件は前記番組興趣特徴パターンに対応した語句である
ことを特徴とする請求項２４記載のＡＶコンテンツ興趣特徴抽出方法。
過去にユーザが入力した前記検索条件の履歴を保持しておき、前記ユーザが前記検索条件を入力する際に前記保持された履歴から前記検索条件を選択可能である
ことを特徴とする請求項２４記載のＡＶコンテンツ興趣特徴抽出方法。
前記検索条件の履歴は前記ユーザ自身もしくは前記ユーザと嗜好の類似した人物の履歴である
ことを特徴とする請求項２９記載のＡＶコンテンツ興趣特徴抽出方法。
前記番組興趣特徴の推定条件が変更可能である
ことを特徴とする請求項１、１９、２２のいずれかに記載のＡＶコンテンツ興趣特徴抽出方法。
前記推定条件は重視する前記音響イベントや前記動画像イベントである
ことを特徴とする請求項３１記載のＡＶコンテンツ興趣特徴抽出方法。
ＡＶコンテンツのオーディオ信号から所定の音響的な特徴量を算出するオーディオ特徴量抽出手段と、
前記ＡＶコンテンツに含まれる書誌情報を抽出する書誌情報抽出手段と、
前記音響的な特徴量から所定の音響イベントを算出する音響イベント抽出手段と、
前記書誌情報に含まれる前記ＡＶコンテンツの番組興趣特徴を推定するために用いる番組興趣特徴推定情報を抽出する興趣条件選択手段と、
前記音響イベントと、前記番組興趣特徴推定情報とから、予め定められた推定条件に基づいて前記番組興趣特徴を算出する興趣推定手段
とを有することを特徴とするＡＶコンテンツ興趣特徴抽出装置。
前記興番組興趣特徴推定情報はＡＶコンテンツのジャンルを示す情報である
ことを特徴とする請求項３３記載のＡＶコンテンツ興趣特徴抽出装置。
前記興趣条件選択手段は前記書誌情報から前記番組興趣特徴推定情報を推定する
ことを特徴とする請求項３３記載のＡＶコンテンツ興趣特徴抽出装置。
前記音響イベントは特定の意味をもつ単音や音の集まりである
ことを特徴とする請求項３３記載のＡＶコンテンツ興趣特徴抽出装置。
前記番組興趣特徴の時間的な変動を時系列で表示する興趣推移表示手段を有する
ことを特徴とする請求項３３記載のＡＶコンテンツ興趣特徴抽出装置。
前記興趣推移表示手段は、前記番組興趣情報の時間的な変動と共に前記書誌情報もあわせて表示する
ことを特徴とする請求項３７記載のＡＶコンテンツ興趣特徴抽出装置。
前記興趣推移表示手段は、表示された前記番組興趣特徴において指定された箇所に対応する前記ＡＶコンテンツの時間位置から前記ＡＶコンテンツを再生可能にする
ことを特徴とする請求項３７または３８記載のＡＶコンテンツ興趣特徴抽出装置。
前記番組興趣特徴から番組興趣特徴パターンを抽出し、前記抽出した番組興趣特徴パターンを予め定められた基準に従って分類する状態遷移判定分類手段
を有することを特徴とする請求項３３記載のＡＶコンテンツ興趣特徴抽出装置。
前記状態遷移判定分類手段は、前記番組興趣特徴を作品時間で正規化し、前記番組興趣特徴パターンに分類する
ことを特徴とする請求項４０記載のＡＶコンテンツ興趣特徴抽出装置。
前記状態遷移判定分類手段は、前記番組興趣特徴の時間的な変動を示す曲線の山の数に着目して前記番組興趣特徴パターンに分類する
ことを特徴とする請求項４０記載のＡＶコンテンツ興趣特徴抽出装置。
前記状態遷移判定分類手段は、前記番組興趣特徴の時間的な変動を示す曲線の山の位置に着目して前記番組興趣特徴パターンに分類する
ことを特徴とする請求項４０記載のＡＶコンテンツ興趣特徴抽出装置。
前記状態遷移判定分類手段は、前記番組興趣特徴の時間的な変動を示す曲線の山の数と位置に着目して前記番組興趣特徴パターンに分類する
ことを特徴とする請求項４０記載のＡＶコンテンツ興趣特徴抽出装置。
前記番組興趣特徴パターンから前記ＡＶコンテンツの重要箇所を抽出する重要箇所抽出手段を有することを特徴とする請求項４０記載のＡＶコンテンツ興趣特徴抽出装置。
前記重要箇所抽出手段は前記番組興趣特徴パターンごとに抽出方法を設定する
ことを特徴とする請求項４５記載のＡＶコンテンツ興趣特徴抽出装置。
前記重要箇所抽出手段は前記番組興趣特徴パターン曲線の山の部分を抽出する
ことを特徴とする請求項４５記載のＡＶコンテンツ興趣特徴抽出装置。
前記重要箇所抽出手段により前記重要箇所として抽出された部分をつなぎあわせて再生可能にする
ことを特徴とする請求項４５記載のＡＶコンテンツ興趣特徴抽出装置。
前記重要箇所抽出手段により前記重要箇所として抽出されなかった部分を速い速度で再生可能にする
ことを特徴とする請求項４５記載のＡＶコンテンツ興趣特徴抽出装置。
前記オーディオ特徴量抽出手段は、前記番組興趣特徴推定情報から前記算出する所定の音響的な特徴量を決定することを特徴とする請求項３３記載のＡＶコンテンツ興趣特徴抽出装置。
ＡＶコンテンツの映像信号から所定の動画像特徴量を算出する動画像特徴量抽出手段と、
前記ＡＶコンテンツに含まれる書誌情報を抽出する書誌情報抽出手段と、
前記動画像特徴量から所定の動画像イベントを算出する動画像イベント抽出手段と、
前記書誌情報に含まれる前記ＡＶコンテンツの番組興趣特徴を推定するために用いる番組興趣特徴推定情報を抽出する興趣条件選択手段と、
前記動画像イベントと、前記番組興趣特徴推定情報とから、予め定められた推定条件に基づいて前記番組興趣特徴を算出する興趣特徴推定手段
とを有することを特徴とするＡＶコンテンツ興趣特徴抽出装置。
前記動画像特徴量抽出手段は、前記番組興趣特徴推定情報から前記算出する所定の動画像特徴量を決定することを特徴とする請求項５１記載のＡＶコンテンツ興趣特徴抽出装置。
前記動画像イベントは特定の意味をもつ画像の集まりである
ことを特徴とする請求項５１記載のＡＶコンテンツ興趣特徴抽出装置。
前記ＡＶコンテンツの映像信号から所定の動画像特徴量を算出する動画像特徴量抽出手段と、
前記ＡＶコンテンツのオーディオ信号から所定の音響的な特徴量を算出するオーディオ特徴量抽出手段と、
前記ＡＶコンテンツに含まれる書誌情報を抽出する書誌情報抽出手段と、
前記動画像特徴量から所定の動画像イベントを算出する動画像特徴量抽出手段と、
前記音響的な特徴量から所定の音響イベントを算出する音響イベント抽出手段と、
前記書誌情報に含まれる前記ＡＶコンテンツの番組興趣特徴を推定するために用いる番組興趣特徴推定情報を抽出する興趣条件選択手段と、
前記動画像イベントと、前記音響イベントと、前記番組興趣特徴推定情報とから、予め定められた推定条件に基づいて前記番組興趣特徴を算出する興趣推定手段
とを有することを特徴とするＡＶコンテンツ興趣特徴抽出装置。
前記動画像特徴量抽出手段は、前記番組興趣特徴推定情報から前記算出する所定の音響的な特徴量及び動画像特徴量を決定することを特徴とする請求項５４記載のＡＶコンテンツ興趣特徴抽出装置。
前記番組興趣特徴パターンを蓄積する蓄積手段と、
検索条件となる前記番組興趣特徴パターンを指定するユーザ入力手段と、
類似した前記番組興趣特徴パターンをもつＡＶコンテンツを検索する検索手段
とを有することを特徴とする請求項４０記載のＡＶコンテンツ興趣特徴抽出装置。
前記蓄積手段は前記番組興趣特徴パターンと前記書誌情報をあわせて蓄積する
ことを特徴とする請求項５６記載のＡＶコンテンツ興趣特徴抽出装置。
前記ユーザ入力手段は前記検索条件として前記番組興趣特徴パターンと時間情報を入力する
ことを特徴とする請求項５６記載のＡＶコンテンツ興趣特徴抽出装置。
前記ユーザ入力手段は前記検索条件として前記番組興趣特徴パターンとキーワードを入力する
ことを特徴とする請求項５６記載のＡＶコンテンツ興趣特徴抽出装置。
前記検索手段は前記番組興趣特徴パターンと、前記番組興趣特徴パターンに対応する語句との関係を保持し、前記ユーザ入力手段は、前記検索条件として前記番組興趣特徴パターンに対応した語句を入力する
ことを特徴とする請求項５６記載のＡＶコンテンツ興趣特徴抽出装置。
前記検索手段は、過去にユーザが入力した前記検索条件の履歴を保持しておき、前記ユーザが前記検索条件を入力する際に前記保持された履歴から前記検索条件を選択可能である
ことを特徴とする請求項５６記載のＡＶコンテンツ興趣特徴抽出装置。
前記検索条件の履歴は前記ユーザ自身もしくは前記ユーザと嗜好の類似した人物の履歴である
ことを特徴とする請求項６１記載のＡＶコンテンツ興趣特徴抽出装置。
前記興趣推定手段において、前記番組興趣特徴の推定条件が変更可能である
ことを特徴とする請求項３３、５１、５４のいずれかに記載のＡＶコンテンツ興趣特徴抽出装置。
前記推定条件は重視する前記音響イベントや前記動画像イベントである
ことを特徴とする請求項６３記載のＡＶコンテンツ興趣特徴抽出装置。