JP2011193300A - 画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体 - Google Patents

Abstract

【課題】画像処理装置から携帯端末へ転送する動画のデータ量を低減させると共に、当該動画において、注目場面の前後のつながりを損なわないようにする。
【解決手段】ＤＶＤレコーダー１に入力された、ユーザが関心のある事項を示す注目情報から抽出された注目特徴量を、動画を構成する音声またはフレームから検知するキーワード検知部２５と、動画における、注目特徴量が検知された基準時点を少なくとも含む時間帯を、注目場面として特定する注目場面特定部２３と、動画のうち、注目場面特定部２３が特定した注目場面以外の時間帯の画質を低減して、動画の低画質動画を生成する画質低減部２２とを備える。
【選択図】図１

Description

本発明は、自装置に蓄積された動画データを携帯端末へ転送する画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体に関するものである。

近年、レコーダー等の動画像記録装置の記憶容量が急速に増大しており、ユーザは、テレビ番組等（映像コンテンツ）の動画データを大量に録画することが可能となってきている。しかしながら、レコーダーにテレビ番組を大量に録画したものの、ユーザは、在宅時に視聴時間を確保することができない場合、録画した番組を視聴したくても視聴しきれないという問題が生じている。

この問題の解決方法として、レコーダー等の動画像記録装置で録画した動画データを、携帯電話等の動画データが再生可能な携帯視聴端末に転送する技術が開発されている。例えば、特許文献１には、放送局や通信局から配信された動画像を符号化して蓄積し、蓄積した動画像を携帯視聴端末に転送する動画像視聴制御装置が開示されている。このような従来技術によって、ユーザは、動画像記録装置を利用可能な在宅時に限らず、外出時等に携帯視聴端末上で動画像記録装置が蓄積した動画像を閲覧することができる。

しかしながら、携帯視聴端末は、レコーダーやＰＣ等と比較して、一般的に、記憶容量が非常に小さいため、動画像記録装置から転送可能な動画像のデータ量には制限がある。つまり、動画像記録装置に蓄積された動画データ全てを携帯視聴端末に格納できない場合がある。

また、動画像記録装置から携帯視聴端末へ転送する動画データのデータ量が多いほど、転送時間も増大する。そのため、ユーザが携帯視聴端末上で視聴したい映像コンテンツが増えるほど、携帯視聴端末上で視聴するための準備に時間がかかり、利便性が悪くなる。

さらに、ユーザは、映像コンテンツの中で、関心のある特定の場面を視聴したい場合、携帯視聴端末を操作し、頻繁に早送り再生や巻き戻し再生を行い特定の場面を探す必要がある。携帯視聴端末上で視聴する場合、ユーザに十分な時間がない場合が多いため、ユーザが関心のある特定の場面をすぐに再生できないことは不便である。また、頻繁に携帯視聴端末を操作すると、その分バッテリー消費が増大するため、携帯視聴端末での操作は、極力少なくすることが好ましい。

そこで、これらの問題の解決方法として、各映像コンテンツの動画データから、ユーザが関心のある特定の場面（注目場面）の動画データを抽出し、抽出した動画データだけを携帯視聴端末に送信する技術が開発されている。例えば、特許文献２には、予めユーザの関心の高いシーンを探すための条件を記憶し、記憶した条件に基づいて、蓄積された動画像を解析してユーザの関心の高いシーン（注目場面）を特定し、特定した注目場面に関する情報（選択情報）を携帯視聴端末に通知する動画像蓄積装置が開示されている。携帯視聴端末は、通知された選択情報を利用して、動画像蓄積装置から、注目場面の動画データのみを受信することができる。

そのため、動画像蓄積装置から携帯視聴端末へ転送するデータ量を少なくすることができる。

特開２００５−２７７８６９号公報（２００５年１０月６日公開） 特開２００４−１７３１２０号公報（２００４年６月１７日公開）

奥富 正敏、ほか著「ディジタル画像処理」ＣＧ−ＡＲＴＳ協会出版、２００７年３月１日（第二版二刷）、Ｐ．２０８〜２１０，１２−２節「特徴点検出」

しかしながら、上述のような従来技術では、携帯視聴端末は、注目場面の動画データのみを受信するため、ユーザは、携帯視聴端末上では、注目場面の前後の動画像を視聴することができないという問題がある。そのため、ユーザは、注目場面に至るまでの経緯や注目場面後の展開など、注目場面の前後のつながりを知ることができない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、自装置から携帯端末等へ転送する動画のデータ量を低減させると共に、当該動画において、注目場面の前後のつながりを損なわないようにする画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体を実現することにある。

本発明に係る画像処理装置は、上記課題を解決するために、自装置に入力された、ユーザが関心のある事項を示す注目情報から抽出された注目特徴量と一致する特徴量を含む、動画を構成する音声またはフレームを検知する注目情報検知手段と、上記動画の再生時間軸上において、上記注目情報検知手段が検知した音声またはフレームの時刻である基準時点を含む時間帯を、注目場面として特定する注目場面特定手段と、上記動画のうち、上記注目場面特定手段が特定した注目場面以外の時間帯の画質を低下させて、上記動画の低画質動画を生成する低画質動画生成手段とを備えることを特徴としている。

本発明に係る画像処理方法は、上記課題を解決するために、ユーザが関心のある事項を示す注目情報から抽出された注目特徴量と一致する特徴量を含む、動画を構成する音声またはフレームを検知する注目情報検知ステップと、上記動画の再生時間軸上において、上記注目情報検知ステップにおいて検知された音声またはフレームの時刻である基準時点を含む時間帯を、注目場面として特定する注目場面特定ステップと、上記動画のうち、上記注目場面特定ステップにおいて特定された注目場面以外の時間帯の画質を低下させて、上記動画の低画質動画を生成する低画質動画生成ステップとを含むことを特徴としている。

上記の構成によれば、上記注目情報検知手段は、自装置に入力された注目情報から抽出された注目特徴量と一致する特徴量を含む、上記動画を構成する音声またはフレームを検知する。上記注目特徴量は、ユーザが関心のある事項を示す注目情報から抽出された特徴量であるので、上記注目特徴量と一致する特徴量を含む音声またはフレームは、ユーザが最も関心を寄せ、視聴したいと望んでいる場面の一部であると考えられる。そこで、上記注目場面特定手段が、上記動画の再生時間軸上において、上記注目情報検知手段が検知した音声またはフレームの時刻である基準時点を含む時間帯を、注目場面として特定する。そして、上記低画質動画生成手段が、上記注目場面以外の時間帯の画質を低下させて、上記動画の低画質動画を生成する。

そのため、生成された低画質動画においては、ユーザが注目するであろう注目場面の画質を維持しつつ、上記注目場面以外の時間帯の画質だけが低画質になっている。すなわち、生成された低画質動画は、ユーザが注目する注目画面については元の画質を維持し、注目場面の前後の情報を含みながら、なおかつ、元の動画と比較して全体のデータ量が少ない動画である。よって、生成された低画質動画を他の装置への転送用に用いることができ、この場合、転送時間を低減させることができると共に、ユーザは、他の装置上で注目場面の前後の場面も視聴することができるという効果を奏する。

また、本発明に係る画像処理装置は、上記注目場面特定手段は、上記注目特徴量が検知された時点を基準時点として、上記基準時点より所定の時間前の時点から、上記基準時点より所定の時間後の時点までの時間帯を注目場面として特定することが好ましい。

上記の構成によれば、上記所定の時間を適宜設定することによって、ユーザが関心のある場面を注目場面として特定することができる。なお、上記所定の時間は、ユーザが任意に設定してもよいし、予め装置固有の値が設定されていてもよい。

また、本発明に係る画像処理装置は、上記注目情報検知手段は、自装置に入力された、ユーザが関心のない場面に関連する情報を示す非注目情報から抽出された非注目特徴量と一致する特徴量を含む、動画を構成する音声またはフレームを検知し、上記注目場面特定手段は、上記注目情報検知手段が検知した、上記非注目特徴量を含む音声またはフレームの時刻であって、当該時刻のうち上記基準時点より後の時刻を、注目場面の終了時点とすることが好ましい。

上記の構成によれば、ユーザが関心のない場面に関連する情報を示す非注目情報から抽出された非注目特徴量が検知された時点を注目場面の終了時点とする。すなわち、ユーザの関心のある事項が映し出されている場面からユーザの関心のない場面に切り替わった時点で注目場面が終了する。そのため、ユーザの関心のある事項が映し出されている時間帯を効率的に、また自動的に、注目場面として特定することができる。

また、本発明に係る画像処理装置は、上記動画においてフレーム間の画像の変化量が所定以上となる場面切替時点を検出する場面切替時点検出手段を備え、上記注目場面特定手段は、上記注目場面の時間帯の開始時点および終了時点の少なくともいずれか一方を、上記場面切替時点検出手段が検出した場面切替時点から選択することが好ましい。

上記の構成によれば、上記注目場面特定手段は、上記注目場面の時間帯の開始時点および終了時点の少なくともいずれか一方を、上記動画においてフレーム間の画像の変化量が所定以上となる場面切替時点から選択する。上記動画において、上記場面切替時点の前後の内容が大きく変わっていることが予想される。そのため、上記場面切替時点を注目場面の時間帯の開始時点および終了時点のどちらかに設定することにより、ユーザの関心のある事項が映し出されている時間帯を効率的に、また自動的に、注目場面として特定することができる。

また、本発明に係る画像処理装置は、上記注目場面特定手段は、上記場面切替時点検出手段が検出した複数の場面切替時点のうち、上記基準時点の直前の場面切替時点、および、上記基準時点の直後の場面切替時点を、それぞれ、上記注目場面の時間帯の開始時点および終了時点として選択することが好ましい。

上記の構成によれば、上記注目場面特定手段は、上記基準時点の直前の場面切替時点、および、上記基準時点の直後の場面切替時点を、注目場面の時間帯の開始時点および終了時点として選択する。そのため、ユーザの関心のある事項が映し出されている時点の直前および直後に大きく内容が変わった時点を注目場面の時間帯の開始時点および終了時点として選択する。従って、ユーザの関心のある事項が映し出されている時間帯を効率的に、また自動的に、注目場面として特定することができる。

また、本発明に係る画像処理装置は、上記注目場面特定手段は、上記注目場面の時間帯が所定時間以上となるように、該時間帯の開始時点および終了時点を、上記複数の場面切替時点からそれぞれ選択することが好ましい。

上記の構成によれば、上記注目場面特定手段は、上記注目場面の時間帯が所定時間以上となるように、該時間帯の開始時点および終了時点を、上記複数の場面切替時点からそれぞれ選択する。例えば、ユーザの関心のある事項が、互いに異なる、複数の連続した場面である場合であっても、上記所定時間を適宜設定することによって、ユーザの関心のある事項が映し出された時点の前後の所定時間以内の場面が含まれるように、注目場面を設定することができる。

また、本発明に係る画像処理装置は、上記注目情報は、テキストデータ、画像データおよび音声データのうち、少なくともいずれか１つを含むことが好ましい。

また、本発明に係る画像処理装置は、上記低画質動画生成手段は、上記動画のうち、上記注目場面特定手段が特定した注目場面以外の時間帯の解像度を低くすることが好ましい。

また、本発明に係る画像処理装置は、上記低画質動画生成手段は、上記動画のうち、上記注目場面特定手段が特定した注目場面以外の時間帯の動画圧縮率を高くすることが好ましい。

また、本発明に係る画像処理装置は、上記低画質動画生成手段は、上記動画のうち、上記注目場面特定手段が特定した注目場面以外の時間帯のフレームレートを低くすることが好ましい。

また、本発明に係る画像処理装置は、上記低画質動画生成手段は、所定のフレームの画像と、当該所定のフレームの前のフレームの画像とを比較して、フレーム間の画像の変化量が所定の閾値未満である上記所定のフレームを間引いて、フレームレートを低くすることが好ましい。

また、本発明に係る画像処理システムは、上記画像処理装置と、動画を再生可能な携帯端末とを含む画像処理システムであって、上記画像処理装置は、生成した上記低画質動画を上記携帯端末へ転送することが好ましい。

また、本発明に係る画像処理システムは、上記画像処理装置は、上記動画における上記注目場面の時間帯を示す情報を上記携帯端末へ転送することが好ましい。

上記の構成によれば、上記画像処理装置は、上記動画における上記注目場面の時間帯を示す情報を上記携帯端末へ転送する。そのため、携帯端末は、受信した低画質動画における注目場面の時間帯の開始時点および終了時点を明確に知ることができる。よって、ユーザが携帯端末上で低画質動画を再生する場合、頻繁に早送り再生や巻戻し再生を行いながら注目場面を探す必要がなく、簡単な操作で注目場面のみを視聴することができる。また、ユーザの操作量が低減されるため、携帯端末で消費される電力も低減することができる。

また、本発明に係る画像処理方法は、上記低画質動画生成ステップにおいて生成された低画質動画を携帯端末に転送する転送ステップをさらに含むことが好ましい。

なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置の各手段として動作させることにより、上記画像処理装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

以上のように、本発明に係る画像処理装置は、自装置に入力された、ユーザが関心のある事項を示す注目情報から抽出された注目特徴量を、動画を構成する音声またはフレームから検知する注目情報検知手段と、上記動画における、上記注目特徴量が検知された基準時点を少なくとも含む時間帯を、注目場面として特定する注目場面特定手段と、上記動画のうち、上記注目場面特定手段が特定した注目場面以外の時間帯の画質を低減して、上記動画の低画質動画を生成する低画質動画生成手段とを備えている構成である。

また、本発明に係る画像処理方法は、自装置に入力された、ユーザが関心のある事項を示す注目情報から抽出された注目特徴量を、動画を構成する音声またはフレームから検知する注目情報検知ステップと、上記動画における、上記注目特徴量が検知された基準時点を少なくとも含む時間帯を、注目場面として特定する注目場面特定ステップと、上記動画のうち、上記注目場面特定ステップにおいて特定された注目場面以外の時間帯の画質を低減して、上記動画の低画質動画を生成する低画質動画生成ステップとを含む。

したがって、生成された低画質動画を携帯端末などの他の装置に転送した場合、転送時間を低減させることができると共に、ユーザは、他の装置上で注目場面の前後の場面を視聴することができるという効果を奏する。

本発明の実施形態を示すものであり、ＤＶＤレコーダーの要部構成を示すブロック図である。 本発明の画像処理システムの概要を示す図である。 文字情報記憶部に記憶されている文字情報の一例を示す図である。 基準フレーム記憶部に記憶されている基準フレームに関する情報の一例を示す図である。 注目場面記憶部に記憶されている注目場面に関する情報（注目場面リスト）の一例を示す図である。 本発明の実施形態を示すものであり、携帯電話機の要部構成を示すブロック図である。 ＤＶＤレコーダーが行う処理の一例を示すフローチャートである。 本発明のＤＶＤレコーダー、表示装置（テレビ）、および、操作部（リモコン）の外観と、ユーザが目的のキーワード（文字列）を入力する様子を説明する図である。 検知済文字の領域に対して、次の文字を検索するための検索対象領域の一例を示す図である。 注目場面の時間帯と注目場面以外の時間帯の一例を示す図である。

≪実施形態１≫
本発明の実施形態について、図面に基づいて説明すると以下の通りである。まず、本実施形態の画像処理システム３の概要について、図２に基づいて説明する。

〔画像処理システム３の概要〕
図２は、画像処理システム３の概要を示す図である。図２に示すように、画像処理システム３は、画像処理装置１および携帯端末２を含む。画像処理装置１と携帯端末２とは、有線または無線の通信手段で接続されており、動画データなどを送受信することができる。例えば、画像処理装置１および携帯端末２が、無線ＬＡＮを利用してデータを送受信したり、ＵＳＢケーブル等で接続されていたりしてもよい。また、ＳＤカードなどのメモリカード等を用いて、画像処理装置１と携帯端末２との間でデータをやり取りしてもよい。本実施形態では、画像処理装置１が、動画を録画したり、録画した動画を再生して表示したりするＤＶＤレコーダー１であり、携帯端末２が、動画を再生可能な携帯電話機２である場合を例にして説明する。

なお、本発明の画像処理装置１は、ＤＶＤレコーダーに限定されず、画像を処理することが可能な画像処理装置であれば何でもよい。例えば、これに限定されないが、ＤＶＤプレーヤー、デジタルビデオレコーダー／プレーヤー、ブルーレイディスクレコーダー／プレーヤー、デジタルビデオカメラ、デジタルカメラ、デジタルテレビ、パソコン、携帯電話、プリンタ、スキャナなど、静止画および／または動画を処理する各種画像処理装置を適用することが可能である。また、本発明の携帯端末２は、携帯電話機に限定されず、動画を再生することが可能であり、携帯可能な携帯端末であれば何でもよい。例えば、これに限定されないが、デジタルビデオカメラ、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）、ノートパソコン、携帯ゲーム機など、動画再生機能を有する各種携帯端末を適用することが可能である。

また、図２に示すように、画像処理システム３は、画像処理装置１の操作性向上のために、キーワード入力画面などを表示する表示装置１２を含んでいてもよい。画像処理装置１と表示装置１２とは、有線または無線の通信手段で接続されており、動画データなどを送受信する。本実施形態では、表示装置１２が、動画やメニュー画面を表示するデジタルテレビである場合を例にして説明する。

具体的には、表示装置１２は、画像処理装置１が処理する画像を表示したり、ユーザが画像処理装置１を操作するための操作画面をＧＵＩ（Graphical User Interface）画面として表示したりするものである。

なお、本発明の表示装置１２は、デジタルテレビに限定されず、画像を表示することが可能な表示装置であれば何でもよい。例えば、これに限定されないが、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなど、画像を表示する各種表示装置を適用することが可能である。

また、画像処理システム３が表示装置１２を含む場合、図２に示すように、画像処理装置１と表示装置１２とが別の装置でもよいが、これに限るものではない。例えば、画像処理装置１が表示部を備え、表示装置１２の機能を備えていてもよい。

〔ＤＶＤレコーダー１の構成〕
次に、画像処理装置１であるＤＶＤレコーダー１の構成について、図１に基づいて説明する。図１は、本発明の実施形態におけるＤＶＤレコーダー１の要部構成を示すブロック図である。

図１に示すとおり、本実施形態のＤＶＤレコーダー１は、制御部１０、記憶部１１、操作部１３、一時記憶部１４、通信部１６、および、これらの各部でデータの送受信を行うための共通の信号線としてのバス１５を備える構成となっている。

操作部１３は、ユーザがＤＶＤレコーダー１に指示信号を入力し、操作するためのものである。

ＤＶＤレコーダー１は、バス１５を介して直接データ送受信を行うことが可能な操作部１３を備えていてもよいが、このような構成に限定されない。

本実施形態では、操作部１３は、一例として、上記デジタルテレビおよび当該ＤＶＤレコーダー１に共通のリモコンとして実現されていてもよい。操作部１３に設けられたボタン（十字キー、決定キー、文字入力キーなど）に対応する信号は、そのボタンが押下されたときに、赤外線信号として操作部１３の発光部から出力され、ＤＶＤレコーダー１または上記デジタルテレビの本体に設けられた受光部を介してＤＶＤレコーダー１またはデジタルテレビに入力される。ＤＶＤレコーダー１の受光部（図示せず）を介して受信された信号は、バス１５を介して制御部１０に供給され、制御部１０が上記信号に応じた動作を行う。

通信部１６は、無線通信手段または有線通信手段によって、携帯電話機２や表示装置１２などの他の装置と通信を行い、データのやりとりを行うものである。例えば、通信部１６がアンテナおよびチューナの機能を備え、テレビなどの電波を受信してもよい。また、例えば、通信部１６が外部インターフェースとして機能し、表示装置１２とＨＤＭＩ（High Definition Multimedia Interface）ケーブル等で接続されていてもよい。さらに、例えば、通信部１６が外部インターフェースとして機能し、通信部１６と接続しているＰＣ、メモリカード、フラッシュメモリ等から動画データを受信してもよいし、通信部１６と接続しているＰＣ、メモリカード、フラッシュメモリ等に対して動画データを出力してもよい。

制御部１０は、記憶部１１から一時記憶部１４に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ＤＶＤレコーダー１が備える各部を、バス１５を介して統括的に制御するものである。

本実施形態では、制御部１０は、機能ブロックとして、動画録画部２０、動画再生部２１、画質低減部（低画質動画生成手段）２２、注目場面特定部（注目場面特定手段）２３、キーワード解析部２４、キーワード検知部（注目情報検知手段）２５、静止画生成部２６、特徴量抽出部２７、および、場面切替時点検出部（場面切替時点検出手段）２９を備える構成である。これらの制御部１０の各機能ブロック（２０〜２７）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部１４に読み出して実行することで実現できる。

動画録画部２０は、通信部１６が受信した動画を動画記憶部３０に記憶するものである。

動画再生部２１は、動画記憶部３０に記憶されている動画を読み出して、外部出力用の処理を施し、動画を再生するものである。動画を再生・表示する旨の指示が入力された場合、動画再生部２５が処理した動画は、一旦画像メモリ１４ａに格納され、フレームごとに、図示しない表示制御部の制御の下、通信部１６を介して表示装置１２に出力される。

画質低減部２２は、動画記憶部３０に記憶されている動画を読み出し、注目場面特定部２３が特定した注目場面の画質を相対的に高くし、注目場面以外の場面の画質を相対的に低くするものである。具体的には、画質低減部２２は、注目場面については画像データの解像度を相対的に高くして、注目場面以外の場面については画像データの解像度を相対的に低くしてもよい。また、画質低減部２２は、注目場面については動画圧縮率を相対的に低くして、注目場面以外の場面については動画圧縮率を相対的に高くしてもよい。また、画質低減部２２は、注目場面についてはフレームレートを相対的に高くして、注目場面以外の場面についてはフレームレートを相対的に低くしてもよい。画質低減部２２は、所定のフレームの画像と、当該所定のフレームの前後のフレームの画像とを比較して、フレーム間の画像の変化量が、所定の閾値未満である上記所定のフレームを間引くことによって、フレームレートを低くしてもよい。

注目場面特定部２３は、上記動画の再生時間軸上において、キーワード検知部２５が検知した音声またはフレームの時刻である基準時点を含む時間帯を、注目場面として特定する。また、注目場面特定部２３は、基準時点より所定の時間前の時点から、基準時点より所定の時間後の時点までの時間帯を注目場面として特定してもよい。また、注目場面特定部２３は、キーワード検知部２５が検知した基準フレームの時刻後で、上記非注目特徴量が検知された時点を、注目場面の終了時点としてもよい。また、注目場面特定部２３は、注目場面の時間帯の開始時点および終了時点の少なくともいずれか一方を、場面切替時点検出部２９が検出した場面切替時点から選択してもよい。また、注目場面特定部２３は、場面切替時点検出部２９が検出した複数の場面切替時点のうち、基準時点の直前の場面切替時点、および、基準時点の直後の場面切替時点を、それぞれ、注目場面の時間帯の開始時点および終了時点として選択してもよい。また、注目場面特定部２３は、注目場面の時間帯が所定時間以上となるように、注目場面の時間帯の開始時点および終了時点を、場面切替時点検出部２９が検出した複数の場面切替時点からそれぞれ選択してもよい。

また、注目場面特定部２３は、基準フレーム記録部２８を備えていてもよい。

キーワード解析部２４は、自装置に入力された、ユーザが関心のある事項を示す注目情報から注目特徴量を抽出する。また、キーワード解析部２４は、自装置に入力された、ユーザが関心のない場面に関連する情報を示す非注目情報から非注目特徴量を抽出する。ここで、注目情報および非注目情報とは、テキストデータ、画像データおよび音声データのうち、少なくとも１つを含むデータである。本実施形態では、注目情報および非注目情報として、キーワード（文字列、つまり、テキストデータ）である場合を例にして説明する。

注目情報および非注目情報がテキストデータの場合、キーワード解析部２４は、自装置に入力されたキーワードの文字コードと同じ文字コードを、文字情報記憶部３１に格納されている文字情報に含まれる文字コードから検索し、キーワードの文字コードと一致する、文字情報に含まれる文字コードに対応付けられている特徴量を、自装置に入力されたキーワードの特徴量として抽出する。

また、注目情報および非注目情報が画像データの場合、キーワード解析部２４は、非特許文献１に記載の技術等を用いて、自装置に入力された画像データの特徴量を抽出する。また、注目情報および非注目情報が音声データの場合、キーワード解析部２４は、音声データからテキストデータに変換して、テキストデータから、上記と同様に、テキストデータの特徴量を抽出する。

キーワード検知部２５は、キーワード解析部２４が抽出した注目特徴量と一致する特徴量を含む、動画を構成する音声またはフレームを検知する。また、キーワード検知部２５は、キーワード解析部２４が抽出した非注目特徴量と一致する特徴量を含む、動画を構成する音声またはフレームを検知する。本実施形態では、キーワード検知部２５は、注目特徴量および非注目特徴量を、動画を構成するフレームである静止画から検知する。

なお、キーワード検知部２５が注目特徴量（非注目特徴量）と一致する特徴量を含む、動画を構成する音声を検知する場合、まず、不図示の音声データ抽出部が動画記憶部３０に格納されている動画から音声データを抽出する。そして、特徴量抽出部２７が音声データから特徴量としてテキストデータを抽出する。一方、キーワード解析部２４も、注目情報および非注目情報から特徴量として、テキストデータを抽出する。そして、キーワード検知部２５は、動画から抽出した音声データから抽出したテキストデータに注目情報および非注目情報の特徴量であるテキストデータが含まれているか否かを検知する。

静止画生成部２６は、動画記憶部３０に格納されている動画の各フレームから、キーワード検知処理が実行される対象となるフレームを抽出して、処理対象の静止画を生成するものである。静止画生成部２６は、動画に含まれるすべてのフレームをそれぞれ静止画にしてもよいが、本実施形態では、所定秒間隔、または、所定フレーム間隔で、処理対象となる静止画を抜き出す処理を実行する。

特徴量抽出部２７は、静止画生成部２６が生成した静止画から、非特許文献１に記載の技術等を用いて、キーワード検知処理に使用する特徴量を抽出するものである。本発明のＤＶＤレコーダー１が用いる特徴量は、キーワード検知部２５が、動画を構成する音声またはフレームに、自装置に入力されたテキストデータ、画像データまたは音声データ等の注目情報（非注目情報）が含まれるか否かを検知することができるものであれば何でもよい。

基準フレーム記録部２８は、注目場面特定部２３が特定した基準フレームに関する情報を基準フレーム記憶部３２に格納するものである。具体的には、基準フレーム記録部２８は、基準フレームに関する情報として、基準フレームＩＤ、基準フレームを検出する際に使用したキーワード、基準フレームの時刻（時点）、および、基準フレームの画像（サムネイル）を基準フレーム記憶部３２に格納する。

場面切替時点検出部２９は、動画においてフレーム間の画像の変化量が所定以上となる場面切替時点を検出するものである。具体的には、場面切替時点検出部２９は、フレームの画像と、当該フレームの前後のフレームの画像とを比較し、当該フレームの画像の変化量（２つの画像の差分など）を算出し、算出した画像の変化量が所定の閾値（場面切替閾値）を超えるか否かを判定する。そして、場面切替時点検出部２９が算出した画像の変化量が所定の閾値を超えると判定したフレームの時刻（時点）を場面切替時点として検出する。

記憶部１１は、制御部１０が実行する制御プログラムおよびＯＳプログラム、ならびに、制御部１０が、ＤＶＤレコーダー１が有する各種機能（例えば、注目場面特定処理、画質低減処理など）を実行するときに読み出す各種の固定データを記憶するものである。本実施形態では、記憶部１１には、例えば、動画記憶部３０、文字情報記憶部３１、基準フレーム記憶部３２、注目場面記憶部３３、および、低画質動画記憶部３４が含まれており、各種の固定データを記憶する。記憶部１１は、例えば、内容の書き換えが可能な不揮発性メモリである、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）、フラッシュメモリなどで実現される。なお、内容の書き換えが不要な情報を記憶する記憶部としては、上述したとおり、記憶部１１とは別の、図示しない、読出し専用の半導体メモリであるＲＯＭなどで実現されてもよい。

動画記憶部３０は、動画録画部２０が録画した動画を記憶するものである。

文字情報記憶部３１は、キーワード検知部２５がキーワード検知処理を実行する際に利用する文字の情報を記憶するものであり、文字データベースとして機能する。図３は、文字情報記憶部３１に記憶されている文字情報の一例を示す図である。図３に示すように、文字情報記憶部３１には、文字ごとに文字を一意に識別するための文字コード、および、その文字の特徴量が記憶されている。

基準フレーム記憶部３２は、基準フレームに関する情報（基準フレームリスト）を記憶するものである。基準フレームリストには、「動画ＩＤ」、「基準フレームＩＤ」、「キーワード」、「時刻（t_detect）」、および、「サムネイル」の項目がある。基準フレームリストには、少なくとも、「時刻（t_detect）」の項目が含まれていればよい。「動画ＩＤ」とは、動画を一意に識別する識別情報である。「基準フレームＩＤ」は、注目場面特定部２３が特定した基準フレームを一意に識別する識別情報である。「キーワード」は、対応付けられている基準フレームを検知する際に使用したキーワードであり、当該キーワードの文字列が格納されている。「時刻（t_detect）」は、対応付けられている基準フレームの時刻（基準時点）であり、動画上の基準時点の時刻が格納されている。「サムネイル」は、対応付けられている基準フレームの画像であり、その画像のファイル名が格納されている。

注目場面記憶部３３は、注目場面特定部２３が特定した注目場面に関する情報（注目場面リスト）を記憶するものである。注目場面リストには、「動画ＩＤ」、「注目場面ＩＤ」、「キーワード」、「開始時刻」、「終了時刻」、および、「サムネイル」の項目がある。注目場面リストには、少なくとも、「開始時刻」および「終了時刻」の項目が含まれていればよい。「動画ＩＤ」とは、動画を一意に識別する識別情報である。「注目場面ＩＤ」は、注目場面特定部２３が特定した注目場面を一意に識別する識別情報である。「キーワード」は、対応付けられている注目場面を特定する際に基準とした基準フレームを検知する際に使用したキーワードであり、当該キーワードの文字列が格納されている。「開始時刻」は、注目場面の時間帯の開始時点を示すものであり、開始時点の動画上の時刻が格納されている。「終了時刻」は、注目場面の時間帯の終了時点を示すものであり、終了時点の動画上の時刻が格納されている。「サムネイル」対応付けられている注目場面を特定する際に基準とした基準フレームの画像であり、その画像のファイル名が格納されている。なお、「サムネイル」として、基準フレームの画像ではなく、注目場面の時間帯に含まれるフレームの画像であれば、なんでもよい。例えば、注目場面の時間帯の開始時点または終了時点のフレームの画像でもよい。

低画質動画記憶部３４は、画質低減部２２が作成した低画質動画を記憶するものである。

一時記憶部１４は、ＤＶＤレコーダー１が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＲＡＭ（Random Access Memory）などで実現される。より具体的には、静止画生成部２６は、画像処理を実行するとき、処理対象となる画像を、一時記憶部１４の動画像処理メモリ１４ａに展開し、これにより、特徴量抽出部２７が画像について画素単位で詳細な解析を行うことができる。また、ユーザによって入力されたキーワードに基づいてキーワード解析部２４がキーワードの特徴量を抽出するとき、入力された上記キーワードは、一時記憶部１４のキーワード保持部１４ｂに一時的に格納される。

〔携帯電話機２の構成〕
次に、携帯端末２である携帯電話機２の構成について、図６に基づいて説明する。図６は、本発明の実施形態における携帯電話機２の要部構成を示すブロック図である。

図６に示すとおり、本実施形態の携帯電話機２は、制御部４０、記憶部４１、表示部４２、操作部４３、一時記憶部４４、通信部４６、および、これらの各部でデータの送受信を行うための共通の信号線としてのバス４５を備える構成となっている。

表示部４２は、携帯電話機２が処理する画像を表示したり、ユーザが携帯電話機２を操作するための操作画面をＧＵＩ（Graphical User Interface）画面として表示したりするものである。表示部４２は、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイなどの表示装置で構成される。

操作部４３は、ユーザが携帯電話機２に指示信号を入力し、操作するためのものである。本実施形態では、操作部４３は、例えば、十字キー、テンキー、ファンクションキー等で構成される。

通信部４６は、無線通信手段または有線通信手段によって、画像処理装置１などの他の装置と通信を行い、データのやりとりを行うものである。

制御部４０は、記憶部４１から一時記憶部４４に読み出されたプログラムを実行することにより、各種の演算を行うと共に、携帯電話機２が備える各部を、バス４５を介して統括的に制御するものである。

本実施形態では、制御部４０は、機能ブロックとして、動画受信部５１および動画再生部５２を備える構成である。これらの制御部１０の各機能ブロック（５１、５２）は、ＣＰＵが、ＲＯＭ等で実現された記憶装置に記憶されているプログラムをＲＡＭ等で実現された一時記憶部４４に読み出して実行することで実現できる。

動画受信部５１は、ＤＶＤレコーダー１から転送された低画質動画を、通信部４６を介して受信し、受信した低画質動画を動画記憶部６１に格納するものである。また、ＤＶＤレコーダー１から低画質動画と共に、注目場面リストが転送された場合、動画受信部５１は、通信部４６を介して低画質動画および注目場面リストを受信し、受信した低画質動画を動画記憶部６１に格納し、受信した注目場面リストを注目場面記憶部６２に格納する。

動画再生部５２は、動画記憶部６１に格納されている動画または低画質動画を再生するものである。また、動画再生部５２は、低画質動画を再生する際に、注目場面記憶部６２に格納されている注目場面リストを参照して、低画質動画の中で、注目場面の時間帯を特定することができる。

記憶部４１は、制御部４０が実行する制御プログラムおよびＯＳプログラム、ならびに、制御部４０が、携帯電話機２が有する各種機能（例えば、動画再生処理など）を実行するときに読み出す各種の固定データを記憶するものである。本実施形態では、記憶部４１には、例えば、動画記憶部６１および注目場面記憶部６２が含まれており、各種の固定データを記憶する。記憶部４１は、例えば、内容の書き換えが可能な不揮発性メモリである、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなどで実現される。なお、内容の書き換えが不要な情報を記憶する記憶部としては、上述したとおり、記憶部４１とは別の、図示しない、読出し専用の半導体メモリであるＲＯＭなどで実現されてもよい。

動画記憶部６１は、動画またはＤＶＤレコーダー１から転送された低画質動画を記憶するものである。

注目場面記憶部６２は、ＤＶＤレコーダー１から転送された注目場面リストを記憶するものである。注目場面記憶部６２に格納されている注目場面リストのデータ構造は、図５に示す、ＤＶＤレコーダー１の注目場面記憶部３３に格納されている注目場面リストと同様である。

一時記憶部４４は、携帯電話機２が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＲＡＭなどで実現される。より具体的には、動画再生部５２は、動画の再生を実行するとき、処理対象となる動画を、一時記憶部１４の動画像処理メモリ１４ａに展開し、これにより、動画再生部５２は、注目場面記憶部６２から注目場面リストを読み出し、スムーズに注目場面の時間帯を特定することができる。

〔ＤＶＤレコーダー１の処理〕
次に、ＤＶＤレコーダー１の注目場面特定処理および画質低減処理について図７に基づいて説明する。図７は、ＤＶＤレコーダー１が行う処理の一例を示すフローチャートである。

まず、キーワード解析部２４は、ユーザから操作部１３を介して、キーワードが入力されるのを待つ（Ｓ１０１）。操作部１３を介してユーザがキーワードを入力すると（Ｓ１０１でＹＥＳ）、キーワード解析部２４は、文字情報記憶部３１を参照して、入力されたキーワード（注目情報）の特徴量（注目特徴量）を抽出する（Ｓ１０２）。

次に、制御部１０は、タイマーを０にセット（初期化）し（Ｓ１０３）、動画録画部２０は、通信部１６を介して受信した動画の録画を開始すると共に、タイマーのカウントを開始する（Ｓ１０４）。

動画の録画が開始されると、静止画生成部２６は、タイマーの時刻ｔが時刻ｔ０になるのを待つ（Ｓ１０５）。タイマーの時刻ｔが時刻ｔ０になると（Ｓ１０５でＹＥＳ）、静止画生成部２６は、動画録画部２０が録画した動画が記憶されている動画記憶部３０から、時刻ｔ０における動画のフレームを読み出し、読み出した動画フレームの静止画を生成する（Ｓ１０６）。特徴量抽出部２７は、静止画生成部２６が生成した静止画の特徴量を抽出する（Ｓ１０７）。

そして、キーワード検知部２５は、特徴量抽出部２７が抽出した特徴量と、キーワード解析部２４が抽出した特徴量とを比較して、静止画生成部２６が生成した静止画に、入力されたキーワードが含まれるか否かを検知する（Ｓ１０８）。キーワード検知部２５がキーワードを検知すると（Ｓ１０９でＹＥＳ）、注目場面特定部２３は、キーワードが検知された静止画であるフレームを基準フレームとし、基準フレームの時刻ｔをt_detect（基準時点）とする。そして、基準フレーム記録部２８が、基準フレームの静止画と、基準フレームの時刻と、検知に使用したキーワードとを基準フレームＩＤに対応付けて、基準フレーム記憶部３２に記録する（Ｓ１１０）。

Ｓ１０９において、キーワードを検知できなかった場合（Ｓ１０９でＮＯ）、または、Ｓ１１０において、基準フレーム記憶部３２が基準フレームの時刻ｔを記録した後、時刻が進むのを待ち（Ｓ１１１）、動画録画部２０が録画を終了していなければ（Ｓ１１２でＮＯ）、時刻が２×ｔ０になるのを待つ（Ｓ１０５）。時刻が２×ｔ０になると（Ｓ１０５でＹＥＳ）、静止画生成部２６が時刻２×ｔ０の動画フレームを動画記憶部３０から読み出し、静止画を生成する（Ｓ１０６）。この後、時刻ｔ０の時と同様に、特徴量を抽出し、キーワードが含まれるか否かを検知し、キーワードが検知できれば、時刻２×ｔ０の動画フレームを基準フレームとして、その時刻ｔをt_detectとして記憶する。

つまり、静止画生成部２６は、一定の時間間隔（ｔ０）で動画記憶部３０から動画フレームを読み出して静止画を生成する。ここで、静止画生成部２６が一定の時間間隔で読み出す動画フレームを検知対象フレームと称する。そして、キーワード検知部２５は、キーワードが含まれるか否かを検知し、キーワードが検知できれば、注目場面特定部２３が現在の時刻（ｋ×ｔ０（ｋ＝１，２，・・・，ｎ））の検知対象フレームを基準フレームとして記憶する。この一連の処理（Ｓ１０５〜Ｓ１１１）を動画録画部２０が録画を終了するまで行う。

動画録画部２０が動画の録画を終了すると（Ｓ１１２でＹＥＳ）、注目場面特定部２３は、基準フレームの時刻t_detect（基準時点）より所定の時間ｔ１前の時刻をt_startとし、基準フレームの時刻t_detectより所定の時間ｔ２後の時刻をt_endとし、時刻t_startから時刻t_endの期間に含まれるフレームを注目場面として特定する（Ｓ１１３）。注目場面特定部２３は、特定した注目場面の開始時刻、終了時刻、注目場面のサムネイル、および、注目場面を特定するために使用したキーワードを、注目場面ＩＤに対応付けて注目場面記憶部３３に格納する。

そして、画質低減部２２は、注目場面の開始時刻（開始時点）および終了時刻（終了時点）を参照して、動画記憶部３０に録画されている動画を注目場面と注目場面以外の場面に分けて、注目場面以外の場面を低画質にして、当該動画から低画質動画を生成して低画質動画記憶部３４に格納する（Ｓ１１４）。

制御部１０は、画質低減部２２が生成した低画質動画を通信部１６を介して携帯電話機２へ送信する（Ｓ１１５）。

すなわち、動画の中で、注目場面以外の場面を、注目場面に対して相対的に画質を低くした低画質動画を生成することによって、ＤＶＤレコーダー１から携帯電話機２へ転送するデータ量を低減しつつ、ユーザが関心のある場面（注目場面）の前後の場面を含む動画を転送することができる。それゆえ、ＤＶＤレコーダー１から携帯電話機２への転送時間を短くすることができる。それと共に、ユーザが携帯電話機２で再生する際に、注目場面の前後のつながりを視聴することができる。

また、制御部１０は、画質低減部２２が生成した低画質動画を通信部１６を介して携帯電話機２へ送信すると共に、注目場面記憶部３３に格納されている注目場面リストも携帯電話機２へ送信してもよい。

この場合、携帯電話機２は、受信した注目場面リストに含まれる開始時刻および終了時刻を参照することによって、受信した低画質動画の中でどの位置に注目場面があるのかを特定することができる。すなわち、携帯電話機２が、特定した注目場面の位置情報をユーザに通知することによって、ユーザは、注目場面を簡単な操作ですぐに再生することができる。換言すると、ユーザが注目場面のみを視聴したい場合、頻繁に早送り再生や巻き戻し再生を行いながら注目場面を探す必要がなくなるため、携帯電話機２のバッテリー消費を抑制することができる。

なお、本実施形態では、動画を録画する際に、Ｓ１０５〜Ｓ１１１の処理を行ったがこれに限るものではない。例えば、動画再生部２１が動画記憶部３０に格納されている、または、通信部１６が受信した動画を再生する際に、タイマーの時刻ｔを０にセットし、動画の再生を開始すると共に、タイマーのカウントを開始してもよい。つまり、この場合、動画の再生が終了するまで、Ｓ１０５〜Ｓ１１１の処理を行う。また、その他の例として、不図示の動画読み出し部が動画記憶部３０に格納されている、または、通信部１６が受信した動画を読み出す際に、タイマーの時刻ｔを０にセットし、動画の読み出しを開始すると共に、タイマーのカウントを開始してもよい。つまり、この場合、動画の読み出しが終了するまで、Ｓ１０５〜Ｓ１１１の処理を行う。

また、静止画生成部２６は、一定の時間間隔ｔ０ごとに動画フレームを読み出して静止画を生成しているが、これに限るものではなく、動画中の全ての動画フレームを読み出して、静止画を生成してもよい。

また、本発明において、ユーザから予め指定される、注目場面を特定するための条件として、上記で例示したキーワードなどの文字列に限るものではない。例えば、人物の顔画像やオブジェクトの画像、音声などであってもよい。

＜実施例＞
次に、具体的な事例として、野球中継の番組において、ユーザが鈴木選手に関心があり、キーワード（注目情報）として「鈴木」が設定されている場合のＤＶＤレコーダー１の処理を図３〜５、７〜１０に基づいて説明する。本実施例では、鈴木選手が登場する場面を注目場面として特定されることが望ましい。野球中継の番組では、一般的に、鈴木選手の打席の場面において、「鈴木」という文字列を含むテロップ（スーパー）が表示される。このことを利用して、動画中から「鈴木」という文字列が含まれるか否かを検知することで、注目場面の時間帯を自動的に特定することができる。また、検知対象フレームの時間間隔ｔ０を１秒間として以下では説明する。

Ｓ１０１において、ユーザが操作部１３を介してキーワードを入力する操作を図８に基づいて説明する。図８は、本発明のＤＶＤレコーダー１、表示装置１２（テレビ）、および、操作部１３（リモコン）の外観と、ユーザが目的のキーワード（文字列）を入力する様子を説明する図である。図８に示す例では、ＤＶＤレコーダー１は、ユーザがキーワードを入力するためのキーワード入力画面を表示装置１２に出力し、表示させる。図８に示す例では、表示装置１２は、ユーザが指定するキーワードを、操作部１３を操作して入力できるようなＧＵＩ画面を表示する。

ユーザは、操作部１３を操作することにより、処理対象の動画から見つけたい文字列をＤＶＤレコーダー１に対して入力することができる。図８は、目的の文字列として、キーワード「鈴木」が入力された例を示している。

キーワード解析部２４は、キーワードが入力されて、例えば、操作部１３の決定ボタンなどが押下されると、入力されたキーワード（例えば、「鈴木」）を取得して、一時記憶部１４のキーワード保持部１４ｂに格納する。

次に、Ｓ１０２において、キーワード解析部２４は、取得したキーワード「鈴木」の各文字コードを、図３に示す文字情報記憶部３１に記憶されている文字情報の中から検索し、一致する文字コードに対応する特徴量をそれぞれ抽出する。図３に示す例では、キーワード「鈴」の文字コードが「Ａ１２３４５６」であるときに、文字コード「Ａ１２３４５６」に対応付けられている特徴量「鈴」を、キーワード「鈴」の特徴量として抽出する。また、キーワード「木」の文字コードが「Ａ２３４５６７」であるときに、文字コード「Ａ２３４５６７」に対応付けられている特徴量「木」を、キーワード「木」の特徴量として抽出する。

動画の録画を開始し、１秒ごとに動画フレームを読み出し、読み出した各検知対象フレームにキーワード「鈴木」が含まれるか否かを検知する。本実施例では、キーワード検知部２５が、図４に示すように、録画を開始してから１５分１５秒と３２分４５秒の時にキーワード「鈴木」を検知したものとする。このとき、キーワード検知部２５が行うキーワード文字列検知処理の一例を図９に基づいて説明する。

キーワード文字列検知処理では、例えば、キーワードの文字列の１文字目から順番に静止画に含まれるか否かを調べてもよい。この場合、まず、１文字目の文字である「鈴」の特徴量が、検知対象フレームから生成した静止画から抽出した特徴量の中に存在するかを照合していく。「鈴」の特徴量が存在している場合、１文字目の文字「鈴」の特徴量を検知した画像領域の近傍（例えば、右側および下側）の所定の画像領域を検索領域とし、２文字目の文字である「木」の特徴量が、当該検索領域の画像から抽出した特徴量に中に存在するかを照合する。このように、キーワードに含まれる文字列全てについて検知した場合、当該検知対象フレームを基準フレームとして特定し、基準フレームの時刻ｔをt_detectとして記憶する。

ここで、１文字目の文字「鈴」の特徴量を検知した画像領域の近傍の所定の画像領域（検索領域）としては、例えば、図９に示すように、検知した文字「鈴」の文字サイズ（ｈ×ｈ）の３倍の３ｈ×３ｈの領域を検索領域（図９に示す破線枠内網点領域）としてもよい。

動画の録画を終了後、注目場面特定部２３は、図１０に示すように、基準フレームの時刻t_detectより時間ｔ１前の時刻t_startから、基準フレームの時刻t_detectより時間ｔ２後の時刻t_endまでを注目場面の時間帯として特定する。注目場面特定部２３は、図５に示すような、注目場面に関する情報を注目場面記憶部３３に格納する。

図５に示すように、本実施例では、時間ｔ１を「３分」とし、時間ｔ２を「２分」としているが、これはあくまで一例である。また、時間ｔ１の設定方法は様々であり、例えば、時間ｔ１およびｔ２が、デフォルトで装置固有の値として設定されていてもよいし、ユーザが任意に時間ｔ１およびｔ２を設定できるようにしてもよい。

また、本実施例におけるキーワード（第１のキーワード：注目情報）「鈴木」と異なる第２のキーワードおよび第３のキーワード（非注目情報）を設定してもよい。この場合、キーワード検知部２５は、基準フレームより前の検知対象フレームに関して、基準フレームから時間を遡って順番に検知対象フレームを抽出し、抽出した検知対象フレームに第２のキーワード（非注目情報）の特徴量（非注目特徴量）が含まれるか否かを検出する。キーワード検知部２５が第２のキーワードの特徴量（非注目特徴量）を検知した場合、注目場面特定部２３は、当該検知対象フレームを注目場面開始フレームとして設定し、注目場面開始フレームの時刻を注目場面の開始時刻t_startとする。また、キーワード検知部２５は、基準フレームより後の検知対象フレームに関して、基準フレームから時間の順番に検知対象フレームを抽出し、抽出した検知対象フレームに第３のキーワード（非注目情報）の特徴量（非注目特徴量）が含まれるか否かを検知する。キーワード検知部２５が第３のキーワードの特徴量（非注目特徴量）を検知した場合、注目場面特定部２３は、当該検知対象フレームを注目場面終了フレームとして設定し、注目場面終了フレームの時刻を注目場面の終了時刻t_endとする。

すなわち、第２のキーワードを、注目場面開始フレームを検知するための情報として設定し、第３のキーワードを、注目場面終了フレームを検知するための情報として設定すればよい。換言すると、第１のキーワードは、ユーザが関心のある事項を示す注目情報であり、第２および第３のキーワードは、ユーザが関心のない場面に関連する情報を示す非注目情報である。なお、キーワード解析部２４が、第２または第３のキーワードから抽出した特徴量を非注目特徴量と称する。

例えば、本実施例の場合において、鈴木選手の前の打者および後の打者が既知の場合、第２のキーワードとして前の打者名を設定し、第３のキーワードとして後の打者名を設定すればよい。また、鈴木選手の前の打者および後の打者が不明の場合であっても、一般に選手を紹介するためのテロップ等は、動画の画像におけるテロップの位置が固定されていることが多いため、「鈴木」を検知した基準フレームの前後のフレームにおいて、画像上の「鈴木」を検知した領域に、「鈴木」以外の他の文字列を検知したフレームを、注目場面開始フレームまたは注目場面終了フレームとしてもよい。その他にも、第２および第３のキーワードとして、ＣＭに入る前に表示されやすい文字列「ＣＭ」、「提供」等、または、番組のスポンサーである会社名やブランド名等を設定することにより、注目場面をＣＭを利用して区切ることができる。なお、テレビ番組等の場合、動画データに含まれるメタデータを利用して注目場面を特定してもよい。

さらに、注目場面の期間の別の設定方法として、注目場面特定部２３は、基準フレームの前後の検知対象フレームであって、画像の変化量が大きい検知対象フレームの時刻（場面切替時点）を注目場面の開始時刻t_startまたは終了時刻t_endとしてもよい。具体的には、場面切替時点検出部２９は、基準フレームより前（基準時点より前）の検知対象フレームに関して、基準フレームから時間を遡って順番に検知対象フレームを抽出し、抽出した検知対象フレームの画像と、当該検知対象フレームの前後のフレームの画像とを比較して、フレーム間の画像の変化量（画像の特徴量の変化量）が、所定の閾値を超える場合、当該検知対象フレームの時刻（時点）を場面切替時点として検出する。そして、注目場面特定部２３は、基準時点より前に場面切替時点検出部２９が検出した場面切替時点を開始時刻t_startとする。また、場面切替時点検出部２９は、基準フレームより後（基準時点より後）の検知対象フレームに関して、基準フレームから時間の順番に検知対象フレームを抽出し、抽出した検知対象フレームの画像と、当該検知対象フレームの前後のフレームの画像とを比較して、フレーム間の画像の変化量（画像の特徴量の変化量）が、所定の閾値を超える場合、当該検知対象フレームの時刻（時点）を場面切替時点として検出する。そして、注目場面特定部２３は、基準時点より後に場面切替時点検出部２９が検出した場面切替時点を終了時刻t_endとする。

なお、この注目場面の時間帯（期間）の設定方法（場面切替時点の選択方法）において、場面切替時点検出部２９が場面切替時点を複数検出した場合、注目場面特定部２３は、注目場面の時間帯の開始時点または終了時点の少なくともどちらか一方を、場面切替時点検出部２９が検出した複数の場面切替時点の中から、選択してもよい。また、注目場面特定部２３は、複数の場面切替時点の中から、開始時点（または終了時点）を選択する際に、基準時点の直前（または直後）の場面切替時点を選択してもよい。また、注目場面特定部２３は、複数の場面切替時点の中から、開始時点（または終了時点）を選択する際に、基準時点から複数時点目の場面切替時点を開始時点（または終了時点）として選択してもよい。また、注目場面特定部２３は、複数の場面切替時点の中から、開始時点および終了時点を選択する際に、注目場面の時間帯が所定時間以上になるように、開始時点および終了時点を複数の場面切替時点の中から選択してもよい。

また、場面切替時点検出部２９は、基準時点の前後の検知対象フレームに関して、基準時点から順番に検知対象フレームを抽出しているが、抽出する順番はこれに限るものではない。場面切替時点検出部２９は、例えば、検知対象フレームを、動画の時間軸の順序で抽出してもよい。また、場面切替時点検出部２９は、上記所定の閾値を一定の値として、フレーム間の画像の変化量（画像の特徴量の変化量）が、所定の閾値を超える場合、当該検知対象フレームの時刻（時点）を場面切替時点として検出しているが、これに限るものではない。例えば、場面切替時点検出部２９は、抽出する検知対象フレームの時刻が基準フレームの時刻（基準時点）から離れるに従って、当該検知対象フレームにおけるフレーム間の画像の変化量（画像の特徴量の変化量）を判定する上記所定の閾値を変化させてもよい。すなわち、場面切替時点検出部２９は、抽出する検知対象フレームの時刻が基準フレームの時刻から離れるに従って、上記所定の閾値を徐々に小さくしてもよい。

画質低減部２２は、注目場面特定部２３が特定した注目場面以外の場面の画質を低画質にするものである。注目場面以外の画質を低下させることにより、結果的に、注目場面は注目場面以外と比べて高画質となる。本実施例では、動画が６０分である場合、開始０分０秒から１２分１５秒まで、１７分１５秒から２９分４５秒まで、３４分４５秒から６０分０秒までを低画質にする。１２分１５秒から１７分１５秒、２９分４５秒から３４分４５秒までは元の画質を維持する。

なお、画質低減部２２が、注目場面以外の場面を低画質とする具体的な方式としては、例えば次のようなものが考えられる。１つ目の例として、注目場面については画像データの解像度を相対的に高くし、注目場面以外の場面については画像データの解像度を相対的に低くする。また、２つ目の例として、注目場面については動画圧縮率を相対的に低くし、注目場面以外の場面については動画圧縮率を相対的に高くする。また、３つ目の例として、注目場面についてはフレームレートを相対的に高くし、注目場面以外の場面についてはフレームレートを相対的に低くする。３つ目の例において、フレームレートを低くする際に、フレームを間引く方法として、所定のフレームの画像と、当該所定のフレームの前後のフレームの画像とを比較して、フレーム間の画像の変化量（画像の特徴量の変化量）が、所定の閾値未満である上記所定のフレームを間引くという手法を用いてもよい。ここで、所定のフレームの画像と、当該所定のフレームの前後のフレームの画像とを比較して、フレーム間の画像の変化量を算出しているが、これに限るものではない。例えば、所定のフレームの画像と、当該所定のフレームの前のフレームの画像とを比較してもよいし、所定のフレームの画像と、当該所定のフレームの後のフレームの画像とを比較してもよい。

ここで、例えば、従来の技術において、動画データの内容が野球中継の番組であり、ユーザが特に注目する選手の打席の場面のみを携帯視聴端末に転送するようにした場合、携帯視聴端末には、注目場面以外のその他の場面の動画データが転送されていないため、ユーザは、携帯視聴端末上で注目場面以外の場面を視聴することができない。それゆえ、ユーザは、注目する選手の打席の前後の試合展開を知ることができず、携帯視聴端末に転送された動画の視聴価値が半減してしまう。

一方、本発明では、上述のように、ＤＶＤレコーダー１の画質低減部２２が注目場面以外の時間帯の画質を低減して、低画質動画を生成する。そのため、生成された低画質動画においては、ユーザが注目するであろう注目場面の画質を維持しつつ、上記注目場面以外の時間帯の画質だけが低画質になっている。すなわち、生成された低画質動画は、ユーザが注目する注目画面については元の画質を維持し、注目場面の前後の情報を含みながら、なおかつ、元の動画と比較して全体のデータ量が少ない動画である。よって、生成された低画質動画を他の装置への転送用に用いることができ、この場合、転送時間を低減させることができると共に、ユーザは、他の装置上で注目場面の前後の場面も視聴することができる。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、画像処理装置１の各ブロック、特に画質低減部２２、注目場面特定部２３、キーワード解析部２４、キーワード検知部２５、静止画生成部２６および特徴量抽出部２７は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、ＤＶＤレコーダー／プレーヤー、デジタルビデオレコーダー／プレーヤー、ブルーレイディスクレコーダー／プレーヤー、デジタルビデオカメラ、デジタルカメラ、デジタルテレビ、パソコン、携帯電話、プリンタ、スキャナなど、静止画および／または動画を処理する各種画像処理装置に適用することが可能である。

１ 画像処理装置
２ 携帯端末
３ 画像処理システム
１０ 制御部
２２ 画質低減部（低画質動画生成手段）
２３ 注目場面特定部（注目場面特定手段）
２５ キーワード検知部（注目情報検知手段）
２９ 場面切替時点検出部（場面切替時点検出手段）

Claims (17)

1. 自装置に入力された、ユーザが関心のある事項を示す注目情報から抽出された注目特徴量と一致する特徴量を含む、動画を構成する音声またはフレームを検知する注目情報検知手段と、
   上記動画の再生時間軸上において、上記注目情報検知手段が検知した、注目特徴量を含む音声またはフレームの時刻である基準時点を含む時間帯を、注目場面として特定する注目場面特定手段と、
   上記動画のうち、上記注目場面特定手段が特定した注目場面以外の時間帯の画質を低下させて、上記動画の低画質動画を生成する低画質動画生成手段とを備えることを特徴とする画像処理装置。
2. 上記注目場面特定手段は、上記基準時点より所定の時間前の時点から、上記基準時点より所定の時間後の時点までの時間帯を注目場面として特定することを特徴とする請求項１に記載の画像処理装置。
3. 上記注目情報検知手段は、自装置に入力された、ユーザが関心のない場面に関連する情報を示す非注目情報から抽出された非注目特徴量と一致する特徴量を含む、動画を構成する音声またはフレームを検知し、
   上記注目場面特定手段は、上記注目情報検知手段が検知した、上記非注目特徴量を含む音声またはフレームの時刻であって、当該時刻のうち上記基準時点より後の時刻を、注目場面の終了時点とすることを特徴とする請求項１または２に記載の画像処理装置。
4. 上記動画においてフレーム間の画像の変化量が所定以上となる場面切替時点を検出する場面切替時点検出手段を備え、
   上記注目場面特定手段は、上記注目場面の時間帯の開始時点および終了時点の少なくともいずれか一方を、上記場面切替時点検出手段が検出した場面切替時点から選択することを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
5. 上記注目場面特定手段は、上記場面切替時点検出手段が検出した複数の場面切替時点のうち、上記基準時点の直前の場面切替時点、および、上記基準時点の直後の場面切替時点を、それぞれ、上記注目場面の時間帯の開始時点および終了時点として選択することを特徴とする請求項４に記載の画像処理装置。
6. 上記注目場面特定手段は、上記注目場面の時間帯が所定時間以上となるように、該時間帯の開始時点および終了時点を、上記複数の場面切替時点からそれぞれ選択することを特徴とする請求項４に記載の画像処理装置。
7. 上記注目情報は、テキストデータ、画像データおよび音声データのうち、少なくともいずれか１つを含むことを特徴とする請求項１から６までのいずれか１項に記載の画像処理装置。
8. 上記低画質動画生成手段は、上記動画のうち、上記注目場面特定手段が特定した注目場面以外の時間帯の解像度を低くすることを特徴とする請求項１から７までのいずれか１項に記載の画像処理装置。
9. 上記低画質動画生成手段は、上記動画のうち、上記注目場面特定手段が特定した注目場面以外の時間帯の動画圧縮率を高くすることを特徴とする請求項１から８までのいずれか１項に記載の画像処理装置。
10. 上記低画質動画生成手段は、上記動画のうち、上記注目場面特定手段が特定した注目場面以外の時間帯のフレームレートを低くすることを特徴とする請求項１から９までのいずれか１項に記載の画像処理装置。
11. 上記低画質動画生成手段は、所定のフレームの画像と、当該所定のフレームの前のフレームの画像とを比較して、フレーム間の画像の変化量が所定の閾値未満である上記所定のフレームを間引いて、フレームレートを低くすることを特徴とする請求項１０に記載の画像処理装置。
12. 請求項１から１１までのいずれか１項に記載の画像処理装置と、
    動画を再生可能な携帯端末とを含む画像処理システムであって、
    上記画像処理装置は、生成した上記低画質動画を上記携帯端末へ転送することを特徴とする画像処理システム。
13. 上記画像処理装置は、上記動画における上記注目場面の時間帯を示す情報を上記携帯端末へ転送することを特徴とする請求項１２に記載の画像処理システム。
14. ユーザが関心のある事項を示す注目情報から抽出された注目特徴量と一致する特徴量を含む、動画を構成する音声またはフレームを検知する注目情報検知ステップと、
    上記動画の再生時間軸上において、上記注目情報検知ステップにおいて検知された音声またはフレームの時刻である基準時点を含む時間帯を、注目場面として特定する注目場面特定ステップと、
    上記動画のうち、上記注目場面特定ステップにおいて特定された注目場面以外の時間帯の画質を低下させて、上記動画の低画質動画を生成する低画質動画生成ステップとを含むことを特徴とする画像処理方法。
15. 上記低画質動画生成ステップにおいて生成された低画質動画を携帯端末に転送する転送ステップをさらに含むことを特徴とする請求項１４に記載の画像処理方法。
16. 請求項１４または１５に記載の各ステップを、コンピュータに実行させるための制御プログラム。
17. 請求項１６に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images