JP2012043337A - 画像処理装置、撮像システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】動画像データの特徴シーンを抽出する。
【解決手段】入力された動画像データから特徴シーンを選択する画像処理装置であって、動画像データを解析して、動画像データが、画像内容を識別するための予め定められた複数のカテゴリのうち何れのカテゴリに属するかを特定するカテゴリ特定部と、動画像データから抽出される複数の特徴量の時系列データのうち動画像データが属するカテゴリに対応付けられた特徴量の時系列データに基づき、動画像データに含まれる特徴シーンを選択する選択部と、を備える画像処理装置を提供する。
【選択図】図１

Description

本発明は、画像処理装置、撮像システム、画像処理方法、およびプログラムに関する。

従来、デジタルカメラ等で撮像した写真等の画像の特徴を、予めカテゴリ別に分類した学習画像の特徴と比較することにより、画像を分類する方法が知られている。例えば、画像の特徴量により画像を分類する方法は、特許文献１に記載されている。
特許文献１ 特開２００９−００９４０２号公報

デジタルビデオカメラまたはデジタルカメラで撮像した動画像データには、様々な被写体が撮像されており、進行に伴って撮像されている被写体の特徴が移り変わっていく。したがって、動画像データから特徴的なシーンを自動的に選択することは困難であった。

上記課題を解決するために、本発明の第１の態様においては、入力された動画像データから特徴シーンを選択する画像処理装置であって、動画像データを解析して、動画像データが、画像内容を識別するための予め定められた複数のカテゴリのうち何れのカテゴリに属するかを特定するカテゴリ特定部と、動画像データから抽出される複数の特徴量の時系列データのうち動画像データが属するカテゴリに対応付けられた特徴量の時系列データに基づき、動画像データに含まれる特徴シーンを選択する選択部と、を備える画像処理装置を提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る画像処理装置１００の構成例を示す。 本実施形態に係る画像処理装置１００の動作フローを示す。 本実施形態に係る動画像データ２１０の一例を示す。 本実施形態に係る動画像データ２１０に対応する、カテゴリ特徴量の時系列データの一例を示す。 本実施形態に係る動画像データ２１０に対応する、シーン特徴量の時系列データの一例を示す。 本実施形態に係る画像処理装置１００の変形例を示す。 本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る画像処理装置１００の構成例を示す。画像処理装置１００は、入力された動画像データから特徴シーンを選択する。画像処理装置１００は、デジタルビデオカメラまたはデジタルカメラ等で撮像された動画像データから特徴シーンを選択して、動画像データに対応づけて記録してよく、動画像データの特徴シーンをサムネイル表示してもよい。ここで本実施形態における特徴シーンとは、動画像データに撮像されたシーンのうち、動画像データの内容を把握できる印象的なシーンのことをいう。特徴シーンは、静止画像であっても、短い動画像データであってもよい。

例えば、特徴シーンは、運動会を撮像した動画像データにおいては子供が走っているシーン、サッカーの試合を撮像した動画像データにおいてはゴールを決めたシーン、家族旅行を撮像した動画像データにおいては観光スポットでの家族の集合シーン等の、利用者が印象的と感じると判断されたシーンであってもよい。画像処理装置１００は、カテゴリ特定部１１０と、選択部１２０と、抽出部１３０と、加工部１４０とを備える。

カテゴリ特定部１１０は、動画像データを解析して、動画像データが、画像内容を識別するための予め定められた複数のカテゴリのうち何れのカテゴリに属するかを特定する。カテゴリ特定部１１０は、動画像データが、どのようなイベントにおいて撮像された動画像であるかを識別するための複数のカテゴリのうちの何れのカテゴリに属するかを特定してよい。

また、カテゴリ特定部１１０は、解析すべき動画像データが、予め定められたいずれのカテゴリに属する画像であるかを識別する。例えば、カテゴリ特定部１１０は、動画像データを「花見」、「海辺」、「祭り」、「結婚式」等の利用者が撮像している出来事（イベント）が、予め定められたカテゴリに属するかを特定する。カテゴリ特定部１１０は、複数（ｎ個）の識別器１１５と、特定器１１７とを有する。

複数の識別器１１５のそれぞれは、動画像データから抽出される１以上のカテゴリ特徴量に基づき、動画像データが各識別器１１５に対応づけられたカテゴリに属するかを判別する。識別器１１５は、予め定められた複数のカテゴリのうち、対応するカテゴリに応じた特徴量を抽出してよい。例えば、カテゴリ特定部１１０は、予め定められた複数のカテゴリの数と同数の識別器１１５を有し、各識別器１１５は、各カテゴリに１対１に対応してそれぞれのカテゴリに応じた特徴量をそれぞれ抽出する。識別器１１５は、１つのカテゴリに対応して、１つ以上の特徴量を抽出してよい。ここで、カテゴリに対応した特徴量をカテゴリ特徴量とする。

識別器１１５は、入力された動画像データから動画を形成するフレームの複数の静止画像データに分解して、複数の静止画像データのカテゴリ特徴量をそれぞれ抽出してよい。ここで識別器１１５は、複数の静止画像データのうち、１以上の静止画像データのカテゴリ特徴量を抽出して、入力された動画像データのカテゴリ特徴量としてよい。

識別器１１５は、１以上の静止画像データに含まれるエッジの数に対応する情報をカテゴリ特徴量としてよい。具体的には、識別器１１５は、１つの静止画像データの領域を所定の画素数から成る複数の領域に分割した上で、分割した複数の領域の一部または全ての領域に含まれるエッジの数を積算してよい。なお、エッジとは、隣接する画素間で輝度または色度が所定量以上変化する箇所である。

識別器１１５は、１以上の静止画像データの色情報を数値化することにより、カテゴリ特徴量を算出してもよい。例えば、識別器１１５は、１つの静止画像データの色空間をＨＳＶ色空間に変換した上で、色空間を構成する各色の発生頻度に基づいてヒストグラムを生成する。識別器１１５は、各色の発生頻度の数値情報をカテゴリ特徴量としてよい。

また、識別器１１５は、１以上の静止画像データの輝度情報を数値化することにより、カテゴリ特徴量を算出してもよい。例えば、識別器１１５は、１つの静止画像データの輝度の平均および分散を、カテゴリ特徴量とする。識別器１１５は、一例として、１つの静止画像データの色空間をＨＳＶ色空間に変換した上で、変換後の色空間におけるエネルギーおよび分散をカテゴリ特徴量としてもよい。

また、識別器１１５は、１以上の静止画像データに含まれるメタ情報に基づいて、カテゴリ特徴量を算出してもよい。具体的には、入力された動画像データがＭＰＥＧ−７に準拠して生成された動画像データである場合には、当該動画像データの映像信号特徴記述子に示されるエッジに関する情報、色の発生頻度に関する情報、および輝度に関する情報等をカテゴリ特徴量としてよい。

識別器１１５は、入力された動画像データを形成する複数の静止画像データについてカテゴリ特徴量をそれぞれ抽出して、カテゴリ特徴量の時系列データを抽出してよい。これに代えて、識別器１１５は、動画像データの一部分の静止画像データのカテゴリ特徴量を抽出してもよい。

識別器１１５は、静止画像データ毎に抽出したカテゴリ特徴量に基づき、各静止画像データのカテゴリを特定する。識別器１１５は、複数のカテゴリ特徴量を各成分とするカテゴリ特徴量ベクトルを用いてカテゴリを特定してもよい。例えば、識別器１１５は、画像の色度に基づく値、画像の輝度に基づく値等のカテゴリ特徴量をベクトルの成分とする。

各識別器１１５は、カテゴリ特徴量と予め定められた基準量とを比較して、カテゴリ特徴量と基準量との差分に基づき動画像データが当該識別器１１５に対応するカテゴリに属するかを判別してよい。ここで、予め定められた基準量は、各識別器１１５に対応づけられたカテゴリ毎に設定されてよい。また、識別器１１５がカテゴリ特徴量ベクトルを用いてカテゴリを分類する場合、識別器１１５は、そのカテゴリについて予め定められた基準ベクトルと比較して、動画像データが対応するカテゴリに属するかを判別してよい。この場合、基準ベクトルは、カテゴリ特徴量毎の基準量を成分とするベクトルであってよい。

各識別器１１５は、カテゴリ特徴量ベクトルと基準ベクトル間の距離を算出し、算出した距離に基づいて当該識別器１１５に対応するカテゴリに属するか否かをそれぞれ判別してよい。例えば、識別器１１５は、カテゴリ特徴量ベクトルが基準ベクトルから予め定められた距離の範囲内にある場合に、入力された静止画像データが当該識別器１１５に対応づけられたカテゴリに属すると判別する。

また、識別器１１５は、入力された動画像データを形成する複数の静止画像データのうち、一部の静止画像データのカテゴリ特徴量ベクトルが基準ベクトルから予め定められた距離の範囲内にある場合は、当該一部の静止画像データが当該識別器１１５に対応づけられたカテゴリに属すると判別してよい。各識別器１１５は、対応するカテゴリに属すると判別した場合に、カテゴリに属する旨の判別結果の情報を特定器１１７に送ってよい。ここで各識別器１１５は、カテゴリに属するとした判別結果に加えて、基準ベクトルからの距離の情報も特定器１１７に送ってよい。

特定器１１７は、複数の識別器１１５から受け取った判別結果の情報に基づき、入力された動画像データが属するカテゴリを特定する。例えば、特定器１１７は、入力された動画像データを形成する複数の静止画像データについて、１つの識別器１１５から対応するカテゴリに属する旨の判別結果を受け取った場合、入力された動画像データが当該識別器１１５に対応づけられたカテゴリに属すると特定する。

また、特定器１１７は、複数の静止画像データの一部について１つの識別器１１５から対応するカテゴリに属する旨の判別結果を受け取った場合、入力された動画像データの一部を当該識別器１１５に対応づけられたカテゴリに特定してよい。この場合において、特定器１１７は、他の静止画像データについて他の識別器１１５からさらに対応するカテゴリに属する旨の判別結果を受け取った場合、特定器１１７は、入力された動画像データの領域を２つ以上に分けて、２つ以上の領域について判別結果を送信したそれぞれの識別器１１５に対応づけられたカテゴリに属すると特定してもよい。

また、特定器１１７は、同一の静止画像データについて２つ以上の識別器１１５から対応するカテゴリに属する旨の判別結果を受け取った場合、各識別器１１５から受け取る基準ベクトルからの距離の情報に応じて、静止画像データのカテゴリを特定してよい。例えば、特定器１１７は、複数の判別結果のうち、最も基準ベクトルからの距離が小さい結果を送った識別器１１５に対応づけられたカテゴリを、当該静止画像データのカテゴリと特定してよい。特定器１１７は、入力された動画像データを形成する静止画像データ毎にカテゴリを特定していき、動画像データのカテゴリを特定してよい。特定器１１７は、特定したカテゴリの情報を選択部１２０に送る。

選択部１２０は、入力された動画像データから抽出される複数の特徴量の時系列データのうち動画像データが属するカテゴリに対応付けられた特徴量の時系列データに基づき、動画像データに含まれる特徴シーンを選択する。選択部１２０は、特徴量の時系列データが予め定められた条件を満たす動画像データの部分を、特徴シーンとして選択してよい。

選択部１２０は、一のカテゴリに属する動画像データに含まれる特徴シーンを選択する場合において、動画像データのカテゴリを特定するために用いた複数のカテゴリ特徴量とは異なる特徴量の時系列データに基づき特徴シーンを選択してよい。これによって、選択部１２０は、動画像データが属するカテゴリに応じた特徴に基づいて、動画像データの特徴シーンを選択できる。ここで、特徴シーンに対応した特徴量をシーン特徴量とする。選択部１２０は、特徴検出器１２５と、特徴選択器１２７とを有する。

特徴検出器１２５は、カテゴリの種類毎に設けられ、各カテゴリに応じた１以上のシーン特徴量を抽出する。特徴検出器１２５は、予め定められた特徴シーンに応じたシーン特徴量を抽出してよい。

例えば、カテゴリ特定部１１０が動画像データを「花見」のカテゴリに特定する場合、「花見」カテゴリに対応する１つの特徴検出器１２５は、「多くの花が撮像されたシーン」等の特徴シーンに応じた特徴量を抽出する。この場合、特徴検出器１２５は、「花の色」、「花の形状」等を特徴量としてよい。図中の例において、特徴検出器１２５は、ｎ個の識別器１１５の数に応じて、選択部１２０にｎ個備わり、ｎ通りのカテゴリに対応したシーン特徴量をそれぞれ出力する。

特徴検出器１２５は、識別器１１５と同様に、入力された動画像データから動画を形成する複数の静止画像データのシーン特徴量をそれぞれ抽出してよい。ここで特徴検出器１２５は、複数の静止画像データのうち、動画中の一部の期間における静止画像データのシーン特徴量を抽出して、シーン特徴量を時系列に出力してもよい。

特徴検出器１２５は、１以上の静止画像データに含まれるエッジの数に対応する情報をシーン特徴量としてよい。また、特徴検出器１２５は、１以上の静止画像データの色情報を数値化することにより、シーン特徴量を算出してもよい。特徴検出器１２５は、各色の発生頻度をシーン特徴量としてよい。

また、特徴検出器１２５は、１以上の静止画像データの輝度情報を数値化することにより、シーン特徴量を算出してもよい。特徴検出器１２５は、一例として、１つの静止画像データの色空間をＨＳＶ色空間に変換した上で、変換後の色空間におけるエネルギーおよび分散をシーン特徴量としてよい。また、特徴検出器１２５は、１以上の静止画像データに含まれるメタ情報に基づいて、シーン特徴量を算出してもよい。

また、特徴検出器１２５は、１以上の静止画像データがそれぞれ表示されるのと同時に出力される音声データを抽出して、シーン特徴量を算出してもよい。例えば、特徴検出器１２５は、１つの静止画像データの表示と共に出力される音声データのボリュームをシーン特徴量としてよい。これに代えて、特徴検出器１２５は、音声データをフィルタリングして、高音部または低音部のボリュームをシーン特徴量としてもよい。

また、特徴検出器１２５は、動画像データに含まれている音声データを抽出して、抽出した音声データをテキストデータに変換してシーン特徴量を算出してもよい。例えば、特徴検出器１２５は、動画像データの中で話されている内容をテキスト変換して、予め定められたキーワードとのマッチング量に基づき、特徴量を算出する。

特徴検出器１２５は、静止画像データ毎に抽出したシーン特徴量に基づき、特徴シーンを検出する。特徴検出器１２５は、複数のシーン特徴量を各成分とするシーン特徴量ベクトルを用いて特徴シーンを検出してもよい。例えば、特徴検出器１２５は、画像の特定領域に含まれる特定の色の変化に基づく値、画像の輝度の変化に基づく値等をベクトルの成分とする。

特徴検出器１２５は、動画像データが属するカテゴリに対応付けられた特徴量の時系列データが予め定められた条件を満たす動画像データの部分を、特徴シーンとして検出する。例えば、特徴検出器１２５は、抽出したシーン特徴量の時系列データのうち、最も大きな特徴量となるデータに対応する静止画像を、特徴シーンとして検出してよい。これに代えて、特徴検出器１２５は、時系列データのうち最も大きな特徴量から予め定められたフレーム数内の複数の静止画像を、特徴シーンとして検出してよい。

これに代えて、特徴検出器１２５は、時系列データのうち予め定められた基準値よりも大きな値となる１以上の静止画像を、特徴シーンとして検出してよい。ここで、基準値よりも大きな値となる静止画像がない場合、特徴検出器１２５は、基準値を下げて特徴シーンを検出してよい。また、特徴検出器１２５は、特徴シーンが検出されるまで、基準値を下げてもよい。

これに代えて、特徴検出器１２５は、選択したシーン特徴量の時系列データのうち最も小さな特徴量となるデータに対応する静止画像を、特徴シーンとして検出してもよい。これに代えて、特徴検出器１２５は、時系列データのうち最も小さな特徴量から予め定められたフレーム数内の複数の静止画像を、特徴シーンとして検出してよい。これに代えて、特徴検出器１２５は、時系列データのうち予め定められた基準値よりも小さな値となる１以上の静止画像を、特徴シーンとして検出してよい。特徴検出器１２５は、検出した特徴シーンの情報を特徴選択器１２７に送る。

特徴選択器１２７は、複数の特徴検出器１２５から受け取る複数の特徴シーンの情報のうち、特定器１１７が特定したカテゴリに対応する特徴シーンを検出する特徴検出器１２５が検出した特徴シーンの情報を選択する。ここで特徴選択器１２７は、特定器１１７が複数のカテゴリを特定した場合は、特定されたカテゴリ毎に対応する特徴検出器１２５が検出した特徴シーンの情報を選択してよい。特徴選択器１２７は、選択した特徴シーンの情報を抽出部１３０に送る。

抽出部１３０は、特徴シーンの情報を受け取り、動画像データに含まれる特徴シーンを抽出する。これによって、抽出部１３０は、入力された動画像データから、特定されたカテゴリに応じた特徴シーンを抽出することができる。抽出部１３０は、動画像データに含まれる特徴シーンの位置を、タイムスタンプまたは静止画像の配列順序で指定して、特徴シーンを抽出してよい。抽出部１３０は、動画像データに含まれる特徴シーンの位置の情報を加工部１４０に送ってよい。

加工部１４０は、抽出部１３０から受け取った特徴シーンの位置の情報に基づき、入力された動画像データに含まれる特徴シーンの位置に相当する静止画像データに対して、特徴シーンであることの情報を埋め込むように動画像データを加工する。加工部１４０は、特徴シーンの情報を持つ動画像データを出力する。

図２は、本実施形態に係る画像処理装置１００の動作フローを示す。画像処理装置１００は、入力された動画像データをカテゴリ特定部１１０および選択部１２０に入力させて、カテゴリ特徴量およびシーン特徴量を算出する。画像処理装置１００は、カテゴリ特徴量およびシーン特徴量を算出する処理を並行して実行してよい。

カテゴリ特定部１１０の複数の識別器１１５は、動画像データをそれぞれ入力し、動画を形成する複数の静止画像データから、複数の識別器１１５に対応する複数のカテゴリ特徴量をそれぞれ抽出する（Ｓ５００）。複数の識別器１１５のそれぞれは、複数の静止画像データから「花見」、「海辺」、「祭り」、「結婚式」等の予め定められた１つのカテゴリに応じた１以上のカテゴリ特徴量を抽出する。

次に、カテゴリ特定部１１０は、入力された動画像データのカテゴリを特定する（Ｓ５１０）。複数の識別器１１５は、それぞれ抽出した複数のカテゴリ特徴量に基づき、複数の静止画像データが各識別器１１５に対応するカテゴリに属するか否かを判別する。ここでそれぞれの識別器１１５は、静止画像データの複数のカテゴリ特徴量と、カテゴリの基準量とを比較して判別してよい。

例えば、識別器１１５は、予め対応するカテゴリに特定されるべき複数の動画像データからカテゴリ特徴量を抽出して、基準量および／またはカテゴリ特徴量の統計的な分布の範囲を集計しておいてよい。このように集計したカテゴリ特徴量の分布の範囲内に含まれることに基づき、入力された動画像データのカテゴリを判別してよい。複数の識別器１１５のうち、入力された静止画像データが対応するカテゴリに属すると判別した識別器１１５は、判別結果を特定器１１７に送る。

特定器１１７は、識別器１１５から受け取った判別結果に基づき、入力された動画像データのカテゴリを特定する。特定器１１７は、特定したカテゴリの情報を、特徴選択器に送る。

一方、選択部１２０は、動画像データに含まれる特徴シーンを選択する。選択部１２０の複数の特徴検出器１２５は、動画像データをそれぞれ入力して、動画を形成する複数の静止画像データから、複数の特徴検出器１２５に対応する複数のシーン特徴量をそれぞれ抽出する（Ｓ５２０）。複数の特徴検出器１２５のそれぞれは、複数の静止画像データから「花見」、「海辺」、「祭り」、「結婚式」等のカテゴリ特定部１１０が特定する予め定められた１つのカテゴリに応じた１以上のシーン特徴量を抽出する。

次に、複数の特徴検出器１２５それぞれは、入力された動画像データの特徴シーンを選択すべく、複数のシーン特徴量の時系列データから特徴シーンをそれぞれ検出する。複数の特徴検出器１２５は、それぞれ検出した特徴シーンを特徴選択器１２７にそれぞれ送る。

特徴選択器１２７は、複数の特徴検出器１２５から受け取る複数の特徴シーンの情報のうち、特定器１１７が特定したカテゴリに対応する特徴シーンを検出する特徴検出器１２５が検出した特徴シーンの情報を選択する（Ｓ５３０）。例えば、入力した動画を特定器１１７が「海辺」のカテゴリに特定した場合、特徴選択器１２７は、入力した動画から「海辺」のシーン特徴量を抽出して「海辺」の特徴シーンを検出する特徴検出器１２５から受け取る特徴シーンの情報を選択する。特徴選択器１２７は、選択した特徴シーンの情報を抽出部１３０に送る。

抽出部１３０は、特徴シーンの情報を受け取り、入力された動画像データに含まれる特徴シーンを抽出する（Ｓ５４０）。抽出部１３０は、動画像データに含まれる特徴シーンの位置の情報を加工部１４０に送り、加工部１４０は、入力された動画像データに特徴シーンの情報を埋め込む。以上の本実施形態に係る画像処理装置１００の動作フローによって、画像処理装置１００は、動画像データの特徴シーンを抽出することができる。

即ち、画像処理装置１００は、例えば、スポーツを撮影した動画像データの場合、観客の盛り上がりおよび選手の動き等を特徴量として特徴シーンを抽出すること、ペットを撮影した動画像データの場合は、飼い主の笑顔およびペットの仕草等を特徴量として特徴シーンを抽出すること等、カテゴリに応じた特徴量を使ってシーン群の中から特徴シーンを抽出することができる。したがって、画像処理装置１００は、動画像データから特徴的なシーンを自動的に選択することができる。

ここで、抽出部１３０は、選択された特徴シーンを代表する静止画像を生成する静止画生成部であってもよい。例えば、抽出部１３０は、選択された特徴シーンが複数の静止画像の場合に、複数の静止画像のうちの１つの静止画像を抽出する。この場合、抽出部１３０は、複数の静止画像のうち、最も大きな特徴量または小さな特徴量に対応する静止画像を抽出してよい。抽出部１３０は、入力する動画像データが複数の場合、複数の動画像データに対応する特徴シーンを代表する静止画像を生成してよい。これによって、抽出部１３０は、複数の動画像データを代表する静止画像で、サムネイル表示することができる。

以上の実施例において、選択部１２０は、入力された動画像データに対して１つの特徴シーンを選択する例を説明したが、これに代えて選択部１２０は、複数の特徴シーンを選択してもよい。例えば、特徴選択器１２７は、シーン特徴量の時系列データの最大値に加えて、さらに極値を示す静止画像データを特徴シーンとして選択する。

選択部１２０は、複数の特徴シーンを選択した場合、複数の特徴シーンのそれぞれに対してシーン特徴量に基づきランクをつけてよい。これによって、画像処理装置１００は、入力された動画像データから複数の特徴シーンをランク付けしつつ抽出することができる。抽出部１３０は、ランキングに応じたサムネイル表示をしてもよい。これによって、動画像データの複数の特徴的なシーンを自動的に選択してランキング表示することができる。

図３は、本実施形態に係る動画像データ２１０の一例を示す。動画像データ２１０は、時系列に並んだ複数の静止画像データ２１５から形成されてよい。図中の例において、動画像データ２１０は、２４の静止画像データ２１５から形成されている。

図４は、本実施形態に係る動画像データ２１０に対応する、カテゴリ特徴量の時系列データの一例を示す。図中の例は、３つの動画像データ２１０に対応する、カテゴリ特徴量の時系列データ３０２、時系列データ３０４、および時系列データ３０６を示す。動画像データの途中から異なるカテゴリの動画に場面展開されること等がなく、同一のカテゴリの映像が撮像されている場合、当該動画像データ２１０を形成する静止画像データ２１５であれば、カテゴリ特徴量は図中の例のように略一定の範囲内の値となる。

「海辺」のカテゴリを特定する識別器１１５は、予め定められた「海辺」の基準ベクトルとの距離によって、時系列データが「海辺」のカテゴリに属するか否かを特定してよい。例えば、「海辺」の動画像データであれば、海の色、砂浜の色、海岸を形成する岩の色等でカテゴリ特徴量を抽出する。ここで、予め、「海辺」にカテゴリ分けされるべき複数の映像からカテゴリ特徴量を抽出して、基準量およびカテゴリ特徴量の統計的な分布の範囲を集計しておいてよい。このように抽出したカテゴリ特徴量の分布から、予め定められた基準値の範囲内に含まれる時系列データを、「海辺」のカテゴリに特定してよい。

ここで、予め、画像処理装置１００の製造元において、多くの「海辺」の動画像データから、機械学習または人手による最適化等によりカテゴリ特徴量とする特徴量を選択し、カテゴリ基準ベクトルを設定してもよい。また、画像処理装置１００が選択した特徴シーンおよびそのカテゴリを利用者が変更したこと応じて、学習によりユーザー最適化してもよい。

図中の例が、このようなカテゴリ特徴量で抽出する識別器１１５の抽出結果の場合、基準ベクトルに近い距離の範囲内に含まれる時系列データ３０２および３０４を、識別器１１５は、「海辺」のカテゴリに特定してよい。ここで、それぞれの時系列データの距離は静止画像データの数だけあるので、識別器１１５は、距離の平均値を用いて特定してよい。図中の例において、カテゴリ特徴量の時系列データは、動画像データ２１０を形成する静止画像データ２１５と同数のデータを抽出する例を説明したが、これに代えて、一定間隔で間引いてカテゴリ特徴量を抽出してもよい。これによって、カテゴリ特定部１１０は、カテゴリを特定する処理を高速に実行することができる。

また、例えば、「花見」等のカテゴリであれば、「海辺」のカテゴリと同様に、動画像データに発生する色に着目して「花見」のカテゴリ特徴量を抽出することもある。しかしながら、「海辺」のカテゴリを特定する識別器１１５は、「海辺」の動画に発生する色等を特徴量として抽出するので、「花見」等の動画像データは、例えば、時系列データ３０６のように、「海辺」とは特定されない距離に分布する。これによって、識別器１１５は、カテゴリ特徴量の時系列データから予め定められたカテゴリを特定することができる。

図５は、本実施形態に係る動画像データ２１０に対応する、シーン特徴量の時系列データの一例を示す。時系列データ４０２、および時系列データ４０４は、図４の時系列データ３０２および時系列データ３０４に対応するシーン特徴量の時系列データを示す。シーン特徴量は、動画像データの中から特徴的なシーンを抽出するものなので、カテゴリ特徴量とは異なり時系列で略一定の値にはならない。

ここで、シーン特徴量の時系列データは、カテゴリ特定部１１０が特定したカテゴリに対応づけられたシーン特徴量を抽出する特徴検出器１２５の抽出結果である。このような特徴検出器１２５は、例えば、「海辺」の特徴シーンを検出すべく、海の色が発生する面積、砂浜の色が発生する面積、岩の色が発生する面積、波の音の音量、子供の顔認識、子供の声の音量等のシーン特徴量を抽出する。ここで、予め、画像処理装置１００の製造元において、多くの「海辺」の動画像データから、機械学習または人手による最適化等によりシーン特徴量を選択してよい。

例えば、海辺の風景を撮像した場合、海の色が発生する面積、砂浜の色が発生する面積、および岩の色が発生する面積が変わらない場合があり、特徴検出器１２５は、抽出する特徴量としての数値は大きくても変化があまり見られない時系列データを検出する。そこで、例えば、特徴検出器１２５は、シーン特徴量として波の音の音量の特徴量を加えることで、図中の時系列データ４０２のように、時系列データが変化して特徴シーンを検出することができる。

ここで、波の音が大きくても、海が撮像されていなければ海の色が発生する面積による特徴量が減少するので、このようなシーンは抽出されない。したがって、特徴検出器１２５は、海が撮像され、かつ、大きな波が海辺に打ちつけられるダイナミックなシーンの静止画像データＡを、特徴シーンとして抽出することができる。また、静止画像データＡと、当該データの前後の予め定められた数のフレームとを特徴シーンとしてもよい。これによって、大きな波が海岸に打ち付けられるシーンを特徴シーンとして抽出することができる。

また、同じ「海辺」のカテゴリに特定された動画像データであっても、子供の顔を主に撮像した場合、海の色に着目したシーン特徴量は低く算出される。この場合であっても、特徴検出器１２５は、子供の顔認識、子供の声の音量等を含めてシーン特徴量を抽出することで、図中の時系列データ４０４にように、撮像された子供の特徴で特徴量が変化して特徴シーンを検出することができる。これによって、例えば海辺で遊ぶ子供が声を出して笑っているシーンである静止画像データＢを特徴シーンとして抽出することができる。

図６は、本実施形態に係る画像処理装置１００の変形例を示す。本変形例の画像処理装置１００において、図１に示された本実施形態に係る画像処理装置１００の動作と略同一のものには同一の符号を付け、説明を省略する。画像処理装置１００は、入力された動画像データのカテゴリを特定した後に、特定したカテゴリに応じたシーン特徴量を抽出して特徴シーンを選択する。

カテゴリ特定部１１０の特定器１１７は、入力された動画像データのカテゴリを特定する。特定器１１７は、特定したカテゴリの情報と入力された動画像データとを選択部１２０の特徴選択器１２７に送る。特徴選択器１２７は、受け取ったカテゴリに応じたシーン特徴量を抽出する特徴検出器１２５を選択して、受け取った動画像データを入力させる。選択された特徴検出器１２５は、入力された動画像データからシーン特徴量の時系列データを抽出し、特徴シーンを検出する。特徴検出器１２５は、検出した特徴シーンの情報と入力された動画像データとを抽出部１３０に送る。

抽出部１３０は、受け取った動画像データと特徴シーンの情報から、特徴シーンを抽出する。また、抽出部１３０は、受け取った動画像データから特徴シーンを抽出してサムネイル表示してよい。抽出部１３０は、入力された動画像データと特徴シーンの情報とを加工部１４０に送る。加工部１４０は、受け取った特徴シーンの情報を、受け取った動画像データに加工して埋め込む。加工部１４０は、加工した動画像データを出力する。

以上の本実施形態に係る画像処理装置１００の変形例によって、入力された動画像データの特徴シーンを選択することができる。また、本変形例は、入力された動画像データのカテゴリを特定してからシーン特徴量を抽出するので、特定したカテゴリに応じた特徴検出器１２５を適切に選択できるので、特定したカテゴリとは無関係の特徴検出器１２５を動作させることなく、特徴シーンを選択することができる。

以上の本実施形態にかかる画像処理装置１００は、動画像データが入力されて、特徴シーンを選択することを例に説明した。さらに、この画像処理装置１００は、撮像システムに搭載されてよい。撮像システムは、被写体を撮像した動画像データを生成する撮像部と、撮像部により撮像された動画像データから特徴シーンを選択する画像処理装置１００と、撮像部により撮像された動画像データに対応付けて、画像処理装置により選択された特徴シーンを表す情報を記録媒体に記録する記録部と、を備えてよい。これによって、撮像システムは、被写体を撮像しつつ、撮像した動画像データの特徴シーンを選択することができる。

図７は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＤＶＤドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部と、を備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＤＶＤドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＤＶＤドライブ２０６０は、ＤＶＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＤＶＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を画像処理装置１００として機能させるプログラムは、カテゴリ特定モジュールと、選択モジュールと、抽出モジュールと、加工モジュールと、を備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、カテゴリ特定部１１０、選択部１２０、抽出部１３０、加工部１４０としてそれぞれ機能させる。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段であるカテゴリ特定部１１０、選択部１２０、抽出部１３０、加工部１４０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理装置１００が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＤＶＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＤＶＤドライブ２０６０（ＤＶＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＤＶＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 画像処理装置、１１０ カテゴリ特定部、１１５ 識別器、１１７ 特定器、１２０ 選択部、１２５ 特徴検出器、１２７ 特徴選択器、１３０ 抽出部、１４０ 加工部、２１０ 動画像データ、２１５ 静止画像データ、３０２、３０４、３０６、４０２、４０４ 時系列データ、１９００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＤＶＤドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＤＶＤ−ＲＯＭ

Claims (10)

1. 入力された動画像データから特徴シーンを選択する画像処理装置であって、
   前記動画像データを解析して、前記動画像データが、画像内容を識別するための予め定められた複数のカテゴリのうち何れのカテゴリに属するかを特定するカテゴリ特定部と、
   前記動画像データから抽出される複数の特徴量の時系列データのうち前記動画像データが属するカテゴリに対応付けられた特徴量の時系列データに基づき、前記動画像データに含まれる特徴シーンを選択する選択部と、
   を備える画像処理装置。
2. 当該画像処理装置は、撮像された動画像データから特徴シーンを選択し、
   前記カテゴリ特定部は、前記動画像データが、どのようなイベントにおいて撮像された動画像であるかを識別するための複数のカテゴリのうちの何れのカテゴリに属するかを特定する
   請求項１に記載の画像処理装置。
3. 前記カテゴリ特定部は、前記動画像データから抽出される１以上の特徴量に基づき、前記動画像データが何れのカテゴリに属するかを特定する
   請求項１または２に記載の画像処理装置。
4. 前記選択部は、一のカテゴリに属する動画像データに含まれる特徴シーンを選択する場合において、前記動画像データのカテゴリを特定するために用いた前記複数の特徴量とは異なる特徴量の時系列データに基づき特徴シーンを選択する
   請求項３に記載の画像処理装置。
5. 前記選択部は、前記動画像データが属するカテゴリに対応付けられた特徴量の時系列データが予め定められた条件を満たす動画像データの部分を、特徴シーンとして選択する
   請求項１から４の何れかに記載の画像処理装置。
6. 前記選択部は、複数の特徴シーンを選択した場合、前記複数の特徴シーンのそれぞれに対して特徴量に基づきランクをつける
   請求項５に記載の画像処理装置。
7. 選択された前記特徴シーンを代表する静止画像を生成する静止画生成部を更に備える
   請求項１から６の何れかに記載の画像処理装置。
8. 動画像データを撮像する撮像システムであって、
   被写体を撮像した動画像データを生成する撮像部と、
   前記撮像部により撮像された動画像データから特徴シーンを選択する請求項１から７の何れかに記載の画像処理装置と、
   前記撮像部により撮像された動画像データに対応付けて、前記画像処理装置により選択された前記特徴シーンを表す情報を記録媒体に記録する記録部と、
   を備える撮像システム。
9. 入力された動画像データから特徴シーンを選択する画像処理方法であって、
   前記動画像データを解析して、前記動画像データが、画像内容を識別するための予め定められた複数のカテゴリのうち何れのカテゴリに属するかを特定するカテゴリ特定段階と、
   前記動画像データから抽出される複数の特徴量の時系列データのうち前記動画像データが属するカテゴリに対応付けられた特徴量の時系列データに基づき、前記動画像データに含まれる特徴シーンを選択する選択段階と、
   を備える画像処理方法。
10. コンピュータを、入力された動画像データから特徴シーンを選択する画像処理装置として機能させるためのプログラムであって、
    当該プログラムは、前記コンピュータを、
    前記動画像データを解析して、前記動画像データが、画像内容を識別するための予め定められた複数のカテゴリのうち何れのカテゴリに属するかを特定するカテゴリ特定部と、
    前記動画像データから抽出される複数の特徴量の時系列データのうち前記動画像データが属するカテゴリに対応付けられた特徴量の時系列データに基づき、前記動画像データに含まれる特徴シーンを選択する選択部と、
    して機能させるプログラム。

Images