JP2005267455A - 画像処理システム、表示装置、及び画像処理方法 - Google Patents

Abstract

【課題】 人間の感情を反映した重要シーンを的確に抽出する画像システムを提供する。
【解決手段】 表示部１０１では、動画像データの表示が開始されると、ステップＳ４０６を経て、鑑賞者の表情を撮影した鑑賞者データが出力される。演算部１０２では、ステップＳ４０８を経て、鑑賞者データの分析により表情データが検出され、ステップＳ４１０〜Ｓ４１２を経て、表情データと利用表情データに基づいて、重要シーンが抽出される。
【選択図】 図１

Description

本発明は、動画像データから重要シーンを抽出する画像処理システムに係り、特に、動画像データ鑑賞者の感情を反映した重要シーンを抽出するのに好適な画像処理システム、表示装置、画像処理方法に関する。

映画などの動画像コンテンツ、放送や、放送データを保存した情報、あるいは個人がビデオカメラによって撮影した情報など動画像データの利用が増え、その蓄積量も膨大になっている。そのために、こうした動画像データの中から重要シーンだけを見たいという要求や、重要シーンだけを再利用したいという要求が増加している。従って、動画像データを扱う利便性を高め、その再利用を容易にさせるために、重要シーンを抽出する技術の重要性が高まっている。

ところが、動画像データから重要シーンを抽出することは容易では無い。一般的には人間が手作業で抽出するか、動画像データの特徴データとしての、フレーム間の変化量やオブジェクトが持つ動きの変化などを利用するかの方法が用いられているが、前者は、作業者に多大な負担、苦痛を強いることになり、後者は、重要シーンであるかの抽出精度が低い。

そのために、鑑賞者に負担を強いずに、鑑賞者を利用して重要シーンを抽出する方法が特許文献１に開示されている。特許文献１の発明は、鑑賞者から得られる生体情報を検出して重要シーンの判定を行う構成となっている。生体情報としては、皮膚抵抗値などのセンサ出力を利用し、その変化量から鑑賞者が興奮をしたと判断できるところを重要シーンとして抽出するようになっている。

特開２００３−２４８７６８号公報

このように、特許文献１記載の発明は、鑑賞者の生体情報を重要シーンへの判定に用いている。生体情報は単純に興奮度のみを検出するものであり、鑑賞者の反応内容を汲んで、鑑賞者が抽出して残しておきたいというシーンを反映するものではなかった。例えば、鑑賞者が不快と感じるシーンを、逆に抽出してしまうという問題があった。まして、興奮を生じさせる多種の感情の中から、例えば、驚きと喜びなどに内容を分離して抽出することなどは不可能であった。

また、特許文献１記載の発明は、鑑賞者の反応に対して応答性が遅く、動画像データのシーン箇所とはタイミングがずれてしまうという問題があり、重要シーンの判定を行うための正確な検出タイミングを得るのが困難であった。更には、抽出シーンが重要シーン全体を広く網羅するように、重要シーンの予兆を捉えて重要シーンの抽出開始点を検出することなどは一層困難であった。

そこで、本発明は、このような従来の技術が有する未解決の課題に着目してなされたものであって、動画像データから人間の感情を反映した重要シーンを的確に抽出するのに好適な画像処理システムを提供することを目的としている。

〔実施の態様１〕
上記目的を達成するために、動画像データから所望のシーンを抽出する画像処理システムであって、
表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、前記の分離された表情データに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする。

このような構成であれば、作業者は、表示装置によって動画像データを表示させ、鑑賞者が、その動画像データの鑑賞を開始する。鑑賞が開始されると、撮像部では、鑑賞者の顔の撮影を開始し、鑑賞者データが出力される。鑑賞者データが出力されると、表情データ検出部において、鑑賞者の表情データが分析され、異なる種類の複数の表情データに分離される。
分離された表情データが得られると、シーン抽出部により、表情データを用いて重要シーン箇所の判定が行なわれ、判定結果に対応する動画像データの分割シーンの中から重要シーンが抽出される。

このように、鑑賞者の表情の分析によって重要シーンが抽出されるので、感動する重要シーンを人間的視点から正しく抽出することが可能となる。また、鑑賞者の表情の変化点は動画像データに素早く反応しているため、抽出されたシーンは正確なタイミングで動画像データと一致している。
従って、従来に比して、動画像データから人間の感情を反映した重要シーンを的確に抽出することができるという効果が得られる。

ここで、作業者は、鑑賞者と別の人間であることに限定されず、鑑賞者自身が作業者であってもよい。
以下、実施の態様１から８において同じである。

また、分割シーンとは、動画像データの場面毎に区切られた単位をいい、本発明の構成にシーン分割手段を付加することによってシーンを分割することもできるほか、予め動画像データにシーン切換点やシーン番号などの属性情報が付与されている場合も含まれる。シーンの切換点の検出方法については、例えば、フレーム間の差分情報や、音声の切れ目を検出するものなど、従来から各種の方法が公知となっている。
以下、実施の態様１から８のいずれにおいて同じである。

また、シーンの抽出とは、実際に分割したシーンを独立のデータとして切り出すことばかりでなく、元の動画像データに、シーンの位置を示す属性情報として追記する場合であってもよい。
以下、実施の態様１から８のいずれにおいて同じである。

〔実施の態様２〕
また、実施の態様２の画像処理システムは、動画像データから所望のシーンを抽出する画像処理システムであって、
シーンの抽出に利用する利用表情データを予め設定しておく利用表情データ設定部と、表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする。

このような構成であれば、作業者は、鑑賞者からどのような内容の重要シーンを得るかの設定を、利用表情データ設定部を用いて設定することができる。重要シーンの内容は、例えば、幸福感や、悲しみといった種類などであり、それらの和をとったものであってもよい。

また、予め設定した利用表情データに基づいて、表情データの選択やグルーピングを行って重要シーンの判定がされるので、個人的な好みやコンテンツとの関連性によって重視したい感動の種類を変えて重要シーンの抽出をすることができる。例えば、スポーツとメロドラマでは、抽出の主体となる感情要素が変わってくるが、利用表情データへの設定によって柔軟に対応することができる。
従って、動画像データから人間の感情を反映した重要シーンを、さらに的確に抽出することができるという効果が得られる。

〔実施の態様３〕
また、実施の態様３の画像処理システムは、動画像データから所望のシーンを抽出する画像処理システムであって、
シーンの抽出に利用する利用表情データを予め設定しておく利用表情データ設定部と、表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、前記撮像部が撮影した鑑賞者データを記憶する鑑賞者データ記憶部と、前記鑑賞者データ記憶部が記憶している鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする。

このような構成であれば、作業者は、表示装置によって動画像データを表示させ、鑑賞者が、その動画像データの鑑賞を開始する。鑑賞が開始されると、撮像部では、鑑賞者の顔の撮影を開始し、鑑賞者データが鑑賞者データ記憶部によって記憶される。

作業者は、重要シーンの抽出を行う場合には、鑑賞者からどのような内容の重要シーンを得るかの設定を利用表情データ設定部において設定する。

次に、作業者は、記憶された鑑賞者データを表情データ検出部に供給する。鑑賞者データが入力されると、表情データ検出部において、鑑賞者の表情データが分析され、異なる種類の複数の表情データに分離される。
分離された表情データが得られると、シーン抽出部により、設定されている利用表情データとに基づいて、重要シーン箇所の判定が行なわれる。判定結果が出力されると、判定結果に対応する動画像データの分割シーンが重要シーンとして抽出される。

このように、記憶された鑑賞者データによる表情の分析によって重要シーンが抽出されるので、鑑賞時に限定されず、何時でも必要な時点で、感動する重要シーンを抽出することが可能となる。また、リアルタイムで鑑賞者データから表情データの検出と分離を行う必要がないので、画像処理システムの処理速度は高速でなくてもよくなり、演算部分であるＣＰＵなどの構成や選択が容易になる。

従って、重要シーンを的確に抽出する画像処理システムを、さらに容易に実現できるという効果が得られる。

ここで、利用表情データの設定は、鑑賞者データを分析する時点に限定されず、鑑賞者データを記憶する前であっても良い。
以下、実施の態様３、４、８のいずれにおいて同じである。

また、分割シーンを抽出するための動画像データは、本発明の画像処理システムで記憶しておくよう構成しても良いし、録画機などの他の記憶装置に保存されたものや、ディスクなどの記憶媒体の再生出力を、再度入力するようにしても良い。
以下、実施の態様３、４、８のいずれにおいて同じである。

〔実施の態様４〕
さらに、実施の態様４の画像処理システムにおいて、前記シーン抽出部は、前記利用表情データに設定された特定の表情データを含む前記動画像データの分割シーンを終了シーンとし、前記特定の表情データの直前に検出された他の異なる表情データを含む分割シーンを開始シーンとし、前記開始シーンから前記終了シーンまでを連続的に重要シーンとして抽出することを特徴とする。

このような構成であれば、重要シーンの抽出にあたって、設定した利用表情データに対応する分割シーンばかりでなく、その手前で予兆として生じている表情の変化点からの分割シーンを抽出でき、鑑賞者の感情の流れを、一連的なストーリー性を含んで、さらに的確に捉えることができる。
従って、重要シーンを、さらに的確に抽出することができるという効果が得られる。

〔実施の態様５〕
一方、上記目的を達成するために、実施の態様５の表示装置は、
実施の態様１ないし４の何れかの１の画像処理システムの一部として適用される表示装置であって、
前記動画像データを表示する画像表示部と、前記鑑賞者の顔を撮影する撮像部と、前記画像表示部及び前記撮像部を制御する撮像制御部とを備え、前記撮像制御部は、前記撮像部が撮影した撮影画像を調整時に前記画像表示部に表示させるように制御可能となっていることを特徴とする。

このような構成であれば、鑑賞者の撮影像の位置や大きさを事前に表示させて確認し、最適な状態に調整しておくことができるので、鑑賞者の表情を適切に検出することができる。

従って、実施の態様５の表示装置を、実施の態様１ないし４に係る画像処理システムに適用することによって、重要シーンを抽出する画像処理システムを、さらに容易に実現できるという効果が得られる。

〔実施の態様６〕
さらに、実施の態様６の表示装置は、実施の態様５の表示装置において、
スクリーン等への投射表示を行ない、前記撮像部は、前記投射方向に対し後方を撮影するように構成したことを特徴とする。

これにより、鑑賞者は鑑賞が容易で、かつ鑑賞者の表情の撮影が可能となる表示装置を実現することができる。

従って、実施の態様６の表示装置を、実施の態様５の表示装置に適用することによって、重要シーンを抽出する画像処理システムを、さらに容易に実現できるという効果が得られる。

〔実施の態様７〕
さらに、実施の態様７の画像処理方法は、動画像データから所望のシーンを抽出する画像処理方法であって、
表示装置に表示される動画像データを鑑賞している鑑賞者の顔を撮像部により撮影する撮像ステップと、前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し、複数の種類の表情に分離された表情データを検出する表情データ検出ステップと、前記の分離された表情データに基づいて、重要シーン箇所の判定を行う判定ステップと、前記判定結果により前記動画像データの中から重要シーンの抽出を行う抽出ステップとを含むことを特徴とする。

これにより、実施の態様１の画像処理システムと同等の効果が得られる。

〔実施の態様８〕
さらに、実施の態様８の画像処理方法は、動画像データから重要シーンを抽出する画像処理方法であって、
抽出に利用する利用表情データを予め設定しておく利用表情データ設定ステップと、表示装置に表示される動画像データを鑑賞している鑑賞者の顔を撮像部により撮影する撮像ステップと、前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し、複数の種類の表情に分離された表情データを検出する表情データ検出ステップと、前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行う判定ステップと、前記判定結果により前記動画像データの中から重要シーンの抽出を行う抽出ステップとを含むことを特徴とする。

これにより、実施の態様２または３の画像処理システムと同等の効果が得られる。

以下、本発明を図面に基づいて説明する。図１ないし図９は、本発明に係る画像処理システム、表示装置、画像処理方法の実施の形態を示す図である。

以下、本発明の第１の実施の形態を、図面を参照しながら説明する。図１、図３〜図５、および図７〜９は、本発明に係る画像処理システム、表示装置、画像処理方法の第１の実施の形態を示す図である。
本実施の形態は、本発明に係る画像処理システム、表示装置、画像処理方法を、図１に示すように、動画像データの鑑賞を行いながら重要シーンを抽出する場合の画像処理システムについて適用したものである。

まず、本実施の形態に係る画像処理システムの構成を、図１を参照しながら説明する。
図１は、画像処理システム全体を示すブロック図である。
図１において、画像処理システム１００は、動画像データの表示と撮像を行う表示部１０１と、画像処理の演算を行う演算部１０２により構成される。

表示部１０１は、動画像データを表示エンジンに表示できるように変換処理を行う表示処理部１１０と、変換された動画像をスクリーン１０３に投射表示する表示エンジン１１１を備えている。
また、表示部１０１は、鑑賞者の撮影を行うカメラ１１４と、カメラ１１４の撮像信号を処理する撮像入力部１１５と、撮像入力部１１５の撮像データを表示処理部１１０へ供給してスクリーンへ表示させる撮像調整部１１３と、撮像調整部１１３の操作を行う操作部１１２とを備えている。

演算部１０２は、撮像入力部１１５の出力から鑑賞者の表情の変化と、その種類を分離して表情データを検出する表情検出部１２０と、表情データを用いて重要シーンを分離するシーン抽出部１２１と、重要シーンとして抽出された分割シーンを記憶しておく抽出結果記憶部１２４とにより構成されている。
更に、演算部１０２は、シーン抽出部１２１が抽出に用いる利用表示データを設定、保存する抽出設定部１２３と、抽出設定部１２３に対して作業者が設定を行う設定スイッチ１２２を備えている。

表示エンジン１１１は、表示部１０１の外部に設置されたスクリーン１０３へ投射を行う光学エンジンであって、光源、液晶パネル、プリズム、レンズ（いずれも図示せず）などにより構成されている。

表示処理部１１０は、表示エンジン１１１の表示画素数やＲＧＢ３色の色処理や、光学特性に合わせた階調処理などを行う。

また、撮像入力部１１５は、カメラ１１４の輝度などの撮像特性を補正し、鑑賞者の表情を取りこむためのトリミングを行なう。撮像調整部１１３は、上記の鑑賞者の表情をより適切に撮影しておくための確認と調整に用いられ、鑑賞者の撮像信号を表示処理部１１０に出力する。従って、鑑賞者の映像を見ながら、表情検出の重要ポイントである目元や口元が撮影できるように、操作部１１２によって、鑑賞者の顔の大きさ、位置、向き、及び焦点などを撮影前に調整する。

演算部１０２は、ＣＰＵとメモリ（図示せず）によるハードウエアにより構成されている。ＣＰＵは、メモリに格納されているプログラムを起動させ、図４，５のフローチャートに示す画像処理プログラムを時分割で実行するようになっている。ハードウエアのシステム構成としては、パーソナルコンピュータをベースにしても良く、特に、高速性が要求される演算を必要とするところは専用のハードウエアで構成すれば良い。

表情を撮影した画像から、表情の変化の発生点を検出し、それを具体的な感情として扱うことができる表情の意味を判定するアルゴリズムに関しては、幾つかの方法が公知となっており、例えば、特開平１１−２３２４５６号の例がある。この方法によれば、基本表情として、怒り、嫌悪、恐れ、悲しみ、幸福、驚きになどのカテゴリーに分離することができる。また、無表情区間も検出することができる。

ところで、重要シーンの抽出にあたり、どのような基本表情を重視して感情を検出するかは、コンテンツの内容や、その抽出目的によって大きく変わってくる。例えばスポーツ番組を見る場合は、驚きの感情が想定できるし、ニュース番組であったら、むしろ怒りの部分を抽出したい場合も想定できる。また、鑑賞者自身が再鑑賞する場合は鑑賞者の嗜好が大きく入ってくるが、他者への再利用を目的とした場合には、一般的な嗜好傾向による抽出が必要になってくる。

さらに、重要シーンを単独な感情要素だけで捉えることは中途半端であって、複数の感情要素をペアとすることによって、因果関係などを含めて重要シーンを高次元で抽出することができる。
さらに、また、昂揚する感情に対して、その予兆となる時点から重要シーンを抽出することも重要シーンを捉える上で大切なことである。

抽出設定部１２３は、上記のような抽出に用いる利用表情データを予め設定し、保存しておくことに用いられる。作業者は、設定スイッチ１２２を抽出設定部１２３のユーザインタフェースとして操作し、利用表情データを設定する。設定方法は、単独の感情要素の選択ばかりでなく、それらの論理和や論理積であってもよい。また、コンテンツの種別の観点で、スポーツ、ニュース、ドラマといった分類で選択するようにしてもよい。

重要シーンとして抽出された分割シーンは、抽出結果記憶部１２４によって記憶され、いつでも必要なときに呼び出して、再鑑賞や、他の情報と組み合わせての再利用が可能になる。抽出結果記憶部１２４によって記憶しておく記憶形態は、ＩＣカードや、磁気テープ、光ディスクといった交換媒体であっても、ＨＤＤのように演算部１０２に内蔵する記憶装置であっても良いし、さらには、重要シーンの代表画像やそれらのサムネイルを印刷するような印刷出力形態であってもよい。

また、抽出結果のデータのフォーマットは、動画像データの中に重要シーンの属性情報が埋めこまれた形態であってもよいし、動画像データとリンクしてシーン位置を表すタイムコードと重要シーンの属性情報の組合せであっても良い。動画像データの分割シーンの構成や時間情報が把握されている場合には、抽出したシーン情報だけを記憶しておけば再生を行う装置において、重要シーンの検索や再抽出が可能になるので、記憶しておくデータの量を極めて小さくしておくことができる。

図３は、本実施の形態の画像処理システムに適用する表示装置の概観図である。
図３において、表示装置本体３００は、光学エンジンの投射レンズ３０１と、撮影レンズ３０２と、入力部３０３と、インタフェース３０４とを備え、撮影レンズ３０２は鑑賞者３１０の顔の表情を捉えて撮影するようになっている。

また、表示装置本体３００は、制御回路を内部に備えており、図１の表示部１０１の構成要素を備え、演算部１０２の構成要素を含む別体の処理装置と組み合わせて画像処理システムを構成する。表示装置３００は、上記に限定されず、図１の抽出設定部１２３や、演算部１０２の事前処理が可能な部分や、さらに演算部１０２全体の構成要素を含んでいても良い。

投射レンズ３０１は、前方のスクリーン１０３に動画像を投射し、大画面で表示される動画像データを後部の鑑賞者３１０が鑑賞する。鑑賞者３１０の鑑賞位置によらず、鑑賞者３１０の表情の変化をカメラ３０２が適切なアングルで撮影できるように、撮影レンズ３０２の支持部は撮影方向と光学的ズーム機構や焦点調節機構を備えている。本発明では、このように動画像データの投射と、鑑賞者３１０の撮像を一体化した表示装置を実現している。

入力部３０３は、表示装置３００の基本表示機能の操作入力に加え、撮像機能を制御するための入力を含んでいる。従って、鑑賞者の撮像を行うための事前調整においては、撮影レンズ３０２の撮像画像をスクリーン１０３に投射するように信号の切換制御を行うことができる。
また、この調整時において、鑑賞者３１０の表情部分だけを適切に撮像できるようにトリミング条件を設定する。従って、複数の鑑賞者が居た場合でも、トリミングとズームにより特定の鑑賞者のみの撮像ができるような設定が可能となる。さらに、分離された複数領域のトリミングを行ない、夫々のトリミング領域に対応した複数の撮像データを得るように構成すれば、複数の鑑賞者の撮像を同時に行って、夫々の表情データを抽出することも可能になる。

インタフェース３０４は、表示を行う動画像データの入力コネクタと、撮影レンズ３０２が撮像を行った撮像出力のコネクタを備えている。また、表示装置３００が、図１の演算部１０２の構成要素までを含むように構成した場合には、重要シーンの抽出結果を出力するコネクタを含んでいる。このとき、重要シーンの抽出結果は記憶保存されたものであっても良いし、脱着可能なＩＣカードに記憶させておくために、このコネクタがＩＣカードの接続スロットそのものであってもよい。

次に、重要シーンの抽出処理を、図４を参照しながら詳細に説明する。
図４は、重要シーンの抽出処理を示すフローチャートである。
重要シーンの抽出処理は、鑑賞者の表情撮影から重要シーンを抽出し、記憶保存するまでの処理であって、鑑賞者データを得るステップＳ４０４までと、鑑賞者データを用いて演算処理を開始するＳ４０６以降とに分かれている。

重要シーンの抽出処理は、鑑賞者を撮影した鑑賞者データから重要シーンを抽出する処理であって、演算部１０２において実行されると、まず、ステップＳ４００に移行するようになっている。
ステップＳ４００は事前調整モードである。ステップＳ４００では、カメラ１１４が鑑賞者を撮影している画像をスクリーン１０３に表示するモードとなって、作業者がスクリーン１０３を見ながら、カメラ位置、角度の調整を行う。調整が終了したことを作業者が確認すると、ステップＳ４０２に移行する。

ステップＳ４０２では、抽出対象とする利用表情データの選択を、作業者に入力させ、利用表情データの設定を登録して、ステップＳ４０４に移行する。利用表情データの設定は、利用表情に対応する入力ボタンの操作に限定されず、キーによる文字入力、タッチパネルによるアイコンなどを用いても良い。

ステップＳ４０４では、鑑賞したい動画像データの入力を、スクリーン１０３へ投射するよう表示を開始させ、ステップＳ４０６に移行する。
ステップＳ４０６では、鑑賞者の撮影を開始し、撮像入力部１１５で処理された信号は鑑賞者データとして、表情検出部１２０に送られ、次にステップＳ４０８に移行する。

ステップＳ４０８では、表情検出部１２０において、鑑賞者データを分析し、表情の変化点の検出と、どんな種類の表情が検出されたかの分離を行う。ステップＳ４０８で表情データが検出された場合（ＹＥＳ）には、表情データを出力してステップＳ４１０へ移行する。一方、表情データが検出されない場合（ＮＯ）は、ステップＳ４０８で、表情変化点の検出を待つ。なお、表情の変化点とは、無表情から特定の表情への変化をも含んでいる。

ステップＳ４１０では、シーン抽出部において、登録されている利用表情データと、表情データを照合する。ステップＳ４１２で、照合結果に基づいて、表情データが設定登録されている利用表情データに該当すると判断（ＹＥＳ）されれば、次のステップＳ４１２に進む。一方、ステップＳ４１０で、照合結果が重要シーンに該当しないと判断（ＮＯ）されれば、ステップＳ４０８へ戻って表情データの検出を行う。なお、重要シーンに該当しなかった場合も、次の重要シーンに利用できるようこの表情データの保存をしておく。

ステップＳ４１２では、重要シーン箇所として得られた表情データの情報を用いて、動画像データの分割シーンの中から重要シーンを抽出し、ステップＳ４１４に移行する。なお、表情データの重要箇所を示す位置情報は、対応する分割シーンのシーン位置と関連付けが行えるものなら何でも良く、フレーム位置情報に限定されず、タイムコードなどの時間情報であっても良い。
ステップＳ４１４では、抽出した分割シーンの情報を記憶し、ステップＳ４１６に移行する。

ステップＳ４１６では、表示された動画像データの終了点を検出し、ステップＳ４１６で終了点を検出した場合（ＹＥＳ）には、一連の処理を終了する。一方、ステップＳ４１６で、動画像データの終了が検出されない場合（ＮＯ）には、ステップＳ４０８に戻って続けて表情データの変化を検出する。
以上により、画像処理システム１００において、重要シーンの抽出が行われる。

次に、鑑賞者データから表情データを検出する処理を、図５を参照しながら詳細に説明する。
図５は、表情データ検出処理を示すフローチャートである。
表情データ検出処理は、演算部１０２において実行されると、まず、ステップＳ５００に移行するようになっている。

ステップＳ５００では、鑑賞者データが、所定のフレームデータ分だけ画像メモリに入力され、ステップＳ５０２に移行する。

ステップＳ５０２では、表情変化の検出に先立つ演算の前処理が実行される。具体的には、表情に大きく関与している眼や口の各領域の抽出と、それらの動きベクトルの速度と、領域毎の変化に基づく特徴ベクトルが算出され、ステップＳ５０４に移行する。
ステップＳ５０４では、特徴量の変化の閾値により表情変化の有無を検出し、ステップＳ５０６に移行する。

ステップ５０６では、特徴ベクトルの時間積分と、そのパターン照合によって表情変化のカテゴリーが分離され、ステップＳ５０８に移行する。
ステップＳ５０８では、分離されたカテゴリーをデータとする表情データが形成され、一連の処理を終了して元の動作に復帰する。

上記処理において、パターン照合は大きな負荷の演算であるが、本実施の形態では、利用表情データを予め設定し限定しておくことにより負荷の軽減を図ることができる。

次に、表情データに基づく、重要シーンの抽出処理を、図７〜９を参照しながら詳細に説明する。

図７〜９は、重要シーンの抽出関連図である。
図７〜９は、それぞれ、上段が動画像データの時系列的な分割シーン列とその番号、中段が、分離された時系列的な表情データ列であり、下段は、重要シーンとして抽出された後の分割シーンを網掛け部分で表している。

分割シーン列においては、数字の番号が分割された個々のシーンを表し、表情データ列は、分離された表情データをアルファベットの記号によって表している。表情データＡ〜Ｃは、それぞれ表情のカテゴリーで、例えば、Ａは恐れ、Ｂは悲しみ、Ｃは幸福である。

図７は、表情Ｃを利用表情データとして設定した例である。図７においては、幸福のシーンとして、分割データ２と６が抽出されている。表情データの発生点は、その分割シーン全体に渡るわけではなく、分割シーンの一部分に発生しているが、再利用や再鑑賞のためには分割シーン全体を抽出するのが好ましい。但し、分割シーンに限定されず、表情データの発生区間のみを重要データとして抽出することや、さらにその中のベストな映像フレームを重要静止画として切出す抽出も当然可能である。

また、図７のような設定の場合には、表情データを分離するステップにおいて、選択した表情Ｃのみをパターン照合の対象とすることで演算の負荷を軽減することができる。

図８は、表情Ｂと表情Ｃの、連続した組合せを利用表情データとして設定した例である。これによって、悲しみで始まり、幸福で終わるシーンが、分割シーン４，５，６の一連の重要シーンとして抽出されている。分割シーン５には表情データが検出されていないが、連続シーンとして抽出され、再鑑賞に適する形態となっている。このような異なる二つの表情の組み合わせは、表情カテゴリーの中から任意に選択することができる。

図９は、表情Ｃを利用表情データとして設定している。図７と異なるのは、表情Ｃと、表情Ｃの手前に検出された表情Ａや表情Ｂとの組合せも重要シーンとして抽出するように設定されていることである。これによって、設定されている表情Ｃを抽出のポイントとし、その予兆である他の表情を開始点として重要シーンを抽出することができる。
以上により、利用表情データの設定によって選択的に重要シーンの抽出が可能となっている。

次に、本実施の形態の動作を説明する。
まず、表示部１０１において、作業者は、好みの動画像データを用意し、鑑賞者撮影の撮像調整と、利用表情データの設定を行う。その後、作業者は、用意した動画像データの表示を開始する。

表示部１０１では、動画像データの表示が開始されると、ステップＳ４０６を経て、鑑賞者の表情を撮影した鑑賞者データが出力される。演算部１０２では、ステップＳ４０８を経て、鑑賞者データの分析により表情データが検出され、ステップＳ４１０〜Ｓ４１２を経て、表情データと利用表情データに基づいて、重要シーンが抽出される。抽出された重要シーンは、ステップＳ４１４を経て記憶され、動画像データの終りまでに抽出された重要シーンが保存される。
このようにして、本実施の形態では、鑑賞者の表情の変化と、そのカテゴリーとから動画像データの重要シーンを抽出している。

これにより、利用者は、重要シーンの保存データを用いて、重要シーンの再鑑賞や、編集目的などへの再利用を行うことが容易となる。
また、抽出された重要シーンは保存されたデジタルデータであるので、抽出を行った鑑賞者ばかりでなく、任意の利用者に供することができる。

上記第１の実施の形態において、表示部１０１は、実施の態様５または６の表示装置に対応し、カメラ１１４およびステップＳ４０４は、実施の態様１、２、または４の撮像部または実施の態様７または８の撮像ステップに相当し、表情検出部１２０およびステップＳ４０８、ステップＳ５０２〜Ｓ５０８は、実施の態様１または２の表情データ検出部もしくは実施の態様７または８の表情データ検出ステップに対応している。

また、上記第１の実施の形態において、抽出設定部１２３およびステップＳ４０２は、実施の態様２の利用表情データ設定部もしくは実施の態様８の利用表情データ設定ステップに相当し、ステップＳ４１０は、実施の態様７または８の判定ステップに相当し、ステップＳ４１２は実施の態様７または８の抽出ステップに相当し、シーン抽出部１２３およびステップＳ４１０〜Ｓ４１２は実施の態様１または２のシーン抽出部に相当している。

次に、本発明の第２の実施の形態を、図面を見ながら説明する。図２および図６は、本発明に係る画像処理システム、表示装置、画像処理方法の第２の実施の形態を示す図である。

本実施の形態は、本発明に係る画像処理システム、表示装置、画像処理方法を、図２に示すように、動画像データの鑑賞を行った鑑賞者の撮像データを記憶しておき、その鑑賞者データから重要シーンを抽出する場合の画像処理システムについて適用したものである。上記第１の実施の形態と異なるのは、鑑賞者データ記憶部を設け、記憶された鑑賞者データと、別途設定した利用表情データとを用いて、動画像データより重要シーンを抽出するようにした点にある。以下、上記第１の実施の形態と異なる部分について説明し、上記第１の実施の形態と重複する部分については同一の説明を付して説明を省略する。

まず、本実施の形態に係る画像処理システムの構成を、図２を参照しながら説明する。
図２は、画像処理システム全体を示すブロック図である。
図２において、画像処理システム２００は、動画像データの表示と鑑賞者の撮影とその撮影データの記憶を行う表示部２０１と、画像処理の演算を行う演算部２０２により構成される。

表示部２０１は、鑑賞者データ記憶部２１０を備え、鑑賞者が動画像デーを鑑賞し終わるまでの間の鑑賞者の表情を撮影した鑑賞者の画像データを記憶し、鑑賞者データとして出力できるようになっている。鑑賞者データ記憶部２１０の記憶装置はハードディスクのように大容量の記憶装置でインタフェースを介して記憶データを出力するものであっても良いし、ＩＣカードや光ディスク装置のようにリムーバブルな記憶媒体を介して記憶データを出力するものであっても良い。

また、鑑賞者データ記憶部２１０は、鑑賞者データを圧縮して記憶しておいても良い。また、動画として記憶させる鑑賞者データのフレームレートは、動画像データのシーン位置との対応をつけておけば、鑑賞の動画像データのフレームデータと異なっていても良いし、鑑賞者の表情が変化していない部分などは省略して記憶しておくこともできる。

演算部２０２は、鑑賞者データが入力され、鑑賞者の表情の変化と、その種類を分離して表情データを検出する表情検出部２１２と、表情データを用いて重要シーンを分離するシーン抽出部２１３と、重要シーンとして抽出された分割シーンを記憶しておく抽出結果記憶部１２４と、シーン分割情報を持っていない動画像データのシーン分割を行うシーン分割部２１１とを備えている。

演算部２０２は、ＣＰＵとメモリ（図示せず）によるハードウエアにより構成されている。ＣＰＵは、メモリに格納されているプログラムを起動させ、図６のフローチャートに示す画像処理プログラムを時分割で実行するようになっている。本実施の形態では、既に鑑賞者データが得られているので、重要シーン抽出の画像処理をバッチ処理で行うことが可能となっている。

このように、本実施の形態では大幅な演算処理の負荷の低減が可能となって、表情検出部２１２や、シーン抽出部２１３の構成が容易となるほか、動画像データのシーン分割機能なども演算部２０２の機能として取りこむことができる。

次に、本実施の形態における重要シーンの抽出処理を、図６を参照しながら詳細に説明する。
図６は、重要シーンの抽出処理を示すフローチャートである。
重要シーンの抽出処理は、鑑賞者の表情の撮影から重要シーンを抽出し、記憶保存するまでの処理であって、鑑賞者データを得るステップＳ６０４までと、鑑賞者データを用いて演算処理を開始するＳ６１０以降とに分かれている。

重要シーンの抽出処理は、鑑賞者を撮影した鑑賞者データから重要シーンを抽出する処理であって、演算部２０２において実行されると、まず、ステップＳ６００に移行するようになっている。
ステップＳ６００は事前調整モードである。調整が終了したことを作業者が確認すると、表示処理部１１０を通常の動画像データを表示させる表示モードに切り替えさせ、ステップＳ６０２に移行する。
ステップＳ６０２では、動画像データの表示と共に、鑑賞者の撮影を開始し、鑑賞者データとして記憶を終えると、いつでもステップＳ６１０に移行することができる。

ステップＳ６０６では鑑賞時の動画像データが、再度、演算部２０２に読込まれ。読込みを終えるとステップＳ６０８へ移行する。
ステップＳ６０８では、動画像データのシーン分割処理が実行され、シーン分割処理が終了すると、いつでもステップＳ６１０に移行することができる。

ステップＳ６１０では、ステップＳ６０４で得られた鑑賞者データと、ステップＳ６０８で得られたシーン分割の情報が付加された動画像データが読込まれる。
ステップＳ６１２では、抽出対象とする利用表情データの選択を、作業者に入力させ、利用表情データの設定を登録して、ステップＳ６１４に移行する。
ステップＳ６１４では、表情検出部２１２において、鑑賞者データを分析し、表情の変化点の検出と、どんな種類の表情が検出されたかの分離を行う。ステップＳ６１４で表情データが検出された場合（ＹＥＳ）には、表情データを出力してステップＳ６１６へ移行する。一方、表情データが検出されない場合（ＮＯ）は、ステップＳ６１４で、表情変化点の検出を待つ。

ステップＳ６１６では、シーン抽出部において、登録されている利用表情データと、表情データを照合する。ステップＳ６１６で、照合結果に基づいて、表情データが設定登録されている利用表情データに該当すると判断（ＹＥＳ）されれば、次のステップＳ６１８に進む。一方、ステップＳ６１６で、照合結果が重要シーンに該当しないと判断（ＮＯ）されれば、ステップＳ６１４へ戻って表情データの検出を行う。なお、重要シーンに該当しなかった場合も、次の重要シーンに利用できるようこの表情データの保存をしておく。

ステップＳ６１８では、重要シーン箇所として得られた表情データの情報を用いて、動画像データの分割シーンの中から重要シーンを抽出し、ステップＳ６２０に移行する。
ステップＳ６２０では、抽出した分割シーンの情報を記憶し、ステップＳ６２２に移行する。
ステップＳ６２２では、表示された動画像データの終了点を検出し、ステップＳ６２２で終了点を検出した場合（ＹＥＳ）には、一連の処理を終了する。一方、ステップＳ６２２で、動画像データの終了が検出されない場合（ＮＯ）には、ステップＳ６１４に戻って続けて表情データの変化を検出する。
以上により、画像処理システム２００において、重要シーンの抽出が行われる。

次に、本実施の形態の動作を説明する。
まず、表示部２０１において、作業者は、好みの動画像データを用意し、鑑賞者撮影の撮像調整を行い、用意した動画像データの表示を開始する。
表示部２０１では、動画像データの表示が開始されると、ステップＳ６０２を経て、鑑賞者の表情を撮影した鑑賞者データが記憶される。

次に利用者は、任意の時点で、鑑賞者データと、動画像データを演算部２０２に読込ませ、利用表情データを設定して演算処理を開始する。
演算部２０２では、ステップＳ６１４を経て、鑑賞者データの分析により表情データが検出され、ステップＳ６１６〜Ｓ６１８を経て、表情データと利用表情データに基づいて、重要シーンが抽出される。抽出された重要シーンは、ステップＳ６２０を経て記憶され、動画像データの終りまでに抽出された重要シーンが保存される。

このようにして、本実施の形態では、鑑賞者の表情の変化が記憶された鑑賞者データを用いて、バッチ処理で動画像データの重要シーンを抽出している。

これにより、利用者は、鑑賞時に重要シーンまでを抽出する必要がないので、処理時間の制約が無くなって、重要シーンの抽出を更に正確に行うことができる。
また、演算部２０２を、パーソナルコンピュータに置きかえることができ、容易に本発明の画像処理システムを構成することができる。

上記第１の実施の形態において、表示部２０１は、実施の態様５または６の表示装置に対応し、鑑賞者データ記憶部２１０およびステップＳ６０４は、実施の態様３の鑑賞者データ記憶部に相当している。
また、上記第２の実施の形態において、カメラ１１４およびステップＳ６０２は、実施の態様３の撮像部または実施の態様８の撮像ステップに相当し、表情検出部２１２およびステップＳ６１４、ステップＳ５０２〜Ｓ５０８は、実施の態様３の表情データ検出部もしくは実施の態様８の表情データ検出ステップに対応し、シーン抽出部２１３およびステップＳ６１６〜Ｓ６１８は実施の態様３のシーン抽出部に相当している。

なお、上記第１および第２の実施の形態において、鑑賞の対象は動画像データとしたが、動画像に限定されるものではなく、静止画を１枚づつ表示するようなプレゼンテーション用の画像データであってもよい。
これにより、重要な静止画のシートだけを抽出することができる。

また、上記第１および第２の実施の形態において、鑑賞者データは、複数の鑑賞者の表情を同時に撮影したものであってもよい。同時に撮影するにあたっては、同一画面からトリミングによって複数の鑑賞者の表情を切出す方法でもよいし、複数のカメラを用いる方法であってもよい。
これにより、複数の鑑賞者の嗜好を統計的に処理した重要シーンの抽出ができるので、鑑賞者の個性に偏り過ぎてしまうことを防ぐことができる。特に、抽出した重要シーンを不特定の対象者に供給する場合に効果を発揮することができる。

また、上記第１および第２の実施の形態において、表示部と演算部は同一場所に設置されているように構成したが、これに限らず、表示部と演算部と間を通信回線で結び、サーバーから動画像データを供給し、撮影された鑑賞者データはサーバーに送信してサーバー側で演算処理を行うようにも構成することもできる。
これにより、鑑賞者がどこにいても、鑑賞者データから短時間で重要シーンの抽出を行うことができるようになる。また、さらに、複数の表示部に対して、一つの演算部による画像表示システムを構成することができるようになる。

また、上記第１および第２の実施の形態において、図４〜図６のフローチャートを実行するにあたっては、ＲＯＭに予め格納されている制御プログラムを実行する場合に限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭに読込んで実行するようにしてもよい。

ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＤＶＤ等の光学的読み取り方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方式のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。

第１の実施の形態に係る画像処理システムの構成を示すブロック図である。 第２の実施の形態に係る画像処理システムの構成を示すブロック図である。 本発明の画像処理システムに適用する表示装置の概観図である。 第１の実施の形態に係る重要シーンの抽出処理を示すフローチャートである。 表情データ検出処理を示すフローチャートである。 第２の実施の形態に係る重要シーンの抽出処理を示すフローチャートである。 重要シーンの抽出関連図である。 重要シーンの抽出関連図である。 重要シーンの抽出関連図である。

符号の説明

１００、２００…画像表示システム、１０１、１０２…表示部、１０２、２０２…演算部、１０３…スクリーン、１１４…カメラ、１１１…表示エンジン、１２３…抽出設定部、１２０、２１２…表情検出部、１２１、２１３…シーン抽出部、２１０…鑑賞者データ記憶部、３００…表示装置、３０１…投射レンズ、３０２…撮影レンズ、３０３…入力部、３０４…インタフェース、３１０…鑑賞者。

Claims (8)

1. 動画像データから所望のシーンを抽出する画像処理システムであって、
   表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、
   前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、
   前記の分離された表情データに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする画像処理システム。
2. 動画像データから所望のシーンを抽出する画像処理システムであって、
   シーンの抽出に利用する利用表情データを予め設定しておく利用表情データ設定部と、
   表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、
   前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、
   前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする画像処理システム。
3. 動画像データから所望のシーンを抽出する画像処理システムであって、
   シーンの抽出に利用する利用表情データを予め設定しておく利用表情データ設定部と、
   表示装置に表示される前記動画像データを鑑賞している鑑賞者の顔を撮影する撮像部と、
   前記撮像部が撮影した鑑賞者データを記憶する鑑賞者データ記憶部と、
   前記鑑賞者データ記憶部が記憶している鑑賞者データから鑑賞者の表情を分析し複数の種類の表情に分離された表情データを検出する表情データ検出部とを備え、
   前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行ない、前記判定結果により前記動画像データの中から重要シーンを抽出するシーン抽出部を備えたことを特徴とする画像処理システム。
4. 前記シーン抽出部は、前記利用表情データに設定された特定の表情データを含む前記動画像データの分割シーンを終了シーンとし、前記特定の表情データの直前に検出された他の異なる表情データを含む分割シーンを開始シーンとし、
   前記開始シーンから前記終了シーンまでを連続的に重要シーンとして抽出することを特徴とする請求項１ないし３の何れか１項に記載の画像処理システム。
5. 請求項１ないし４の何れか１項に記載の画像処理システムの一部として適用される表示装置であって、
   前記動画像データを表示する画像表示部と、
   前記鑑賞者の顔を撮影する撮像部と、
   前記画像表示部及び前記撮像部を制御する撮像制御部とを備え、
   前記撮像制御部は、前記撮像部が撮影した撮影画像を調整時に前記画像表示部に表示させるように制御可能となっていることを特徴とする表示装置。
6. 前記画像表示部は、スクリーン等への投射表示を行ない、前記撮像部は、前記投射方向に対し後方を撮影するように構成したことを特徴とする請求項５に記載の表示装置。
7. 動画像データから所望のシーンを抽出する画像処理方法であって、
   表示装置に表示される動画像データを鑑賞している鑑賞者の顔を撮像部により撮影する撮像ステップと、
   前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し、複数の種類の表情に分離された表情データを検出する表情データ検出ステップと、
   前記の分離された表情データに基づいて、重要シーン箇所の判定を行う判定ステップと、
   前記判定結果により前記動画像データの中から重要シーンの抽出を行う抽出ステップとを含むことを特徴とする画像処理方法。
8. 動画像データから所望のシーンを抽出する画像処理方法であって、
   抽出に利用する利用表情データを予め設定しておく利用表情データ設定ステップと、
   表示装置に表示される動画像データを鑑賞している鑑賞者の顔を撮像部により撮影する撮像ステップと、
   前記撮像部が撮影した鑑賞者データから鑑賞者の表情を分析し、複数の種類の表情に分離された表情データを検出する表情データ検出ステップと、
   前記の利用表情データと、前記の分離された表情データとに基づいて、重要シーン箇所の判定を行う判定ステップと、
   前記判定結果により前記動画像データの中から重要シーンの抽出を行う抽出ステップとを含むことを特徴とする画像処理方法。
   

Images