JP2010226547A - 映像処理装置および映像処理プログラム - Google Patents

Abstract

【課題】本発明は、ユーザが映像を視聴することなく、その映像がどのようなものであるのかを把握できるようにする新たな映像処理技術の提供を目的とする。
【解決手段】映像の持つ画像特徴量や音響特徴量を検出対象として、映像を構成する各静止画について、検出結果が特徴量の程度を示す値となる値属性特徴量を含む特徴量を検出する。続いて、検出した特徴量を用いて、映像を構成する各静止画に対して優先順位を付与する。続いて、付与した優先順位に基づいて、入力映像を構成する静止画の中から重要な静止画を選択して、それらの選択した静止画を１枚の静止画に再構成することで再構成静止画を生成して、それを出力装置に出力する。この構成に従って、ユーザは映像の中身を１枚の静止画によって理解することができるようになることから、その映像を視聴することなく、その映像がどのようなものであるのかを把握することができるようになる。
【選択図】図１

Description

本発明は、映像を処理する映像処理装置と、その映像処理装置の実現に用いられる映像処理プログラムとに関し、特に、ユーザが映像を視聴することなく、その映像がどのようなものであるのかを把握できるようにする処理を実行する映像処理装置と、その映像処理装置の実現に用いられる映像処理プログラムとに関する。

映像を視聴することなく、その映像がどのようなものであるのかが把握できると利便性が高い。

しかしながら、今のところ、そのような映像処理技術については実現されていないのが実情であり、現実には、ユーザが映像を短時間に視聴できるようにして、その視聴に基づいて、ユーザがどのような映像であるのかを把握するようにしているというのが実情である。

このときに用いられる映像の短時間化に関する発明として、例えば、下記の特許文献１には、音声の強調状態に着目し、映像および音声コンテンツを短時間に視聴できるようにする発明が提案されている。

また、下記の非特許文献１には、音声の笑い声に着目して、短時間化映像を生成する発明が提案されている。

また、下記の特許文献２には、動物体が大きく写っている映像区間（動物体アップフレーム）を作成できるようにする発明が示されており、ダイジェスト的な映像区間閲覧のためのインデックスをユーザに提供する手法が提案されている。

その他に、映像の短時間化を実現する発明に関係する発明として、下記の特許文献３には、映像のカット点の検出に関する発明が示されている。また、下記の特許文献４には、カメラワークの検出に関する発明が示されている。また、下記の特許文献５には、映像からパノラマ画像を合成することを実現する発明が示されている。

特許第3803311 号，日高浩太，水野理，中嶌信弥，「音声処理方法及びその方法を使用した装置及びそのプログラム」 特開2006-244074 ，鳥井陽介，紺谷精一，森本正志，「動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体」 特許第2839132 号，谷口行信，外村佳伸，「映像カット点検出方法及び装置」 特許第3408117 号，谷口行信，阿久津明人，外村佳伸，「カメラ操作推定方法およびカメラ操作推定プログラムを記録した記録媒体」 特許第3325823 号，谷口行信，阿久津明人，外村佳伸，佐藤隆，「映像静止画表示方法及び装置並びに映像静止画表示プログラム格納記録媒体」

入江豪，日高浩太，宮下直也，佐藤隆，谷口行信，「個人撮影映像を対象とした映像速覧のための"笑い"シーン検出法」，映像情報メディア学会誌，vol.62, no.2, pp.227-233, 2008.

映像を視聴することなく、その映像がどのようなものであるのかが把握できると利便性が高い。

しかしながら、今のところ、そのような映像処理技術については実現されていないのが実情である。

確かに、ユーザがどのような映像であるのかを把握できるようにするために、特許文献１，２、非特許文献１に記載されるように、映像を短時間に視聴できるようにするための様々な手法が提案されている。

しかしながら、このような手法は映像を短時間に視聴できることになるという利便性はあるものの、視聴すること自体は必要であった。

これから、従来技術に従っていると、映像がどのようなものであるのかを把握するのに、ユーザに対してその映像の視聴を要求することになることから、ユーザに対して多大な負荷を強いるという問題があった。

本発明はかかる事情に着目してなされたもので、その目的とするところは、ユーザが映像を視聴することなく、その映像がどのようなものであるのかを把握できるようにする新たな映像処理技術の提供を目的とする。

この目的を達成するために、本発明の映像処理装置は、（１）処理対象となる映像を入力する入力部と、（２）入力映像の持つ画像特徴量および／または音響特徴量を検出対象として、入力映像を構成する各静止画について、検出結果が特徴量の程度を示す値となる値属性特徴量を含む、それらの静止画の持つ１つ以上の特徴量を検出する検出部と、（３）検出部の検出した特徴量を用いて、入力映像を構成する各静止画に対して優先順位を付与する付与部と、（４）付与部の付与した優先順位に基づいて、入力映像を構成する静止画の中から１枚以上の重要な静止画を選択して、それらの選択した静止画を１枚の静止画に再構成することで再構成静止画を生成する再構成部と、（５）再構成部の生成した再構成静止画を出力装置に出力する出力部と、（６）検出部の検出した特徴量に基づいて、入力映像を構成する静止画の中から静止画として見づらいものとなる静止画を特定する特定部と、（７）特定部の特定した静止画に対して付与部が付与した優先順位を低いものに変更する変更部と、（８）入力映像を構成する静止画のカット点からの時間経過量を測定する測定部と、（９）測定部の測定した時間経過量に基づいて、検出部の検出した特徴量を補正する補正部とを備えるように構成する。

以上の各処理部はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の映像処理装置では、処理対象となる映像を入力すると、入力映像の持つ画像特徴量や音響特徴量を検出対象として、入力映像を構成する各静止画について、検出結果が特徴量の程度を示す値となる値属性特徴量を含む、それらの静止画の持つ１つ以上の特徴量を検出する。

このとき、値属性特徴量として、少なくとも、入力映像の持つ音響データが示す強調状態の確率値とその音響データが示す感性状態の確率値のいずれか一方または双方を検出することがある。

さらに、１つまたは複数の値属性特徴量を検出することに加えて、検出結果が特徴量の有無となる１つまたは複数の有無属性特徴量を検出することがある。

ここで、値属性特徴量を検出するときに、検出した値属性特徴量をそのまま用いることもあるが、思いつきで撮影を開始することも見られることから、カット点（撮影開始）からの時間経過量が小さい静止画については、その時間経過量に基づいて、その検出した値属性特徴量を小さなものとなるように補正して用いるようにすることもある。

続いて、検出した特徴量を用いて、入力映像を構成する各静止画に対して優先順位を付与する。

このとき、有無属性特徴量と値属性特徴量という２種類の特徴量を検出するときにあって、優先順位の付与を簡単かつ適格に行うようにするために、最初に、有無属性特徴量の検出結果に基づいて、入力映像を構成する各静止画を優先順位順にグループ分けし、続いて、値属性特徴量に基づいて、そのグループ内における優先順位を決定することで、入力映像を構成する各静止画に対して優先順位を付与することがある。

また、カメラワークなどが生じている静止画については静止画として見づらいものとなることを考慮して、検出した特徴量に基づいて、入力映像を構成する静止画の中から静止画として見づらいものとなる静止画を特定して、その特定した静止画に対して付与した優先順位を低いものに変更することがある。

続いて、付与した優先順位に基づいて、入力映像を構成する静止画の中から１枚以上の重要な静止画を選択して、それらの選択した静止画を１枚の静止画に再構成することで再構成静止画を生成する。

例えば、ユーザとの対話処理や、出力装置の持つ出力領域の大きさの情報と入力映像の大きさの情報とに基づいて、複数の静止画で構成される再構成静止画を生成するのか１枚の静止画で構成される再構成静止画を生成するのかを決定し、その決定に基づいて、複数の静止画で構成される再構成静止画を生成することを決定する場合には、例えば、ユーザとの対話処理に従って、優先順位に応じて割り当てられた位置にそれらの静止画を配置するのか、時系列の順番に応じて割り当てられた位置にそれらの静止画を配置するのかを決定して、それらの決定に基づいて、重要な静止画として選択した静止画を、その決定した配置位置に、その決定した配置方法で配置することで、再構成静止画を生成する。

このとき、１枚の再構成静止画を生成するのではなくて、映像をより正確に把握できるようにするために、優先順位を持つ複数の再構成静止画を生成することがある。

続いて、生成した再構成静止画を出力装置に出力する。

このとき、優先順位を持つ複数の再構成静止画を生成するときには、出力装置からの出力要求に応答して、それらの再構成静止画をその優先順位順に出力する。

また、出力装置からズーム要求がある場合には、ユーザの要求に応えるために、出力装置に出力する再構成静止画の持つズーム要求のある画像部分をズームする形態で出力する。

また、出力装置に再構成静止画を出力するときに、演出効果を高めるために、その再構成静止画の持つ特定の画像部分へ向かう形態で、その再構成静止画の持つ複数の画像部分を逐次出力することがある。

本発明では、映像から１枚以上の重要な静止画群を選択し、それらを１枚の静止画に再構成して出力するように処理する。

これにより、本発明によれば、ユーザは映像の中身を１枚の静止画によって理解することができるようになることから、その映像を視聴することなく、その映像がどのようなものであるのかを把握することができるようになる。

本発明の映像処理装置の装置構成図である。 本発明の映像処理装置のハードウェア構成図である。 画像・音響特徴量記憶部のデータ構造の説明図である。 優先グループ種別判定部の判定する暫定優先グループの説明図である。 強調状態確率値や感性状態確率値に対しての重み付けの説明図である。 第２の素材データ記憶部のデータ構造の説明図である。 再構成静止画の説明図である。 再構成静止画の説明図である。 再構成静止画の説明図である。 再構成静止画の説明図である。 本発明の映像処理装置の実行するフローチャートである。 本発明の映像処理装置の実行するフローチャートである。

以下、実施の形態に従って本発明を詳細に説明する。

図１に、本発明を具備する映像処理装置１の装置構成の一例を図示する。

この図に示すように、本発明の映像処理装置１は、映像入力部１００と、第１の素材データ記憶部１０１と、画像・音響特徴量検出部１０２と、画像・音響特徴量記憶部１０３と、優先グループ種別判定部１０４と、静止画優先順位付与部１０５と、素材データ記憶構造変更部１０６と、第２の素材データ記憶部１０７と、静止画再構成部１０８と、編集データ記憶部１０９と、再構成静止画出力部１１０とを備える。

ここで、図２に示すように、本発明の映像処理装置１は、ハードウェア構成的には、ＣＰＵ１０００と、バス２０００と、バス２０００を介してＣＰＵ１０００に接続されるプログラムメモリ３０００と、バス２０００を介してＣＰＵ１０００に接続されるデータメモリ４０００と、バス２０００を介してＣＰＵ１０００に接続される通信インタフェース５０００とから構成される。

この構成を採るときに、図１に示す映像入力部１００、画像・音響特徴量検出部１０２、優先グループ種別判定部１０４、静止画優先順位付与部１０５、素材データ記憶構造変更部１０６、静止画再構成部１０８および再構成静止画出力部１１０についてはプログラムメモリ３０００に記憶される。また、図１に示す第１の素材データ記憶部１０１、画像・音響特徴量記憶部１０３、第２の素材データ記憶部１０７および編集データ記憶部１０９についてはデータメモリ４０００に記憶される。

また、通信インタフェース５０００は、ＣＰＵ１０００の制御の下、インターネット上のサーバおよびインターネットサイトとの間で、通信ネットワークにより規定される通信プロトコルに従い通信を行う。通信プロトコルとしては、例えば、ＴＣＰ／ＩＰ(Transmission Control Protocol/Internet Protocol) が使用される。

〔１〕各処理部について
〔１−１〕映像入力部１００の処理
映像入力部１００は、処理対象となる映像を入力して第１の素材データ記憶部１０１に格納する処理を実行する。

その際、通信インタフェース５０００を用いてもよいが、ネットワークを介さずに映像を入力する場合には用いなくてもよい。処理対象となる映像は、1 枚以上の画像データが時系列に格納されているものであればよく、フォーマットを限定するものでもない。

この処理にあたって、映像入力部１００は、入力した映像から音声情報を抽出する処理を行う。例えば、avi フォーマットであれば、visual／audio 情報が格納されており、映像からaudio 情報を抽出する。なお、本発明において、音声と言う場合、音声および音楽などの楽音を指すものとする。

〔１−２〕画像・音響特徴量検出部１０２の処理
画像・音響特徴量検出部１０２は、第１の素材データ記憶部１０１に格納される映像を処理対象として、その映像の各フレーム（各静止画）の持つ画像特徴量および音響特徴量を検出して画像・音響特徴量記憶部１０３に格納する処理を実行する。

画像・音響特徴量検出部１０２は、画像特徴量については、例えば、
・画(i) ： 笑顔検出
・画(ii) ： カット点検出
・画(iii) ： カメラワーク検出
・画(iv) ： アップショット検出
という４つの画像特徴量を検出する。

これらの画像特徴量の内、“画(i) ”の笑顔の検出については、例えば、特許第3098276 号に示される“表情認識装置”の発明に基づいて実施すればよい。ここで、この発明では、顔面全体にわたって筋肉の微少な動きを計測し、その時間的変化をパタン化し、そのパタンに基づいて、感情を表す表情の認識を行っている。

また、“画(ii)”のカット点の検出については、例えば、前述の特許文献３に示される発明に基づいて実施すればよい。

また、“画(iii) ”のカメラワークの検出については、例えば、前述の特許文献４に示される発明に基づいて実施すればよい。

また、“画(iv)”のアップショットの検出（動物体の検出）については、例えば、前述の特許文献２に示される発明に基づいて実施すればよい。

一方、画像・音響特徴量検出部１０２は、音響特徴量については、例えば、
・音(i) ： 強調状態検出
・音(ii) ： 感性状態検出
・音(iii) ： 音楽区間検出
という３つの音響特徴量を検出する。

これらの音響特徴量の内、“音(i) ”の強調状態の検出については、例えば、前述の特許文献１に示される発明に基づいて実施すればよい。

この特許文献１に示される発明では、１つの区間（ラベル区間Ａ）内のフレーム数をｎとし、それぞれのフレームから得られる音声特徴量ベクトルのコードが時系列でＣ₁,Ｃ₂,Ｃ₃,.....,Ｃ_n であるときに、そのラベル区間Ａが音声の強調状態となる確率Ｐ_AempをＮ-gram モデルに基づいて求めるようにしているので、このときに求められる強調状態の出現確率Ｐ_Aemp（音声小段落ごとの強調確率Ｐ_Semp、平静確率Ｐ_Snrmの比や差を用いることでもよい）を使って、音の強調状態の程度（強調状態の確率値と、その確率値を閾値と比較することで求められる強調状態であるのか否かという情報）を検出することが可能である。

また、“音(ii)”感性状態の検出については、例えば、前述の非特許文献１に示される発明に基づいて実施すればよい。

この非特許文献１に示される発明では、韻律特徴ベクトルｘ_t と状態ｅ_t （“笑い”か“笑い以外”の２値を取る）の関係を表現する音響モデルｐ（ｘ_t ｜ｅ_t ）と、状態ｅ_t の遷移に関する特性を単純マルコフ過程の仮定の下に表現する遷移モデルｐ（ｅ_t ｜ｅ_t-1 ）とに基づいて、時刻ｔまでの韻律特徴量ベクトルの時系列Ｘ_t ＝｛ｘ_t,ｘ_t-1,ｘ_t-2,..... ｝を観測した下での状態ｅ_t の出現確率ｐ（ｅ_t ｜Ｘ_t ）を求めるようにしているので、このときに求められる笑い状態の出現確率ｐ（ｅ_t ｜Ｘ_t ）を使って、感性状態の程度（感性状態の確率値と、その確率値を閾値と比較することで求められる感性状態であるのか否かという情報）を検出することが可能である。

また、“音(iii) ”の音楽区間の検出については、例えば、特許第3475317 号に示される“映像分類方法および装置”の発明に基づいて実施すればよい。

画像・音響特徴量検出部１０２は、“画(i) ”、“画(ii)”、“画(iii) ”、“画(iv)”、“音(i) ”、“音(ii)”、“音(iii) ”のすべてを検出する必要はなく、何れか一つ以上を検出すればよいが、以下の説明では、説明の便宜上、これらのすべてを検出することを想定している。

〔１−３〕画像・音響特徴量記憶部１０３のデータ構造
図３に、画像・音響特徴量記憶部１０３のデータ構造の一例を図示する。

画像・音響特徴量記憶部１０３は、図３に示すように、処理対象の映像の各フレームについて、画像・音響特徴量検出部１０２の検出した“画(i) ”の検出結果の情報（笑顔の有無）と、“画(ii)”の検出結果の情報（カット点の有無）と、“画(iii) ”の検出結果の情報（カメラワークの有無）と、“画(iv)”の検出結果の情報（動物体の有無）と、“音(i) ”の検出結果の情報（強調状態であるのか否かということと、その強調状態の確率値）と、“音(ii)”の検出結果の情報（感性状態であるのか否かということと、その感性状態の確率値）と、“音(iii) ”の検出結果の情報（音楽区間の有無）とを記憶する。

さらに、これらの情報に加えて、画像・音響特徴量記憶部１０３は、図３に示すように、処理対象の映像の各フレームがどの暫定優先グループに属するのかという情報（優先グループ種別判定部１０４により格納されることになる情報）と、処理対象の映像の各フレームに付与される暫定優先グループ内の優先順位の情報（静止画優先順位付与部１０５により格納されることになる情報）とを記憶する。

〔１−４〕優先グループ種別判定部１０４の処理
優先グループ種別判定部１０４は、大枠の優先順位を示す暫定優先グループの区分けを設定して、画像・音響特徴量記憶部１０３に格納される画像・音響特徴量検出部１０２の検出した画像特徴量および音響特徴量に基づいて、処理対象の映像の各フレームがどの暫定優先グループに属するのかを判定して、その判定結果の情報を画像・音響特徴量記憶部１０３に格納する処理を実行する。

優先グループ種別判定部１０４は、例えば、図４に示すように、
（１）“画(i) ”、“画(iv)”、“音(iii) ”の検出結果が有りとなったフレームを優 先順位が最上位の暫定グループである第１暫定優先グループとし、
（２）“画(i) ”、“画(iv)”の検出結果が有りとなったフレームをその次の優先順位 の暫定グループである第２暫定優先グループとし、
（３）“画(i) ”、“音(iii) ”の検出結果が有りとなったフレームをその次の優先順 位の暫定グループである第３暫定優先グループとし、
（４）“画(i) ”の検出結果が有りとなったフレームをその次の優先順位の暫定グルー プである第４暫定優先グループとし、
（５）“画(iv)”、“音(iii) ”の検出結果が有りとなったフレームをその次の優先順 位の暫定グループである第５暫定優先グループとし、
（６）“画(iv)”の検出結果が有りとなったフレームを優先順位が最下位の暫定グルー プである第６暫定優先グループ
として設定して、処理対象の映像の各フレームがどの暫定優先グループに属するのかを判定し、その判定結果の情報を画像・音響特徴量記憶部１０３に格納するのである。

〔１−５〕静止画優先順位付与部１０５の処理
静止画優先順位付与部１０５は、画像・音響特徴量記憶部１０３に格納される画像・音響特徴量検出部１０２の検出した“音(i) ”の強調状態確率値および／または“音(ii)”の感性状態確率値を用いて、各暫定優先グループごとに、その暫定優先グループに属するフレームに対して優先順位を付与して、その付与結果の情報を画像・音響特徴量記憶部１０３に格納する処理を実行する。

この優先順位の付与にあたって、強調状態確率値と感性状態確率値の両方を用いて優先順位を付与する場合には、２つの確率値の加算値を用いて優先順位を決定したり、２つの確率値の乗算値を用いて優先順位を決定するなどの処理を行うことになるが、その際に、笑い声をより優先したいとの理由から、例えば、“音(ii)”の感性状態確率値を２倍するなどのように重み付けを施してもよい。また、これとは逆に、強調音声を重要視して、“音(i) ”の強調状態確率値を大きくするような重み付けを施してもよい。

本発明では、映像から１枚以上の重要な静止画群（フレーム群）を選択して、それらの静止画を１枚の静止画に再構成することで、ユーザが映像を視聴することなく、その映像がどのようなものであるのかを把握できるようにすることを実現する。

これから、この優先順位の付与にあたって、静止画として見づらいフレームについては、優先順位を低くすることが望ましい。

そこで、カメラワークや手ブレなどが生じている画像については静止画として見づらいことが想定されるので、“画(iii) ”によってカメラワークが生じていることが検出される画像（フレーム）については、優先順位を最低にするとか、優先順位をマイナスｎ（例えば、ｎ＝１０などと設定しておく）にするなどの処理を施すようにしてもよい。

また、カメラワークが生じていなくても、被写体が動作することによって不鮮明な画像となる場合も想定される。そこで、“画(iv)”のアップショット検出により検出される動きベクトルの大きさに閾値を設定して、その閾値以上の動きを示す動物体を有する画像（フレーム）については、前述と同様に、優先順位を最低にするとか、優先順位をマイナスｎにするなどの処理を施すようにしてもよい。

映像は時系列の画像群ではあるが、撮りはじめからよいシーンでないことも想定される。例えば、未編集のホームビデオなどでは、思いつきで撮影を開始することも多く見られる。

そこで、“音(i) ”の強調状態確率値や“音(ii)”の感性状態確率値の結果に対して、図５に示すような、カット点（撮影開始）からの時間に対する重み付けを施すようにしてもよい。

例えば、図５に示すパタン１では、次のカット点までの時刻に向かって重み付けが二次関数的に上昇していくものを示している。この場合に、重み付けが一次関数的に上昇していくものであってもよい。

また、図５に示すパタン２では、所定の時間ｔc になるまでは、重み付けが一次関数あるいは二次関数で上昇し、その後は一定値となるものを示している。ここで、ｔc は、例えば３０秒などというように設定されることになる。

また、図５に示すパタン３では、次のカット点までの中間時刻で最大となるように、重み付けが一次関数あるいは二次関数で設定されるものを示している。

いずれのパタンを用いるのかについてはユーザが予め設定しておけばよく、この設定が行われない場合には、例えば、カメラワークがカット点直後にない場合にはパタン２を用い、カメラワークが頻出する場合にはパタン１を用いるというように、システム側で予め設定したパタンを用いることになる。

以上に説明した静止画優先順位付与部１０５の処理では、“画(i) ”、“画(ii)”、“画(iii) ”、“画(iv)”、“音(i) ”、“音(ii)”、“音(iii) ”のすべてが検出されている場合について説明したが、以上の説明から分かるように、最低でも音(i) 、音(ii)の内の１つが検出されていれば、静止画に対して優先順位を付与することは可能である．
〔１−６〕素材データ記憶構造変更部１０６の処理
素材データ記憶構造変更部１０６は、画像・音響特徴量記憶部１０３に格納される暫定優先グループ情報および優先順位情報に基づいて、第１の素材データ記憶部１０１に格納される映像のフレームを、暫定優先グループごとに優先順位の順番に従って並び替えて、図６に示すようなデータ構造を持つ第２の素材データ記憶部１０７に格納する処理を実行する。

〔１−７〕静止画再構成部１０８の処理
静止画再構成部１０８は、第２の素材データ記憶部１０７に格納される映像のフレームを処理対象として、それらのフレームの中から１枚以上の重要な静止画群（フレーム群）を選択し、それらの静止画を１枚の静止画に再構成して、それを編集データ記憶部１０９に格納する処理を実行する。

この重要な静止画群の選択にあたって、静止画再構成部１０８は、図６に示すようなデータ構造を持つ第２の素材データ記憶部１０７を参照して、第１暫定優先グループを最優先にして、その第１暫定優先グループに属する静止画の中から優先順位の高い順に静止画を選択し、このとき、第１暫定優先グループに必要な数の静止画が存在しない場合には、続いて、第２暫定優先グループに属する静止画の中から優先順位の高い順に静止画を選択するというように、暫定優先グループの優先順位とその暫定優先グループ内におけるフレームの優先順位とに従って静止画群を選択するように処理する。

このようにして１枚の静止画に再構成された静止画（再構成静止画）は、再構成静止画出力部１１０の処理に従って、編集データ記憶部１０９から読み出されて出力装置２に出力されることになる。

このときに用いられる出力装置２としては、例えば、デジタルフォトフレームやＰＣのディスプレイやテレビ画面などが想定される。また、プリンタであることもある。

次に、静止画再構成部１０８の実行する再構成静止画の生成方法について説明する。ここで、出力装置２の解像度がｍ×ｎ（ｍ：縦の解像度，ｎ：横の解像度）で、第２の素材データ記憶部１０７から読み出すフレーム（静止画）の解像度がｍ’×ｎ’（ｍ’：縦の解像度，ｎ’：横の解像度）であるとする。

静止画再構成部１０８は、
ｍ’＞ｍ かつ、ｎ’＞ｎ ・・・・ 式（１）
である場合には、最優先順位となる静止画をそのまま再構成静止画として出力装置２に表示すればよい。また、その静止画をそのまま再構成静止画としてプリンタから出力してもよい。以下、プリンタに静止画情報を送信することについても、本発明においては「表示する」と呼ぶこととする。

また、閾値thm, thnを設けて、
ｍ’±thm ＞ｍ かつ、ｎ’±thn ＞ｎ ・・・・ 式（２）
である場合には、同様に、最優先順位をなる静止画をそのまま再構成静止画として出力装置２に表示するようにしてもよい。ここで、thm とthn については、例えば、
thm = 0.3 ×ｍ ，thn = 0.3 ×ｎ
などというように予め設定しておけばよい。

なお、静止画再構成部１０８の生成する再構成静止画については、実際には、後述する再構成静止画出力部１１０が出力装置２に表示することになる。

式（１）および式（２）を満足しない場合には、図７〜図９に示すように、複数の画像によって静止画を再構成することで再構成静止画を生成する。

ここで、図９では、優先順位の順にどの表示域に配置するのかを決定するようにしているが、図９における時系列情報が、
優先順位３→優先順位２→優先順位１→優先順位４
である場合には、その時系列の順にどの表示域に配置するのかを決定することで、図１０のように生成するようにしてもよい。

この再構成静止画の生成にあたって、第２の素材データ記憶部１０７から読み出す静止画の解像度や形状が再構成静止画の表示域と合わない場合には、静止画再構成部１０８は、その静止画を拡大したり縮小したり切り取ることなどにより表示域に合わせるという編集処理を行うことになる。

以上に説明した静止画再構成部１０８の処理では、式（１）や式（２）を満足する場合には、最優先順位となる静止画のみを配置することで再構成静止画を生成するという構成を採ったが、そのような構成を採らずに、優先順位の高い順番に従って所定の枚数の静止画を選択して、それらの静止画を縮小しつつ配置することで再構成静止画を生成するという構成を採るようにしてもよい。

また、以上に説明した静止画再構成部１０８の処理では、１枚のみの再構成静止画を生成することで説明したが、複数の再構成静止画を生成するようにしてもよい。その場合には、図７〜図１０の何れかの再構成静止画を適宜、繰り返し優先順位を降順に生成していけばよく、そのようにして生成した複数の再構成静止画を編集データ記憶部１０９に格納することになる。

〔１−８〕再構成静止画出力部１１０の処理
再構成静止画出力部１１０は、編集データ記憶部１０９から静止画再構成部１０８の生成した再構成静止画を読み出して、出力装置２に表示する処理を実行する。

このとき、静止画再構成部１０８が複数の再構成静止画を生成する場合には、再構成静止画出力部１１０は、ユーザからの表示要求に応答して、それらの再構成静止画を優先順位順に順番に表示する。

また、この再構成静止画の表示にあたって、再構成静止画出力部１１０は、ユーザから再構成静止画上の領域を指定してズーム要求があると、その領域上の画像部分をズーム表示するように処理する。

このとき、ユーザに対して、静止画上の領域を指定させずにズーム要求を受け付けるという構成を採ることも可能であり、この場合には、その静止画上に存在する特徴点な画像部分をズーム表示するように処理することになる。例えば、“画(i) ”の笑顔検出により笑顔が検出された場合には、静止画上のどこにその笑顔が存在するのかが分かっているので、その笑顔の画像部分をズーム表示するように処理するのである。

また、この再構成静止画の表示にあたって、再構成静止画出力部１１０は、静止画上に存在する特徴点な画像部分に向かう複数の画像部分を切り出して、それらの画像部分を特徴点な画像部分に向けて順番に表示していくことで、その静止画に存在する特徴点な画像部分を表示する際の演出効果を高めるように処理することがある。

〔２〕本発明の映像処理装置１の実行する処理
図１１および図１２に、図１のように構成される本発明の映像処理装置１の実行するフローチャートを図示する。

次に、このフローチャートに従って、図１のように構成される本発明の映像処理装置１の実行する処理について詳細に説明する。

本発明の映像処理装置１は、ユーザから処理対象の映像を指定して再構成静止画の表示要求があると、図１１および図１２のフローチャートに示すように、まず最初に、ステップＳ１００で、処理対象の映像を入力する。

続いて、ステップＳ１０１で、入力映像の全フレーム（全静止画）について処理を行ったのか否かを判断して、全フレームについて処理を行っていないことを判断するときには、ステップＳ１０２に進んで、先頭フレームからの順番に従って未処理のフレームを１つ選択する。

続いて、ステップＳ１０３で、選択したフレームの持つ画像特徴量および映像特徴量を検出する。

例えば、画像特徴量として、前述した“画(i) ”の笑顔検出、“画(ii)”のカット点検出、“画(iii) ”のカメラワーク検出、“画(iv)”のアップショット検出という４つの画像特徴量を検出するとともに、音響特徴量として、前述した“音(i) ”の強調状態検出、“音(ii)”の感性状態検出、“音(iii) ”の音楽区間検出という３つの音響特徴量を検出するのである。

続いて、ステップＳ１０４で、選択したフレームについてのカット点からの時間経過量を測定して（“画(ii)”のカット点検出によりカット点となったフレームが検出されているので、そのフレームからの時間経過量を測定する）、その測定した時間経過量に基づいて、ステップＳ１０３で検出した特徴量に含まれる値属性特徴量（検出結果が特徴量の程度を示す値となる特徴量）を補正する。

ステップＳ１０３で検出した特徴量に含まれる値属性特徴量としては、“音(i) ”の強調状態検出により検出される強調状態の確率値と、“音(ii)”の感性状態検出により検出される感性状態の確率値という２つの値属性特徴量があるので、これらの値属性特徴量を、例えば図５に示すパタン２の重み付け曲線に従って重み付けすることで、それらの値属性特徴量を補正するのである。

続いて、ステップＳ１０５で、ステップＳ１０３で検出した特徴量に含まれる有無属性特徴量（検出結果が特徴量の有無となる特徴量）に基づいて、選択したフレームが図４に示す６つの暫定優先グループの内のどの暫定優先グループに属するのかを判定して、ステップＳ１０１の処理に戻る。

ステップＳ１０３では、“画(ii)”のカット点検出を除いた有無属性特徴量として、“画(i) ”の笑顔検出、“画(iii) ”のカメラワーク検出、“画(iv)”のアップショット検出、“音(iii) ”の音楽区間検出という４つの有無属性特徴量を検出しているので、これらの有無属性特徴量の検出結果に基づいて、図４に示す判定基準に基づいて、選択したフレームがどの暫定優先グループに属するのかを判定して、ステップＳ１０１の処理に戻るのである。

このようにしてステップＳ１０２〜ステップＳ１０５の処理を繰り返すことで、入力映像の全フレームについて、画像特徴量および音響特徴量を検出・補正するとともに、どの暫定優先グループに属するのかを判定すると、ステップＳ１０１で、入力映像の全フレームについてこの処理を行ったことを判断することになるので、このことを判断するときには、ステップＳ１０６に進んで、検出した値属性特徴量に基づいて、暫定優先グループごとに、その暫定優先グループに属するフレームに対して優先順位を付与する。

例えば、“音(i) ”の強調状態検出により検出される強調状態の確率値と、“音(ii)”の感性状態検出により検出される感性状態の確率値という２つの確率値の加算値を求めて、その加算値の大小を比較することで、暫定優先グループごとに、その暫定優先グループに属するフレームに対して優先順位を付与するのである。

続いて、ステップＳ１０７で、静止画として見づらいものとなるフレームを特定して、その特定したフレームの優先順位を低いものに変更する。

前述したように、カメラワークや手ブレなどが生じている画像については静止画として見づらいことが想定され、また、カメラワークが生じていなくても、被写体が動作することによって不鮮明な画像となる場合も想定される。そこで、“画(iii) ”のカメラワーク検出によってカメラワークが生じていることが検出されるフレームや、“画(iv)”のアップショット検出により大きな動きを示す動物体の存在が検出されるフレームについては、その優先順位を低いものに変更するのである。

続いて、ステップＳ１０８で、出力装置２の解像度とフレーム（静止画）の解像度とに基づいて、再構成静止画を構成する静止画を１枚にするのかそれに以上の枚数にするのかを決定する。

例えば、出力装置２の解像度とフレームの解像度との間に、前述の式（１）や式（２）の関係が成立するのか否かを判断することで、再構成静止画を構成する静止画を１枚にするのかそれに以上の枚数にするのかを決定したり、あるいは、複数の静止画を縮小して再構成静止画を生成するという構成を採る場合には、ユーザとの対話処理などに従って、再構成静止画を構成する静止画を１枚にするのかそれに以上の枚数にするのかを決定するのである。

続いて、ステップＳ１０９で、再構成静止画を構成する静止画を１枚にすることを決定する場合には、暫定優先グループの優先順位と暫定優先グループ内におけるフレームの優先順位とに基づいて、再構成静止画に配置する１枚の静止画（フレーム）を選択し、また、再構成静止画を構成する静止画を所定の枚数にすることを決定する場合には、暫定優先グループの優先順位と暫定優先グループ内におけるフレームの優先順位とに基づいて、再構成静止画に配置するその所定の枚数の静止画（フレーム）を選択する。

すなわち、図６に示すようなデータ構造を持つ第２の素材データ記憶部１０７を参照して、第１暫定優先グループを最優先にして、その第１暫定優先グループに属する静止画の中から優先順位の高い順に静止画を選択し、このとき、第１暫定優先グループに必要な数の静止画が存在しない場合には、続いて、第２暫定優先グループに属する静止画の中から優先順位の高い順に静止画を選択するというように、暫定優先グループの優先順位とその暫定優先グループ内におけるフレームの優先順位とに従って、再構成静止画に配置する静止画を選択するのである。

続いて、ステップＳ１１０で、ユーザとの対話処理などに従って、再構成静止画に配置する静止画の配置方法を決定する。

すなわち、複数の静止画を再構成静止画に配置することで再構成静止画を生成する場合に、図９に示すような優先順位の順にどの表示域に配置するのかを決定するという配置方法と、図１０に示すような時系列の順にどの表示域に配置するのかを決定するという配置方法という２種類の配置方法があるので、ユーザとの対話処理などに従って、その内のどちらの配置方法を用いるのかを決定するのである。

続いて、ステップＳ１１１で、ステップＳ１０９で選択した静止画を、予め決定されている配置位置に、ステップＳ１１０で決定した配置方法に従って配置することで、複数の再構成静止画を生成する。ここで、配置位置については、再構成静止画を構成する静止画の枚数に応じて予め決定されているものとする。また、生成する再構成静止画の枚数についても予め決定されているものとする。

続いて、ステップＳ１１２で、ステップＳ１１１で生成した複数の再構成静止画の中から、最優先順位の再構成静止画を表示対象として選択する。

続いて、ステップＳ１１３で、表示対象として選択した再構成静止画に配置される静止画の中に、演出効果を高める処理の適用対象となる画像部分を持つ静止画が存在するのか否かを判断する。

例えば、“画(i) ”の笑顔検出により検出される笑顔や、“画(iv)”のアップショット検出により検出される動物体については演出効果を高める処理の適用対象となる画像部分となるので、このステップＳ１１２では、“画(i) ”の笑顔検出により笑顔が検出されたのかということや、“画(iv)”のアップショット検出により動物体が検出されたのかということを判断するのである。

このステップＳ１１３の判断処理に従って、表示対象として選択した再構成静止画の中に演出効果を高める処理の適用対象となる画像部分が存在しないことを判断するときには、ステップＳ１１４に進んで、表示対象として選択した再構成静止画をそのまま出力装置２に表示する。

一方、ステップＳ１１３の判断処理に従って、表示対象として選択した再構成静止画の中に演出効果を高める処理の適用対象となる画像部分が存在することを判断するときには、ステップＳ１１５に進んで、演出効果を高める処理の適用対象となる画像部分を、演出効果を高める形態で表示しつつ、表示対象として選択した再構成静止画を出力装置２に表示する。

例えば、笑顔の存在する静止画の全体を表示するのではなくて、その笑顔の画像部分の大きさを表示の大きさとして、その笑顔から遠く離れた画像部分を最初に表示し、それを起点としてその笑顔の画像部分に近づく形態で静止画の画像部分を逐次表示していって、最終的に、その笑顔の画像部分を表示するというような演出効果を高める表示形態で表示しつつ、生成した再構成静止画を出力装置２に表示するのである。

ステップＳ１１４，１１５で再構成静止画を出力装置２に表示すると、続いて、ステップＳ１１６で、ユーザが出力装置２の持つキーボードやマウスを操作したのか否かを検出して、ユーザ操作を検出すると、ステップＳ１１７に進んで、そのユーザ操作が再構成静止画の表示終了要求であるのか否かを判断する。

このステップＳ１１７の判断処理に従って、ユーザ操作が再構成静止画の表示終了要求であることを判断するときには、処理を終了する。

一方、ステップＳ１１７の判断処理に従って、ユーザ操作が再構成静止画表示終了要求ではないことを判断するときには、ステップＳ１１８に進んで、ユーザ操作がズーム要求であるのか否かを判断する。

このステップＳ１１８の判断処理に従って、ユーザ操作がズーム要求であることを判断するときには、ステップＳ１１９に進んで、ズーム要求のある画像部分（再構成静止画を構成する静止画に含まれる画像部分）をズーム表示してから、ステップＳ１１６の処理に戻る。

例えば、ステップＳ１１９では、静止画の全体を表示するのではなくて、ユーザが指定するズーム表示の対象となる画像部分の大きさを表示の大きさとして、その画像部分をユーザの指定するズーム倍率に応じてズーム表示するのである。このとき、ユーザがズーム表示の対象となる画像部分を指定しない場合にあって、例えば、“画(i) ”の笑顔検出により笑顔が検出されている場合には、その笑顔がズーム表示の対象となったと判断して、その笑顔をズーム表示するように処理したり、“画(iv)”のアップショット検出により動物体が検出されている場合には、その動物体がズーム表示の対象となったと判断して、その動物体をズーム表示するように処理することになる。

一方、ステップＳ１１８の判断処理に従って、ユーザ操作がズーム要求でないことを判断するときには、ステップＳ１２０に進んで、ユーザ操作が次の優先順位の再構成静止画の表示要求であるのか否かを判断する。

このステップＳ１２０の判断処理に従って、ユーザ操作が次の優先順位の再構成静止画の表示要求であることを判断するときには、ステップＳ１２１に進んで、ステップＳ１１１で生成した複数の再構成静止画の中から、次の優先順位の再構成静止画を表示対象として選択してから（次の優先順位のものがない場合には、最優先順位のものを選択する）、ステップＳ１１３の処理に戻る。

一方、ステップＳ１２０の判断処理に従って、ユーザ操作が次の優先順位の再構成静止画の表示要求でないことを判断するときには、ステップＳ１２２に進んで、ユーザ操作の要求する処理を実行してから、ステップＳ１１６の処理に戻る。

このようにして、本発明の映像処理装置１は、ユーザから処理対象の映像を指定して再構成静止画の表示要求があると、図１１および図１２のフローチャートに従って、処理対象の映像から１枚以上の重要な静止画群を選択し、それらを１枚の静止画に再構成して表示することを実行するのである。

本発明は、映像を処理する映像処理装置に適用できるものであり、本発明を用いることで、ユーザは映像の中身を１枚の静止画によって理解することができることから、その映像を視聴することなく、その映像がどのようなものであるのかを把握することができるようになる。

１ 映像処理装置
１００ 映像入力部
１０１ 第１の素材データ記憶部
１０２ 画像・音響特徴量検出部
１０３ 画像・音響特徴量記憶部
１０４ 優先グループ種別判定部
１０５ 静止画優先順位付与部
１０６ 素材データ記憶構造変更部
１０７ 第２の素材データ記憶部
１０８ 静止画再構成部
１０９ 編集データ記憶部
１１０ 再構成静止画出力部

Claims (10)

1. 映像を処理する映像処理装置であって、
   処理対象となる映像を入力する入力部と、
   入力映像の持つ画像特徴量および／または音響特徴量を検出対象として、入力映像を構成する各静止画について、検出結果が特徴量の程度を示す値となる値属性特徴量を含む、それらの静止画の持つ１つ以上の特徴量を検出する検出部と、
   前記検出した特徴量を用いて、入力映像を構成する各静止画に対して優先順位を付与する付与部と、
   前記付与した優先順位に基づいて、入力映像を構成する静止画の中から１枚以上の重要な静止画を選択して、それらの選択した静止画を１枚の静止画に再構成することで再構成静止画を生成する再構成部と、
   前記生成した再構成静止画を出力装置に出力する出力部とを備えることを、
   特徴とする映像処理装置。
2. 請求項１に記載の映像処理装置において、
   前記検出部は、前記値属性特徴量として、少なくとも、入力映像の持つ音響データが示す強調状態の確率値とその音響データが示す感性状態の確率値のいずれか一方または双方を検出することを、
   特徴とする映像処理装置。
3. 請求項１または２に記載の映像処理装置において、
   前記検出部は、１つまたは複数の前記値属性特徴量を検出することに加えて、検出結果が特徴量の有無となる１つまたは複数の有無属性特徴量を検出し、
   前記付与部は、最初に、前記有無属性特徴量の検出結果に基づいて、入力映像を構成する各静止画を優先順位順にグループ分けし、続いて、前記値属性特徴量に基づいて、そのグループ内における優先順位を決定することで、入力映像を構成する各静止画に対して優先順位を付与することを、
   特徴とする映像処理装置。
4. 請求項１ないし３のいずれか１項に記載の映像処理装置において、
   前記再構成部は、前記付与した優先順位に基づいて、優先順位を持つ複数の再構成静止画を生成し、
   前記出力部は、前記出力装置からの出力要求に応答して、前記複数の再構成静止画をその優先順位順に出力することを、
   特徴とする映像処理装置。
5. 請求項１ないし４のいずれか１項に記載の映像処理装置において、
   前記再構成部は、複数の静止画で構成される再構成静止画を生成するのか１枚の静止画で構成される再構成静止画を生成するのかを決定し、さらに、複数の静止画で構成される再構成静止画を生成することを決定する場合には、優先順位に応じて割り当てられた位置にそれらの静止画を配置するのか、時系列の順番に応じて割り当てられた位置にそれらの静止画を配置するのかを決定することで、再構成静止画を生成することを、
   特徴とする映像処理装置。
6. 請求項１ないし５のいずれか１項に記載の映像処理装置において、
   前記出力部は、前記出力装置からズーム要求がある場合には、前記出力装置に出力する再構成静止画の持つズーム要求のある画像部分をズームする形態で出力することを、
   特徴とする映像処理装置。
7. 請求項１ないし５のいずれか１項に記載の映像処理装置において、
   前記出力部は、前記出力装置に再構成静止画を出力するときに、その再構成静止画の持つ特定の画像部分へ向かう形態で、その再構成静止画の持つ複数の画像部分を逐次出力することを、
   特徴とする映像処理装置。
8. 請求項１ないし７のいずれか１項に記載の映像処理装置において、
   前記検出した特徴量に基づいて、入力映像を構成する静止画の中から静止画として見づらいものとなる静止画を特定する特定部と、
   前記特定した静止画に対して前記付与部が付与した優先順位を低いものに変更する変更部とを備えることを、
   特徴とする映像処理装置。
9. 請求項１ないし８のいずれか１項に記載の映像処理装置において、
   入力映像を構成する静止画のカット点からの時間経過量を測定する測定部と、
   前記測定した時間経過量に基づいて、前記検出した値属性特徴量を補正する補正部とを備えることを、
   特徴とする映像処理装置。
10. 請求項１ないし９のいずれか１項に記載の映像処理装置を構成する手段としてコンピュータを機能させるための映像処理プログラム。

Images