JP2012015858A

JP2012015858A - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP2012015858A
Application number: JP2010151336A
Authority: JP
Inventors: Tomonori Kudo; 朋紀工藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-07-01
Filing date: 2010-07-01
Publication date: 2012-01-19

Abstract

【課題】目的の動画を簡単に探すことが可能な代表画像を生成できるようにする。
【解決手段】代表画像のレイアウトの種類やレイアウトするオブジェクトの種類を提示する画面を表示し、ユーザにより代表画像のレイアウト等が選択されると、複数の動画における各フレーム画像を解析して顔を検出し、辞書と照合して顔認識を行う。そして、全動画に対する出現頻度を計算し、出現頻度ＳＦ、出現頻度の逆数ＩＭＦ、またはその積が最も高い値のオブジェクトを代表オブジェクトとして決定する。
【選択図】図１

Description

本発明は、代表画像を生成するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

従来、人物が主に撮影されている画像群や動画の内容を容易に認識するために、対象となる動画に最も出現した人物が撮影されているフレームを代表画像として生成していた。代表画像を生成する技術として、例えば特許文献１に記載の技術では、検索対象の画像の特徴を指定し、画像の特徴に基づいて部分画像の特徴を検索する。そして、検索結果に基づいて得られた部分画像に対応付けられた画像を候補画像として決定し、決定された候補画像に含まれる部分画像を所定の大きさに拡大して候補画像の縮小画像を表示している。また、例えば特許文献２に記載の技術では、オブジェクトの動きに対する評価値を算出して動画から代表画像を抽出している。

特開２００４−２４０７５０号公報特開２００８−１４６４６０号公報

ある動画で最も出現した人物は、保持している他の動画でも多くの時間出現していることが多い。そのため、従来は複数の動画のそれぞれの代表画像として同じ人物が提示されてもそれぞれの動画を区別することが難しいことから、その人物を部分的に拡大したり、その人物の動きを検出したりしていた。しかしながら、動画ごとの違いを十分に認識できず、目的の動画を探すためには再生して確認する必要があり、効率良く目的の動画を探すことができない。

本発明は前述の問題点に鑑み、目的の動画を簡単に探すことが可能な代表画像を生成できるようにすることを目的としている。

本発明の画像処理装置は、複数の動画データを記憶する記憶手段と、前記複数の動画データのそれぞれのフレーム画像からオブジェクトを認識する認識手段と、前記認識手段により認識されたオブジェクトの出現する頻度を抽出し、前記複数の動画データにおいて抽出したオブジェクトの頻度を加味した重要度を算出する算出手段と、前記算出手段により算出された重要度に基づき代表オブジェクトを決定する決定手段と、前記決定手段によって決定された代表オブジェクトを用いて対象となる動画データの代表画像を生成する生成手段とを有することを特徴とする。

本発明によれば、目的の動画を簡単に探すことができる。

実施形態に係る画像処理装置の構成例を示すブロック図である。３台の画像処理装置がネットワークに接続されたシステムを示す図である。代表画像を決定する処理手順の一例を示すフローチャートである。レイアウトを選択する表示画面の一例を示す図である。複数の動画及び代表画像の一例を示す図である。動画および人物ごとの登場するフレームの一覧を示す図である。登場人物ごとの計算結果の一例を示す図である。家族構成の場合における人物の出現頻度等の一覧を示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照しながら説明する。
図１は、本実施形態に係る画像処理装置１００の構成例を示すブロック図である。
図１において、画像処理装置１００は、ＣＰＵが機能するデータ処理部１１５、記憶部１１１、表示部１１６、入力部１１３、及びネットワークＩ／Ｆ部１１７を備えている。データ処理部１１５は、画像処理装置１００全体を制御し、後述する処理を行う。記憶部１１１には、複数の動画データや人物に対して登録された顔の特徴が格納されている辞書が記憶されており、表示部１１６には、代表画像を生成するための選択画面等が表示される。また、入力部１１３は、ユーザからの操作に応じて、入力を受け付ける。また、図１に示す画像処理装置１００は、図２に示すように他の同様の画像処理装置とネットワークにより接続されている。図２に示す例では、本実施形態に係る画像処理装置１００が、第１の画像処理装置２０１、第２の画像処理装置２０２、及び第３の画像処理装置２０３として３台が接続されている。

次に、本実施形態による画像処理の概要を説明する。本実施形態に係る画像処理装置１００は、データ処理部１１５により特徴的なオブジェクトを抽出する。特徴的なオブジェクトは、対象の動画への出現頻度ＳＦ（Scene Frequency）と、全動画に対する出現頻度の逆数ＩＭＦ（Inverse Movie Frequency）とに基づいて抽出される。

対象の動画への出現頻度ＳＦは、対象動画でのオブジェクトの出現シーン数（出現フレーム数）を対象動画全シーン（全フレーム数）で割った数値であり、その動画内のオブジェクトの重要度となる。すなわち、出現頻度ＳＦは、
出現頻度ＳＦ＝動画中の出現フレーム数／動画中の全フレーム数
として算出される。さらに、フレーム画像全面に対象オブジェクトの占める割合を加味した出現頻度ＳＦ'は、
出現頻度ＳＦ'＝ＳＦ＊（占有画像面積／フレーム画像面積）の平均
として計算される。この数値が最も高いオブジェクトはその動画中に最も写っているオブジェクトとなる。

一方、全動画に対する出現頻度の逆数ＩＭＦは、全動画個数をオブジェクトの出現動画個数で割った数値に基づいて算出される。つまり、多くの動画に出現するオブジェクトは値が小さく、特定の動画にしか出現しないオブジェクトは値が大きい。例えば、出現頻度の逆数ＩＭＦは、
出現頻度の逆数ＩＭＦ＝log（全動画個数／出現動画個数＋１）
として算出される。なお、動画個数をフレーム数にした場合、出現頻度の逆数ＩＭＦ'は、
出現頻度の逆数ＩＭＦ'＝log（全動画フレーム数／全出現フレーム数＋１）
として算出される。

全動画に対する出現頻度の逆数ＩＭＦが有効な具体的なユースケースとしては、以下のように場合が想定される。例えば、家庭用ビデオで家族のイベントを撮影した動画などでは、全動画に対する出現頻度の逆数ＩＭＦは、たまに遊びにくる子供の友達や離れて住んでいる祖父母の方が、毎回写っている自分の子供より高くなる。また、テレビの録画で毎週録画しているバラエティー番組では、全動画に対する出現頻度の逆数ＩＭＦは、各回のゲストの方が、毎回写っている司会者やレギュラーの人物より高くなる。このように、この数値が最も高いオブジェクトは、あまり頻繁に出現しない珍しいオブジェクトとなる。したがって、上記２つの数値を乗じた値ＳＦ＊ＩＭＦが高いオブジェクトは、この動画における重要度が高く、他の動画にはあまり出現しない特徴的なオブジェクトになる。

次に、本実施形態による画像処理の手順について図３に基づいて説明する。
図３は、本実施形態において、代表画像を決定する処理手順の一例を示すフローチャートである。
まず、ステップＳ３００における代表オブジェクト決定方法提示処理では、代表オブジェクトの決定方法を提示する。具体的には、図４に示すように、代表画像のレイアウトの種類やレイアウトするオブジェクトの種類を提示する画面を表示部１１６に表示する。

そして、ユーザにより代表画像のレイアウト等が選択されると、次のステップＳ３０１における代表オブジェクト決定方法設定処理では、ユーザが選択した結果を取得して記憶部１１１に記憶する。図４に示す例では、ダイアログ上部のレイアウトの選択において、「分割なし」、「２分割」、「３分割」の３つのうち、右側の「３分割」のレイアウトが選択されている。

また、各部分画像枠とオブジェクトの種類（代表オブジェクト決定方法）との対応付けも設定され、ステップＳ３０１においては、その情報も記憶部１１１に記憶する。具体的には、選択した「３分割」のレイアウトの左半分の枠を選択し、下部のオブジェクトの種類から「最も写っている人」を選択するとマーク４０１が設定される。同様に、右上の枠を選択し、「珍しい人」を選択するとマーク４０２が設定され、このように複数の人物を組み合わせた代表画像の設定情報を取得して、記憶部１１１に記憶する。なお、以下の例では、オブジェクトは人物であるものとして説明する。

次に、ステップＳ３０２におけるオブジェクト認識処理では、記憶部１１１に格納されている複数の動画データにおける各フレーム画像を解析して顔を検出し、辞書と照合して顔認識を行う。図５（ａ）に示す例では、動画番号"６０１"では、フレーム番号"１"の画像に対して人物を３人検出する。さらに各人物に対して登録された顔の特徴が格納されている辞書と照合し、フレーム番号"１"では"田中Ａ郎"と"斉藤Ｂ郎"と"木村Ｃ郎"とが写っていると認識する。

次に、ステップＳ３０３におけるインデックス作成処理では、ステップＳ３０２で認識された人物と、出現しているフレーム画像とを対応付けてインデックスを作成する。例えば、図６（ａ）または図６（ｂ）に示すようなインデックスを作成する。図６（ａ）に示す例では、動画番号"６０１"のフレーム番号"１"からフレーム番号"１５０００"までは、"田中Ａ郎"、"斉藤Ｂ郎"、"木村Ｃ郎"の３人が出現していることがわかる。また、図６（ｂ）に示す例では、人物をキーとして、"田中Ａ郎"は動画番号"６０１"のフレーム番号"１"からフレーム番号"１５０００"までに出現していることがわかる。ステップＳ３０３では、このような人物と全動画のフレームとの対応付けをインデックスとして作成する。

次に、ステップＳ３０４における特徴的オブジェクト算出処理では、ステップＳ３０３で作成したインデックスから全動画に対する出現頻度を計算する。具体的には図７（ａ）のＦ６０１列に示すように、"田中Ａ郎"は動画番号"６０１"では１５０００フレーム出現している。同様に、Ｆ６０２列に示すように、動画番号"６０２"では１５０００フレームに出現している。また、Ｆ６０３列に示すように、動画番号"６０３"では出現していない。なお、動画番号"６０１"の全フレーム数は４５０００であり、"田中Ａ郎"が出現する全動画中の合計出現フレームは３００００フレームとなる。

以上の数値から、各動画に対して出現頻度ＳＦまたはＳＦ'を算出すると、図７（ｂ）に示すような結果となる。例えば、図７（ｂ）のＳＦ６０１列に示すように、"田中Ａ郎"の出現頻度ＳＦは動画番号"６０１"では０．３３である。同様に、ＳＦ６０２列に示すように、動画番号"６０２"では０．２１であり、ＳＦ６０３列に示すように、動画番号"６０３"では０となる。また、動画番号"６０１"では、"田中Ａ郎"の占有画像面積／フレーム画像面積の平均を３０％とすると、ＳＦ'６０１列に示すように出現頻度ＳＦ'は０．０６である。同様に、動画番号"６０２"では、占有画像面積／フレーム画像面積の平均を１０％とすると、ＳＦ'６０２列に示すように出現頻度ＳＦ'は０．０２である。さらに、動画番号"６０３"では、ＳＦ'６０３列に示すように出現頻度ＳＦ'は０である。

さらに、ステップＳ３０４においては、図７（ｃ）に示すように出現頻度の逆数ＩＭＦを全動画から算出して、各動画に対して値ＳＦ＊ＩＭＦまたは値ＳＦ'＊ＩＭＦを算出する。図７（ｃ）に示すように、"田中Ａ郎"の出現頻度の逆数ＩＭＦは０．４０であり、ＳＦ６０１＊ＩＭＦ列に示すように、動画番号"６０１"では値ＳＦ６０１＊ＩＭＦは０．１３である。同様に、ＳＦ６０２＊ＩＭＦ列に示すように、動画番号"６０２"では値ＳＦ６０２＊ＩＭＦは０．０８であり、ＳＦ６０３＊ＩＭＦ列に示すように、動画番号"６０３"では値ＳＦ６０３＊ＩＭＦは０である。また、ＳＦ'６０１＊ＩＭＦ列に示すように、動画番号"６０１"では値ＳＦ'６０１＊ＩＭＦは０．０２であり、ＳＦ'６０２＊ＩＭＦ列に示すように、動画番号"６０２"では値ＳＦ'６０２＊ＩＭＦは０．０１である。さらに、ＳＦ'６０３＊ＩＭＦ列に示すように、動画番号"６０３"では値ＳＦ'６０３＊ＩＭＦは０である。

また、図７（ｄ）に示すように、出現頻度の逆数ＩＭＦ'を全動画から算出して各動画に対して値ＳＦ＊ＩＭＦ'または値ＳＦ'＊ＩＭＦ'を同様に算出する。以上のように、出現頻度ＳＦ、出現頻度の逆数ＩＭＦ及び値ＳＦ＊ＩＭＦを算出した場合、動画番号"６０３"では出現頻度ＳＦが最も高い"斉藤Ｂ郎"が最も写っている人物と判定される。また、出現頻度の逆数ＩＭＦが最も高い"金子Ｆ郎"が珍しい人物と判定され、値ＳＦ６０３＊ＩＭＦが最も高い"木下Ｃ子"が特徴的な人物と判定される。

次に、ステップＳ３０５における代表オブジェクト決定処理では、ステップＳ３０１で設定された代表オブジェクト決定方法に基づいて、ステップＳ３０４で算出された最も高い値のオブジェクトを代表オブジェクトとして決定する。このとき、出現頻度の逆数ＩＭＦが閾値より低い人物は、他の動画にも頻繁に出現しているため、図５（ｂ）に示すように、服装などがわかるように全身がフレーム画像全体に占める割合の大きいフレームを選択する。また、出現頻度の逆数ＩＭＦが閾値より高い人物は特定の動画にしか出現しないので、顔がはっきりわかるように顔がフレーム画像全体に占める割合の大きいフレームを選択するか、もしくは顔を拡大する。

次に、ステップＳ３０６における代表画像決定処理では、ステップＳ３０１で設定されたレイアウトに基づいてステップＳ３０５で決定したオブジェクトを合成して代表画像を生成する。生成した代表画像は表示部１１６または記憶部１１１に出力される。例えば、図５（ｂ）に示すように、代表画像の左半分には、最も写っていた"斉藤Ｂ郎"が出現する画像を配置する。そして、代表画像の右上には珍しい人物と判定した"金子Ｆ郎"が出現する画像を配置する。さらに、代表画像の右下には特徴的な人物と判定した"木下Ｃ子"が出現する画像を配置して合成した画像を代表画像として決定する。このように、所定の条件を満たした人物が出現する画像を配置して代表画像を生成する。

なお、本実施形態では、オブジェクトとして人物を例に説明したが、人物以外の動物など認識可能なオブジェクトにも適用可能である。また、人物が認識してメタデータ化したオブジェクトにも適用可能である。また、代表オブジェクト決定方法においては、システムから提示された選択肢よりユーザが選択して決定していたが、システムが決定してもかまわない。以上のように、全動画に対する出現頻度の逆数を利用することにより、特定の動画に出現する人物の頻度を算出することができる。これにより、特徴的なオブジェクトを代表画像に含めることによって、代表画像を見るだけで動画の内容を把握でき、目的の動画を効率良く見つけることが可能となる。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。なお、本実施形態に係る画像処理装置１００の構成は、第１の実施形態と同様であるため、説明は省略する。

本実施形態では、例えば図８（ａ）に示すように、２組の家族で撮影した動画（田中家が撮影した７本の動画（動画番号"７０１"〜"７０７"）及び鈴木家が撮影した５本の動画（動画番号"７０８"〜"７１２"））での想定例をもとに説明する。なお、被写体には５組の家族が含まれており、各家族の人名順は父、母、１人以上の子供の順である。

図８（ａ）における被写体人物名の行には、各動画に出現したフレーム数が表されている。また、田中家では、顔認識で使用する辞書に田中家、鈴木家、斉藤家、及び三島家が登録されており、鈴木家では、顔認識で使用する辞書に田中家、鈴木家、及び菊池家が登録されている。

また、図８（ｂ）は、互いの動画を共有したときに顔認識で使用する辞書も統合した場合を示している。最大頻度の行は、各動画に対して出現頻度ＳＦが最も高い人物を表しており、出現頻度の逆数ＩＭＦ及び値ＳＦ＊ＩＭＦの行はそれぞれ、各動画に対して出現頻度の逆数ＩＭＦ及び値ＳＦ＊ＩＭＦの最も高い人物を表している。図８に示す例では、子供を中心に撮影された動画が多く含まれており、図８（ｂ）に示すように、最大頻度の人物を代表にすると、その家族の子供が代表となることが多くなっている。一方、出現頻度の逆数ＩＭＦが大きい人物を代表にすると、父などあまり写らない珍しい人物が代表となる。また、値ＩＭＦ＊ＳＦが大きい人物を代表とすると、特徴的な人物が代表となる。

図８（ｃ）は、動画は共有したが顔認識で使用する辞書は共有しないでそれぞれ別々に代表画像を作成する場合の例を示している。それぞれ田中家及び鈴木家の顔認識で使用する辞書から算出した出現頻度の逆数ＩＭＦ及び値ＳＦ＊ＩＭＦの行は、各動画に対して出現頻度の逆数ＩＭＦ及び値ＳＦ＊ＩＭＦのそれぞれの最も高い人物を表している。

同じ動画でも顔認識する辞書が異なる場合には、出現頻度の逆数ＩＭＦ及び値ＳＦ＊ＩＭＦの最も高い人物が異なることが多く、異なった代表画像が生成されることがある。顔認識で使用する辞書に登録していない人物は代表画像に出現する可能性が低いため、たまたま写りこんだ人物が代表画像として選ばれることはほとんどない。したがって、それぞれ顔認識に使用する辞書を持つことにより、ユーザごとにカスタマイズされた最適な代表画像が生成される。また、本実施形態では、顔認識に使用する辞書と特徴的な人物を算出する辞書とを共用しているが、顔認識に使用する辞書と特徴的な人物を算出するために使用する辞書とが別であってもかまわない。

以上のように辞書を使用することにより、ユーザごとにカスタマイズされた最適な代表画像を生成することができる。このため、代表画像を確認することによって動画の内容を把握でき、目的の動画を効率良く見つけることが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１１記憶部、１１５データ処理部

Claims

複数の動画データを記憶する記憶手段と、
前記複数の動画データのそれぞれのフレーム画像からオブジェクトを認識する認識手段と、
前記認識手段により認識されたオブジェクトの出現する頻度を抽出し、前記複数の動画データにおいて抽出したオブジェクトの頻度を加味した重要度を算出する算出手段と、
前記算出手段により算出された重要度に基づき代表オブジェクトを決定する決定手段と、
前記決定手段によって決定された代表オブジェクトを用いて対象となる動画データの代表画像を生成する生成手段とを有することを特徴とする画像処理装置。
前記生成手段は、前記対象となる動画データにおいて出現する頻度が最も高いオブジェクトと所定の条件を満たすオブジェクトとを合成して代表画像を作成することを特徴とする請求項１に記載の画像処理装置。
前記算出手段は、前記複数の動画データにおいて抽出したオブジェクトの頻度の逆数に基づいて重要度を算出することを特徴とする請求項１または２に記載の画像処理装置。
前記算出手段は、前記複数の動画データにおいて抽出したオブジェクトの頻度の逆数と、前記対象となる動画データに出現する頻度とに基づいて重要度を算出することを特徴とする請求項１または２に記載の画像処理装置。
前記算出手段は、フレーム画像に対するオブジェクトの占める割合をさらに加味して重要度を算出することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
前記認識手段は、オブジェクトの顔を認識し、
前記算出手段は、前記オブジェクトの顔を認識する辞書に登録した人の頻度を抽出することにより重要度を算出することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
前記決定手段は、前記複数の動画データにおいて抽出したオブジェクトの頻度の逆数が最も高いオブジェクトのうち、前記オブジェクトの顔が大きく写っているフレーム画像から代表オブジェクトを決定することを特徴とする請求項６に記載の画像処理装置。
前記決定手段は、前記複数の動画データにおいて抽出したオブジェクトの頻度の逆数が最も低いオブジェクトのうち、前記オブジェクトの全身が写っているフレーム画像から代表オブジェクトを決定することを特徴とする請求項６に記載の画像処理装置。
前記決定手段は、前記代表画像の所定のレイアウトに従って代表オブジェクトを決定することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
複数の動画データのそれぞれのフレーム画像からオブジェクトを認識する認識工程と、
前記認識工程において認識されたオブジェクトの出現する頻度を抽出し、前記複数の動画データにおいて抽出したオブジェクトの頻度を加味した重要度を算出する算出工程と、
前記算出工程において算出された重要度に基づき代表オブジェクトを決定する決定工程と、
前記決定工程において決定された代表オブジェクトを用いて対象となる動画データの代表画像を生成する生成工程とを有することを特徴とする画像処理方法。
複数の動画データのそれぞれのフレーム画像からオブジェクトを認識する認識工程と、
前記認識工程において認識されたオブジェクトの出現する頻度を抽出し、前記複数の動画データにおいて抽出したオブジェクトの頻度を加味した重要度を算出する算出工程と、
前記算出工程において算出された重要度に基づき代表オブジェクトを決定する決定工程と、
前記決定工程において決定された代表オブジェクトを用いて対象となる動画データの代表画像を生成する生成工程とをコンピュータに実行させることを特徴とするプログラム。