JP2009088687A - アルバム作成装置 - Google Patents

Abstract

【課題】顔が認識された画像を自動的に抽出することにより、動画から動画アルバムや静止画（写真）アルバムを自動的に作成することができる。
【解決手段】監視カメラなどから動画を取得して、動画に撮影されている人物を判別する。取得した動画の中から、判別された人物が撮影された動画を抽出する。抽出された動画を順番につなげることで動画アルバムを作成する。判別された人物を識別可能なフレームを代表画像として作成し、代表画像を並べることで写真アルバムを作成する。これにより、蓄積された膨大な量のデータから所望の動画、静止画などの画像をアルバムとして編集する編集作業を大幅に削減することができる。
【選択図】 図３

Description

本発明はアルバム作成装置に係り、特に自動的に動画又は静止画のアルバムを作成可能なアルバム作成装置に関する。

小学校、幼稚園などでは、イベントごとに撮影された写真をもとに卒業アルバムが作られているため、普段の学校生活の様子など日常生活での子供の姿を映した写真などは少ない。この要因の一つには撮影が困難であること、毎日写真を撮っているとその整理に負荷がかかるためであると推測される。

複数枚の画像からアルバムを作成する技術としては、以下の発明が開示されている。

特許文献１には、蓄積された画像からユーザが望むストーリーに適合した画像を選択し、それらによってアルバムを作成する技術が開示されている。

特許文献２には、メタデータのついた画像からアルバムを作成する技術が開示されている。

また、動画のアルバムを作成する技術として、特許文献３には、動画を入力ソースとして、簡単に動画アルバムを作成する技術が開示されている。特許文献３は、プログラムを提供することで、動画アルバムの作成支援を狙ったものである。
特開２００５−１０７８６７号公報 特開２００２−４９９０７号公報 特開２００４−３５６８４１号公報

しかしながら、特許文献１〜３に記載された技術は、いずれもすでに編集された動画や静止画が必要であり、膨大に蓄積されたデータの中から目的のソースを探し、アルバムにすることができない。

特に、特許文献１においては、ストーリーに合う画像を選択する際に、画像が撮影された場所、話し声、撮影されているものをキーにして検索しているため、これらの条件がない場合には、思うようにアルバムを作成できない。

本発明はこのような事情に鑑みてなされたもので、顔が認識された画像を自動的に抽出することにより、動画から動画アルバムや静止画（写真）アルバムを自動的に作成することが可能なアルバム作成装置を提供することを目的とする。

請求項１に記載のアルバム作成装置は、所定の撮影範囲内に人物が入ったことを検知する人物検知手段と、前記人物検知手段によって人物が検知されている期間のみ動画撮影を行う１乃至複数の撮影手段と、前記撮影手段によって撮影された前記各期間の動画をそれぞれ記憶する記録手段と、前記動画中の人物の顔を認識する顔認識手段を備え、前記記録手段に記録された複数の動画の中から前記顔認識手段の顔認識結果に基づいて特定の人物が撮影されている動画を抽出する抽出手段と、前記抽出手段により抽出された動画に基づいてアルバムを作成するアルバム作成手段と、を備えたことを特徴とする。

請求項１に記載のアルバム作成装置によれば、所定の撮影範囲内に人物が入ったことを検知し、人物が検知されている期間のみ動画撮影を行い、撮影された各期間の動画をそれぞれ記録する。記録された複数の動画の中から、動画中の人物の顔を認識することによって認識された特定の人物が撮影されている動画を抽出する。抽出された動画に基づいて、動画や静止画（写真）などで構成されたアルバムを作成する。これにより、蓄積された膨大な量のデータから所望の動画、静止画などの画像をアルバムとして編集する編集作業を大幅に削減することができる。また、顔認識を行うことにより、特別な装置や入力作業を必要せず、自動的に所望の人物が撮影された動画を抽出することができる。また、監視カメラなどの所定の位置に設置された撮像装置により撮影された動画を用いることにより、撮影の手間を削減することができる。

請求項２に記載のアルバム作成装置は、請求項１に記載のアルバム作成装置において、前記抽出手段により抽出された動画を所定の条件に基づいて順位付けする順位付け手段を備え、前記アルバム作成手段は、前記順位付け手段により順位付けされた動画に基づいてアルバムを作成することを特徴とする。

請求項２に記載のアルバム作成装置によれば、判別された人物が撮影されているとして抽出された動画を所定の条件に基づいて順位付けし、順位付けされた動画に基づいてアルバムを作成する。これにより、作成されるアルバムの品質を向上させることができる。

請求項３に記載のアルバム作成装置は、請求項１又は２に記載のアルバム作成装置において、前記抽出手段により抽出された動画から、前記判別手段により判別された人物を識別可能な静止画を代表画像として作成する代表画像作成手段と、前記代表画像作成手段により作成された代表画像を表示する表示手段と、前記表示手段により表示された代表画像から所望の代表画像を選択する選択手段と、を備え、前記アルバム作成手段は、前記抽出手段により抽出された動画又は前記選択手段により選択された所望の代表画像の基となる動画をつなぎ合わせることにより動画アルバムを作成することを特徴とする。

請求項３に記載のアルバム作成装置によれば、抽出手段により抽出された動画から、判別された人物を識別可能な静止画を代表画像として作成し、作成された代表画像を表示する。また、表示手段により表示された代表画像から所望の代表画像を選択し、選択された所望の代表画像の基となる動画をつなぎ合わせることにより動画アルバムを作成する。なお、抽出手段により抽出された動画をつなぎ合わせることにより動画アルバムを作成することもできる。これにより、作成される動画アルバムの品質を向上させることができる。

請求項４に記載のアルバム作成装置は、請求項１又は２に記載のアルバム作成装置において、前記抽出手段により抽出された動画から、前記判別手段により判別された人物を識別可能な静止画を代表画像として作成する代表画像作成手段と、前記代表画像作成手段により作成された代表画像を表示する表示手段と、前記表示手段により表示された代表画像から所望の代表画像を選択する選択手段と、を備え、前記アルバム作成手段は、前記代表画像作成手段により作成された代表画像又は前記選択手段により選択された所望の代表画像を用いて静止画アルバムを作成することを特徴とする。

請求項４に記載のアルバム作成装置によれば、抽出手段により抽出された動画から、判別された人物を識別可能な静止画を代表画像として作成し、作成された代表画像を表示する。また、表示手段により表示された代表画像から所望の代表画像を選択し、選択された所望の代表画像を用いて静止画アルバム（写真アルバム）を作成する。または、作成された全ての代表画像を用いて静止画アルバムを作成する。これにより、動画から静止画アルバムを作成することができる。また、作成される写真アルバムの品質を向上させることができる。

請求項５に記載のアルバム作成装置は、請求項１〜４のいずれかに記載のアルバム作成装置において、前記顔認識手段により複数の人物が認識された場合に、前記認識された複数の人物から所望の人物を選択する人物選択手段を備え、前記抽出手段は、前記人物選択手段により選択された人物が撮影されている動画を抽出することを特徴とする。

請求項５に記載のアルバム作成装置によれば、動画から複数の人物が認識された場合には、複数の人物から選択された所望の人物が撮影された動画を抽出し、アルバムを作成する。これにより、複数の人物が撮影されることによって、動画が抽出できないという不具合を回避することができる。

本発明によれば、顔が認識された画像を自動的に抽出することにより、動画から動画アルバムや静止画（写真）アルバムを自動的に作成することができる。

以下、添付図面に従って本発明に係るアルバム作成装置を実施するための最良の形態について詳細に説明する。

図１は、アルバム作成装置１０のブロック図である。アルバム作成装置１０は、主として、撮影装置１ａ、１ｂ、１ｃ、１ｄと、動体検知装置２と、記録装置３と、エンコーダ４と、処理装置５とで構成され、ＬＡＮ等を介して接続されている。また、処理装置５は、主として、画像取得手段１１と、人物判別手段１２と、順位付け手段１３と、代表画像選択手段１４と、アルバム作成手段１５と、表示手段１６と、制御手段１７とで構成される。

撮影装置１ａ、１ｂ、１ｃ、１ｄは、図２に示すように、天井、壁などに設置された監視カメラ、ライブカメラなどの定点カメラである。高いところ（図２（ａ）参照）に定点カメラを設置すると構図が限定されてしまうため、壁面などの低い位置（図２（ｂ）参照）や、人の興味を引くような物（図２（ｃ）参照）にも定点カメラを設置して撮影することが望ましい。撮影装置１ａ、１ｂ、１ｃ、１ｄにおいて撮影された動画データは、撮影装置１ａ、１ｂ、１ｃ、１ｄ内の制御手段により動体検知装置２へ出力される。

動体検知装置２は、撮影装置１ａ、１ｂ、１ｃ、１ｄから出力された動画データの差分を取る方法や、焦電センサーにより物体から放出される赤外線エネルギーを検出する方法により、撮影区域に入った人や動物などの動体を検出する。動体が検出された動画は、動体検知装置２内の制御手段によりＬＡＮ等を介して記録装置３へ出力され、記録装置３に記憶される。

次に、処理装置５について説明する。

画像取得手段１１は、記録装置３に記憶された画像を取得する。

人物判別手段１２は、画像取得手段１１によって取得された動画にどの人物が撮影されているかを判別する。人物の判別は、動画に撮影された顔を抽出し、検出された顔を認識し、認識された顔を比較することによって行う。

動画に撮影された顔を抽出する方法としては、例えば、原画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔として抽出する方法がある。この他、画像から顔領域を抽出する方法としては、測光データを色相と彩度に変換し、変換した色相・彩度の二次元ヒストグラムを作成し、解析することで、顔領域を判断する方法や、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法、画像から人の顔の輪郭を抽出し、顔領域を決定する方法、複数の顔の形状をしたテンプレートを用意し、そのテンプレートと画像との相関を計算し、この相関値により顔候補領域とすることで人の顔を抽出する方法等が知られており、これらの方法を用いて抽出することができる。

顔を認識する方法としては、例えば、ガーバー（Ｇａｂｏｒ）フィルタを用いた方法がある。この方法では、抽出された顔にある目、鼻、口などの顔器官の特徴点を見つけ、各特徴点でガーバー（Ｇａｂｏｒ）フィルタによってデータを畳み込むことで、特徴点周辺における色の濃淡等の周期性や方向性を特徴量データとして取り出す。このような顔認識を、アルバム作成の対象となる人物をはじめ、動画から抽出された顔全てに対して行う。

認識された顔を比較する方法としては、例えば、抽出された顔の特徴量データと、アルバム作成の対象となる人物の顔の特徴量データとを比較し、両特徴量データの類似度を算出し、この算出された類似度が閾値以上であるか否かを判別する方法がある。類似度が所定の閾値以上である場合には、動画に撮影された人物とアルバム作成の対象となる人物とが一致すると判定し、類似度が所定の閾値より小さい場合には、動画に撮影された人物とアルバム作成の対象となる人物とが一致しないと判定する。

順位付け手段１３は、取得された複数の動画を複数のカテゴリに階層化して分類し、その分類結果を用いて、各カテゴリの重要度を設定する。

動画をカテゴリに分類する方法としては、例えば、動画の長さにより分類する方法がある。取得された動画の撮影時間間隔が３分未満のものは同一の撮影時間と見なし、撮影時間間隔が３０分以上１時間未満となる画像群を１つのカテゴリとして分類し、更に撮影時間間隔が１０分以上３０分未満となる画像群を１つのカテゴリとして分類し、さらに撮影時間間隔が３分以上１０分未満となる画像群を１つのカテゴリとして分類する。これにより、取得された動画が複数のカテゴリに階層化して分類される。

各カテゴリの重要度を設定する方法としては、例えば、アルバム作成の対象となる人物が撮影されている時間の長さにより分類する方法がある。アルバム作成の対象となる人物が撮影されている時間が長いほど、そのカテゴリは重要であると認識することが多い。そのため、各カテゴリに分類された動画中、アルバム作成の対象となる人物が撮影されている時間を算出し、算出された時間に基づいて各カテゴリの重要度を設定する。

代表画像選択手段１４は、まず各動画を構成する複数枚の画像から所望の画像を代表画像として選定する。代表画像を選定する方法としては、例えばアルバム作成の対象となる人物の顔がもっとも大きく撮影されている動画中のフレームを取り出して所望の画像とする方法がある。人物の顔の大きさは、人物判別手段１２で抽出された顔領域より求めることができる。代表画像選定後、順位付け手段１３において重要度が設定されたカテゴリのうち、重要度が大きいカテゴリに含まれる代表画像から順に順位付けを行う。これにより、アルバム作成の対象となる人物の顔が長く撮影されたカテゴリに含まれる動画のうち、動画に基づいて作成された代表画像に写っているアルバム作成の対象となる人物の顔がもっとも大きい動画が１番に順位付けされ、撮影時間が短くなり、顔の大きさが小さくなるにしたがって低い順位が付けられる。これにより、自動的に、アルバム作成に最も重要と思われる動画を１番に順位付けし、重要度が下がるに従って順位が低くなるように順位付けをすることができる。

アルバム作成手段１５は、アルバム作成の対象となる人物が撮影された動画に基づいて動画アルバムや写真アルバムを作成する。アルバム作成手段１５により作成された動画アルバムや写真アルバムは、エンコーダ４を介して外部に出力される。なお、アルバム作成手段１５の詳細については、後に詳述する。

表示手段１６は、動画や代表画像を表示するためのＣＲＴモニタや液晶モニタである。

制御手段１７は、処理装置５の全体の動作を制御し、また表示手段１６に表示させる表示画像の生成などの処理を行う。

次に、処理装置５の作用について説明する。図３は、アルバム作成の処理の流れを示すフローチャートである。

撮影装置１ａ、１ｂ、１ｃ、１ｄにより撮影された動画が、撮影装置１ａ、１ｂ、１ｃ、１ｄから動体検知装置２へ送信され（ステップＳ１）、動体検知装置２において、送信された動画に動体が写っているかどうかが判断される（ステップＳ２）。送信された動画に動体が写っていない場合（ステップＳ２でＮＯ）には、再度ステップＳ１が行われる。送信された動画に動体が写っている場合（ステップＳ２でＹＥＳ）には、記録装置３に動画が保存される（ステップＳ３）。なお、ステップＳ３において、動体検知センサーなどを用いることにより、誰も写っていない余分な映像を保存しないようにしてもよい。

画像取得手段１１により記録装置３から動画が取得され、人物判別手段１２により取得された動画に撮影されている人物が判別される（ステップＳ４）。代表画像選択手段１４において、ステップＳ４において判別された人物がよく認識できる画像が代表画像として選択される（ステップＳ５）。よく認識できる画像の例としては、例えば判別された人物がもっとも大きく写っているフレームの画像や、判別された人物が画面中央に最も近い位置に移っているフレームの画像などが考えられる。

ステップＳ５において選択された各代表画像からそれぞれサムネイル画像が表示手段１６に作成される（ステップＳ６）。ステップＳ６においては、作成されたサムネイル画像が表示手段１６に表示できるように、図４に示すようなサムネイル画像の一覧を作成するようにしてもよい。

その後、制御手段１７により、アルバム作成の対象となる人物を選択するように要求する指示が行われ、また、図５に示すような選択画面が作成され、作成された選択画面が表示手段１６に表示される（ステップＳ７）。

図５に示す選択画面について説明する。サムネイル画像表示領域には、ステップＳ６で作成されたサムネイル画像が表示され、人物選択領域には、ステップＳ６で作成されたサムネイル画像を用いて、サムネイル画像に撮影された全ての人物が選択できるような選択画面が作成される。サムネイル画像表示領域に表示されたサムネイル画像には、ａ、ｂ、ｃ、ｄ、ｅの５人の人物が撮影されている。ａ、ｂ、ｃ、ｄ、ｅの５人をそれぞれ選択できるような画像がサムネイル画像表示領域から抽出され、人物選択領域に表示される。人物選択領域に表示されたサムネイル画像には、人物の顔を囲むような枠が表示され、ソフトスイッチ等により枠を選択することにより、人物が選択される。以下、人物ｃが選択された場合を例に説明する。

ステップＳ７で人物ｃが選択されると、図６に示すように、サムネイル画像表示領域に表示されたサムネイル画像のなかから人物ｃが撮影されているサムネイル画像が抽出される、すなわちサムネイル画像の基となったすべての動画のなかから人物ｃが撮影されている動画が抽出される（ステップＳ８）。そして、順位付け手段１３において、抽出された画像に対して順位付けが行われる（ステップＳ９）。その結果、図６に示すように、ステップＳ８で抽出されたサムネイル画像が左上から右下にかけて順位が低くなるように表示される。

ここまででアルバム作成の準備段階が終了され、以下、アルバムの自動作成処理が行われる。以下の処理は、アルバム作成手段１５により行われる。

まず、動画アルバム、静止画（写真）アルバムのうち、どちらのアルバムを作成するかが判断される（ステップＳ１０）。動画アルバムを作成する場合には、動画アルバムを自動作成するか、手動作成するかが判断される（ステップＳ１１）。動画アルバムを自動作成する場合には、ステップＳ８で抽出され、ステップＳ９で順位付けが行われた動画を順番につなぎ合わせることにより、動画アルバムが自動作成される（ステップＳ１２）。これにより、特別な装置や入力作業を必要とせず、自動的に所望の人物が撮影された動画を抽出し、動画アルバムを作成することができる。

動画アルバムを手動作成する場合（任意に選択された動画のみを用いて動画アルバムを作成する場合）には、図６に示すようなサムネイル画像の中から所望の画像を選択するよう指示が出力され、ソフトスイッチ等によりサムネイル画像を選択することにより、図７に示すように所望のサムネイル画像が選択される（ステップＳ１３）。選択されたサムネイル画像の基となった動画を順番につなぎ合わせることにより、動画アルバムが作成される（ステップＳ１４）。このように、所望の画像のみを用いて動画アルバムを作成することにより、作成される動画アルバムの品質を向上させることができる。

写真アルバムを作成する場合には、写真アルバムを自動作成するか、手動作成するか、が判断される（ステップＳ１５）。写真アルバムを自動作成する場合には、ステップＳ８で抽出され、ステップＳ９で順位付けが行われたサムネイル画像の基となった代表画像を順番に並べることにより、写真アルバムが自動作成される（ステップＳ１６）。このように代表画像を用いることで、動画から写真アルバムを自動的に作成することができる。

写真アルバムを手動作成する場合（任意に選択された代表画像のみを用いて写真アルバムを作成する場合）には、図６に示すようなサムネイル画像の中から所望の画像を選択するよう指示が出力され、ソフトスイッチ等によりサムネイル画像を選択することにより、図７に示すように所望のサムネイル画像が選択される（ステップＳ１７）。選択されたサムネイル画像の基となった代表画像を順番に並べることにより、写真アルバムが作成される（ステップＳ１８）。これにより、作成される写真アルバムの品質を向上させることができる。

以上によりアルバムの自動作成処理が終了される。このように動画アルバム又は写真アルバムを作成することにより、蓄積された膨大な量のデータから所望の動画、静止画などの画像をアルバムとして編集する編集作業を大幅に削減することができる。最後に、ステップＳ１２、Ｓ１４、Ｓ１６、Ｓ１８で作成されたアルバムが制御手段１７によりエンコーダを介して外部に出力され（ステップ１９）、処理が終了される。

本実施の形態によれば、監視カメラなどの定点で常時録画されているカメラを利用することにより、撮影の手間を削減することができる。監視カメラなどの定点カメラを用いて撮影した動画を用いることにより、文化祭・学園祭などの行事での様子や、幼稚園や学校（小中学校、高校、大学）での普段の学校生活の様子など、日常生活での子供の姿を映した動画や静止画を用いてアルバムを作成することができる。

その他、テーマパークなどのアトラクションにカメラを設置したり、ハイキングコースなどの山道に設置したりすることにより、記念アルバムを作成することもできる。また、一定期間の録画映像に写っていた人を抽出するシステムや、ハイキングコースの下山確認のなどの監視用途にも応用することができる。

本発明が適用されたアルバム作成装置のブロック図である。 定点カメラの設置状況を示す図である。 アルバム作成装置の処理の流れを示すフローチャートである。 サムネイル画像の一覧表示の一例である。 アルバム作成対象となる人物を選択する画面表示の一例である。 アルバム作成対象となる人物が選択された後の画面表示の一例である。 アルバムを手動作成する場合に画像を選択する画面表示の一例である。

符号の説明

１ａ、１ｂ、１ｃ、１ｄ：撮影装置、２：動体検知装置、３：記録装置、４：エンコーダ、１０：アルバム作成装置、１１：画像取得手段、１２：人物判別装置、１３：順位付け手段、１４：代表画像選択手段、１５：アルバム作成手段、１６：表示手段、１７：制御手段

Claims (5)

1. 所定の撮影範囲内に人物が入ったことを検知する人物検知手段と、
   前記人物検知手段によって人物が検知されている期間のみ動画撮影を行う１乃至複数の撮影手段と、
   前記撮影手段によって撮影された前記各期間の動画をそれぞれ記憶する記録手段と、
   前記動画中の人物の顔を認識する顔認識手段を備え、前記記録手段に記録された複数の動画の中から前記顔認識手段の顔認識結果に基づいて特定の人物が撮影されている動画を抽出する抽出手段と、
   前記抽出手段により抽出された動画に基づいてアルバムを作成するアルバム作成手段と、
   を備えたことを特徴とするアルバム作成装置。
2. 前記抽出手段により抽出された動画を所定の条件に基づいて順位付けする順位付け手段を備え、
   前記アルバム作成手段は、前記順位付け手段により順位付けされた動画に基づいてアルバムを作成することを特徴とする請求項１に記載のアルバム作成装置。
3. 前記抽出手段により抽出された動画から前記特定の人物を識別可能な静止画を代表画像として作成する代表画像作成手段と、
   前記代表画像作成手段により作成された代表画像を表示する表示手段と、
   前記表示手段により表示された代表画像から所望の代表画像を選択する選択手段と、
   を備え、
   前記アルバム作成手段は、前記抽出手段により抽出された動画又は前記選択手段により選択された所望の代表画像の基となる動画をつなぎ合わせることにより動画アルバムを作成することを特徴とする請求項１又は２に記載のアルバム作成装置。
4. 前記抽出手段により抽出された動画から、前記特定の人物を識別可能な静止画を代表画像として作成する代表画像作成手段と、
   前記代表画像作成手段により作成された代表画像を表示する表示手段と、
   前記表示手段により表示された代表画像から所望の代表画像を選択する選択手段と、
   を備え、
   前記アルバム作成手段は、前記代表画像作成手段により作成された代表画像又は前記選択手段により選択された所望の代表画像を用いて静止画アルバムを作成することを特徴とする請求項１又は２に記載のアルバム作成装置。
5. 前記顔認識手段により複数の人物が認識された場合に、前記認識された複数の人物から所望の人物を選択する人物選択手段を備え、
   前記抽出手段は、前記人物選択手段により選択された人物が撮影されている動画を抽出することを特徴とする請求項１〜４のいずれかに記載のアルバム作成装置。

Images