JP2022161107A - 電子機器および制御方法 - Google Patents

Abstract

【課題】動画に含まれる人物がユーザと親しい人物であるかに基づき所定の処理を行う電子機器を提供する。【解決手段】静止画を記憶する記憶部と、制御部と、を備え、前記制御部は、前記静止画に含まれる複数の顔のそれぞれの特徴量を算出し、前記複数の顔のそれぞれの特徴量を、特徴量の類似度に基づいてクラスタリングにより、１つ以上のグループにグループ化し、前記１つ以上のグループのグループごとに当該グループ含まれる特徴量から１つの特徴量を選択し、前記グループごとに選択された特徴量を含む登録顔情報を前記記憶部に記憶させ、動画に含まれる少なくとも１つの顔の特徴量を算出し、前記動画に含まれる少なくとも１つの顔の特徴量および前記登録顔情報に基づいて、前記動画に対して所定の処理を行う電子機器。【選択図】図１

Description

本発明は、電子機器および制御方法に関する。

動画の、静止画の記録日時に対応する部分からダイジェスト用に好ましい部分を自動抽出することができる画像処理装置が知られている（例えば、特許文献１参照）。

特開２０１３－２３９７９７号公報

従来技術では、動画に含まれる人物がユーザと親しい人物であるか否かの判定が困難であり、そのため、ユーザと親しい人物を自動で拡大表示する処理や、ユーザと親しい人物が映っているシーンを自動で抽出する等の処理が困難である。

本発明の一態様は、動画に含まれる人物がユーザと親しい人物であるかに基づき所定の処理を行う電子機器を提供することを目的とする。

本発明の一態様に係る電子機器は、静止画を記憶する記憶部と、制御部と、を備え、前記制御部は、前記静止画に含まれる複数の顔のそれぞれの特徴量を算出し、前記複数の顔のそれぞれの特徴量を、特徴量の類似度に基づいてクラスタリングにより、１つ以上のグループにグループ化し、前記１つ以上のグループのグループごとに当該グループ含まれる特徴量から１つの特徴量を選択し、前記グループごとに選択された特徴量を含む登録顔情報を前記記憶部に記憶させ、動画に含まれる少なくとも１つの顔の特徴量を算出し、前記動画に含まれる少なくとも１つの顔の特徴量および前記登録顔情報に基づいて、前記動画に対して所定の処理を行う電子機器。

本発明の一態様に係る制御方法は、静止画に含まれる複数の顔のそれぞれの特徴量を算出し、前記複数の顔のそれぞれの特徴量を、特徴量の類似度に基づいてクラスタリングにより、１つ以上のグループにグループ化し、前記１つ以上のグループのグループごとに当該グループ含まれる特徴量から１つの特徴量を選択し、前記グループごとに選択された特徴量を含む登録顔情報を記憶部に記憶させ、動画に含まれる少なくとも１つの顔の特徴量を算出し、前記動画に含まれる少なくとも１つの顔の特徴量および前記登録顔情報に基づいて、前記動画に対して所定の処理を行う処理を備える。

第１の実施の形態に係る電子機器の構成図の一例である。 第１の実施の形態に係る登録顔情報の生成処理のフローチャートの一例である。 静止画像および顔特徴量のクラスタリングを説明する図である。 顔特徴量のクラスタリングに基づく登録顔情報の生成を説明する図である。 第１の実施の形態に係る電子機器の表示処理を示すフローチャートである。 第１の実施の形態に係る電子機器の表示処理を示すフローチャートである。 第１の実施形態に係る電子機器の表示部の表示例を示す図である。 第１の実施形態に係る電子機器の表示部の表示例を示す図である。 第２の実施の形態に係る電子機器の構成図の一例である。 第２の実施の形態に係る電子機器のマーキング処理を示すフローチャートである。

以下、実施の形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

（第１の実施の形態）
図１は、第１の実施の形態に係る電子機器の構成図の一例である。

電子機器１０１は、カメラ（撮像部）１１１、制御部１２１、記憶部１７１、および表示部１８１を有する。電子機器１０１は、例えば、スマートフォン、タブレット、またはパーソナルコンピュータ（ＰＣ）である。

カメラ１１１は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有し、静止画像および動画を撮影可能である。

制御部１２１は、電子機器１０１を制御する。制御部１２１は、記憶部１７１に記憶された各種のアプリケーションソフトウェア（不図示）を実行可能である。制御部１２１は、画像取得部１２２、第１判定部１２３、登録顔情報生成部１３１、表示制御部１４１、選択部１５１、抽出部１５２、およびＡＩエンジン１５３を有する。制御部１２１は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ、または集積回路（ＩＣ（Integrated Circuit）チップ）等に形成された論理回路（ハードウェア）である。

画像取得部１２２は、カメラ１１１が撮影した静止画像を取得し、記憶部１７１に静止画像１７２を記憶させる。また、画像取得部１２２は、カメラ１１１が撮影した動画像（動画）を取得し、記憶部１７１に動画像１７４を記憶させる。

第１判定部（静止画有無判定部）１２３は、未処理の静止画像１７２があるか否か判定する。具体的には、第１判定部１２３は、後述の顔検出部１３２により顔が写っているか否か判定されていない静止画像１７２があるか否か判定する。また、第１判定部１２３は、登録顔情報１７３の生成のトリガーが発生したか否か判定する。

登録顔情報生成部１３１は、静止画像１７２に基づき、登録顔情報１７３を生成する。登録顔情報生成部１３１は、顔検出部１３２、特徴量算出部１３３、第２判定部１３４、およびクラスタリング部１３５を有する。

顔検出部１３２は、静止画像１７２に写っている顔を検出する。具体的には、顔検出部１３２は、静止画像１７２に顔が写っている否か判定し、顔が写っていると判定された場合、顔の位置（例えば、顔が含まれる矩形の領域を示す座標）を検出する。尚、静止画像１７２に写っている顔が複数である場合、顔検出部１３２は、複数の顔のそれぞれの位置を検出する。

特徴量算出部１３３は、顔検出部１３２により検出された顔（すなわち、顔検出部１３２により検出された位置の顔）の特徴量（顔特徴量）を算出する。顔特徴量は、例えば、顔の特徴を数値化した値であり、複数の値を要素とする特徴ベクトルである。特徴量算出部１３３は、例えば、顔を構成する造作（目・鼻・口など）の位置やあごの輪郭線形状を数値的に表し、特徴ベクトルとする。

第２判定部（顔特徴量有無判定部）１３４は、特徴量算出部１３３により算出された顔特徴量の数が閾値以上あるか否か判定する。閾値は、予め定められており、例えば、３である。尚、閾値は、３に限られず、１以上の整数であればよい。

クラスタリング部１３５は、顔特徴量間の類似度に基づいてクラスタリングを行い、顔特徴量を１以上のグループにグループ化する。クラスタリング部１３５は、各グループからそのグループに含まれる顔特徴量を１つずつ選択し（選択された顔特徴量は代表ベクトルと称する）、選択した代表ベクトルと優先度とを対応付けて、登録顔情報１７３として、記憶部１７１に記憶させる。優先度は、例えば、動画像１７４のあるフレームに複数の顔が映っている場合に、どの顔の人物に対して所定の処理（例えば、ズームイン）等の処理を適用するかの判定基準として用いられる。優先度は、例えば、グループに含まれる顔特徴量の数が多いほど優先度は高くなる。例えば、ある代表ベクトルに対応付けられる優先度は、当該代表ベクトルが含まれるグループに含まれる顔特徴量の数である。

表示制御部１４１は、表示部１８１の表示の制御を行い、例えば、記憶部１７１に記憶されている静止画像および動画像１７４を表示部１８１に表示させる。選択部１５１からズーム領域情報を取得したときには、表示制御部１４１は、当該ズーム領域情報を参照して、拡大表示対象になる被写体が含まれる領域をズームイン（拡大）して動画像１７４を表示部１８１に表示させる。ズーム領域情報には、被写体が含まれる領域の範囲、および、当該領域の拡大率が含まれる。

選択部１５１は、動画像１７４に含まれる被写体の各々に関する情報を参照して、動画像１７４に含まれる被写体から拡大表示対象を選択する処理を行う。詳細には、選択部１５１は、拡大表示対象を選択する処理において、抽出部１５２から取得した、ＡＩエンジン１５３の認識結果を利用して動画像１７４におけるズーム領域を選択し、ズーム領域の範囲を含むズーム領域情報を作成する。そして、選択部１５１は、拡大表示対象として選択した被写体が含まれる領域の拡大率を決定し、当該拡大率を上記ズーム領域情報に追加して、当該ズーム領域情報を表示制御部１４１に出力する。

抽出部１５２は、記憶部１７１に記憶されている動画像１７４から、当該動画像１７４に含まれる被写体および当該被写体の各々に関する被写体情報（情報）を抽出する処理を行う。当該被写体情報は、被写体の名称、被写体の大きさ、被写体の位置、被写体における顔の有無、被写体の顔の表情、被写体の動き、被写体の向き、被写体の数、被写体の明るさ、および、被写体の構図情報の少なくとも何れか１つを含む。詳細には、抽出部１５２は、ＡＩエンジン１５３を制御する部分として、動画像１７４をＡＩエンジン１５３に解析させて、ＡＩエンジン１５３の認識結果を選択部１５１に出力する。

なお、被写体の名称とは、被写体の種類（人、犬、猫など）を含み、被写体が人である場合には、当該被写体の個人名を含んでもよい。

また、被写体の構図情報とは、動画のフレームの構図情報であって、被写体およびその背景によって規定される構図の良し悪しを意味し、より詳細には当該構図に関する評価値を含むことが好ましい。

ＡＩエンジン１５３は、動画像１７４を解析して、動画像１７４に含まれる被写体に関する認識結果を、抽出部１５２を通じて選択部１５１に出力する。例えば、ＡＩエンジン１５３は、動画像１７４において構図判定を行う。構図判定とは、ズーム後の画像の、構図に関する評価値が所定値以上か否かを判定することである。ＡＩエンジン１５３は、一般によい構図であると認識されている画像を学習し、そのような画像に近い動画像１７４に高いスコア（評価値）を付与する。ＡＩエンジン１５３は、動画像１７４において物体認識を行う。物体認識とは、動画像１７４において、人、犬、猫などの特定の物体を認識することである。

記憶部１７１は、電子機器１０１で利用されるデータおよびプログラム等を記憶する。記憶部１７１は、例えば、フラッシュメモリまたはＨＤＤ（ハードディスクドライブ）等の記憶装置である。また、記憶部１７１は、ＳＤメモリーカードまたはＵＳＢメモリ等の可搬型記録媒体でもよい。記憶部１７１は、静止画像１７２、登録顔情報１７３、および動画像１７４を記憶する。

静止画像１７２は、例えば、カメラ１１１により撮影された静止画の画像データである。また、静止画像１７２は、複数の静止画像であってもよく、静止画像１７２が複数（例えば、ｍ個）である場合には、複数の静止画像１７２をそれぞれ静止画像１７２－１～１７１－ｍと表記する場合がある。

登録顔情報１７３は、静止画像１７２に含まれる顔の特徴量に基づいて生成される情報である。登録顔情報１７３は、例えば、電子機器１０１のユーザと親しい人物の顔の特徴量を含む。登録顔情報１７３の詳細については後述する。

動画像１７４は、例えば、カメラ１１１により撮影された複数のフレームから構成される動画データである。

表示部１８１は、静止画像１７２および動画像１７４を表示する。また、表示部１８１は、静止画像１７２および動画像１７４の撮影時には、電子ファインダとして機能する。表示部１８１は、例えば、液晶パネルまたは有機ＥＬパネル等である。また、表示部１８１は、タッチパネル機能を有し、ユーザによる入力操作が可能である。

次に登録顔情報１７３の生成について図２～４を参照しながら説明する。

図２は、第１の実施の形態に係る登録顔情報の生成処理のフローチャートの一例である。図３は、静止画像および顔特徴量のクラスタリングを説明する図である。図４は、顔特徴量のクラスタリングに基づく登録顔情報の生成を説明する図である。

ステップＳ２０１において、ユーザの入力操作により、画像取得部１２２は、カメラ１１１を用いて静止画像１７２を撮影するアプリケーションソフトウェアを実行し、カメラ１１１により静止画像１７２を撮影し、カメラ１１１から静止画像１７２を取得する。例えば、図３の左側に示すように、人物３０１、３０２が写った静止画像１７２－１が撮影される。

ステップＳ２０２において、画像取得部１２２は、取得した静止画像１７２を記憶部１７１に記憶させる。ステップＳ２０１、Ｓ２０２は、ユーザが静止画像１７２を撮影するアプリケーションソフトウェアの実行開始から終了するまで、静止画像１７２を撮影するたびに繰り返される。ここでは、図３の中央に示すように、複数の静止画像１７２－１～１７２－ｍが撮影され、記憶部１７１に記憶される場合を説明する。ユーザは、撮影を終了すると、静止画像１７２を撮影するアプリケーションソフトウェアを終了する入力操作を行い、画像取得部１２２は、当該アプリケーションソフトウェアを終了する。

ステップＳ２０３において、画像取得部１２２は、登録顔情報１７３の生成のトリガーが発生したか否か判定し、トリガーが発生したと判定された場合、制御はステップＳ２０４に進む。画像取得部１２２は、トリガーが発生したと判定されるまで、登録顔情報１７３の生成のトリガーが発生したか否かの判定を繰り返す。登録顔情報１７３の生成のトリガーは、例えば、電子機器１０１の充電が開始されたとき、または現在の時刻が予め定められた時刻になった場合などである。よって、画像取得部１２２は、例えば、電子機器１０１の充電が開始されたとき、または現在の時刻が予め定められた時刻になった場合などに、登録顔情報１７３の生成のトリガーが発生したと判定する。

ステップＳ２０４において、第１判定部１２３は、記憶部１７１に記憶された静止画像１７２のうち未処理の静止画像があるか否か判定する。具体的には、第１判定部１２３は、記憶部１７１に記憶された静止画像１７２－１～１７２－ｍのうち、ステップＳ２０５で顔が写っているか否か判定されていない静止画像があるか否か判定する。未処理の静止画像がある（すなわち、ステップＳ２０５で顔が写っているか否か判定されていない静止画像がある）と判定された場合（ステップＳ２０４：Ｙｅｓ）、制御はステップＳ２０５に進み、未処理の静止画像がない（すなわち、ステップＳ２０５で顔が写っているか否か判定されていない静止画像がない）と判定された場合（ステップＳ２０４：Ｎｏ）、制御はステップＳ２０８に進む。

ステップＳ２０５において、顔検出部１３２は、未処理の静止画像（記憶部１７１に記憶された静止画像１７２－１～１７２－ｍのうち、ステップＳ２０５で顔が写っているか否か判定されていない静止画像）のうち、いずれか１枚の静止画像を選択し、当該選択された静止画像に顔が写っているか否か判定する。顔が写っていると判定された場合（ステップＳ２０５：Ｙｅｓ）、制御はステップＳ２０６に進み、顔が写っていないと判定された場合（ステップＳ２０５：Ｎｏ）、制御はステップＳ２０４に戻る。

ステップＳ２０６において、顔検出部１３２は、ステップＳ２０５で顔が写っていると判定された静止画像において、当該顔の位置を検出する。尚、静止画像に写っている顔が複数である場合、顔検出部１３２は、複数の顔のそれぞれの位置を検出する。顔の位置は、例えば、顔が含まれる矩形の領域を示す座標であり、図３の中央に示す静止画像の１７１－１に示すように、人物３０１、３０２のそれぞれの顔を含む矩形の領域を示す座標が顔の位置として検出される。

ステップＳ２０７において、特徴量算出部１３３は、ステップＳ２０６で検出された顔の位置に基づいて、当該顔の特徴量（顔特徴量）を算出する。尚、ステップＳ２０６で複数の顔の位置が検出された場合、特徴量算出部１３３は、顔検出部１３２は、複数の顔のそれぞれの位置に基づいて、複数の顔のそれぞれの顔特徴量を算出する。特徴量算出部１３３は、算出した顔特徴量とＩＤとを対応付けた顔特徴量データを記憶部１７１に記憶させる。ＩＤは、静止画像１７２－１～１７２－ｍに含まれる顔を識別する識別情報であり、特徴量算出部１３３は、顔ごとに異なるＩＤを割り当てる。

静止画像１７２－１～１７２－ｍに対して、ステップＳ２０４～Ｓ２０７の処理が行われることにより、図４に左側に示すような、静止画像１７２－１～１７２－ｍに含まれる複数の顔のそれぞれの顔特徴量とＩＤとが対応付けられた顔特徴量データ４０１が生成される。例えば、静止画像１７２－１～１７２－ｍにｎ個の顔が写っている場合、図４に示すようにｎ個の顔特徴量を含む顔特徴量データ４０１が生成される。また、顔特徴量データ４０１の顔特徴量は、それぞれｋ個の要素を有するｋ次元の特徴ベクトルである。

ステップＳ２０８において、第２判定部１３４は、顔特徴量データ４０１に含まれる顔特徴量の数が閾値以上であるか否か判定する。閾値は、予め定められており、例えば、３である。尚、閾値は、３に限られず、１以上の整数であればよい。顔特徴量の数が閾値以上であると判定された場合、制御はステップＳ２０９に進み、顔特徴量の数が閾値未満であると判定された場合、登録顔情報の生成処理は終了する。

ステップＳ２０９において、クラスタリング部１３５は、顔特徴量データ４０１に含まれる複数の顔特徴量を、顔特徴量間の類似度に基づいて、クラスタリングにより、１つ以上のグループにグループ化する。すなわち、クラスタリング部１３５は、類似度が高い顔特徴量を同じグループに含まれるようにグループ化する。顔特徴量間の類似度は、例えば、顔特徴量間のユークリッド距離などである。顔特徴量間のユークリッド距離が短いほど、顔特徴量間の類似度は高くなる。例えば、同じ人物の顔の顔特徴量は、顔特徴量間の類似度が高いため、同じグループに含まれる。

ここで、クラスタリングの結果の一例を示す。図３の右側の図は、クラスタリングの結果を分かり易くするため、顔特徴量を２次元ベクトルとして模式的に表した図であり、各点が顔特徴量を示す。図３の右側の図に示すように、類似度が高い顔特徴量が同じグループに含まれるようにグループ化され、顔特徴量はグループＧ１～Ｇ３のいずれかのグループに含まれるようにグループ化される。

ステップＳ２１０において、クラスタリング部１３５は、ステップＳ２０９でグループ化された顔特徴量に基づいて、登録顔情報１７３を生成し、記憶部１７１に記憶させる。具体的には、クラスタリング部１３５は、グループごとに当該グループ含まれる顔特徴量から１つの顔特徴量を選択し、グループを示すＩＤと、選択した顔特徴量（代表ベクトル）と、優先度と、を対応付けて登録顔情報１７３として記憶部１７１に記憶させる。尚、クラスタリング部１３５は、グループから選択する１つ顔特徴量を任意に選択してよい。クラスタリング部１３５は、例えば、グループに含まれる顔特徴量のうち、一番小さいＩＤに対応する顔特徴量を選択する。また、クラスタリング部１３５は、グループごとに当該グループ含まれる顔特徴量から１つの顔特徴量を選択する代わりに、グループごとに当該グループに含まれる顔特徴量の平均値または中央値を算出し、算出した平均値または中央値と、優先度と、を対応付けて登録顔情報１７３として記憶部１７１に記憶させてもよい。優先度は、例えば、グループに含まれる顔特徴量の数に基づいて決定され、グループに含まれる顔特徴量の数が多いほど優先度は高くなる。例えば、ある代表ベクトルに対応付けられる優先度は、当該代表ベクトルが含まれるグループに含まれる顔特徴量の数である。顔特徴量に対応する優先度が高いほど、当該顔特徴量の顔の人物は静止画像１７２に多く写っている人物であり、電子機器１０１のユーザとより親しい人物であると考えられる。

図４の中央に示すように、顔特徴量データ４０１のＩＤ＝１に対応する顔特徴量＝（0.2, 0.5, ..., 0.2）とＩＤ＝５に対応する顔特徴量＝（0.2, 0.5, ..., 0.4）とが同じグループ（グループａ）にグループ化される。クラスタリング部１３５は、当該グループａに含まれる顔特徴量から１つの顔特徴量としてＩＤ＝１に対応する顔特徴量＝（0.2, 0.5, ..., 0.2）を選択し、当該グループａに含まれる顔特徴量の数＝２を優先度として決定する。図４の右側に示すように、クラスタリング部１３５は、当該グループａを示すＩＤ＝ａと、選択されたＩＤ＝１に対応する顔特徴量＝（0.2, 0.5, ..., 0.2）と、優先度＝２とを対応付けて登録顔情報１７３として、記憶部１７１に記憶させる。

同様に、図４の中央に示すように、顔特徴量データ４０１のＩＤ＝４に対応する顔特徴量＝（0.6, 0.6, ..., 0.1）と、顔特徴量＝（0.6, 0.6, ..., 0.3）と、顔特徴量＝（0.6, 0.6, ..., 0.2）とが同じグループ（グループｂ）にグループ化される。当該グループｂからＩＤ＝４に対応する顔特徴量＝（0.6, 0.6, ..., 0.1）が選択され、当該グループｂに含まれる顔特徴量の数＝３が優先度として決定される。そして、当該グループｂを示すＩＤ＝ｂと、選択されたＩＤ＝４に対応する顔特徴量＝（0.6, 0.6, ..., 0.1）と、優先度＝３とが対応付けて登録顔情報１７３として、記憶部１７１に記憶される。

図５Ａ、５Ｂは、第１の実施の形態に係る電子機器の表示処理を示すフローチャートである。図６、７は、第１の実施形態に係る電子機器の表示部の表示例を示す図である。以下、図５Ａ～図７を参照しながら、制御部１２１の表示処理について説明する。

制御部１２１の表示処理は、例えば、ユーザが電子機器１０１にインストールされた動画再生アプリケーションソフトウェア（動画再生アプリ）を起動することにより開始される。尚、記憶部１７１には、カメラ１１１により撮影された動画像１７４が記憶されているものとする。動画再生アプリが起動されると、表示制御部１４１は、動画像１７４を再生する。すなわち、表示制御部１４１は、記憶部１７１に記憶されている動画像１７４をズームせずにそのままのサイズで表示部１８１に表示させる。

そして、表示制御部１４１は、動画像１７４を表示部１８１に表示させる処理において、動画像１７４を再生しながら、ユーザの操作に応じて、動画像１７４の全体表示と、動画像１７４に含まれる被写体の拡大表示とを切り替える。表示制御部１４１は、動画再生処理が、動画像１７４の被写体を拡大表示するズームモードに移行したことに応じて、ＡＩエンジン１５３を利用して決定された領域をズームイン再生する。

（ステップＳ５０１）
制御部１２１は、ＡＩエンジン１５３を起動する。

（ステップＳ５０２）
制御部１２１は、動画再生処理がズームモードであるか否かを判定する。制御部１２１は、例えば、ユーザが被写体の拡大表示のために操作するズームイン再生ボタンを表示部１８１に表示させる。そして、ズームイン再生ボタンをユーザがタッチした場合に、制御部１２１の動画再生処理がズームモードに移行する。なお、ユーザがズームイン再生ボタンを再度タッチした場合、または、ズームイン再生が所定時間行われた場合に、ズームモードが解除される。

動画再生処理がズームモードである場合（ステップＳ５０２：ＹＥＳ）、制御部１２１は、ステップＳ５０３の判定を実行する。すなわち、抽出部１５２は、動画から被写体および当該被写体の各々に関する情報を抽出する処理において、動画像１７４に含まれる被写体の拡大表示に切り替えられたことに応じて、動画像１７４から被写体および当該被写体の各々に関する情報を抽出する（抽出ステップ）。一方、動画再生処理がズームモードでない場合（ステップＳ５０２：ＮＯ）、制御部１２１は、ステップＳ５１１の処理を実行する。

（ステップＳ５０３）
抽出部１５２は、ステップＳ５０１において起動したＡＩエンジン１５３を用いて、そのときに再生中の動画像１７４のフレームにズーム対象が存在するか否かを判定する。

例えば、ＡＩエンジン１５３は、動画像１７４を拡大した画像に構図としてよい（構図に関する評価値が所定値以上である）ものがあるか否かを判定する。「動画像１７４を拡大した画像」とは、ＡＩエンジン１５３が抽出した物体、人物などを含む領域を拡大した場合の画像である。

また、ＡＩエンジン１５３は、動画像１７４に人、犬、猫などの特定の物体があるか否かを判定する。なお、制御部１２１は、上記以外の方法により、ズーム対象の存否判定を行ってもよい。

動画像１７４にズーム対象が存在する場合（ステップＳ５０３：ＹＥＳ）、制御部３２は、ステップＳ５０４の判定を実行する。動画像１７４にズーム対象が存在しない場合（ステップＳ５０３：ＮＯ）、制御部１２１は、ステップＳ５１１の処理を実行する。

（ステップＳ５０４）
ＡＩエンジン１５３は、ステップＳ５０３で存在すると判定されたズーム対象が人物であるか否か判定する。ズーム対象が人物であると判定された場合（ステップＳ５０４：Ｙｅｓ）、制御はステップＳ５０５に進み、ズーム対象が人物でないと判定された場合（ステップＳ５０４：Ｎｏ）、制御はステップＳ５０８に進む。ＡＩエンジン１５３は、例えば、ズーム対象から人の顔を検出できる場合に、ズーム対象が人物であると判定する。

（ステップＳ５０５）
ＡＩエンジン１５３は、ズーム対象である人物の顔特徴量を算出する。尚、ズーム対象である人物が複数いる場合には、ＡＩエンジン１５３は、複数の人物のそれぞれの顔特徴量を算出する。例えば、図６に示すように表示部１８１表示されている動画像１７４のフレームには、人物Ａ～Ｄが映っており、人物Ａ～Ｄがズーム対象であるとすると、ＡＩエンジン１５３は、人物Ａ～Ｄのそれぞれの顔特徴量を算出する。

（ステップＳ５０６）
ＡＩエンジン１５３は、ステップＳ５０５で算出した顔特徴量と類似度が高い顔特徴量が登録顔情報１７３にあるか否か判定する。ＡＩエンジン１５３は、例えば、ステップＳ５０５で算出した顔特徴量と登録顔情報１７３のいずれかの顔特徴量との距離（例えば、ユークリッド距離）があらかじめ定められた閾値以下の場合、ステップＳ５０５で算出した顔特徴量と類似度が高い顔特徴量が登録顔情報１７３にあると判定する。ステップＳ５０５で算出した顔特徴量と類似度が高い顔特徴量が登録顔情報１７３にあると判定された場合（ステップＳ５０６：Ｙｅｓ）、制御はステップＳ５０７に進み、ステップＳ５０５で算出した顔特徴量と類似度が高い顔特徴量が登録顔情報１７３にないと判定された場合ステップＳ５０６：Ｎｏ）、制御はステップＳ５１１に進む。尚、ズーム対象である人物が複数おり、ステップＳ５０５で複数の顔特徴量が算出された場合には、ＡＩエンジン１５３は、複数の顔特徴量のそれぞれについて、類似度が高い顔特徴量が登録顔情報１７３にあるか否か判定し、類似度が高い顔特徴量が１つ以上あると判定された場合、制御はステップＳ５０７に進む。

（ステップＳ５０７）
ＡＩエンジン１５３は、類似度が高い顔特徴量が登録顔情報１７３にあると判定された顔特徴量の算出に用いられた顔の人物をズーム対象に設定する。また、類似度が高い顔特徴量が登録顔情報１７３にあると判定された顔特徴量が複数ある場合、複数の顔特徴量のいずれかと類似度が高いと判定された登録顔情報１７３の顔特徴量のうち、一番高い優先度に対応する顔特徴量と類似度が高いと判定された顔特徴量の算出に用いられた顔の人物をズーム対象に設定する。また、ステップＳ５０７で設定したズーム対象の人物以外の人物は、ズーム対象から除外する。例えば、図６に示す動画像のフレームの人物Ａ～Ｄのうち、人物Ａと人物Ｃの顔特徴量について、類似度が高い顔特徴量が登録顔情報１７３にないと判定され、人物Ｂの顔特徴量は図４に示す登録顔情報１７３の優先度＝３に対応する顔特徴量と類似度が高いと判定され、人物Ｄの顔特徴量は図４に示す登録顔情報１７３の優先度＝２に対応する顔特徴量と類似度が高いと判定された場合、ＡＩエンジン１５３は、このうちで優先度が一番高い（すなわち、優先度＝３）顔特徴量と類似度が高いと判定された顔特徴量の人物Ｂをズーム対象に設定する。また、ＡＩエンジン１５３は、人物Ａ、Ｃ、Ｄをズーム対象から除外する。優先度が一番高い顔特徴量と類似度が高いと判定された顔特徴量の人物Ｂは、人物Ａ～Ｄのうち静止画１７２－１～１７２－ｍに一番多く写っていた人物であり、人物Ａ～Ｄのうちでユーザと一番親しい人物と考えられる。

（ステップＳ５０８）
制御部１２１は、ＡＩエンジン１５３を用いて、１以上のズーム対象がズーム条件を満たしているか否かを判定する。これは、ステップＳ５０３で動画像１７４のフレームに存在すると判定した、１以上のズーム対象が実際に拡大表示すべきものか否かをさらに判定するものである。尚、ステップＳ５０３で動画像１７４のフレームに存在すると判定したズーム対象が人物である場合（ステップＳ５０４：Ｙｅｓ）、ＡＩエンジン３２３は、ステップＳ５０７で設定したズーム対象について、ズーム条件を満たしているか否かを判定する。

例えば、ＡＩエンジン１５３は、各ズーム対象の、下記条件ごとのスコアを算出する。抽出部１５２は、算出したスコアを選択部１５１に出力する。選択部１５１は、下記条件の優先順位に応じて、ズーム対象ごとに各スコアを重み付けして合計し、その合計値によって、ズーム対象ごとにズーム条件を満たしているか否かを判定する。選択部１５１は、特に、被写体の大きさ、被写体の位置、被写体における顔の有無、および、被写体の顔の表情に関する評価を行って、ズーム対象ごとにスコアを算出してもよい。
・被写体の大きさ（所定の大きさ以上）
・被写体が写っている位置（画像全体の中心付近）
・被写体における顔の有無（顔が含まれているか否か）
・被写体の顔の表情（笑顔か否か）
・被写体の動き
・被写体の向き
・被写体の数
・被写体の明るさ
・被写体の構図
ズーム対象のいずれかがズーム条件を満たしていると判定された場合（ステップＳ５０８：Ｙｅｓ）、制御部１２１は、ステップＳ５０９の処理を実行する。ズーム対象のすべてがズーム条件を満たしていないと判定された場合（ステップＳ５０８：Ｎｏ）、制御部１２１は、ステップＳ５１１の処理を実行する。尚、ステップＳ５０８の１以上のズーム対象が実際に拡大表示すべきものか否かをさらに判定する処理は省略してもよく、スコアの算出を省略し、選択部１５１は、常にズーム対象はズーム条件を満たしていると判定してもよい。

（ステップＳ５０９）
選択部１５１は、ズーム条件を満たした１以上のズーム対象から実際の拡大表示対象を選択する（選択ステップ）。選択部１５１は、ステップＳ５０８において算出した、各条件のスコアの合計値が大きいズーム対象を選択してもよい。また、ステップＳ５０７で設定したズーム対象を実際の拡大表示対象として選択してもよい。例えば、図６に示す人物Ａ～Ｄのうち、ズーム対象に設定された優先度が一番高い顔特徴量と類似度が高いと判定された顔特徴量の人物Ｂを実際の拡大表示対象として選択してもよい。

そして、選択部１５１は、選択した拡大表示対象のズーム領域情報を表示制御部１４１に出力する。例えば、Ｓ５０７でズーム対象に設定された人物Ｂまたは人物Ｂの顔を含む矩形の領域を示すズーム領域情報を表示制御部１４１に出力する。表示制御部１４１は、選択部１５１からズーム領域情報を取得し、当該ズーム領域情報に従って、動画像１７４の再生を、拡大表示対象が含まれる領域を拡大して表示させるズームイン再生に切り替える（表示制御ステップ）。例えば、表示制御部１４１は、図７に示す画面に切り替える。図７に示すように、Ｓ５０７でズーム対象に設定された人物Ｂが拡大されて表示される。拡大表示対象が含まれる領域を拡大して表示させるズームイン再生は、所定の処理の一例である。

なお、ズームイン再生中には、表示制御部１４１は、ＡＩエンジン１５３を用いて、選択した拡大表示対象を追尾して、当該拡大表示対象が含まれる領域を拡大して表示部１８１に表示させる。

動画像１７４のフレームに拡大表示対象が含まれなくなった場合に、制御部１２１は、改めてステップＳ５０３～Ｓ５０８の処理を行う。新たな拡大表示対象が特定された場合、表示制御部１４１は、ズームイン再生を行う。ズーム対象が存在しない、または、ズーム条件を満たされない場合、表示制御部１４１は、ズームモードを解除して、そのままのサイズでの動画再生を行う。

（ステップＳ５１０）
制御部１２１は、動画再生を終了させるか否かを判定する。例えば、制御部１２１は、動画再生アプリの画面においてユーザが再生終了を指示する操作を行ったか否かを判定する。

動画再生を終了させる場合（ステップＳ５１０：ＹＥＳ）、制御部１２１は、動画再生アプリを終了させて、一連の動画再生処理を終了する。動画再生を終了させない場合（ステップＳ５１０：Ｎｏ）、制御は、ステップＳ５０２に戻る。

なお、制御部１２１は、所定の時間ごとにステップＳ５０３～Ｓ５５０８の処理を行うようにしてもよい。これによれば、所定の時間ごとに、動画の状況に応じてズーム対象を切り替えることができる。

（ステップＳ５１１）
動画再生処理がズームモードでない、動画像１７４にズーム対象が存在しない、または、動画像１７４がズーム条件を満たしていない場合、制御部１２１は処理せず、選択部１５１は表示制御部１４１に何も出力しない。従って、表示制御部１４１は、ズームインせず、そのままのサイズでの再生を続行することになる。

第１の実施の形態に係る電子機器によれば、静止画像に映っている人物に基づいて、動画像に含まれる人物がユーザと親しい人物であるか判定できる。それにより、電子機器は、動画像に映っているユーザと親しい人物を拡大して表示することができる。また、動画像の同じフレームに複数の人物が映っている場合には、当該複数の人物の中で一番ユーザと親しい人物を拡大して表示することができる。

また、表示制御部１４１は、拡大表示の代わりまたは拡大表示と同時に、動画像に写っているユーザと親しい人物または複数の人物の中で一番ユーザと親しい人物を囲う枠を表示してもよい。また、表示制御部１４１は、顔特徴量について、類似度が高い顔特徴量が登録顔情報１７３にないと判定された人物（例えば、図６の人物Ａ，Ｃ）をぼかす等の処理をして表示し、類似度が高い顔特徴量が登録顔情報１７３にあると判定された人物（例えば、図６の人物Ｂ，Ｄ）をそのまま表示して、ユーザと親しい人物が明確になるように表示してもよい。
また、ＡＩエンジン１５３は、カメラ１１１による動画像の撮影中にステップＳ５０３からステップＳ５０７の処理を行ってもよい。その場合、ＡＩエンジン１５３は、当該動画像に映っている人物の顔特徴量が、登録顔情報１７３の顔特徴量と類似度が高いか判定し、類似度が高いと判定された場合に、表示制御部１４１は当該人物を囲う枠を表示するまたは制御部１２１は当該人物にカメラ１１１のフォーカスを合わせる等の処理をして、ユーザと親しい人物が映っていることをユーザに知らせてもよい。また、ＡＩエンジン１５３は、当該人物を囲う枠の各動画フレーム中における位置の情報を、撮影中の動画像のデータとは分離して記憶部１７１に記憶してもよい。その場合、表示制御部１４１は、動画撮影後の当該動画再生時に、記憶部１７１に記憶した位置の情報を用いて、当該人物をズームインした動画として再生できる。

（第２の実施の形態）
図８は、第２の実施の形態に係る電子機器の構成図の一例である。

電子機器８０１は、カメラ（撮像部）１１１、制御部８２１、記憶部１７１、および表示部１８１を有する。

第２の実施の形態のカメラ１１１、記憶部１７１、および表示部１８１は、第１の実施の形態のカメラ１１１、記憶部１７１、および表示部１８１と同様の機能および構成を有するので説明は省略する。

制御部８２１は、電子機器８０１を制御する。制御部８２１は、記憶部１７１に記憶された各種のアプリケーションソフトウェア（不図示）を実行可能である。制御部８２１は、画像取得部１２２、第１判定部１２３、登録顔情報生成部１３１、表示制御部１４１、ＡＩエンジン制御部１６１、重要シーン判定部１６２、シーン情報生成部１６３、および動画像生成部１６４を有する。

第２の実施の形態の画像取得部１２２、第１判定部１２３、および登録顔情報生成部１３１は、第１の実施の形態の画像取得部１２２、第１判定部１２３、および登録顔情報生成部１３１と同様の機能および構成を有するので説明は省略する。第２の実施の形態の登録顔情報生成部１３１は、第１の実施の形態と同様に登録顔情報１７３を生成する。

ＡＩエンジン制御部１６１は、人工知能（ＡＩ：Artificial Intelligence）を動作させるＡＩエンジンとして機能する。人工知能が学習したデータ等は記憶部１７１に記憶されていてもよい。

ＡＩエンジン制御部１６１は、撮影動画（第１動画像）に含まれるフレームごとに、または撮影動画に含まれる連続した複数のフレームであるシーンごとに、当該フレームまたは当該シーン中の画像情報に基づいてスコアを算出（重要度を評価）する。ここで、画像情報とは各フレームまたはシーンに係る情報であり、例えば被写体、構図、または色調等のうちの少なくとも１つであってよい。尚、撮影動画は、カメラ１１１により撮影中の動画像でもよいし、撮影済みの記憶部１７１に記憶された動画像１７４でもよい。

当該スコアは、例えば、撮影動画に含まれる被写体に基づいて算出する場合、被写体の種類（人または動物等の特定の物体であるか否か）、大きさ、動き、位置、向き、数または明るさ等に基づいて、人工知能が予め学習した基準によって算出される。

具体例としては、ＡＩエンジン制御部１６１は、被写体の種類が人である場合に、被写体が人でない場合よりも高いスコアを算出してもよい。またＡＩエンジン制御部１６１は、被写体が人（人物）であり、当該人物の顔の特徴量と類似度が高い顔特徴量が登録顔情報１７３にある場合、当該人物を特定の被写体としてもよい。またＡＩエンジン制御部１６１は、被写体が人（人物）であり、当該人の顔の特徴量と類似度が高い顔特徴量が登録顔情報１７３にある場合、より高いスコアを算出してもよい。またエンジン制御部１６１は、当該人の表情が笑顔である場合には、より高いスコアを算出してもよい。なお、どのような被写体に対して高いスコアを算出するかは、ユーザにより設定されてもよい。このような構成によれば、人を撮影対象とした動画像を撮影する場合と、動物等の人以外を撮影対象とした動画像を撮影する場合とで、異なるスコア算出の基準をユーザが適切に設定できる。

同様に、ＡＩエンジン制御部１６１が撮影動画に含まれる構図に基づいてスコアを算出する場合、人工知能が予め学習した基準に従ってスコアが算出される。例えば、ＡＩエンジン制御部１６１は、三分割法に則った構図等の一般的に良いとされている構図に近いほど、高いスコアを算出してもよい。

ＡＩエンジン制御部１６１が算出したフレームまたはシーンごとのスコアの情報は、後述する重要シーン判定部１６２に出力される。

重要シーン判定部１６２は、ＡＩエンジン制御部１６１により算出された、撮影動画に含まれるフレームまたはシーンごとのスコアから、当該フレームまたは当該シーンが重要シーンであるか否かを判定する。言い換えれば、重要シーン判定部１６２は、撮影動画に含まれる画像情報に基づいて、撮影動画に含まれるそれぞれのフレームが重要シーンであるか否かを判定する重要シーン判定処理を実行する。また、重要シーン判定部１６２は、撮影動画に含まれる画像に係る被写体、構図および色調の少なくとも１つに基づいて、それぞれのフレームまたはシーンが重要シーンであるか否かを判定する。

重要シーン判定部１６２は、重要シーンであるか否かの判定について、前記のスコアが所定の閾値以上であるか否かによって判定する。所定の閾値は、ＡＩエンジンのスコア算出基準に対応して、重要シーン判定部１６２が適切な値に設定する。また、ユーザが所定の閾値を任意の値として設定してもよい。これによれば、ユーザは、重要シーンであると判定されるフレームまたはシーンの数を、所定の閾値を変更することで調整できる。

また、重要シーン判定部１６２は、後述する切り出し動画（第２動画像）の長さが予め定められていた場合には、全ての重要シーンを足し合わせた動画像の長さが、定められた切り出し動画の長さと略同一となるように、所定の閾値を適宜調整してもよい。これによれば、重要シーン判定部１６２は、切り出し動画が所定の長さの動画像となるように、撮影動画から重要シーンを抽出できる。

尚、ＡＩエンジン制御部１６１が備えるＡＩエンジンの機能は、重要シーン判定部１６２に含まれていてもよい。この場合、重要シーン判定部１６２は、撮影動画に含まれるそれぞれのフレームまたはシーンのスコアを算出する処理と、重要シーンであるか否かの判定処理との、両方の処理を実行する。

以上のように、重要シーン判定部１６２によれば、撮影動画に含まれる画像に基づいて、撮影動画においてどの部分が重要シーンであるかを判定できる。

シーン情報生成部１６３は、重要シーン判定部１６２による判定結果に基づいて、撮影動画に含まれるフレームまたはシーンが、それぞれ重要シーンであるか否かの判定結果を含む重要シーン情報を生成する、シーン情報生成処理を実行する。重要シーン情報は、撮影動画の各フレームに重要シーンであるか否かの情報が直接タグ付けされたものであってよい。

またシーン情報生成部１６３は、撮影動画のデータとは別個に、重要シーンと判定されたフレームを特定する情報を重要シーン情報として生成してもよい。このような構成によれば、電子機器８０１は、撮影動画と重要シーン情報とを分離して管理できる。

前記のフレームを特定する情報としては、撮影動画中の重要シーンであると判定されたフレームが、撮影動画において存在する時点に係る情報であってもよく、撮影動画中の何番目のフレームであるかの情報であってもよい。なお、撮影動画中におけるフレームが存在する時点を、フレームを特定する情報とする構成によれば、撮影動画のフレームレートが後から変更された場合でも、撮影動画において重要シーンであると判定されたフレームの存在位置は変わらない。そのため、撮影動画に係る重要シーン情報を変更する必要がない。

動画像生成部１６４は、撮影動画から重要シーンを切り出した切り出し動画（第２動画像）を生成する。言い換えれば、動画像生成部１６４は、シーン情報生成部１６３が生成した重要シーン情報に基づいて、撮影動画から重要シーンであると判定されたフレームを連結用フレームとして抽出する。そして、単一の連結用フレームからなる、または、複数の連結用フレーム同士を連結してなる第２動画像を生成する動画像生成処理を実行する。

このような構成によれば、動画像生成部１６４は、撮影動画よりも短い、重要シーンのみが含まれる切り出し動画を生成できる。したがってユーザは、動画像の長さおよびデータのサイズが小さい切り出し動画を得ることができるため、電子機器８０１に保存した動画像を容易に管理できる。

なお、制御部８２１は切り出し動画を生成した後、撮影動画を動画像１７４として記憶部１７１に記憶させ、さらに切り出し動画を記憶部１７１に記憶させてもよい。

また、動画像生成部１６４は、重要シーン判定部１６２が重要シーンであると判定したフレームから、さらに所定の条件を満たしたフレームを連結用フレームとして抽出してもよい。ここで、所定の条件とは例えば、重要シーンと判定されたフレームが一定数以上連続していた場合にのみ適用される、これらのフレームに係る被写体の表情、構図、動きの大きさ等の条件であってよい。

具体的には、動画像生成部１６４は、重要シーンと判定された一連のフレームについて、被写体の表情が笑顔でない場合と比較して、被写体の表情が笑顔である場合にはより多くのフレームを連結用フレームとして抽出してもよい。このような構成によれば、動画像生成部１６４は、所定の条件に応じて重要シーンと判定された一連の連続するフレームの数を変更できる。そのため、動画像生成部１６４は、同じ被写体または構図等を含むシーンの長さを調節できるため、短い時間の中で様々なシーンが含まれるような、ユーザにとってより好ましい内容の切り出し動画を生成できる。

所定の条件は前記の例に限られず、いかなる条件であってもよい。当該所定の条件は、様々な条件が電子機器８０１に予め設定されていてもよく、ユーザが所定の条件を任意に設定してもよい。また、電子機器８０１が備える通信機能を介して、逐次所定の条件の選択肢が増加または更新されてもよい。

このように、重要シーンであると判定されたフレームから、さらに所定の条件を満たしたフレームを連結用フレームとして抽出する構成によれば、制御部８２１は、重要シーン判定におけるスコアについての所定の閾値の他にも、切り出し動画を生成するための所定の条件を設定できる。したがって、ユーザは切り出し動画の生成条件を細かく設定および変更できるため、制御部８２１は、よりユーザの嗜好に合致した切り出し動画を生成できる。

図９は、第２の実施の形態に係る電子機器のマーキング処理を示すフローチャートである。尚、登録顔情報１７３は静止画像１７２に基づいて生成され、記憶部１７１に記憶されているものとする。

（ステップＳ９０１）
画像取得部１２２は、カメラ１１１が撮影した撮影動画を取得し（動画像取得ステップ）、当該撮影動画をＡＩエンジン制御部１６１に出力する。尚、取得される撮影動画は、撮影中の動画像でもよいし、撮影済みの記憶部１７１に記憶された動画像１７４でもよい。ＡＩエンジン制御部１６１は、撮影動画の入力を受けて、ＡＩエンジンの一つである被写体認識エンジンを起動する。

（ステップＳ９０２）
次に、ＡＩエンジン制御部１６１は、撮影動画に含まれるそれぞれのフレームについて、当該フレームに係る画像情報に人または動物等の特定の被写体が含まれているか否かを判定する（ステップＳ９０２）。一つのフレームについて特定の被写体が含まれていなかった場合（ステップＳ９０２：ＮＯ）、ＡＩエンジン制御部１６１は次のフレームについてＳ９０２の判定を実行する。一つのフレームについて特定の被写体が含まれていた場合（ステップＳ９０２：ＹＥＳ）、制御はステップＳ９０３に進む。

（ステップＳ９０３）
ＡＩエンジン制御部１６１は、ステップＳ９０３でフレームに含まれると判定された特定の被写体が人であるか否か判定する。特定の被写体が人であると判定された場合、制御はステップＳ９０４に進み、特定の被写体が人でないと判定された場合、制御はステップＳ９０６に進む。

（ステップＳ９０４）
ＡＩエンジン制御部１６１は、特定の被写体である人の顔特徴量を算出する。尚、特定の被写体である人がフレームに複数いる場合には、ＡＩエンジン制御部１６１は、複数の人のそれぞれの顔特徴量を算出する。

（ステップＳ９０５）
ＡＩエンジン制御部１６１は、ステップＳ９０４で算出した顔特徴量と類似度が高い顔特徴量が登録顔情報１７３にあるか否か判定する。ＡＩエンジン制御部１６１は、例えば、ステップＳ９０４で算出した顔特徴量と登録顔情報１７３の顔特徴量との距離（例えば、ユークリッド距離）があらかじめ定められた閾値以下の場合、ステップＳ９０４で算出した顔特徴量と類似度が高い顔特徴量が登録顔情報１７３にあると判定する。ステップＳ９０４で算出した顔特徴量と類似度が高い顔特徴量が登録顔情報１７３にあると判定された場合、ＡＩエンジン制御部１６１は、類似度が高いと判定された顔特徴量の算出に用いられた顔の人を特定の被写体として設定し、制御はステップＳ９０６に進み、ステップＳ９０４で算出した顔特徴量と類似度が高い顔特徴量が登録顔情報１７３にないと判定された場合、制御はステップＳ９０７に進む。尚、ズーム対象である人物が複数おり、ステップ９０４で複数の顔特徴量が算出された場合には、ＡＩエンジン制御部１６１は、複数の顔特徴量のそれぞれについて、類似度が高い顔特徴量が登録顔情報１７３にあるか否か判定し、類似度が高い顔特徴量が１つ以上あると判定された場合、ＡＩエンジン制御部１６１は、類似度が高いと判定された顔特徴量の算出に用いられた顔の人を特定の被写体として設定し、制御はステップＳ９０６に進む。

（ステップＳ９０６）
特定の被写体が人であり（ステップＳ９０３：Ｙｅｓ）、且つステップＳ９０４で算出した顔特徴量と類似度が高い顔特徴量が登録顔情報１７３にあると判定された場合（ステップＳ９０５：ＹＥＳ）、ＡＩエンジン制御部１６１は当該フレームに対して所定の閾値以上のスコアを算出し、重要シーン判定部１６２は当該フレームを重要シーンであると判定する（重要シーン判定ステップ）。また、特定の被写体が人でない場合（ステップＳ９０３：Ｎｏ）、ＡＩエンジン制御部１６１は当該フレームに対して所定の閾値以上のスコアを算出し、重要シーン判定部１６２は当該フレームを重要シーンであると判定する（重要シーン判定ステップ）。そして、シーン情報生成部１６３は、重要シーンであると判定されると、当該フレームが重要シーンであるとして、重要シーン情報を生成することでマーキングする（シーン情報生成ステップ）。マーキングは、所定の処理の一例である。

（ステップＳ９０７）
重要シーン判定部１６２は、カメラ１１１による撮影動画の撮影が終了したか否かを判定する。撮影が終了していなかった場合（ステップＳ９０７：ＮＯ）、制御部８２１は、撮影が終了するまでＳ９０２～Ｓ９０７の処理を繰り返し実行する。撮影が終了していた場合（ステップＳ９０７：ＹＥＳ）、制御はステップＳ９０８に進む。

（ステップＳ９０８）
撮影が終了していた場合（ステップＳ９０７：ＹＥＳ）、ＡＩエンジン制御部１６１は、被写体認識エンジンの機能を終了する。

（ステップＳ９０９）
次に、動画像生成部１６４は、撮影動画から重要シーンとしてマーキングされたフレームを連結用フレームとして抽出し、連結用フレームを連結して切り出し動画（他の動画）を生成する（動画像生成ステップ）。重要シーンとしてマーキングされたフレームを連結用フレームとして抽出し、連結用フレームを連結して切り出し動画を生成する処理は、所定の処理の一例である。

なお、ここでは被写体認識エンジンが、判定対象であるフレームに係る画像情報に含まれる被写体の種類（特定の被写体であるか否か）および被写体の種類が人である場合には当該人の顔の特徴量と類似度が高い顔特徴量が登録顔情報１７３にあるか否かに基づいてスコアを算出する例を示した。しかし、被写体認識エンジンはこれに限られず、被写体のいかなる特徴に基づいてスコアを算出してもよい。

図９のマーキング処理の後、表示制御部１４１は、切り出し動画を表示部１８１に表示して再生する処理を実行する。表示制御部１４１は、再生中の切り出し動画に対して、フェードアウト等のトランジッション効果を付与してもよい。また表示制御部１４１は、切り出し動画中の特定の連結用フレームのみを一定時間再生してもよい。

第２の実施の形態に係る電子機器によれば、静止画像に映っている人物に基づいて登録顔情報を生成し、登録顔情報に基づいて撮影画像に含まれる人物がユーザと親しい人物であるか判定できる。それにより、電子機器は、撮影画像においてユーザと親しい人物が映っているフレームを重要シーンとしてマーキングできる。第２の実施の形態に係る電子機器によれば、撮影動画においてユーザと親しい人物が映ったフレームを重要シーンとしてマーキングし、マーキングされたフレームを連結した切り出し動画を生成できる。すなわち、第２の実施の形態に係る電子機器によれば、撮影動画からユーザと親しい人物が映ったシーンを抽出したダイジェスト動画を生成できる。

（ソフトウェアによる実現例）
電子機器１０１、８０１の制御ブロック（特に、制御部１２１、８２１）は、集積回路（ＩＣ（Integrated Circuit）チップ）等に形成された論理回路（ハードウェア）によって実現可能であり、またＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、電子機器１０１、８０１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ等を備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、制御部１２１として動作し、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、伝送可能な任意の伝送媒体を介して上記コンピュータに供給されてよい。

尚、本発明は、上述した実施の形態に限定されるものではなく変形可能であり、上記の構成は、実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。

例えば、第１および第２の実施の形態において、動画像にユーザと親しい人物がいるか判定（具体的には、動画像に映っている人物の顔特徴量と類似度が高い顔特徴量が登録顔情報１７３にあるか判定）しているが、登録顔情報１７３の生成に用いた静止画像以外の静止画像に適用し、登録顔情報１７３の生成に用いた静止画像以外の静止画像にユーザと親しい人物が写っているか判定してもよい。

また、第１の実施の形態の表示処理および第２の実施の形態のマーキング処理は、動画像の撮影中や動画像の再生中に限らず、これら以外にタイミングで実行されてもよい。

１０１ 電子機器
１１１ カメラ
１２１ 制御部
１３１ 登録顔情報生成部
１４１ 表示制御部
１５１ 選択部
１５２ 抽出部
１５３ ＡＩエンジン
１６１ ＡＩエンジン制御部
１６２ 重要シーン判定部
１６３ シーン情報生成部
１６４ 動画像生成部
１７１ 記憶部
１７２ 静止画像
１７３ 登録顔情報
１７４ 動画像
１８１ 表示部
８０１ 電子機器
８２１ 制御部

Claims (8)

1. 静止画を記憶する記憶部と、
   制御部と、
   を備え、
   前記制御部は、
   前記静止画に含まれる複数の顔のそれぞれの特徴量を算出し、
   前記複数の顔のそれぞれの特徴量を、特徴量の類似度に基づいてクラスタリングにより、１つ以上のグループにグループ化し、
   前記１つ以上のグループのグループごとに当該グループ含まれる特徴量から１つの特徴量を選択し、
   前記グループごとに選択された特徴量を含む登録顔情報を前記記憶部に記憶させ、
   動画に含まれる少なくとも１つの顔の特徴量を算出し、
   前記動画に含まれる少なくとも１つの顔の特徴量および前記登録顔情報に基づいて、前記動画に対して所定の処理を行う電子機器。
2. 前記制御部は、
   前記動画に含まれる少なくとも１つの顔の特徴量と前記登録顔情報に含まれる前記選択された特徴量とが類似するか否か判定し、
   前記動画に含まれる少なくとも１つの顔の特徴量と前記登録顔情報に含まれる前記選択された特徴量とが類似すると判定された場合に、前記動画の前記少なくとも１つの顔が含まれるフレームに対して前記所定の処理を行う請求項１記載の電子機器。
3. 前記動画に含まれる前記少なくとも１つの顔は、複数の顔であって、
   前記制御部は、
   前記グループごとに選択された特徴量と、前記クラスタリングに基づく優先度と、を対応付けた前記登録顔情報を前記記憶部に記憶させ、
   前記動画に含まれる前記複数の顔のそれぞれの特徴量を算出し、
   前記複数の顔のそれぞれの特徴量と前記登録顔情報に含まれる前記選択された特徴量とが類似するか判定し、
   前記動画のうちの１つのフレームに前記複数の顔が含まれ、前記複数の顔のそれぞれの特徴量と前記登録顔情報に含まれる前記選択された特徴量とが類似すると判定された場合に、前記複数の顔のうち、前記登録顔情報において一番高い優先度に対応付けられた特徴量と類似すると判定された特徴量の算出に用いられた顔に基づいて前記所定の処理を行う請求項１または２記載の電子機器。
4. 前記制御部は、前記所定の処理として、前記動画に含まれる前記少なくとも１つの顔を拡大して表示部に表示させる請求項１～３のいずれか１項に記載の電子機器。
5. 前記制御部は、前記所定の処理として、前記動画に含まれる複数のフレームのうちの一部を連結用フレームとして抽出し、前記連結用フレームを連結して他の動画を生成する請求項１～３のいずれか１項に記載の電子機器。
6. 前記優先度は、前記１つ以上のグループのそれぞれに含まれる特徴量の数に基づいて決定される請求項３記載の電子機器。
7. 前記制御部は、前記所定の処理において、前記複数の顔のうち、前記登録顔情報において一番高い優先度に対応付けられた特徴量と類似すると判定された特徴量の算出に用いられた顔を拡大して表示部に表示させる請求項３または６記載の電子機器。
8. 静止画に含まれる複数の顔のそれぞれの特徴量を算出し、
   前記複数の顔のそれぞれの特徴量を、特徴量の類似度に基づいてクラスタリングにより、１つ以上のグループにグループ化し、
   前記１つ以上のグループのグループごとに当該グループ含まれる特徴量から１つの特徴量を選択し、
   前記グループごとに選択された特徴量を含む登録顔情報を記憶部に記憶させ、
   動画に含まれる少なくとも１つの顔の特徴量を算出し、
   前記動画に含まれる少なくとも１つの顔の特徴量および前記登録顔情報に基づいて、前記動画に対して所定の処理を行う
   処理を備える制御方法。

Images