JP2014017779A - 編集装置、編集方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】素材として最適な画像が存在しない場合であっても、ストーリに応じた編集を可能とする。
【解決手段】編集装置は、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、前記ストーリ決定部において決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する評価値算出部と、前記評価値算出部において算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する画像選択部と、前記評価値に基づいて、選択された前記候補画像を修正する候補画像修正部と、前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせる編集処理部と、を備える。
【選択図】図１６

Description

本開示は、編集装置、編集方法、プログラム、および記録媒体に関する。

近年、例えばＰＣ（Personal Computer）などのコンピュータの処理能力の飛躍的な向上に伴い、特別な装置を用いなくとも、実用的な処理時間で画像（動画像／静止画像）の編集を行うことが可能となりつつある。また、上記に伴い、例えば個人的、家庭的に画像の編集を行うユーザの数は、増加している。ここで、画像を編集するためには、例えば、“画像（素材）の分類”、“ストーリの決定”、“画像の選択”、“画像の繋ぎ方の選択”など、様々な作業を要する。そのため、画像の編集の自動化を望むニーズが存在する。

このような中、画像の編集を自動的に行う技術が開発されている。動画像から当該動画像が示すコンテンツの流れを反映させたイベントなどを抽出し、コンテンツの流れが反映されたシーンが繋ぎ合わされた、ダイジェストの画像を自動的に生成する技術としては、例えば、特許文献１が挙げられる。また、下記の特許文献２には、複数の候補画像の中からストーリに対応する画像を選択時間毎に選択して、選択された画像を編集する技術が記載されている。

特開２００９−１５３１４４号公報 特開２０１２−９４９４９号公報

動画像や静止画を用いた自動編集を行って最終的な画像を得る場合、素材となる画像の選択が重要となる。この場合に、素材として適切な画像が存在しない場合、ストーリに沿った編集が困難になることが想定される。

そこで、素材として最適な画像が存在しない場合であっても、ストーリに応じた編集を可能とすることが求められていた。

本開示によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、前記ストーリ決定部において決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する評価値算出部と、前記評価値算出部において算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する画像選択部と、前記評価値に基づいて、選択された前記候補画像を修正する候補画像修正部と、前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせる編集処理部と、を備える、編集装置が提供される。

また、前記候補画像修正部は、前記評価値が所定値以下の場合に、選択された前記候補画像を修正するものであっても良い。

また、前記候補画像修正部は、前記評価値が所定値以下となるように、選択された前記候補画像を修正するものであっても良い。

また、前記候補画像修正部は、前記評価値が所定値以下となるように、選択された前記候補画像の倍率を修正するものであっても良い。

また、前記候補画像修正部は、前記評価値が所定値以下となるように、選択された候補画像の撮影時刻を修正するものであっても良い。

また、本開示によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、前記ストーリ決定部において決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する評価値算出部と、前記評価値算出部において算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する画像選択部と、前記評価値に基づいて、前記ストーリを修正するストーリ修正部と、前記選択時間ごとに選択された画像を時系列に繋ぎ合わせる編集処理部と、を備える、編集装置が提供される。

また、前記ストーリ修正部は、前記評価値が所定値以下の場合に、前記ストーリを修正するものであっても良い。

また、前記ストーリ修正部は、ユーザ操作に基づいて、前記ストーリを修正するものであっても良い。

また、前記ストーリ修正部は、前記評価値が所定値以下となるように、前記ストーリを修正するものであっても良い。

また、前記評価値算出部は、前記評価値として、前記候補画像の特徴値と前記候補画像の特徴値の期待値とに基づく距離を前記選択時間ごとに算出するものであっても良い。

また、前記画像選択部は、前記選択時間それぞれにおける前記評価値が最小の候補画像を、前記選択時間ごとに選択するものであっても良い。

また、前記候補画像に基づいて、前記候補画像に対する前記特徴値を設定する画像評価部をさらに備えるものであっても良い。

また、前記画像評価部は、前記候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が前記所定の時間内となるように前記候補画像を分割し、分割された前記候補画像それぞれに対して前記特徴値を設定するものであっても良い。

また、前記ストーリは、画像の特徴量を示す特徴値を用いた時間の関数によって表されるものであっても良い。

また、本開示によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定することと、前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出することと、前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択することと、
前記評価値に基づいて、選択された前記候補画像を修正することと、前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせることと、を有する、編集方法が提供される。

また、本開示によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定することと、前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出することと、前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択することと、前記評価値に基づいて、前記ストーリを修正することと、前記選択時間ごとに選択された画像を時系列に繋ぎ合わせることと、を有する、編集方法が提供される。

また、本開示によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定する手段、前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する手段、前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する手段、前記評価値に基づいて、選択された前記候補画像を修正する手段、前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせる手段、としてコンピュータを機能させるためのプログラムが提供される。

また、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定する手段、前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する手段、前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する手段、前記評価値に基づいて、前記ストーリを修正する手段、前記選択時間ごとに選択された画像を時系列に繋ぎ合わせる手段、としてコンピュータを機能させるためのプログラムが提供される。

また、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定する手段、決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する手段、前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する手段、前記評価値に基づいて、選択された前記候補画像を修正する手段、前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせる手段、としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。

また、本開示によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定する手段、決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する手段、前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する手段、前記評価値に基づいて、前記ストーリを修正する手段、前記選択時間ごとに選択された画像を時系列に繋ぎ合わせる手段、としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。

本開示によれば、素材として最適な画像が存在しない場合であっても、ストーリに応じた編集が可能となる。

本開示の実施形態に係る編集装置における編集アプローチに係る処理の一例を示す流れ図である。 本開示の実施形態に係る候補画像に設定された特徴値の一例を示す説明図である。 カテゴリ（Ｃ）をＣ１とＣ２の２種類とし、候補画像（素材）Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，・・・をスコアリングした例を示す模式図である。 カテゴリＣがｃ１とｃ２の２つである場合のストーリを示す特性図である。 図３と図４を重ねた状態を示す特性図である。 本開示の実施形態に係る編集装置におけるストーリ決定処理の一例を示す流れ図である。 本開示の実施形態に係る編集装置における評価値算出処理の一例を示す流れ図である。 本開示の実施形態に係る編集装置における画像選択処理の一例を説明するための説明図である。 本開示の実施形態に係る編集装置における画像選択処理の他の例を説明するための説明図である。 候補画像を変更する様子を示す模式図である。 候補画像Ｆの画面をクロッピングしてズームアップする様子を示す模式図である。 本開示の実施形態に係る編集装置における画像選択処理の一例を示す流れ図である。 図１２のステップＳ５０２における素材の変更処理を示すフローチャートである。 図３において、選択時間ｔ＝６から選択時間ｔ＝８のストーリを変更した例を示す模式図である。 表示画面上でグラフィカルなＵＩを用いてストーリを変更する手順を説明するための模式図である。 本開示の実施形態に係る編集装置の構成の一例を示すブロック図である。 本開示の実施形態に係る編集装置１００のハードウェア構成の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本開示の実施形態に係るアプローチ
２．本開示の実施形態に係る制御装置
３．本開示の実施形態に係るプログラム
４．本開示の実施形態に係るプログラムが記録された記録媒体

（本開示の実施形態に係るアプローチ）
本開示の実施形態に係る編集装置（以下、「編集装置１００」と示す場合がある。）の構成について説明する前に、本開示の実施形態に係る画像の編集アプローチについて説明する。ここで、本開示の実施形態に係る画像とは、静止画像または動画像である。以下では、編集の対象となりうる画像である候補画像を、「素材」と示す場合がある。なお、以下に示す本開示の実施形態に係る編集アプローチに係る処理は、本開示の実施形態に係る編集方法に係る処理と捉えることができる。

［編集アプローチの概要］
上述したように、従来の技術やストーリ・テンプレートを用いて自動的な編集を行ったとしても、ストーリにマッチする候補画像の選択をすることができないことが起こりうる。上記のように、候補画像の選択をすることができないことが生じた場合には、未完成の画像が編集後の画像として得られてしまう恐れがあることから、編集後の画像が、ユーザが所望する画像となるとは限らない。

そこで、本開示の実施形態に係る編集装置１００は、時間の関数で表されるストーリと、候補画像それぞれに設定されている特徴値（スコア）とに基づいて、候補画像それぞれに対する評価値を選択時間ごとに算出する。また、編集装置１００は、選択時間ごとに算出された評価値に基づいて、候補画像の中から画像を選択する。そして、編集装置１００は、選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせることによって、編集後の画像を生成する。

ここで、本開示の実施形態に係るストーリとは、編集装置１００によって編集された最終的な作品の指向を示すものである。ストーリは、複数の候補画像の中から画像を選択するための基準となるものであり、時間の関数（具体例は、後述する。）で表される。また、本開示の実施形態に係る選択時間は、ストーリにおいて評価値を算出する時間を示すものである。つまり、本開示の実施形態に係る選択時間は、編集装置１００が、ストーリに沿って候補画像を選択するための処理を行うための時間を示す。選択時間としては、例えば、編集を開始時点から経過時間（例えば、秒、分、時間などで表される。）が挙げられる。ここで、本開示の実施形態に係る選択時間は、例えば、予め規定されたものであってもよいし、ユーザにより適宜設定されてもよい。

編集装置１００は、上記のように、時間の関数で表されるストーリと候補画像それぞれに設定されている特徴値とに基づいて選択時間ごとの評価値を順次算出し、例えば選択時間ごとに評価値が最小（または、最大）の候補画像（すなわち、評価がより高い候補画像）を、選択時間ごとの選択画像とする。よって、本開示の実施形態に係る編集装置１００では、従来の技術やストーリ・テンプレートを用いて自動編集を行う場合に起こりうる、各選択時間において選択画像が選択されないことが防止される。したがって、編集装置１００は、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。

また、編集装置１００は、複数の候補画像の中から算出された評価値が示す評価が高い候補画像（例えば、評価値が最小の評価画像や、評価値が最大の評価画像）を、選択画像として選択するので、例えば、不特定多数の候補画像の中から編集を行う場合であっても、よりストーリに沿った選択画像を選択することが可能である。よって、編集装置１００は、例えば、複数のユーザが画像を任意に追加、削除するような画像コミュニティサイトの画像を、候補画像として処理するときなど、候補画像が動的に変化する場合であっても、候補画像の中からよりストーリに沿った選択画像を選択することができる。

さらに、編集装置１００は、時間の関数で表されるストーリを用いるので、例えば選択時間の設定に応じてストーリを延長、短縮することができる。これに対して、ストーリ・テンプレートは、人間である作成者が作成するものであるので、自動的にストーリ・テンプレートを変更することは困難である。つまり、ストーリ・テンプレートに変更を加えてストーリの延長、短縮を図ることは困難であり、ストーリ・テンプレートを用いるときにストーリの延長、短縮を行う場合には、例えば、複数のストーリ・テンプレートを用意して、これらのストーリ・テンプレートを適宜変更する必要がある。よって、編集装置１００は、時間の関数で表されるストーリを用いることによって、例えば用いるストーリ・テンプレート自体を変更しなければストーリの延長、短縮が困難な、ストーリ・テンプレートを用いる場合よりも容易に、ストーリの延長、短縮を行うことが可能である。したがって、編集装置１００は、時間の関数で表されるストーリを用いることによって、より汎用性が高い画像の編集を行うことができる。

［編集アプローチに係る処理の具体例］
次に、上述した本開示の実施形態に係る編集アプローチを実現するための処理の一例について説明する。図１は、本開示の実施形態に係る編集装置１００における編集アプローチに係る処理の一例を示す流れ図である。

編集装置１００は、素材グループを決定する（Ｓ１００）。ステップＳ１００の処理が行われることによって、候補画像が決定されることとなる。ここで、本開示の実施形態に係る素材グループとは、例えば、運動会や結婚式、海などのように、候補画像が、所定のテーマでグループ化されているものである。本開示の実施形態に係る素材グループは、例えば、ユーザが手動で分類したものであってもよいし、また、編集装置１００や、サーバなどの外部装置が画像処理を行って自動的に分類したものであってもよい。

編集装置１００は、例えばユーザ操作に基づいてステップＳ１００の処理を行う。ここで、本開示の実施形態に係る「ユーザ操作に基づいて処理を行う」とは、例えば、編集装置１００が、操作部（後述する）から伝達されるユーザ操作に応じた操作信号や、リモート・コントローラなどの外部操作デバイスから送信されたユーザ操作に応じた外部操作信号、または、ネットワークを介して（あるいは直接的に）外部装置から送信された操作信号に基づいて、処理を行うことをいう。

なお、本開示の実施形態に係る編集装置１００は、図１に示すステップＳ１００の処理を行わなくてもよい。上記の場合には、編集装置１００は、例えば、ユーザ操作に基づいて決定された、特段のグループ化されていない候補画像から選択画像を選択することとなる。

編集装置１００は、編集後の作品の指向をなす着目点を複数抽出し、そのそれぞれの着目点に関して、各候補画像にスコアを割り振る。また、編集装置１００は、作品を定義するために時間軸に応じて、そのスコアの期待値を設定することで、ストーリを設定する。そして、編集装置１００は、作品の時間軸に応じたストーリの期待値に最も相応しいスコアを持つ候補画像を順次選んでいく。

具体的には、まず候補画像を分類し、作品の指向を定める着目点を決定する。ここでは、着目点をカテゴリ（Ｃ）と称する。カテゴリとは、例えば画像撮影時の画角、写っている人物の数、シャッター速度、ＧＰＳによる位置情報、撮影時刻などを含む。カテゴリの内容については、特に限定や制限がされるものではない。そして、それぞれのカテゴリに対して候補画像のスコアを決定する。スコアは、具体的な値であっても良いし、正規化などの処理を適宜行って得られた値であっても良い。

編集装置１００は、例えば上述したステップＳ１００において決定された候補画像に設定されている特徴値に基づいて処理を行う。ここで、本開示の実施形態に係る候補画像に設定された特徴値について説明する。

図２は、本開示の実施形態に係る候補画像に設定された特徴値の一例を示す説明図である。ここで、図２では、画像ｍ１〜ｍ１４に対して設定されている特徴値の一例を示している。

候補画像には、カテゴリ（Ｃ）ごとに特徴値（いわゆる、スコア）が設定される。ここで、本開示の実施形態に係るカテゴリとは、画像を分類し、編集後の画像の指向を定める、画像における着目点である。本開示の実施形態に係るカテゴリは、例えば、予め規定されたものであってもよいし、複数のカテゴリの候補の中から、ユーザが任意に選択したものであってもよい。本開示の実施形態に係るカテゴリとしては、例えば、画像の撮像時刻に基づく着目点を示す時刻（ｃ１）や、画像の撮像場所に基づく着目点を示す場所（ｃ２）、画角に基づく着目点を示す画角（ｃ３）、被写体が特定のものであるかに基づく着目点を示すポートレート度（ｃ４）、撮像対象または撮像装置がどの程度動いているか（パンやズームを含んでいてもよい）に基づく着目点を示す動き度（ｃ５）などが挙げられる。なお、本開示の実施形態に係るカテゴリは、上記に限られない。例えば、本開示の実施形態に係るカテゴリは、被写体の数や、シャッター速度などに基づく着目点を示していてもよい。

編集装置１００は、例えば、候補画像を画像解析することや、候補画像のメタデータを参照することによって、候補画像それぞれに対して特徴値を設定する。例えば場所（ｃ２）の特徴値を設定する場合には、編集装置１００は、ＧＰＳ（Global Positioning System）などを利用して取得した自装置の位置と各候補画像が撮像された位置との間の一次元の距離に応じて１０段階で、各候補画像の特徴値を設定する。また、画角（ｃ３）の特徴値を設定する場合には、編集装置１００は、広角を１、望遠を１０とした１０段階で、各候補画像の特徴値を設定する。また、ポートレート度（ｃ４）の特徴値を設定する場合には、編集装置１００は、被写体がない候補画像を１、特定の被写体に注視している候補画像（例えば、被写体が中央に写っているなど）を１０とした１０段階で、各候補画像の特徴値を設定する。なお、編集装置１００における特徴値の設定方法は、上記に限られず、例えば、具体的な数値を正規化することによって、正規化された特徴値を設定してもよい。

また、編集装置１００は、例えば、候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が当該所定の時間内となるように候補画像を時間軸で分割することも可能である。上記の場合、編集装置１００は、分割された候補画像それぞれに対して特徴値を設定する。ここで、編集装置１００は、例えば、候補画像のメタデータを参照することによって、当該候補画像の再生時間を特定するが、本開示の実施形態に係る候補画像の再生時間の特定方法は、上記に限られない。また、上記所定の時間は、例えば、予め規定されたものであってもよいし、ユーザ操作に基づいて設定されたものであってもよい。

上記のように、再生時間が所定の時間内となるように候補画像を時間軸で分割し、分割された候補画像それぞれに対して特徴値を設定することによって、編集装置１００は、分割前の候補画像に対して特徴値を設定する場合よりも、より画像の特徴が表された特徴値を設定することができる。

図３は、カテゴリ（Ｃ）をＣ１とＣ２の２種類とし、候補画像（素材）Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，・・・をスコアリングした例を示している。図３において、横軸はカテゴリＣ１の特徴値を、縦軸はカテゴリＣ２の特徴値を示している。候補画像Ａ（素材Ａ）を例に挙げると、候補画像ＡのカテゴリＣ１の特徴値は“２”であり、カテゴリＣ２の特徴値は“９”である。

以下の説明のために、カテゴリＣとして着目したそれぞれのカテゴリをＣ１，Ｃ２，・・・とし、素材Ｍをｍ１，ｍ２，ｍ３，・・・とする。そして、候補画像（素材）Ｍに対するカテゴリ（Ｃ）の特徴値を、「Ｓ（Ｍ，Ｃ）」と示す。例えば図２に示す候補画像ｍ１におけるカテゴリ（ｃ２）の特徴値は、Ｓ（ｍ１，ｃ２）＝１と表される。なお、図２では、候補画像それぞれに複数のカテゴリ（Ｃ）が設定されている例を示しているが、本開示の実施形態に係る候補画像に設定されるカテゴリ（Ｃ）が、１つであってもよいことは、言うまでもない。

編集装置１００は、例えば上記のように、候補画像それぞれに対して特徴値を設定する。ここで、編集装置１００は、例えばステップＳ１００において候補画像として決定された画像に対して、特徴値を設定するが、本開示の実施形態に係る編集装置１００における処理は、上記に限られない。例えば、編集装置１００は、ステップＳ１００の処理が行われたか否かによらず、候補画像となりうる画像に対して、特徴値を設定する処理を行うことも可能である。なお、編集装置１００は、特徴値を設定する処理を行わず、例えば、候補画像（または候補画像となりうる画像）をサーバなどの外部装置へ送信し、当該外部装置において設定された特徴値を用いて後述する評価値の算出に係る処理を行うこともできる。

再度図１を参照して、本開示の実施形態に係る編集装置１００における編集アプローチに係る処理の一例について説明する。ステップＳ１００において素材グループが決定されると、編集装置１００は、ストーリを決定する（Ｓ１０２；ストーリ決定処理）。編集装置１００は、例えば、操作部（後述する）から伝達されるユーザ操作に応じた操作信号や、リモート・コントローラなどの外部操作デバイスから送信されたユーザ操作に応じた外部操作信号に基づいて、ストーリを決定する。なお、編集装置１００におけるストーリの決定方法は、上記に限られない。例えば、編集装置１００は、ネットワークを介して（あるいは直接的に）接続されている外部装置から送信された、ストーリが記録されたストーリ情報を受信した場合には、当該ストーリ情報が示すストーリを、後述する処理に用いるストーリとして決定することもできる。

上述したように、本開示の実施形態に係るストーリとは、複数の候補画像の中から画像を選択するための基準となるものであり、時間の関数で表される。ある時刻において、それぞれのカテゴリにおけるストーリ上でのスコアの期待値（ＳＸ）が定義される。例えば、カテゴリｃ１における時刻ｔでの期待値はＳＸ（ｃ１，ｔ）である。ストーリは、カテゴリ別に定義された、時間とともに変化する期待値として表される。図４は、カテゴリＣがｃ１とｃ２の２つである場合のストーリを示す特性図である。図４中に曲線の特性で示すように、時間（ｔ＝０〜１１）の経過に伴い、カテゴリ毎の期待値が変化する。このように、ストーリは、例えば、選択時間ｔにおける候補画像の特徴値の期待値（ＳＸ）を用いて表される。以下では、候補画像におけるカテゴリ（ｃｎ）（ｎは、１以上の整数）の選択時間ｔにおける期待値を「ＳＸ（ｃｎ，ｔ）」と示す。

図５は、図３と図４を重ねた状態を示す特性図である。図５によれば、時間軸に沿って変化するストーリに対して、選択すべき素材を判別することができる。ストーリと直接合致する素材が存在しない場合は、ストーリと最も距離的に近い素材を選べばよい。

下記の数式１〜数式３は、本開示の実施形態に係るストーリの一例を示している。ここで、数式１は、候補画像（Ｍ）の特徴値と候補画像の期待値とに基づくマンハッタン距離Ｄ（Ｍ）（ｔ）を、選択時間ｔにおける評価値として算出するためのストーリの一例を示している。なお、本明細書において、選択時間ｔにおける評価値としてのマンハッタン距離をＤ（ｍ，ｔ）と表す場合がある。また、数式２、数式３は、選択時間ｔにおけるカテゴリごとの期待値の一例を示している。ここで、数式１、数式３に示すＮは、候補画像のカテゴリ数を示している。

なお、本開示の実施形態に係るストーリは、上記数式１〜数式３に示すものに限られない。例えば、編集装置１００は、実距離に限られず、カテゴリ（Ｃ）に対して重み付けをした上でマンハッタン距離を、評価値として算出してもよい。また、編集装置１００は、例えば、カテゴリ（Ｃ）に対する期待値をユーザに入力させることによって、ユーザ操作に基づくストーリを用いることができる。また、時間の関数であるストーリのグラフ（例えば横軸に時間、縦軸に期待値をとるグラフ）をユーザに提示し、ユーザ操作に基づき変化した当該グラフが示す期待値の値を、ストーリとして用いることもできる。

〔ストーリ決定処理の一例〕
ここで、本開示の実施形態に係る編集装置１００におけるストーリ決定処理について、より具体的に説明する。図６は、本開示の実施形態に係る編集装置１００におけるストーリ決定処理の一例を示す流れ図である。ここで、図６は、編集装置１００が、ユーザ操作に応じた操作信号や、ユーザ操作に応じた外部操作信号に基づいて、ストーリを決定する場合の処理の一例を示している。以下では、編集装置１００が、ユーザ操作に応じた操作信号に基づいてストーリを決定する場合を例に挙げて説明する。

編集装置１００は、ストーリを初期設定する（Ｓ２００）。ここで、ステップＳ２００の処理は、例えばプリセットされたストーリを設定する処理に相当する。編集装置１００は、例えば、記憶部（後述する）に記憶されたストーリ情報を読み出すことによって、ステップＳ２００の処理を行う。なお、編集装置１００におけるステップＳ２００の処理は、上記に限られない。例えば、編集装置１００は、ストーリ情報を記憶するサーバなどの外部装置と通信を行い、当該外部装置から取得したストーリ情報を用いてステップＳ２００の処理を行うこともできる。

ステップＳ２００においてストーリが初期設定されると、編集装置１００は、適用可能なストーリを提示する（Ｓ２０２）。ここで、適用可能なストーリとは、後述するステップＳ２０８においてエラーが表示されたストーリに該当しないストーリである。つまり、ステップＳ２００において初期設定されたストーリは、ステップＳ２０２において提示される。

ステップＳ２０２においてストーリが提示されると、編集装置１００は、ストーリが指定されたか否かを判定する（Ｓ２０４）。編集装置１００は、例えばユーザ操作に応じた操作信号に基づいて、ステップＳ２０４の判定を行う。

ステップＳ２０４においてストーリが指定されたと判定されない場合には、編集装置１００は、ストーリが指定されたと判定されるまで処理を進めない。なお、図３では示していないが、例えばステップＳ２０２の処理が行われてから所定の時間、操作信号が検出されない場合には、編集装置１００は、ストーリ決定処理を終了してもよい（いわゆる、タイムアウト）。また、上記の場合、編集装置１００は、例えばストーリ決定処理を終了した旨をユーザに通知する。

ステップＳ２０４においてストーリが指定されたと判定された場合には、編集装置１００は、指定されたストーリが適用可能なストーリか否かを判定する（Ｓ２０６）。上述したように、編集装置１００は、例えば、カテゴリ（Ｃ）に対する期待値をユーザに入力させることによって、ユーザ操作に基づくストーリを用いることが可能である。編集装置１００は、例えばユーザにより異常値が入力された場合に、適用可能なストーリではないと判定する。

ステップＳ２０６において適用可能なストーリであると判定されない場合には、編集装置１００は、エラーを通知する（Ｓ２０８）。そして、編集装置１００は、ステップＳ２０２からの処理を繰り返す。ここで、編集装置１００は、例えば、表示画面にエラー画面を表示させることや、エラー音声を出力することによって、視覚的、および／または、聴覚的にエラーを通知するが、編集装置１００におけるステップＳ２０８の処理は、上記に限られない。

また、ステップＳ２０６において適用可能なストーリであると判定された場合には、編集装置１００は、ストーリを確定するか否かを判定する（Ｓ２１０）。編集装置１００は、例えば、表示画面にストーリの確定するか否かをユーザに選択させるための画面を表示させ、ユーザ操作に応じた操作信号に基づいて、ステップＳ２１０の判定を行う。

ステップＳ２１０においてストーリを確定すると判定されない場合には、編集装置１００は、ステップＳ２０２からの処理を繰り返す。

また、ステップＳ２１０においてストーリを確定すると判定された場合には、編集装置１００は、ステップＳ２０４において指定されたストーリを処理に用いるストーリとして決定し（Ｓ２１２）、ストーリ決定処理を終了する。

編集装置１００は、例えば図６に示す処理を行うことによって、ストーリを決定する。なお、本開示の実施形態に係るストーリ決定処理が、図６に示す例に限られないことは、言うまでもない。

再度図１を参照して、本開示の実施形態に係る編集装置１００における編集アプローチに係る処理の一例について説明する。ステップＳ１０２においてストーリが決定されると、編集装置１００は、候補画像に対する評価値を算出する（Ｓ１０４；評価値算出処理）。

〔評価値算出処理の一例〕
図７は、本開示の実施形態に係る編集装置１００における評価値算出処理の一例を示す流れ図である。ここで、図７は、編集装置１００が、数式１に示す候補画像（Ｍ）の特徴値と候補画像の期待値とに基づくマンハッタン距離Ｄ（Ｍ）（ｔ）を選択時間ｔにおける評価値として算出する処理の一例を示している。図７では、各候補画像が、図２に示すように、ｍｘ（ｘは、１以上の整数）で表されるものとして説明する。

編集装置１００は、選択時間ｔの値としてｔ＝０を設定し（Ｓ３００）、評価値を算出する対象の候補画像を規定するｘの値としてｘ＝０を設定する（Ｓ３０２）。

ステップＳ３０２の処理が行われると、編集装置１００は、候補画像（ｍｘ）に対する評価値Ｄ（ｍｘ）（ｔ）を算出する（Ｓ３０４）。ここで、編集装置１００は、例えば、数式１と、図６のステップＳ２１２において確定された期待値とを用いて、マンハッタン距離Ｄ（ｍｘ）（ｔ）を評価値として算出する。

ステップＳ３０４において評価値Ｄ（ｍｘ）（ｔ）が算出されると、編集装置１００は、算出された評価値Ｄ（ｍｘ）（ｔ）を記憶する（Ｓ３０６）。そして、編集装置１００は、ｘの値をｘ＋１に更新する（Ｓ３０８）。

ステップＳ３０８においてｘの値が更新されると、編集装置１００は、ｘの値が候補画像数より小さいか否かを判定する（Ｓ３１０）。ステップＳ３１０においてｘの値が候補画像数より小さいと判定された場合には、評価値を算出していない候補画像が存在するので、編集装置１００は、ステップＳ３０４からの処理を繰り返す。

また、ステップＳ３１０においてｘの値が候補画像数より小さいと判定されない場合には、編集装置１００は、ｔの値をｔ＋Δｔに更新する（Ｓ３１２）。ここで、本開示の実施形態に係るΔｔは、選択時間ｔの間隔を規定する。図７では、Δｔが一定である場合を示しているが、本開示の実施形態に係るΔｔは、上記に限られない。例えば、本開示の実施形態に係るΔｔは、ユーザにより変更された不定の値であってもよいし、編集装置１００がランダムに設定することも可能である。

ステップＳ３１２においてｔの値が更新されると、編集装置１００は、ｔの値が、編集後の画像の再生総時間Ｔより小さいか否かを判定する（Ｓ３１４）。ここで、本開示の実施形態に係る再生総時間Ｔは、例えば、予め規定された値であってもよいし、ユーザ操作に基づいて設定されたものであってもよい。

ステップＳ３１４においてｔの値が再生総時間Ｔより小さいと判定された場合には、編集装置１００は、ステップＳ３０２からの処理を繰り返す。また、ステップＳ３１４においてｔの値が再生総時間Ｔより小さいと判定されない場合には、編集装置１００は、評価値算出処理を終了する。

編集装置１００は、例えば図７に示す処理を行うことによって、候補画像それぞれに対する評価値を、選択時間ｔごとに算出する。なお、本開示の実施形態に係る評価値算出処理が、図７に示す例に限られないことは、言うまでもない。

再度図１を参照して、本開示の実施形態に係る編集装置１００における編集アプローチに係る処理の一例について説明する。ステップＳ１０４において候補画像に対する評価値が算出されると、編集装置１００は、評価値に基づいて、候補画像の中から選択画像を選択する（Ｓ１０６；画像選択処理）。

図８は、本開示の実施形態に係る編集装置１００における画像選択処理の一例を説明するための説明図である。ここで、図８は、図２に示す候補画像ｍ１〜ｍ１４に対して数式１〜数式３に示すストーリを適用することによって、各選択時間ｔにおいて算出された評価値と（図８に示すＡ）、各選択時間ｔにおいて選択される選択画像と（図８に示すＢ）を示している。

図８に示すように、マンハッタン距離Ｄ（Ｍ）（ｔ）を評価値として算出した場合には、各選択時間ｔにおける評価値の最小値をとる候補画像が、選択画像として選択される。なお、本開示の実施形態に係る編集装置１００は、評価値の最小値をとる候補画像を選択画像として選択することに限られず、評価値の種類によっては、評価値の最大値をとる候補画像を選択画像として選択してもよい。つまり、編集装置１００は、評価値に基づいて評価がより高い候補画像を選択画像として選択する。よって、編集装置１００は、よりストーリに沿った候補画像を、選択時間ごとに選択することができる。また、編集装置１００は、評価値が最小（または最大）となる候補画像が複数ある場合には、例えば、これらの候補画像の中からランダムに選択画像を選択してもよいし、予め規定された候補画像の優先度に応じて選択画像を選択してもよい。

なお、本開示の実施形態に係る編集装置１００における画像選択処理は、図８に示すように、同一の候補画像が、複数回選択画像として選択される処理に限られない。図９は、本開示の実施形態に係る編集装置１００における画像選択処理の他の例を説明するための説明図である。ここで、図９は、図８と同様に、図２に示す候補画像ｍ１〜ｍ１４に対して数式１〜数式３に示すストーリを適用することによって、各選択時間ｔにおいて算出された評価値と（図９に示すＣ）、各選択時間ｔにおいて選択される選択画像と（図９に示すＤ）を示している。

図９に示すように、編集装置１００は、一度選択画像として選択された候補画像を除外し、除外後の候補画像の中から選択画像を選択することもできる。図９に示すように選択画像を選択することによって、同一の候補画像が選択画像として選択されることが防止されるので、編集装置１００は、図９に示す処理を行う場合よりもより多様性に富んだ画像を生成することが可能となる。

上述した手法によれば、複数の候補画像の中からストーリに沿った選択画像を確実に選択することができる。一方、選択時間によっては、期待値に適合する候補画像が存在しない場合が想定される。例えば、図５に示す例では、選択時間ｔ＝６の時には、適切な候補画像が近くに存在しない。選択時間ｔ＝６の期待値に最も近い素材は候補画像Ｆであるが、候補画像Ｃは、候補画像Ｆと同程度の選択時間ｔ＝６の期待値からの距離を有している。しかし、素材Ｃ、素材Ｆのいずれも時刻ｔ＝６期待値からは距離が離れており、候補画像Ｃ、候補画像Ｆのいずれを選択した場合でも、ストーリに沿った適切な画像を選択したことにはならない。

このため、本実施形態では、候補画像Ｆを加工して選択時間ｔ＝６のストーリの期待値に近づけることで、選択時間ｔ＝６で最適な素材を選択できるようにする。このように、ストーリの期待値から離れた候補画像を期待値に近づける処理を実現することで、ストーリに適合した選択画像を選択可能とする。

以下、具体的に説明する。例えば、カテゴリｃ１が「被写体の写っている大きさ」、カテゴリｃ２が「撮影時刻」であるものとする。また、カテゴリｃ１では、特徴値が大きくなるほど被写体の大きさが大きくなるものとし、カテゴリｃ２では、特徴値が大きくなるほど、撮影時刻の時間軸が進むものとする。上述したように図５においては、選択時間ｔ＝６の時、候補画像Ｃはストーリの期待値から離れている。この場合、カテゴリｃ１（被写体の大きさ）の観点からすると、選択時間ｔ６では期待値＝８であり、比較的大きく写っている被写体の候補画像が望ましいが、候補画像Ｆでは特徴値＝６であり、被写体がそれほど大きく写っていない。このため、候補画像Ｆの画像の周辺部を切り取ってトリミングし、この結果、被写体をアップにして拡大する。これにより、図１０の矢印Ａに示すように、候補画像Ｆは選択時間ｔ＝６のストーリの期待値に近づくことになる。

また、候補画像Ｆが動画の場合は、画像を切り取るタイミングを時間軸で早めることで、カテゴリｃ２の撮影時刻の時間軸を早めることができる。これにより、図１０の矢印Ｂに示すように、素材Ｆをより一層選択時間ｔ＝５の期待値に近づけることができる。

先ず、上述した手法により、選択時間ｔ＝６での候補画像を求める。候補画像のスコアは、カテゴリｃ１についてはＳ（ｍ，ｃ１）、カテゴリｃ２についてはＳ（ｍ，ｃ２）である。図５に示す候補画像Ｆの場合、Ｓ（ｍ，ｃ１）＝６、Ｓ（ｍ，ｃ２）＝６である。また、図５に示すように、選択時間ｔ＝６でのスコアの期待値は、ＳＸ（ｃ１，ｔ）＝８、ＳＸ（ｃ２，ｔ）＝５である。スコアの期待値と実際のスコアとの距離をマンハッタン距離で算出すると、以下のようにＤ（Ｍ）（ｔ）＝Ｄ（ｍ，ｔ）＝３となる。

更に、カテゴリの優先度をｃ１＜ｃ２とする。最も適切な素材はＤ（ｍ，ｔ）＝０であり、可能な限りＤ（ｍ，ｔ）＝０となることが望ましい。カテゴリの優先度としてはｃ１が下位であるため、先ずカテゴリｃ１に着目してＤ＝０となるように調整する。換言すれば、候補画像の特徴値を調整する場合、優先度が低いカテゴリから調整を行う。カテゴリｃ１は「被写体のアップ度」であるため、ｃ１に関わる距離を縮めるためにはＳ（ｍ，ｃ１）をＳＸ（ｃ１，ｔ）に近づければよい。つまり、Ｓ（ｍ，ｃ１）の値を“８”に近づければ良い。

上述のように、Ｓ（ｍ，ｃ１）の値が大きくなるほど、被写体の大きさが大きくなるものとする。Ｓ（ｍ，ｃ１）の値を“６”から“８”に近づけると、被写体の大きさが拡大される。従って、図１１のように候補画像Ｆの画面をクロッピングしてズームアップすることによって、Ｓ（ｍ，ｃ１）の値を“８”に近づけることが可能である。

一方、仮にＳ（ｍ，ｃ１）の値がＳＸ（ｃ１，ｔ）の値よりも大きい場合は、候補画像Ｆを縮小する必要があるが、縮小した場合に周辺部の画像（余白の画像）は存在しないことになる。このため、Ｓ（ｍ，ｃ１）の値がＳＸ（ｃ１，ｔ）の値よりも大きい場合は、優先度が次に低いカテゴリに着目する。すなわち、この例ではカテゴリｃ２に着目する。

カテゴリｃ２は「撮影時刻」であるため、この値を変化させるためには、候補画像Ｆの撮影時刻を変更する。ここで、候補画像Ｆが動画から得られるものとすると、候補画像Ｆにピックアップされている時刻を変更する。具体的は、動画中で候補画像Ｆを切り取るタイミングを時間軸で早めることで、カテゴリｃ２の撮影時刻の時間軸を早めることができる。これにより、Ｓ（ｍ，ｃ２）の値を“６”から“５”に変更することができる。なお、動画の場合、一般的には、撮影時刻の異なる素材を用いた場合、写っている被写体や構図に変化があるため、時刻以外のパラメータが変化することも想定される。このため、他のパラメータに対しても再評価を行うようにしても良い。以上のようにして、候補画像Ｆの被写体の大きさ、撮影時刻を変化させることによって、候補画像Ｆをストーリの期待値に合致させることが可能である。

〔画像選択処理の一例〕
ここで、本開示の実施形態に係る編集装置１００における画像選択処理について、より具体的に説明する。図１２は、本開示の実施形態に係る編集装置１００における画像選択処理の一例を示す流れ図である。ここで、図１２は、編集装置１００が、数式１に示す候補画像（Ｍ）の特徴値と候補画像の期待値とに基づくマンハッタン距離Ｄ（Ｍ）（ｔ）を選択時間ｔにおける評価値として算出した場合における画像選択処理の一例を示している。また、図１２は、図８に示すように、複数の選択時間において同一の候補画像が選択画像として選択されうる画像選択処理の一例を示している。さらに、図１２は、評価値が同一の候補画像が複数あった場合には、より先に処理を行った候補画像が優先的に選択画像として選択される場合の処理を示している。

編集装置１００は、選択時間ｔにおける評価値（マンハッタン距離）の最小値ｍｉｎ（ｔ）の値として、ｍｉｎ（ｔ）＝∞を設定する（Ｓ４００）。あるいは、ｍｉｎ（ｔ）＝Ｐ（Ｐは所定値）、ｍｉｎ（ｔ）＝０としても良い。また、編集装置１００は、図７のステップＳ３００、Ｓ３０２と同様に、選択時間ｔの値としてｔ＝０を設定し（Ｓ４０２）、評価値を算出する対象の候補画像を規定するｘの値としてｘ＝１を設定する（Ｓ４０４）。

ステップＳ４０４の処理が行われると、編集装置１００は、評価値Ｄ（ｍｘ）（ｔ）の値がｍｉｎ（ｔ）よりも小さいか否かを判定する（Ｓ４０６）。ステップＳ４０６において評価値Ｄ（ｍｘ）（ｔ）の値がｍｉｎ（ｔ）よりも小さいと判定されない場合には、編集装置１００は、後述するステップＳ４１０の処理を行う。

また、ステップＳ４０６において評価値Ｄ（ｍｘ）（ｔ）の値がｍｉｎ（ｔ）よりも小さいと判定された場合には、編集装置１００は、ｍｉｎ（ｔ）の値を、ｍｉｎ（ｔ）＝Ｄ（ｍｘ）（ｔ）に更新する（Ｓ４０８）。

ステップＳ４０６において評価値Ｄ（ｍｘ）（ｔ）の値がｍｉｎ（ｔ）よりも小さいと判定されない場合、または、ステップＳ４０８の処理が行われた場合には、編集装置１００は、ｘの値をｘ＋１に更新する（Ｓ４１０）。

ステップＳ４１０においてｘの値が更新されると、編集装置１００は、ｘの値が候補画像数より小さいか否かを判定する（Ｓ４１２）。ステップＳ４１２においてｘの値が候補画像数より小さいと判定された場合には、編集装置１００は、ステップＳ４０６からの処理を繰り返す。

また、ステップＳ４１２においてｘの値が候補画像数より小さいと判定されない場合には、ｍｉｎ（ｔ）の値が所定のしきい値（Ｔｈｒｅｓｈｏｌｄ）よりも小さいか否かを判定する（Ｓ５００）。そして、ｍｉｎ（ｔ）の値が所定のしきい値以上である場合は、候補画像（素材）の変更処理を行う（Ｓ５０２）。ステップＳ５０２では、上述したように、下位のカテゴリから優先的に素材を変更して期待値に近づける処理を行い、変更後の候補画像の評価値を新たなｍｉｎ（ｔ）とする。ステップＳ５０２の後はステップＳ４１４へ進む。

また、ステップＳ５００において、ｍｉｎ（ｔ）の値が所定のしきい値よりも小さい場合は、ステップＳ４１４へ進む。ステップＳ４１４では、編集装置１００は、ｍｉｎ（ｔ）に対応する候補画像を、選択時間ｔにおける選択画像とする（Ｓ４１４）。

ステップＳ４１４の処理が行われると、編集装置１００は、ｔの値をｔ＋Δｔに更新する（Ｓ４１６）。そして、編集装置１００は、ｔの値が、編集後の画像の再生総時間Ｔより小さいか否かを判定する（Ｓ４１８）。

ステップＳ４１８においてｔの値が再生総時間Ｔより小さいと判定された場合には、編集装置１００は、ステップＳ４０４からの処理を繰り返す。また、ステップＳ４１８においてｔの値が再生総時間Ｔより小さいと判定されない場合には、編集装置１００は、画像選択処理を終了する。

編集装置１００は、例えば図１２に示す処理を行うことによって、各選択時間において評価値の最小値をとる候補画像（すなわち、より評価が高い候補画像）を、選択時間ごとの選択画像として選択する。なお、本開示の実施形態に係る画像選択処理が、図１２に示す例に限られないことは、言うまでもない。

図１３は、図１２のステップＳ５０２における素材の変更処理を示すフローチャートである。ここでは、図１０の例と同様に、候補画像のアップ率（拡大率）を変更して素材の性質を変更する場合を説明する。ステップＳ６００において、ｍｉｎ（ｔ）に対応するのは候補画像Ｆである。先ず、ステップＳ６００では、候補画像Ｆの評価値の最小値ｍｉｎ（ｔ）＝Ｄ、ｍ＝１とする。ここで、ｍは候補画像を何段階変更したかを示す数値である。次に、ステップＳ６０２では、候補画像Ｆの画像を一段階拡大（ズームアップ）して得られた画像をＣＥ（ｍ）とする。

次のステップＳ６０４では、ＣＥ（ｍ）と選択時間ｔでの期待値との距離を表す評価値Ｄ（ＣＥ（ｍ））について、Ｄ（ＣＥ（ｍ））＜Ｄであるか否かを判定する。Ｄ（ＣＥ（ｍ）＜Ｄの場合はステップＳ６０６へ進み、新たにＤ（ＣＥ（ｍ））＝Ｄ、ｍ＝ｍ＋１とし、ステップＳ６０２へ戻り、以降の処理を引き続き行う。このように、Ｄ（ＣＥ（ｍ））＜Ｄの場合は、ステップＳ６０２，Ｓ６０４，Ｓ６０６の処理が繰り返し行われことによって、評価値Ｄ（ＣＥ（ｍ））の値が減少していく。

また、ステップＳ６０４で（ＣＥ（ｍ））≧Ｄの場合はステップＳ６０８へ進み、ｍ≠１であるか否かを判定し、ｍ≠１の場合はステップＳ６１０へ進む。ステップＳ６１０では、ｍｉｎ（ｔ）＝Ｄとし、処理を終了する。これにより、ｍｉｎ（ｔ）の値がステップＳ６０２，Ｓ６０４，Ｓ６０６のループで求められた最少の値に設定される。ここで設定されたｍｉｎ（ｔ）の値は、図１２のステップＳ４１４以降の処理で使用され、ステップＳ４１４では、ｍｉｎ（ｔ）に対応する変更された候補画像Ｆが選択時間ｔにおける選択画像とされる。

一方、ステップＳ６０８でｍ＝１の場合は、候補画像Ｆの評価値がステップＳ６００で設定された値Ｄよりも大きいため、カテゴリｃ１で特徴値を変更しても評価値を下げることができないと判断し、別のカテゴリについてステップＳ６００以降の計算を同様に実施する（Ｓ６１２）。例えば、優先度が次に低いカテゴリが「撮影時刻」である場合、ステップＳ６０２では、候補画像Ｆの撮影時刻を１段階変更し、撮影時刻を変更した候補画像をＣＥ（ｍ）とする。そして、上記と同様にステップＳ６０４でＤ（ＣＥ（ｍ））＜Ｄの場合はステップＳ６０６へ進み、新たにＤ（ＣＥ（ｍ））＝Ｄ、ｍ＝ｍ＋１とし、ステップＳ６０２へ戻り、以降の処理を引き続き行う。これにより、Ｄ（ＣＥ（ｍ）＜Ｄの場合は、評価値Ｄ（ＣＥ（ｍ））の値が減少していく。そして、ステップＳ６０４で（ＣＥ（ｍ））≧Ｄの場合はステップＳ６０８へ進み、ｍ≠１の場合はステップＳ６１０へ進む。ステップＳ６１０では、ｍｉｎ（ｔ）＝Ｄとし、処理を終了する。

［ストーリを変更する例］
上述した例では、候補画像（素材）がストーリの期待値と合致しない場合は、素材を変更して期待値に近づくように処理を行った。一方、このような場合にストーリを変化させることで、素材とストーリの期待値を合致させることもできる。図１４は、図３において、選択時間ｔ＝６から選択時間ｔ＝８のストーリを図１４中に破線で示すストーリに変更した例を示す模式図である。このように、選択時間ｔ＝６〜８近辺のストーリを素材に合わせて変更し、前後の選択時間のストーリと滑らかに接続する。これにより、選択時間ｔ＝６と選択時間ｔ＝８の間でストーリの期待値が候補画像Ｃと合致するため、候補画像Ｃを選択することで、ストーリに合致した選択画像を選択することができる。

ストーリの変更の際には、図１５に示すような表示画面上で、タッチパネルなどのグラフィカルなＵＩを用いて変更することが望ましい。これにより、画面を見ながら変更することで、変更したストーリが本来のストーリから大きく変更されてしまうことを抑止できる。

図１５に基づいて、表示画面上でグラフィカルなＵＩを用いてストーリを変更する手順について説明する。図１５に示すように、例えばｔ＝７での期待値が大きく候補画像から離れており、かつ候補画像の変更が難しい場合を例に挙げて説明する。この場合、ストーリの期待値そのものを変更する。この際、図１５に示すように、ストーリをグラフ上に表して、マウスやタッチパネルでの操作等によりユーザがストーリの曲線を変更することによって、ストーリ自体を変更することができる。

以上のように、ストーリの期待値と素材のスコアとが大きく離れている場合は、素材またはストーリを変更することで、最適な選択画像を選択することが可能となり、ストーリに沿った作品を編集することが可能となる。

なお、上述した説明では、説明を判り易くする観点からカテゴリが２つの場合を例示したがカテゴリの数はより多くても構わない。この場合においても、カテゴリが２つの場合と同様の手順により最適な素材を適用することが可能である。図１５の例では、カテゴリが多数になると表示が複雑になるが、ユーザが複数のカテゴリの中で変更したいカテゴリを２つ選ぶ、若しくはストーリに近い素材が存在するようなカテゴリを２つ選ぶことによって２次元のグラフを生成できる。そして、そのグラフ上で操作することによってグラフィカルにストーリを変更することが可能である。

次に、再度図１を参照して、本開示の実施形態に係る編集装置１００における編集アプローチに係る処理の一例について説明する。ステップＳ１０６において選択時間ごとの選択画像が選択されると、編集装置１００は、選択画像を時系列に繋ぎ合わせることによって、編集を行う（Ｓ１０８；編集処理）。

例えば図１に示す処理を行うことによって、編集装置１００は、時間の関数で表されるストーリと候補画像それぞれに設定されている特徴値とに基づいて選択時間ごとの評価値を順次算出し、選択時間ごとに評価値が最小の候補画像（評価がより高い候補画像）を、選択時間ごとの選択画像とすることが可能である。よって、例えば図１に示す処理を行うことによって、編集装置１００は、従来の技術やストーリ・テンプレートを用いて自動編集を行う場合に起こりうる、各選択時間において選択画像が選択されないことを防止することができる。したがって、編集装置１００は、例えば図１に示す処理を行うことによって、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。なお、本開示の実施形態に係る編集アプローチに係る処理が、図１に示す例に限られないことは、言うまでもない。

また、上記では、本開示の実施形態に係る編集アプローチに係る処理を、編集装置１００が行うものとして説明したが、本開示の実施形態に係る編集アプローチに係る処理は、１つの装置で実現されることに限られない。例えば、本開示の実施形態に係る編集アプローチに係る処理（すなわち、本開示の実施形態に係る編集方法に係る処理）は、例えば、クラウドコンピューティングなどのネットワークへの接続を前提としたシステム（編集システム）における分散処理により実現されてもよい。

（本開示の実施形態に係る編集装置）
次に、上述した本開示の実施形態に係る編集アプローチに係る処理を行うことが可能な、本開示の実施形態に係る編集装置１００の構成の一例について説明する。図１６は、本開示の実施形態に係る編集装置１００の構成の一例を示すブロック図である。

図１６を参照すると、編集装置１００は、例えば、記憶部１０２と、通信部１０４と、制御部１０６と、操作部１０８と、表示部１１０とを備える。

また、編集装置１００は、例えば、ＲＯＭ（Read Only Memory；図示せず）や、ＲＡＭ（Random Access Memory；図示せず）などを備えてもよい。編集装置１００は、例えば、データの伝送路としてのバス（bus）により各構成要素間を接続する。ここで、ＲＯＭ（図示せず）は、例えば制御部１０６が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、例えば制御部１０６により実行されるプログラムなどを一時的に記憶する。

［編集装置１００のハードウェア構成例］
図１７は、本開示の実施形態に係る編集装置１００のハードウェア構成の一例を示す説明図である。図１７を参照すると、編集装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、編集装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。

ＭＰＵ１５０は、ＭＰＵ（Micro Processing Unit）や、制御機能を実現するための複数の回路が集積された集積回路などで構成され、編集装置１００全体を制御する制御部１０６として機能する。また、ＭＰＵ１５０は、編集装置１００において、後述する候補画像決定部１２０、画像評価部１２２、ストーリ決定部１２４、評価値算出部１２６、画像選択部１２８、および編集処理部１３０としての役目を果たすこともできる。

ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

記録媒体１５６は、記憶部１０２として機能し、例えば、画像データや、ストーリ情報、図２に示すような画像の特徴値が記録された画像評価情報、アプリケーションなどを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＰＲＡＭ（Phase change Random Access Memory）などの不揮発性メモリ（nonvolatile memory）が挙げられる。また、編集装置１００は、編集装置１００から着脱可能な記録媒体１５６を備えることもできる。

入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部１０８として機能し、また、表示デバイス１６２は、表示部１１０として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、編集装置１００上に備えられ、編集装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、編集装置１００上に備えられ、編集装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、入出力インタフェース１５８が、編集装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス（例えば、外部ディスプレイなど）と接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。

通信インタフェース１６４は、編集装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、サーバなどの外部装置と無線／有線で通信を行うための通信部１０４として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。また、本開示の実施形態に係るネットワークとしては、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

編集装置１００は、例えば図１７に示す構成によって、本開示の実施形態に係る編集アプローチに係る処理を行う。なお、本開示の実施形態に係る編集装置１００のハードウェア構成は、図１７に示す構成に限られない。例えば、編集装置１００は、ＤＳＰ（Digital Signal Processor）と、増幅器（アンプ）やスピーカなどから構成される音声出力デバイスとを備えてもよい。上記の場合には、編集装置１００は、例えば図６のステップＳ２０８においてエラー音声を上記音声出力デバイスから出力することによって、聴覚的にエラーを通知することが可能となる。また、編集装置１００は、例えば、図１７に示す操作デバイス１６０や表示デバイス１６２を備えない構成であってもよい。

再度図１６を参照して、本開示の実施形態に係る編集装置１００の構成について説明する。記憶部１０２は、編集装置１００が備える記憶手段である。ここで、記憶部１０２としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。

また、記憶部１０２は、例えば、画像データや、ストーリ情報、画像評価情報、アプリケーションなどを記憶する。ここで、図１６では、画像データ１４０、…と、ストーリ情報１４２と、画像評価情報１４４とが記憶部１０２に記憶されている例を示している。

通信部１０４は、編集装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、サーバなどの外部装置と無線／有線で通信を行う。また、通信部１０４は、例えば、制御部１０６により通信が制御される。

ここで、通信部１０４としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０４の構成は、上記に限られない。例えば、通信部１０４は、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。

制御部１０６は、例えば、ＭＰＵや、制御機能を実現するための複数の回路が集積された集積回路などで構成され、編集装置１００全体を制御する役目を果たす。また、制御部１０６は、候補画像決定部１２０と、画像評価部１２２と、ストーリ決定部１２４と、評価値算出部１２６と、画像選択部１２８と、候補画像修正部１３２と、ストーリ修正部１３４と、編集処理部１３０とを備え、本開示の実施形態に係る編集アプローチに係る処理を主導的に行う役目を果たす。また、制御部１０６は、サーバなどの外部装置との通信を制御する通信制御部（図示せず）を備えていてもよい。

候補画像決定部１２０は、ユーザ操作に基づいて候補画像を決定する。より具体的には、候補画像決定部１２０は、例えば図１に示すステップＳ１００の処理を主導的に行う役目を果たす。

画像評価部１２２は、候補画像に基づいて当該候補画像に対する特徴値を設定する。より具体的には、画像評価部１２２は、例えば、候補画像決定部１２０において候補画像が決定されるごとに、決定された候補画像を画像解析することや候補画像のメタデータを参照することによって、候補画像それぞれに対して特徴値を設定する。そして、画像評価部１２２は、例えば、画像評価情報を生成して記憶部１０２に記録する。なお、記憶部１０２に画像評価情報が記憶されている場合には、当該画像評価情報を上書き更新してもよいし、別途記録してもよい。なお、画像評価部１２２の処理は、上記に限られない。例えば、画像評価部１２２は、候補画像決定部１２０において候補画像が決定されることに依存せず、記憶部１０２に記憶されている画像データに対して特徴値を設定してもよい。

また、画像評価部１２２は、例えば、候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が当該所定の時間内となるように候補画像を分割し、分割された候補画像それぞれに対して特徴値を設定する。

ストーリ決定部１２４は、ストーリを決定する。より具体的には、ストーリ決定部１２４は、例えば図１に示すステップＳ１０２の処理を主導的に行う役目を果たす。

評価値算出部１２６は、ストーリ決定部１２４において決定されたストーリと、複数の候補画像それぞれに設定されている特徴値とに基づいて、候補画像ごとの評価値を選択時間ごとに算出する。より具体的には、評価値算出部１２６は、例えば、ストーリ決定部１２４において決定されたストーリと、記憶部１０２に記憶された画像評価情報１４４とを用いて、図１に示すステップＳ１０４の処理を主導的に行う役目を果たす。

画像選択部１２８は、評価値算出部１２６において算出された評価値に基づいて、候補画像の中から選択時間ごとに選択画像を選択する。より具体的には、画像選択部１２８は、例えば図１に示すステップＳ１０６の処理を主導的に行う役目を果たす。

候補画像修正部１３２は、評価値算出部１２６において算出された評価値に基づいて、選択された選択画像を修正する。より具体的には、候補画像修正部１３２は、例えば図１２に示すステップＳ５０２の処理を主導的に行う役目を果たす。

ストーリ修正部１３４は、評価値算出部１２６において算出された評価値に基づいて、ストーリを修正する。より具体的には、ストーリ修正部１３４は、例えばユーザが操作部１０８で行った操作に基づいて、図１４及び図１５に示す処理を主導的に行う役目を果たす。

編集処理部１３０は、画像選択部１２８において選択時間ごとに選択された選択画像を、時系列に繋ぎ合わせる。つまり、編集処理部１３０は、例えば図１に示すステップＳ１０８の処理を主導的に行う役目を果たす。

制御部１０６は、例えば候補画像決定部１２０、画像評価部１２２、ストーリ決定部１２４、評価値算出部１２６、画像選択部１２８、および編集処理部１３０を備えることによって、編集アプローチに係る処理を主導的に行うことができる。なお、制御部１０６の構成が、図１５に示す構成に限られないことはいうまでもない。

操作部１０８は、ユーザによる操作を可能とする編集装置１００が備える操作手段である。編集装置１００は、操作部１０８を備えることによって、ユーザ操作を可能とし、ユーザ操作に応じてユーザが所望する処理を行うことができる。ここで、操作部１０８としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。

表示部１１０は、編集装置１００が備える表示手段であり、表示画面に様々な情報を表示する。表示部１１０の表示画面に表示される画面としては、例えば、例えば図６のステップＳ２０８においてエラーを視覚的に通知するためのエラー画面や、画像データが示す画像が表示される再生画面、所望する動作を編集装置１００に対して行わせるための操作画面などが挙げられる。また、表示部１１０としては、例えば、ＬＣＤや有機ＥＬディスプレイなどが挙げられる。なお、編集装置１００は、表示部１１０を、タッチスクリーンで構成することもできる。上記の場合には、表示部１１０は、ユーザ操作および表示の双方が可能な操作表示部として機能することとなる。

編集装置１００は、例えば図１６に示す構成によって、例えば図１に示すような本開示の実施形態に係る編集アプローチに係る処理を実現することができる。したがって、編集装置１００は、例えば図１６に示す構成によって、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。なお、本開示の実施形態に係る編集装置１００の構成が、図１６に示す構成に限られないことは、言うまでもない。

以上のように、本開示の実施形態に係る編集装置１００は、時間の関数で表されるストーリと候補画像それぞれに設定されている特徴値とに基づいて選択時間ごとの評価値を順次算出し、例えば選択時間ごとに評価値が最小（または、最大）の候補画像（すなわち、評価がより高い候補画像）を、選択時間ごとの選択画像とする。よって、編集装置１００は、従来の技術やストーリ・テンプレートを用いて自動編集を行う場合に起こりうる、各選択時間において選択画像が選択されないことを防止することができる。したがって、編集装置１００は、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。

また、編集装置１００は、複数の候補画像の中から算出された評価値が示す評価が高い候補画像を選択画像として選択するので、例えば、不特定多数の候補画像の中から編集を行う場合であっても、よりストーリに沿った選択画像を選択することが可能である。したがって、編集装置１００は、例えば、複数のユーザが画像を任意に追加、削除するような画像コミュニティサイトの画像を候補画像として処理するときなど、候補画像が動的に変化する場合であっても、候補画像の中からよりストーリに沿った選択画像を選択することができる。

さらに、編集装置１００は、時間の関数で表されるストーリを用いるので、例えば選択時間の設定に応じてストーリを延長、短縮することができる。つまり、編集装置１００は、時間の関数で表されるストーリを用いることによって、例えば用いるストーリ・テンプレート自体を変更しなければストーリの延長、短縮が困難な、ストーリ・テンプレートを用いる場合よりも容易に、ストーリの延長、短縮を行うことが可能である。したがって、編集装置１００は、時間の関数で表されるストーリを用いることによって、より汎用性が高い画像の編集を行うことができる。

以上、本開示の実施形態として編集装置１００を挙げて説明したが、本開示の実施形態は、かかる形態に限られない。本開示の実施形態は、例えば、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話などの携帯型通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、様々な機器に適用することができる。

また、本開示の実施形態は、クラウドコンピューティングなどのネットワークへの接続を前提としたシステム（編集システム）を構成するコンピュータ群などに適用することができる。

（本開示の実施形態に係るプログラム）
コンピュータを、本開示の実施形態に係る編集装置として機能させるためのプログラム（例えば図１、図６、図７、図１２、図１３に示すような、本開示の実施形態に係る編集アプローチに係る処理を実現するためのプログラム）によって、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。

（本開示の実施形態に係るプログラムを記録した記録媒体）
また、上記では、コンピュータを、本開示の実施形態に係る制御装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本開示の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

例えば、本開示の実施形態に係る編集装置１００は、図１５に示す候補画像決定部１２０、画像評価部１２２、ストーリ決定部１２４、評価値算出部１２６、画像選択部１２８、および編集処理部１３０、候補画像修正部１３２、ストーリ修正部１３４を個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。

上述した構成は、本開示の実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、
前記ストーリ決定部において決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する評価値算出部と、
前記評価値算出部において算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する画像選択部と、
前記評価値に基づいて、選択された前記候補画像を修正する候補画像修正部と、
前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせる編集処理部と、
を備える、編集装置。
（２）前記候補画像修正部は、前記評価値が所定値以下の場合に、選択された前記候補画像を修正する、前記（１）に記載の編集装置。
（３）前記候補画像修正部は、前記評価値が所定値以下となるように、選択された前記候補画像を修正する、前記（２）に記載の編集装置。
（４）前記候補画像修正部は、前記評価値が所定値以下となるように、選択された前記候補画像の倍率を修正する、前記（３）に記載の編集装置。
（５）前記候補画像修正部は、前記評価値が所定値以下となるように、選択された候補画像の撮影時刻を修正する、前記（３）に記載の編集装置。
（６）複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、
前記ストーリ決定部において決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する評価値算出部と、
前記評価値算出部において算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する画像選択部と、
前記評価値に基づいて、前記ストーリを修正するストーリ修正部と、
前記選択時間ごとに選択された画像を時系列に繋ぎ合わせる編集処理部と、
を備える、編集装置。
（７）前記ストーリ修正部は、前記評価値が所定値以下の場合に、前記ストーリを修正する、前記（６）に記載の編集装置。
（８）前記ストーリ修正部は、ユーザ操作に基づいて、前記ストーリを修正する、前記（６）に記載の編集装置。
（９）前記ストーリ修正部は、前記評価値が所定値以下となるように、前記ストーリを修正する、前記（６）に記載の編集装置。
（１０）前記評価値算出部は、前記評価値として、前記候補画像の特徴値と前記候補画像の特徴値の期待値とに基づく距離を前記選択時間ごとに算出する、前記（１）〜（９）のいずれかに記載の編集装置。
（１１）前記画像選択部は、前記選択時間それぞれにおける前記評価値が最小の候補画像を、前記選択時間ごとに選択する、前記（１０）に記載の編集装置。
（１２）前記候補画像に基づいて、前記候補画像に対する前記特徴値を設定する画像評価部をさらに備える、前記（１）〜（１１）のいずれかに記載の編集装置。
（１３）前記画像評価部は、
前記候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が前記所定の時間内となるように前記候補画像を分割し、
分割された前記候補画像それぞれに対して前記特徴値を設定する、前記（１２）に記載の編集装置。
（１４）前記ストーリは、画像の特徴量を示す特徴値を用いた時間の関数によって表される、前記（１）〜（１３）のいずれか１項に記載の編集装置。
（１５）複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定することと、
前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出することと、
前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択することと、
前記評価値に基づいて、選択された前記候補画像を修正することと、
前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせることと、
を有する、編集方法。
（１６）複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定することと、
前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出することと、
前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択することと、
前記評価値に基づいて、前記ストーリを修正することと、
前記選択時間ごとに選択された画像を時系列に繋ぎ合わせることと、
を有する、編集方法。
（１７）複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定する手段、
前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する手段、
前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する手段、
前記評価値に基づいて、選択された前記候補画像を修正する手段、
前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせる手段、
としてコンピュータを機能させるためのプログラム。
（１８）複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定する手段、
前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する手段、
前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する手段、
前記評価値に基づいて、前記ストーリを修正する手段、
前記選択時間ごとに選択された画像を時系列に繋ぎ合わせる手段、
としてコンピュータを機能させるためのプログラム。
（１９）複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定する手段、
決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する手段、
前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する手段、
前記評価値に基づいて、選択された前記候補画像を修正する手段、
前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせる手段、
としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（２０）複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定する手段、
決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する手段、
前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する手段、
前記評価値に基づいて、前記ストーリを修正する手段、
前記選択時間ごとに選択された画像を時系列に繋ぎ合わせる手段、
としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

１００ 編集装置
１０２ 記憶部
１０４ 通信部
１０６ 制御部
１０８ 操作部
１１０ 表示部
１２０ 候補画像決定部
１２２ 画像評価部
１２４ ストーリ決定部
１２６ 評価値算出部
１２８ 画像選択部
１３０ 編集処理部
１３２ 候補画像修正部
１３４ ストーリ修正部

Claims (20)

1. 複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、
   前記ストーリ決定部において決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する評価値算出部と、
   前記評価値算出部において算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する画像選択部と、
   前記評価値に基づいて、選択された前記候補画像を修正する候補画像修正部と、
   前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせる編集処理部と、
   を備える、編集装置。
2. 前記候補画像修正部は、前記評価値が所定値以下の場合に、選択された前記候補画像を修正する、請求項１に記載の編集装置。
3. 前記候補画像修正部は、前記評価値が所定値以下となるように、選択された前記候補画像を修正する、請求項２に記載の編集装置。
4. 前記候補画像修正部は、前記評価値が所定値以下となるように、選択された前記候補画像の倍率を修正する、請求項３に記載の編集装置。
5. 前記候補画像修正部は、前記評価値が所定値以下となるように、選択された候補画像の撮影時刻を修正する、請求項３に記載の編集装置。
6. 複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、
   前記ストーリ決定部において決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する評価値算出部と、
   前記評価値算出部において算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する画像選択部と、
   前記評価値に基づいて、前記ストーリを修正するストーリ修正部と、
   前記選択時間ごとに選択された画像を時系列に繋ぎ合わせる編集処理部と、
   を備える、編集装置。
7. 前記ストーリ修正部は、前記評価値が所定値以下の場合に、前記ストーリを修正する、請求項６に記載の編集装置。
8. 前記ストーリ修正部は、ユーザ操作に基づいて、前記ストーリを修正する、請求項６に記載の編集装置。
9. 前記ストーリ修正部は、前記評価値が所定値以下となるように、前記ストーリを修正する、請求項６に記載の編集装置。
10. 前記評価値算出部は、前記評価値として、前記候補画像の特徴値と前記候補画像の特徴値の期待値とに基づく距離を前記選択時間ごとに算出する、請求項１〜９のいずれか１項に記載の編集装置。
11. 前記画像選択部は、前記選択時間それぞれにおける前記評価値が最小の候補画像を、前記選択時間ごとに選択する、請求項１０に記載の編集装置。
12. 前記候補画像に基づいて、前記候補画像に対する前記特徴値を設定する画像評価部をさらに備える、請求項１〜１１のいずれか１項に記載の編集装置。
13. 前記画像評価部は、
    前記候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が前記所定の時間内となるように前記候補画像を分割し、
    分割された前記候補画像それぞれに対して前記特徴値を設定する、請求項１２に記載の編集装置。
14. 前記ストーリは、画像の特徴量を示す特徴値を用いた時間の関数によって表される、請求項１〜１３のいずれか１項に記載の編集装置。
15. 複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定することと、
    前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出することと、
    前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択することと、
    前記評価値に基づいて、選択された前記候補画像を修正することと、
    前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせることと、
    を有する、編集方法。
16. 複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定することと、
    前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出することと、
    前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択することと、
    前記評価値に基づいて、前記ストーリを修正することと、
    前記選択時間ごとに選択された画像を時系列に繋ぎ合わせることと、
    を有する、編集方法。
17. 複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定する手段、
    前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する手段、
    前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する手段、
    前記評価値に基づいて、選択された前記候補画像を修正する手段、
    前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせる手段、
    としてコンピュータを機能させるためのプログラム。
18. 複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定する手段、
    前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する手段、
    前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する手段、
    前記評価値に基づいて、前記ストーリを修正する手段、
    前記選択時間ごとに選択された画像を時系列に繋ぎ合わせる手段、
    としてコンピュータを機能させるためのプログラム。
19. 複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定する手段、
    決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する手段、
    前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する手段、
    前記評価値に基づいて、選択された前記候補画像を修正する手段、
    前記選択時間ごとに選択された画像及び前記評価値に基づいて修正された前記候補画像を時系列に繋ぎ合わせる手段、
    としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
20. 複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定する手段、
    決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する手段、
    前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する手段、
    前記評価値に基づいて、前記ストーリを修正する手段、
    前記選択時間ごとに選択された画像を時系列に繋ぎ合わせる手段、
    としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images