JP2022086521A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2022086521A
JP2022086521A JP2020198582A JP2020198582A JP2022086521A JP 2022086521 A JP2022086521 A JP 2022086521A JP 2020198582 A JP2020198582 A JP 2020198582A JP 2020198582 A JP2020198582 A JP 2020198582A JP 2022086521 A JP2022086521 A JP 2022086521A
Authority
JP
Japan
Prior art keywords
image
feature amount
image group
scoring
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020198582A
Other languages
English (en)
Inventor
貴之 山田
Takayuki Yamada
和也 小笠原
Kazuya Ogasawara
信二郎 堀
Shinjiro Hori
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020198582A priority Critical patent/JP2022086521A/ja
Priority to US17/533,864 priority patent/US20220172472A1/en
Publication of JP2022086521A publication Critical patent/JP2022086521A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Figure 2022086521000001
【課題】ユーザの意図に沿う画像を適切に選択すること。
【解決手段】プログラムは、コンピュータを、第１の画像群を指定する第１の指定手段と、第２の画像群を指定する第２の指定手段と、第１の画像群および第２の画像群に含まれる各画像を解析して特徴量を出力する解析手段と、第２の画像群に基づいて、解析手段によって出力された特徴量の中で使用する特徴量の種類を選択する第１の選択手段と、第２の画像群の特徴量の中で選択された種類の特徴量に基づいて、画像に得点を付与する得点基準を決定する決定手段と、得点基準と第１の画像群の特徴量とに基づいて第１の画像群の得点化を実施する得点化手段と、得点化によって求められた得点に基づいて第１の画像群から画像を選択する第２の選択手段と、として機能させる。
【選択図】図５

Description

本発明は、複数の画像の中から所定の基準に従って１つ以上の画像を選択する技術に関する。
複数の画像の中からアルバム作成のための画像を自動で選択し、アルバムのテンプレートを自動で決定し、テンプレートへの画像の自動割り当てを実施する自動レイアウト技術がある。
特許文献１には、類似度がしきい値以上の画像同士の集まりとなるように、アルバム候補の複数の画像を、複数の画像群に分類し、分類された複数の画像群に含まれる画像の中から画像を抽出する技術が開示されている。特許文献１では、分類された後の画像群に含まれる画像数の割合によって、または、各画像群の抽出割合をユーザが指定することによって、各画像群から抽出する画像の割合を決定している。また、特許文献２では、アルバム候補の画像群に含まれる画像の各々の画像解析情報に基づいてテーマを判別し、判別したテーマに基づいてテンプレートの選択およびレイアウトを行う技術が開示されている。
特開２０２０－０４６９０２号公報 特開２０１５－８９１１２号公報
特許文献１および２に記載の方法は、アルバム候補の全体の画像群の傾向から画像を選択する技術であるが、ユーザの意図する画像が、全体の画像群の傾向とは必ずしも一致しない場合がある。この場合、ユーザの意図に沿う画像が適切に選択されない虞がある。
本発明は、ユーザの意図に沿う画像を適切に選択する技術を提供することを目的とする。
本発明の一態様に係るプログラムは、コンピュータを、第１の画像群を指定する第１の指定手段と、第２の画像群を指定する第２の指定手段と、前記第１の画像群および前記第２の画像群に含まれる各画像を解析して特徴量を出力する解析手段と、前記第２の画像群に基づいて、前記解析手段によって出力された特徴量の種類の中で使用する特徴量の種類を選択する第１の選択手段と、前記第２の画像群の特徴量の中で前記選択された種類の特徴量に基づいて、画像に得点を付与する得点基準を決定する決定手段と、前記得点基準と前記第１の画像群の特徴量とに基づいて前記第１の画像群の得点化を実施する得点化手段と、前記得点化によって求められた得点に基づいて前記第１の画像群から画像を選択する第２の選択手段と、として機能させる。
本発明によれば、ユーザの意図に沿う画像を適切に選択することができる。
画像処理装置のハードウェアの構成を示すブロック図である。 アルバム作成アプリケーションのソフトウェアブロック図である。 アルバム作成アプリケーションが提供する表示画面を示す図である。 アルバム作成アプリケーションが提供する表示画面を示す図である。 自動レイアウト処理を示すフローチャートである。 特徴量を示す図である。 特徴量選択処理を示すフローチャートである。 コンセプトを説明する図である。 コンセプトを説明する図である。 サブコンセプトを説明する図である。 特徴量空間上での特徴量を示す図である。 得点基準決定フローの処理を示すフローチャートである。 画像選択の結果を示す図である。 画像データのレイアウトに使うテンプレート群を示す図である。 アルバム作成アプリケーションのソフトウェアブロック図である。 自動レイアウト処理を示すフローチャートである。 重要度を説明する図である。 コンセプトの重みを説明する図である。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
＜＜第１実施形態＞＞
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリ」ともいう）を動作させ、自動レイアウトを生成する方法を例に挙げて説明する。なお、以下の説明において、「画像」とは、特に断りが無い限り、静止画、動画、及び動画中から抜き出されたフレーム画像を含む。また、ここでの画像は、ネットワーク上のサービス及びネットワーク上のストレージ等のネットワーク上に保持され、ネットワーク経由で取得可能な、静止画、動画、及び動画中のフレーム画像をも含みうる。
図１は、画像処理装置のハードウェアの構成を示すブロック図である。なお、画像処理装置１００としては、例えば、パーソナルコンピュータ（以下、ＰＣと記載）またはスマートフォン等が挙げられる。本実施形態では、画像処理装置は、ＰＣであるものとして説明する。画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、ディスプレイ１０５、キーボード１０６、ポインティングデバイス１０７、及びデータ通信部１０８を有する。
ＣＰＵ（中央演算装置／プロセッサ）１０１は、画像処理装置１００を統括的に制御し、例えば、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより、本実施形態の動作を実現する。図１では、ＣＰＵは１つであるが、複数のＣＰＵで構成されても良い。ＲＯＭ１０２は、汎用的なＲＯＭであり、例えば、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、汎用的なＲＡＭであり、例えば、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのワーキングメモリとして用いられる。ＨＤＤ（ハードディスク）１０４は、画像ファイル、及び、画像解析などの処理結果を保持するデータベース、ならびに、アルバム作成アプリケーションにより用いられるテンプレートなどを記憶するための記憶媒体（記憶部）である。
ディスプレイ１０５は、本実施形態のユーザインタフェース（ＵＩ）、及び、画像データ（以下、「画像」ともいう）のレイアウト結果として電子アルバムをユーザに表示する。キーボード１０６及びポインティングデバイス１０７は、ユーザからの指示操作を受け付ける。ディスプレイ１０５は、タッチセンサ機能を備えても良い。キーボード１０６は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上に作成したいアルバムの見開き数を入力する際に用いられる。ポインティングデバイス１０７は、例えば、ユーザが、ディスプレイ１０５に表示されたＵＩ上のボタンをクリックする際に用いられる。
データ通信部１０８は、有線又は無線等のネットワークを介した外部の装置との通信を行う。データ通信部１０８は、例えば、自動レイアウト機能によりレイアウトされたデータを画像処理装置１００と通信可能なプリンタ又はサーバに送信する。データバス１０９は、図１の各ブロック間を相互に通信可能に接続する。
尚、図１に示す構成は、一例に過ぎず、これに限られるものではない。例えば、画像処理装置１００は、ディスプレイ１０５を有しておらず、外部のディスプレイにＵＩを表示してもよい。
本実施形態におけるアルバム作成アプリケーションは、ＨＤＤ１０４に保存されている。そして、後述するようにユーザがディスプレイ１０５に表示されているアプリケーションのアイコンをポインティングデバイス１０７により選択して、クリックまたはダブルクリックするといった操作によって起動される。
図２は、アルバム作成アプリケーションのソフトウェアブロック図である。アルバム作成アプリケーションは、アルバム作成条件指定部２０１、ユーザ画像指定部２０２、および自動レイアウト処理部２１８を有する。自動レイアウト処理部２１８は、画像取得部２０３、画像変換部２０４、画像解析部２０５、得点基準決定部２０６、画像得点部２０７、写真枚数調整量入力部２０８、見開き数入力部２０９、及び写真枚数決定部２１０を有する。さらに、画像選択部２１１、見開き割当部２１２、テンプレート入力部２１３、画像レイアウト部２１４、レイアウト情報出力部２１５、画像補正条件入力部２１６、画像補正部２１７、及び特徴量選択部２１９を有する。
図２に示す各構成要素に対応する各プログラムモジュールが、上述のアルバム作成アプリケーションに含まれている。そして、ＣＰＵ１０１が各プログラムモジュールを実行することで、ＣＰＵ１０１が図２に示す各構成要素として機能する。以降、図２に示す各構成要素の説明として、各構成要素が種々の処理を実行するものとして説明する。また図２は、特に、自動レイアウト機能を実行する自動レイアウト処理部２１８に関するソフトウェアブロック図を示している。
アルバム作成条件指定部２０１は、ポインティングデバイス１０７によるＵＩ操作に応じてアルバム作成条件を自動レイアウト処理部２１８に指定する。本実施形態では、アルバム作成条件として、アルバムに使用する候補画像を含むアルバム候補画像群（第１の画像群ともいう）、見開き数、テンプレートの種類、及びアルバムに画像補正をするか否かを指定可能である。また、アルバムに配置する枚数を調整する写真枚数調整量、及び、アルバムを作成する商材を指定可能である。アルバム候補画像群の指定は、例えば撮影日時などの個別の画像の付随情報、または、属性情報によって指定されてもよいし、デバイスおよびディレクトリ等のように画像を含むファイルシステムの構造に基づいて指定されてもよい。また、任意の画像を２枚指定させ、それぞれの画像データが撮影された日時の間に撮影された全ての画像を対象の画像群としてもよい。なお、本明細書において、「見開き」とは、表示においてはひとつの表示用ウィンドウに相当し、印刷物においては、本を開いた際にユーザが一度に鑑賞可能な互いに隣接する１対のページ（つまり２ページ分）に相当する。なお、見開き内の２ページは、それぞれ異なる用紙に印刷されたものが隣接するよう綴じられることで見開きを形成する場合と、１枚の用紙に印刷されたものが真ん中で折られることで見開きを形成する場合と、がある。
ユーザ画像指定部２０２は、ユーザの趣味または嗜好を表す、アルバムに採用したいユーザ画像群（第２の画像群ともいう）を、ユーザに指定させる。ユーザ画像群としては、１枚以上かつ写真枚数決定部２１０で決定する写真枚数以下の選択を可能とする。また、過去に作成したアルバムで使用された画像群をＨＤＤ１０４またはデータ通信部１０８を介してアクセスできるクラウドに保存しておき、上記指定方法に加えて、その画像群の中からユーザに指定させてもよい。ここで指定する画像は、アルバム作成条件指定部２０１で指定した画像に含まれていてもよいし、含まれていなくてもよい。つまり、ユーザ画像群は、アルバム候補画像群に含まれていてもよいし、含まれていなくてもよい。
画像取得部２０３は、アルバム作成条件指定部２０１およびユーザ画像指定部２０２により指定された画像群をＨＤＤ１０４から取得する。画像取得部２０３は、メタ情報として、取得した画像に含まれる、画像の幅及び高さ情報、撮影時のＥｘｉｆ情報に含まれる撮影日時情報、並びに、画像がユーザ画像群に含まれるのかを示す情報などを画像解析部２０５へ出力する。また、画像取得部２０３は、取得した画像データを画像変換部２０４へ出力する。各画像には、識別情報が付与され、画像解析部２０５に出力されたメタ情報と、後述する画像変換部２０４を介して画像解析部２０５に出力された画像データとは、画像解析部２０５にて対応付けが可能である。
ＨＤＤ１０４に保存されている画像としては、静止画像及び動画から切り出されたフレーム画像が挙げられる。静止画像及びフレーム画像は、デジタルカメラ及びスマートデバイス等の撮像デバイスから取得されたものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、外部装置が備えるものであってもよい。なお、撮像デバイスが外部装置である場合は、画像は、データ通信部１０８を介して取得される。また、静止画像及び切り出し画像は、データ通信部１０８を介してネットワークまたはサーバから取得した画像であってもよい。ネットワークまたはサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、「ＳＮＳ画像」という）が挙げられる。ＣＰＵ１０１によって実行されるプログラムは、各画像に対して、画像に付随したデータを解析して保存元を判定する。ＳＮＳ画像は、アプリケーションを介してＳＮＳから画像を取得することで、アプリケーション内で取得先を管理してもよい。画像は、上述した画像に限定されるものではなく、他の種類の画像であってもよい。
画像変換部２０４は、画像取得部２０３から入力した画像データを画像解析部２０５で使用するための画素数及び色情報に変換して、画像解析部２０５に出力する。本実施形態では、画像を、所定の画素数、例えば短辺４２０画素にして、長編は元の各辺の比率を維持した大きさに変換する。さらに、色の解析を行うためにｓＲＧＢなどの色空間に統一されるように変換する。このように画像変換部２０４は、画素数及び色空間が統一された解析画像へ変換するものとする。画像変換部２０４は、変換した画像を画像解析部２０５に出力する。また、画像変換部２０４は、レイアウト情報出力部２１５および画像補正部２１７に画像を出力する。
画像解析部２０５は、画像変換部２０４から入力する解析画像に対し、後述する方法で画像データを解析して、画像特徴量を取得する。解析処理としては、ピントの合焦度合いの推定、顔検出、個人認識、オブジェクト判定の各処理を実行し、これらの画像特徴量を取得する。画像特徴量としては、他には、色味、明るさ、解像度、データ量、及びボケ・ブレの程度などが挙げられるが、それ以外の画像特徴量でもよい。画像解析部２０５は、これらの画像特徴量と共に、画像取得部２０３から入力するメタ情報から必要な情報を抽出して組み合わせて、特徴量として得点基準決定部２０６へ出力する。また、画像解析部２０５は、解析結果の特徴量を画像得点部２０７にも出力する。また、画像解析部２０５は、撮影日時情報を見開き割当部２１２に出力する。
特徴量選択部２１９は、画像解析部２０５から取得した特徴量の中で、ユーザ画像指定部２０２で指定されたユーザ画像群の特徴量を用いて、得点基準決定部２０６および画像得点部２０７で使用する特徴量の種類を選択する。画像解析部２０５において取得される特徴量には、複数種類の特徴量が含まれている。また、それらの特徴量のバリエーションも様々である。そこで、本実施形態では、特徴量選択部２１９は、ユーザ画像指定部２０２で指定されたユーザ画像群に基づいて、複数の特徴量の中から使用に適した種類の特徴量を選択する。特徴量選択部２１９で行う処理の詳細は、後述する。
得点基準決定部２０６は、特徴量選択部２１９から選択された特徴量の種類を取得する。そして、ユーザ画像指定部２０２で指定されたユーザ画像群の特徴量のうち、選択された種類の特徴量を用いて、後述の方法により画像得点部２０７で得点を算出するための得点基準を決定し、画像得点部２０７に提供する。ここでいう得点とは、各画像に対するレイアウトへの適切度を示した指標であり、高得点であるほどレイアウトに適していることを示す。また、得点基準とは、画像得点部２０７において得点を算出するための基準のことであり、ユーザ画像群の特徴量を基に得点基準を決定することで、ユーザの意図に沿った画像選択が可能となる。
画像得点部２０７は、得点基準決定部２０６から取得した得点基準および特徴量選択部２１９から取得した特徴量の種類を使用してアルバム候補画像群の各画像に対して得点付けを行う。得点付けした結果は、画像選択部２１１および画像レイアウト部２１４に出力される。
写真枚数調整量入力部２０８は、アルバム作成条件指定部２０１から指定された、アルバムに配置する写真枚数を調整する調整量を、写真枚数決定部２１０に入力する。
見開き数入力部２０９は、アルバム作成条件指定部２０１から指定された、アルバムの見開き数を、写真枚数決定部２１０および見開き割当部２１２に入力する。アルバムの見開き数は、複数の画像が配置される複数のテンプレートの数に相当する。
写真枚数決定部２１０は、写真枚数調整量入力部２０８から指定された調整量および見開き数入力部２０９から指定された見開き数に基づいて、アルバムを構成する総写真枚数を決定し、画像選択部２１１に入力する。
画像選択部２１１は、写真枚数決定部２１０から入力された写真枚数および画像得点部２０７で算出した得点に基づいて画像選択を行い、アルバムで使用されるレイアウト画像群（第３の画像群ともいう）のリストを作成して、見開き割当部２１２へ提供する。
見開き割当部２１２は、画像選択部２１１で選択された画像群に対して、撮影日情報を用いて、各画像を見開きに割り当てる。ここでは見開き単位で割り当てる例を説明するが、ページ単位に割り当ててもよい。
テンプレート入力部２１３は、アルバム作成条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートをＨＤＤ１０４から読み込み、画像レイアウト部２１４に入力する。
画像レイアウト部２１４は、個々の見開きについての画像のレイアウト処理を行う。具体的には、処理対象の見開きについて、テンプレート入力部２１３により入力された複数のテンプレートから画像選択部２１１で選択した画像に適したテンプレートを決定し、各画像のレイアウトを決定する。
レイアウト情報出力部２１５は、画像レイアウト部２１４が決定したレイアウトに従って、ディスプレイ１０５に表示するためのレイアウト情報を出力する。レイアウト情報は、例えば、決定したテンプレートに画像選択部２１１により選択された選択画像のデータがレイアウトされたビットマップデータである。
画像補正条件入力部２１６は、アルバム作成条件指定部２０１から指定された画像補正のＯＮ／ＯＦＦ情報を画像補正部２１７に提供する。補正の種類としては、例えば、輝度補正、覆い焼き補正、赤目補正、またはコントラスト補正などが挙げられる。画像補正のＯＮまたはＯＦＦは、補正の種類ごとに指定されてもよいし、全ての種類についてまとめて指定されてもよい。
画像補正部２１７は、画像補正条件入力部２１６より受信した、画像補正条件に基づいて、レイアウト情報出力部２１５が保持するレイアウト情報に対して補正を実施する。尚、画像変換部２０４から画像補正部２１７で処理する画像の画素数は、画像レイアウト部２１４で決定したレイアウト画像のサイズに合わせて変えることができる。本実施形態では、レイアウト画像を生成した後に、各画像に画像補正を行うものとしたが、これに限定されず、見開き又はページにレイアウトする前に、各画像の補正を行うようにしてもよい。
アルバム作成アプリケーションが画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上に、起動アイコンが表示される。ユーザがディスプレイ１０５に表示されている起動アイコンをポインティングデバイス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアプリのプログラムがＲＡＭ１０３にロードされ、ＣＰＵ１０１により実行されることで起動する。
＜表示画面の例＞
図３は、アルバム作成アプリケーションが提供するアプリ起動画面３０１の一例を示す図である。アプリ起動画面３０１は、ディスプレイ１０５に表示される。ユーザはアプリ起動画面３０１を介して後述するアルバムの作成条件を設定し、アルバム作成条件指定部２０１は、このＵＩ画面を通じてユーザからの設定内容を取得する。
アプリ起動画面３０１上のパスボックス３０２は、アルバム作成の対象となる複数の画像（例えば複数の画像ファイル）のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン３０３がユーザからのポインティングデバイス１０７でのクリック操作により指示されると、ＯＳに標準で搭載されているフォルダの選択画面が表示される。フォルダの選択画面では、ＨＤＤ１０４で設定されているフォルダがツリー構成で表示され、ユーザは、ポインティングデバイス１０７により、アルバム作成の対象とする画像を含むフォルダを選択することができる。ユーザにより選択されたアルバム候補画像群が格納されるフォルダのパスが、パスボックス３０２に表示される。
テンプレート指定領域３０４は、ユーザがテンプレート情報を指定するための領域であり、テンプレート情報がアイコンとして表示される。テンプレート指定領域３０４には、複数のテンプレート情報のアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックすることでテンプレート情報を選択可能である。
見開き数ボックス３０５は、ユーザからのアルバムの見開き数の設定を受け付ける。ユーザは、キーボード１０６を介して見開き数ボックス３０５に直接数字を入力するか、ポインティングデバイス１０７を用いてリストから見開き数ボックス３０５に数字を入力する。
チェックボックス３０６は、ユーザからの画像補正のＯＮ／ＯＦＦの指定を受け付ける。チェックが入った状態は画像補正ＯＮが指定された状態であり、チェックが入っていない状態は画像補正ＯＦＦが指定された状態である。本実施形態では、全ての画像補正が１つのボタンでＯＮ／ＯＦＦされるものとしたが、これに限定されず、画像補正の種類毎にチェックボックスを備えるようにしてもよい。
写真枚数調整３０７は、アルバムの見開きに配置する画像枚数をスライダーバーで調整するためのものである。ユーザは、スライダーバーを左右に移動させることにより、アルバムの各見開き配置する画像枚数を調整することができる。写真枚数調整３０７は、例えば、少は－５、多は＋５などの適当な数字に割り当てることで、見開き内に配置できる画像枚数の数を調整できるようにする。
商材指定部３０８は、作成するアルバムの商材を設定する。商材は、アルバムのサイズ、アルバムの用紙種類を設定することができる。個別に表紙種類および綴じ部の種類を設定してもよい。
ユーザによりＯＫボタン３０９が押下されると、アルバム作成条件指定部２０１は、アプリ起動画面３０１上で設定されている内容をアルバム作成アプリケーションの自動レイアウト処理部２１８に出力する。
その際、パスボックス３０２に入力されているパスは、画像取得部２０３に伝えられる。見開き数ボックス３０５に入力されている見開き数は、見開き数入力部２０９に伝えられる。テンプレート指定領域３０４で選択されているテンプレート情報は、テンプレート入力部２１３に伝えられる。画像補正チェックボックスの画像補正のＯＮ／ＯＦＦは、画像補正条件入力部２１６に伝えられる。
表示画面３０１上のリセットボタン３１０は、アプリ起動画面３０１上の各設定情報をリセットするためのボタンである。
図４は、アルバム作成アプリケーションが提供するユーザ画像選択画面４０１の一例を示す図である。アプリ起動画面３０１上のＯＫボタン３０９が押下されると、ディスプレイ１０５に表示される画面が、ユーザ画像選択画面４０１に遷移される。ユーザは、ユーザ画像選択画面４０１を介してユーザ画像を設定し、ユーザ画像指定部２０２は、ユーザからの設定内容を取得する。ユーザ画像とは、ユーザ画像群を構成する画像である。
ユーザ画像選択画面４０１上のパスボックス４０２は、ユーザ画像の対象となる複数の画像（例えば複数の画像ファイル）のＨＤＤ１０４中の保存場所（パス）を表示する。フォルダ選択ボタン４０３がユーザからのポインティングデバイス１０７でのクリック操作により指示されると、フォルダの選択画面が表示される。フォルダの選択画面では、ＨＤＤ１０４で設定されているフォルダがツリー構成で表示され、ユーザは、ポインティングデバイス１０７により、アルバム作成の対象とする画像を含むフォルダを選択することができる。ユーザにより選択されたフォルダのフォルダパスが、パスボックス４０２に表示される。パスボックス４０２には、パスボックス３０２と同じフォルダパスが表示されていてもよい。
ユーザ画像指定領域４０４は、ユーザがユーザ画像を指定するための領域であり、パスボックス４０２で指定されたＨＤＤ１０４内のフォルダに格納された複数の画像ファイルがアイコンとして表示される。ユーザ画像指定領域４０４には、複数の画像のアイコンが並んで表示され、ユーザがポインティングデバイス１０７によりクリックして選択可能である。図４においては、チェックマーク４０５が印された画像が、ユーザによって指定された画像であることを示している。ユーザが選択すればチェックマーク４０５が付き、その状態で再度選択するとチェックマーク４０５が消える。
ユーザによりＯＫボタン４０６が押下されると、ユーザ画像指定部２０２は、ユーザ画像選択画面４０１上で設定されている内容を取得する。ユーザ画像指定部２０２は、取得した設定内容を、アルバム作成アプリケーションの自動レイアウト処理部２１８に出力する。その際、チェックマーク４０５が付いている画像ファイルのリストは、ユーザ画像群の情報として画像取得部２０３に伝えられる。
ユーザ画像選択画面４０１上のリセットボタン４０７は、ユーザ画像選択画面４０１上の各設定情報をリセットするためのボタンである。
＜処理の流れ＞
図５は、アルバム作成アプリケーションの自動レイアウト処理部２１８の処理を示すフローチャートである。図５に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＡＭ１０３に読み出して実行することにより実現される。図５の説明では、ＣＰＵ１０１が上記アルバム作成アプリケーションを実行することで機能する、図２に示す各構成要素が処理を実行するものとして説明する。図５を参照しながら、自動レイアウト処理を説明する。尚、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する（以下、本明細書において同様である）。
Ｓ５０１では、画像変換部２０４は、画像を変換して解析画像を生成する。Ｓ５０１の時点では、アプリ起動画面３０１及びユーザ画像選択画面４０１のＵＩ画面を通じた各種の設定が完了している状態であるものとする。即ち、アルバム作成条件、アルバム候補画像群、及びユーザ画像群が設定済みの状態であるものとする。Ｓ５０１において、具体的には、画像変換部２０４は、アルバム作成条件指定部２０１及びユーザ画像指定部２０２で指定されたＨＤＤ１０４内のフォルダに格納された複数の画像ファイルを特定する。そして、特定された複数の画像ファイルをＨＤＤ１０４からＲＡＭ１０３に読み出す。そして画像変換部２０４は、読み出された画像ファイルの画像を、前述したように、所定の画素数及び色情報を有する解析画像に変換する。本実施形態では、短辺が４２０画素であり、ｓＲＧＢに変換された色情報を有する解析画像に変換する。
Ｓ５０２では、画像解析部２０５は、Ｓ５０１で生成された解析画像の解析処理を実行し、特徴量を取得する。特徴量としては、例えば、画像に格納されているメタ情報、及び、画像を解析することで取得できる画像特徴量が挙げられる。本実施形態では、解析処理として、ピントの合焦度合いの取得、顔検出、個人認識、及びオブジェクト判定を実行するが、これに限定されず、その他の解析処理を実行してもよい。以下、Ｓ５０２において画像解析部２０５で行われる処理の詳細を説明する。
画像解析部２０５は、画像取得部２０３から受け取ったメタ情報のうち、必要なメタ情報を抽出する。画像解析部２０５は、例えば、ＨＤＤ１０４から読み出された画像ファイルに付随するＥｘｉｆ情報から、該画像ファイル内の画像の時間情報として、撮影日時を取得する。尚、メタ情報としては、例えば、画像の位置情報またはＦ値などを取得しても良い。また、メタ情報として、画像ファイルに付随する以外の情報を取得してもよい。例えば、画像の撮影日時に紐づくスケジュール情報を取得してもよい。
また、画像解析部２０５は、Ｓ５０１で生成された解析画像から画像特徴量を取得する。画像特徴量としては、例えば、ピントの合焦度合いが挙げられる。ピントの合焦度合いを求める方法として、エッジの検出が行われる。エッジの検出方法として一般的にソーベルフィルタが知られている。ソーベルフィルタでエッジ検出を行い、エッジの始点と終点の輝度差を、始点と終点の距離で割れば、エッジの傾きが算出される。画像中のエッジの平均傾きを算出した結果から、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているとみなすことができる。そして、傾きに対して異なる値の複数の閾値を設定すれば、どの閾値以上かを判定することにより、ピント量の評価値を出力可能である。本実施形態では、異なる２つの閾値を予め設定しておき、「○」、「△」、「×」の３段階により、ピント量を判定する。例えば、アルバムに採用したいピントの傾きを「○」と判定し、許容可能なピントの傾きを「△」と判定し、許容不可能な傾きを×と判定し、各閾値を予め設定しておく。閾値の設定は、例えば、アルバム作成アプリケーションの作成元等により提供されても良いし、ユーザインタフェース上で設定可能としても良い。尚、画像特徴量としては、例えば、画像の明るさ、色味、彩度、または解像度などを取得してもよい。
画像解析部２０５は、Ｓ５０１で生成された解析画像に対して、顔検出を実行する。ここで、顔検出の処理には、公知の方法を用いることができる。例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが顔検出処理に用いられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔画像が検出される。画像解析部２０５は、顔画像を抽出するとともに、検出した顔画像の位置の左上座標値と右下座標値を取得する。この２種の座標を持つことにより、画像解析部２０５は、顔画像の位置と顔画像のサイズとを取得可能である。なお、ここでは、ＡｄａＢｏｏｓｔを用いてオブジェクトを検出するケースを説明したが、ニューラルネットワーク等の学習済モデルを用いてオブジェクト検出を行ってもよい。
画像解析部２０５は、顔検出で検出された、解析画像に基づく処理対象の画像内の顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像とを比較することにより、個人認識を行う。画像解析部２０５は、複数の代表顔画像のそれぞれに対して、処理対象の画像内の顔画像との類似性を取得する。また、類似性が閾値以上であり且つ類似性が最も高い代表顔画像を特定する。そして、特定された代表顔画像に対応する個人ＩＤを、処理対象の画像内の顔画像のＩＤとする。尚、上記複数の代表顔画像のすべてについて、処理対象の画像内の顔画像との類似性が閾値未満の場合、画像解析部２０５は、処理対象の画像内の顔画像を新規の代表顔画像として、新規の個人ＩＤと対応付けて顔辞書データベースに登録する。
画像解析部２０５は、Ｓ５０１で生成された解析画像に対して、オブジェクト認識を実行する。ここで、オブジェクト認識の処理には、公知の方法を用いることができる。本実施形態では、ＤｅｅｐＬｅａｒｎｉｎｇにより作成した判別器（学習済モデル）によりオブジェクトが認識される。判別器は各オブジェクトに対する０～１の尤度を出力し、ある閾値を超えたオブジェクトが画像中にあると認識する。画像解析部２０５は、オブジェクト画像を認識することで、犬または猫などのペット、花、食べ物、建物、置物、およびランドマークなどのオブジェクトの種類を取得可能となる。また、画像解析部２０５は、別の判別器を用いることにより審美性スコアを判定する。審美性スコアとは画像の印象の良さを０～１のスコアとして表す。オブジェクト認識は一般に入力画像に対するオブジェクトのＩＤを正解としてＤｅｅｐＬｅａｒｎｉｎｇによって学習し判別器を作成する。また、審美性スコアは入力画像に対するスコア値を正解として学習し判別器を作成する。本実施形態ではオブジェクトと審美性とを判別しているが、これに限定されず、表情、撮影構図、または、旅行もしくは結婚式などのシーンなどを認識することで、それぞれの種類を取得してもよい。また、判別を実行する前の、判別器から出力された尤度そのものを利用しても良い。これにより、得点基準決定部２０６においてより自由度のある得点基準が決定できる。
図６は、特徴量を示す図である。画像解析部２０５は、Ｓ５０２で取得した特徴量を、図６に示すように各画像（解析画像）を識別するＩＤ毎に区別して、ＲＯＭ１０２等の記憶領域に記憶する。例えば、図６に示すように、Ｓ５０２で取得された撮影日時情報、ピント判別結果、検出された顔画像の数とその位置情報及び類似性、認識したオブジェクトの種類、審美性スコア、解像度、並びに色味が、テーブル形式で記憶される。尚、顔画像の位置情報は、Ｓ５０２で取得された個人ＩＤ毎に区別して記憶される。また１つの画像から複数種類のオブジェクトが認識された場合、図６に示すテーブルには、その１つの画像に対応する行に、オブジェクトの複数種類がすべて記憶される。
Ｓ５０２５では、アルバム候補画像群とユーザ選択画像群とに含まれる全ての画像に対して、Ｓ５０１～Ｓ５０２の処理が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ５０１からの処理を繰り返す。終了していると判定された場合、処理はＳ５０３に進む。即ち、Ｓ５０１～Ｓ５０２の処理が、指定フォルダに格納されている全画像に対して繰り返し実行されることで、全画像のそれぞれの情報を含む図６に示すテーブルが作成される。
Ｓ５０３では、特徴量選択部２１９は、Ｓ５０２で取得した特徴量の中で得点基準決定部２０６および画像得点部２０７で使用する特徴量の種類を選択する。
図７は、Ｓ５０３で特徴量選択部２１９が行う処理を詳細に示すフローチャートである。以下、図７を用いて特徴量選択処理を説明する。Ｓ７０１では、特徴量選択部２１９は、Ｓ５０２で取得した特徴量の中でユーザ画像指定部２０２により指定された画像の特徴量を取得する。即ち、特徴量選択部２１９は、ユーザ画像群の各ユーザ画像の特徴量を取得する。
Ｓ７０２では、特徴量選択部２１９は、Ｓ７０１で取得した特徴量をもとに、ユーザ画像指定部２０２で指定されたユーザ画像に共通するコンセプトを推定する。コンセプトとは、ユーザが画像を選択した意図のことで、例えばユーザが家族写真を複数選択していた場合、「家族に関する写真」を選んだのか「ある家族旅行の写真」を選んだのかを推定する。コンセプトを推定することにより、後述する画像選択部２１１の処理においてユーザの意図に沿った画像を選択することができる。
図８は、コンセプトおよびコンセプトを推定するための情報が登録されたコンセプトテーブルの例である。図８の要素を列ごとに説明する。コンセプト名列は、コンセプトを表す名称を表している。優先度列は、コンセプトを推定する際に、どのコンセプトを優先するかを表す数値を表している。ルール列は、各コンセプトを推定するための条件を表している。特徴量列は、各コンセプトにおいて重要な特徴量の種類の一覧を表している。例えば、図８では、特徴量の種類には、撮影日時、顔検出の結果、オブジェクトの判別の結果、解像度、審美性スコア、構図、画像特徴（明るさ、色味、ピント）、カメラメーカー、およびスケジュール情報などが含まれる。コンセプトテーブルは、例えば、アルバム作成アプリケーションの作成元等により提供されてもよいし、ユーザインタフェース上で設定可能としてもよい。特徴量選択部２１９は、Ｓ７０１で取得した特徴量に基づいて、コンセプトテーブルに定義されたルールを優先度順に照合し、該当したコンセプトを、ユーザが選択した画像のコンセプトであると推定とする。例えば、図８に示すように、ユーザ画像群に含まれる人物画像が８割以上である場合、コンセプトは「人物」であると判定し、特徴量選択部２１９は、顔検出結果、個人認識結果、画像特徴（ピント）、及び構図を、使用する特徴量の種類として選択する。なお、全てのコンセプトに該当しない場合、優先度が最も低いコンセプトとすればよい。また、コンセプトまたはルールはこれに限らない。
本実施形態においてはテーブル構造によってコンセプトを推定したがこれに限らない。例えば決定木またはサポートベクタマシンのような機械学習によって、ルールと重要な特徴量とを決定してもよい。この場合、予め複数種類の画像をクラスタリングまたは学習した判別器を用いる。
また別の例として、本実施形態においてはルール列に基づいてコンセプトを決定したが、これに限らない。例えばどのコンセプトに最も近いかを表すコンセプト得点を算出してもよい。この場合、事前にコンセプトに近い画像を複数枚指定し、指定された画像に基づいて各特徴量の平均値および標準偏差を求めておく。なお、事前に画像を指定して値を求めるタイミングは、アプリケーションの開発段階に行われてアプリケーションに値を組み込んでおいてもよい。あるいは、ユーザが所定のタイミングで行い、ＲＯＭ１０２等の記憶領域に値を記憶しておいてもよい。
図９は、各コンセプトにおける各特徴量の平均値および標準偏差を示す図である。図９に示すテーブルは、上記のように事前に、または、ユーザによって、各コンセプトに対応する画像が指定され、その結果、求められた各特徴量の平均値および標準偏差を示している。図９では、コンセプト得点を求める場合に使用する特徴量は、撮影期間、人物写真比率、同一人物比率、および審美性スコアである。特徴量選択部２１９は、コンセプト得点を求める場合、ユーザ画像群における図９に記載されている各特徴量のコンセプト得点を、式（１）より算出する。
特徴量得点＝５０－｜１０×（平均値－特徴量平均値）／標準偏差｜ ・・・（１）
ここで、平均値および標準偏差は、それぞれ図９に記載の平均値および標準偏差を表す。特徴量平均値は、ユーザ選択画像群における該当特徴量の平均値を表す。特徴量得点は予め求められたコンセプトを表す傾向とユーザ選択画像群の傾向とのズレを表現しており、ズレが小さく、ばらつきの範囲内に収まっているほど得点が高くなる。特徴量選択部２１９は、図９に記載の全特徴量得点の平均値をコンセプト得点とし、最も高いコンセプト得点となったコンセプトを、ユーザ画像群のコンセプトとして推定することができる。
なお、コンセプトは、階層構造を有していてもよい。例えば「人物」コンセプトの下に「家族」「個人」のようなサブコンセプトを設けたり、「イベント」コンセプトの下に「短期旅行」「長期旅行」「結婚式」「子供イベント」のようなより具体的なサブコンセプトを設けたりしてもよい。この場合、それぞれをより正確に判別するためのルールおよび特徴量を設定できる。
図１０は、サブコンセプトを説明する図である。図１０では、「人物」コンセプトに対するサブコンセプトを設定した場合のコンセプトテーブルの例を示している。図１０では、全てのサブコンセプトで共通して使用する「共通特徴量」を記録すると共に、各サブコンセプトを判定するためのルールおよび使用する特徴量が記録されている。特徴量選択部２１９は、このようなサブコンセプトを利用して、ユーザ画像群のコンセプトを推定してもよい。例えば、図１０の場合には、「人物」コンセプトと、「個人」、「ペア」、および「グループ」のうちのいずれかのコンセプトとの２つのコンセプトが選択されることになる。
図７の説明に戻る。Ｓ７０３では、特徴量選択部２１９は、Ｓ７０１で取得した特徴量の内、得点基準決定部２０６および画像得点部２０７に出力する特徴量の種類を選択する。本実施形態においては、Ｓ７０２で推定したコンセプトに対して、図８のコンセプトテーブルで定義された特徴量列を参照して該当する特徴量の種類を選択する。以上が特徴量の選択処理の説明である。
なお、本実施形態においてはＳ５０１～Ｓ５０２５において画像解析部２０５が全ての画像について一律に画像解析を行った後に特徴量選択部２１９が使用する特徴量の種類を選択したが、これに限らない。例えば、まず画像解析部２０５がユーザ指定画像群についてコンセプトテーブルのルール列に関係する特徴量のみを解析する。次に、特徴量選択部２１９がコンセプトの推定および使用する特徴量の種類を選択した後に、再度画像解析部２０５がアルバム候補画像群の全ての画像の解析を行い、Ｓ５０３で選択された特徴量を求めてもよい。これにより、不要な解析時間を削減することができる。
また、本実施形態では、Ｓ７０２では、コンセプトを１つ推定したが、これに限らない。例えばルール列に定義されたルールに該当すれば、いくつでもコンセプトを採用してもよい。即ち、特徴量選択部２１９は、複数のコンセプトを選択し、その複数のコンセプトにそれぞれ対応する特徴量の種類を選択してもよい。その場合、Ｓ７０３では推定された各コンセプトで定義された特徴量列を参照して該当する特徴量の種類を選択すればよい。
Ｓ５０４では、得点基準決定部２０６は、Ｓ５０３で選択された種類の特徴量に対応する、ユーザ画像群のユーザ画像の特徴量に基づいて得点基準を決定する。即ち、ユーザ画像群の画像ＩＤに対応する特徴量の種類のうち、Ｓ５０３で選択された種類の特徴量に基づいて、画像得点部２０７で使用する得点基準を決定する。ここで述べる得点とは、各画像に対するレイアウトへの適切度を示した指標である。また、得点基準とは、画像得点部２０７において得点を算出するための基準のことであり、例えば、ある係数を用いて構成される式または得点算出アルゴリズムのことである。得点基準決定部２０６は、得点基準に用いられる制御情報を生成し、制御情報に基づいて得点基準を決定し、画像得点部２０７に提供する。制御情報は、具体例としては、後述するように特徴量ごとの平均値および標準偏差である。
図１１は、特徴量空間上での特徴量を示す図である。図１２は、Ｓ５０４の得点基準決定処理の詳細を示すフローチャートである。以下、図１１および図１２を用いて、Ｓ５０４で行われる得点基準決定処理を説明する。
Ｓ１２０１では、得点基準決定部２０６は、制御情報として、Ｓ５０３で選択された特徴量ごとに、ユーザ画像群の平均値および標準偏差を算出する。以下、図１１を用いて制御情報を説明する。
図１１（ａ）は、各画像の特徴量を、特徴量空間上にプロットした一例を示している。Ｓ５０３で選択される特徴量空間は多次元であるため、全てを図示することができないので、図１１（ａ）では、各特徴量の中から個人ＩＤ１に対する類似性と撮影時間との２つの特徴量を抜き出したもので説明する。ただし、１つの特徴量を用いた１次元の特徴空間であってもよい。また、Ｓ５０３で選択された他の種類の特徴量に対しても同様に処理を行う。点１１０１を例とする網掛けされた点は、ユーザ画像に対応する特徴量をプロットした点を示している。点１１０２を例とする網掛けされていない点は、アルバム候補画像に対応する特徴量をプロットした点を示している。図中の“×”で示す点１１０３は、ユーザ画像群の特徴量ベクトルから求められる平均値ベクトルを示している。
図１１（ｂ）は、個人ＩＤ１に対する類似性の特徴量軸に各画像をプロットしたものである。個人ＩＤ１の顔が画像に含まれ、かつ、個人ＩＤ１で識別される人物との相関が高いほど、つまり個人ＩＤ１と同一人物である確率が高いほど、大きな値（軸の右方向）になっている。点１１０４は、この特徴量軸におけるユーザ画像群の平均値を示したものであり、幅１１０５は、この特徴量軸におけるユーザ画像群の標準偏差を示したものである。図１１（ｂ）に示す個人ＩＤ１に対する類似性の特徴量軸では、各ユーザ画像が近しい特徴を有しており、標準偏差１１０５が小さい密な分布となっている。つまり、ユーザ画像群の全ての画像で個人ＩＤ１の人物が多く含まれている確率が高いことがわかる。
図１１（ｃ）は、撮影日時の特徴量軸に各画像をプロットしたものである。点１１０６は、この特徴量軸におけるユーザ画像群の平均値を示したものであり、幅１１０７は、この特徴量軸におけるユーザ画像群の標準偏差を示したものである。撮影日時の特徴量軸では、各ユーザ画像が異なる特徴を有しており、標準偏差１１０７が大きい疎な分布となっている。つまり、ユーザ画像群には様々な撮影日時の画像が含まれていることがわかる。
Ｓ１２０２では、Ｓ５０３で選択された全ての種類の特徴量項目に対して、Ｓ１２０１の処理が終了したか否かが判定される。ここで、終了していないと判定された場合、Ｓ１２０１からの処理を繰り返す。終了していると判定された場合、処理はＳ１２０３に進む。
Ｓ１２０３では、得点基準決定部２０６は、アルバム作成アプリケーションに予め組み込まれている得点基準を取得する。そして、Ｓ１２０４において、Ｓ１２０１で算出した制御情報（本例では、Ｓ５０３で選択された特徴量ごとの平均値および標準偏差）を用いて、得点基準を決定する。より詳細には、本実施形態では、以下で説明する式（２）および式（３）が、得点基準として取得され、Ｓ１２０１で算出した制御情報（特徴量ごとの平均値および標準偏差）を式（２）に適用することで、得点基準が決定される。その後、Ｓ５０５に進み、画像得点部２０７によるアルバム候補画像群の画像の得点化の処理が行われる。以下、Ｓ５０４で決定される得点基準と、その後のＳ５０５での得点化の処理との例を併せて説明する。本実施形態では、Ｓ５０５では、画像得点部２０７は、はじめに、Ｓ１２０１で算出した制御情報を用いた式（２）を用いて、得点化の対象となる画像（「注目画像」という）ごと、かつ特徴量ごとの得点を算出する。尚、得点化の対象となる画像は、アルバム候補画像群の画像である。
Ｓｊｉ＝（５０－１０×｜μｉ―ｆｊｉ｜／σｉ）／σｉ・・・（２）
ここで、ｊは注目画像のインデックスを、ｉは特徴量のインデックスを、ｆｊｉは注目画像の特徴量を、Ｓｊｉは特徴量ｆｊｉに対応する得点を、μｉとσｉはそれぞれユーザ画像群の特徴量ごとの平均値と標準偏差を示している。つまり、図１１（ｂ）のような、ユーザ画像群の標準偏差１１０５が小さい密な分布となっているような特徴量では、平均値に近い注目画像の特徴量の得点が、平均値から離れた特徴量に比べて高く算出される。一方、図１１（ｃ）のような、ユーザ画像群の標準偏差１１０７が大きい疎な分布となっているような特徴量では、平均値に近い注目画像の特徴量の得点は、平均値から離れた特徴量に比べて、図１１（ｂ）のケースほど、差が生じない。
そして、Ｓ５０５では、画像得点部２０７は、式（２）で求めた、注目画像ごと、かつ特徴量ごとの得点Ｓｊｉと、式（３）と、を用いて、各注目画像の得点を算出する。
Ｐｊ＝Σｉ（Ｓｊｉ）／Ｎｉ・・・（３）
ここで、Ｐｊは各注目画像の得点を、Ｎｉは特徴量の項目数を示している。つまり、各注目画像の得点は、各特徴量の得点の平均として算出される。このように、Ｓ１２０４において得点基準決定部２０６は、これらの式（２）および式（３）を得点基準として決定する。その後のＳ５０５において、画像得点部２０７は、上述したように式（２）および式（３）を適用して、各注目画像の得点化を行う。
ここで、アルバムに用いる画像はピントが合っている方が好ましいので、図６に示すピントの特徴量が「〇」である注目画像に対しては所定の得点を加算するようにしても良い。また、ある特定のオブジェクトを有する注目画像に対しては所定の得点を加算するようにしても良い。例えば、動物を含む画像を多く選択したいケースにおいて、動物に属するオブジェクトを含む注目画像に対して所定の得点を加算することで、優先的に選択されるような制御が可能となる。
以上の得点基準によれば、図１１（ｂ）における個人ＩＤ１に対する類似性のように、標準偏差σが小さくなる特徴量においては、ユーザ画像群と近い特徴を持つ注目画像ほど、式（２）により算出される得点が高くなる。そのため、ユーザ画像群において密な分布となる特徴量である個人ＩＤ１に対する類似性に関しては、ユーザ画像群と近い特徴を持つ注目画像ほど得点が高くなり、選択されやすくなる。
対して、図１１（ｂ）における撮影日時のように、標準偏差σが大きくなるような特徴量においては、平均値μと注目画像の特徴量ｆｊｉとの差分によらず、式（２）により算出される得点は小さくなる。そのため、ユーザ画像群において疎な分布となる特徴量である撮影日時に関しては、注目画像がどのような特徴を持っていても画像選択への影響は小さくなる。
このように、本実施形態における得点基準を用いると、アルバム候補画像群からは、ユーザ画像群に共通する特徴を持つ画像が選択され、レイアウト画像群として統一感のある画像選択が可能となる。また、本実施形態の得点基準は、使用する制御情報（特徴量）が、ユーザ画像群から推定されたコンセプトに応じた種類の特徴量に制限されている。このため、ユーザ画像群のコンセプトに対応した画像選択が可能となる。
また、式（２）により算出した各特徴量の得点のうち、最も大きい得点を注目画像の得点とするような得点基準を用いてもよい。これにより、各特徴量のうち、１つ以上の特徴量がユーザ画像群と近い特徴を持つ場合に、高い得点を付与することができる。例えば、図１１において、注目画像の個人ＩＤ１に対する類似性以外の特徴量が、撮影日時のようにユーザ画像群と異なる特徴を有する場合でも、注目画像に高い得点を付与することができる。
また、多次元の特徴量空間上において、ユーザ画像群の平均ベクトルと、注目画像のベクトルとの差分をもとに、注目画像の得点を算出するような得点基準を用いてもよい。これにより、全ての特徴量を総合的に鑑みた得点付けが可能となる。例えば、図１１（ａ）において、アルバム候補画像１１０２は、多次元空間上で平均値ベクトル１１０３と近い特徴を持つため、高い得点が付与される。対して、アルバム候補画像１１０８は、多次元空間上では平均値ベクトル１１０３と異なる特徴を持つため、高い得点は付与されない。すなわち、１つ以上の特徴量がユーザ画像群の平均値ベクトル１１０３と異なる特徴を持つ場合に、高い得点が付与されないように制御できる。
本実施形態では、ユーザ画像群の各特徴量の平均および標準偏差を用いて得点基準を決定したが、これに限定されず、例えば式（４）のように、ユーザ画像群の各特徴量およびその標準偏差を用いる得点基準を決定しても良い。
Ｓｊｉ＝Σｋ（５０－１０×｜ｆｋｉ―ｆｊｉ｜／σｉ）／（σｉ×Ｎｋ）・・・（４）
ここで、ｋはユーザ画像のインデックスを、ｆｋｉはユーザ画像の特徴量を、Ｎｋはユーザ画像群に含まれる画像枚数を示している。このようにして、注目画像の特徴量と各ユーザ画像の特徴量とを比較をすることで、より正確に注目画像とユーザ画像群の特徴量の差分を評価できる。
本実施形態においては、制御情報としてユーザ画像群の特徴量の平均値および標準偏差を用いたが、これに限らず、特徴量の中央値、分布形状（正規分布またはポアソン分布など）、四分位範囲、または四分位偏差などを用いてもよい。例えば、ユーザ画像群の特徴量の中央値および標準偏差を用いてもよいし、ユーザ画像群の特徴量の平均値および四分位偏差を用いてもよい。即ち、ユーザ画像群の特徴量の平均値および中央値のうちの少なくとも一方と、標準偏差、四分位偏差、および分布形状のうちの少なくとも一方とを用いてもよい。
再び、図５を参照する。Ｓ５０４に続き、Ｓ５０５では、前述したように、画像得点部２０７は、得点基準決定部２０６で決定された得点基準を取得する。即ち、前述したように、式（２）～（４）に示すような式を、得点基準として取得する。そして、画像得点部２０７は、取得した得点基準に基づいてアルバム候補画像群の各画像に対して得点化を実行する。得点化とは、画像ごとに得点を付与する（スコアリング）ことである。付与された得点は、画像選択部２１１に提供され、後述のレイアウトに用いられる画像の選択時に参照される。
Ｓ５０６では、画像得点部２０７は、ユーザ指定のフォルダ内の全てのアルバム候補画像群の画像に対してＳ５０５の画像得点化が終了したか否かを判定する。終了していないと判定された場合、Ｓ５０５からの処理が繰り返される。終了していると判定された場合、Ｓ５０７に処理が進む。
Ｓ５０７では、写真枚数決定部２１０は、アルバムに配置する写真枚数を決定する。本実施形態においては、写真枚数調整量入力部２０８から入力された、見開き写真枚数を調整する調整量と、見開き数入力部２０９から入力された見開き数とを用いて、式（５）により、アルバムに配置する写真枚数を決定する。
写真枚数＝［見開き数×（基本写真枚数＋調整量）］・・・（５）
ここで、［・］は小数部分を切り捨てる床関数を示し、基本写真枚数は調整しない場合の見開きに配置する画像枚数を示している。本実施形態においては、基本写真枚数はレイアウト時の見栄えを考慮して６枚とし、アルバム作成アプリケーションのプログラムに予め組み込んでおく。
また、本実施形態では、見開き数および写真枚数調整量に基づいてレイアウトする写真枚数を決定したが、これに限らず、ユーザ画像指定部２０２において指定されたユーザ画像の枚数に応じて、レイアウトする写真枚数を決定してもよい。例えば、ユーザ画像の枚数が多いほど、レイアウトする写真枚数を多く設定するような制御をしてもよい。
Ｓ５０８では、画像選択部２１１は、画像得点部２０７で算出した各画像に対する得点および写真枚数決定部２１０から決定した写真枚数から、レイアウトする画像を選択する。以下、選択された画像群のことを、レイアウト画像群という。
本実施形態においては、ユーザ画像群は、全てレイアウトする画像群として選択される。そして、画像選択部２１１は、レイアウトする総画像枚数からユーザ画像群枚数を引いた数だけ、アルバム作成条件指定部２０１で指定した画像群から、画像得点部２０７で付与された得点が高い順番に画像を選択する。
得点基準決定部２０６および画像得点部２０７において、上述した方法を実行することで、画像選択部２１１での選択においては、ユーザ画像群と近しい特徴を持つ画像が選択されるようになる。
図１３は、画像選択結果の一例を示す図である。図１３（ａ）は、本実施形態における画像選択結果の一例を示している。図１３（ｂ）は、比較例として、本実施形態を用いない場合の画像選択結果の一例を示している。まず、図１３（ａ）を用いて説明する。説明のために、各画像にはＡからＥまでの異なる特徴量に対して、一番得点が高い特徴量を記している。図１３（ａ）では、ＡからＥまでの異なる特徴を有したアルバム候補画像群に対して、ユーザ画像指定部２０２においてＡとＣの特徴を有する画像をユーザ画像群として指定する。すると、画像選択部２１１ではＡとＣの特徴を有する画像がレイアウト画像群として選択される。このようにして、ユーザ画像群からユーザの意図を汲み取り、画像選択に反映することができる。一方、図１３（ｂ）は、ユーザ選択画像が無い場合の画像選択結果の一例を示している。この場合においては、アルバム候補画像群全体の特徴量の傾向をもとに画像を選択するため、画像枚数が多いＡの特徴およびＢの特徴を有する画像が多く選択される結果となる。また、図１３（ｂ）の場合に、仮に図１３（ａ）と同じように、ユーザ指定の画像があったとしても、アルバム候補画像群から自動選択されると、やはり、アルバム候補画像群全体の特徴量の傾向をもとに画像を選択することになる。このため、画像枚数が多いＡの特徴およびＢの特徴を有する画像が多く選択される結果となる。
なお、画像選択の方法として、得点が高いほど、高い選択確率を設定し、確率で選択するようにしてもよい。このようにして、確率で選択することによって、自動レイアウト処理部２１８による自動レイアウト機能を実行する度にレイアウト画像を変えることができる。例えば、ユーザが自動レイアウト結果に納得しない場合に、ＵＩ不図示の再選択ボタンを押すことで、ユーザは前回と異なるレイアウト結果を得ることができる。
また、画像選択部２１１は、ユーザ画像群からレイアウト画像を選択せずに、アルバム作成条件指定部２０１で指定した画像群から、レイアウトする総画像枚数分を選択してもよい。この方法に依れば、アルバムには載せたくないが、理想的な被写体配置および構図の画像をユーザ画像指定部２０２で指定することで、理想に近い画像を探して選択することが可能となる。
また、アルバム作成条件指定部２０１で指定した画像データ群及びユーザ画像を合わせた画像群から、レイアウトする総画像枚数分を選択してもよい。この方法に依れば、ユーザ画像群内の画像よりも、よりレイアウトに適切な画像を探して選択する可能性が生まれる。この場合、画像得点部２０７は、アルバム候補画像群だけではなく、ユーザ画像群にも得点付けを実施しておく。
また、画像選択部２１１において、画像得点部２０７で算出した得点が、ある閾値以上となった画像をレイアウト画像として選択する場合は、写真枚数決定部２１０において写真枚数を決定しなくてもよい。この場合、選択される画像枚数が見開き数となるような値が、閾値として設定され得る上限となる。
再び図５に戻り説明を続ける。Ｓ５０９では、見開き割当部２１２は、Ｓ５０８で取得したレイアウト画像群を、見開き数入力部２０９から入力された見開き数分の画像群に分割して割り当てる。本実施形態では、レイアウト画像をＳ５０２で取得した撮影時間順に並べ、隣り合う画像間の撮影時間の時間差が大きい場所で分割する。このような処理を、見開き数入力部２０９から入力された見開き数分に分割するまで行う。つまり、（見開き数－１）回の分割を行う。これにより、撮影時間順に画像が並んだアルバムを作成することができる。なお、Ｓ５０９の処理は、見開き単位ではなく、ページ単位で行っても良い。
Ｓ５１０では、画像レイアウト部２１４は、画像レイアウトの決定を行う。以下、テンプレート入力部２１３が、指定されたテンプレート情報に従って、ある見開きに対して図１４の（ａ）～（ｐ）を入力する例を説明する。
図１４は、画像データのレイアウトに使うテンプレート群を示す図である。テンプレート群に含まれている複数のテンプレートのそれぞれが、各見開きに対応している。テンプレート１４０１は１枚のテンプレートである。テンプレート１４０１には、メインスロット１４０２と、サブスロット１４０３と、サブスロット１４０４とが含まれる。メインスロット１４０２は、テンプレート１４０１内でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１４０３およびサブスロット１４０４よりもサイズが大きい。
ここでは、入力されたテンプレートのスロット数は一例として３と指定されている。選択されている３枚の画像の向きが縦方向か横方向かを撮影日時について並べると、図１４（ｑ）のようであるとする。
ここでは、見開きに割り当てられた各画像群において、画像得点部２０７で算出した得点が最も大きい画像をメインスロット用とし、その他の画像をサブスロット用に設定する。なお、画像解析部で取得したある特徴量に基づいてメインスロット用かサブスロット用かを設定してもよいし、ランダムに設定しても良い。また、ユーザ選択画像を優先的にメインスロットにしてもよい。
ここでは、画像データ１４０５がメインスロット用であり、画像データ１４０６と１４０７がサブスロット用であるものとする。本実施形態では、テンプレートの左上に撮影日時のより古い画像データがレイアウトされ、右下に撮影日時のより新しい画像がレイアウトされる。図１４（ｑ）では、メインスロット用の画像データ１４０５は、撮影日時が一番新しいので、図１４（ｉ）～（ｌ）のテンプレートが候補となる。また、サブスロット用の古い方の画像データ１４０６が縦画像であり、新しい方の画像データ１４０７が横画像であるので、結果、図１４（ｊ）のテンプレートが、選択された３つの画像データに最も適したテンプレートとして決定され、レイアウトが決まる。Ｓ５１０では、どの画像をどのテンプレートのどのスロットにレイアウトするかが決定される。
Ｓ５１１では、画像補正部２１７は、画像補正を実行する。画像補正部２１７は、画像補正条件入力部２１６から画像補正がＯＮであることを示す情報が入力された場合、画像補正を実行する。画像補正として、例えば、覆い焼き補正（輝度補正）、赤目補正、またはコントラスト補正が実行される。画像補正部２１７は、画像補正条件入力部２１６から画像補正がＯＦＦであることを示す情報が入力された場合、画像補正を実行しない。画像補正は、例えば、短辺１２００画素で、ｓＲＧＢの色空間にサイズが変換された画像データに対しても実行可能である。
Ｓ５１２では、レイアウト情報出力部２１５は、レイアウト情報を作成する。画像レイアウト部２１４は、Ｓ５１０で決定されたテンプレートの各スロットに対して、Ｓ５１１の画像補正が実行された画像データをレイアウトする。このとき、画像レイアウト部２１４は、スロットのサイズ情報に合わせてレイアウトする画像データを変倍してレイアウトする。そして、レイアウト情報出力部２１５は、テンプレートに画像データがレイアウトされたビットマップデータを、出力画像データとして生成する。
Ｓ５１３では、画像レイアウト部２１４は、Ｓ５１０～Ｓ５１２の処理が全ての見開きに対して終了したか否かを判定する。終了していないと判定された場合、Ｓ５１０からの処理を繰り返す。終了していると判定された場合、図５の自動レイアウト処理は終了する。
図５の自動レイアウト処理が終了すると、レイアウト情報出力部２１５は、Ｓ５１２で生成された、画像がテンプレートにレイアウトされたビットマップデータ（出力画像データ）を、ディスプレイ１０５に出力し、表示させる。なお、生成された画像データは、ユーザ指示に基づき、インターネットを介してサーバにアップロードされてもよい。アップロードされた画像データに基づき、印刷及び製本処理が実行され、冊子としてのアルバム（フォトブック）が作られ、ユーザの元へ届けられる。
以上が、自動レイアウト処理を実施するための処理フローに関する説明である。本実施形態によれば、ユーザの意図に沿う画像を適切に選択することができる。特に、本実施形態では、ユーザ画像群を基にコンセプトを推定し、推定したコンセプトに基づいて使用する特徴量の種類を決定（制限）することで、ユーザの意図を汲んだ画像選択が可能となる。また、本実施形態によれば、アルバム候補画像群の全体の傾向と、ユーザ画像群の傾向とが異なる場合に、アルバム候補画像群の全体の傾向に応じて画像を選択する場合に比べて、ユーザの意図を汲んだ画像選択が可能となる。
＜＜第２実施形態＞＞
第１実施形態では、ユーザ画像群からコンセプトを推定し、そのコンセプトに応じた特徴量の種類を選択し、選択した種類の特徴量を用いて得点基準を決定する例を説明した。本実施形態では、特徴量に応じて重みを付与し、重みを用いて得点基準を決定する例を説明する。
図１５は、第２実施形態を説明するためのソフトウェアブロック図である。なお、図１５において図２と同様の番号に関しては同様の処理を実施するため、ここでは説明を割愛する。図１５の自動レイアウト処理部２１８は、特徴量重み付け部１５０１をさらに有する。また、図２の得点基準決定部２０６が、得点基準決定部１５０２に変更になっている。
特徴量重み付け部１５０１は、特徴量選択部２１９で選択された種類の特徴量を取得し、各特徴量に対してその重要度を表す重みを決定する。決定された重みは得点基準決定部１５０２に出力される。
得点基準決定部１５０２は、特徴量選択部２１９から特徴量を、特徴量重み付け部１５０１から各特徴量の重みを、それぞれ取得する。即ち、得点基準決定部１５０２は、ユーザ画像指定部２０２で指定されたユーザ画像群の特徴量およびその重みを取得する。そして、得点基準決定部１５０２は、後述の方法により画像得点部２０７で得点を算出するための得点基準を決定し、画像得点部２０７に提供する。
＜処理の流れ＞
図１６は、本実施形態における自動レイアウト処理部２１８の処理を示すフローチャートである。なお、図１６において図５と同様の番号に関しては同様の処理を実施するため、ここでは説明を割愛する。図１６では、Ｓ５０３の特徴量の選択処理の後に、Ｓ１６０１に進む。
Ｓ１６０１では、特徴量重み付け部１５０１は、特徴量選択部２１９から選択された特徴量を取得し、各特徴量に対して重みを決定する。重みは、各特徴量の重要度または信頼度を表し、得点に影響する度合いを調整するために使用する値である。本実施形態では、コンセプトテーブルに重要度を保持することで重みを決定する方法を説明する。
図１７は本実施形態におけるコンセプトテーブルの例である。第１実施形態と同様のコンセプト名列、優先度列、ルール列、及び特徴量列に加え、重要度列を設定する。ここでは重要度は、１～５の５段階で、重要度の値が大きいほどそのコンセプトにおける影響が大きいことを表している。本実施形態では、重みを式（６）で求める。
ｗｉ＝特徴量ｉの重要度／全特徴量の重要度合計 ・・・（６）
ここで、ｉは特徴量のインデックス、ｗｉは特徴量ｉに関する重みである。本実施形態では、重みｗｉは合計１で、重要度が大きいほど重みも大きな値となる。尚、全特徴量とは、Ｓ５０３で選択された全ての特徴量である。
なお、重みの決め方はこれに限らず、得点に応じて動的に求められるような重みにしてもよい。得点とは、得点化される画像の得点であり、アルバム候補画像群の画像の得点である。つまり、重みを用いずに、特徴量ごとの得点を一旦、式（２）のようにして求めておく。そして、その得点を用いて、例えば式（７）式（８）式（９）により重みを求めることができる。
ｗ1ｉ＝｜ＡＶＧｉ（ＡＶＧｊ（Ｓｊｉ））－ＡＶＧｊ（Ｓｊｉ）｜ ・・・（７）
ｗ2ｉ＝ｗ1ｉ÷ＭＡＸ（ｗ1ｉ）×０．５＋０．５ ・・・（８）
ｗｉ＝ｗ2ｉ÷Σｗ2ｉ ・・・（９）
ここで、ｉは特徴量のインデックス、ｊは画像（注目画像）のインデックス、ＡＶＧｉ（・）はｉに関する平均値を求める関数を表している。式（７）は特徴量ｉに関する得点の平均値と全特徴量に関する得点の平均値との誤差を表しており、式（８）は誤差に応じてｗ2ｉが０．５～１の範囲をとるように正規化している。尚、全特徴量とは、Ｓ５０３で選択された全ての特徴量である。式（９）はｗｉの合計が１になるように正規化している。これにより他の特徴量が出力する得点とは異なる得点を出力する特徴量ほど重みｗｉが大きくなり、他の特徴量に埋もれることを防ぐことができる。
また別の例として、特徴量の信頼度を表すような重みにしてもよい。この場合、式（１０）のような式を用いて重みを表すことができる。
ｗｉ＝Ｎｔｉ／Ｎ ・・・（１０）
ここで、Ｎｔｉは特徴量ｉが取得できた画像（ユーザ画像）の数を表し、Ｎは画像（ユーザ画像）全体の数を表している。これは、例えば撮影日時または位置情報のようなメタ情報の場合、画像ファイルに記録されておらず特徴量として取得できない場合がある。こうした場合においても、取得できた特徴量の数に応じて重みを設定することにより得点への影響度を調整することができる。
さらに別の例として、特徴量の使用の可否を判定してもよい。この場合、式（１１）のような式を用いて重みを表すことができる。
Figure 2022086521000002
ここで、ＭＥＤＩＡＮｊ（・）は画像インデックスｊに関して（・）の中央値を計算する関数である。この例では、全体として得点が低い特徴量の重みを０とすることで、外れ値による得点への影響を軽減することができる。なお、上記複数の重みを併せて用いてもよい。
また、第１実施形態で説明したコンセプト得点を用いた場合、その得点に応じて特徴量の重みを決定してもよい。図１８は、コンセプト得点と重みの例である。この場合、例えば式（１２）によりコンセプト毎の重みを算出する。
コンセプトの重み＝コンセプト得点／コンセプト得点の合計 ・・・式（１２）
その後、図８のコンセプトテーブルを参照し、コンセプトに該当する特徴量の重みを該コンセプトの重みとする。なお、複数のコンセプトで使用される特徴量については各コンセプトの重みの平均値を用いればよい。以上がＳ１６０１の特徴量重み付け処理の説明である。その後、Ｓ１６０２に処理が進む。
Ｓ１６０２では、得点基準決定部１５０２は、特徴量選択部２１９から特徴量を、特徴量重み付け部１５０１から各特徴量の重みを、それぞれ取得し、得点基準を決定する。尚、第１実施形態において、注目画像ｊに対する得点基準は式（３）としたが、本実施形態では重みを用いて式（１３）を得点基準として決定する。
Ｐｊ＝Σｉ（ｗｉ×Ｓｊｉ）／Ｎｉ・・・（１３）
ここで、ｗｉは特徴量に対する重み係数である。これにより、各特徴量が注目画像の得点に与える影響度（寄与率）を変えることができる。例えば、図１１において、個人ＩＤ１に対する類似性に対する寄与率を上げ、撮影日時に対する重み寄与率を下げることで、より個人ＩＤ１に対する類似性を重視した得点付けが可能となる。
以上が、本実施形態における得点基準決定処理の処理内容に関する説明である。本実施形態によれば、ユーザ画像群に合わせて特徴量の重みを決定することにより、ユーザの意図を汲んだ画像を選択することができる。
＜＜その他の実施形態＞＞
上述した各実施形態では、画像得点部２０７は、特徴量選択部２１９によって選択された種類の特徴量を用いて得点化を行う例を説明したが、これに限られない。得点基準は、特徴量選択部２１９によって選択された種類の特徴量に基づいて決定されている。このため、選択されていない種類の特徴量を用いて得点化を行ったとしても、その種類の特徴量の得点は、選択された種類の特徴量の得点に比べて低くなる。このため、画像得点部２０７が、画像解析部２０５で解析された特徴量を全て用いて得点化処理を行っても、上述した各実施形態と同様の効果を得ることができる。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００ 画像処理装置
２０１ アルバム作成条件指定部
２０２ ユーザ画像指定部
２０５ 画像解析部
２０６ 得点基準決定部
２０７ 画像得点部
２１１ 画像選択部
２１９ 特徴量選択部

Claims (19)

  1. コンピュータを、
    第１の画像群を指定する第１の指定手段と、
    第２の画像群を指定する第２の指定手段と、
    前記第１の画像群および前記第２の画像群に含まれる各画像を解析して特徴量を出力する解析手段と、
    前記第２の画像群に基づいて、前記解析手段によって出力された特徴量の種類の中で使用する特徴量の種類を選択する第１の選択手段と、
    前記第２の画像群の特徴量の中で前記選択された種類の特徴量に基づいて、画像に得点を付与する得点基準を決定する決定手段と、
    前記得点基準と前記第１の画像群の特徴量とに基づいて前記第１の画像群の得点化を実施する得点化手段と、
    前記得点化によって求められた得点に基づいて前記第１の画像群から画像を選択する第２の選択手段と、
    として機能させるためのプログラム。
  2. 前記第１の選択手段は、前記第２の画像群のコンセプトを推定し、前記コンセプトに基づいて特徴量の種類を選択することを特徴とする請求項１に記載のプログラム。
  3. 前記第１の選択手段は、前記特徴量のうち撮影日時、顔検出の結果、およびオブジェクトの判別の結果のうち、少なくとも１つの特徴量に基づいて前記コンセプトを推定することを特徴とする請求項２に記載のプログラム。
  4. 前記第１の選択手段は、複数の前記コンセプトを推定し、推定した前記複数のコンセプトに基づいて特徴量の種類を選択することを特徴とする請求項２または３に記載のプログラム。
  5. 前記決定手段は、前記第１の選択手段で選択された種類の特徴量の重要度を表す重みを取得し、前記重みにさらに基づいて前記得点基準を決定することを特徴とする請求項１乃至４のいずれか一項に記載のプログラム。
  6. 前記決定手段は、前記得点化手段で得られた前記得点に応じて重みを変更し、前記変更した重みにさらに基づいて前記得点基準を決定することを特徴とする請求項１乃至４のいずれか一項に記載のプログラム。
  7. 前記決定手段は、前記特徴量の信頼度に応じて決定される重みにさらに基づいて、前記得点基準を決定することを特徴とする請求項１乃至４のいずれか一項に記載のプログラム。
  8. 前記決定手段は、前記特徴量の使用の可否に応じて決定される重みにさらに基づいて、前記得点基準を決定することを特徴とする請求項１乃至４のいずれか一項に記載のプログラム。
  9. 前記決定手段は、コンセプトごとに特徴量の重みを変更して前記得点基準を決定することを特徴とする請求項２乃至４のいずれか一項に記載のプログラム。
  10. 前記得点化手段は、前記特徴量の種類ごとに求められた得点の平均値を各画像の得点として付与し、
    前記第２の選択手段は、前記得点が高い画像から画像を選択することを特徴とする請求項１乃至９のいずれか一項に記載のプログラム。
  11. 前記得点化手段は、前記特徴量の種類ごとに求められた得点のうち、最も高い得点を各画像の得点として付与し、
    前記第２の選択手段は、前記得点が高い画像から画像を選択することを特徴とする請求項１乃至９のいずれか一項に記載のプログラム。
  12. 前記解析手段は、各画像に付与されているメタ情報を特徴量として出力することを特徴とする請求項１乃至１１のいずれか一項に記載のプログラム。
  13. 前記メタ情報には、撮影日時の情報が含まれることを特徴とする請求項１２に記載のプログラム。
  14. 前記解析手段は、各画像から解析して得られる画像特徴であるピントの合焦度合い、顔検出の結果、およびオブジェクトを判別の結果のうち、少なくとも１つの画像特徴を特徴量として出力することを特徴とする請求項１乃至１３のいずれか一項に記載のプログラム。
  15. 前記第２の選択手段は、前記第２の画像群から少なくとも１枚の画像を選択することを特徴とする請求項１乃至１４のいずれか一項に記載のプログラム。
  16. 前記第２の画像群は、前記第１の画像群に含まれることを特徴とする請求項１乃至１５のいずれか一項に記載のプログラム。
  17. 前記コンピュータを、
    前記第２の選択手段により選択された画像を用いてレイアウトを実行し、画像データを作成する作成手段としてさらに機能させることを特徴とする請求項１乃至１６のいずれか一項に記載のプログラム。
  18. 第１の画像群を指定する第１の指定手段と、
    第２の画像群を指定する第２の指定手段と、
    前記第１の画像群および前記第２の画像群に含まれる各画像を解析して特徴量を出力する解析手段と、
    前記第２の画像群に基づいて、前記解析手段によって出力された特徴量の中で使用する特徴量の種類を選択する第１の選択手段と、
    前記第２の画像群の特徴量の中で前記選択された種類の特徴量に基づいて、画像に得点を付与する得点基準を決定する決定手段と、
    前記得点基準と前記第１の画像群の特徴量とに基づいて前記第１の画像群の得点化を実施する得点化手段と、
    前記得点化によって求められた得点に基づいて前記第１の画像群から画像を選択する第２の選択手段と、
    を有することを特徴とする画像処理装置。
  19. 第１の画像群を指定する第１の指定工程と、
    第２の画像群を指定する第２の指定工程と、
    前記第１の画像群および前記第２の画像群に含まれる各画像を解析して特徴量を出力する解析工程と、
    前記第２の画像群に基づいて、前記解析工程によって出力された特徴量の中で使用する特徴量の種類を選択する第１の選択工程と、
    前記第２の画像群の特徴量の中で前記選択された種類の特徴量に基づいて、画像に得点を付与する得点基準を決定する決定工程と、
    前記得点基準と前記第１の画像群の特徴量とに基づいて前記第１の画像群の得点化を実施する得点化工程と、
    前記得点化によって求められた得点に基づいて前記第１の画像群から画像を選択する第２の選択工程と、
    を有することを特徴とする画像処理方法。
JP2020198582A 2020-11-30 2020-11-30 画像処理装置、画像処理方法、及びプログラム Pending JP2022086521A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020198582A JP2022086521A (ja) 2020-11-30 2020-11-30 画像処理装置、画像処理方法、及びプログラム
US17/533,864 US20220172472A1 (en) 2020-11-30 2021-11-23 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020198582A JP2022086521A (ja) 2020-11-30 2020-11-30 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2022086521A true JP2022086521A (ja) 2022-06-09

Family

ID=81751469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020198582A Pending JP2022086521A (ja) 2020-11-30 2020-11-30 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US20220172472A1 (ja)
JP (1) JP2022086521A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023021794A (ja) 2021-08-02 2023-02-14 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN117041531B (zh) * 2023-09-04 2024-03-15 无锡维凯科技有限公司 一种基于图像质量评估的手机摄像头聚焦检测方法和系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5936658B2 (ja) * 2013-09-24 2016-06-22 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5931829B2 (ja) * 2013-09-30 2016-06-08 富士フイルム株式会社 合成画像作成アシスト装置、合成画像作成アシスト方法、合成画像作成アシストプログラムおよびその記録媒体
JP6525862B2 (ja) * 2015-08-07 2019-06-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6779683B2 (ja) * 2016-07-06 2020-11-04 オリンパス株式会社 画像検索装置、画像検索方法及びプログラム
US10452954B2 (en) * 2017-09-14 2019-10-22 Google Llc Object detection and representation in images
JP2019117554A (ja) * 2017-12-27 2019-07-18 富士フイルム株式会社 画像共有促進装置、方法およびプログラム
JP6938422B2 (ja) * 2018-04-23 2021-09-22 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2019230275A1 (ja) * 2018-06-01 2019-12-05 富士フイルム株式会社 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体
JP7053423B2 (ja) * 2018-09-19 2022-04-12 富士フイルム株式会社 画像処理装置，画像処理方法および画像処理プログラム
CN110838119B (zh) * 2019-11-15 2022-03-04 珠海全志科技股份有限公司 人脸图像质量评估方法、计算机装置及计算机可读存储介质

Also Published As

Publication number Publication date
US20220172472A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
JP7350495B2 (ja) 装置、方法、及びプログラム
US11562516B2 (en) Apparatus, method and storage medium
JP7341676B2 (ja) 装置、方法、及びプログラム
JP7341677B2 (ja) 装置、方法、及びプログラム
US10977845B2 (en) Image processing apparatus and control method
US20200336608A1 (en) Image processing apparatus, image processing method, and storage medium
JP7336211B2 (ja) 画像処理装置、制御方法、及びプログラム
US11501476B2 (en) Image processing apparatus, control method, and storage medium
JP2022123209A (ja) 画像処理装置、画像処理方法、及びプログラム
US20220172472A1 (en) Image processing apparatus, image processing method, and storage medium
JP7336209B2 (ja) 画像処理装置、制御方法、及びプログラム
US20220172470A1 (en) Image processing apparatus, image processing method, and storage medium
JP7451242B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US12118786B2 (en) Image processing apparatus, image processing method, and storage medium
US11979523B2 (en) Storage medium, image processing method, and image processing apparatus
US11356570B2 (en) Image processing apparatus, image processing method, and storage medium
JP7336212B2 (ja) 画像処理装置、制御方法、及びプログラム
JP7336210B2 (ja) 画像処理装置、制御方法、及びプログラム
JP7350496B2 (ja) 装置、方法、及びプログラム
JP7446876B2 (ja) プログラム、画像処理方法、及び画像処理装置
JP7263054B2 (ja) 装置、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240910