JP7263054B2 - Apparatus, method and program - Google Patents

Apparatus, method and program Download PDF

Info

Publication number
JP7263054B2
JP7263054B2 JP2019037047A JP2019037047A JP7263054B2 JP 7263054 B2 JP7263054 B2 JP 7263054B2 JP 2019037047 A JP2019037047 A JP 2019037047A JP 2019037047 A JP2019037047 A JP 2019037047A JP 7263054 B2 JP7263054 B2 JP 7263054B2
Authority
JP
Japan
Prior art keywords
album
page
image
spread
spreads
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019037047A
Other languages
Japanese (ja)
Other versions
JP2020140582A (en
Inventor
貴之 山田
信二郎 堀
寛康 國枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019037047A priority Critical patent/JP7263054B2/en
Priority to US16/799,366 priority patent/US11361487B2/en
Publication of JP2020140582A publication Critical patent/JP2020140582A/en
Application granted granted Critical
Publication of JP7263054B2 publication Critical patent/JP7263054B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、装置、方法、及びプログラムに関し、より具体的には、アルバムを作成する装置、方法、及びプログラムに関する。 The present invention relates to an apparatus, method and program, and more specifically to an apparatus, method and program for creating an album.

デジタルカメラの普及に加え、近年ではスマートデバイスの普及及びスマートデバイスのカメラ性能向上により、ユーザの写真撮影枚数が急激に増加している。撮影枚数の増加に伴い、撮影される被写体のバリエーションも増加している。 In addition to the spread of digital cameras, the spread of smart devices and the improvement in camera performance of smart devices in recent years have led to a rapid increase in the number of photographs taken by users. Along with the increase in the number of shots, the variety of subjects to be shot is also increasing.

従来、デジタルカメラで撮影した写真画像をレイアウトしてアルバムを作成する方法が知られている。特許文献１では、複数のユーザが共同でアルバムを作成する方法が提案されている。 2. Description of the Related Art Conventionally, a method of laying out photographic images taken with a digital camera and creating an album is known. Patent Document 1 proposes a method for a plurality of users to jointly create an album.

特開２０１６－６６３２８号公報JP 2016-66328 A

複数のユーザが写真を提供し合ってアルバムを作成する場合、それぞれのユーザが使いたい写真を考慮してアルバムを作成する必要がある。特許文献１では、各ユーザがアルバム作成に関与してアルバムを作成することができる。しかしながら、特許文献１では、全員に共通する内容と、個人に合わせてカスタマイズされた内容とを併せ持つようなアルバムは考慮されていなかった。 When a plurality of users provide photos to create an album, it is necessary to create an album considering the photos that each user wants to use. In Patent Literature 1, each user can participate in album creation and create an album. However, Patent Literature 1 does not consider an album that has both content common to all users and content customized for each individual.

そこで本発明は、上記の課題に鑑み、全員に共通する内容と、個人に合わせた内容との両方を有するアルバムを作成することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to create an album having both content common to all members and content tailored to an individual.

本発明は、複数のページを含むアルバムを生成する装置であって、アルバム毎に複数のページを作成する作成手段を備え、前記複数のページは、複数のアルバムに共通する共通ページと、アルバム毎に設定された主被写体に対応した個別ページとを含み、前記作成手段は、前記複数のアルバムにおける前記個別ページの数がアルバム毎に異なる場合であっても、前記複数のアルバムにおいて前記複数のページの数が同じになるように、前記複数のページを作成することを特徴とする装置である。 The present invention is an apparatus for generating an album containing a plurality of pages, comprising a generating means for generating a plurality of pages for each album, wherein the plurality of pages includes a common page common to a plurality of albums and a common page for each album. and an individual page corresponding to the main subject set in the plurality of albums, and the creating means creates the plurality of pages in the plurality of albums even if the number of the individual pages in the plurality of albums differs from album to album. The apparatus is characterized in that the plurality of pages are created such that the number of .

本発明によれば、全員に共通する内容と、個人に合わせた内容との両方を有するアルバムを作成することが可能となる。 The present invention makes it possible to create albums that have both content that is common to everyone and content that is personalized.

第１の実施形態における画像処理装置のハードウェア構成を示すブロック図である。2 is a block diagram showing the hardware configuration of the image processing apparatus according to the first embodiment; FIG. 第１の実施形態における画像処理装置のソフトウェア構成を示すブロック図である。2 is a block diagram showing the software configuration of the image processing apparatus according to the first embodiment; FIG. 第１の実施形態で作成するアルバムにおける画像のレイアウトを説明する図である。FIG. 4 is a diagram for explaining the layout of images in an album created in the first embodiment; 第１の実施形態におけるアルバム作成アプリケーションのＧＵＩ画面を示す図である。FIG. 4 is a diagram showing a GUI screen of an album creation application according to the first embodiment; FIG. 第１の実施形態における自動レイアウト処理のフローチャートである。4 is a flowchart of automatic layout processing in the first embodiment; 第１の実施形態における画像群分割を説明する図である。FIG. 4 is a diagram for explaining image group division in the first embodiment; 第１の実施形態におけるシーン分類を説明する図である。FIG. 4 is a diagram for explaining scene classification in the first embodiment; FIG. 第１の実施形態における画像選択を説明する図である。4A and 4B are diagrams for explaining image selection in the first embodiment; FIG. 第１の実施形態におけるテンプレート決定を説明するブロック図である。4 is a block diagram illustrating template determination in the first embodiment; FIG. 第１の実施形態におけるテンプレート決定処理のフローチャートである。4 is a flowchart of template determination processing in the first embodiment; 第１の実施形態における画像レイアウトの決定手法を説明する図である。FIG. 4 is a diagram illustrating a method of determining an image layout according to the first embodiment; FIG. 第１の実施形態における見開き結合部の詳細なブロック図である。FIG. 3 is a detailed block diagram of the double-page spread coupling part in the first embodiment; 第１の実施形態における見開き結合処理のフローチャートである。9 is a flow chart of a double-page spread combining process according to the first embodiment; 第２の実施形態における画像処理装置のソフトウェア構成を示すブロック図である。FIG. 11 is a block diagram showing the software configuration of an image processing apparatus according to a second embodiment; FIG. 第２の実施形態における自動レイアウト処理のフローチャートである。9 is a flowchart of automatic layout processing in the second embodiment; 第２の実施形態における見開き結合部の詳細なブロック図である。FIG. 11 is a detailed block diagram of a double-page spread coupling part in the second embodiment; 第２の実施形態における見開き結合処理のフローチャートである。10 is a flow chart of two-page spread combining processing in the second embodiment. 第３の実施形態における画像処理装置のソフトウェア構成を示すブロック図である。FIG. 11 is a block diagram showing the software configuration of an image processing apparatus according to a third embodiment; FIG. 第３の実施形態における自動レイアウト処理のフローチャートである。10 is a flowchart of automatic layout processing in the third embodiment; 第３の実施形態における見開き数算出処理のフローチャートである。14 is a flow chart of spread number calculation processing in the third embodiment. 第４の実施形態における画像処理装置のソフトウェア構成を示すブロック図である。FIG. 11 is a block diagram showing the software configuration of an image processing apparatus according to a fourth embodiment; FIG. 第４の実施形態における自動レイアウト処理のフローチャートである。FIG. 12 is a flowchart of automatic layout processing in the fourth embodiment; FIG. 第４の実施形態における見開き結合部の詳細なブロック図である。FIG. 11 is a detailed block diagram of a double-page spread joint in the fourth embodiment; 第４の実施形態における見開き結合処理のフローチャートである。14 is a flow chart of a double-page spread combining process in the fourth embodiment. 第５の実施形態における画像処理装置のソフトウェア構成を示すブロック図である。FIG. 12 is a block diagram showing the software configuration of an image processing apparatus according to a fifth embodiment; FIG. 第５の実施形態における自動レイアウト処理のフローチャートである。FIG. 14 is a flowchart of automatic layout processing in the fifth embodiment; FIG. 第５の実施形態における見開き結合部の詳細なブロック図である。FIG. 11 is a detailed block diagram of a double-page spread joint in the fifth embodiment; 第５の実施形態における見開き結合処理のフローチャートである。14 is a flow chart of a double-page spread combining process according to the fifth embodiment. 第１の実施形態の効果を説明するための図である。It is a figure for demonstrating the effect of 1st Embodiment. 第２の実施形態の効果を説明するための図である。It is a figure for demonstrating the effect of 2nd Embodiment. 第３の実施形態の効果を説明するための図である。It is a figure for demonstrating the effect of 3rd Embodiment. 第４の実施形態の効果を説明するための図である。It is a figure for demonstrating the effect of 4th Embodiment. 第５の実施形態の効果を説明するための図である。It is a figure for demonstrating the effect of 5th Embodiment.

［第１の実施形態］
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリケーション」または単純に「アプリ」ともいう）を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムを複数作成する。本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。各アルバムを構成する見開きの合計数（総見開き数と呼ぶ）又はページの合計数（総ページ数と呼ぶ）は、ユーザの指示に従い全アルバムで同一である。但し、アルバム毎の（つまりユーザ毎の）共通見開きと個別見開きとのそれぞれの数は、画像群及び設定に応じて変化する。見開きおよび見開き内に配置される画像は、撮影時間順に並べる。 [First Embodiment]
In this embodiment, an application for creating an album (hereinafter also referred to as an "application" or simply an "app") is operated in the image processing apparatus, and an album in which a plurality of photographic images are automatically laid out on the application. Create multiple In this embodiment, a double-page spread common to at least two albums and an individual double-page spread for each album are created. The total number of double-page spreads (called the total number of double-page spreads) or the total number of pages (called the total number of pages) constituting each album is the same for all albums according to the user's instruction. However, the number of common spreads and individual spreads per album (that is, per user) varies depending on the image group and settings. The spread and the images arranged within the spread are arranged in order of shooting time.

＜画像処理装置のハードウェア構成について＞
以下、本実施形態における画像処理装置のハードウェア構成について、図１を用いて説明する。尚、以下では、画像処理装置が情報処理装置（ＰＣ）のケースを説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。 <Hardware Configuration of Image Processing Apparatus>
The hardware configuration of the image processing apparatus according to this embodiment will be described below with reference to FIG. In addition, although the case where the image processing device is an information processing device (PC) will be described below, other devices such as a smart phone may be employed as the image processing device.

図１に示すように、画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、キーボード１０６と、マウス１０７と、データ通信装置１０８と、を有する。これらの部品は、データバス１０９により接続されており、相互にデータを送信または受信することができる。 As shown in FIG. 1, image processing apparatus 100 has CPU 101, ROM 102, RAM 103, HDD 104, display 105, keyboard 106, mouse 107, and data communication device . These parts are connected by a data bus 109 and can send or receive data to each other.

ＣＰＵ１０１は、画像処理装置１００全体を制御する。また、ＣＰＵ１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。尚、図１では、画像処理装置が１個のＣＰＵを有するが、画像処理装置は複数のＣＰＵを有してもよい。 A CPU 101 controls the entire image processing apparatus 100 . Further, the CPU 101 executes the image processing method described in this embodiment according to a program. Although the image processing apparatus has one CPU in FIG. 1, the image processing apparatus may have a plurality of CPUs.

ＲＯＭ１０２には、ＣＰＵ１０１が実行するプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。ＨＤＤ１０４には、画像ファイルや画像解析等の処理結果を保持するデータベース等が記憶され、本実施形態では、このＨＤＤ１０４に、アルバム作成のためのアプリケーションプログラムが記憶されている。尚、このアプリケーションプログラムについては、図４等を用いて後述する。 The ROM 102 stores programs executed by the CPU 101 . A RAM 103 provides a memory for temporarily storing various information when the CPU 101 executes a program. The HDD 104 stores a database that holds image files and processing results such as image analysis.In this embodiment, the HDD 104 stores an application program for creating an album. This application program will be described later with reference to FIG. 4 and the like.

ディスプレイ１０５は、本実施形態のユーザインターフェイス（以下ＵＩ）や画像のレイアウト結果を表示して、ユーザに提示するための装置である。ディスプレイ１０５は、タッチセンサー機能を有してもよい。キーボード１０６は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上に所定の情報を入力するために用いられる。本実施形態では、ユーザは、キーボード１０６を介してアルバムの見開き数を入力する。マウス１０７は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上のボタンをクリックして押下するために用いられる。 A display 105 is a device for displaying a user interface (hereinafter referred to as UI) and image layout results of the present embodiment and presenting them to the user. The display 105 may have touch sensor functionality. A keyboard 106 is one of the input devices included in the image processing apparatus 100 and is used, for example, to input predetermined information on a GUI displayed on the display 105 . In this embodiment, the user inputs the number of spread pages of the album via the keyboard 106 . A mouse 107 is one of the input devices that the image processing apparatus 100 has, and is used, for example, to click and press buttons on a GUI displayed on the display 105 .

データ通信装置１０８は、プリンタやサーバ等の外部装置と通信するための装置である。例えば、自動レイアウトのデータは、データ通信装置１０８を介して、画像処理装置１００に接続されたプリンタやサーバに送信される。データバス１０９は、上述した各構成要素とＣＰＵ１０１とを接続する。以上が、本実施形態における画像処理装置のハードウェア構成についての内容である。 A data communication device 108 is a device for communicating with an external device such as a printer or a server. For example, automatic layout data is transmitted to a printer or server connected to the image processing apparatus 100 via the data communication device 108 . A data bus 109 connects each component described above and the CPU 101 . The above is the content of the hardware configuration of the image processing apparatus according to the present embodiment.

＜画像処理装置のソフトウェア構成について＞
以下、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成について、図２を用いて説明する。アルバム作成アプリケーションは、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、本実施形態において特に重要な機能である、自動レイアウト処理部２０２により提供される自動レイアウト機能を説明する。 <Regarding the software configuration of the image processing device>
A software configuration of the image processing apparatus according to the present embodiment, in other words, a functional configuration realized by an album creation application installed in the image processing apparatus will be described below with reference to FIG. The album creation application is activated when the user double-clicks the application icon displayed on the display 105 using the mouse 107 . Although the album creation application has various functions, the automatic layout function provided by the automatic layout processing section 202, which is a particularly important function in this embodiment, will be mainly described below.

図２に示すように、このアプリは、アルバム作成条件設定部２０１と、自動レイアウト処理部２０２と、アルバム表示部２１３と、を有する。「自動レイアウト機能」とは、撮影された写真の画像をその内容や属性に基づいて分類ないし選択した上でレイアウトして、アルバム画像を作成する機能である。作成されたアルバム画像は、ディスプレイ１０５に表示される。 As shown in FIG. 2, this application has an album creation condition setting section 201 , an automatic layout processing section 202 and an album display section 213 . The "automatic layout function" is a function for classifying or selecting photographed images based on their contents and attributes and laying them out to create an album image. The created album image is displayed on the display 105 .

アルバム作成条件設定部２０１は、ユーザのマウス操作に応じたアルバム作成条件を、自動レイアウト処理部２０２に設定する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、１冊のアルバムあたりの総見開き数、アルバムの商材、アルバムの冊数、及びアルバム毎の主被写体を設定する。画像群の設定は、例えば撮影日時など個別の画像データの付随情報や属性情報を用いて設定してもよいし、デバイスやディレクトリの指定など、画像データが保存されているファイルシステムの構造に基づいて設定してもよい。尚、「見開き」とは、例えば表示においてはひとつの表示用ウィンドウに相当し、印刷においては、異なるシートに印刷された、互いに隣接する１対のページに相当する。ここでは、このような見開きの概念を用いて説明するが、印刷時の単一のページに対して画像をレイアウトする場合でもよい。本実施形態では、「見開き」、「単一のページ」を含め、「ページ」と称するものとする。また、主被写体とは、アルバム中で特に強調してレイアウトする被写体である。例えば特定の個人や、犬や猫、花、料理といった物体のカテゴリ、オブジェクトや画像全体の色味等が挙げられる。ここでは、説明のため人物を主被写体とする。 The album creation condition setting unit 201 sets an album creation condition in the automatic layout processing unit 202 according to the user's mouse operation. In this embodiment, as album creation conditions, a group of images to be used in an album, the total number of spreads per album, the products of the album, the number of albums, and the main subject for each album are set. The group of images may be set using attribute information or associated information of individual image data, such as the shooting date, or based on the structure of the file system in which the image data is stored, such as specifying the device or directory. can be set. A "spread" corresponds to, for example, one display window in the case of display, and a pair of adjacent pages printed on different sheets in the case of printing. Here, the concept of double-page spread will be used for explanation, but it is also possible to lay out images on a single page when printing. In this embodiment, the term "page" includes "spread" and "single page". Also, the main subject is a subject to be laid out with particular emphasis in the album. For example, specific individuals, categories of objects such as dogs, cats, flowers, and food, and colors of objects and images as a whole can be used. Here, for the sake of explanation, a person is assumed to be the main subject.

ここで、本実施形態で作成するアルバムについて、図３を用いて説明する。本実施形態では、アルバム作成条件設定部２０１により設定されたアルバムの冊数及びアルバム毎の主被写体に基づき、複数の異なるバリエーションのアルバムが作成される。図３の例では、複数の異なるバリエーションのアルバムとして、アルバム１、アルバム２、アルバム３が作成されている。 Here, the album created in this embodiment will be described with reference to FIG. In this embodiment, a plurality of different variation albums are created based on the number of albums set by the album creation condition setting unit 201 and the main subject for each album. In the example of FIG. 3, album 1, album 2, and album 3 are created as a plurality of albums of different variations.

各アルバムは、複数の異なるバリエーションのアルバム間で同じ画像が同じ配置でレイアウトされている「共通見開き」と、他のアルバムとは異なる画像または配置でレイアウトされている「個別見開き」とで構成される。図３の例では、アルバム１～アルバム３は夫々、共通見開き３０２を含む。一方、アルバム１は個別見開き３０３を含み、アルバム２は個別見開き３０４を含み、アルバム３は個別見開き３０５を含む。 Each album consists of a "common spread" in which the same images are laid out in the same arrangement among multiple albums of different variations, and an "individual spread" in which images or arrangements are laid out differently from other albums. be. In the example of FIG. 3, Album 1 to Album 3 each include a common spread 302 . On the other hand, Album 1 includes an individual spread 303 , Album 2 includes an individual spread 304 , and Album 3 includes an individual spread 305 .

画像３０１は見開きに配置された画像であり、画像３０１中の文字は画像中に写っている主被写体を表している。図３に示すように、共通見開き３０２は、複数の主被写体が写っている画像を含むようにレイアウトされている。一方、個別見開き３０３は主被写体Ａが写っている画像を含むといった具合に、個別見開き３０３～３０５は夫々、特定の主被写体が写っている画像を含むようにレイアウトされている。このように、本実施形態で複数のアルバムを作成する場合、該複数のアルバムが夫々、異なる基準で作成された見開きを含む。 An image 301 is an image arranged in a double-page spread, and characters in the image 301 represent the main subject in the image. As shown in FIG. 3, the common spread 302 is laid out so as to include images showing a plurality of main subjects. On the other hand, the individual spread 303 includes an image of main subject A, and each of the individual spreads 303 to 305 is laid out to include an image of a specific main subject. Thus, when creating a plurality of albums in this embodiment, each of the plurality of albums includes double-page spreads created according to different criteria.

画像取得部２０３は、ＨＤＤ１０４に保存されている画像の中から、アルバム作成条件設定部２０１により設定されたアルバム作成条件を満たす画像群を取得する。ここでいう画像群とは、アルバム作成の際レイアウト候補となる画像群を指す。例えば、撮影日時として、ＸＸ年１月１日～ＸＸ年１２月３１日が指定された場合は、ＸＸ年１月１日～ＸＸ年１２月３１日に撮影された画像全てが、レイアウト候補の画像群に該当する。ＨＤＤ１０４に保存されている画像としては、静止画像や、動画から切り出された切り出し画像が挙げられる。静止画像や切り出し画像は、デジタルカメラやスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、画像処理装置１００の外部装置が備えるものであってもよい。尚、撮像デバイスが外部装置である場合は、画像取得部２０３は、データ通信装置１０８を介して画像を取得する。また、静止画像や切り出し画像は、外部のネットワークやサーバからデータ通信装置１０８を介して取得した画像であってもよい。ネットワークやサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、ＳＮＳ画像）が挙げられる。尚、ＣＰＵ１０１はＯＳのプログラムを実行することで、各画像に対して、画像データに付随するデータを解析し、画像の取得先である保存元を求める。但し、アプリケーションを介してＳＮＳから画像を取得することで、アプリケーション内で該画像の取得先を管理してもよい。尚、画像取得部２０３が取得する画像は、上述したものに限定されるものではなく、他の種類の画像であってもよい。 The image acquisition unit 203 acquires an image group that satisfies the album creation conditions set by the album creation condition setting unit 201 from among the images stored in the HDD 104 . The group of images here refers to a group of images that serve as layout candidates when creating an album. For example, if Jan. 1, XX to Dec. 31, XX is specified as the shooting date and time, all images shot between Jan. 1, XX to Dec. 31, XX are selected as layout candidates. It corresponds to the image group. The images stored in the HDD 104 include still images and clipped images clipped from moving images. A still image or a clipped image is obtained from an imaging device such as a digital camera or a smart device. The imaging device may be included in the image processing apparatus 100 or may be included in an external device of the image processing apparatus 100 . Note that when the imaging device is an external device, the image acquisition unit 203 acquires an image via the data communication device 108 . Still images and cutout images may be images obtained from an external network or server via the data communication device 108 . Images obtained from networks or servers include social networking service images (hereinafter referred to as SNS images). By executing the OS program, the CPU 101 analyzes the data attached to the image data for each image, and obtains the storage source from which the image is acquired. However, by acquiring the image from the SNS via the application, the acquisition destination of the image may be managed within the application. Note that the image acquired by the image acquisition unit 203 is not limited to the above-described image, and may be another type of image.

画像解析部２０４は、画像取得部２０３が取得した画像データを解析する。本実施形態では、画像の特徴量を導出し、画像内のオブジェクト判定、顔検出、検出した顔の表情認識、検出した顔の個人認識を実行する。さらに、画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。尚、画像解析部２０４が画像データを解析した結果得られる情報を「解析情報」と呼ぶ。 The image analysis unit 204 analyzes the image data acquired by the image acquisition unit 203 . In this embodiment, a feature amount of an image is derived, and object determination in the image, face detection, facial expression recognition of the detected face, and individual recognition of the detected face are performed. Further, the image analysis unit 204 refers to data (for example, Exif information) attached to the image data acquired from the HDD 104 to acquire information on shooting date and time. Information obtained as a result of the analysis of the image data by the image analysis unit 204 is called “analysis information”.

主被写体設定部２０５は、アルバム毎に強調する主被写体を設定する。本実施形態では、主被写体設定部２０５は、アルバム作成条件設定部２０１から送られた、アルバム毎に強調する主被写体の情報を取得する。 A main subject setting unit 205 sets a main subject to be emphasized for each album. In this embodiment, the main subject setting unit 205 acquires information about the main subject to be emphasized for each album sent from the album creation condition setting unit 201 .

画像得点部２０８は、アルバム作成条件設定部２０１により設定されたアルバム作成条件および画像解析部２０４で導出した解析情報に基づき、各画像に対して得点付けを行う。本実施形態では、レイアウトに適した画像が高得点になるように各画像に対して得点付けを行う。レイアウトに適した画像が高得点になるように得点付けを行う際は、画像の解析情報、画像の分類結果、画像情報、アルバム作成条件を用いる。但し、他の情報を付加的に或いは代替的に用いてもよい。レイアウトに適した画像とは、例えばコントラストが高い、エッジがシャープである、といった審美性が高い画像や、人や動物、建造物などの主題となる被写体（いわゆる主被写体）が大きく写っている画像が挙げられる。さらに、画像得点部２０８は、主被写体設定部２０５が設定した主被写体毎の得点付けも行う。例えば、非常に審美性が高い画像であっても、設定した主被写体が写っていない画像については、得点を低くする一方、逆光のような撮影状態の悪い画像であっても、設定した主被写体が大きく写っている画像については、得点を高くする。 The image scoring unit 208 scores each image based on the album creation conditions set by the album creation condition setting unit 201 and the analysis information derived by the image analysis unit 204 . In the present embodiment, each image is scored so that an image suitable for layout has a high score. Image analysis information, image classification results, image information, and album creation conditions are used when scoring is performed so that images suitable for layout receive high scores. However, other information may be used additionally or alternatively. Images suitable for layout are images with high aesthetics, such as high contrast and sharp edges, and images in which main subjects such as people, animals, and buildings (so-called main subjects) are large. is mentioned. Furthermore, the image scoring unit 208 also scores each main subject set by the main subject setting unit 205 . For example, even if the image is very aesthetically pleasing, if the set main subject is not captured in the image, the score will be low. The score is increased for an image in which the is large.

シーン分割部２０６は、画像解析部２０４で導出した解析情報を用いて、画像取得部２０３で取得した画像群をシーン毎に分ける。ここでいう「シーン」とは、解析情報に応じてグルーピングした画像のまとまり（サブ画像群）を意味する。例えば、撮影時間の異なる２枚の画像に関し、撮影時間の差が所定の閾値以下の画像を同じシーンと判定したり、写っている人物や背景が同じ画像を同じシーンと判定したりする。 A scene division unit 206 divides the image group acquired by the image acquisition unit 203 into scenes using the analysis information derived by the image analysis unit 204 . The “scene” here means a set of images (sub-image group) grouped according to the analysis information. For example, with respect to two images captured at different times, an image whose difference in capture time is equal to or less than a predetermined threshold is determined to be the same scene, or an image including the same person or background is determined to be the same scene.

シーン分類部２０７は、シーン分割部２０６により得られたシーン毎に該当するカテゴリを判定する。シーンのカテゴリとして、例えば、屋内、屋外といったシチュエーションや、旅行や結婚式といった写真を撮影した時のイベント等が挙げられる。 A scene classification unit 207 determines a category corresponding to each scene obtained by the scene division unit 206 . Scene categories include, for example, situations such as indoors and outdoors, and events such as trips and weddings when photographs are taken.

見開き作成パラメータ生成部２０９は、主被写体設定部２０５で設定された主被写体と画像解析部２０４で導出した解析情報とに基づき、見開きを作成するためのパラメータを複数生成する。ここでいうパラメータとは、見開きの作成基準を決定づける設定値である。このようなパラメータとして、例えば、見開きに使用する画像を選択する際に用いられる、画像得点部２０８で得られた得点の優先度を決める重みや閾値が挙げられる。これは、主被写体設定部２０５で設定した主被写体が写っている画像の中から、特定の主被写体のみが写っている画像を優先するのか、或いは、２つ以上の主被写体が写っている画像を優先するのかを選択する設定値である。複数のパラメータを用いることで、アルバム毎の見開きによって、作成基準が変化する。 A spread creation parameter generation unit 209 generates a plurality of parameters for creating a spread based on the main subject set by the main subject setting unit 205 and the analysis information derived by the image analysis unit 204 . The parameter referred to here is a set value that determines the creation standard of the double-page spread. Such parameters include, for example, weights and thresholds that determine the priority of scores obtained by the image scoring unit 208, which are used when selecting images to be used for spreads. This is done by giving priority to an image in which only a specific main subject is captured, or an image in which two or more main subjects are captured. This is a setting value that selects whether to give priority to By using a plurality of parameters, the creation standard changes depending on the double-page spread for each album.

見開き作成部２１０は、見開き作成パラメータ生成部２０９が生成したパラメータに従って、見開きで使用する画像を選択および配置することで、見開きを作成する。 The spread creation unit 210 creates a spread by selecting and arranging images to be used in the spread according to the parameters generated by the spread creation parameter generation unit 209 .

見開き結合部２１１は、見開き作成部２１０が作成した見開きを結合する。具体的には、見開き作成部２１０により作成された各見開きの順番を決定することで、アルバム全体のレイアウトを作成する。 The spread combining unit 211 combines the spreads created by the spread creating unit 210 . Specifically, the layout of the entire album is created by determining the order of the spreads created by the spread creation unit 210 .

レイアウト情報出力部２１２は、見開き結合部２１１が作成したアルバム全体のレイアウトに従って、レイアウト情報を出力する。レイアウト情報は、例えば、所定のレイアウトに従って各画像を配置したビットマップ形式の画像データである。 The layout information output unit 212 outputs layout information according to the layout of the entire album created by the double-page spread combining unit 211 . The layout information is, for example, image data in bitmap format in which each image is arranged according to a predetermined layout.

アルバム表示部２１３は、レイアウト情報出力部２１２が出力したレイアウト情報に基づいて、作成したアルバムの画像をディスプレイ１０５に表示する。 The album display unit 213 displays the created album image on the display 105 based on the layout information output by the layout information output unit 212 .

本実施形態におけるアルバム作成アプリケーションのプログラムが、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。そして、ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリケーションが起動する。以上が、本実施形態における画像処理装置のソフトウェア構成についての内容である。 When the program of the album creation application in this embodiment is installed in the image processing apparatus 100, the start icon of this application is displayed on the top screen (desktop) of the OS (operating system) running on the image processing apparatus 100. be. When the user double-clicks the activation icon on the desktop displayed on display 105 with mouse 107 , the album creation application program stored in HDD 104 is loaded into RAM 103 . Then, the program loaded into RAM 103 is executed by CPU 101, and the album creation application is activated. The above is the content of the software configuration of the image processing apparatus according to the present embodiment.

＜ＧＵＩ画面について＞
以下、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面について、図４を用いて説明する。図４は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ１０５に表示されるＧＵＩ画面４０１を示す図である。ユーザは、ＧＵＩ画面４０１を介して、アルバムの作成条件を設定することができる。 <About the GUI screen>
The GUI screen of the album creation application in this embodiment will be described below with reference to FIG. FIG. 4 is a diagram showing a GUI screen 401 provided by the activated album creation application and displayed on the display 105. As shown in FIG. The user can set album creation conditions via the GUI screen 401 .

ＧＵＩ画面４０１は、アルバムに含ませる写真画像の設定部として、パスボックス４０２及びフォルダ選択ボタン４０３を有する。パスボックス４０２は、アルバム作成の対象となる画像群のＨＤＤ１０４中の保存場所（パス）を示すためのボックスである。フォルダ選択ボタン４０３は、アルバム作成の対象とする画像群を含むフォルダを選択するためのボタンである。ユーザがフォルダ選択ボタン４０３をマウス１０７でクリックすると、複数フォルダから構成されるツリーが表示される。そして、アルバム作成の対象とする画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスがパスボックス４０２に表示される。 The GUI screen 401 has a pass box 402 and a folder selection button 403 as a setting section for photo images to be included in the album. A path box 402 is a box for indicating a storage location (path) in the HDD 104 of a group of images to be created as an album. A folder selection button 403 is a button for selecting a folder including a group of images to be created as an album. When the user clicks the folder selection button 403 with the mouse 107, a tree composed of a plurality of folders is displayed. Then, when the user selects a folder containing a group of images to be created as an album, the folder path of the selected folder is displayed in the path box 402 .

見開き数ボックス４０４は、１冊のアルバムにおける総見開き数を指定するためのボックスである。ユーザは、キーボード１０６を使って見開き数ボックス４０４に直接数字を入力したり、マウス１０７を使ってリストから見開き数ボックス４０４に数字を入力したりすることができる。アルバム数ボックス４１０は、作成するアルバム冊数を指定するためのボックスである。 A spread number box 404 is a box for designating the total number of spreads in one album. The user can use the keyboard 106 to directly enter a number into the spread number box 404 or use the mouse 107 to enter a number from a list into the spread number box 404 . The number-of-albums box 410 is a box for designating the number of albums to be created.

主被写体指定部４０５は、アルバム数ボックス４１０に入力した数のアルバムそれぞれに対して、強調する主被写体を指定するための要素である。例えば、ユーザはマウス１０７を用いて、主被写体が写っている画像を主被写体指定部４０５にドラッグ＆ドロップすることで、主被写体を指定することができる。 A main subject designation section 405 is an element for designating a main subject to be emphasized for each of the number of albums entered in the number of albums box 410 . For example, the user can specify the main subject by using the mouse 107 to drag and drop an image showing the main subject to the main subject specifying section 405 .

見開き写真枚数設定部４０６は、作成するアルバムの各見開きに配置する画像の枚数を設定するためのスライダーバーである。スライダーが「多」側に移動されると、各見開きに配置する画像の枚数が増える。一方、スライダーが「少」側に移動されると、各見開きに配置する画像の枚数が減る。 A double-page spread photo number setting section 406 is a slider bar for setting the number of images to be arranged in each double-page spread of the album to be created. When the slider is moved to the "many" side, the number of images arranged in each spread increases. On the other hand, when the slider is moved to the "small" side, the number of images arranged in each spread decreases.

商材指定部４０７は、作成するアルバムの商材を設定するための要素である。設定する商材に関する具体的な項目としては、アルバムのサイズ、アルバムの用紙種類を採用することができる。表紙種類や綴じ部の種類を設定してもよい。 A product specification field 407 is an element for setting products of an album to be created. As specific items related to the product to be set, the size of the album and the paper type of the album can be adopted. A cover type and a binding type may be set.

ＯＫボタン４０８は、選択された条件をアルバム作成条件として決定するボタンである。ユーザがＯＫボタン４０８をマウス１０７でクリックすると、アルバム作成条件が確定し、アルバム作成条件設定部２０１を介して、自動レイアウト処理部２０２にアルバム作成条件が伝えられる。具体的に説明すると、パスボックス４０２に入力されているパスの情報は、画像取得部２０３に伝えられる。また、見開き数ボックス４０４に入力されている総見開き数の値は、見開き作成部２１０に伝えられる。アルバム数ボックス４１０に入力されているアルバム数の値および主被写体指定部４０５で指定されている主被写体の情報は、見開き作成パラメータ生成部２０９に伝えられる。 An OK button 408 is a button for determining the selected conditions as album creation conditions. When the user clicks the OK button 408 with the mouse 107 , the album creation conditions are confirmed and transmitted to the automatic layout processing section 202 via the album creation condition setting section 201 . Specifically, information about the path input in the path box 402 is transmitted to the image acquisition unit 203 . In addition, the value of the total number of spreads entered in the spread number box 404 is transmitted to the spread creating unit 210 . The number of albums entered in the number of albums box 410 and the information of the main subject specified in the main subject specifying section 405 are transmitted to the spread creating parameter generating section 209 .

リセットボタン４０９は、表示画面上の各設定内容をリセットするためのボタンである。以上が、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面についての内容である。 A reset button 409 is a button for resetting each setting on the display screen. The above is the content of the GUI screen of the album creation application in this embodiment.

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図５（ａ）を用いて説明する。図５（ａ）は、本実施形態に係るアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図５（ａ）～（ｃ）に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。 <About automatic layout processing>
The automatic layout process according to this embodiment will be described below with reference to FIG. FIG. 5(a) is a flowchart of processing for executing automatic layout of the album creating application according to the present embodiment. The flowcharts shown in FIGS. 5A to 5C are realized, for example, by the CPU 101 reading a program stored in the HDD 104 to the ROM 102 or RAM 103 and executing the program.

ステップＳ５０１において、アルバム作成条件設定部２０１は、アルバム作成条件を設定する。尚以下では、「ステップＳ～」を単純に「Ｓ～」と略記する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、見開き数、アルバム数、アルバム毎の主被写体、各見開きに配置する画像枚数の多寡、アルバムを作成する商材を設定する（図４参照）。 In step S501, the album creation condition setting unit 201 sets album creation conditions. In the following, "step S~" is simply abbreviated as "S~". In this embodiment, as the album creation conditions, the group of images to be used in the album, the number of spreads, the number of albums, the main subject for each album, the number of images to be arranged in each spread, and the products for creating the album are set (Fig. 4).

Ｓ５０２において、画像取得部２０３は、Ｓ５０１で設定されたアルバムに使用する画像群に関する条件を満たす画像を、ＨＤＤ１０４から読み込む。そして、画像取得部２０３は、読み込んだ画像をＲＡＭ１０３に展開する。 In S<b>502 , the image acquisition unit 203 reads from the HDD 104 an image that satisfies the condition regarding the group of images used in the album set in S<b>501 . Then, the image acquisition unit 203 develops the read image in the RAM 103 .

Ｓ５０３において、画像解析部２０４は、Ｓ５０２でＲＡＭ１０３に展開された画像を解析する。ここで、本ステップの画像解析について、図５（ｂ）を用いて説明する。 In S503, the image analysis unit 204 analyzes the image developed in the RAM 103 in S502. Here, the image analysis in this step will be described with reference to FIG. 5(b).

Ｓ５０３０１において、画像解析部２０４は、画像取得部２０３が取得した画像データに対応する撮影日時の情報を取得する。本実施形態では、各画像データに付随するＥｘｉｆ情報に基づき、撮影日時の情報を取得する。 In step S<b>50301 , the image analysis unit 204 acquires shooting date and time information corresponding to the image data acquired by the image acquisition unit 203 . In this embodiment, based on the Exif information attached to each image data, information on the shooting date and time is acquired.

Ｓ５０３０２において、画像解析部２０４は、画像取得部２０３が取得した画像データに対する画質の特徴量を導出する。画質の特徴量としては、例えば、ピント量が挙げられる。ピント量の判別手法として、エッジの検出手法を用いることができ、エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点との間における輝度差を、始点と終点との間の距離で割ることで輝度勾配、即ちエッジの傾きを算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているみなすことができる。本実施形態では、算出したエッジの平均傾きの大きさを測るための複数の閾値を設定し、該算出したエッジの傾きが何れの閾値以上か判定することで、許容できるピント量か判定する。具体的には、異なる２つの傾き閾値として、第１の傾き閾値および第２の傾き閾値（尚、第１の傾き閾値＞第２の傾き閾値）を設定し、○△×の３段階でピント量を判別する。画像中のエッジの平均傾きが第１の閾値以上であれば、好適なピント量とする（○で表す）。また、画像中のエッジの平均傾きが第１の閾値未満且つ第２の閾値以上であれば、許容できるピント量とし（△で表す）、画像中のエッジの平均傾きが第２の閾値未満であれば許容できないピント量とする（×で表す）。 In S<b>50302 , the image analysis unit 204 derives an image quality feature amount for the image data acquired by the image acquisition unit 203 . For example, the amount of focus is exemplified as the feature amount of image quality. An edge detection method can be used as a focus amount determination method, and a known Sobel filter can be used as an edge detection method. An edge of an image is detected by a Sobel filter, and a luminance gradient, that is, an inclination of an edge is calculated by dividing the luminance difference between the start point and the end point of the edge by the distance between the start point and the end point. By calculating the average slope of the edges in the image, an image with a higher average slope can be considered more in focus than an image with a lower average slope. In this embodiment, a plurality of thresholds are set for measuring the magnitude of the calculated average slope of the edge, and it is determined whether the calculated edge slope is greater than or equal to which threshold, thereby determining whether the focus amount is permissible. Specifically, as two different tilt thresholds, a first tilt threshold and a second tilt threshold (where the first tilt threshold > the second tilt threshold) are set, and the focus Determine quantity. If the average inclination of edges in the image is equal to or greater than the first threshold, the amount of focus is determined to be suitable (represented by ◯). Also, if the average slope of edges in the image is less than the first threshold and equal to or greater than the second threshold, the amount of focus is determined to be acceptable (represented by Δ), and if the average slope of edges in the image is less than the second threshold, If there is, the amount of focus is determined to be unacceptable (represented by x).

Ｓ５０３０３において、画像解析部２０４は、画像取得部２０３が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。本実施形態では、オブジェクトとして顔を検出する。顔の検出方法として、任意の公知方法を採用することができ、このような公知方法として例えば、複数用意した弱識別器から強識別器を作成するＡｄａＢｏｏｓｔが挙げられる。本実施形態では、ＡｄａＢｏｏｓｔにより作成した強識別器を用いて人物の顔を検出する。Ｓ５０３０３では、顔を検出すると共に、画像における該検出した顔の領域の左上座標値と右下座標値とを取得する。この２種の座標値を求めることにより、顔の位置および顔のサイズを特定することができる。更に、人物の顔と同様に、犬や猫等の動物と、料理とをそれぞれ検出するＡｄａＢｏｏｓｔも併せて実行することで、人物、動物、料理のオブジェクトを検出すると同時に、画像内のオブジェクトが何か分類することができる。尚、検出対象のオブジェクトは上記のものに限らず、花、建物、置物等であってもよい。また、ここでは、ＡｄａＢｏｏｓｔを用いてオブジェクトを分類するケースを説明したが、ディープニューラルネットワークによる画像認識を採用してもよい。 In S50303, the image analysis unit 204 performs object detection and classification of the detected objects on the image data acquired by the image acquisition unit 203. FIG. In this embodiment, faces are detected as objects. Any known method can be used as a face detection method, and an example of such a known method is AdaBoost, which creates a strong classifier from a plurality of prepared weak classifiers. In this embodiment, a strong classifier created by AdaBoost is used to detect a person's face. In S50303, the face is detected, and the upper left coordinate value and lower right coordinate value of the detected face region in the image are obtained. By obtaining these two types of coordinate values, the position and size of the face can be specified. Furthermore, AdaBoost, which detects animals such as dogs and cats, and food as well as human faces, is also executed to detect human, animal, and food objects, and at the same time detect what objects are in the image. can be classified as Objects to be detected are not limited to those described above, and may be flowers, buildings, ornaments, or the like. Also, although the case of classifying objects using AdaBoost has been described here, image recognition using a deep neural network may be employed.

Ｓ５０３０４において、画像解析部２０４は、画像解析部２０４が検出した顔に対して個人認識を行う。まず、抽出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似度を導出する。そして、導出した類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤを、抽出した顔画像に対応するＩＤに決定する。つまり、類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤに対応する人物が、抽出した顔画像の人物として特定される。尚、個人ＩＤそれぞれに対して導出される類似度の全てが所定の閾値未満の場合、抽出した顔画像の人物を新規の人物とみなし、新規の個人ＩＤを割り振って、顔辞書データベースに登録する。顔辞書データベースは、例えばＨＤＤ１０４に格納されている。 In S50304, the image analysis unit 204 performs personal recognition on the face detected by the image analysis unit 204. FIG. First, the degree of similarity between the extracted face image and the representative face image stored for each personal ID in the face dictionary database is derived. Then, the personal ID with the highest degree of similarity having the derived degree of similarity greater than or equal to a predetermined threshold value is determined as the ID corresponding to the extracted face image. That is, a person whose similarity is equal to or greater than a predetermined threshold and whose personal ID has the highest similarity is specified as the person of the extracted face image. If all of the degrees of similarity derived for each personal ID are less than a predetermined threshold, the person in the extracted face image is regarded as a new person, a new personal ID is assigned, and registered in the face dictionary database. . The face dictionary database is stored in the HDD 104, for example.

図５（ａ）の説明に戻る。Ｓ５０４において、画像解析部２０４は、Ｓ５０１で設定された条件を満たす画像群の全画像に対して、Ｓ５０２からＳ５０３の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５０５に進む一方、該判定結果が偽の場合、Ｓ５０２に戻る。 Returning to the description of FIG. In S504, the image analysis unit 204 determines whether the processing from S502 to S503 has been completed for all the images in the image group satisfying the conditions set in S501. If the determination result of this step is true, the process proceeds to S505, and if the determination result is false, the process returns to S502.

Ｓ５０５において、シーン分割部２０６は、画像取得部２０３が取得した画像群に対して、シーン分割を実行する。シーン分割とは、取得した画像群を、複数のサブ画像群に分けることを指す。具体的には、Ｓ５０３０１で取得済みの撮影日時の情報を用いて、画像間の撮影日時の時間差に基づいて画像群を複数に分割する。実際の分割の例は以下の通りである。 In step S<b>505 , the scene division unit 206 performs scene division on the image group acquired by the image acquisition unit 203 . Scene division refers to dividing an acquired image group into a plurality of sub-image groups. Specifically, the image group is divided into a plurality of groups based on the time difference of the shooting date and time between the images using the shooting date and time information acquired in S50301. An example of actual division is as follows.

画像群のうち、最も撮影時間が古い（または新しい）画像に最初に着目し、その次に古い（または新しい）画像との時間差を算出し、該算出した時間差が所定の閾値以上が判定する。このような処理を、着目画像を撮影時間が新しい（或いは古い）ものに順次置き換えながら、全ての画像に対して行う。尚、本実施形態における「分割」とは、２つの画像間を境に撮影時間の新しい方と古い方とで画像群を分割するという意味である。本実施形態では、着目画像の撮影時間とその次に古い（または新しい）画像の撮影時間との間の差分が１６時間以上の場合は、画像群を分割して、これらの画像が異なるサブ画像群に属するようにする。尚、分割の際に用いる時間差の閾値は、これに限定されるものではない。図６は、上述したシーン分割方法を用いて、画像群を分割した結果を示している。 Focusing first on the image with the oldest (or newest) shooting time in the image group, calculating the time difference with the next oldest (or newest) image, and judging if the calculated time difference is equal to or greater than a predetermined threshold. Such processing is performed on all images while sequentially replacing the target image with an image with a newer (or older) photographing time. It should be noted that "dividing" in this embodiment means dividing the image group into the image group with the newer image and the older image at the boundary between the two images. In this embodiment, when the difference between the shooting time of the image of interest and the shooting time of the next oldest (or newest) image is 16 hours or more, the image group is divided into sub-images in which these images are different. to belong to a group. Note that the time difference threshold used for division is not limited to this. FIG. 6 shows the results of segmenting an image group using the scene segmentation method described above.

また、本実施形態では、撮影日時の情報を用いてシーン分割を行ったが、用いる情報はこれに限らない。例えば、撮影位置の情報を用いて、撮影位置が近い画像同士が同一のシーンに属するように、画像群を分割してもよい。別の例として、個人認識結果を用いてもよい。例えば、卒業アルバムにおいて、あるグループ（クラスや部活等）に所属する生徒の画像を事前にアプリケーションに登録しておくことで、グループに所属する生徒が写っている画像をまとめた画像群を１つのシーン（サブ画像群）としてもよい。さらに別の例として、画像情報以外の情報を用いてもよい。ここでは類似するイベントを１つのシーンとしてまとめる方法を説明する。画像が保存されているフォルダ名や、ソーシャルネットワーキングサービス等で付けたタグ情報を画像に付随するメタ情報として取得する。例えば、「運動会」や「修学旅行」などの検索ワードによって、検索ワードを含むメタ情報を持つ画像群を１つのシーンとする。検索ワードの指定に関しては、アルバム作成条件設定部２０１を介してアプリケーションに予め組み込まれている検索ワードの中から、ユーザが選択してもよいし、テキストボックスに検索ワードを入力してもよい。 In addition, in the present embodiment, the scene division is performed using the information of shooting date and time, but the information to be used is not limited to this. For example, an image group may be divided by using information on shooting positions so that images shot at close shooting positions belong to the same scene. As another example, personal recognition results may be used. For example, in a graduation album, by registering images of students belonging to a certain group (class, club activities, etc.) in an application in advance, a group of images containing images of students belonging to the group can be combined into one image group. A scene (sub-image group) may also be used. As yet another example, information other than image information may be used. Here, a method for grouping similar events into one scene will be described. Acquire the name of the folder in which the image is stored and the tag information attached by the social networking service etc. as meta information attached to the image. For example, by using search words such as "athletic meet" and "school excursion", a group of images having meta information including the search words is treated as one scene. The search word may be specified by the user from among the search words pre-installed in the application via the album creation condition setting unit 201, or by inputting the search word into the text box.

Ｓ５０６において、シーン分類部２０７は、Ｓ５０５で得たサブ画像群の夫々に対して、シーン分類を行う。尚、以下では、各サブ画像群（各シーン）を「旅行」、「日常」、「セレモニー」の３つカテゴリの何れかに分類する場合を例に挙げて説明するが、分類する項目はこれらに限定されるものではない。 In S506, the scene classification unit 207 performs scene classification on each of the sub-image groups obtained in S505. In the following description, an example of classifying each sub-image group (each scene) into one of the three categories of "travel", "daily life", and "ceremony" will be described. is not limited to

まず、旅行、日常、セレモニーのうち何れに分類されるか予め判定されたサブ画像群を複数取得し、該取得した複数のサブ画像群の夫々についての、撮影の特徴量を取得する。ここで取得する撮影の特徴量とは、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、画像群に含まれる画像のうち最も古い画像の撮影時間と最も新しい画像の撮影時間との間の時間差である。撮影枚数は、サブ画像群に含まれる画像の数（つまり写真の枚数）である。撮影人数は、顔が写っている画像における顔の数であり、１つの画像に含まれる顔の数である。そして、複数のサブ画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの人数の平均値と標準偏差を求める。尚、本実施形態では、１画像あたりの顔の数が、１画像あたりの人数とする。 First, a plurality of sub-image groups pre-determined to be classified into travel, daily life, or ceremony are acquired, and the photographing feature amount is acquired for each of the acquired plurality of sub-image groups. The photographing feature values acquired here are, for example, the photographing period, the number of photographed images, and the number of photographed persons. The shooting period is the time difference between the shooting time of the oldest image and the shooting time of the newest image among the images included in the image group. The number of shots is the number of images included in the sub-image group (that is, the number of photographs). The number of people photographed is the number of faces in an image containing faces, and is the number of faces included in one image. Then, the average value and standard deviation of the shooting period, the average value and standard deviation of the number of shots, and the average value and standard deviation of the number of people per image are obtained for a plurality of sub-image groups. In this embodiment, the number of faces per image is the number of people per image.

図７は、複数のサブ画像群に対して求めた、撮影期間（時間）の平均と標準偏差、撮影枚数の平均と標準偏差、１画像あたりの人数の平均と標準偏差の一例を示す。これらの求めた値は、アルバム作成アプリケーションのプログラムに予め組み込んでおく。つまり、アプリケーションの設計段階で、予め集めた画像を用いた学習によってパラメータを生成し、該生成したパラメータをプログラムに組み込んでおく。アルバム作成アプリケーションが起動された後、ユーザがパスボックス４０２を介して指定した画像群に対するＳ５０５での分割の結果得られたサブ画像群毎に、撮影期間と、撮影枚数と、１画像あたりの人数とのそれぞれの平均値を算出する。そして、シーン毎に、前述したアプリに予め組み込まれたパラメータ（具体的には、各サブ画像群の撮影期間、撮影枚数、撮影人数の特徴量についてのそれぞれの平均値と標準偏差）を用いて、以下の式に従って得点を算出する。

シーン毎且つ特徴量毎の得点＝５０－｜１０×（シーン毎且つ特徴量毎の平均値－サブ画像群毎の特徴量）／シーン毎且つ特徴量毎の標準偏差｜・・・式（１）

シーン毎の平均得点＝（シーン毎の撮影期間の得点＋シーン毎の撮影枚数の得点＋シーン毎の撮影人数の得点）／特徴量の項目数・・・式（２） FIG. 7 shows an example of the average and standard deviation of the shooting period (time), the average and standard deviation of the number of shots, and the average and standard deviation of the number of people per image obtained for a plurality of sub-image groups. These obtained values are incorporated in the album creation application program in advance. That is, at the design stage of the application, parameters are generated by learning using pre-collected images, and the generated parameters are incorporated into the program. After the album creation application is started, the shooting period, the number of shots, and the number of people per image are displayed for each sub-image group obtained as a result of dividing the image group specified by the user through the pass box 402 in step S505. Calculate the average value of each of Then, for each scene, using the parameters (specifically, the average value and standard deviation of each feature value of the shooting period, the number of shots, and the number of shots of each sub-image group) that are pre-installed in the application described above. , the score is calculated according to the following formula.

Score for each scene and for each feature amount = 50−|10×(Average value for each scene and for each feature amount−Feature amount for each sub-image group)/Standard deviation for each scene and each feature amount | Expression (1 )

Average score for each scene = (score for the shooting period for each scene + score for the number of shots for each scene + score for the number of shots for each scene) / number of feature quantity items Equation (2)

式（１）により、着目サブ画像群の、各シーンおよび各特徴量についての得点が求められる。例えば、旅行シーンについて、撮影期間と、撮影枚数と、撮影人数とのそれぞれの得点が求められる。これらの得点を式（２）により平均化して、旅行シーンに対する得点とする。同様に、日常、セレモニーという他のシーンについても得点が得られる。以上説明した手法により、旅行シーンの平均得点と、日常シーンの平均得点と、セレモニーシーンの平均得点とが、サブ画像群毎に算出される。尚、式（２）における特徴量の項目数は３である。 A score for each scene and each feature amount of the group of sub-images of interest is obtained by the formula (1). For example, for a travel scene, scores for the shooting period, the number of shots, and the number of shots are obtained. These scores are averaged by Equation (2) to obtain the score for the travel scene. Similarly, scores can be obtained for other scenes such as daily life and ceremonies. By the method described above, the average score of travel scenes, the average score of everyday scenes, and the average score of ceremony scenes are calculated for each sub-image group. Note that the number of items of the feature amount in Expression (2) is three.

サブ画像群毎に算出したシーン毎の得点のうち最高点のシーンをそのサブ画像群のシーンとして分類する。２以上のシーンが同点の場合は、既定の優先度に従ってシーン分類を行う。例えば、本実施形態では、日常＞セレモニー＞旅行の順に優先することが予め決められており、日常の優先度を最も高くする。尚、優先度の順番はこれに限定されるものではなく、また、ユーザが優先度の順番を変更できるようにしてもよい。 The scene with the highest score among the scores for each scene calculated for each sub-image group is classified as the scene of the sub-image group. If two or more scenes are tied, the scenes are sorted according to the default priority. For example, in the present embodiment, it is predetermined that priority is given in the order of daily life>ceremony>travel, and the highest priority is given to daily life. The order of priority is not limited to this, and the user may change the order of priority.

図６のサブ画像群（１）～（８）は、画像群に対するシーン分割により得たサブ画像群を示す。これらサブ画像群のうちサブ画像群（５）について、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であったとする。これに対する旅行の平均得点は４５．３２、日常の平均得点は１８．３８、セレモニーの平均得点は－２９．９２となる結果、サブ画像群（５）のシーンは旅行に分類される。分類したサブ画像群は、シーン識別ができるようにシーンＩＤを関連付けて管理する。尚、本実施形態では撮影期間、撮影枚数、撮影人数を、撮影の特徴量として採用するケースを説明したが、撮影の特徴量はこれらに限らない。例えば、屋内か屋外かを識別するために、機械学習を用いた画像セグメンテーションにより空が写っているか否か、といったフラグを特徴量として採用してもよい。或いは、セレモニーをさらに細かく分類してもよい。例えば、結婚式と披露宴との何れかに分類する場合、個人認識結果を用いて全画像中で最も多く写っている上位二人を新郎新婦とする。そして、新郎新婦のみが写っている写真が多いシーンを結婚式、新郎新婦以外の人も共に写っている写真が多いシーンを披露宴のように分類してもよい。さらには、特徴量を機械学習によって導出してもよい。例えば、分類したいシーンとそのシーンを表す画像群を用意し、Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いて入力を画像、出力をシーン分類結果となる学習を行うことで、シーン分類を行ってもよい。 Sub-image groups (1) to (8) in FIG. 6 show sub-image groups obtained by scene division of the image group. For the sub-image group (5) among these sub-image groups, it is assumed that the shooting period was 36 hours, the number of shots was 300, and the number of shots was 1.7. The average score for travel is 45.32, the average score for daily life is 18.38, and the average score for ceremony is -29.92. As a result, the scene of sub-image group (5) is classified as travel. The classified sub-image group is managed by associating it with a scene ID so that the scene can be identified. In this embodiment, a case was described in which the shooting period, the number of shots, and the number of shots were used as the feature amounts of shooting, but the feature amounts of shooting are not limited to these. For example, in order to distinguish between indoors and outdoors, a flag indicating whether or not the sky is captured by image segmentation using machine learning may be employed as a feature quantity. Alternatively, ceremonies may be further classified. For example, when classifying into either a wedding ceremony or a wedding reception, the bride and groom are determined to be the top two images in all images using the personal recognition result. Scenes containing many pictures of only the bride and groom may be classified as weddings, and scenes containing many pictures of people other than the bride and groom may be classified as wedding receptions. Furthermore, you may derive a feature-value by machine learning. For example, scene classification may be performed by preparing a scene to be classified and an image group representing the scene, and using a Convolution Neural Network (CNN) to perform learning in which the input is an image and the output is a scene classification result.

Ｓ５０７において、主被写体設定部２０５は、アルバム毎の主被写体を設定する。本実施形態では、アルバム作成条件設定部２０１から送信された、アルバム毎の主被写体の情報を取得する。ここでは説明のため、２種類のアルバムに対して、アルバム１に主被写体Ａ、アルバム２に主被写体Ｂを設定したとする。 In S507, the main subject setting unit 205 sets the main subject for each album. In this embodiment, main subject information for each album transmitted from the album creation condition setting unit 201 is acquired. Here, for the sake of explanation, it is assumed that main subject A is set in album 1 and main subject B is set in album 2 with respect to two types of albums.

Ｓ５０８において、画像得点部２０８は、各画像に対する得点付けを行う。この処理を画像得点化処理と呼ぶ。本ステップで導出する「得点」とは、アルバムへの使用適性を評価するためのパラメータであり、画像データ毎に後述する観点で評価した得点が付けられ、後述の画像選択時に参照される。本実施形態では、画質の良し悪しに加えて、Ｓ５０７で設定した主被写体毎の得点を付ける。まず、Ｓ５０３０２で導出した画質の特徴量に応じた得点を付ける。ここでは、ピント量が○（好適）なら１点、△（許容できる）なら０．５点、×（許容できない）なら０点とする。これにより、ピントが合っている画像の得点を高くすることができる。尚、本実施形態では、画質の特徴量としてピント量を採用したが、画質の特徴量はこれに限らない。例えば、画像サイズを用いてもよいし、撮影時に使用したレンズ情報などの撮影情報を用いてもよいし、アプリケーションに入力される画像の圧縮フォーマットを用いてもよい。 In S508, the image scoring unit 208 scores each image. This processing is called image scoring processing. The "score" derived in this step is a parameter for evaluating suitability for use in an album, and a score evaluated from a viewpoint described later is attached to each image data, and is referred to when selecting an image described later. In this embodiment, in addition to the quality of image quality, a score is given for each main subject set in S507. First, a score is given according to the image quality feature amount derived in S50302. Here, 1 point is given if the focus amount is ◯ (preferred), 0.5 point is given if Δ (acceptable), and 0 point is given if × (unacceptable). This makes it possible to increase the score of an image that is in focus. In this embodiment, the amount of focus is used as the feature amount of image quality, but the feature amount of image quality is not limited to this. For example, an image size may be used, shooting information such as lens information used at the time of shooting may be used, or a compression format of an image input to an application may be used.

画質の特徴量に応じた得点を付けた後、画像得点部２０８は、設定した主被写体毎の得点を付ける。つまり本実施形態では、１つの画像に対して３種類の得点、具体的には、画質が良いか、主被写体Ａが写っているか、主被写体Ｂが写っているか、という３つの観点で評価した得点が付けられる。主被写体毎の得点付けには、Ｓ５０３０３で導出した顔のサイズおよびＳ５０３０４の個人認識結果を用いることができる。画像中に主被写体が写っていない場合は０点とし、写っている場合は、画像サイズに対して主被写体に設定した個人の顔が占める割合を、主被写体毎の得点とする。尚、本実施形態では、顔サイズを用いて主被写体毎の得点付けを行うが、顔サイズ以外のものを用いてもよい。例えば、主被写体である人の表情を判定し、笑顔であれば加点してもよい。また、人以外を主被写体に設定した場合には、Ｓ５０３０３でのオブジェクト検出および分類の結果を用いることで、オブジェクトサイズに応じて同様に得点付けを行う。 After scoring according to the feature amount of image quality, the image scoring unit 208 scores each set main subject. In other words, in the present embodiment, one image is evaluated using three types of scores, specifically, whether the image quality is good, whether the main subject A is captured, and whether the main subject B is captured. Scores are given. The face size derived in S50303 and the individual recognition result in S50304 can be used for scoring each main subject. If the main subject is not shown in the image, the score is 0. If the main subject is shown, the ratio of the face of the individual set as the main subject to the image size is taken as the score for each main subject. In this embodiment, the face size is used to score each main subject, but other than the face size may be used. For example, the facial expression of a person who is the main subject may be determined, and points may be added if the person is smiling. Also, when a subject other than a person is set as the main subject, the results of object detection and classification in S50303 are used to similarly score according to the object size.

Ｓ５０９において、画像得点部２０８は、画像取得部２０３が取得した画像群の全画像に対してＳ５０８の得点付けが完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１０に進む一方、該判定結果が偽の場合、Ｓ５０８に戻る。 In S<b>509 , the image scoring unit 208 determines whether the scoring in S<b>508 has been completed for all the images in the image group acquired by the image acquiring unit 203 . If the determination result of this step is true, the process proceeds to S510, and if the determination result is false, the process returns to S508.

Ｓ５１０において、見開き作成パラメータ生成部２０９は、アルバム作成条件設定部２０１からアルバム作成条件を受け取ると共に、主被写体設定部２０５からアルバム毎の主被写体の情報を受け取って、見開き作成パラメータを生成する。見開き作成パラメータとは、後述する見開きを構成する画像の選択やレイアウトを行う際に使用する設定値のことである。例えば、Ｓ５０８で画像に付けた得点に基づいて見開きに使用する画像を選択する際、画質に応じた得点と各主被写体の得点とのうちどの得点を優先するかを制御する重みや、画像選択の基準となる閾値などを生成する。見開き作成パラメータ生成部２０９は、見開き作成パラメータとして、全てのアルバムに共通する「共通パラメータ」と、アルバム毎に異なる「個別パラメータ」とを生成する。即ち、見開き作成パラメータ生成部２０９は、（アルバム数＋１）個の見開き生成パラメータを生成する。これにより、見開きを構成する画像および配置が同一の見開きが、複数のアルバムにおいて出現する「共通見開き」と、見開きを構成する画像および配置が特定のアルバムにおいてのみ出現する「個別見開き」とを作成できる。本実施形態では、共通パラメータには、画像に付けられた各得点が均等に評価される重みを設定する。共通パラメータｗiを用いた際の、ある画像Ｉを代表する得点IｓｃｏｒｅSを以下の式（３）で表す。 In step S510, the double-page spread creation parameter generation unit 209 receives the album creation conditions from the album creation condition setting unit 201 and main subject information for each album from the main subject setting unit 205, and creates double-page spread creation parameters. Spread creation parameters are set values used when selecting and laying out images forming a spread, which will be described later. For example, when selecting an image to be used for a double-page spread based on the scores given to the images in S508, weights for controlling which of the score corresponding to the image quality and the score of each main subject should be given priority, and image selection. Generates a threshold, etc., that serves as a reference for The double-page spread creation parameter generation unit 209 generates a “common parameter” common to all albums and an “individual parameter” different for each album as the double-page spread creation parameter. That is, the double-page spread creation parameter generation unit 209 generates (number of albums+1) double-page spread generation parameters. This creates a "common spread" in which the spread with the same image and layout appears in multiple albums, and an "individual spread" in which the image and layout of the spread appears only in a specific album. can. In this embodiment, weights are set for the common parameters so that each score assigned to an image is equally evaluated. A score I score S representing a certain image I when using the common parameter wi is expressed by the following equation (3).

Figure 0007263054000001
Figure 0007263054000001

ここで、Iｓｃｏｒｅiは画像Ｉに付けられたｉ番目の得点、ｗiは各得点に対する重みを表す。本実施形態では、ｗi＝１／３に設定することで、画質の得点、主被写体Ａの得点、主被写体Ｂの得点を均等に評価する。これにより、画質がよく、且つ、より得点の高い人が多く写っている画像が優先される。 Here, I score i is the i-th score assigned to image I, and w i is the weight for each score. In this embodiment, by setting w i =1/3, the score for image quality, the score for main subject A, and the score for main subject B are equally evaluated. As a result, an image with good image quality and including many people with higher scores is given priority.

一方、個別パラメータには、アルバム毎の主被写体が写っている画像を優先する重みを設定する。個別パラメータｗoを用いた際の、ある画像Ｉを代表する得点IｓｃｏｒｅIを以下の式（４）で表す。 On the other hand, in the individual parameter, a weight is set to give priority to images in which the main subject is shown for each album. A score I score I representing a certain image I when using the individual parameter w o is expressed by the following equation (4).

Figure 0007263054000002
Figure 0007263054000002

ここで、Iｓｃｏｒｅqは画像Ｉに付けられた画質の得点、Iｓｃｏｒｅoは画像Ｉに付けられた主被写体Ｏの得点、ｗqは画質の得点に対する重み、ｗoは主被写体Ｏに対する重みを表す。本実施形態では、ｗq＝ｗo＝１に設定することで、主被写体が写っている画像のみを評価し、画質と主被写体の大きさにより優先される画像が決まる。尚、本実施形態では見開き作成パラメータとして得点に対する重みを用いたが、見開きパラメータはこれに限らない。例えば、見開きパラメータに、作成する見開き数を含めてもよい。また、IｓｃｏｒｅSとIｓｃｏｒｅIとは共に主被写体が写っている場合に得点が高くなるように求めたが、これに限らない。風景のような主被写体が全く写っていない画像については、別途画質の得点や、画像情報などに基づいて、得点を算出してもよい。例えば、得点が高い画像との撮影時間の差が小さい画像については、画質の得点を代表得点としてもよい。これにより、主被写体が写っている写真と関連性がある可能性が高い画像にも高得点を付けることができる。 Here, I score q is the image quality score assigned to image I, I score o is the score of main subject O assigned to image I, w q is the weight for the image quality score, and w o is the weight for main subject O. represents In this embodiment, by setting w q =w o =1, only images in which the main subject is shown are evaluated, and the image to be prioritized is determined according to the image quality and the size of the main subject. In this embodiment, the weight for the score is used as the spread creation parameter, but the spread parameter is not limited to this. For example, the spread parameter may include the number of spreads to be created. Also, both I score S and I score I were asked to have a high score when the main subject was captured, but this is not the only option. For an image in which the main subject is not captured at all, such as a landscape, the score may be calculated separately based on the image quality score or image information. For example, an image quality score may be used as a representative score for an image with a small difference in shooting time from an image with a high score. This makes it possible to give a high score to an image that is highly likely to be related to a photograph in which the main subject is photographed.

Ｓ５１１において、見開き作成部２１０は、Ｓ５１０で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成処理について、図２（ｂ）及び図５（ｃ）を用いて説明する。図２（ｂ）は、見開き作成部２１０の詳細なブロック図である。図５（ｃ）は、Ｓ５１１における見開き作成の詳細なフローチャートである。 In S511, the spread creating unit 210 creates an album spread using the parameters generated in S510. Here, the double-page spread creation process of this step will be described with reference to FIGS. 2(b) and 5(c). FIG. 2B is a detailed block diagram of the spread creation unit 210. As shown in FIG. FIG. 5C is a detailed flow chart of creating a double-page spread in S511.

Ｓ５１１０１において、見開き作成パラメータ設定部２１００１は、Ｓ５１０で生成したパラメータのうち１つを読み込む。本実施形態では、アルバム１の個別パラメータ、アルバム２の個別パラメータ、共通パラメータの順に読み込む。 In S51101, the spread creation parameter setting unit 21001 reads one of the parameters generated in S510. In this embodiment, the individual parameters of album 1, the individual parameters of album 2, and the common parameters are read in this order.

Ｓ５１１０２において、見開き候補画像取得部２１００２は、Ｓ５０８で付けられた得点と、Ｓ５１１０１で設定された見開き作成パラメータとに基づき、画像取得部２０３が取得した全画像群の中から、見開きに使用する候補画像を取得する。本実施形態では、Ｓ５０８で求めた得点と、Ｓ５１１０１で設定された見開き作成パラメータとに基づき、式（３）または式（４）に従い、各画像に対する得点付けを再び行う（画像の再得点化）。そして、再得点化の結果得られる得点が所定の閾値以上となる画像を候補画像として取得する。候補画像がない場合は、最も得点が高い画像を候補画像とする。尚、ここでは全画像群から候補画像を取得したが、これに限らない。後述する画像選択処理で既に選ばれた画像は除外してもよい。 In S51102, the spread candidate image acquisition unit 21002 selects candidates to be used for spread from all the images acquired by the image acquisition unit 203 based on the score given in S508 and the spread creation parameters set in S51101. Get an image. In this embodiment, each image is re-scored according to equation (3) or (4) based on the score obtained in S508 and the spread creation parameters set in S51101 (image re-scoring). . Then, an image whose score obtained as a result of re-scoring is equal to or higher than a predetermined threshold value is acquired as a candidate image. If there is no candidate image, the image with the highest score is used as the candidate image. Although candidate images are obtained from all image groups here, the present invention is not limited to this. Images that have already been selected in image selection processing, which will be described later, may be excluded.

Ｓ５１１０３において、見開き数設定部２１００３は、直近のＳ５１１０１で設定された見開き作成パラメータが個別パラメータか判定する。本ステップの判定結果が真の場合、Ｓ５１１０４に進む一方、該判定結果が偽の場合、Ｓ５１１０５に進む。 In S51103, the spread number setting unit 21003 determines whether the latest spread creation parameter set in S51101 is an individual parameter. If the determination result of this step is true, the process proceeds to S51104, and if the determination result is false, the process proceeds to S51105.

Ｓ５１１０３でＹＥＳの場合（つまり、直近のＳ５１１０１で個別パラメータが設定された場合）、Ｓ５１１０４において、見開き数設定部２１００３は、Ｓ５０５で行ったシーン分割結果と、Ｓ５１１０２で取得した候補画像とに基づき、見開き数を設定する。本実施形態では、以下の式（５）及び式（６）に従って、見開き数を設定する。

シーン毎の見開き数＝ｃｅｉｌ（シーン中の候補画像数÷１見開きあたりの最大画像数）・・・式（５）

個別見開き数＝Σシーン毎の見開き数・・・式（６） If YES in S51103 (that is, if the individual parameter was set in the most recent S51101), in S51104, the spread number setting unit 21003, based on the scene division result performed in S505 and the candidate images acquired in S51102, Set the number of spreads. In this embodiment, the number of double-page spreads is set according to the following formulas (5) and (6).

Number of spreads per scene = ceil (number of candidate images in a scene/maximum number of images per spread) Equation (5)

Number of individual spreads = Σ Number of spreads per scene Equation (6)

式（５）及び式（６）により、個別パラメータにより作成される見開き数が求まる。１見開きあたりの最大画像枚数は、見開き写真枚数設定部４０６を介するユーザ入力に基づいて設定される。尚、個別見開き数がＳ５０１で設定される総見開き数以上になる場合、以下の式（７）に従う。

個別見開き数＝総見開き数－１・・・式（７） The number of double-page spreads to be created using the individual parameters is obtained from equations (5) and (6). The maximum number of images per two-page spread is set based on user input via the two-page spread photo number setting unit 406 . When the number of individual spreads is greater than or equal to the total number of spreads set in S501, the following formula (7) is followed.

Number of individual spreads = Total number of spreads - 1 Equation (7)

式（６）及び式（７）により、個別見開き数を総見開き数より１以上小さくすることができる。これにより、個別パラメータと共通パラメータという異なるパラメータで作成された見開きを１アルバム中に混在させることができる。これにより、シーン毎に、主被写体がよく写っている画像数に応じて個別見開き数を設定できる。尚、個別見開き数に対する上限値、下限値を設定してもよい。 By formulas (6) and (7), the number of individual spreads can be made smaller than the total number of spreads by one or more. As a result, two-page spreads created with different parameters such as individual parameters and common parameters can be mixed in one album. As a result, for each scene, the number of individual spreads can be set according to the number of images in which the main subject is well captured. An upper limit value and a lower limit value may be set for the number of individual spreads.

一方、Ｓ５１１０３でＮＯの場合（つまり、直近のＳ５１１０１で共通パラメータが設定された場合）、Ｓ５１１０５において、見開き数設定部２１００３は、以下の式（８）に従って、見開き数を設定する。

共通見開き数＝総見開き数－ＭＩＮ（各アルバムの合計個別見開き数）・・・式（８） On the other hand, if NO in S51103 (that is, if the common parameter was set in the most recent S51101), in S51105 the spread number setting unit 21003 sets the number of spreads according to the following equation (8).

Number of common spreads = total number of spreads - MIN (total number of individual spreads for each album) Equation (8)

式（８）により、個別見開き数と総見開き数との両方に合わせた共通見開き数を設定できる。 By formula (8), the number of common spreads can be set to match both the number of individual spreads and the total number of spreads.

尚、ここでは、候補画像数に応じて見開き数を設定するケースを説明したが、見開き数の設定手法はこれに限らない。例えば、見開き作成パラメータ生成部２０９がパラメータ内に見開き数を設定し、見開き数設定部２１００３はパラメータに設定された見開き数を読み込んでもよい。また例えば、見開き作成パラメータ生成部２０９は、アルバム作成アプリケーションのプログラムに予め組み込んでおいた見開き数を設定してもよいし、ユーザ指定の個別見開きと共通見開きとの比率に基づいて、見開き数を算出してもよい。 Although the case where the number of spreads is set according to the number of candidate images has been described here, the method for setting the number of spreads is not limited to this. For example, the spread creation parameter generation unit 209 may set the number of spreads in the parameter, and the spread number setting unit 21003 may read the number of spreads set in the parameter. Further, for example, the double-page spread creation parameter generation unit 209 may set the number of double-page spreads that is pre-installed in the program of the album creation application, or may set the number of double-page spreads based on the ratio between the individual double-spreads specified by the user and the common double-spreads. can be calculated.

Ｓ５１１０６において、見開き割当部２１００４は、Ｓ５１１０２で取得した候補画像を、Ｓ５１１０４またはＳ５１１０５で設定した見開き数分のサブ画像群に分割して割り当てる。本実施形態では、候補画像をＳ５０３０１で取得した撮影時間順に並べ、隣り合う画像間の撮影時間の時間差が大きい場所で分割する。このような処理をＳ５１１０４またはＳ５１１０５で設定した見開き数分に分割するまで行う。つまり、（見開き数－１）回の分割を行う。これにより、画像配置基準を撮影時間とする、撮影時間順に画像が並んだアルバムを作成することができる。 In S51106, the spread allocation unit 21004 divides the candidate images acquired in S51102 into sub-image groups corresponding to the number of spreads set in S51104 or S51105 and allocates them. In this embodiment, the candidate images are arranged in the order of the shooting time acquired in S50301, and divided at locations where the difference in shooting time between adjacent images is large. Such processing is performed until the page is divided into the number of spreads set in S51104 or S51105. That is, division is performed (number of spreads−1) times. As a result, it is possible to create an album in which images are arranged in order of shooting time, with shooting time as the image placement reference.

Ｓ５１１０７において、見開き画像選択部２１００５は、Ｓ５１１０６で処理対象の見開きに割り当てられた候補画像群の中から、レイアウトに使用する画像を選択する。以下、図８を用いて、ある見開きに割り当てられた候補画像群から画像を４枚選択するケースを例に挙げて説明する。尚、ここでは、見開きとは、２ページを指し、最初の見開き及び最後の見開きは、１ページとする。 In S51107, the double-page spread image selection unit 21005 selects images to be used for layout from the group of candidate images assigned to the double-page spread to be processed in S51106. A case of selecting four images from a group of candidate images assigned to a spread will be described below with reference to FIG. 8 as an example. It should be noted that a double-page spread here refers to two pages, and the first and last double-page spreads are one page.

図８において、（Ａ）は、見開きに割り当てられた候補画像群に含まれる最初の画像から最後の画像のまでの撮影日時の時間差、言い換えれば、候補画像群の撮影期間を示す。図８の（Ｂ）を使って、４枚選択する際の１枚目を選択する方法を説明する。図８の（Ｂ）に示す候補画像群の撮影期間に撮影された全ての画像のうち、Ｓ５１１０２で再得点化した得点が最も高い画像を、１枚目の画像として選択する。そして、２枚目以降の選択では、候補画像群の撮影期間を細分化して画像を選択することにより、候補画像群の撮影期間の一部に選択画像が集中しないようにする。まず、図８の（Ｃ）に示すように候補画像群の撮影期間を２分割して、２つの撮影区間（期間）とする。つまり、撮影期間を２等分して２つの撮影区間にする（グループ分けする）。次に、図８の（Ｄ）に示すように、１枚目の画像が選ばれていない撮影区間（実線の区間）に属する画像の中から得点が最も高い画像を、２枚目の画像として選択する。次に、図８の（Ｅ）に示すように、（Ｄ）の各撮影区間をそれぞれ２等分する。図８の（Ｆ）において実線で示す撮影区間、即ち、１枚目と２枚目が選ばれていない２つの撮影区間に撮影された画像（２つの撮影区間に対応する画像）のうち得点が最も高い画像を、３枚目の画像として選択する。次に、画像を選択する範囲の撮影区間に画像が存在せず、画像選択できないケースを４枚目の画像選択を例に挙げて説明する。本実施形態では、画像の枚数に関わらず、時間に応じて撮影期間を分割している。従って、分割して得られた撮影区間に画像が存在しない場合がある。例えば、図８の（Ｇ）に示すように、まだ画像が選ばれていない撮影区間（斜線で示す撮影区間）から４枚目を選択したいが、この撮影区間には画像が存在しないとする。このような場合は、図８の（Ｈ）に示すように、画像を選択済みの各撮影区間をそれぞれ２分割する。次に、図８の（Ｉ）に示すように、図中に実線で示す１～３枚目が選ばれていない撮影区間に撮影された画像の中から得点が最も高い画像を、４枚目の画像として選択する。尚、選択する枚数が４枚から増減した場合についても、前述と同様に画像を選択する。 In FIG. 8, (A) indicates the time difference between the shooting dates and times of the first image to the last image included in the group of candidate images assigned to the spread, in other words, the shooting period of the group of candidate images. A method of selecting the first sheet when selecting four sheets will be described with reference to FIG. 8B. Of all the images shot during the shooting period of the candidate image group shown in FIG. 8B, the image with the highest score re-scored in S51102 is selected as the first image. In the selection of the second and subsequent images, images are selected by subdividing the image capturing period of the candidate image group so that the selected images are not concentrated in a part of the image capturing period of the candidate image group. First, as shown in FIG. 8C, the imaging period of the candidate image group is divided into two imaging sections (periods). That is, the shooting period is divided into two equal shooting intervals (grouped). Next, as shown in (D) of FIG. 8, the image with the highest score among the images belonging to the shooting section (solid line section) in which the first image is not selected is selected as the second image. select. Next, as shown in (E) of FIG. 8, each shooting section of (D) is divided into two equal parts. In (F) of FIG. 8 , the images captured in the solid lines indicated by the solid lines, that is, the images captured in the two capturing intervals in which the first and second shots are not selected (images corresponding to the two capturing intervals) are scored. Select the highest image as the third image. Next, a case where an image cannot be selected because there is no image in the shooting section of the image selection range will be described by taking the selection of the fourth image as an example. In this embodiment, the shooting period is divided according to time regardless of the number of images. Therefore, there is a case where an image does not exist in the imaging section obtained by division. For example, as shown in (G) of FIG. 8, it is assumed that the fourth frame is to be selected from the shooting interval (the hatched shooting interval) in which no image has been selected yet, but no image exists in this shooting interval. In such a case, as shown in (H) of FIG. 8, each selected shooting section is divided into two. Next, as shown in (I) of FIG. 8, the image with the highest score among the images shot in the shooting section in which the first to third shots indicated by solid lines are not selected is selected as the fourth shot. to select as an image. Even if the number of images to be selected is increased or decreased from four, images are selected in the same manner as described above.

図５（ｃ）の説明に戻る。Ｓ５１１０８において、テンプレート設定部２１００６は、ＨＤＤ１０４に保存されているテンプレートの中から、レイアウトに利用する複数のテンプレートを選択的に設定する。本ステップでは、Ｓ５０１で設定されたアルバム作成条件を満たすデザインのテンプレートが設定される。 Returning to the description of FIG. 5(c). In S51108, the template setting unit 21006 selectively sets a plurality of templates to be used for layout from among the templates saved in the HDD 104. FIG. In this step, a template with a design that satisfies the album creation conditions set in S501 is set.

Ｓ５１１０９において、見開きレイアウト部２１００７は、処理対象の見開きに対する画像レイアウトを決定する。具体的には、見開きレイアウト部２１００７は、Ｓ５１１０８で設定された複数のテンプレートの中から、Ｓ５１１０７で選択された画像をレイアウトするのに適したテンプレートを決定する。ここで、本ステップにおけるテンプレート決定の方法について、図９を用いて説明する。図９は、テンプレート決定に関する機能ブロック図である。 In S51109, the double-page spread layout unit 21007 determines the image layout for the double-page spread to be processed. Specifically, the spread layout unit 21007 determines a template suitable for laying out the image selected in S51107 from among the plurality of templates set in S51108. Here, the template determination method in this step will be described with reference to FIG. FIG. 9 is a functional block diagram regarding template determination.

選択画像情報取得部９０１は、見開き画像選択部２１００５で選択された画像の枚数と、該画像に関する情報とを取得する。取得する画像情報は、画像の幅と高さ、撮影日時情報、画像得点部２０８により算出された得点である。テンプレート選択部９０２は、選択画像枚数と一致するスロット数を持つテンプレートを、テンプレート設定部２１００６で設定されたテンプレートの中から選択する。選択画像ソート部９０３は、選択画像を撮影時間順にソートする。テンプレート選択部９０４は、テンプレート選択部９０２で選択されたテンプレートの内、メイン画像を配置するメインスロットが撮影時間順に並べたメイン画像の順と一致するテンプレートを選択する。ここで「メイン画像」とは、見開き画像として選択された複数の画像のうち、Ｓ５１１０２の再得点化の結果得られる得点が最も得点が高い画像であり、その一方で、該複数の画像のうちメイン画像でない画像を「サブ画像」とする。このテンプレート選択の際、順番に加え、メイン画像のアスペクト比とメイン画像を配置するスロットのアスペクト比も一致していることが選択条件となる。本実施形態では、テンプレートの左上に撮影時間のより古い画像、右下に撮影時間のより新しい画像をレイアウトするものとする。テンプレート選択部９０５は、テンプレート選択部９０４で選択されたテンプレートの内、サブ画像を配置するスロットが撮影時間順に並べたサブ画像の順と一致し、画像とスロットのアスペクト比が一致しているテンプレートを選択する。図１０は、テンプレート決定処理のフローチャートである。 A selected image information acquisition unit 901 acquires the number of images selected by the spread image selection unit 21005 and information about the images. The image information to be acquired includes the width and height of the image, information on shooting date and time, and the score calculated by the image scoring unit 208 . A template selection unit 902 selects a template having the number of slots that matches the number of selected images from the templates set by the template setting unit 21006 . A selected image sorting unit 903 sorts the selected images in order of shooting time. A template selection unit 904 selects a template in which a main slot for arranging a main image matches the order of the main images arranged in order of shooting time from among the templates selected by the template selection unit 902 . Here, the “main image” is the image with the highest score obtained as a result of re-scoring in S51102 among the multiple images selected as the double-page spread images. An image that is not the main image is called a "sub-image". When selecting this template, in addition to the order, the selection condition is that the aspect ratio of the main image and the aspect ratio of the slot in which the main image is arranged also match. In the present embodiment, images shot earlier are laid out in the upper left of the template, and images shot more recently are laid out in the lower right. A template selection unit 905 selects a template selected by the template selection unit 904 in which the slot for arranging the sub-image matches the order of the sub-images arranged in order of shooting time, and the aspect ratio of the image and the slot matches. to select. FIG. 10 is a flowchart of template determination processing.

Ｓ１００１において、選択画像情報取得部９０１は、選択画像情報を取得する。本ステップで取得する選択画像情報には、選択画像数が含まれる。ここでは説明のため、選択画像数は３であるものとする。 In S1001, the selected image information acquisition unit 901 acquires selected image information. The selected image information acquired in this step includes the number of selected images. For the sake of explanation, it is assumed that the number of selected images is three.

Ｓ１００２において、テンプレート選択部９０２は、選択画像数とスロット数とが一致するテンプレートを選択する。ここでは、Ｓ１００１で取得した選択画像数３であったと仮定し、スロット数が３のテンプレートが選択されたものとする。以下、本ステップにて、図１１に示す（１－１）～（４－４）のテンプレートが選択されたケースを例に挙げて説明する。 In S1002, the template selection unit 902 selects a template whose number of selected images matches the number of slots. Here, it is assumed that the number of selected images acquired in S1001 is 3, and a template with 3 slots is selected. A case in which templates (1-1) to (4-4) shown in FIG. 11 are selected in this step will be described below as an example.

Ｓ１００３において、選択画像ソート部９０３は、選択画像を撮影時間順に並べる。ここでは、選択画像を撮影時間順に並べた結果、図１１の（Ａ）に示す関係が得られたとする。また、画像１１０５がメイン画像であり、画像１１０６及び画像１１０７がサブ画像とする。 In S1003, the selected image sorting unit 903 arranges the selected images in order of shooting time. Here, it is assumed that the relationship shown in FIG. 11A is obtained as a result of arranging the selected images in order of photographing time. Also, the image 1105 is the main image, and the images 1106 and 1107 are the sub-images.

Ｓ１００４において、テンプレート選択部９０４は、撮影順に並べた際のメイン画像の配置位置とメイン画像用スロット（メインスロットとする）の配置位置とが一致し、且つ、メイン画像とメインスロットとのアスペクト比が一致するテンプレートを選択する。ここでは、画像１１０５は、撮影時間が一番新しく且つメインスロット用の画像であるため、図１１の（３－１）～（３－４）のテンプレートが候補となる。 In S1004, the template selection unit 904 determines that the arrangement position of the main image and the arrangement position of the main image slot (referred to as the main slot) match when arranged in shooting order, and that the aspect ratio of the main image and the main slot is the same. Select a template that matches In this case, the image 1105 has the latest image capturing time and is the image for the main slot, so the templates (3-1) to (3-4) in FIG. 11 are candidates.

Ｓ１００５において、テンプレート選択部９０５は、サブ画像とサブ画像用のスロット（サブスロットとする）とのアスペクト比が一致するテンプレートを選択する。図１１の例では、サブスロット用の古い方の画像１１０６、即ち、左上に配置したい画像が縦画像で、サブスロット用の新しい方の画像１１０７が横画像である。従って、（３－２）のテンプレートが、選択された３枚の画像に最も適したテンプレートとして決まる。このようにＳ５１１０９では、レイアウトに用いるテンプレートと、テンプレートの何れのスロットに何れの画像をレイアウトするかを識別できる情報が決定する。 In S1005, the template selection unit 905 selects a template in which the aspect ratio of the sub-image and the sub-image slot (sub-slot) match. In the example of FIG. 11, the older image 1106 for the subslot, ie, the image to be placed in the top left, is the vertical image, and the newer image 1107 for the subslot is the horizontal image. Therefore, template (3-2) is determined as the most appropriate template for the three selected images. In this manner, in S51109, a template to be used for layout and information for identifying which image is to be laid out in which slot of the template are determined.

図５（ｃ）の説明に戻る。Ｓ５１１１０において、見開きレイアウト部２１００７は、処理対象の見開き全てに対して、Ｓ５１１０７～Ｓ５１１０９の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１１１１に進む一方、該判定結果が偽の場合、Ｓ５１１０７に戻る。 Returning to the description of FIG. 5(c). In S51110, the double-page spread layout unit 21007 determines whether the processes of S51107 to S51109 have been completed for all the double-page spreads to be processed. If the determination result of this step is true, the process proceeds to S51111, and if the determination result is false, the process returns to S51107.

Ｓ５１１１１において、見開き作成パラメータ設定部２１００１は、Ｓ５１０で生成された全パラメータに対してＳ５１１０１～Ｓ５１１１０の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１２に進む一方、該判定結果が偽の場合、Ｓ５１１０１に戻る。 In S51111, the double-page spread creation parameter setting unit 21001 determines whether the processing of S51101 to S51110 has been completed for all the parameters generated in S510. If the determination result of this step is true, the process proceeds to S512, and if the determination result is false, the process returns to S51101.

図５（ａ）の説明に戻る。Ｓ５１２において、見開き結合部２１１は、見開き作成部２１０により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、見開き配置基準を見開きに配置された画像の撮影時間とし、画像が撮影時間順になるように見開きを並べる。なお、ページ単位で配置を設定する場合、見開き配置基準に替えてページ配置基準としてもよい。 Returning to the description of FIG. In S512, the double-page spread combining unit 211 determines the double-page spread number within the album for each double-page spread created by the double-page spread creating unit 210, and creates the layout of the entire album. In the present embodiment, the shooting time of the images arranged in the spread is used as the spread placement reference, and the spreads are arranged so that the images are arranged in order of shooting time. In addition, when the layout is set for each page, the page layout standard may be used instead of the spread layout standard.

以下、Ｓ５１２の見開き結合について、図１２及び図１３を用いて詳細に説明する。図１２は、本実施形態における見開き結合部２１１の詳細な構成を示すブロック図である。図１３は、見開き結合部２１１が実行する処理のフローチャートである。 The spread combination in S512 will be described in detail below with reference to FIGS. 12 and 13. FIG. FIG. 12 is a block diagram showing the detailed configuration of the double-page spread coupling unit 211 in this embodiment. FIG. 13 is a flowchart of processing executed by the double-page spread joining unit 211 .

Ｓ１３０１において、見開き取得部１２０１は、見開き作成部２１０により作成された見開きのうち、１つのアルバムに関する見開きを取得する。本実施形態では、例えば本ステップで取得するアルバム１に関する見開きとは、共通パラメータで作成された見開きと、アルバム１の個別パラメータで作成された見開きとを含む。 In S<b>1301 , the spread acquisition unit 1201 acquires a spread regarding one album among the spreads created by the spread creation unit 210 . In this embodiment, for example, the double-page spread related to album 1 acquired in this step includes the double-page spread created using the common parameters and the double-page spread created using the individual parameters of album 1 .

Ｓ１３０２において、ソート基準値算出部１２０２は、見開き取得部１２０１が取得した各見開きに対して、ソートの基準となる値を算出する。本実施形態では、ソートの基準値を見開きに配置された画像の平均撮影時間とする。尚、ソートの基準値は撮影時間に限らない。例えば、見開きに配置された画像の平均撮影位置（緯度経度）としてもよいし、画像枚数でもよいし、色ヒストグラムのように画像解析情報を用いてもよい。 In S<b>1302 , the sort reference value calculation unit 1202 calculates a sort reference value for each spread acquired by the spread acquisition unit 1201 . In the present embodiment, the sorting reference value is the average shooting time of the images arranged in a double-page spread. Note that the reference value for sorting is not limited to the shooting time. For example, the average photographing position (latitude and longitude) of images arranged in a double-page spread may be used, the number of images may be used, or image analysis information such as a color histogram may be used.

Ｓ１３０３において、ソート部１２０３は、見開き取得部１２０１が取得した見開きを、ソート基準値算出部１２０２が算出したソート基準値に基づいてソートする。本実施形態では、平均撮影時間が早い見開きから昇順に並べる。 In S<b>1303 , the sorting unit 1203 sorts the spreads acquired by the spread acquisition unit 1201 based on the sort reference value calculated by the sort reference value calculation unit 1202 . In this embodiment, the spreads are arranged in ascending order from the shortest average photographing time.

Ｓ１３０４において、見開き数調整部１２０４は、アルバムの見開き数がＳ５０１で設定した総見開き数と同じか判定する。本ステップの判定結果が真の場合、Ｓ１３０６に進む。一方、本ステップの判定結果が偽の場合、つまり、Ｓ５１１０３で各アルバムの見開き数が総見開き数以上に設定された結果、アルバムの見開き数が総見開き数を超過した場合、Ｓ１３０５に進む。 In S1304, the double-page spread adjustment unit 1204 determines whether the number of double-page spreads of the album is the same as the total number of double-page spreads set in S501. If the determination result of this step is true, the process proceeds to S1306. On the other hand, if the determination result of this step is false, that is, if the number of spreads of each album is set to be greater than or equal to the total number of spreads in S51103, and the number of spreads of the album exceeds the total number of spreads, the process proceeds to S1305.

Ｓ１３０５において、見開き数調整部１２０４は、見開き取得部１２０１が取得した見開きのうち、不要な見開きを削除することで、アルバムの見開き数がＳ５０１で設定された総見開き数に近づくように調整する。本実施形態では、共通見開きを削除することで見開き数を調整する。具体的には、アルバム内にある共通見開きのうち、ソート基準値算出部１２０２が算出した見開きの撮影時間が、個別見開きの撮影時間に最も近い共通見開きを削除する。削除した後、Ｓ１３０４に移行する。尚、本実施形態では共通見開きを削除したがこれに限らない。個別見開きを削除することで見開き数の合計を調整してもよい。なお、Ｓ１３０４において、Ｓ１３０１で取得された見開き数が総見開き数に満たないことも考えられる。この場合、Ｓ１３０５において、共通見開き、または個別見開きを追加する処理が実行されてもよい。例えば、個別見開きを追加する場合、見開き結合部２１１または見開き作成部２１０は、当該アルバムに対する個別パラメータがＳ５１１０１で設定されたときにＳ５１１０２において取得された候補画像を再度取得する。そして、Ｓ５１００７において選択されていなかった画像から、追加される個別見開きに配置する画像（例えば、より得点が高い画像）を選択する。そして、作成された追加の個別見開きに含まれる画像の撮影時間の平均を求め、Ｓ１３０３でソートされた複数の見開きに追加する。例えば、追加後の複数の見開きの順序が平均撮影時間の順序に沿うような位置に、追加の個別見開きを追加する。共通見開きを追加する場合も同様に、見開き結合部２１１または見開き作成部２１０は、共通パラメータがＳ５１１０１で設定されたときにＳ５１１０２において取得された候補画像から追加の共通見開きを作成、追加する。 In S1305, the spread number adjustment unit 1204 deletes unnecessary spreads from among the spreads acquired by the spread acquisition unit 1201, thereby adjusting the number of spreads of the album to approach the total number of spreads set in S501. In this embodiment, the number of spreads is adjusted by deleting common spreads. Specifically, among the common spreads in the album, the common spread whose shooting time calculated by the sort reference value calculation unit 1202 is closest to the shooting time of the individual spread is deleted. After deleting, the process moves to S1304. Although the common double-page spread is deleted in this embodiment, the present invention is not limited to this. The total number of spreads may be adjusted by deleting individual spreads. In S1304, the number of spreads acquired in S1301 may be less than the total number of spreads. In this case, in S1305, a process of adding a common spread or an individual spread may be executed. For example, when adding an individual spread, the spread combining unit 211 or the spread creating unit 210 acquires again the candidate images acquired in S51102 when the individual parameter for the album was set in S51101. Then, an image (for example, an image with a higher score) to be arranged in the additional individual spread is selected from the images that were not selected in S51007. Then, the average shooting time of the images included in the created additional individual spread is calculated and added to the multiple spreads sorted in S1303. For example, additional individual spreads are added at positions where the order of the multiple spreads after addition follows the order of the average shooting time. Similarly, when adding a common spread, the spread combining unit 211 or the spread creation unit 210 creates and adds an additional common spread from the candidate images obtained in S51102 when the common parameters are set in S51101.

Ｓ１３０６において、見開き取得部１２０１は、全てのアルバムに対してＳ１３０１～Ｓ１３０５の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１３に進む一方、該判定結果が偽の場合、１３０１に戻る。これにより、アルバム全体を通して画像を撮影時間順に並べることができる。以上が、本実施形態における自動レイアウト処理についての内容である。 In S1306, the double-page spread acquisition unit 1201 determines whether the processes of S1301 to S1305 have been completed for all albums. If the determination result of this step is true, the process proceeds to S513, and if the determination result is false, the process returns to S1301. This allows the images to be arranged in chronological order throughout the album. The above is the content of the automatic layout process in this embodiment.

＜本実施形態の効果について＞
図２９は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。詳しく説明すると、図２９は、被写体Ａ～Ｃ用のアルバムとしてアルバム１～３が作成され、アルバム１における主被写体は被写体Ａに、アルバム２における主被写体は被写体Ｂに、アルバム３における主被写体は被写体Ｃに、それぞれ設定されたケースを示す。 <About the effect of this embodiment>
FIG. 29 is a diagram for explaining the effects of this embodiment, and shows examples of albums of a plurality of variations created in this embodiment. More specifically, in FIG. 29, albums 1 to 3 are created as albums for subjects A to C, the main subject in album 1 is subject A, the main subject in album 2 is subject B, and the main subject in album 3 is Cases set for subject C are shown.

ここで、総見開き数が４に設定されているものとする。またアルバム１、アルバム３のそれぞれについて、図５（ｃ）のＳ５１１０４が実行されたときに、式（５）により個別見開き数が１に設定され、アルバム２についてＳ５１１０４が実行されたときには、式（５）により個別見開き数が２に設定されたとする。この場合、Ｓ５１１０１において共通パラメータが設定され、Ｓ５１１０５が実行されたとき、式（８）における「ＭＩＮ（各アルバムの合計個別見開き数）」は「１」となる。そして、総見開き数が「４」であるため、式（８）により、共通見開き数は３となる。 Here, it is assumed that the total number of double-page spreads is set to four. Also, when S51104 in FIG. Assume that the number of individual spreads is set to 2 by 5). In this case, when the common parameter is set in S51101 and S51105 is executed, "MIN (total number of individual double-page spreads of each album)" in equation (8) becomes "1". Since the total number of spreads is "4", the number of common spreads is 3 according to equation (8).

そのため、図５（ａ）のＳ５１１において、アルバム１～３について３つの共通見開きが作成され、またアルバム１、３については１つの個別見開き、アルバム２については、２つの個別見開きが作成される。そして、図１３のＳ１３０１～Ｓ１３０３により、アルバム１～３のそれぞれについて、図２９に示すように、共通見開きと個別見開きを合わせたアルバムが作成される。アルバム１、３については、見開き数が総見開き数と同じ４であるため、図１３のＳ１３０４が実行されない。しかし、アルバム２については、見開き数が５であるため、図１３のＳ１３０４が実行される。 Therefore, in S511 of FIG. 5A, three common spreads are created for albums 1 to 3, one individual spread for albums 1 and 3, and two individual spreads for album 2. Then, in steps S1301 to S1303 of FIG. 13, for each of the albums 1 to 3, as shown in FIG. 29, an album combining the common spread and the individual spread is created. For albums 1 and 3, the number of spreads is 4, which is the same as the total number of spreads, so S1304 in FIG. 13 is not executed. However, for album 2, since the number of spreads is 5, S1304 in FIG. 13 is executed.

図２９は、上記の処理が実行された結果を示しており、共通見開き２９０１は、取得した見開きの数が総見開き数を超過したため調整された結果（図１３のＳ１３０４でＮＯ→Ｓ１３０５）、最終的にアルバム２で使われなかった共通見開きを表現している。 FIG. 29 shows the result of executing the above processing, and the common spread 2901 is adjusted because the number of acquired spreads exceeds the total number of spreads (NO in S1304 in FIG. 13 → S1305), and the final It expresses a common spread that was not used in Album 2.

図２９に示すように、本実施形態で作成されるバリエーションのアルバムに関して、総見開き数は、アルバムに依って変わることがなく、常に同一である。図２９の例では、総見開き数は、アルバムに依らず４である。 As shown in FIG. 29, regarding the variation albums created in this embodiment, the total number of double-page spreads does not change depending on the album and is always the same. In the example of FIG. 29, the total number of double-page spreads is 4 regardless of the album.

また、上述ようにアルバムに依って個別見開き数が変わることが許容される。さらに、アルバム毎の個別見開きの位置も変わることが許容される。即ち、図１３のＳ１３０３では、共通見開き、個別見開きが混在している状態でソートが行われる。そのため、各アルバムの個別見開きの平均撮影時間によって、各アルバムで個別見開きが配置される位置が異なる場合がある。 Also, as described above, it is allowed that the number of individual double-page spreads varies depending on the album. Furthermore, it is allowed that the positions of the individual double-page spreads for each album also change. That is, in S1303 of FIG. 13, sorting is performed in a state in which common spreads and individual spreads are mixed. Therefore, depending on the average photographing time of the individual double-page spread of each album, the position where the individual double-page spread is arranged in each album may differ.

図２９の例では、アルバム１とアルバム３との個別見開き数が１である一方、アルバム２の個別見開き数が２である。各アルバムにおいて、個別見開きは時系列順に並べられる。 In the example of FIG. 29, the number of individual spreads for Album 1 and Album 3 is one, while the number of individual spreads for Album 2 is two. In each album, the individual double-page spreads are arranged in chronological order.

また、Ｓ１３０５ではアルバムによって共通見開きの削除が行われるため、アルバムに依って共通見開き数が変わることが許容される。図２９の例では、アルバム１とアルバム３との共通見開き数が３である一方、アルバム２の共通見開き数が２である。 Further, in S1305, since common spreads are deleted depending on the album, it is allowed that the number of common spreads changes depending on the album. In the example of FIG. 29, the common number of double-page spreads for Album 1 and Album 3 is 3, while the common number of double-page spreads for Album 2 is 2.

即ち、本実施形態によれば、共通見開きの数、並びに、個別見開きの数および位置をアルバム毎に自動で設定することが可能となる。 That is, according to this embodiment, it is possible to automatically set the number of common spreads and the number and positions of individual spreads for each album.

［第２の実施形態］
本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。アルバム毎の総見開き数および個別見開き数、並びに、個別見開きの位置は、画像群及び設定に応じて変化する。見開きおよび見開き内に配置される画像は、撮影時間順に並べる。 [Second embodiment]
In this embodiment, a double-page spread common to at least two albums and an individual double-page spread for each album are created. The total number of double-page spreads and the number of individual double-page spreads for each album, and the positions of individual double-page spreads change according to the image group and settings. The spread and the images arranged within the spread are arranged in order of shooting time.

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図１４（ａ）、（ｂ）及び図１５（ａ）～（ｃ）を用いて説明する。図１４（ａ）、（ｂ）は、本実施形態における自動レイアウト処理に関わる機能構成を示すブロック図である。図１５（ａ）～（ｃ）は、本実施形態における自動レイアウト処理を説明するためのフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては（図５参照）、前述の実施形態の処理と同じであるため、ここでは説明を割愛する。 <About automatic layout processing>
The automatic layout process in this embodiment will be described below with reference to FIGS. 14(a), (b) and FIGS. 14A and 14B are block diagrams showing the functional configuration related to automatic layout processing in this embodiment. FIGS. 15A to 15C are flowcharts for explaining automatic layout processing in this embodiment. Note that processing denoted by the same reference numerals as in the above-described embodiment (see FIG. 5) is the same as the processing in the above-described embodiment, so description thereof is omitted here.

Ｓ１５０１において、見開き作成部１４０１は、Ｓ５１０で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成について、図１５（ｃ）を用いて説明する。 In S1501, the spread creating unit 1401 creates an album spread using the parameters generated in S510. Here, creation of a double-page spread in this step will be described with reference to FIG. 15(c).

Ｓ１５０１０１において、見開き数設定部１４０１０１は、Ｓ５０５で行ったシーン分割結果と、Ｓ５１１０２で取得した候補画像とに基づき見開き数を設定する。本実施形態では、以下の式（９）及び式（１０）に従って、見開き数を設定する。

シーン毎の見開き数＝ｃｅｉｌ（シーン中の候補画像数÷１見開きあたりの最大画像数）・・・式（９）

見開き数＝Σシーン毎の見開き数・・・式（１０） In S150101, the spread number setting unit 140101 sets the number of spreads based on the result of scene division performed in S505 and the candidate images acquired in S51102. In this embodiment, the number of double-page spreads is set according to the following equations (9) and (10).

Number of spreads per scene = ceil (number of candidate images in a scene/maximum number of images per spread) Equation (9)

Number of spreads = Σ Number of spreads per scene Equation (10)

式（９）及び式（１０）により、シーン毎に、主被写体がよく写っている画像数に応じた見開き数を設定できる。 Using equations (9) and (10), it is possible to set the number of spreads according to the number of images in which the main subject is well captured for each scene.

図１５（ｃ）と図５（ｃ）における処理の違いとして、図５（ｃ）では、Ｓ５１１０５における式（８）により、共通見開き数が個別見開き数を考慮して求められていた。しかし、図１５（ｃ）では、共通見開き数についても、式（１０）により求められる。 As a difference between the processes in FIGS. 15C and 5C, in FIG. 5C, the number of common spreads is calculated in consideration of the number of individual spreads by the formula (8) in S51105. However, in FIG. 15(c), the number of common double-page spreads is also obtained by equation (10).

Ｓ１５０２において、見開き結合部１４０２は、見開き作成部１４０１により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、見開きに配置された画像の撮影時間に基づき、画像が撮影時間順になるように見開きを並べる。以下、Ｓ１５０２の見開き結合について、図１６及び図１７を用いて詳細に説明する。図１６は、本実施形態における見開き結合部１４０２の詳細な構成を示すブロック図である。図１７は、見開き結合部１４０２が実行する処理のフローチャートである。 In S1502, the double-page spread combining unit 1402 determines the double-page spread number within the album for each double-page spread created by the double-page spread creation unit 1401, and creates the layout of the entire album. In this embodiment, the spreads are arranged so that the images are arranged in order of shooting time based on the shooting times of the images arranged in the spread. The spread combination in S1502 will be described in detail below with reference to FIGS. 16 and 17. FIG. FIG. 16 is a block diagram showing the detailed configuration of the double-page spread coupling unit 1402 in this embodiment. FIG. 17 is a flow chart of processing executed by the double-page spread combining unit 1402 .

Ｓ１３０１において、見開き取得部１２０１は、見開き作成部１４０１により作成された見開きのうち、１つのアルバムに関する見開きを取得する。本実施形態では、例えば本ステップで取得するアルバム１に関する見開きとは、共通パラメータで作成された見開きと、アルバム１の個別パラメータで作成された見開きとを含む。 In S<b>1301 , the spread acquisition unit 1201 acquires a spread related to one album among the spreads created by the spread creation unit 1401 . In this embodiment, for example, the double-page spread related to album 1 acquired in this step includes the double-page spread created using the common parameters and the double-page spread created using the individual parameters of album 1 .

Ｓ１３０２において、ソート基準値算出部１２０２は、見開き取得部１２０１が取得した各見開きに対して、各見開きを代表する撮影時間を算出する。本実施形態では、見開きを代表する撮影時間を、見開きに配置された画像の撮影時間の平均とする。 In S1302, the sorting reference value calculation unit 1202 calculates, for each spread acquired by the spread acquisition unit 1201, a shooting time representing each spread. In this embodiment, the imaging time representing the spread is the average of the imaging times of the images arranged in the spread.

Ｓ１３０３において、ソート部１２０３は、見開き取得部１２０１が取得した見開きを、ソート基準値算出部１２０２が算出した見開きの撮影時間に基づいてソートする。本実施形態では、見開きを撮影時間が早いものから昇順に並べる。 In step S<b>1303 , the sorting unit 1203 sorts the spreads acquired by the spread acquisition unit 1201 based on the shooting times of the spreads calculated by the sort reference value calculation unit 1202 . In the present embodiment, spreads are arranged in ascending order of photographing time.

Ｓ１７０１において、見開き取得部１２０１は、全てのアルバムに対してＳ１３０１～Ｓ１３０３の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１３に進む一方、該判定結果が偽の場合、Ｓ１３０１に戻る。これにより、アルバム全体を通して画像を撮影時間順に並べることができる。以上が、本実施形態における自動レイアウト処理についての内容である。 In S1701, the double-page spread acquisition unit 1201 determines whether the processing of S1301 to S1303 has been completed for all albums. If the determination result of this step is true, the process proceeds to S513, and if the determination result is false, the process returns to S1301. This allows the images to be arranged in chronological order throughout the album. The above is the content of the automatic layout process in this embodiment.

図１３と図１７の処理の違いは、図１７では、図１３のＳ１３０５における見開き数調整が実行されていない点にある。即ち、本実施形態では、個別見開き、共通見開きがそのまま最終的な見開きに採用される。そのため、アルバム間における個別見開き数の違いにより、総見開き数がアルバムごとに異なることが許容される。 The difference between the processes in FIGS. 13 and 17 is that in FIG. 17, the spread number adjustment in S1305 in FIG. 13 is not executed. That is, in this embodiment, the individual spread and the common spread are used as they are for the final spread. Therefore, it is allowed that the total number of spreads differs from album to album due to the difference in the number of individual spreads between albums.

＜本実施形態の効果について＞
図３０は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。詳しく説明すると、図３０（ａ）は、被写体Ａ～Ｂ用のアルバムとして、アルバム１～２が作成され、アルバム１における主被写体は被写体Ａに設定され、アルバム２における主被写体は被写体Ｂに設定されたケースを示している。また図３０（ｂ）は、被写体Ａ～Ｃ用のアルバムとして、アルバム１～３が作成され、アルバム１における主被写体は被写体Ａに、アルバム２における主被写体は被写体Ｂに、アルバム３における主被写体は被写体Ｃに、夫々設定されたケースを示している。 <About the effect of this embodiment>
FIG. 30 is a diagram for explaining the effects of this embodiment, and shows examples of albums of a plurality of variations created in this embodiment. Specifically, in FIG. 30A, albums 1 and 2 are created as albums for subjects A and B, subject A is set as the main subject in album 1, and subject B is set as the main subject in album 2. It shows the case where In FIG. 30B, albums 1 to 3 are created as albums for subjects A to C, subject A as the main subject in album 1, subject B as the main subject in album 2, and subject B as the main subject in album 3. shows cases set for object C, respectively.

本実施形態では、作成するバリエーションのアルバムに関し、アルバムに依って総見開き数が変わることを許容する。但し、図３０（ａ）の例では、総見開き数は、アルバムに依らず４であり、図３０（ｂ）の例では、総見開き数は、アルバムに依らず３である。 In this embodiment, the total number of double-page spreads is allowed to change depending on the album of variation to be created. However, in the example of FIG. 30(a), the total number of double-page spreads is 4, regardless of the album, and in the example of FIG. 30(b), the total number of double-page spreads is 3, regardless of the album.

また、アルバムに依って個別見開き数が変わることを許容し、アルバム毎の個別見開きの位置も変わることを許容する。但し、図３０（ａ）の例では、アルバム１とアルバム２との個別見開き数は１であり、図３０（ｂ）の例では、アルバム１～３との個別見開き数は１である。各アルバムにおいて、個別見開きは時系列順に並べられる。 Also, the number of individual spreads is allowed to change depending on the album, and the positions of the individual spreads for each album are also allowed to change. However, in the example of FIG. 30(a), the number of individual page spreads for Album 1 and Album 2 is one, and in the example of FIG. 30(b), the number of individual page spreads for Albums 1 to 3 is one. In each album, the individual double-page spreads are arranged in chronological order.

また、共通見開き数は、アルバムに依って変わることがなく、常に同一である。図３０（ａ）に示すように、アルバム１とアルバム２との共通見開き数は３である。また、図３０（ｂ）に示すように、アルバム１～３の共通見開き数は２である。 Also, the common spread number does not change depending on the album and is always the same. As shown in FIG. 30(a), the common number of double-page spreads for Album 1 and Album 2 is three. Further, as shown in FIG. 30(b), the common number of double-page spreads for albums 1 to 3 is two.

本実施形態によれば、アルバムの総見開き数、並びに、個別見開きの数および位置をアルバム毎に自動で設定することが可能となる。 According to this embodiment, it is possible to automatically set the total number of double-page spreads in an album and the number and positions of individual double-page spreads for each album.

［第３の実施形態］
本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。全てのアルバムに対する共通見開きと個別見開きとの数を揃える。但し、個別見開きの位置は、アルバム毎に画像群及び設定に応じて変化することを許容する。見開きおよび見開き内に配置される画像は、撮影時間順に並べられる。 [Third embodiment]
In this embodiment, a double-page spread common to at least two albums and an individual double-page spread for each album are created. Align the number of common spreads and individual spreads for all albums. However, the positions of the individual spreads are allowed to change according to the group of images and settings for each album. The spread and the images arranged within the spread are arranged in order of shooting time.

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図１８（ａ）、（ｂ）及び図１９（ａ）～（ｃ）を用いて説明する。図１８（ａ）、（ｂ）は、本実施形態における自動レイアウト処理に関わる機能構成を示すブロック図である。図１９（ａ）～（ｃ）は、本実施形態における自動レイアウト処理を説明するためのフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては、前述の実施形態と同じ処理であるため、ここでは説明を割愛する。 <About automatic layout processing>
The automatic layout processing in this embodiment will be described below with reference to FIGS. 18(a), (b) and FIGS. 18A and 18B are block diagrams showing the functional configuration related to automatic layout processing in this embodiment. FIGS. 19A to 19C are flowcharts for explaining automatic layout processing in this embodiment. It should be noted that processing denoted by the same reference numerals as in the above-described embodiment is the same processing as in the above-described embodiment, so description thereof will be omitted here.

Ｓ１９０１において、見開き作成部１８０１は、Ｓ５１０で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成処理について、図１９（ｃ）を用いて説明する。 In S1901, the spread creating unit 1801 creates an album spread using the parameters generated in S510. Here, the double-page spread creation processing of this step will be described with reference to FIG. 19(c).

Ｓ１９０１０１において、見開き数算出部１８０１０１は、Ｓ５１０で生成したパラメータに基づき、各見開き作成パラメータで作成する見開き数を算出し、各見開き作成パラメータを更新する。具体的には、各見開き作成パラメータに該算出した見開き数を設定する。以下、本実施形態における見開き数算出部１８０１０１が実行する処理について、図２０を用いて説明する。 In S190101, the spread number calculation unit 180101 calculates the number of spreads to be created with each spread creation parameter based on the parameters generated in S510, and updates each spread creation parameter. Specifically, the calculated number of spreads is set for each spread creation parameter. Processing executed by the spread number calculation unit 180101 in this embodiment will be described below with reference to FIG.

Ｓ２００１において、見開き作成パラメータ設定部２１００１は、Ｓ５１０で生成したパラメータのうち、見開き数を揃えるパラメータの１つを読み込む。本実施形態では、アルバム１の個別パラメータとアルバム２の個別パラメータとを順に読み込む。 In S2001, the spread creation parameter setting unit 21001 reads one of the parameters generated in S510 for aligning the number of spreads. In this embodiment, the individual parameters of album 1 and the individual parameters of album 2 are read in order.

Ｓ２００２において、見開き候補画像取得部２１００２は、Ｓ５０８で付けられた得点と、Ｓ２００１で設定された見開き作成パラメータとに基づき、候補画像をＳ５１１０２と同様の手法で取得する。 In S2002, the spread candidate image acquisition unit 21002 acquires candidate images in the same manner as in S51102 based on the score given in S508 and the spread creation parameters set in S2001.

Ｓ２００３において、見開き数算出部１８０１０１は、Ｓ２００２で取得した候補画像に基づいて、個別見開き数候補を算出する。本実施形態では、以下の式（１１）に従って、個別見開き数候補を算出する。

個別見開き数候補＝ｃｅｉｌ（候補画像数÷１見開きあたりの最大画像数）・・・式（１１） In S2003, the spread number calculation unit 180101 calculates individual spread number candidates based on the candidate images acquired in S2002. In this embodiment, candidates for the number of individual spreads are calculated according to the following equation (11).

Candidate number of individual spreads = ceil (number of candidate images/maximum number of images per spread) Equation (11)

式（１１）を用いて算出する個別見開き数候補は、候補画像数に応じて増減する。 The candidate for the number of individual spreads calculated using equation (11) increases or decreases according to the number of candidate images.

Ｓ２００４において、見開き数算出部１８０１０１は、見開き数を揃える対象のパラメータ全てに対してＳ２００１～Ｓ２００３の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ２００５に進む一方、該判定結果が偽の場合、Ｓ２００１に戻る。 In S2004, the page spread number calculation unit 180101 determines whether the processing of S2001 to S2003 has been completed for all the parameters for which the number of page spreads is to be aligned. If the determination result of this step is true, the process proceeds to S2005, and if the determination result is false, the process returns to S2001.

Ｓ２００５において、見開き数算出部１８０１０１は、Ｓ２００３で算出した個別見開き数候補群に基づき、見開き数を決定する。本実施形態では、個別見開き数候補のうち最小の見開き数を選択する。これにより、候補画像が少ないパラメータに合わせて同数の個別見開きを作成できる。また、共通パラメータにより作成される共通見開き数は、以下の式（１２）に示すように、個別パラメータにより作成する個別見開き数と、Ｓ５０１で設定される総見開き数とに基づいて、従属的に決まる。

共通見開き数＝総見開き数－個別見開き数・・・式（１２） In S2005, the spread number calculation unit 180101 determines the number of spreads based on the group of individual spread number candidates calculated in S2003. In this embodiment, the minimum number of spreads is selected from among the candidates for the number of individual spreads. As a result, the same number of individual double-page spreads can be created according to parameters with few candidate images. Further, as shown in the following formula (12), the number of common spreads created by common parameters is subordinately based on the number of individual spreads created by individual parameters and the total number of spreads set in S501. Determined.

Number of common spreads = Number of total spreads - Number of individual spreads Equation (12)

Ｓ２００６において、見開き数算出部１８０１０１が、Ｓ２００５で決定した見開き数を、Ｓ５１０で生成したパラメータに追加して、見開き作成パラメータを更新する。 In S2006, the spread number calculation unit 180101 adds the number of spreads determined in S2005 to the parameters generated in S510 to update the spread creation parameters.

即ち、Ｓ１９０１０１（図２０）における処理によれば、共通見開き数、個別見開き数が、全てのアルバムで同一になるよう設定される。その上で、図１９（ｃ）のＳ５１１０１以降の処理により、共通見開き、個別見開きが作成される。 That is, according to the processing in S190101 (FIG. 20), the number of common spreads and the number of individual spreads are set to be the same for all albums. Then, common spreads and individual spreads are created by the processes after S51101 in FIG. 19(c).

また、このように見開きが作成される前に、Ｓ１９０１０１において個別見開き数と共通見開き数とを調整するので、Ｓ５１２におけるＳ１３０４およびＳ１３０５のように、見開き作成後の見開き数の調整は不要である。 In addition, since the number of individual spreads and the number of common spreads are adjusted in S190101 before a spread is created in this way, it is not necessary to adjust the number of spreads after creation of spreads, as in S1304 and S1305 in S512.

図１９（ｃ）の説明に戻る。Ｓ１９０１０２において、見開き数設定部１８０１０２は、Ｓ５１１０１で読み込んだ見開き作成パラメータから、Ｓ１９０１０１で設定された見開き数を読み込む。 Returning to the description of FIG. 19(c). In S190102, the spread number setting unit 180102 reads the number of spreads set in S190101 from the spread creation parameters read in S51101.

Ｓ１９０１０３において、見開き割当部１８０１０３は、Ｓ５１１０２で取得した候補画像を、Ｓ１９０１０２で設定した見開き数分のサブ画像群に割り当てる。そして、本実施形態ではさらに、この割り当てたサブ画像群の中から、画像得点の平均が高いものから順に、直近のＳ５１１０１で設定された見開き作成パラメータに含まれる見開き数分のサブ画像群を選択する。 In S190103, the double-page spread allocation unit 180103 allocates the candidate images acquired in S51102 to sub-image groups for the number of double-page spreads set in S190102. Further, in this embodiment, from among the assigned sub-image groups, sub-image groups corresponding to the number of spreads included in the spread creation parameters set most recently in S51101 are selected in descending order of the average image score. do.

尚、本実施形態では、見開き数を候補画像数に応じて設定したが、見開き数の設定手法はこれに限らない。例えば、アルバム作成アプリケーションのプログラムに予め組み込んでおいた比率によって、個別見開き数と共通見開き数を設定してもよい。具体的には、個別見開き数：共通見開き数＝１：４に設定した場合、Ｓ５０１で設定した総見開き数が１０であれば、個別見開き数は２、共通見開き数は８にする。また別の例として、Ｓ５０６のシーン分類結果によって見開き数を決めてもよい。例えば、シーン分類結果が結婚式である場合を考える。新郎新婦を主被写体に設定した個別パラメータで２見開き、親族または友人を主被写体に設定した個別パラメータで１見開き、共通パラメータで７見開きの計１０見開きのように、シーンに応じた個別見開き数を複数設定してもよい。上記の例においては、見開き数算出部１８０１０１が、見開き数に加えて、見開き数に合うように候補画像を取得するための閾値を増減させてもよい。例えば、Ｓ２００１で取得した見開き作成パラメータでは１枚の候補画像しか取得できないが、見開き数は２以上作成したい場合を考える。見開き候補画像取得部２１００２が２枚以上の候補画像を取得できるまで、選択の基準となる得点の閾値を下げる。変更した閾値も見開き数と同様にＳ５１０で生成したパラメータに追加して、見開き作成パラメータを更新する。これにより、ユーザが要求する見開き数に応じた候補画像を取得できる。以上が、本実施形態における自動レイアウト処理についての内容である。 In this embodiment, the number of spreads is set according to the number of candidate images, but the method of setting the number of spreads is not limited to this. For example, the number of individual page spreads and the number of common page spreads may be set according to a ratio previously incorporated in the program of the album creation application. Specifically, when the number of individual spreads: the number of common spreads is set to 1:4, if the total number of spreads set in S501 is 10, the number of individual spreads is set to 2, and the number of common spreads is set to 8. As another example, the number of double-page spreads may be determined based on the scene classification result of S506. For example, consider the case where the scene classification result is a wedding. You can set the number of individual spreads according to the scene, such as 2 spreads with the bride and groom as the main subject, 1 spread with the individual parameter with relatives or friends as the main subject, and 7 spreads with the common parameter for a total of 10 spreads. Multiple settings may be made. In the above example, the page spread number calculation unit 180101 may increase or decrease the threshold for acquiring the candidate images to match the number of page spreads, in addition to the number of page spreads. For example, consider a case where only one candidate image can be acquired with the spread creation parameters acquired in S2001, but two or more spreads are desired to be created. The score threshold, which is the criterion for selection, is lowered until the spread candidate image acquisition unit 21002 acquires two or more candidate images. The changed threshold is added to the parameters generated in S510 in the same manner as the number of spreads, and the spread creation parameters are updated. Thus, it is possible to acquire candidate images corresponding to the number of spreads requested by the user. The above is the content of the automatic layout process in this embodiment.

＜本実施形態の効果について＞
図３１は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。詳しく説明すると、図３１（ａ）は、被写体Ａ～Ｂ用のアルバムとして、アルバム１～２が作成され、アルバム１における主被写体は被写体Ａに設定され、アルバム２における主被写体は被写体Ｂに設定されたケースを示している。また図３１（ｂ）は、被写体Ａ～Ｃ用のアルバムとして、アルバム１～３が作成され、アルバム１における主被写体は被写体Ａに、アルバム２における主被写体は被写体Ｂに、アルバム３における主被写体は被写体Ｃに、夫々設定されたケースを示している。 <About the effect of this embodiment>
FIG. 31 is a diagram for explaining the effects of this embodiment, and shows examples of albums of a plurality of variations created in this embodiment. Specifically, in FIG. 31A, albums 1 and 2 are created as albums for subjects A and B, subject A is set as the main subject in album 1, and subject B is set as the main subject in album 2. It shows the case where In FIG. 31B, albums 1 to 3 are created as albums for subjects A to C, subject A as the main subject in album 1, subject B as the main subject in album 2, and subject B as the main subject in album 3. shows cases set for object C, respectively.

本実施形態では、作成するバリエーションのアルバムに関し、総見開き数は、アルバムに依って変わることがなく、常に同一である。図３１（ａ）の例では、総見開き数は、アルバムに依らず３であり、図３１（ｂ）の例では、総見開き数は、アルバムに依らず２である。 In this embodiment, the total number of double-page spreads is always the same for each variation album to be created. In the example of FIG. 31(a), the total number of double-page spreads is 3, regardless of the album, and in the example of FIG. 31(b), the total number of double-page spreads is 2, regardless of the album.

また、個別見開き数は、アルバムに依って変わることがなく、常に同一である。図３１（ａ）の例では、アルバム１とアルバム２との個別見開き数は２であり、図３１（ｂ）の例では、アルバム１～３との個別見開き数は１である。各アルバムにおいて、個別見開きは時系列順に並べられる。 Also, the number of individual double-page spreads does not change depending on the album, and is always the same. In the example of FIG. 31(a), the number of individual page spreads for Album 1 and Album 2 is two, and in the example of FIG. 31(b), the number of individual page spreads for Albums 1 to 3 is one. In each album, the individual double-page spreads are arranged in chronological order.

また、共通見開き数は、アルバムに依って変わることがなく、常に同一である。図３１（ａ）の例では、アルバム１とアルバム２との共通見開き数は１であり、図３１（ｂ）の例では、アルバム１～３の共通見開き数は１である。 Also, the common spread number does not change depending on the album and is always the same. In the example of FIG. 31(a), the common number of double-page spreads for Album 1 and Album 2 is one, and in the example of FIG. 31(b), the common number of double-page spreads for Albums 1 to 3 is one.

即ち、見開き作成前に、Ｓ１９０１０１において個別見開き数と共通見開き数とが設定され、その上で見開き作成が行われる。よって、個別見開き数、共通見開き数、総見開き数をアルバム間で同一とすることができるとともに、見開き作成後の見開き数調整を不要とすることができる。 That is, before creating a spread, the number of individual spreads and the number of common spreads are set in S190101, and then the spread is created. Therefore, the number of individual spreads, the number of common spreads, and the total number of spreads can be made the same between albums, and adjustment of the number of spreads after creation of spreads can be eliminated.

［第４の実施形態］
本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。全てのアルバムに対する共通見開きと個別見開きとの数および位置を揃える。共通見開きおよび見開き内に配置される画像は、撮影時間順に並べる。個別見開きの位置は、撮影時間に依らず、画像により決定する。 [Fourth embodiment]
In this embodiment, a double-page spread common to at least two albums and an individual double-page spread for each album are created. Align the number and positions of common spreads and individual spreads for all albums. The images arranged in the common double spread and within the double spread are arranged in order of shooting time. The position of the individual double-page spread is determined by the image, regardless of the shooting time.

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図２１（ａ）、（ｂ）及び図２２（ａ）～（ｃ）を用いて説明する。図２１（ａ）、（ｂ）は、本実施形態における自動レイアウト処理に関わる機能構成を示すブロック図である。図２２（ａ）～（ｃ）は、本実施形態における自動レイアウト処理を説明するためのフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては、前述の実施形態と同じ処理であるため、ここでは説明を割愛する。 <About automatic layout processing>
The automatic layout processing in this embodiment will be described below with reference to FIGS. 21(a), (b) and FIGS. 21A and 21B are block diagrams showing the functional configuration related to automatic layout processing in this embodiment. FIGS. 22A to 22C are flowcharts for explaining automatic layout processing in this embodiment. It should be noted that processing denoted by the same reference numerals as in the above-described embodiment is the same processing as in the above-described embodiment, so description thereof will be omitted here.

Ｓ２２０１において、見開き作成部２１０１は、Ｓ５１０で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成処理について、図２２（ｃ）を用いて説明する。 In S2201, the spread creating unit 2101 creates an album spread using the parameters generated in S510. Here, the double-page spread creation processing of this step will be described with reference to FIG. 22(c).

Ｓ２２０１０１において、見開き数設定部２１０１０１は、Ｓ５１１０１で読み込んだ見開き作成パラメータから、Ｓ１９０１０１で設定された見開き数を読み込む。即ち、第３の実施形態で説明したように、Ｓ１９０１０１における処理により、共通見開き数、個別見開き数、総見開き数がアルバム間で同一になるよう設定される。 In S220101, the spread number setting unit 210101 reads the number of spreads set in S190101 from the spread creation parameters read in S51101. That is, as described in the third embodiment, the processing in S190101 sets the number of common spreads, the number of individual spreads, and the total number of spreads to be the same between albums.

Ｓ２２０１０２において、見開き割当部２１０１０２は、Ｓ５１１０２で取得した候補画像を、Ｓ２２０１０１で設定した見開き数分のサブ画像群に分割して割り当てる。本実施形態では、直近のＳ５１１０１で設定された見開き作成パラメータが共通パラメータの場合、候補画像をＳ５０３０１で取得した撮影時間に基づき分割する。一方、直近のＳ５１１０１で設定された見開き作成パラメータが個別パラメータの場合、候補画像をＳ５０８で付けた得点に基づき分割する。 In S220102, the spread allocation unit 210102 divides the candidate images acquired in S51102 into sub-image groups corresponding to the number of spreads set in S220101 and allocates them. In this embodiment, if the two-page spread creation parameter set most recently in S51101 is a common parameter, the candidate images are divided based on the shooting time acquired in S50301. On the other hand, if the two-page spread creation parameter set in S51101 most recently is an individual parameter, the candidate image is divided based on the score given in S508.

具体的には、直近のＳ５１１０１で設定された見開き作成パラメータが共通パラメータの場合、候補画像をＳ５０３０１で取得した撮影時間順に並べ、隣り合う画像間の時間差が最も大きい場所で分割する。このような分割処理をＳ２２０１０１で設定した見開き数分に分割するまで行う。つまり、（見開き数－１）回の分割を行う。これにより、撮影時間順に画像が並んだアルバムを作成することができる。尚、後述する通り、１つの見開き内では、画像は撮影時間の順に並んでいなくてもよい。 Specifically, if the spread creation parameter set most recently in S51101 is a common parameter, the candidate images are arranged in order of shooting time acquired in S50301, and the adjacent images are divided at the location where the time difference between them is the largest. Such division processing is performed until division into the number of spreads set in S220101. That is, division is performed (number of spreads−1) times. This makes it possible to create an album in which images are arranged in order of shooting time. As will be described later, within one double-page spread, the images do not have to be arranged in order of shooting time.

また、直近のＳ５１１０１で設定された見開き作成パラメータが個別パラメータの場合、得点が高い候補画像から順に各見開きに割り当てる。例えば見開き数が３の場合、候補画像は得点が高い画像から、見開き１、見開き２、見開き３、見開き１、見開き２、・・・のように割り当てる。これにより、各見開きに得点が高い画像が均等に割り当てられる結果、各見開きは時系列によらず、主被写体にとってよい画像をバランスよく配置できる。 Also, if the spread creation parameters set in the most recent step S51101 are individual parameters, the candidate images with the highest scores are assigned to each spread in descending order. For example, if the number of spreads is 3, the candidate images are assigned in the order of spread 1, spread 2, spread 3, spread 1, spread 2, . As a result, images with high scores are evenly assigned to each spread, and images that are good for the main subject can be arranged in a well-balanced manner in each spread regardless of the time series.

図２２（ａ）の説明に戻る。Ｓ２２０２において、見開き結合部２１０２は、見開き作成部２１０１により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、撮影時間に基づき作成された共通見開きについては、撮影時間順になるように並べる。一方、得点に基づき作成された個別見開きについては、共通見開きの時間差が大きくなる位置に挿入する。 Returning to the description of FIG. In S2202, the double-page spread combining unit 2102 determines the double-page spread number within the album for each double-page spread created by the double-page spread creation unit 2101, and creates the layout of the entire album. In this embodiment, the common double-page spreads created based on the photographing time are arranged in order of the photographing time. On the other hand, the individual spread created based on the score is inserted at the position where the time difference of the common spread becomes large.

以下、Ｓ２２０２の見開き結合について、図２３及び図２４を用いて説明する。図２３は、見開き結合部２１０２の詳細な構成を示すブロック図である。図２４は、見開き結合部２１０２が実行する処理のフローチャートである。 The spread combination in S2202 will be described below with reference to FIGS. 23 and 24. FIG. FIG. 23 is a block diagram showing the detailed configuration of the double-page spread coupling unit 2102. As shown in FIG. FIG. 24 is a flow chart of processing executed by the double-page spread combining unit 2102 .

Ｓ２４０１において、見開き取得部２３０１は、見開き作成部２１０１により作成された見開きのうち、１つのアルバムに関する見開きを取得する。本実施形態では、例えば本ステップで取得するアルバム１に関する見開きとは、共通パラメータで作成された共通見開きと、アルバム１の個別パラメータで作成された個別見開きとを含む。 In step S<b>2401 , the spread acquisition unit 2301 acquires a spread regarding one album among the spreads created by the spread creation unit 2101 . In this embodiment, for example, the double-page spread regarding album 1 acquired in this step includes a common double-page spread created with common parameters and an individual double-page spread created with individual parameters of album 1 .

Ｓ２４０２において、ソート基準値算出部２３０２は、見開き取得部２３０１が取得した各見開きに対して、各見開きを代表する撮影時間を算出する。本実施形態では、見開きを代表する撮影時間を、見開きに配置された画像の撮影時間の平均、最小、最大の３つとする。 In S2402, the sorting reference value calculation unit 2302 calculates, for each spread acquired by the spread acquisition unit 2301, the shooting time that represents each spread. In the present embodiment, three shooting times representing the spread are the average, minimum, and maximum shooting times of the images arranged in the spread.

Ｓ２４０３において、ソート部２３０３は、見開き取得部２３０１が取得した見開きを、ソート基準値算出部２３０２が求めた見開きの撮影時間に基づきソートする。本実施形態では、共通見開きを、撮影時間の平均が古いものから昇順に並べる。 In step S<b>2403 , the sorting unit 2303 sorts the spreads acquired by the spread acquisition unit 2301 based on the shooting times of the spreads obtained by the sort reference value calculation unit 2302 . In this embodiment, the common double-page spreads are arranged in ascending order from the oldest average shooting time.

Ｓ２４０４において、個別見開き挿入部２３０４は、見開き取得部２３０１が取得した見開きのうち、個別見開きの見開き番号を決める。本実施形態では、Ｓ２４０３でソートした共通見開きに対して、共通見開き間の撮影時間差が最大の位置に個別見開きを挿入する。Ｎ番目の共通見開きと、Ｎ＋１番目の共通見開きとの撮影時間差は以下の式（１３）に従って算出する。

Ｎ＋１番目の共通見開きの最小撮影時間－Ｎ番目の共通見開きの最大撮影時間・・・式（１３） In step S<b>2404 , the individual spread insertion unit 2304 determines the spread numbers of the individual spreads among the spreads acquired by the spread acquisition unit 2301 . In this embodiment, an individual spread is inserted at a position where the shooting time difference between the common spreads is the largest for the common spreads sorted in S2403. The photographing time difference between the Nth common spread and the (N+1)th common spread is calculated according to the following equation (13).

Minimum shooting time of N+1st common spread - Maximum shooting time of Nth common spread...Equation (13)

式（１３）により、撮影時間差が大きい（即ち、シーンが変わっている可能性が高い）位置に個別見開きを挿入できる。ここで、Ｓ１９０１０１における処理により、アルバム間において共通見開きの数は同一となっており、また当然に、共通見開きの内容もアルバム間で同一である。そのため、式（１３）により求められた撮影時間差により特定される、個別アルバムが挿入される位置も、アルバム間で同一とすることができる。 Equation (13) allows insertion of an individual spread at a position where the shooting time difference is large (that is, there is a high possibility that the scene has changed). Here, due to the processing in S190101, the number of common spreads is the same between albums, and the contents of the common spreads are also the same between albums. Therefore, the position where the individual album is inserted, which is specified by the photographing time difference obtained by Equation (13), can also be the same between the albums.

尚、ここでは、撮影時間差が最大の共通見開き間に全ての個別見開きを挿入するケースを説明したが、個別見開きの挿入手法は、これに限らない。例えば、撮影時間差がｉ番目に大きい共通見開き間にはｉ番目の個別見開きを挿入する、というように、ばらばらの位置に個別見開きを入れてもよい。また、全ての共通見開きの前あるいは全ての共通見開きの後のように、時間差に依らず共通見開きが分断されない位置に個別見開きを挿入してもよい。 Although the case where all the individual spreads are inserted between the common spreads with the largest photographing time difference has been described here, the method of inserting the individual spreads is not limited to this. For example, the i-th individual spread may be inserted between the common spreads with the i-th largest shooting time difference, and the individual spreads may be inserted at random positions. Also, individual spreads may be inserted at positions where common spreads are not divided regardless of the time difference, such as before all common spreads or after all common spreads.

Ｓ２４０５において、見開き取得部２３０１は、全てのアルバムに対してＳ２４０１～Ｓ２４０４の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１３に進む一方、該判定結果が偽の場合、Ｓ２４０１に戻る。これにより、全てのアルバムで同じ見開き番号の位置に共通見開き及び個別見開きを配置できる。以上が、本実施形態における自動レイアウト処理についての内容である。 In S2405, the double-page spread acquisition unit 2301 determines whether the processing of S2401 to S2404 has been completed for all albums. If the determination result of this step is true, the process proceeds to S513, and if the determination result is false, the process returns to S2401. As a result, common spreads and individual spreads can be arranged at the same spread number positions in all albums. The above is the content of the automatic layout process in this embodiment.

＜本実施形態の効果について＞
図３２は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。詳しく説明すると、図３２は、被写体Ａ～Ｂ用のアルバムとして、アルバム１～２が作成され、アルバム１における主被写体は被写体Ａに設定され、アルバム２における主被写体は被写体Ｂに設定されたケースを示している。 <About the effect of this embodiment>
FIG. 32 is a diagram for explaining the effects of this embodiment, and shows examples of albums of a plurality of variations created in this embodiment. More specifically, FIG. 32 shows a case in which albums 1 and 2 are created as albums for subjects A and B, subject A is set as the main subject in album 1, and subject B is set as the main subject in album 2. is shown.

本実施形態では、作成するバリエーションのアルバムに関し、総見開き数は、アルバムに依って変わることがなく、常に同一である。図３２の例では、総見開き数は、アルバムに依らず４である。 In this embodiment, the total number of double-page spreads is always the same for each variation album to be created. In the example of FIG. 32, the total number of double-page spreads is 4 regardless of the album.

また、個別見開き数は、アルバムに依って変わることがなく、常に同一である。図３２の例では、アルバム１とアルバム２との個別見開き数は１である。各アルバムにおいて、個別見開きは時系列順に並んでいない。 Also, the number of individual double-page spreads does not change depending on the album, and is always the same. In the example of FIG. 32, the number of individual double-page spreads for Album 1 and Album 2 is one. In each album, individual double-page spreads are not arranged in chronological order.

また、共通見開き数は、アルバムに依って変わることがなく、常に同一である。図３２の例では、アルバム１とアルバム２との共通見開き数は３である。 Also, the common spread number does not change depending on the album and is always the same. In the example of FIG. 32, the common number of double-page spreads for Album 1 and Album 2 is three.

ここで、図３２は、共通見開きの後に個別見開きを入れる例を示している。ただし、式（１３）を用いた、共通見開きの間を個別見開きの挿入位置とする方法を採用した場合、図３２に示す３つの共通見開きにおける２つの挿入位置の何れかに、個別見開きが挿入される。 Here, FIG. 32 shows an example of inserting an individual spread after a common spread. However, when adopting the method of setting the insertion position of the individual spread between the common spreads using formula (13), the individual spread is inserted at either of the two insertion positions in the three common spreads shown in FIG. be done.

このように本実施形態によれば、アルバムの見開き数および個別見開きの位置を自動で揃えることが可能となる。 As described above, according to the present embodiment, it is possible to automatically align the number of double-page spreads of an album and the positions of individual double-page spreads.

［第５の実施形態］
本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。総見開き数はユーザ指定に従い全アルバムで同一であるが、アルバム毎の共通見開きと個別見開きとのそれぞれの数は、画像群及び設定により変化する。また、共通見開きおよび見開き内に配置される画像は、撮影時間順に並べ、個別見開きの位置は、全てのアルバムで揃える。 [Fifth embodiment]
In this embodiment, a double-page spread common to at least two albums and an individual double-page spread for each album are created. Although the total number of double-page spreads is the same for all albums according to the user's designation, the number of common double-page spreads and individual double-page spreads for each album varies depending on the image group and settings. Also, the common spread and the images arranged in the spread are arranged in order of shooting time, and the positions of the individual spreads are aligned in all albums.

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図２５（ａ）、（ｂ）及び図２６（ａ）～（ｃ）を用いて説明する。図２５（ａ）、（ｂ）は、本実施形態における自動レイアウト処理に関わる機能構成を示すブロック図である。図２６（ａ）～（ｃ）は、本実施形態における自動レイアウト処理を説明するためのフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては、前述の実施形態と同じ処理であるため、ここでは説明を割愛する。 <About automatic layout processing>
The automatic layout processing in this embodiment will be described below with reference to FIGS. 25(a), (b) and FIGS. FIGS. 25A and 25B are block diagrams showing functional configurations related to automatic layout processing in this embodiment. FIGS. 26A to 26C are flowcharts for explaining automatic layout processing in this embodiment. It should be noted that processing denoted by the same reference numerals as in the above-described embodiment is the same processing as in the above-described embodiment, so description thereof will be omitted here.

Ｓ２６０１において、見開き作成部２５０１は、Ｓ５１０で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成処理について、図２６（ｃ）を用いて説明する。 In S2601, the spread creating unit 2501 creates an album spread using the parameters generated in S510. Here, the double-page spread creation processing of this step will be described with reference to FIG. 26(c).

Ｓ２６０１０１において、見開き割当部２５０１０１は、Ｓ５１１０２で取得した候補画像を、Ｓ５１１０３で設定した見開き数分のサブ画像群に分割して割り当てる。本実施形態では、直近のＳ５１１０１で設定された見開き作成パラメータが共通パラメータの場合、候補画像をＳ５０３０１で取得した撮影時間に基づき分割する。一方、直近のＳ５１１０１で設定された見開き作成パラメータが個別パラメータの場合、候補画像をＳ５０８で付けた得点に基づき分割する。 In S260101, the spread allocation unit 250101 divides the candidate images acquired in S51102 into sub-image groups corresponding to the number of spreads set in S51103 and allocates them. In this embodiment, if the two-page spread creation parameter set most recently in S51101 is a common parameter, the candidate images are divided based on the shooting time acquired in S50301. On the other hand, if the two-page spread creation parameter set in S51101 most recently is an individual parameter, the candidate image is divided based on the score given in S508.

具体的には、直近のＳ５１１０１で設定された見開き作成パラメータが共通パラメータの場合、候補画像をＳ５０３０１で取得した撮影時間順に並べ、隣り合う画像間の時間差が大きい場所で分割する。このような分割処理をＳ５１１０３で設定した見開き数分に分割するまで行う。つまり、（見開き数－１）回の分割を行う。これにより、撮影時間順に画像が並んだアルバムを作成することができる。尚、後述する通り、１つの見開き内では、画像は撮影時間の順に並んでいなくてもよい。 Specifically, if the spread creation parameter set most recently in S51101 is a common parameter, the candidate images are arranged in order of shooting time acquired in S50301, and the adjacent images are divided where the time difference is large. Such division processing is performed until division into the number of spreads set in S51103. That is, division is performed (number of spreads−1) times. This makes it possible to create an album in which images are arranged in order of shooting time. As will be described later, within one double-page spread, the images do not have to be arranged in order of shooting time.

また、直近のＳ５１１０１で設定された見開き作成パラメータが個別パラメータの場合、得点が高い候補画像から順に各見開きに割り当てる。例えば見開き数が３の場合、候補画像は得点が高い画像から、見開き１、見開き２、見開き３、見開き１、見開き２、・・・のように割り当てる。これにより、各見開きに得点が高い画像が均等に割り当てられる結果、各見開きは時系列によらず、主被写体にとってよい画像をバランスよく配置できる。 Also, if the spread creation parameters set in the most recent step S51101 are individual parameters, the candidate images with the highest scores are assigned to each spread in descending order. For example, if the number of spreads is 3, the candidate images are assigned in the order of spread 1, spread 2, spread 3, spread 1, spread 2, . As a result, images with high scores are evenly assigned to each spread, and images that are good for the main subject can be arranged in a well-balanced manner in each spread regardless of the time series.

図２６（ａ）の説明に戻る。Ｓ２６０２において、見開き結合部２５０２は、見開き作成部２５０１により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、撮影時間に基づき作成された共通見開きについては、撮影時間順になるように並べる。一方、得点に基づき作成された個別見開きについては、共通見開きの時間差が大きくなる位置に挿入する。 Returning to the description of FIG. In S2602, the double-page spread combining unit 2502 determines the double-page spread number within the album for each double-page spread created by the double-page spread creation unit 2501, and creates the layout of the entire album. In this embodiment, the common double-page spreads created based on the photographing time are arranged in order of the photographing time. On the other hand, the individual spread created based on the score is inserted at the position where the time difference of the common spread becomes large.

以下、Ｓ２６０２の見開き結合処理について、図２７及び図２８を用いて説明する。図２７は、見開き結合部２５０２の詳細な構成を示すブロック図である。図２８は、見開き結合部２５０２が実行する処理のフローチャートである。 The spread combination processing in S2602 will be described below with reference to FIGS. 27 and 28. FIG. FIG. 27 is a block diagram showing the detailed configuration of the double-page spread coupling unit 2502. As shown in FIG. FIG. 28 is a flowchart of processing executed by the double-page spread combining unit 2502 .

Ｓ２６０２０１において、ソート部２５０２０１は、見開き取得部１２０１が取得した見開きのうち共通見開きを、ソート基準値算出部１２０２が求めたソート基準値に基づきソートする。本実施形態では、共通見開きを撮影時間が早いものから昇順に並べる。 In S260201, the sorting unit 250201 sorts the common spreads among the spreads acquired by the spread acquisition unit 1201 based on the sort reference value obtained by the sort reference value calculation unit 1202. FIG. In this embodiment, the common double-page spreads are arranged in ascending order of shooting time.

Ｓ２８０４において、見開き数調整部２５０２０２は、アルバムの見開き数がＳ５０１で設定した総見開き数と同じか判定する。本ステップの判定結果が真の場合、Ｓ１３０６に進む。一方、本ステップの判定結果が偽、つまり、Ｓ５１１０３で各アルバムの見開き数が総見開き数以上に設定された結果、アルバムの見開き数が総見開き数を超えた場合、Ｓ２６０２０２に進む。 In S2804, the page spread adjustment unit 250202 determines whether the number of page spreads of the album is the same as the total number of page spreads set in S501. If the determination result of this step is true, the process proceeds to S1306. On the other hand, if the determination result of this step is false, that is, if the number of spreads of each album is set to be greater than or equal to the total number of spreads in S51103, the number of spreads of the album exceeds the total number of spreads, the process proceeds to S260202.

Ｓ２６０２０２において、見開き数調整部２５０２０２は、見開き取得部１２０１が取得した見開きのうち、不要な見開きを削除することで、アルバムの見開き数がＳ５０１で設定した総見開き数に近づくように調整する。本実施形態では、共通見開きを削除することで見開き数を調整する。具体的には、まず、アルバム内にある共通見開きのうち、ソート基準値算出部１２０２が算出した見開きの撮影時間が隣接する共通見開きと最も近い共通見開きを選ぶ。次に、これら隣接する２つの共通見開きのうち、見開き中に配置されている画像の得点の合計が小さい見開きを削除する。削除した後、Ｓ２８０４に移行する。これにより、共通見開きのうち時間が近い（つまり、同じシーンの可能性が高い）見開きから順に削除される。尚、ここでは、撮影時間に基づいて、削除する共通見開きを選ぶケースを説明したが、削除する見開きの選択手法はこれに限らない。画像の得点が小さい共通見開きを選んでもよいし、個別見開きを削除して総見開き数を調整してもよい。 In S260202, the spread number adjusting unit 250202 adjusts the number of spreads of the album to approach the total number of spreads set in S501 by deleting unnecessary spreads from among the spreads acquired by the spread acquisition unit 1201. In this embodiment, the number of spreads is adjusted by deleting common spreads. Specifically, first, among the common spreads in the album, the common spread that is closest to the adjacent common spread that the shooting time of the spread calculated by the sort reference value calculation unit 1202 is selected. Next, from among these two adjacent common spreads, the spread having a smaller total score of the images arranged in the spread is deleted. After deleting, the process moves to S2804. As a result, among the common spreads, the spreads are deleted in descending order of time (that is, the spreads that are most likely to be the same scene). Although the case of selecting the common spread to be deleted based on the shooting time has been described here, the method of selecting the spread to be deleted is not limited to this. A common spread with a low image score may be selected, or individual spreads may be deleted to adjust the total number of spreads.

Ｓ２６０２０３において、個別見開き挿入部２５０２０３は、見開き取得部１２０１が取得した見開きのうち、個別見開きの見開き番号を決める。本実施形態では、Ｓ２６０２０１でソートした共通見開きに対して、共通見開き間の撮影時間が最大の位置に全ての個別見開きを挿入されるように、見開き番号を決める。Ｎ番目の共通見開きと、Ｎ＋１番目の共通見開きとの間の時間差は式（１３）を用いて算出する。尚、本実施形態では時間差が最大となる共通見開き間に全ての個別見開きを挿入したが、個別見開きの挿入手法はこれに限らない。例えば、全ての共通見開きの前あるいは全ての共通見開きの後のように、時間差によらず共通見開きが分断されない位置に個別見開きを挿入してもよい。 In S260203, the individual spread insertion unit 250203 determines the spread numbers of the individual spreads among the spreads acquired by the spread acquisition unit 1201 . In the present embodiment, the spread number is determined so that all individual spreads are inserted at the position where the shooting time between the common spreads is the longest for the common spreads sorted in S260201. The time difference between the Nth common spread and the (N+1)th common spread is calculated using equation (13). In this embodiment, all the individual spreads are inserted between the common spreads with the maximum time difference, but the method of inserting the individual spreads is not limited to this. For example, individual spreads may be inserted at positions where common spreads are not divided regardless of the time difference, such as before all common spreads or after all common spreads.

Ｓ１３０６において、見開き取得部１２０１は、全てのアルバムに対してＳ１３０１～Ｓ２６０２０３の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１３に進む一方、該判定結果が偽の場合、Ｓ１３０１に戻る。これにより、全てのアルバムにおいて、同じ見開き番号で開始する位置に個別見開きを配置できる。 In S1306, the double-page spread acquisition unit 1201 determines whether the processing of S1301 to S260203 has been completed for all albums. If the determination result of this step is true, the process proceeds to S513, and if the determination result is false, the process returns to S1301. As a result, individual spreads can be placed at positions starting with the same spread number in all albums.

上述のように、Ｓ２６０２０１では、共通見開きがソートされるが、個別見開きについてはソートされない。そして、アルバムにより、Ｓ２６０２０２において共通見開きが削除されるか否か、また削除される数が異なる。従って本実施形態によれば、総見開き数はアルバム間で同一となるが、共通見開き数の数、個別見開き数の数はアルバム間で異なることが起こり得る。また、個別見開きは撮影時間に沿わない順序で配置され得る。 As described above, in S260201, common spreads are sorted, but individual spreads are not sorted. Whether or not the common double-page spread is deleted in S260202 and the number of deletions differ depending on the album. Therefore, according to this embodiment, the total number of spreads is the same between albums, but the number of common spreads and the number of individual spreads may differ between albums. Also, the individual double-page spreads may be arranged in an order that does not follow the shooting time.

以上が、本実施形態における自動レイアウト処理についての内容である。 The above is the content of the automatic layout process in this embodiment.

＜本実施形態の効果について＞
図３３は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。図３３は、被写体Ａ～Ｃ用のアルバムとして、アルバム１～３が作成され、アルバム１における主被写体は被写体Ａに、アルバム２における主被写体は被写体Ｂに、アルバム３における主被写体は被写体Ｃに、夫々設定されたケースを示している。 <About the effect of this embodiment>
FIG. 33 is a diagram for explaining the effects of this embodiment, and shows examples of albums of a plurality of variations created in this embodiment. In FIG. 33, albums 1 to 3 are created as albums for subjects A to C, the main subject in album 1 is subject A, the main subject in album 2 is subject B, and the main subject in album 3 is subject C. , respectively show the set cases.

本実施形態では、作成するバリエーションのアルバムに関し、総見開き数は、アルバムに依って変わることがなく、常に同一である。図３３の例では、総見開き数は、アルバムに依らず４である。 In this embodiment, the total number of double-page spreads is always the same for each variation album to be created. In the example of FIG. 33, the total number of double-page spreads is 4 regardless of the album.

また、アルバムに依って個別見開き数が変わることを許容する。図３３の例では、アルバム１とアルバム３との個別見開き数は１である一方、アルバム２の個別見開き数は２である。各アルバムにおいて、個別見開きは、時系列順に並んでいない。 In addition, it is allowed to change the number of individual double-page spreads depending on the album. In the example of FIG. 33, the number of individual spreads for Album 1 and Album 3 is one, while the number of individual spreads for Album 2 is two. In each album, the individual double-page spreads are not arranged in chronological order.

また、アルバムに依って共通見開き数が変わることを許容する。図３３の例では、アルバム１とアルバム３との共通見開き数は３である一方、アルバム２の共通見開き数は２である。 Also, it is allowed to change the number of common double-page spreads depending on the album. In the example of FIG. 33, the common number of double-page spreads for Album 1 and Album 3 is 3, while the common number of double-page spreads for Album 2 is 2.

本実施形態によれば、アルバムの総見開き数および個別見開きの位置を自動で揃えることが可能となる。 According to this embodiment, it is possible to automatically align the total number of double-page spreads of an album and the positions of individual double-page spreads.

［その他の実施形態］
上述の実施形態では、印刷時の一対のページに相当する見開きに画像をレイアウトする例について説明した。しかしこれに限らず、印刷時の単一のページに画像をレイアウトする場合であってもよい。即ち、画像がレイアウトされるのが、見開き、印刷時の単一のページのいずれの場合であってもよく、画像がページにレイアウトされるものに、上述の実施形態を適用することができる。例えば、上述の実施形態における共通見開き、個別見開きも、見開きである必要はなく、より広い概念として、アルバム間で共通の共通ページ、アルバムごとに個別の個別ページとして読み替えることができる。 [Other embodiments]
In the above-described embodiment, an example of laying out images in a double-page spread corresponding to a pair of printed pages has been described. However, the layout is not limited to this, and may be the case of laying out images on a single page when printing. That is, the images may be laid out on a double-page spread or on a single page when printed, and the above-described embodiments can be applied to images laid out on a page. For example, the common double-page spread and individual double-page spreads in the above-described embodiments do not have to be double-page spreads, and can be read as a common page common to albums and an individual page for each album as a broader concept.

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、前述した第１～第６の実施形態について、各実施形態の構成を適宜組み合わせて用いてもよい。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions. It should be noted that the above-described first to sixth embodiments may be used by appropriately combining the configurations of the respective embodiments.

１００ 画像処理装置
１２０４ 見開き数調整部 100 Image processing device 1204 Spread number adjusting unit

Claims (17)

複数のページを含むアルバムを生成する装置であって、
アルバム毎に複数のページを作成する作成手段
を備え、
前記複数のページは、複数のアルバムに共通する共通ページと、アルバム毎に設定された主被写体に対応した個別ページとを含み、
前記作成手段は、前記複数のアルバムにおける前記個別ページの数がアルバム毎に異なる場合であっても、前記複数のアルバムにおいて前記複数のページの数が同じになるように、前記複数のページを作成する
ことを特徴とする装置。 An apparatus for generating an album containing multiple pages, comprising:
Equipped with creating means for creating a plurality of pages for each album,
The plurality of pages includes a common page common to a plurality of albums and an individual page corresponding to the main subject set for each album,
The creating means creates the plurality of pages so that the number of the plurality of pages is the same in the plurality of albums even if the number of the individual pages in the plurality of albums is different for each album. An apparatus characterized by: アルバム毎に、前記複数のアルバムにおける前記個別ページの数がアルバム毎に異なり且つ作成された前記共通ページと前記個別ページの合計数がユーザの指示に基づく総ページ数を超過した場合、前記共通ページの一部を削除することで前記複数のページの数を調整する調整手段をさらに備えたことを特徴とする請求項１に記載の装置。 When the number of the individual pages in the plurality of albums is different for each album and the total number of the created common pages and the individual pages exceeds the total number of pages based on the user's instruction, the common page 2. The apparatus of claim 1, further comprising adjusting means for adjusting the number of said plurality of pages by deleting a portion of the . 前記アルバム毎に、前記個別ページの数を変えることが許容されることを特徴とする請求項１又は２に記載の装置。 3. Apparatus according to claim 1 or 2, wherein it is allowed to vary the number of individual pages for each album. 前記作成手段は、
アルバムに使用する候補画像を取得する取得手段と、
前記候補画像を解析して、前記候補画像のそれぞれに対して第１の得点を算出する解析手段と、
前記候補画像のそれぞれに対して、前記第１の得点と前記複数のアルバムに共通の共通ページの作成基準とに基づき第２の得点を算出し、前記第１の得点とアルバム毎に異なる個別ページの作成基準のそれぞれとに基づき第３の得点を算出する再得点化手段と、
を含み、
前記作成手段は、前記候補画像から前記第２の得点に基づき選択された画像を含む共通ページと、前記候補画像から前記第３の得点に基づき選択された画像を含む個別ページとを作成することを特徴とする請求項１乃至３の何れか１項に装置。 The creation means is
acquisition means for acquiring candidate images to be used in the album;
analysis means for analyzing the candidate images and calculating a first score for each of the candidate images;
For each of the candidate images, a second score is calculated based on the first score and a common page creation criterion common to the plurality of albums, and the first score and the individual page different for each album are calculated. re-scoring means for calculating a third score based on each of the creation criteria of
including
The creating means creates a common page including an image selected from the candidate images based on the second score, and an individual page including an image selected from the candidate images based on the third score. 4. Apparatus according to any one of claims 1 to 3, characterized in that: 前記共通ページの作成基準及び前記個別ページの作成基準を生成する生成手段
をさらに備え、
前記個別ページの作成基準は、少なくともアルバム毎に着目する主被写体であり、
前記共通ページの作成基準は、全ての前記主被写体である
ことを特徴とする請求項４に記載の装置。 further comprising generating means for generating the creation criteria for the common page and the creation criteria for the individual pages;
The criteria for creating the individual page is at least a main subject to be focused on for each album,
5. The apparatus according to claim 4, wherein the basis for creating the common page is all the main subjects. 前記第１の得点は、前記候補画像のそれぞれに対する画質に関する得点とアルバム毎の主被写体に関する得点とを含むことを特徴とする請求項４又は５に記載の装置。 6. Apparatus according to claim 4 or 5, wherein the first scores comprise an image quality score for each of the candidate images and a main subject score for each album. 前記再得点化手段は、前記候補画像のそれぞれに対して、前記共通ページの作成基準で指定された前記主被写体に関する得点と前記画質に関する得点とに基づき前記第２の得点を算出し、前記個別ページの作成基準で指定された前記主被写体に関する得点と前記画質に関する得点とに基づき前記第３の得点を算出することを特徴とする請求項６に記載の装置。 The re-scoring means calculates the second score for each of the candidate images based on the score regarding the main subject and the score regarding the image quality specified in the creation criteria of the common page, and calculates the second score for each of the candidate images. 7. The apparatus according to claim 6, wherein the third score is calculated based on the score regarding the main subject and the score regarding the image quality specified by page creation criteria. 作成された複数のページの数がユーザ指定の総ページ数を超過した場合、全アルバムにおいて、
前記複数のアルバムの前記個別ページの数を、前記個別ページの数が前記複数のアルバムのうちの最小の前記個別ページの数と前記総ページ数より１以上小さい数との小さい方とし、
前記共通ページの数を、前記総ページ数から前記個別ページの数を引いた数とする
ように、作成された前記共通ページ及び前記個別ページを削除する調整手段をさらに備えたことを特徴とする請求項４乃至７の何れか１項に記載の装置。 If the number of pages created exceeds the total number of pages specified by the user, for all albums,
The number of individual pages of the plurality of albums is the smaller of the number of the individual pages having the smallest number of individual pages among the plurality of albums and a number smaller than the total number of pages by one or more;
The method further comprises adjusting means for deleting the created common pages and the individual pages so that the number of the common pages is the number obtained by subtracting the number of the individual pages from the total number of pages. 8. Apparatus according to any one of claims 4-7. 前記共通ページ及び前記個別ページに配置される前記候補画像は、所定の画像配置基準に基づき配置されることを特徴とする請求項４乃至８の何れか１項に記載の装置。 9. The apparatus according to any one of claims 4 to 8, wherein the candidate images to be laid out on the common page and the individual pages are laid out based on predetermined image layout criteria. 前記所定の画像配置基準は、画像の撮影時間、前記第２の得点及び前記第３の得点の少なくとも何れか１つであることを特徴とする請求項９に記載の装置。 10. The apparatus according to claim 9, wherein said predetermined image placement criterion is at least one of image capturing time, said second score, and said third score. 前記所定の画像配置基準は、前記共通ページと前記個別ページとで異なることを特徴とする請求項９又は１０に記載の装置。 11. The apparatus according to claim 9 or 10, wherein said predetermined image placement criteria are different for said common page and said individual page. アルバム毎に、前記共通ページとアルバム毎の前記個別ページとを、所定のページ配置基準に基づき配置するページ配置手段をさらに備えたことを特徴とする請求項４乃至１１の何れか１項に記載の装置。 12. The method according to any one of claims 4 to 11, further comprising page arrangement means for arranging the common page and the individual page for each album based on a predetermined page arrangement standard. device. 前記ページ配置手段は、前記個別ページを、前記共通ページに含まれる前記候補画像の平均撮影時間に基づき決められた前記共通ページの間に配置することを特徴とする請求項１２に記載の装置。 13. The apparatus according to claim 12, wherein said page arrangement means arranges said individual page between said common pages determined based on an average photographing time of said candidate images included in said common page. 前記共通ページの作成基準及び前記個別ページの作成基準を含むアルバム作成条件を入力させるためのＧＵＩを提示する提示手段をさらに備えたことを特徴とする請求項１乃至１３の何れか１項に記載の装置。 14. The apparatus according to any one of claims 1 to 13, further comprising presentation means for presenting a GUI for inputting album creation conditions including said common page creation criteria and said individual page creation criteria. device. 前記複数のページのそれぞれは、アルバムが印刷されたときに一対のページとなる、見開きであることを特徴とする請求項１乃至１４の何れか１項に記載の装置。 15. Apparatus according to any one of the preceding claims, wherein each of the plurality of pages is a spread that forms a pair of pages when the album is printed. 複数のページを含むアルバムを生成する方法であって、
アルバム毎に複数のページを作成するステップ
を備え、
前記複数のページは、複数のアルバムに共通する共通ページと、アルバム毎に設定された主被写体に対応した個別ページとを含み、
前記作成するステップは、前記複数のアルバムにおける前記個別ページの数がアルバム毎に異なる場合であっても、前記複数のアルバムにおいて前記複数のページの数が同じになるように、前記複数のページを作成する
ことを特徴とする方法。 A method of generating an album containing multiple pages, comprising:
comprising a step of creating multiple pages for each album,
The plurality of pages includes a common page common to a plurality of albums and an individual page corresponding to the main subject set for each album,
In the step of creating, even when the number of individual pages in the plurality of albums is different for each album, the plurality of pages are arranged so that the number of the plurality of pages is the same in the plurality of albums. creating. コンピュータに、請求項１６に記載の方法を実行させるための、プログラム。 A program for causing a computer to perform the method according to claim 16.
JP2019037047A 2019-02-28 2019-02-28 Apparatus, method and program Active JP7263054B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019037047A JP7263054B2 (en) 2019-02-28 2019-02-28 Apparatus, method and program
US16/799,366 US11361487B2 (en) 2019-02-28 2020-02-24 Apparatus, method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019037047A JP7263054B2 (en) 2019-02-28 2019-02-28 Apparatus, method and program

Publications (2)

Publication Number Publication Date
JP2020140582A JP2020140582A (en) 2020-09-03
JP7263054B2 true JP7263054B2 (en) 2023-04-24

Family

ID=72280414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019037047A Active JP7263054B2 (en) 2019-02-28 2019-02-28 Apparatus, method and program

Country Status (1)

Country Link
JP (1) JP7263054B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020115305A (en) 2019-01-18 2020-07-30 富士フイルム株式会社 Image processing device, image processing method, program and recording medium

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020115305A (en) 2019-01-18 2020-07-30 富士フイルム株式会社 Image processing device, image processing method, program and recording medium

Also Published As

Publication number Publication date
JP2020140582A (en) 2020-09-03

Similar Documents

Publication Publication Date Title
JP7250567B2 (en) Apparatus, method and program
JP7350495B2 (en) Apparatus, method, and program
JP7341676B2 (en) Apparatus, method, and program
JP6711937B2 (en) Image processing device, image processing method, and program
JP7341677B2 (en) Apparatus, method, and program
JP6525862B2 (en) Image processing apparatus, image processing method and program
US20200279427A1 (en) Apparatus, method and storage medium
JP7336211B2 (en) Image processing device, control method, and program
JP2022123210A (en) Image processing apparatus, method for controlling the same, and program
US11915351B2 (en) Image processing apparatus, image processing method, and storage medium
JP2022123207A (en) Image processing apparatus, method for the same, and program
JP2022123214A (en) Program, image processing apparatus, and image processing method
JP2022123213A (en) Image processing apparatus, method for controlling the same, and program
JP2022123211A (en) Program, image processing apparatus, and image processing method
JP2022123212A (en) Program, image processing apparatus, and image processing method
JP7336209B2 (en) Image processing device, control method, and program
JP7027101B2 (en) Information processing equipment, control methods, and programs
JP7451242B2 (en) Image processing device, image processing method, and program
JP7263054B2 (en) Apparatus, method and program
JP7350496B2 (en) Apparatus, method, and program
JP6700806B2 (en) Program, information processing apparatus, and control method
JP7336212B2 (en) Image processing device, control method, and program
JP7336210B2 (en) Image processing device, control method, and program
JP7446876B2 (en) Program, image processing method, and image processing device
JP6797871B2 (en) program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230412

R151 Written notification of patent or utility model registration

Ref document number: 7263054

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151