JP2022123212A - プログラム、画像処理装置、及び画像処理方法 - Google Patents
プログラム、画像処理装置、及び画像処理方法 Download PDFInfo
- Publication number
- JP2022123212A JP2022123212A JP2021020374A JP2021020374A JP2022123212A JP 2022123212 A JP2022123212 A JP 2022123212A JP 2021020374 A JP2021020374 A JP 2021020374A JP 2021020374 A JP2021020374 A JP 2021020374A JP 2022123212 A JP2022123212 A JP 2022123212A
- Authority
- JP
- Japan
- Prior art keywords
- album
- spread
- image
- unit
- editing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 103
- 238000003672 processing method Methods 0.000 title claims description 3
- 230000006870 function Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 description 103
- 230000008569 process Effects 0.000 description 79
- 238000010191 image analysis Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 28
- 230000008859 change Effects 0.000 description 18
- 238000003780 insertion Methods 0.000 description 13
- 230000037431 insertion Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 7
- 238000009966 trimming Methods 0.000 description 7
- 230000002354 daily effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 235000021167 banquet Nutrition 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】あるユーザのアルバムにおいて共通見開きの編集が行われた場合に、その編集結果の内容を、ユーザに応じて選択的に反映する。【解決手段】本発明の一実施形態は、コンピュータを、各アルバムで共通する共通見開きの属性と、各アルバムの個別見開きの属性とを、見開きの属性として有する複数のアルバムのレイアウトを編集する編集手段と、編集が行われた所定のアルバムについて、編集された見開きが共通見開きかを判定する第1判定手段と、前記第1判定手段の判定結果が真の場合、前記複数のアルバムのうち前記所定のアルバムを除いたアルバムのそれぞれについて、前記所定のアルバムに対する編集結果の内容を反映するアルバムかを判定する第2判定手段と、として機能させる、ことを特徴とするプログラムである。【選択図】図17
Description
本発明は、アルバムを作成する技術に関する。
デジタルカメラの普及に加え、スマートデバイスの普及及びスマートデバイスのカメラ性能向上により、ユーザの写真撮影枚数が急激に増加している。特許文献1では、複数のユーザが共同でアルバムを作成する方法が提案されている。
また、複数のアルバムを作成する際に、複数のアルバムに共通する汎用的な基準で作られた見開き(共通見開きとする)と、アルバム毎に特化した個別な基準で作られた見開き(個別見開きとする)とが含まれるアルバムデータを自動生成することが知られている。
複数のユーザのアルバムを作成した後で、あるユーザのアルバムにおいて共通見開きの編集が行われた場合に、その編集結果の内容は通常、他のユーザのアルバムに反映される。しかし、このような編集結果の内容を、自分のアルバムに反映することを望まないユーザがいる場合を考慮すべきである。この場合、あるユーザのアルバムにおける共通見開きに対する編集結果の内容を、当該あるユーザを除く全てのユーザのアルバムに一律に反映することは適切でない。
そこで本発明の一実施形態は、上記の課題に鑑み、あるユーザのアルバムにおいて共通見開きの編集が行われた場合に、その編集結果の内容を、ユーザに応じて選択的に反映することを目的とする。
本発明の一実施形態は、コンピュータを、各アルバムで共通する共通見開きの属性と、各アルバムの個別見開きの属性とを、見開きの属性として有する複数のアルバムのレイアウトを編集する編集手段と、編集が行われた所定のアルバムについて、編集された見開きが共通見開きかを判定する第1判定手段と、前記第1判定手段の判定結果が真の場合、前記複数のアルバムのうち前記所定のアルバムを除いたアルバムのそれぞれについて、前記所定のアルバムに対する編集結果の内容を反映するアルバムかを判定する第2判定手段と、として機能させる、ことを特徴とするプログラムである。
本発明の一実施形態によれば、あるユーザのアルバムにおいて共通見開きの編集が行われた場合に、その編集結果の内容を、ユーザに応じて選択的に反映することが可能になる。
以下、本発明の実施形態について図面を用いて詳細に説明する。
(実施形態1)
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション(以下、「アプリケーション」または単純に「アプリ」ともいう)を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムデータを生成する。このアルバムデータを印刷することで印刷物として複数のアルバムを作成することができる。本実施形態では、少なくとも2つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。各アルバムは、例えば、特に強調してレイアウトする被写体(主被写体という)ごとに異なる構成の個別の見開きをそれぞれ有する。各アルバムを構成する見開きの総数(総見開き数と呼ぶ)は、アプリを操作するユーザの指定に従い全アルバムで同一である。但し、アルバム毎の共通見開きと個別見開きとのそれぞれの数は、画像群及び設定に応じて変化する。見開きおよび見開き内に配置される画像は、撮影時間順に並べられる。
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション(以下、「アプリケーション」または単純に「アプリ」ともいう)を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムデータを生成する。このアルバムデータを印刷することで印刷物として複数のアルバムを作成することができる。本実施形態では、少なくとも2つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。各アルバムは、例えば、特に強調してレイアウトする被写体(主被写体という)ごとに異なる構成の個別の見開きをそれぞれ有する。各アルバムを構成する見開きの総数(総見開き数と呼ぶ)は、アプリを操作するユーザの指定に従い全アルバムで同一である。但し、アルバム毎の共通見開きと個別見開きとのそれぞれの数は、画像群及び設定に応じて変化する。見開きおよび見開き内に配置される画像は、撮影時間順に並べられる。
個別の見開きを用いることで、作成される複数のアルバムは、各主被写体に部分的に特化したアルバムとなる。つまり、本実施形態で作成される複数のアルバムは、同一の画像が同一のレイアウトで全ての見開きに配置されているような、完全に同一のアルバムにならないことを想定している。尚、結果として、作成される複数のアルバムのうちの一部のアルバム同士が完全に同一のアルバムとなってもよい。
また、本実施形態では、共通見開きと個別見開きとを含むように作成されたアルバムのアルバムデータを、ユーザが編集することができる。以下の説明では、大別して、アルバムデータを自動で生成する処理と、生成されたアルバムデータをユーザが編集する処理とに分かれている。ユーザが編集する処理においても、自動で処理が行われる。まず、アルバムデータを自動で生成する処理の構成を説明する。その後、生成されたアルバムデータをユーザが編集する処理を説明する。
<<アルバムデータの生成処理>>
<画像処理装置のハードウェア構成について>
以下、本実施形態における画像処理装置のハードウェア構成について、図1を用いて説明する。尚、以下では、画像処理装置が情報処理装置(PC)のケースを説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。
<画像処理装置のハードウェア構成について>
以下、本実施形態における画像処理装置のハードウェア構成について、図1を用いて説明する。尚、以下では、画像処理装置が情報処理装置(PC)のケースを説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。
図1に示すように、画像処理装置100は、CPU101と、ROM102と、RAM103と、HDD104と、ディスプレイ105と、キーボード106と、マウス107と、データ通信装置108と、を有する。これらの部品は、データバス109により接続されており、相互にデータを送信または受信することができる。
CPU101は、画像処理装置100全体を制御する。また、CPU101は、本実施形態で説明する画像処理方法をプログラムに従って実行する。尚、図1では、画像処理装置が1個のCPUを有するが、画像処理装置は複数のCPUを有してもよい。
ROM102には、CPU101が実行するプログラムが記憶されている。RAM103は、CPU101によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。HDD104には、画像ファイルまたは画像解析等の処理結果を保持するデータベース等が記憶され、本実施形態では、このHDD104に、アルバム作成のためのアプリケーションプログラムが記憶されている。尚、このアプリケーションプログラムについては、アルバム作成アプリと呼ばれることもあり、図2等を用いて後述する。
ディスプレイ105は、本実施形態のユーザインターフェイス(以下UI)または画像のレイアウト結果を表示して、ユーザに提示するための装置である。ディスプレイ105は、タッチセンサー機能を有してもよい。キーボード106は、画像処理装置100が有する入力装置の1つであり、例えば、ディスプレイ105に表示されたGUI上に所定の情報を入力するために用いられる。本実施形態では、ユーザは、キーボード106を介してアルバムの見開き数を入力する。マウス107は、画像処理装置100が有する入力装置の1つであり、例えば、ディスプレイ105に表示されたGUI上のボタンをクリックして押下するために用いられる。
データ通信装置108は、プリンタまたはサーバ等の外部装置と通信するための装置である。例えば、自動レイアウトされた結果であるアルバムデータは、データ通信装置108を介して、画像処理装置100に接続されたプリンタまたはサーバに送信される。データバス109は、上述した各構成要素とCPU101とを接続する。以上が、本実施形態における画像処理装置のハードウェア構成についての内容である。
<画像処理装置のソフトウェア構成について>
以下、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成について、図2を用いて説明する。アルバム作成アプリケーションは、ディスプレイ105に表示されているアプリケーションのアイコンがユーザによりマウス107を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、自動レイアウト処理部202により提供される自動レイアウト機能を説明する。
以下、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成について、図2を用いて説明する。アルバム作成アプリケーションは、ディスプレイ105に表示されているアプリケーションのアイコンがユーザによりマウス107を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、自動レイアウト処理部202により提供される自動レイアウト機能を説明する。
図2に示すように、このアプリは、アルバム作成条件設定部201と、自動レイアウト処理部202と、アルバム表示部214と、アルバム情報保持部215と、を有する。「自動レイアウト機能」とは、撮影された写真の画像をその内容および属性などに基づいて分類および選択した上でレイアウトして、アルバムデータを生成する機能である。生成されたアルバムデータは、ディスプレイ105に表示される。
アルバム作成条件設定部201は、ユーザのマウス操作に応じたアルバム作成条件を、自動レイアウト処理部202に設定する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、1冊のアルバムあたりの総見開き数、アルバムの商材、アルバムの冊数、及びアルバム毎の主被写体を設定する。画像群の設定は、例えば撮影日時など個別の画像データの付随情報または属性情報を用いて設定してもよいし、デバイスまたはディレクトリの指定など、画像データが保存されているファイルシステムの構造に基づいて設定してもよい。この画像群は、各主被写体となり得る各ユーザからの画像データを保存している保存先としてもよいし、特定のユーザが集めた画像データを保存している保存先であってもよい。尚、「見開き」とは、例えば表示においては一つの表示用ウィンドウに相当し、印刷物においては、本を開いた際にユーザが一度に鑑賞可能な互いに隣接する1対のページ(つまり2ページ分)に相当する。なお、見開き内の2ページは、それぞれ異なる用紙に印刷されたものが隣接するよう綴じられることで見開きを形成する場合と、1枚の用紙に印刷されたものが真ん中で折られることで見開きを形成する場合と、がある。ここでは、このような見開きの概念を用いて説明するが、ページでもよい。また、主被写体とは、アルバム中で特に強調してレイアウトする被写体である。例えば特定の個人、犬、猫、花、料理といった物体のカテゴリ、または、オブジェクトもしくは画像全体の色味等が挙げられる。ここでは、説明のため人物を主被写体とする。
ここで、本実施形態で作成するアルバムについて、図3を用いて説明する。本実施形態では、アルバム作成条件設定部201により設定されたアルバムの冊数及びアルバム毎の主被写体に基づき、複数の異なるバリエーションのアルバムが作成される。図3の例では、複数の異なるバリエーションのアルバムとして、アルバム1、アルバム2、及びアルバム3が作成されている。
各アルバムは、複数の異なるバリエーションのアルバム間で同じ画像が同じ配置でレイアウトされている「共通見開き」と、他のアルバムとは異なる画像または配置でレイアウトされている「個別見開き」とで構成される。図3の例では、アルバム1~アルバム3は夫々、共通見開き302を含む。一方、アルバム1は個別見開き303を含み、アルバム2は個別見開き304を含み、アルバム3は個別見開き305を含む。
画像301は見開きに配置された画像であり、画像301中の文字は画像中に写っている主被写体を表している。図3に示すように、共通見開き302には、複数の主被写体が写っている画像が含まれる。一方、個別見開き303には、主被写体Aのみが写っている画像が含まれるといった具合に、個別見開き303~305には夫々、特定の主被写体のみが写っている画像が含まれる。このように、本実施形態で複数のアルバムを作成する場合、該複数のアルバムが夫々、異なる基準で作成された見開きを含む。即ち、異なる基準で作成されることで、その作成された結果の見開きも、異なる見開きになっている。
自動レイアウト処理部202は、画像取得部203、画像解析部204、主被写体設定部205、シーン分割部206、シーン分類部207、画像得点部208、見開き作成パラメータ生成部209、及び見開き作成部210を有する。また、見開き結合部211、レイアウト情報出力部212、及びアルバム情報出力部213を有する。
画像取得部203は、HDD104に保存されている画像の中から、アルバム作成条件設定部201により設定されたアルバム作成条件を満たす画像群を取得する。ここでいう画像群とは、アルバム作成の際のレイアウト候補となる画像群を指す。例えば、撮影日時として、XX年1月1日~XX年12月31日が指定された場合は、XX年1月1日~XX年12月31日に撮影された画像全てが、レイアウト候補の画像群に該当する。HDD104に保存されている画像としては、静止画像、又は、動画から切り出された切り出し画像などが挙げられる。静止画像または切り出し画像は、デジタルカメラ又はスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置100が備えていてもよいし、画像処理装置100の外部装置が備えるものであってもよい。尚、撮像デバイスが外部装置である場合は、画像取得部203は、データ通信装置108を介して画像を取得する。また、静止画像または切り出し画像は、外部のネットワークまたはサーバからデータ通信装置108を介して取得した画像であってもよい。ネットワークまたはサーバから取得した画像としては、ソーシャルネットワーキングサービス画像(以下、SNS画像)が挙げられる。尚、CPU101はOSのプログラムを実行することで、各画像に対して、画像データに付随するデータを解析し、画像の取得先である保存元を求める。但し、アプリケーションを介してSNSから画像を取得することで、アプリケーション内で該画像の取得先を管理してもよい。尚、画像取得部203が取得する画像は、上述したものに限定されるものではなく、他の種類の画像であってもよい。
画像解析部204は、画像取得部203が取得した画像データを解析する。本実施形態では、画像の特徴量を導出し、画像内のオブジェクト判定、顔検出、検出した顔の表情認識、及び検出した顔の個人認識を実行する。さらに、画像解析部204は、HDD104から取得した画像データに付随したデータ(例えば、Exif情報)を参照して、撮影日時の情報を取得する。尚、画像解析部204が画像データを解析した結果得られる情報を「解析情報」と呼ぶ。
主被写体設定部205は、アルバム毎に強調する主被写体を設定する。本実施形態では、主被写体設定部205は、アルバム作成条件設定部201から送られた、アルバム毎に強調する主被写体の情報を取得する。
画像得点部208は、アルバム作成条件設定部201により設定されたアルバム作成条件および画像解析部204で導出した解析情報に基づき、各画像に対して得点付けを行う。本実施形態では、レイアウトに適した画像が高得点になるように各画像に対して得点付けを行う。レイアウトに適した画像が高得点になるように得点付けを行う際は、画像の解析情報、画像の分類結果、画像情報、またはアルバム作成条件などを用いる。但し、他の情報を付加的に或いは代替的に用いてもよい。レイアウトに適した画像とは、例えばコントラストが高い、もしくは、エッジがシャープである、といった審美性が高い画像、または、人、動物、もしくは建造物などの主題となる被写体(いわゆる主被写体)が大きく写っている画像が挙げられる。さらに、画像得点部208は、主被写体設定部205が設定した主被写体毎の得点付けも行う。例えば、非常に審美性が高い画像であっても、設定した主被写体が写っていない画像については、得点を低くする一方、逆光のような撮影状態の悪い画像であっても、設定した主被写体が大きく写っている画像については、得点を高くする。
シーン分割部206は、画像解析部204で導出した解析情報を用いて、画像取得部203で取得した画像群をシーン毎に分ける。ここでいう「シーン」とは、解析情報に応じてグルーピングした画像のまとまり(サブ画像群)を意味する。例えば、撮影時間の異なる2枚の画像に関し、シーン分割部206は、撮影時間の差が所定の閾値以下の画像を同じシーンと判定したり、写っている人物または背景が同じ画像を同じシーンと判定したりする。
シーン分類部207は、シーン分割部206により得られたシーン毎に該当するカテゴリを判定する。シーンのカテゴリとして、例えば、屋内もしくは屋外といったシチュエーション、または、旅行もしくは結婚式といった画像を撮影した時のイベント等が挙げられる。
見開き作成パラメータ生成部209は、主被写体設定部205で設定された主被写体と画像解析部204で導出した解析情報とに基づき、見開きを作成するためのパラメータを複数生成する。複数のパラメータには、例えば、共通見開き用のパラメータと、個別見開き用のパラメータとが含まれる。ここでいうパラメータとは、見開きの作成基準を決定づける設定値である。このようなパラメータとして、例えば、見開きに使用する画像を選択する際に用いられる、画像得点部208で得られた得点の優先度を決める重みまたは閾値が挙げられる。これは、主被写体設定部205で設定した主被写体が写っている画像の中から、特定の主被写体のみが写っている画像を優先するのか、或いは、2つ以上の主被写体が写っている画像を優先するのかを選択する設定値である。複数のパラメータを用いることで、アルバム毎の見開きによって、作成基準が変化する。また、見開き作成パラメータには、その画像が見開きに配置された場合の、見開き内での関係性等を考慮した得点を求めるパラメータが含まれる。
ここで、見開きに使用する画像を選択する際の画像単体での得点を求めるためのパラメータを、便宜上、第一パラメータといい、見開き内に配置される場合の関係性等を考慮した得点を求めるためのパラメータを便宜上、第二パラメータという。この場合、後述する見開き作成部210では、まず、第一パラメータに応じて見開きに使用する候補画像が選択される。そして、見開き作成部210では、第二パラメータに応じて、候補画像の中から見開きに適した画像およびテンプレートなどが決定されることになる。ここでは便宜上、第一パラメータおよび第二パラメータに分けたが、これらを総合的に加味したパラメータを、見開き作成パラメータと総称する。
見開き作成部210は、見開き作成パラメータ生成部209が生成したパラメータに従って、見開きで使用する画像を選択および配置することで、見開きデータを作成する。例えば見開き作成部210は、第一パラメータに従った候補画像を選択する。第一パラメータは、前述したように、設定された主被写体ごとに重みを変えるパラメータである他、所定の優先度に応じた重みを付与するパラメータでもある。優先度の例としては、トリミングの有無に応じた優先度を考慮してもよい。たとえば、共通見開きでの主被写体は複数人であることが多いため、主被写体が省かれないためにトリミングを行わないサイズの画像を優先してもよい。個別見開きでは主被写体は1人の為、主被写体がアップになるようにトリミングを行うことがあると考えられるためトリミングを行う画像の優先度を下げなくてもよい。
尚、このような優先度は、予め決定されていてもよいし、ユーザが適宜設定してもよい。優先度に応じた重みまたは閾値を用意しておくことで、ユーザは、各種の情報の優先度を変えることで、パラメータを変えることができる。また、このような優先度は、上述した情報の他、各種の情報を考慮した優先度としてよい。各種の情報としては、画像のシーンの情報、主被写体以外の物体数の情報、主被写体以外の人数、解像度、または背景などが挙げられる。
そして、見開き作成部210は、このようにして求めた候補画像の得点に、第二パラメータを適用した得点を求め、見開き内に配置される画像の得点の合計が高くなるような見開きを作成する。見開き内に配置される画像の合計を、見開きの得点という。第二パラメータは、見開き内での関係性を考慮したパラメータであり、例えば、同一見開き内で一定の時間間隔の画像が使用されること優先したり、スロットサイズに応じた重みを付与したりすることができる。
前述したように、見開き作成パラメータ(第一パラメータおよび第二パラメータ)は、共通見開き用と個別見開き用とでそれぞれ異なるパラメータとなる。これにより、異なる見開き基準で画像選択が行われるので、共通見開きと個別見開きとで、異なる見開きが作成されるようになる。
見開き結合部211は、見開き作成部210が作成した見開きデータを結合する。具体的には、見開き作成部210により作成された各見開きの順番を決定することで、アルバム全体のレイアウトを作成する。
レイアウト情報出力部212は、見開き結合部211が作成したアルバム全体のレイアウトに従って、アルバムデータを出力する。アルバムデータは、例えば、所定のレイアウトに従って各画像を配置したビットマップ形式の画像データである。
アルバム情報出力部213は、アルバム生成に用いたアルバム情報を出力する。アルバム情報には、例えば、アルバム構成情報およびアルバム生成情報が含まれる。アルバム構成情報は、使用画像情報、画像の配置情報、テンプレート情報、スロットの形状およびサイズ情報、背景色情報、トリミング情報、テキストまたはスタンプの編集情報、共通・個別ページ情報、といったアルバムを構成する構成情報である。アルバム生成情報は、アルバム作成条件、画像の解析情報、得点情報、またはシーン情報のようなアルバムデータの生成の際に用いた生成情報である。尚、このアルバム生成情報でアルバムを生成すると同じアルバムを生成することができる。アルバム情報に、アルバムデータそのものが含まれていてもよい。この情報はアルバム単位で出力される。
アルバム表示部214は、レイアウト情報出力部212が出力したビットマップデータをディスプレイ105に表示する表示制御を行う。
アルバム情報保持部215は、アルバム情報出力部213が出力したアルバム情報を受け取り保持する。アルバム情報保持部はアルバム編集などでアルバムが更新された場合には更新に合わせたアルバム情報を受け取り保持する。ここでのアルバム情報とは、前述したアルバム構成情報とアルバム生成情報の他、アルバム変更情報が含まれる。アルバム変更情報の例としては、アルバム編集のユーザ操作履歴でもよいし、アルバム編集により変更された差分情報でもよい。これらの情報は、アルバム単位で保持される。
本実施形態におけるアルバム作成アプリケーションのプログラムが、画像処理装置100にインストールされると、画像処理装置100上で動作するOS(オペレーティングシステム)のトップ画面(デスクトップ)上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ105に表示されているデスクトップ上の起動アイコンをマウス107でダブルクリックすると、HDD104に保存されているアルバム作成アプリケーションのプログラムがRAM103にロードされる。そして、RAM103にロードされたプログラムがCPU101によって実行されて、アルバム作成アプリケーションが起動する。以上が、本実施形態における画像処理装置のソフトウェア構成についての内容である。なお、アプリケーションは、別の形態でも良く、例えば画像処理装置100で動作するブラウザ内で画面等を表示するWebアプリでも良い。
<GUI画面について>
以下、本実施形態におけるアルバム作成アプリケーションのGUI画面について、図4を用いて説明する。図4は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ105に表示されるGUI画面401を示す図である。ユーザは、GUI画面401を介して、アルバムの作成条件を設定することができる。
以下、本実施形態におけるアルバム作成アプリケーションのGUI画面について、図4を用いて説明する。図4は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ105に表示されるGUI画面401を示す図である。ユーザは、GUI画面401を介して、アルバムの作成条件を設定することができる。
GUI画面401は、アルバムに含ませる写真画像の設定部として、パスボックス402及びフォルダ選択ボタン403を有する。パスボックス402は、アルバム作成の対象となる画像群のHDD104中の保存場所(パス)を示すためのボックスである。フォルダ選択ボタン403は、アルバム作成の対象とする画像群を含むフォルダを選択するためのボタンである。ユーザがフォルダ選択ボタン403をマウス107でクリックすると、複数フォルダから構成されるツリーが表示される。そして、アルバム作成の対象とする画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスがパスボックス402に表示される。
見開き数ボックス404は、1冊のアルバムにおける総見開き数を指定するためのボックスである。ユーザは、キーボード106を使って見開き数ボックス404に直接数字を入力したり、マウス107を使ってリストから見開き数ボックス404に数字を入力したりすることができる。アルバム数ボックス410は、作成するアルバム冊数を指定するためのボックスである。
主被写体指定部405は、アルバム数ボックス410に入力した数のアルバムそれぞれに対して、強調する主被写体を指定するための要素である。例えば、ユーザはマウス107を用いて、主被写体が写っている画像を主被写体指定部405にドラッグ&ドロップすることで、主被写体を指定することができる。例えば、図3で上述したAさん、Bさん等が指定される。
見開き写真枚数設定部406は、作成するアルバムの各見開きに配置する画像の枚数を設定するためのスライダーバーである。スライダーが「多」側に移動されると、各見開きに配置する画像の枚数が増える。一方、スライダーが「少」側に移動されると、各見開きに配置する画像の枚数が減る。
商材指定部407は、作成するアルバムの商材を設定するための要素である。設定する商材に関する具体的な項目としては、アルバムのサイズまたはアルバムの用紙種類を採用することができる。表紙種類または綴じ部の種類を設定してもよい。
OKボタン408は、選択された条件をアルバム作成条件として決定するボタンである。ユーザがOKボタン408をマウス107でクリックすると、アルバム作成条件が確定し、アルバム作成条件設定部201を介して、自動レイアウト処理部202にアルバム作成条件が伝えられる。具体的に説明すると、パスボックス402に入力されているパスの情報は、画像取得部203に伝えられる。また、見開き数ボックス404に入力されている総見開き数の値は、見開き作成部210に伝えられる。アルバム数ボックス410に入力されているアルバム数の値および主被写体指定部405で指定されている主被写体の情報は、見開き作成パラメータ生成部209に伝えられる。
リセットボタン409は、表示画面上の各設定内容をリセットするためのボタンである。以上が、本実施形態におけるアルバム作成アプリケーションのGUI画面についての内容である。
<自動レイアウト処理について>
以下、本実施形態における自動レイアウト処理について、図5(a)を用いて説明する。図5(a)は、本実施形態に係るアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図5(a)~(c)に示すフローチャートは、例えば、CPU101がHDD104に記憶されたプログラムをROM102またはRAM103に読み出して実行することにより実現される。
以下、本実施形態における自動レイアウト処理について、図5(a)を用いて説明する。図5(a)は、本実施形態に係るアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図5(a)~(c)に示すフローチャートは、例えば、CPU101がHDD104に記憶されたプログラムをROM102またはRAM103に読み出して実行することにより実現される。
ステップS501において、アルバム作成条件設定部201は、アルバム作成条件を設定する。尚以下では、「ステップS~」を単純に「S~」と略記する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、見開き数、アルバム数、アルバム毎の主被写体、各見開きに配置する画像枚数の多寡、およびアルバムを作成する商材を設定する(図4参照)。
S502において、画像取得部203は、S501で設定されたアルバムに使用する画像群に関する条件を満たす画像を、HDD104から読み込む。そして、画像取得部203は、読み込んだ画像をRAM103に展開する。
S503において、画像解析部204は、S502でRAM103に展開された画像を解析する。ここで、本ステップの画像解析について、図5(b)を用いて説明する。
S50301において、画像解析部204は、画像取得部203が取得した画像データに対応する撮影日時の情報を取得する。本実施形態では、各画像データに付随するExif情報に基づき、撮影日時の情報を取得する。
S50302において、画像解析部204は、画像取得部203が取得した画像データに対する画質の特徴量を導出する。画質の特徴量としては、例えば、ピント量が挙げられる。ピント量の判別手法として、エッジの検出手法を用いることができ、エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点との間における輝度差を、始点と終点との間の距離で割ることで輝度勾配、即ちエッジの傾きを算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているみなすことができる。本実施形態では、算出したエッジの平均傾きの大きさを測るための複数の閾値を設定し、該算出したエッジの傾きが何れの閾値以上か判定することで、許容できるピント量か判定する。具体的には、異なる2つの傾き閾値として、第1の傾き閾値および第2の傾き閾値(尚、第1の傾き閾値>第2の傾き閾値)を設定し、○△×の3段階でピント量を判別する。画像中のエッジの平均傾きが第1の閾値以上であれば、好適なピント量とする(○で表す)。また、画像中のエッジの平均傾きが第1の閾値未満且つ第2の閾値以上であれば、許容できるピント量とし(△で表す)、画像中のエッジの平均傾きが第2の閾値未満であれば許容できないピント量とする(×で表す)。
S50303において、画像解析部204は、画像取得部203が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。本実施形態では、オブジェクトとして顔を検出する。顔の検出方法として、任意の公知方法を採用することができ、このような公知方法として例えば、複数用意した弱識別器から強識別器を作成するAdaBoostが挙げられる。本実施形態では、AdaBoostにより作成した強識別器を用いて人物の顔を検出する。S50303では、顔を検出すると共に、画像における該検出した顔の領域の左上座標値と右下座標値とを取得する。この2種の座標値を求めることにより、顔の位置および顔のサイズを特定することができる。更に、人物の顔と同様に、犬または猫等の動物と、料理とをそれぞれ検出するAdaBoostも併せて実行することで、人物、動物、および料理のオブジェクトを検出すると同時に、画像内のオブジェクトが何か分類することができる。尚、検出対象のオブジェクトは上記のものに限らず、花、建物、または置物等であってもよい。また、ここでは、AdaBoostを用いてオブジェクトを検出(分類)するケースを説明したが、ニューラルネットワーク等の学習済モデルを用いてオブジェクト検出(分類)を行ってもよい。
S50304において、画像解析部204は、画像解析部204が検出した顔に対して個人認識を行う。まず、抽出した顔画像と、顔辞書データベースに個人ID毎に保存されている代表顔画像との類似度を導出する。そして、導出した類似度が所定の閾値以上であり且つ最も類似度が高い個人IDを、抽出した顔画像に対応するIDに決定する。つまり、類似度が所定の閾値以上であり且つ最も類似度が高い個人IDに対応する人物が、抽出した顔画像の人物として特定される。画像解析部204は、複数の代表顔画像のそれぞれに対して、処理対象の画像内の顔画像との類似性を取得する。尚、個人IDそれぞれに対して導出される類似度の全てが所定の閾値未満の場合、抽出した顔画像の人物を新規の人物とみなし、新規の個人IDを割り振って、顔辞書データベースに登録する。顔辞書データベースは、例えばHDD104に格納されている。
図5(a)の説明に戻る。S504において、画像解析部204は、S501で設定された条件を満たす画像群の全画像に対して、S502からS503の処理が完了したか判定する。本ステップの判定結果が真の場合、S505に進む。一方、該判定結果が偽の場合、S502に戻る。
S505において、シーン分割部206は、画像取得部203が取得した画像群に対して、シーン分割を実行する。シーン分割とは、取得した画像群を、画像情報を用いて複数のサブ画像群に分けることを指す。具体的には、S50301で取得済みの撮影日時の情報を画像情報として用いて、画像間の撮影日時の時間差に基づいて画像群を複数に分割する。実際の分割の例は以下の通りである。
画像群のうち、最も撮影時間が古い(または新しい)画像に最初に着目し、その次に古い(または新しい)画像との時間差を算出し、該算出した時間差が所定の閾値以上が判定する。このような処理を、着目画像を撮影時間が新しい(或いは古い)ものに順次置き換えながら、全ての画像に対して行う。尚、本実施形態における「分割」とは、2つの画像間を境に撮影時間の新しい方と古い方とで画像群を分割するという意味である。本実施形態では、着目画像の撮影時間とその次に古い(または新しい)画像の撮影時間との間の差分が16時間以上の場合は、画像群を分割して、これらの画像が異なるサブ画像群に属するようにする。尚、分割の際に用いる時間差の閾値は、これに限定されるものではない。図6は、上述したシーン分割方法を用いて、画像群を分割した結果を示している。
また、本実施形態では、撮影日時の情報を用いてシーン分割を行ったが、用いる情報はこれに限らない。例えば、撮影位置の情報を用いて、撮影位置が近い画像同士が同一のシーンに属するように、画像群を分割してもよい。別の例として、個人認識結果を用いてもよい。例えば、卒業アルバムにおいて、あるグループ(クラスまたは部活等)に所属する生徒の画像を事前にアプリケーションに登録しておくことで、グループに所属する生徒が写っている画像をまとめた画像群を1つのシーン(サブ画像群)としてもよい。さらに別の例として、画像情報以外の情報を用いてもよい。ここでは類似するイベントを1つのシーンとしてまとめる方法を説明する。画像が保存されているフォルダ名、または、ソーシャルネットワーキングサービス等で付けたタグ情報を画像に付随するメタ情報として取得する。例えば、「運動会」または「修学旅行」などの検索ワードによって、検索ワードを含むメタ情報を持つ画像群を1つのシーンとする。検索ワードの指定に関しては、アルバム作成条件設定部201を介してアプリケーションに予め組み込まれている検索ワードの中から、ユーザが選択してもよいし、テキストボックスに検索ワードを入力してもよい。
S506において、シーン分類部207は、S505で得たサブ画像群の夫々に対して、シーン分類を行う。尚、以下では、各サブ画像群(各シーン)を「旅行」、「日常」、および「セレモニー」の3つカテゴリの何れかに分類する場合を例に挙げて説明するが、分類する項目はこれらに限定されるものではない。
まず、旅行、日常、およびセレモニーのうち何れに分類されるかを予め判定されたサブ画像群を複数取得し、該取得した複数のサブ画像群の夫々についての、撮影の特徴量を取得する。ここで取得する撮影の特徴量とは、例えば、撮影期間、撮影枚数、および撮影人数である。撮影期間は、サブ画像群に含まれる画像のうち最も古い画像の撮影時間と最も新しい画像の撮影時間との間の時間差である。撮影枚数は、サブ画像群に含まれる画像の数(つまり写真の枚数)である。撮影人数は、顔が写っている画像における顔の数であり、1つの画像に含まれる顔の数である。そして、複数のサブ画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、及び、1画像あたりの人数の平均値と標準偏差を求める。尚、本実施形態では、1画像あたりの顔の数を、1画像あたりの人数とする。
図7は、複数のサブ画像群に対して求めた、撮影期間(時間)の平均と標準偏差、撮影枚数の平均と標準偏差、及び、1画像あたりの人数の平均と標準偏差の一例を示す。これらの求めた値は、アルバム作成アプリケーションのプログラムに予め組み込んでおく。つまり、アプリケーションの設計段階で、予め集めた画像を用いた学習によってパラメータを生成し、該生成したパラメータをプログラムに組み込んでおく。アルバム作成アプリケーションが起動された後、ユーザがパスボックス402を介して指定した画像群に対するS505での分割の結果得られたサブ画像群毎に、撮影期間と、撮影枚数と、1画像あたりの人数とのそれぞれの平均値を算出する。そして、シーン毎に、前述したアプリに予め組み込まれたパラメータ(具体的には、各サブ画像群の撮影期間、撮影枚数、及び撮影人数の特徴量についてのそれぞれの平均値と標準偏差)を用いて、以下の式に従って得点を算出する。
シーン毎且つ特徴量毎の得点=50-|10×(シーン毎且つ特徴量毎の平均値-サブ画像群毎の特徴量)/シーン毎且つ特徴量毎の標準偏差|・・・式(1)
シーン毎の平均得点=(シーン毎の撮影期間の得点+シーン毎の撮影枚数の得点+シーン毎の撮影人数の得点)/特徴量の項目数・・・式(2)
シーン毎且つ特徴量毎の得点=50-|10×(シーン毎且つ特徴量毎の平均値-サブ画像群毎の特徴量)/シーン毎且つ特徴量毎の標準偏差|・・・式(1)
シーン毎の平均得点=(シーン毎の撮影期間の得点+シーン毎の撮影枚数の得点+シーン毎の撮影人数の得点)/特徴量の項目数・・・式(2)
式(1)により、着目サブ画像群の、各シーンおよび各特徴量についての得点が求められる。例えば、旅行シーンについて、撮影期間と、撮影枚数と、撮影人数とのそれぞれの得点が求められる。これらの得点を式(2)により平均化して、旅行シーンに対する得点とする。同様に、日常、セレモニーという他のシーンについても得点が得られる。以上説明した手法により、旅行シーンの平均得点と、日常シーンの平均得点と、セレモニーシーンの平均得点とが、サブ画像群毎に算出される。尚、式(2)における特徴量の項目数は3である。
サブ画像群毎に算出したシーン毎の得点のうち最高点のシーンをそのサブ画像群のシーンとして分類する。2以上のシーンが同点の場合は、既定の優先度に従ってシーン分類を行う。例えば、本実施形態では、日常>セレモニー>旅行の順に優先することが予め決められており、日常の優先度を最も高くする。尚、優先度の順番はこれに限定されるものではなく、また、ユーザが優先度の順番を変更できるようにしてもよい。
図6のサブ画像群(1)~(8)は、画像群に対するシーン分割により得たサブ画像群を示す。これらサブ画像群のうちサブ画像群(5)について、撮影期間が36時間、撮影枚数が300枚、撮影人数が1.7人であったとする。これに対する旅行の平均得点は45.32、日常の平均得点は18.38、セレモニーの平均得点は-29.92であったとする。その場合、サブ画像群(5)のシーンは旅行に分類される。分類したサブ画像群は、シーン識別ができるようにシーンIDを関連付けて管理する。尚、本実施形態では撮影期間、撮影枚数、及び撮影人数を、撮影の特徴量として採用するケースを説明したが、撮影の特徴量はこれらに限らない。例えば、屋内か屋外かを識別するために、機械学習を用いた画像セグメンテーションにより、空が写っているか否か、といったフラグを特徴量として採用してもよい。或いは、セレモニーをさらに細かく分類してもよい。例えば、結婚式と披露宴との何れかに分類する場合、個人認識結果を用いて全画像中で最も多く写っている上位二人を新郎新婦とする。そして、新郎新婦のみが写っている画像が多いシーンを結婚式と分類し、新郎新婦以外の人も共に写っている画像が多いシーンを披露宴と分類してもよい。さらには、特徴量を機械学習によって導出してもよい。例えば、分類したいシーンとそのシーンを表す画像群を用意し、Convolution Neural Network(CNN)を用いて入力を画像とし、出力をシーン分類結果となる学習を行うことで、シーン分類を行ってもよい。
S507において、主被写体設定部205は、アルバム毎の主被写体を設定する。本実施形態では、主被写体設定部205は、アルバム作成条件設定部201から送信された、アルバム毎の主被写体の情報を取得する。本実施形態では、全般的に、3種類のアルバムを作成する例を説明しているが、ここでは説明を簡潔にするため、2種類のアルバムに対して、アルバム1に主被写体A、アルバム2に主被写体Bを設定した例を説明する。
S508において、画像得点部208は、各画像に対する得点付けを行う。この処理を画像得点化処理と呼ぶ。本ステップで導出する「得点」とは、アルバムへの使用適性を評価するためのパラメータであり、画像データ毎に後述する観点で評価した得点が付けられ、後述の画像選択時に参照される。本実施形態では、画質の良し悪しに加えて、S507で設定した主被写体毎の得点を付ける。まず、S50302で導出した画質の特徴量に応じた得点を付ける。ここでは、ピント量が○(好適)なら1点、△(許容できる)なら0.5点、×(許容できない)なら0点とする。これにより、ピントが合っている画像の得点を高くすることができる。尚、本実施形態では、画質の特徴量としてピント量を採用したが、画質の特徴量はこれに限らない。例えば、画像サイズを用いてもよいし、撮影時に使用したレンズ情報などの撮影情報を用いてもよいし、アプリケーションに入力される画像の圧縮フォーマットを用いてもよい。
画質の特徴量に応じた得点を付けた後、画像得点部208は、設定した主被写体毎の得点を付ける。つまり本例では、1つの画像に対して3種類の得点、具体的には、画質が良いか、主被写体Aが写っているか、主被写体Bが写っているか、という3つの観点で評価した得点が付けられる。主被写体毎の得点付けには、S50303で導出した顔のサイズおよびS50304の個人認識結果を用いることができる。画像中に主被写体が写っていない場合は0点とし、写っている場合は、画像サイズに対して主被写体に設定した個人の顔が占める割合を、主被写体毎の得点とする。尚、本実施形態では、顔サイズを用いて主被写体毎の得点付けを行うが、顔サイズ以外のものを用いてもよい。例えば、主被写体である人の表情を判定し、笑顔であれば加点してもよい。また、人以外を主被写体に設定した場合には、S50303でのオブジェクト検出および分類の結果を用いることで、オブジェクトサイズに応じて同様に得点付けを行う。以上の処理の結果、例えば、1つ目の画像に対して、画質の点数、主被写体Aの点数、主被写体Bの点数が算出される。例えば主被写体Aが写っていて主被写体Bが写っていない画像には、画質が1点、主被写体Aの点数が1点、主被写体Bの点数が0点のように各観点で点数が算出される。
S509において、画像得点部208は、画像取得部203が取得した画像群の全画像に対してS508の得点付けが完了したか判定する。本ステップの判定結果が真の場合、S510に進む一方、該判定結果が偽の場合、S508に戻る。
S510において、見開き作成パラメータ生成部209は、アルバム作成条件設定部201からアルバム作成条件を受け取ると共に、主被写体設定部205からアルバム毎の主被写体の情報を受け取って、見開き作成パラメータを生成する。見開き作成パラメータとは、前述したように、見開きを構成する画像の選択およびレイアウトを行う際に使用する設定値のことである。例えば、S508で画像に付けた得点に基づいて見開きに使用する画像を選択する際、画質に応じた得点と各主被写体の得点とのうちどの得点を優先するかを制御する重み、または、画像選択の基準となる閾値などを生成する。見開き作成パラメータ生成部209は、見開き作成パラメータとして、全てのアルバムに共通する「共通パラメータ」と、アルバム毎に異なる「個別パラメータ」とを生成する。即ち、見開き作成パラメータ生成部209は、(アルバム数+1)個の見開き作成パラメータを生成する。これにより、見開きを構成する画像および配置が同一の見開きが、複数のアルバムにおいて出現する「共通見開き」と、見開きを構成する画像および配置が特定のアルバムにおいてのみ出現する「個別見開き」とを作成できる。そして、このような見開き作成パラメータ(第一パラメータ)を用いて、S509で画像に付けられた各得点(本例では、3種類の得点)から画像を代表する得点が、見開き作成部210において求められることになる。即ち、1つの画像に対して、見開き作成パラメータの数分の得点がそれぞれ求められる。そして、そのようにして求められた得点を用いて、見開きに配置される画像が選択されることになる。例えば、見開きを作成する際において、ある画像Xに対して、共通パラメータを用いて得られる得点と、個別パラメータを用いて得られる得点とが異なることになる。以下、見開き生成パラメータと、見開き生成パラメータを用いた、見開きを作成する際の画像の得点の導出例とを説明する。
本実施形態では、共通パラメータには、画像に付けられた各得点が均等に評価される重みを設定する。共通パラメータwiを用いた際の、ある画像Iを代表する得点IscoreSを以下の式(3)で表す。
ここで、Iscoreiは画像Iに付けられたi番目の得点、wiは各得点に対する重みを表す。本実施形態では、wi=1/3に設定することで、画質の得点、主被写体Aの得点、主被写体Bの得点を均等に評価する。これにより、画質がよく、且つ、より得点の高い人が多く写っている画像が優先される。ここでは、画質の得点には、前述したトリミングの有無などの優先度に応じた得点が反映されているものとする。
一方、個別パラメータには、アルバム毎の主被写体が写っている画像を優先する重みを設定する。個別パラメータwoを用いた際の、ある画像Iを代表する得点IscoreIを以下の式(4)で表す。
ここで、Iscoreqは画像Iに付けられた画質の得点、Iscoreoは画像Iに付けられた主被写体Oの得点、wqは画質の得点に対する重み、woは主被写体Oに対する重みを表す。本実施形態では、wq=wo=1に設定することで、主被写体が写っている画像のみを評価し、画質と主被写体の大きさにより優先される画像が決まる。尚、本実施形態では見開き作成パラメータとして得点に対する重みを用いたが、見開きパラメータはこれに限らない。また、IscoreSとIscoreIとは共に主被写体が写っている場合に得点が高くなるように求めたが、これに限らない。風景のような主被写体が全く写っていない画像については、別途画質の得点または画像情報などに基づいて、得点を算出してもよい。例えば、得点が高い画像との撮影時間の差が小さい画像については、画質の得点を代表得点としてもよい。これにより、主被写体が写っている画像と関連性がある可能性が高い画像にも高得点を付けることができる。また、これらの関連性などを、重みとして特定して、得点を求めてもよい。
S511において、見開き作成部210は、S510で生成されたパラメータを用いてアルバムの見開きデータを作成する。見開き作成部210は、見開きの得点が高くなるように、見開きデータを作成する。見開きの得点とは、前述したように、見開き内の各画像の得点の合計の得点である。即ち、第一パラメータに従って得られた各画像の得点に、第二パラメータを掛け合わせることで得られた得点の合計である。尚、前述したように、見開きの得点は、例えば、画像が配置されるスロットの大きさに応じた重みを画像の得点に掛け合わせた結果の合計となる。本例では、まず候補画像を決めた後に、スロットおよび配置を含むレイアウトが行われる。この結果、見開きとしての得点が高い見開きが作成される。ここで、本ステップの見開き作成処理について、図2(b)及び図5(c)を用いて説明する。図2(b)は、見開き作成部210の詳細なブロック図である。図5(c)は、S511における見開き作成の詳細なフローチャートである。
S51101において、見開き作成パラメータ設定部21001は、S510で生成したパラメータのうち1つを読み込む。本実施形態では、アルバム1の個別パラメータ、アルバム2の個別パラメータ、共通パラメータの順に読み込む。
S51102において、見開き候補画像取得部21002は、S508で付けられた得点と、S51101で設定された見開き作成パラメータとに基づき、画像取得部203が取得した全画像群の中から、見開きに使用する候補画像を取得する。本実施形態では、S508で求めた得点と、S51101で設定された見開き作成パラメータとに基づき、前述のように、式(3)または式(4)に従い、各画像に対する得点付けを再び行う(画像の再得点化)。そして、再得点化の結果得られる得点が所定の閾値以上となる画像を候補画像として取得する。つまり、本例の1回目のS51102では、アルバム1の個別パラメータを適用した場合の各画像の再得点化が行われる。そして、アルバム1の個別パラメータを適用した場合の得点が所定の閾値以上となる画像が候補画像として取得される。候補画像がない場合は、最も得点が高い画像を候補画像とする。尚、ここでは全画像群から候補画像を取得したが、これに限らない。後述する画像選択処理で既に選ばれた画像は除外してもよい。
S51103において、見開き数設定部21003は、直近のS51101で設定された見開き作成パラメータが個別パラメータか判定する。本ステップの判定結果が真の場合、S51104に進む一方、該判定結果が偽の場合、S51105に進む。
S51103でYESの場合(つまり、直近のS51101で個別パラメータが設定された場合)、S51104に進む。S51104において、見開き数設定部21003は、S505で行ったシーン分割結果と、S51102で取得した候補画像とに基づき、見開き数(即ち、S51101で設定された個別パラメータに対応する個別見開き数)を設定する。本実施形態では、以下の式(5)及び式(6)に従って、見開き数を設定する。
シーン毎の見開き数=ceil(シーン中の候補画像数÷1見開きあたりの最大画像数)・・・式(5)
個別見開き数=Σシーン毎の見開き数・・・式(6)
シーン毎の見開き数=ceil(シーン中の候補画像数÷1見開きあたりの最大画像数)・・・式(5)
個別見開き数=Σシーン毎の見開き数・・・式(6)
式(5)及び式(6)により、個別パラメータにより作成される見開き数が求まる。1見開きあたりの最大画像枚数は、見開き写真枚数設定部406を介するユーザ入力に基づいて設定される。例えば、図6のようにシーンが分割されている場合には、それぞれのシーン中の候補画像数に応じてそれぞれの見開き数が決定される。各シーンには、画像取得部203が取得した画像が必ず含まれるが、候補画像(個別パラメータに基づく再得点化の結果取得された候補画像)が、必ずしも含まれるとは限らない。候補画像が含まれないシーンは、当然ながら、この処理(個別パラメータに応じた処理)では、見開き数は0になる。一方で、個別パラメータに対応する主被写体の写っている画像が多く含まれるシーンには、相応の見開き数が割り当てられることになる。尚、個別見開き数が、S501で設定される総見開き数以上になる場合、以下の式(7)に従う。
個別見開き数=総見開き数-1・・・式(7)
個別見開き数=総見開き数-1・・・式(7)
式(7)により、個別パラメータと共通パラメータという、異なるパラメータで作成された見開きを1アルバム中に混在させることができる。これにより、シーン毎に、主被写体が高画質で写っている画像数に応じて個別見開き数を設定できる。尚、個別見開き数に対する上限値、下限値を設定してもよい。
一方、S51103でNOの場合(つまり、直近のS51101で共通パラメータが設定された場合)、S51105において、見開き数設定部21003は、以下の式(8)に従って、見開き数を設定する。
共通見開き数=総見開き数-MIN(各アルバムの合計個別見開き数)・・・式(8)
共通見開き数=総見開き数-MIN(各アルバムの合計個別見開き数)・・・式(8)
式(8)により、個別見開き数と総見開き数との両方に合わせた共通見開き数を設定できる。尚、式(8)によれば、個別見開き数が一番少ないアルバムの個別見開き数に合わせて共通見開き数が求められる。このため、他のアルバムでは、そのアルバムの個別見開き数に式(8)の共通見開き数を加えると、設定されている総見開き数を超えてしまう。この場合の処理については、後述する見開きを結合する処理において調整が行われることになる。
尚、ここでは、候補画像数に応じて見開き数を設定するケースを説明したが、見開き数の設定手法はこれに限らない。例えば、見開き作成パラメータ生成部209がパラメータ内に見開き数を設定し、見開き数設定部21003はパラメータに設定された見開き数を読み込んでもよい。また例えば、見開き作成パラメータ生成部209は、アルバム作成アプリケーションのプログラムに予め組み込んでおいた見開き数を設定してもよいし、ユーザ指定の個別見開きと共通見開きとの比率に基づいて、見開き数を算出してもよい。以上、個別見開き数と共通見開き数との説明を併せて行った。以下では、引き続き、S51101で設定されたパラメータごとの処理の説明を続ける。
S51106において、見開き割当部21004は、S51102で取得した候補画像(即ち、処理対象の見開き生成パラメータに応じた候補画像)を、S51104またはS51105で設定した見開き数分のサブ画像群に分割して割り当てる。本実施形態では、候補画像をS50301で取得した撮影時間順に並べ、隣り合う画像間の撮影時間の時間差が大きい場所で分割する。このような処理をS51104またはS51105で設定した見開き数分に分割するまで行う。つまり、(見開き数-1)回の分割を行う。これにより、撮影時間順に画像が並んだアルバムを作成することができる。つまり、図6で説明したような分割を行うが、その際の分割対象の画像群が、S51102で取得した、処理対象の見開き生成パラメータに応じた候補画像群である点で、図6で説明した例と異なる。なお、S51106の処理は、シーン単位で行っても良い。例えば、見開き割当部21004は、候補画像の中で旅行というシーンが割り当てられた画像を候補時間順に並べて分割する。続いて、見開き割当部21004は、日常というシーンが割り当てられた画像を候補時間順に並べて分割する。以上のように、見開き割当部21004は、シーンを切り替えながら分割処理を行っても良い。
S51107において、見開き画像選択部21005は、S51106で処理対象の見開きに割り当てられた候補画像群の中から、レイアウトに使用する画像を選択する。この時点では、処理対象の見開きに割り当てられた候補画像群の数は、1見開きあたりの最大画像数よりも多い場合もある。もちろん、同じ場合もあれば少ない場合もある。つまり、レイアウトに使用する画像は、決定されていない状態であるので、S51107では、レイアウトに使用する画像を選択する処理が行われる。以下、図8を用いて、ある見開きに割り当てられた候補画像群から画像を4枚選択するケースを例に挙げて説明する。
図8(a)は、見開きに割り当てられた候補画像群に含まれる最初の画像から最後の画像までの撮影日時の時間差、言い換えれば、候補画像群の撮影期間を示す。図8(b)を使って、4枚選択する際の1枚目を選択する方法を説明する。図8(b)に示す候補画像群の撮影期間に撮影された全ての画像のうち、S51102で再得点化した得点が最も高い画像を、1枚目の画像として選択する。そして、2枚目以降の選択では、候補画像群の撮影期間を細分化して画像を選択することにより、候補画像群の撮影期間の一部に選択画像が集中しないようにする。まず、図8(c)に示すように候補画像群の撮影期間を2分割して、2つの撮影区間(期間)とする。つまり、撮影期間を2等分して2つの撮影区間にする(グループ分けする)。次に、図8(d)に示すように、1枚目の画像が選ばれていない撮影区間(実線の区間)に属する画像の中から得点が最も高い画像を、2枚目の画像として選択する。次に、図8(e)に示すように、図8(d)の各撮影区間をそれぞれ2等分する。図8(f)において、図8(e)の実線で示す撮影区間、即ち、1枚目と2枚目が選ばれていない2つの撮影区間に撮影された画像(2つの撮影区間に対応する画像)のうち得点が最も高い画像を、3枚目の画像として選択する。
次に、画像を選択する範囲の撮影区間に画像が存在せず、画像選択できないケースを4枚目の画像選択を例に挙げて説明する。本実施形態では、画像の枚数に関わらず、時間に応じて撮影期間を分割している。従って、分割して得られた撮影区間に画像が存在しない場合がある。例えば、図8(g)に示すように、まだ画像が選ばれていない撮影区間(斜線で示す撮影区間)から4枚目を選択したいが、この撮影区間には画像が存在しないとする。このような場合は、図8(h)に示すように、画像を選択済みの各撮影区間をそれぞれ2分割する。次に、図8(i)に示すように、図中に実線で示す1~3枚目が選ばれていない撮影区間に撮影された画像の中から得点が最も高い画像を、4枚目の画像として選択する。尚、選択する枚数が4枚から増減した場合についても、前述と同様に画像を選択する。
図5(c)の説明に戻る。S51108において、テンプレート設定部21006は、HDD104に保存されているテンプレートの中から、レイアウトに利用する複数のテンプレートを選択的に設定する。本ステップでは、S501で設定されたアルバム作成条件を満たすデザインのテンプレートが設定される。
S51109において、見開きレイアウト部21007は、処理対象の見開きに対する画像レイアウトを決定する。具体的には、見開きレイアウト部21007は、S51108で設定された複数のテンプレートの中から、S51107で選択された画像をレイアウトするのに適したテンプレートを決定する。ここで、本ステップにおけるテンプレート決定の方法について、図9を用いて説明する。図9は、テンプレート決定に関する機能ブロック図である。
選択画像情報取得部901は、見開き画像選択部21005で選択された画像の枚数と、該画像に関する画像情報とを取得する。取得する画像情報は、画像の幅と高さ、撮影日時情報、及び画像得点部208により算出された得点である。テンプレート選択部902は、選択画像枚数と一致するスロット数を持つテンプレートを、テンプレート設定部21006で設定されたテンプレートの中から選択する。選択画像ソート部903は、選択画像を撮影時間順にソートする。テンプレート選択部904は、テンプレート選択部902で選択されたテンプレートの内、メイン画像を配置するメインスロットが撮影時間順に並べたメイン画像の順と一致するテンプレートを選択する。ここで「メイン画像」とは、見開き画像選択部21005で選択された複数の画像のうち、S51102の再得点化の結果得られる得点が最も得点が高い画像である。一方で、該複数の画像のうちメイン画像でない画像を「サブ画像」とする。このテンプレート選択の際、順番に加え、メイン画像のアスペクト比とメイン画像を配置するスロットのアスペクト比も一致していることが選択条件となる。本実施形態では、テンプレートの左上に撮影時間のより古い画像、右下に撮影時間のより新しい画像をレイアウトするものとする。テンプレート選択部905は、テンプレート選択部904で選択されたテンプレートの内、サブ画像を配置するスロットが撮影時間順に並べたサブ画像の順と一致し、画像とスロットのアスペクト比が一致しているテンプレートを選択する。図10は、テンプレート決定処理のフローチャートである。
S1001において、選択画像情報取得部901は、選択画像情報を取得する。本ステップで取得する選択画像情報には、選択画像数が含まれる。ここでは説明のため、選択画像数は3であるものとする。
S1002において、テンプレート選択部902は、選択画像数とスロット数とが一致するテンプレートを選択する。ここでは、S1001で取得した選択画像数3であったと仮定し、スロット数が3のテンプレートが選択されたものとする。以下、本ステップにて、図11に示す(1-1)~(4-4)のテンプレートが選択されたケースを例に挙げて説明する。
S1003において、選択画像ソート部903は、選択画像を撮影時間順に並べる。ここでは、選択画像を撮影時間順に並べた結果、図11の(A)に示す関係が得られたとする。また、画像1105がメイン画像であり、画像1106及び画像1107がサブ画像とする。
S1004において、テンプレート選択部904は、撮影順に並べたときのメイン画像の配置位置とメイン画像用のスロット(メインスロットとする)の配置位置とが一致するテンプレートを選択する。さらに、メイン画像とメインスロットとのアスペクト比が一致するテンプレートを選択する。ここでは、画像1105は、撮影時間が一番新しく且つメインスロット用の画像であり、アスペクト比が縦画像であるため、図11の(3-1)~(3-4)のテンプレートが候補となる。
S1005において、テンプレート選択部905は、サブ画像とサブ画像用のスロット(サブスロットとする)とのアスペクト比が一致するテンプレートを選択する。図11の例では、サブスロット用の古い方の画像1106、即ち、左上に配置したい画像が縦画像で、サブスロット用の新しい方の画像1107が横画像である。従って、(3-2)のテンプレートが、選択された3枚の画像に最も適したテンプレートとして決まる。このようにS51109では、各見開きに対してレイアウトに用いるテンプレートと、テンプレートの何れのスロットに何れの画像をレイアウトするかを識別できる情報が決定する。なお、ここで決定される情報を見開きデータと呼ぶ。
図5(c)の説明に戻る。S51110において、見開きレイアウト部21007は、処理対象の見開き全てに対して、S51107~S51109の処理が完了したか判定する。本ステップの判定結果が真の場合、S51111に進む。一方、該判定結果が偽の場合、S51107に戻る。
S51111において、見開き作成パラメータ設定部21001は、S510で生成された全パラメータに対してS51101~S51110の処理が完了したか判定する。本ステップの判定結果が真の場合、S512に進む。一方、該判定結果が偽の場合、S51101に戻る。
図5(a)の説明に戻る。S512において、見開き結合部211は、見開き作成部210により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、見開きに配置された画像の撮影時間に基づき、画像が撮影時間順になるように見開きを並べる。
以下、S512の見開き結合について、図12及び図13を用いて詳細に説明する。図12は、本実施形態における見開き結合部211の詳細な構成を示すブロック図である。図13は、見開き結合部211が実行する処理のフローチャートである。
S1301において、見開き取得部1201は、見開き作成部210により作成された見開きのうち、1つのアルバムに関する見開きデータを取得する。本実施形態では、例えば本ステップで取得するアルバム1に関する見開きデータとは、共通パラメータで作成された見開きデータと、アルバム1の個別パラメータで作成された見開きデータとを含む。
S1302において、ソート基準値算出部1202は、見開き取得部1201が取得した各見開きデータに対して、ソートの基準となる値を算出する。本実施形態では、ソートの基準値を見開きデータに配置された画像の平均撮影時間とする。尚、ソートの基準値は撮影時間に限らない。例えば、見開きに配置された画像の平均撮影位置(緯度経度)としてもよいし、画像枚数でもよいし、色ヒストグラムのように画像解析情報を用いてもよい。
S1303において、ソート部1203は、見開き取得部1201が取得した見開きデータを、ソート基準値算出部1202が算出したソート基準値に基づいてソートする。本実施形態では、平均撮影時間が早い見開きから昇順に並べる。
S1304において、見開き数調整部1204は、処理対象のアルバムの見開きデータの数がS501で設定した総見開き数と同じか判定する。本ステップの判定結果が真の場合、S1306に進む。一方、本ステップの判定結果が偽の場合、つまり、S51104で処理対象のアルバムの見開き数が総見開き数以上に設定された結果、アルバムの見開き数が総見開き数を超過した場合、S1305に進む。
S1305において、見開き数調整部1204は、見開き取得部1201が取得した見開きデータのうち、不要な見開きデータを削除することで、アルバムの見開き数がS501で設定された総見開き数に近づくように調整する。本実施形態では、共通見開きデータを削除することで見開き数を調整する。具体的には、アルバム内にある共通見開きデータのうち、ソート基準値算出部1202が算出した見開きデータの撮影時間が、個別見開きデータの撮影時間に最も近い共通見開きデータを削除する。削除した後、S1304に移行する。尚、本実施形態では共通見開きデータを削除したがこれに限らない。個別見開きデータを削除することで見開き数の合計を調整してもよい。
S1306において、見開き取得部1201は、全てのアルバムに対してS1301~S1305の処理が完了したか判定する。本ステップの判定結果が真の場合、S513に進む一方、該判定結果が偽の場合、S1301に戻る。これにより、アルバム全体を通して画像を撮影時間順に並べることができる。以上が、本実施形態における自動レイアウト処理についての内容である。本実施形態では、共通見開きと個別見開きの数および位置をアルバム毎に自動で設定できる。複数のアルバムで同一な共通見開きとアルバムごとに異なる個別見開きを持つ主被写体の異なる複数アルバムを自動レイアウトすることができる。
<<アルバムデータの編集処理>>
<編集処理の概要>
これまでは、見開きの属性として、共通見開きと個別見開きとを有するアルバムデータを自動で生成する処理を説明した。以下では、生成されたアルバムデータを、ユーザが編集することが可能なアルバム編集アプリケーションの機能及び処理を説明する。本実施形態では、編集ユーザは、アルバム作成アプリケーションを操作するユーザと同一のユーザであることを想定して説明するが、同一ユーザでなくてもよい。以下では、まず、アルバムデータの編集処理の全般的な概要を説明し、その後に、本実施形態の詳細な処理を説明する。
<編集処理の概要>
これまでは、見開きの属性として、共通見開きと個別見開きとを有するアルバムデータを自動で生成する処理を説明した。以下では、生成されたアルバムデータを、ユーザが編集することが可能なアルバム編集アプリケーションの機能及び処理を説明する。本実施形態では、編集ユーザは、アルバム作成アプリケーションを操作するユーザと同一のユーザであることを想定して説明するが、同一ユーザでなくてもよい。以下では、まず、アルバムデータの編集処理の全般的な概要を説明し、その後に、本実施形態の詳細な処理を説明する。
図14は、本実施形態におけるアルバム編集アプリケーション1400のソフトウェアブロック図である。本実施形態では、アルバム編集アプリケーション1400は、HDD104に保存されたアルバム作成アプリケーションの機能の一部であるものとして説明するが、アルバム作成アプリケーションとは別のアプリケーションとして設けられてもよい。また、アルバム編集アプリケーションが起動される画像処理装置は、アルバムデータを生成した画像処理装置100と同一の装置でもよいし、別の画像処理装置でもよい。
図14に示すように、アルバム編集アプリケーション1400は、編集モード指示部1401と、アルバム情報受取部1402と、アルバム編集部1403と、アルバム表示部1404と、アルバム情報保持部215とを含む。尚、アルバム情報保持部215は、アルバム編集アプリケーション1400に含まれていなくてもよい。
編集モード指示部1401は、例えばマウス107によるUI操作で編集モードパネル1508(図15A参照)をユーザがクリックしたことを検出した際に、アルバム編集アプリケーション1400を編集モードに移行させる。編集モードとは、見開き追加、トリミング、画像入れ替え、テンプレート変更、サイズ変更、配置変更、テキスト・スタンプの挿入、または、見開き削除といったアルバムの内容を変更する操作を行うことができるモードである。ここでは、編集モードパネルのクリックの検出時に編集モードに移行する例を説明したが、アルバムデータの生成後は、常に編集モードに移行してもよい。あるいは、任意のアルバムを選択したときに編集モードに移行するとしてもよい。
アルバム情報受取部1402は、編集モード指示部1401により編集モードに移行した際に、アルバム情報保持部215からアルバム情報を受け取る。アルバム情報は、前述したように、アルバム構成情報、アルバム生成情報、及びアルバム変更情報を含む情報である。アルバム情報受取部1402は、アルバム単位でアルバム情報を受け取る。
アルバム編集部1403は、アルバム情報受取部1402がアルバム情報保持部215から受け取ったアルバム情報を用いて、ユーザによるマウス107またはキーボードを用いたUI操作に応じてアルバムを編集する。前述したように、アルバム情報には、アルバム構成情報およびアルバム生成情報が含まれており、アルバム情報を用いることで、アルバム作成アプリケーションで作成されたアルバムデータと同様のアルバムデータを得ることができる。アルバム編集部1403でアルバムが更新されると、アルバム編集部1403は、アルバム情報保持部215にアルバム情報を出力してアルバム情報を更新する。また、アルバム編集部1403は、アルバム編集の際に、ユーザに表示する推奨(レコメンドともいう)を作成することができる。レコメンドの例としては、ユーザが編集している見開きにおける入れ替えの推奨画像、または、テンプレートもしくは配置を含む推奨見開きなどが挙げられる。アルバム編集部1403は、編集モード指示部1401により編集モードに移行した際に、各種のレコメンドを作成し、作成したレコメンドをアルバム表示部1404に出力することができる。
アルバム表示部1404は、アルバム編集部1403が出力したビットマップデータをディスプレイ105に表示する。また、アルバム表示部1404は、アルバム編集部1403によって編集中の編集画面をディスプレイ105に表示する。また、アルバム表示部1404は、アルバム編集部1403が作成したレコメンドを表示する。
なお、アルバム編集アプリケーション1400の編集の結果、得られたアルバムデータは、ユーザ指示に基づき、インターネットを介してサーバにアップロードされてもよい。アップロードされたアルバムデータに基づき、印刷及び製本処理が実行され、冊子としてのアルバム(フォトブック)が作られ、指定されたユーザの元へ届けられる。
図15Aおよび図15Bは、本実施形態におけるアルバムの編集画面のUI表示例を示す図である。図15Aは、アルバム生成後のディスプレイ105に表示される画面例である。本実施形態のアルバムデータは、前述したように、アルバム対象者(主被写体)が、Aさんのアルバム1、Bさんのアルバム2、およびCさんのアルバム3の、3つのアルバムのデータであるものとする。画像1501は、見開きに配置された画像の例であり、画像1501中の文字は画像中に写っている主被写体を表している。共通見開き1502は、複数の主被写体が写っている画像を中心にレイアウトされている例である。一方、個別見開き1503、1504、1505はそれぞれ、主被写体A、主被写体B、主被写体Cが写っている画像を中心にレイアウトされている。前述したように、本実施形態では、異なる基準で作成された見開きで構成されている複数のアルバムが作成されている。編集モードパネル1508は、マウス107でクリックしたときに編集モードに移行するパネルである。文字1506および1507は、ディスプレイ105上に共通見開きと個別見開きであることをそれぞれ示す文字である。尚、ここでは、文字で示しているが、見開きの背景色を共通見開きと個別見開きとで変えるとしてもよい。
図15B(1)は、編集モードパネル1508をマウス107でクリックした後に、アルバム編集アプリケーション1400によって、ディスプレイ105に表示される画面である。即ち、図15B(1)は、編集画面の例を示している。図15B(1)では、アルバム単位での編集画面を示している。即ち、各アルバムの各見開きがそれぞれ表示されている。尚、アルバムまたは見開きが画面内に入らない場合には、スクロール表示などにより全体を確認できるように構成してもよいし、表示する見開きサイズを変更して全見開きを画面に表示してもよい。本実施形態では、編集対象の見開きが、共通見開きか個別見開きかによって異なる処理が行われる。詳細は後述する。尚、「編集対象の見開き」とは、図15B(1)の編集画面の例では、各アルバムの各見開きが「編集対象の見開き」になる。即ち、図15B(1)の例では、計12個の見開きが「編集対象の見開き」になる。
画像挿入パネル1509は、マウス107でクリックしたときに画像挿入を行う状態となる。例として、挿入する画像を決めるためにアルバム作成時の画像取得部の全画像を表示し、その画像を選択できるようにしてもよい。全画像ではなく、アルバムに使用されていない画像としてもよい。テキスト挿入パネル1510は、マウス107でクリックしたときにテキスト挿入を行う状態となる。例えば、テキスト挿入パネル1510へのマウス107のクリックに応じて、マウスカーソルをテキスト挿入カーソルに変更し、アルバム内をマウス107でクリックした場合にテキストを入力できるようにしてもよい。その際にテキストサイズ、フォント、またはテキストの色を設定できるようにしてもよい。スタンプ挿入パネル1511は、マウス107でクリックしたときにスタンプ挿入を行う状態となる。例えば、スタンプ挿入パネルへのマウス107のクリックに応じて、スタンプを表示し、その中からユーザが任意のスタンプを選択し、アルバム内にスタンプを追加できるようにしてもよい。見開き追加パネル1512は、マウス107でクリックしたときに見開き追加UIを表示するパネルである。プラスマーク1513は、マウス107でクリックすることで見開き追加挿入位置をプラスマークの位置に固定して見開き追加を行うアイコンである。
図15B(2)は、任意のアルバムの任意の見開きに焦点を当てた場合の編集モードである。図15B(2)では、図15B(1)のアルバム1の見開き1に焦点を当てている例を示している。図15B(2)は、見開き単位での編集を行う編集画面である。図15B(2)の編集画面においては、「編集対象の見開き」は、焦点が当てられている見開きになる。即ち、図15B(2)の例では、「編集対象の見開き」は、アルバム1の見開き1となる。図15B(2)に示すような見開き単位の編集モードにするには、例えば図15B(2)のいずれかの見開きをマウス107でクリックしたときに、その見開きに焦点を当てた見開き単位の編集モードに移行するようにしてもよい。尚、図15B(2)において小さく表示されているアルバム2の見開き1をクリックすると、そのクリックされたアルバム2の見開き1に焦点を当てた編集画面が表示される。
尚、ここまでの例では、各種のパネルをマウス107で左クリックすることを想定して説明しているが、例えばマウス107の右クリックでメニューを表示し、そのメニューをマウス107で左クリックすることで所望の編集状態としてもよい。
また、編集モード指示部1401は、編集結果を反映するタイミングを設定する。編集結果の反映とは、編集による変更情報に基づいて、あるアルバムに行った編集を他のアルバムにも行う処理である。編集結果反映のタイミングとしては、ユーザによる何らかの編集操作が行われたときでもよいし、ユーザがアルバムを保存したときでもよいし、編集対象見開きを変更したタイミングでもよいし、編集対象のアルバムを変更したタイミングでもよい。また、ユーザ設定によってタイミングを指定してもよいし、タイミングをソフトウェア側で予め決定しておき、そのタイミングを用いてもよい。このような各種のタイミング条件を満たした場合、アルバム編集部1403は、編集結果の反映処理を行う。本実施形態では編集結果反映のタイミングとして、ユーザによって何らかの編集操作が行われたときとする。以上がアルバム編集処理の全般的な説明である。
図16は、見開き追加の例を示す図である。図16は、図15Aに示すアルバム構成において、アルバム1の見開き追加を行い、この見開き追加という編集操作に応じた編集反映見開きがアルバム2に追加された結果が、ディスプレイ105に表示されている例を示している。但し、この例では、編集反映見開きがアルバム3には追加されていない。
図16は、共通見開きの追加を行った例を示している。具体的には、アルバム1において共通見開きを追加している。追加された共通見開きは、見開き2の見開き位置に追加されており、以降の見開き番号が繰り下がっている。
また、アルバム2にも、同じ共通見開きが、アルバムの見開き2として、アルバム1と同様に追加されている。これにより、アルバム1の見開き数と、アルバム2の見開き数とは、同一となり、不公平感が解消されることになる。本例では、追加見開き1601が共通見開きであるため、アルバム2にも、同じレイアウトの見開きが、編集反映見開き1602として追加されている。尚、追加見開き1601と編集反映見開き1602とは、全く差分のない一致する見開きか、または、類似する見開きとなる。
また、アルバム3には、アルバム1に対する編集内容の反映が行われていないため、アルバム1、アルバム2と比較して見開きが1枚少なくなっている。
図17は、アルバム編集部1403の詳細を示すブロック図である。アルバム編集部1403には、各種の機能が含まれ得るが、本実施形態では、見開きを追加する機能に関連するブロックを中心に説明する。アルバム編集部1403は、見開き追加条件設定部1701、見開き追加位置決定部1702、見開き基準決定部1703、画像取得部1704、使用済み画像判定部1705、画像解析部1706、シーン分割部1707、およびシーン分類部1708を有する。また、主被写体設定部1709、画像得点部1710、見開き作成パラメータ生成部1711、見開き作成部1712、見開き追加部1713、およびアルバム情報出力部1714を有する。
見開き追加条件設定部1701は、見開き追加処理を開始する際の条件を設定する。この見開き追加処理とは、アルバム編集アプリケーション1400によって自動で追加される見開き追加処理のことである。尚、本実施形態では、この見開き追加処理の中で、追加見開きの編集結果を他のアルバムにも反映する処理、即ち、他のアルバムにも見開きを追加する処理が含まれる。見開き追加条件の設定は、ユーザによるマウス107またはキーボードを用いたUI操作で見開き追加条件が指定され、その実行を指示された場合に設定される。見開き追加条件には、アルバムに使用する画像群、追加する見開き数、および見開き追加対象アルバムが含まれる。
尚、追加する見開き数は、ユーザが指定してもよいし、常に一定見開き数だけ追加するとしてもよい。また、アルバムに使用する画像群のうち、実際に使用していない画像数から追加見開き数を決定してもよい。またアルバムに使用していない画像の画像得点を用いてもよい。具体的には画像得点閾値を設け、画像得点が画像得点閾値以上の画像枚数を算出し、アルバムへの追加見開き数を決定してもよい。画像得点閾値以上の画像枚数を固定値で除算した結果の商を追加見開き枚数としてもよい。
また、他の例として、見開き得点の閾値を決定して用いてもよい。見開き得点とは、見開きに含まれている画像に所定の重みを掛けた得点を合計したものである。ここでいう重みとは、例えば見開き内の時間情報、画像が含まれている見開き内のスロットのサイズ、および配置情報を用いたものとなる。また、各画像が配置されているスロットのサイズによる重みを掛けたものを用いてよい。大きいスロットに配置されている画像ほど、その見開き内で重要な画像であるので、そのような画像の要素を強めるためである。このように、見開き内の画像に所定の重みを掛けた合計が、見開きの得点となる。例えば、画像得点が閾値以上の画像を用いて見開きを作成し、見開き得点が見開き得点閾値以上となる見開きを作成できる枚数だけ、見開きを追加するとしてもよい。他の例では、アルバム価格が増加しない最大の見開き数だけ追加するとしてもよい。
見開き追加対象アルバムはユーザが指定してもよいし、現在編集しているアルバムに対して見開き追加を行うとしてもよい。尚、見開き追加条件で設定される追加対象アルバムは、いわば一次追加対象アルバムである。この一次追加対象アルバムに見開きが追加されると、他のアルバム(二次追加対象アルバムともいえる)にも、一次追加対象アルバムに追加された見開き数と同数の見開きが追加されることになる。
図18は、見開き追加を行うためにアルバム作成アプリケーションが提供する表示画面1801であり、ディスプレイ105に表示される。ユーザは、表示画面1801を介して、追加見開きの作成条件を指定することができる。表示画面1801は、例えば図15B(1)の見開き追加パネル1512をクリックしたときに表示される見開き追加UIである。
パスボックス1802は、追加見開き作成の対象となる画像群のHDD104中の保存場所(パス)を示すためのボックスである。その保存場所は、アルバム作成時の保存場所と同じでもよいし、異なっていてもよい。
フォルダ選択ボタン1803は、追加見開き作成の対象とする画像群を含むフォルダを選択するためのボタンである。ユーザがフォルダ選択ボタン1803をマウス107でクリックすると、複数フォルダから構成されるツリーが表示される。そして、アルバム作成の対象とする画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスがパスボックス1802に表示される。
追加見開き数ボックス1804は、アルバムに追加する見開き数を指定するためのボックスである。ユーザは、キーボード106を使って見開き数ボックス1804に直接数字を入力したり、マウス107を使ってリストから見開き数ボックス1804に数字を入力したりすることができる。本実施形態では、1つのアルバムに対し1つの見開きを追加する例を挙げて説明する。尚、本見開き追加UIでは、追加する見開き数をユーザが指定する例を説明したが、前述したように、追加見開き数は自動で決定されてもよい。また、見開き数ボックス1804に数字を入力しない場合、追加見開き数が自動で決定されてもよい。
追加見開き位置ボックス1805は、アルバムに見開きを追加する際の該追加する見開きの位置としての見開き番号を指定するためのボックスである。ユーザは、キーボード106を使って追加見開き位置ボックス1805に直接数字を入力したり、マウス107を使ってリストから追加見開き位置ボックス1805に数字を入力したりすることができる。尚、図15B(1)でプラスマーク1513をクリックした状態で見開き追加パネル1512がクリックされた場合、そのプラスマーク1513の位置を、見開き追加位置としてもよい。
追加見開き属性チェックボックス1806は、追加見開きを作成する際の属性を指定するボックスである。ユーザは、キーボード106またはマウス107を使ってチェックボックスを指定することができる。選択された属性の見開きを自動生成する。また、チェックされていない場合には、属性を自動で決めるとしてもよいし、自動決定チェックボックスを追加してもよい。
見開き画像枚数設定部1807は、作成する追加見開きに配置する画像枚数を設定するためのスライダーバーである。スライダーが「多」側に移動されると、各見開きに配置する画像の枚数が増える。一方、スライダーが「少」側に移動されると、各見開きに配置する画像の枚数が減る。
アルバム選択ボタン1808は、追加見開きを挿入する対象のアルバムを選択するボタンである。ユーザがアルバム選択ボタン1808をマウス107でクリックすると、現在作成されているアルバムの一覧が表示される。そしてユーザが、そのリストの中から1または複数のアルバムを指定すると、該指定されたアルバムが追加見開きを挿入する対象のアルバムとして選択される。尚、前述したように現在編集しているアルバムを、追加見開きを挿入する対象のアルバムとして自動的に決定してもよいし、現在編集しているアルバムがデフォルトで選択されているように追加UIを構成してもよい。尚、本実施形態では、アルバム選択ボタン1808で選択されたアルバム以外のアルバムにも、見開きの追加が行われることになる。但し、全てのアルバムにおいて、見開きの追加が行われるわけではない。
OKボタン1809は、選択された条件を追加見開き作成条件として決定するボタンである。ユーザがOKボタン1809をマウス107でクリックすると、追加見開き作成条件が確定し、追加見開き条件設定部1701を介して、アルバム編集部1403の各部に追加見開き条件が伝えられる。リセットボタン1810は、表示画面上の各設定情報をリセットするためのボタンである。
図17の説明に戻る。見開き追加位置決定部1702は、追加見開きがアルバム内のどの位置に挿入されるかを決定する。見開き追加位置決定部1702は、見開き追加条件設定部1701で追加見開き位置が指定されている場合、その位置を見開き追加位置とすることができる。あるいは、見開き追加位置決定部1702は、自動で見開き追加位置を決定してもよい。見開き追加位置の自動決定例としては、ユーザが現在編集している見開きの次の見開きに追加する例が挙げられる。他の例として、常に見開きの最後尾に追加してもよい。アルバム内において共通見開き群と個別見開き群との位置が二分される場合には、見開き追加条件で指定された見開き基準に従って、共通見開き群または個別見開き群の最終見開きとして挿入してもよい。また、追加見開きのレイアウトを作成したのちに、レイアウトの時間軸に合致した位置に決定してもよいし、最もアルバム全体の得点が高くなる位置に決定してもよい。アルバム全体の得点とは、例えば見開き結合部211での結合ルール(例えば時間軸など)に則した見開きの並び方などによって求まるものとしてよい。
また、見開きを作成後に、見開き追加位置を自動で決定する例としては、作成した見開きの時間軸情報と、見開き基準の情報とを利用してアルバム内の基準と時間軸が合致した位置に、見開き追加位置を決定してもよい。共通見開き群と個別見開き群との位置が二分されているアルバムの場合には、見開き基準を優先していずれの群であるかを判定したのちに、時間軸の合致した位置に追加見開き位置を決定すればよい。共通見開き群と個別見開き群との位置が二分されていないアルバムの場合には、時間軸の合致した位置に追加見開き位置を決定すればよい。尚、おすすめの見開き追加位置を決定してユーザに表示してもよい。
見開き基準決定部1703は、追加される見開きの見開き作成基準を決定する。具体的には、共通見開き、個別見開き、またはその他の見開きのうちのいずれの基準を用いるかを決定する。その他の見開きとは、共通でも個別でもない、アルバム自動作成時に用いられていない見開き作成基準のことである。例えば、主被写体を決定せずに画像の得点のみを用いる基準でもよいし、共通見開き基準と個別見開き基準とに重みを付けて足し合わせた基準としてもよい。
見開き基準決定部1703は、見開き追加条件設定部1701において追加見開き基準が設定されている場合、その設定に従って見開き基準を決定する。追加見開き基準が設定されていない場合、または、その他の場合などにおいては、見開き基準決定部1703は、自動で見開き基準を決定してもよい。見開き基準の自動決定例としては、追加する見開きの位置に応じた決定をしてよい。例えば、追加する見開きの両隣の見開きに用いられている見開き基準を用いてもよい。両隣の見開きで用いている見開き基準が異なる場合には、アルバムに使用していない画像の中で、共通見開きに適した画像数と個別見開きに適した画像数とを比較し、画像数が多い基準を用いてもよい。尚、共通見開きに適した画像または個別見開きに適した画像とは、各見開き基準で比較して得点の高い基準の画像のことである。得点を比較する際には、閾値を設けて、共通見開きでの得点と個別見開きでの得点との差分が閾値以上のときに得点が高い基準に適した画像としてもよい。編集時に新しく追加されて画像得点を算出していない場合には、ここで画像得点を計算してもよい。
見開き基準の自動決定の他の例として、アルバム内での共通見開き数と個別見開き数とのバランスから、追加する見開きの見開き基準を決定してもよい。アルバム内での共通見開き数と個別見開き数とのバランスを用いた基準決定例としては、共通見開きの数と個別見開きの数との比率が5:5に近づくような基準に決定することが挙げられる。また、ユーザが見開きに用いたい画像を選択して見開き追加を指示した場合、その選択画像に適した見開き基準を決定してもよい。また、複数の作成基準でそれぞれの見開きを自動作成し、見開き得点が最も高い基準を、見開き基準として採用してもよい。ここまでの例の一つを用いてもよいし、複数例を組み合わせて決定してもよい。複数の作成基準で自動生成した見開きをディスプレイ105に表示し、ユーザから選択された見開きの基準を、見開き基準として決定してもよい。
画像取得部1704は、見開き追加条件設定部1701により設定された画像群を取得する。画像取得部1704は、アルバム作成アプリケーションの画像取得部203と同様の処理部である。尚、ユーザから画像群の指定がない場合、または、ユーザの指定がアルバム作成時と同じでありアルバム作成時に画像取得部203で取得したデータを保持している場合には、画像取得を行わず取得済み画像をそのまま用いてもよい。見開き追加条件設定部1701で設定された画像群の保存場所が、アルバム作成の画像取得部203での取得したフォルダと異なる場合、または、HDD104が更新されて画像数が変化した場合には、設定された画像群をHDD104から取得する。
使用済み画像判定部1705は、アルバム情報受取部1402で受取ったアルバム情報に含まれる画像使用情報から、画像取得部1704で取得した画像がアルバム内で使用されている画像であるかを判定する。尚、使用済み画像か否かの判定は、見開き基準決定部1703での決定に応じて異ならせてよい。例えば、見開き基準決定部1703で見開き基準が個別基準に決定された場合には、使用済み画像判定部1705は、編集対象アルバムでの画像使用情報を用いて使用済み画像かを判定してよい。一方、見開き基準決定部1703で見開き基準が共通基準に決定された場合には、全アルバムでの画像使用情報を用いて使用済み画像かを判定してよい。使用済み画像と判定された画像をアルバム内に配置した場合は、いずれかのアルバム内で画像の重複が発生してしまう。このため、使用済み画像は、追加見開き作成には使用されない。尚、追加見開き作成に用いないための方式例として、取得した画像データを破棄してもよい。また、使用済み画像フラグまたは使用済みラベルを用いて使用済み画像として、後述する処理を行わないとしてもよいし、あるいは、見開き作成の画像として選択しないとしてもよい。本実施形態では、使用済み画像として使用済み画像フラグを付与し、追加見開き作成の対象の画像として選択しないように処理を行う。
画像解析部1706は、画像取得部1704が取得した画像データの解析処理をする。画像解析部1706は、画像解析部204と同様の処理部である。画像取得部1704で取得した画像でアルバム作成時と同じ画像には、アルバム作成時の解析結果を用いてもよい。
シーン分割部1707は、画像取得部1704で取得した画像群を画像解析部1706の解析情報を基にシーンに分ける。シーン分割部1707は、シーン分割部206と同様の処理部である。画像取得部203で取得した画像でアルバム作成時と同じ画像がある場合には、アルバム作成時の分割結果を用いてもよい。
シーン分類部1708は、シーン分割部1707により得られたシーン中の画像群のカテゴリを判定する。シーン分類部1708は、シーン分類部207と同様の処理部である。アルバム作成時と同じ画像を用いる場合には、アルバム作成時の分類結果を用いてもよい。
主被写体設定部1709は、アルバム毎に強調する主被写体を設定する。主被写体設定部1709は、主被写体設定部205と同様の処理部である。主被写体設定部1709は、見開き基準決定部1703で決定された見開き基準に対応する主被写体を設定する。尚、主被写体が存在しないことを設定してもよい。
画像得点部1710は、画像解析部1706で得られた解析情報により、各画像に対して主被写体設定部1709が設定した主被写体毎に得点付けをする。画像得点部1710は、画像得点部208と同様の処理部である。アルバム作成時と同じ画像且つ同じ被写体の場合には、改めて得点付けをすることなくアルバム作成時の得点を用いてもよい。
見開き作成パラメータ生成部1711は、主被写体設定部1709で設定された主被写体と画像解析部1706で得られた解析情報とにより、見開きを作成するためのパラメータを生成する。見開き作成パラメータ生成部1711は、見開き作成パラメータ生成部209と同様の処理部である。見開き作成パラメータ生成部1711は、見開き基準決定部1703で決定された見開き基準に対応する見開きを作成するためのパラメータを設定する。この見開き作成パラメータの例としては、画像得点部1710で得られた得点に与える重みが挙げられる。重みの算出に用いる情報の例としては、見開き作成パラメータ生成部209で説明した各種の情報が挙げられる。また、見開き作成パラメータとして、使用画像情報、画像が含まれている見開き内の時間情報、画像が含まれている見開き内のスロットのサイズ、および配置情報を用いて、重みを決定してよい。例えば、見開き作成パラメータ生成部209で説明したように、スロットに画像を配置する際に、トリミングをして配置した画像か、そうでない画像かを、その画像が使用されている見開きが共通見開きか個別見開きかに応じて重みを変えてもよい。また、ユーザが追加的に挿入したユーザ使用画像の得点に重みをかけて、ユーザ使用画像の得点を大きくする調整をしてもよい。また、既にアルバムで使用されている使用画像は、重複採用を避けるために重みを小さくして、選択されないようにしてよい。
また、見開き作成パラメータは、見開きの得点を導くパラメータ(第二パラメータ)を含むものである。図15B(2)の例では、アルバム1の見開き1内の各画像の得点に、各画像が配置されているスロットのサイズによる重みを掛けた結果の得点を、合計したものとなる。大きいスロットに配置されている画像ほど、その見開き内で重要な画像であるので、そのような画像の要素を強めるためである。尚、ここでは、スロットサイズによる重み付けをした各画像の得点を合計する例を説明したが、重み付けをしなくてもよいし、各画像の平均を見開きの得点としてもよい。
見開き作成部1712は、画像得点部1710の結果と、使用済み画像判定部1705の使用画像情報と、見開き作成パラメータ生成部1711で生成した見開き作成パラメータと、を用いて、見開きを作成する。見開き作成部1712は、最終的な画像得点が高い画像を見開きで使用する画像として選択し、配置を行って見開きを作成する。見開き作成部1712は、見開き作成部210と同様の処理部である。見開き作成部1712は、見開き追加条件設定部1701で設定された見開き数の見開きを作成する。また、本実施形態では、見開き作成部1712は、見開き追加条件で設定された見開き追加対象アルバムでの追加の見開きを作成したことに応じて、他のアルバムにも追加の見開きを作成する処理を行う。
見開き追加部1713は、見開き作成部1712により作成された追加見開きを、見開き追加位置決定部1702の結果に従いアルバムに追加し、アルバムの見開きの見開き番号を決定しアルバム全体のレイアウトを作成する。
アルバム情報出力部1714は、アルバムが更新された際に編集結果に基づいてアルバム情報保持部215にアルバム情報を出力する。
尚、本実施形態では、主に、自動で見開きを追加する例でアルバム編集処理を説明したが、ユーザ操作に応じてアルバム編集処理が行われてもよい。例えば、前述したように、トリミング、画像入れ替え、テンプレート変更、サイズ変更、配置変更、テキスト・スタンプの挿入、または見開き削除の場合でも、アルバム編集部1403が、ユーザの入力に基づいてアルバム編集を行うことが可能である。
図19は、本実施形態におけるアルバム編集アプリケーション1400が有するモジュールとしての、編集結果の反映に関するモジュール群を示すソフトウェアブロック図である。
編集結果反映タイミング判定部1901は、編集モード指示部1401で指定された編集結果反映タイミングの条件を満たすか否か、つまり、あるアルバムに対してなされた編集の結果を、他のアルバムに対して反映するタイミングか否かを判定する。
アルバム情報受取部1902は、アルバム情報受取部1402と同様の処理部であり、アルバム情報保持部215から、アルバム単位のアルバム情報を受け取る。このアルバム情報とは、具体的には、アルバム構成情報、アルバム生成情報、及びアルバム変更情報である。アルバム変更情報には、編集による変更情報が含まれる。編集による変更情報は、アルバムの編集により変更した差分情報でもよいし、アルバム編集を行ったユーザの操作履歴でもよい。
編集見開き判定部1903は、アルバム情報受取部1902で受け取ったアルバム情報に含まれるアルバム変更情報を用いて、編集が行われた見開きが共通見開きか否かを判定する。尚、本例では、見開きの自動生成時に用いられた基準が共通基準か否かに基づいて、編集が行われた見開きが共通見開きか否かを判定するものとする。但し、共通見開きか否かの判定方法は、これに限らない。例えば、アルバム間で同じ見開きが使われている場合に、当該同じ見開きを共通見開きとしてもよいし、フラグを用いて共通見開き管理を行ってもよいし、ある固定の見開き番号の見開きを共通見開きとしてもよい。
編集結果反映条件設定部1904は、編集見開き判定部1903で共通見開きと判定された見開きの編集結果を他のアルバムに対して反映する条件を設定する。具体的には、背景色やテンプレートといったレイアウト情報を条件としてもよいし、テキスト挿入やスタンプといった編集内容を条件としてもよいし、見開き番号やアルバムの一定領域といった位置を条件としてもよい。他の例として、反映条件設定の設定を行わずに常に編集結果の反映を行うとしてもよい。本実施形態では、テキスト挿入とスタンプ挿入以外の編集に対しては編集結果の反映を行う。
編集結果反映アルバム設定部1905は、編集結果の反映をどのアルバムに対して行うかを設定する。本実施形態では、少なくとも一つのアルバムに対しては編集結果を反映しないように設定を行う。所定のアルバムに対する編集結果を反映するアルバムの決定方法の例としては、予めアルバム単位でユーザがグループ分けしてグループ単位で反映するとしてもよいし、編集結果の内容を反映した場合に見開きの得点が高くなるアルバムに反映するとしてもよい。または、画像編集に対しては、画像得点に基づいて反映対象のアルバムを設定してもよい。画像得点に基づき反映対象のアルバムを設定する例として、個別見開きの主被写体を用いた画像得点で編集内容を評価し、得点が高くなっているアルバムには編集内容を反映する。このようにすることで、本実施形態では、得点が高くなっているアルバムには編集内容を反映し、編集結果の内容を反映した場合に見開きの得点が低くなるアルバムには反映を行わない。また、編集結果の内容を反映した結果、全アルバムの見開きで得点が高くなる場合には、最も得点の上り幅が小さいアルバムには反映を行わないとする。これにより、アルバムに紐づけされた対象ユーザごとに、適切な編集内容の反映を行うことができる。
編集結果反映アルバム判定部1906は、編集結果反映アルバム設定部1905で設定された編集結果を反映するアルバムか否かの設定に基づいて、アルバムごとに編集結果の反映を行うかを判定する。編集結果反映アルバム判定部により編集結果を反映しないと判定されたアルバムには、以下の処理部での処理は行われない。
編集結果反映領域判定部1907は、編集結果反映条件設定部1904で設定した条件を対象領域が満たしているかを判定する。本実施形態では、編集結果反映領域判定部1907の判定結果を用いることで、編集結果反映条件を満たしている領域と、満たさない領域とを管理する。判定結果の管理方法の例としては、見開き領域ごとに編集結果が反映される領域か否かを示すフラグを用いて結果反映の管理をしてもよいし、編集結果反映条件を満たす編集のユーザ操作履歴のみを編集結果反映部1908に渡してもよい。
編集結果反映部1908は、編集結果反映領域判定部1907の判定結果と、アルバム情報受取部1902で受け取った編集による変更情報とを用いて、編集見開き判定部1903にて共通見開きと判定された見開きに行った編集を、他のアルバムに反映する。尚、本例での編集の反映処理は、あるアルバムに対して行われた編集内容をそのまま他のアルバムにも適用すること、具体的には、あるアルバムに追加された見開きと同じ見開きを他のアルバムにおいても追加することである。同じ見開きの作成方法として、アルバム生成情報を用いて自動生成時のアルバムを作成した後に、アルバム変更情報に記述されている操作と同じ操作を行う方法が考えられる。この方法によれば、レイアウト及び配置が完全に一致する同じ見開きを作成できる。或いは、アルバム情報受取部で受け取ったアルバム構成情報を用いて、レイアウト及び配置が完全に一致する同じ見開きを作成してもよい。編集結果反映部1908の処理により、編集されたアルバムと、該編集されたアルバムを除いたアルバムのうちの一部との間で、共通見開きのレイアウトを同じにすることができる。
アルバム情報出力部1909は、アルバムが更新された際に編集結果に基づいてアルバム情報保持部215にアルバム情報を出力する。このアルバム情報とは、具体的には、アルバム構成情報、アルバム生成情報、及びアルバム変更情報である。
本実施形態では前述の構成により、所定のアルバムにおいてなされた編集、具体的には、共通見開きの変更を、当該所定のアルバムの他のアルバムに反映するが、少なくとも一部のアルバムには反映させない。これにより、個々のアルバムのレイアウトを調整することができる。
図20は、本実施形態に係るアルバム編集アプリケーション1400において見開き追加を実行する処理を示すフローチャートである。図20に示すフローチャートは、例えば、CPU101がHDD104に格納されたプログラムをROM102またはRAM103に読み出して実行することにより実現される。
S2001において見開き追加条件設定部1701は、見開き追加条件を設定する。本実施形態では、見開き追加条件として、アルバムに使用する画像群、追加する見開き数、および、見開き追加を行うアルバムを設定する。尚、ここではユーザが見開き追加を行う見開き追加対象アルバムを設定するが、本実施形態の処理では、ここでアルバム追加の設定が行われていないアルバムにも、見開き追加が行われることになる。
S2002において見開き追加位置決定部1702は、見開き追加位置を決定する。S2003において見開き基準決定部1703は、追加する見開きに対してどの基準を用いるかを決定する。具体的には、前述したように、共通見開き、個別見開き、または、その他の見開きのうちのいずれの見開き基準を用いるかを決定する。
S2004において画像取得部1704は、見開き追加条件設定部1701で設定された画像群に含まれる画像を、HDD104から読み込み、RAM103に展開する。すでに画像をRAM103に展開済みの場合には、処理を行わない。
S2005において使用済み画像判定部1705は、アルバム情報受取部1402で取得したアルバム情報(使用画像情報)と、見開き基準決定部1703での決定した見開き基準とに基づいて、取得した画像が使用済み画像であるかを判定する。追加見開きが共通基準の場合には、全てのアルバムの使用画像情報を用いる。追加見開きが個別基準またはその他の場合には、現在編集中のアルバムの使用画像情報を用いる。以下、追加見開きが共通基準である場合を例に挙げて、フローチャートの説明を行う。
S2006において画像解析部1706は、RAM103に展開された画像データを解析する。画像解析処理は、図5(b)で説明した処理と同様の処理フローである。
S2007において画像解析部1706は、見開き追加条件設定部1701で指定されたHDD104の画像群の全画像に対してS2005およびS2006の処理が終了したか否かを判定する。終了していない場合、S2004に戻る。終了している場合はS2008に移行する。
S2008においてシーン分割部1707は、画像取得部1704が取得した画像群に対して、シーン分割を実行する。S2008は、S505と同様の処理である。S2009においてシーン分類部1708は、シーン分割部1707が分割したサブ画像群に対して、シーン分類を実行する。S2009は、S506と同様の処理である。
S2010において主被写体設定部1709は、アルバム毎の主被写体を設定する。主被写体設定部1709は、アルバム情報受取部1402で受け取ったアルバム情報と、S2001で設定された見開き追加を行う追加対象アルバムと、S2003で決定した見開き基準とから、追加対象アルバムの主被写体を設定する。本例では、アルバム1に追加見開き処理を行うものとする。また、本例では、共通見開き基準を用いている。このため、アルバム1に、主被写体ABCが設定されることになる。
S2011において画像得点部1710は、各画像を得点化する。S2011は、S508と同様の処理である。S2012において画像得点部1710は、全画像に対してS2011の画像得点化が終了したか否かを判定する。終了していない場合、S2011に戻る。終了している場合、S2013に移行する。
S2013において見開き作成パラメータ生成部1711は、S2001で設定された見開き追加条件と、S2010で設定された追加見開きの主被写体とに基づいて、見開き作成パラメータを生成する。S2013は、S510と同様の処理である。
S2014において見開き作成部1712は、S2013で生成された見開き作成パラメータを用いて、追加対象アルバムの追加の見開きを作成する。見開きの作成処理は、S511と同様の処理である。
S2015においてアルバム編集部1403は、S2014で作成した見開きの数が、見開き追加条件設定部1701で設定した追加見開き数まで達したか否かを判定する。追加見開き数に達していなかった場合、S2002に戻る。追加見開き数に達していた場合、S2016に移行する。
S2016において見開き追加部1713は、見開き作成部1712により作成された見開きを、決定された追加見開きの位置に挿入してアルバム結合を行い、アルバム全体のレイアウトを作成する。
S2017においてアルバム情報出力部1714は、アルバム情報を出力する。
続けて、図21を用いて、本実施形態に係るアルバム作成アプリケーションにおける自動レイアウト処理に含まれる、編集結果の反映処理を説明する。図21は、本実施形態に係るアルバム編集アプリケーション1400による編集結果を反映する処理を示すフローチャートである。図21に示すフローチャートは、例えば、CPU101がHDD104に格納されたプログラムをROM102またはRAM103に読み出して実行することにより実現される。
S2101において編集結果反映タイミング判定部1901は、編集モード指示部1401で指定された編集結果反映タイミングの条件を満たすか否かを判定する。編集結果反映タイミングであれば、S2102に移行する。編集結果反映タイミングでなければ、一連の処理を終了する。
2102においてアルバム情報受取部1902は、アルバム情報保持部215から、所定のアルバムに対して行われた編集内容の情報を含むアルバム情報を受け取る。本ステップで受け取ったアルバム情報は、RAM103に展開されて保持される。
S2103において編集見開き判定部1903は、判定対象のアルバム(第1注目アルバムとする)について、編集が行われたアルバムかを判定する。本ステップの判定結果が真の場合、S2104に進む一方、該判定結果が偽の場合、S2111に進む。
S2104において編集見開き判定部1903は、編集されたアルバムにおいて編集が行われた見開き(編集見開きとする)が共通見開きかを判定する。本ステップの判定結果が真の場合、S2105に進む一方、該判定結果が偽の場合、S2111に進む。
S2105において編集結果反映条件設定部1904は、編集結果の反映を行う条件(編集結果反映条件とする)を設定する。
S2106において編集結果反映アルバム設定部1905は、編集結果を反映する対象アルバムを設定する。
S2107において編集結果反映アルバム判定部1906は、S2106での設定に基づいて、判定対象のアルバム(第2注目アルバムとする)が、編集結果を反映する対象アルバムかを判定する。本ステップの判定結果が真の場合、S2108に進む一方、該判定結果が偽の場合、2110に進む。
S2108において編集結果反映領域判定部1907は、編集結果反映条件設定部1904で設定した条件を対象領域が満たしているかを判定する。本ステップの判定結果が真の場合、S2109に進む一方、該判定結果が偽の場合、S2110に進む。
S2109において、編集結果反映部1908は、S2107とS2108との両判定が真となるアルバムの対象領域に対して、所定のアルバムにおいてなされた編集結果の内容を反映する。
S2110において、編集結果反映部1908は、編集が行われた所定のアルバムを除く全アルバムに対して、S2107からS2109の処理が終了したかを判定する。本ステップの判定結果が真の場合、S2111に進む一方、該判定結果が偽の場合、第2注目アルバムを未判定のものに変更した上で、S2107に戻る。
S2111において、編集結果反映部1908は、S2103からS2110の処理が全アルバムに対して終了したかを判定する。本ステップの判定結果が真の場合、一連の処理は終了する。一方、本ステップの判定結果が偽の場合、第1注目アルバムを未判定のものに変更した上で、S2103に戻る。
<<本実施形態の効果>>
以上が、本実施形態における追加見開きの自動生成と、所定のアルバムにおける共通見開きの編集結果の、他アルバムに対する反映に関する説明である。本実施形態では、ユーザによる追加見開きの指示によって、追加見開きの自動生成が行うことができる。また、共通見開きの編集結果を個々のアルバムに適用でき、個々のアルバムに適した編集を行うことができる。
以上が、本実施形態における追加見開きの自動生成と、所定のアルバムにおける共通見開きの編集結果の、他アルバムに対する反映に関する説明である。本実施形態では、ユーザによる追加見開きの指示によって、追加見開きの自動生成が行うことができる。また、共通見開きの編集結果を個々のアルバムに適用でき、個々のアルバムに適した編集を行うことができる。
(実施形態2)
実施形態1では、所定アルバムに対する編集結果を当該所定アルバムの他アルバムに反映する際、当該所定アルバムに対応する編集による変更情報を用いる。これに対し、本実施形態では、所定アルバムにおいて編集された見開きに基づき、当該見開きに類似する見開きを作成し、他アルバムにおいて、該作成した見開きを追加する。尚、本実施形態では、実施形態1と同様の構成に関しては、同一の符号を付したり同一の名称を用いたりすることで、説明を適宜省略する。
実施形態1では、所定アルバムに対する編集結果を当該所定アルバムの他アルバムに反映する際、当該所定アルバムに対応する編集による変更情報を用いる。これに対し、本実施形態では、所定アルバムにおいて編集された見開きに基づき、当該見開きに類似する見開きを作成し、他アルバムにおいて、該作成した見開きを追加する。尚、本実施形態では、実施形態1と同様の構成に関しては、同一の符号を付したり同一の名称を用いたりすることで、説明を適宜省略する。
以下、本実施形態における機能構成について、図22を用いて説明する。図22(a)は、本実施形態におけるアルバム編集アプリケーション1400が有するモジュールとしての、編集結果の反映に関するモジュール群を示すソフトウェアブロック図である。
編集結果反映部2201は、所定アルバムに対する編集結果の内容を、当該所定アルバムの他のアルバムに反映する。具体的には、編集結果反映部2201は、所定アルバムにおいて編集された見開きに基づき、他のアルバムにおいて、当該見開きに類似し且つアルバムごとに適切な見開きを作成ないし追加する。但し、本実施形態も実施形態1と同様に、他のアルバムの少なくとも一部には、このような反映を行わない。
図22(b)は、編集内容の反映処理が、類似した見開きを作成し追加する処理であった場合の、編集結果反映部2201の詳細なソフトウェアブロック図である。
画像取得部220101は、アルバム作成で用いられる画像取得部203と同様の処理部である(図2(a)参照)。画像取得部220101が画像群を取得する際にユーザによる指定がない場合、または、当該指定がアルバム作成時と変わらず画像取得部203で取得したデータを保持している場合等には、画像取得部220101による画像群の取得処理をスキップしてよい。この場合、画像取得部203で取得したデータをそのまま用いてよい。但し、HDD104内のデータが更新されている場合には、画像群をHDD104から取得する。
使用済み画像判定部220102は、アルバム情報受取部1902で受け取ったアルバム情報に含まれる画像使用情報から、画像取得部220101で取得した画像がアルバム内で使用されている画像であるかを判定する。この判定は、全アルバムの画像使用情報を用いて行われる。本実施形態では、使用済み画像判定部220102によって使用済み画像と判定された画像の情報は、どのアルバムのどの見開きに用いられているかという情報とともに使用済み画像情報として扱われる。仮に、使用済み画像と判定された画像をアルバム内に配置した場合は、何れかのアルバム内で画像被りが発生する。従って、使用済み画像の使用を推奨するレコメンドは作成されない。使用済み画像を追加見開きに用いないための手段としては、使用済み画像か否かを示すフラグ(使用済み画像フラグとする)、画像ラベルなどを採用してよい。使用済み画像判定部220102によって使用済みと判定された画像に対しては、以下の処理を行わないか、または画像選択時に選択対象外としてもよい。尚、本実施形態では、使用済み画像フラグを立てるものとする。
類似画像判定部220103は、画像が類似するか否かを判定する画像類似判定を行う。本実施形態では、使用済み画像フラグが立っている画像と、それ以外の使用していない画像との間での類似判定を行う。この類似判定で使用済み画像と類似と判定された画像は、見開き内の画像と似た画像でより良い画像である可能性があるため、見開き作成に用いてもよい。また見開き内の画像数と同じ数だけ類似ラベルを設け、見開き内の同じ画像と類似判定された使用していない画像が複数存在する場合には同じ類似ラベルを付けて管理する。同じ類似ラベルの画像群からそれぞれ1枚選択し見開きを作成することで、類似見開きを作成することができる。
画像類似判定の例としては、Structure Similality(SSIM)を用いた判定が挙げられる。具体的には、編集が行われた見開きの画像と画像取得部220101で取得した画像との間でのSSIMの値をそれぞれ算出する。算出したSSIMの値が閾値0.8以上であれば類似と判定してもよい。尚、この閾値0.8は一例であり、他の値を採用してよい。また、SSIMの代わりにPSNRを用いてもよい。PSNRを用いる場合も、例えば40dBといったように閾値を自由に定めてよい。この閾値の決定方法として、予め定めておいてもよいし、ユーザが選択してもよい。ユーザが選択する場合には、閾値を直接決めるのではなく、スライダーを操作することで閾値を大きくしたり小さくしたりするといった間接的な選択方法でもよい。類似画像かを判定する画像間でサイズが異なる場合には、判定対象の未使用画像のサイズを使用済み画像のサイズに合わせた後に類似画像判定を行う。例えば、未使用画像より使用済み画像が小さい場合には、使用済み画像のサイズで未使用画像をトリミングして類似画像判定を行う。逆に、未使用画像より使用済み画像が大きい場合には、使用済み画像と同サイズになるように未使用画像を拡大した後に類似画像判定を行う。他の類似画像判定の例としては、画像に写ったコンテンツごとに分ける方法がある。例えば、画像の主被写体に応じて分類する方法や、画像内で物体検出を行って多くの同じ物体で構成されている画像を、類似画像と分類する方法である。
主被写体設定部220104は、アルバム毎に強調する(優先する)主被写体を設定する。主被写体設定部220104は、主被写体設定部205と同様の処理部である。本実施形態では、アルバム編集時の共通見開きの主被写体に関して、アルバム作成時と異なり、アルバム作成時の個別見開きの主被写体と、アルバム作成時の共通見開きの主被写体との2つに設定する。これにより、アルバム編集時の共通見開きの主被写体がアルバムごとに異なるようになり、各ユーザに適した類似画像を選択することができる。
画像選択パラメータ生成部220105は、主被写体設定部220104で設定された主被写体と、画像解析部1703で得られた解析情報とにより、画像を選択するためのパラメータ(画像選択パラメータとする)を生成する。ここでいう画像選択パラメータとは、画像の選択基準を決定づける設定値である。このようなパラメータとして、例えば、画像得点部1710で取得される得点に付与する重みが挙げられる。
画像選択部220106は、画像選択パラメータ生成部220105で生成されたパラメータを用いて、画像選択を行う。本実施形態では、類似画像判定部220103によって、見開き内に配置されている画像に類似と判定された画像群の各画像に対する最終的な画像得点を算出し、画像選択部220106は、最も得点が高い画像を選択する。画像選択部220106によって選択された画像と、配置されていた画像とを入れ替えることで、各アルバムにおいて、編集結果の内容の反映物としての類似見開きを作成する。
以上説明したように、編集結果反映部2201によって、編集内容を反映するアルバムに対応付けられるユーザ(つまり主被写体)を考慮した類似見開きを作成するため、個々のアルバムに適した編集を行うことができる。
図23は、編集結果の反映を実行する処理を示すフローチャートである。
S2301において、画像取得部220101は、アルバム情報受取部1902で受け取った編集時に用いた画像群の情報を用いて、候補画像群をHDD104から読み込み、RAM103に展開する。尚、候補画像群がRAM103に既に展開されている場合には、本ステップの処理を行わなくてよい。
S2302において、使用済み画像判定部220102は、画像取得部220101で取得した画像がアルバム内で既に使用されている画像であるかを判定する。この判定は、アルバム情報受取部1902で受け取ったアルバム情報に含まれる画像使用情報と、見開き基準決定部1703で決定された基準とに基づいて行われる。例えば、見開き基準決定部1703で見開き基準が個別基準に決定された場合には、使用済み画像判定部220102は、編集対象アルバムでの画像使用情報を用いて使用済み画像かを判定してよい。一方、見開き基準決定部1703で見開き基準が共通基準に決定された場合には、全アルバムでの画像使用情報を用いて使用済み画像かを判定してよい。
S2303において、類似画像判定部220103は、使用済み画像判定部220102による使用済み画像とそれ以外の画像との判定結果を用いて、類似画像の判定を行う。
S2304において画像解析部1706は、RAM領域103に展開された画像データを解析する。画像解析処理は、図5(b)で説明した処理と同様の処理フローである。
S2305において画像解析部1706は、画像取得部220101で取得される可能性があるHDD104の画像群の全画像に対して、S2301からS2304の処理が完了したか判定する。本ステップの判定結果が真の場合、S2306に進む。一方、該判定結果が偽の場合、S2301に戻る。
S2306においてシーン分割部1707は、画像取得部220101が取得した画像群に対して、シーン分割を実行する。S2306は、S505と同様の処理である。
S2307においてシーン分類部1708は、シーン分割部1707が分割したサブ画像群に対して、シーン分類を実行する。S2307は、S506と同様の処理である。
S2308において主被写体設定部220104は、アルバム毎の主被写体を設定する。本ステップの設定では、主被写体設定部220104は、編集見開き判定部1903による判定結果に基づくアルバム毎の主被写体を示す情報を取得し、該取得した情報を用いる。
S2309において画像得点部1710は、各画像を得点化する。S2309は、S508と同様の処理である。
S2310において画像得点部1710は、画像解析部1706で解析を行った全画像に対してS2309の得点付けが完了したか判定する。本ステップの判定結果が真の場合、S2311に進む一方、該判定結果が偽の場合、S2309に戻る。
S2311において画像選択パラメータ生成部220105は、主被写体設定部220104から受け取った編集見開きの主被写体に関する情報を用いて、画像選択パラメータを生成する。S2311は、S510と類似の処理である。
S2312において、画像選択部220106は、S2311で生成された画像選択パラメータと、S2303での類似画像判定の結果とを用いて画像を選択することで、類似見開きを作成する。
S2313においてアルバム情報出力部1714は、アルバム情報を出力する。
<<本実施形態の効果>>
以上が、本実施形態における所定アルバムに対する編集結果の内容の、当該所定アルバムの他のアルバムへの反映に関する説明である。具体的には、他のアルバムにおいて、所定アルバムにおいて編集された共通見開きと類似するレイアウトの見開きを作成する。但し、少なくとも一部のアルバムにはこのような反映を行わない。これにより、個々のアルバムのレイアウトを調整することができる。
以上が、本実施形態における所定アルバムに対する編集結果の内容の、当該所定アルバムの他のアルバムへの反映に関する説明である。具体的には、他のアルバムにおいて、所定アルバムにおいて編集された共通見開きと類似するレイアウトの見開きを作成する。但し、少なくとも一部のアルバムにはこのような反映を行わない。これにより、個々のアルバムのレイアウトを調整することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。尚、前述の実施形態の内容を適宜組み合わせてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。尚、前述の実施形態の内容を適宜組み合わせてもよい。
Claims (13)
- コンピュータを、
各アルバムで共通する共通見開きの属性と、各アルバムの個別見開きの属性とを、見開きの属性として有する複数のアルバムのレイアウトを編集する編集手段と、
編集が行われた所定のアルバムについて、編集された見開きが共通見開きかを判定する第1判定手段と、
前記第1判定手段の判定結果が真の場合、前記複数のアルバムのうち前記所定のアルバムを除いたアルバムのそれぞれについて、前記所定のアルバムに対する編集結果の内容を反映するアルバムかを判定する第2判定手段と、
として機能させる、
ことを特徴とするプログラム。 - 前記編集手段は、前記所定のアルバムに対する前記内容を、前記第2判定手段の判定結果が真となるアルバムに反映する、
ことを特徴とする請求項1に記載のプログラム。 - 前記コンピュータを、
前記内容を何れのアルバムに対して反映するかを設定するアルバム設定手段としてさらに機能させ、
前記第2判定手段は、前記アルバム設定手段による設定に基づく判定を行う、
ことを特徴とする請求項1または2に記載のプログラム。 - 前記編集手段によって前記内容が反映されるアルバムは、前記複数のアルバムのうち前記所定のアルバムを除くアルバムの少なくとも1つである、
ことを特徴とする請求項1乃至3の何れか1項に記載のプログラム。 - 前記編集手段によって前記内容が反映されるアルバムは、前記複数のアルバムのうち前記所定のアルバムを除くすべてのアルバムではない、
ことを特徴とする請求項4に記載のプログラム。 - 前記コンピュータを、
前記第1判定手段による判定の前に、前記複数のアルバムのそれぞれについて、前記編集が行われたかを判定する第3判定手段としてさらに機能させる、
ことを特徴とする請求項1乃至5の何れか1項に記載のプログラム。 - 前記第1判定手段による判定は、前記第3判定手段の判定結果が真のアルバムについて行われる、
ことを特徴とする請求項6に記載のプログラム。 - 前記コンピュータを、
前記所定の見開きにおいて追加された共通見開きに使われている画像と類似する画像を選択するための画像選択パラメータを生成するパラメータ生成手段としてさらに機能させる、
ことを特徴とする請求項1乃至7の何れか1項に記載のプログラム。 - 前記コンピュータを、
アルバムごとの主被写体を設定する設定手段としてさらに機能させ、
前記設定手段は、アルバム編集時の共通見開きの主被写体に関して、アルバム作成時の個別見開きの主被写体と、アルバム作成時の共通見開きの主被写体との2つを設定する、
ことを特徴とする請求項8に記載のプログラム。 - 前記パラメータ生成手段は、前記設定手段によって設定される主被写体に基づいて前記画像選択パラメータを生成する、
ことを特徴とする請求項9に記載のプログラム。 - 前記編集手段によって編集される前記複数のアルバムは、ユーザごとに自動生成されたアルバムである、
ことを特徴とする請求項1乃至10の何れか1項に記載のプログラム。 - 各アルバムで共通する共通見開きの属性と、各アルバムの個別見開きの属性とを、見開きの属性として有する複数のアルバムのレイアウトを編集する編集手段と、
編集が行われた所定のアルバムについて、編集された見開きが共通見開きかを判定する第1判定手段と、
前記第1判定手段の判定結果が真の場合、前記複数のアルバムのうち前記所定のアルバムを除いたアルバムのそれぞれについて、前記所定のアルバムに対する編集結果の内容を反映するアルバムかを判定する第2判定手段と、
を有する、
ことを特徴とする画像処理装置。 - 各アルバムで共通する共通見開きの属性と、各アルバムの個別見開きの属性とを、見開きの属性として有する複数のアルバムのレイアウトを編集するステップと、
編集が行われた所定のアルバムについて、編集された見開きが共通見開きかを判定する第1判定ステップと、
前記第1判定ステップの判定結果が真の場合、前記複数のアルバムのうち前記所定のアルバムを除いたアルバムのそれぞれについて、前記所定のアルバムに対する編集結果の内容を反映するアルバムかを判定する第2判定ステップと、
を有する、
ことを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021020374A JP2022123212A (ja) | 2021-02-12 | 2021-02-12 | プログラム、画像処理装置、及び画像処理方法 |
US17/665,614 US20220262054A1 (en) | 2021-02-12 | 2022-02-07 | Storage medium, image processing apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021020374A JP2022123212A (ja) | 2021-02-12 | 2021-02-12 | プログラム、画像処理装置、及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022123212A true JP2022123212A (ja) | 2022-08-24 |
Family
ID=82801477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021020374A Pending JP2022123212A (ja) | 2021-02-12 | 2021-02-12 | プログラム、画像処理装置、及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220262054A1 (ja) |
JP (1) | JP2022123212A (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7341677B2 (ja) * | 2019-02-28 | 2023-09-11 | キヤノン株式会社 | 装置、方法、及びプログラム |
JP2022123214A (ja) * | 2021-02-12 | 2022-08-24 | キヤノン株式会社 | プログラム、画像処理装置、及び画像処理方法 |
JP2023021794A (ja) | 2021-08-02 | 2023-02-14 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2023067166A (ja) | 2021-10-29 | 2023-05-16 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP2023067164A (ja) | 2021-10-29 | 2023-05-16 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6494504B2 (ja) * | 2015-12-25 | 2019-04-03 | キヤノン株式会社 | 情報処理装置、制御方法およびプログラム |
JP7224774B2 (ja) * | 2018-04-23 | 2023-02-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6982013B2 (ja) * | 2019-01-18 | 2021-12-17 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
-
2021
- 2021-02-12 JP JP2021020374A patent/JP2022123212A/ja active Pending
-
2022
- 2022-02-07 US US17/665,614 patent/US20220262054A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220262054A1 (en) | 2022-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7350495B2 (ja) | 装置、方法、及びプログラム | |
JP7250567B2 (ja) | 装置、方法、及びプログラム | |
JP7341676B2 (ja) | 装置、方法、及びプログラム | |
JP7224774B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7341677B2 (ja) | 装置、方法、及びプログラム | |
JP2022123212A (ja) | プログラム、画像処理装置、及び画像処理方法 | |
JP7286392B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022123214A (ja) | プログラム、画像処理装置、及び画像処理方法 | |
JP2022123211A (ja) | プログラム、画像処理装置、及び画像処理方法 | |
JP2022123210A (ja) | 画像処理装置、画像処理装置の制御方法、及びプログラム | |
JP2022123207A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7286393B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022123213A (ja) | 画像処理装置、画像処理装置の制御方法、及びプログラム | |
US11915351B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP7336211B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
JP7336209B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
JP7027101B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP7451242B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7350496B2 (ja) | 装置、方法、及びプログラム | |
JP2021149195A (ja) | プログラム、画像処理方法、及び画像処理装置 | |
JP7263054B2 (ja) | 装置、方法、及びプログラム | |
JP7446876B2 (ja) | プログラム、画像処理方法、及び画像処理装置 | |
JP7336212B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
JP7336210B2 (ja) | 画像処理装置、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240213 |