JP2022003445A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2022003445A JP2022003445A JP2020107624A JP2020107624A JP2022003445A JP 2022003445 A JP2022003445 A JP 2022003445A JP 2020107624 A JP2020107624 A JP 2020107624A JP 2020107624 A JP2020107624 A JP 2020107624A JP 2022003445 A JP2022003445 A JP 2022003445A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unity
- sense
- representative
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 claims description 102
- 239000000203 mixture Substances 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
Abstract
【課題】複数の画像グループを、それぞれの代表画像により一覧表示する際に統一感を持たせることを可能にする画像処理装置を提供する。【解決手段】画像処理装置は、1以上の既存の画像グループに対し新規画像グループの登録を受け付ける受付手段と、前記新規画像グループに含まれる画像のうち、前記既存の画像グループのそれぞれに設定された代表画像と統一感がある画像を特定し、前記特定した画像から前記新規画像グループの代表画像を生成する生成手段とを有することを特徴とする。【選択図】図12
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
従来、大量の撮影画像の中から複数画像を抽出してアルバム等の画像のまとまりを作成する際に、抽出した画像群の代表画像をどのように決定するかに関する技術が開示されてきた。例えば、特許文献1は、アルバム内の画像データに対して時間別の撮影頻度及び解像度を判別することで、代表画像を選択する方法を開示する。
昨今、スマートフォン等の動画投稿アプリでは、複数画像をアルバム(画像グループ)として1つの投稿とすることが可能であり、投稿されたアルバムは、アルバム内の画像から選択された代表画像のサムネイルによって表示される。複数のアルバムが投稿された場合、各アルバムの代表画像のサムネイルを一覧表示したウォールは、統一感を持つことが好ましいとされている。また、写真管理アプリで複数のアルバムを自動生成する場合にも、複数のアルバムの代表画像を一覧表示したウォールは、統一感を持つことが好ましい。しかしながら、代表画像を、同じアルバム内の画像データの撮影頻度及び解像度のみに基づいて選択した場合、選択された代表画像は既存の他のアルバムの代表画像との関連性を持たないため、ウォールは、統一感を持たない場合がある。
上記のような例に鑑みて、本発明は、複数の画像グループを、それぞれの代表画像により一覧表示する際に統一感を持たせることを可能にする技術を提供することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、
1以上の既存の画像グループに対し新規画像グループの登録を受け付ける受付手段と、
前記新規画像グループに含まれる画像のうち、前記既存の画像グループのそれぞれに設定された代表画像と統一感がある画像を特定し、前記特定した画像から前記新規画像グループの代表画像を生成する生成手段と
を有することを特徴とする。
1以上の既存の画像グループに対し新規画像グループの登録を受け付ける受付手段と、
前記新規画像グループに含まれる画像のうち、前記既存の画像グループのそれぞれに設定された代表画像と統一感がある画像を特定し、前記特定した画像から前記新規画像グループの代表画像を生成する生成手段と
を有することを特徴とする。
本発明によれば、複数の画像グループを、それぞれの代表画像により一覧表示する際に統一感を持たせることを可能にすることができる。
以下に、本発明の好ましい実施形態を、図面を参照して説明する。本発明は、以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。
<実施形態1>
実施形態1は、ウォールの統一感に基づいて、新規に投稿される画像グループ(画像群)の代表画像を生成する例である。画像グループは、以下アルバムとも称される。ウォールは、既存のアルバムの代表画像のサムネイルを一覧表示したものである。アルバムに含まれる画像は、静止画であってもよく、複数フレームからなる動画であってもよい。
実施形態1は、ウォールの統一感に基づいて、新規に投稿される画像グループ(画像群)の代表画像を生成する例である。画像グループは、以下アルバムとも称される。ウォールは、既存のアルバムの代表画像のサムネイルを一覧表示したものである。アルバムに含まれる画像は、静止画であってもよく、複数フレームからなる動画であってもよい。
(装置構成)
図1を参照して、画像処理装置100の構成例について説明する。図1は、画像処理装置100の構成例を示すブロック図である。画像処理装置100は、例えば、エッジコンピューティングで使用されるエッジ端末であり、パーソナルコンピュータ(PC)、タブレット端末、スマートフォン等の汎用的なコンピュータであってもよい。画像処理装置100は、制御部101、ROM102、RAM103、画像処理部104、記録部105、表示部106、入力部107を備える。
図1を参照して、画像処理装置100の構成例について説明する。図1は、画像処理装置100の構成例を示すブロック図である。画像処理装置100は、例えば、エッジコンピューティングで使用されるエッジ端末であり、パーソナルコンピュータ(PC)、タブレット端末、スマートフォン等の汎用的なコンピュータであってもよい。画像処理装置100は、制御部101、ROM102、RAM103、画像処理部104、記録部105、表示部106、入力部107を備える。
制御部101は、例えばCPU又はDSP等のプロセッサである。制御部101は、画像処理装置100が備える各ブロックに対する制御プログラムをROM102から読み出し、RAM103に展開して実行する。これにより、制御部101は、画像処理装置100が備える各ブロックの動作を制御することができる。
ROM102は、電気的に消去及び記録可能な不揮発性メモリである。ROM102は、画像処理装置100が備える各ブロックの動作プログラムに加え、各ブロックの動作に使用されるパラメータ等を記憶する。RAM103は、書き換え可能な揮発性メモリであり、制御部101等が実行するプログラムの展開や、画像処理装置100が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。
画像処理部104は、RAM103に記憶されている画像データに対して、彩度強調等に代表される各種フィルタ処理など、様々な画像処理を適用する。記録部105は、着脱可能なメモリカード等であり、画像データ等を記録する。表示部106は、LCD等の表示デバイスである。表示部106は、RAM103に記憶されている記録部105に記録されている画像、及びユーザーからの指示(操作)を受け付けるためのユーザーインターフェイス等を表示する。入力部107は、タッチパネル又はマウス等であり、ユーザー操作による指示の入力を受け付ける。
(新規アルバム登録処理)
図2は、新規アルバムの登録処理を例示するフローチャートである。新規アルバム登録処理は、1以上の画像をグルーピングすることにより生成された新規アルバム(新規画像グループ)の登録を受け付け、ウォールから取得した統一感情報に基づいて、新規アルバムの代表画像を生成する処理である。登録された新規アルバムの代表画像は、既存アルバムの代表画像とともにウォールに表示される。
図2は、新規アルバムの登録処理を例示するフローチャートである。新規アルバム登録処理は、1以上の画像をグルーピングすることにより生成された新規アルバム(新規画像グループ)の登録を受け付け、ウォールから取得した統一感情報に基づいて、新規アルバムの代表画像を生成する処理である。登録された新規アルバムの代表画像は、既存アルバムの代表画像とともにウォールに表示される。
新規アルバム登録処理は、新規アルバムの登録を受け付けるステップS201、ウォールの統一感情報を取得するステップS202、新規アルバムの代表画像を生成するステップS203を含む。統一感情報は、既存アルバムの代表画像の属性情報の種別(以下、属性種別とも称する)ごとに、ウォールがどのような属性情報で統一されているか、又は統一感がないかを示す情報である。画像の属性情報とは、当該画像の属性を表す情報であり、例えば、1つ又は複数の観点(属性種別)について当該画像がどのような属性を有するかを評価した情報である。属性種別の例として、例えば、被写体のカテゴリ、構図、色味、階調、フィルタなどがある。
(S201:新規アルバム登録受付)
ステップS201では、制御部101は、新規アルバムの登録を受け付ける。新規アルバムは、例えば、ユーザーが既存の撮影画像の中から任意に選択した1以上の画像を含む画像グループである。画像グループは、例えばアルバムとして画像投稿アプリにアップロードされたり、画像管理アプリに保存されたりする。また、アルバムは、ユーザーが任意に選択した画像グループに限られず、例えば、写真管理アプリが自動で選択した画像グループから生成されユーザーに推薦されるものであってもよい。以下の説明では、新規アルバムは、画像処理装置100としてのスマートフォンで生成されるものと想定する。
ステップS201では、制御部101は、新規アルバムの登録を受け付ける。新規アルバムは、例えば、ユーザーが既存の撮影画像の中から任意に選択した1以上の画像を含む画像グループである。画像グループは、例えばアルバムとして画像投稿アプリにアップロードされたり、画像管理アプリに保存されたりする。また、アルバムは、ユーザーが任意に選択した画像グループに限られず、例えば、写真管理アプリが自動で選択した画像グループから生成されユーザーに推薦されるものであってもよい。以下の説明では、新規アルバムは、画像処理装置100としてのスマートフォンで生成されるものと想定する。
(S202:統一感情報取得処理)
ステップS202では、制御部101は、ウォールの統一感情報を取得する。統一感情報は、既存アルバムの代表画像の属性種別ごとに、ウォールがどのような属性情報で統一されているか、又は統一感がないかを示す情報である。属性情報は、ウォールに表示される代表画像間の統一感を判定するために用いられる情報である。ここで、図3から図5を用いて、ステップS202の統一感情報取得処理について説明する。
ステップS202では、制御部101は、ウォールの統一感情報を取得する。統一感情報は、既存アルバムの代表画像の属性種別ごとに、ウォールがどのような属性情報で統一されているか、又は統一感がないかを示す情報である。属性情報は、ウォールに表示される代表画像間の統一感を判定するために用いられる情報である。ここで、図3から図5を用いて、ステップS202の統一感情報取得処理について説明する。
図3は、ウォールの統一感の有無を説明する図である。ウォールは、画像処理装置100に格納されるアルバムの代表画像を一覧表示したものである。図3(A)は、統一感のあるウォールの一例である。図3(A)では、ウォールに表示される各アルバムの代表画像は、被写体のカテゴリ(種類)がfoodで統一されている。また、各代表画像は、被写体のサイズもおおよそ統一されている。このように、図3(A)に示すウォールは、一目見て統一感があり一般的に好ましいとされるウォールである。
図3(B)は、統一感のないウォールの一例である。図3(B)では、ウォールに表示される各アルバムの代表画像は、被写体のカテゴリがfood、person、sight等の画像を含み、ウォールの主題が不明瞭で統一感がない。また、図3(B)のウォールは、被写体のカテゴリがfoodである2つの画像を含むが、それぞれの被写体のサイズが異なるため、統一感がない。このように、図3(B)に示すウォールは、統一感がなく一般的に好ましくないとされるウォールである。
画像処理装置100は、自動で図3(A)のような統一感のあるウォールを得るために、ウォールに表示される既存アルバムの代表画像から属性情報を取得し、取得した属性情報に基づいて、新規アルバムからウォールと統一感のある画像を特定する。統一感を判定
するための属性情報は、被写体のカテゴリ及びサイズに限られず、他の要素(属性)に関する情報であってもよい。例えば、属性情報は、画像全体の色味又は階調、被写体のアングル又は位置などの情報であってもよい。
するための属性情報は、被写体のカテゴリ及びサイズに限られず、他の要素(属性)に関する情報であってもよい。例えば、属性情報は、画像全体の色味又は階調、被写体のアングル又は位置などの情報であってもよい。
画像処理装置100は、特定した画像を新規アルバムの代表画像とし、既存アルバムの代表画像とともに、ウォールに表示する。新規アルバムの代表画像は、統一感があるとして特定された画像そのものであってもよいし、特定された画像を加工したものであってもよい。画像の加工は、例えば、切り抜きやフィルタ処理以外に、サムネイル画像の生成も含まれる。
図4は、実施形態1に係る統一感情報取得処理S202を例示するフローチャートである。ステップS401では、ウォールの統一感情報が既に存在するか否かを判定する。ウォールは、既存のアルバムの代表画像の集合である。統一感情報は、ウォールに含まれる既存アルバムの代表画像の要素(属性種別)ごとの統一性を示す情報である。具体的には後述するが、統一感情報は、ウォールに含まれるアルバムの代表画像の属性情報から取得することができる。ウォール内にアルバムが複数存在する場合、ウォールの統一感情報は、各アルバムから抽出した属性情報の平均値としてもよい。また、ウォールの統一感情報は、ウォール内のアルバムのうち最も多くのアルバムがとる値としてもよい。
各既存アルバムから抽出した属性情報及びこれらの属性情報から取得したウォールの統一感情報は、例えばサーバ又は画像処理装置100等の記録媒体に記録され保持される。この場合、制御部101は、ウォールの統一感情報が既に存在すると判定する。一方、これまで手動でアルバムの代表画像を選択又は生成することでアルバム生成処理を行ってきたウォールに対しては、統一感情報は存在しない。
ウォールの統一感情報が既に存在すると判定した場合(ステップS401:Yes)、処理はステップS407に進む。ウォールの統一感情報が存在しないと判定した場合(ステップS401:No)、処理はステップS402に進む。
ステップS402では、制御部101は、ウォールに含まれる既存アルバムの代表画像から属性情報を取得する。属性情報は、被写体のカテゴリ、構図、色味、階調、フィルタ情報などの情報を含む。制御部101は、取得した属性情報から、ステップS403及びステップS404で、属性種別ごとにウォールに含まれる各アルバムの属性情報を抽出する。制御部101は、ステップS405で、各属性種別について、アルバム間での統一感があるか否かを判定する。
ステップS403では、制御部101は、ウォールの統一感情報を取得する属性種別を設定する。属性種別は、被写体のカテゴリ、構図、色味、階調、フィルタ情報など、ウォールの統一感を判定するための様々な属性を含む。被写体のカテゴリは、例えば、食べ物、人物、風景、動物などである。構図は、被写体の位置及びサイズなど構図に関する情報である。色味は、画像全体が有する特定の主要色などの情報である。階調は、トーンカーブ、HDR又はSDRなどの階調に関する情報である。フィルタ情報は、彩度強調などの画像に施したフィルタに関する情報である。
ステップS404では、制御部101は、ウォール内の各既存アルバムの代表画像から、ステップS403で設定した属性種別の属性情報を抽出する。例えばステップS403で属性種別を被写体カテゴリに設定した場合、制御部101は、各代表画像から、公知の被写体検出処理によって主被写体を検出する。制御部101は、検出した主被写体がどのカテゴリに属するのかを、属性情報として抽出する。
ステップS405では、制御部101は、ステップS403で設定した属性種別について、ウォールの統一感情報を取得する。具体的には、制御部101は、ステップS404で抽出した各代表画像の属性情報に基づいて、ウォール内の既存アルバム間で統一感があるか否かを判定する。制御部101は、当該属性種別について統一感がある場合には、各代表画像からより多く抽出された属性情報をウォールの統一感情報として設定し、記録部105に記録する。制御部101は、当該属性種別について統一感がない場合には、統一感情報に統一感なしと設定し、記録部105に記録する。
例えば、被写体のカテゴリについて、ウォール内の各代表画像のうち所定割合以上の画像で、被写体カテゴリが食べ物であると判定された場合、制御部101は、統一感があると判定し、ウォールの被写体カテゴリの統一感情報としてfoodを設定する。一方、ウォール内の各代表画像のうち所定割合以上の画像で被写体のカテゴリが同じでなかった場合、当該ウォールは、被写体のカテゴリについて統一感がないと判定し、記録部105に統一感なしと記録する。
ステップS406では、制御部101は、予め設定された属性種別について、ステップS403からステップS405までの処理を実施したか否かを判定する。各属性(属性種別)についてステップS403からステップS405までの処理が完了していない場合(ステップS406:No)、処理はステップS403に戻る。各属性についてステップS403からステップS405までの処理が完了した場合(ステップS406:Yes)、図4に示す統一感情報取得処理を終了する。
ステップS407では、ウォールの統一感情報が既に存在するため、制御部101は、記録部105から既存の統一感情報を取得し統一感情報取得処理を終了する。
ここで、図5を参照してウォールの統一感情報について説明する。図5(A)は既存ウォールの一例である。図5(B)は、図4に示す統一感情報取得処理によって、図5(A)のウォールから取得した統一感情報の一例である。ウォールの統一感情報は、ウォールに含まれる既存アルバムの代表画像の属性情報に基づいて設定される。即ち、ウォールの統一感情報には、各代表画像から統一感があるものとして抽出された属性情報が設定される。
図5(B)に示す例では、ウォールの被写体カテゴリは、foodで統一されている。即ち、ウォールに含まれる各代表画像のうち、所定割合以上の画像は、被写体カテゴリがfoodであると判定されている。
また、ウォールの構図は、被写体が中央に存在し、被写体のサイズがN×Mピクセルで統一されていると判定されている。即ち、ウォールに含まれる各代表画像のうち、所定割合以上の画像は、被写体が中央に存在し、被写体のサイズがN×Mピクセルである。なお、被写体が中央に存在するとは、例えば、被写体を囲む矩形の中心座標が代表画像の中心から所定の閾値以下の範囲にある場合とすることができる。被写体のサイズがN×Mピクセルであるとは、被写体を囲む矩形のサイズについてN×Mピクセルとの差分が所定の閾値以下である場合を含めてもよい。所定の閾値は、例えば、縦横それぞれ5%とすることができる。
ウォールの色味及び階調は、統一感なしと判定されている。ウォールに施されたフィルタは、彩度強調フィルタで統一されていると判定されている。即ち、ウォールに含まれる各代表画像のうち、所定割合以上の画像は、彩度強調フィルタにより画像処理されている。
(S203:代表画像生成処理)
図2のステップS203では、制御部101は、新たに登録する新規アルバムに対する代表画像を生成する。制御部101は、まず、新規アルバムに含まれる複数の画像のうち、ウォールに表示される既存のアルバムの代表画像と統一感のある画像を特定する。制御部101は、特定した画像から、新規アルバムの代表画像を生成する。制御部101は、特定した画像そのものを新規アルバムの代表画像としてもよく、特定した画像を加工することにより新規アルバムの代表画像を生成してもよい。ここで、図6から図11を用いて、ステップS203の代表画像生成処理について説明する。
図2のステップS203では、制御部101は、新たに登録する新規アルバムに対する代表画像を生成する。制御部101は、まず、新規アルバムに含まれる複数の画像のうち、ウォールに表示される既存のアルバムの代表画像と統一感のある画像を特定する。制御部101は、特定した画像から、新規アルバムの代表画像を生成する。制御部101は、特定した画像そのものを新規アルバムの代表画像としてもよく、特定した画像を加工することにより新規アルバムの代表画像を生成してもよい。ここで、図6から図11を用いて、ステップS203の代表画像生成処理について説明する。
図6は、代表画像生成処理を例示するフローチャートである。ステップS601では、制御部101は、各属性種別に対する重みを設定する。重みは、ウォールの統一感を判定する際にどの属性種別を重視するかに応じて設定される。
図7は、属性種別に対する重みの設定を例示する図である。図7の例では、被写体カテゴリからフィルタまでの属性種別に対する重みは、それぞれW[k](k=1〜5)である。属性種別に対する重みの情報は、サーバ又はエッジ端末としての画像処理装置100等に保持される。各属性種別に対して設定される重みW[k]は、予め設定された値でもよく、画像処理装置100の入力部107を介してユーザーが設定した値であってもよい。
図8は、属性種別に対する重みを指定するインターフェースを例示する図である。図8の例では、ユーザーは、画面に表示された属性種別のうちいずれかを選択する。制御部101は、ユーザーが選択した属性種別の重みを、他の属性種別の重みよりも大きくなるように設定する。ユーザーが属性種別に対する重みを指定するインターフェースは、図8の例に限られず、各属性種別の優先順位をユーザーに指定させるものであってもよい。この場合、制御部101は、各属性種別に対して、指定された優先順位に応じた重みを設定する。
なお、属性種別に対する重みは、ユーザーが図8に示すようなインターフェースを介して指定する場合に限られず、他の方法により設定されてもよい。例えば、制御部101は、ユーザーの撮影履歴から学習した結果に基づいて属性種別に対する重みを設定してもよい。具体的には、制御部101は、ユーザーの撮影画像を解析し、各属性種別についての統一感を数値化することで、統一感の値に応じた重みを設定することができる。
ステップS602では、制御部101は、新規アルバムに含まれる各画像について、ウォールに対する統一感を示すスコア(以下、統一感スコアと称する)を算出する。新規アルバムの中のi番目の画像に対する統一感スコアS[i]は、例えば、以下の式(1)で算出することができる。
式(1)において、W[k]はステップS601で設定された属性種別kの重みである。X[i,k]は、新規アルバムの中のi番目の画像の属性情報と、ウォールの統一感情報との属性種別kについての類似度を示す。また、総和記号(シグマ記号)は、予め設定された属性種別kに対しての和をとることを示している。
ここで、図9を用いて類似度X[i,k]の算出方法について説明する。図9は、属性情報の類似度の算出例を示す図である。類似度は0から1の範囲で規格化され、1に近づくほど類似度が高いことを意味する。類似度は、属性種別ごとに、新規アルバムの中のi番目の画像の属性情報を、図4の統一感情報取得処理で取得したウォールの統一感情報と
比較することにより算出される。なお、ウォールで統一感なしと設定された属性種別についての類似度は、新規アルバムが挿入される位置の周囲に表示される既存アルバムの代表画像の属性情報と比較して算出してもよい。また、各属性種別についての類似度は、ウォールの統一感情報は用いずに、新規アルバムが挿入される位置の周囲に表示される既存アルバムの代表画像の属性情報と比較して算出してもよい。
比較することにより算出される。なお、ウォールで統一感なしと設定された属性種別についての類似度は、新規アルバムが挿入される位置の周囲に表示される既存アルバムの代表画像の属性情報と比較して算出してもよい。また、各属性種別についての類似度は、ウォールの統一感情報は用いずに、新規アルバムが挿入される位置の周囲に表示される既存アルバムの代表画像の属性情報と比較して算出してもよい。
図9に示すように、被写体カテゴリの類似度は、i番目の画像の被写体カテゴリがウォールの被写体カテゴリと一致するか不一致かに対応して、1又は0が設定される。構図の類似度は、i番目の画像での主被写体のサイズ及び位置が、ウォールの主被写体のサイズ及び位置に対し、どれだけの差分を持つかにより0から1の間で算出される。構図の類似度は、主被写体のサイズ及び位置について、ウォールとの差分が小さいほど1に近くなる。
同様に、色味の類似度は、i番目の画像の主となる色(主色)とウォールの主色との差分により0から1の間で算出される。色味の類似度は、主色についてウォールとの差分が小さいほど1に近くなる。階調の類似度は、HDR画像であるかSDR画像であるかの一致不一致から、1又は0が設定される。フィルタの類似度は、画像処理に使用したプレフィルタ情報の一致不一致から、1又は0が設定される。
なお、上述の類似度の算出に用いる指標は一例であり、属性種別に応じた他の指標を使用してもよい。統一感スコアS[i]は、算出された類似度X[i,k]及び設定された重みW[k]を用いて、式(1)により算出される。
また、統一感スコアS[i]は、新規アルバムの中のi番目の画像の属性情報と、ウォールの統一感情報とを比較した際の類似度に基づいて算出する場合に限られない。統一感スコアS[i]は、新規アルバムの中のi番目の画像の属性情報と、既存アルバムの代表画像の属性情報とを比較した際の類似度に基づいて算出されてもよい。例えば、属性種別ごとの類似度は、当該属性種別について、新規アルバムの中のi番目の画像と各既存アルバムの代表画像との類似度を評価し、類似度が閾値以上である代表画像の数とすることができる。新規アルバムの中のi番目の画像の統一感スコアS[i]は、各属性種別の類似度の平均として算出することができる。さらに、属性種別ごとの類似度は、類似度が閾値以上である代表画像の数に基づいて算出される場合に限られず、i番目の画像の属性情報と各既存アルバムの代表画像の属性情報との一致度から算出してもよい。
ステップS603では、制御部101は、新規アルバムの各画像の中で、統一感スコアS[i]が所定の閾値以上となる画像が存在するか否かを判定する。所定の閾値は、例えば、統一感スコアS[i]が取り得る最大値の80%とすることができる。
統一感スコアS[i]が所定の閾値以上となる画像が存在する場合(ステップS603:Yes)、処理はステップS604に進む。統一感スコアS[i]が所定の閾値以上となる画像が存在しない場合(ステップS603:No)、処理はステップS605に進む。
ステップS604では、制御部101は、新規アルバムの各画像の中から統一感スコアS[i]が最も高い画像を、ウォールに対してより統一感がある画像として特定する。
ステップS605では、制御部101は、現在登録を受け付けている新規アルバム内の画像では、ウォールに追加した場合に十分に統一感があるウォールの生成が困難であるという警告をユーザーに報知する。
ステップS606では、制御部101は、新規アルバム内の画像のうちユーザーが指定した画像を代表画像の生成に用いる画像として特定する。制御部101は、例えば、画像処理装置100に新規アルバム内の画像を一覧表示し、ユーザーからタッチ操作による画像の指定を受け付けることにより、代表画像の生成に用いる画像を特定することができる。
ステップS607では、制御部101は、特定した代表画像に対して画像調整処理を実施するか否かを判定する。画像調整処理を実施するか否かは、予め設定されていてもよく、新規アルバムを追加する際にユーザーからその都度指示を受け付けるようにしてもよい。画像調整処理を実施する場合(ステップS607:Yes)、ステップS608に進み、画像調整処理を実施しない場合(ステップS608:No)、図6に示す代表画像生成処理は終了する。ここで、画像調整処理は、代表画像に対し、さらにウォールに対して統一感を持たせるように施される画像処理のことである。
図10は、代表画像の画像調整処理の一例を示す図である。図10(A)は、図5(A)にも示した既存アルバムからなるウォールを例示する。図10(B)は、ステップS604又はステップS606で特定された代表画像の画像調整処理の処理前及び処理後の画像を示す。処理前の代表画像は、被写体カテゴリはfoodであるためウォールの被写体カテゴリと同じであるが、被写体の位置が中央になくサイズがウォールにある被写体よりも小さい。このため、処理前の代表画像を含めたウォールを生成した場合、十分に統一感があるウォールを得られない可能性がある。
そこで、制御部101は、図10(B)に処理後の画像として示すように、処理前の代表画像から、被写体が中央になるように矩形で囲んだ部分を切り取って拡大する。即ち、主被写体部分が他の既存アルバムの代表画像と同様に中央になるように切り取って拡大することにより代表画像を生成する。このように、構図について統一感を出すためには、被写体の位置又はサイズを統一すればよい。また、他の属性種別について統一感を出すためには、属性種別ごとに特有の値、例えば、階調であればHDRかSDRか、色味であればRGBの値、フィルタであれば使用したフィルタ、を統一するような処理を実施すればよい。属性種別ごとにどのような処理を施すかは、予め設定しておいてもよい。
構図を調整するために画像の一部を切り取って拡大する処理は、画像調整処理の一例である。制御部101は、新規アルバムの画像のうち、既存アルバムの代表画像と統一感があるとして特定された画像に対し、画像調整処理を施すことによって、ウォールとの統一感がより高い代表画像を生成することができる。
画像調整処理は、構図の調整処理に限られず、図5(B)に例示した属性種別に対応して、色味調整、階調調整、フィルタ処理などを、新規アルバムの代表画像を生成するために特定された画像に施す処理であってもよい。色味についての画像調整処理は、例えば、代表画像の主色とウォールの主色との類似度が所定の閾値以上となるように補正する処理である。階調についての画像調整処理は、例えば、代表画像とウォールとでHDRかSDRかを一致させたり、トーンカーブを合わせたりする処理である。フィルタについての画像調整処理は、例えば、ウォールに含まれる既存アルバムの代表画像に対して施されたフィルタ処理を実施する処理である。
ステップS608では、ステップS604又はステップS606で特定された画像に対し画像調整処理を実施する。ここで、図11を参照して画像調整処理について説明する。図11は、画像調整処理を例示するフローチャートである。
ステップS1101では、制御部101は、調整の対象となる属性種別を設定する。制
御部101は、例えば、図5(B)に示す属性種別を順次設定し、ステップS1102及びステップS1103で、設定された属性種別に対応する画像調整処理を実施するものとする。なお、制御部101は、被写体カテゴリのように画像調整処理が困難な属性種別については除外してもよい。
御部101は、例えば、図5(B)に示す属性種別を順次設定し、ステップS1102及びステップS1103で、設定された属性種別に対応する画像調整処理を実施するものとする。なお、制御部101は、被写体カテゴリのように画像調整処理が困難な属性種別については除外してもよい。
ステップS1102では、制御部101は、ステップS1101で設定した属性種別について、ステップS604又はステップS606で特定された画像の属性情報とウォールの統一感情報との類似度X[i,k]が、所定の閾値以下であるか否かを判定する。所定の閾値は、例えば70%とすることができる。所定の閾値は、ステップS601で設定された属性種別に対する重みに対応して設定されてもよい。即ち、重みが大きいほど所定の閾値を高く設定することで、当該属性種別に対する画像調整処理の優先度は高くなる。
ステップS1101で設定した属性種別について、特定された画像の属性情報とウォールの統一感情報との類似度X[i,k]が所定の閾値以下である場合(ステップS1102:Yes)、処理はステップS1103に進む。類似度X[i,k]が所定の閾値より大きい場合(ステップS1102:No)、処理はステップS1104に進む。
ステップS1103では、制御部101は、ステップS1101で設定した属性種別について画像調整処理を実施する。例えば、構図についての画像調整処理は、図10(B)で説明したように、代表画像の一部を被写体が中心になるように切り抜いて拡大する処理である。色味、階調、フィルタの属性種別についても、制御部101は、それぞれに対応する画像調整処理を実施する。
ステップS1104では、制御部101は、各属性種別について画像調整処理を実施したか否かを判定する。各属性種別について画像調整処理が完了した場合(ステップS1104:Yes)、図11に示す画像調整処理は終了する。各属性種別について画像調整処理が完了していない場合(ステップS1104:No)、処理はステップS1101に戻り、画像調整処理が実施されていない属性種別に対する処理が実施される。
図11に示す画像調整処理が終了することにより、図6の代表画像生成処理が終了し、図2の新規アルバム登録処理は終了する。なお、画像調整処理は、代表画像に用いられる画像として特定された画像以外の画像に対して実施されてもよい。新規アルバム内の各画像に画像調整処理を実施することにより、ユーザーは、新規アルバムを開いた場合にも、ウォールとの統一感を出すことができるようになる。
(代表画像生成の具体例)
図12を用いて代表画像を生成する具体例について説明する。図12は、foodを主題としたウォールA、及びsightを主題としたウォールBに対し、新規アルバムCを追加する例について説明する。追加する新規アルバムCは、person、food、sight、buildingを主題とする4つの画像を含む。ウォールAに新規アルバムCを追加する場合、制御部101は、foodの画像が既存アルバムの代表画像と統一感がある画像として特定される。図12の例では、foodの画像はそのまま代表画像として使用される。これに対し、ウォールBに新規アルバムCを追加する場合、制御部101は、既存アルバムの代表画像と統一感がある画像としてsightの画像が特定され、代表画像として使用される。
図12を用いて代表画像を生成する具体例について説明する。図12は、foodを主題としたウォールA、及びsightを主題としたウォールBに対し、新規アルバムCを追加する例について説明する。追加する新規アルバムCは、person、food、sight、buildingを主題とする4つの画像を含む。ウォールAに新規アルバムCを追加する場合、制御部101は、foodの画像が既存アルバムの代表画像と統一感がある画像として特定される。図12の例では、foodの画像はそのまま代表画像として使用される。これに対し、ウォールBに新規アルバムCを追加する場合、制御部101は、既存アルバムの代表画像と統一感がある画像としてsightの画像が特定され、代表画像として使用される。
上述の実施形態1によれば、図12に例示するように、ウォールの統一感情報又は既存アルバムの属性情報に基づいて新規アルバムの代表画像を生成するため、ユーザーは、統一感のあるウォールを容易に得ることができる。
なお、追加する新規アルバムに含まれる各画像は、静止画であるものとして説明をしたが、新規アルバムに含まれる画像は静止画に限られない。新規アルバムは、少なくとも一部が動画であってもよい。この場合、制御部101は、動画中の各フレーム、及びアルバム内の静止画のうち最も統一感スコアが高いフレーム又は静止画を特定し代表画像を生成することができる。
また、既存のアルバムの代表画像からなるウォールは、ユーザー自身のスマートフォン(画像処理装置100)上のものに限られない。例えば、本実施形態は、ユーザーがアルバムを他者に提供するために外部サーバ(外部端末)等にアップロード(出力)する場合にも適用可能である。この場合、画像処理装置100は、外部サーバに格納されたアルバムの代表画像から各アルバムの属性情報又はウォールの統一感情報を取得して代表画像を生成する。画像処理装置100は、新規アルバムとともに、生成した代表画像の情報を外部サーバにアップロードすることができる。
また、上述の実施形態1では、制御部101は、新規アルバム代表画像に対して画像調整処理を実施したが、フィルタ処理又は色味調整などの処理は、新規アルバム全体の画像に実施するようにしてもよい。
<実施形態2>
実施形態1は、ウォールに含まれる既存アルバムの各代表画像から、少なくとも1つの属性に対し統一感があると判定された属性種別の統一感情報が取得できた場合の実施形態である。これに対し、実施形態2は、ウォールに含まれる既存アルバムの各代表画像から統一感のあると判定された属性種別がなかった場合の実施形態である。ウォール内の既存アルバムから統一感のあると判定された属性種別の統一感情報が取得されなかった場合、画像処理装置100は、ユーザーに対して警告を報知する。
実施形態1は、ウォールに含まれる既存アルバムの各代表画像から、少なくとも1つの属性に対し統一感があると判定された属性種別の統一感情報が取得できた場合の実施形態である。これに対し、実施形態2は、ウォールに含まれる既存アルバムの各代表画像から統一感のあると判定された属性種別がなかった場合の実施形態である。ウォール内の既存アルバムから統一感のあると判定された属性種別の統一感情報が取得されなかった場合、画像処理装置100は、ユーザーに対して警告を報知する。
実施形態2に係る新規アルバム登録処理のうち、新規アルバム登録受付(ステップS201)及び代表画像生成処理(ステップS203)は、実施形態1と同様であるため説明を省略する。実施形態2に係る新規アルバム登録処理のうち、統一感情報取得処理の内容は、実施形態1に係るステップS202の処理と異なる。ここで、図13を用いて、実施形態2に係る統一感情報取得処理について説明する。
(実施形態2の統一感情報取得処理)
図13は、実施形態2に係る統一感情報取得処理を例示するフローチャートである。実施形態2の統一感情報取得処理は、図4に示す実施形態1の統一感情報取得処理と同じ処理に加えて、ステップS1303、S1304の例外処理1、及びステップS1309、S1310の例外処理2を含む。以下、追加された例外処理1及び例外処理2について説明する。
図13は、実施形態2に係る統一感情報取得処理を例示するフローチャートである。実施形態2の統一感情報取得処理は、図4に示す実施形態1の統一感情報取得処理と同じ処理に加えて、ステップS1303、S1304の例外処理1、及びステップS1309、S1310の例外処理2を含む。以下、追加された例外処理1及び例外処理2について説明する。
ステップS1301及びステップS1311は、それぞれ図4のステップS401及びステップS407と同様の処理である。ステップ1302で図4のステップS402と同様にウォール内の代表画像の属性情報を取得した後、ステップS1303で、制御部101は、ウォール内の画像数が所定数より少ないか否かを判定する。ウォール内の画像数は、ウォールに含まれる既存アルバム(の代表画像)の数である。所定数は、例えば2とすることができる。
ウォール内の画像数が所定数より少ない場合(ステップS1303:Yes)、処理はステップS1304に進む。ウォール内の画像数が所定数以上ある場合(ステップS1303:No)、処理はステップS1305に進む。制御部101は、ステップS1305からステップS1308では、図4のステップS403からステップS406までの処理
と同様の処理を実行する。
と同様の処理を実行する。
ステップS1304では、ウォールの統一感情報を得るために十分な数の画像がウォールに存在しないことから、制御部101は、ユーザーに警告を報知し、例外処理1を実施
する。
する。
ここで、図14を用いて、ステップS1304の例外処理1の内容について説明する。例外処理1は、ユーザーの入力に基づいて、ウォールの統一感情報を設定する処理である。図14は、例外処理1を例示するフローチャートである。ステップS1401では、制御部101は、ウォール内の画像数が少なく、統一感のある属性情報を取得するための画像が不足している旨の警告をユーザーに報知する。
ステップS1402では、制御部101は、ユーザーからウォールの統一感情報に関する入力を受け付ける。入力を受け付ける内容は、ユーザーがウォールをどのような属性種別で統一したいかに関する情報であり、例えば、統一感を判定する際の各属性種別の優先順位が挙げられる。制御部101は、例えば、図8に示すインターフェースにより、ユーザーが重視したい属性の指定を受け付けることができる。
ステップS1403では、制御部101は、ステップS1402でのユーザーからの入力及びウォール内の画像に基づいて、図7に例示するように属性種別ごとに、ウォールの統一感情報を設定する。ウォール内の画像は、ウォール内の既存アルバムの代表画像である。
例えば、制御部101は、ユーザーが図8の画面で被写体カテゴリを優先してウォールを統一することを入力した場合、ウォール内の画像の被写体カテゴリfoodを、ウォールの統一感情報として設定する。制御部101は、他の属性情報について、被写体カテゴリよりも重みを低く設定したうえで、ウォール内の画像に基づいて、ウォールの統一感情報を設定してもよい。また、他の属性情報について、統一感なしと設定してもよい。制御部101がウォールの統一感情報を設定すると、図14の例外処理1は終了する。
なお、ステップS1402で、ユーザーから入力を受け付ける内容は、統一感を判定する際の各属性種別の優先順位に限られない。制御部101は、各属性種別に対し、ウォールの統一感情報を、直接ユーザーに入力させるようにしてもよい。
ステップS1308で各属性についてステップS1305からステップS1307までの処理が完了したと判定された場合、処理はステップS1309に進む。ステップS1309では、制御部101は、いずれの属性についても統一感なし、と判定されたか否かを判定する。いずれの属性についても統一感なしと判定された場合(ステップS1309:Yes)、処理はステップS1310に進む。いずれかの属性で統一感があると判定された場合(ステップS1309:No)、図13に示す統一感情報取得処理は終了する。
ここで、図15を用いて、ステップS1310の例外処理2の内容について説明する。ステップS1310は、ウォールに十分な数の画像があるものの統一感が薄く、いずれの属性についても統一感なしと判定された場合の処理である。
図15は、例外処理2を例示するフローチャートである。ステップS1501では、制御部101は、統一感を持たせる処理を実施するか否かを判定する。ウォールの統一感が薄い場合、ユーザーは、ウォールの統一感を出すことにこだわっていない可能性がある。このため、統一感を持たせる処理を実施するか否かは、ユーザーからの指示により判定するようにしてもよい。また、統一感を持たせる処理を実施するか否かは、予め設定してお
いてもよい。
いてもよい。
ここで、図16を参照して、ユーザーがウォールに統一感を持たせる処理を実施するか否かを指示するインターフェースの例を説明する。図16は、統一感を出す処理の実施を指示するインターフェースを例示する図である。具体的には、ユーザーは、「ウォールに統一感が出るような処理を実施しますか?」との質問に対し「はい」又は「いいえ」のボタン操作により、統一感を持たせる処理を実施するか否かを指示することができる。
ユーザーが「はい」を選択した場合、制御部101は、ウォールに統一感を持たせる処理を実施すると判定し(ステップS1501:Yes)、処理はステップS1502に進む。ユーザーが「いいえ」を選択した場合、制御部101は、ウォールに統一感を持たせる処理を実施しないと判定し(ステップS1501:No)、代表画像に対し統一感を持たせる処理を実施せずに、図15に示す例外処理2を終了する。
ステップS1502では、制御部101は、ユーザーからの入力を受け付ける。入力を受け付ける内容は、統一感が薄いウォールに対して統一感を持たせるために、どのような処理を実施するかについての情報である。統一感を持たせるための処理は、例えば、ウォール内の特定のアルバムの代表画像の属性情報に合わせてその他のアルバムの代表画像を処理すること、又はウォール内の全画像に所定のフィルタ処理を実施することなどが挙げられる。
図17は、統一感を出す方法を指示するインターフェースを例示する。図17に示す例では、ユーザーは、「ウォールに統一感を持たせる処理を選択してください」とのメッセージに対し「特定の画像に合わせる」又は「フィルタをかける」のボタン操作により、統一感を出す方法を指示することができる。制御部101は、ユーザーのボタン操作によって選択された方法により、ウォールの統一感を出す処理を実施する。統一感を出す方法は、図17に示す方法に限られず、「被写体を中央に表示する」「被写体のサイズを揃える」「色味を統一する」など各種方法を含むことができる。また、ユーザーは、複数の方法を指示することができるようにしてもよい。
ステップS1503では、ステップS1502のユーザー入力に基づいて、ウォール内の画像、即ちウォールに含まれる既存アルバムのそれぞれの代表画像を処理する。なお、処理の対象となる画像は、ウォールに含まれる既存アルバムのそれぞれの代表画像に限られず、既存アルバム内の代表画像以外の画像を含んでもよい。
図17の例では、「特定の画像に合わせる」が選択され、ユーザーが特定の画像を選択すると、制御部101は、特定の画像の色味、階調、フィルタに合わせた処理を、ウォール内の特定の画像以外の画像に対して実施する。また、「フィルタをかける」が選択され、ユーザーが処理に使用するフィルタを選択すると、制御部101は、ウォール内の画像に対し、ユーザーが選択したフィルタによるフィルタリング処理を実施する。制御部101は、ステップS1503の処理によって、統一感のあるウォールを得ることができる。
ステップS1504では、制御部101は、ステップS1502のユーザー入力に基づいて、ウォールの統一感情報を設定する。制御部101は、図4に示す統一感情報取得処理と同様に、ステップS1503で生成された統一感のあるウォールから、属性情報を取得することができる。制御部101は、統一感のあると判定されたウォールの統一感情報に基づいて、統一感のある画像を新規アルバムの中から特定することができる。
上述の実施形態2に係る画像処理装置100によれば、ウォール内の画像数が少ない場合又は統一感が薄い場合であっても、ユーザーは、統一感があるウォールを得ることが可
能となる。
能となる。
<その他の実施形態>
本発明は、一定のアルゴリズムを用いて統一感を評価したが、学習を行ったニューラルネットワークなどを用いて統一感を評価することも可能である。この場合は、例えばウォール画像と、そのウォールに適するか/適さないかのフラグを付与した代表画像のセット(例えば図12の「ウォールA」と、図12右側の「代表画像」のセット)を教師データとして複数用意する。そしてこれらのセットをニューラルネットワークにより学習させることにより、ウォールに対する画像の統一感を評価することが可能となる。
本発明は、一定のアルゴリズムを用いて統一感を評価したが、学習を行ったニューラルネットワークなどを用いて統一感を評価することも可能である。この場合は、例えばウォール画像と、そのウォールに適するか/適さないかのフラグを付与した代表画像のセット(例えば図12の「ウォールA」と、図12右側の「代表画像」のセット)を教師データとして複数用意する。そしてこれらのセットをニューラルネットワークにより学習させることにより、ウォールに対する画像の統一感を評価することが可能となる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 画像処理装置
101 制御部
101 制御部
Claims (18)
- 1以上の既存の画像グループに対し新規画像グループの登録を受け付ける受付手段と、
前記新規画像グループに含まれる画像のうち、前記既存の画像グループのそれぞれに設定された代表画像と統一感がある画像を特定し、前記特定した画像から前記新規画像グループの代表画像を生成する生成手段と
を有することを特徴とする画像処理装置。 - 前記新規画像グループは、ユーザーが選択した複数の画像又は自動で選択した複数の画像から生成される
ことを特徴とする請求項1に記載の画像処理装置。 - 前記生成手段は、前記既存の画像グループの代表画像の属性種別ごとの統一感情報を取得し、前記取得した統一感情報と前記新規画像グループに含まれる各画像の属性情報との比較に基づいて、前記新規画像グループに含まれる画像のうち前記既存の画像グループの代表画像と統一感がある画像を特定する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記生成手段は、前記新規画像グループに含まれる各画像の属性情報と、前記既存の画像グループの代表画像の統一感情報との、属性種別ごとの類似度から算出した統一感を示すスコアに基づいて、前記新規画像グループに含まれる画像のうち前記既存の画像グループの代表画像と統一感がある画像を特定する
ことを特徴とする請求項3に記載の画像処理装置。 - 前記生成手段は、前記既存の画像グループの代表画像から属性情報を抽出し、前記抽出した属性情報と前記新規画像グループに含まれる各画像の属性情報との比較に基づいて、前記新規画像グループに含まれる画像のうち前記既存の画像グループの代表画像と統一感がある画像を特定する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記生成手段は、前記新規画像グループに含まれる各画像の属性情報と、前記既存の画像グループの代表画像から抽出した属性情報との、属性種別ごとの類似度から算出した統一感を示すスコアに基づいて、前記新規画像グループに含まれる画像のうち前記既存の画像グループの代表画像と統一感がある画像を特定する
ことを特徴とする請求項5に記載の画像処理装置。 - 前記生成手段は、統一感を判定するための属性種別ごとに前記類似度の重みづけをして前記統一感を示すスコアを算出する
ことを特徴とする請求項4又は6に記載の画像処理装置。 - 統一感を判定するための属性情報は、被写体の種類、構図、色味、階調、フィルタの少なくともいずれか1つの情報を含む
こと特徴とする請求項1から7のいずれか1項に記載の画像処理装置。 - 前記構図についての属性情報は被写体のサイズ及び位置に関する情報であり、前記色味についての属性情報は画像が有する特定の主要色の情報であり、前記階調についての属性情報は画像がSDR画像であるかHDR画像であるかに関する情報であり、前記フィルタについての属性情報は画像処理に使用したフィルタに関する情報である
ことを特徴とする請求項8に記載の画像処理装置。 - 前記生成手段は、前記既存の画像グループの代表画像に対してより統一感を持たせるために、前記特定した画像を、前記既存の画像グループの代表画像の属性情報に基づいて調整することにより、前記新規画像グループの代表画像を生成する
ことを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。 - 前記生成手段は、前記特定した画像以外の画像に対し、前記既存の画像グループの代表画像に対する統一感を持たせるために、前記既存の画像グループの代表画像の属性情報に基づいて、前記特定した画像以外の画像を調整する
ことを特徴とする請求項10に記載の画像処理装置。 - 前記生成手段は、前記既存の画像グループが所定数よりも少ない場合、属性の選択をユーザーから受け付け、選択された属性の属性情報及び前記既存の画像グループの代表画像に基づいて、前記新規画像グループに含まれる画像から、前記既存の画像グループの代表画像と統一感がある画像を特定する
ことを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。 - 前記既存の画像グループの代表画像がいずれの属性についても統一感がない場合、ユーザーの指示に基づいて、前記既存の画像グループの代表画像に統一感を持たせるための処理をする処理手段をさらに有し、
前記生成手段は、前記統一感を持たせるための処理をした前記既存の画像グループの代表画像の属性情報に基づいて、前記新規画像グループに含まれる画像から、前記既存の画像グループの代表画像と統一感がある画像を特定する
こと特徴とする請求項1から12のいずれか1項に記載の画像処理装置。 - 前記既存の画像グループが所定数よりも少ない場合、又は、前記既存の画像グループの代表画像がいずれの属性についても統一感がない場合に、ユーザーに警告を報知する警告手段をさらに有する
ことを特徴とする請求項12又は13に記載の画像処理装置。 - 前記生成手段は、前記新規画像グループが動画を含む場合、前記動画中の各フレーム及び前記新規画像グループに含まれる静止画から、前記既存の画像グループの代表画像に対して統一感を持つ画像を特定する
ことを特徴とする請求項1から14のいずれか1項に記載の画像処理装置。 - 前記生成手段は、前記新規画像グループを、外部端末に出力する場合、前記新規画像グループに含まれる画像のうち、前記外部端末に格納された既存の画像グループの代表画像に対して統一感がある画像を特定し、前記特定した画像から生成した前記新規画像グループの代表画像を前記新規画像グループとともに前記外部端末に出力する
ことを特徴とする請求項1から15のいずれか1項に記載の画像処理装置。 - 1以上の既存の画像グループに対し新規画像グループの登録を受け付ける受付ステップと、
前記新規画像グループに含まれる画像のうち、前記既存の画像グループのそれぞれに設定された代表画像と統一感がある画像を特定し、前記特定した画像から前記新規画像グループの代表画像を生成する生成ステップと
を有すること特徴とする画像処理方法。 - コンピュータを、請求項1から16のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020107624A JP2022003445A (ja) | 2020-06-23 | 2020-06-23 | 画像処理装置、画像処理方法及びプログラム |
US17/351,525 US11915480B2 (en) | 2020-06-23 | 2021-06-18 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020107624A JP2022003445A (ja) | 2020-06-23 | 2020-06-23 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022003445A true JP2022003445A (ja) | 2022-01-11 |
Family
ID=79022361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020107624A Pending JP2022003445A (ja) | 2020-06-23 | 2020-06-23 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11915480B2 (ja) |
JP (1) | JP2022003445A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022003445A (ja) * | 2020-06-23 | 2022-01-11 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4187954B2 (ja) | 2001-08-15 | 2008-11-26 | 富士フイルム株式会社 | 電子アルバム装置と電子アルバム作成方法 |
US20050120055A1 (en) * | 2003-11-27 | 2005-06-02 | Olympus Corporation | Image management apparatus and image managing method |
US9002109B2 (en) * | 2012-10-09 | 2015-04-07 | Google Inc. | Color correction based on multiple images |
JP6953128B2 (ja) * | 2016-12-09 | 2021-10-27 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
WO2018235489A1 (ja) * | 2017-06-19 | 2018-12-27 | ソニー株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
JP7053423B2 (ja) * | 2018-09-19 | 2022-04-12 | 富士フイルム株式会社 | 画像処理装置,画像処理方法および画像処理プログラム |
JP2022003445A (ja) * | 2020-06-23 | 2022-01-11 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2020
- 2020-06-23 JP JP2020107624A patent/JP2022003445A/ja active Pending
-
2021
- 2021-06-18 US US17/351,525 patent/US11915480B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210397881A1 (en) | 2021-12-23 |
US11915480B2 (en) | 2024-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810454B2 (en) | Apparatus, method and program for image search | |
KR101605983B1 (ko) | 얼굴 검출을 이용한 이미지 재구성 | |
JP4840426B2 (ja) | 電子機器、ぼけ画像選別方法及びプログラム | |
US7675647B2 (en) | Apparatus, method, and program for editing images | |
US20120321131A1 (en) | Image-related handling support system, information processing apparatus, and image-related handling support method | |
US20080205772A1 (en) | Representative image selection based on hierarchical clustering | |
JP6719206B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7076974B2 (ja) | 画像処理装置、制御方法およびプログラム | |
JP2018097482A (ja) | 画像処理装置、制御方法、及びプログラム | |
JP2007129434A (ja) | 情報処理装置および方法、並びにプログラム | |
JP2008521133A (ja) | 分散ベースのイベント・クラスタリング | |
JP2018097480A (ja) | 画像処理装置、制御方法、及びプログラム | |
US10594930B2 (en) | Image enhancement and repair using sample data from other images | |
JP2010009420A (ja) | 画像処理装置及び画像処理方法 | |
CN111787354A (zh) | 一种视频生成方法及其装置 | |
JP2018097481A (ja) | 画像処理装置、制御方法、及びプログラム | |
CN110581950B (zh) | 相机、选择相机设置的系统和方法 | |
JP2022003445A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018084861A (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
US20220114207A1 (en) | Method and system for image searching and evaluation using tags | |
JP6395428B2 (ja) | 画像処理装置およびその方法 | |
JP5009864B2 (ja) | 候補画像表示方法および装置ならびにプログラム | |
JP2021077131A (ja) | 構図アドバイスシステム、構図アドバイス方法、ユーザ端末、プログラム | |
JP2021089654A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN110222207B (zh) | 图片的整理方法、装置和智能终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230609 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |