JP2012094067A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2012094067A JP2012094067A JP2010242648A JP2010242648A JP2012094067A JP 2012094067 A JP2012094067 A JP 2012094067A JP 2010242648 A JP2010242648 A JP 2010242648A JP 2010242648 A JP2010242648 A JP 2010242648A JP 2012094067 A JP2012094067 A JP 2012094067A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- relevance
- template
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】ユーザが選んだ画像を全て利用し、かつ自動的に画像の間の関連性を考慮して配置する画像処理装置を提案することを課題とする。
【解決手段】複数の画像データそれぞれが有する付随情報を取得する取得手段と、前記複数の画像データそれぞれを解析して、当該画像データが属する撮影シーンを判定するシーン判定手段と、前記複数の画像データそれぞれの前記付随情報および前記シーン判定手段にて判定した前記複数の画像データそれぞれが属する撮影シーンを用いて、前記複数の画像データ間の関連性の有無および当該関連性の種類を決定する関連性決定手段と、前記複数の画像データ間における関連性の有無を判定し、前記関連性の種類に対応するテンプレートを、記憶部に保持したテンプレートの中から選択するテンプレート選択手段と、前記複数の画像データを前記テンプレート選択手段により選択したテンプレートに適用することで、前記複数の画像データをページに配置する配置手段とを有する。
【選択図】 図2
【解決手段】複数の画像データそれぞれが有する付随情報を取得する取得手段と、前記複数の画像データそれぞれを解析して、当該画像データが属する撮影シーンを判定するシーン判定手段と、前記複数の画像データそれぞれの前記付随情報および前記シーン判定手段にて判定した前記複数の画像データそれぞれが属する撮影シーンを用いて、前記複数の画像データ間の関連性の有無および当該関連性の種類を決定する関連性決定手段と、前記複数の画像データ間における関連性の有無を判定し、前記関連性の種類に対応するテンプレートを、記憶部に保持したテンプレートの中から選択するテンプレート選択手段と、前記複数の画像データを前記テンプレート選択手段により選択したテンプレートに適用することで、前記複数の画像データをページに配置する配置手段とを有する。
【選択図】 図2
Description
本発明は、複数のデジタル画像をアルバムのように配置して編集する画像処理装置、画像処理方法、及びプログラムに関する。
近年、専用端末やパーソナルコンピュータを利用して、ユーザが所有する写真の画像データを配置し、アルバムとして画面を表示し印刷を行うシステムが普及してきている。このシステムは、ユーザからアルバムに入れる画像を受け付け、さらにユーザの指示に従ってアルバムの各ページ上に画像を配置する。その後、電子的なアルバムデータを生成し、これを表示あるいは印刷する。アルバムの各ページに画像を配置する際は、画像の位置関係や順序が「ストーリー性」を持つように配置すると見栄えが良くなる。そのためには、画像の間にどのような関連性があるかを判断する必要がある。
ユーザが各画像の間の関連性を判定して配置を決める作業を全て担うには負荷が大き過ぎる。そのため、予め各配置枠に画像の関連性を定義したテンプレートを選択し、そこに画像を嵌め込むという方式をとる画像処理装置が特許文献1に提案されている。
しかし、特許文献1に提案されている手法は、予め選んだテンプレートの配置枠の条件に見合った画像を抽出して自動配置するため、ユーザがアルバムに入れたい画像が抽出されない場合がある。また、ユーザが希望するストーリー性のテンプレートをテンプレートデータベースからユーザ自身が探す必要があるため、手間がかかってしまう。
本発明は上記を鑑みてなされたものであり、ユーザが選んだ画像を全て利用し、かつ自動的に画像の間の関連性を考慮して配置する画像処理装置を提案することを課題とする。
上記課題を解決するために、本発明は以下の構成を有する。すなわち、複数の画像データをページに配置する画像処理装置であって、前記複数の画像データそれぞれが有する付随情報を取得する取得手段と、前記複数の画像データそれぞれを解析して、当該画像データが属する撮影シーンを判定するシーン判定手段と、前記複数の画像データそれぞれの前記付随情報および前記シーン判定手段にて判定した前記複数の画像データそれぞれが属する撮影シーンを用いて、前記複数の画像データ間の関連性の有無を判定し、当該関連性の種類を決定する関連性決定手段と、前記複数の画像データ間における関連性の有無および前記関連性の種類に対応するテンプレートを、記憶部に保持したテンプレートの中から選択するテンプレート選択手段と、前記複数の画像データを前記テンプレート選択手段により選択したテンプレートに適用することで、前記複数の画像データをページに配置する配置手段とを有する。
ユーザが選択した画像について、画像の間の関連性を自動的に判定し、それに見合った配置のテンプレートを選択して画像を配置する。これにより、ユーザが選択した全ての画像を利用することが可能であり、かつストーリー性のある配置を自動的に行うことが可能となる。
以下、本発明を実施するための形態について図面を用いて説明する。
(第一実施形態)
本実施形態においては、ユーザから受け付けた画像に対して、その画像間の関連性を判定し、その関連性に応じて適切なテンプレートを抽出してページ上に画像を配置する画像処理装置の実施形態を、図面を参照しながら説明する。
(第一実施形態)
本実施形態においては、ユーザから受け付けた画像に対して、その画像間の関連性を判定し、その関連性に応じて適切なテンプレートを抽出してページ上に画像を配置する画像処理装置の実施形態を、図面を参照しながら説明する。
<画像処理装置におけるハードウェア・ソフトウェア構成>
図1は本発明における画像処理装置のハードウェア構成の一例を示すブロック図である。CPU102は、各種処理のための演算や論理判断などを行い、バス101に接続された各構成要素を制御する。本画像処理装置には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むCPU102による制御のためのプログラムを格納する。該メモリはROM103であっても良いし外部記憶装置などからプログラムがロードされるRAM104であっても良い。
図1は本発明における画像処理装置のハードウェア構成の一例を示すブロック図である。CPU102は、各種処理のための演算や論理判断などを行い、バス101に接続された各構成要素を制御する。本画像処理装置には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むCPU102による制御のためのプログラムを格納する。該メモリはROM103であっても良いし外部記憶装置などからプログラムがロードされるRAM104であっても良い。
外部記憶装置106は、本発明に係るプログラムや画像データ、テンプレートデータ等を記憶する。この外部記憶装置106は、画像群やテンプレートのセットを格納しておく際にも利用される。この外部記憶装置106の実体としては、例えばバス101に直接接続されたハードディスクドライブ等のストレージ機器やネットワークインタフェース105に接続されたストレージ機器、デジタルカメラのような画像データを保持できる機器であってもよい。ユーザインタフェース107は、ユーザからの指示を受け付けるためのユーザインタフェースである。このユーザインタフェース107の実態としては、いわゆるキーボードやポインティングデバイスなどを指す。ディスプレイ108は、CPU102で動作するプログラムによる指示に基づいて、ユーザに設定を促すための画面を表示する。
[ソフトウェア構成(その1)]
図2は本発明における画像処理装置のソフトウェア構成の一例を示すブロック図である。図2中の矢印はデータの流れを示す。画像情報管理部201は、外部記憶装置106に保持されている画像データ群の情報を管理し、他のモジュールの要求に応じて画像データを提供する。設定・開始受け付け部200は、ユーザがアルバムに配置したい画像データのリストの情報をユーザから受け付ける。その際、画像情報管理部201が管理する画像データのリストをユーザに知らせるためにディスプレイ108に表示する。画像のリストをユーザから受け付けた後は、画像データのリストを画像間関連性判定部203とテンプレート情報管理部202に渡し、さらに後述の関連性判定表を画像間関連性判定部203に渡す。
図2は本発明における画像処理装置のソフトウェア構成の一例を示すブロック図である。図2中の矢印はデータの流れを示す。画像情報管理部201は、外部記憶装置106に保持されている画像データ群の情報を管理し、他のモジュールの要求に応じて画像データを提供する。設定・開始受け付け部200は、ユーザがアルバムに配置したい画像データのリストの情報をユーザから受け付ける。その際、画像情報管理部201が管理する画像データのリストをユーザに知らせるためにディスプレイ108に表示する。画像のリストをユーザから受け付けた後は、画像データのリストを画像間関連性判定部203とテンプレート情報管理部202に渡し、さらに後述の関連性判定表を画像間関連性判定部203に渡す。
テンプレート情報管理部202は、画像データの配置位置を示す配置情報が定義されたテンプレートを管理し、他のモジュールの要求に応じてテンプレートデータを提供する。このテンプレートには、画像の配置情報だけでなく、画像データを配置する各配置枠の間には、配置される各画像データの間にあるべき関連性の種類が定義されている。画像間関連性判定部203は、画像情報管理部201で管理されている画像データを取得し、後述のフローに従って各画像間の関連性を判定する。
テンプレート選択部204は、テンプレート情報管理部202からテンプレートデータを取得し、画像間関連性判定部203が判定した画像間関連性情報を元に、保持しているテンプレートの中から最も適したテンプレートを選択する。画像間関連性情報の詳細については、後述する。画像配置部205は、テンプレート選択部204が選択したテンプレートに定義された配置枠に対して、画像情報管理部201から取得した画像データを配置する。また、必要に応じて、画像データを配置する際に、テンプレート上で定義された配置枠のサイズに拡大/縮小してもよい。出力部206は、画像配置部205で生成された画像がテンプレート上に配置された情報を元にアルバムデータを生成し、外部記憶装置106に出力する。アルバムデータの詳細については、後述する。
<画像データ間の関連性の判定処理>
図3は本発明における画像間関連性判定部203の一例を示すブロック図である。図3中の矢印はデータの流れを示す。画像データ取得部301は、画像情報管理部201からアルバムに配置する画像データを取得する。メタ情報抽出部302は、画像情報管理部201から取得した画像データそれぞれに付与されている色情報以外の付随情報(すなわちメタ情報)を抽出する。ここで扱うメタ情報には、例えば「撮影日時」「撮影場所」といった情報が含まれる。本実施形態で扱うメタ情報である「撮影日時」や「撮影場所」に関する具体的な情報は、図5を用いて後述する。撮影シーン解析部303は、画像情報管理部201から取得した画像データの各画素が有する色情報を元に、撮影シーンを解析する。撮影シーンとは、例えば「人物」「風景」「夜景」「建物」といった被写体の種類を表すものである。本実施形態にて扱う画像データが属する撮影シーンは4種類として定義され、その具体的な判定処理については、図4を用いて後述する。
図3は本発明における画像間関連性判定部203の一例を示すブロック図である。図3中の矢印はデータの流れを示す。画像データ取得部301は、画像情報管理部201からアルバムに配置する画像データを取得する。メタ情報抽出部302は、画像情報管理部201から取得した画像データそれぞれに付与されている色情報以外の付随情報(すなわちメタ情報)を抽出する。ここで扱うメタ情報には、例えば「撮影日時」「撮影場所」といった情報が含まれる。本実施形態で扱うメタ情報である「撮影日時」や「撮影場所」に関する具体的な情報は、図5を用いて後述する。撮影シーン解析部303は、画像情報管理部201から取得した画像データの各画素が有する色情報を元に、撮影シーンを解析する。撮影シーンとは、例えば「人物」「風景」「夜景」「建物」といった被写体の種類を表すものである。本実施形態にて扱う画像データが属する撮影シーンは4種類として定義され、その具体的な判定処理については、図4を用いて後述する。
時刻・距離マッピング部304は、各画像データのメタ情報である「撮影日時」「撮影場所」から、各画像データを時刻軸・距離軸の2次元座標にマッピングする。関連性有無判定部305は、2次元座標上にマッピングした各画像データの間の座標位置関係に基づいて画像間に関連性があるかどうかを判定する。設定取得部308は、設定・開始受け付け部200から図8に示す関連性判定表を受け取る。関連性判定表の詳細については後述する。
関連性種類判定部306は、画像データの間に関連性があると判定された任意の2つの画像データに対して、各々の撮影シーンと関連性判定表を元に、関連性の種類を判定する。関連性出力部307は、関連性有無判定部305および関連性種類判定部306が判定した関連性の有無とその種類をテンプレート選択部204に出力する。
[シーン判定処理]
図4は本発明の撮影シーン解析部303における撮影シーンの解析処理の一例を示すフローチャートである。図4のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。
図4は本発明の撮影シーン解析部303における撮影シーンの解析処理の一例を示すフローチャートである。図4のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。
S401では、撮影シーン解析部303は、画像データから人物の顔を検出する処理を行う。具体的な手法としては、例えば画像データから肌色周辺の色情報を有する画素を検出し、その画素群の輪郭が扁平率の小さい楕円形状であるかを判定することで人物顔を検出する方法を取っても良い。もちろん、その他の顔検出手法をとっても良い。S402では、撮影シーン解析部303は、S401にて画像データから人物の顔が検出されたかどうかを判定する。顔が検出された場合(S402にてYES)は、撮影シーン解析部303は、S403にて「人物」シーンであると決定し、処理を終了する。一方、顔が検出されなかった場合(S402にてNO)、S404に遷移する。
S404では、撮影シーン解析部303は、画像から輝度・色差ヒストグラムを抽出する。一般的に画像データはRED・GREEN・BLUEの3つの色信号(RGB)で構成されており、撮影シーン解析部303は、それらを輝度・色差信号に変換してからヒストグラムを算出する。本実施形態では輝度・色差信号としてYUV(Y:輝度、UV:色差)形式の情報を扱うものとする。RGBからYUVへの変換には下記の式1を用いる。
(式1)
本実施形態では、RGB、YUVともに0〜255の8ビットの範囲のデータを有するものとして扱う。また、輝度ヒストグラムは輝度を横軸に頻度を縦軸にとったものとし、色差ヒストグラムは横軸に輝度をとり縦軸にその輝度を有する画素集合の色差の平均値をとったものとする。
本実施形態では、RGB、YUVともに0〜255の8ビットの範囲のデータを有するものとして扱う。また、輝度ヒストグラムは輝度を横軸に頻度を縦軸にとったものとし、色差ヒストグラムは横軸に輝度をとり縦軸にその輝度を有する画素集合の色差の平均値をとったものとする。
S405では、撮影シーン解析部303は、画像データが「夜景」シーンであるかを判定する。輝度ヒストグラムより算出した平均輝度が60未満の場合(S405にてYES)は、S406にて撮影シーン解析部303は「夜景」シーンと判定し、処理を終了する。平均輝度が60以上の場合(S405にてNO)は、S407へ遷移する。なお、本フローでは平均輝度に対する基準を60として判定しているが、これに限定するものではない。輝度の基準値は経験的に変更しても構わない。
S407では、撮影シーン解析部303は、画像データが「風景」シーンであるかを判定する。画像データの中心輝度(ミッドポイント:MDと記載)における色差の平均彩度が20より大きく、かつ画像データの高輝度(ハイライト:HLと記載)における平均彩度が10より大きい場合(S407にてYES)、撮影シーン解析部303は、S408にて「風景シーン」と判定し、処理を終了する。
ここで、MDとHLの輝度値は輝度ヒストグラムより決定する。具体的には、撮影シーン解析部303は、輝度ヒストグラムの度数中心(メディアン)となる輝度値を算出し、その輝度値をMDの輝度値とする。また、撮影シーン解析部303は、輝度ヒストグラムの度数上位5%に相当する輝度値を算出し、その輝度値をHLの輝度値とする。ここで、色差ヒストグラムからMDとHLに対応するUVがMDとHLの平均色差となる。MDとHLの平均彩度は、MDとHLの平均色差UVより√{U^2+V^2}^2として算出する。ここで、“^”は、階乗を示し、例えば、“U^2”は、Uの2乗を示す。なお、彩度の算出方式はこれに限定するものではない。また、MD彩度に対する基準値を“20”、HL彩度に対する基準値を“10”として判定しているが、これに限定するものではない。彩度の基準値は経験的に変更しても構わない。
S409では、撮影シーン解析部303は、S407において「風景」シーンと判定されなかった場合(S407にてNO)に「建物」シーンと判定する。以上で撮影シーン解析処理は終了する。
[時刻・距離マッピング処理]
図6は本発明における時刻・距離マッピング部304における時刻・距離マッピング処理の一例を示すフローチャートである。図6のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。説明をわかりやすくするため、サンプルとして図5に示す画像データを扱うこととする。ここでサンプルとして用いる画像データはAからGまであり、それぞれの画像データにはメタ情報抽出部302と撮影シーン解析部303によって判定された撮影日時501、撮影場所502、撮影シーン503を属性として有する。撮影日時501は、画像が取得された日時を示す。撮影場所502は、画像が取得された場所の座標を示す。撮影シーン503は、上記で述べた4つの属性のうちのいずれかが設定される。
図6は本発明における時刻・距離マッピング部304における時刻・距離マッピング処理の一例を示すフローチャートである。図6のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。説明をわかりやすくするため、サンプルとして図5に示す画像データを扱うこととする。ここでサンプルとして用いる画像データはAからGまであり、それぞれの画像データにはメタ情報抽出部302と撮影シーン解析部303によって判定された撮影日時501、撮影場所502、撮影シーン503を属性として有する。撮影日時501は、画像が取得された日時を示す。撮影場所502は、画像が取得された場所の座標を示す。撮影シーン503は、上記で述べた4つの属性のうちのいずれかが設定される。
S601では、時刻・距離マッピング部304は、メタ情報抽出部302より取得した各画像データの撮影日時・撮影場所の情報を取得する。S602では、時刻・距離マッピング部304は、撮影日時情報より画像を時刻軸にマッピングする。ここで、時刻軸は撮影日時が最も古い画像データ(ここでは画像データA)を基点としてそこからの増加値を表す軸である。各画像データの撮影日時はスカラー値として表現できるため、そのまま画像データAとの差分をもとに時刻軸にマッピングすることが可能である。
S603とS604では、時刻・距離マッピング部304は、撮影日時情報と撮影場所情報より画像を距離軸にマッピングする。距離軸は撮影日時が最も古い画像データ(ここでは画像A)を基点とし、次の撮影日時を取る画像データへ距離の差分をもとに画像データをマッピングしていく。S603では、時刻・距離マッピング部304は、最も近い撮影日時を取る画像データ同士の撮影場所の距離を正の差分値として算出する。次に、S604において、時刻・距離マッピング部304は、差分値をもとに各画像データを距離軸にマッピングしていく。これにより、時刻軸も距離軸も単調増加的にマッピングされることになる。以上で撮影時刻・場所マッピング処理は終了する。
上記処理フローに基づいてサンプルの画像データA〜Gを時刻軸・距離軸にマッピングした様子を図7に示す。
[ソフトウェア構成(その2)]
図3の説明に戻る。関連性有無判定部305は時刻・距離マッピング部304がマッピングした時刻軸・距離軸の2次元座標情報に基づき、各画像データの間に関連性があるかどうかを判定する。本実施形態では、一例として、関連性の有無を判定する条件として、以下の条件を用いる。すなわち、「画像データ間の時刻軸上の差が20分以内かつ距離軸上の差が1000m以内」または「画像データ間の時刻軸上の差が60分以内かつ距離軸上の差が200m以内」である場合、その画像データ間には関連性があると判定する。その関連性があると判定される一定の範囲を図7にグレーで塗った領域として示す。なお、関連性には向きがあり、撮影日時が古い画像データから撮影日時が新しい画像データへ向かって関連性があるとする(この向きはアルバム上におけるストーリーの向きを表す)。例えば画像データAと関連がある画像データは画像データB、画像データCである。また、画像データBを原点とした場合、画像データCが上記条件に合致する為、画像データBと画像データCは関連性がある。また、画像データCを原点とした場合、画像データDが上記条件に合致する為、画像データCと画像データDは関連性がある。なお、関連性の有無を判定する条件は、上記に限定されるものではなく、例えば、画像処理装置のユーザが設定できるようにしても構わない。また、例えば、経過時刻のみで判定しても構わないし、距離のみで判定しても構わない。
図3の説明に戻る。関連性有無判定部305は時刻・距離マッピング部304がマッピングした時刻軸・距離軸の2次元座標情報に基づき、各画像データの間に関連性があるかどうかを判定する。本実施形態では、一例として、関連性の有無を判定する条件として、以下の条件を用いる。すなわち、「画像データ間の時刻軸上の差が20分以内かつ距離軸上の差が1000m以内」または「画像データ間の時刻軸上の差が60分以内かつ距離軸上の差が200m以内」である場合、その画像データ間には関連性があると判定する。その関連性があると判定される一定の範囲を図7にグレーで塗った領域として示す。なお、関連性には向きがあり、撮影日時が古い画像データから撮影日時が新しい画像データへ向かって関連性があるとする(この向きはアルバム上におけるストーリーの向きを表す)。例えば画像データAと関連がある画像データは画像データB、画像データCである。また、画像データBを原点とした場合、画像データCが上記条件に合致する為、画像データBと画像データCは関連性がある。また、画像データCを原点とした場合、画像データDが上記条件に合致する為、画像データCと画像データDは関連性がある。なお、関連性の有無を判定する条件は、上記に限定されるものではなく、例えば、画像処理装置のユーザが設定できるようにしても構わない。また、例えば、経過時刻のみで判定しても構わないし、距離のみで判定しても構わない。
次に、関連性種類判定部306は、関連性有無判定部305で判定した関連性がある任意の2つの画像データに対し、画像データの撮影シーンに基づいて関連性の種類を判定する。
図8に本実施形態における画像間関連性を判定するための関連性判定表を示す。この関連性判定表は、本実施形態では予め用意した画像データが属する撮影シーンごとの組み合わせの対応を示す固定の対応表であり、その組み合わせごとに関連性が定義されている。また、関連性判定表は、記憶部にて保持されているものとする。関連性判定表は、設定取得部308が設定・開始受け付け部200より取得し、関連性種類判定部306に渡す。本実施形態における関連性判定表では、「風景」と「夜景」は同じものとして扱う。画像間の関連性は有向性の関係として定義したため、起点と終点を有する。起点と終点の画像データの撮影シーンを元に関連性の種類を判定する。
例えば画像データAは人物シーンで画像データBは建物であるため、「周囲」という関連を有する関連性であると判定する。一方、画像データBと画像データCとは関連性有無判定部305においては関連性を有すると判定されたが、図8の関連性判定表では「−」となるため関連性がないと再決定される。なお、本実施形態においては、4つの撮影シーンを撮影シーン解析部303にて判定し、その撮影シーンに基づく関連性判定表を備えている。しかし、画像処理装置の機能に合わせてさらに詳細な撮影シーンを判定しても良い。その場合は、関連性判定表に定義される組み合わせも増加する。
以上の画像間関連性判定部203の処理により決定された画像データA〜Dの関連性の有無と種類を図9(a)に示す。画像データが属する撮影シーンをノードとし、ノード間の関連性を矢印にてリンクさせている。ここで、矢印の元は起点の画像データであり、矢印の先は終点を表している。ここでは、画像データAは、画像データBおよび画像データCと直接的に関連付けられている。また、画像データAは、画像データDと、画像データCを介して間接的に関連付けられている。
[関連性有無判定処理および関連性種類判定処理]
上記の関連性有無判定部305と関連性種類判定部306の処理のフローチャートを図10に示す。図10のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。以下の関連性有無判定処理および関連性類似判定処理により、関連性決定を行う。
上記の関連性有無判定部305と関連性種類判定部306の処理のフローチャートを図10に示す。図10のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。以下の関連性有無判定処理および関連性類似判定処理により、関連性決定を行う。
S1001では、関連性有無判定部305は、基準(図7に示す座標系において、原点)とする画像データの番号を表す変数iを1で初期化する。次にS1002では、関連性有無判定部305は、変数iが処理対象の画像データの数より大きいか否かを判定し、大きい場合(S1002にてYES)は処理を終了する。変数iと画像データの数が等しいかそれ以下であれば(S1002にてNO)、S1003に遷移する。
S1003では、関連性有無判定部305は、基準とした画像データに対して関連性があるかをチェックする対象の画像データの番号を表す変数jをi+1で初期化する。ここで、チェック対象の画像データを示す変数jをi+1から始めるのは、基準より撮影日時が古い画像データとは関連性を有さず、画像データの番号は撮影日時順に並んでいることを利用している。したがって、基準となる画像データより新しい画像データだけをチェックすればよい。
S1004では、関連性有無判定部305は、変数jが画像のデータ数より大きいかを判定し、大きい場合(S1004にてYES)は、変数iを1だけインクリメントしてS1002に戻る。変数jが画像データの数と等しいか小さい場合(S1004にてNO)は、S1005へ遷移する。S1005では、関連性有無判定部305は、画像iと画像jが「時刻軸上の差が20分以内かつ距離軸上の差が1000m以内」または「時刻軸上の差が60分以内かつ距離軸上の差が200m以内」であるかを判定し、条件を満足した場合のみS1006に移る。S1006では、関連性種類判定部306は、図9の関連性判定表と画像データの撮影シーンに基づいて、関連性の種類を決定する。S1007では、関連性有無判定部305は、変数jを1だけインクリメントしてS1004の処理に戻る。
関連性種類判定部306は、S1006にて画像データの関連性の有無と種類を決定した後、「関連性情報」データとして関連性出力部307に出力する。ここで、関連性情報とは、画像データ間の任意の関連性について、その起点となる画像データ、終点となる画像データ、およびその画像データ間の関連性の種類、を定義した情報のことである。図9(a)に示した各画像データの関連性を例に取ってそのデータ構造を図9(b)に示す。ここで、データ構造において、Relativenessは関連性情報を定義するという意味を表す。また、Sourceは起点となる画像データ、Destinationは終点となる画像データ、Typeは画像データ間の関連性の種類を表す。
<画像データに対して最適なテンプレートを抽出する処理の説明>
次に、決定された画像データ間の関連性情報に対して最適なテンプレートを抽出する処理を説明する。図11は本発明におけるテンプレート選択部204の一例を示すブロック図である。画像・関連性取得部1101は、画像情報管理部201から画像データを取得し、さらに画像間関連性判定部203から画像データ間の関連性情報を取得する。グループ抽出部1102は、関連性で紐付けられた画像データ群(以降はグループと記載)を抽出する。テンプレート取得部1103は、テンプレート情報管理部202よりテンプレートデータを取得する。
次に、決定された画像データ間の関連性情報に対して最適なテンプレートを抽出する処理を説明する。図11は本発明におけるテンプレート選択部204の一例を示すブロック図である。画像・関連性取得部1101は、画像情報管理部201から画像データを取得し、さらに画像間関連性判定部203から画像データ間の関連性情報を取得する。グループ抽出部1102は、関連性で紐付けられた画像データ群(以降はグループと記載)を抽出する。テンプレート取得部1103は、テンプレート情報管理部202よりテンプレートデータを取得する。
テンプレートマッチング部1104は、グループ抽出部1102で抽出した各グループの関連性情報とテンプレート取得部1103で取得したテンプレートデータの関連性情報を比較する。そして、テンプレートマッチング部1104は、その類似度を表すスコアを算出し、類似度スコアが最も高いテンプレートデータをそのグループに最も適したテンプレートとして抽出する。テンプレート出力部1105は、テンプレートマッチング部1104が抽出したテンプレートと、テンプレートの配置枠(フレーム)と画像データとの対応関係を出力部206に出力する。
[テンプレートデータ構造]
次に、本発明の実施形態で説明するテンプレートデータの構成について説明する。図12(a)に本実施形態で定義するテンプレートデータの一例を示す。ここで示すテンプレート1200は、A4紙サイズにおいて画像を嵌め込むフレーム(Frame1,Frame2,Frame3,Frame4)を表す座標領域情報(Top,Left,Bottom,Right)を有する。テンプレート1200は、画像が嵌め込まれるフレーム1201と、テンプレート内におけるフレーム間の関連性を示す関連性情報1202とを有する。ここでの例においては、4つのフレームと、3つの関連性情報が示されている。
次に、本発明の実施形態で説明するテンプレートデータの構成について説明する。図12(a)に本実施形態で定義するテンプレートデータの一例を示す。ここで示すテンプレート1200は、A4紙サイズにおいて画像を嵌め込むフレーム(Frame1,Frame2,Frame3,Frame4)を表す座標領域情報(Top,Left,Bottom,Right)を有する。テンプレート1200は、画像が嵌め込まれるフレーム1201と、テンプレート内におけるフレーム間の関連性を示す関連性情報1202とを有する。ここでの例においては、4つのフレームと、3つの関連性情報が示されている。
図12(b)にテンプレートのデータ構造の例を示す。Positionタグにはフレームの名称(Name)と、それぞれの領域情報(Top,Left,Bottom,Right)、フレームの番号(ID)を規定する。また、Relativenessタグには、図9(b)を用いて説明したように、フレーム間の関連性の向き(Source、Destination)と関連性の種類(広角、周囲、周囲)を規定する。テンプレート情報管理部202はこのようなテンプレートデータを多数格納する。ここで、図12(b)に示すデータ構造がテンプレートを示すために、データには、Templeteの記述が含まれる。ここではテンプレートを一意に示すために、“Templete1”として記載されている。
[テンプレート選択処理]
図13は、本発明におけるテンプレート選択部204において、関連性情報で紐づけられた画像データのグループを抽出する手順を示すフローチャートである。図13のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。
図13は、本発明におけるテンプレート選択部204において、関連性情報で紐づけられた画像データのグループを抽出する手順を示すフローチャートである。図13のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。
S1301では、テンプレート選択部204は、画像情報管理部201より画像データを、画像間関連性判定部203より関連性データを取得する。S1302では、テンプレート選択部204は、画像データ間の関連性情報で関連付けられた画像データのグループを抽出する。S1303では、テンプレート選択部204は、テンプレート情報管理部202よりテンプレートデータを取得する。S1304では、テンプレート選択部204は、画像データの各グループに対して、類似度スコアが最も高いテンプレートを検出する。S1305では、テンプレート選択部204は、グループとテンプレートデータのセットを画像配置部205に出力する。
図14(a)に、図5に示す画像データA〜Gのうち、グルーピングされた画像データA〜Dにおける関連性情報を示す。図14(b)は、図14(a)に示すグループをデータ構造として定義したものである。データ構造において、Imagesタグには、各画像データの名前(Name)、撮影シーン(Scene)、および番号(ID)を規定する。また、データ構造において、Relativenessタグには画像データ間の関連性の向き(Source、Destination)と関連性の種類(広角、周囲、等価)を規定する。ここで、図14(b)に示すデータ構造がグルーピングされた実データを示すために、データには、Groupの記述が含まれる。ここではグルーピングされたデータを一意に示すために、“Group1”として記載されている。
[類似度算出処理]
図15は、本実施形態におけるテンプレート選択部204のテンプレートマッチング部1104において、グループとテンプレートデータとの類似度スコアを算出する処理の一例を示すフローチャートである。具体的には、図13にて示した処理フローにおけるS1304の中でテンプレートマッチング部1104により実行される。図15のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。
図15は、本実施形態におけるテンプレート選択部204のテンプレートマッチング部1104において、グループとテンプレートデータとの類似度スコアを算出する処理の一例を示すフローチャートである。具体的には、図13にて示した処理フローにおけるS1304の中でテンプレートマッチング部1104により実行される。図15のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。
S1501では、テンプレートマッチング部1104は、グループ内の画像データの数とテンプレートデータ内のフレームの数が等しいかどうかを判定する。画像データの数とテンプレート内のフレームの数とが等しくない場合(S1501にてNO)は、テンプレートマッチング部1104は、S1502にて類似度スコアを“0”と出力して処理を終了する。等しい場合(S1501にてYES)は、S1503に遷移する。S1503では、テンプレートマッチング部1104は、グループ内の画像データについて、全ての順列パターンを列挙する。ここで、順列パターンは、本実施形態に示したように4つの画像データの場合、24パターンが考えられる。S1504では、テンプレートマッチング部1104は、各順列パターンを配列Array[]の各要素に格納する。S1505では、テンプレートマッチング部1104は、各順列をチェックするための変数i、類似度スコアの最大値を管理する変数MaxScore、類似度スコアの最大値を有する順列の番号を示す変数MaxPatternを初期化する。
S1506では、テンプレートマッチング部1104は、変数iが全順列の数よりも大きいか否かを判定し、大きい場合(S1506にてYES)は、全ての順列をチェックしたとして、S1513へ遷移する。S1513では、テンプレートマッチング部1104は、テンプレートデータ、類似度スコア(MaxScore)、およびその時点での順列Array[i]を出力して処理を終了する。
S1506にて変数iが全順列の数以下である場合(S1506にてNO)は、S1507へ遷移する。S1507では、テンプレートマッチング部1104は、順列パターンをArray[i]より取り出す。S1508では、テンプレートマッチング部1104は、順列パターンの順序で画像データをテンプレートデータの各フレームに対応させる。この時、各フレームの順序は常にIDの若い順とする。S1509では、テンプレートマッチング部1104は、画像データの各関連性情報について、SourceとDestinationの各画像データに対応するフレームの間に関連性情報が存在すれば“1”として計算する。さらに関連性の種類が一致すれば“3”、関連性情報がなければ“0”として計算する。つまり、本実施形態において、SourceとDestination間の関連性情報に基づく値は、“0”、“1”、“3”のいずれかが適用される。そして、テンプレートマッチング部1104は、画像データ間の全ての関連性情報の合計値(Score)を算出する。
S1510では、テンプレートマッチング部1104は、ScoreがMaxScoreより大きいか否かを判定する。Scoreの方が大きい場合(S1510にてYES)は、テンプレートマッチング部1104は、S1511にてMaxScoreをScoreで更新し、MaxPatternをiで更新する。S1512では、テンプレートマッチング部1104は、変数iを1だけインクリメントしてS1506に戻る。
[類似度算出例]
図16に、図14(a)に示したグループに対して図16(a)および図16(b)それぞれに示すテンプレート1とテンプレート2との類似度スコアの算出の様子の例を示す。図16(a)では、テンプレート1に対して類似度スコアを算出する。最も類似度スコアが高い順列は図16(a)で示すようにB・A・C・Dの順列で、それぞれFrame2・Frame1・Frame3・Frame4に対応した場合である。この時、画像データAと画像データBとの間に「広角」の関連性があり、画像データAと画像データBそれぞれに対応するFrame1とFrame2との間にも同じ「広角」の関連性がある。よって、ここはスコアを“3”として算出する。同様に、画像データAと画像データCとの間の関連性もFrame1とFrame3との間に同じ「周囲」の関連性があるため、スコアを“3”として算出する。一方、画像データCと画像データDとの間に「等価」の関連性があるが、画像データCと画像データDそれぞれに対応するFrame3とFrame4との間には「周囲」の関連性となっており、関連性は一致しない。しかし、関連性は存在しているため、スコアを“1”として算出する。よって、図16(a)のケースでは類似度スコア(Score)は合計で“7”となる。
図16に、図14(a)に示したグループに対して図16(a)および図16(b)それぞれに示すテンプレート1とテンプレート2との類似度スコアの算出の様子の例を示す。図16(a)では、テンプレート1に対して類似度スコアを算出する。最も類似度スコアが高い順列は図16(a)で示すようにB・A・C・Dの順列で、それぞれFrame2・Frame1・Frame3・Frame4に対応した場合である。この時、画像データAと画像データBとの間に「広角」の関連性があり、画像データAと画像データBそれぞれに対応するFrame1とFrame2との間にも同じ「広角」の関連性がある。よって、ここはスコアを“3”として算出する。同様に、画像データAと画像データCとの間の関連性もFrame1とFrame3との間に同じ「周囲」の関連性があるため、スコアを“3”として算出する。一方、画像データCと画像データDとの間に「等価」の関連性があるが、画像データCと画像データDそれぞれに対応するFrame3とFrame4との間には「周囲」の関連性となっており、関連性は一致しない。しかし、関連性は存在しているため、スコアを“1”として算出する。よって、図16(a)のケースでは類似度スコア(Score)は合計で“7”となる。
次に、図16(b)では、テンプレート2に対して類似度スコアを算出する。最も類似度スコアが高い順列は図16(b)で示すようにB・A・C・Dの順列で、それぞれFrame6・Frame5・Frame7・Frame8で対応した場合である。この時、画像データAと画像データBとの間に「広角」の関連性があり、画像データAと画像データBそれぞれに対応するFrame5とFrame6との間にも同じ「広角」の関連性がある。よって、ここはスコアを“3”として算出する。同様に、画像データAと画像データCとの間の関連性もFrame5とFrame7との間に同じ「周囲」の関連性があるため、スコアを“3”として算出する。一方、画像データCと画像データDとの間に「等価」の関連性があるが、画像データCと画像データDそれぞれに対応するFrame7とFrame8の間には関連性がない。この場合は、スコアを“0”として算出する。よって、図16(b)のケースでは類似度スコア(Score)は合計で“6”となる。図16のケースでは、画像データA〜Dのグループに対しては、テンプレート1の方がテンプレート2より類似度が高いという結果となる。
以上のように、本実施形態の画像処理装置は、ユーザが選択した画像について、画像の間の関連性を自動的に判定し、それに見合った配置のテンプレートを選択して配置する。これによって、ユーザが選択した全ての画像を利用することが可能であり、かつストーリー性のある配置を自動的に行うことが可能となる。
(第二実施形態)
第一実施形態では画像データ間の関連性の種類を判定するための関連性判定表は固定であった。これに対し、本実施形態においては、ユーザの指示に応じて関連性判定表切り替えることを可能にする実施形態を、図面を参照しながら説明する。第二実施形態における画像処理装置の構成は第一実施形態で説明した図1、図2、図3、及び図10に示す構成と同様であり、説明は省略する。
第一実施形態では画像データ間の関連性の種類を判定するための関連性判定表は固定であった。これに対し、本実施形態においては、ユーザの指示に応じて関連性判定表切り替えることを可能にする実施形態を、図面を参照しながら説明する。第二実施形態における画像処理装置の構成は第一実施形態で説明した図1、図2、図3、及び図10に示す構成と同様であり、説明は省略する。
[ポリシー設定]
図17は本発明における関連付けポリシー設定画面を示す。設定画面1700は、設定・開始受け付け部200が画像処理装置の処理開始時にユーザに表示する画面である。ここでは、ユーザから画像データのリストを受け取る前に、この設定画面1700を表示してユーザから関連付けのポリシーの指示を受け付ける。ポリシー選択欄1701は各画像データに対する関連付けのポリシーを選択するための選択欄である。本実施形態において、ポリシーには一例として「人物中心」、「建物中心」、「風景中心(夜景も含む)」という選択肢を設けている。設定完了ボタン1702は、ユーザに押下されると設定・開始受け付け部200がポリシーに対応した関連性判定表を画像間関連性判定部203に渡す。すると、設定取得部308が関連性判定表を取得し、関連性種類判定部306に関連性判定表を渡す。
図17は本発明における関連付けポリシー設定画面を示す。設定画面1700は、設定・開始受け付け部200が画像処理装置の処理開始時にユーザに表示する画面である。ここでは、ユーザから画像データのリストを受け取る前に、この設定画面1700を表示してユーザから関連付けのポリシーの指示を受け付ける。ポリシー選択欄1701は各画像データに対する関連付けのポリシーを選択するための選択欄である。本実施形態において、ポリシーには一例として「人物中心」、「建物中心」、「風景中心(夜景も含む)」という選択肢を設けている。設定完了ボタン1702は、ユーザに押下されると設定・開始受け付け部200がポリシーに対応した関連性判定表を画像間関連性判定部203に渡す。すると、設定取得部308が関連性判定表を取得し、関連性種類判定部306に関連性判定表を渡す。
図18に本実施形態における各ポリシーに対応する関連性判定表の一例を示す。図18(a)はポリシーが「人物中心」に設定された場合に用いられる関連性判定表を示す。同様に、図18(b)はポリシーが「建物中心」に設定された場合に、図18(c)はポリシーが「風景中心」に設定された場合に用いられる関連性判定表である。それぞれ、図18(a)は人物を起点、図18(b)は建物を起点、図18(c)は風景・夜景を起点とした関連性ができやすいという特徴を有する。ユーザが「建物中心」を選んだ場合、例えば図5の画像データA〜Dにおける関連性は図19のようになる。第一実施形態と比較して、新たに建物が起点となったグループが形成されていることがわかる。なお、ここでは、3つのポリシー、およびそれぞれのポリシーに対応した関連性判定表を予め定義しておき、ユーザに選択させている。しかし、ポリシーの数は3つに限定されるものではなく、例えば、4以上のポリシーを定義し、それぞれに対応する関連性判定表を用いてもよい。また、グループごとに設定を変更するようにしても構わない。
[関連性判定表出力処理]
図20に、本実施形態における設定・開始受け付け部200が関連付けのポリシーごとに関連性判定表を切り替えて画像データの関連性を判定する処理のフローチャートを示す。図20のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。
図20に、本実施形態における設定・開始受け付け部200が関連付けのポリシーごとに関連性判定表を切り替えて画像データの関連性を判定する処理のフローチャートを示す。図20のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。
S2001では、設定・開始受け付け部200は、ポリシー選択欄1701に設定された値に応じて処理を切り替える。関連付けポリシーが「人物中心」である場合は、設定・開始受け付け部200は、S2002にて人物中心の関連性判定表(図18(a))を設定取得部308に出力する。関連付けポリシーが「建物中心」である場合は、設定・開始受け付け部200は、S2003にて建物中心の関連性判定表(図18(b))を設定取得部308に出力する。関連付けポリシーが「建物中心」である場合は、設定・開始受け付け部200は、S2004にて建物中心の関連性判定表(図18(c))を設定取得部308に出力する。
以上のように、本実施形態の画像処理装置は、第一実施形態の効果に加え、画像間の関連付けの手法をユーザの指示に応じて切り替えることを可能にする。
(第三実施形態)
第一実施形態では画像データの間の関連性の有無の判定において、時間軸・距離軸の判定条件は固定であった。関連性で関連付けられた複数の画像データを含む1つのグループをアルバムの1ページに収めるとすると、1ページあたりの画像データ数は撮影時刻のバラツキによって制御できないものとなってしまう。そのため、本実施形態においては、1ページあたりの画像データ数をユーザから受け付け、1グループあたりの画像データ数の期待値がその値に近づくように判定条件を切り替えることを可能にする実施形態を、図面を参照しながら説明する。第三実施形態における画像処理装置の構成は第一実施形態で説明した図1、図2、図3、及び図10に示す構成と同様であり、説明は省略する。
第一実施形態では画像データの間の関連性の有無の判定において、時間軸・距離軸の判定条件は固定であった。関連性で関連付けられた複数の画像データを含む1つのグループをアルバムの1ページに収めるとすると、1ページあたりの画像データ数は撮影時刻のバラツキによって制御できないものとなってしまう。そのため、本実施形態においては、1ページあたりの画像データ数をユーザから受け付け、1グループあたりの画像データ数の期待値がその値に近づくように判定条件を切り替えることを可能にする実施形態を、図面を参照しながら説明する。第三実施形態における画像処理装置の構成は第一実施形態で説明した図1、図2、図3、及び図10に示す構成と同様であり、説明は省略する。
[画像データ数設定]
図21は本実施形態における1ページあたりの画像数設定画面を示す図である。設定画面2100は設定・開始受け付け部200がシステムの処理開始時にユーザに表示する画面である。ユーザから画像リストを受け取る際に、同時にこの設定画面2100を表示してユーザからページあたりの画像データ数の指示を受け付ける。画像数入力欄2101はページあたりの画像数を入力する為の入力欄である。本実施形態では、1ページに配置可能な所定の画像データの数として、1〜12枚の範囲で設定可能として制限されているとする。設定完了ボタン2102は、ユーザに押下されるとページあたりの画像データ数を画像間関連性判定部203に渡す。なお、ここでは、ページあたりの画像データ数を一つに固定して設定しているが、これに限定するものではない。例えば、出力するアルバムのサイズ(用紙サイズ)に応じて、1ページあたりの画像データ数を変更できるようにしても構わない。なお、グループとして分類された1ページに含まれる画像データはいずれも、他の画像データと直接的もしくは間接的に関連付けられていることとなる。ここでの“間接的”とは、他の画像データを介して更に別の画像データと関連づいていることを指す。
図21は本実施形態における1ページあたりの画像数設定画面を示す図である。設定画面2100は設定・開始受け付け部200がシステムの処理開始時にユーザに表示する画面である。ユーザから画像リストを受け取る際に、同時にこの設定画面2100を表示してユーザからページあたりの画像データ数の指示を受け付ける。画像数入力欄2101はページあたりの画像数を入力する為の入力欄である。本実施形態では、1ページに配置可能な所定の画像データの数として、1〜12枚の範囲で設定可能として制限されているとする。設定完了ボタン2102は、ユーザに押下されるとページあたりの画像データ数を画像間関連性判定部203に渡す。なお、ここでは、ページあたりの画像データ数を一つに固定して設定しているが、これに限定するものではない。例えば、出力するアルバムのサイズ(用紙サイズ)に応じて、1ページあたりの画像データ数を変更できるようにしても構わない。なお、グループとして分類された1ページに含まれる画像データはいずれも、他の画像データと直接的もしくは間接的に関連付けられていることとなる。ここでの“間接的”とは、他の画像データを介して更に別の画像データと関連づいていることを指す。
[関連性有無判定処理]
図22は本実施形態における画像間関連性判定部203の関連性有無判定部305において、画像データ間の関連性の有無を判定する処理の一例を示すフローチャートである。図22のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。
図22は本実施形態における画像間関連性判定部203の関連性有無判定部305において、画像データ間の関連性の有無を判定する処理の一例を示すフローチャートである。図22のフローの各ステップは記憶部であるROM103等に格納されたプログラムをCPU102が読み出し、CPU102の制御に基づいて実行される。
まず、S2201からS2205の処理では、関連性有無判定部305は、ユーザから受け付けた1ページあたりの画像データ数を実現するための時刻軸・距離軸の判定閾値をそれぞれ算出する。距離軸の閾値と時刻軸の閾値とは、全く同じ方法で算出できる。従って、以下では、時刻軸の閾値を求める方法を説明し、距離軸の閾値を求める方法は割愛する。
S2201では、関連性有無判定部305は、設定取得部308から設定・開始受け付け部200を介して取得した1ページあたりの画像データ数Mを取得する。S2202では、関連性有無判定部305は、標準正規分布関数において1ページあたりの画像データ数がMとなる確率変数zの値を算出する。標準正規分布関数は式2に示す関数である。
(式2)
1ページあたりの画像データ数がMということは、Mごとにグループ化される、つまりMごとに1つ関連性が無い確率を取る確率変数zを求めればよい。Mごとに1つ関連性が無い確率は(M−1)/Mで表される。この確率を取る確率変数zを算出するための式は式3で表すことができる。
1ページあたりの画像データ数がMということは、Mごとにグループ化される、つまりMごとに1つ関連性が無い確率を取る確率変数zを求めればよい。Mごとに1つ関連性が無い確率は(M−1)/Mで表される。この確率を取る確率変数zを算出するための式は式3で表すことができる。
S2203では、関連性有無判定部305は、時刻軸上で最も近い画像データそれぞれについて、時刻軸方向の差分値を算出する。差分値は式4に基づいて算出する。
S2204では、関連性有無判定部305は、S2203で求めた画像データ間の差分値diに基づいて、その平均値μと標準偏差σを算出する。平均値μは式5を用いて算出し、標準偏差σは式6で算出する。Nは全画像データの数を表す(すなわち、N−1が差分値の個数になる)。
(式7)
これは、1ページあたりの画像データ数を実現するための確率変数zに対し、実際の時刻軸方向の差分値のバラツキを示す標準偏差σをかけ、差分値の平均値μを足すことで、実際の閾値を求めている。距離軸の閾値に関しても以上と全く同じの手法で閾値を求める。
これは、1ページあたりの画像データ数を実現するための確率変数zに対し、実際の時刻軸方向の差分値のバラツキを示す標準偏差σをかけ、差分値の平均値μを足すことで、実際の閾値を求めている。距離軸の閾値に関しても以上と全く同じの手法で閾値を求める。
S2206では、関連性有無判定部305は、求めた時刻軸・距離軸の閾値を元に、任意の2つの画像データについて、時間軸方向の差分または距離軸方向の差分が閾値に納まるならば、関連性があると判定する。以上で関連性有無判定処理は終了する。
以上の処理に基づき、S2205において算出された値を用いて、第一実施形態にて述べた図10のS1005における条件を変更することとなる。
以上により、本実施形態の画像処理装置は、第一実施形態の効果に加え、ユーザが設定した1ページあたりの画像データの数に応じて範囲を切り替えることを可能にする。
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (10)
- 複数の画像データをページに配置する画像処理装置であって、
前記複数の画像データそれぞれが有する付随情報を取得する取得手段と、
前記複数の画像データそれぞれを解析して、当該画像データが属する撮影シーンを判定するシーン判定手段と、
前記複数の画像データそれぞれの前記付随情報および前記シーン判定手段にて判定した前記複数の画像データそれぞれが属する撮影シーンを用いて、前記複数の画像データ間の関連性の有無を判定し、当該関連性の種類を決定する関連性決定手段と、
前記複数の画像データ間における関連性の有無および前記関連性の種類に対応するテンプレートを、記憶部に保持したテンプレートの中から選択するテンプレート選択手段と、
前記複数の画像データを前記テンプレート選択手段により選択したテンプレートに適用することで、前記複数の画像データをページに配置する配置手段と
を有することを特徴とする画像処理装置。 - 前記関連性決定手段は、前記複数の画像データ間の関連性の有無を判定する際に、画像データの付随情報に含まれる撮影場所および撮影日時の少なくとも一方を用いて判定することを特徴とする請求項1に記載の画像処理装置。
- 前記関連性決定手段は、前記付随情報に含まれる撮影場所および撮影日時それぞれにおいて、基準となる画像データの値から一定の範囲に含まれる値を有する画像データに対して、前記関連性の有無を判定し、当該関連性の種類を決定することを特徴とする請求項2に記載の画像処理装置。
- 前記関連性決定手段は、ページに所定の数の画像データを配置する際に、前記複数の画像データのうち直接的もしくは間接的に関連付けられる画像データの数の平均値が、設定された前記所定の数の近似値となる様に、前記付随情報に含まれる撮影場所および撮影日時それぞれにおいて、基準となる画像データの値から一定の範囲を設定し、前記関連性の有無を判定することを特徴とする請求項3に記載の画像処理装置。
- 前記関連性決定手段は、関連性が有ると判定した画像データ間において、当該画像データが属する撮影シーンに基づき、予め定義された対応表を用いて、前記関連性の種類を決定することを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
- 前記関連性決定手段は、前記関連性の種類を決定する際に用いる対応表をポリシーごとに定義して保持し、設定されたポリシーに従って当該対応表を変更することを特徴とする請求項5に記載の画像処理装置。
- 前記テンプレートは、前記複数の画像データを配置する複数の配置枠の間において、前記複数の画像データ間に定義される前記関連性の種類に対応する関連性の種類が定義されていることを特徴とする請求項1乃至6のいずれか一項に記載の画像処理装置。
- 前記テンプレート選択手段は、各テンプレートに含まれる前記複数の配置枠の間の関連性の有無および当該関連性の種類と、前記複数の画像データ間の関連性の有無および当該関連性の種類との類似度を算出し、前記類似度が最も高いテンプレートを選択することを特徴とする請求項7に記載の画像処理装置。
- 複数の画像データをページに配置する画像処理方法であって、
取得手段が、前記複数の画像データそれぞれが有する付随情報を取得する取得工程と、
シーン判定手段が、前記複数の画像データそれぞれを解析して、当該画像データが属する撮影シーンを判定するシーン判定工程と、
関連性決定手段が、前記複数の画像データそれぞれの前記付随情報および前記シーン判定手段にて判定した前記複数の画像データそれぞれが属する撮影シーンを用いて、前記複数の画像データ間の関連性の有無を判定し、当該関連性の種類を決定する関連性決定工程と、
テンプレート選択手段が、前記複数の画像データ間における関連性の有無および前記関連性の種類に対応するテンプレートを、記憶部に保持したテンプレートの中から選択するテンプレート選択工程と、
配置手段が、前記複数の画像データを前記テンプレート選択工程において選択したテンプレートに適用することで、前記複数の画像データをページに配置する配置工程と
を有することを特徴とする画像処理方法。 - コンピュータを、
複数の画像データそれぞれが有する付随情報を取得する取得手段、
前記複数の画像データそれぞれを解析して、当該画像データが属する撮影シーンを判定するシーン判定手段、
前記複数の画像データそれぞれの前記付随情報および前記シーン判定手段にて判定した前記複数の画像データそれぞれが属する撮影シーンを用いて、前記複数の画像データ間の関連性の有無を判定し、当該関連性の種類を決定する関連性決定手段、
前記複数の画像データ間における関連性の有無および前記関連性の種類に対応するテンプレートを、記憶部に保持したテンプレートの中から選択するテンプレート選択手段、
前記複数の画像データを前記テンプレート選択手段により選択したテンプレートに適用することで、前記複数の画像データをページに配置する配置手段
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010242648A JP2012094067A (ja) | 2010-10-28 | 2010-10-28 | 画像処理装置、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010242648A JP2012094067A (ja) | 2010-10-28 | 2010-10-28 | 画像処理装置、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012094067A true JP2012094067A (ja) | 2012-05-17 |
Family
ID=46387297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010242648A Withdrawn JP2012094067A (ja) | 2010-10-28 | 2010-10-28 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012094067A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9501722B2 (en) | 2012-09-20 | 2016-11-22 | Casio Computer Co., Ltd. | Image classifying apparatus for classifying images and electronic album creating apparatus for creating electronic album consisting of plural images |
WO2017154724A1 (ja) * | 2016-03-09 | 2017-09-14 | ヤマハ株式会社 | 収録データ処理方法および収録データ処理装置 |
-
2010
- 2010-10-28 JP JP2010242648A patent/JP2012094067A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9501722B2 (en) | 2012-09-20 | 2016-11-22 | Casio Computer Co., Ltd. | Image classifying apparatus for classifying images and electronic album creating apparatus for creating electronic album consisting of plural images |
WO2017154724A1 (ja) * | 2016-03-09 | 2017-09-14 | ヤマハ株式会社 | 収録データ処理方法および収録データ処理装置 |
JP2017163306A (ja) * | 2016-03-09 | 2017-09-14 | ヤマハ株式会社 | 収録データ解析方法および収録データ解析装置 |
US10504559B2 (en) | 2016-03-09 | 2019-12-10 | Yamaha Corporation | Recorded data processing method and recorded data processing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9338311B2 (en) | Image-related handling support system, information processing apparatus, and image-related handling support method | |
US9491366B2 (en) | Electronic device and image composition method thereof | |
US9916518B2 (en) | Image processing apparatus, image processing method, program and imaging apparatus | |
US11503205B2 (en) | Photographing method and device, and related electronic apparatus | |
JP5882975B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及び記録媒体 | |
US20130329068A1 (en) | Image processing apparatus and image processing method | |
CN102333177B (zh) | 拍摄支持系统、拍摄支持方法、服务器和摄像设备 | |
CN106412458A (zh) | 一种图像处理方法和装置 | |
CN105320695A (zh) | 图片处理方法及装置 | |
JP2016143919A (ja) | 画像処理装置およびその制御方法 | |
JP2009192737A (ja) | 画像表示装置、画像表示方法、プログラム及び記録媒体 | |
WO2023046112A1 (zh) | 文档图像增强方法、装置及电子设备 | |
JP2008234124A (ja) | 代表色抽出方法、および代表色抽出装置 | |
CN103765473B (zh) | 提供视图的调整的数字图像表示的方法以及装置 | |
CN111629146B (zh) | 拍摄参数的调整方法、调整装置、调整设备及存储介质 | |
WO2017143852A1 (zh) | 一种图片处理方法、装置及电子设备 | |
CN106815803B (zh) | 图片的处理方法及装置 | |
JP2016058888A (ja) | 検出装置、検出方法、及びプログラム | |
EP3843418A1 (en) | Video abstract generating method and apparatus, computing device, and storage medium | |
JP2015053542A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2015196681A1 (zh) | 一种图片处理方法及电子设备 | |
CN110727810A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP2012094067A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2016208268A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP5509621B2 (ja) | 画像処理装置、カメラおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140107 |