JP2004228993A - Image editor, image trimming method, and program - Google Patents

Image editor, image trimming method, and program Download PDF

Info

Publication number
JP2004228993A
JP2004228993A JP2003015104A JP2003015104A JP2004228993A JP 2004228993 A JP2004228993 A JP 2004228993A JP 2003015104 A JP2003015104 A JP 2003015104A JP 2003015104 A JP2003015104 A JP 2003015104A JP 2004228993 A JP2004228993 A JP 2004228993A
Authority
JP
Japan
Prior art keywords
image
template
trimming
attention area
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003015104A
Other languages
Japanese (ja)
Other versions
JP3719247B2 (en
Inventor
Toshinori Nagahashi
敏則 長橋
Atsuji Nagahara
敦示 永原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2003015104A priority Critical patent/JP3719247B2/en
Publication of JP2004228993A publication Critical patent/JP2004228993A/en
Application granted granted Critical
Publication of JP3719247B2 publication Critical patent/JP3719247B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image editor which automatically trims a noticed area in an image to simply and easily trim the image. <P>SOLUTION: The image editor for image trimming is provided with; a template storage means for storing a plurality of templates which are candidates for determining a trimming range of the image; a noticed area calculation means for calculating a noticed area of the image being a trimming object; a noticed area error calculation means for calculating an extent of inclusion in each template being a candidate, of the noticed area; a template selection means for selecting a template for use in image trimming from the plurality of templates on the basis of the calculation result of the noticed area error calculation means; and a trimming means for performing trimming processing of the image being the object by the template selected by the template selection means. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルカメラ等で撮影されたデジタル画像(単に「画像」ともいう)のトリミング(画像の一部を切り取り、または切り抜き)を自動で行う、画像編集装置、画像のトリミング方法、及びプログラムに関する。
【0002】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像をPC(パーソナルコンピュータ)内に取り込み、デジタル画像を編集し、印刷することが簡単にできるようになってきた。例えば、旅行先でデジタルカメラで撮影したデジタル画像を編集し、旅行アルバムなどを簡単に作成できるようになってきた。
これらのデジタル画像を編集する場合には、図11及び図12に示すように、画像の一部(画像中の注目領域)をトリミングして編集したい場合も多い。
【0003】
このようなトリミングにおいては、従来は、人間が手動で、デジタル画像内の注目領域(目立つ領域)を切り取る(切り抜く)ようにマウス等を操作してトリミングを行っていた。
この手動によるトリミングは、デジタル画像の枚数が少ない場合は、それほど手間がかからず問題とならないが、多数のデジタル画像をトリミングしてアルバムとして編集するような場合には、手動によるトリミング作業は結構煩わしい作業となる。
また、デジタルカメラに普及と共に、利用者層の範囲が広がり、利用者の中にはPC操作に不慣れな人もおり、デジタル画像のトリミングを、より簡単に行える装置の提供が望まれていた。
【0004】
このようなデジタル画像のトリミングについての先行技術として、例えば、特許文献1「画像合成装置」がある。
特許文献1で開示された発明は、背景画像の上に主画像を重ねた合成画像を簡単に作成するための画像合成装置である。この画像合成装置における重ね合成では、外枠と、その内側に位置する内枠とをサブ表示領域に表示する。そして、取り込んだ背景画像を、メイン表示領域に表示する。メイン表示領域には、サブ表示領域の外枠に対応するトリミング枠が表示され、このトリミング枠を移動して合成する範囲を指定する。貼り込み操作を行うと、サブ表示領域内の外枠に背景画像が貼り込まれる。次に別の画像(主画像)を取り込み、メイン表示領域に表示する。このメイン表示領域には、サブ表示領域の内枠に対応したトリミング枠が表示され、このトリミング枠で指定された部分がサブ表示領域の内枠にはめ込まれ、背景画像の上に主画像が重ねられた合成画像が完成する。
【0005】
【特許文献1】
特開2002−10056号公報
【0006】
【発明が解決しようとする課題】
しかしながら、特許文献1に開示された発明は、利用者自身が手動で、トリミングする各画像のトリミング範囲を切り取り(切り抜き)、画像を合成する発明である。すなわち、この発明では、利用者自身がトリミングする各画像中の注目領域(目立つ領域)を目視により確認しながら、注目領域を切り取る(切り抜く)作業を行う必要がある。このため、多数の画像をトリミングにより編集する場合などは、作業負担が大きくなり、また多くの作業時間も必要とし、煩わしい作業となる。
【0007】
本発明はこのような問題を解決するためになされたもので、その目的は、画像中の注目領域を自動的にトリミングするようにし、画像のトリミングを、より簡単に、かつ効果的に行える、画像編集装置、画像のトリミング方法、及びプログラムを提供することにある。
【0008】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の画像編集装置は、画像のトリミングを行う画像編集装置であって、画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手段と、トリミングの対象となる画像の注目領域を算出する注目領域算出手段と、前記注目領域が前記候補となる各テンプレート内に含まれる度合いを算出する注目領域誤差算出手段と、前記注目領域誤差算出手段の算出結果を基に、画像のトリミングに使用するテンプレートを、前記複数のテンプレートから選択するためのテンプレート選択手段と、前記テンプレート選択手段により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手段とを具備することを特徴とする。
【0009】
このような構成であれば、注目領域算出手段により、トリミングする画像の注目領域を求め、テンプレート記憶手段からトリミング範囲を決定するための候補となるテンプレートを順次読み出す。そして、注目領域誤差算出手段により、トリミングする画像の注目領域が、候補となる各テンプレート内に含まれる度合い(面積)を算出する。そして、テンプレート選択手段により、注目領域が含まれる度合い(面積)が最も大きいテンプレートを選択し、該テンプレートを使用して、トリミング手段により、画像のトリミングを行う。
これにより、画像のトリミングを自動的に行うことができる。また、人間の視覚特性に応じた注目領域を算出し、トリミングするテンプレートを自動選択して、トリミングを行うことができる。
【0010】
また、本発明の画像編集装置は、前記注目領域の中心と、前記テンプレートの中心との中心合わせを行う手段をさらに具備することを特徴とする。
このような構成であれば、トリミング範囲またはテンプレートの中心と、注目領域の中心合わせを行った後に、注目領域誤差算出手段により、注目領域がテンプレート内に含まれる度合などを算出する。
これにより、注目領域誤差算出手段による算出が適切に行える。また、注目領域が、テンプレート内に適切にはめ込まれるようにすることができる。
【0011】
また、本発明の画像編集装置は、前記注目領域の中心を、当該注目領域を囲む矩形の対角線の交点とし、前記テンプレートの中心を、当該テンプレートを囲む矩形の対角線の交点とすることを特徴とする。
このような構成であれば、注目領域を矩形で囲み、該矩形の対角線の交点を、注目領域の中心とする。また、候補となるテンプレートを矩形で囲み、該矩形の対角線の交点を、テンプレートの中心とする。
これにより、注目領域の中心と、テンプレートの中心を容易に求めることができる。
【0012】
また、本発明の画像編集装置は、前記注目領域算出手段により注目領域を算出する際には、最も注目度の高い領域を基準に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段をさらに具備することを特徴とする。
このような構成であれば、注目領域閾値手段では、求められた注目領域のうち、最も誘目度が高い領域、あるいは最も高い誘目度の2分の1より高い領域のみなど、閾値を決めて、注目領域の切り取り(切り抜き)を行う。
これにより、トリミングしたい注目領域の注目度の程度を指定して、トリミングを行うことができる。
【0013】
また、本発明の画像のトリミング方法は、画像のトリミングを行う画像編集装置における画像のトリミング方法であって、画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手順と、トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、前記注目領域が前記候補となる各テンプレート内に含まれる度合いを算出する注目領域誤差算出手順と、前記注目領域誤差算出手順の算出結果を基に、画像のトリミングに使用するテンプレートを、前記複数のテンプレートから選択するためのテンプレート選択手順と、前記テンプレート選択手順により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手順とを含むことを特徴とする。
【0014】
このような手順であれば、注目領域算出手順により、トリミングする画像の注目領域を求め、テンプレート記憶手順からトリミング範囲を決定するための候補となるテンプレートを順次読み出す。そして、注目領域誤差算出手順により、トリミングする画像の注目領域が、候補となる各テンプレート内に含まれる度合い(面積)を算出する。そして、テンプレート選択手順により、注目領域がテンプレート内に含まれる度合い(面積)が最も大きいテンプレートを選択し、該テンプレートを使用して、トリミング手順により、画像のトリミングを行う。
これにより、画像のトリミングを自動的に行うことができる。また、人間の視覚特性に応じた注目領域を算出し、トリミングするテンプレートを自動選択して、トリミングを行うことができる。
【0015】
また、本発明のコンピュータプログラムは、画像のトリミングを行う画像編集装置内のコンピュータに、画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手順と、トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、前記注目領域が前記候補となる各テンプレート内に含まれる度合いを算出する注目領域誤差算出手順と、前記注目領域誤差算出手順の算出結果を基に、画像のトリミングに使用するテンプレートを、前記複数のテンプレートから選択するためのテンプレート選択手順と、前記テンプレート選択手順により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手順とを実行させるためのプログラムである。
【0016】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【0017】
図1は、本発明の画像編集装置100が備える手段の構成例を示すブロック図である。図1に示す画像編集装置100に設けられた各手段は、以下に示す処理を行う。
(1)画像選択手段101
画像選択手段101は、トリミングの対象となる画像を、画像記憶手段110から選択するための手段である。
(2)画像読取手段102
画像読取手段102は、画像を構成する画素ごとの値(RGB値等)を読み出すための手段である。
【0018】
(3)注目領域算出手段103
注目領域算出手段103は、トリミングの対象となる画像の注目領域を算出するための手段であり、画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を2段階以上に区分けする。この注目領域の算出には、例えば、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)」に開示された「誘目度」を使用することができる(誘目度については、後述する「誘目度についての補足説明」の項目で、その概要について説明する)。
【0019】
図2は、トリミングの処理対象となる第1の画像11を模式的に示した図であり、図3は、図2に示す画像11の注目度(誘目度)を算出し、注目領域のパターン画像12として模式的に示した図である。図3に示す注目領域のパターン画像12では、注目度(誘目度)は、領域Aが最も高く算出され、領域B、領域Cの順に低く算出されている。
【0020】
図5は、トリミングの処理対象となる第2の画像を模式的に示した図であり、図6は、図5に示す画像21の注目度(誘目度)を算出し、注目領域のパターン画像22として模式的に示した図である。図6に示す注目領域のパターン画像22では、注目度(誘目度)は、領域Aが最も高く算出され、領域B、領域Cの順に低く算出されている。
【0021】
(4)注目領域閾値手段104
注目領域閾値手段104は、注目領域算出手段103により求められた注目領域のうち、最も注目度(誘目度)が高い領域、あるいは最も高い注目度(誘目度)の2分の1より高い領域のみなど、閾値を決めて、注目領域の切り取り(切り抜き)と、領域のまとめを行うための手段である。トリミングの範囲を決定する場合など、トリミングの詳細を決める際には、この閾値処理された注目領域を用いる。
【0022】
図4は、注目領域閾値手段104を使用し、図3に示した注目領域のパターン画像12中の注目領域を、ある閾値(領域Bの誘目度)以上で切り取った例を示す図である。すなわち、図3に示す注目領域のパターン画像12おいて、領域Bの注目度(誘目度)以上の部分を切り取ったものである。図4に示す例では、領域Bと領域Aが切り取られて、領域Aと領域Bがまとめられ、トリミングの対象となる注目領域13a及び13bとなる。さらに、閾値処理された注目領域13a及び13bの中心を、注目領域13a及び13bを囲む矩形領域14の中心(対角線の交点a)とする。
【0023】
図7は、注目領域閾値手段104を使用し、図6に示した注目領域のパターン画像22中の注目領域を、ある閾値(領域Bの誘目度)以上で切り取った例を示す図である。図7に示す例では、図6に示す注目領域の領域Bと領域Aが切り取られ、領域Aと領域Bが一つにまとめられ、トリミングの対象となる注目領域23aとなる。さらに、閾値処理された注目領域23aの中心を、注目領域23aを囲む矩形領域24の中心(対角線の交点a)とする。
【0024】
(5)注目領域誤差算出手段105
注目領域誤差算出手段105は、閾値処理された注目領域が、トリミングに使用するテンプレートによって隠れる度合い、あるいは切り取られる度合い(テンプレート内に含まれる度合い)を算出するための手段である。この場合、注目領域は、注目領域閾値手段104により求めた閾値処理された注目領域であり、テンプレートは、テンプレート記憶手段111に記憶された候補となる各テンプレートである。
【0025】
図8、図9及び図10は、トリミングに使用する候補となるテンプレート31、32、及び33の例を示す図であり、注目領域の誤差算出は、候補となるテンプレート31、32、及び33を使用して、以下のようにして行う。
・テンプレート記憶手段111に記憶されたトリミングに使用する候補となるテンプレートを順次読み出す。図8、図9及び図10に、トリミングに使用する候補となるテンプレート31、32、及び33の例を示す。
・次に、図4に示す閾値処理された注目領域13a及び13bと、テンプレート31、32、及び33のそれぞれを、中心位置を合わせて重ね合わせ、注目領域13a及び13bがテンプレートにより切り取られる面積(テンプレート内に含まれる面積)の程度を求める。同様にして、図7に示す閾値処理された注目領域23aと、テンプレート31、32、及び33のそれぞれを、中心位置を合わせて重ね合わせ、注目領域23aが切り取られる面積(テンプレート内に含まれる面積)の程度を求める。
なお、テンプレート31、32、及び33の中心を求める方法は、図4及び図7に例示した方法と同様に、テンプレートを矩形で囲み、その対角線の交点をテンプレートの中心とする。
【0026】
(6)テンプレート選択手段106
テンプレート選択手段106は、閾値処理された注目領域がテンプレートにより切り取られる面積を比較し、注目領域の切り取られる面積(注目領域がテンプレートに含まれる面積)が最も大きなテンプレートを、トリミングに使用するテンプレートとして選択する。
例えば、図4に示す閾値処理された注目領域13a及び13bの画像の場合は、図8に示すテンプレート31が選択される。同様にして、図7に示す閾値処理された注目領域23aの画像の場合は、図9に示すテンプレート32が選択される。
(7)トリミング手段107
トリミング手段107は、テンプレート選択手段106により選択したテンプレートにより、対象となる画像のトリミング処理を行うための手段である。
(8)表示手段108
表示手段108は、トリミング結果を表示するための手段である。
(9)印刷手段109
印刷手段109は、トリミング結果を印刷するための手段である。
(10)画像記憶手段110
画像記憶手段110は、トリミングを行う画像データ、及びトリミングを行った画像データを記憶するための手段である。
(11)テンプレート記憶手段111
画像のトリミング形状を記述するテンプレート(候補となるテンプレート)を記憶するための手段である。
【0027】
図11は、図2に示す画像を図8に示すテンプレート31にはめ込んだ例を示す図である。上述した各処理手段101乃至107を使用することにより、図2に示す画像11は、図8に示すテンプレート31にはめ込まれ、図11に示す画像となる。
【0028】
図12は、図5に示す画像を図9に示すテンプレート32にはめ込んだ例を示す図である。図5に示す画像21は、図9に示すテンプレート32にはめ込まれ、図12に示す画像となる。
このようにして、本発明の画像編集装置では、人間の視覚特性に応じた注目領域を算出し、トリミングするテンプレートを自動選択して、画像のトリミング作業を行うことができる。
【0029】
図13は、本発明の画像編集装置における処理手順を示す図であり、テンプレートを選択して、トリミングする手順を示すフローチャートである。以下、図13のフローチャートを参照して、本発明の画像編集装置で行われるトリミングの手順について説明する。
(1)ステップS1:注目領域算出手段103により注目度(誘目度)を算出する。
例えば、図2に示す画像11の注目度(誘目度)を算出し、図3に示す注目領域のパターン画像12を求める。図3に示す注目領域のパターン画像12では、誘目度は領域Aが最も高く算出され、領域B、領域Cの順に低く算出されている。
【0030】
(2)ステップS2:注目領域閾値手段104により、閾値処理した注目度(誘目度)のパターン画像を生成する。
例えば、図3に示したパターン画像12の注目領域をある閾値(領域Bの誘目度)以上で切り取る。すなわち、図3に示す注目領域のパターン画像12おいて、領域Bの誘目度以上の部分を切り取り、領域Bと領域Aが一つにまとめられ、図4に示す閾値処理された注目領域13a及び13bのパターン画像13となる。
【0031】
(3)ステップS3:閾値処理した注目領域の中心位置を求める。
例えば、図4に示すように、閾値処理された注目領域13a及び13bの中心を、注目領域13a及び13bを囲む矩形領域14の中心(対角線の交点a)とする。
(4)ステップS4:テンプレート記憶手段111に記憶された、トリミングに使用する候補となるテンプレートの中から、1つのテンプレートを選択する。
テンプレート記憶手段111に記憶された候補となるテンプレートは、例えば、図8、図9及び図10に示すテンプレート31、32、及び33などである。
(5)ステップS5:候補となるテンプレートの中心位置と、閾値処理された注目領域の中心位置を合わせた後、注目領域誤差算出手段105により閾値処理された注目領域が切り取られる程度(注目領域がテンプレート内に含まれる程度)を計算する。
例えば、図4に示す画像13中の閾値処理された注目領域13a及び13bと、テンプレート31、32、及び33のそれぞれを、中心位置を合わせて重ね合わせ、注目領域13a及び13bがテンプレートにより切り取られる面積(テンプレート内に含まれる面積)の程度を求める。
(6)ステップS6:全ての候補となるテンプレートについて、閾値処理された注目領域がテンプレートにより切り取られる程度を計算したかどうかをチェックする。
(7)ステップS7:テンプレート選択手段106により、注目領域がテンプレートにより切り取られる面積(テンプレート内に含まれる面積)の最も大きなテンプレートを選択する。
例えば、図4に示す閾値処理された注目領域13a及び13bの場合は、図8に示すテンプレート31が選択される。
(8)ステップS8:求めたテンプレートを使用して、処理対象となる画像をテンプレートにはめ込み、またはテンプレートによる切り取りを行う。
例えば、図2に示す画像は、図8に示すテンプレート31にはめ込まれ、図11に示す画像となる。
(9)ステップS9:トリミング結果の表示または印刷を行う。
【0032】
図14は、本発明の画像編集装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図14において、100は画像編集装置、1はインターネット網などの通信ネットワーク、114は画像編集装置と通信ネットワーク1とを接続する通信用インタフェース、115は画像編集装置全体を統括制御する制御部、120は処理プログラム部を示している。なお、本発明による画像編集装置は、PC(パーソナルコンピュータ)を使用しても実現できるものである。
【0033】
また、処理プログラム部120には、以下の処理部が含まれている。
・画像選択処理部121は、画像データベース112からトリミングを行う対象となる画像を選び出すための処理部である。
・画像読取処理部122は、トリミングを行う対象となる画像を構成する画素ごとの値(RGB値等)を読み出すための処理部である。
・注目領域算出処理部123は、トリミングを行う対象となる画像の注目領域を算出するための処理部である。画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を2段階以上に区分けする。この注目領域の算出には、例えば、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)」に開示された「誘目度」を使用することができる。
【0034】
・注目領域閾値処理部124は、注目領域算出処理部123により求められた注目領域のうち、最も誘目度が高い領域、あるいは最も高い誘目度の2分の1より高い領域のみなど、閾値を決めて、注目領域の切り取り(切り抜き)を行い、切り取った注目領域を一つにまとめるための処理部である。
・注目領域誤差算出処理部125は、閾値処理された注目領域が、トリミングに使用するテンプレートによって隠れる度合い、あるいは切り取られる度合い(テンプレート内に含まれる度合い)を算出するための処理部である。この場合、注目領域は、注目領域閾値処理部124により求めた注目領域であり、テンプレートは、テンプレートデータベース113に記憶された候補となる各テンプレートである。
【0035】
・テンプレート選択処理部126は、閾値処理された注目領域がテンプレートにより切り取られる面積を比較し、注目領域の切り取られる面積(注目領域がテンプレート内に含まれる面積)が最も大きなテンプレートを、トリミングに使用するテンプレートとして選択するための処理部である。
・トリミング処理部127は、テンプレート選択処理部126で選択したテンプレートにより、対象となる画像のトリミングを行うための処理部である。
・表示処理部128は、表示装置にトリミングした結果を表示するための処理部である。
・印刷処理部129は、トリミングした結果を印刷するための処理部である。
また、画像データベース112には、トリミングを行う画像データ、及びトリミングを行った画像データが記憶される。また、テンプレートデータベース113には、候補となるテンプレートのデータが記憶される。
【0036】
なお、この処理プログラム部120は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびCPU(中央処理装置)等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム(図示せず)をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像編集装置100には、周辺機器として入力装置、表示装置、印刷装置等(いずれも図示せず)が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、CRT(Cathode Ray Tube)や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【0037】
また、図14に示す画像編集装置100の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像編集装置100に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0038】
以上、本発明の実施の形態について説明したが、本発明の画像編集装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【0039】
[誘目度についての補足説明]
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ(模様)の異質度をさらに含むので、この4つの異質度の少なくとも1つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の3要素(色相、彩度、明度)についても評価する場合であれば、人間の主観による目立つ色(赤色)に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【0040】
また、誘目度の評価は、以下の手順により行う。
(1)最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、1997IEEEにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。
(2)次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
(3)また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図1】本発明の画像編集装置が備える手段の構成例を示す図。
【図2】トリミング処理の対象となる第1の画像を模式的に示した図。
【図3】図2に示す画像の注目領域(誘目度)を模式的に示した図。
【図4】図3に示す注目領域をある閾値以上で切り取った例を示す図。
【図5】トリミング処理の対象となる第2の画像を模式的に示した図。
【図6】図5に示す画像の注目領域(誘目度)を模式的に示した図。
【図7】図6に示す注目領域をある閾値以上で切り取った例を示す図。
【図8】トリミングに使う第1のテンプレートの例を示す図。
【図9】トリミングに使う第2のテンプレートの例を示す図。
【図10】トリミングに使う第3のテンプレートの例を示す図。
【図11】図2の画像を図8のテンプレートにはめ込んだ例を示す図。
【図12】図5の画像を図9のテンプレートにはめ込んだ例を示す図。
【図13】本発明の画像編集装置における処理手順を示す図。
【図14】本発明の画像編集装置の構成例を示すブロック図。
【符号の説明】
100 画像編集装置、101 画像選択手段、102画像読取手段
103 注目領域算出手段、104 注目領域閾値手段
105 注目領域誤差算出手段、106 テンプレート選択手段
107 トリミング手段、108 表示手段、109 印刷手段
110 画像記憶手段、111 テンプレート記憶手段
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image editing apparatus, an image trimming method, and a program that automatically perform trimming (cutting out or cutting out a part of an image) of a digital image (also simply referred to as “image”) captured by a digital camera or the like. About.
[0002]
[Prior art]
2. Description of the Related Art In recent years, digital cameras have become widespread, and it has become possible to easily capture digital images captured in a personal computer (PC), edit the digital images, and print the digital images. For example, it has become possible to edit a digital image taken by a digital camera at a travel destination and easily create a travel album or the like.
When editing these digital images, as shown in FIGS. 11 and 12, there are many cases where it is desired to edit a part of the image (a region of interest in the image) by trimming.
[0003]
Conventionally, such trimming has been performed manually by manipulating a mouse or the like so as to cut (cut out) a region of interest (conspicuous region) in a digital image.
This manual trimming does not take much trouble when the number of digital images is small, but when trimming a large number of digital images and editing them as an album, manual trimming work is quite sufficient. This is an annoying task.
In addition, with the spread of digital cameras, the range of users has expanded, and some users are not accustomed to PC operation. Therefore, it has been desired to provide a device that can easily perform digital image trimming.
[0004]
As a prior art regarding such digital image trimming, for example, there is Patent Document 1 “Image Combining Apparatus”.
The invention disclosed in Patent Document 1 is an image synthesizing apparatus for easily creating a synthesized image in which a main image is superimposed on a background image. In the overlay composition in this image composition device, an outer frame and an inner frame located inside the outer frame are displayed in the sub-display area. Then, the captured background image is displayed in the main display area. In the main display area, a trimming frame corresponding to the outer frame of the sub display area is displayed, and the trimming frame is moved to specify a range to be synthesized. When the paste operation is performed, the background image is pasted in the outer frame in the sub display area. Next, another image (main image) is fetched and displayed in the main display area. In this main display area, a trimming frame corresponding to the inner frame of the sub display area is displayed, a portion specified by this trimming frame is fitted into the inner frame of the sub display area, and the main image is superimposed on the background image. The obtained composite image is completed.
[0005]
[Patent Document 1]
Japanese Patent Application Laid-Open No. 2002-10056
[Problems to be solved by the invention]
However, the invention disclosed in Patent Document 1 is an invention in which a user himself manually cuts out (crops) a trimming range of each image to be trimmed, and synthesizes the images. That is, in the present invention, it is necessary for the user to perform the work of cutting out (cutting out) the attention area while visually checking the attention area (conspicuous area) in each image to be trimmed. For this reason, when editing a large number of images by trimming, the work load becomes large, and a large amount of work time is required, which is a cumbersome work.
[0007]
The present invention has been made in order to solve such a problem, and an object thereof is to automatically trim a region of interest in an image, so that the image can be trimmed more easily and effectively. An image editing apparatus, an image trimming method, and a program are provided.
[0008]
[Means for Solving the Problems]
The present invention has been made to solve the above problems, and an image editing apparatus of the present invention is an image editing apparatus that performs image trimming, and includes a plurality of candidates for determining an image trimming range. Template storage means for storing a template, attention area calculation means for calculating an attention area of an image to be trimmed, and attention area error calculation means for calculating the degree of inclusion of the attention area in each of the candidate templates A template selection unit for selecting a template to be used for image trimming from the plurality of templates based on a calculation result of the attention region error calculation unit; and a template selected by the template selection unit. Trimming means for performing trimming processing of an image to be
[0009]
With such a configuration, the attention area of the image to be trimmed is obtained by the attention area calculation means, and templates serving as candidates for determining the trimming range are sequentially read from the template storage means. Then, the attention area error calculation means calculates the degree (area) in which the attention area of the image to be trimmed is included in each of the candidate templates. Then, a template having the largest degree (area) of including the region of interest is selected by the template selecting means, and the image is trimmed by the trimming means using the template.
Thereby, the trimming of the image can be performed automatically. Further, it is possible to calculate an attention area according to human visual characteristics, automatically select a template to be trimmed, and perform trimming.
[0010]
Further, the image editing apparatus according to the present invention is further characterized by further comprising a unit for centering the center of the region of interest and the center of the template.
With such a configuration, after the center of the region of interest is aligned with the center of the trimming range or the template, the degree of inclusion of the region of interest in the template is calculated by the region of interest error calculation means.
Thereby, the calculation by the attention area error calculating means can be appropriately performed. Further, the attention area can be appropriately fitted in the template.
[0011]
Further, the image editing apparatus of the present invention is characterized in that a center of the attention area is an intersection of diagonals of a rectangle surrounding the attention area, and a center of the template is an intersection of diagonals of a rectangle surrounding the template. I do.
With such a configuration, the attention area is surrounded by a rectangle, and the intersection of the diagonal lines of the rectangle is set as the center of the attention area. Also, a template that is a candidate is surrounded by a rectangle, and the intersection of diagonal lines of the rectangle is set as the center of the template.
Thus, the center of the attention area and the center of the template can be easily obtained.
[0012]
Further, when the attention area is calculated by the attention area calculating means, the image editing apparatus of the present invention determines a threshold based on the area having the highest degree of attention, and determines an area having the threshold or more as the attention area. It is characterized by further comprising an attention area threshold means.
With such a configuration, the attention area threshold means determines a threshold value such as an area having the highest attraction degree or only an area higher than one half of the highest attraction degree, among the obtained attention areas. Cut out (cut out) the attention area.
Thereby, trimming can be performed by designating the degree of attention of the attention area to be trimmed.
[0013]
Also, the image trimming method of the present invention is a method for trimming an image in an image editing apparatus for trimming an image, the method comprising: storing a plurality of templates as candidates for determining an image trimming range; An attention area calculation procedure for calculating an attention area of an image to be trimmed, an attention area error calculation procedure for calculating a degree of the attention area included in each of the candidate templates, and an attention area error calculation procedure Based on the calculation result, a template selection procedure for selecting a template to be used for image trimming from the plurality of templates, and the target image trimming process is performed using the template selected by the template selection procedure. And a trimming procedure.
[0014]
In such a procedure, the attention area of the image to be trimmed is obtained by the attention area calculation procedure, and templates that are candidates for determining the trimming range are sequentially read out from the template storage procedure. Then, the degree (area) in which the attention area of the image to be trimmed is included in each candidate template is calculated by the attention area error calculation procedure. Then, a template having the largest degree (area) of the region of interest included in the template is selected by the template selection procedure, and the image is trimmed by the trimming procedure using the template.
Thereby, the trimming of the image can be performed automatically. Further, it is possible to calculate an attention area according to human visual characteristics, automatically select a template to be trimmed, and perform trimming.
[0015]
Further, the computer program of the present invention is a template storage procedure for storing a plurality of templates that are candidates for determining an image trimming range in a computer in an image editing apparatus that performs image trimming, and is a target of trimming. An attention area calculation procedure for calculating an attention area of an image, an attention area error calculation procedure for calculating a degree of the attention area included in each of the candidate templates, and a calculation result of the attention area error calculation procedure Executing a template selection procedure for selecting a template to be used for image trimming from the plurality of templates, and a trimming procedure for trimming the target image using the template selected by the template selecting procedure. It is a program for.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0017]
FIG. 1 is a block diagram illustrating a configuration example of a unit included in the image editing apparatus 100 according to the present invention. Each unit provided in the image editing apparatus 100 shown in FIG. 1 performs the following processing.
(1) Image selection means 101
The image selection unit 101 is a unit for selecting an image to be trimmed from the image storage unit 110.
(2) Image reading means 102
The image reading unit 102 is a unit for reading a value (RGB value or the like) for each pixel constituting an image.
[0018]
(3) Attention area calculation means 103
The attention area calculation means 103 is a means for calculating the attention area of the image to be trimmed, and divides the image into a plurality of areas, and sets the degree of attention to two or more levels for each of the separated areas. Classify. For the calculation of the attention area, for example, the “attraction degree” disclosed in “Japanese Patent Application Laid-Open No. 2001-126070 (attention area extraction apparatus and automatic composition determination apparatus using the attention area extraction apparatus)” can be used. Regarding the degree, an outline will be described in the item of “Supplementary explanation on the degree of attraction” described later.)
[0019]
FIG. 2 is a diagram schematically showing a first image 11 to be subjected to a trimming process, and FIG. 3 is a diagram showing the degree of attention (attraction degree) of the image 11 shown in FIG. FIG. 4 is a diagram schematically shown as an image 12. In the pattern image 12 of the attention area shown in FIG. 3, the attention degree (attraction degree) is calculated to be highest in the area A, and is calculated to be lower in the order of the area B and the area C.
[0020]
FIG. 5 is a diagram schematically illustrating a second image to be subjected to the trimming process. FIG. 6 is a diagram illustrating the calculation of the degree of attention (attraction degree) of the image 21 shown in FIG. FIG. 22 is a diagram schematically shown as 22. In the pattern image 22 of the attention area illustrated in FIG. 6, the attention degree (attraction degree) is calculated to be highest in the area A, and is calculated to be lower in the order of the area B and the area C.
[0021]
(4) Attention area threshold means 104
The attention area threshold means 104 outputs only the area having the highest attention degree (attraction degree) or the area higher than half of the highest attention degree (attraction degree) among the attention areas calculated by the attention area calculation means 103. This is a means for determining a threshold value and cutting out (cutting out) a region of interest and putting together the regions. When determining the details of the trimming, for example, when determining the trimming range, the target area subjected to the threshold processing is used.
[0022]
FIG. 4 is a diagram showing an example in which the region of interest in the pattern image 12 of the region of interest shown in FIG. 3 is cut out at a certain threshold (attraction degree of the region B) or more using the region of interest threshold unit 104. That is, in the pattern image 12 of the attention area shown in FIG. 3, a part of the attention degree (attraction degree) of the area B or more is cut out. In the example shown in FIG. 4, the region B and the region A are cut out, and the region A and the region B are put together, and become the target regions 13a and 13b to be trimmed. Further, the centers of the regions of interest 13a and 13b that have undergone the threshold processing are set as the centers of the rectangular regions 14 surrounding the regions of interest 13a and 13b (intersections a of diagonal lines).
[0023]
FIG. 7 is a diagram showing an example in which the attention area in the pattern image 22 of the attention area shown in FIG. 6 is cut out at a certain threshold (attraction degree of the area B) or more using the attention area threshold means 104. In the example illustrated in FIG. 7, the region B and the region A of the region of interest illustrated in FIG. 6 are cut out, and the region A and the region B are combined into one, which becomes the region of interest 23a to be trimmed. Further, the center of the region of interest 23a that has undergone the threshold processing is set as the center of the rectangular region 24 surrounding the region of interest 23a (the intersection point a of the diagonal line).
[0024]
(5) Attention area error calculation means 105
The attention area error calculation means 105 is a means for calculating the degree to which the attention area subjected to the threshold processing is hidden or cut by the template used for trimming (the degree to be included in the template). In this case, the attention area is an attention area that has been subjected to the threshold processing obtained by the attention area threshold means 104, and the templates are the respective templates stored as candidates in the template storage means 111.
[0025]
8, 9, and 10 are diagrams illustrating examples of templates 31, 32, and 33 that are candidates to be used for trimming. In the error calculation of the attention area, candidate templates 31, 32, and 33 are used. And using it as follows.
Reading out the templates stored in the template storage unit 111 and used as candidates for trimming sequentially. 8, 9, and 10 show examples of templates 31, 32, and 33 that are candidates for use in trimming.
Next, the regions of interest 13a and 13b that have been subjected to the threshold processing shown in FIG. 4 and the templates 31, 32 and 33 are overlapped with their center positions aligned, and the area of the regions of interest 13a and 13b cut out by the template ( (Area included in the template). Similarly, the region of interest 23a subjected to the threshold processing shown in FIG. 7 and each of the templates 31, 32, and 33 are overlapped with their center positions aligned, and the area where the region of interest 23a is cut out (the area included in the template) ).
Note that the method of obtaining the centers of the templates 31, 32, and 33 is similar to the methods illustrated in FIGS. 4 and 7, in which the template is surrounded by a rectangle, and the intersection of the diagonal lines is the center of the template.
[0026]
(6) Template selection means 106
The template selecting unit 106 compares the area of the region of interest that has been subjected to the threshold processing with the template, and determines the template with the largest area of the region of interest (the area of the template that includes the region of interest) as the template to be used for trimming. select.
For example, in the case of the images of the attention areas 13a and 13b subjected to the threshold processing shown in FIG. 4, the template 31 shown in FIG. 8 is selected. Similarly, in the case of the image of the attention area 23a subjected to the threshold processing shown in FIG. 7, the template 32 shown in FIG. 9 is selected.
(7) Trimming means 107
The trimming unit 107 is a unit for performing a trimming process on a target image using the template selected by the template selecting unit 106.
(8) Display means 108
The display unit 108 is a unit for displaying a trimming result.
(9) Printing means 109
The printing unit 109 is a unit for printing a trimming result.
(10) Image storage unit 110
The image storage unit 110 is a unit for storing image data to be trimmed and image data to be trimmed.
(11) Template storage unit 111
This is means for storing a template (candidate template) describing the trimming shape of the image.
[0027]
FIG. 11 is a diagram showing an example in which the image shown in FIG. 2 is fitted into the template 31 shown in FIG. By using the processing units 101 to 107 described above, the image 11 shown in FIG. 2 is inserted into the template 31 shown in FIG. 8, and becomes the image shown in FIG.
[0028]
FIG. 12 is a diagram showing an example in which the image shown in FIG. 5 is fitted into the template 32 shown in FIG. The image 21 shown in FIG. 5 is fitted into the template 32 shown in FIG. 9, and becomes the image shown in FIG.
In this manner, the image editing apparatus of the present invention can perform a trimming operation on an image by calculating a region of interest according to human visual characteristics, automatically selecting a template to be trimmed.
[0029]
FIG. 13 is a diagram showing a processing procedure in the image editing apparatus of the present invention, and is a flowchart showing a procedure for selecting and trimming a template. Hereinafter, the procedure of trimming performed by the image editing apparatus of the present invention will be described with reference to the flowchart of FIG.
(1) Step S1: The attention level (attraction degree) is calculated by the attention area calculation means 103.
For example, the degree of attention (attraction degree) of the image 11 shown in FIG. 2 is calculated, and the pattern image 12 of the attention area shown in FIG. 3 is obtained. In the pattern image 12 of the attention area illustrated in FIG. 3, the attraction degree is calculated to be highest in the area A, and is calculated to be lower in the order of the area B and the area C.
[0030]
(2) Step S2: The attention area threshold unit 104 generates a pattern image of the attention level (attraction level) subjected to the threshold processing.
For example, the region of interest of the pattern image 12 shown in FIG. 3 is cut out at a certain threshold (attraction degree of the region B) or more. That is, in the pattern image 12 of the attention area shown in FIG. 3, a portion of the attention area of the area B or higher is cut out, the area B and the area A are combined into one, and the attention-processed attention areas 13a and 13a shown in FIG. The pattern image 13 becomes 13b.
[0031]
(3) Step S3: The center position of the region of interest subjected to the threshold processing is obtained.
For example, as shown in FIG. 4, the centers of the target areas 13a and 13b that have been subjected to the threshold processing are set as the centers of the rectangular areas 14 surrounding the target areas 13a and 13b (intersection points a of diagonal lines).
(4) Step S4: One template is selected from the templates that are stored in the template storage unit 111 and are used for trimming.
The candidate templates stored in the template storage unit 111 are, for example, the templates 31, 32, and 33 shown in FIGS. 8, 9, and 10.
(5) Step S5: After aligning the center position of the template serving as a candidate with the center position of the attention area subjected to the threshold processing, the degree to which the attention area subjected to the threshold processing by the attention area error calculating means 105 is cut off (the attention area is The degree of inclusion in the template).
For example, the regions of interest 13a and 13b that have undergone the threshold processing in the image 13 shown in FIG. 4 and the templates 31, 32, and 33 are overlapped with their center positions aligned, and the regions of interest 13a and 13b are cut out by the template. The degree of the area (the area included in the template) is determined.
(6) Step S6: For all candidate templates, it is checked whether or not the degree to which the threshold-processed region of interest is cut by the template is calculated.
(7) Step S7: The template selecting unit 106 selects a template having the largest area (the area included in the template) where the region of interest is cut by the template.
For example, in the case of the attention areas 13a and 13b subjected to the threshold processing shown in FIG. 4, the template 31 shown in FIG. 8 is selected.
(8) Step S8: Using the obtained template, an image to be processed is inserted into the template or cut out by the template.
For example, the image shown in FIG. 2 is inserted into the template 31 shown in FIG. 8, and becomes the image shown in FIG.
(9) Step S9: The trimming result is displayed or printed.
[0032]
FIG. 14 is a block diagram showing a configuration example of the image editing apparatus according to the present invention, and shows only parts directly related to the present invention. In FIG. 14, reference numeral 100 denotes an image editing apparatus, 1 denotes a communication network such as the Internet, 114 denotes a communication interface for connecting the image editing apparatus to the communication network 1, 115 denotes a control unit for controlling the entire image editing apparatus, and 120 Indicates a processing program unit. Note that the image editing apparatus according to the present invention can be realized even by using a PC (personal computer).
[0033]
Further, the processing program unit 120 includes the following processing units.
The image selection processing unit 121 is a processing unit for selecting an image to be trimmed from the image database 112.
The image reading processing unit 122 is a processing unit for reading a value (RGB value or the like) for each pixel constituting an image to be trimmed.
The attention area calculation processing section 123 is a processing section for calculating an attention area of an image to be trimmed. The image is divided into a plurality of regions, and the degree of attention is divided into two or more levels for each of the separated regions. For the calculation of the attention area, for example, the “attraction degree” disclosed in “Japanese Patent Application Laid-Open No. 2001-126070 (attention area extraction apparatus and automatic composition determination apparatus using the same)” can be used.
[0034]
The attention area threshold value processing unit 124 determines a threshold value, such as an area having the highest degree of attraction or an area higher than one half of the highest degree of attraction, among the attention areas obtained by the attention area calculation processing unit 123. This is a processing unit that cuts out (cuts out) the attention area and combines the cut out attention areas into one.
The attention area error calculation processing section 125 is a processing section for calculating the degree to which the attention area subjected to the threshold processing is hidden or cut by the template used for trimming (the degree to be included in the template). In this case, the attention area is the attention area obtained by the attention area threshold processing unit 124, and the templates are the respective templates stored as candidates in the template database 113.
[0035]
The template selection processing unit 126 compares the area of the region of interest that has been subjected to the threshold processing with the template, and uses the template with the largest area of the region of interest (the area where the region of interest is included in the template) for trimming. This is a processing unit for selecting a template to be executed.
The trimming processing unit 127 is a processing unit for trimming a target image using the template selected by the template selection processing unit 126.
The display processing unit 128 is a processing unit for displaying the result of the trimming on the display device.
The print processing unit 129 is a processing unit for printing a result of the trimming.
The image database 112 stores image data to be trimmed and image data to be trimmed. The template database 113 stores data of candidate templates.
[0036]
Note that the processing program unit 120 may be realized by dedicated hardware, and the processing program unit includes a general-purpose information processing device such as a memory and a CPU (central processing unit). A program (not shown) for realizing the function of the unit may be loaded into a memory and executed to realize the function. It is assumed that an input device, a display device, a printing device, and the like (all not shown) are connected to the image editing device 100 as peripheral devices. Here, the input device refers to an input device such as a keyboard and a mouse. The display device refers to a CRT (Cathode Ray Tube), a liquid crystal display device, or the like. The printing device refers to a laser printer, an inkjet printer, or the like.
[0037]
Also, a program for realizing the functions of the image editing apparatus 100 shown in FIG. 14 is recorded on a computer-readable recording medium, and the program recorded on this recording medium is read into a computer system and executed to execute the program. Processing necessary for the image editing apparatus 100 of the invention may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices.
The “computer system” includes a homepage providing environment (or a display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in a computer system.
Further, the “computer-readable recording medium” refers to a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, which dynamically holds the program for a short time. In this case, a medium holding a program for a certain period of time, such as a volatile memory in a computer system serving as a server or a client in that case, is also included.
Further, the above-mentioned program may be for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in a computer system, that is, a so-called difference file (difference file). Program).
[0038]
Although the embodiment of the present invention has been described above, the image editing apparatus of the present invention is not limited to the above-described illustrated example, and various modifications can be made without departing from the gist of the present invention. Of course.
[0039]
[Supplementary explanation on the degree of attraction]
In the embodiment of the present invention, “attraction level” is used as a reference for extracting a region of interest. One example of a method of calculating the “attraction level” is disclosed in Japanese Patent Laid-Open No. 2001-126070 (attention region extraction device). And an automatic composition determination device using the same).
Here, only the outline will be described.
To extract a region of interest, the degree of attraction is evaluated according to the physical characteristics of the original image. Here, the degree of attraction means a parameter suitable for human subjectivity. The region of interest is extracted by extracting a region that stands out from the evaluation result as a region of interest. In other words, when the attention area is evaluated, the evaluation is performed in accordance with the human subjectivity according to the physical characteristics, so that the attention area suitable for the human subjectivity can be extracted.
For example, when the physical characteristics include the degree of heterogeneity of color, the degree of attraction can be evaluated based on the difference in color of each region.
In addition, since the physical characteristics further include, in addition to the color heterogeneity, the shape heterogeneity, the area heterogeneity, and the texture (pattern) heterogeneity, the physical heterogeneity is determined based on at least one of the four heterogeneities. By evaluating the degree of eye-catching, the degree of eye-catching can be accurately evaluated according to the characteristics of the original image.
In the case where three color components (hue, saturation, and lightness) are also evaluated, a region close to a prominent color (red) according to human subjectivity can be evaluated as the most prominent region.
Furthermore, by evaluating the spatial frequency and the area of each region in the original image, the evaluation of the most prominent region can be more accurately determined.
[0040]
The evaluation of the degree of attraction is performed according to the following procedure.
(1) First, the original image is divided into regions. In this case, the original image is divided into a drawing area and a picture area. The method of this area division is described in W.I. Y. Ma and B. S. A boundary detection method based on "edge flow" described in "Edge Flow: A Framework of Boundary Detection and Image Segmentation" by Manjunath et al. Is applied.
(2) Next, the divided figure region is extracted, and the degree of attraction of the region is evaluated.
The evaluation of the degree of attraction is roughly performed as follows.
First, determine the degree of heterogeneity attraction in each area. In this case, the heterogeneity of the color, the heterogeneity of the texture, the heterogeneity of the shape, and the heterogeneity of the area are respectively obtained, and weighting factors are assigned to each of them to perform linear combination, thereby obtaining the heterogeneous attractiveness of each region.
Next, the feature attractiveness in each area is obtained. In this case, the attraction of color, the attraction of spatial frequency, and the attraction of area are obtained, and weighting factors are assigned to each of them to perform linear combination to obtain the characteristic attraction of each region.
Next, the heterogeneous attractiveness and the feature attractiveness of each area are added to obtain a feature integrated value, and the feature integrated value is evaluated by a predetermined beta function to calculate the attractiveness.
(3) Also, a pattern diagram in which the degree of attraction is evaluated is generated from the original image.
[Brief description of the drawings]
FIG. 1 is a diagram showing an example of a configuration of a unit included in an image editing apparatus according to the present invention.
FIG. 2 is a diagram schematically showing a first image to be trimmed.
FIG. 3 is a diagram schematically showing a region of interest (attraction level) of the image shown in FIG. 2;
FIG. 4 is a diagram showing an example in which the attention area shown in FIG. 3 is cut out at a certain threshold or more.
FIG. 5 is a diagram schematically showing a second image to be trimmed.
6 is a diagram schematically showing a region of interest (attraction level) of the image shown in FIG. 5;
7 is a diagram showing an example in which the attention area shown in FIG. 6 is cut out at a certain threshold or more.
FIG. 8 is a diagram showing an example of a first template used for trimming.
FIG. 9 is a diagram showing an example of a second template used for trimming.
FIG. 10 is a diagram showing an example of a third template used for trimming.
11 is a diagram showing an example in which the image of FIG. 2 is fitted into the template of FIG. 8;
FIG. 12 is a diagram showing an example in which the image of FIG. 5 is fitted into the template of FIG. 9;
FIG. 13 is a diagram showing a processing procedure in the image editing apparatus of the present invention.
FIG. 14 is a block diagram illustrating a configuration example of an image editing apparatus according to the present invention.
[Explanation of symbols]
REFERENCE SIGNS LIST 100 image editing device, 101 image selection means, 102 image reading means 103 area of interest calculation means, 104 area of interest threshold means 105 area of interest error calculation means, 106 template selection means 107 trimming means, 108 display means, 109 printing means 110 image storage Means, 111 template storage means

Claims (6)

画像のトリミングを行う画像編集装置であって、
画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手段と、
トリミングの対象となる画像の注目領域を算出する注目領域算出手段と、
前記注目領域が前記候補となる各テンプレート内に含まれる度合いを算出する注目領域誤差算出手段と、
前記注目領域誤差算出手段の算出結果を基に、画像のトリミングに使用するテンプレートを、前記複数のテンプレートから選択するためのテンプレート選択手段と、
前記テンプレート選択手段により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手段と
を具備することを特徴とする画像編集装置。
An image editing device for trimming an image,
Template storage means for storing a plurality of templates that are candidates for determining a trimming range of an image,
An attention area calculation unit that calculates an attention area of an image to be trimmed;
A region-of-interest error calculating means for calculating the degree of the region of interest included in each of the candidate templates;
Template selection means for selecting a template to be used for image trimming from the plurality of templates based on the calculation result of the attention area error calculation means;
An image editing apparatus comprising: a trimming unit configured to perform a trimming process on the target image using a template selected by the template selection unit.
前記注目領域の中心と、前記テンプレートの中心との中心合わせを行う手段を
さらに具備することを特徴とする請求項1に記載の画像編集装置。
2. The image editing apparatus according to claim 1, further comprising a unit configured to align a center of the attention area with a center of the template.
前記注目領域の中心を、当該注目領域を囲む矩形の対角線の交点とし、前記テンプレートの中心を、当該テンプレートを囲む矩形の対角線の交点とすること
を特徴とする請求項2に記載の画像編集装置。
3. The image editing apparatus according to claim 2, wherein the center of the attention area is an intersection of diagonals of a rectangle surrounding the attention area, and the center of the template is an intersection of diagonals of a rectangle surrounding the template. .
前記注目領域算出手段により注目領域を算出する際には、最も注目度の高い領域を基準に閾値を決定し、該閾値以上の領域を注目領域として決定する注目領域閾値手段を
さらに具備することを特徴とする請求項1から3のいずれかに記載の画像編集装置。
When calculating the attention area by the attention area calculation means, the apparatus may further include attention area threshold means for determining a threshold on the basis of an area having the highest degree of attention and determining an area equal to or more than the threshold as an attention area. The image editing apparatus according to any one of claims 1 to 3, wherein:
画像のトリミングを行う画像編集装置における画像のトリミング方法であって、
画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手順と、
トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、
前記注目領域が前記候補となる各テンプレート内に含まれる度合いを算出する注目領域誤差算出手順と、
前記注目領域誤差算出手順の算出結果を基に、画像のトリミングに使用するテンプレートを、前記複数のテンプレートから選択するためのテンプレート選択手順と、
前記テンプレート選択手順により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手順と
を含むことを特徴とする画像のトリミング方法。
An image trimming method in an image editing device that performs image trimming,
A template storing procedure for storing a plurality of templates that are candidates for determining a trimming range of an image,
An attention area calculation procedure for calculating an attention area of an image to be trimmed;
An attention area error calculation procedure for calculating a degree of the attention area included in each of the candidate templates;
A template selection procedure for selecting a template to be used for image trimming from the plurality of templates based on the calculation result of the attention area error calculation procedure;
A trimming procedure for performing a trimming process on the target image using a template selected in the template selection procedure.
画像のトリミングを行う画像編集装置内のコンピュータに、
画像のトリミング範囲を決定するための候補となる複数のテンプレートを記憶するテンプレート記憶手順と、
トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、
前記注目領域が前記候補となる各テンプレート内に含まれる度合いを算出する注目領域誤差算出手順と、
前記注目領域誤差算出手順の算出結果を基に、画像のトリミングに使用するテンプレートを、前記複数のテンプレートから選択するためのテンプレート選択手順と、
前記テンプレート選択手順により選択したテンプレートにより、前記対象となる画像のトリミング処理を行うトリミング手順と
を実行させるためのプログラム。
In the computer in the image editing device that performs image trimming,
A template storing procedure for storing a plurality of templates that are candidates for determining a trimming range of an image,
An attention area calculation procedure for calculating an attention area of an image to be trimmed;
An attention area error calculation procedure for calculating a degree of the attention area included in each of the candidate templates;
A template selection procedure for selecting a template to be used for image trimming from the plurality of templates based on the calculation result of the attention area error calculation procedure;
And a trimming procedure for performing a trimming process of the target image by using the template selected in the template selecting procedure.
JP2003015104A 2003-01-23 2003-01-23 Image editing apparatus, image trimming method, and program Expired - Lifetime JP3719247B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003015104A JP3719247B2 (en) 2003-01-23 2003-01-23 Image editing apparatus, image trimming method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003015104A JP3719247B2 (en) 2003-01-23 2003-01-23 Image editing apparatus, image trimming method, and program

Publications (2)

Publication Number Publication Date
JP2004228993A true JP2004228993A (en) 2004-08-12
JP3719247B2 JP3719247B2 (en) 2005-11-24

Family

ID=32902949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003015104A Expired - Lifetime JP3719247B2 (en) 2003-01-23 2003-01-23 Image editing apparatus, image trimming method, and program

Country Status (1)

Country Link
JP (1) JP3719247B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4228320B2 (en) 2006-09-11 2009-02-25 ソニー株式会社 Image processing apparatus and method, and program
JP4225339B2 (en) 2006-09-11 2009-02-18 ソニー株式会社 Image data processing apparatus and method, program, and recording medium

Also Published As

Publication number Publication date
JP3719247B2 (en) 2005-11-24

Similar Documents

Publication Publication Date Title
JP3690391B2 (en) Image editing apparatus, image trimming method, and program
JP4643812B2 (en) Digital automatic text placement method
KR100667663B1 (en) Image processing apparatus, image processing method and computer readable recording medium which records program therefore
US6813395B1 (en) Image searching method and image processing method
US20090244096A1 (en) Image forming apparatus and image forming method
JP4421761B2 (en) Image processing method and apparatus, and recording medium
US7747074B2 (en) Selection of decorative picture suitable for input picture
JP2000069304A (en) Image data management system, image data management method, and medium with image data management program recorded therein
JP2001092956A (en) Device and method for automatically correcting color and recording medium stored with control program therefor
JP2004199248A (en) Image layouting device, method and program
JP2007158824A (en) Image processor, flesh tone adjusting method, and program
JP4052128B2 (en) Image trimming apparatus, image trimming method, and program
US7212674B1 (en) Method, apparatus and recording medium for face extraction
JP2008217479A (en) Image arrangement method and device
JP2008131542A (en) Color correction apparatus, and color correction program
JPH06223179A (en) Method and device for deciding whether or not there is specific object in color image and color moving picture cut retrieval display system using the device
JP4348956B2 (en) Image layout apparatus, image layout method, and program in image layout apparatus
JP2006350462A (en) Album image preparation device and album image preparation program
JP2004228993A (en) Image editor, image trimming method, and program
JP2001056867A (en) Image data processor, medium where image data set is recorded, medium where image data processing program is recorded, and image data processing method
JP5009864B2 (en) Candidate image display method, apparatus, and program
KR102045753B1 (en) Image editing processing apparatus that supports transparency processing of the background area of an image and operating method thereof
JP2010176235A (en) Image interface and image search program
JP2006059092A (en) Catchlight synthesis method
JP4507673B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050829

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080916

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090916

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100916

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100916

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110916

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120916

Year of fee payment: 7