JP2004228995A - Image trimming device, image trimming method, and program - Google Patents

Image trimming device, image trimming method, and program Download PDF

Info

Publication number
JP2004228995A
JP2004228995A JP2003015106A JP2003015106A JP2004228995A JP 2004228995 A JP2004228995 A JP 2004228995A JP 2003015106 A JP2003015106 A JP 2003015106A JP 2003015106 A JP2003015106 A JP 2003015106A JP 2004228995 A JP2004228995 A JP 2004228995A
Authority
JP
Japan
Prior art keywords
trimming
image
procedure
index
attention area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003015106A
Other languages
Japanese (ja)
Other versions
JP2004228995A5 (en
JP4052128B2 (en
Inventor
Atsuji Nagahara
敦示 永原
Toshinori Nagahashi
敏則 長橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2003015106A priority Critical patent/JP4052128B2/en
Publication of JP2004228995A publication Critical patent/JP2004228995A/en
Publication of JP2004228995A5 publication Critical patent/JP2004228995A5/ja
Application granted granted Critical
Publication of JP4052128B2 publication Critical patent/JP4052128B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image trimming device which calculates a noticed area and an object index of an image to automatically and effectively trim the image. <P>SOLUTION: The image trimming device comprises an image read means for reading an image as a trimming object; a noticed area calculation means for calculating a noticed area of the image, which is a trimming object; an object storage means for storing object models; an object index calculation means for calculating indexes of objects in the image on the basis of the object models; a trimming method storage means for storing trimming methods; a trimming method determination means for determining a trimming method on the basis of the degree of notice calculated by the noticed area calculation means and object index values calculated by the object index calculation means; and a trimming means for trimming the image in accordance with the determined trimming method. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルカメラ等で撮影されたデジタル画像(単に「画像」ともいう)のトリミング(画像の一部を切り取り、または切り抜き)を自動で行う、画像トリミング装置、画像のトリミング方法、及びプログラムに関する。
【0002】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像をPC(パーソナルコンピュータ)内に取り込み、デジタル画像を編集し、印刷することが簡単にできるようになってきた。例えば、旅行先でデジタルカメラで撮影したデジタル画像を編集し、旅行アルバムなどを簡単に作成できるようになってきた。
これらのデジタル画像を編集する場合には、図6、図7または図8に示すように、画像の一部(画像中の注目領域)をトリミングして編集したい場合も多い。
【0003】
このようなトリミングにおいては、従来は、人間が手動で、デジタル画像内の注目領域(目立つ領域)を切り取る(切り抜く)ようにマウス等を操作してトリミングを行っていた。
この手動によるトリミングは、デジタル画像の枚数が少ない場合は、それほど手間がかからず問題とならないが、多数のデジタル画像をトリミングしてアルバムとして編集するような場合には、手動によるトリミング作業は結構煩わしい作業となる。
また、デジタルカメラに普及と共に、利用者層の範囲が広がり、利用者の中にはPC操作に不慣れな人もおり、デジタル画像のトリミングを、より簡単に行える装置の提供が望まれていた。
【0004】
このようなデジタル画像のトリミングについての先行技術として、例えば、特許文献1「画像合成装置」がある。
特許文献1で開示された発明は、背景画像の上に主画像を重ねた合成画像を簡単に作成するための画像合成装置である。この画像合成装置における重ね合成では、外枠と、その内側に位置する内枠とをサブ表示領域に表示する。そして、取り込んだ背景画像を、メイン表示領域に表示する。メイン表示領域には、サブ表示領域の外枠に対応するトリミング枠が表示され、このトリミング枠を移動して合成する範囲を指定する。貼り込み操作を行うと、サブ表示領域内の外枠に背景画像が貼り込まれる。次に別の画像(主画像)を取り込み、メイン表示領域に表示する。このメイン表示領域には、サブ表示領域の内枠に対応したトリミング枠が表示され、このトリミング枠で指定された部分がサブ表示領域の内枠にはめ込まれ、背景画像の上に主画像が重ねられた合成画像が完成する。
【0005】
【特許文献1】
特開2002−10056号公報
【0006】
【発明が解決しようとする課題】
しかしながら、特許文献1に開示された発明は、利用者自身が手動で、トリミングする各画像のトリミング範囲を切り取り(切り抜き)、画像を合成する発明である。すなわち、この発明では、利用者自身がトリミングする各画像中の注目領域(目立つ領域)を目視により確認しながら、注目領域を切り取る(切り抜く)作業を行う必要がある。このため、多数の画像をトリミングにより編集する場合などは、作業負担が大きくなり、また多くの作業時間も必要とし、煩わしい作業となる。
【0007】
本発明はこのような問題を解決するためになされたもので、その目的は、画像中の注目領域を自動的にトリミングするようにし、画像のトリミングを、より簡単に、かつ効果的に行える、画像トリミング装置、画像のトリミング方法、及びプログラムを提供することにある。
【0008】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の画像トリミング装置は、画像のトリミングを行う画像トリミング装置であって、トリミングの対象となる画像を読み取る画像読取手段と、トリミングの対象となる画像の注目領域を算出する注目領域算出手段と、予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手段と、前記オブジェクト記憶手段に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手段と、トリミング手法を記憶するトリミング手法記憶手段と、前記注目領域算出手段によって得られた注目度と、前記オブジェクト指標算出手段により得られたオブジェクト指標とに従いトリミング方法を決定するトリミング手法決定手段と、前記トリミング手法決定手段によって決められたトリミング手法に従い、画像をトリミングするトリミング手段とを具備することを特徴とする。
このような構成であれば、画像読取手段により、トリミングの対象となる画像を読み取り、注目領域算出手段により、トリミングの対象となる画像の注目領域を算出する。また、オブジェクト記憶手段(データベースなど)に予めオブジェクト(人間の顔など)を学習したオブジェクトのモデルを記憶しておく。また、オブジェクト指標算出手段により、オブジェクト記憶手段に記憶されたオブジェクトモデルを基に、画像に映っているオブジェクトの指標を算出する。そして、トリミング手法記憶手段により、トリミング手法(トリミング形状など)を予め記憶しておき、トリミング手法決定手段により、注目領域算出手段によって得られた注目度と、オブジェクト指標とに従いトリミング方法を決定する。そして、トリミング手段により、トリミング手法決定手段によって決められたトリミング手法に従い、画像をトリミングする。
これにより、注目度とオブジェクト指標の両方を利用して画像をトリミングすることができ、画像中の重要な領域が隠れることなくトリミングすることができる。
【0009】
また、本発明の画像トリミング装置は、前記トリミング手段によりトリミングを行う際には、前記オブジェクト指標の値が所定の閾値を超えた場所を必ず含めるようにトリミングすることを特徴とする。
このような構成であれば、オブジェクト指標算出手段により求めたオブジェクト指標の値が所定の閾値を超えた領域をすべて含めるようにして画像のトリミングを行う。
これにより、オブジェクトが映っている場所(例えば顔画像など)が切れてしまうのを抑制できる。
【0010】
また、本発明の画像トリミング装置は、前記トリミング手法記憶手段は、オブジェクト指標に基づいたトリミングのテンプレートと、該テンプレートの適用方法を記憶する手段であることを特徴とする。
このような構成であれば、トリミング手法記憶手段により、オブジェクト指標の値に応じて選択使用される様々なテンプレート(トリミング形状、適用方法などが記述されたテンプレート)が記憶される。
これにより、様々な形の中から最適な形を選択して、画像を自動的にトリミングすることができる。
【0011】
また、本発明の画像トリミング装置は、前記トリミング手法決定手段では、オブジェクト指標に基づいて、前記テンプレートからトリミングに使用するテンプレートを決定することを特徴とする。
このような構成であれば、トリミング手法決定手段により、オブジェクト指標の値に応じて、様々なテンプレート(トリミング形状、適用方法などが記述されたテンプレート)から、トリミングに使用する最適なテンプレートを決定する。
これにより、様々な形の中から最適な形を選択して、画像を自動的にトリミングすることができる。
【0012】
また、本発明の画像トリミング装置は、前記オブジェクト指標算出手段により算出される指標が、顔画像を含むか否か判断するための指標であることを特徴とする。
このような構成であれば、オブジェクト指標算出手段では、予めに人間の顔について学習したオブジェクトモデルを参照し、顔画像であるか否かのオブジェクト指標を算出する。
これにより、顔が含まれて、なおかつ注目される領域が高いものを効果的にトリミングすることできる。
【0013】
また、本発明の画像のトリミング方法は、画像のトリミングを行う画像トリミング装置における画像トリミング方法であって、トリミングの対象となる画像を読み取る画像読取手順と、トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手順と、前記オブジェクト記憶手順に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手順と、トリミング手法を記憶するトリミング手法記憶手順と、前記注目領域算出手順によって得られた注目度と、前記オブジェクト指標算出手順により得られたオブジェクト指標とに従いトリミング方法を決定するトリミング手法決定手順と、前記トリミング手法決定手順によって決められたトリミング手法に従い、画像をトリミングするトリミング手順とを含むことを特徴とする。
このような手順であれば、画像読取手順により、トリミングの対象となる画像を読み取り、注目領域算出手順により、トリミングの対象となる画像の注目領域を算出する。また、オブジェクト記憶手順(データベースなど)に予めオブジェクト(人間の顔など)を学習したオブジェクトのモデルを記憶しておく。また、オブジェクト指標算出手順により、オブジェクト記憶手順に記憶されたオブジェクトモデルを基に、画像に映っているオブジェクトの指標を算出する。そして、トリミング手法記憶手順により、トリミング手法(トリミング形状など)を予め記憶しておき、トリミング手法決定手順により、注目領域算出手順によって得られた注目度と、オブジェクト指標とに従いトリミング方法を決定する。そして、トリミング手順により、トリミング手法決定手順によって決められたトリミング手法に従い、画像をトリミングする。
これにより、注目度とオブジェクト指標の両方を利用して画像をトリミングすることができ、画像中の重要な領域が隠れることなくトリミングすることができる。
【0014】
また、本発明のコンピュータプログラムは、画像のトリミングを行う画像トリミング装置内のコンピュータに、トリミングの対象となる画像を読み取る画像読取手順と、トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手順と、前記オブジェクト記憶手順に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手順と、トリミング手法を記憶するトリミング手法記憶手順と、前記注目領域算出手順によって得られた注目度と、前記オブジェクト指標算出手順により得られたオブジェクト指標とに従いトリミング方法を決定するトリミング手法決定手順と、前記トリミング手法決定手順によって決められたトリミング手法に従い、画像をトリミングするトリミング手順とを実行させるためのプログラムである。
【0015】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【0016】
図1は、本発明の画像トリミング装置100が備える手段の構成例を示すブロック図である。図1に示す画像トリミング装置100に設けられた各手段は、以下に示す機能を有する。
(1)画像読取手段101
画像読取手段101は、画像を構成する画素ごとの値(RGB値等)を読み出すための手段である。
【0017】
(2)注目領域算出手段102
注目領域算出手段102は、トリミングの対象となる画像の注目領域を算出するための手段であり、画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を2段階以上に区分けする。この注目領域の算出には、例えば、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)」に開示された「誘目度」を使用することができる(誘目度については、後述する「誘目度についての補足説明」の項目で、その概要について説明する)。
【0018】
図2は、トリミングの処理対象となる第1の画像11を模式的に示した図であり、図3は、図2に示す画像11の注目度(誘目度)を算出し、注目領域のパターン画像12として模式的に示した図であり、花の部分の注目領域12aと、人の部分の注目領域12bが、注目度(誘目度)が高いと算出されたものである。
【0019】
(3)オブジェクト記憶手段103
オブジェクト記憶手段103では、予め学習されたオブジェクトのモデルを記憶するための手段である。本実施の形態例では、オブジェクトモデルは、顔画像であるか否かが学習されているものとする。オブジェクトモデルは、例えば、ニューラルネットワークで学習されたモデルである。その他、Naive Bayesに代表されるような確率モデルであっても良いし、 M−H. Yang, D. Roth and N. Ahuja「A SNoW based Face Detector 、NIPS−12, Dec, 1999」に発表された手法で学習されたモデルでも良い。
例えば、SNoWの学習方法では、顔画像について、以下のようにしてオブジェクトの学習を行う。
▲1▼顔画像のデータベースを用意する。
▲2▼顔画像でないデータベース(例えば、車、食べ物)などを用意する。
▲3▼顔画像のデータを教師信号‘1’、顔画像でないデータを教師信号‘0’として、上記論文記載のSNoWの学習方法でオブジェクトモデルを繰り返し学習させる。
【0020】
(4)オブジェクト指標算出手段104
オブジェクト指標算出手段104では、画像読取手段101から得られた画素を、オブジェクトモデルの入力画素分抽出し、オブジェクト指標を求めるスキャン処理を実施する。その後、少しずらした画素を読み取り、同様にオブジェクト指標値を算出し、画像全体に対して処理する。その結果、最もオブジェクト指標が高かった部分をオブジェクト指標算出手段104の処理結果として次の処理に渡す。
【0021】
図4は、図2に示す画像のオブジェクト指標値の算出結果により、最もオブジェクト指標値の高かった領域を示す画像13の例を示す図である。本実施の形態例では、図2の画像に対して、このオブジェクト指標値の算出処理を適用した結果、図4に示す領域13aが最も高かった領域として抽出されたものである。このときのオブジェクト指標値は、「オブジェクト指標値=g(画像)」として計算されたものとする。
また、本実施の形態の例では、オブジェクト記憶手段103では、顔画像であるか否かが学習されたオブジェクトモデルが記憶されているものとし、オブジェクト指標値としては、その画像領域が顔画像であるか否かの指標が算出されるものとする。
また、オブジェクト指標値とは、画像が顔画像であるかの確からしさを表すものであり、“1”が最も顔画像らしい領域、“0”が顔画像でない領域を指し示す指標である。
なお、本実施の形態の例では、オブジェクト指標が最も高かった領域に対して、その領域をオブジェクト位置として決定するが、これに限らず、ある閾値以上の領域をすべてオブジェクト位置として決定してもよい。これにより、例えば、複数の顔画像が含まれる場合に、顔画像の位置をすべて特定できるようになる。
【0022】
(5)トリミング手法記憶手段105
トリミングを行う方法を記憶するための手段であり、トリミング形状(テンプレート)、オブジェクト指標値、画像変換処理方法を記憶する。
【0023】
図5は、トリミング手法記憶手段105に記憶されるデータの例を示す図である。図5に示すように、トリミング手法記憶手段105には、トリミング形状(テンプレート)、オブジェクト指標値、画像変換処理方法(拡大縮小、回転の可否)を保存している。
・パターン21は、丸にトリミングし、顔指標が0.1より低い場合に適用され、拡大縮小は90%〜120%まで可能、回転は許可しない、という条件を示している。
・パターン22は、ハート形にトリミングし、顔指標が0.9より高い場合に適用され、拡大縮小は90%〜120%まで可能、回転は許可しない、という条件を示している。
・パターン23は、星形にトリミングし、顔指標が0.7〜0.8の間で適用され、拡大縮小はせず、回転も許可しない、という条件を示している。
【0024】
(6)トリミング手法決定手段106
トリミング手法決定手段106は、オブジェクト指標算出手段104によって得られたオブジェクト指標(画像全体で最もオブジェクト指標が高かった値)を基に、トリミング手法記憶手段105から、トリミング手法(トリミング形状を示すテンプレートなど)を選択するための手段である。
例えば、オブジェクト指標算出手段104によって得られたオブジェクト指標が、「g(画像)=0.92」とすると、トリミング手法決定手段106は、顔指標が0.9より大きいパターン22(図5)を選択する。
また、同様に、「g(画像)=0.75」であった場合は、パターン23が選択される。
また、オブジェクト記憶手段103には、例えば、車画像のオブジェクトモデルが保存されているものとし、「g(画像)=0.08」とする。この場合は、パターン21が選択される。
【0025】
(7)トリミング手段107
トリミング手段107は、トリミング手法決定手段106で決定されたトリミング手法(パターン)に従い、トリミング処理を実行する。また、トリミング処理を行う際には、オブジェクト指標算出手段104で決定されたオブジェクト領域を必ず含めるようにし、なおかつ、できる限り注目領域を含むようにトリミング処理が実施される。
【0026】
図6は、図2に示す画像に図5に示すパターン22を適用した例を示す図である。図7は、図2に示す画像に図5に示すパターン23を適用した例を示す図である。また、図8は、図2に示す画像に図5に示すパターン21を適用した例を示す図である。
図6に示す例では、パターン22(図5)のトリミング形状で、オブジェクト領域を必ず含み、なおかつ、できる限り注目領域を含むようにトリミング処理を実施したものである。この結果、パターン22を最大に拡張し(上限の120%)、図6に示すようなトリミング結果が得られる。
また、同様に、「g(画像)=0.75」であった場合は、パターン23(図5)が選択され、図7に示すようなトリミング結果が得られる。
また、オブジェクト記憶手段103には、車画像のオブジェクトモデルが保存されているものとし、g(画像)=0.08」とすると、パターン21が選択され、図8に示すトリミング結果が得られる。
【0027】
なお、トリミング手段107には、以下の手段が含まれ、下記手段を使用して、上述したトリミング処理を行う。すなわち、顔画像とともに、注目領域ができるだけトリミング形状(テンプレート)内に含まれるようにトリミングを行う。
・注目領域誤差算出手段107aは、注目領域がパターンにまれる度合い(面積)を算出するための手段である。この注目領域誤差算出手段107aを用いて場合、テンプレート内に含まれる注目領域の面積ができるだけ大きくなるようにテンプレートの位置などを決定する。
・画像スケーリング手段107bは、注目領域誤差算出手段107aの算出結果を基に、トリミング形状、注目領域、または元画像のサイズを変更するための手段である。
・画像回転手段107cは、注目領域誤差算出手段107aの算出結果を基に、トリミング形状、注目領域、または元画像を回転するための手段である。
【0028】
このようにして、本発明の画像トリミング装置では、トリミング処理の対象となる画像に対して注目領域とオブジェクト指標を算出し、自動的なトリミングを行うことができる。また、人間の視覚的特性を利用した注目領域を含む、自動的なトリミングが可能になる。
【0029】
図9は、本発明の画像トリミング装置における処理手順を示す図であり、オブジェクト指標を算出して、トリミング処理を行う手順を示すフローチャートである。以下、図9に示すフローチャートを参照して、本発明の画像トリミング装置で行われるトリミングの手順について説明する。
(1)ステップS1:処理対象となる画像の画素ごとの値を読み出す。
(2)ステップS2:注目領域算出手段102により注目度(誘目度)を算出する。
例えば、図2に示す画像11の注目度(誘目度)を算出し、図3に示す注目領域のパターン画像12を求める。
(3)ステップS3:オブジェクト指標値及びオブジェクト領域を算出する。
(4)ステップS4:オブジェクト指標値に従い、トリミングルールを決定する。
(5)ステップS5:トリミングを実行する。
【0030】
図10は、本発明の画像トリミング装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図10において、100は画像トリミング装置、1はインターネット網などの通信ネットワーク、111は画像トリミング装置と通信ネットワーク1とを接続する通信用インタフェース、112は画像トリミング装置全体を統括制御する制御部、120は処理プログラム部を示している。なお、本発明による画像トリミング装置は、PC(パーソナルコンピュータ)を使用しても実現できるものである。
【0031】
また、処理プログラム部120には、以下の処理部が含まれている。
・画像選択処理部121は、画像データベース113からトリミングを行う対象となる画像を選び出すための処理部である。
・画像読取処理部122は、トリミングを行う対象となる画像を構成する画素ごとの値(RGB値等)を読み出すための処理部である。
・注目領域算出処理部123は、トリミングを行う対象となる画像の注目領域を算出するための処理部である。画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を2段階以上に区分けする。この注目領域の算出には、例えば、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)」に開示された「誘目度」を使用することができる。
【0032】
・オブジェクト指標算出処理部124は、オブジェクトデータベース114に記憶されているオブジェクトモデルのデータを基に、画像内に映っているオブジェクトの指標を算出するための処理部である。
・トリミング手法決定処理部125は、注目領域算出処理部123により得られた注目度(誘目度)と、オブジェクト指標算出処理部124により得られたオブジェクト指標とを基に、トリミング手法データベース115に記録されたテンプレートデータを参照し、トリミング方法を決めるための処理部である。
【0033】
・トリミング処理部126は、トリミング手法決定処理部125によって決められたトリミング手法に従い、画像をトリミングするための処理部である。また、トリミング処理を実行する際には、注目領域誤差算出処理部126a、画像スケーリング処理部126b、及び画像回転処理部126cの機能を使用する。
・注目領域誤差算出処理部126aは、注目領域が、トリミングに使用するテンプレートによって隠れる度合い、あるいは切り取られる度合い(テンプレート内に含まれる度合い)を算出するための処理部である。テンプレートは、トリミング手法データベース115に記憶されたテンプレートのデータである。
【0034】
・画像スケーリング処理部126bは、注目領域誤差算出処理部126aの算出結果を基に、トリミング形状(テンプレート)、注目領域、または元画像のサイズを変更するための処理部である。
・画像回転処理部126cは、注目領域誤差算出処理部126aの算出結果を基に、トリミング形状(テンプレート)、注目領域、または元画像を回転するための処理部である。
・表示処理部127は、表示装置にトリミングした結果を表示するための処理部である。
・印刷処理部128は、トリミングした結果を印刷するための処理部である。
また、画像データベース113には、トリミングを行う対象となる画像データ、及びトリミングを行った画像データが記憶され、オブジェクトデータベース114には、オブジェクトモデルのデータが記憶される。また、トリミング手法データベース115には、トリミングを行う方法を記述したテンプレートデータが記憶され、トリミング形状、オブジェクト指標値、画像変換処理方法などが記憶される。
【0035】
なお、この処理プログラム部120は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびCPU(中央処理装置)等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム(図示せず)をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像トリミング装置100には、周辺機器として入力装置、表示装置、印刷装置等(いずれも図示せず)が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、CRT(Cathode Ray Tube)や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【0036】
また、図10に示す画像トリミング装置100の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像トリミング装置100に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0037】
以上、本発明の実施の形態について説明したが、本発明の画像トリミング装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【0038】
[誘目度についての補足説明]
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開2001−126070号公報(注目領域抽出装置およびそれを用いた自動構図決定装置)に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ(模様)の異質度をさらに含むので、この4つの異質度の少なくとも1つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の3要素(色相、彩度、明度)についても評価する場合であれば、人間の主観による目立つ色(赤色)に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【0039】
また、誘目度の評価は、以下の手順により行う。
(1)最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、1997IEEEにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。
(2)次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
(3)また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図1】本発明の画像トリミング装置が備える手段の構成例を示す図。
【図2】トリミング処理の対象となる画像を模式的に示した図。
【図3】図2に示す画像の注目領域(誘目度)を模式的に示した図。
【図4】図2の画像の最もオブジェクト指標値の高い領域を示す図。
【図5】トリミング手法記憶手段に記憶されるデータの例を示す図。
【図6】図2の画像に図5に示すパターン22を適用した例を示す図。
【図7】図2の画像に図5に示すパターン23を適用した例を示す図。
【図8】図2の画像に図5に示すパターン21を適用した例を示す図。
【図9】本発明の画像トリミング装置における処理手順を示す図。
【図10】本発明の画像トリミング装置の構成例を示すブロック図。
【符号の説明】
100 画像トリミング装置、101 画像読取手段
102 注目領域算出手段、103 オブジェクト記憶手段
104 オブジェクト指標算出手段、105 トリミング手法記憶手段
106 トリミング手法決定手段、107 トリミング手段
107a 注目領域誤差算出手段、107b 画像スケーリング手段
107c 画像回転手段
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image trimming apparatus, an image trimming method, and a program for automatically trimming (cutting or cutting out part of an image) a digital image (also simply referred to as an “image”) captured by a digital camera or the like. About.
[0002]
[Prior art]
2. Description of the Related Art In recent years, digital cameras have become widespread, and it has become possible to easily capture digital images captured in a personal computer (PC), edit the digital images, and print the digital images. For example, it has become possible to edit a digital image taken by a digital camera at a travel destination and easily create a travel album or the like.
When editing these digital images, as shown in FIG. 6, FIG. 7, or FIG. 8, it is often desired to edit a part of the image (a region of interest in the image) by trimming.
[0003]
Conventionally, such trimming has been performed manually by manipulating a mouse or the like so as to cut (cut out) a region of interest (conspicuous region) in a digital image.
This manual trimming does not take much trouble when the number of digital images is small, but when trimming a large number of digital images and editing them as an album, manual trimming work is quite sufficient. This is an annoying task.
In addition, with the spread of digital cameras, the range of users has expanded, and some users are not accustomed to PC operation. Therefore, it has been desired to provide a device that can easily perform digital image trimming.
[0004]
As a prior art regarding such digital image trimming, for example, there is Patent Document 1 “Image Combining Apparatus”.
The invention disclosed in Patent Document 1 is an image synthesizing apparatus for easily creating a synthesized image in which a main image is superimposed on a background image. In the overlay composition in this image composition device, an outer frame and an inner frame located inside the outer frame are displayed in the sub-display area. Then, the captured background image is displayed in the main display area. In the main display area, a trimming frame corresponding to the outer frame of the sub display area is displayed, and the trimming frame is moved to specify a range to be synthesized. When the paste operation is performed, the background image is pasted in the outer frame in the sub display area. Next, another image (main image) is fetched and displayed in the main display area. In this main display area, a trimming frame corresponding to the inner frame of the sub display area is displayed, a portion specified by this trimming frame is fitted into the inner frame of the sub display area, and the main image is superimposed on the background image. The obtained composite image is completed.
[0005]
[Patent Document 1]
Japanese Patent Application Laid-Open No. 2002-10056
[Problems to be solved by the invention]
However, the invention disclosed in Patent Document 1 is an invention in which a user himself manually cuts out (crops) a trimming range of each image to be trimmed, and synthesizes the images. That is, in the present invention, it is necessary for the user to perform the work of cutting out (cutting out) the attention area while visually checking the attention area (conspicuous area) in each image to be trimmed. For this reason, when editing a large number of images by trimming, the work load becomes large, and a large amount of work time is required, which is a cumbersome work.
[0007]
The present invention has been made in order to solve such a problem, and an object thereof is to automatically trim a region of interest in an image, so that the image can be trimmed more easily and effectively. An object of the present invention is to provide an image trimming device, an image trimming method, and a program.
[0008]
[Means for Solving the Problems]
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an image trimming apparatus of the present invention is an image trimming apparatus for trimming an image, comprising: an image reading unit that reads an image to be trimmed; A region of interest calculation unit that calculates a region of interest of an image to be processed, an object storage unit that stores a model of an object learned in advance for a predetermined object, and a model of the object stored in the object storage unit. Object index calculating means for calculating an index of an object appearing in an image; a trimming technique storing means for storing a trimming technique; an attention level obtained by the attention area calculating means; The trimming method according to the object index And a trimming method determining means, in accordance with the trimming method that has been determined by the trimming method determining means, characterized by comprising a trimming unit for trimming the image.
With such a configuration, the image to be trimmed is read by the image reading means, and the attention area of the image to be trimmed is calculated by the attention area calculation means. Further, a model of the object from which the object (such as a human face) has been learned is stored in advance in an object storage means (such as a database). Further, the object index calculating means calculates the index of the object appearing in the image based on the object model stored in the object storage means. Then, the trimming method (trimming shape or the like) is stored in advance by the trimming method storage means, and the trimming method is determined by the trimming method determining means according to the degree of interest obtained by the attention area calculating means and the object index. Then, the image is trimmed by the trimming means according to the trimming technique determined by the trimming technique determining means.
As a result, the image can be trimmed using both the attention level and the object index, and the important region in the image can be trimmed without being hidden.
[0009]
Further, the image trimming apparatus of the present invention is characterized in that, when trimming is performed by the trimming means, trimming is performed so as to always include a place where the value of the object index exceeds a predetermined threshold.
With such a configuration, the image is trimmed so as to include all the regions where the value of the object index calculated by the object index calculating means exceeds a predetermined threshold.
As a result, it is possible to prevent a place where the object is reflected (for example, a face image) from being cut.
[0010]
Further, in the image trimming apparatus according to the present invention, the trimming method storage means is means for storing a trimming template based on an object index and a method of applying the template.
With such a configuration, various templates (templates describing a trimming shape, an application method, and the like) selectively used in accordance with the value of the object index are stored in the trimming method storage unit.
As a result, the image can be automatically trimmed by selecting the optimum shape from various shapes.
[0011]
Further, the image trimming device of the present invention is characterized in that the trimming method determining means determines a template to be used for trimming from the template based on an object index.
With such a configuration, the optimum template to be used for trimming is determined from various templates (templates describing a trimming shape, an application method, and the like) according to the value of the object index by the trimming method determining unit. .
As a result, the image can be automatically trimmed by selecting the optimum shape from various shapes.
[0012]
Further, the image trimming device of the present invention is characterized in that the index calculated by the object index calculating means is an index for determining whether or not a face image is included.
With such a configuration, the object index calculating means calculates an object index indicating whether or not the image is a face image by referring to an object model previously learned about a human face.
Thus, a portion that includes a face and has a high attention area can be effectively trimmed.
[0013]
Further, the image trimming method of the present invention is an image trimming method in an image trimming device for trimming an image, wherein an image reading procedure for reading an image to be trimmed, and an attention area of the image to be trimmed are performed. An attention area calculation procedure to be calculated; an object storage procedure to store a model of an object learned in advance for a predetermined object; and an index of an object appearing in an image based on the object model stored in the object storage procedure. , A trimming method storing procedure for storing a trimming technique, a degree of attention obtained by the attention area calculating procedure, and a trimming method are determined in accordance with the object index obtained by the object index calculating procedure. Trimming method decision And procedures, in accordance with the trimming method that is determined by the trimming method decision procedure, characterized in that it comprises a trimming procedure for trimming the image.
In such a procedure, the image to be trimmed is read by the image reading procedure, and the attention area of the image to be trimmed is calculated by the attention area calculation procedure. In addition, a model of an object that has learned an object (such as a human face) is stored in advance in an object storage procedure (such as a database). In addition, in accordance with the object index calculation procedure, the index of the object appearing in the image is calculated based on the object model stored in the object storage procedure. Then, the trimming method (trimming shape or the like) is stored in advance by the trimming method storage procedure, and the trimming method is determined according to the degree of interest obtained by the attention area calculation procedure and the object index by the trimming method determination procedure. Then, according to the trimming procedure, the image is trimmed according to the trimming technique determined by the trimming technique determination procedure.
As a result, the image can be trimmed using both the attention level and the object index, and the important region in the image can be trimmed without being hidden.
[0014]
Further, the computer program of the present invention includes a computer in an image trimming apparatus for trimming an image, an image reading procedure for reading an image to be trimmed, and an attention area calculation for calculating an attention area of the image to be trimmed. A procedure, an object storage procedure for storing a model of an object learned in advance for a predetermined object, and an object index for calculating an index of an object appearing in an image based on the object model stored in the object storage procedure. A calculating procedure, a trimming technique storing procedure for storing a trimming technique, a degree of attention obtained by the attention area calculating procedure, and a trimming technique determining procedure for determining a trimming method according to the object index obtained by the object index calculating procedure. And said According Liming method determines trimming method determined by the procedure, a program for executing a trimming procedure for trimming the image.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0016]
FIG. 1 is a block diagram illustrating a configuration example of a unit included in the image trimming device 100 according to the present invention. Each means provided in the image trimming device 100 shown in FIG. 1 has the following functions.
(1) Image reading means 101
The image reading unit 101 is a unit for reading a value (RGB value or the like) for each pixel constituting an image.
[0017]
(2) Attention area calculation means 102
The attention area calculation means 102 is a means for calculating the attention area of the image to be trimmed, and divides the image into a plurality of areas, and sets the degree of attention to two or more levels for each of the separated areas. Classify. For the calculation of the attention area, for example, the “attraction degree” disclosed in “Japanese Patent Application Laid-Open No. 2001-126070 (attention area extraction apparatus and automatic composition determination apparatus using the attention area extraction apparatus)” can be used. Regarding the degree, an outline will be described in the item of “Supplementary explanation on the degree of attraction” described later.)
[0018]
FIG. 2 is a diagram schematically showing a first image 11 to be subjected to a trimming process, and FIG. 3 is a diagram showing the degree of attention (attraction degree) of the image 11 shown in FIG. FIG. 4 is a diagram schematically illustrating an image 12, in which an attention area 12a of a flower part and an attention area 12b of a person part are calculated to have a high degree of attention (attraction degree).
[0019]
(3) Object storage means 103
The object storage unit 103 is a unit for storing a model of an object learned in advance. In the present embodiment, it is assumed that whether or not the object model is a face image has been learned. The object model is, for example, a model learned by a neural network. In addition, a stochastic model represented by Naive Bayes may be used, and MH. Yang, D.M. Roth and N.M. A model learned by the method disclosed in Ahuja “A SNOW based Face Detector, NIPS-12, Dec, 1999” may be used.
For example, in the SNoW learning method, an object is learned for a face image as follows.
(1) Prepare a database of face images.
{Circle around (2)} Prepare a database (eg, car, food) that is not a face image.
{Circle around (3)} The object model is repeatedly learned by the SNoW learning method described in the above-mentioned paper, with the face image data as the teacher signal “1” and the data other than the face image as the teacher signal “0”.
[0020]
(4) Object index calculating means 104
The object index calculation unit 104 performs a scan process for extracting the pixels obtained from the image reading unit 101 for the input pixels of the object model and obtaining an object index. Thereafter, the pixels shifted slightly are read, the object index value is calculated in the same manner, and the processing is performed on the entire image. As a result, the part with the highest object index is passed to the next processing as the processing result of the object index calculating means 104.
[0021]
FIG. 4 is a diagram illustrating an example of an image 13 indicating a region having the highest object index value based on the calculation result of the object index value of the image illustrated in FIG. In the present embodiment, as a result of applying the object index value calculation processing to the image of FIG. 2, the area 13a shown in FIG. 4 is extracted as the highest area. It is assumed that the object index value at this time is calculated as “object index value = g (image)”.
Further, in the example of the present embodiment, it is assumed that the object storage unit 103 stores an object model that has been learned whether or not the image is a face image. It is assumed that an index of whether or not there is is calculated.
The object index value indicates the likelihood that the image is a face image, and “1” is an index indicating an area most likely to be a face image, and “0” is an index indicating an area that is not a face image.
Note that, in the example of the present embodiment, the region having the highest object index is determined as the object position. However, the present invention is not limited to this. Good. Thereby, for example, when a plurality of face images are included, all the positions of the face images can be specified.
[0022]
(5) Trimming method storage means 105
This is a means for storing a method of performing trimming, and stores a trimming shape (template), an object index value, and an image conversion processing method.
[0023]
FIG. 5 is a diagram illustrating an example of data stored in the trimming method storage unit 105. As shown in FIG. 5, the trimming method storage unit 105 stores a trimming shape (template), an object index value, and an image conversion processing method (whether enlargement / reduction and rotation are possible).
The pattern 21 is trimmed into a circle, is applied when the face index is lower than 0.1, and indicates a condition that enlargement / reduction is possible from 90% to 120% and rotation is not permitted.
The pattern 22 is trimmed into a heart shape, is applied when the face index is higher than 0.9, and indicates a condition that scaling can be performed from 90% to 120% and rotation is not permitted.
Pattern 23 indicates a condition that the pattern is trimmed into a star shape, the face index is applied between 0.7 and 0.8, no scaling is performed, and rotation is not permitted.
[0024]
(6) Trimming method determining means 106
The trimming method determining unit 106 stores a trimming method (a template indicating a trimming shape or the like) from the trimming method storage unit 105 based on the object index (the value with the highest object index in the entire image) obtained by the object index calculating unit 104. ).
For example, if the object index obtained by the object index calculation unit 104 is “g (image) = 0.92”, the trimming method determination unit 106 determines the pattern 22 (FIG. 5) whose face index is larger than 0.9. select.
Similarly, when “g (image) = 0.75”, the pattern 23 is selected.
Further, it is assumed that, for example, an object model of a car image is stored in the object storage unit 103, and “g (image) = 0.08”. In this case, the pattern 21 is selected.
[0025]
(7) Trimming means 107
The trimming unit 107 performs a trimming process according to the trimming method (pattern) determined by the trimming method determining unit 106. When performing the trimming process, the object region determined by the object index calculation unit 104 is always included, and the trimming process is performed so as to include the attention region as much as possible.
[0026]
FIG. 6 is a diagram showing an example in which the pattern 22 shown in FIG. 5 is applied to the image shown in FIG. FIG. 7 is a diagram showing an example in which the pattern 23 shown in FIG. 5 is applied to the image shown in FIG. FIG. 8 is a diagram showing an example in which the pattern 21 shown in FIG. 5 is applied to the image shown in FIG.
In the example shown in FIG. 6, the trimming processing is performed so that the trimming shape of the pattern 22 (FIG. 5) always includes the object area and includes the attention area as much as possible. As a result, the pattern 22 is expanded to the maximum (120% of the upper limit), and a trimming result as shown in FIG. 6 is obtained.
Similarly, when “g (image) = 0.75”, the pattern 23 (FIG. 5) is selected, and the trimming result as shown in FIG. 7 is obtained.
It is assumed that the object model of the car image is stored in the object storage unit 103, and if g (image) = 0.08 ", the pattern 21 is selected and the trimming result shown in FIG. 8 is obtained.
[0027]
The following means are included in the trimming means 107, and the above-described trimming processing is performed using the following means. That is, the trimming is performed so that the attention area is included as much as possible in the trimming shape (template) together with the face image.
The attention area error calculation means 107a is means for calculating the degree (area) of the attention area included in the pattern. When the attention area error calculating means 107a is used, the position of the template is determined so that the area of the attention area included in the template is as large as possible.
The image scaling means 107b is a means for changing the trimming shape, the attention area, or the size of the original image based on the calculation result of the attention area error calculation means 107a.
The image rotation unit 107c is a unit for rotating the trimming shape, the region of interest, or the original image based on the calculation result of the region of interest error calculation unit 107a.
[0028]
In this manner, the image trimming device of the present invention can calculate the attention area and the object index for the image to be subjected to the trimming process, and perform the automatic trimming. In addition, automatic trimming including a region of interest using human visual characteristics can be performed.
[0029]
FIG. 9 is a diagram showing a processing procedure in the image trimming apparatus of the present invention, and is a flowchart showing a procedure for calculating an object index and performing a trimming process. Hereinafter, the procedure of trimming performed by the image trimming apparatus of the present invention will be described with reference to the flowchart shown in FIG.
(1) Step S1: A value for each pixel of an image to be processed is read.
(2) Step S2: The attention area calculation means 102 calculates an attention degree (attraction degree).
For example, the degree of attention (attraction degree) of the image 11 shown in FIG. 2 is calculated, and the pattern image 12 of the attention area shown in FIG. 3 is obtained.
(3) Step S3: The object index value and the object area are calculated.
(4) Step S4: A trimming rule is determined according to the object index value.
(5) Step S5: Trimming is performed.
[0030]
FIG. 10 is a block diagram showing a configuration example of the image trimming apparatus of the present invention, and shows only a portion directly related to the present invention. 10, reference numeral 100 denotes an image trimming device, 1 denotes a communication network such as the Internet network, 111 denotes a communication interface for connecting the image trimming device to the communication network 1, 112 denotes a control unit that controls the entire image trimming device, 120 Indicates a processing program unit. Note that the image trimming apparatus according to the present invention can be realized even by using a PC (personal computer).
[0031]
Further, the processing program unit 120 includes the following processing units.
The image selection processing unit 121 is a processing unit for selecting an image to be trimmed from the image database 113.
The image reading processing unit 122 is a processing unit for reading a value (RGB value or the like) for each pixel constituting an image to be trimmed.
The attention area calculation processing section 123 is a processing section for calculating an attention area of an image to be trimmed. The image is divided into a plurality of regions, and the degree of attention is divided into two or more levels for each of the separated regions. For the calculation of the attention area, for example, the “attraction degree” disclosed in “Japanese Patent Application Laid-Open No. 2001-126070 (attention area extraction apparatus and automatic composition determination apparatus using the same)” can be used.
[0032]
The object index calculation processing unit 124 is a processing unit for calculating an index of an object appearing in an image based on object model data stored in the object database 114.
The trimming method determination processing unit 125 records in the trimming method database 115 based on the degree of attention (attraction degree) obtained by the attention area calculation processing unit 123 and the object index obtained by the object index calculation processing unit 124. A processing unit for determining a trimming method with reference to the template data obtained.
[0033]
The trimming processing unit 126 is a processing unit for trimming an image according to the trimming method determined by the trimming method determination processing unit 125. When executing the trimming processing, the functions of the attention area error calculation processing unit 126a, the image scaling processing unit 126b, and the image rotation processing unit 126c are used.
The attention area error calculation processing unit 126a is a processing unit for calculating the degree to which the attention area is hidden or cut by the template used for trimming (the degree to be included in the template). The template is template data stored in the trimming method database 115.
[0034]
The image scaling processing unit 126b is a processing unit for changing the trimming shape (template), the attention area, or the size of the original image based on the calculation result of the attention area error calculation processing unit 126a.
The image rotation processing unit 126c is a processing unit for rotating the trimming shape (template), the attention area, or the original image based on the calculation result of the attention area error calculation processing unit 126a.
The display processing unit 127 is a processing unit for displaying the result of the trimming on the display device.
The print processing unit 128 is a processing unit for printing a result of trimming.
The image database 113 stores image data to be trimmed and the trimmed image data, and the object database 114 stores data of an object model. The trimming method database 115 stores template data describing a method of performing trimming, and stores a trimming shape, an object index value, an image conversion processing method, and the like.
[0035]
Note that the processing program unit 120 may be realized by dedicated hardware, and the processing program unit includes a general-purpose information processing device such as a memory and a CPU (central processing unit). A program (not shown) for realizing the function of the unit may be loaded into a memory and executed to realize the function. Further, it is assumed that an input device, a display device, a printing device, and the like (all are not shown) are connected to the image trimming device 100 as peripheral devices. Here, the input device refers to an input device such as a keyboard and a mouse. The display device refers to a CRT (Cathode Ray Tube), a liquid crystal display device, or the like. The printing device refers to a laser printer, an inkjet printer, or the like.
[0036]
Further, a program for realizing the functions of the image trimming apparatus 100 shown in FIG. 10 is recorded on a computer-readable recording medium, and the program recorded on this recording medium is read by a computer system and executed to execute the present invention. Processing necessary for the image trimming apparatus 100 of the present invention may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices.
The “computer system” includes a homepage providing environment (or a display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in a computer system.
Further, the “computer-readable recording medium” refers to a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, which dynamically holds the program for a short time. In this case, a medium holding a program for a certain period of time, such as a volatile memory in a computer system serving as a server or a client in that case, is also included.
Further, the above-mentioned program may be for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in a computer system, that is, a so-called difference file (difference file). Program).
[0037]
As described above, the embodiments of the present invention have been described. However, the image trimming apparatus of the present invention is not limited to the illustrated example described above, and various changes can be made without departing from the gist of the present invention. Of course.
[0038]
[Supplementary explanation on the degree of attraction]
In the embodiment of the present invention, “attraction level” is used as a reference for extracting a region of interest. One example of a method of calculating the “attraction level” is disclosed in Japanese Patent Laid-Open No. 2001-126070 (attention region extraction device). And an automatic composition determination device using the same).
Here, only the outline will be described.
To extract a region of interest, the degree of attraction is evaluated according to the physical characteristics of the original image. Here, the degree of attraction means a parameter suitable for human subjectivity. The region of interest is extracted by extracting a region that stands out from the evaluation result as a region of interest. In other words, when the attention area is evaluated, the evaluation is performed in accordance with the human subjectivity according to the physical characteristics, so that the attention area suitable for the human subjectivity can be extracted.
For example, when the physical characteristics include the degree of heterogeneity of color, the degree of attraction can be evaluated based on the difference in color of each region.
In addition, since the physical characteristics further include, in addition to the color heterogeneity, the shape heterogeneity, the area heterogeneity, and the texture (pattern) heterogeneity, the physical heterogeneity is determined based on at least one of the four heterogeneities. By evaluating the degree of eye-catching, the degree of eye-catching can be accurately evaluated according to the characteristics of the original image.
In the case where three color components (hue, saturation, and lightness) are also evaluated, a region close to a prominent color (red) according to human subjectivity can be evaluated as the most prominent region.
Furthermore, by evaluating the spatial frequency and the area of each region in the original image, the evaluation of the most prominent region can be more accurately determined.
[0039]
The evaluation of the degree of attraction is performed according to the following procedure.
(1) First, the original image is divided into regions. In this case, the original image is divided into a drawing area and a picture area. The method of this area division is described in W.I. Y. Ma and B. S. A boundary detection method based on "edge flow" described in "Edge Flow: A Framework of Boundary Detection and Image Segmentation" by Manjunath et al. Is applied.
(2) Next, the divided figure region is extracted, and the degree of attraction of the region is evaluated.
The evaluation of the degree of attraction is roughly performed as follows.
First, determine the degree of heterogeneity attraction in each area. In this case, the heterogeneity of the color, the heterogeneity of the texture, the heterogeneity of the shape, and the heterogeneity of the area are respectively obtained, and weighting factors are assigned to each of them to perform linear combination, thereby obtaining the heterogeneous attractiveness of each region.
Next, the feature attractiveness in each area is obtained. In this case, the attraction of color, the attraction of spatial frequency, and the attraction of area are obtained, and weighting factors are assigned to each of them to perform linear combination to obtain the characteristic attraction of each region.
Next, the heterogeneous attractiveness and the feature attractiveness of each area are added to obtain a feature integrated value, and the feature integrated value is evaluated by a predetermined beta function to calculate the attractiveness.
(3) Also, a pattern diagram in which the degree of attraction is evaluated is generated from the original image.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration example of a unit provided in an image trimming device of the present invention.
FIG. 2 is a diagram schematically showing an image to be trimmed.
FIG. 3 is a diagram schematically showing a region of interest (attraction level) of the image shown in FIG. 2;
FIG. 4 is a diagram showing a region having the highest object index value in the image of FIG. 2;
FIG. 5 is a diagram showing an example of data stored in a trimming method storage unit.
FIG. 6 is a diagram showing an example in which a pattern 22 shown in FIG. 5 is applied to the image of FIG. 2;
FIG. 7 is a view showing an example in which a pattern 23 shown in FIG. 5 is applied to the image of FIG. 2;
FIG. 8 is a view showing an example in which the pattern 21 shown in FIG. 5 is applied to the image of FIG. 2;
FIG. 9 is a diagram showing a processing procedure in the image trimming device of the present invention.
FIG. 10 is a block diagram illustrating a configuration example of an image trimming device according to the present invention.
[Explanation of symbols]
REFERENCE SIGNS LIST 100 image trimming device, 101 image reading means 102 attention area calculation means, 103 object storage means 104 object index calculation means, 105 trimming technique storage means 106 trimming technique determination means, 107 trimming means 107a attention area error calculation means, 107b image scaling means 107c Image rotation means

Claims (7)

画像のトリミングを行う画像トリミング装置であって、
トリミングの対象となる画像を読み取る画像読取手段と、
トリミングの対象となる画像の注目領域を算出する注目領域算出手段と、
予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手段と、
前記オブジェクト記憶手段に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手段と、
トリミング手法を記憶するトリミング手法記憶手段と、
前記注目領域算出手段によって得られた注目度と、前記オブジェクト指標算出手段により得られたオブジェクト指標とに従いトリミング方法を決定するトリミング手法決定手段と、
前記トリミング手法決定手段によって決められたトリミング手法に従い、画像をトリミングするトリミング手段と
を具備することを特徴とする画像トリミング装置。
An image trimming device for trimming an image,
Image reading means for reading an image to be trimmed;
An attention area calculation unit that calculates an attention area of an image to be trimmed;
Object storage means for storing a model of an object learned in advance for a predetermined object;
Based on the model of the object stored in the object storage means, an object index calculation means for calculating the index of the object shown in the image,
Trimming method storage means for storing a trimming method;
Trimming method determining means for determining a trimming method according to the degree of attention obtained by the attention area calculating means and the object index obtained by the object index calculating means;
An image trimming apparatus comprising: a trimming unit that trims an image according to a trimming method determined by the trimming method determining unit.
前記トリミング手段によりトリミングを行う際には、前記オブジェクト指標の値が所定の閾値を超えた場所を必ず含めるようにトリミングすること
を特徴とする請求項1に記載の画像トリミング装置。
2. The image trimming apparatus according to claim 1, wherein when trimming is performed by the trimming unit, trimming is performed so as to always include a place where the value of the object index exceeds a predetermined threshold.
前記トリミング手法記憶手段は、オブジェクト指標に基づいたトリミングのテンプレートと、該テンプレートの適用方法を記憶する手段であること
を特徴とする請求項1または請求項2に記載の画像トリミング装置。
3. The image trimming apparatus according to claim 1, wherein the trimming method storage unit is a unit that stores a trimming template based on an object index and a method of applying the template.
前記トリミング手法決定手段では、オブジェクト指標に基づいて、前記テンプレートからトリミングに使用するテンプレートを決定すること
を特徴とする請求項3に記載の画像トリミング装置。
4. The image trimming apparatus according to claim 3, wherein said trimming method determining means determines a template to be used for trimming from the template based on an object index.
前記オブジェクト指標算出手段により算出される指標が、顔画像を含むか否か判断するための指標であること
を特徴とする請求項1から4のいずれかに記載の画像トリミング装置。
The image trimming device according to claim 1, wherein the index calculated by the object index calculation unit is an index for determining whether or not a face image is included.
画像のトリミングを行う画像トリミング装置における画像トリミング方法であって、
トリミングの対象となる画像を読み取る画像読取手順と、
トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、
予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手順と、
前記オブジェクト記憶手順に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手順と、
トリミング手法を記憶するトリミング手法記憶手順と、
前記注目領域算出手順によって得られた注目度と、前記オブジェクト指標算出手順により得られたオブジェクト指標とに従いトリミング方法を決定するトリミング手法決定手順と、
前記トリミング手法決定手順によって決められたトリミング手法に従い、画像をトリミングするトリミング手順と
を含むことを特徴とする画像のトリミング方法。
An image trimming method in an image trimming device for trimming an image,
An image reading procedure for reading an image to be trimmed;
An attention area calculation procedure for calculating an attention area of an image to be trimmed;
An object storage procedure for storing an object model learned in advance for a predetermined object;
Based on the model of the object stored in the object storage procedure, an object index calculation procedure for calculating the index of the object shown in the image,
A trimming method storing procedure for storing the trimming method;
A trimming method determining step of determining a trimming method according to the degree of attention obtained by the attention area calculation procedure and the object index obtained by the object index calculation procedure;
A trimming procedure for trimming an image according to a trimming technique determined by the trimming technique determination procedure.
画像のトリミングを行う画像トリミング装置内のコンピュータに、
トリミングの対象となる画像を読み取る画像読取手順と、
トリミングの対象となる画像の注目領域を算出する注目領域算出手順と、
予め所定のオブジェクトについて学習したオブジェクトのモデルを記憶するオブジェクト記憶手順と、
前記オブジェクト記憶手順に記憶されているオブジェクトのモデルを基に、画像に映っているオブジェクトの指標を算出するオブジェクト指標算出手順と、
トリミング手法を記憶するトリミング手法記憶手順と、
前記注目領域算出手順によって得られた注目度と、前記オブジェクト指標算出手順により得られたオブジェクト指標とに従いトリミング方法を決定するトリミング手法決定手順と、
前記トリミング手法決定手順によって決められたトリミング手法に従い、画像をトリミングするトリミング手順と
を実行させるためのプログラム。
The computer in the image trimming device that trims the image
An image reading procedure for reading an image to be trimmed;
An attention area calculation procedure for calculating an attention area of an image to be trimmed;
An object storage procedure for storing an object model learned in advance for a predetermined object;
Based on the model of the object stored in the object storage procedure, an object index calculation procedure for calculating the index of the object shown in the image,
A trimming method storing procedure for storing the trimming method;
A trimming method determining step of determining a trimming method according to the degree of attention obtained by the attention area calculation procedure and the object index obtained by the object index calculation procedure;
A program for executing a trimming procedure for trimming an image in accordance with a trimming technique determined by the trimming technique determination procedure.
JP2003015106A 2003-01-23 2003-01-23 Image trimming apparatus, image trimming method, and program Expired - Fee Related JP4052128B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003015106A JP4052128B2 (en) 2003-01-23 2003-01-23 Image trimming apparatus, image trimming method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003015106A JP4052128B2 (en) 2003-01-23 2003-01-23 Image trimming apparatus, image trimming method, and program

Publications (3)

Publication Number Publication Date
JP2004228995A true JP2004228995A (en) 2004-08-12
JP2004228995A5 JP2004228995A5 (en) 2006-03-02
JP4052128B2 JP4052128B2 (en) 2008-02-27

Family

ID=32902950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003015106A Expired - Fee Related JP4052128B2 (en) 2003-01-23 2003-01-23 Image trimming apparatus, image trimming method, and program

Country Status (1)

Country Link
JP (1) JP4052128B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074674A (en) * 2005-09-09 2007-03-22 Sony Corp Image processing apparatus and method, and program
JP2007116447A (en) * 2005-10-20 2007-05-10 Sony Corp Image processing unit, method, and program
JP2007274486A (en) * 2006-03-31 2007-10-18 Fujifilm Corp Image output method, device, and program
JP2009232375A (en) * 2008-03-25 2009-10-08 Seiko Epson Corp Image processing method and program therefor, and image processing apparatus
JP2009246919A (en) * 2008-04-01 2009-10-22 Fujifilm Corp Image processing apparatus, image processing method, and image processing program
JP2009245404A (en) * 2008-04-01 2009-10-22 Fujifilm Corp Image processor, method and program
JP2009246920A (en) * 2008-04-01 2009-10-22 Fujifilm Corp Image processing apparatus, image storage device, and program for image processing apparatus
JP2009290249A (en) * 2008-05-27 2009-12-10 Fujifilm Corp Trimming rule learning device, method, and program
JP5000781B1 (en) * 2011-11-09 2012-08-15 楽天株式会社 Image processing apparatus, image processing apparatus control method, program, and information storage medium
US11244187B2 (en) 2019-09-17 2022-02-08 Fujifilm Business Innovation Corp. Information processing apparatus and non-transitory computer readable medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6336406B2 (en) 2015-03-11 2018-06-06 富士フイルム株式会社 Image composition apparatus, image composition method, image composition program, and recording medium storing the program
JP7392368B2 (en) 2019-10-03 2023-12-06 富士フイルムビジネスイノベーション株式会社 Image processing device, system, program

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074674A (en) * 2005-09-09 2007-03-22 Sony Corp Image processing apparatus and method, and program
JP2007116447A (en) * 2005-10-20 2007-05-10 Sony Corp Image processing unit, method, and program
JP2007274486A (en) * 2006-03-31 2007-10-18 Fujifilm Corp Image output method, device, and program
JP4672587B2 (en) * 2006-03-31 2011-04-20 富士フイルム株式会社 Image output method, apparatus and program
JP2009232375A (en) * 2008-03-25 2009-10-08 Seiko Epson Corp Image processing method and program therefor, and image processing apparatus
JP2009246920A (en) * 2008-04-01 2009-10-22 Fujifilm Corp Image processing apparatus, image storage device, and program for image processing apparatus
JP2009245404A (en) * 2008-04-01 2009-10-22 Fujifilm Corp Image processor, method and program
JP2009246919A (en) * 2008-04-01 2009-10-22 Fujifilm Corp Image processing apparatus, image processing method, and image processing program
US8687887B2 (en) 2008-04-01 2014-04-01 Fujifilm Corporation Image processing method, image processing apparatus, and image processing program
JP2009290249A (en) * 2008-05-27 2009-12-10 Fujifilm Corp Trimming rule learning device, method, and program
JP5000781B1 (en) * 2011-11-09 2012-08-15 楽天株式会社 Image processing apparatus, image processing apparatus control method, program, and information storage medium
US9240064B2 (en) 2011-11-09 2016-01-19 Rakuten, Inc. Image processing device, method for controlling image processing device, program, and information storage medium
US11244187B2 (en) 2019-09-17 2022-02-08 Fujifilm Business Innovation Corp. Information processing apparatus and non-transitory computer readable medium

Also Published As

Publication number Publication date
JP4052128B2 (en) 2008-02-27

Similar Documents

Publication Publication Date Title
JP3690391B2 (en) Image editing apparatus, image trimming method, and program
JP4294371B2 (en) Portrait image enhancement method and system
US8139826B2 (en) Device and method for creating photo album
US9245195B2 (en) Apparatus, method and program for image search
US8300064B2 (en) Apparatus and method for forming a combined image by combining images in a template
JP4421761B2 (en) Image processing method and apparatus, and recording medium
JP4368513B2 (en) Image processing method and apparatus, and recording medium
JP4052128B2 (en) Image trimming apparatus, image trimming method, and program
US20040165000A1 (en) Picture layout processing apparatus, picture layout processing method, and program therefor
JP2009268085A (en) Image trimming device and program
US7212674B1 (en) Method, apparatus and recording medium for face extraction
JP4348956B2 (en) Image layout apparatus, image layout method, and program in image layout apparatus
Gallea et al. Automatic aesthetic photo composition
JP3719247B2 (en) Image editing apparatus, image trimming method, and program
JP2004289706A (en) Image processing method, image processing apparatus and program
JP2011188237A (en) Image processing method and image processing apparatus
JP5009864B2 (en) Candidate image display method, apparatus, and program
JP4507673B2 (en) Image processing apparatus, image processing method, and program
JP2004192121A (en) Image retrieval device, image classification method, image retrieval method, and program
JP6472361B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP6797871B2 (en) program
JP2008159049A (en) Image recording system
JP2004194197A (en) Device, method and program for detecting scene change
Segovia et al. Aesthetic role of transparency and layering in the creation of photo layouts
JPH1169179A (en) Image information recording medium, method and system reproducing image recorded on recording medium

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees