JP2004289706A - 画像処理方法および画像処理装置ならびにプログラム - Google Patents
画像処理方法および画像処理装置ならびにプログラム Download PDFInfo
- Publication number
- JP2004289706A JP2004289706A JP2003081764A JP2003081764A JP2004289706A JP 2004289706 A JP2004289706 A JP 2004289706A JP 2003081764 A JP2003081764 A JP 2003081764A JP 2003081764 A JP2003081764 A JP 2003081764A JP 2004289706 A JP2004289706 A JP 2004289706A
- Authority
- JP
- Japan
- Prior art keywords
- image
- key subject
- subject
- key
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】画像データベースに記憶された画像について、特定の被写体等に特化して加工した画像を自動的に作成する。
【解決手段】表示した画像の中から選択された被写体をキー被写体として、このキー被写体の画像特徴量を抽出し、予め記憶している複数の画像の中から、画像中にキー被写体が存在する画像について、画像特徴量を用いてキー被写体の位置を検出して、このキー被写体が中心に位置する画像が得られるように、画像のトリミング領域と電子変倍率を設定することにより、前記課題を解決する。
【選択図】図２
【解決手段】表示した画像の中から選択された被写体をキー被写体として、このキー被写体の画像特徴量を抽出し、予め記憶している複数の画像の中から、画像中にキー被写体が存在する画像について、画像特徴量を用いてキー被写体の位置を検出して、このキー被写体が中心に位置する画像が得られるように、画像のトリミング領域と電子変倍率を設定することにより、前記課題を解決する。
【選択図】図２
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理の技術分野に属し、詳しくは、電子アルバムの編集等に好適に利用される画像処理方法および画像処理装置、ならびに、これを実施するためのプログラムに関する。
【０００２】
【従来の技術】
デジタルカメラやデジタルビデオカメラ等のデジタルの撮像装置、および、パーソナルコンピュータ（ＰＣ）の普及に伴い、デジタルカメラ等で撮影した画像（画像データ）をＰＣに取り込み、画像を鑑賞することが行われ、さらに、ユーザが表示画像を自由に選択し、さらに、必要に応じてレイアウトや画像処理、さらにはテンプレートや文字の合成などを行うことができる、いわゆる電子アルバムも汎用されている。
【０００３】
このような電子アルバムに関して、例えば、特許文献１には、デジタルカメラ等で撮影した画像をＰＣに取り込み、取り込んだ画像と、アルバム画面とを表示して、マウスやキーボード等を用いて、アルバム画面中における位置と、その位置に表示する画像（コマ）とを指示することにより、ユーザの好みに応じた電子アルバムを迅速に作成する方法が開示されている。
【０００４】
また、特許文献２には、このような画像を自在にレイアウト可能な電子アルバムとして、デジタルカメラ等で撮影された画像を記憶したユーザメモリから画像を取り込んで格納する転送手段、格納した画像をユーザメモリ毎に統括してサムネイル画像として写真フィルム形態に表示し、同画面に、写真アルバムの台紙調画像を表示する表示画像制御手段、および、ＧＵＩ等によって写真フィルム形態に表示されたサムネイル画像が台紙調画像上に移動された際に、対応する画像を台紙調画像上の移動位置に表示すると共に、台紙調画像に対応付けして画像データをシステムメモリに格納する画像貼り付け手段を有することにより、小型軽量で、かつ、容易に写真アルバムの様に容易に扱うことを可能にした電子アルバムが開示されている。
【０００５】
【特許文献１】
特開平９−２９４２２６号公報
【特許文献２】
特開２０００−２５３２２８号公報
【０００６】
【発明が解決しようとする課題】
ところで、このような従来の電子アルバムには、画像の拡大や縮小等の処理を行うことが可能なものも多い。
例えば、前述の特許文献２には、拡大を指示された画像の実画像サイズを求め、ディスプレイにおける画像の表示領域のサイズと、実画像サイズとから、拡大／縮小率を求め、この拡大／縮小率に応じて画像（画像データ）に電子変倍処理を施して画像を表示することが開示されている。
【０００７】
ところが、このような特許文献２に開示される電子アルバムを含め、従来の電子アルバムでは、図３に示されるように、単純に画像全体をある大きさに拡大もしくは縮小することしかできない。
そのため、例えば、ユーザ自身などの特定人物等、目的とする領域の部分的な拡大等を行うことができず、レイアウト等を任意に行うことは可能でも、ユーザ自身に特化した拡大などの画像処理を行うことができない。
【０００８】
本発明の目的は、前記従来技術の問題点を解決することにあり、多数の画像を記憶する画像データベース等において、ユーザなどの特定の被写体に特化して、この被写体を中心とした画像のトリミングや拡大等を自動的に行うことができ、例えば、ユーザ自身が中心となる画像を集めた電子アルバム等を容易に作成することを可能にする画像処理方法および画像処理装置、ならびに、これを実施するためのプログラムを提供することにある。
【０００９】
【課題を解決するための手段】
前記目的を達成するために、本発明の画像処理装置は、表示した画像の中から選択された被写体をキー被写体として、このキー被写体の画像特徴量を抽出し、予め記憶している複数の画像の中から、画像中に前記キー被写体が存在する画像について、前記画像特徴量を用いてキー被写体の位置を検出して、このキー被写体が中心に位置する画像が得られるように、画像のトリミング領域と電子変倍率を設定することを特徴とする画像処理方法を提供する。
【００１０】
また、本発明の画像処理装置は、表示手段と、複数の画像を記憶する記憶手段と、前記表示手段に表示した画像からキー被写体を選択する選択手段と、前記キー被写体の画像特徴量を抽出する抽出手段と、前記記憶手段が記憶している画像の中から、画像中に前記キー被写体が存在する画像について、前記画像特徴量を用いてキー被写体の位置を検出して、このキー被写体が中心に位置する画像が得られるように、画像のトリミング領域と電子変倍率を設定する設定手段とを有することを特徴とする画像処理装置を提供する。
【００１１】
さらに、本発明のプログラムは、表示手段に表示した画像の中から選択された被写体をキー被写体として、このキー被写体の画像特徴量を抽出するステップ、記憶手段が記憶している複数の画像の中から、画像中に前記キー被写体が存在する画像について、前記画像特徴量を用いてキー被写体の位置を検出するステップ、および、検出したキー被写体が中心に位置する画像が得られるように、画像のトリミング領域と電子変倍率を設定するステップを有するプログラムを提供する。
【００１２】
このような本発明の画像処理方法、画像処理装置、およびプログラムにおいて、トリミングした画像を目的とする画像サイズに拡大した際に、前記キー被写体が中心となり、かつ、拡大率が最小となるように、前記画像のトリミング領域および電子変倍率を設定するのが好ましく、また、予め最大拡大率を設定しておくと共に、前記キー被写体が中心となる最大サイズのトリミングを行い、かつ、このトリミング画像を目的とする画像サイズまで拡大すると前記最大拡大率を超える場合には、前記最大拡大率で原画像サイズとなり、かつ、前記キー被写体が最も中心近傍に位置するようにトリミングを行うのが好ましく、また、予め記憶している複数の画像の中から、指定された検索範囲について、前記キー被写体の画像特徴量を用いて前記キー被写体が存在する画像を検索し、検索した画像に対して、前記キー被写体の位置検出以降の処理を行うのが好ましく、また、前記トリミング領域および電子変倍率、ならびに、前記トリミング領域および電子変倍率に応じて処理した画像の少なくとも一方を、原画像に対応付けして記憶するのが好ましく、さらに、画像の表示指示に応じて、表示指示された画像と同じキー被写体を有する画像、もしくは選択されたキー被写体を有する画像について、トリミングおよび電子変倍を行った画像、あるいはさらに原画像を、電子アルバム化して表示するのが好ましい。
【００１３】
【発明の実施の形態】
以下、本発明の画像処理方法、画像処理装置、およびプログラムについて、添付の図面に示される好適実施例を基に、詳細に説明する。
【００１４】
図１に、本発明の画像処理方法を実施する本発明の画像処理装置の一例のブロック図を示す。
図１に示す画像処理装置１０は、本発明の画像処理方法によって画像データベース化して記憶している画像（画像データ）等を加工して、電子アルバム等として表示するものであり、基本的に、入力手段１２と、装置本体１４と、ディスプレイ１６と、操作手段１８とを有して構成される。なお、画像処理装置１０は、これ以外にも、表示画像を再生したハードコピー等を出力するためのプリンタ等を有してもよい。
【００１５】
図示例の画像処理装置１０において、入力手段１２は、画像データベース（記憶手段３０）に記憶する画像の画像データを取得して、装置本体１２に供給するものである。
入力手段１２には、特に限定はなく、画像データを取得して、装置本体１４に供給できるものであれば、各種のものが利用可能である。一例として、スマートメディアＴＭやＣＤ−Ｒなどの記録媒体の読取装置、デジタルカメラなどの撮像媒体からの画像読取装置、スキャナなどの反射原稿を光電的に読み取る画像読取装置、画像（画像データ）を通信するネットワークとの接続手段等が例示される。また、複数種が装置本体１４に接続されてもよい。
【００１６】
ディスプレイ１６は、パーソナルコンピュータ等に利用される公知のディスプレイであり、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（液晶ディスプレイ）を利用すればよい。また、いわゆる電子ペーパであってもよい。操作手段１８も、マウスやキーボード等、パーソナルコンピュータ等に利用される公知の操作手段である。
図示例の画像処理装置１０においては、一例として、このディスプレイ１６の表示と操作手段１８とを用いたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によって、後述するキー被写体の指示や画像表示指示等の各種の操作が行われる。
【００１７】
装置本体１４（以下、本体１４とする）は、入力手段１２から供給された画像データを画像データベース化して記憶し、指示に応じて、本発明の画像処理方法を実施するものであり、図示例においては、記憶手段３０、抽出手段３２、検索手段３４、画像処理手段３６、および表示手段３８を有して構成される。
このような本体１４は、例えば、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）を用いて構成すればよい。
【００１８】
記憶手段３０は、入力手段１２から入力された画像データを記憶して、画像データベース化するもので、例えば、ハードディスク等を用いて構成すればよい。また、記憶手段３０は、後述するように、ユーザによって選択されたキー被写体が存在する画像に関しては、画像データ（原画像）と、キー被写体の情報、キー被写体の画像特徴量、キー被写体の位置の情報、および処理条件（トリミング領域および電子変倍率）とを、対応付けして記憶する。
【００１９】
抽出手段３２は、ディスプレイ１６に表示した、キー被写体が選択される画像（以下、この画像を選択画像とする）について、操作手段１８を用いてユーザが選択したキー被写体の指示に応じて、表示している画像中からキー被写体を抽出して、さらに、抽出したキー被写体の画像特徴量を抽出するものである。
図示例においては、キー被写体として、人物が指示可能にされている。抽出手段３２は、選択画像を表示したキー被写体の指示画面において、ユーザが選択して操作手段１８によって指示（例えば、マウスによるクリック）した位置に応じて、人物の顔抽出を行ってキー被写体とし、さらに、このキー被写体の画像特徴量を抽出し、画像特徴量を検索手段３４に、キー被写体の位置の情報を画像処理手段３６に、それぞれ送る。
【００２０】
なお、顔抽出方法には、特に限定はなく、公知の方法が各種利用可能である。一例として、エッジ検出や形状パターン検出による顔抽出方法； 色相抽出や肌色抽出による顔抽出方法； 画像を色領域に分割して、求めた領域の境界部位に内接する円（または長円）を想定して、面積の大きな円から順に色領域を分割し、分割された少なくとも一つを選択して人物の顔とする方法（特開平５−１６５１１９号公報参照）； ２値化等の方法を用いて、頭部輪郭、顔の輪郭、顔の内分構造、胴体等のパターンを検出して、顔と推定される領域を設定し、検出した設定した領域に重み係数を付与することを人物に特有の形状パターンをに応じて行い、顔と設定した領域と重み係数とに応じて、顔に相当する確率が最も高い領域を判定する方法（特開平８−１８４９２５号公報参照）； 等が例示される。抽出手段３２は、操作手段１８によるキー被写体の指示と、このような顔抽出とに応じて、キー被写体を抽出する。
【００２１】
キー被写体の画像特徴量の抽出方法にも、特に限定はなく、例えば、抽出する画像特徴量等に応じて、キー被写体の濃度ヒストグラム作成、エッジ検出、パターンマッチング、テンプレートマッチング等を用いた、公知の画像解析による方法を利用すればよい。
なお、画像特徴量は、例えば、対象画像の輪郭を形成する各境界画素の中心を追跡して、この追跡方向をそれぞれチェインコードとして検出し、このチェインコードを用いて画像特徴量を求める方法（特開平５−１１４０２７号公報参照）等も例示される。
【００２２】
検索手段３４は、記憶手段３０が記憶している画像データから、指定された検索範囲について画像解析を行って、抽出手段３２が抽出したキー被写体の画像特徴量を用いて、選択画像のキー被写体と同一人物（被写体）が存在している画像を検索し、このキー被写体が存在する画像、および、その画像中におけるキー被写体の位置の情報を、画像処理手段３６に供給する。
図示例においては、一例として、検索範囲として、記憶手段３０内の全画像、指定されたフォルダ（保存領域）内の画像、ディスプレイ１６に表示中の画像、ファイル名に所定の文字列を有する画像、画像登録日（記憶手段３０に記憶された日）等が選択可能になっている。
また、後述する処理条件を設定する画像（加工する画像）をユーザが選択できるようにしてもよい。なお、ユーザが画像を選択する際には、検索手段３４による画像の検索は不要であり、検索手段３４は、選択された画像に対するキー被写体の位置検出のみを行う。
【００２３】
画像処理手段３６は、選択画像、および、検索手段３４が検索した各画像について、キー被写体の位置情報を用いて、このキー被写体が画像の中心（中央）に位置する所定サイズ（所定画素数）の画像が得られるように、画像のトリミング領域および電子変倍率（通常は拡大率）を処理条件として設定する。
また、各画像毎に、設定した処理条件、キー被写体の情報および画像特徴量、を、原画像（トリミング前の画像）に対応付けして、記憶手段３０に送る。
【００２４】
図示例においては、一例として、原画像の画像サイズを保持しておき、原画像と同サイズを前記所定サイズとして、トリミングした画像を原画像サイズに拡大した際に、キー被写体が画像の中心となり、かつ、拡大率が最小となるように、トリミング領域および電子変倍率を設定する。
すなわち、例えば、画像処理手段３６は、図２（Ａ）に示すように、キー被写体（真ん中の網の掛かった人物）を中心として切り出し可能な最大領域を原画像からのトリミング領域として設定し、このトリミングで切り出した画像が、原画像のサイズとなるように電子変倍率を設定する。
【００２５】
トリミングが切出可能な範囲を超えると、例えば、図２（Ａ）に示される例であれば、原画像の右端を超えてトリミングする結果となり、この右端を超えた領域が余白画像となってしまう。また、トリミング枠のアスペクト比（縦横の長さ比）は、通常、原画像のアスペクト比と等しく設定するのが好ましい。
従って、上記構成とすることにより、適正な画像処理を安定して行うことが可能になる。
【００２６】
なお、本発明において、前記所定サイズ（電子変倍による目的画像サイズ）は、前記原画像サイズに限定はされず、各種のサイズが利用可能であり、また、オペレータによる任意の設定が可能であってもよい。
また、所定サイズによっては、トリミングした画像を縮小してもよく、あるいは、トリミングのみを行ってもよい。
【００２７】
ここで、キー被写体が画像の端部近傍にいる場合等では、キー被写体を中心としてトリミングを行うと、切り出せる領域が小さく、原画像サイズとするための拡大率が大きくなり、処理済の画像の画質が悪くなってしまう場合がある。
【００２８】
これを防止するために、本発明においては、予め最大拡大率を設定しておき、キー被写体が中心となるように最大サイズのトリミングをおこなっても、原画像サイズ（所定サイズ）まで電子変倍を行うと前記最大拡大率を超えてしまう場合には、図２（Ｂ）に示すように、拡大率を最大拡大率として、この最大拡大率で拡大を行った際に画像が原画像サイズとなるようにトリミングサイズを決定し、その中で、キー被写体が最も画像中央に近くなるように、トリミング領域を決定するのが好ましい。
【００２９】
なお、最大拡大率は、画像処理装置１０にデフォルトで設定しておいても、複数の選択肢から選択可能にしても、オペレータ等が任意に設定できるようにしても、これらから選択できるようにしてもよい。また、最大拡大率の設定の有無を選択できるようにしてもよい。
【００３０】
また、画像処理手段３６は、画像の表示指示等があった場合には、対応する画像データおよび処理条件を記憶手段３０から読み出し、画像データを処理（設定したトリミング領域に応じたトリミング、および、変倍率での電子変倍処理）して、加工済の画像データとして表示手段３８に供給する。画像のトリミングおよび電子変倍処理は、公知の方法で行えばよい。
【００３１】
表示手段３８は、ディスプレイ１６に各種の操作画面等を表示し、また、画像処理手段３６が処理した画像データや、記憶手段３０から読み出した画像データに、所定の処理を行って、ディスプレイ１６による画像表示に応じた画像データとし、ディスプレイ１６に画像を表示するものである。
【００３２】
以下、画像処理装置１０の作用を説明することにより、本発明について、より詳細に説明する。また、本発明のプログラムは、以下の作用や機能を実施させるプログラムである。
【００３３】
前述のように、記憶手段３０には、入力手段１２から供給された画像データが多数記憶され、画像データベース化されている。
キー被写体を選択する際には、操作手段１８等を用いた操作に応じて、表示手段３８が、ディスプレイ１６にキー被写体の選択画面を表示し、かつ、選択画像として指示された画像の画像データを記憶手段３０から読み出して、選択画面の所定位置に表示する。また、選択画像の画像データは、抽出手段３２にも供給される。なお、キー被写体の選択は、入力手段１２からの画像データの入力時等に、これを選択画像として行ってもよい。
【００３４】
選択画像を見たユーザは、キー被写体を選択して、例えば操作手段１８のマウスによるクリック等によって指示し、さらに、任意に選択したフォルダ等、画像の検索範囲を指示する（あるいは、加工する画像を指定する）。本例においては、図２（Ａ）の左側を選択画像とし、真ん中の人物（網が掛かった人物）がキー被写体として選択されたとする。
これに応じて、抽出手段３２が前述のように顔抽出とオペレータによる指示に応じて、選択画像からキー被写体を抽出し、さらに、キー被写体の画像特徴量を抽出する。
【００３５】
次いで、抽出手段３２は、選択画像から抽出したキー被写体および画像特徴量を検索手段３４に送り、また、選択画像のキー被写体の位置情報を画像処理手段３６に送る。
検索手段３４は、指定された検索範囲に応じて、供給された画像特徴量を用いて記憶手段３０内からキー被写体（同一人物）が存在する画像を検索して、また、キー被写体の位置を特定し、画像の検索結果、および検索した各画像におけるキー被写体の位置、キー被写体の情報および画像特徴量を画像処理手段３６に送る。なお、加工する画像が選択された場合には、検索手段３４による画像検索は不要で、キー被写体の位置検出のみを行うのは、前述のとおりである。
【００３６】
画像処理手段３６は、選択画像、および、検索手段３４が検索した各画像について、キー被写体の位置情報を用いて、図２（Ａ）に示すように、処理済の画像が、画像中においてキー被写体が中心となり、かつ、原画像と同サイズとなるように、トリミング領域および拡大率（電子変倍率）を設定する。
ここで、キー被写体を中心にトリミングを行って原画像サイズに拡大すると、最大倍率を超えてしまう場合には、図２（Ｂ）に示すように、拡大率を最大倍率として、キー被写体が出来るだけ中心に位置し、かつ拡大後に原画像サイズとなるようにトリミング領域を設定するのは、前述のとおりである。
【００３７】
次いで、画像処理手段３６は、選択画像および検索された各画像について、原画像に対応付けして、キー被写体の情報（例えばキー被写体の識別情報）、キー被写体の画像特徴量、および、設定した処理条件（トリミング領域および電子変倍率）を記憶手段３０に送り、記憶手段３０は、これらと原画像とを対応付けして記憶する。
なお、本発明は、原画像と、処理条件等とを関連づけて記憶手段３０に記憶するのに限定はされない。例えば、処理条件を設定した時点で画像処理手段３６で画像の加工（トリミングおよび拡大処理）を行って、原画像と加工済画像とを対応付けして記憶するようにしてもよく、また、原画像と加工済画像と処理条件等とを対応付けして記憶するようにしてもよい。
【００３８】
一方、操作手段１８等を用いて、ユーザによる画像の表示指示が行われた場合には、画像処理手段３６は、表示を指示された画像（原画像）の画像データ、および対応付けされている処理条件を記憶手段３０から読み出し、処理条件に応じて、画像データに画像のトリミングおよび電子変倍処理を行って、加工済の画像データとして表示手段３８に供給し、表示手段３８が加工済画像を表示する。
なお、表示する画像は、キー被写体を中心にした加工済画像のみに限定はされず、加工済画像と原画像の両者を表示してもよい。また、指示に応じて、原画像のみを表示してもよいのは、もちろんである。
【００３９】
ここで、画像処理装置１０においては、好ましくは、表示を指示された画像や、指定されたキー被写体に応じて、同じキー被写体（人物）が存在し、かつキー被写体に応じた処理条件が設定されている複数の画像を呼び出して、電子アルバムとして表示するようにしてもよい。
【００４０】
例えば、ユーザが操作手段１８を用いて電子アルバムの表示を指示し、画像を選択、もしくは或る表示画像から人物（被写体）を選択する。
選択された画像が処理条件を対応付けされている場合や、選択された人物が先にキー被写体として選択された人物である場合には、画像処理手段３６は、例えば、画像データに対応付けされているキー被写体の情報を用いて、同じキー被写体が存在する画像データを検索して、対応する画像データおよび処理条件を読み出し、順次、処理して、加工済の画像データとして表示手段３８に送る。
なお、この画像表示においても、先のキー被写体に応じた画像の検索と同様に、検索の範囲は指定可能とするのが好ましい。
【００４１】
表示手段３８は、写真アルバム台紙調の画面に、供給された加工済画像データの画像（加工済画像）を割り付け、ディスプレイ１６に加工済の画像を配列した電子アルバムとして表示する。この際の表示は、加工済画像のみであってもよく、処理済画像と原画像とを並べて表示するようにしてもよい。また、原画像を最初に表示し、次いで、加工済の画像を、順次、自動で切り替えて表示するようにしてもよい。さらに、いずれかを選択可能にしてもよい。
なお、電子アルバムは、公知の方法で作成すればよく、また、電子アルバムのレイアウトには、特に限定はなく、各種のレイアウトが利用可能である。
【００４２】
なお、このような電子アルバムの表示は、ユーザによる電子アルバムの表示指示に応じて行うのに限定はされず、各種のタイミングで電子アルバムの表示を行ってもよい。例えば、ユーザが画像がキー被写体を選択し、キー被写体を選択された画像、および、キー被写体の選択に応じて検索された画像のトリミング領域ならびに拡大率を決定した時点で、自動的に、対応する画像を電子アルバム化して表示するようにしてもよい。
【００４３】
以上の説明より明らかなように、本発明においては、多数の画像を記憶する画像データベース等において、単純に画像を拡大／縮小するのみならず、例えば、コンピュータのユーザ等、キー被写体として選択した特定の人物（被写体）に特化して、この人物を中心とした画像の加工を自動的に行うことができる。従って、本発明によれば、例えば、特定の人物に特化した電子アルバム等を容易に作成することができる。
【００４４】
以上の例では、キー被写体として人物を例示したが、本発明はこれに限定はされず、建造物や動物等をキー被写体として、前述のような処理条件の設定、画像の加工、電子アルバムの表示等を行ってもよい。
また、キー被写体の抽出に、顔抽出を利用したが、本発明はこれに限定はされず、キー被写体の抽出に人物の全体像の抽出を利用してもよい。この際において、人物の全体像の抽出は、公知の方法によればよい。
【００４５】
以上、本発明の画像処理方法、画像処理装置およびプログラムについて詳細に説明したが、本発明は、上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのは、もちろんである。
例えば、顔抽出結果を利用して、顔抽出によって人物を特定して、メールアドレス等の個人情報との関連付けを行い、これを用いて、各個人がキー被写体となっている画像を、前述のように加工して、画像の配信等を行ってもよい。
【００４６】
【発明の効果】
以上、詳細に説明したように、本発明によれば、画像データベースにおいて、特定の被写体に特化した画像の加工を自動的に行うことができ、例えば、特定の人物に特化した電子アルバム等の作成を容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の画像処理方法を実施する本発明の画像処理装置の一例のブロック図である。
【図２】（Ａ）および（Ｂ）は、本発明の画像処理方法の一例を説明するための概念図である。
【図３】従来の画像処理を説明するための概念図である。
【符号の説明】
１０ 画像処理装置
１２ 入力手段
１４ 装置本体
１６ ディスプレイ
１８ 操作手段
３０ 記憶手段
３２ 抽出手段
３４ 検索手段
３６ 画像処理手段
３８ 表示手段
【発明の属する技術分野】
本発明は、画像処理の技術分野に属し、詳しくは、電子アルバムの編集等に好適に利用される画像処理方法および画像処理装置、ならびに、これを実施するためのプログラムに関する。
【０００２】
【従来の技術】
デジタルカメラやデジタルビデオカメラ等のデジタルの撮像装置、および、パーソナルコンピュータ（ＰＣ）の普及に伴い、デジタルカメラ等で撮影した画像（画像データ）をＰＣに取り込み、画像を鑑賞することが行われ、さらに、ユーザが表示画像を自由に選択し、さらに、必要に応じてレイアウトや画像処理、さらにはテンプレートや文字の合成などを行うことができる、いわゆる電子アルバムも汎用されている。
【０００３】
このような電子アルバムに関して、例えば、特許文献１には、デジタルカメラ等で撮影した画像をＰＣに取り込み、取り込んだ画像と、アルバム画面とを表示して、マウスやキーボード等を用いて、アルバム画面中における位置と、その位置に表示する画像（コマ）とを指示することにより、ユーザの好みに応じた電子アルバムを迅速に作成する方法が開示されている。
【０００４】
また、特許文献２には、このような画像を自在にレイアウト可能な電子アルバムとして、デジタルカメラ等で撮影された画像を記憶したユーザメモリから画像を取り込んで格納する転送手段、格納した画像をユーザメモリ毎に統括してサムネイル画像として写真フィルム形態に表示し、同画面に、写真アルバムの台紙調画像を表示する表示画像制御手段、および、ＧＵＩ等によって写真フィルム形態に表示されたサムネイル画像が台紙調画像上に移動された際に、対応する画像を台紙調画像上の移動位置に表示すると共に、台紙調画像に対応付けして画像データをシステムメモリに格納する画像貼り付け手段を有することにより、小型軽量で、かつ、容易に写真アルバムの様に容易に扱うことを可能にした電子アルバムが開示されている。
【０００５】
【特許文献１】
特開平９−２９４２２６号公報
【特許文献２】
特開２０００−２５３２２８号公報
【０００６】
【発明が解決しようとする課題】
ところで、このような従来の電子アルバムには、画像の拡大や縮小等の処理を行うことが可能なものも多い。
例えば、前述の特許文献２には、拡大を指示された画像の実画像サイズを求め、ディスプレイにおける画像の表示領域のサイズと、実画像サイズとから、拡大／縮小率を求め、この拡大／縮小率に応じて画像（画像データ）に電子変倍処理を施して画像を表示することが開示されている。
【０００７】
ところが、このような特許文献２に開示される電子アルバムを含め、従来の電子アルバムでは、図３に示されるように、単純に画像全体をある大きさに拡大もしくは縮小することしかできない。
そのため、例えば、ユーザ自身などの特定人物等、目的とする領域の部分的な拡大等を行うことができず、レイアウト等を任意に行うことは可能でも、ユーザ自身に特化した拡大などの画像処理を行うことができない。
【０００８】
本発明の目的は、前記従来技術の問題点を解決することにあり、多数の画像を記憶する画像データベース等において、ユーザなどの特定の被写体に特化して、この被写体を中心とした画像のトリミングや拡大等を自動的に行うことができ、例えば、ユーザ自身が中心となる画像を集めた電子アルバム等を容易に作成することを可能にする画像処理方法および画像処理装置、ならびに、これを実施するためのプログラムを提供することにある。
【０００９】
【課題を解決するための手段】
前記目的を達成するために、本発明の画像処理装置は、表示した画像の中から選択された被写体をキー被写体として、このキー被写体の画像特徴量を抽出し、予め記憶している複数の画像の中から、画像中に前記キー被写体が存在する画像について、前記画像特徴量を用いてキー被写体の位置を検出して、このキー被写体が中心に位置する画像が得られるように、画像のトリミング領域と電子変倍率を設定することを特徴とする画像処理方法を提供する。
【００１０】
また、本発明の画像処理装置は、表示手段と、複数の画像を記憶する記憶手段と、前記表示手段に表示した画像からキー被写体を選択する選択手段と、前記キー被写体の画像特徴量を抽出する抽出手段と、前記記憶手段が記憶している画像の中から、画像中に前記キー被写体が存在する画像について、前記画像特徴量を用いてキー被写体の位置を検出して、このキー被写体が中心に位置する画像が得られるように、画像のトリミング領域と電子変倍率を設定する設定手段とを有することを特徴とする画像処理装置を提供する。
【００１１】
さらに、本発明のプログラムは、表示手段に表示した画像の中から選択された被写体をキー被写体として、このキー被写体の画像特徴量を抽出するステップ、記憶手段が記憶している複数の画像の中から、画像中に前記キー被写体が存在する画像について、前記画像特徴量を用いてキー被写体の位置を検出するステップ、および、検出したキー被写体が中心に位置する画像が得られるように、画像のトリミング領域と電子変倍率を設定するステップを有するプログラムを提供する。
【００１２】
このような本発明の画像処理方法、画像処理装置、およびプログラムにおいて、トリミングした画像を目的とする画像サイズに拡大した際に、前記キー被写体が中心となり、かつ、拡大率が最小となるように、前記画像のトリミング領域および電子変倍率を設定するのが好ましく、また、予め最大拡大率を設定しておくと共に、前記キー被写体が中心となる最大サイズのトリミングを行い、かつ、このトリミング画像を目的とする画像サイズまで拡大すると前記最大拡大率を超える場合には、前記最大拡大率で原画像サイズとなり、かつ、前記キー被写体が最も中心近傍に位置するようにトリミングを行うのが好ましく、また、予め記憶している複数の画像の中から、指定された検索範囲について、前記キー被写体の画像特徴量を用いて前記キー被写体が存在する画像を検索し、検索した画像に対して、前記キー被写体の位置検出以降の処理を行うのが好ましく、また、前記トリミング領域および電子変倍率、ならびに、前記トリミング領域および電子変倍率に応じて処理した画像の少なくとも一方を、原画像に対応付けして記憶するのが好ましく、さらに、画像の表示指示に応じて、表示指示された画像と同じキー被写体を有する画像、もしくは選択されたキー被写体を有する画像について、トリミングおよび電子変倍を行った画像、あるいはさらに原画像を、電子アルバム化して表示するのが好ましい。
【００１３】
【発明の実施の形態】
以下、本発明の画像処理方法、画像処理装置、およびプログラムについて、添付の図面に示される好適実施例を基に、詳細に説明する。
【００１４】
図１に、本発明の画像処理方法を実施する本発明の画像処理装置の一例のブロック図を示す。
図１に示す画像処理装置１０は、本発明の画像処理方法によって画像データベース化して記憶している画像（画像データ）等を加工して、電子アルバム等として表示するものであり、基本的に、入力手段１２と、装置本体１４と、ディスプレイ１６と、操作手段１８とを有して構成される。なお、画像処理装置１０は、これ以外にも、表示画像を再生したハードコピー等を出力するためのプリンタ等を有してもよい。
【００１５】
図示例の画像処理装置１０において、入力手段１２は、画像データベース（記憶手段３０）に記憶する画像の画像データを取得して、装置本体１２に供給するものである。
入力手段１２には、特に限定はなく、画像データを取得して、装置本体１４に供給できるものであれば、各種のものが利用可能である。一例として、スマートメディアＴＭやＣＤ−Ｒなどの記録媒体の読取装置、デジタルカメラなどの撮像媒体からの画像読取装置、スキャナなどの反射原稿を光電的に読み取る画像読取装置、画像（画像データ）を通信するネットワークとの接続手段等が例示される。また、複数種が装置本体１４に接続されてもよい。
【００１６】
ディスプレイ１６は、パーソナルコンピュータ等に利用される公知のディスプレイであり、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（液晶ディスプレイ）を利用すればよい。また、いわゆる電子ペーパであってもよい。操作手段１８も、マウスやキーボード等、パーソナルコンピュータ等に利用される公知の操作手段である。
図示例の画像処理装置１０においては、一例として、このディスプレイ１６の表示と操作手段１８とを用いたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によって、後述するキー被写体の指示や画像表示指示等の各種の操作が行われる。
【００１７】
装置本体１４（以下、本体１４とする）は、入力手段１２から供給された画像データを画像データベース化して記憶し、指示に応じて、本発明の画像処理方法を実施するものであり、図示例においては、記憶手段３０、抽出手段３２、検索手段３４、画像処理手段３６、および表示手段３８を有して構成される。
このような本体１４は、例えば、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）を用いて構成すればよい。
【００１８】
記憶手段３０は、入力手段１２から入力された画像データを記憶して、画像データベース化するもので、例えば、ハードディスク等を用いて構成すればよい。また、記憶手段３０は、後述するように、ユーザによって選択されたキー被写体が存在する画像に関しては、画像データ（原画像）と、キー被写体の情報、キー被写体の画像特徴量、キー被写体の位置の情報、および処理条件（トリミング領域および電子変倍率）とを、対応付けして記憶する。
【００１９】
抽出手段３２は、ディスプレイ１６に表示した、キー被写体が選択される画像（以下、この画像を選択画像とする）について、操作手段１８を用いてユーザが選択したキー被写体の指示に応じて、表示している画像中からキー被写体を抽出して、さらに、抽出したキー被写体の画像特徴量を抽出するものである。
図示例においては、キー被写体として、人物が指示可能にされている。抽出手段３２は、選択画像を表示したキー被写体の指示画面において、ユーザが選択して操作手段１８によって指示（例えば、マウスによるクリック）した位置に応じて、人物の顔抽出を行ってキー被写体とし、さらに、このキー被写体の画像特徴量を抽出し、画像特徴量を検索手段３４に、キー被写体の位置の情報を画像処理手段３６に、それぞれ送る。
【００２０】
なお、顔抽出方法には、特に限定はなく、公知の方法が各種利用可能である。一例として、エッジ検出や形状パターン検出による顔抽出方法； 色相抽出や肌色抽出による顔抽出方法； 画像を色領域に分割して、求めた領域の境界部位に内接する円（または長円）を想定して、面積の大きな円から順に色領域を分割し、分割された少なくとも一つを選択して人物の顔とする方法（特開平５−１６５１１９号公報参照）； ２値化等の方法を用いて、頭部輪郭、顔の輪郭、顔の内分構造、胴体等のパターンを検出して、顔と推定される領域を設定し、検出した設定した領域に重み係数を付与することを人物に特有の形状パターンをに応じて行い、顔と設定した領域と重み係数とに応じて、顔に相当する確率が最も高い領域を判定する方法（特開平８−１８４９２５号公報参照）； 等が例示される。抽出手段３２は、操作手段１８によるキー被写体の指示と、このような顔抽出とに応じて、キー被写体を抽出する。
【００２１】
キー被写体の画像特徴量の抽出方法にも、特に限定はなく、例えば、抽出する画像特徴量等に応じて、キー被写体の濃度ヒストグラム作成、エッジ検出、パターンマッチング、テンプレートマッチング等を用いた、公知の画像解析による方法を利用すればよい。
なお、画像特徴量は、例えば、対象画像の輪郭を形成する各境界画素の中心を追跡して、この追跡方向をそれぞれチェインコードとして検出し、このチェインコードを用いて画像特徴量を求める方法（特開平５−１１４０２７号公報参照）等も例示される。
【００２２】
検索手段３４は、記憶手段３０が記憶している画像データから、指定された検索範囲について画像解析を行って、抽出手段３２が抽出したキー被写体の画像特徴量を用いて、選択画像のキー被写体と同一人物（被写体）が存在している画像を検索し、このキー被写体が存在する画像、および、その画像中におけるキー被写体の位置の情報を、画像処理手段３６に供給する。
図示例においては、一例として、検索範囲として、記憶手段３０内の全画像、指定されたフォルダ（保存領域）内の画像、ディスプレイ１６に表示中の画像、ファイル名に所定の文字列を有する画像、画像登録日（記憶手段３０に記憶された日）等が選択可能になっている。
また、後述する処理条件を設定する画像（加工する画像）をユーザが選択できるようにしてもよい。なお、ユーザが画像を選択する際には、検索手段３４による画像の検索は不要であり、検索手段３４は、選択された画像に対するキー被写体の位置検出のみを行う。
【００２３】
画像処理手段３６は、選択画像、および、検索手段３４が検索した各画像について、キー被写体の位置情報を用いて、このキー被写体が画像の中心（中央）に位置する所定サイズ（所定画素数）の画像が得られるように、画像のトリミング領域および電子変倍率（通常は拡大率）を処理条件として設定する。
また、各画像毎に、設定した処理条件、キー被写体の情報および画像特徴量、を、原画像（トリミング前の画像）に対応付けして、記憶手段３０に送る。
【００２４】
図示例においては、一例として、原画像の画像サイズを保持しておき、原画像と同サイズを前記所定サイズとして、トリミングした画像を原画像サイズに拡大した際に、キー被写体が画像の中心となり、かつ、拡大率が最小となるように、トリミング領域および電子変倍率を設定する。
すなわち、例えば、画像処理手段３６は、図２（Ａ）に示すように、キー被写体（真ん中の網の掛かった人物）を中心として切り出し可能な最大領域を原画像からのトリミング領域として設定し、このトリミングで切り出した画像が、原画像のサイズとなるように電子変倍率を設定する。
【００２５】
トリミングが切出可能な範囲を超えると、例えば、図２（Ａ）に示される例であれば、原画像の右端を超えてトリミングする結果となり、この右端を超えた領域が余白画像となってしまう。また、トリミング枠のアスペクト比（縦横の長さ比）は、通常、原画像のアスペクト比と等しく設定するのが好ましい。
従って、上記構成とすることにより、適正な画像処理を安定して行うことが可能になる。
【００２６】
なお、本発明において、前記所定サイズ（電子変倍による目的画像サイズ）は、前記原画像サイズに限定はされず、各種のサイズが利用可能であり、また、オペレータによる任意の設定が可能であってもよい。
また、所定サイズによっては、トリミングした画像を縮小してもよく、あるいは、トリミングのみを行ってもよい。
【００２７】
ここで、キー被写体が画像の端部近傍にいる場合等では、キー被写体を中心としてトリミングを行うと、切り出せる領域が小さく、原画像サイズとするための拡大率が大きくなり、処理済の画像の画質が悪くなってしまう場合がある。
【００２８】
これを防止するために、本発明においては、予め最大拡大率を設定しておき、キー被写体が中心となるように最大サイズのトリミングをおこなっても、原画像サイズ（所定サイズ）まで電子変倍を行うと前記最大拡大率を超えてしまう場合には、図２（Ｂ）に示すように、拡大率を最大拡大率として、この最大拡大率で拡大を行った際に画像が原画像サイズとなるようにトリミングサイズを決定し、その中で、キー被写体が最も画像中央に近くなるように、トリミング領域を決定するのが好ましい。
【００２９】
なお、最大拡大率は、画像処理装置１０にデフォルトで設定しておいても、複数の選択肢から選択可能にしても、オペレータ等が任意に設定できるようにしても、これらから選択できるようにしてもよい。また、最大拡大率の設定の有無を選択できるようにしてもよい。
【００３０】
また、画像処理手段３６は、画像の表示指示等があった場合には、対応する画像データおよび処理条件を記憶手段３０から読み出し、画像データを処理（設定したトリミング領域に応じたトリミング、および、変倍率での電子変倍処理）して、加工済の画像データとして表示手段３８に供給する。画像のトリミングおよび電子変倍処理は、公知の方法で行えばよい。
【００３１】
表示手段３８は、ディスプレイ１６に各種の操作画面等を表示し、また、画像処理手段３６が処理した画像データや、記憶手段３０から読み出した画像データに、所定の処理を行って、ディスプレイ１６による画像表示に応じた画像データとし、ディスプレイ１６に画像を表示するものである。
【００３２】
以下、画像処理装置１０の作用を説明することにより、本発明について、より詳細に説明する。また、本発明のプログラムは、以下の作用や機能を実施させるプログラムである。
【００３３】
前述のように、記憶手段３０には、入力手段１２から供給された画像データが多数記憶され、画像データベース化されている。
キー被写体を選択する際には、操作手段１８等を用いた操作に応じて、表示手段３８が、ディスプレイ１６にキー被写体の選択画面を表示し、かつ、選択画像として指示された画像の画像データを記憶手段３０から読み出して、選択画面の所定位置に表示する。また、選択画像の画像データは、抽出手段３２にも供給される。なお、キー被写体の選択は、入力手段１２からの画像データの入力時等に、これを選択画像として行ってもよい。
【００３４】
選択画像を見たユーザは、キー被写体を選択して、例えば操作手段１８のマウスによるクリック等によって指示し、さらに、任意に選択したフォルダ等、画像の検索範囲を指示する（あるいは、加工する画像を指定する）。本例においては、図２（Ａ）の左側を選択画像とし、真ん中の人物（網が掛かった人物）がキー被写体として選択されたとする。
これに応じて、抽出手段３２が前述のように顔抽出とオペレータによる指示に応じて、選択画像からキー被写体を抽出し、さらに、キー被写体の画像特徴量を抽出する。
【００３５】
次いで、抽出手段３２は、選択画像から抽出したキー被写体および画像特徴量を検索手段３４に送り、また、選択画像のキー被写体の位置情報を画像処理手段３６に送る。
検索手段３４は、指定された検索範囲に応じて、供給された画像特徴量を用いて記憶手段３０内からキー被写体（同一人物）が存在する画像を検索して、また、キー被写体の位置を特定し、画像の検索結果、および検索した各画像におけるキー被写体の位置、キー被写体の情報および画像特徴量を画像処理手段３６に送る。なお、加工する画像が選択された場合には、検索手段３４による画像検索は不要で、キー被写体の位置検出のみを行うのは、前述のとおりである。
【００３６】
画像処理手段３６は、選択画像、および、検索手段３４が検索した各画像について、キー被写体の位置情報を用いて、図２（Ａ）に示すように、処理済の画像が、画像中においてキー被写体が中心となり、かつ、原画像と同サイズとなるように、トリミング領域および拡大率（電子変倍率）を設定する。
ここで、キー被写体を中心にトリミングを行って原画像サイズに拡大すると、最大倍率を超えてしまう場合には、図２（Ｂ）に示すように、拡大率を最大倍率として、キー被写体が出来るだけ中心に位置し、かつ拡大後に原画像サイズとなるようにトリミング領域を設定するのは、前述のとおりである。
【００３７】
次いで、画像処理手段３６は、選択画像および検索された各画像について、原画像に対応付けして、キー被写体の情報（例えばキー被写体の識別情報）、キー被写体の画像特徴量、および、設定した処理条件（トリミング領域および電子変倍率）を記憶手段３０に送り、記憶手段３０は、これらと原画像とを対応付けして記憶する。
なお、本発明は、原画像と、処理条件等とを関連づけて記憶手段３０に記憶するのに限定はされない。例えば、処理条件を設定した時点で画像処理手段３６で画像の加工（トリミングおよび拡大処理）を行って、原画像と加工済画像とを対応付けして記憶するようにしてもよく、また、原画像と加工済画像と処理条件等とを対応付けして記憶するようにしてもよい。
【００３８】
一方、操作手段１８等を用いて、ユーザによる画像の表示指示が行われた場合には、画像処理手段３６は、表示を指示された画像（原画像）の画像データ、および対応付けされている処理条件を記憶手段３０から読み出し、処理条件に応じて、画像データに画像のトリミングおよび電子変倍処理を行って、加工済の画像データとして表示手段３８に供給し、表示手段３８が加工済画像を表示する。
なお、表示する画像は、キー被写体を中心にした加工済画像のみに限定はされず、加工済画像と原画像の両者を表示してもよい。また、指示に応じて、原画像のみを表示してもよいのは、もちろんである。
【００３９】
ここで、画像処理装置１０においては、好ましくは、表示を指示された画像や、指定されたキー被写体に応じて、同じキー被写体（人物）が存在し、かつキー被写体に応じた処理条件が設定されている複数の画像を呼び出して、電子アルバムとして表示するようにしてもよい。
【００４０】
例えば、ユーザが操作手段１８を用いて電子アルバムの表示を指示し、画像を選択、もしくは或る表示画像から人物（被写体）を選択する。
選択された画像が処理条件を対応付けされている場合や、選択された人物が先にキー被写体として選択された人物である場合には、画像処理手段３６は、例えば、画像データに対応付けされているキー被写体の情報を用いて、同じキー被写体が存在する画像データを検索して、対応する画像データおよび処理条件を読み出し、順次、処理して、加工済の画像データとして表示手段３８に送る。
なお、この画像表示においても、先のキー被写体に応じた画像の検索と同様に、検索の範囲は指定可能とするのが好ましい。
【００４１】
表示手段３８は、写真アルバム台紙調の画面に、供給された加工済画像データの画像（加工済画像）を割り付け、ディスプレイ１６に加工済の画像を配列した電子アルバムとして表示する。この際の表示は、加工済画像のみであってもよく、処理済画像と原画像とを並べて表示するようにしてもよい。また、原画像を最初に表示し、次いで、加工済の画像を、順次、自動で切り替えて表示するようにしてもよい。さらに、いずれかを選択可能にしてもよい。
なお、電子アルバムは、公知の方法で作成すればよく、また、電子アルバムのレイアウトには、特に限定はなく、各種のレイアウトが利用可能である。
【００４２】
なお、このような電子アルバムの表示は、ユーザによる電子アルバムの表示指示に応じて行うのに限定はされず、各種のタイミングで電子アルバムの表示を行ってもよい。例えば、ユーザが画像がキー被写体を選択し、キー被写体を選択された画像、および、キー被写体の選択に応じて検索された画像のトリミング領域ならびに拡大率を決定した時点で、自動的に、対応する画像を電子アルバム化して表示するようにしてもよい。
【００４３】
以上の説明より明らかなように、本発明においては、多数の画像を記憶する画像データベース等において、単純に画像を拡大／縮小するのみならず、例えば、コンピュータのユーザ等、キー被写体として選択した特定の人物（被写体）に特化して、この人物を中心とした画像の加工を自動的に行うことができる。従って、本発明によれば、例えば、特定の人物に特化した電子アルバム等を容易に作成することができる。
【００４４】
以上の例では、キー被写体として人物を例示したが、本発明はこれに限定はされず、建造物や動物等をキー被写体として、前述のような処理条件の設定、画像の加工、電子アルバムの表示等を行ってもよい。
また、キー被写体の抽出に、顔抽出を利用したが、本発明はこれに限定はされず、キー被写体の抽出に人物の全体像の抽出を利用してもよい。この際において、人物の全体像の抽出は、公知の方法によればよい。
【００４５】
以上、本発明の画像処理方法、画像処理装置およびプログラムについて詳細に説明したが、本発明は、上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのは、もちろんである。
例えば、顔抽出結果を利用して、顔抽出によって人物を特定して、メールアドレス等の個人情報との関連付けを行い、これを用いて、各個人がキー被写体となっている画像を、前述のように加工して、画像の配信等を行ってもよい。
【００４６】
【発明の効果】
以上、詳細に説明したように、本発明によれば、画像データベースにおいて、特定の被写体に特化した画像の加工を自動的に行うことができ、例えば、特定の人物に特化した電子アルバム等の作成を容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の画像処理方法を実施する本発明の画像処理装置の一例のブロック図である。
【図２】（Ａ）および（Ｂ）は、本発明の画像処理方法の一例を説明するための概念図である。
【図３】従来の画像処理を説明するための概念図である。
【符号の説明】
１０ 画像処理装置
１２ 入力手段
１４ 装置本体
１６ ディスプレイ
１８ 操作手段
３０ 記憶手段
３２ 抽出手段
３４ 検索手段
３６ 画像処理手段
３８ 表示手段
Claims (8)
- 表示した画像の中から選択された被写体をキー被写体として、このキー被写体の画像特徴量を抽出し、
予め記憶している複数の画像の中から、画像中に前記キー被写体が存在する画像について、前記画像特徴量を用いてキー被写体の位置を検出して、このキー被写体が中心に位置する画像が得られるように、画像のトリミング領域と電子変倍率を設定することを特徴とする画像処理方法。 - トリミングした画像を目的とする画像サイズに拡大した際に、前記キー被写体が中心となり、かつ、拡大率が最小となるように、前記画像のトリミング領域および電子変倍率を設定する請求項１に記載の画像処理方法。
- 予め最大拡大率を設定しておくと共に、前記キー被写体が中心となる最大サイズのトリミングを行い、かつ、このトリミング画像を目的とする画像サイズまで拡大すると前記最大拡大率を超える場合には、前記最大拡大率で原画像サイズとなり、かつ、前記キー被写体が最も中心近傍に位置するようにトリミングを行う請求項１または２に記載の画像処理方法。
- 予め記憶している複数の画像の中から、指定された検索範囲について、前記キー被写体の画像特徴量を用いて前記キー被写体が存在する画像を検索し、検索した画像に対して、前記キー被写体の位置検出以降の処理を行う請求項１〜３のいずれかに記載の画像処理方法。
- 前記トリミング領域および電子変倍率、ならびに、前記トリミング領域および電子変倍率に応じて処理した画像の少なくとも一方を、原画像に対応付けして記憶する請求項１〜４のいずれかに記載の画像処理方法。
- 画像の表示指示に応じて、表示指示された画像と同じキー被写体を有する画像、もしくは選択されたキー被写体を有する画像について、トリミングおよび電子変倍を行った画像、あるいはさらに原画像を、電子アルバム化して表示する請求項１〜５のいずれかに記載の画像処理方法。
- 表示手段と、
複数の画像を記憶する記憶手段と、
前記表示手段に表示した画像からキー被写体を選択する選択手段と、
前記キー被写体の画像特徴量を抽出する抽出手段と、
前記記憶手段が記憶している画像の中から、画像中に前記キー被写体が存在する画像について、前記画像特徴量を用いてキー被写体の位置を検出して、このキー被写体が中心に位置する画像が得られるように、画像のトリミング領域と電子変倍率を設定する設定手段とを有することを特徴とする画像処理装置。 - 表示手段に表示した画像の中から選択された被写体をキー被写体として、このキー被写体の画像特徴量を抽出するステップ、
記憶手段が記憶している複数の画像の中から、画像中に前記キー被写体が存在する画像について、前記画像特徴量を用いてキー被写体の位置を検出するステップ、
および、検出したキー被写体が中心に位置する画像が得られるように、画像のトリミング領域と電子変倍率を設定するステップを有するプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003081764A JP2004289706A (ja) | 2003-03-25 | 2003-03-25 | 画像処理方法および画像処理装置ならびにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003081764A JP2004289706A (ja) | 2003-03-25 | 2003-03-25 | 画像処理方法および画像処理装置ならびにプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004289706A true JP2004289706A (ja) | 2004-10-14 |
Family
ID=33295206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003081764A Withdrawn JP2004289706A (ja) | 2003-03-25 | 2003-03-25 | 画像処理方法および画像処理装置ならびにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004289706A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007074673A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP2010114783A (ja) * | 2008-11-07 | 2010-05-20 | Canon Inc | 画像処理システム、画像処理方法及びプログラム |
| US8300064B2 (en) | 2008-03-26 | 2012-10-30 | Fujifilm Corporation | Apparatus and method for forming a combined image by combining images in a template |
| WO2013069341A1 (ja) | 2011-11-09 | 2013-05-16 | 楽天株式会社 | 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体 |
| KR101315464B1 (ko) * | 2006-05-24 | 2013-10-04 | 삼성전자주식회사 | 이미지 처리방법 |
| US8692846B2 (en) | 2010-12-14 | 2014-04-08 | Canon Kabushiki Kaisha | Image processing apparatus, method for retouching images based upon user applied designated areas and annotations |
| US9489361B2 (en) | 2012-04-27 | 2016-11-08 | Rakuten, Inc. | Image processing device, image processing device control method, program, and information storage medium |
-
2003
- 2003-03-25 JP JP2003081764A patent/JP2004289706A/ja not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007074673A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| KR101315464B1 (ko) * | 2006-05-24 | 2013-10-04 | 삼성전자주식회사 | 이미지 처리방법 |
| US8300064B2 (en) | 2008-03-26 | 2012-10-30 | Fujifilm Corporation | Apparatus and method for forming a combined image by combining images in a template |
| JP2010114783A (ja) * | 2008-11-07 | 2010-05-20 | Canon Inc | 画像処理システム、画像処理方法及びプログラム |
| US8692846B2 (en) | 2010-12-14 | 2014-04-08 | Canon Kabushiki Kaisha | Image processing apparatus, method for retouching images based upon user applied designated areas and annotations |
| WO2013069341A1 (ja) | 2011-11-09 | 2013-05-16 | 楽天株式会社 | 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体 |
| US9240064B2 (en) | 2011-11-09 | 2016-01-19 | Rakuten, Inc. | Image processing device, method for controlling image processing device, program, and information storage medium |
| US9489361B2 (en) | 2012-04-27 | 2016-11-08 | Rakuten, Inc. | Image processing device, image processing device control method, program, and information storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7869658B2 (en) | Representative image selection based on hierarchical clustering | |
| JP5388399B2 (ja) | 顔認識に基づいたデジタル媒体の整理方法および装置 | |
| JP4073156B2 (ja) | 画像検索装置 | |
| EP1886255B1 (en) | Using photographer identity to classify images | |
| JP5686673B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US8600191B2 (en) | Composite imaging method and system | |
| US8358902B2 (en) | Apparatus, method and program for image search | |
| US20130050747A1 (en) | Automated photo-product specification method | |
| US20120294514A1 (en) | Techniques to enable automated workflows for the creation of user-customized photobooks | |
| US9336442B2 (en) | Selecting images using relationship weights | |
| TW200805200A (en) | System, apparatus, method, program and recording medium for processing image | |
| JP2003344021A (ja) | 画像中の人の顔の寸法を計算する方法及び顔を検出する方法 | |
| JP2006318034A (ja) | 画像選択方法、画像選択装置、プログラム、およびプリント注文受付機 | |
| JP2006268843A (ja) | 電子アルバム編集システム、電子アルバム編集方法、及び電子アルバム編集プログラム | |
| JP2010074405A (ja) | 画像処理装置および画像処理方法 | |
| JP2011055295A (ja) | 撮影装置 | |
| JP2008217479A (ja) | 画像配置方法及び装置 | |
| JP2002342743A (ja) | 画像処理装置及び画像処理方法 | |
| JP2004289706A (ja) | 画像処理方法および画像処理装置ならびにプログラム | |
| US20130050745A1 (en) | Automated photo-product specification method | |
| US20130050744A1 (en) | Automated photo-product specification method | |
| JP2018124776A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2005210369A (ja) | 画像処理装置及び画像処理方法 | |
| JP2006086732A (ja) | 画像処理装置及び画像処理方法 | |
| JPH0991407A (ja) | パノラマ画像合成システム及びパノラマ画像合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060606 |