JP2011054080A - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2011054080A
JP2011054080A JP2009204425A JP2009204425A JP2011054080A JP 2011054080 A JP2011054080 A JP 2011054080A JP 2009204425 A JP2009204425 A JP 2009204425A JP 2009204425 A JP2009204425 A JP 2009204425A JP 2011054080 A JP2011054080 A JP 2011054080A
Authority
JP
Japan
Prior art keywords
image
block
subject
replacement
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009204425A
Other languages
English (en)
Inventor
Akira Tokunaga
陽 徳永
Atsushi Murayama
淳 村山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009204425A priority Critical patent/JP2011054080A/ja
Priority to US12/871,449 priority patent/US8718401B2/en
Publication of JP2011054080A publication Critical patent/JP2011054080A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

【課題】より高品質なフォトモザイク画像を得ることができるようにする。
【解決手段】画像処理装置11は、制作目標画像を任意の形状の複数のブロックに分割し、各ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する。切り出し部28は、予め用意された素材画像から被写体を検出し、その被写体が、制作目標画像を分割するブロック内に収まるように、ブロックの形状および大きさに合わせて素材画像を拡大、縮小、変形、または回転する加工処理を施す。また、切り出し部28は、加工処理を施した素材画像をブロックと同じ形状および大きさに切り出して、被写体が含まれる切り出し画像を生成する。そして、この切り出し画像が置換画像の候補とされてフォトモザイク画像が生成される。本発明は、画像処理装置に適用することができる。
【選択図】図1

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、より高品質なフォトモザイク画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
近年、デジタルスチルカメラの普及により、多くの写真を撮像するユーザが増えてきている。また、撮像された大量の写真を効果的に提示する方法も求められている。
撮像された写真の効果的な提示方法として、フォトモザイク画像が知られている。フォトモザイク画像は、目標とする1つの画像(以下、制作目標画像と称する)を複数の矩形のブロックに分割し、各ブロックを、それらのブロックと色が類似する他の異なる画像(以下、置換画像と称する)に置き換えることにより得られる画像である。
したがって、フォトモザイク画像をある程度遠くから観察すると、観察者の目には制作目標画像上の被写体と同じ被写体が観察されるが、フォトモザイク画像をある程度近くから観察すると、並べられた複数の異なる置換画像が観察されることになる。
このようなフォトモザイク画像を生成する技術として、制作目標画像の各ブロックの色の代表値と、置換画像の候補となる各画像の色の代表値との距離を、重み付けを用いた計算により求めることで、各ブロックに配置される画像を選択する技術が知られている(例えば、特許文献1参照)。また、制作目標画像を色近似により複数ブロックからなる分離領域に分離するとともに、置換画像の候補を分離領域に対応するクラスに分類し、分離領域ごとに、対応するクラスに属す候補を用いてフォトモザイク画像を生成する技術もある(例えば、特許文献2参照)。
さらに、制作目標画像のブロックをさらに細かく分割して、置換画像の候補となる画像との照合を行うことにより、元の制作目標画像の色分布を維持しながらフォトモザイク画像を生成する方法も提案されている(例えば、特許文献3)。
さらにまた、予め用意されたテンプレートに従って、画像の予め定められた領域を切り出し、その結果得られた切り出し画像を各ブロックに割り当てる置換画像の候補として用い、フォトモザイク画像を生成する方法も提案されている(例えば、特許文献4)。この方法では、画像上の人の顔の領域が半分だけ切り出された場合など、フォトモザイク画像の品質、つまり見映えを劣化させる不適切な切り出し画像が得られた場合には、その切り出し画像が手動により、または自動的に置換画像の候補から除外される。
特開2000−298722号公報 特開2005−100120号公報 特開平11−341266号公報 特開平11−345311号公報
ところで、フォトモザイク画像の生成には、多くの画像と、作成のためのノウハウが必要であった。そのため、フォトモザイク画像は、映画の宣伝用のポスタや企業のロゴなど、商用で利用されることはあったが、一般ユーザが、パーソナルコンピュータ等を利用して、高品質なフォトモザイク画像を生成することは容易ではなかった。
例えば、制作目標画像を矩形とは異なる形状のブロックに分割することで、各ブロックの形状により何らかのメッセージを表現し、より芸術性の高いフォトモザイク画像を生成しようとする場合、高品質なフォトモザイク画像を得ることは困難であった。
すなわち、上述した特許文献1乃至特許文献3に記載の技術では、各ブロックの形状が矩形であることが前提とされているため、制作目標画像を矩形とは異なる形状のブロックに分割してフォトモザイク画像を生成することはできなかった。
また、特許文献4に記載の技術では、テンプレートに従って画像の予め定められた領域を切り出して切り出し画像とするため、切り出し領域の形状を矩形とは異なる形状とすれば、ブロックを任意の形状とすることが可能である。
しかしながら、画像上の予め定められた領域が切り出し画像として切り出されるため、得られた切り出し画像の多くは、置換画像として用いることのできない不適切なものとなってしまう。そのため、置換画像の候補として用いることのできる切り出し画像の数が不足し、フォトモザイク画像の品質が低下してしまうおそれがあった。
具体的には、高品質なフォトモザイク画像、つまり見映えのよいフォトモザイク画像を得るには、制作目標画像の各ブロックに割り当てる置換画像を、なるべく重複しないように選択することが必要である。これは、制作目標画像の1つのブロックの近傍に、そのブロックに対して定められた置換画像と同じ画像がいくつか配置されると、得られたフォトモザイク画像は、近くから見ても、遠くから見ても見映えの悪いものとなってしまうからである。また、より高品質なフォトモザイク画像を得るには、制作目標画像の各ブロックに対して、そのブロックに色の分布が類似する置換画像を選択することも必要となる。
ところが、画像の一部を切り出して得られた切り出し画像に不適切なものが多いと、置換画像の候補として用いることのできる切り出し画像が不足することになる。そのような場合、同じ切り出し画像が置換画像として何度も重複して用いられたり、各ブロックと色が類似する切り出し画像を得ることができなかったりして、高品質なフォトモザイク画像を生成することができなくなってしまう。
本発明は、このような状況に鑑みてなされたものであり、制作目標画像を任意の形状のブロックに分割してフォトモザイク画像を生成する場合であっても、より高品質なフォトモザイク画像を得ることができるようにするものである。
本発明の一側面の画像処理装置は、制作目標画像を任意の形状の複数のブロックに分割し、前記ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する画像処理装置であって、前記置換画像を生成するための素材画像に基づいて、前記素材画像上の被写体を検出する被写体検出手段と、前記素材画像上の前記被写体の領域が前記ブロック内に収まるように、前記ブロックの形状および大きさに合わせて前記素材画像に加工処理を施す加工手段と、前記加工処理された前記素材画像の前記被写体を含む領域を前記ブロックと同じ形状および大きさに切り出して、前記被写体が含まれる切り出し画像を生成する画像生成手段と、前記制作目標画像の各ブロックについて、複数の前記切り出し画像のうち、色に関する特徴が前記ブロックと最も類似する前記切り出し画像を前記置換画像とし、前記ブロックを前記置換画像に置き換えて前記フォトモザイク画像を生成する置換手段とを備える。
前記加工手段には、前記加工処理として、前記素材画像の拡大処理、縮小処理、変形処理、または回転処理の少なくとも何れかの処理を前記素材画像に施させることができる。
画像処理装置には、前記素材画像上に生じたぼけを検出する検出手段と、前記ぼけを除去するフィルタ処理を前記素材画像に施すぼけ除去手段とをさらに設けることができる。
画像処理装置には、前記素材画像上のノイズを検出する検出手段と、前記ノイズを除去するフィルタ処理を前記素材画像に施すノイズ除去手段とをさらに設けることができる。
前記素材画像には、予め前記素材画像上の前記被写体に関するタグ情報を付加し、前記画像生成手段には、前記タグ情報が付加された前記切り出し画像を生成させ、前記切り出し画像に付加された前記タグ情報に基づいて、複数の前記切り出し画像のうち、前記ブロックの形状と関連のある前記被写体を含む前記切り出し画像を、前記置換画像の候補として選択する選択手段をさらに設け、前記置換手段には、前記選択手段により選択された前記置換画像の候補から、前記置換画像とする前記切り出し画像を選択して、前記フォトモザイク画像を生成させることができる。
前記素材画像には、予め前記素材画像上の前記被写体に関するタグ情報を付加し、前記タグ情報に基づいて、前記ブロックの形状と関連のある前記被写体を含む前記素材画像を、前記切り出し画像の生成対象として選択する選択手段をさらに設け、前記加工手段には、前記選択手段により選択された前記素材画像に前記加工処理を施させることができる。
画像処理装置には、前記切り出し画像に基づいて、物体認識により前記切り出し画像上の前記被写体を識別し、その識別結果に基づいて、複数の前記切り出し画像のうち、前記ブロックの形状と関連のある前記被写体を含む前記切り出し画像を、前記置換画像の候補として選択する選択手段をさらに設け、前記置換手段には、前記選択手段により選択された前記置換画像の候補から、前記置換画像とする前記切り出し画像を選択させて、前記フォトモザイク画像を生成させることができる。
画像処理装置には、前記素材画像に基づいて、物体認識により前記素材画像上の前記被写体を識別し、その識別結果に基づいて、前記ブロックの形状と関連のある前記被写体を含む前記素材画像を、前記切り出し画像の生成対象として選択する選択手段をさらに設け、前記加工手段には、前記選択手段により選択された前記素材画像に前記加工処理を施させることができる。
本発明の一側面の画像処理方法またはプログラムは、制作目標画像を任意の形状の複数のブロックに分割し、前記ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する画像処理方法またはプログラムであって、前記置換画像を生成するための素材画像に基づいて、前記素材画像上の被写体を検出し、前記素材画像上の前記被写体の領域が前記ブロック内に収まるように、前記ブロックの形状および大きさに合わせて前記素材画像に加工処理を施し、前記加工処理された前記素材画像の前記被写体を含む領域を前記ブロックと同じ形状および大きさに切り出して、前記被写体が含まれる切り出し画像を生成し、前記制作目標画像の各ブロックについて、複数の前記切り出し画像のうち、色に関する特徴が前記ブロックと最も類似する前記切り出し画像を前記置換画像とし、前記ブロックを前記置換画像に置き換えて前記フォトモザイク画像を生成するステップを含む。
本発明の一側面においては、制作目標画像を任意の形状の複数のブロックに分割し、前記ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する画像処理において、前記置換画像を生成するための素材画像に基づいて、前記素材画像上の被写体が検出され、前記素材画像上の前記被写体の領域が前記ブロック内に収まるように、前記ブロックの形状および大きさに合わせて前記素材画像に加工処理が施され、前記加工処理された前記素材画像の前記被写体を含む領域が前記ブロックと同じ形状および大きさに切り出されて、前記被写体が含まれる切り出し画像が生成され、前記制作目標画像の各ブロックについて、複数の前記切り出し画像のうち、色に関する特徴が前記ブロックと最も類似する前記切り出し画像が前記置換画像とされ、前記ブロックが前記置換画像に置き換えられて前記フォトモザイク画像が生成される。
本発明の一側面によれば、制作目標画像を任意の形状のブロックに分割してフォトモザイク画像を生成する場合であっても、より高品質なフォトモザイク画像を得ることができる。
本発明を適用した画像処理装置の構成例を示す図である。 切り出し部の構成例を示す図である。 フォトモザイク画像の生成処理を説明するフローチャートである。 制作目標画像のブロックへの分割例を示す図である。 制作目標画像のブロックへの他の分割例を示す図である。 制作目標画像のブロックへの他の分割例を示す図である。 切り出し処理を説明するフローチャートである。 画像処理装置の他の構成例を示す図である。 フォトモザイク画像の生成処理を説明するフローチャートである。 画像処理装置の他の構成例を示す図である。 切り出し部の他の構成例を示す図である。 フォトモザイク画像の生成処理を説明するフローチャートである。 切り出し処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
以下、図面を参照して、本発明を適用した実施の形態について説明する。
〈第1の実施の形態〉
[画像処理装置の構成]
図1は、本発明を適用した画像処理装置の構成例を示す図である。
画像処理装置11は、目標とする1つの制作目標画像を任意の形状の複数のブロックに分割し、各ブロックを他の異なる画像に置き換えることにより、1つのフォトモザイク画像を生成する。
画像処理装置11は、記録部21、画像データベース記録部22、切り出し形状メモリ23、分割部24、平均値算出部25、中心値算出部26、クラス分類部27、切り出し部28、クラス分類部29、切り出し画像メモリ30、置換画像決定部31、画像置換部32、表示制御部33、および表示部34から構成される。
記録部21は、予め用意された複数の制作目標画像を記録し、制作目標画像を分割部24に供給する。画像データベース記録部22は、予め用意された複数の素材画像から構成される画像データベースを記録しており、素材画像を切り出し部28に供給する。この素材画像は、制作目標画像の各ブロックに配置される置換画像の素材となる画像である。
切り出し形状メモリ23は、制作目標画像を分割する各ブロックの形状および大きさと、それらのブロックの制作目標画像上の位置とを示すブロック形状情報を予め保持しており、ブロック形状情報を分割部24または切り出し部28に供給する。
ここで、ブロックの形状は矩形に限らず任意の形状とされ、制作目標画像上の各ブロックは、互いに異なる大きさまたは形状とされてもよい。但し、制作目標画像を分割するにあたり、敷き詰め条件が満たされるように、つまり制作目標画像が隙間なく複数ブロックに分割されるように、各ブロックの形状および大きさが予め定められている。換言すれば、制作目標画像上には、互いに隣接するブロック間に隙間が生じないように、各ブロックが配置される。
敷き詰め条件を満たすような制作目標画像の分割の例としては、正則分割条件を満たす、例えば互いに結合した複数の合同な多角形への分割などが挙げられる。正則分割条件を満たす画像の分割パターンは、例えば制作目標画像上にブロックとなる図形を配置し、その図形を幾何学運動により移動させ、移動後の図形の位置を新たなブロックの位置として、制作目標画像を複数ブロックで充填させることにより得ることができる。
ここでいう図形の幾何学運動とは、図形を上下左右の方向に平行移動させる並進、図形の一辺を軸として図形を折り返す鏡映、図形の頂点を中心としてその図形を回転させる回転、図形を鏡映してから平行移動させるすべり鏡や、それらの組み合わせなどである。
分割部24は、切り出し形状メモリ23に記録されているブロック形状情報を参照して、記録部21からの制作目標画像を複数のブロックに分割し、平均値算出部25に供給する。平均値算出部25は、分割部24から供給された各ブロックについて、ブロックの色に関する第1の特徴の特徴量として、ブロック内の画素の画素値の平均値を算出し、平均値と各ブロックとを中心値算出部26に供給する。この平均値は、ブロックを構成する画素の平均的な色を示している。
なお、ブロックの平均値は、色に関する第1の特徴の特徴量、つまりブロックの代表値の一例であり、代表値としては、その他、ブロックの中央の座標の位置の画素値、ブロック内において予め定められた座標位置の画素の画素値の平均値などが考えられる。
中心値算出部26は、平均値算出部25からの各ブロックの平均値を用いて、ブロックのクラス分類に用いられる、各クラスの色に関する第1の特徴の特徴量である中心値を算出する。ここで、各クラスは、制作目標画像から抽出される色に関する第1の特徴の特徴量により定められ、各ブロックは、色に関する第1の特徴を指標として、最も類似しているクラスに属すように分類される。
また、クラス分類に用いられる中心値は、そのクラスに属すブロックの代表的(平均的)な色を示している。中心値算出部26は、ブロックに分割された制作目標画像、各クラスの中心値、および各ブロックの平均値をクラス分類部27に供給するとともに、各クラスの中心値をクラス分類部29に供給する。
クラス分類部27は、中心値算出部26から供給されたクラスの中心値とブロックの平均値とを用いて、各ブロックを何れかのクラスに分類し、その分類結果と、複数ブロックに分割された制作目標画像を置換画像決定部31に供給する。
切り出し部28は、切り出し形状メモリ23に記録されているブロック形状情報を参照して、画像データベース記録部22に記録されている素材画像の一部の領域を切り出すことにより切り出し画像を生成し、クラス分類部29に供給する。具体的には、素材画像上の被写体がブロック形状情報により示されるブロック内に収まるように、素材画像が適宜加工され、加工された素材画像上における、ブロックと同じ形状および大きさであり、被写体が含まれる領域が切り出されて、切り出し画像とされる。
クラス分類部29は、中心値算出部26から供給されたクラスの中心値を用いて、切り出し部28からの切り出し画像をクラス分類し、その分類結果と、切り出し画像とを切り出し画像メモリ30に供給し、記録させる。
置換画像決定部31は、クラス分類部27から供給された各ブロックのクラスの分類結果およびブロックと、切り出し画像メモリ30に記録されている切り出し画像のクラス分類結果および切り出し画像とを用いて、各ブロックに割り当てる切り出し画像を決定する。各ブロックには、所定の条件を満たす切り出し画像のうち、色に関する第2の特徴、例えば色の構造(分布)がそのブロックと最も類似する切り出し画像が割り当てられる。
置換画像決定部31は、クラス分類部27から供給された、ブロックに分割された制作目標画像と、各ブロックに割り当てた切り出し画像とを画像置換部32に供給する。なお、以下、各ブロックに割り当てられた切り出し画像を、置換画像とも称する。
画像置換部32は、置換画像決定部31から供給された制作目標画像の各ブロックを、それらのブロックに割り当てられた置換画像に置き換えることでフォトモザイク画像を生成し、表示制御部33に供給する。表示制御部33は、画像置換部32から供給されたフォトモザイク画像を表示部34に供給し、表示させる。表示部34は、表示制御部33の制御に従って各種の画像を表示する。
なお、最終的に得られたフォトモザイク画像は、表示されるだけでなく、印刷されたり、データとして記録媒体に記録されたり、画像処理装置11と接続されている他の装置に転送されたりしてもよい。
[切り出し部の構成]
また、図1の切り出し部28は、より詳細には図2に示すように構成される。
すなわち、切り出し部28は、被写体検出部61、ノイズ検出部62、ノイズ除去部63、ぼけ検出部64、ぼけ除去部65、および被写体領域切り出し部66から構成される。
被写体検出部61は、画像データベース記録部22から取得した素材画像に基づいて、素材画像上の被写体の領域を検出し、その検出結果と素材画像とをノイズ検出部62に供給する。ノイズ検出部62は、被写体検出部61からの素材画像からノイズを検出し、その検出結果と、素材画像および被写体の検出結果とをノイズ除去部63に供給する。ノイズ除去部63は、ノイズ検出部62からのノイズの検出結果に基づいて、素材画像からノイズを除去し、ノイズの除去された素材画像と被写体の検出結果とをぼけ検出部64に供給する。
ぼけ検出部64は、ノイズ除去部63からの素材画像からぼけを検出し、その検出結果と、素材画像および被写体の検出結果とをぼけ除去部65に供給する。ぼけ除去部65は、ぼけ検出部64からのぼけの検出結果に基づいて、素材画像からぼけを除去し、ぼけの除去された素材画像と被写体の検出結果とを被写体領域切り出し部66に供給する。
被写体領域切り出し部66は、ぼけ除去部65から供給された被写体の検出結果および素材画像と、切り出し形状メモリ23に記録されているブロック形状情報とに基づいて、切り出し画像を生成し、クラス分類部29に供給する。
また、被写体領域切り出し部66は、加工部71を備えている。加工部71は、素材画像上の被写体の領域をブロック形状情報により示されるブロックの形状に切り出して切り出し画像とするときに、被写体がブロック内に収まるように、素材画像を適宜、加工する。ここで、素材画像の加工は、例えば素材画像の拡大、縮小、変形、回転などとされる。また、素材画像に加工が必要ない場合には、特に加工されなくてもよい。
なお、切り出し部28には、素材画像から、ノイズを検出して除去する機構と、ぼけを検出して除去する機構とが設けられているが、何れか一方だけが設けられるようにしてもよい。
[フォトモザイク画像の生成処理の説明]
ところで、ユーザが画像処理装置11を操作して制作目標画像を指定し、その制作目標画像を用いたフォトモザイク画像の生成を指示すると、画像処理装置11は、ユーザの指示に応じてフォトモザイク画像の生成処理を行い、フォトモザイク画像を生成する。
以下、図3のフローチャートを参照して、画像処理装置11によるフォトモザイク画像の生成処理について説明する。
ステップS11において、分割部24は、ユーザにより指定された制作目標画像を、記録部21から読み込む。そして、ステップS12において、分割部24は、切り出し形状メモリ23に記録されているブロック形状情報を参照して、読み込んだ制作目標画像を複数のブロックに分割する。すなわち、ブロック形状情報に示されるブロックの形状、大きさ、および配置で制作目標画像がブロックに分割される。
なお、切り出し形状メモリ23に複数のブロック形状情報が記録されている場合には、何れのブロック形状情報が用いられるか、つまりどのようなブロックで制作目標画像を分割するか、ユーザにより指定されるようにしてもよい。
ここで、制作目標画像は、例えば図4や図5、図6に示すように、敷き詰め条件を満たした複数のブロックに分割される。
図4の例では、制作目標画像は、互いに隣接する、平行四辺形の形状をした複数のブロックのそれぞれに分割される。なお、図中、1つの平行四辺形は1つのブロックを示しており、ブロック内の文字「F」の向きは、そのブロックの向きを示している。つまり、図4の例では、同形状の複数ブロックが異なる方向に向くように並べられている。
また、図5の例では、制作目標画像は、形状の異なる複数のブロックに分割されており、制作目標画像上において、図中、左右方向に並ぶ各ブロックの形状は、その左右方向の位置に応じて変化している。このように所定方向に並べられたブロックの形状が、その方向の位置に応じて変化する模様は、メタモルフォーシスとも呼ばれている。
このようなメタモルフォーシスを利用すれば、最終的に得られるフォトモザイク画像において、ブロックの形状のみでメッセージを表現するだけでなく、ブロックの形状の変化によってもメッセージを表現することができる。
例えば、ブロックの形状を所定の生物の輪郭とする場合、所定方向に並ぶブロックの形状を、その位置により変化させることで、生物の成長過程を表現することができる。また、例えば、ブロックの形状が、父親の顔から子供の顔に変化したり、子供の時の顔から大人になったときの顔に変化したり、さらには、建て替え前の建物から建て替え後の建物に変化したりする例も考えられる。
このように、ブロックの形状を過去の形態から現在の形態に変化させながら並べるなど、その形状に変化を持たせることで、よりメッセージ表現の幅を広げることができ、フォトモザイク画像の芸術性をより高めることができる。
さらに、図6も図5と同様にメタモルフォーシスの例である。図6の例では、制作目標画像は、形状の異なる複数のブロックに分割されている。制作目標画像上においては、図中、左端側のブロックは、鬼の顔の輪郭の形状をしており、左端側から右端側のブロックになるにしたがって、そのブロックの輪郭の形状が馬の形状に変化している。
図3のフローチャートの説明に戻り、分割部24は、制作目標画像を複数のブロックに分割すると、各ブロックを平均値算出部25に供給する。
ステップS13において、平均値算出部25は、分割部24から供給された各ブロックについて、ブロック内の画素の画素値の平均値を算出し、各ブロックと、ブロックごとの平均値を中心値算出部26に供給する。例えば、制作目標画像の各画素は、R(赤),G(緑),B(青)の各成分の画素値を有しており、それらのR,G,Bの成分ごとに平均値が算出される。なお、演算量の軽減のため、ブロックに対して画素の間引きを行い、間引きされたブロックの平均値が算出されるようにしてもよい。
ステップS14において、中心値算出部26は、平均値算出部25から供給された各ブロックの平均値を用いて、各クラスの中心値を算出する。
例えば、クラスの数が予めk個と定められている場合、中心値算出部26は、k-means法により、k個のクラスのそれぞれについて中心値を算出する。具体的には、まず、中心値算出部26は、各クラスに対して中心値の初期値を定める。例えば、中心値は、R,G,Bの成分ごとに与えられる。
そして、中心値算出部26は、各クラスの中心値と、各ブロックの平均値との距離を算出して、クラス分類を行う。ここで、制作目標画像のブロックは、算出された距離が最も近い(短い)クラスに分類される。また、距離の算出は、平均値と中心値とのR,G,Bの各成分の画素値の差分絶対値二乗和や、各成分の画素値の差分の重み付け加算などにより行われる。つまり、ブロックとクラスとの距離は、それらのブロックの平均的な色(平均値)が、クラスの代表的な色(中心値)に対して、どの程度類似しているかを示す値となる。
中心値算出部26は、ブロックを何れかのクラスに分類すると、クラスごとに新たな中心値を求める。すなわち、クラスに属すブロックの平均値の平均値が算出され、得られた平均値が新たな中心値とされる。そして、このようにして中心値により各ブロックのクラス分類を行って、各クラスの中心値を更新する処理が規定回数だけ行われて、その結果得られた中心値が、最終的な各クラスの中心値とされる。
中心値算出部26は、各クラスの中心値を求めると、その中心値をクラス分類部29に供給するとともに、各クラスの中心値、各ブロックの平均値、およびブロックに分割された制作目標画像をクラス分類部27に供給する。
ステップS15において、クラス分類部27は、中心値算出部26からの平均値および中心値を用いて、ブロックの平均値とクラスの中心値との距離を算出し、各ブロックをk個のクラスのうちの何れかに分類する。ここで、距離の算出、およびクラスの分類は、中心値算出部26における場合と同様の処理により行われる。すなわち、平均値と中心値との各成分の差分絶対値二乗和などにより距離が算出され、距離が最も近いクラスに各ブロックが分類される。
クラス分類部27は、制作目標画像の各ブロックをクラスに分類すると、その分類結果と、ブロックに分割された制作目標画像とを置換画像決定部31に供給する。
ステップS16において、切り出し部28は、切り出し処理を行って、切り出し画像を生成し、クラス分類部29に供給する。すなわち、切り出し部28は、画像データベース記録部22に記録されている素材画像の被写体の領域を、切り出し形状メモリ23に記録されているブロック形状情報に示されるブロックの形状に切り出して、切り出し画像とする。なお、切り出し処理の詳細は後述する。
また、ブロック形状情報により示されるブロックとして、互いに形状または大きさの異なる複数のブロックがある場合には、それらの形状または大きさごとに切り出し画像が生成される。例えば、ブロック形状情報により、三角形状および矩形状のブロックが示される場合には、1つの素材画像からは、その素材画像を三角形状に切り出して得られる切り出し画像と、素材画像を矩形状に切り出して得られる切り出し画像とが生成される。
ステップS17において、クラス分類部29は、切り出し部28から供給された切り出し画像を、中心値算出部26から供給された各クラスの中心値を用いてクラスに分類する。
具体的には、クラス分類部29は、切り出し画像の色に関する第1の特徴の特徴量として、切り出し画像の画素の画素値の平均値を算出し、その平均値と、各クラスの中心値との距離を算出する。この距離は、クラス分類部27における場合と同様の方法により算出される。なお、演算量の軽減のため、切り出し画像に対して画素の間引きを行い、間引きされた切り出し画像の平均値が算出されるようにしてもよい。
次に、クラス分類部29は、求めた距離が予め定めた閾値以下であるクラスに、その切り出し画像を属させる。例えば、所定の切り出し画像の平均値とクラス1の中心値との距離、および切り出し画像の平均値とクラス2の中心値との距離がともに閾値以下であったとすると、その切り出し画像は、クラス1およびクラス2の両方に分類されることになる。
逆に、切り出し画像が、どのクラスの中心値との距離も閾値以下とならなかった場合には、その切り出し画像は、どのクラスにも分類されず、フォトモザイク画像の生成には用いられない。つまり、その切り出し画像の平均的な色は、どのクラスの色とも類似しないので、何れのクラスにも属さないとされる。どのクラスの色とも類似しない切り出し画像をフォトモザイク画像の生成に用いて、ブロックが非類似の色の切り出し画像に置き換えられると、フォトモザイク画像の品質が低下してしまうからである。
なお、距離の閾値は、必要に応じて変化するようにしてもよく、また1つの切り出し画像が1つのクラスに属すか、または何れのクラスにも属さないように分類されてもよい。そのような場合には、切り出し画像は、距離が閾値以下であるクラスのうち、距離が一番近いクラスに分類されることになる。
クラス分類部29は、各切り出し画像をクラスに分類すると、その分類結果と切り出し画像とを切り出し画像メモリ30に供給して記録させる。
ステップS18において、置換画像決定部31は、クラス分類部27から供給された制作目標画像上の1つのブロックを選択する。
ステップS19において、置換画像決定部31は、切り出し画像メモリ30に記録されている切り出し画像と、切り出し画像のクラス分類結果とを用いて、選択したブロックと切り出し画像との照合を行い、そのブロックに割り当てる切り出し画像を選択する。
具体的には、置換画像決定部31は、切り出し画像メモリ30に記録されている切り出し画像から、処理対象のブロックと同じ形状および大きさで、そのブロックと同じクラスに属し、かつまだそのクラスの他のブロックと置き換えられる置換画像として選択されていない切り出し画像を抽出する。
このように、処理対象のブロックと同じクラスに属す切り出し画像のみを抽出して処理対象とすることで、ブロックとの類似度が低く、置換画像として採用される可能性の低い切り出し画像を除外することができ、より迅速に適切な置換画像を選択することができる。また、同じクラスであっても、他のブロックの置換画像とされた切り出し画像を除外することで、切り出し画像が重複利用されることを防止することができ、より高品質なフォトモザイク画像を得ることができる。
このようにして切り出し画像が抽出されると、置換画像決定部31は、抽出した各切り出し画像と処理対象のブロックとの照合を行う。すなわち、置換画像決定部31は、次式(1)を計算して、ブロックの画素と、その画素と同じ位置にある切り出し画像の画素との差分ΔCを算出する。
Figure 2011054080
ここで、式(1)におけるr、ΔR、ΔG、およびΔBは、それぞれ次式(2)乃至式(5)により求められる。
Figure 2011054080
Figure 2011054080
Figure 2011054080
Figure 2011054080
なお、式(2)乃至式(5)において、C1(R)、C1(G)、およびC1(B)は、それぞれブロックの画素のR、G、およびBの成分の画素値を示している。同様に、式(2)乃至式(5)において、C2(R)、C2(G)、およびC2(B)は、それぞれ切り出し画像の画素のR、G、およびBの成分の画素値を示している。
このようにして得られる差分ΔCは、制作目標画像の画素と切り出し画像の画素との各成分の差分の2乗の値を重み付き加算して得られる値である。すなわち、差分ΔCは、制作目標画像の画素と切り出し画像の画素との距離である。
したがって、差分ΔCは、その値が小さいほど、制作目標画像のブロックと、切り出し画像との同じ位置にある画素の色が類似していることになる。置換画像決定部31は、各画素について差分ΔCを求め、それらの差分ΔCの総和ΣΔCを算出する。この差分の総和ΣΔCは、その値が小さいほど切り出し画像の色の構造(分布)が処理対象のブロックに類似していることになる。
したがって、より差分の総和ΣΔCが小さい切り出し画像を、処理対象のブロックの置換画像として採用すれば、より高品質なフォトモザイク画像が得られることになる。そこで、置換画像決定部31は、抽出した切り出し画像のうち、最も総和ΣΔCが小さい切り出し画像を選択し、その切り出し画像を置換画像として画像置換部32に供給する。また、置換画像決定部31は、各ブロックに分割された制作目標画像も画像置換部32に供給する。
なお、照合の対象となる切り出し画像が抽出される場合に、同じクラスで1度、置換画像として使用された切り出し画像が、その後、全く使用されないようにするのではなく、1度使用されたブロックの近傍(例えば、24近傍)でのみ再度使用されないようにしてもよい。これにより、フォトモザイク画像の品質の劣化を防止することができる。
また、同じクラスに属す切り出し画像の数が、そのクラスに属すブロックの数よりも少なく、それらの全ての切り出し画像が置換画像として使用されてしまった場合には、その後、そのクラスに属す全ての切り出し画像が、再び処理対象とされるようにしてもよい。すなわち、全ての切り出し画像が処理対象とされ、それらの切り出し画像のなかから、それ以降のブロックに対する置換画像が順次、選択されていく。この場合、再度、置換画像として選択された切り出し画像は、それ以降のブロックの置換画像の選択の対象から除外されてもよいし、除外されなくてもよい。
さらに、置換画像とする切り出し画像を選択する処理は、色に関する第2の特徴を指標とした場合に、処理対象のブロックと類似する切り出し画像、つまり代表色や色の分布(構造)が類似する切り出し画像が選択される処理であれば、どのような処理であってもよい。
また、例えば、差分の総和ΣΔCの演算量を削減するため、ブロックと切り出し画像を画素の間引きや、縮小処理により同じ比率で縮小してから、各画素の差分ΔCを算出するようにしてもよい。ここで縮小処理は、例えば、バイリニア法、バイキュービック法、ニアレストネイバー法などにより行うことができる。
また、処理対象のブロックと切り出し画像とを、射影関数や画素の配置変換などにより、矩形等の予め定められた形状に変形し、変形後のブロックおよび切り出し画像について、照合(総和ΣΔCの演算)を行ってもよい。
ここで、予め定められた形状への変形には、画像の縮小または拡大が含まれるようにしてもよい。例えば、ブロックおよび切り出し画像を矩形の画像に変形してから照合の処理を行うと、任意の形状の画像を処理対象とする場合と比べて、処理し易くなり、より迅速に照合を行うことができる。
さらに、制作目標画像上のブロックを含む矩形の領域と、素材画像上の切り出し画像として切り出される領域を含む矩形の領域とを用いて、照合を行うようにしてもよい。この場合においても、演算量の削減のため、処理対象の矩形の領域が縮小されてもよい。なお、矩形の領域をそのまま用いる場合も、矩形の領域を縮小する場合でも、矩形の領域のうち、ブロックまたは切り出し画像の領域内の画素のみが用いられて照合が行われてもよく、矩形内の全ての画素が用いられて照合を行われてもよい。
以上のようにして、複数のブロックに分割された制作目標画像と、処理対象のブロックの置換画像とが置換画像決定部31から画像置換部32に供給されると、処理はステップS19からステップS20に進む。
ステップS20において、画像置換部32は、制作目標画像上の処理対象のブロックを、置換画像決定部31から供給された置換画像に置き換える。
ステップS21において、画像処理装置11は、制作目標画像上の全てのブロックについて処理を行ったか否かを判定する。例えば、全てのブロックが置換画像に置き換えられてフォトモザイク画像が生成された場合、全てのブロックについて処理を行ったと判定される。
ステップS21において、まだ全てのブロックについて処理を行っていないと判定された場合、処理はステップS18に戻り、上述した処理が繰り返される。すなわち、次のブロックが選択され、そのブロックが置換画像に置き換えられる。
これに対して、ステップS21において、全てのブロックについて処理を行ったと判定された場合、ステップS22において、画像置換部32は、ブロックの置換画像への置き換えにより得られたフォトモザイク画像を、表示制御部33に出力する。そして、表示制御部33の制御によりフォトモザイク画像が表示部34に表示され、フォトモザイク画像の生成処理は終了する。
このようにして、画像処理装置11は、素材画像の被写体の領域をブロックの形状および大きさに合わせて切り出して切り出し画像とし、各ブロックと切り出し画像のクラス分類結果に基づき、各ブロックを切り出し画像に置き換えてフォトモザイク画像を生成する。
このように、処理対象のブロックと同じクラスに分類された切り出し画像を対象として照合を行い、フォトモザイク画像を生成することで、より簡単な処理で、より高品質なフォトモザイク画像を得ることができる。
なお、以上においては、制作目標画像のブロックと切り出し画像とをクラス分類し、処理対象のブロックと同じクラスの切り出し画像から、置換画像とするものを選択すると説明したが、クラス分類を行わないようにしてもよい。そのような場合、置換画像決定部31は、分割部24により分割された各ブロックについて、そのブロックと同じ形状および大きさの全ての切り出し画像を対象として照合を行い、置換画像とする切り出し画像を選択する。
[切り出し処理の説明]
次に、図7のフローチャートを参照して、図3のステップS16の処理に対応する切り出し処理について説明する。
ステップS51において、被写体検出部61は、画像データベース記録部22から、素材画像を読み込む。そして、ステップS52において、被写体検出部61は、読み込んだ素材画像に基づいて、物体認識などの処理により、その素材画像から被写体を検出する。
例えば、被写体検出部61は、人の顔など特定の被写体(物体)について、それらの被写体の平均的な画像が有する特徴の特徴量を予め記録している。ここで平均的な画像が有する特徴とは、例えば画像上の特徴点間の相対的な距離や輝度分布などとされる。そして、被写体検出部61は、素材画像から、その特徴の特徴量を抽出して、抽出した特徴量と、予め記録している各被写体の特徴量とを比較して、素材画像から被写体を検出する。
なお、素材画像からの被写体の検出は、テンプレートマッチングなどの処理により行われてもよいし、ユーザにより指定された領域を被写体の領域としてもよい。
被写体検出部61は、画像データベース記録部22から読み込んだ素材画像から被写体の領域を検出すると、その検出結果と素材画像とをノイズ検出部62に供給する。
ステップS53において、ノイズ検出部62は、被写体検出部61から供給された素材画像からスミアノイズなどのノイズを検出し、その検出結果と、被写体検出部61から供給された素材画像および被写体の検出結果とをノイズ除去部63に供給する。なお、被写体の検出結果が用いられて、素材画像における被写体の領域のみがノイズ検出の対象とされるようにしてもよい。
ステップS54において、ノイズ除去部63は、ノイズ検出部62から供給されたノイズの検出結果を用いて、検出されたノイズを除去するフィルタを生成し、そのフィルタを用いたフィルタ処理により、ノイズ検出部62からの素材画像からノイズを除去する。そして、ノイズ除去部63は、ノイズが除去された素材画像と、ノイズ検出部62からの被写体の検出結果とをぼけ検出部64に供給する。
ステップS55において、ぼけ検出部64は、ノイズ除去部63から供給された素材画像に基づいて、素材画像から、手振れに起因するぼけ(ぶれ)や、光学系のデフォーカスなどによるぼけを検出する。
例えば、手振れによるぼけの検出は、ケプストラム解析などにより行われる。すなわち、ぼけ検出部64は、素材画像に対して高速フーリエ変換を施して、その結果得られた画像に対してさらに、対数演算および逆高速フーリエ変換を施してケプストラム画像を生成し、そのケプストラム画像に基づいて点広がり関数を求める。この点広がり関数は、理想的な点像がぶれ等によりぼけたときの輝度分布、つまり画像を撮像する撮像装置に加えられたぶれの軌跡を表している。したがって、点広がり関数から素材画像の被写体の輪郭がぶれにより広がった距離、すなわちぼけの大きさを知ることが可能である。
なお、被写体の検出結果が用いられて、素材画像における被写体の領域のみがぼけ検出の対象とされるようにしてもよい。
ぼけ検出部64は、素材画像からぼけを検出すると、その検出結果と、ノイズ除去部63からの被写体の検出結果および素材画像とをぼけ除去部65に供給する。
ステップS56において、ぼけ除去部65は、ぼけ検出部64から供給されたぼけの検出結果に基づいて、ぼけ検出部64から供給された素材画像からぼけを除去する。例えば、ぼけ除去部65は、ぼけの検出結果から、ぼけの特性の逆特性を有するフィルタを生成し、そのフィルタを用いたフィルタ処理を素材画像に施して、ぼけの除去を行う。
ぼけ除去部65は、ぼけが除去された素材画像と、ぼけ検出部64からの被写体の検出結果とを被写体領域切り出し部66に供給する。
なお、素材画像上のノイズやぼけがある程度大きくなると、それらのノイズやぼけを除去した結果、かえって素材画像の画質が劣化してしまうことがある。そこで、フォトモザイク画像の品質の劣化を防ぐために、ノイズやぼけの大きさが所定の大きさ以上である場合には、その素材画像は、切り出し画像の生成に用いられないようにしてもよい。
また、素材画像の被写体の領域を対象として、ノイズやぼけが検出され、そのノイズやぼけの大きさが所定の大きさ以上である場合には、その素材画像から、別の被写体を検出し、その別の被写体からノイズやぼけを除去して切り出し画像の生成に用いてもよい。
ステップS57において、被写体領域切り出し部66の加工部71は、切り出し形状メモリ23に記録されている、ブロック形状情報に示されるブロックの形状および大きさに合わせて、ぼけ除去部65からの素材画像を加工する。
具体的には、加工部71は、素材画像上の被写体の領域のほぼ中心を、ブロックの中心位置に合わせて被写体の領域とブロックを重ね合わせた場合に、被写体全体がブロック内に収まるように、素材画像に対して縮小、拡大、変形(画像形状の変形)、回転等の処理を施す。例えば、被写体がブロックに対して小さ過ぎる場合、被写体がブロック内に収まり、かつブロックの大きさに対して適度な大きさとなるように、素材画像に加工処理として拡大処理が施される。このとき、素材画像上の被写体の領域は、ぼけ除去部65から供給された、被写体の検出結果により特定される。
ステップS58において、被写体領域切り出し部66は、切り出し形状メモリ23に記録されているブロック形状情報を参照して、加工部71により加工された素材画像から、被写体を含む領域をブロックの形状に切り出して、切り出し画像を生成する。すなわち、加工された素材画像上の被写体を含む、ブロック形状情報により示されるブロックの大きさおよび形状の領域が、切り出し画像として切り出される。これにより、被写体全体を含む、ブロックと同じ大きさおよび形状の切り出し画像が得られる。
なお、被写体がブロックの枠から多少はみ出す程度であるなど、被写体がブロックに対して多少、大きい場合や小さい場合には、素材画像に特に加工処理が施されなくてもよい。また、被写体がブロックの枠に丁度収まる場合にも、特に素材画像に加工処理が施されなくてもよい。さらにブロック形状情報により、複数の形状または大きさのブロックが示されるときには、形状または大きさの異なるブロックのそれぞれについて、処理対象の素材画像からブロックと同じ形状および大きさの切り出し画像が生成される。
被写体領域切り出し部66は、素材画像から切り出し画像を生成すると、その切り出し画像をクラス分類部29に供給する。
ステップS59において、切り出し部28は、画像データベース記録部22に記録されている全ての素材画像を処理したか否かを判定する。例えば、全ての素材画像から切り出し画像が生成された場合、全ての素材画像が処理されたと判定される。
ステップS59において、まだ全ての素材画像が処理されていないと判定された場合、処理はステップS51に戻り、上述した処理が繰り返される。すなわち、次の素材画像が処理対象とされて、その素材画像から切り出し画像が生成される。
これに対して、ステップS59において、全ての素材画像を処理したと判定された場合、切り出し処理は終了し、処理は図3のステップS17に進む。
このようにして、切り出し部28は、素材画像から被写体を検出し、素材画像上の被写体がブロック内に収まるように適宜、素材画像を加工して、切り出し画像を生成する。
このように、被写体がブロック内に収まるように素材画像を加工し、素材画像上の被写体の領域をブロック形状に切り出して切り出し画像とすることで、より高品質なフォトモザイク画像を得ることができる。
すなわち、被写体がブロック内に収まるように素材画像を加工してから、素材画像の領域の一部を切り出し画像として切り出すことで、得られた切り出し画像には、必ず被写体のほぼ全体が含まれることになる。
したがって、このような切り出し画像を置換画像として用いれば、ブロックの形状によらず、常に画像の枠内に被写体が丁度収まった置換画像が並べられてできた、より見映えのよいフォトモザイク画像を得ることができる。
また、全ての切り出し画像は、切り出し画像内に被写体が丁度収まるように生成されるので、置換画像として使用することのできない切り出し画像が生成されてしまうこともない。そのため、切り出し画像が不足し、同じ切り出し画像が重複利用されてしまうことを抑制することができ、より見映えのよいフォトモザイク画像を得ることができる。
以上のように、被写体がブロック内に収まるように素材画像を加工してから切り出し画像を生成することで、制作目標画像を任意の形状のブロックに分割してフォトモザイク画像を生成する場合であっても、より高品質なフォトモザイク画像を得ることができる。
〈第2の実施の形態〉
[画像処理装置の構成]
なお、処理対象のブロックと、同じ形状および大きさで同じクラスに属す切り出し画像から、置換画像とする切り出し画像を選択すると説明したが、クラス分類を行わず、さらにブロックの形状と関連のある切り出し画像だけが置換画像の候補とされてもよい。
すなわち、処理対象のブロックと同じ形状および大きさで、かつ処理対象のブロックの形状と関連のある被写体が含まれた切り出し画像のなかから、そのブロックに対する置換画像とされる切り出し画像が選択される。
そのような場合、画像処理装置11は、例えば図8に示すように構成される。なお、図8において、図1における場合と対応する部分には、同じ符号を付してあり、その説明は適宜、省略する。
図8の画像処理装置11は、置換画像決定部31に新たに選択部111が設けられており、平均値算出部25乃至クラス分類部27、およびクラス分類部29が設けられていない点で図1の画像処理装置11と異なり、その他の点は一致する。
図8の画像処理装置11では、分割部24により複数のブロックに分割された制作目標画像は、分割部24から置換画像決定部31に供給される。また、切り出し部28において生成された切り出し画像は、切り出し部28から切り出し画像メモリ30に供給される。なお、この画像処理装置11では、ブロックと切り出し画像のクラス分類は行われない。
さらに、画像データベース記録部22に記録されている素材画像には、予め、その素材画像の被写体がどのようなものであるかを示すタグ情報が付加されている。例えば、素材画像の被写体が魚である場合には、タグ情報は被写体が魚であることを示す情報とされる。
また、例えば、素材画像がExif(Exchangeable Image File Format)などの規格に準拠する画像である場合には、素材画像に付加された付加情報(Exif情報)内の画像のタイトルなどがタグ情報として用いられるようにしてもよい。
切り出し部28の被写体領域切り出し部66は、生成した切り出し画像に、素材画像に付加されているタグ情報を付加し、タグ情報が付加された切り出し画像を切り出し画像メモリ30に供給する。
置換画像決定部31に設けられた選択部111は、予めブロックの形状と関連付けられたテーマに沿った被写体を示す関連情報を保持している。例えば、ブロックの形状が魚の輪郭である場合には、関連情報により示される被写体は「魚」や「海」などとされ、魚や海を被写体とする切り出し画像が、そのブロックについての置換画像の候補とされる。
選択部111は、保持している関連情報を用いて、切り出し画像メモリ30に記録されている切り出し画像から、処理対象のブロックについての置換画像の候補とする切り出し画像を選択する。すなわち、処理対象のブロックの形状と関連のある被写体が含まれる切り出し画像が候補として選択される。
置換画像決定部31は、処理対象のブロックについて、選択部111により選択された切り出し画像を対象として、ブロックと切り出し画像の照合を行い、置換画像とする切り出し画像を選択する。
[フォトモザイク画像の生成処理の説明]
次に、図9のフローチャートを参照して、図8の画像処理装置11により行われるフォトモザイク画像の生成処理について説明する。
なお、ステップS81乃至ステップS84の処理のそれぞれは、図3のステップS11、ステップS12、ステップS16、およびステップS18の処理のそれぞれと同様の処理であるので、その説明は省略する。
すなわち、分割部24により記録部21からの制作目標画像が、切り出し形状メモリ23のブロック形状情報に基づいて分割されて、各ブロックが置換画像決定部31に供給される。また、切り出し部28により、画像データベース記録部22からの素材画像の被写体の領域が、切り出し形状メモリ23のブロック形状情報に基づいて切り出され、切り出し画像とされ、切り出し画像メモリ30に記録される。なお、切り出し画像には、予め素材画像に付加されているタグ情報が付加される。
ステップS85において、選択部111は、保持している関連情報を参照して、処理対象となっているブロックの形状と関連のある切り出し画像を、置換画像の候補として選択する。
すなわち、選択部111は、処理対象となっているブロックに基づいて、そのブロックの形状を認識する。そして選択部111は、切り出し画像メモリ30に記録されている切り出し画像のなかから、認識された処理対象のブロックの形状の関連情報により示される被写体を示す情報が、タグ情報に含まれており、かつブロックと同じ形状および大きさの切り出し画像を選択する。
例えば、処理対象のブロックの形状の認識の結果、そのブロックの形状が魚の輪郭であることが認識されると、そのブロック形状(魚)により特定される関連情報が参照される。そして、その関連情報により示される被写体が「魚」と「海」であったとすると、被写体が「魚」または「海」であることを示すタグ情報が付加された切り出し画像が、処理対象のブロックの置換画像の候補として選択される。
したがって、置換画像の候補として選択部111により選択された切り出し画像と、処理対象のブロックとの照合が行われ、それらの切り出し画像のうち、最も処理対象のブロックと色に関する第2の特徴が類似する切り出し画像が置換画像として選択されることになる。このようにして選択された切り出し画像(置換画像)の被写体と、処理対象のブロックの形状とは、ともに関連のあるものとなる。
その他、例えば、1つの制作目標画像に、魚の輪郭の形状のブロックと、鳥の輪郭の形状のブロックが含まれていたとする。この場合に、魚の形状のブロックには、魚に関連する被写体が含まれる、魚の形状の切り出し画像が割り当てられ、鳥の形状のブロックには、鳥に関連する被写体が含まれる、鳥の形状の切り出し画像が割り当てられる。
ブロックの形状と関連のある切り出し画像が選択されると、その後、ステップS86乃至ステップS89の処理が行われて、フォトモザイク画像の生成処理は終了するが、これらの処理は図3のステップS19乃至ステップS22の処理と同様であるので、その説明は省略する。
このようにして、画像処理装置11は、処理対象のブロックと同じ形状および大きさの切り出し画像のうち、そのブロックの形状と関連のある被写体を含む切り出し画像を対象として、置換画像とする切り出し画像を選択する。
このように、ブロックの形状と関連のある被写体を含む切り出し画像を置換画像とすることで、切り出し画像の被写体や形状そのものだけでなく、切り出し画像の被写体と形状の組み合わせによっても、所望のテーマについてメッセージを表現することができる。これにより、フォトモザイク画像の芸術性をより高めることができる。
なお、以上においては、素材画像に、予め被写体を示すタグ情報が付加されていると説明したが、選択部111が切り出し画像から被写体を抽出するようにしてもよい。そのような場合、切り出し画像には、タグ情報は付加されていない。選択部111は、切り出し画像から物体認識により被写体を抽出(識別)し、その識別結果が、処理対象のブロック形状についての関連情報に示される被写体を示すものである場合、その切り出し画像を、置換画像の候補として採用する。
また、ブロック形状情報に、予め各ブロックの関連情報が含まれるようにし、分割部24から置換画像決定部31に、各ブロックと、それらのブロックの関連情報とが供給されるようにしてもよい。この場合、選択部111は、そのブロックの関連情報を参照すれば、ブロックの形状を認識する処理を行わなくてよい。
〈第3の実施の形態〉
[画像処理装置の構成]
さらに、ブロックの形状ごとに、そのブロックの形状と関連のある被写体を含む素材画像だけが用いられて、切り出し画像が生成されるようにしてもよい。
そのような場合、画像処理装置11は、例えば図10に示すように構成される。なお、図10において、図8における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
図10の画像処理装置11は、置換画像決定部31に選択部111が設けられておらず、切り出し部28に代えて新たに切り出し部141が設けられている点で、図8の画像処理装置11と異なり、その他の点では一致する。
切り出し部141は、画像データベース記録部22から、タグ情報が付加された素材画像を取得し、素材画像のうち、切り出し形状メモリ23のブロック形状情報により示されるブロック形状と関連のある被写体を含む素材画像だけを用いて、切り出し画像を生成する。
[切り出し部の構成]
この切り出し部141は、より詳細には、図11に示すように構成される。なお、図11において、図2における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
切り出し部141においては、被写体検出部61に新たに選択部171が設けられており、その他の点では、図2の切り出し部28と同じ構成とされている。
選択部171は、予めブロックの形状と関連付けられたテーマに沿った被写体を示す関連情報を保持しており、この関連情報を用いて、取得された素材画像のうち、ブロック形状情報により示されるブロックの形状と関連のある素材画像を選択する。切り出し部141では、選択部171により選択された素材画像だけが用いられて、切り出し画像が生成される。
[フォトモザイク画像の生成処理の説明]
次に、図12のフローチャートを参照して、図10の画像処理装置11によるフォトモザイク画像の生成処理について説明する。
なお、ステップS131およびステップS132の処理は、図9のステップS81およびステップS82の処理と同様であるので、その説明は省略する。
ステップS133において、切り出し部141は、切り出し処理を行って、画像データベース記録部22から読み出した素材画像から切り出し画像を生成し、切り出し画像を切り出し画像メモリ30に供給して記録させる。
ここで、図13のフローチャートを参照して、ステップS133の処理に対応する切り出し処理について説明する。なお、ステップS161およびステップS162の処理は、図7のステップS51およびステップS52の処理と同様であるので、その説明は省略する。すなわち、被写体検出部61は、画像データベース記録部22から素材画像を読み込んで、素材画像から被写体を検出する。
ステップS163において、選択部171は、切り出し形状メモリ23のブロック形状情報を参照して、素材画像から検出された被写体と、ブロック形状情報により示されるブロックの形状との関連の有無を検出する。
例えば、選択部171は、ブロック形状情報により示されるブロックの形状から、予め保持している関連情報のうち、そのブロックの形状により特定される関連情報を参照する。そして、選択部171は、関連情報により示される被写体と、素材画像に付加されたタグ情報により示される被写体とを比較して、ブロック形状情報により示されるブロックの形状と、素材画像上の被写体との関連の有無を検出する。
ステップS164において、選択部171は、関連の有無の検出の結果、ブロックの形状と素材画像の被写体とに関連があるか否かを判定する。例えば、関連情報とタグ情報とに同じ被写体「魚」を示す情報が含まれていれば、関連があると判定される。
ステップS164において、関連があると判定された場合、処理はステップS165に進む。そして、ステップS165乃至ステップS170の処理が行われ、素材画像から切り出し画像が生成される。
なお、これらのステップS165乃至ステップS170の処理は、図7のステップS53乃至ステップS58の処理と同様であるので、その説明は省略する。
これに対して、ステップS164において、関連がないと判定された場合、その素材画像は切り出し画像の生成には用いないので、ステップS165乃至ステップS170の処理は行われず、処理はステップS171に進む。すなわち、処理対象の素材画像が、切り出し画像の生成の対象から除外される。
ステップS170において切り出し画像が生成されたか、ステップS164において関連がないと判定されると、ステップS171において、切り出し部141は、画像データベース記録部22に記録されている全ての素材画像を処理したか否かを判定する。
ステップS171において、まだ全ての素材画像が処理されていないと判定された場合、処理はステップS161に戻り、上述した処理が繰り返される。
これに対して、ステップS171において、全ての素材画像を処理したと判定された場合、切り出し処理は終了し、処理は図12のステップS134に進む。
図12のフローチャートの説明に戻り、ステップS133の切り出し処理が行われると、その後、ステップS134乃至ステップS138の処理が行われて、フォトモザイク画像の生成処理は終了する。
なお、ステップS134乃至ステップS138の処理は、図9のステップS84、およびステップS86乃至ステップS89の処理と同様であるので、その説明は省略する。但し、ステップS135においては、切り出し画像メモリ30に記録されている切り出し画像のうち、処理対象のブロックと同じ形状および大きさの切り出し画像について照合が行われ、それらの切り出し画像のなかから、置換画像とする切り出し画像が選択される。
このようにして、画像処理装置11は、素材画像のうち、制作目標画像を分割するブロックの形状と関連のある素材画像だけを用いて、切り出し画像を生成する。これにより、切り出し画像の被写体や形状そのものだけでなく、切り出し画像の被写体と形状の組み合わせによっても、所望のテーマについてメッセージを表現することができ、フォトモザイク画像の芸術性をより高めることができる。
なお、以上においては、素材画像に、予め被写体を示すタグ情報が付加されていると説明したが、素材画像から被写体が抽出されるようにしてもよい。そのような場合、素材画像には、タグ情報は付加されていない。選択部171は、被写体検出部61により行われた、物体認識による被写体の抽出(識別)結果が、ブロックの形状についての関連情報に示される被写体を示すものである場合、その素材画像を切り出し画像の生成に用いるものとして、ノイズ検出部62に供給する。
また、図8および図10に示した画像処理装置11では、制作目標画像上のブロック、および切り出し画像について、クラスへの分類を行わない構成とされているが、図8および図10の例においても、ブロックおよび切り出し画像がクラスに分類されるようにしてもよい。これにより、タグ情報や形状認識での切り出し画像の選別に加えて、置換画像の候補とすべき切り出し画像を、さらに絞り込むことができ、より迅速に適切な置換画像を得ることができる。また、ブロックや切り出し画像の形状が複数ある場合には、それらの形状ごとにクラスの分類が行われてもよい。
さらに、全ての素材画像を処理対象として、素材画像上の被写体の領域が切り出し画像として切り出されると説明したが、例えば、ブロックの形状が矩形である場合には、ユーザの指示等により、素材画像がそのまま切り出し画像とされるか、または素材画像の一部が切り出されて切り出し画像とされるようにしてもよい。また、このような場合において、クラス分類の結果、ブロックに対して、切り出し画像の数が不足するときに、さらに素材画像から、そのクラスに属す切り出し画像が得られるように、素材画像の領域が切り出し画像として切り出されてもよい。
なお、以上において説明した画像処理装置11は、例えば、コンピュータにより構成されたり、撮像装置に内蔵されたりしてもよく、その他、画像処理装置11は、各種の電子機器に搭載することも可能である。
さらに、以上において説明した素材画像および制作目標画像は、撮像装置により撮像された画像(写真)に限らず、絵などをスキャナで取り込んで得られた画像や、CG(Computer Graphics)など、どのような画像であってもよい。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図14は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インターフェース205が接続されている。入出力インターフェース205には、キーボード、マウス、マイクロホンなどよりなる入力部206、ディスプレイ、スピーカなどよりなる出力部207、ハードディスクや不揮発性のメモリなどよりなる記録部208、ネットワークインターフェースなどよりなる通信部209、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア211を駆動するドライブ210が接続されている。
以上のように構成されるコンピュータでは、CPU201が、例えば、記録部208に記録されているプログラムを、入出力インターフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU201)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア211に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インターフェース205を介して、記録部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記録部208にインストールすることができる。その他、プログラムは、ROM202や記録部208に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
11 画像処理装置, 23 切り出し形状メモリ, 28 切り出し部, 31 置換画像決定部, 32 画像置換部, 61 被写体検出部, 66 被写体領域切り出し部, 71 加工部, 111 選択部, 171 選択部

Claims (10)

  1. 制作目標画像を任意の形状の複数のブロックに分割し、前記ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する画像処理装置であって、
    前記置換画像を生成するための素材画像に基づいて、前記素材画像上の被写体を検出する被写体検出手段と、
    前記素材画像上の前記被写体の領域が前記ブロック内に収まるように、前記ブロックの形状および大きさに合わせて前記素材画像に加工処理を施す加工手段と、
    前記加工処理された前記素材画像の前記被写体を含む領域を前記ブロックと同じ形状および大きさに切り出して、前記被写体が含まれる切り出し画像を生成する画像生成手段と、
    前記制作目標画像の各ブロックについて、複数の前記切り出し画像のうち、色に関する特徴が前記ブロックと最も類似する前記切り出し画像を前記置換画像とし、前記ブロックを前記置換画像に置き換えて前記フォトモザイク画像を生成する置換手段と
    を備える画像処理装置。
  2. 前記加工手段は、前記加工処理として、前記素材画像の拡大処理、縮小処理、変形処理、または回転処理の少なくとも何れかの処理を前記素材画像に施す
    請求項1に記載の画像処理装置。
  3. 前記素材画像上に生じたぼけを検出する検出手段と、
    前記ぼけを除去するフィルタ処理を前記素材画像に施すぼけ除去手段と
    をさらに備える請求項2に記載の画像処理装置。
  4. 前記素材画像上のノイズを検出する検出手段と、
    前記ノイズを除去するフィルタ処理を前記素材画像に施すノイズ除去手段と
    をさらに備える請求項2に記載の画像処理装置。
  5. 前記素材画像には、予め前記素材画像上の前記被写体に関するタグ情報が付加されており、
    前記画像生成手段は、前記タグ情報が付加された前記切り出し画像を生成し、
    前記切り出し画像に付加された前記タグ情報に基づいて、複数の前記切り出し画像のうち、前記ブロックの形状と関連のある前記被写体を含む前記切り出し画像を、前記置換画像の候補として選択する選択手段をさらに備え、
    前記置換手段は、前記選択手段により選択された前記置換画像の候補から、前記置換画像とする前記切り出し画像を選択して、前記フォトモザイク画像を生成する
    請求項2に記載の画像処理装置。
  6. 前記素材画像には、予め前記素材画像上の前記被写体に関するタグ情報が付加されており、
    前記タグ情報に基づいて、前記ブロックの形状と関連のある前記被写体を含む前記素材画像を、前記切り出し画像の生成対象として選択する選択手段をさらに備え、
    前記加工手段は、前記選択手段により選択された前記素材画像に前記加工処理を施す
    請求項2に記載の画像処理装置。
  7. 前記切り出し画像に基づいて、物体認識により前記切り出し画像上の前記被写体を識別し、その識別結果に基づいて、複数の前記切り出し画像のうち、前記ブロックの形状と関連のある前記被写体を含む前記切り出し画像を、前記置換画像の候補として選択する選択手段をさらに備え、
    前記置換手段は、前記選択手段により選択された前記置換画像の候補から、前記置換画像とする前記切り出し画像を選択して、前記フォトモザイク画像を生成する
    請求項2に記載の画像処理装置。
  8. 前記素材画像に基づいて、物体認識により前記素材画像上の前記被写体を識別し、その識別結果に基づいて、前記ブロックの形状と関連のある前記被写体を含む前記素材画像を、前記切り出し画像の生成対象として選択する選択手段をさらに備え、
    前記加工手段は、前記選択手段により選択された前記素材画像に前記加工処理を施す
    請求項2に記載の画像処理装置。
  9. 制作目標画像を任意の形状の複数のブロックに分割し、前記ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する画像処理装置であって、
    前記置換画像を生成するための素材画像に基づいて、前記素材画像上の被写体を検出する被写体検出手段と、
    前記素材画像上の前記被写体の領域が前記ブロック内に収まるように、前記ブロックの形状および大きさに合わせて前記素材画像に加工処理を施す加工手段と、
    前記加工処理された前記素材画像の前記被写体を含む領域を前記ブロックと同じ形状および大きさに切り出して、前記被写体が含まれる切り出し画像を生成する画像生成手段と、
    前記制作目標画像の各ブロックについて、複数の前記切り出し画像のうち、色に関する特徴が前記ブロックと最も類似する前記切り出し画像を前記置換画像とし、前記ブロックを前記置換画像に置き換えて前記フォトモザイク画像を生成する置換手段と
    を備える画像処理装置の画像処理方法において、
    前記被写体検出手段が、前記素材画像上の前記被写体を検出し、
    前記加工手段が、前記素材画像に前記加工処理を施し、
    前記画像生成手段が、前記加工処理された前記素材画像から前記切り出し画像を生成し、
    前記置換手段が、前記制作目標画像の前記ブロックを前記置換画像に置き換えて前記フォトモザイク画像を生成する
    ステップを含む画像処理方法。
  10. 制作目標画像を任意の形状の複数のブロックに分割し、前記ブロックを置換画像に置き換えることによりフォトモザイク画像を生成する画像処理用のプログラムであって、
    前記置換画像を生成するための素材画像に基づいて、前記素材画像上の被写体を検出し、
    前記素材画像上の前記被写体の領域が前記ブロック内に収まるように、前記ブロックの形状および大きさに合わせて前記素材画像に加工処理を施し、
    前記加工処理された前記素材画像の前記被写体を含む領域を前記ブロックと同じ形状および大きさに切り出して、前記被写体が含まれる切り出し画像を生成し、
    前記制作目標画像の各ブロックについて、複数の前記切り出し画像のうち、色に関する特徴が前記ブロックと最も類似する前記切り出し画像を前記置換画像とし、前記ブロックを前記置換画像に置き換えて前記フォトモザイク画像を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2009204425A 2009-09-04 2009-09-04 画像処理装置および方法、並びにプログラム Withdrawn JP2011054080A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009204425A JP2011054080A (ja) 2009-09-04 2009-09-04 画像処理装置および方法、並びにプログラム
US12/871,449 US8718401B2 (en) 2009-09-04 2010-08-30 Image processing device, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009204425A JP2011054080A (ja) 2009-09-04 2009-09-04 画像処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2011054080A true JP2011054080A (ja) 2011-03-17

Family

ID=43925505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009204425A Withdrawn JP2011054080A (ja) 2009-09-04 2009-09-04 画像処理装置および方法、並びにプログラム

Country Status (2)

Country Link
US (1) US8718401B2 (ja)
JP (1) JP2011054080A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016973A (ja) * 2011-07-01 2013-01-24 Canon Inc 画像処理装置および画像処理方法
JP2013135322A (ja) * 2011-12-26 2013-07-08 Olympus Imaging Corp 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5484310B2 (ja) * 2010-12-24 2014-05-07 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP5914992B2 (ja) * 2011-06-02 2016-05-11 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
CN104428815B (zh) * 2012-07-13 2017-05-31 富士胶片株式会社 图像变形装置及其动作控制方法
US9251169B2 (en) * 2013-01-18 2016-02-02 UDC Software LLC Systems and methods for creating photo collages
JP6444835B2 (ja) * 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
US11037038B2 (en) 2019-03-27 2021-06-15 Digimarc Corporation Artwork generated to convey digital messages, and methods/apparatuses for generating such artwork
CN113590250B (zh) * 2021-07-29 2024-02-27 网易(杭州)网络有限公司 图像处理方法、装置、设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137498A (en) * 1997-01-02 2000-10-24 Runaway Technology, Inc. Digital composition of a mosaic image
JPH11345311A (ja) 1998-05-29 1999-12-14 Canon Inc 画像処理装置及び方法
JP3825916B2 (ja) 1998-05-29 2006-09-27 キヤノン株式会社 画像処理方法及びその装置
US6556210B1 (en) * 1998-05-29 2003-04-29 Canon Kabushiki Kaisha Image processing method and apparatus therefor
JP2000298722A (ja) 1999-04-13 2000-10-24 Canon Inc 画像処理方法及び装置
US6804393B2 (en) * 2001-01-02 2004-10-12 Eastman Kodak Company Method of calculating noise from a digital image utilizing color cross correlation statistics
JP2005100120A (ja) 2003-09-25 2005-04-14 Seiko Epson Corp 合成画像作成方法及び合成画像作成装置並びに合成画像作成プログラム
CA2442603C (en) * 2003-10-01 2016-11-22 Aryan Saed Digital composition of a mosaic image
US20050135667A1 (en) * 2003-12-22 2005-06-23 Abb Oy. Method and apparatus for labeling images and creating training material
US8159550B2 (en) * 2006-06-22 2012-04-17 Apple Inc. Presenting images as mosaics
US7907791B2 (en) * 2006-11-27 2011-03-15 Tessera International, Inc. Processing of mosaic images
US8233740B2 (en) * 2006-12-26 2012-07-31 Alan Steven Roth System and method for constructing photorealistic mosaics
US20090263010A1 (en) * 2008-04-18 2009-10-22 Microsoft Corporation Adapting a parameterized classifier to an environment
US20110050723A1 (en) * 2009-09-03 2011-03-03 Sony Corporation Image processing apparatus and method, and program
JP2011055398A (ja) * 2009-09-04 2011-03-17 Sony Corp 撮像装置および方法、画像処理装置および方法、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016973A (ja) * 2011-07-01 2013-01-24 Canon Inc 画像処理装置および画像処理方法
US9292947B2 (en) 2011-07-01 2016-03-22 Canon Kabushiki Kaisha Image processing apparatus and an image processing method for generating mosaic image(s)
JP2013135322A (ja) * 2011-12-26 2013-07-08 Olympus Imaging Corp 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
US8718401B2 (en) 2014-05-06
US20110103683A1 (en) 2011-05-05

Similar Documents

Publication Publication Date Title
JP2011054080A (ja) 画像処理装置および方法、並びにプログラム
US8861881B2 (en) Image processing apparatus, method thereof, program, and image capturing apparatus
US8594439B2 (en) Image processing
US8488896B2 (en) Image processing apparatus and image processing method
JP5456159B2 (ja) 背景から前景の頭頂部を分離するための方法および装置
US8798373B2 (en) Image restoration system, image restoration method, and image restoration program
US6912313B2 (en) Image background replacement method
JP4505362B2 (ja) 赤目検出装置および方法並びにプログラム
JP2012521708A (ja) 色周波数に基づく顕著性マップを用いて画像を修正する方法及び装置
US20110050723A1 (en) Image processing apparatus and method, and program
JP2001236497A (ja) 写真画像のクロッピングされズームされた変形を自動的に形成する方法
JP5527592B2 (ja) 画像処理装置および方法、並びにプログラム
JP2011054081A (ja) 画像処理装置および方法、並びにプログラム
US9361669B2 (en) Image processing apparatus, image processing method, and program for performing a blurring process on an image
US20140010454A1 (en) Apparatus, method, and computer-readable storage medium
JP2011517228A (ja) デジタル画像内のオブジェクトの視認性を向上させるシステム及びその方法
KR20150112535A (ko) 비디오 대표 이미지 관리 장치 및 방법
JP2010244398A (ja) 画像処理装置および画像処理プログラム
US8498496B2 (en) Method and apparatus for filtering red and/or golden eye artifacts
JP5640622B2 (ja) 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置
CN112839167A (zh) 图像处理方法、装置、电子设备及计算机可读介质
JP2004240622A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2011055398A (ja) 撮像装置および方法、画像処理装置および方法、並びにプログラム
CN104298961B (zh) 基于口型识别的视频编排方法
JP2004234069A (ja) 画像処理方法、画像処理装置、及びプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20121106