JP2010003251A - 画像リサイズ処理装置及び画像リサイズ処理方法 - Google Patents

Abstract

【課題】簡単な処理でユーザが望む画像を充分に提供する。
【解決手段】入力画像の少なくとも一部をリサイズする画像リサイズ処理部であって、入力画像を第１方向にｎ（ｎは２以上の整数）分割するための、第１方向に直交するｎ−１本の第１境界線を設定する第１境界線設定部３０１と、入力画像を第１方向とは異なる第２方向にｍ（ｍは２以上の整数）分割するための、第２方向に直交するｍ−１本の第２境界線を設定する第２境界線設定部３０２と、第１境界線の１本又は２本と前記入力画像の外縁とで囲まれる第１分割エリアを、第１方向に第１比率でリサイズし、第２境界線の１本又は２本と入力画像の外縁とで囲まれる第２分割エリアを、第２方向に前記第１比率とは異なる第２比率でリサイズするリサイズ処理部３０４とを備える。
【選択図】図３

Description

本発明は、画像データを加工及び修整するレタッチ処理に関し、特に、画像の少なくとも一部をリサイズする画像リサイズ処理装置及び画像リサイズ処理方法に関する。

近年、フィルムも現像も不要なデジタルスチルカメラは活況を呈し、携帯電話もカメラ搭載型が主流を占めている。そして、カメラにより取得された映像信号又は画像信号の処理の高速化と映像又は画像の高画質化とに関する技術の向上と普及とには目覚ましいものがある。

一方で、技術の進歩に関わらず、人が写った写真を撮影する場合の人の本質的な欲求として、被撮影者は「よりきれいに写りたい」という願望を持っている場合が多い。このような願望を叶える従来技術として、取得した画像データに対してレタッチ処理を行う技術が開示されている。

例えば、デジタルカメラで一旦、人物を撮影したあと、撮影後の画像データをＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に取り込み、フォトレタッチソフトウエアなどを駆使して全体のバランスの修正又は任意部位の修正を行う処理が一般的に行われている。また、カメラ本体で、水平方向及び垂直方向に均一の比率でのリサイズ処理として実現する技術、又は、顔検出を利用して人物画像のレタッチ処理を行う技術なども開示されている。

特許文献１には、デジタルカメラ装置自体が、保存前の画像の色合いの調整を行う技術が示されている。

図１４は、特許文献１に記載されているデジタルカメラ装置の構成を示すブロック図である。同図のデジタルカメラ装置７００自体が、保存処理前の画像の色合いの調整を行う。デジタルカメラ装置７００は、その画像処理を容易にし、かつ、高画質な画像を得ることを目的とする。

デジタルカメラ装置７００は、撮像装置７０１と、入力装置７０２と、画像処理装置７０３と、記録装置７０４と、出力装置７０５とを備える。入力装置７０２は、ＲＧＢに対応するボタンスイッチ７０２Ｒａ、７０２Ｒｂ、７０２Ｇａ、７０２Ｇｂ、７０２Ｂａ及び７０２Ｂｂと当該画像処理を継続することを指示するためのボタンスイッチ７０２ｃとをそれぞれ切り替えることで、画像の色合いを変更する。画像処理装置７０３は、メモリ７１１と、データ抽出部７１２と、テーブル作成部７１３と、画像形式変換部７１４とを備える。

撮像装置７０１で取り込んだ被写体の画像データは、メモリ７１１に記憶される。データ抽出部７１２は、メモリ７１１に記憶された画像データから色調整に用いる特定部分のデータを抽出してヒストグラムを作成する。テーブル作成部７１３は、データ抽出部７１２で作成されたヒストグラムに基づいて、画像を適切な色合いに変換するための色変換テーブルデータを作成する。画像形式変換部７１４は、テーブル作成部７１３で作成された色変換テーブルデータに基づいてメモリ７１１に記憶されている画像データを一般的な写真サイズの画像フォーマットに変換し、記録装置７０４に出力して保存し、かつ、出力装置７０５で画面表示する。

ユーザは、出力装置７０５に画面表示される画像を目視し、入力装置７０２を介して各ボタンスイッチを操作することで、ＲＧＢの各色のバランスを調整し、その色合いを、より自然な色合いに補正し、又は、好みの色合いに調整する。

以上のように、特許文献１に記載されているデジタルカメラが備える画像処理装置では、よりきれいな画像を得るために、色合いに着目して画像データを変換する。つまり、保存処理を実行する前の画像の色合いを調整することで、画像処理を容易に行うことができ、さらに、高画質な画像を得ることができる。

また、特許文献２には、デジタル化された画像データに対して撮影レンズに起因する歪曲収差（ディストーション）を補正する機能を備えた撮像装置が示されている。

図１５（ａ）は、特許文献２に記載されている撮像装置のディストーション補正回路の構成を示す図である。撮像装置は、ディストーションを補正するために、フレームメモリ８００と、ディストーション補正回路８１０とを備える。

フレームメモリ８００は、画像処理エリア８０１と、ディストーション補正後エリア８０２とを備え、各エリアに画像を記憶する。ディストーション補正回路８１０は、プロセッサ部８１１と、入力用バッファ８１２と、出力用バッファ８１３と、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）転送部８１４とを備える。

ディストーション補正回路８１０は、撮像手段（図示せず）によって得られた１フレーム分のデジタルデータをメモリに展開し、この１フレーム内の全ての画素に対して撮影レンズに起因するディストーションを補正する。

図１５（ｂ）は、ディストーション補正における画素の処理順序を示す図である。ディストーション補正回路８１０は、フレーム９００を、光軸に対応するフレームの中心付近となる原点を中心に、直交する水平軸（Ｘ軸）及び垂直軸（Ｙ軸）の２つの軸によって第１象限（Ｑ１）〜第４象限（Ｑ４）の４つの象限に分割する。この分割された各象限内の画素を、Ｘ軸と平行なライン単位で、かつ、Ｘ軸に近い方から順に読み出して、各象限毎にディストーションの補正処理を実行する。

また、特許文献３には、入力画像の少なくとも一部をリサイズする画像処理装置が示されている。具体的には、特許文献３に記載されている画像処理装置は、入力画像を水平方向又は垂直方向のどちらかに分割する。そして、分割された画像ごとに分割方向にはそれぞれ違う比率で、分割しない方向には同一の比率でリサイズする。画像処理装置は、このように分割及びリサイズされた画像を再合成することで１つの画像を生成する。

図１６は、特許文献３に記載の画像リサイズ処理を説明するための図である。同図に示す例では、入力画像を垂直方向に２分割（画像１と画像２）している。水平方向（分割しない方向）には、画像１及び画像２の両方とも、均一の比率でズーム処理が行われる。垂直方向（分割方向）には、画像１と画像２とで異なるズーム比率でズーム処理が行われる。

以上のように、特許文献３に記載されている画像処理装置では、画像を分割して、分割した画像ごとにズーム比率を変更してリサイズを実行することができるので、精密なリサイズ処理を行うことができる。これにより、ユーザが望むような画像を得ることができる。
特開平１１−８８９０６号公報 特開２００４−６４７１０号公報 特開２００８−１２３０８６号公報

しかしながら、上記従来技術には、簡単な処理でユーザが望む画像を充分に提供することができないという課題がある。

特許文献１では、色合いの調整を行っているに過ぎず、人物のスタイルは原画像に忠実に行う処理である。また、ＰＣでのレタッチ処理は、高性能なＰＣとソフトウエアとを所有していることが前提であり、使用するにあたっては、テクニックが必要で手間を要する。このため、色合いを調整するだけではきれいに見せるには充分であるとは言えず、また、高度なテクニックが必要であるので一般向けとは言えない。したがって、特許文献１に記載されている技術では、操作が複雑であり、かつ、ユーザが望む画像を提供することはできない。

また、特許文献２は、ディストーション補正処理を行う補正回路をローコストで提供することを目的としたものであって、ディストーション補正処理に対して最適かつ効率的に画像処理を実施することができる。しかしながら、人物画像の特徴を利用して、部分的にリサイズ処理を実施して１つの画像を生成する方法としては適さない処理方法である。よって、特許文献２に記載されている技術でも、ユーザが望む画像を提供することはできない。

また、特許文献３では、簡単な処理で画像を部分的にリサイズすることが可能であるが、画像の分割しない方向には一定の比率でのリサイズを行わざるを得ないため、人物のリサイズ処理による合成方法が限定されるという課題を有していた。

そこで、本発明は、上記課題を解決するためになされたものであって、人の本質的な欲求である「やせたい。きれいになりたい。目をぱっちりさせたい。小顔に見せたい。」などという希望に見合う画像を、簡単な処理で生成する画像リサイズ処理装置及び画像リサイズ処理方法を提供することを目的とする。つまり、簡単な処理でユーザが望む画像を充分に提供する画像リサイズ処理装置及び画像リサイズ処理方法を提供することを目的とする。

上記課題を解決するため、本発明の画像リサイズ処理装置は、入力画像の少なくとも一部をリサイズする画像リサイズ処理装置であって、前記入力画像を第１方向にｎ（ｎは２以上の整数）分割するための、前記第１方向に直交するｎ−１本の第１境界線を設定する第１境界線設定部と、前記入力画像を前記第１方向とは異なる第２方向にｍ（ｍは２以上の整数）分割するための、前記第２方向に直交するｍ−１本の第２境界線を設定する第２境界線設定部と、前記第１境界線の１本又は２本と前記入力画像の外縁とで囲まれる第１分割エリアを、前記第１方向に第１比率でリサイズし、前記第２境界線の１本又は２本と前記入力画像の外縁とで囲まれる第２分割エリアを、前記第２方向に前記第１比率とは異なる第２比率でリサイズするリサイズ処理部とを備える。

これにより、画像をより細かなエリアに分割することができ、細かなエリア毎にリサイズ比率を変更してリサイズすることで、より柔軟なリサイズ処理を実行することができる。よって、ユーザが望む画像を充分に提供することができる。

また、前記画像リサイズ処理装置は、さらに、前記入力画像に対応する表示用画像を表示する表示部を備え、前記表示部は、さらに、前記第１境界線の位置と前記第２境界線の位置とを決定するための移動可能な補助線を前記表示用画像に多重表示し、前記第１境界線設定部及び前記第２境界線設定部は、前記補助線を基準として前記第１境界線と前記第２境界線とを設定してもよい。

これにより、事前に画像を表示させることで、ユーザが望む位置で画像を分割することができる。よって、ユーザの意図をより正確に反映させたリサイズ処理を実行することができるので、ユーザが望む画像を提供することができる。

また、前記画像リサイズ処理装置は、さらに、前記入力画像中の被写体の顔を検出する顔検出部と、前記顔検出部で検出された顔に関する情報を用いて、前記被写体の顔又は体の部位の位置を推定する位置推定部とを備え、前記第１境界線設定部及び前記第２境界線設定部は、前記位置推定部により推定された前記被写体の顔又は体の部位の位置に基づいて前記第１境界線と前記第２境界線とを設定してもよい。

これにより、顔の位置を検出し、検出した顔の位置に基づいて、目及び鼻などの顔部品の位置、又は、腰及び首などの体の部位の位置を推定することで、自動的に適切な分割位置及びリサイズ比率を決定することができる。つまり、ユーザの手を煩わせることなく、自動的にユーザが望む画像を提供することができる。

例えば、前記位置推定部は、前記被写体の目、鼻及び口の少なくとも１つの位置である顔部品位置を推定し、前記第１境界線設定部及び前記第２境界線設定部は、前記位置推定部により推定された顔部品位置を基にして、前記第１境界線及び前記第２境界線を設定してもよい。

具体的には、前記第１境界線設定部及び前記第２境界線設定部は、前記位置推定部により推定された顔部品位置の少なくとも１つを囲むように、前記第１境界線及び前記第２境界線を設定してもよい。

また、例えば、前記位置推定部は、前記被写体の首、肩及び腰の少なくとも１つの位置である体部位位置を推定し、前記第１境界線設定部及び前記第２境界線設定部は、前記位置推定部により推定された体部位位置を基にして、前記第１境界線及び前記第２境界線を設定してもよい。

具体的には、前記第１境界線設定部及び前記第２境界線設定部は、前記位置推定部により推定された体部位位置の少なくとも１つに接するように、前記第１境界線及び前記第２境界線を設定してもよい。

また、前記顔検出部は、前記入力画像中の被写体の顔を検出することで、当該顔の中心位置と、大きさと、上下方向と、左右方向と、回転方向とに関する顔情報を取得し、前記位置推定部は、前記顔検出部で取得された顔情報を用いて、前記被写体の顔又は体の部位の位置を推定してもよい。

これにより、顔部品の位置、又は、体の部位の位置をより高い精度で推定することができる。よって、分割位置及びリサイズ比率もより高い精度で、ユーザの望む通りに設定することができる。

また、前記画像リサイズ処理装置は、さらに、前記入力画像中の被写体の顔を検出する顔検出部と、前記顔検出部で検出された顔に関する情報を用いて、前記被写体の顔又は体の部位の位置を推定する位置推定部と、前記入力画像に対応する表示用画像を表示する表示部とを備え、前記表示部は、さらに、前記位置推定部により推定された前記被写体の顔又は体の部位の位置に基づいて、前記第１境界線の位置と前記第２境界線の位置とを決定するための移動可能な補助線を前記表示用画像に多重表示し、前記第１境界線設定部及び前記第２境界線設定部は、前記補助線を基準として、前記第１境界線と前記第２境界線とを設定してもよい。

これにより、自動的におおよその分割位置を設定し、表示させることができる。ユーザはその分割位置に不満がある場合などは、自ら設定しなおすことができ、このとき、おおよその分割位置が示されているために、より簡単に所望の分割位置に分割基準線を設定することができる。よって、より簡単な処理で、ユーザが望む画像を充分に提供することができる。

なお、本発明は、画像リサイズ処理装置として実現できるだけではなく、当該画像リサイズ処理装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

また、本発明は、上記の各画像リサイズ処理装置を備えるカメラとしても実現することができる。

また、上記の各画像リサイズ処理装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。

本発明によれば、人の本質的な欲求である「やせたい。きれいになりたい。目をぱっちりさせたい。小顔に見せたい。肩ぐちをすっきりさせたい。二の腕をすっきりさせたい。」などという希望に見合う画像を生成することができる。

以下、本発明の実施の形態について図面に基づいて詳細に説明する。

（実施の形態１）
実施の形態１の画像リサイズ処理装置は、画像を第１方向と第２方向との２つの方向に分割するための基準線を設定することで、より細かい部分毎に画像をリサイズする装置である。

図１は、実施の形態１の画像リサイズ処理部を備える撮像装置の構成を示すブロック図である。同図の撮像装置１００は、イメージセンサ１０１と、タイミングジェネレータ１０２と、ＣＤＳ（Ｃｏｒｒｅｌａｔｉｏｎ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）／ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路１０３と、アナログデジタル変換器１０４と、デジタル信号処理回路１０５と、メモリ回路１０６と、マイクロコンピュータ１０７と、レンズ機構１０８と、記録媒体１０９と、表示装置１１０とを備える。

イメージセンサ１０１は、レンズ機構１０８を介して入射した、被写体からの光をフォトダイオードなどで電気信号に変換する。イメージセンサ１０１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子である。タイミングジェネレータ１０２から入力される駆動パルスに同期して、アナログ画像信号をＣＤＳ／ＡＧＣ回路１０３に出力する。

タイミングジェネレータ１０２（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）は、イメージセンサ１０１の駆動パルスを発生する。発生した駆動パルスは、イメージセンサ１０１に供給される。

ＣＤＳ／ＡＧＣ回路１０３は、イメージセンサ１０１から出力されるアナログ画像信号のノイズを除去する。さらに、ゲインをコントロールすることで、アナログ画像信号を増幅する。具体的には、サンプルホールド回路（すなわち、ＣＤＳ回路）が、アナログ画像信号の１／ｆノイズを適切に低減する。ＡＧＣ回路が、アナログ画像信号のゲインをコントロールする。

アナログデジタル変換器１０４（ＡＤＣ：Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）は、ＣＤＳ／ＡＧＣ回路１０３から出力される信号をデジタル信号に変換する。

デジタル信号処理回路１０５（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｓｅｓｓｏｒ）は、アナログデジタル変換器１０４から出力されるデジタル信号に対して、輝度信号処理、色信号処理、圧縮伸張処理及びリサイズ処理などの各種処理を実行する。

メモリ回路１０６は、画像データ及び各種データを保存する。
マイクロコンピュータ１０７は、撮像装置１００全体を制御すると共に、各種演算処理を実行する。

なお、デジタル信号処理回路１０５、メモリ回路１０６及びマイクロコンピュータ１０７が、画像リサイズ処理部１２０を構成する。画像リサイズ処理部１２０の詳細については、図面を用いて後述する。

レンズ機構１０８は、イメージセンサ１０１に光を集光する。
記録媒体１０９は、画像データをファイルとして記録する。

表示装置１１０は、画像データを表示するモニタ又はディスプレイなどである。
続いて、実施の形態１の撮像装置が被写体を撮像し、得られた画像データを記録する動作について説明する。

被写体からの光は、レンズ機構１０８を介してイメージセンサ１０１に入射する。イメージセンサ１０１は、入射された光を電気信号に変換し、タイミングジェネレータ１０２からの駆動パルスに同期する垂直駆動及び水平駆動により、アナログ画像信号を出力する。アナログ画像信号は、ＣＤＳ／ＡＧＣ回路１０３のＣＤＳ回路によって１／ｆノイズが適切に低減された後、ＡＧＣ回路により自動的にゲインコントロールされる。そして、アナログデジタル変換器１０４は、ＣＤＳ／ＡＧＣ回路から出力される信号をデジタル信号である画像信号データ（ＲＧＢデータ）に変換する。

デジタル信号処理回路１０５は、メモリ回路１０６を介して、入力されるデジタル信号に対して、輝度信号処理、色分離処理、カラーマトリクス処理、リサイズ処理及びデータ圧縮処理などの各種の処理を行う。生成された画像データは、記録媒体１０９に記録される。記録データを再生する場合は、デジタル信号処理回路１０５は、記録媒体１０９から画像データを読み出す。読み出された画像データが圧縮データである場合、デジタル信号処理回路１０５は、伸張処理を実施し、表示サイズにリサイズした後、表示装置１１０に出力する。

図２は、実施の形態１の画像リサイズ処理部の構成を示すブロック図である。同図の画像リサイズ処理部１２０は、前処理部２０１と、メモリ制御部２０２と、メモリ２０３と、画像信号処理部２０４と、圧縮伸張処理部２０５と、ズーム処理部２０６と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０７と、表示処理部２０８とを備える。

前処理部２０１は、アナログデジタル変換器１０４によりＡ／Ｄ変換された画像信号データに対して、黒レベル補正及びゲイン補正などの処理（前処理）を行う。前処理を実行された画像データは、メモリ制御部２０２を介してメモリ２０３に書き込まれる。

メモリ制御部２０２は、画像リサイズ処理部１２０が備える各処理部と、メモリ２０３との間で、データの書き込み及び読み出しの制御を行う。

メモリ２０３は、アナログデジタル変換器１０４から入力される画像データ及び画像リサイズ処理部１２０が備える各処理を実行された画像データを記録する。メモリ２０３は、メモリ回路１０６の全部又は一部に相当する。

画像信号処理部２０４は、前処理部２０１で処理された画像データを、メモリ制御部２０２を介してメモリ２０３から読み出し、読み出された画像データに対して輝度信号処理と色信号処理とを行う。輝度信号処理により得られた輝度データと、色信号処理により得られた色差データ又はＲＧＢデータとは、メモリ制御部２０２を介してメモリ２０３に書き込まれる。

圧縮伸張処理部２０５は、メモリ制御部２０２を介してメモリ２０３から輝度データと色差データ又はＲＧＢデータとを読み出し、読み出された輝度データと色差データ又はＲＧＢデータとの圧縮処理と、その逆動作である伸張処理とを行う。各処理を実行された各データは、メモリ制御部２０２を介してメモリ２０３に書き込まれる。

ズーム処理部２０６は、メモリ制御部２０２を介してメモリ２０３から輝度データと色差データ又はＲＧＢデータとを読み出し、読み出された輝度データと色差データ又はＲＧＢデータとに対して、２つの方向（例えば、水平方向及び垂直方向）にリサイズ処理を行う。リサイズ処理を実行された各データは、メモリ制御部２０２を介してメモリ２０３に書き込まれる。

また、ズーム処理部２０６は、表示用リサイズ処理も行う。表示用リサイズ処理とは、通常、イメージセンサ１０１で得られる画像データは、表示装置１１０に表示可能なサイズより大きいサイズであることが多いため、表示装置１１０に表示可能なサイズに画像データをリサイズする処理である。

ＣＰＵ２０７は、画像リサイズ処理部１２０が備える各処理部に対して、制御プログラムによりシステム動作制御を行う。ＣＰＵ２０７は、マイクロコンピュータ１０７の全部又は一部に相当する。

表示処理部２０８は、２つの方向に分割するための基準となる分割基準線を、表示用リサイズ処理を実行された画像データに多重表示するための処理を実行する。表示処理部２０８で処理された画像データは、表示装置１１０に出力され、表示される。

図３は、実施の形態１のズーム処理部の構成を示すブロック図である。同図のズーム処理部２０６は、第１境界線設定部３０１と、第２境界線設定部３０２と、比率決定部３０３と、リサイズ処理部３０４とを備える。

第１境界線設定部３０１は、入力画像を第１方向にｎ（ｎは２以上の整数）分割するための、第１方向に直交するｎ−１本の境界線を設定する。例えば、第１境界線設定部３０１は、入力画像を垂直方向にｎ分割するためのｎ−１本の垂直方向分割基準線を設定する。

第２境界線設定部３０２は、入力画像を第２方向にｍ（ｍは２以上の整数）分割するための、第２方向に直交するｍ−１本の境界線を設定する。例えば、第２境界線設定部３０２は、入力画像を水平方向にｍ分割するためのｍ−１本の水平方向分割基準線を設定する。

なお、ｎ＝ｍであってもよい。また、第１方向と第２方向とは直交していることが好ましい。また、デジタルカメラなどで撮影することで得られる画像は、通常、長方形であるため、垂直方向及び水平方向はそれぞれ、画像の外縁（長方形の辺）に平行な線であることが好ましい。

図４は、各分割基準線と分割エリアとの一例を示す図である。同図に示す入力画像４００は、辺４０１、４０２、４０３及び４０４からなる長方形である。例えば、第１境界線設定部３０１は、３本の垂直方向分割基準線４１１、４１２及び４１３を設定する。第２境界線設定部３０２は、２本の水平方向分割基準線４２１及び４２２を設定する。

比率決定部３０３は、リサイズ処理部３０４で行われるリサイズの比率を決定する。リサイズ処理の対象となるエリアの第１方向への第１リサイズ比率と、第２方向への第２リサイズ比率とを決定する。例えば、第１リサイズ比率は、原画像の第１分割エリアの第１方向への一辺の長さと、リサイズ後の対応する一辺の長さとの比で表される。第２リサイズ比率は、原画像の第２分割エリアの第２方向への一辺の長さと、リサイズ後の対応する一辺の長さとの比で表される。

以上のことから、各リサイズ比率が１より小さい場合、リサイズ後の対応するエリアは小さくなる。各リサイズ比率が１より大きい場合、リサイズ後の対応するエリアは大きくなる。なお、各リサイズ比率は、辺の比ではなくてもよい。

リサイズ処理部３０４は、第１境界線設定部３０１で設定された境界線の１本又は２本と入力画像の外縁とで囲まれる第１分割エリアを、第１方向（垂直方向）に比率決定部３０３で決定される第１リサイズ比率でリサイズする。さらに、リサイズ処理部３０４は、第２境界線設定部３０２で設定された境界線の１本又は２本と入力画像の外縁とで囲まれる第２分割エリアを、第２方向（水平方向）に比率決定部３０３で決定される第２リサイズ比率でリサイズする。

具体的には、本実施の形態において、リサイズ処理部３０４は、垂直方向又は水平方向に画像を分割する。以下では、垂直方向に画像を分割する、すなわち、垂直方向分割基準線で画像を分割するとして説明する。例えば、図４に示す例では、３本の垂直方向分割基準線４１１、４１２及び４１３により入力画像４００を４分割する。以下では、分割により得られた短冊画像の１つである分割エリア４３０へのリサイズ処理について説明する。なお、分割エリア４３０は、垂直方向分割基準線４１１及び４１２と入力画像の辺４０３及び４０４とで囲まれるエリアである。

比率決定部３０３は、分割方向（ここでは、垂直方向）に対して、分割エリア４３０のリサイズ比率を決定する。リサイズ処理部３０４は、決定されたリサイズ比率を用いて分割エリア４３０をリサイズする。さらに、比率決定部３０３は、分割しない方向（ここでは、水平方向）に対して、２本の水平方向分割基準線４２１及び４２２により３分割されたエリア（Ｄ、Ｅ及びＦ）毎に異なるリサイズ比率を決定する。そして、リサイズ処理部３０４は、決定されたリサイズ比率を用いて分割エリア４３０をリサイズする。

さらに、他の短冊画像すなわち分割エリアに対しても同様の処理を繰り返す。このとき、分割方向（垂直方向）へのリサイズ比率は自由に決定することができるが、水平方向へのリサイズ比率は、１回目の処理で決定したリサイズ比率を使用する。なぜなら、異なるリサイズ比率を用いた場合、再合成後の画像に短冊画像の境界線が現れる、すなわち、再合成後の画像が画質の劣化が激しい画像になるためである。

次に、実施の形態１の画像リサイズ処理部の動作について図面を用いて説明する。
図５は、実施の形態１の画像リサイズ処理部の動作を示すフローチャートである。

ズーム処理部２０６は、前処理部２０１及び画像信号処理部２０４などで処理された後にメモリ２０３に記憶されている原画像を、表示装置１１０に表示可能なサイズにリサイズする（Ｓ１０１）。すなわち、表示用リサイズ処理を行う。

表示装置１１０は、ズーム処理部２０６で表示用のリサイズ処理を施された画像を表示する（Ｓ１０２）。このとき、表示処理部２０８は、各分割基準線を設定するための補助線を多重表示させる。補助線は、ユーザの指示などに基づいて移動可能である。ユーザは、撮像装置１００が備えるユーザインタフェース（図示せず）を介して補助線を所定の位置に移動させ、分割基準線の位置を決定する。以下では、一例として、垂直方向分割基準線を設定した後に、水平方向分割基準線を設定する場合について説明する。

ユーザから垂直方向の境界線の指示がある場合（Ｓ１０３でＹｅｓ）、第１境界線設定部３０１は、当該指示に従って、垂直方向分割基準線を設定する（Ｓ１０４）。具体的には、表示装置１１０上でユーザが補助線を移動させることで決定した位置を、ＣＰＵ２０７に推定演算させることで、原画像上での位置を決定する。

次に、ユーザから水平方向の境界線の指示がある場合（Ｓ１０５でＹｅｓ）、第２境界線設定部３０２は、当該指示に従って、水平方向分割基準線を設定する（Ｓ１０６）。具体的には、表示装置１１０上でユーザが補助線を移動させることで決定した位置を、ＣＰＵ２０７に推定演算させることで、原画像上での位置を決定する。

リサイズ処理部３０４は、設定された垂直方向分割基準線及び水平方向分割基準線などで囲まれる分割エリアに対してリサイズ処理を実行する（Ｓ１０７）。当該リサイズ処理の詳細については、後述する。

ズーム処理部２０６は、リサイズ処理（Ｓ１０７）を施された原画像を、再び、表示装置１１０に表示可能なサイズにリサイズする（Ｓ１０８）。表示装置１１０は、ズーム処理部２０６で表示用のリサイズ処理を施された画像を表示する（Ｓ１０９）。

以上のようにして、部分的に異なる比率でリサイズ処理を実行した画像を得ることができる。

なお、最後に表示装置１１０が画像を表示した場合に、ユーザが充分に満足のいく画像ではないと判断した場合、再度、リサイズ処理を実行してもよい。すなわち、各分割基準線の設定処理（Ｓ１０３）から繰り返してもよい。

また、垂直方向の境界線の設定処理（Ｓ１０３及びＳ１０４）と水平方向の境界線の設定処理（Ｓ１０５及びＳ１０６）とはいずれが先に実行されてもよい。

図６は、実施の形態１の画像リサイズ処理の詳細を示すフローチャートである。
まず、リサイズ処理部３０４は、設定された垂直方向又は水平方向に原画像を分割する（Ｓ２０１）。以下では、垂直方向に分割するとして説明する。具体的には、設定された原画像上の垂直方向分割基準線を用いて原画像を分割する。分割することで得られる複数の短冊画像をファイルとしてメモリ２０３に記憶させる。例えば、図４の例では、分割エリア４３０などが短冊画像である。

リサイズ処理部３０４は、分割した短冊画像毎に分割方向（ここでは、垂直方向）には互いに異なる比率でリサイズ処理を実行する（Ｓ２０２）。分割しない方向（ここでは、水平方向）には、同一の比率と限定せず、複数のポイント（水平方向分割基準線）を境界にして、リサイズ比率を切り替えながら処理を実施する（Ｓ２０３）。このとき、リサイズ処理を行う前の段階で、複数の短冊画像の分割しない方向（水平方向）には、各短冊画像の同じ位置に複数の水平方向分割基準線を設定されていなければならない。

最後に、それぞれにリサイズ処理が実行された複数の短冊画像をメモリ２０３空間上で再合成する（Ｓ２０４）。このとき、合成の境界で画像のズレが発生しないように１つの画像を生成する。すなわち、再合成処理が終了した時に、短冊画像毎に設定されている水平方向分割基準線がそれぞれ一致していなければならない。

具体的には、分割された画像ごとに分割方向には違う比率で、分割しない方向に関しても同一の比率と限定せず、複数のポイントを境界にしてリサイズの比率を切り替えながら処理を実施して再合成する際、ズーム処理部２０６は、メモリ２０３空間に配置された原画像から分割画像をメモリ制御部２０２を介して読み出して可変リサイズする。予め再合成画像の配置空間に分割画像の境界が連続になるように書き込むことにより、短冊画像枚数分の可変リサイズ処理によるメモリに対する読み出し動作と書き込み動作とによって、リサイズ合成された画像データを生成する。

以上のように、原画像を複数の短冊画像に分割し、短冊画像毎にリサイズ処理を実行することで、部分的にリサイズ比率を変更しながらリサイズされた画像を得ることができる。

なお、分割処理（Ｓ２０１）では、分割方向を水平方向としてもよい。
図７は、表示装置が示す原画像とリサイズ後の画像との一例を示す図である。図７（ａ）に示すように、表示装置１１０は、補助線と原画像とを多重表示する。同図に示す例では、点線で補助線が示される。

ユーザは、撮像装置が備えるユーザインタフェースを介して、点線で示される補助線を所定の位置に移動させることで、分割基準線の位置を決定する。決定した分割基準線に従って、原画像をリサイズすることで、図７（ａ）又は図７（ｂ）に示すように、肩ぐちがすっきりした人物画像を得ることができる。

以上のように、実施の形態１の画像リサイズ処理装置は、第１方向と第２方向との２つの方向に分割するための基準線を設定することで、画像をより細かい部分毎にリサイズすることができる。これにより、人の本質的な欲求に見合う画像をより充分に提供することができる。

なお、図５に示すリサイズ処理（Ｓ１０７）は、図６のフローチャートに従った処理であるとしたが、図８に示すフローチャートに従った処理でもよい。

図８は、実施の形態１のリサイズ処理の別の方法を示すフローチャートである。
各分割基準線の設定が終了すると、比率決定部３０３は、分割基準線と原画像の外縁とで囲まれる分割エリア毎に、リサイズ比率を決定する（Ｓ３０１）。

リサイズ処理部３０４は、決定されたリサイズ比率を用いて、各分割エリアをリサイズする（Ｓ３０２）。具体的には、リサイズ処理部３０４は、メモリ制御部２０２を介してメモリ２０３から原画像を読み出し、設定された各分割基準線を境界として分割エリア毎に、決定されたリサイズ比率を用いて連続的にリサイズ処理を実行する。

例えば、図４に示す例では、決定された垂直方向のリサイズ比率を用いて、分割エリア４３０をリサイズする。さらに、決定された水平方向のリサイズ比率を用いて、分割エリア４４０をリサイズする。さらに、他の分割エリアに対しても、それぞれに決定されたリサイズ比率を用いてリサイズ処理を実行する。以上のように、分割エリアを切り替えながら連続的にリサイズ処理を行うことで、メモリ制御部２０２を介してリサイズされた画像をメモリ２０３に書き込む。

なお、このとき、垂直方向分割基準線と画像の辺とで囲まれる分割エリア（例えば、分割エリア４３０）に対しては、比率決定部３０３は、垂直方向のリサイズ比率を決定する。水平方向分割基準線と画像の辺とで囲まれる分割エリア（例えば、分割エリア４４０）に対しては、比率決定部３０３は、水平方向のリサイズ比率を決定する。

以上のようにすることで、簡単な処理でユーザが望む画像を充分に提供することができる。

例えば、被写体の目を修正する場合、第１境界線設定部３０１及び第２境界線設定部３０２は、対象となる目を含むように分割基準線を設定する。このとき、当該分割基準線によって囲まれる分割エリアに目以外の部分ができるだけ含まれないように設定するのが望ましい。

そして、目をぱっちりさせる、又は、目を大きくする場合は、目が含まれる分割エリアの周囲の分割エリアよりも大きいリサイズ比率で、リサイズ処理部３０４は、目が含まれる分割エリアをリサイズする。逆に、目を細くする、又は、目を小さくする場合は、目が含まれる分割エリアの周囲の分割エリアよりも小さいリサイズ比率で、リサイズ処理部３０４は、目が含まれる分割エリアをリサイズする。

他の顔部品を修正する場合も同様である。第１境界線設定部３０１及び第２境界線設定部３０２は、対象となる顔部品を含むように、分割基準線を設定する。このとき、当該分割基準線によって囲まれる分割エリアに、顔部品以外の部分ができるだけ含まれないように設定するのが望ましい。

そして、顔部品を大きくする場合は、当該顔部品が含まれる分割エリアの周囲の分割エリアよりも大きいリサイズ比率で、リサイズ処理部３０４は、当該顔部品が含まれる分割エリアをリサイズする。逆に、顔部品を小さくする場合は、当該顔部品が含まれる分割エリアの周囲の分割エリアよりも小さいリサイズ比率で、リサイズ処理部３０４は、当該顔部品が含まれる分割エリアをリサイズする。

また、体全体を修正する場合も同様である。第１境界線設定部３０１及び第２境界線設定部３０２は、対象となる体の部位を含むように、分割基準線を設定する。このとき、当該分割基準線によって囲まれる分割エリアに、対象となる体の部位以外の部分ができるだけ含まれないように設定するのが望ましい。

そして、体の部位を細くする場合は、当該体の部位が含まれる分割エリアの細くしたい方向（例えば、垂直方向とする）に対して、もう一方の方向（水平方向）に対するリサイズ比率より小さいリサイズ比率で、リサイズ処理部３０４は、当該分割エリアをリサイズする。具体的には、腕を細くしたい場合、第１境界線設定部３０１及び第２境界線設定部３０２は、当該腕を含むように、分割基準線を設定する。そして、腕の長手方向（肩ぐちから手首への方向）へのリサイズ比率より小さい比率で、腕の横方向に対して、分割エリアをリサイズする。

以上のようにして、実施の形態１の画像リサイズ処理装置は、ユーザが望む画像を非常に簡単な処理で生成し、提供することができる。

（実施の形態２）
実施の形態２の画像リサイズ処理装置は、特に、画像が人物を撮影した画像である場合に、人物の顔を検出することで、分割するための基準線を決定する装置である。実施の形態２の画像リサイズ処理装置は、実施の形態１と同様に、撮像装置などに備えられる。

図９は、実施の形態２の画像リサイズ処理部の構成を示すブロック図である。同図の画像リサイズ処理部は、図２の画像リサイズ処理部１２０と比較すると、ズーム処理部２０６の代わりにズーム処理部５０１を備え、さらに新たに、顔検出部５０２と、顔検出専用メモリ５０３とを備える点が異なる。以下では、実施の形態１と同じ点は説明を省略し、異なる点を中心に説明する。

ズーム処理部５０１は、メモリ制御部２０２を介してメモリ２０３から輝度データと色差データ又はＲＧＢデータとを読み出し、読み出された輝度データと色差データ又はＲＧＢデータとに対して、２つの方向に画像リサイズ処理を行う。リサイズ処理を実行された各データは、メモリ制御部２０２を介してメモリ２０３に書き込まれる。

顔検出部５０２は、顔検出専用メモリ５０３から原画像又は表示用リサイズ処理を実行された画像から、被写体の顔を検出する。具体的には、顔の中心位置と顔の大きさとをＣＰＵ２０７による演算処理により取得する。さらに、顔の中心位置と顔の大きさとから推定できる目、鼻並びに口などの顔部品の位置、及び、肩、胸元並びに腰などの体の特徴部位の位置などをＣＰＵ２０７による演算処理により取得する。

顔検出専用メモリ５０３は、例えば、表示処理部２０８から表示用リサイズ処理を行われた画像を取り込み、記憶する。または、メモリ制御部２０２を介してメモリ２０３から原画像を取り込み、記憶する。

なお、画像リサイズ処理部５００は、顔検出専用メモリ５０３を備えなくてもよい。画像リサイズ処理部５００は顔検出専用メモリ５０３を備えることで、メモリ制御部２０２のデータトラフィックを軽減することができる。なぜなら、画像リサイズ処理部５００が顔検出専用メモリ５０３を備えない場合、顔検出部５０２は、メモリ制御部２０２を介してメモリ２０３から原画像などを読み出すことで顔検出を行うためである。

図１０は、実施の形態２のズーム処理部の構成を示すブロック図である。同図のズーム処理部５０１は、第１境界線設定部６０１と、第２境界線設定部６０２と、比率決定部６０３と、リサイズ処理部３０４とを備える。リサイズ処理部３０４は、図３のリサイズ処理部３０４と同じ処理を行うので、以下では、説明を省略する。

第１境界線設定部６０１は、第１境界線設定部３０１と同様に、入力画像を第１方向にｎ分割するための、第１方向に直交するｎ−１本の境界線を設定する。例えば、第１境界線設定部６０１は、垂直方向にｎ分割するためのｎ−１本の垂直方向分割基準線を設定する。このとき、第１境界線設定部６０１は、顔検出部５０２で検出された顔部品の位置又は体の特徴部位の位置を基にして、垂直方向分割基準線を設定する。

第２境界線設定部６０２は、第２境界線設定部３０２と同様に、入力画像を第２方向にｍ分割するための、第２方向に直交するｍ−１本の境界線を設定する。例えば、第２境界線設定部６０２は、垂直方向にｍ分割するためのｍ−１本の垂直方向分割基準線を設定する。このとき、第２境界線設定部６０２は、顔検出部５０２で検出された顔部品の位置又は体の特徴部位の位置を基にして、垂直方向分割基準線を設定する。

例えば、顔検出部５０２により取得された顔部品の位置及び体の特徴部位の位置などを囲むように、第１境界線設定部６０１と第２境界線設定部６０２とは、垂直方向分割基準線と水平方向分割基準線とを設定する。または、顔検出部５０２により取得された顔部品の位置及び体の特徴部位の位置などに接するように、第１境界線設定部６０１と第２境界線設定部６０２とは、垂直方向分割基準線と水平方向分割基準線とを設定する。

具体的には、顔検出部５０２で目の位置を推定した場合、第１境界線設定部６０１と第２境界線設定部６０２とは、推定した目を囲むように、垂直方向分割基準線と水平方向分割基準線とを設定する。また、顔検出部５０２で腰の位置を推定した場合、第１境界線設定部６０１と第２境界線設定部６０２とは、推定した腰に接するように、垂直方向分割基準線と水平方向分割基準線とを設定する。

比率決定部６０３は、顔検出部５０２で検出された顔部品の位置又は体の特徴部位の位置を基にして、リサイズ処理部３０４で行われるリサイズの比率を決定する。

例えば、顔検出部５０２で目の位置を推定した場合、かつ、推定した目を囲むように、垂直方向分割基準線と水平方向分割基準線とが設定された場合、例えば、目が大きくなるように垂直方向と水平方向とのリサイズ比率を決定する。例えば、垂直方向及び水平方向の双方とも、リサイズ後の画像における目が大きくなるように、１より大きい値のリサイズ比率を決定する。

以上の構成により、実施の形態２の撮像装置は、撮影された画像を、内部の処理で（ユーザが設定することなく）自動的にリサイズすることができる。これにより、非常に容易にユーザが望む画像を提供することができる。

図１１は、各分割基準線と分割エリアとの一例を示す図である。
同図に示すように、顔検出部５０２により検出された顔の位置に基づいて、各分割基準線を設定し、設定された分割基準線の１本又は２本と画像の外縁とで囲まれた分割エリアをリサイズする。このとき、検出された顔から推定される顔部品の位置及び体の特徴部位の位置に基づいて、分割エリア毎にリサイズ比率を自動的に変更することで、ユーザが望む画像を生成する。

例えば、図７（ｂ）は、表示装置が示す原画像とリサイズ後の画像との一例を示す図である。同図に示すように、実施の形態２の画像リサイズ処理部は、肩ぐちのすっきりした画像を生成する。

図１２は、顔検出処理による各分割基準線の設定処理とリサイズ処理とを示す図である。

同図に示す例では、検出された顔の位置を示す顔エリアを囲むように、各分割基準線が設定される。垂直方向分割基準線で原画像を２つの短冊画像（画像１及び画像２）に分割し、それぞれ異なるリサイズ比率で各短冊画像をリサイズする。さらに、水平方向には、垂直方向分割基準線で区切られるエリア毎に異なるリサイズ比率で、当該エリアをリサイズする。以上のようにリサイズされた短冊画像を合成することで、図１２に示す例では、肩幅の小さい人物の画像を生成することができる。

図１３は、実施の形態２の画像リサイズ処理部の動作を示すフローチャートである。
顔検出部５０２は、顔検出専用メモリ５０３に記憶される画像から顔を検出する（Ｓ４０１）。さらに、顔検出部５０２は、検出された顔に関する情報から、顔部品の位置及び体の特徴部位の位置の少なくとも１つをＣＰＵ２０７による演算処理により推定する（Ｓ４０２）。

第１境界線設定部６０１と第２境界線設定部６０２とは、推定された顔部品の位置及び体の特徴部位の位置を囲むように、垂直方向分割基準線及び水平方向分割基準線を設定する。

リサイズ処理部３０４は、設定された垂直方向分割基準線及び水平方向分割基準線などで囲まれる分割エリアに対してリサイズ処理を実行する（Ｓ４０４）。当該リサイズ処理は、図６又は図８に示す処理である。

ズーム処理部５０１は、リサイズ処理（Ｓ４０４）を施された原画像を、表示装置１１０に表示可能なサイズにリサイズする（Ｓ４０５）。表示装置１１０は、ズーム処理部５０１で表示用のリサイズ処理を施された画像を表示する（Ｓ４０６）。

以上のようにして、部分的に異なる比率でリサイズ処理を実行した画像を得ることができる。

なお、最後に表示装置１１０が画像を表示した場合に、ユーザが充分に満足のいく画像ではないと判断した場合、再度、リサイズ処理を実行してもよい。具体的には、実施の形態１と同様に、表示処理部２０８は、移動可能な補助線を表示装置１１０に多重表示させることで、ユーザの指示を受け付けることができる。

以上のように、実施の形態２の画像リサイズ処理装置は、顔を検出することで、顔部品の位置及び体の特徴部位の位置などを推定することで、ユーザが設定しなくても分割基準線を設定することができる。これにより、ユーザの手を煩わせることなく、非常に簡単にユーザの望む画像を提供することができる。

以上、本発明の画像リサイズ処理及び画像リサイズ方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施した形態、及び、異なる実施の形態における構成要素を組み合わせて実現される形態も、本発明の範囲内に含まれる。

例えば、実施の形態２では、顔検出部５０２は、顔の中心位置と顔の大きさとから顔部品の位置及び体の特徴部位の位置などを推定する。これに対して、顔の上下左右の傾き情報又は基準軸に対する回転情報を用いて、人物の任意部位の推定位置の精度を上げる演算を行ってもよい。具体的には、顔の上下方向と左右方向とから、顔が傾いている方向及び角度を検出し、検出した方向及び角度に基づいて、顔部品の位置などを推定する。また、体の軸が基準軸（例えば、画像の垂直方向）に対して傾いている角度（回転情報）を取得することで、体の特徴部位の位置を推定する。顔又は体の傾き情報を利用することで、設定する分割基準線の位置及びリサイズ比率の精度を上げることができる。

また、実施の形態２では顔検出処理を用いた場合は自動的に分割基準線の位置及びリサイズ比率を決定する。これに対して、顔検出処理の結果による複数の分割基準線の位置及びリサイズ比率を決定するための補助線を一旦、表示処理を介して表示画像上に分割基準線を多重表示してもよい。そして、ユーザが確認した後、必要であれば位置の修正をした後で、リサイズ処理を行ってもよい。これにより、設定する分割基準線の位置及びリサイズ比率の精度をより上げることができる。

なお、本発明は、上述したように、画像リサイズ処理装置及び画像リサイズ処理方法として実現できるだけではなく、各実施の形態の画像リサイズ処理方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。

また、本発明は、画像リサイズ処理装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。

本発明の画像リサイズ処理装置は、例えば、デジタルスチルカメラ及び表示機器などに適用することができ、これにより、人の本質的な欲求である「やせたい。きれいになりたい。目をぱっちりさせたい。小顔に見せたい。肩ぐちをすっきりさせたい。二の腕をすっきりさせたい。」などの希望を満たすことができる。

実施の形態１の画像リサイズ処理部を備える撮像装置の構成を示すブロック図である。 実施の形態１の画像リサイズ処理部の構成を示すブロック図である。 実施の形態１のズーム処理部の構成を示すブロック図である。 各分割基準線と分割エリアとの一例を示す図である。 実施の形態１の画像リサイズ処理部の動作を示すフローチャートである。 実施の形態１の画像リサイズ処理の詳細を示すフローチャートである。 （ａ）表示装置が示す原画像とリサイズ後の画像との一例を示す図である。（ｂ）表示装置が示す原画像とリサイズ後の画像との一例を示す図である。 実施の形態１の画像リサイズ処理の別の方法を示すフローチャートである。 実施の形態２の画像リサイズ処理部の構成を示すブロック図である。 実施の形態２のズーム処理部の構成を示すブロック図である。 各分割基準線と分割エリアとの一例を示す図である。 顔検出処理による各分割基準線の設定処理とリサイズ処理とを示す図である。 実施の形態２の画像リサイズ処理部の動作を示すフローチャートである。 従来のデジタルカメラ装置の構成を示すブロック図である。 （ａ）従来の撮像装置のディストーション補正回路の構成を示す図である。（ｂ）ディストーション補正における画素の処理順序を示す図である。 従来の画像リサイズ処理を説明するための図である。

符号の説明

１００、７０１ 撮像装置
１０１ イメージセンサ
１０２ タイミングジェネレータ
１０３ ＣＤＳ／ＡＧＣ回路
１０４ アナログデジタル変換器
１０５ デジタル信号処理回路
１０６ メモリ回路
１０７ マイクロコンピュータ
１０８ レンズ機構
１０９ 記録媒体
１１０ 表示装置
１２０、５００ 画像リサイズ処理部
２０１ 前処理部
２０２ メモリ制御部
２０３ メモリ
２０４ 画像信号処理部
２０５ 圧縮伸張処理部
２０６、５０１ ズーム処理部
２０７ ＣＰＵ
２０８ 表示処理部
３０１、６０１ 第１境界線設定部
３０２、６０２ 第２境界線設定部
３０３、６０３ 比率決定部
３０４ リサイズ処理部
４００ 入力画像
４０１、４０２、４０３、４０４ 辺
４１１、４１２、４１３ 垂直方向分割基準線
４２１、４２２ 水平方向分割基準線
４３０、４４０ 分割エリア
５０２ 顔検出部
５０３ 顔検出専用メモリ
７００ デジタルカメラ装置
７０２ 入力装置
７０２Ｂａ、７０２Ｂｂ、７０２ｃ、７０２Ｇａ、７０２Ｇｂ、７０２Ｒａ、７０２Ｒｂ ボタンスイッチ
７０３ 画像処理装置
７０４ 記録装置
７０５ 出力装置
７１１ メモリ
７１２ データ抽出部
７１３ テーブル作成部
７１４ 画像形式変換部
８００ フレームメモリ
８０１ 画像処理エリア
８０２ ディストーション補正後エリア
８１０ ディストーション補正回路
８１１ プロセッサ部
８１２ 入力用バッファ
８１３ 出力用バッファ
８１４ ＤＭＡ転送部
９００ フレーム

Claims (13)

1. 入力画像の少なくとも一部をリサイズする画像リサイズ処理装置であって、
   前記入力画像を第１方向にｎ（ｎは２以上の整数）分割するための、前記第１方向に直交するｎ−１本の第１境界線を設定する第１境界線設定部と、
   前記入力画像を前記第１方向とは異なる第２方向にｍ（ｍは２以上の整数）分割するための、前記第２方向に直交するｍ−１本の第２境界線を設定する第２境界線設定部と、
   前記第１境界線の１本又は２本と前記入力画像の外縁とで囲まれる第１分割エリアを、前記第１方向に第１比率でリサイズし、前記第２境界線の１本又は２本と前記入力画像の外縁とで囲まれる第２分割エリアを、前記第２方向に前記第１比率とは異なる第２比率でリサイズするリサイズ処理部とを備える
   画像リサイズ処理装置。
2. 前記画像リサイズ処理装置は、さらに、
   前記入力画像に対応する表示用画像を表示する表示部を備え、
   前記表示部は、さらに、前記第１境界線の位置と前記第２境界線の位置とを決定するための移動可能な補助線を前記表示用画像に多重表示し、
   前記第１境界線設定部及び前記第２境界線設定部は、前記補助線を基準として前記第１境界線と前記第２境界線とを設定する
   請求項１記載の画像リサイズ処理装置。
3. 前記画像リサイズ処理装置は、さらに、
   前記入力画像中の被写体の顔を検出する顔検出部と、
   前記顔検出部で検出された顔に関する情報を用いて、前記被写体の顔又は体の部位の位置を推定する位置推定部とを備え、
   前記第１境界線設定部及び前記第２境界線設定部は、前記位置推定部により推定された前記被写体の顔又は体の部位の位置に基づいて前記第１境界線と前記第２境界線とを設定する
   請求項１記載の画像リサイズ処理装置。
4. 前記位置推定部は、前記被写体の目、鼻及び口の少なくとも１つの位置である顔部品位置を推定し、
   前記第１境界線設定部及び前記第２境界線設定部は、前記位置推定部により推定された顔部品位置を基にして、前記第１境界線及び前記第２境界線を設定する
   請求項３記載の画像リサイズ処理装置。
5. 前記第１境界線設定部及び前記第２境界線設定部は、前記位置推定部により推定された顔部品位置の少なくとも１つを囲むように、前記第１境界線及び前記第２境界線を設定する
   請求項４記載の画像リサイズ処理装置。
6. 前記位置推定部は、前記被写体の首、肩及び腰の少なくとも１つの位置である体部位位置を推定し、
   前記第１境界線設定部及び前記第２境界線設定部は、前記位置推定部により推定された体部位位置を基にして、前記第１境界線及び前記第２境界線を設定する
   請求項３記載の画像リサイズ処理装置。
7. 前記第１境界線設定部及び前記第２境界線設定部は、前記位置推定部により推定された体部位位置の少なくとも１つに接するように、前記第１境界線及び前記第２境界線を設定する
   請求項６記載の画像リサイズ処理装置。
8. 前記顔検出部は、前記入力画像中の被写体の顔を検出することで、当該顔の中心位置と、大きさと、上下方向と、左右方向と、回転方向とに関する顔情報を取得し、
   前記位置推定部は、前記顔検出部で取得された顔情報を用いて、前記被写体の顔又は体の部位の位置を推定する
   請求項３記載の画像リサイズ処理装置。
9. 前記画像リサイズ処理装置は、さらに、
   前記入力画像中の被写体の顔を検出する顔検出部と、
   前記顔検出部で検出された顔に関する情報を用いて、前記被写体の顔又は体の部位の位置を推定する位置推定部と、
   前記入力画像に対応する表示用画像を表示する表示部とを備え、
   前記表示部は、さらに、前記位置推定部により推定された前記被写体の顔又は体の部位の位置に基づいて、前記第１境界線の位置と前記第２境界線の位置とを決定するための移動可能な補助線を前記表示用画像に多重表示し、
   前記第１境界線設定部及び前記第２境界線設定部は、前記補助線を基準として、前記第１境界線と前記第２境界線とを設定する
   請求項１記載の画像リサイズ処理装置。
10. 入力画像の少なくとも一部をリサイズする画像リサイズ処理方法であって、
    前記入力画像を第１方向にｎ（ｎは２以上の整数）分割するための、前記第１方向に直交するｎ−１本の第１境界線を設定する第１境界線設定ステップと、
    前記入力画像を前記第１方向とは異なる第２方向にｍ（ｍは２以上の整数）分割するための、前記第２方向に直交するｍ−１本の第２境界線を設定する第２境界線設定ステップと、
    前記第１境界線の１本又は２本と前記入力画像の外縁とで囲まれる第１分割エリアを、前記第１方向に第１比率でリサイズし、前記第２境界線の１本又は２本と前記入力画像の外縁とで囲まれる第２分割エリアを、前記第２方向に前記第１比率とは異なる第２比率でリサイズするリサイズ処理ステップとを含む
    画像リサイズ処理方法。
11. 入力画像の少なくとも一部をリサイズする画像リサイズ処理部を備えるカメラであって、
    前記画像リサイズ処理部は、
    前記入力画像を第１方向にｎ（ｎは２以上の整数）分割するための、前記第１方向に直交するｎ−１本の第１境界線を設定する第１境界線設定部と、
    前記入力画像を前記第１方向とは異なる第２方向にｍ（ｍは２以上の整数）分割するための、前記第２方向に直交するｍ−１本の第２境界線を設定する第２境界線設定部と、
    前記第１境界線の１本又は２本と前記入力画像の外縁とで囲まれる第１分割エリアを、前記第１方向に第１比率でリサイズし、前記第２境界線の１本又は２本と前記入力画像の外縁とで囲まれる第２分割エリアを、前記第２方向に前記第１比率とは異なる第２比率でリサイズするリサイズ処理部とを備える
    カメラ。
12. 入力画像の少なくとも一部をリサイズする画像リサイズ処理方法をコンピュータに実行させるためのプログラムであって、
    前記入力画像を第１方向にｎ（ｎは２以上の整数）分割するための、前記第１方向に直交するｎ−１本の第１境界線を設定する第１境界線設定ステップと、
    前記入力画像を前記第１方向とは異なる第２方向にｍ（ｍは２以上の整数）分割するための、前記第２方向に直交するｍ−１本の第２境界線を設定する第２境界線設定ステップと、
    前記第１境界線の１本又は２本と前記入力画像の外縁とで囲まれる第１分割エリアを、前記第１方向に第１比率でリサイズし、前記第２境界線の１本又は２本と前記入力画像の外縁とで囲まれる第２分割エリアを、前記第２方向に前記第１比率とは異なる第２比率でリサイズするリサイズ処理ステップとを含む
    プログラム。
13. 入力画像の少なくとも一部をリサイズする集積回路であって、
    前記入力画像を第１方向にｎ（ｎは２以上の整数）分割するための、前記第１方向に直交するｎ−１本の第１境界線を設定する第１境界線設定部と、
    前記入力画像を前記第１方向とは異なる第２方向にｍ（ｍは２以上の整数）分割するための、前記第２方向に直交するｍ−１本の第２境界線を設定する第２境界線設定部と、
    前記第１境界線の１本又は２本と前記入力画像の外縁とで囲まれる第１分割エリアを、前記第１方向に第１比率でリサイズし、前記第２境界線の１本又は２本と前記入力画像の外縁とで囲まれる第２分割エリアを、前記第２方向に前記第１比率とは異なる第２比率でリサイズするリサイズ処理部とを備える
    集積回路。