JP2008072390A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】少ない演算量で、原画像に対して、その画像を変形させる特殊効果を与える画像処理装置を提供する。
【解決手段】原画像に対して第１の画像領域と第２の画像領域とを設定する画像領域設定部１８１と、原画像を縮小する縮小処理部１８２と、縮小画像に対して縮小画像の基準点と第１の縮小画像領域と第２の縮小画像領域とを設定し、縮小画像のうち第２の縮小画像領域の画像を変形させる特殊効果処理部１８３と、変形された第２の縮小画像領域の画像データを第２の画像領域に伸張し、第２の画像領域に伸張された画像データと、第１の画像領域を構成する上記原画像の画像データとを合成した画像の画像データを出力する画サイズ変換部１８４とを備える。
【選択図】 図３

Description

本発明は、画面内において任意に設定された基準点を中心として原画像を変形する画像処理装置、画像処理方法、及びプログラムに関するものである。

従来から、カメラのレンズに装着してレンズ内に入射する光を制限する光学フィルタが用いられている。光学フィルタは、一般的に透過光の波長領域を制限する用途として用いられる。このような用途以外にも、光学フィルタには、画面内に設定された基準点から離れるのに伴って被写体を変形させる効果（以下、特殊効果と呼ぶ。）を与える手段として用いられるものもある。このような特殊効果には、基準点から離れるのに伴って放射状に流れるように被写体を変形させる効果（以下、ズーミング変形効果と呼ぶ。）や、基準点から離れるのに伴って螺旋状に流れるように被写体を変形させる効果（以下、サイクロン変形効果と呼ぶ。）を与えるものがある。このような特殊効果を与える光学フィルタ（以下、特殊効果用光学フィルタと呼ぶ。）は、一般的に上述した基準点が画面内の中心点となるように設計されているため、画面内の任意の位置を基準点として上述したような特殊効果を与えることができない。また、特殊効果用光学フィルタは、特殊効果を与える場合にのみ、カメラのレンズに装着する必要がある。また、特殊効果用光学フィルタをカメラのレンズに装着して撮像した画像は、画面全体に亘って解像度が劣化してしまう。

また、コンピュータでは、画像処理ソフトウェアを実行して、上述した特殊効果用光学フィルタをカメラのレンズに装着せずに撮像された画像であっても、撮像された画像データに対して同様の特殊効果を与えることができる。このような画像処理ソフトウェアでは、処理対象の画像に対して、画面内の任意の位置を基準点として設定して特殊効果を与えることができる。具体的には、このような画像処理ソフトウェアは、画像データを、基準点を中心として拡大率が異なる複数の拡大画像に変換する。そして、画像処理ソフトウェアでは、未処理の画像データに、複数の拡大画像を重ね合わせることで、ズーミング変形効果を原画像に与えている。

ズーミング変形効果を含め、基準点を中心として被写体を変形させる特殊効果を与える画像処理では、デジタルカメラが備える演算処理プロセッサの処理能力の向上によって、パーソナルコンピュータだけではなく、デジタルカメラでも行われるようになってきた。すなわち、デジタルカメラでは、その演算処理プロセッサの処理能力の向上によって、単に撮像した画像を記録及び表示する処理だけでなく、撮像した画像に特殊効果を与える処理を行うことが比較的容易になってきた。一方、デジタルカメラは、高画質化の要求に応じた撮像画像の画素数の増加に伴って、画像データに画像効果を与えるために必要な演算量も増加している。このため、デジタルカメラは、パーソナルコンピュータに比べて処理能力が低いので、上述した演算量の増加に伴って演算速度も比較的遅くなってしまうという問題がある。また、デジタルカメラでは、主にバッテリ電源で駆動しているため、このような演算量の増加に応じて消費電力も増加してしまい、駆動時間が短くなってしまうという問題もある。

特許文献１に記載の画像処理方法では、画面内において高輝度の部分を検出してその部分の信号に所定の重み付けをしながら、所定の方向にずらして輝度信号成分を加算することで、特殊効果用の光学フィルタとして用いられているクロスフィルタ効果を画像に与えている。このような特許文献１に記載の画像処理を用いて、各画素の画素値を基準点を中心として拡大させる方向に複数ずらして足し合わせば、擬似的にズーミング変形効果を撮像画像に与えることができる。しかしながら、このような画像処理方法を用いてズーミング変形効果を撮像画像に与える場合には、上述した高輝度点を抽出する処理や加算処理の処理量が撮像画像の画素数に応じて増加してしまう。さらに、このような画像処理方法では、高輝度として抽出されなかった画素に関しては処理対象とならない。このため、このような画像処理方法では、抽出されなかった画素から構成される領域に対してズーミング変形効果を与えることができない。

特公平７―１１３９６１号公報

本発明は、このような実情に鑑みて提案されたものであり、少ない演算量で、画面内に設定された原画像の基準点から離れるのに伴って被写体を大きく変形させる特殊効果を撮像画像に与える画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上述した課題を解決するための手段として、本発明に係る画像処理装置は、原画像に対して、その画面内において任意に選択された基準点を含む第１の画像領域と、この第１の画像領域を除く画面内の第２の画像領域とを設定する第１の設定手段と、上記原画像を、その画像データの画素を間引いて、縮小する縮小手段と、上記縮小手段により縮小された縮小画像に対して、上記原画像の基準点に対応する縮小画像の基準点と、上記第１の画像領域に対応する第１の縮小画像領域と、上記第２の画像領域に対応する第２の縮小画像領域とを設定する第２の設定手段と、上記縮小手段により縮小された縮小画像のうち、上記第２の設定手段で設定された上記第２の縮小画像領域の画像を、上記縮小画像の基準点から離れるのに伴って大きく変形させる変形手段と、上記変形手段によって画像が変形された上記第２の縮小画像領域の画像データを、その画像データを構成する各画素間の画素値を補間して、上記第２の画像領域に伸張する伸張手段と、上記伸張手段で第２の画像領域に伸張された画像データと、上記第１の画像領域を構成する上記原画像の画像データとを合成して、上記原画像の基準点から離れるのに伴って大きく変形した画像の画像データを出力する合成手段とを備える。

また、本発明に係る画像処理方法は、原画像に対して、その画面内において任意に選択された基準点を含む第１の画像領域と、この第１の画像領域を除く第２の画像領域とを設定し、上記原画像を、その画像データの画素を間引いて縮小し、上記縮小した縮小画像に対して、上記原画像の基準点に対応する縮小画像の基準点と、上記第１の画像領域に対応する第１の縮小画像領域と、上記第２の画像領域に対応する第２の縮小画像領域とを設定し、上記縮小した縮小画像のうち、上記設定した第２の縮小画像領域の画像を、上記縮小画像の基準点から離れるのに伴って大きく変形させ、上記変形させた上記第２の縮小画像領域の画像データを、その画像データを構成する各画素間の画素値を補間して、上記第２の画像領域に伸張し、上記伸張した上記第２の画像領域を構成する画像データと、上記第１の画像領域を構成する上記原画像の画像データとを合成して、上記原画像の基準点から離れるのに伴って大きく変形した画像の画像データを出力する。

また、本発明に係るプログラムは、原画像に対して、その画面内において任意に選択された基準点を含む第１の画像領域と、この第１の画像領域を除く第２の画像領域とを設定する第１の設定工程と、上記原画像を、その画像データの画素を間引いて縮小する縮小工程と、上記縮小工程で縮小した縮小画像に対して、上記原画像の基準点に対応する縮小画像の基準点と、上記第１の画像領域に対応する第１の縮小画像領域と、上記第２の画像領域に対応する第２の縮小画像領域とを設定する第２の設定工程と、上記縮小工程で縮小した縮小画像のうち、上記第２の設定工程で設定した第２の縮小画像領域の画像を、上記縮小画像の基準点から離れるのに伴って大きく変形させる変形工程と、上記変形工程で変形した上記第２の縮小画像領域の画像データを、その画像データを構成する各画素間の画素値を補間して、上記第２の画像領域に伸張する伸張工程と、上記伸張工程で伸張した上記第２の画像領域を構成する画像データと、上記第１の画像領域を構成する上記原画像の画像データとを合成して、上記原画像の基準点から離れるのに伴って大きく変形した画像の画像データを出力する合成工程とを有する画像処理をコンピュータに実行させる。

本発明は、原画像に対して、第１の画像領域と第２の画像領域とからなる２つの画像領域を設定し、第２の画像領域に対応する第２の縮小画像領域に対してのみ変形処理を施して第２の画像領域に伸張し、伸張した第２の画像領域の画像データと、第１の画像領域を構成する原画像の画像データとを合成することで原画像の基準点から離れるのに伴って大きく変形した画像の画像データを出力する。

このように、本発明は、変形処理による変化が比較的小さい第１の画像領域に対して変形処理を行わないので、原画像を変形させるのに必要となる処理量を低減することができる。また、本発明は、第１の画像領域の解像度を原画像と同様の解像度に保持しつつ、第２の画像領域に対してのみ変形処理を施した画像のデータを出力することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。

本実施形態に係るデジタルカメラ１００は、図１に示すように、光学レンズ１１０と、撮像素子１２０と、Ａ／Ｄ変換部１３０と、信号処理部１４０と、バッファメモリ１５０と、記録媒体１６０と、表示部１７０と、演算処理部１８０と、入力部１９０とからなる。

光学レンズ１１０は、図示しない開口部を介して被写体からの光を撮像素子１２０に集光させる。

撮像素子１２０は、光学レンズ１１０によって集光された光を受光して電気信号に変換する。そして、撮像素子１２０は、変換した電気信号をＡ／Ｄ変換部１３０に供給する。なお、撮像素子１２０は、ＣＣＤ構造でもＣ−ＭＯＳ構造でもよく、いずれの構造に限定されるものではない。

Ａ／Ｄ変換部１３０は、撮像素子１２０から供給される電気信号をアナログ形式からデジタル形式に変換して信号処理部１４０に供給する。

信号処理部１４０は、Ａ／Ｄ変換部１３０から供給されるデジタル形式の電気信号に所定の信号処理を施して、画像データに変換する。具体的には、信号処理部１４０は、デジタル形式の電気信号に、ホワイトバランス、ガンマ補正、輝度色差変換などの信号処理を施して画像データに変換する。信号処理部１４０は、信号処理により変換された画像データをバッファメモリ１５０に供給する。

バッファメモリ１５０は、信号処理部１４０から供給される画像データを一時的に記憶し、記憶している画像データを記録媒体１６０、表示部１７０、及び演算処理部１８０へ供給する。

記録媒体１６０は、バッファメモリ１５０から供給される画像データを記録する。また、記録媒体１６０は、記録した画像データをバッファメモリ１５０へ読み出す処理も行う。

表示部１７０は、バッファメモリ１５０から供給される画像データを表示する。また、表示部１７０は、デジタルカメラ１００で撮像された画像を表示する以外に、デジタルカメラ１００を操作するためのＧＵＩ（Graphic User Interface）画面の表示も行う。

演算処理部１８０は、デジタルカメラ１００が備える各処理部の動作を制御する。具体的には、演算処理部１８０は、被写体の撮像、画像データの記録、及び画像データの表示などを含めデジタルカメラ１００全体の動作を制御する。

入力部１９０は、ユーザがデジタルカメラ１００に対して操作入力を行うユーザインタフェースとして用いられる。例えば、入力部１９０は、表示部１７０に表示されたＧＵＩ画面に従ってユーザから操作を受けて、この操作入力に応じた動作命令を演算処理部１８０に供給する。

また、デジタルカメラ１００は、演算処理部１８０が、被写体を撮像した画像データに対して所定の画像効果を与える処理を行う。このような処理を行う場合、演算処理部１８０は、処理対象の画像データを、記録媒体１６０からバッファメモリ１５０に読み出させる。そして、演算処理部１８０は、バッファメモリ１５０に読み出された画像データに対して所定の画像効果を与える処理を施す。その後、演算処理部１８０は、処理対象の画像データに対する処理が終了すると、処理済みの画像データをバッファメモリ１５０を介して記録媒体１６０や表示部１７０に供給させる。このように、デジタルカメラ１００は、画像データの記録処理、及び画像データの表示処理に加えて、画像データに所定の画像効果を与える画像処理も行う。なお、デジタルカメラ１００では、記憶媒体１６０に記憶された画像データのみならず、撮像直後バッファメモリ１５０に記憶されている画像データに対して、記憶媒体１６０への記憶処理を行う前に、演算処理部１８０が所定の画像効果を与えるようにしてもよい。

本実施形態では、上述したデジタルカメラ１００が行う画像処理のうち、撮像された画像データに対してその画面内に設定された基準点から離れるのに伴って被写体を大きく変形させる特殊効果を、記録媒体１６０に記録された画像データに与える画像処理に注目して以下のとおり説明する。

このような特殊効果を与える１例を図２に示す。具体的には、図２（Ａ）に示す処理対象の画像（以下、原画像という。）に対して、図２（Ｂ）に示すような基準点Ａから離れるのに伴って放射状に流れるように変形させる画像効果（以下、ズーミング変形効果と呼ぶ。）を与える処理について説明する。

デジタルカメラ１００では、上述した特殊効果を原画像に与えるために、演算処理部１８０が次に示すような処理部を備えている。演算処理部１８０は、図３に示すように、画像領域設定処理部１８１と、縮小処理部１８２と、特殊効果処理部１８３と、画サイズ変換処理部１８４とを備える。

画像領域設定部１８１は、図４（Ａ）に示すように、原画像Ｐ１に対して、その画面内の基準点Ａを中心として半径Ｒの円内を第１の画像領域とし、この第１の画像領域を除く画面内の領域を第２の画像領域として設定する。ここで、基準点Ａは、原画像Ｐ１の画面内における任意の位置であって、例えば、表示部１７０に表示された原画像Ｐ１に対して、ユーザが入力部１９０を操作して設定される点である。同様にして、半径Ｒも、その大きさがユーザによって任意に設定される。なお、基準点Ａ及び半径Ｒは、上述したようにユーザの操作入力によって設定される場合に限らず、例えば、基準点Ａ及び半径Ｒをそれぞれ固定してもよい。そして、画像領域設定部１８１は、原画像Ｐ１の画像データと画像領域に関する情報とを、縮小処理部１８２及び画サイズ変換処理部１８４にそれぞれ供給する。

縮小処理部１８２は、画像領域設定部１８１から供給される原画像Ｐ１の画像データを、その画像データを構成する画素の画素値を均等に間引いて、図４（Ｂ）に示すような縮小画像Ｐ２に変換する。その後、縮小処理部１８２は、縮小画像Ｐ２の画像データを、特殊効果処理部１８３に供給する。ここで、図４（Ｂ）に示されている基準点Ａ’は、原画像Ｐ１の基準点Ａを、縮小画像Ｐ２の画面上に写像した対応点である。同様に図４（Ｂ）に示されている半径Ｒ’は、原画像Ｐ１の半径Ｒを、この原画像Ｐ１に対する縮小画像Ｐ２の縮小率で縮小した値である。なお、縮小処理部１８２では単に原画像Ｐ１を縮小画像Ｐ２に変換する処理を行うため、基準点Ａ’及び半径Ｒ’は、特殊効果処理部１８３で算出される。

特殊効果処理部１８３は、縮小処理部１８２から供給される縮小画像Ｐ２の画像データに対して後述するズーミング変形効果を与える特殊効果処理を施し、処理後の縮小画像Ｐ３の画像データを画サイズ変換処理部１８４に供給する。

図５は、特殊効果処理部１８３が行う処理を模式的に示す図である。

特殊効果処理部１８３は、図５（Ａ）に示す縮小画像Ｐ２のうち、第２の縮小画像領域を、図５（Ｂ）に示すような、４種類の異なる拡大率α１，α２，α３，α４（α１＜α２＜α３＜α４）によってそれぞれ拡大した拡大画像Ｐ２−１，Ｐ２−２，Ｐ２−３，Ｐ２−４に変換する。ここで、縮小画像Ｐ２の画面内から写像される範囲は、拡大画像Ｐ２−１，Ｐ２−２，Ｐ２−３，Ｐ２−４のうち、図に示す破線部分で囲まれる範囲である。なお、本実施の形態では、拡大処理による効果を模式的に示すために、破線部分で囲まれている領域外の便宜的に示している。

特殊効果処理部１８３は、拡大画像Ｐ２−１，Ｐ２−２，Ｐ２−３，Ｐ２−４を重ね合わせて、図５（Ｃ）に示すように、基準点Ａ’から離れるのに伴って放射状に流れる縮小画像Ｐ３に変換する。

なお、特殊効果処理部１８３では、縮小画像Ｐ２に対して重ね合わせる拡大画像の数が上述した４つの画像に限定されるものではなく、所望とするズーミング変形効果に応じて重ね合わせる拡大画像の数を任意に選択することとする。

以上では、画面単位での特殊効果処理部１８３に関する処理内容を示したが、このような処理内容を具体的に実行するための処理として、画素単位で行う処理内容に注目して説明する。

特殊効果処理部１８３は、原画像Ｐ１の基準点Ａ及び半径Ｒに対応する縮小画像Ｐ２の基準点Ａ’及び半径Ｒ’をそれぞれ算出する。特殊効果処理部１８３は、縮小画像Ｐ２の画像データから、第１の画像領域に対応する縮小画像領域（以下、第１の縮小画像領域と呼ぶ。）と、第２の画像領域に対応する縮小画像領域（以下、第２の縮小画像領域と呼ぶ。）に分けるため、次に示す判断処理を、縮小画像Ｐ２を構成する全ての画素に対して行う。特殊効果処理部１８３は、縮小画像Ｐ２を構成する各画素に対して、その画面内の位置が基準点Ａ’を中心とした半径Ｒ’からなる円の領域内（図５に示された各縮小画像のうち、格子模様で示される画像領域）であるか否かを判断する。この判断処理において、特殊効果処理部１８３は、判断対象の画素が、この円内にあると判断すると第１の縮小画像領域を構成する画素と判断し、また、この円外にあると判断すると第２の縮小画像領域を構成する画素であると判断する。

特殊効果処理部１８３は、第１の縮小画像領域にあると判断した画素の輝度値を０に設定する。また、特殊効果処理部１８３は、第２の縮小画像領域にあると判断した画素の画素値ｑ（Ｘ０，Ｙ０）から、縮小画像Ｐ３を構成する画素の画素値ｑ（Ｘ，Ｙ）を算出する。ここで、（Ｘ０，Ｙ０）は、縮小画像Ｐ２の第２の縮小画像領域にあると判断された処理対象画像の座標を示す。また、（Ｘ，Ｙ）は、縮小画像Ｐ３の座標を示す。具体的な処理内容については次に示す。

まず、特殊効果処理部１８３は、以下の（１）式に示す関数Ｆを用いて、座標（Ｘ０，Ｙ０）、基準点Ａ’の座標（Ｘｃ，Ｙｃ）、拡大率α１、及び回転角度θをそれぞれ入力して、拡大処理後の縮小画像Ｐ２の位置を示す座標（Ｘ１，Ｙ１）を出力する。
（Ｘ１，Ｙ１）＝Ｆ（Ｘ０，Ｙ０，Ｘｃ，Ｙｃ，α１，θ） （１）式
なお、拡大処理後の座標（Ｘ１，Ｙ１）の各成分は、それぞれ以下に示す（２）式及び（３）式で与えられる。
Ｘ１＝Ｘｃ＋（１／α１）×｛（Ｘ０−Ｘｃ）×ｃｏｓθ−（Ｙ０−Ｙｃ）×ｓｉｎθ｝ （２）式
Ｙ１＝Ｙｃ＋（１／α１）×｛（Ｘ０−Ｘｃ）×ｓｉｎθ＋（Ｙ０−Ｙｃ）×ｃｏｓθ｝ （３）式

ここで、ズーミング変形効果を与える特殊効果処理では、基準点を中心として放射方向に流れるように画像を変形させるので拡大処理のみを行う。よって、特殊効果処理部１８３は、ズーミング変形効果を与えるため、回転角度θの値を常に０［ｒａｄ］に設定するものとする。なお、特殊効果処理部１８３は、回転角度θの値を適当な値に設定することによって、基準点から離れるとともに螺旋状に流れるような効果（以下、サイクロン変形効果と呼ぶ。）を原画像に与えることができる。

特殊効果処理部１８３は、座標（Ｘ０，Ｙ０）に対して、上述した拡大率α１を含め合計４種類の拡大率α１，α２，α３，α４（α１＜α２＜α３＜α４）を設定して、上述した関数Ｆを用いて拡大処理をそれぞれ施して、拡大処理後の縮小画像Ｐ２の位置を示す座標（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ３），（Ｘ４，Ｙ４）を算出する。

特殊効果処理部１８３は、算出した座標（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ３），（Ｘ４，Ｙ４）に対応する縮小画像Ｐ２の画素を参照する。ここで、特殊効果処理部１８３は、これらの座標に対して最近傍に位置する縮小画像Ｐ２の画素を参照するものとする。特殊効果処理部１８３は、参照した画素の画素値をそれぞれ読み出して、これらの画素の画素値を、ｑ（Ｘ１，Ｙ１），ｑ（Ｘ２，Ｙ２），ｑ（Ｘ３，Ｙ３），ｑ（Ｘ４，Ｙ４）とする。ここで、上述した最近傍の位置を参照する手法では、他の代替手法に比べて処理量が少ないが、解像度が比較的大きく劣化する。しかしながら、基準点から十分に離れた画像領域では、ズーミング変形効果を施した結果、その画像領域の解像度が大きく低下する。よって、特殊効果処理部１８３は、上述したように最近傍の位置を参照することで、画質の劣化を考慮することなく、他の代替手法に比べて演算量を低減することができる。

続いて、特殊効果処理部１８３は、以下に示す（４）式を用いて、縮小画像Ｐ３の画素の画素値ｑ（Ｘ，Ｙ）を算出する。
ｑ（Ｘ，Ｙ）＝｛ｑ（Ｘ０，Ｙ０）＋ｑ（Ｘ１，Ｙ１）＋ｑ（Ｘ２，Ｙ２）＋ｑ（Ｘ３，Ｙ３）＋ｑ（Ｘ４，Ｙ４）｝／５ （４）式
特殊効果処理部１８３は、第２の縮小画像領域として判断された全ての画素に対して（１）式から（４）式に示した処理を行い、第１の縮小画像領域を構成する画素の輝度値を０に設定した第１の縮小画像領域と、ズーミング効果を施した第２の縮小画像領域とからなる縮小画像Ｐ３の縮小画像データを、画サイズ変換処理部１８４に供給する。

以上のように特殊効果処理部１８３では、縮小画像Ｐ２のうち、第１の縮小領域に対して図５に示すようなズーミング変形効果を与える処理を施さない。これは、ズーミング変形効果を与える画像処理を第１の縮小画像領域に施しても、次に示すように、第２の縮小画像領域に比べて、処理前に対する画像の変化が小さいからである。

第１の縮小画像領域を構成する各画素から基準点までの距離は、第２の縮小画像領域の各画素から基準点までの距離に比べて短い。このため、拡大処理前後の座標位置の変化は、第２の縮小画像領域に比べて第１の縮小画像領域の方が小さい。したがって、ズーミング変形効果を与える処理以前の画素値と（４）式によって算出された画素値との間での変化を比べても、第２の縮小画像領域に比べて第１の縮小画像領域の方が小さい。

このように、特殊効果処理部１８３は、ズーミング効果の小さい第１の縮小画像領域の処理を行わないので、縮小画像を構成する全ての画素に対してズーミング効果を与える処理を行う場合に比べて、演算処理量を低減することができる。このため、特殊効果処理部１８３は、従来に比べて、原画像を変形させるのに必要となる処理量を低減することができる。

画サイズ変換処理部１８４は、図６（Ａ）に示すように、特殊効果処理部１８３から供給される縮小画像Ｐ３の画像データから第２の縮小画像領域のみに後述する双線形補間処理を施して、縮小画像Ｐ３を原画サイズまで伸張する。画サイズ変換処理部１８４は、双線形補間によって伸張処理が施された第２の画像領域に相当する画像データと、画像領域設定部１８１から供給される原画像の画像データのうち第１の画像領域（図中の格子模様で示される画像領域）を構成する画像データとを合成して、図６（Ｂ）に示すような、原画サイズの特殊効果画像Ｐ４に変換する。

すなわち、画サイズ変換処理部１８４は、特殊効果処理部１８３から供給される縮小画像Ｐ３のうち、第２の縮小画像領域のみの画素を用いて補間処理を行い、それ以外の領域に関しては原画像Ｐ１の画像データを用いる。このため、画サイズ変換処理部１８４は、次に示す判断処理を行う。

画サイズ変換処理部１８４は、まず、特殊効果画像Ｐ４のうち、補間対象となる各画素（以下、補間対象画素と呼ぶ。）の座標に対応する縮小画像Ｐ３の座標を算出する。次に、画サイズ変換処理部１８４は、算出された縮小画像Ｐ３の座標の周囲に位置する４つの画素を参照画素として使用するか否かを判断する。

具体的には、画サイズ変換処理部１８４は、図７（Ａ）に示すように、これら４個の参照画素のうち、少なくとも１個以上輝度値が０であるか否かを判断する。この判断処理によって、画サイズ変換処理部１８４は、参照画素のうち、少なくとも１個以上の輝度値が０であると判断すると、これらの参照画素に対応する補間対象画素の画素値を、その画素位置に対応する原画像Ｐ１の画像データの値に設定する（補間対象領域１）。また、画サイズ変換処理部１８４は、輝度値が全て０でないと判断された参照画素に対応する補間対象画素を、縮小画像Ｐ３を構成する画素の画素値から双線形補間によって算出する（補間対象領域２）。画サイズ変換処理１８４は、縮小画像Ｐ３の画像データよりも原画像Ｐ１の画像データを優先的に用いて、特殊効果画像Ｐ４を構成する画素の画素値を設定する。したがって、画サイズ変換処理部１８４は、第１の画像領域と第２の画像領域との境界近傍の画素の輝度値が０になることなく上述した合成処理を行うことができる。

次に、画サイズ変換処理部１８４が行う双線形補間処理の処理内容に関して、図７（Ｂ）を参照して詳細に説明する。

画サイズ変換処理部１８４は、図７（Ｂ）に示すように、補間対象画素ｚを、その周囲に位置する４つの参照画素から補間する。これら４つの画素は、補間対象画素ｚに対して左斜め上、右斜め上、左斜め下、右斜め下に位置する画素をそれぞれａ，ｂ，ｃ，ｄとする。

また、補間対象画素ｚを結ぶ垂直延長上と、画素ａ，ｂを結ぶ水平線とが交わる位置の画素ｚ１とし、画素ａから画素ｚ１までの距離と画素ｚ１から画素ｂまでの距離との比をｘ：（１−ｘ）（０≦ｘ≦１）とする。同様に、補間対象画素ｚを結ぶ垂直延長上と、画素ｃ，ｄを結ぶ水平線とが交わる位置の画素ｚ２とすると、画素ｃから画素ｚ２までの距離と画素ｚ２から画素ｄまでの距離との比は、ｘ：（１−ｘ）となる。さらに、画素ｚ１から画素ｚまでの距離と画素ｚから画素ｚ２までの距離との比を、ｙ：（１−ｙ）（０≦ｙ≦１）とする。

画サイズ変換処理部１８４では、まず、以下に示す（５）式から画素ｚ１の画素値Ｐ（ｚ１）を、（６）式から画素値Ｐ（ｚ２）をそれぞれ算出する。なお、画素ａ，ｂ，ｃ，ｄの画素値はそれぞれｐ（ａ），ｐ（ｂ），ｐ（ｃ），ｐ（ｄ）とする。
ｐ（ｚ１）＝（１−ｘ）×ｐ（ａ）＋ｘ×ｐ（ｂ） （５）式
ｐ（ｚ２）＝（１−ｘ）×ｐ（ｃ）＋ｘ×ｐ（ｄ） （６）式
そして、画サイズ変換処理部１８４は、（５）式および（６）式からの算出結果を用いて、（７）式から補間対象画素ｚの画素値ｐ（ｚ）を算出する。
ｐ（ｚ）＝（１−ｙ）×ｐ（ｚ１）＋ｙ×ｐ（ｚ２） （７）式
画サイズ変換処理部１８４は、上述した処理を特殊効果画像Ｐ４を構成する全ての画素に対して行う。

以上のようにして、画サイズ変換処理部１８４は、双線形補間によって伸張処理が施された第２の画像領域に相当する画像データと、画像領域設定部１８１から供給される原画像データのうち第１の画像領域を構成する画像データとを合成して、原画サイズの特殊効果画像Ｐ４に変換して、記録媒体１６０や表示部１７０に供給する。

次に、上述した演算処理部１８０が備える各処理部のうち、特殊効果処理部１８３及び画サイズ変換処理部１８４による処理工程に関して、図８に示すフローチャートを参照して説明する。なお、本処理工程は、演算処理部１８０が画像処理プログラムに従って、各処理部を制御することによって実行される。

まず、本処理工程の前提として、画像領域設定部１８１は、原画像Ｐ１の画像データに対して、基準点Ａを中心とした半径Ｒの円内の第１の画像領域と、この円外の第２の画像領域とを設定しているものとする。また、縮小処理部１８２は、原画像Ｐ１の画像データを縮小画像Ｐ２の画像データに変換して、この縮小画像Ｐ２の画像データを特殊効果処理１８３に供給しているものとして、以下に示す処理工程が開始される。

ステップＳ１１において、特殊効果処理部１８３は、原画像Ｐ１の基準点Ａ及び半径Ｒに対応する縮小画像Ｐ２の基準点Ａ’及び半径Ｒ’をそれぞれ算出する。

ステップＳ１２において、特殊効果処理部１８３は、縮小処理部１８２から供給された縮小画像Ｐ２の画像データから、その画面内の左上端に位置する画素を処理対象画素として設定する。

ステップＳ１３において、特殊効果処理部１８３は、処理対象画素の位置が基準点Ａ’を中心とした半径Ｒ’からなる円内にある否かを判断する。具体的には、特殊効果処理部１８３は、処理対象画素の座標位置と基準点Ａ’の座標位置との距離の二乗が、半径Ｒの二乗の値以上であるか否かによって判断する。ここで、特殊効果処理部１８３は、この距離の二乗の値が半径Ｒの二乗の値以上であると判断するとステップＳ１４へ進み、この距離の二乗の値が半径Ｒの二乗の値未満であると判断するとステップＳ１５へ進む。

ステップＳ１４において、特殊効果処理部１８３は、現在の処理対象画素の輝度値を０に設定する。その後、特殊効果処理部１８３は、ステップＳ１６に進む。

ステップＳ１５において、特殊効果処理部１８３は、現在の処理対象画素に対して、（１）乃至（４）式に示したズーミング変形効果を与える処理を施して、縮小画像Ｐ３を構成する画素の画素値を算出する。その後、特殊効果処理部１８３は、ステップＳ１６に進む。

ステップＳ１６において、特殊効果処理部１８３は、現在の処理対象画素の位置が、画面内の右下端であるか否かを判断する。特殊効果処理部１８３は、現在の処理対象画素の位置が画面内の右下端であると判断すると、ステップＳ１７に進む。特殊効果処理部１８３は、現在の処理対象画素の位置が画面内の右下端でないと判断すると、次の処理対象画素の位置を画面の走査方向に１画素分移動させてステップＳ１３に戻る。

ステップＳ１６が終了すると、本処理工程は、特殊効果処理部１８３が行う処理から画サイズ変換処理部１８４が行う処理へ移行する。

ステップＳ１７において、画サイズ変換処理部１８４は、補間対象画素の位置を、原画サイズの画面上の左上端部に設定する。

ステップＳ１８において、画サイズ変換処理部１８４は、現在の補間対象画素に対応する４つの参照画素のうち、輝度値が０である画素が１つ以上あるか否かを判断する。画サイズ変換処理部１８４は、これらの参照画素のうち輝度値が０であるものが１つ以上あると判断すると、ステップＳ１９に進む。画サイズ変換処理部１８４は、これらの参照画素のうち、輝度値が０であるものがないと判断するとステップＳ２０に進む。

ステップＳ１９において、画サイズ変換処理部１８４は、補間対象画素の画素値を、その補間対象画素に対応する原画像Ｐ１の画素の画素値に設定する。その後、画サイズ変換処理部１８４はステップＳ２１に進む。

ステップＳ２０において、画サイズ変換処理部１８４は、補間対象画素を、この補間対象画素に対応する参照画素の画素値を用いて上述した双線形補間処理を施す。その後、画サイズ変換処理部１８４はステップＳ２１に進む。

ステップＳ２１において、画サイズ変換処理部１８４は、現在の処理対象画素が画面内における右下端部に位置するか否かを判断する。画サイズ変換処理部１８４は、現在の処理対象ブロックが画面内の右下端部に位置すると判断すると本処理工程を終了する。また、画サイズ変換処理部１８４は、現在の補間対象画素が画面内の右下端部に位置していないと判断すると、次の処理対象画素の位置を画面を走査する方向に、１画素分移動させてステップＳ１８に戻る。

以上のように、演算処理部１８０は、画像処理プログラムに従って、第２の画像領域に対応する第２の縮小画像領域に対してのみ変形処理を施して第２の画像領域に伸張し、伸張した第２の画像領域の画像データと、第１の画像領域を構成する原画像の画像データとを合成することで原画像の基準点から離れるのに伴って大きく変形した画像の画像データを出力する。

よって、演算処理部１８０は、特殊効果画像Ｐ４における第１の画像領域の解像度を、原画像Ｐ１と同様の解像度に保持しつつ、特殊効果画像Ｐ４における第２の画像領域に対してのみズーミング変形効果を与えることができる。

なお、本実施形態では、特殊効果の一例として原画像に対してズーミング効果を与える処理に注目して説明したが、これに限定されるものではなく、基準点を中心としてこの基準点から離れるにつれて螺旋状に流れる効果を原画像に与える特殊効果を含め、基準点を中心として変化させる特殊効果を原画像に与えることができる。

以上のように、演算処理部１８０は、第２の画像領域に比べて変化が少ない第１の画像領域に対して、特殊効果を施さない。このため、演算処理部１８０は、原画像全体を自然に変形させつつ、全体としての演算処理量を低減することができる。さらに、このような演算処理部１８０を備えるデジタルカメラ１００では、このような演算処理量の低減によって、バッテリー駆動の際に動作時間を長くすることができる。

なお、本発明は、以上の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。

デジタルカメラの構成を示すブロック図である。 図２（Ａ）は原画像を示す図であり、図２（Ｂ）は原画像Ｐ１に対してズーミング変形効果を与えた画像を示す図である。 ズーミング変形効果を施すために演算処理部が備える処理部の構成を示すブロック図である。 図４（Ａ）は原画像Ｐ１を示す図であり、図４（Ｂ）はこの原画像Ｐ１に対して間引き処理を施して縮小した縮小画像Ｐ２を示す図である。 図５（Ａ）は縮小画像Ｐ２を示す図であり、図５（Ｂ）は縮小画像Ｐ２に拡大処理を施した拡大画像Ｐ２−１，Ｐ２−２，Ｐ２−３，Ｐ２−４を示す図であり、図５（Ｃ）は縮小画像Ｐ２に拡大画像Ｐ２−１，Ｐ２−２，Ｐ２−３，Ｐ２−４を重ね合わせた縮小画像Ｐ３を示す図である。 図６（Ａ）は縮小画像Ｐ３を示す図であり、図６（Ｂ）は縮小画像に対して伸張処理を施した特殊効果画像Ｐ４を示す図である。。 図７（Ａ）は双線形補間処理を行うか否かを判断する判断処理を模式的に示す図であり、図７（Ｂ）は双線形補間処理を模式的に示す図である。 演算処理部において、原画像Ｐ１に対してズーミング変形効果を施す処理工程を示すフローチャートである。

符号の説明

１００ デジタルカメラ、１１０ 光学レンズ、１２０ 撮像素子、１３０ Ａ／Ｄ変換部、１４０ 信号処理部、１５０ バッファメモリ、１６０ 記録媒体、１７０ 表示部、１８０ 演算処理部、１８１ 画像領域設定部、１８２ 縮小処理部、１８３ 特殊効果処理部、１８４ 画サイズ変換部、１９０ 入力部

Claims (4)

1. 原画像に対して、その画面内において任意に選択された基準点を含む第１の画像領域と、この第１の画像領域を除く画面内の第２の画像領域とを設定する第１の設定手段と、
   上記原画像を、その画像データの画素を間引いて、縮小する縮小手段と、
   上記縮小手段により縮小された縮小画像に対して、上記原画像の基準点に対応する縮小画像の基準点と、上記第１の画像領域に対応する第１の縮小画像領域と、上記第２の画像領域に対応する第２の縮小画像領域とを設定する第２の設定手段と、
   上記縮小手段により縮小された縮小画像のうち、上記第２の設定手段で設定された上記第２の縮小画像領域の画像を、上記縮小画像の基準点から離れるのに伴って大きく変形させる変形手段と、
   上記変形手段によって画像が変形された上記第２の縮小画像領域の画像データを、その画像データを構成する各画素間の画素値を補間して、上記第２の画像領域に伸張する伸張手段と、
   上記伸張手段で第２の画像領域に伸張された画像データと、上記第１の画像領域を構成する上記原画像の画像データとを合成して、上記原画像の基準点から離れるのに伴って大きく変形した画像の画像データを出力する合成手段とを備える画像処理装置。
2. 上記変形手段は、上記第２の縮小画像領域を構成する上記縮小画像の画像データと、この第２の縮小画像領域の画像に対して拡大、又は、拡大及び回転のいずれかの一方の処理を施した画像データとを重ね合わせて、上記第２の縮小画像領域を変形させることを特徴とする請求項１記載の画像処理装置。
3. 原画像に対して、その画面内において任意に選択された基準点を含む第１の画像領域と、この第１の画像領域を除く第２の画像領域とを設定し、
   上記原画像を、その画像データの画素を間引いて縮小し、
   上記縮小した縮小画像に対して、上記原画像の基準点に対応する縮小画像の基準点と、上記第１の画像領域に対応する第１の縮小画像領域と、上記第２の画像領域に対応する第２の縮小画像領域とを設定し、
   上記縮小した縮小画像のうち、上記設定した第２の縮小画像領域の画像を、上記縮小画像の基準点から離れるのに伴って大きく変形させ、
   上記変形させた上記第２の縮小画像領域の画像データを、その画像データを構成する各画素間の画素値を補間して、上記第２の画像領域に伸張し、
   上記伸張した上記第２の画像領域を構成する画像データと、上記第１の画像領域を構成する上記原画像の画像データとを合成して、上記原画像の基準点から離れるのに伴って大きく変形した画像の画像データを出力する画像処理方法。
4. 原画像に対して、その画面内において任意に選択された基準点を含む第１の画像領域と、この第１の画像領域を除く第２の画像領域とを設定する第１の設定工程と、
   上記原画像を、その画像データの画素を間引いて縮小する縮小工程と、
   上記縮小工程で縮小した縮小画像に対して、上記原画像の基準点に対応する縮小画像の基準点と、上記第１の画像領域に対応する第１の縮小画像領域と、上記第２の画像領域に対応する第２の縮小画像領域とを設定する第２の設定工程と、
   上記縮小工程で縮小した縮小画像のうち、上記第２の設定工程で設定した第２の縮小画像領域の画像を、上記縮小画像の基準点から離れるのに伴って大きく変形させる変形工程と、
   上記変形工程で変形した上記第２の縮小画像領域の画像データを、その画像データを構成する各画素間の画素値を補間して、上記第２の画像領域に伸張する伸張工程と、
   上記伸張工程で伸張した上記第２の画像領域を構成する画像データと、上記第１の画像領域を構成する上記原画像の画像データとを合成して、上記原画像の基準点から離れるのに伴って大きく変形した画像の画像データを出力する合成工程とを有する画像処理をコンピュータに実行させるプログラム。

Images