JP2012134681A - 撮像装置、撮像方法及びプログラム - Google Patents

Abstract

【課題】被写体により好適な画質で画像を撮像する撮像装置、撮像方法及びプログラムを提供する。
【解決手段】撮像部は複数の画素を有し、画素信号を間引いて出力する間引きモードと、一部の領域の画素の画素信号を切り出して出力する切り出しモードとを切り換え可能である。周波数変換部は画素信号により生成される画像データを空間周波数成分に変換する。調整部は空間周波数成分に周波数ｆ１以上の成分が含まれる場合、間引きモードと切り出しモードとの切換倍率を２．０倍に調整し、空間周波数成分に周波数ｆ１以上の成分が含まれない場合、切換倍率を２．０倍より高い３．０倍に調整する。切換部は入力された拡大倍率が調整された切換倍率未満である場合、撮像部を間引きモードに切り換え、拡大倍率が調整された切換倍率以上である場合、撮像部を切り出しモードに切り換える。
【選択図】図７

Description

本発明は拡大画像の撮像が可能な撮像装置、撮像方法及びプログラムに関する。

拡大倍率に応じて撮像素子における画素信号の切り出し範囲を変える撮像装置が開示されている（例えば、特許文献１参照）。

特開２００２−３３０３２９号公報

当然のことながら、撮像装置で撮像される拡大画像も高画質であることが要求される。画像の画質は解像度、シグナル対ノイズ比（以下、単に「Ｓ／Ｎ比」とする）、撮像感度等によって左右される。そして、これらが画質に与える影響は被写体によって異なる。例えば、被写体が風景である場合には、高解像度であることが要求されることが多いが、被写体が人物の顔である場合には、高解像度よりもむしろ高Ｓ／Ｎ比が要求されることが多い。

ところが、上記特許文献１に開示された撮像装置のように、被写体の種類に関わらず拡大倍率に応じて撮像素子における画素信号の切り出し範囲を変えるだけでは、被写体の違いに応じて画質を調整するのが困難である。

本発明はこのような実情に鑑みてなされたものであり、被写体により好適な画質で画像を撮像することができる撮像装置、撮像方法及びプログラムを提供する。

上記目的を達成するため、本発明の第１の観点に係る撮像装置は、
ユーザの操作入力により指定された拡大倍率を入力する操作入力部と、
所定の２次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第１のモードと、前記２次元領域の一部の領域の画素の画素信号を切り出して出力する第２のモードとを切り換え可能な撮像部と、
前記撮像部から出力された画素信号により生成される画像データを空間周波数成分に変換する周波数変換部と、
前記周波数変換部で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第１のモードと前記第２のモードとの切換倍率を第１の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第１の倍率より高い第２の倍率に調整する調整部と、
前記操作入力部によって入力された拡大倍率が前記調整部によって調整された前記切換倍率未満である場合、前記撮像部を前記第１のモードに切り換え、前記拡大倍率が前記調整部によって調整された前記切換倍率以上である場合、前記撮像部を前記第２のモードに切り換える切換部と、
を備える。

また、本発明の第２の観点に係る撮像方法は、
所定の２次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第１のモードと、前記２次元領域の一部の領域の画素の画素信号を切り出して出力する第２のモードとを切り換え可能な撮像部を備える撮像装置における撮像方法であって、
ユーザの操作入力により指定された拡大倍率を入力する操作入力工程と、
前記撮像部から出力された前記画素信号により生成される画像データを空間周波数成分に変換する周波数変換工程と、
前記周波数変換工程で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第１のモードと前記第２のモードとの切換倍率を第１の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第１の倍率より高い第２の倍率に調整する調整工程と、
前記操作入力工程によって入力された拡大倍率が前記調整工程によって調整された前記切換倍率未満である場合、前記撮像装置を前記第１のモードに切り換え、前記拡大倍率が前記調整工程によって調整された前記切換倍率以上である場合、前記撮像装置を前記第２のモードに切り換える切換工程と、
を備える。

また、本発明の第３の観点に係るプログラムは、
ユーザの操作入力により指定された拡大倍率を入力する操作入力部と、所定の２次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第１のモードと、前記２次元領域の一部の領域の画素の画素信号を切り出して出力する第２のモードとを切り換え可能な撮像部を備える撮像装置を制御するコンピュータを、
前記撮像部から出力された前記画素信号により生成される画像データを空間周波数成分に変換する周波数変換部、
前記周波数変換部で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第１のモードと前記第２のモードとの切換倍率を第１の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第１の倍率より高い第２の倍率に調整する調整部、
前記操作入力部によって入力された拡大倍率が前記調整部によって調整された前記切換倍率未満である場合、前記撮像部を前記第１のモードに切り換え、前記拡大倍率が前記調整部によって調整された前記切換倍率以上である場合、前記撮像部を前記第２のモードに切り換える切換部、
として機能させる。

本発明によれば、画像データが高周波成分を含み、高解像度が要求されるものである場合には、複数の画素各々の画素信号を間引いて出力する第１のモードから２次元領域の一部の領域の画素の画素信号を切り出して出力する第２のモードに撮像部を切り換える切換倍率が第１の倍率に調整される。また、画像データが高周波成分を含まず、高Ｓ／Ｎ比が要求されるものである場合には、その切換倍率が第１の倍率よりも高い第２の倍率に調整される。これにより、画像データに含まれる周波数成分に応じた画素信号の取り出しが可能となるので、被写体により好適な画質で画像を撮像することができる。

本発明の実施形態に係る携帯端末の構成を示すブロック図である。 図２（Ａ）は撮像素子の画素を模式的に示す図である。図２（Ｂ）は撮像素子の画素に積層された色フィルタを模式的に示す図である。 図３（Ａ）は緑色フィルタを通過した光に基づいて出力される画素信号の加算を示す図である。図３（Ｂ）は青色フィルタを通過した光に基づいて出力される画素信号の加算を示す図である。図３（Ｃ）は赤色フィルタを通過した光に基づいて出力される画素信号の加算を示す図である。 画素信号の切り出しによる拡大画像を示す図である。 図５（Ａ）は人物の顔が撮像された画像の一例を示す図である。図５（Ｂ）は風景が撮像された画像の一例を示す図である。 図６（Ａ）は図５（Ａ）の画像の空間周波数のスペクトル強度を示す図である。図６（Ｂ）は図５（Ｂ）の画像の空間周波数のスペクトル強度を示す図である。 図７（Ａ）は周波数ｆ１以上の成分が含まれない画像の切換倍率の一例を示す図である。図７（Ｂ）は周波数ｆ１以上の成分が含まれる画像の切換倍率の一例を示す図である。 画像拡大処理のフローチャートである。 図９（Ａ）は図５（Ａ）の画像が１．０倍で出力された画像の一例を示す図である。図９（Ｂ）は図５（Ａ）の画像が１．５倍に拡大された画像の一例を示す図である。図９（Ｃ）は図５（Ａ）の画像が２．０倍に拡大された画像の一例を示す図である。図９（Ｄ）は図５（Ａ）の画像が３．０倍に拡大された画像の一例を示す図である。 図１０（Ａ）は図５（Ｂ）の画像が１．０倍で出力された画像の一例を示す図である。図１０（Ｂ）は図５（Ｂ）の画像が１．５倍に拡大された画像の一例を示す図である。図１０（Ｃ）は図５（Ｂ）の画像が２．０倍に拡大された画像の一例を示す図である。図１０（Ｄ）は図５（Ｂ）の画像が３．０倍に拡大された画像の一例を示す図である。

本発明の実施形態について図面を参照しながら詳細に説明する。

撮像装置としてのカメラ付き携帯端末１００（以下、単に「携帯端末１００」とする）は通話機能、電子メール送受信機能、Ｗｅｂサイト閲覧機能等の他に、画像を撮像できる端末である。

図１に示すように、携帯端末１００はスピーカ１と、マイクロフォン２（以下、単にマイク２とする）と、操作入力部３と、通信部４と、信号処理部５と、記憶部６と、撮像部７と、制御部８と、ＬＣＤ（Liquid Crystal Display）コントローラ９と、表示装置１０とを備える。

スピーカ１は通話音声、着信音等を出力する。また、マイク２はユーザの通話音声を携帯端末１００に入力する。

操作入力部３はキーボタン、シャッターボタン、ジョグダイヤル、タッチパネル等（いずれも不図示）を備える。操作入力部３はユーザによって入力された操作に対応する操作入力信号を携帯端末１００に入力する。

より具体的には、ユーザによって拡大倍率が入力されると、操作入力部３はユーザの操作入力により指定された拡大倍率を入力する。また、操作入力部３は、例えば、携帯端末１００の電源オンオフ、撮像の指示、動画の再生指示、電話番号の入力、電子メールの本文作成、画像の呼び出しや再生等に対応する操作入力信号を入力する。

通信部４は通信アンテナ４１と無線回路４２とを備える。通信アンテナ４１は電波を受信する。さらに、通信アンテナ４１は受信された電波を電気信号に変換して無線回路４２に入力する。また、通信アンテナ４１は無線回路４２から出力された電気信号を電波に変換して発信する。

無線回路４２は通信アンテナ４１から出力された電気信号を復調して信号処理部５に出力する。また、無線回路４２は入力された信号を変調して電気信号に変換する。さらに、無線回路４２は変換された電気信号を通信アンテナ４１に出力する。

通信部４は、例えば、ＣＤＭＡ（Code Division Multiple Access）、ＥＶ−ＤＯ（Evolution Data Only）、無線ＬＡＮ（Local Area Network）等の通信方式による他の通信端末装置や情報処理装置との通信が可能である。

信号処理部５は符号復号処理回路５１とＤ／Ａ変換器５２とを備える。符号復号処理回路５１は無線回路４２から出力された信号を復号化する。この復号化処理によって通話音声に係るデジタル音声信号、電子メールとして受信された文字データや受信された電子メールに添付された画像データが生成される。

また、符号復号処理回路５１は音声通話に係るデジタル音声信号、電子メールとして送信される文字データ、送信される電子メールに添付される画像データ等を符号化する。この符号化処理によって生成された信号は無線回路４２に出力される。

Ｄ／Ａ変換器５２は符号復号処理回路５１によって生成されたデジタル音声信号をアナログ音声信号に変換する。変換されたアナログ音声信号はスピーカ１を介して出力される。

また、Ｄ／Ａ変換器５２はマイク２を介して入力されたアナログ音声信号をデジタル音声信号に変換する。さらに、Ｄ／Ａ変換器５２は変換されたデジタル音声信号を符号復号処理回路５１に出力する。

記憶部６は、例えば、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリを備える。記憶部６は各種プログラム、データベース、電話帳データ、楽曲データ、画像データ等を格納する。

撮像部７は光学系（不図示）と、所定の２次元領域（受光面）に配列された複数の画素を有するイメージセンサ７１とを備える。

光学系はシャッタ、レンズ、フォーカスレンズ、及び絞り等（いずれも不図示）を備える。光学系を通過した光がイメージセンサ７１の受光面に入射することにより、被写体像がイメージセンサ７１の受光面に結像される。

イメージセンサ７１は、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子（不図示）である。イメージセンサ７１は画素信号を出力する回路を有し、被写体像が光電変換された電荷を画素信号として出力する。本実施形態におけるイメージセンサ７１には、横４０００ドット×縦３０００ドットの画素が配列された１２メガピクセルの撮像素子が用いられる。

図２（Ａ）には撮像素子の一部である横５ドット×縦３ドットの１５画素が示されている。カラー画像の撮像が可能な撮像素子の１画素には、色信号形成のために必要な複数の色フィルタが積層された基本ユニットが用いられる。基本ユニットは、図２（Ｂ）に示すように、２つの緑色フィルタ（Ｇ）と各１つずつの赤色フィルタ（Ｒ）、青色フィルタ（Ｂ）から構成される。イメージセンサ７１は色フィルタを通過して受光面に入射した光に基づいて色信号を形成する。

また、撮像部７は画素信号を間引いて出力する第１のモードとしての間引きモードと、一部の領域の画素の画素信号を切り出して出力する第２のモードとしての切り出しモードとを切り換え可能である。

ここで、間引きモードと切り出しモードについて詳細に説明する。

間引きモードにおいては、イメージセンサ７１は隣接する画素の画素信号を加算することで画素信号を間引いて出力する。例えば、イメージセンサ７１は、図３（Ａ）に示すように、隣接する画素から４つの緑色フィルタ（Ｇ）を通過した光に基づいて出力される画素信号を加算して、１つの緑色フィルタ（Ｇ）を通過した光に基づく画素信号として出力する。イメージセンサ７１は、図３（Ｂ）及び図３（Ｃ）に示すように、赤色フィルタ（Ｒ）及び青色フィルタ（Ｂ）についてもそれぞれ隣接する画素から４つの同色フィルタを通過した光に基づいて出力される隣接する画素の画素信号を加算して、１つの色フィルタを通過した光に基づく画素信号として出力する。

このように加算されて出力される画素信号から生成される画像は、全ての画素から出力される画素信号から生成される画像とその画角が同じで、水平方向、垂直方向それぞれ１／２の画素数で構成される。

一方、切り出しモードにおいては、イメージセンサ７１はユーザによって設定された画像領域に対応する一部の領域の画素の画素信号を切り出して出力する。このように切り出されて出力された画素信号から生成される画像は、図４に示すように、全ての画素から出力された画素信号によって生成される画像の画角よりその画角が小さく、水平方向、垂直方向それぞれ１／２の画素数で構成される。このため、こうして生成される画像は全ての画素から出力された画素信号によって生成される画像が２．０倍に拡大された画像となる。

制御部８はＩＳＰ（Image Signal Processor）８１と、ＣＰＵ（Central Processing Unit）８２とを備える。

ＩＳＰ８１はイメージセンサ７１により出力された画素信号をデジタル画像信号に変換して、階調補正、白バランス調整等の処理後、所定の画像サイズへのリサイズ処理を行い、画像データを出力する。

ＣＰＵ８２は周波数変換部８３と、調整部８４と、切換部８５とを備える。ＣＰＵ８２が記憶部６に格納された各種プログラムを実行することにより、周波数変換部８３、調整部８４、切換部８５の機能等を実現して、制御部８は携帯端末１００の各部を統括的に制御するとともに、画像の撮像、電子メールの本文作成や送受信、動画の再生等、各処理を実行する。

周波数変換部８３は撮像部７で撮像された画像データを空間周波数成分に変換する。

より詳細には、周波数変換部８３は画像データとしてＩＳＰ８１から出力されたデジタル画像信号をフーリエ変換することによって、空間周波数のスペクトル強度を求める。

周波数変換部８３によって変換された空間周波数成分は、撮像された被写体に応じて異なることが知られている。

例えば図５（Ａ）に示すような人物の顔が撮像されたデジタル画像信号の空間周波数のスペクトル強度を求めると、図６（Ａ）に示すように、低周波数側にスペクトルが集中して分布する傾向がある。

このような高周波成分が少ない被写体を高画質で撮像する場合、解像度が高いことよりも撮像感度やＳ／Ｎ比が高いことが要求される。

一方、例えば図５（Ｂ）に示すような風景が撮像されたデジタル画像信号の空間周波数のスペクトル強度を求めると、図６（Ｂ）に示すように、高周波数側にもスペクトルが分布する。

このような高周波成分が多い被写体を高画質で撮像する場合、撮像感度やＳ／Ｎ比が高いことよりも解像度が高いことが要求される。

調整部８４は、例えば図６（Ｂ）に示すように、周波数変換部８３で求められた空間周波数成分に周波数ｆ１以上の成分が含まれている場合、間引きモードと切り出しモードとの切換倍率を第１の倍率として２．０倍に調整し、例えば図６（Ａ）に示すように、空間周波数成分に周波数ｆ１以上の成分が含まれていない場合、切換倍率を第２の倍率として３．０倍に調整する。

切換部８５は操作入力部３によって入力された拡大倍率が調整部８４によって調整された切換倍率未満である場合、撮像部７を間引きモードに切り換え、拡大倍率が調整部８４によって調整された切換倍率以上である場合、撮像部７を切り出しモードに切り換える。

調整部８４による切換倍率の調整と切換部８５によるモードの切り換えについて図７を参照して説明する。デジタル画像信号が変換された空間周波数において周波数ｆ１以上の成分が含まれない場合、図７（Ａ）に示すように、ユーザによって設定される拡大倍率が３．０未満までは、画素信号は加算されて出力される。拡大倍率が３．０以上のときは、画素信号は切り出されて出力される。

一方、デジタル画像信号が変換された空間周波数において周波数ｆ１以上の成分が含まれる場合、図７（Ｂ）に示すように、ユーザによって設定される拡大倍率が２．０未満までは、画素信号は加算されて出力される。拡大倍率が２．０以上では、画素信号は切り出されて出力される。

ＬＣＤコントローラ９は１画面または２画面程度の画像を記憶するＶＲＡＭ（Video Random Access Memory）９１を備え、ＶＲＡＭ９１が制御部８から間欠的または部分的に出力された画像を記憶し、６０Ｈｚ程度の周波数で連続的に表示装置１０に出力する。

制御部８からＬＣＤコントローラ９への画像の出力は差動シリアルバスを介して行われる。

表示装置１０はＶＧＡ（Video Graphics Array、横６４０ドット×縦４８０ドット）液晶ディスプレイである。表示装置１０はＬＣＤコントローラ９から出力される画像を表示する。

ＬＣＤコントローラ９から表示装置１０への出力はＣＭＯＳのパラレルバスを介して行われる。

次に、図８を参照して、本実施形態における携帯端末１００の画像拡大処理のフローを説明する。

周波数変換部８３は、ユーザによって操作入力部３を介して画像の拡大倍率が入力されるまで待つ（ステップＳ１；Ｎｏ）。ユーザによって操作入力部３を介して画像の拡大倍率が入力されると（ステップＳ１；Ｙｅｓ）、周波数変換部８３は撮像部７で撮像された画像データをフーリエ変換することにより空間周波数成分に変換する（ステップＳ２）。

次に、周波数変換部８３で変換された空間周波数成分に周波数ｆ１以上の成分が含まれている場合（ステップＳ３；Ｙｅｓ）、調整部８４は切換倍率を２．０倍に調整する（ステップＳ４）。

一方、空間周波数成分に周波数ｆ１以上の高周波成分が含まれていない場合（ステップＳ３；Ｎｏ）、調整部８４は切換倍率を３．０倍に調整する（ステップＳ５）。

次に、切換部８５は操作入力部３によって入力された拡大倍率が調整された切換倍率未満である場合（ステップＳ６；Ｙｅｓ）、撮像部７を間引きモードに切り換える（ステップＳ７）。

一方、拡大倍率が調整された切換倍率未満でない場合（ステップＳ６；Ｎｏ）、切換部８５は撮像部７を切り出しモードに切り換える（ステップＳ８）。

撮像部７は各モードに応じて画素信号を出力する（ステップＳ９）。

さらに、制御部８は出力された画素信号から生成される画像を拡大して表示する（ステップＳ１０）。

上記画像拡大処理のフローにおいて画像が拡大表示されると（ステップＳ１０）、携帯端末１００はステップＳ１に戻る。携帯端末１００は上記の処理を例えば１００ｍｓ周期で繰り返すことによりユーザから入力される画像拡大の操作に対応できる。

以下では、例えば高周波成分が含まれない画像として図５（Ａ）、高周波成分が含まれる画像として図５（Ｂ）を用いて、より具体的に上述の画像拡大処理について説明する。

まず、図９（Ａ）乃至（Ｄ）を参照して、図５（Ａ）に示すような周波数ｆ１以上の成分が含まれない画像の拡大処理を説明する。

携帯端末１００の拡大倍率の初期設定は１．０倍である。拡大倍率が１．０倍の場合、制御部８は隣接する画素の画素信号を加算することにより画素信号を間引いて出力する。これにより、制御部８は、図９（Ａ）に示すように、イメージセンサ７１の横４０００ドット×縦３０００ドットから水平方向、垂直方向それぞれ１／２となる横２０００ドット×縦１５００ドットの画素信号を出力する。そして、制御部８は出力された横２０００ドット×縦１５００ドットの画素信号から生成される画像を１．０倍で表示する。

ユーザによって操作入力部３を介して拡大倍率１．５倍が入力されると（ステップＳ１；Ｙｅｓ）、周波数変換部８３は撮像部７で撮像された画像データをフーリエ変換することにより空間周波数成分に変換する（ステップＳ２）。

周波数変換部８３で変換された空間周波数成分に周波数ｆ１以上の成分が含まれていないため（ステップＳ３；Ｎｏ）、調整部８４は切換倍率を３．０倍に調整する（ステップＳ５）。

入力された拡大倍率１．５倍は切換倍率３．０倍未満なので（ステップＳ６；Ｙｅｓ）、切換部８５は撮像部７を間引きモードに切り換える（ステップＳ７）。

制御部８は隣接する画素の画素信号を加算することにより画素信号を間引いて出力する。これにより、制御部８は、図９（Ｂ）に示すように、水平方向、垂直方向それぞれ１／２となる横２０００ドット×縦１５００ドットの画素信号を出力する（ステップＳ９）。

制御部８は出力された横２０００ドット×縦１５００ドットの画素信号で生成される画像の横１３３３ドット×縦１０００ドットの部分を切り出して１．５倍に拡大して表示する（ステップＳ１０）。

ユーザによって操作入力部３を介して拡大倍率２．０倍が入力されると（ステップＳ１；Ｙｅｓ）、上記と同様に切換倍率が３．０倍に調整され、画素の出力が間引きモードに切り換えられる（ステップＳ２乃至Ｓ７）。

制御部８は隣接する画素の画素信号を加算することにより画素信号を間引いて出力する。これにより、制御部８は、図９（Ｃ）に示すように、水平方向、垂直方向それぞれ１／２となる横２０００ドット×縦１５００ドットの画素信号を出力する（ステップＳ９）。

制御部８は出力された横２０００ドット×縦１５００ドットの画素信号で生成される画像の横１０００ドット×縦７５０ドットの部分を切り出して２．０倍に拡大して表示する（ステップＳ１０）。

ユーザによって操作入力部３を介して拡大倍率３．０倍が入力されると（ステップＳ１；Ｙｅｓ）、上記と同様に切換倍率が３．０倍に調整される（ステップＳ２乃至Ｓ５）。

入力された拡大倍率２．０倍は切換倍率３．０倍未満ではないので（ステップＳ６；Ｎｏ）、切換部８５は撮像部７を切り出しモードに切り換える（ステップＳ８）。

制御部８は一部の領域の画素の画素信号を切り出して出力する。これにより、制御部８は、図９（Ｄ）に示すように、水平方向、垂直方向それぞれ１／２となる横２０００ドット×縦１５００ドットの画素信号を出力する（ステップＳ９）。

制御部８は出力された横２０００ドット×縦１５００ドットの画素信号で生成される画像の横１３３３ドット×縦１０００ドットの部分を切り出して１．５倍に拡大して表示する（ステップＳ１０）。こうすることで、結果的に３．０倍に拡大された画像が得られるが、拡大は１．５倍なので、ぼやけやシャギーの発生等、解像度の低下を抑えることができる。

続いて、図１０（Ａ）乃至（Ｄ）を参照して、図５（Ｂ）に示すような周波数ｆ１以上の成分が含まれる画像の拡大処理を説明する。

初期設定である拡大倍率１．０倍の場合、制御部８は隣接する画素の画素信号を加算することにより画素信号を間引いて出力する。これにより、制御部８は、図１０（Ａ）に示すように、水平方向、垂直方向それぞれ１／２となる横２０００ドット×縦１５００ドットの画素信号から生成される画像を１．０倍で表示する。

ユーザによって操作入力部３を介して拡大倍率１．５倍が入力されると（ステップＳ１；Ｙｅｓ）、撮像部７で撮像された画像データをフーリエ変換することにより空間周波数成分に変換する（ステップＳ２）。

周波数変換部８３で変換された空間周波数成分に周波数ｆ１以上の成分が含まれるため（ステップＳ３；Ｙｅｓ）、調整部８４は切換倍率を２．０倍に調整する（ステップＳ５）。

入力された拡大倍率１．５倍は切換倍率２．０倍未満なので（ステップＳ６；Ｙｅｓ）、切換部８５は撮像部７を間引きモードに切り換える（ステップＳ７）。

制御部８は隣接する画素の画素信号を加算することにより画素信号を間引いて出力する。これにより、制御部８は、図１０（Ｂ）に示すように、水平方向、垂直方向それぞれ１／２となる横２０００ドット×縦１５００ドットの画素信号を出力する（ステップＳ９）。

制御部８は出力された横２０００ドット×縦１５００ドットの画素信号で生成される画像の横１３３３ドット×縦１０００ドットの部分を切り出して１．５倍に拡大して表示する（ステップＳ１０）。

ユーザによって操作入力部３を介して拡大倍率２．０倍が入力されると（ステップＳ１；Ｙｅｓ）、上記と同様に切換倍率が２．０倍に調整される（ステップＳ２乃至Ｓ５）。

入力された拡大倍率２．０倍は切換倍率２．０倍未満ではないので（ステップＳ６；Ｎｏ）、切換部８５は撮像部７を切り出しモードに切り換える（ステップＳ８）。

制御部８は一部の領域の画素の画素信号を切り出して出力する。これにより、制御部８は、図１０（Ｃ）に示すように、水平方向、垂直方向それぞれ１／２となる横２０００ドット×縦１５００ドットの画素信号を出力する（ステップＳ９）。

制御部８は出力された横２０００ドット×縦１５００ドットの画素信号で生成される画像を１．０倍で表示する（ステップＳ１０）。

ユーザによって操作入力部３を介して拡大倍率３．０倍が入力されると（ステップＳ１；Ｙｅｓ）、上記と同様に切換倍率が２．０倍に調整され、画素の出力が切り出しモードに切り換えられる（ステップＳ２乃至Ｓ７）。

制御部８は一部の領域の画素の画素信号を切り出して出力する。これにより、制御部８は、図１０（Ｄ）に示すように、水平方向、垂直方向それぞれ１／２となる横２０００ドット×縦１５００ドットの画素信号を出力する（ステップＳ９）。

制御部８は出力された横２０００ドット×縦１５００ドットの画素信号で生成される画像の横１３３３ドット×縦１０００ドットの部分を切り出して１．５倍に拡大して表示する（ステップＳ１０）。

なお、制御部８は出力された画素信号から生成される画像を出力する前に、表示装置１０で画像が表示されるように画像のサイズを変換してもよい。

以上説明したように、本実施形態によれば、画像データが高周波成分を含み、高解像度が要求されるものである場合には、複数の画素各々の画素信号を間引いて出力する間引きモードから２次元領域の一部の領域の画素の画素信号を切り出して出力する切り出しモードに撮像部７を切り換える切換倍率が２．０倍に調整される。また、画像データが高周波成分を含まず、高Ｓ／Ｎ比が要求されるものである場合には、その切換倍率が２．０倍よりも高い３．０倍に調整される。これにより、画像データに含まれる周波数成分に応じた画素信号の取り出しが可能となるので、被写体により好適な画質で画像を撮像することができる。

また、本実施形態では間引きモードにおいて画素信号を加算して出力するようにした。こうすることで、解像度よりも撮像感度やＳ／Ｎ比のほうが画質の向上に要求される人物の顔のように高周波成分が含まれない画像の画質を向上させることができ、被写体に応じてさらに好適な画像を撮像することができる。

また、本実施形態によれば、周波数変換部８３は撮像された画像データの空間周波数成分への変換にフーリエ変換を用いる。フーリエ変換は画像データの空間周波数への変換によく用いられるため、その計算処理が最適化されている。このため、フーリエ変換を用いることにより、周波数変換部８３は空間周波数成分を精度良く効率的に求めることができる。

なお、間引きモードにおいて、撮像部７は４つの同色フィルタを通過した光に基づいて出力される画素信号を加算するが、これに限られるものでなく、２つの同色フィルタ、３つの同色フィルタを通過した光に基づいて出力される画素信号を加算してもよい。また、撮像部７は異なる画素信号の加算の方法を組み合わせて画素信号を加算してもよい。

また、撮像部７は画素信号を必ずしも加算する必要はなく、単に間引くだけであっても良い。

なお、間引きモード及び切り出しモードの切り換えが頻繁に発生すると画質に影響を与える可能性があるため、一度間引きモード及び切り出しモードを切り換えた場合は、その後拡大倍率がわずかに変更されたとしても間引きモード及び切り出しモードの切り換えを行わず、拡大倍率が所定の幅以上で変更された場合に、間引きモード及び切り出しモードの切り換えを行うようにしてもよい。

また、周波数変換部８３はバンドパスフィルタ処理、直交変換処理、連続ウェーブレット変換等により空間周波数を得ることとしてもよい。

なお、周波数ｆ１はレンズの光学性能や撮像素子の画素数などに応じて携帯端末１００のメーカーが決定してもよいし、ユーザインタフェースを介してユーザが決定するようにしてもよい。

なお、本実施形態のように、フルハイビジョン（横１９２０ドット×縦１０８０ドット）を遙かに上回る高精細化された１２メガピクセルのイメージセンサ７１を用いて画像を撮像した場合、各画素から出力される画素信号は増大する。特にこのようなイメージセンサ７１を用いて動画を撮像した場合、上述の画素信号の加算等の画素信号の間引くことによって、画素数が水平方向、垂直方向それぞれ１／２となるため、１フレーム分の画素信号を出力するのに必要な時間は１／４となる。このように出力される画素数を抑えることで動画撮像時のフレームレートの確保、画像データを処理する処理回路や画像データを記憶するメモリの負担軽減等のメリットがある。

なお、携帯端末１００は少なくとも画像を撮像できればよく、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）、ＰＣ（Personal Computer）等であってもよい。

なお、表示装置１０は、ＱＶＧＡ（Quarter Video Graphics Array、横３２０ドット×縦２４０ドット）、ＷＶＧＡ（Wide Video Graphics Array、横８００ドット×縦４８０ドット）、ＦＷＶＧＡ（Full Wide Video Graphics Array、横８５４ドット×縦４８０ドット）等の各種デバイスでもよい。また、表示装置１０は自発光型の有機ＥＬ（Electro-Luminescence）ディスプレイでもよい。

なお、制御部８からＬＣＤコントローラ９への画像の出力は、信号線数の削減やノイズに対する配慮から差動シリアルバスを介して行われるようにしたが、ＣＭＯＳのパラレルバスを介して行われるようにしてもよい。

なお、ＬＣＤコントローラ９から表示装置１０への出力は、ＣＭＯＳのパラレルバスを介して行われるようにしたが、差動シリアルバスを介して行われるようにしてもよい。

なお、上記実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行する携帯端末１００を構成することとしてもよい。

また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

また、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

なお、本発明は、上記実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で実施形態及び図面に変更を加えることができるのはもちろんである。

（付記１）ユーザの操作入力により指定された拡大倍率を入力する操作入力部と、
所定の２次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第１のモードと、前記２次元領域の一部の領域の画素の画素信号を切り出して出力する第２のモードとを切り換え可能な撮像部と、
前記撮像部から出力された画素信号により生成される画像データを空間周波数成分に変換する周波数変換部と、
前記周波数変換部で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第１のモードと前記第２のモードとの切換倍率を第１の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第１の倍率より高い第２の倍率に調整する調整部と、
前記操作入力部によって入力された拡大倍率が前記調整部によって調整された前記切換倍率未満である場合、前記撮像部を前記第１のモードに切り換え、前記拡大倍率が前記調整部によって調整された前記切換倍率以上である場合、前記撮像部を前記第２のモードに切り換える切換部と、
を備える撮像装置。

（付記２）前記第１のモードでは、
隣接する画素の画素信号を加算して出力する、
ことを特徴とする付記１に記載の撮像装置。

（付記３）前記周波数変換部は、
フーリエ変換により前記画像データを空間周波数成分に変換する、
ことを特徴とする付記１又は２に記載の撮像装置。

（付記４）所定の２次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第１のモードと、前記２次元領域の一部の領域の画素の画素信号を切り出して出力する第２のモードとを切り換え可能な撮像部を備える撮像装置における撮像方法であって、
ユーザの操作入力により指定された拡大倍率を入力する操作入力工程と、
前記撮像部から出力された前記画素信号により生成される画像データを空間周波数成分に変換する周波数変換工程と、
前記周波数変換工程で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第１のモードと前記第２のモードとの切換倍率を第１の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第１の倍率より高い第２の倍率に調整する調整工程と、
前記操作入力工程によって入力された拡大倍率が前記調整工程によって調整された前記切換倍率未満である場合、前記撮像装置を前記第１のモードに切り換え、前記拡大倍率が前記調整工程によって調整された前記切換倍率以上である場合、前記撮像装置を前記第２のモードに切り換える切換工程と、
を備える撮像方法。

（付記５）ユーザの操作入力により指定された拡大倍率を入力する操作入力部と、所定の２次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第１のモードと、前記２次元領域の一部の領域の画素の画素信号を切り出して出力する第２のモードとを切り換え可能な撮像部を備える撮像装置を制御するコンピュータを、
前記撮像部から出力された前記画素信号により生成される画像データを空間周波数成分に変換する周波数変換部、
前記周波数変換部で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第１のモードと前記第２のモードとの切換倍率を第１の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第１の倍率より高い第２の倍率に調整する調整部、
前記操作入力部によって入力された拡大倍率が前記調整部によって調整された前記切換倍率未満である場合、前記撮像部を前記第１のモードに切り換え、前記拡大倍率が前記調整部によって調整された前記切換倍率以上である場合、前記撮像部を前記第２のモードに切り換える切換部、
として機能させるプログラム。

１ スピーカ
２ マイクロフォン
３ 操作入力部
４ 通信部
５ 信号処理部
６ 記憶部
７ 撮像部
８ 制御部
９ ＬＣＤコントローラ
１０ 表示装置
４１ 通信アンテナ
４２ 無線回路
５１ 符号復号処理回路
５２ Ｄ／Ａ変換器
７１ イメージセンサ
８１ ＩＳＰ
８２ ＣＰＵ
８３ 周波数変換部
８４ 調整部
８５ 切換部
９１ ＶＲＡＭ
１００ 携帯端末

Claims (5)

1. ユーザの操作入力により指定された拡大倍率を入力する操作入力部と、
   所定の２次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第１のモードと、前記２次元領域の一部の領域の画素の画素信号を切り出して出力する第２のモードとを切り換え可能な撮像部と、
   前記撮像部から出力された画素信号により生成される画像データを空間周波数成分に変換する周波数変換部と、
   前記周波数変換部で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第１のモードと前記第２のモードとの切換倍率を第１の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第１の倍率より高い第２の倍率に調整する調整部と、
   前記操作入力部によって入力された拡大倍率が前記調整部によって調整された前記切換倍率未満である場合、前記撮像部を前記第１のモードに切り換え、前記拡大倍率が前記調整部によって調整された前記切換倍率以上である場合、前記撮像部を前記第２のモードに切り換える切換部と、
   を備える撮像装置。
2. 前記第１のモードでは、
   隣接する画素の画素信号を加算して出力する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記周波数変換部は、
   フーリエ変換により前記画像データを空間周波数成分に変換する、
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 所定の２次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第１のモードと、前記２次元領域の一部の領域の画素の画素信号を切り出して出力する第２のモードとを切り換え可能な撮像部を備える撮像装置における撮像方法であって、
   ユーザの操作入力により指定された拡大倍率を入力する操作入力工程と、
   前記撮像部から出力された前記画素信号により生成される画像データを空間周波数成分に変換する周波数変換工程と、
   前記周波数変換工程で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第１のモードと前記第２のモードとの切換倍率を第１の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第１の倍率より高い第２の倍率に調整する調整工程と、
   前記操作入力工程によって入力された拡大倍率が前記調整工程によって調整された前記切換倍率未満である場合、前記撮像装置を前記第１のモードに切り換え、前記拡大倍率が前記調整工程によって調整された前記切換倍率以上である場合、前記撮像装置を前記第２のモードに切り換える切換工程と、
   を備える撮像方法。
5. ユーザの操作入力により指定された拡大倍率を入力する操作入力部と、所定の２次元領域に配列された複数の画素を有し、前記複数の画素各々の画素信号を間引いて出力する第１のモードと、前記２次元領域の一部の領域の画素の画素信号を切り出して出力する第２のモードとを切り換え可能な撮像部を備える撮像装置を制御するコンピュータを、
   前記撮像部から出力された前記画素信号により生成される画像データを空間周波数成分に変換する周波数変換部、
   前記周波数変換部で変換された空間周波数成分に所定の周波数以上の成分が含まれる場合、前記第１のモードと前記第２のモードとの切換倍率を第１の倍率に調整し、前記空間周波数成分に前記所定の周波数以上の成分が含まれない場合、前記切換倍率を前記第１の倍率より高い第２の倍率に調整する調整部、
   前記操作入力部によって入力された拡大倍率が前記調整部によって調整された前記切換倍率未満である場合、前記撮像部を前記第１のモードに切り換え、前記拡大倍率が前記調整部によって調整された前記切換倍率以上である場合、前記撮像部を前記第２のモードに切り換える切換部、
   として機能させるプログラム。

Images