JP2015167340A - デジタルカメラの撮像方法及びコンピュータが実行可能なプログラム - Google Patents

Abstract

【課題】ユーザが所望の被写体の撮影チャンスを逃すことなく、かつ、適正な撮影パラメータを適用した画像又は適正な構図の画像を得ることが可能なデジタルカメラの撮像方法及びコンピュータが実行可能なプログラムを提供すること。
【解決手段】被写体をＬ（但し、Ｌ≧２）枚連続的に撮像するデジタルカメラの撮像方法であって、Ｎ（但し、０＜Ｎ＜Ｌ）枚目の被写体を撮像した画像データを格納する工程と、前記格納したＮ枚目の被写体を撮像した画像データを、Ｍ枚目の被写体を撮像した画像データの撮影パラメータ及び構図の少なくとも一方を使用して信号処理する工程と、を含む。
【選択図】 図４

Description

本発明は、デジタルカメラの撮像方法及びコンピュータが実行可能なプログラムに関する。

デジタルカメラにおいて、被写体を連続的に撮像する機能（いわゆる連写機能）が利用されている。デジタルカメラで撮像した画像データには、各種の信号処理が施される。例えば、露出を自動的に制御するオートエクスポージャ（以下、ＡＥと略す。）機能と、白色を適切な色に自動調整するオートホワイトバランス（以下、ＡＷＢと略す。）機能などがある。画像データに対するデジタルゲインを調整したり、ガンマ変換におけるガンマカーブを調整したりすることで、露出を制御することが可能である。また、画像データに対するＷＢ（ホワイトバランス）ゲインを調整することで、ホワイトバランス調整を行うことが可能である。これらの撮影パラメータの調整は、イメージセンサに光を取り込んだ後のみに行うことが可能であり、一般には撮影動作開始後数秒後に適切な撮影パラメータを得ることが可能になる。

ユーザがデジタルカメラで被写体を撮影する場合には、被写体の撮影したい状態が非常に短時間の場合があるが（例えば、子供の笑顔、あこがれのスターを街で見かけた場合等）、撮影動作開始直後には適切な撮影パラメータが得られておらず、結果として撮影者の意図とはかけ離れた露出やホワイトバランスの画像を撮影することになってしまう。また、撮影初期の段階では、ユーザは被写体をうまくフレーミングできない場合が多い。

特開２００８−４８３０７号公報 特開２００１−２５１５５１号公報

本発明は、上記に鑑みてなされたものであって、ユーザが所望の被写体の撮影チャンスを逃すことなく、かつ、適切な撮影パラメータを適用した画像又は適正な構図の画像を得ることが可能なデジタルカメラの撮像方法及びコンピュータが実行可能なプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、被写体をＬ（但し、Ｌ≧２）枚連続的に撮像するデジタルカメラの撮像方法であって、Ｎ（但し、０＜Ｎ＜Ｌ）枚目の被写体を撮像した画像データを格納する工程と、前記格納したＮ枚目の被写体を撮像した画像データを、Ｍ枚目の被写体を撮像した画像データの撮影パラメータ及び構図の少なくとも一方を使用して信号処理する工程と、を含むことを特徴とする。

また、本発明の好ましい態様によれば、前記格納する工程では、前記Ｎ枚目に撮像した被写体のＲＡＷデータを格納し、前記信号処理する工程では、前記格納したＮ枚目の被写体のＲＡＷデータに対して、前記Ｍ枚目の被写体を撮像した画像データの撮影パラメータを使用して信号処理することが望ましい。

また、本発明の好ましい態様によれば、シャッターボタンが押された場合に、被写体をＬ（但し、Ｌ≧２）枚連続的に撮像することが望ましい。

また、本発明の好ましい態様によれば、前記デジタルカメラが起動した場合に、被写体をＬ（但し、Ｌ≧２）枚連続的に撮像し、前記Ｍ（但し、Ｎ＜Ｍ≦Ｌ）枚目の被写体は、シャッターボタンが押された際に撮像した画像データであることが望ましい。

また、本発明の好ましい態様によれば、前記撮影パラメータは、ホワイトバランス調整用パラメータであり、前記画像処理する工程では、前記格納したＮ枚目の被写体を撮像した画像データを、Ｍ枚目の被写体を撮像した画像データのホワイトバランス調整用パラメータを使用してホワイトバランス調整することが望ましい。

また、本発明の好ましい態様によれば、前記撮影パラメータは、露出調整用パラメータであり、前記信号処理する工程では、前記格納したＮ枚目の被写体を撮像した画像データを、Ｍ枚目の被写体を撮像した画像データの露出調整用パラメータを使用して露出調整することが望ましい。

また、本発明の好ましい態様によれば、前記信号処理する工程では、前記格納したＮ枚目の被写体を撮像した画像データの構図を、前記Ｍ枚目の被写体を撮像した画像データの構図に基づいて変更することが望ましい。

また、本発明の好ましい態様によれば、前記信号処理する工程では、前記Ｍ枚目の画像データと前記Ｎ枚目の画像データで同じオブジェクトがあるか否かを判断し、同じオブジェクトがあり、かつ、当該同じオブジェクトが前記Ｍ枚目の画像データが前記Ｎ枚目の画像データに比して、中央又は大きく存在している場合には、前記Ｎ枚目の画像データの構図を、前記Ｍ枚目の画像データの構図を使用して変更し、同じオブジェクトがない場合、又は、同じオブジェクトがある場合でも当該同じオブジェクトが前記Ｍ枚目の画像データが前記Ｎ枚目の画像データに比して、中央又は大きく存在していない場合には、前記Ｎ枚目の画像データの構図を、前記Ｍ枚目の画像データの構図を使用して変更しないことが望ましい。

また、本発明の好ましい態様によれば、前記オブジェクトは人物であることが望ましい。

また、上述した課題を解決し、目的を達成するために、本発明は、被写体をＬ（但し、Ｌ≧２）枚連続的に撮像するデジタルカメラに搭載されるプログラムであって、Ｎ（但し、０＜Ｎ＜Ｌ）枚目の被写体を撮像した画像データを格納する工程と、前記格納したＮ枚目の被写体を撮像した画像データを、Ｍ（但し、Ｎ＜Ｍ≦Ｌ）枚目の被写体を撮像した画像データの撮影パラメータ及び構図の少なくとも一方を使用して信号処理する工程と、をコンピュータに実行させることを特徴とする。

本発明によれば、ユーザが所望の被写体の撮影チャンスを逃すことなく、かつ、高画質な画像又は適正な構図の画像を得ることが可能となるという効果を奏する。

図１−Ａは、本実施の形態に係る撮像装置の連続撮影方法の原理を説明するための図である。 図１−Ｂは、本実施の形態に係る撮像装置の連続撮影方法の原理を説明するための図である。 図２−Ａは、携帯電話端末の外観を示す斜視図である。 図２−Ｂは、携帯電話端末の外観を示す背面図である。 図３は、携帯電話端末の概略の構成を示すブロック図である。 図４は、カメラデバイスの概略の機能ブロック図である。 図５は、カメラ操作画面の一例を示す図である。 図６は、連続撮像処理を説明するための説明図である。 図７は、構図最適化処理を説明するためのフローチャートである。 図８は、構図最適化処理の具体的な画像の例を示す図である。 図９は、連続撮像処理の変形例を説明するための説明図である。 図１０は、構図最適化処理の変形例を説明するためのフローチャートである。

以下に、この発明にかかるデジタルカメラの撮像方法及びコンピュータが実行可能なプログラムに基づいて詳細に説明する。本発明の構成要素は、本明細書の図面に一般に示してあるが、様々な構成で広く多様に配置し設計してもよいことは容易に理解できる。したがって、本発明の装置、システム及び方法の実施形態についての以下のより詳細な説明は、特許請求の範囲に示す本発明の範囲を限定するものではなく、単に本発明の選択した実施形態の一例を示すものであって、本明細書の特許請求の範囲に示す本発明と矛盾無く装置、システム及び方法についての選択した実施形態を単に示すものである。当業者は、特定の細目の１つ以上が無くても、又は他の方法、部品、材料でも本発明を実現できることが理解できる。なお、この実施の形態によりこの発明が限定されるものではない。また、下記実施の形態における構成要素には、当業者が容易に想定できるもの又は実質的に同一のものが含まれる。下記の実施の形態と変形例はそれぞれ単独で実施してもよく、また、その一部又は全部を組み合わせて実施してもよい。

（本発明の概要）
図１−Ａ及び図１−Ｂは、本実施の形態に係るデジタルカメラの連続撮影方法の原理を説明するための図である。デジタルカメラで撮影する場合には、被写体を「撮りたい」と思ったらすぐに撮影したい場合があるが（例えば、子供の笑顔、あこがれのスターを街で見かけた場合等）、撮影チャンスを取り逃している場合が多い。そのため、被写体を「撮りたい」と思ったらすぐに撮影できることが望まれる。しかしながら、現在の技術のレベルでは、被写体を適正に撮影できる状態になるまでのタイムラグが存在しており、被写体を撮影する場合に、撮影パラメータ（ホワイトバランスや露出等）や構図は、徐々に適正な状態になっていく。

図１−Ａにおいて、横軸は時間（連続撮影の撮影枚数）、縦軸は被写体を連続撮影した場合の画像としての好ましさを示している。２０１は、ユーザが撮影対象を撮りたかった状態との類似度（例えば、人の笑顔を撮りたい場合には、笑顔が撮りたかった状態である）、２０２は撮影パラメータ（ホワイトバランスや露出等）の安定度、２０３はユーザによる撮影構図の安定度を示している。

図１−Ａ及び図１−Ｂに示すように、１枚目と６枚目を比較すると、撮影対象については、１枚目の方が６枚目に比して、ユーザが撮りたかった状態に近く、先に撮影した画像の方が好ましい。また、撮影パラメータの安定度については、６枚目の方が１枚目に比して、撮影パラメータは安定しており、後に撮影した画像の方が好ましい。ユーザによる撮影構図の安定度については、６枚目の方が１枚目に比して、撮りたい撮影対象を安定してフレーミングできている場合が多く、後に撮影した画像の方が好ましい。

そこで、本実施の形態では、被写体を連続撮影する場合に、撮影対象については先に撮影した画像の方が好ましく、撮影パラメータや構図に関しては、後に撮影した画像の方が好ましいという着想に基づいて、被写体をＬ（但し、Ｌ≧２）枚連続的に撮像する場合に、先に撮影（Ｎ枚目（但し、０＜Ｎ＜Ｌ））した被写体の画像データを、後に撮影（Ｍ枚目（但し、Ｎ＜Ｍ≦Ｌ））した被写体の画像データの撮影パラメータや構図を使用して信号処理することで、ユーザが所望の被写体の撮影チャンスを逃すことなく、かつ、高画質な画像及び適正な構図の画像を得ることを可能としている。

（実施の形態）
本実施の形態に係るデジタルカメラを適用した携帯電話端末１の外観構成について説明する。本実施の形態では、携帯電話端末の一例としてスマートフォンについて説明する。図２−Ａは、携帯電話端末１の外観を示す斜視図である。図２−Ｂは、携帯電話端末の外観を示す背面図である。

図２−Ａ及び図２−Ｂに示すように、携帯電話端末１は、略六面体形状の筐体２を備えている。筐体２の表面のうち一方側の面を正面２Ａ、正面２Ａに対向する他方側の面を背面２Ｃ、筐体２の表面のうち正面２Ａと背面２Ｃに挟まれた面を側面２Ｂとする。携帯電話端末１は、筐体２の正面２Ａに、タッチパネル３Ａ及び表示部３Ｂで構成されるタッチ表示部３と、操作部４と、マイク５と、スピーカ７とが配置されている。筐体２の背面２Ｃには、カメラ部６Ａが配置されている。筐体２の側面２Ｂには、不図示の電源ボタンやボリューム調整ボタン等が配置されている。

タッチ表示部３は、正面２Ａの中央の略全域に亘って配置されている。操作部４及びマイク５は、正面２Ａの長手方向の一方の端部に配置されている。スピーカ７は、正面２Ａの長手方向の他方の端部に配置されている。カメラ部６Ａは、背面２Ｃの長手方向の一方の端部に配置されている。カメラ部６Ａでは背面２Ｃ側から撮影が可能となっている。

タッチ表示部３は、文字、図形、画像等の情報を表示するとともに、指、スタイラス、ペン等（以下、「指示体」と称する）を用いてタッチパネル３Ａに対して行われる各種操作を検出する。タッチパネル３Ａが各種操作を検出する方式は、静電容量式、感圧式等の方式を採用することができる。

カメラ部６Ａで撮影した画像は表示部３Ｂに表示可能となっており、ユーザは、表示部３Ｂを電子ビューファインダーとして使用することができる。ユーザは、表示部３Ｂに表示される画像を観ながらシャッタチャンスを得ることができる。

図３は、携帯電話端末１の概略の構成を示すブロック図である。図３に示すように、携帯電話端末１は、制御部１０と、メモリ１１と、記憶部１２と、通信部１３と、カメラ部６Ａを含むカメラデバイス６と、タッチ表示部３（タッチパネル３Ａ、表示部３Ｂ）と、操作部４と、マイク５と、スピーカ７とを備えている。

タッチ表示部３は、表示部３Ｂと、表示部３Ｂに重畳されたタッチパネル３Ａとを有する。タッチパネル３Ａは、指やペン等の指示体を用いてタッチパネル３Ａに対して行われた各種操作を、操作が行われた場所のタッチパネル３Ａ上での位置とともに検出し、制御部１０に通知する。タッチパネル３Ａによって検出される操作には、タッチ操作、スライド操作、及びピッチ操作が含まれる。表示部３Ｂは、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネルなどで構成され、文字や図形等を表示する。

操作部４は、ボタン４Ａ、４Ｂ等を通じて利用者の操作を受け付け、受け付けた操作に対応する指示信号を制御部１０へ送信する。ボタン４Ａは、連続撮影（単に「連写」ともいう）モードと通常撮影モードとを切り替えるためのボタンである。連続撮影モードは、シャッターボタンが押された場合に、被写体を複数枚連続して撮影するモードである。通常モードは、シャッターボタンが押された場合に被写体を１枚撮影するモードである。

電源部１４は、制御部１０の制御に従って、蓄電池またはＡＣアダプタから得られる電力を、制御部１０を含む携帯電話端末１の各機部へ供給する。

通信部１３は、基地局によって割り当てられるチャネルを介し、基地局との間で無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。スピーカ７は、制御部１０から送信される音声信号を音声として出力する。マイク５は、利用者等の音声を音声信号へ変換して制御部１０へ出力する。

メモリ１１は、例えば、ＲＡＭやＤＲＡＭ等で構成されており、制御部１０によって実行されるプログラム、制御部１０が参照するデータ、制御部１０の演算結果等が一時的に記憶されるワークエリアとして使用される。

記憶部１２は、例えば、不揮発性メモリや磁気記憶装置であり、制御部１０での処理に利用されるプログラムやデータを保存する。記憶部１２に記憶されるプログラムには、携帯電話端末１の基本的な機能を実現するＯＳ、デバイスをハードウェア制御するためのデバイス・ドライバ、カメラ機能を実現するためのカメラアプリケーションプログラム、電子メール機能を実現するための機能を提供するメールアプリケーションプログラム、ＷＥＢブラウジング機能を実現するための機能を提供するブラウザアプリケーションプログラム等が含まれる。

制御部１０は、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ、ＤＳＰ等であり、携帯電話端末１の動作を統括的に制御して各種の機能（モード）を実現する。具体的には、制御部１０は、記憶部１２に記憶されているデータやメモリ１１に展開したデータを必要に応じて参照しつつ、記憶部９に記憶されているプログラムに含まれる命令を実行して、タッチ表示部３、通信部１３，カメラデバイス６等を制御することによって各種機能（モード）を実現する。なお、制御部１０が実行するプログラムや参照するデータは、通信部１３による無線通信でサーバ装置からダウンロードすることとしてもよい。

図４は、カメラデバイス６の概略の機能ブロック図である。カメラデバイス６は、カメラ部６Ａ、アナログ信号処理回路２４，Ａ／Ｄ変換回路２５，ＩＳＰ（Image signal Processor）２６、カメラデバイス６と制御部１０を接続するためのインターフェース２７等を備えている。

カメラ部６Ａは、レンズ２１と、レンズ移動機構（ＡＦ機能、ズーム機能）、メカニカルシャッタ、及び自動絞り機能などを備えたメカ機構２２と、イメージセンサ２３等を備えている。レンズ２１は、例えば、広角ズームレンズであり、焦点位置及びズーム位置を調整するために移動可能に構成されており、被写体光を結像する。イメージセンサ２３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子、およびＲＧＢカラーフィルタ等を備えており、レンズ２１で結像された被写体光をＲ、Ｇ、Ｂのアナログの画像データとして、アナログ信号処理回路２４に出力する。

アナログ信号処理回路２４は、イメージセンサ２３から出力されたＲ，Ｇ，Ｂのアナログの画像データに対してアナログ信号処理（低雑音化やアナログゲイン補正等）を施して、Ａ／Ｄ変換回路２５に出力する。

Ａ／Ｄ変換回路２５は、Ｒ，Ｇ，Ｂのアナログの画像データをＡ／Ｄ変換して、Ｒ，Ｇ，Ｂのデジタルの画像データ（ＲＡＷデータ）をＩＳＰ２６に出力する。Ａ／Ｄ変換回路２５から出力されるＲ，Ｇ，Ｂのデジタル画像データは、未だ画素補間処理等のデジタル信号処理が行われていないＲＡＷデータである。

ＩＳＰ（Image Signal Processor）２６は、入力されるＲＡＷデータに対して、画素補間処理、ＡＷＢ調整、ＡＥ調整、及び色差・輝度分離処理等の各種のデジタル信号処理を行う。ＩＳＰ２６は、ＲＡＷデータ、ＡＷＢ調整パラメータ（ホワイトバランス調整用パラメータ）及びＡＥ調整パラメータ（露出調整用パラメータ）を格納するためのバッファメモリ３１、画素補間部３２、ＡＷＢ調整部３３、ＡＥ調整部３４、輝度色差分離部３５、ビデオ信号処理部３６、ＪＰＥＧ処理部３７等を備えている。

画素補間部３２は、Ｒ、Ｇ、Ｂの各画像データを補間する。ＡＷＢ調整部３３は、Ｒ、Ｇ、Ｂの画像データからＡＷＢ調整用評価値を取得し、取得したＡＷＢ調整用評価値に基づいてＡＷＢ調整パラメータを算出して、算出したＡＷＢ調整パラメータに基づいてホワイトバランス調整を行う。例えば、ＡＷＢ調整用評価値は、Ｒ，Ｇ，Ｂデータを画面内の複数ブロック毎かつ色毎に積算した値等とすることができ、ＡＷＢ調整パラメータは、Ｒ、Ｇ、Ｂ用のデジタルゲイン値とすることができ、ＡＷＢ調整では、Ｒ，Ｇ，Ｂの画像データの各デジタルゲインを調整することにしてもよい。

ＡＥ調整部３４は、Ｒ、Ｇ、Ｂの画像データからＡＥ調整用評価値を取得し、取得したＡＥ調整用評価値に基づいてＡＥ調整パラメータを算出し、算出したＡＥ調整パラメータに基づいてＡＥ調整を行う。例えば、ＡＥ調整用評価値は、Ｇデータを画面内の複数ブロックごとに積算した値等とすることができ、ＡＥ調整パラメータは、デジタルゲイン値やガンマ変換特性値であり、ＡＥ調整では、Ｒ、Ｇ、Ｂ画像データのデジタルゲインの調整やガンマ変換等を行うことにしてもよい。

輝度色差分離部３５は、Ｒ、Ｇ、Ｂの画像データを色差信号（Ｃｂ，Ｃｒ）と輝度信号（Ｙ）とに分離する。ビデオ信号処理部３６は、色差信号（Ｃｂ，Ｃｒ）と輝度信号（Ｙ）とに基づいてビデオ信号を作成する。このビデオ信号は制御部１０を介して、タッチ表示部３に出力されて被写体の画像が表示される。

ＪＰＥＧ処理部３７は、例えばＪＰＥＧ準拠の画像圧縮・伸長の一過程である直交変換，並びに，ＪＰＥＧ準拠の画像圧縮・伸長の一過程であるハフマン符号化・復号化等を行う。

制御部１０は、記憶部１２に格納されたカメラアプリケーションプログラム１２Ａに従ってメモリ１１を作業領域として使用して、操作部４からの指示又はタッチ表示部３に表示したカメラ操作画面からの操作指示に従い，カメラデバイス６の全動作を制御する。

具体的には、制御部１０は，撮像動作（連続撮像を含む）、ＡＥ動作、ＡＷＢ調整動作や、ＡＦ動作等の制御を行う。また、制御部１０は、顔検出機能等を備えており、画像データから人物の顔を検出することが可能となっている。また、制御部１０は、ＪＰＥＧ処理部３７でＪＰＥＧ圧縮処理されたＪＰＥＧデータの記憶部１２への記録、又は、記憶部１２からの読み出しを行う。

制御部１０は、ユーザ操作により、タッチ表示部３でカメラアプリケーションプログラム１２Ａが選択されると、カメラアプリケーションプログラム１２Ａを起動して、カメラデバイス６を起動させると共に、カメラ操作画面をタッチ表示部３に表示する。図５は、タッチ表示部３に表示されるカメラ操作画面の一例を示す図である。図５に示すように、カメラ操作画面には、撮影した画像データや，伸長処理された記録画像データを表示する領域（電子ビューファインダー）８Ａと、シャッターボタン８Ｃや各種機能選択を行うためのボタン（不図示）、カメラデバイス６の状態等が表示される領域８Ｂと、を備えている。ユーザは、領域８Ａ内をタッチすることでフォーカス位置を指定することができ（マニュアルフォーカス）、制御部１０は、メカ機構２２を制御して、指定されたフォーカス位置に対応する位置にレンズ２１を移動させる。

上記図４のように構成されたカメラデバイス６の連続撮影処理を図６〜図８を参照しつつ説明する。図６は、連続撮影処理を説明するための説明図である。図７は、構図最適化処理を説明するためのフローチャートである。図８は、構図最適化処理の具体的な画像の例を示す図である。

まず、ユーザ操作によりタッチ表示部３でカメラアプリケーションプログラム１２Ａが選択されると、制御部１０は、カメラアプリケーションプログラム１２Ａを起動して、カメラデバイス６を起動させると共に、カメラ操作画面をタッチ表示部３に表示する。そして、連続撮影モードが選択された状態で、ユーザが、シャッターボタン８Ｃを押すと、連続的にＬ枚（Ｌは２枚以上）、被写体の撮像が行われる。この場合、ユーザは、所望の撮影対象を直ぐにフレーミングしてシャッターボタン８Ｃを押し、徐々に被写体のフレーミングを合わせていく。以下では、１０枚連続撮影する場合を一例として説明する。

まず、連続撮影モードが設定されている状態で、ユーザがシャッターボタン８Ｃを押すと、１枚目の撮影が行われる。より具体的には、メカ機構２２のシャッターが一定時間開かれ、被写体像がイメージセンサ２３に入射される。イメージセンサ２３から出力されたＲＧＢの画像データは、アナログ信号処理回路２４でアナログ信号処理された後、Ａ／Ｄ変換回路２５でＡ／Ｄ変換されて、ＲＧＢのデジタル画像データ（ＲＡＷデータ）がＩＳＰ２６に入力される。

ＩＳＰ２６では、１枚目のＲＡＷデータがバッファメモリ３１に格納される（図６のＴ１参照）。すなわち、バッファメモリ３１には、デジタル信号処理される前の１枚目のＲ，Ｇ，Ｂの画像データが格納される。また、１枚目のＲＡＷデータは、画素補間部３２でＲ、Ｇ、Ｂの各画素が補間される。画素の補間後、ＡＷＢ調整部３３では、Ｒ、Ｇ、Ｂの画像データからＡＷＢ調整用評価値を取得し、取得したＡＷＢ調整用評価値に基づいてＡＷＢ調整パラメータを算出し、算出したＡＷＢ調整パラメータに基づいてＡＷＢ調整が行われる。

つづいて、ＡＥ調整部３４では、Ｒ、Ｇ、Ｂの画像データからＡＥ調整用評価値を取得し、取得したＡＥ調整用評価値に基づいてＡＥ調整パラメータを算出して、算出したＡＥ調整パラメータに基づいてＡＥ調整が行われる。

この後、輝度・色差分離部３５で色差信号（Ｃｂ，Ｃｒ）と輝度信号（Ｙ）に分離された後、ビデオ信号処理部３６でビデオ信号が作成され、制御部１０を介して、タッチ表示部３に被写体の画像が表示される。

続いて、２〜１０枚目の撮影が順次行われる。２〜１０枚目に撮像して得られるＲＡＷデータはバッファメモリ３１に保存することなく、ＩＳＰ２６で同様なデジタル信号処理が施される。撮影が進むと、ＡＷＢ調整及びＡＥ調整により、適正なホワイトバランス及び露出（明るさ）の画像となっていく。１０枚目の撮影では、ＡＷＢ調整部３３は、１０枚目のＡＷＢ調整で使用したＡＷＢ調整パラメータをバッファメモリ３１に格納し（図６のＴ２）、ＡＥ調整部３４は、１０枚目のＡＥ調整で使用したＡＥ調整パラメータをバッファメモリ３１に格納する（図６のＴ３）。さらに、ＪＰＥＧ処理部３７では、色差信号（Ｃｂ，Ｃｒ）と輝度信号（Ｙ）とに基づいてＪＰＥＧ（圧縮）データを生成し、制御部１０を介して、１０枚目のＪＰＥＧデータとして記憶部１２に格納される（図６のＴ４）。なお、２〜９枚目については、ＪＰＥＧデータの作成及び保存は行われない。

そして、ＩＳＰ２６では、制御部１０の指示に従って、バッファメモリ３１に格納した１枚目のＲＷＡデータに対して、バッファメモリ３１に格納した、１０枚目のＡＷＢ調整パラメータ及びＡＥ調整パラメータを使用して、デジタル信号処理が施される（図６のＴ５）。

より具体的には、ＩＳＰ２６では、１枚目のＲＡＷデータは、画素補間部３２でＲ、Ｇ、Ｂの各画像データに補間された後、ＡＷＢ調整部３２では、１０枚目のＡＷＢ調整パラメータを使用してＡＷＢ調整が行われ、ＡＥ調整部３３では、１０枚目のＡＥ調整パラメータを使用してＡＥ調整が行われる。この後、輝度・色差分離部３５で色差信号（Ｃｂ，Ｃｒ）と輝度信号（Ｙ）に分離された後、ＪＰＥＧ処理部３７でＪＰＥＧデータが作成された後、制御部１０を介して、１枚目のＪＰＥＧデータとして記憶部１２に格納される（図５のＴ６）。

続いて、制御部１０は、１枚目の画像データの構図を、１０枚目の画像データの構図を使用して変更する構図最適化処理を実行する（図６のＴ７）。構図最適化処理の具体的な処理の例を図７及び図８を参照して説明する。

図７において、制御部１０は、１枚目と１０枚目のＪＰＥＧデータを記憶部１２から読み出し、ＪＰＥＧ処理部３７で伸張処理させた後、１枚目の画像データと１０枚目の画像データで同じオブジェクトがあるか否かを判断する（ステップＳ１）。オブジェクトは例えば人物である。制御部１０は、１枚目と１０枚目で同じオブジェクトがない場合には（ステップＳ１の「Ｎｏ」）、１枚目の画像データの構図を最適化しない（ステップＳ４）。なお、オブジェクトは、人物に限られず、例えば、動物（例えば、犬、猫等）、乗物（例えば、自動車、ＵＦＯ等）等でもよく、１枚目と１０枚目で同じオブジェクトが存在する場合に適用可能である。

他方、１枚目と１０枚目で同じオブジェクトがある場合には（ステップＳ１の「Ｙｅｓ」）、制御部１０は、同じオブジェクトは、１０枚目の画像データが１枚目の画像データに比して、中央又は大きく写っているか否かを判断する（ステップＳ２）。同じオブジェクトが、１０枚目の画像データが１枚目の画像データに比して、中央又は大きく写っていない場合には（ステップＳ２の「Ｎｏ」）、１枚目の画像データの構図を最適化しない（ステップＳ４）。

同じオブジェクトは、１０枚目の画像データが１枚目の画像データに比して、中央又は大きく写っている場合には（ステップＳ２の「Ｙｅｓ」）、制御部１０は、１０枚目の画像データの構図に基づいて、３分割、２分割、水平・垂直分割等を使用して、１枚目の画像データの構図を最適化する（ステップＳ３）。そして、制御部１０は、構図を最適化した１枚目の画像データをＪＰＥＧ処理部３７でＪＰＥＧデータに変換させ、記憶部１２に格納する。また、制御部１０は、構図を最適化した１枚目の画像データをビデオ処理部３６でビデオ信号に変換させて、タッチ表示部３に表示する。これにより、ユーザに、撮影対象については１枚目を使用し、かつ、撮影パラメータや構図については１０枚目を使用した画像をユーザに提供することが可能となる。

次に、図８を参照して、構図最適化処理の具体的な画像の例を説明する。１枚目の画像１００は笑顔の女性１１０を撮影できており、撮影対象は好適である。他方、女性１１０が左下に小さく写っているため構図が望ましくない。１０枚目の画像が画像１０１の場合は、女性１１１が右下に部分的に写っているため、望ましい構図でないので、１枚目の画像１０１の構図最適化は行わない。一方、１０枚目の画像が画像１０２の場合は、女性１１２が中央に大きく写っているため、望ましい構図である。そこで、１枚目の画像１０１の構図を、１０枚目の画像１０２の構図を使用して好適化する。一例として、１枚目の画像１０１の女性１１０をクリッピング及び拡大して、１０枚目の画像１０２の女性１１２の位置に移動させる。これにより、１枚目の画像は、画像１０３に示すように、笑顔の女性１１０が中央に大きく配置された画像となる。

なお、上記実施の形態では、１枚目に撮影した画像データを、１０枚目に撮影した画像データの撮影パラメータや構図を使用して信号処理することとしたが、本発明はこれに限られるものではなく、被写体をＬ（但し、Ｌ≧２）枚連続的に撮像する場合に、先に撮像（Ｎ枚目（但し、０＜Ｎ＜Ｌ））した画像データを、後に撮像（Ｍ枚目（但し、Ｎ＜Ｍ≦Ｌ））した画像データの撮影パラメータや構図を使用して信号処理することにすればよい。

以上説明したように、本実施の形態によれば、被写体をＬ（但し、Ｌ≧２）枚連続的に撮像する場合に、先に撮像（Ｎ枚目（但し、０＜Ｎ＜Ｌ））した画像データを、後に撮像（Ｍ枚目（但し、Ｎ＜Ｍ≦Ｌ））した画像データの撮影パラメータや構図を使用して信号処理することとしたので、ユーザが撮りたかった被写体（撮影対象）について、高画質かつ適正な構図の画像を得ることが可能となる。

また、上記実施の形態では、先に撮像（Ｎ枚目（但し、０＜Ｎ＜Ｌ））した画像データを、後に撮像（Ｍ枚目（但し、Ｎ＜Ｍ≦Ｌ））した画像データの撮影パラメータ及び構図を使用して信号処理することとしたが、撮影パラメータ及び構図の両方を使用して信号処理する必要は必ずしもなく少なくとも一方を使用して信号処理することにしてもよい。

また、上記実施の形態では、撮影パラメータとして、ＡＷＢ調整パラメータやＡＥ調整パラメータについて説明したが、本発明はこれに限られるものではなく、後に撮影した画像データの他の撮影パラメータを使用して、先に撮影した画像データを信号処理することにしてもよい。他の撮影パラメータは例えばＡＦ調整パラメータである。

また、上記実施の形態では、電子ビューファインダーを使用することしたが、光学ファインダーを使用することにしてもよい。

また、上記実施の形態では、１枚目のＲＡＷデータを格納するためのバッファメモリ３１を備えているが、バッファメモリ３１がない構成の場合には、１枚目に撮像してデジタル信号処理したＪＰＥＧデータ及び１０枚目のＡＷＢ調整パラメータ及びＡＥ調整パラメータを記憶部１２に格納し、ＪＰＥＧデータを伸張処理した後に、１０枚目のＡＷＢ調整パラメータ及びＡＥ調整パラメータを使用してデジタル信号処理することにしてもよい。

（変形例）
上記実施の形態では、連続撮影モードが選択された状態で、ユーザが、シャッターボタン８Ｃを押すと、被写体を連続的に撮影し、１枚目に撮影した画像データを、１０枚目に撮影した画像の撮影パラメータや構図を使用して信号処理することとした。本発明はこれに限られるものではなく、連続撮影モードが選択されている状態でカメラアプリケーションプログラム１２Ａ（カメラデバイス６）が起動した場合に、連続撮影を開始し、１枚目に撮影した画像データを、ユーザがシャッターボタン８Ｃを押した際に撮影した画像データの撮影パラメータや構図を使用して信号処理することにしてもよい。これにより、ユーザが撮影パラメータや構図が適正と思われる画像データを取得でき、この取得した画像データの撮影パラメータや構図を使用して、１枚目の画像データの撮影パラメータや構図を変更することが可能となり、よりユーザの意志を反映した撮影パラメータや構図とすることができる。

図９は、連続撮影処理の変形例を説明するための説明図である。図９において、図６と同様な部分は説明を省略し、異なる点についてのみ説明する。連続撮影モードが設定されている状態でカメラデバイス６が起動すると、まず、１枚目の撮像が行われ、ＩＳＰ２６では、１枚目のＲＡＷデータがバッファメモリ３１に格納されると共に（図９のＴ１１参照）、デジタル信号処理が行われる。なお、１枚目の撮像は、カメラデバイス６が静止した状態で、パンクロフォーカス（近距離から遠距離までピントを合わせる）撮影を行うことにしてもよい。

続いて、次の撮影が順次行われ、ユーザがタッチ表示部３に表示される被写体の画像を観て、明るさやホワイトバランスが適正で、被写体の構図も適正と判断した場合にシャッターボタン８Ｃを押す。この場合、ユーザはマニュアルでフォーカスを合わせることにしてもよい。

シャッターボタン８Ｃが押されたときに撮像された画像データが、例えば、９枚目の画像データとした場合には、９枚目の撮像では、ＡＷＢ調整部３３は、９枚目のＡＷＢ調整で使用したＡＷＢ調整パラメータをバッファメモリ３１に格納し（図９のＴ１２参照）、ＡＥ調整部３４は、９枚目のＡＥ調整で使用したＡＥ調整パラメータをバッファメモリ３１に格納する（図９のＴ１３参照）。さらに、ＪＰＥＧ処理部３７では、色差信号（Ｃｂ，Ｃｒ）と輝度信号（Ｙ）とに基づいてＪＰＥＧ（圧縮）データを生成し、制御部１０を介して、９枚目のＪＰＥＧデータとして記憶部１２に格納される（図９のＴ１４）。

そして、ＩＳＰ２６では、制御部１０の指示に従って、バッファメモリ３１に格納した１枚目のＲＷＡデータに対して、バッファメモリ３１に格納した、９枚目のＡＷＢ調整パラメータ及びＡＥ調整パラメータを使用して、ＡＷＢ調整やＡＥ調整等のデジタル信号処理が施された後（図９のＴ１５）、１枚目のＪＰＥＧデータとして記憶部１２に格納される（図９のＴ１６）。

制御部１０は、１枚目と９枚目のＪＰＥＧデータを記憶部１２から読み出し、ＪＰＥＧ処理部３７で伸張処理させた後、１枚目の画像データの構図を、９枚目の画像データの構図を使用して変更する構図最適化処理を実行する（図９のＴ１７）。制御部１０は、構図最適化処理が施された１枚目の画像データをＪＰＥＧ処理部３７でＪＰＥＧデータに変換させ、記憶部１２に格納する。また、構図を最適化した１枚目の画像データをビデオ処理部３６でビデオ信号に変換させて、タッチ表示部３に表示する。

図１０は、構図最適化処理の他の例を説明するためのフローチャートである。図１０において、制御部１０は、１枚目と９枚目のＪＰＥＧデータを記憶部１２から読み出し、ＪＰＥＧ処理部３７で伸張処理させた後、１枚目の画像データと９枚目の画像データで同じ人物の顔があるか否かを判断する（ステップＳ１１）。１枚目と９枚目で同じ人物の顔が
ない場合には（ステップＳ１１の「Ｎｏ」）、ステップＳ１５に移行する。

１枚目の画像と９枚目の画像で同じ人物の顔がある場合には（ステップＳ１１の「Ｙｅｓ」）、制御部１０は、人物を対象と特定し（ステップＳ１２）、人物が９枚目の画像データが１枚目の画像データに比して、中央又は大きく写っているか否かを判断する（ステップＳ１３）。人物は、１０枚目の画像データが１枚目の画像データに比して、中央又は大きく写っていない場合には（ステップＳ１３の「Ｎｏ」）、１枚目の画像の構図を最適化しない（ステップＳ１７）。

同じ人物は、９枚目の画像データが１枚目の画像データに比して、中央又は大きく写っている場合には（ステップＳ１３の「Ｙｅｓ」）、制御部１０は、９枚目の画像データの構図に基づいて、３分割、２分割、水平・垂直分割等を使用して、１枚目の画像データ（人物）の構図を最適化する（ステップＳ１４）。

ステップＳ１５では、制御部１０は、１枚目の画像データに存在していて、９枚目の画像データに存在しない物体（移動物）があるか否かを判断する。１枚目の画像データに存在していて、９枚目の画像データに存在しない物体がある場合には（ステップＳ１５の「Ｙｅｓ」）、制御部１０は、当該物体を対象物であると判断し（ステップＳ１６）、１枚目の画像の構図を最適化しない（ステップＳ１７）。この場合は、１枚目で撮影できていた撮影対象を、９枚目では撮影できていないので、１枚目の画像データの構図をそのまま使用する。

他方、１枚目の画像に存在していて、９枚目の画像に存在しない物体がない場合には（ステップＳ１５の「Ｙｅｓ」）、１枚目の画像データを９枚目の画像データと同じ構図にする（ステップＳ１８）。すなわち、この場合は、１枚目の撮影で目的とする撮影対象を撮影できていないことになるので、９枚目の画像データの構図を使用する。

なお、上記変形例では、１枚目に撮像した画像データを、シャッターボタンを押した際に撮像した（９枚目の）画像データの撮影パラメータや構図を使用して信号処理することとしたが、先に撮像した画像データは１枚目に限られるものではなく、また、シャッターボタンを押した際に撮像されるのは９枚目の画像データに限られるものではない。被写体をＬ（但し、Ｌ≧２）枚連続的に撮像する場合に、先に撮像（Ｎ枚目（但し、０＜Ｎ＜Ｌ））した画像データを、シャッターボタンを押した際に撮像（Ｍ枚目（但し、Ｎ＜Ｍ≦Ｌ））した画像データの撮影パラメータや構図を使用して信号処理することにすればよい。

なお、上記実施の形態では、デジタルカメラを搭載した携帯電話端末について説明したしたが、単体のデジタルカメラ装置にも適用可能である。また、デジタルカメラを搭載するデバイスは携帯電話端末に限られるものではなく、タブレットＰＣ、ノートＰＣ、ＰＤＡ（Personal Digital Assistant）、ポータブルナビゲーション装置、ゲーム機等の他の情報処理装置にも搭載可能である。

以上のように、本発明にかかるデジタルカメラの撮像方法は、被写体を連続撮影する場合に広く適用可能である。

１ 携帯電話端末
２ 筐体
３ タッチ表示部
３Ａ タッチパネル
３Ｂ 表示部
４ 操作部
５ マイク
６ カメラデバイス
６Ａ カメラ部
７ スピーカ
１０ 制御部
１１ メモリ
１２ 記憶部
１３ 通信部
１４ 電源部
２１ レンズ
２２ メカ機構
２３ イメージセンサ
２４ アナログ信号処理回路
２５ Ａ／Ｄ変換回路
２６ IＳＰ（Image signal Processor）
２７ インターフェース
３１ バッファメモリ
３２ 画素補間部
３３ ＡＷＢ調整部
３４ ＡＥ調整部
３５ 輝度色差分離部
３６ ビデオ信号処理部
３７ ＪＰＥＧ処理部

Claims (10)

1. 被写体をＬ（但し、Ｌ≧２）枚連続的に撮像するデジタルカメラの撮像方法であって、
   Ｎ（但し、０＜Ｎ＜Ｌ）枚目の被写体を撮像した画像データを格納する工程と、
   前記格納したＮ枚目の被写体を撮像した画像データを、Ｍ（但し、Ｎ＜Ｍ≦Ｌ）枚目の被写体を撮像した画像データの撮影パラメータ及び構図の少なくとも一方を使用して信号処理する工程と、
   を含むデジタルカメラの撮像方法。
2. 前記格納する工程では、前記Ｎ枚目に撮像した被写体のＲＡＷデータを格納し、前記信号処理する工程では、前記格納したＮ枚目の被写体のＲＡＷデータに対して、前記Ｍ枚目の被写体を撮像した画像データの撮影パラメータを使用して信号処理することを特徴とする請求項１に記載のデジタルカメラの撮像方法。
3. シャッターボタンが押された場合に、被写体をＬ（但し、Ｌ≧２）枚連続的に撮像することを特徴とする請求項１又は２に記載のデジタルカメラの撮像方法。
4. 前記デジタルカメラが起動した場合に、被写体をＬ（但し、Ｌ≧２）枚連続的に撮像し、
   前記Ｍ枚目の被写体は、シャッターボタンが押された際に撮像した画像データであることを特徴とする請求項１又は２に記載のデジタルカメラの撮像方法。
5. 前記撮影パラメータは、ホワイトバランス調整用パラメータであり、
   前記信号処理する工程では、前記格納したＮ枚目の被写体を撮像した画像データを、前記Ｍ枚目の被写体を撮像した画像データのホワイトバランス調整用パラメータを使用してホワイトバランス調整することを特徴とする請求項１〜４のいずれか１つに記載のデジタルカメラの撮像方法。
6. 前記撮影パラメータは、露出調整用パラメータであり、
   前記信号処理する工程では、前記格納したＮ枚目の被写体を撮像した画像データを、Ｍ枚目の被写体を撮像した画像データの露出調整用パラメータを使用して露出調整することを特徴とする請求項１〜５のいずれか１つに記載のデジタルカメラの撮像方法。
7. 前記信号処理する工程では、前記格納したＮ枚目の被写体を撮像した画像データの構図を、前記Ｍ枚目の被写体を撮像した画像データの構図に基づいて変更することを特徴とする請求項１〜６のいずれか１つに記載のデジタルカメラの撮像方法。
8. 前記信号処理する工程では、
   前記Ｍ枚目の画像データと前記Ｎ枚目の画像データで同じオブジェクトがあるか否かを判断し、
   同じオブジェクトがあり、かつ、当該同じオブジェクトが前記Ｍ枚目の画像データが前記Ｎ枚目の画像データに比して、中央又は大きく存在している場合には、前記Ｎ枚目の画像データの構図を、前記Ｍ枚目の画像データの構図を使用して変更し、
   同じオブジェクトがない場合、又は、同じオブジェクトがある場合でも当該同じオブジェクトが前記Ｍ枚目の画像データが前記Ｎ枚目の画像データに比して、中央又は大きく存在していない場合には、前記Ｎ枚目の画像データの構図を、前記Ｍ枚目の画像データの構図を使用して変更しないことを特徴とする請求項７に記載のデジタルカメラの撮像方法。
9. 前記オブジェクトは人物であることを特徴とする請求項８に記載のデジタルカメラの撮像方法。
10. 被写体をＬ（但し、Ｌ≧２）枚連続的に撮像するデジタルカメラに搭載されるプログラムであって、
    Ｎ（但し、０＜Ｎ＜Ｌ）枚目の被写体を撮像した画像データを格納する工程と、
    前記格納したＮ枚目の被写体を撮像した画像データを、Ｍ（但し、Ｎ＜Ｍ≦Ｌ）枚目の被写体を撮像した画像データの撮影パラメータ及び構図の少なくとも一方を使用して信号処理する工程と、
    をコンピュータに実行させるためのコンピュータが実行可能なプログラム。

Images