JP2016015567A - 電子機器、処理方法およびプログラム - Google Patents

Abstract

【課題】カメラによる撮影時において効果的なユーザインタフェースを実現する電子機器を提供することである。
【解決手段】実施形態によれば、電子機器は、カメラと、表示装置と、処理手段と、表示処理手段とを具備する。処理手段は、前記カメラにより撮影される複数の第１画像を合成して前記複数の第１画像よりも高画質の第２画像を生成する。表示処理手段は、前記カメラが撮影中の画像を前記表示装置の表示面上の第１領域に表示すると共に、前記処理手段が生成中の画像であって高画質化の過程にある画像を前記表示面上の第２領域に表示する。
【選択図】図１０

Description

本発明の実施形態は、電子機器、処理方法およびプログラムに関する。

近年、タブレットやスマートフォン等、バッテリ駆動可能で携行容易な電子機器が広く普及している。この種の電子機器の多くは、Ｗｅｂカメラなどと称されるカメラを搭載しており、最近では、ＨＤＲ（High dynamic range）撮影やバースト撮影（連写撮影）といった高機能撮影が可能なものが増えてきている。

特開２０１１−２２３２９２号公報

カメラのフォーカスは、通常の被写界深度の場合、撮影エリア内のある一部分のみに合い、その他の部分には合わない。特に、マクロ撮影において、この傾向が顕著であり、多くの場合、中心付近はフォーカスが合っているが、周辺部分はぼけているといった画像が撮影されることになる。

タブレットやスマートフォン等のカメラでマクロ撮影を行うケースとして、文書のキャプチャ撮影が挙げられる。このような場合、撮影エリア全体に渡ってフォーカスが合った画像（全焦点画像）が求められるが、前述したように、マクロ撮影では、一般的に、全焦点画像の撮影は難しい。

マクロ撮影で全焦点画像を得る手法の１つとして、例えば、フォーカスを移動させながら撮影した一連の画像を合成することにより、全焦点画像を生成するといった手法が考えられる。ここで、フォーカスを移動させながらの撮影は、カメラ制御の都合上、通常のバースト撮影（連写撮影）と異なり、撮影時間が長くなる傾向がある点に留意する。

具体的には、この（フォーカスを移動させながらの）撮影時間中に、ユーザが極力手ぶれを起こさないようにしたり、撮影中であると把握できずに意図しない撮影中断をしたりしないように、例えば、撮影継続中であることを効果的に見せる等、ユーザインタフェースを工夫することが必要である。

本発明の一形態が解決しようとする課題は、カメラによる撮影時において効果的なユーザインタフェースを実現する電子機器、処理方法およびプログラムを提供することである。

実施形態によれば、電子機器は、カメラと、表示装置と、処理手段と、表示処理手段とを具備する。処理手段は、前記カメラにより撮影される複数の第１画像を合成して前記複数の第１画像よりも高画質の第２画像を生成する。表示処理手段は、前記カメラが撮影中の画像を前記表示装置の表示面上の第１領域に表示すると共に、前記処理手段が生成中の画像であって高画質化の過程にある画像を前記表示面上の第２領域に表示する。

第１実施形態の電子機器の正面側の外観を示す図。 第１実施形態の電子機器の背面側の外観（部分）を示す図。 第１実施形態の電子機器のシステム構成を示す図。 第１実施形態の電子機器が備えるフォーカルスイープ機能を説明するための第１の図。 第１実施形態の電子機器が備えるフォーカルスイープ機能を説明するための第２の図。 第１実施形態の電子機器がフォーカルスイープ時に表示するユーザインタフェース画面の一構成例を示す図。 第１実施形態の電子機器がフォーカルスイープ時に表示する、全焦点画像の生成過程の画像中の部分画像の切り出し範囲の設定例を示す図。 第１実施形態の電子機器がフォーカルスイープ時に表示するユーザインタフェース画面の一例を示す第１の図。 第１実施形態の電子機器がフォーカルスイープ時に表示するユーザインタフェース画面の一例を示す第２の図。 第１実施形態の電子機器がフォーカルスイープ時に表示するユーザインタフェース画面内の画像が高画質化される様子の一例を示す図。 第１実施形態の電子機器がフォーカルスイープ時に表示するステータスアイコンの一例を示す図。 第１実施形態の電子機器上で動作するカメラアプリケーションプログラムのフォーカルスイープに関する機能ブロックを示す図。 第１実施形態の電子機器のフォーカルスイープ時の動作手順を示すフローチャート。 第１実施形態の電子機器のフォーカルスイープ時におけるユーザインタフェース画面の一遷移例を示す図。 第２実施形態の電子機器がフォーカルスイープ時に表示するユーザインタフェース画面の一構成例を示す図。 第３実施形態の電子機器が提供するフォーカス移動の範囲を指定可能とするユーザインタフェースを説明するための図。 第３実施形態の電子機器のフォーカルスイープ時の動作手順を示すフローチャート。

以下、実施の形態について図面を参照して説明する。

（第１実施形態）
まず、第１実施形態について説明する。

図１は、本実施形態の電子機器の正面側の外観を示す図である。ここでは、本実施形態の電子機器が、タブレット１として実現される場合を想定する。図１に示すように、タブレット１は、本体１１とタッチスクリーンディスプレイ１２とを備える。

本体１１は、薄い箱形の筐体を有する。タッチスクリーンディスプレイ１２には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上への指などの接触位置を検出するセンサとが組み込まれている。フラットパネルディスプレイは、例えばＬＣＤである。センサは、例えばタッチパネルである。タッチパネルは、ＬＣＤを覆うように設けられる。

また、図２は、タブレット１の背面側の外観（部分）を示す図である。図２に示すように、タブレット１には、Ｗｅｂカメラなどと称されるカメラ１３が搭載されている。このカメラ１３を使って画像を撮影するためのアプリケーションプログラム（後述するカメラアプリケーションプログラム２２０）が起動されると、カメラ１３の撮影エリア内に収まっている被写体像がリアルタイムにタッチスクリーンディスプレイ１２に表示される。この表示は、ファインダビューやカメラプレビューなどと称される。また、タッチスクリーンディスプレイ１２には、カメラボタンも表示され、このカメラボタンを押下すべくタッチスクリーンディスプレイ１２上でタッチ入力操作を行うと、ファインダビューとして表示中の画像が記録（撮影）される。なお、ここでは、カメラ１３が、バーストモードなどと称される、バースト撮影（連写撮影）を行う動作モードを有しているものとする。

図３は、タブレット１のシステム構成を示す図である。

図３に示すように、タブレット１は、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７およびＥＣ（Embedded controller）１０８等を備える。

ＣＰＵ１０１は、タブレット１内の各種コンポーネントの動作を制御するプロセッサである。ＣＰＵ１０１は、不揮発性メモリ１０６から主メモリ１０３に各種ソフトウェアをロードして実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２１０や各種アプリケーションプログラムが含まれている。また、各種アプリケーションプログラムには、カメラ１３を使って画像を撮影するためのカメラアプリケーションプログラム２２０が含まれている。カメラアプリケーションプログラム２２０の詳細については後述する。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラ等、各種コンポーネントを駆動制御するための種々のコントローラが内蔵されている。

グラフィクスコントローラ１０４は、タブレット１のディスプレイモニタとして使用されるＬＣＤ１２Ａを制御する表示コントローラである。ＬＣＤ１２Ａは、グラフィクスコントローラ１０４によって生成される表示信号に基づいて画面イメージを表示する。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じてタブレット１を電源オン／オフする機能を有している。

次に、以上のようなシステム構成を持つタブレット１上で動作するカメラアプリケーションプログラム２２０の詳細について説明する。

まず、図４および図５を参照して、カメラアプリケーションプログラム２２０が備えるフォーカルスイープ機能について説明する。

いま、タブレット１のカメラ１３でマクロ撮影を行う例として、図４に示すように、２冊の書籍の見開き文書をキャプチャ撮影する場合を考える。このような場合、撮影エリア全体に渡ってフォーカスが合った全焦点画像として画像を撮影することが求められる。一方、マクロ撮影では、中心付近はフォーカスが合っているが、周辺部分はぼけているといった画像が撮影され易く、一般的に、全焦点画像の撮影は難しい。

そこで、カメラアプリケーションプログラム２２０は、フォーカスを移動させながら撮影した一連の画像を合成することにより、全焦点画像を生成する機能を備える。この「フォーカスを移動させながら撮影した一連の画像を合成することにより、全焦点画像を生成する」手法を、ここでは、「フォーカルスイープ」と称する。図５は、フォーカルスイープの基本原理を説明するための図である。

図５中、（Ａ）は、フォーカスを移動させながら撮影した一連の画像を表している。ここでは、１５枚の画像が撮影されるものとする。一方、（Ｂ）は、全焦点画像の生成過程の画像（最終生成物の全焦点画像を含む）を表している。

図５に示されるように、１枚目の画像と２枚目の画像とが撮影されると、これら２枚の画像を合成して、撮影エリア内の２つの部分でフォーカスが合った、これら２枚の画像よりも画質の高い画像を生成する。続いて、３枚目の画像が撮影されると、この３枚目の画像をさらに合成して、画像のさらなる高画質化を図る。以降、同様の作業を繰り返し、高画質の全焦点画像を生成する。

なお、撮影画像の解像度（ピクセル数）と、最終生成物の全焦点画像の解像度（ピクセル数）とは、同一であってもよいし、変更されていてもよい。換言すると、フォーカルスイープの処理前後において、同一の解像度（ピクセル数）であってもよいし、解像度（ピクセル数）を変更してもよい。また、このフォーカルスイープにおける高画質な画像を生成するための処理は、元画像から、少なくとも一部の領域にて、相対的に、焦点がより合っている状態の画像を生成するような処理であればどのような処理であってもよく、前述したように、同一の解像度（ピクセル数）であってもよく、解像度（ピクセル数）が変更されていてもよい。

ところで、例えば図５に示したように、全焦点画像を生成するために１５枚の画像が撮影されるものとした場合、これら１５枚の画像が撮影される間、カメラ１３の撮影エリア内に収まる被写体像（撮影対象）が固定される必要がある。また、誤って撮影が中断されるなどといったことを防止する必要がある。そこで、カメラアプリケーションプログラム２２０は、（フォーカスを移動させながらの）撮影時間中に、ユーザが極力手ぶれを起こさないようにしたり、撮影中であると把握できずに意図しない撮影中断をしたりしないように、例えば、撮影継続中であることを効果的に見せる等、ユーザインタフェースを工夫したものであり、以下、この点について詳述する。

図６は、カメラアプリケーションプログラム２２０がフォーカルスイープ時にタッチスクリーンディスプレイ１２上に表示するユーザインタフェース画面の一構成例を示す図である。なお、フォーカルスイープは、カメラアプリケーションプログラム２２０の１オプションであって、カメラアプリケーションプログラム２２０が別途用意するユーザインタフェースによりフォーカルスイープが設定された状態での撮影時において、図６に示すユーザインタフェース画面が表示される。

図６に示すように、カメラアプリケーションプログラム２２０がフォーカルスイープ時に表示するユーザインタフェース画面上には、カメラプレビュー表示領域ａ１、合成処理結果プレビュー表示領域ａ２、ステータスアイコン表示領域ａ３およびカメラボタン表示領域ａ４が設けられる。

カメラプレビュー表示領域ａ１は、カメラ１３が撮影中の画像（図５の（Ａ）の画像）が表示される領域である。フォーカルスイープでの撮影時間中、ユーザは、このカメラプレビュー表示領域ａ１に表示される画像が移動しないようにタブレット１を保持することになる。また、カメラプレビュー表示領域ａ１の中心部分に重ね合わせるように配置される合成処理結果プレビュー表示領域ａ２は、カメラアプリケーションプログラム２２０が生成中の全焦点画像の生成過程の画像（図５の（Ｂ）の画像）が表示される領域である。なお、撮影開始前は、カメラ１３の撮影エリア内に収まっている被写体像が（合成処理結果プレビュー表示領域ａ２を含めた）カメラプレビュー表示領域ａ１の全域に表示されている。

つまり、カメラアプリケーションプログラム２２０は、第１に、このユーザインタフェース画面により、撮影時間中、撮影中の画像と共に、全焦点画像の生成過程の画像をユーザに提示する。全焦点画像の生成過程を表示することにより、待たされていることに対するユーザの不満を和らげる効果が期待できる。

全焦点画像の生成過程の画像を、どのように合成処理結果プレビュー表示領域ａ２に表示するかについては、カメラアプリケーションプログラム２２０は、種々の方法を採用し得る。図７に、全焦点画像の生成過程の画像中から合成処理結果プレビュー表示領域ａ２に表示する部分画像を切り出す範囲（表示対象エリア）の設定例を示す。

図７中、ｂ１は、カメラプレビュー表示領域ａ１に表示されているカメラ１３が撮影中の画像と等倍率の画像として全焦点画像の生成過程の画像の部分画像を合成処理結果プレビュー表示領域ａ２に表示する場合に設定される表示対象エリアを示している。一方、ｂ２は、カメラプレビュー表示領域ａ１に表示されているカメラ１３が撮影中の画像よりも高倍率の拡大画像として全焦点画像の生成過程の画像の部分画像を合成処理結果プレビュー表示領域ａ２に表示する場合に設定される表示対象エリアを示している。

また、図８は、表示対象エリアｂ１内の部分画像を合成処理結果プレビュー表示領域ａ２に表示するようにした場合のユーザインタフェース画面の一表示例を示し、図９は、表示対象エリアｂ２内の部分画像を合成処理結果プレビュー表示領域ａ２に表示するようにした場合のユーザインタフェース画面の一表示例を示している。

図８に示すように、表示対象エリアｂ１内の部分画像を合成処理結果プレビュー表示領域ａ２に表示するようにした場合、ユーザには、あたかも、カメラプレビュー表示領域ａ１内の画像中の合成処理結果プレビュー表示領域ａ２に対応する部分だけが段々と鮮明になっていくように、全焦点画像の生成過程を見せることができる。また、この場合、カメラプレビュー表示領域ａ１内の画像中の一部を補完するように、全焦点画像の生成過程の画像の部分画像が合成処理結果プレビュー表示領域ａ２内に表示されるので、カメラプレビュー表示領域ａ１と合成処理結果プレビュー表示領域ａ２との間で画像のずれが生じないように、ユーザにタブレット１を動かさずに保持させるためのガイド表示としても役立つという効果も期待できる。

例えば、図１０に示すように、カメラ１３の撮影エリア内に存在する「ＡＢＣＤＥ」という文字列のうち、「ＡＢ」は合成処理結果プレビュー表示領域ａ２側に表示され、「ＣＤＥ」はカメラプレビュー表示領域ａ１側に表示されているものとする。この場合、撮影が進むに従い、カメラプレビュー表示領域ａ１側の「ＣＤＥ」と比較して、合成処理結果プレビュー表示領域ａ２側の「ＡＢ」は鮮明になっていく（（Ａ）→（Ｂ））。このように、全焦点画像の生成過程を見せることで、待たされていることに対するユーザの不満を和らげることができる。また、合成処理結果プレビュー表示領域ａ２側の「ＡＢ」とカメラプレビュー表示領域ａ１側の「ＣＤＥ」とがずれないように、撮影時間中、タブレット１を動かさずに保持することをユーザに注意を喚起することができる。

また、図９に示すように、表示対象エリアｂ２内の部分画像を合成処理結果プレビュー表示領域ａ２に表示するようにした場合、拡大して見せることで、フォーカルスイープの効果（高画質化の効果）をより明確にユーザに確認させることができる。また、この場合は、表示対象エリアｂ２を、合成処理結果プレビュー表示領域ａ２上でのタッチ入力操作に応じて、移動やサイズ変更するようにしてもよい。これにより、ユーザは、例えば特に気になっている範囲を任意に選択して、フォーカルスイープの効果を確認することができるので、使い勝手を向上させることが可能となる。

また、ステータスアイコン表示領域ａ３は、画像撮影の進捗状況と、画像合成の進捗状況とを示すオブジェクト（アイコン）が表示される領域である。

つまり、カメラアプリケーションプログラム２２０は、第２に、ユーザインタフェース画面により、画像撮影および画像合成の進捗状況をユーザに提示する。画像撮影および画像合成の進捗状況を表示することにより、撮影時間中、撮影継続中であることをユーザに把握させ、また、手ぶれを起こさないようにユーザに注意を喚起するという効果が期待できる。

図１１は、フォーカルスイープ時にステータスアイコン表示領域ａ３に表示されるステータスアイコンの一例を示す図である。

図１１中、（Ａ）は、画像撮影の進捗状況をｃ１で示される部分で表す円グラフを模したアイコンの一例を示している。また、（Ｂ）は、画像合成の進捗状況をｃ２で示される部分で表す円グラフを模したアイコンの一例を示している。そして、カメラアプリケーションプログラム２２０は、（Ａ）のｃ１で示される部分に（Ｂ）のｃ２で示される部分を重ね合わせた、（Ｃ）に示す、画像撮影および画像合成の両方の進捗状況を示す円グラフを模したアイコンを生成し、当該作成したアイコンをステータスアイコン表示領域ａ３に表示する。

なお、カメラボタン表示領域ａ４は、撮影開始をユーザが指示するためのカメラボタンが表示される領域であり、撮影中は、撮影中断をユーザが意図的に指示するためのカメラボタンが表示される。また、撮影終了後または撮影中断後は、撮影開始をユーザが指示するためのカメラボタンが再び表示される。

図１２は、カメラアプリケーションプログラム２２０のフォーカルスイープに関する機能ブロックを示す図である。

図１２に示すように、カメラアプリケーションプログラム２２０は、制御部２２１、画像入力部２２２、カメラ駆動部２２３、操作入力部２２４、合成処理部２２５、ユーザインタフェース画面生成部２２６および画像出力部２２７等を備える。

制御部２２１は、カメラアプリケーションプログラム２２０内の各処理部の動作を制御するモジュールである。画像入力部２２２は、カメラ１３の撮影画像を入力するモジュールである。カメラ駆動部２２３は、フォーカスの移動を含むカメラ１３の駆動制御を司るモジュールである。操作入力部２２４は、ユーザの操作をタッチパネル１２Ｂ経由で入力するモジュールである。合成処理部２２５は、画像入力部２２２により入力される複数の撮影画像から全焦点画像を生成するための合成処理を実行するモジュールである。合成処理部２２５は、合成処理完了後、さらに、ぼけ復元処理を実行し、最終的な生成物である全焦点画像を不揮発性メモリ１０６に記録する。

ユーザインタフェース画面生成部２２６は、画像入力部２２２により入力される撮影画像と、合成処理部２２５が生成する全焦点画像の生成過程の画像とを使って、例えば図６に示したようなレイアウトのユーザインタフェース画面を生成するモジュールである。ユーザインタフェース画面生成部２２６は、画像撮影および画像合成の両方の進捗状況を示すアイコンを生成し、ユーザインタフェース画面上に配置する処理も実行する。また、ユーザインタフェース画面生成部２２６は、カメラボタンをユーザインタフェース画面上に配置する処理も実行する。制御部２２１は、適切なアイコンおよびカメラボタンをユーザインタフェース画面上に配置するために必要な情報をユーザインタフェース画面生成部２２６に適宜に供給する。そして、画像出力部２２７は、ユーザインタフェース画面生成部２２６により生成されるユーザインタフェース画面をＬＣＤ１２Ａに表示するモジュールである。

次に、図１３を参照して、タブレット１のフォーカルスイープ時の動作手順について説明する。

初期状態では、画像の撮影（記録）は行われておらず、タッチスクリーンディスプレイ１２上でのタッチ入力操作によるカメラボタンの押下によって撮影が開始される。撮影開始が指示されると、タブレット１は、フォーカスを移動しながらのバースト撮影（連写撮影）を開始する（ブロックＡ１）。一般的に、バースト撮影中のフーカスの変更はできないので、図１３に示すように、バースト撮影を一時中断し、フォーカスを移動させて、再度バースト撮影を行う、といった手順で動作することになるが、カメラ１３が、バースト撮影中のフォーカスの変更ができる場合、必ずしも、図１３に示す手順で動作することに限定しなくともよい。

また、バースト撮影の開始後、タブレット１は、全焦点画像を生成するための画像合成処理を開始する（ブロックＡ２）。なお、図１３では、バースト撮影完了後、画像合成処理を開始するかのごとく動作手順を示しているが、バースト撮影と画像合成処理とは、ある程度の画像が撮影された後、並行して実行することができる。

画像合成処理時、タブレット１は、処理過程の画像を、撮影画像と共にタッチスクリーンディスプレイ１２に表示する。また、画像合成処理が完了すると、タブレット１は、ぼけ復元処理を行い（ブロックＡ３）、最終的な高画質画像を、タッチスクリーンディスプレイ１２に表示すると共に、不揮発性メモリ１０６に出力する。

また、図１４は、フォーカルスイープ時におけるユーザインタフェース画面の一遷移例を示す図である。

初期状態では、カメラ１３の撮影エリア内に収まっている被写体像が（合成処理結果プレビュー表示領域ａ２を含めた）カメラプレビュー表示領域ａ１の全域に表示される。この時、ステータスアイコン表示領域ａ３上でのアイコン表示は行われない。また、カメラボタン表示領域ａ４には、撮影開始を指示するためのカメラボタンｄ１が表示される。

カメラボタンｄ１が押下されると、撮影および合成処理が開始され、カメラプレビュー表示領域ａ１には撮影画像、カメラプレビュー表示領域ａ１の中心部分に重ね合わせるように設けられる合成処理結果プレビュー表示領域ａ２には全焦点画像の生成過程の画像がそれぞれ表示される。この時、ステータスアイコン表示領域ａ３には、画像撮影の進捗状況（ｃ１）と、画像合成の進捗状況（ｃ２）とを示すアイコンが表示される。また、撮影時間中、カメラボタン表示領域ａ４には、撮影中断を指示するためのカメラボタンｄ２が表示される。撮影時間中にカメラボタンｄ２が押下されると、撮影および合成処理は中止され、初期状態に戻る。なお、ＯＳ２１０が基本ボタンの１つとして表示する戻るボタンが押下された場合も、カメラボタンｄ２が押下された場合と同様、撮影および合成処理は中止され、初期状態に戻る。

撮影および合成処理が完了すると、合成処理結果プレビュー表示領域ａ２には、最終的な生成物である全焦点画像が表示される。ユーザは、この合成処理結果プレビュー表示領域ａ２上でのタッチ入力操作により、例えば、表示範囲を移動させながら、生成された全焦点画像の確認作業を行うことができる。よって、ユーザは、生成された全焦点画像を確認した上で、全焦点画像の保存または破棄を指示することができる。全焦点画像の保存または破棄を指示するためのボタンは、ＯＳ２１０が基本ボタンの１つとして表示するボタンを利用してもよいし、カメラアプリケーションプログラム２２０が別途用意して表示してもよい。例えば全焦点画像の保存が指示された場合、その保存中、ステータスアイコン表示領域ａ３には、全焦点画像の保存処理中であることをユーザに通知するために、何らかの処理が実行中であることを視覚的に示す、例えば、円が回転するような動きのあるアイコンｅ１が表示される。また、カメラボタン表示領域ａ４の表示は、撮影開始を指示するためのカメラボタンｄ１に戻っている。そして、戻るボタンが押下されると、合成処理結果プレビュー表示領域ａ２での全焦点画像の表示が消え、初期状態に戻る。

このように、タブレット１は、撮影中の画像と共に、全焦点画像の生成過程の画像をユーザに提示するという効果的なユーザインタフェースを実現する。

（第２実施形態）
次に、第２実施形態について説明する。なお、本実施形態においても、第１実施形態と同様、電子機器がタブレット１として実現される場合を想定し、システム構成等の説明については省略する。また、第１実施形態のタブレット１と同一のコンポーネント等に対しては同一の符号を使用する。

図１５は、本実施形態のタブレット１上で動作するカメラアプリケーションプログラム２２０がフォーカルスイープ時にタッチスクリーンディスプレイ１２上に表示するユーザインタフェース画面の一構成例を示す図である。

図１５に示すように、本実施形態では、フォーカルスイープ時、カメラアプリケーションプログラム２２０は、カメラプレビュー表示領域ａ１と合成処理結果プレビュー表示領域ａ２とを並列に配置したユーザインタフェース画面を表示する。

カメラプレビュー表示領域ａ１には、撮影開始前または撮影中は、カメラ１３の撮影エリア内に収まっている被写体像またはカメラ１３が撮影中の画像が表示され、また、撮影終了後は、撮影済みの画像の中の１枚（例えば最初の１枚）が表示される。一方、合成処理結果プレビュー表示領域ａ２には、全焦点画像の生成過程の画像または最終成果物の全焦点画像が表示される。

従って、本実施形態では、画像撮影および合成処理が完了すると、カメラプレビュー表示領域ａ１には撮影済みの画像の中の１枚が表示され、合成処理結果プレビュー表示領域ａ２には最終成果物の全焦点画像が表示された状態となる。この時、カメラアプリケーションプログラム２２０は、カメラプレビュー表示領域ａ１または合成処理結果プレビュー表示領域ａ２の一方で例えば移動を指示するタッチ入力操作が行われると、このタッチ入力操作が行われた側の画像のみならず、他方の側の画像も同期的に移動させて、いわゆるシンクロスクロールをユーザが実行することを可能とする。

これにより、ユーザは、全焦点画像の生成過程を観察できることに加えて、双方の画像の画質を画像中の対応部分毎に比較しながら閲覧することが可能となり、フォーカルスイープにより生成された全焦点画像がオリジナルの撮影画像と比較してどれだけ改善できたのかを判り易く確認することができるようになる。

（第３実施形態）
次に、第３実施形態について説明する。なお、本実施形態においても、第１実施形態と同様、電子機器がタブレット１として実現される場合を想定し、システム構成等の説明については省略する。また、第１実施形態のタブレット１と同一のコンポーネント等に対しては同一の符号を使用する。

本実施形態では、カメラアプリケーションプログラム２２０は、フォーカルスイープ時、さらに、フォーカスを移動させる範囲をユーザが指定するためのユーザインタフェースを提供する。

いま、例えば図４に示した２冊の書籍の見開き文書等を、真正面（典型的には真上）からではなく、手前側からやや斜めにキャプチャ撮影する場合を考える。一般的に、カメラ１３は、手前のものに近いフォーカスが合い、奥のものに遠いフォーカスが合うので、カメラアプリケーションプログラム２２０は、図１６に示すように、最も手前のフォーカス位置（ｆ２）と最も奥のフォーカス位置（ｆ１）との２点の指定を受け付け、それらの中間のフォーカス位置を計算し、フォーカスを移動させる段階を制御する。

図１７は、本実施形態におけるタブレット１のフォーカルスイープ時の動作手順を示すフローチャートである。

本実施形態のタブレット１は、フォーカルスイープ時、まず、フォーカス開始位置の指定を受け付けると共に（ブロックＢ１）、フォーカス終了位置の指定を受け付ける（ブロックＢ２）。次に、タブレット１は、指定されたフォーカス開始位置とフォーカス終了位置とに基づき、フォーカス位置の計算を実行する（ブロックＢ３）。フォーカス位置の計算が完了すると、タブレット１は、第１実施形態と同様、フォーカスを移動しながらのバースト撮影（連写撮影）を開始し（ブロックＢ４）、また、全焦点画像を生成するための画像合成処理を開始する（ブロックＢ５）。

第１実施形態と同様、画像合成処理時、タブレット１は、処理過程の画像を、撮影画像と共にタッチスクリーンディスプレイ１２に表示し、画像合成処理終了後、ぼけ復元処理を行い（ブロックＢ６）、最終的な高画質画像を、タッチスクリーンディスプレイ１２に表示すると共に、不揮発性メモリ１０６に出力する。

このように、ユーザが明示的にフォーカス移動の範囲を指定可能とすることで、より正確なフォーカス範囲の制御が可能となる。

（第４実施形態）
次に、第４実施形態について説明する。なお、本実施形態においても、第１実施形態と同様、電子機器がタブレット１として実現される場合を想定し、システム構成等の説明については省略する。また、第１実施形態のタブレット１と同一のコンポーネント等に対しては同一の符号を使用する。

第１乃至第３実施形態では、フォーカスを移動させながらバースト撮影を行い、バースト撮影で得た複数枚の画像を合成して高画質の全焦点画像を生成する例を説明した。これに対して、本実施形態では、カメラアプリケーションプログラム２２０は、カメラ１３で動画を撮影するビデオモードを有し、このビデオモードでの動画撮影時の入力画像（ビデオ画像）に対して合成処理を施し、（多少の遅延は発生するが）高精細な合成結果の動画をリアルタイムに表示する機能を提供する。

例えば、暗くて細部が良く見えない状況のときに、カメラアプリケーションプログラム２２０の当該機能を利用すると、ノイズの多いビデオ画像を複数枚合成して、ノイズの少ないビデオ画像を生成し、合成枚数に応じたフレームレートで、そのノイズの少ないビデオ画像を撮影時に表示することが可能となる。

いま、カメラ１３が３０ｆｐｓで動画撮影が可能であり、また、カメラアプリケーションプログラム２２０は、１５枚のビデオ画像を使用して１回の合成処理を実行する場合を想定する。この場合、１５枚の撮影画像につき１枚の高画質画像が合成されるので、２ｆｐｓの高画質化された動画を生成および表示することが可能となる。

これにより、ユーザは、高画質化の結果をほぼリアルタイムで視聴可能となり、カメラアプリケーションプログラム２２０を、カメラ１３のハードウェア性能を補完するソフトウェアとして利用することができるようになる。

各実施形態の動作手順は、ソフトウェア（プログラム）によって実現することができるので、このソフトウェアを格納したコンピュータ読み取り可能な記憶媒体を通じてこのソフトウェアを通常のコンピュータにインストールして実行することにより、各実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…タブレット、１１…本体、１２…タッチスクリーンディスプレイ、１２Ａ…ＬＣＤ、１２Ｂ…タッチパネル、１３…カメラ、１０１…ＣＰＵ、１０２…システムコントローラ、１０３…主メモリ、１０４…グラフィクスコントローラ、１０５…ＢＩＯＳ−ＲＯＭ、１０６…不揮発性メモリ、１０７…無線通信デバイス、１０８…ＥＣ、２１０…オペレーティングシステム（ＯＳ）、２２０…カメラアプリケーションプログラム、２２１…制御部、２２２…画像入力部、２２３…カメラ駆動部、２２４…操作入力部、２２５…合成処理部、２２６…ユーザインタフェース画面生成部、２２７…画像出力部

Claims (20)

1. カメラと、
   表示装置と、
   前記カメラにより撮影される複数の第１画像を合成して前記複数の第１画像よりも高画質の第２画像を生成する処理手段と、
   前記カメラが撮影中の画像を前記表示装置の表示面上の第１領域に表示すると共に、前記処理手段が生成中の画像であって高画質化の過程にある画像を前記表示面上の第２領域に表示する表示処理手段と、
   を具備する電子機器。
2. 前記表示処理手段は、前記カメラによる画像撮影の進捗状況と、前記処理手段による画像生成の進捗状況とを示すオブジェクトを前記表示面上の第３領域に表示する請求項１に記載の電子機器。
3. 前記第１領域と前記第２領域とは、前記表示面上において接して配置され、
   前記第１領域に表示される前記カメラが撮影中の画像の表示範囲と、前記第２領域に表示される前記処理手段が生成中の画像であって高画質化の過程にある画像の表示範囲とは、前記第１領域と前記第２領域との位置関係に従って定められる、
   請求項１に記載の電子機器。
4. 前記第１領域と前記第２領域とは、前記表示面上において接して配置され、
   前記表示処理手段は、前記処理手段が生成中の画像であって高画質化の過程にある画像の少なくとも一部を、前記第１領域に表示される前記カメラが撮影中の画像の少なくとも一部よりも高倍率で前記第２領域に表示する、
   請求項１に記載の電子機器。
5. 前記第１領域と前記第２領域とは、前記表示面上において接して配置され、
   前記表示処理手段は、前記カメラが撮影中の画像と前記処理手段が生成中の画像であって高画質化の過程にある画像とを前記第１領域と前記第２領域とに表示し、かつ、前記処理手段の処理完了後、前記第１領域に表示中の画像または前記第２領域に表示中の画像の一方について表示範囲を変更する指示が行われた場合、前記第１領域および前記第２領域の双方の画像の表示範囲を同期的に変更する、
   請求項１に記載の電子機器。
6. 前記複数の第１画像は、前記カメラのフォーカスを移動させながら撮影する画像であり、
   前記表示処理手段は、前記カメラがフォーカスを移動させる範囲の指定を受け付ける、
   請求項１に記載の電子機器。
7. 前記複数の第１画像は、第１フレームレートの動画像を構成する画像であり、
   前記処理手段は、前記第１フレームレートより低い第２フレームレートの動画像を構成する画像として前記第２画像を生成する、
   請求項１に記載の電子機器。
8. カメラにより撮影される複数の第１画像を合成して前記複数の第１画像よりも高画質の第２画像を生成する電子回路を用いる処理方法であって、
   前記カメラが撮影中の画像を表示装置の表示面上の第１領域に表示すると共に、前記電子回路が生成中の画像であって高画質化の過程にある画像を前記表示面上の第２領域に表示することを具備する処理方法。
9. 前記カメラによる画像撮影の進捗状況と、前記電子回路による画像生成の進捗状況とを示すオブジェクトを前記表示面上の第３領域に表示することをさらに具備する請求項８に記載の処理方法。
10. 前記第１領域と前記第２領域とは、前記表示面上において接して配置され、
    前記第１領域に表示される前記カメラが撮影中の画像の表示範囲と、前記第２領域に表示される前記電子回路が生成中の画像であって高画質化の過程にある画像の表示範囲とは、前記第１領域と前記第２領域との位置関係に従って定められる、
    請求項８に記載の処理方法。
11. 前記第１領域と前記第２領域とは、前記表示面上において接して配置され、
    前記表示することは、前記電子回路が生成中の画像であって高画質化の過程にある画像の少なくとも一部を、前記第１領域に表示される前記カメラが撮影中の画像の少なくとも一部よりも高倍率で前記第２領域に表示する請求項８に記載の処理方法。
12. 前記第1領域と前記第２領域とは、前記表示面上において接して配置され、
    前記表示することは、前記カメラが撮影中の画像と前記電子回路が生成中の画像であって高画質化の過程にある画像とを前記第１領域と前記第２領域とに表示し、かつ、前記電子回路の処理完了後、前記第１領域に表示中の画像または前記第２領域に表示中の画像の一方について表示範囲を変更する指示が行われた場合、前記第１領域および前記第２領域の双方の画像の表示範囲を同期的に変更する、
    請求項８に記載の処理方法。
13. 前記複数の第１画像は、前記カメラのフォーカスを移動させながら撮影する画像であり、
    前記カメラがフォーカスを移動させる範囲の指定を受け付けることをさらに具備する請求項８に記載の処理方法。
14. コンピュータを、
    カメラにより撮影される複数の第１画像を合成して前記複数の第１画像よりも高画質の第２画像を生成する処理手段、
    前記カメラが撮影中の画像を表示装置の表示面上の第１領域に表示すると共に、前記処理手段が生成中の画像であって高画質化の過程にある画像を前記表示面上の第２領域に表示する表示処理手段、
    として機能させるためのプログラム。
15. 前記表示処理手段は、前記カメラによる画像撮影の進捗状況と、前記処理手段による画像生成の進捗状況とを示すオブジェクトを前記表示面上の第３領域に表示する請求項１４に記載のプログラム。
16. 前記第１領域と前記第２領域とは、前記表示面上において接して配置され、
    前記第１領域に表示される前記カメラが撮影中の画像の表示範囲と、前記第２領域に表示される前記処理手段が生成中の画像であって高画質化の過程にある画像の表示範囲とは、前記第１領域と前記第２領域との位置関係に従って定められる、
    請求項１４に記載のプログラム。
17. 前記第１領域と前記第２領域とは、前記表示面上において接して配置され、
    前記表示処理手段は、前記処理手段が生成中の画像であって高画質化の過程にある画像の少なくとも一部を、前記第１領域に表示される前記カメラが撮影中の画像の少なくとも一部よりも高倍率で前記第２領域に表示する、
    請求項１４に記載のプログラム。
18. 前記第1領域と前記第２領域とは、前記表示面上において接して配置され、
    前記表示処理手段は、前記カメラが撮影中の画像と前記処理手段が生成中の画像であって高画質化の過程にある画像とを前記第１領域と前記第２領域とに表示し、かつ、前記処理手段の処理完了後、前記第１領域に表示中の画像または前記第２領域に表示中の画像の一方について表示範囲を変更する指示が行われた場合、前記第１領域および前記第２領域の双方の画像の表示範囲を同期的に変更する、
    請求項１４に記載のプログラム。
19. 前記複数の第１画像は、前記カメラのフォーカスを移動させながら撮影する画像であり、
    前記表示処理手段は、前記カメラがフォーカスを移動させる範囲の指定を受け付ける、
    請求項１４に記載のプログラム。
20. 前記複数の第１画像は、第１フレームレートの動画像を構成する画像であり、
    前記処理手段は、前記第１フレームレートより低い第２フレームレートの動画像を構成する画像として前記第２画像を生成する、
    請求項１４に記載のプログラム。

Images