JP2017518658A - 多焦点イメージングのためのシステムおよび方法 - Google Patents

Abstract

多焦点イメージングのためのシステムおよび方法が開示される。イメージングシステムは、関心シーンのプレビューモードに基づいて、複数の関心領域をユーザに提案し得る。ユーザは、多焦点イメージのために複数の提案された関心領域を選択し得る。イメージングシステムは、複数の関心領域の各々についてオートフォーカスパラメータを計算し、カメラのシャッターボタンが押されたとき、関心領域の各々の単一のイメージをキャプチャする。イメージングシステムは、次いで、複数のイメージから多焦点イメージを生成する。【選択図】 図２

Description

[0001]本明細書で開示するシステムおよび方法は、一般に、多焦点イメージング（multi-focus imaging）に関する。

[0002]カメラを用いて高品質イメージを撮影するために、露出および焦点レベルは、関心シーン（scene of interest）内のオブジェクトに合わせてうまく調整されなければならない。しかしながら、多くの状況では、シーン内のすべてのオブジェクトのために最適な露出および焦点レベルを取得することが困難であり得る。たとえば、カメラレンズから無限に延びるスクリーン深度を定義する軸（通常ｚ軸）に沿って異なる距離において点在するオブジェクトに焦点が合っているように維持することが困難であり得る。被写界深度は、一般に、関心シーンのオブジェクトが焦点が合っているｚ軸のエリアである。カメラレンズがズームインされるとき、被写界深度はカメラレンズがズームアウトされるときよりも浅い。このために、被写界深度ｚ軸に沿って異なる位置にあるいくつかのオブジェクト上に焦点を維持することが困難であり得る。

[0003]本開示のシステム、方法およびデバイスは、それぞれいくつかの発明的態様を有し、それらのうちの単一の態様が、単独で、本明細書で開示する望ましい属性を担当するとは限らない。本明細書で説明する革新、態様および特徴の組合せはシステム、方法、およびデバイスの様々な実施形態に組み込まれ得、そのような組合せは、本明細書で説明する実施形態の例によって制限されない。

[0004]本明細書で説明する実施形態および革新は、焦点が合っている複数の関心領域（region of interest）を有するイメージを取得するための電子デバイスのためのプロセッサ中で実行され得るシステムおよび方法に関する。ユーザが単一のイメージ内のシーン内の異なる深度における異なるエリアに焦点を合わせることを可能にするために、直観的なユーザエクスペリエンスが提示される。

[0005]いくつかの実施形態では、カメラは、複数の関心領域（ＲＯＩ：region of interest）を含んでいるシーンにおいて選択され、そのシーンに向けられる。オートフォーカス機構が動作し始め、いくつかのＲＯＩがイメージプレビューにおいてユーザに提案され得る。これらのＲＯＩは、限定はしないが、（ａ）顔検出、（ｂ）オブジェクトトラッキング、または（ｃ）直接ユーザ入力を含む、様々な知られている方法を使用して決定され得る。ユーザは、所望の選択を選択し、調整するために、スクリーンにタッチするかまたはそれをピンチすることによって、プレビュー中に複数のＲＯＩを選択し得る。ユーザのタッチに基づいて、オートフォーカスは、各関心領域についてパラメータを計算し、この情報を記憶する。

[0006]いくつかの実施形態では、イメージをキャプチャするためにユーザがシャッターボタンを押すとき、複数のイメージが、選択されたＲＯＩの数（または、等価的に、計算され、記憶されたオートフォーカスパラメータの数）に基づいてキャプチャされる。複数のイメージの各々は、焦点が合っているＲＯＩのうちの１つを含んでいる。次いで、複数のイメージから単一のイメージが生成され、単一のイメージは複数のイメージからシームレスに形成されたように見える。得られた単一のイメージは、焦点が合っている複数の関心領域のすべてを含んでいる。

[0007]一態様は、シーン内の複数の関心領域を提案し、複数の関心領域から多焦点イメージ（multi-focus image）を生成するためのシステムに関する。本システムは、シーン内の候補関心領域を決定することと、シーン内の可能な関心領域から関心領域の提案をディスプレイスクリーン上に示すことと、複数の関心領域の選択を示す入力を受信することと、選択された複数の関心領域の各々に関連するオートフォーカスパラメータを決定することと、関心領域に関連するオートフォーカスパラメータを使用して、各関心領域のイメージをキャプチャすることと、各関心領域を含むイメージからのイメージデータを含む多焦点イメージを生成することとを行うように構成された制御モジュールを含む。本システムは、センサーを含むイメージングデバイスをさらに含み得、ここにおいて、制御モジュールは、イメージングデバイスと関心領域に関連するオートフォーカスパラメータとを使用して各関心領域のイメージをキャプチャするように構成される。制御モジュールは、プレビューモードにおいてイメージングデバイスを動作させるようにさらに構成され得る。制御モジュールは、プレビューモードにおいて提案された複数の関心領域をユーザにグラフィカルに表示するようにさらに構成され得る。制御モジュールは、顔検出アルゴリズムまたはオブジェクトトラッキングアルゴリズムを使用してシーン内の関心領域を決定するようにさらに構成され得る。制御モジュールは、シーン内の候補関心領域を決定することに関する入力を受信するようにさらに構成され得る。イメージングデバイスは、タッチスクリーンをさらに含み得、制御モジュールは、タッチスクリーン上でタッチイベントを登録することによって、複数の関心領域の選択を示す入力を受信するようにさらに構成され得る。本システムは、モバイルデバイスをさらに含み得、ここにおいて、制御モジュールは、モバイルデバイスのカメラアプリケーションの構成要素であり得る。

[0008]別の態様では、シーン内の複数の関心領域を提案し、複数の関心領域から多焦点イメージを生成するための方法は、シーン内の候補関心領域を決定するステップと、シーン内の可能な関心領域から関心領域の提案をディスプレイスクリーン上に示すステップと、複数の関心領域の選択に関する入力を受信するステップと、選択された複数の関心領域の各々に関連するオートフォーカスパラメータを決定するステップと、関心領域に関連するオートフォーカスパラメータを使用して、各関心領域のイメージをキャプチャするステップと、各関心領域を含むイメージからのイメージデータを含む多焦点イメージを生成するステップとを含む。本方法は、プレビューモードにおいてイメージングデバイスを動作させるステップをさらに含み得る。いくつかの実施形態では、シーン内の候補関心領域を決定することは、シーン内の顔またはオブジェクトに対して顔検出およびオブジェクトトラッキングのうちの１つまたは複数を実行することをさらに含む。本方法は、プレビューモードにおいて提案された複数の関心領域をユーザにグラフィカルに表示するステップをさらに含み得る。いくつかの実施形態では、複数の関心領域の選択に関するユーザ入力を受け付けることは、イメージングデバイスのタッチスクリーン上でタッチイベントを登録することをさらに含む。いくつかの実施形態では、イメージングデバイスは、モバイルデバイスのためのカメラアプリケーションの一部として動作するように構成される。

[0009]また別の態様では、シーン内の複数の関心領域を提案し、複数の関心領域から多焦点イメージを生成するための装置は、シーン内の候補関心領域を決定するための手段と、シーン内の可能な関心領域から複数の関心領域をユーザに提案するための手段と、複数の関心領域の選択に関するユーザ入力を受け付けるための手段と、複数の関心領域の各々に関連するオートフォーカスパラメータを決定するための手段と、関心領域に関連するオートフォーカスパラメータを使用して、各関心領域の単一のイメージをキャプチャするための手段と、各関心領域の単一のイメージから単一の多焦点イメージを生成するための手段とを含む。本装置は、プレビューモードにおいてイメージングデバイスを動作させるための手段をさらに含み得る。いくつかの実施形態では、シーン内の候補関心領域を決定するための手段は、シーン内の顔またはオブジェクトに対して顔検出およびオブジェクトトラッキングのうちの１つまたは複数を実行するための手段をさらに含む。いくつかの実施形態では、本装置は、プレビューモードにおいて提案された複数の関心領域をユーザにグラフィカルに表示するための手段をさらに含み得る。いくつかの実施形態では、複数の関心領域の選択に関するユーザ入力を受け付けるための手段は、イメージングデバイスのタッチスクリーン上でタッチイベントを登録するための手段をさらに含む。

[0010]別の態様では、非一時的コンピュータ可読媒体は、実行されたとき、シーン内の複数の関心領域を提案することと、複数の関心領域から多焦点イメージを生成することとの方法を少なくとも１つの物理的コンピュータプロセッサに実行させる命令を記憶する。方法は、シーン内の複数の可能なまたは候補の関心領域を決定するステップと、シーン内の可能な関心領域から複数の関心領域をユーザに提案するステップと、複数の関心領域の選択に関するユーザ入力を受け付けるステップと、複数の関心領域の各々に関連するオートフォーカスパラメータを決定するステップと、関心領域に関連するオートフォーカスパラメータを使用して、各関心領域の単一のイメージをキャプチャするステップと、各関心領域の単一のイメージから単一の多焦点イメージを生成するステップとを含む。いくつかの実施形態では、方法は、プレビューモードにおいてイメージングデバイスを動作させるステップを含む。いくつかの実施形態では、シーン内の複数の可能なまたは候補の関心領域を決定することは、シーン内の顔またはオブジェクトに対して顔検出およびオブジェクトトラッキングのうちの１つまたは複数を実行することをさらに含む。ある実施形態では、方法は、プレビューモードにおいて提案された複数の関心領域をユーザにグラフィカルに表示するステップをさらに含む。いくつかの実施形態では、複数の関心領域の選択に関するユーザ入力を受け付けることは、イメージングデバイスのタッチスクリーン上でタッチイベントを登録することをさらに含む。いくつかの実施形態では、イメージングデバイスは、モバイルデバイスのためのカメラアプリケーションの一部として動作するように構成される。

[0011]開示する態様について、開示する態様を限定するためにではなく、例示するために与える、添付の図面とともに以下で説明し、同様の表示は同様の要素を示す。

[0012]焦点が合っている複数の関心領域を有するイメージを取得するためのいくつかの動作可能な要素を実装するシステムを示すブロック図。 [0013]焦点が合っている複数の関心領域を有するイメージを取得するためのプロセスを示すフローチャート。 [0014]焦点の関心領域のための提案とユーザによって選択された関心領域とを示すユーザインターフェースの一例の図。 [0015]複数の焦点領域を有する多焦点イメージの一例の図。

[0016]一般に、セルフォン、タブレット、または他のモバイルデバイスなど、スマートデバイス中のカメラは、異なる深度におけるオブジェクトを明確にイメージキャプチャすることができない。たいていの現在のデバイスは、単一のイメージ中で複数の関心オブジェクトをキャプチャし、それらに焦点を合わせることができない。いくつかのカメラは異なる深度における複数の関心オブジェクトに焦点を合わせるように指示され得るが、このイメージを捕捉するためのレンズ位置は、関心オブジェクトのすべてに焦点が合っている単一のイメージを生成するのではなく、関心シーン中の各オブジェクトの焦点を「折衷」する。以下で説明する方法およびシステムが、異なる焦点深度に位置する複数のオブジェクトの焦点が合った単一のイメージを取得するためのソリューションを与える。

[0017]いくつかの実施形態では、提案する多焦点イメージングプロセスは、プレビューモード中にいくつかの関心領域をユーザに提案するようにプロセッサに指示する。これらの提案は、顔検出、オブジェクトトラッキング、あるいは他の特徴またはオブジェクトを識別する方法に基づいて行われ得る。ユーザは、１つまたは複数の関心領域を、最終の多焦点イメージ中に含まれるように選択し得る。プロセッサは、次いで、各関心領域についてオートフォーカスパラメータを計算し、この情報を記憶する。イメージをキャプチャするためにユーザがシャッターボタンを押すとき、複数のイメージが、選択されたＲＯＩの数（または、等価的に、計算され、記憶されたオートフォーカスパラメータの数）に基づいてキャプチャされる。複数のイメージの各々は、望ましくは、焦点が合っているＲＯＩのうちの１つを含んでいる。次いで、複数のイメージから単一のイメージが生成され、単一のイメージは複数のイメージからシームレスに形成されたように見える。得られた単一のイメージは、望ましくは、焦点が合っている複数の関心領域のすべてを含んでいる。

[0018]例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明されることがあることに留意されたい。フローチャートは動作を逐次プロセスとして説明することがあるが、動作の多くは並列にまたは同時に実施され得、プロセスは繰り返され得る。さらに、動作の順序は並べ替えられ得る。プロセスは、それの動作が完了したときに終了する。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスがソフトウェア関数に対応するとき、それの終了は呼出し関数またはメイン関数への関数の復帰に対応する。

[0019]実施形態は、システムオンチップ（ＳｏＣ）または外部ハードウェア、ソフトウェア、ファームウェア、あるいはそれらの任意の組合せで実装され得る。情報および信号は、多種多様な技術および技法のいずれかを使用して表され得ることを当業者は理解されよう。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表され得る。

[0020]以下の説明では、例の完全な理解を与えるために具体的な詳細を与える。ただし、例はこれらの具体的な詳細なしに実施され得ることを当業者は理解されよう。たとえば、例を不必要な詳細において不明瞭にしないために、電気的構成要素／デバイスをブロック図で示すことがある。他の事例では、例についてさらに説明するために、そのような構成要素、他の構造および技法を詳細に図示することがある。
システム概観
[0021]図１に、焦点が合っている複数の関心領域を有する単一のイメージを取得するように構成されたイメージングシステム１００の一例を示す。図示の実施形態は、限定するものではなく、いくつかの実施形態におけるいくつかの構成要素を説明するものである。システム１００は、図示された構成要素の明快のために示されていない他の機能のための様々な他の構成要素を含み得る。

[0022]イメージングシステム１００は、イメージングデバイス１１０と電子ディスプレイ１３０とを含み得る。電子ディスプレイ１３０のいくつかの実施形態は、ＬＥＤ、ＬＣＤ、プラズマまたは投影スクリーンなど、任意のフラットパネルディスプレイ技術であり得る。電子ディスプレイ１３０は、ユーザへの視覚表示のための情報を受信するためのプロセッサ１２０に結合され得る。そのような情報は、限定はしないが、メモリロケーションに記憶されたファイルと、プロセッサ１２０上にインストールされたソフトウェアアプリケーションと、ユーザインターフェースと、ネットワークアクセス可能コンテンツオブジェクトとの視覚表現を含み得る。

[0023]イメージングデバイス１１０は、イメージングセンサーのうちの１つまたは組合せを採用し得る。イメージングシステム１００は、イメージングデバイス１１０にリンクされたプロセッサ１２０をさらに含むことができる。ワーキングメモリ１３５、電子ディスプレイ１３０、およびプログラムメモリ１４０も、プロセッサ１２０と通信している。イメージングシステム１００は、タブレット、ラップトップコンピュータ、またはセルラー電話など、モバイルデバイスであり得る。

[0024]プロセッサ１２０は、汎用処理ユニットであり得、またはハンドヘルド電子デバイスのためのイメージングアプリケーションのために特別に設計されたプロセッサであり得る。図示のように、プロセッサ１２０は、プログラムメモリ１４０とワーキングメモリ１３５とに接続され、それらとデータ通信している。いくつかの実施形態では、ワーキングメモリ１３５は、プロセッサ１２０、たとえば、キャッシュメモリに組み込まれ得る。ワーキングメモリ１３５はまた、プロセッサ１２０とは別個の構成要素であり得、プロセッサ１２０に結合された、たとえば、１つまたは複数のＲＡＭまたはＤＲＡＭ構成要素であり得る。言い換えれば、図１は、いくつかのモジュールを備えるメモリ構成要素１４０とワーキングメモリを備える別個のメモリ１３５とを含む、２つのメモリ構成要素を示しているが、当業者は、異なるメモリアーキテクチャを利用するいくつかの実施形態を認識されよう。たとえば、設計は、メモリ１４０中に含まれているモジュールを実装するプロセッサ命令の記憶のためにＲＯＭまたはスタティックＲＡＭメモリを利用し得る。プロセッサ命令は、次いで、プロセッサによる実行を可能にするためにＲＡＭにロードされ得る。たとえば、ワーキングメモリ１３５はＲＡＭメモリであり得、命令は、プロセッサ１２０による実行の前にワーキングメモリ１３５にロードされる。

[0025]図示の実施形態では、プログラムメモリ１４０は、イメージキャプチャモジュール１４５と、関心領域（ＲＯＩ）提案モジュール１５０と、オートフォーカスパラメータ決定モジュール１５５と、単一イメージ生成モジュール１６０と、オペレーティングシステム１６５と、ユーザインターフェースモジュール１７０とを記憶する。これらのモジュールは、様々なイメージプロセッシングおよびデバイス管理タスクを実行するようにプロセッサ１２０を構成する命令を含み得る。プログラムメモリ１４０は、非一時的記憶媒体など、任意の好適なコンピュータ可読記憶媒体であり得る。ワーキングメモリ１３５は、メモリ１４０のモジュール中に含まれているプロセッサ命令のワーキングセットを記憶するために、プロセッサ１２０によって使用され得る。代替的に、ワーキングメモリ１３５はまた、イメージングシステム１００の動作中に生成される動的データを記憶するために、プロセッサ１２０によって使用され得る。

[0026]上述のように、プロセッサ１２０は、メモリ１４０に記憶されたいくつかのモジュールによって構成され得る。言い換えれば、プロセス１２０は、メモリ１４０中のモジュールに記憶された命令を実行することができる。イメージキャプチャモジュール１４５は、イメージングデバイスからイメージを取得するようにプロセッサ１２０を構成する命令を含み得る。したがって、プロセッサ１２０は、イメージキャプチャモジュール１４５、イメージングデバイス１１０、およびワーキングメモリ１３５とともに、１つまたは複数の関心領域のイメージセンサーデータを取得するための１つの手段を表す。

[0027]まだ図１を参照すると、メモリ１４０は、ＲＯＩ提案モジュール１５０をも含んでいることがある。ＲＯＩ提案モジュール１５０は、以下でさらに詳細に説明するように、顔検出、オブジェクトトラッキング、または他のアルゴリズムを使用して関心領域をユーザに提案することと、イメージングデバイス１１０のプレビューモード中に電子ディスプレイ１３０上で関心領域をユーザに表示することとを行うようにプロセッサ１２０を構成する命令を含み得る。したがって、プロセッサ１２０は、ＲＯＩ提案モジュール１５０、ワーキングメモリ１３５、および電子ディスプレイ１３０とともに、１つまたは複数の関心領域を提案し、ユーザ電子デバイスに示すための１つの手段を表す。

[0028]メモリ１４０は、オートフォーカスパラメータ決定モジュール１５５をも含んでいることがある。オートフォーカスパラメータ決定モジュール１５５は、オートフォーカス機能を実行し、識別された関心領域の各々についてオートフォーカスパラメータを計算し、記憶するようにプロセッサ１２０を構成する命令を含み得る。たとえば、３つの関心領域が選択された場合、プロセッサ１２０は、関心領域の各々に対応するオートフォーカスパラメータを計算し、ワーキングメモリ１３５またはストレージデバイス１２５にオートフォーカスパラメータを記憶するように、オートフォーカスパラメータ決定モジュール１５５によって命令され得る。プロセッサ１２０は、次いで、想像デバイス１１０を使用して、各関心領域のオートフォーカスパラメータに基づいて各関心領域の単一のイメージをキャプチャするように、イメージキャプチャモジュール１４５によって命令され得る。したがって、プロセッサ１２０は、ＲＯＩ提案モジュール１５０、オートフォーカスパラメータ決定モジュール１５５、およびワーキングメモリ１３５とともに、選択された各関心領域についてオートフォーカスパラメータを計算し、記憶するための１つの手段を表す。

[0029]メモリ１４０は、単一イメージ生成モジュール１６０をも含んでいることがある。図１に示されている単一イメージ生成モジュール１６０は、ＲＯＩ提案モジュール１５０によって識別された複数の関心領域を含んでいる単一の多焦点イメージを生成するようにプロセッサ１２０を構成する命令を含み得る。たとえば、３つの関心領域が選択された場合、オートフォーカスパラメータが、各関心領域について計算され、記憶され、複数のイメージのうちの１つ中で各関心領域が焦点が合っている中の複数のイメージが撮影され、プロセッサ１２０は、複数のイメージをシームレスに統合することによって単一の多焦点イメージを生成するように、単一イメージ生成モジュール１６０によって命令され得る。したがって、プロセッサ１２０は、ＲＯＩ提案モジュール１５０、単一イメージ生成モジュール１６０、およびワーキングメモリ１３５とともに、関心領域の複数のイメージから単一のイメージを生成するための１つの手段を表す。

[0030]メモリ１４０は、ユーザインターフェースモジュール１７０をも含んでいることがある。図１に示されているユーザインターフェースモジュール１７０は、イメージングデバイスのプレビューモードにおいて識別され、表示された関心領域をユーザが選択することを可能にすることなど、ユーザがデバイスと対話することを可能にするディスプレイ上オブジェクトとソフト制御との集合を与えるようにプロセッサ１２０を構成する命令を含み得る。ユーザインターフェースモジュール１７０はまた、アプリケーションがシステムの残部と対話することを可能にする。オペレーティングシステムモジュール１６５も、システム１００のメモリおよび処理リソースを管理するために、メモリ１４０中に常駐し、プロセッサ１２０とともに動作し得る。たとえば、オペレーティングシステム１６５は、電子ディスプレイ１３０またはイメージングデバイス１１０など、ハードウェアリソースを管理するためのデバイスドライバを含み得る。いくつかの実施形態では、ＲＯＩ提案モジュール１５０およびオートフォーカスパラメータ決定モジュール１５５中に含まれている命令は、これらのハードウェアリソースと直接対話せず、代わりにオペレーティングシステム１６５中にある標準サブルーチンまたはＡＰＩを通して対話することがある。オペレーティングシステム１６５内の命令は、次いで、これらのハードウェア構成要素と直接対話し得る。

[0031]プロセッサ１２０は、ストレージモジュール１２５にデータを書き込み得る。ストレージモジュール１２５が従来のディスクドライブとしてグラフィカルに表されているが、複数の実施形態は、ディスクベースストレージデバイス、または、メモリディスク、ＵＳＢドライブ、フラッシュドライブ、リモートで接続された記憶媒体、仮想ディスクドライバなどを含むいくつかの他のタイプの記憶媒体のうちの１つのいずれかを含むことができることを当業者は理解されよう。

[0032]図１は、プロセッサと、イメージングデバイスと、電子ディスプレイと、メモリとを含むように別個の構成要素を備えるデバイスを示しているが、これらの別個の構成要素は、特定の設計目標を達成するために様々な方法で組み合わせられ得ることを当業者は認識されよう。たとえば、代替実施形態では、メモリ構成要素は、コストを節約し、性能を改善するために、プロセッサ構成要素と組み合わせられ得る。

[0033]さらに、図１は、いくつかのモジュールを備えるメモリ構成要素１４０とワーキングメモリを備える別個のメモリ１３５とを含む、２つのメモリ構成要素を示しているが、当業者は、異なるメモリアーキテクチャを利用するいくつかの実施形態を認識されよう。たとえば、設計は、メモリ１４０中に含まれているモジュールを実装するプロセッサ命令の記憶のためにＲＯＭまたはスタティックＲＡＭメモリを利用し得る。代替的に、プロセッサ命令は、イメージングシステム１００に組み込まれるかまたは外部デバイスポートを介して接続されたディスクストレージデバイスからシステム開始時に読み取られ得る。プロセッサ命令は、次いで、プロセッサによる実行を可能にするためにＲＡＭにロードされ得る。たとえば、ワーキングメモリ１３５はＲＡＭメモリであり得、命令は、プロセッサ１２０による実行の前にワーキングメモリ１３５にロードされる。
方法概観
[0034]本発明の実施形態は、単一の関心シーン内の複数の候補関心領域をユーザに推奨することと、シーン内の候補関心領域を決定することに関する入力を受信することと、単一のシーン内のキャプチャされるべき所望の関心領域の選択に関する入力を受信することと、所望のまたは選択された関心領域に関連するオートフォーカスパラメータに基づいて複数のイメージを取得することと、複数のイメージを単一の多焦点イメージにシームレスに統合することとを含むことができる、多焦点イメージングのためのプロセスに関する。それは、たとえば、異なるオブジェクトプレーン（または深度）における複数の領域を有する単一のイメージであり、複数の領域の各々は統合されたイメージ中で焦点が合っている。例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明されることがある。フローチャートは動作を逐次プロセスとして説明することがあるが、動作の多くは並列にまたは同時に実施され得、プロセスは繰り返され得る。さらに、動作の順序は並べ替えられ得る。プロセスは、それの動作が完了したときに終了する。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスがソフトウェア関数に対応するとき、それの終了は呼出し関数またはメイン関数への関数の復帰に対応する。

[0035]図２に、図１に示されたモジュールのうちの１つまたは複数において実装され得る多焦点イメージングを実行するように（図１に示されているイメージングデバイス１１０などの）イメージングデバイスを有する電子デバイスを構成するためのプロセス２００の一実施形態を示す。いくつかの例では、プロセス２００は、プロセッサ、たとえば、プロセッサ１２０（図１）上で、およびメモリ１４０に記憶されたかあるいは他のハードウェアまたはソフトウェアに組み込まれた図１に示されている他の構成要素上で実行され得る。

[0036]プロセス２００は、開始ブロック２０２において開始し、ブロック２０４に遷移し、ここにおいて、プレビューモードにおいてイメージングデバイス１１０を動作させる。いくつかの実施形態では、プレビューモードは、イメージングデバイス１１０のレンズによって閲覧されるシーンを電子ディスプレイ、たとえば、電子ディスプレイ１３０（図１）上に表示することを含み得る。電子デバイスは、ハンドヘルド通信デバイス、たとえば、セルラーフォンまたは「スマートフォン」、あるいはタブレットコンピュータを含むモバイル個人情報端末（ＰＤＡ）であり得る。たとえば、ユーザは、イメージをキャプチャすべきか否かを決定するために、プレビューモードにおいてモバイルデバイスのカメラを動作させ得る。別の例では、ユーザは、ユーザが多焦点イメージ中でどの関心領域をキャプチャすることを望むかを決定するために、プレビューモードにおいてモバイルデバイスのカメラを動作させ得る。

[0037]プロセス２００は、次いで、ブロック２０６に遷移し、ここにおいて、プロセッサ１２０などのプロセッサが、現在のシーン内の可能な関心領域を決定するように命令される。いくつかの実施形態では、プロセッサは、可能な関心領域を識別するために、顔検出またはオブジェクトトラッキングを使用し得る。一実施形態では、顔検出アルゴリズム、たとえば、オムロン（登録商標）顔検出アルゴリズムが使用され得る。しかしながら、選択されたアルゴリズムが顔を検出することが可能であり、検出された顔の周りの正確な関心領域（ＲＯＩ）ウィンドウを出力する限り、説明したようなシステムは、好ましくは、使用される顔検出アルゴリズムに鈍感である。いくつかの実施形態では、オブジェクトトラッキングアルゴリズムは、ＱＵＡＬＣＯＭＭ Ｉｎｃ．のＳｎａｐｄｒａｇｏｎ（登録商標）プロセッサ上で開発されたｔｏｕｃｈ ｔｏ ｔｒａｃｋ（Ｔ２Ｔ）使用事例において使用されるものと同様であり得る。

[0038]一例では、顔検出は、シーン内の様々な深度において３つの顔が見えると決定し得る。別の例では、オブジェクトトラッキングは、シーン内で２つまたはそれ以上のアイテムを識別し、たとえば、ビーチでバケツ、砂城、および鳥を識別し得る。可能な関心領域が決定された後、プロセス２００はブロック２０８に遷移する。

[0039]ブロック２０８において、プロセッサは、関心領域をユーザに提案し、イメージングデバイスのプレビューモードにおいてこれらの関心領域を表示するように命令される。上記で説明した例を続けると、プロセッサが、異なるシーン深度における３つの顔など、シーン内で複数の顔を検出した場合、プロセッサは、各顔の周りに矩形、円、括弧または他のインジケータを表示することによって、各顔を可能な関心領域として示すように命令され得る。関心領域のサイズは、ＲＯＩがシステムによって提案されるのか、ＲＯＩがユーザによって選択されるのかに依存し得る。ＲＯＩがシステムによって、たとえば、顔検出またはオブジェクト検出演算を通して提案される場合、ＲＯＩウィンドウは、提案されたオブジェクトを十分に含んでいることができる矩形、円、楕円などの形状である。いくつかの実施形態では、ＲＯＩは、顔の周りに描かれた矩形であり得る。いくつかの実施形態では、ＲＯＩのサイズは、検出されたＲＯＩによって占有されるイメージのエリアに依存して、数個のピクセルと同程度に小さいか、またはフルディスプレイスクリーンと同程度に大きいことがある。いくつかの実施形態では、ＲＯＩがユーザによって選択される場合、ＲＯＩは固定サイズの矩形または他の形状であり得る。他の実施形態では、ユーザは、ＲＯＩを囲む形状を定義するために、ＲＯＩを囲む２つまたはそれ以上のポイントを選択することによって、ＲＯＩを示すことができる。別の例では、プロセッサは、多焦点イメージングのためのこれらの可能性をユーザに明確に示すために、各顔または関心領域においてポインタまたはハンドインジケータを表示するように命令され得る。プロセス２００は、次に、ブロック２１０に遷移し、ここにおいて、プロセッサは、１つまたは複数の関心領域に関するユーザ入力を受け付けるように命令される。たとえば、タッチスクリーンで構成された電子デバイスの場合、ユーザは、タッチスクリーン上の各顔を選択することによって、プレビューモードにおいて表示された顔のうちの１つまたは複数を選択し得る。ユーザはまた、複数の関心領域を選択するために、マウス、ポインタ、またはボタンを使用し得る。ユーザが複数の関心領域を選択することを示すユーザインターフェースの一例が、図３に示されている。図３に示されているように、ユーザは、複数の関心領域の各々にポインタを導き得る。この例では、ユーザは、「焦点」テキストと、「ドラゴン」テキストと、ナイトのチェスの駒と、花とを選択した。

[0040]プロセス２００は、次に、ブロック２１２に遷移し、ここにおいて、プロセッサは、選択されたＲＯＩに関係するオートフォーカスパラメータを決定するように命令される。いくつかの実施形態では、プロセッサは、選択された関心領域の各々が焦点が合っているようにオートフォーカスパラメータを決定するために、イメージングデバイス１１０のオートフォーカス機能を実行するように命令され得る。オートフォーカスパラメータは、プロセッサ１２０のセンサードライバに送られるコマンドのセットである。センサードライバは、イメージングデバイス１１０のレンズ位置を移動するための設定または命令を含む。いくつかの実施形態では、センサードライバは、イメージングデバイス１１０のオートフォーカス、オートホワイトバランス、およびオート露出設定を調整するためのパラメータを含むことができる。オートフォーカスパラメータは、好ましくは、基礎をなすオートフォーカス、オートホワイトバランス、およびオート露出設定アルゴリズムによって決定され、イメージングデバイス１００に基づき得る。たとえば、オートフォーカス機能は、多焦点イメージのために、シーン内の関心領域として識別された、および所望の関心領域としてユーザによって選択された顔の各々についてオートフォーカスパラメータを計算することができる。プロセス２００は、次に、ブロック２１４に遷移し、ここにおいて、プロセッサは、各関心領域に関連するオートフォーカスパラメータを使用して、焦点が合っている関心領域のうちの１つを各イメージが含んでいる、１つまたは複数のイメージをキャプチャするように命令される。たとえば、ユーザによって関心領域として識別された３つの顔の各々から別個のイメージがキャプチャされ得る。

[0041]プロセス２００は、次いで、ブロック２１６に遷移し、ここにおいて、プロセッサは、複数の関心領域からキャプチャされた１つまたは複数のイメージから単一のイメージを生成するように命令される。マルチ焦点の単一のイメージの一例が、図４に示されている。この図では、図３に示されているように選択された関心領域は、図４に示されている単一のイメージ中で焦点が合って表示される。単一のイメージは、上記で説明したようにイメージングデバイス１１０によってキャプチャされた２つまたはそれ以上のイメージを組み合わせ、任意の知られているイメージ組合せアルゴリズムを使用してイメージを互いに「スティッチ」することによって生成され得る。たとえば、単一のイメージは、異なる焦点設定をもつイメージングデバイス１１０によってキャプチャされた２つまたはそれ以上のイメージに、当技術分野で知られているようなイメージ整合、イメージ登録、およびイメージ混合技法を適用することによって捕捉され得る。単一のイメージが生成された後、プロセス２００は、ブロック２１８に遷移し、終了する。
用語に関する明確化
[0042]別段に規定されていない限り、特定の特徴を有する装置の動作のいかなる開示も、類似の特徴を有する方法を開示する（その逆も同様）ことをも明確に意図し、特定の構成による装置の動作のいかなる開示も、類似の構成による方法を開示する（その逆も同様）ことをも明確に意図する。「構成」という用語は、それの特定の文脈によって示されるように、方法、装置、および／またはシステムに関して使用され得る。「方法」、「プロセス」、「プロシージャ」、および「技法」という用語は、特定の文脈によって別段に規定されていない限り、一般的に、互換的に使用される。「装置」および「デバイス」という用語も、特定の文脈によって別段に規定されていない限り、一般的に、互換的に使用される。「要素」および「モジュール」という用語は、一般に、より大きな構成の一部分を示すために使用される。それの文脈によって明確に限定されない限り、「システム」という用語は、本明細書では、「共通の目的を果たすために対話する要素のグループ」を含む、それの通常の意味のいずれをも示すために使用される。文書の一部分の参照による任意の組込みは、その部分内で言及された用語または変数の定義が、文書中の他の場所に現れ、ならびに組み込まれた部分で参照される図に現れた場合、そのような定義を組み込んでいることも理解されたい。

[0043]さらに、本明細書で開示する実装形態に関連して説明した様々な例示的な論理ブロック、モジュール、回路、およびプロセスステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得ることを当業者は諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課せられた設計制約に依存する。当業者は、説明する機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。当業者は、ある一部分または一部が、全体よりも少ないかまたはそれに等しいものを備え得ることを認識されよう。たとえば、ピクセルの集合の一部分は、それらのピクセルの部分集合を指すことがある。

[0044]本明細書で開示した実装形態に関して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実施するように設計されたそれらの任意の組合せを用いて実装または実施され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。

[0045]本明細書で開示する実装形態に関して説明した方法またはプロセスのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または当技術分野で知られている任意の他の形態の非一時的記憶媒体中に常駐し得る。例示的なコンピュータ可読記憶媒体は、プロセッサがコンピュータ可読記憶媒体から情報を読み取り、コンピュータ可読記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替として、記憶媒体はプロセッサに一体化され得る。プロセッサおよび記憶媒体はＡＳＩＣ中に存在し得る。ＡＳＩＣは、ユーザ端末、カメラ、または他のデバイス中に存在し得る。代替として、プロセッサおよび記憶媒体は、ユーザ端末、カメラ、または他のデバイス中に個別構成要素として存在し得る。

[0046]本明細書には、参照のための、および様々なセクションを見つけるのを助けるための見出しが含まれる。これらの見出しは、見出しに関連して説明した概念の範囲を限定するものではない。そのような概念は、本明細書全体にわたって適用性を有し得る。

[0047]開示する実装形態の以上の説明は、当業者が本発明を実施または使用することができるように与えたものである。これらの実施形態に対する様々な変更は当業者には容易に明らかであり、本明細書で定義した一般原理は、本発明の趣旨または範囲から逸脱することなく他の実施形態に適用され得る。したがって、本発明は、本明細書で示した実装形態に限定されるものではなく、本明細書で開示する原理および新規の特徴に一致する最も広い範囲を与られるべきである。

[0047]開示する実装形態の以上の説明は、当業者が本発明を実施または使用することができるように与えたものである。これらの実施形態に対する様々な変更は当業者には容易に明らかであり、本明細書で定義した一般原理は、本発明の趣旨または範囲から逸脱することなく他の実施形態に適用され得る。したがって、本発明は、本明細書で示した実装形態に限定されるものではなく、本明細書で開示する原理および新規の特徴に一致する最も広い範囲を与られるべきである。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
シーン内の複数の関心領域を提案し、前記複数の関心領域から多焦点イメージを生成するためのシステムであって、
シーン内の候補関心領域を決定することと、
前記シーン内の可能な関心領域から関心領域の提案をディスプレイスクリーン上に示すことと、
複数の関心領域の選択を示す入力を受信することと、
前記選択された複数の関心領域の各々に関連するオートフォーカスパラメータを決定することと、
前記関心領域に関連する前記オートフォーカスパラメータを使用して、各関心領域のイメージをキャプチャすることと、
各関心領域を含む前記イメージからのイメージデータを含む多焦点イメージを生成することと
を行うように構成された制御モジュールを備える、システム。
［Ｃ２］
センサーを備えるイメージングデバイスをさらに備え、ここにおいて、前記制御モジュールが、前記イメージングデバイスと前記関心領域に関連する前記オートフォーカスパラメータとを使用して各関心領域のイメージをキャプチャするように構成された、Ｃ１に記載のシステム。
［Ｃ３］
前記制御モジュールが、プレビューモードにおいて前記イメージングデバイスを動作させるようにさらに構成された、Ｃ２に記載のシステム。
［Ｃ４］
前記制御モジュールが、前記プレビューモードにおいて前記提案された関心領域をユーザにグラフィカルに表示するようにさらに構成された、Ｃ３に記載のシステム。
［Ｃ５］
前記制御モジュールが、顔検出アルゴリズムまたはオブジェクトトラッキングアルゴリズムを使用してシーン内の前記関心領域を決定するようにさらに構成された、Ｃ１に記載のシステム。
［Ｃ６］
前記イメージングデバイスが、タッチスクリーンをさらに備え、前記制御モジュールが、前記タッチスクリーン上でタッチイベントを登録することによって、複数の関心領域の選択を示す入力を受信するようにさらに構成された、Ｃ２に記載のシステム。
［Ｃ７］
前記制御モジュールが、シーン内の候補関心領域を決定することに関する入力を受信するようにさらに構成された、Ｃ１に記載のシステム。
［Ｃ８］
モバイルデバイスをさらに備え、ここにおいて、前記制御モジュールが、前記モバイルデバイスのカメラアプリケーションの構成要素である、Ｃ１に記載のシステム。
［Ｃ９］
シーン内の複数の関心領域を提案し、前記複数の関心領域から多焦点イメージを生成するための方法であって、
シーン内の候補関心領域を決定することと、
シーン内の可能な関心領域から関心領域の提案をディスプレイスクリーン上に示すことと、
複数の関心領域の選択を示す入力を受信することと、
前記選択された複数の関心領域の各々に関連するオートフォーカスパラメータを決定することと、
前記関心領域に関連する前記オートフォーカスパラメータを使用して、各関心領域のイメージをキャプチャすることと、
各関心領域を含む前記イメージからのイメージデータを含む多焦点イメージを生成することとを備える、方法。
［Ｃ１０］
プレビューモードにおいてイメージングデバイスを動作させることをさらに備える、Ｃ９に記載の方法。
［Ｃ１１］
顔検出アルゴリズムまたはオブジェクトトラッキングアルゴリズムを使用してシーン内の関心領域を決定することをさらに備える、Ｃ９に記載の方法。
［Ｃ１２］
前記プレビューモードにおいて前記提案された複数の関心領域をユーザにグラフィカルに表示することをさらに備える、Ｃ１０に記載の方法。
［Ｃ１３］
複数の関心領域の選択を示す入力を受信することが、タッチスクリーン上でタッチイベントを登録することをさらに備える、Ｃ９に記載の方法。
［Ｃ１４］
前記イメージングデバイスが、モバイルデバイスのカメラアプリケーションの構成要素である、Ｃ１０に記載の方法。
［Ｃ１５］
シーン内の複数の関心領域を提案し、前記複数の関心領域から多焦点イメージを生成するための装置であって、
シーン内の候補関心領域を決定するための手段と、
シーン内の可能な関心領域から関心領域の提案をディスプレイスクリーン上に示すための手段と、
複数の関心領域の選択を示す入力を受信するための手段と、
前記選択された複数の関心領域の各々に関連するオートフォーカスパラメータを決定するための手段と、
前記関心領域に関連する前記オートフォーカスパラメータを使用して、各関心領域のイメージをキャプチャするための手段と、
各関心領域を含む前記イメージからのイメージデータを含む多焦点イメージを生成するための手段とを備える、装置。
［Ｃ１６］
センサーを備えるイメージングデバイスをさらに備え、ここにおいて、前記装置が、前記イメージングデバイスと前記関心領域に関連する前記オートフォーカスパラメータとを使用して各関心領域のイメージをキャプチャするための手段をさらに備える、Ｃ１５に記載の装置。
［Ｃ１７］
プレビューモードにおいて前記イメージングデバイスを動作させるための手段をさらに備える、Ｃ１６に記載の装置。
［Ｃ１８］
顔検出アルゴリズムまたはオブジェクトトラッキングアルゴリズムを使用してシーン内の前記関心領域を決定するための手段をさらに備える、Ｃ１５に記載の装置。
［Ｃ１９］
前記プレビューモードにおいて前記提案された複数の関心領域をユーザにグラフィカルに表示するための手段をさらに備える、Ｃ１７に記載の装置。
［Ｃ２０］
タッチスクリーンをさらに備え、ここにおいて、前記装置が、前記タッチスクリーン上でタッチイベントを登録することによって、複数の関心領域の選択を示す入力を受信するための手段をさらに備える、Ｃ１５に記載の装置。
［Ｃ２１］
シーン内の候補関心領域を決定することに関する入力を受信するための手段をさらに備える、Ｃ１５に記載の装置。
［Ｃ２２］
実行されたとき、
シーン内の候補関心領域を決定することと、
シーン内の可能な関心領域から関心領域の提案をディスプレイスクリーン上に示すことと、
複数の関心領域の選択を示す入力を受信することと、
前記選択された複数の関心領域の各々に関連するオートフォーカスパラメータを決定することと、
前記関心領域に関連する前記オートフォーカスパラメータを使用して、各関心領域のイメージをキャプチャすることと、
各関心領域を含む前記イメージからのイメージデータを含む多焦点イメージを生成することとを備える方法を少なくとも１つの物理的コンピュータプロセッサに実行させる命令を記憶する非一時的コンピュータ可読媒体。
［Ｃ２３］
前記方法が、プレビューモードにおいてイメージングデバイスを動作させることをさらに備える、Ｃ２２に記載の非一時的コンピュータ可読媒体。
［Ｃ２４］
前記方法が、顔検出アルゴリズムまたはオブジェクトトラッキングアルゴリズムを使用してシーン内の前記関心領域を決定することをさらに備える、Ｃ２２に記載の非一時的コンピュータ可読媒体。
［Ｃ２５］
前記方法が、前記プレビューモードにおいて前記提案された関心領域をユーザにグラフィカルに表示することをさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
［Ｃ２６］
前記方法が、シーン内の候補関心領域を決定することに関する入力を受信することをさらに備える、Ｃ２２に記載の非一時的コンピュータ可読媒体。
［Ｃ２７］
タッチスクリーン上でタッチイベントを登録することによって、複数の関心領域の選択を示す入力を受信することをさらに備える、Ｃ２２に記載の非一時的コンピュータ可読媒体。

Claims (27)

1. シーン内の複数の関心領域を提案し、前記複数の関心領域から多焦点イメージを生成するためのシステムであって、
   シーン内の候補関心領域を決定することと、
   前記シーン内の可能な関心領域から関心領域の提案をディスプレイスクリーン上に示すことと、
   複数の関心領域の選択を示す入力を受信することと、
   前記選択された複数の関心領域の各々に関連するオートフォーカスパラメータを決定することと、
   前記関心領域に関連する前記オートフォーカスパラメータを使用して、各関心領域のイメージをキャプチャすることと、
   各関心領域を含む前記イメージからのイメージデータを含む多焦点イメージを生成することと
   を行うように構成された制御モジュール
   を備える、システム。
2. センサーを備えるイメージングデバイスをさらに備え、ここにおいて、前記制御モジュールが、前記イメージングデバイスと前記関心領域に関連する前記オートフォーカスパラメータとを使用して各関心領域のイメージをキャプチャするように構成された、請求項１に記載のシステム。
3. 前記制御モジュールが、プレビューモードにおいて前記イメージングデバイスを動作させるようにさらに構成された、請求項２に記載のシステム。
4. 前記制御モジュールが、前記プレビューモードにおいて前記提案された関心領域をユーザにグラフィカルに表示するようにさらに構成された、請求項３に記載のシステム。
5. 前記制御モジュールが、顔検出アルゴリズムまたはオブジェクトトラッキングアルゴリズムを使用してシーン内の前記関心領域を決定するようにさらに構成された、請求項１に記載のシステム。
6. 前記イメージングデバイスが、タッチスクリーンをさらに備え、前記制御モジュールが、前記タッチスクリーン上でタッチイベントを登録することによって、複数の関心領域の選択を示す入力を受信するようにさらに構成された、請求項２に記載のシステム。
7. 前記制御モジュールが、シーン内の候補関心領域を決定することに関する入力を受信するようにさらに構成された、請求項１に記載のシステム。
8. モバイルデバイスをさらに備え、ここにおいて、前記制御モジュールが、前記モバイルデバイスのカメラアプリケーションの構成要素である、請求項１に記載のシステム。
9. シーン内の複数の関心領域を提案し、前記複数の関心領域から多焦点イメージを生成するための方法であって、
   シーン内の候補関心領域を決定することと、
   シーン内の可能な関心領域から関心領域の提案をディスプレイスクリーン上に示すことと、
   複数の関心領域の選択を示す入力を受信することと、
   前記選択された複数の関心領域の各々に関連するオートフォーカスパラメータを決定することと、
   前記関心領域に関連する前記オートフォーカスパラメータを使用して、各関心領域のイメージをキャプチャすることと、
   各関心領域を含む前記イメージからのイメージデータを含む多焦点イメージを生成することと
   を備える、方法。
10. プレビューモードにおいてイメージングデバイスを動作させることをさらに備える、請求項９に記載の方法。
11. 顔検出アルゴリズムまたはオブジェクトトラッキングアルゴリズムを使用してシーン内の関心領域を決定することをさらに備える、請求項９に記載の方法。
12. 前記プレビューモードにおいて前記提案された複数の関心領域をユーザにグラフィカルに表示することをさらに備える、請求項１０に記載の方法。
13. 複数の関心領域の選択を示す入力を受信することが、タッチスクリーン上でタッチイベントを登録することをさらに備える、請求項９に記載の方法。
14. 前記イメージングデバイスが、モバイルデバイスのカメラアプリケーションの構成要素である、請求項１０に記載の方法。
15. シーン内の複数の関心領域を提案し、前記複数の関心領域から多焦点イメージを生成するための装置であって、
    シーン内の候補関心領域を決定するための手段と、
    シーン内の可能な関心領域から関心領域の提案をディスプレイスクリーン上に示すための手段と、
    複数の関心領域の選択を示す入力を受信するための手段と、
    前記選択された複数の関心領域の各々に関連するオートフォーカスパラメータを決定するための手段と、
    前記関心領域に関連する前記オートフォーカスパラメータを使用して、各関心領域のイメージをキャプチャするための手段と、
    各関心領域を含む前記イメージからのイメージデータを含む多焦点イメージを生成するための手段と
    を備える、装置。
16. センサーを備えるイメージングデバイスをさらに備え、ここにおいて、前記装置が、前記イメージングデバイスと前記関心領域に関連する前記オートフォーカスパラメータとを使用して各関心領域のイメージをキャプチャするための手段をさらに備える、請求項１５に記載の装置。
17. プレビューモードにおいて前記イメージングデバイスを動作させるための手段をさらに備える、請求項１６に記載の装置。
18. 顔検出アルゴリズムまたはオブジェクトトラッキングアルゴリズムを使用してシーン内の前記関心領域を決定するための手段をさらに備える、請求項１５に記載の装置。
19. 前記プレビューモードにおいて前記提案された複数の関心領域をユーザにグラフィカルに表示するための手段をさらに備える、請求項１７に記載の装置。
20. タッチスクリーンをさらに備え、ここにおいて、前記装置が、前記タッチスクリーン上でタッチイベントを登録することによって、複数の関心領域の選択を示す入力を受信するための手段をさらに備える、請求項１５に記載の装置。
21. シーン内の候補関心領域を決定することに関する入力を受信するための手段をさらに備える、請求項１５に記載の装置。
22. 実行されたとき、
    シーン内の候補関心領域を決定することと、
    シーン内の可能な関心領域から関心領域の提案をディスプレイスクリーン上に示すことと、
    複数の関心領域の選択を示す入力を受信することと、
    前記選択された複数の関心領域の各々に関連するオートフォーカスパラメータを決定することと、
    前記関心領域に関連する前記オートフォーカスパラメータを使用して、各関心領域のイメージをキャプチャすることと、
    各関心領域を含む前記イメージからのイメージデータを含む多焦点イメージを生成することと
    を備える方法を少なくとも１つの物理的コンピュータプロセッサに実行させる命令を記憶する非一時的コンピュータ可読媒体。
23. 前記方法が、プレビューモードにおいてイメージングデバイスを動作させることをさらに備える、請求項２２に記載の非一時的コンピュータ可読媒体。
24. 前記方法が、顔検出アルゴリズムまたはオブジェクトトラッキングアルゴリズムを使用してシーン内の前記関心領域を決定することをさらに備える、請求項２２に記載の非一時的コンピュータ可読媒体。
25. 前記方法が、前記プレビューモードにおいて前記提案された関心領域をユーザにグラフィカルに表示することをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
26. 前記方法が、シーン内の候補関心領域を決定することに関する入力を受信することをさらに備える、請求項２２に記載の非一時的コンピュータ可読媒体。
27. タッチスクリーン上でタッチイベントを登録することによって、複数の関心領域の選択を示す入力を受信することをさらに備える、請求項２２に記載の非一時的コンピュータ可読媒体。

Images