JP2018530177A - 画像又はビデオをユーザが取り込むのを支援する方法及びシステム - Google Patents

Abstract

【課題】 最適品質を備えた画像又はビデオの取り込みにおいてユーザを支援する方法及びシステムを提供する。
【解決手段】 本明細書において、画像又はビデオをユーザが取り込むのを支援するための方法及びシステムの様々な態様が開示される。１つの実施形態によれば、電子デバイスにおける１又は２以上の回路が、ユーザから第１の複数の入力値を受け取るよう構成される。第１の複数の入力値は、第１の位置にて電子デバイスの１又は２以上の視野（ＦＯＶ）における第１のオブジェクトを包含する第１の複数の境界ポイントを含む。その後、画像又はビデオを取り込むために使用される第２の位置及び目標ＦＯＶは、第１の複数の境界ポイントに基づいて決定される。画像又はビデオは、少なくとも第１のオブジェクトを含む。更に、インジケータの表示は、目標ＦＯＶにおける画像又はビデオを取り込むための第２の位置にユーザを案内するよう制御される。
【選択図】 図９

Description

本開示の様々な実施形態は、画像の取り込みに関する。より具体的には、本開示の様々な実施形態は、ユーザが画像又はビデオを取り込むためのデバイスベースの支援に関する。

画像処理技術の進歩及びカメラ対応電子デバイスの急増に伴って、アマチュア写真家とプロ写真家の両方を含む写真愛好家の数が大幅に増えてきた。プロ写真家は、シーンの画像又はビデオを撮影するスポットを選ぶときに十分に注意を払う場合がある。プロ写真家は、ユーザの電子デバイスで利用でき且つユーザが適切なショットを取り込むのを可能にする様々な調節及び設定の知識を有することができる。更に、プロ写真家は、取り込まれた画像又はビデオの品質を向上するためにこれらに対して実行できる様々な後処理動作を認知している。しかしながら、アマチュア写真家は、写真撮影に伴う精緻さに関してプロ写真家ほどには認知しておらずまた精通していない可能性がある。従って、最適品質を備えた画像又はビデオの取り込みにおいて、このような初心者又はアマチュアユーザを支援する必要性がある。

従来的手法及び因習的手法の更に別の限界及び欠点は、本出願の残りの部分で図面を参照して示すような本発明の開示の一部の態様との説明するシステムの比較を通して当業者には明らかになるであろう。

画像又はビデオをユーザが取り込むのを支援する方法及びシステムは、請求項において完全に記載されるように図の少なくとも１つに関して図示及び／又は説明される。

本発明の開示のこれら及び他の特徴及び利点は、全体を通して類似の参照番号が類似の部分を指す添付図面と共に本発明の開示の以下の詳細説明の精査から理解することができる。

本開示の実施形態による、画像又はビデオをユーザが取り込むのを支援する例示的な環境を示す図である。 本開示の実施形態による、例示的な電子デバイスを示すブロック図である。 本開示の実施形態による、関心シーンの１又は２以上のオブジェクトを包含する複数の境界ポイントの選択のための例示的なシナリオを示す図である。 本開示の実施形態による、関心シーンにおける少なくとも１つの動的オブジェクトと１又は２以上の静的オブジェクトについての複数の境界ポイントの選択のための例示的なシナリオを示す図である。 本開示の実施形態による、電子デバイスを使用してユーザが画像又はビデオを取り込むのを支援するための第１の例示的なシナリオを示す図である。 本開示の実施形態による、電子デバイスを使用してユーザが画像又はビデオを取り込むのを支援するための第２の例示的なシナリオを示す図である。 本開示の実施形態による、関心シーンのパノラマ画像を取り込むためのユーザのガイダンスの例示的なシナリオを示す図である。 本開示の実施形態による、関心シーンの閾値画像を取り込むユーザのガイダンスの例示的なシナリオを示す図である。 本開示の実施形態による、画像又はビデオをユーザが取り込むのを支援する方法を示すフローチャートである。

以下に記載される実施構成は、画像又はビデオをユーザが取り込むのを支援するための開示される方法及びシステムにおいて見出すことができる。本開示の例示的な態様は、電子デバイスにおいて実施可能な方法を含むことができる。本方法は、第１の位置にあるユーザからの第１の複数の入力値の受け取りを含むことができる。受け取った第１の複数の入力値は、第１の位置にある電子デバイスの１又は２以上の視野（ＦＯＶ）における第１のオブジェクトを包含する第１の複数の境界ポイントを含むことができる。その後、受け取った第１の複数の境界ポイントに基づいて、画像又はビデオを取り込むための第２の位置及び目標ＦＯＶを決定することができる。画像又はビデオは、少なくとも第１のオブジェクトを含むことができる。更に、インジケータの表示を制御して、目標ＦＯＶにおける第１のオブジェクトの画像又はビデオを取り込むための第２の位置にユーザを案内することができる。

１つの実施形態によれば、第１のオブジェクトの少なくとも一部分は、第１の位置の電子デバイスの１又は２以上のＦＯＶを超えて延びる場合がある。ユーザ定義の閾値に基づいて第２の位置及び目標ＦＯＶを決定し、目標ＦＯＶにおける第１のオブジェクトの一部分を取り込むことができる。

１つの実施形態によれば、電子デバイスの１又は２以上のセンサからセンサデータを受け取って、第１のオブジェクトを包含することができる第１の複数の境界ポイントを決定することができる。１又は２以上のパラメータの決定に基づいて、第２の位置及び目標ＦＯＶを決定することができる。１又は２以上のパラメータの実施例は、限定ではないが、光の方向、１又は２以上の光源、光の強度、１又は２以上のＦＯＶにおいて第１のオブジェクトを見たときの電子デバイスの移動角度、第１の位置の電子デバイスからの第１のオブジェクトの距離、及び／又は画像品質閾値を含むことができる。

第１の位置にあるユーザから第２の複数の入力値を受け取ることができる。受け取った第２の複数の入力値は、第２のオブジェクトを包含することができる第２の複数の境界ポイントを含むことができる。１つの実施形態によれば、第１のオブジェクト及び第２のオブジェクトを取り込むために、パノラマ画像モードを推奨することができる。１つの実施形態によれば、第１のオブジェクト及び第２のオブジェクトを含む画像又はビデオを取り込むための第２の位置及び目標ＦＯＶを決定することができる。第２の位置及び目標ＦＯＶの決定は、第１のオブジェクトについての受け取った第１の複数の境界ポイント及び第２のオブジェクトについての受け取った第２の複数の境界ポイントに基づくことができる。

１つの実施形態によれば、目標ＦＯＶにおける第１のオブジェクト及び／又は第２のオブジェクトの一部分を取り込むための閾値を示すことができる。１つの実施形態によれば、第１及び／又は第２のオブジェクトは、移動状態であってもよい。第１のオブジェクト及び／又は第２のオブジェクトが移動状態にあるときに、第１のオブジェクト及び第２のオブジェクトを含むビデオを取り込むことができる。

目標ＦＯＶにおいて決定された第２の位置にある第１のオブジェクトの画像又はビデオを取り込むための１又は２以上の設定パラメータを使用する推奨を決定することができる。１又は２以上の設定パラメータの実施例は、限定ではないが、アパーチャ設定、国際標準化機構（ＩＳＯ）感度、自動露出、オートフォーカス、自動ホワイトバランス、及び／又は自動照明を含むことができる。

図１は、本開示の実施形態による、画像又はビデオをユーザが取り込むのを支援するための例示的な環境を示す。図１を参照すると、例示的な環境１００が示されている。例示的な環境１００は、関心シーン１０２、ユーザ１０４、及び電子デバイス１０６を含むことができる。例示的な環境１００は更に、異なる時点でのユーザ１０４の位置に関連付けられる第１の位置１０８ａ及び第２の位置１０８ｂなどの位置を含むことができる。例示的な環境１００は更に、第１の位置１０８ａ及び第２の位置１０８ｂそれぞれにある電子デバイス１０６の第１ＦＯＶ １１０ｂ及び第２ＦＯＶ １１０ｂなどの視野（ＦＯＶ）を含むことができる。例示的な環境１００は更に、第１の複数の境界ポイント１１４及び第２の複数の境界ポイント１１８それぞれが包含することができる第１のオブジェクト１１２及び第２のオブジェクト１１６を含むことができる。加えて、例示的な環境１００は、第１ＵＩ １２０ａ及び第２ＵＩ １２０ｂなどの電子デバイス１００の例示的なユーザインタフェース（ＵＩ）を示す。第１ＵＩ １２０ａは、第１ＵＩ １２０ａにおいて参照画像１２２を表示することができる。第２ＵＩ １２０ｂは、ナビゲーション指示などのインジケータを表示してユーザ１０４にガイダンスを提供する、第１の部分１２４ａ及び第２の部分１２４ｂを含むことができる。

関心シーン１０２は、ユーザ１０４が電子デバイス１０６を使用して画像又はビデオとして取り込むのに興味を有する可能性がある地理的エリア又は風景を含むことができる。取り込まれる画像又はビデオは、地理的エリア又は風景内に位置することができる１又は２以上のオブジェクトの描写を含むことができる。１又は２以上のオブジェクトの実施例は、限定ではないが、建物、建築的人工物、道路、水域、車両、人の対象体、及び／又は人以外の対象体を含むことができる。

ユーザ１０４は、地理的エリア又は風景における１又は２以上のオブジェクトの画像又はビデオを取り込むことができる人の対象体に相当することができる。１つの実施形態によれば、ユーザ１０４は、ユーザ１０４が地理的エリアの近く又はその中に位置する間に、電子デバイス１０６を使用して画像又はビデオを取り込むことができる。１つの実施形態によれば、ユーザ１０４が画像又はビデオを取り込む間、ユーザ１０４は、複数の入力値を第１ＵＩ １２０ａを介して電子デバイス１０６に提供することができる。複数の入力値に基づいて、電子デバイス１０６は、第２ＵＩ １２０ｂを介してユーザ１０４に対して推奨を表示し、ユーザ１０４が画像又はビデオを取り込むのを支援することができる。

本開示の範囲が人の対象体としてのユーザ１０４に限定されない点は、当業者であれば理解されるであろう。１つの実施形態によれば、ユーザ１０４は、限定ではないが、画像取り込みロボット、画像取り込みドローン、スパイダーカメラ、及び／又は監視カメラなどの自動画像取り込みデバイスに相当することができる。このような事例では、電子デバイス１０６の機能は、自動画像取り込みデバイスによって実施することができる。代替として、自動画像取り込みデバイスは、画像又はビデオを自動画像取り込みデバイスが取り込むのを支援するよう構成することができる別の電子デバイス又はサーバに通信可能に結合することができる。

電子デバイス１０６は、画像又はビデオをユーザ１０４が取り込むのを支援するよう構成することができる好適な論理、回路、インタフェース、及び／又はコードを含むことができる。１つの実施形態によれば、電子デバイス１０６は、該電子デバイス１０６の第１ＵＩ １２０ａを介してユーザ１０４から複数の入力値を受け取るよう構成することができる。更に複数の入力値に基づいて、電子デバイス１０６は、画像又はビデオをユーザ１０４が取り込むのを支援するために、第２ＵＩ １２０ｂを介してユーザ１０４に推奨を表示することができる。１つの実施形態によれば、ユーザ１０４は、電子デバイス１０６を使用して、電子デバイス１０６によって提供される推奨に基づいて画像又はビデオを取り込むことができる。電子デバイス１０６の実施例は、限定ではないが、スマートフォン、カメラ、タブレットコンピュータ、ラップトップ、ウェアラブル電子デバイス、スマート眼鏡、デジタルカムコーダ、及び／又は他のカメラ対応デバイスを含むことができる。

動作中、ユーザ１０４は、電子デバイス１０６を使用して、第１の位置１０８ａなどの初期位置から第１のオブジェクト１１２の画像又はビデオの取り込みを要求することができる。第１の位置１０８ａは、第１のオブジェクト１１２が位置付けられる場所と同じ地理的エリア内のユーザ１０４の位置に相当することができる。第１のオブジェクト１１２は、第１の位置１０８ａにある電子デバイス１０６の第１ＦＯＶ １１０ａなどの１又は２以上のＦＯＶ内で見ることができる。１つの実施形態によれば、第１のオブジェクト１１２の少なくとも一部分は、第１の位置１０８ａにある電子デバイス１０６の第１ＦＯＶ １１０ａを超えて延びる場合がある。電子デバイス１０６は、第１の位置１０８ａにあるユーザ１０４から第１の複数の入力値を受け取るよう構成することができる。受け取った第１の複数の入力値は、境界ポイント１１４などの第１の複数の境界ポイントを含むことができる。第１の複数の境界ポイント１１４は、第１のオブジェクト１１２を包含することができる。１つの実施形態によれば、電子デバイス１０６は、該電子デバイス１０６における１又は２以上のセンサによって生成されたセンサデータに基づいて、第１の複数の境界ポイント１１４を決定するよう構成することができる。

１つの実施形態によれば、電子デバイス１０６は、１又は２以上のパラメータの決定に基づいて、第２の位置１０８ｂなどの目標位置と、第２ＦＯＶ １１０ｂなどの目標ＦＯＶとを決定するよう構成することができる。１又は２以上のパラメータの実施例は、限定ではないが、光の方向、１又は２以上の光源、光の強度、第１ＦＯＶ １１０ａにおいて第１のオブジェクト１１２を見たときの電子デバイス１０６の移動角度、第１の位置１０８ａの電子デバイス１０６からの第１のオブジェクト１１２の距離、及び／又は予め設定された画像品質閾値を含むことができる。第２ＦＯＶ １１０ｂ内で第２の位置１０８ｂから取り込まれた少なくとも第１のオブジェクト１１２の画像又はビデオは、電子デバイス１０６によって取り込むことができる最終画像又はビデオに相当することができる。第２の位置１０８ｂ及び第２ＦＯＶ １１０ｂの決定は、受け取った第１の複数の境界ポイント１１４に基づくことができる。１つの実施形態によれば、第２の位置１０８ｂ及び第２ＦＯＶ １１０ｂは、第２ＦＯＶ １１０ｂにおける第１のオブジェクト１１２の一部分を取り込むためのユーザ定義の閾値に基づいて決定することができる。電子デバイス１０６は更に、インジケータの表示を制御するよう構成することができる。このインジケータは、最適な方式で第２ＦＯＶ １１０ｂの第１のオブジェクト１１２の最終画像又はビデオを取り込むため、第２の位置１０８ｂにユーザ１０４を案内することができる。

１つの実施形態によれば、電子デバイス１０６は、第１の位置１０８ａにおいて第１ＵＩ １２０ａを介してユーザ１０４から第２の複数の入力値を受け取るよう構成することができる。第２の複数の入力値は、第２のオブジェクト１１６を包含することができる境界ポイント１１８などの第２の複数の境界ポイントを含むことができる。１つの実施形態によれば、第１のオブジェクト１１２及び第２のオブジェクト１１６の両方を含む画像又はビデオを取り込むため、第２の位置１０８ｂ及び第２ＦＯＶ １１０ｂを決定することができる。この決定は、第１のオブジェクト１１２についての受け取った第１の複数の境界ポイント１１４及び第２のオブジェクト１１６についての受け取った第２の複数の境界ポイント１１８に基づくことができる。

例えば、ユーザ１０４は、電子デバイス１０６を使用して、第１の位置１０８ａなどのユーザ１０４の初期位置において関心シーン１０２の参照画像１２２を取り込むことができる。電子デバイス１０６は、取り込まれた参照画像１２２を第１ＵＩ １２０ａを介してユーザ１０４に表示することができる。更に、電子デバイス１０６は、ユーザ１０４に対して、第１ＵＩ １２０ａを介して参照画像１２２における複数の境界ポイントを選択する入力を提供するよう指示することができる。ユーザ１０４は、第１ＵＩ １２０ａを介して第１のオブジェクト１１２を包含することができる第１の複数の境界ポイント１１４を選択する第１の複数の入力値を提供することができる。加えて、ユーザ１０４は、第１ＵＩ １２０ａを介して第２のオブジェクト１１６を包含することができる第２の複数の境界ポイント１１８を選択する別の入力（第２の複数の入力値など）を提供することができる。その後、電子デバイス１０６は、複数の境界ポイント１１４及び１１８に基づいて、第１のオブジェクト１１２及び第２のオブジェクト１１６を包含する最終画像又はビデオを取り込むための目標位置（第２の位置１０８ｂなど）を決定することができる。電子デバイス１０６は、第２ＵＩ １２０ｂをユーザ１０４に表示して、ユーザ１０４が第１の位置１０８ａから第２の位置１０８ｂを発見するのを支援することができる。第２ＵＩ １２０ｂは、第１の位置１０８ａから第２の位置１０８ｂに到達するための１又は２以上の経路の推奨を表示することができる。この推奨の実施例は、限定ではないが、第２の位置１０８ｂに到達するための視覚指示、テキスト指示、及び／又は音声指示を含むことができる。例えば、第２ＵＩ １２０ｂは、第１の位置１０８ａから第２の位置１０８ｂに到達するための視覚ナビゲーションマップを表示する第１の部分１２４ａを含むことができる。更に、第２ＵＩ １２０ｂは、「２フィート後方に歩く」、「５フィート左方向に歩く」、「３フィート後方に歩く」、及び「１フィート左方向に歩く」などの対応するテキストナビゲーション指示を表示する第２の部分１２４ｂを含むことができる。第１ＵＩ １２０ａ及び第２ＵＩ １２０ｂは例証の目的で提供され、本開示の範囲を限定するものと解釈すべきではないことを、当業者であれば理解するであろう。

１つの実施形態によれば、電子デバイス１０６は、第１ＵＩ １２０ａを介してユーザ１０４に閾値を示すよう構成することができる。この閾値は、第２ＦＯＶ １１０ｂにおける第１のオブジェクト１１２及び／又は第２のオブジェクト１１６の一部分を含むことができる画像又はビデオの取り込みを可能にすることができる。１つの実施形態によれば、第１のオブジェクト１１２及び／又は第２のオブジェクト１１６は、移動状態とすることができる。第１のオブジェクト１１２及び／又は第２のオブジェクト１１６が移動状態にあるときに、電子デバイス１０６は、第１のオブジェクト１１２及び第２のオブジェクト１１６を含むビデオの取り込みを推奨することができる。代替として（又は上記に加えて）、電子デバイス１０６は、電子デバイス１０６のパノラマ画像モードでの第１のオブジェクト１１２及び第２のオブジェクト１１６の取り込みを推奨することができる。

１つの実施形態によれば、電子デバイス１０６は、１又は２以上の設定パラメータの使用についての推奨を決定するよう構成することができる。決定した設定パラメータを使用して、第２ＦＯＶ１０８ｂにおける決定された第２の位置１０８ｂで第１のオブジェクト１１２の画像又はビデオを取り込むことができる。電子デバイス１０６は、電子デバイス１０６の第２ＵＩ １２０ｂを介して決定した推奨をユーザ１０４に提供することができる。１又は２以上の設定パラメータの実施例は、限定ではないが、アパーチャ設定、国際標準化機構（ＩＳＯ）感度、自動露出、オートフォーカス、自動ホワイトバランス、及び／又は自動照明を含むことができる。

図２は、本開示の実施形態による、例示的な電子デバイスを示すブロック図である。図２は、図１からの要素に関して説明される。図２を参照すると、電子デバイス１０６が示されている。電子デバイス１０６は、プロセッサ２０２などの１又は２以上のプロセッサ、送受信機２０４などの１又は２以上の送受信機、メモリ２０６などの１又は２以上のメモリ、カメラプラグイン２０８、１又は２以上のセンサ２１６、及びディスプレイデバイス２１８を含むことができる。カメラプラグイン２０８は、画像処理エンジン２１０、推奨エンジン２１２、及びＵＩマネージャ２１４を含むことができる。１つの実施形態によれば、電子デバイス１０６は、送受信機２０４を介して通信ネットワーク（図２には図示せず）を通じて１又は２以上の他の電子デバイス又はサーバに通信可能に結合することができる。代替として、電子デバイス１０６は、送受信機２０４を含まなくてもよい。このような事例では、電子デバイス１０６は、１又は２以上の他の電子デバイス又はサーバとの通信が可能ではない。

プロセッサ２０２は、送受信機２０４、メモリ２０６、カメラプラグイン２０８、１又は２以上のセンサ２１６、及びディスプレイデバイス２１８に通信可能に結合することができる。送受信機２０４は、通信ネットワーク（図示せず）を介して別の電子デバイス又はサーバ（図示せず）と通信するよう構成することができる。

プロセッサ２０２は、メモリ２０６内に格納された命令セットを実行するよう構成することができる、好適な論理、回路、インタフェース、及び／又はコードを含むことができる。プロセッサ２０２は、当技術で公知の幾つかのプロセッサ技術に基づいて実施することができる。プロセッサ２０２の実施例は、Ｘ８６ベースプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、及び／又は他のプロセッサとすることができる。

送受信機２０４は、通信ネットワーク（図示せず）を介して別の電子デバイス又はサーバ（図示せず）と通信するよう構成することができる、好適な論理、回路、インタフェース、及び／又はコードを含むことができる。送受信機２０４は、有線又は無線通信をサポートする公知の技術を実装することができる。送受信機２０４は、限定ではないが、アンテナ、無線周波数（ＲＦ）送受信機、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタル信号プロセッサ、コーダ−デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができる。

送受信機２０４は、インターネット、イントラネットなどのネットワーク、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）などの無線ネットワーク及び／又は都市エリアネットワーク（ＭＡＮ）などの無線ネットワークと無線通信を介して通信することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、及び／又はＩＥＥＥ８０２．１１ｎなど）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用プロトコル、インスタントメッセージング、及び／又はショートメッセージサービス（ＳＭＳ）などの複数の通信規格、プロトコル及び技術の何れかを使用することができる。

メモリ２０６は、プロセッサ２０２によって実行可能な少なくとも１つのコードセクションを備えたマシンコード及び／又はコンピュータプログラムを格納するよう構成することができる、好適な論理、回路、及び／又はインタフェースを含むことができる。メモリ２０６は更に、電子デバイス１０６によって取り込むことができる１又は２以上の画像又はビデオを格納するよう構成することができる。１つの実施形態によれば、メモリ２０６は、離散的メモリパーティションを含むことができる。このような事例では、カメラプラグイン２０８などの様々なカメラプラグインは、電子デバイス１０６にインストールされた他のアプリケーション又はプログラムがない限り、対応するメモリパーティションへの直接排他的アクセスを有することができる。メモリ２０６の実施構成の実施例は、限定ではないが、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、及び／又はセキュアデジタル（ＳＤ）カードを含むことができる。

カメラプラグイン２０８は、電子デバイス１０６の使用によって、１又は２以上の画像又はビデオをユーザ１０４が取り込むのを支援するよう構成することができる、好適な論理、回路、インタフェース、及び／又はコードを含むことができる。１つの実施形態によれば、カメラプラグイン２０８は、プロセッサ２０２の一部とすることができる。代替として、カメラプラグイン２０８は、電子デバイス１０６内の別のプロセッサ又は回路として実施することができる。１つの実施形態によれば、カメラプラグイン２０８及びプロセッサ２０２は、カメラプラグイン２０８及びプロセッサ２０２の機能を実行する一体型プロセッサ又はプロセッサのクラスタとして実施することができる。１つの実施形態によれば、カメラプラグイン２０８は、プロセッサ２０２によって実行されたときにカメラプラグイン２０８の機能を実行することができるメモリ２０６に格納されたコンピュータプログラムコードとして実施することができる。

画像処理エンジン２１０は、関心シーン１０２の地理的エリア内の電子デバイス１０６の目標ＦＯＶを決定するよう構成することができる、好適な論理、回路、インタフェース、及び／又はコードを含むことができる。更に、画像処理エンジン２１０は、地理的エリア内の目標位置を決定するよう構成することができ、これにより電子デバイス１０６の決定されたＦＯＶにおける最終画像又はビデオの取り込みを可能にすることができる。１つの実施形態によれば、画像処理エンジン２１０は、１又は２以上のセンサ２１６からセンサデータを受け取ることができる。センサデータに基づいて、画像処理エンジン２１０は、１又は２以上のパラメータを決定することができる。画像処理エンジン２１０は、決定された１又は２以上のパラメータに基づいて目標ＦＯＶ及び位置を決定するよう構成することができる。

推奨エンジン２１２は、目標ＦＯＶ及び／又は目標位置に基づいて、最終画像又はビデオを取り込むための１又は２以上の推奨を生成するよう構成することができる、好適な論理、回路、インタフェース、及び／又はコードを含むことができる。推奨エンジン２１２は、１又は２以上のセンサ２１６から、ユーザ１０４の現在の位置（電子デバイス１０６の位置と同じとすることができる）を含むことができるセンサデータを受け取ることができる。その後、推奨エンジン２１２は、ユーザ１０４の現在の位置に基づいて、画像処理エンジン２１０によって決定された目標位置をユーザ１０４が発見するのを助ける１又は２以上の推奨を生成することができる。１つの実施形態によれば、推奨エンジン２１２は、目標ＦＯＶにおける目標位置にてオブジェクトの画像又はビデオを取り込むための１又は２以上の設定パラメータの推奨を生成することができる。本開示の範囲が別々のエンティティとしての画像処理エンジン２１０及び推奨エンジン２１２の実施構成に限定されないことを、当業者であれば理解するであろう。１つの実施形態によれば、本開示の範囲から逸脱することなく、画像処理エンジン２１０及び推奨エンジン２１２を単一のエンティティとして一体化することができる。

ＵＩマネージャ２１４は、電子デバイス１０６のディスプレイデバイス２１８に提示されるＵＩを管理するよう構成することができる、好適な論理、回路、インタフェース、及び／又はコードを含むことができる。ＵＩマネージャ２１４は更に、電子デバイス１０６の入力デバイス（図２には図示せず）を介して電子デバイス１０６の第１ＵＩ １２０ａを通じて受け取られたユーザ入力を受け取り処理するよう構成することができる。１つの実施形態によれば、入力デバイスは。電子デバイス１０６に通信可能に結合することができる（電子デバイス１０６内に含めることができる）。入力デバイスの実施例は、限定ではないが、キーパッド、マウス、ジョイスティック、トラックパッド、音声対応入力デバイス、タッチ対応入力デバイス、及び／又はジェスチャ対応入力デバイスを含むことができる。

１つの実施形態によれば、ＵＩマネージャ２１４は、電子デバイス１０６のＵＩを介して、ユーザ１０４に対してカメラインタフェースを提示するよう構成することができる（以下、用語「ＵＩ」及び「カメラインタフェース」は同義に使用される）。カメラインタフェースは、最終画像又はビデオの取り込みのため推奨エンジン２１２によって生成される１又は２以上の推奨を表示するよう構成することができる。更に、カメラインタフェースは、１又は２以上の推奨に基づいて最終画像又はビデオをユーザ１０４が取り込むことができるように構成することができる。

１又は２以上のセンサ２１６は、関心シーン１０２の１又は２以上の画像又はビデオを取り込むよう構成することができる、好適な論理、回路、インタフェース、及び／又はコードを含むことができる。１つの実施形態によれば、１又は２以上のセンサ２１６は、関心シーン１０２の地理的エリアにおいて１又は２以上のオブジェクトに対する電子デバイス１０６の移動の位置、向き、及び／又は度を決定するよう構成することができる。更に、１又は２以上のセンサ２１６は、電子デバイス１０６の移動の決定された位置、決定された向き、及び／又は決定された度のうちの１又はそれ以上に基づいて、センサデータを決定するよう構成することができる。１又は２以上のセンサ２１６は、画像取り込みセンサ及び／又は光センサを含むことができる。画像取り込みセンサ及び／又は光センサの実施例は、限定ではないが、電荷結合デバイス（ＣＣＤ）センサ、相補型金属酸化膜半導体（ＣＭＯＳ）センサ、及び／又はＮ型金属酸化膜半導体（ＮＭＯＳ）センサを含むことができる。加えて、１又は２以上のセンサ２１６は、限定ではないが、位置センサ（地理的測位センサ（ＧＰＳ）など）、方位センサ（ジャイロスコープ及び／又は磁気探知器など）、及び／又は速度／モーションセンサ（加速度計など）を含むこともできる。

ディスプレイデバイス２１８は、第１ＵＩ １２０ａ及び第２ＵＩ １２０ｂをレンダリングするよう構成することができる、好適な論理、回路、インタフェース、及び／又はコードを含むことができる。１つの実施形態によれば、ディスプレイデバイス２１８は、電子デバイス１０６の一部として実施することができる。代替として、ディスプレイデバイス２１８は、電子デバイス１０６に通信可能に結合することができる。ディスプレイデバイス２１８は、限定ではないが、ブラウン管（ＣＲＴ）ベースのディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ベースのディスプレイ、有機ＬＥＤディスプレイ技術、及び網膜ディスプレイ技術などの幾つかの公知の技術によって実現することができる。加えて、１つの実施形態によれば、ディスプレイデバイス２１８は、ユーザ１０４からの入力を受け取ることができる。このような事例では、ディスプレイデバイス２１８は、ユーザ１０４が入力を提供できるようにするタッチスクリーンとすることができる。１つの実施形態によれば、タッチスクリーンは、抵抗性タッチスクリーン、容量性タッチスクリーン、又は熱タッチスクリーンのうちの少なくとも１つに相当することができる。１つの実施形態によれば、ディスプレイデバイス２１８は、仮想キーパッド、スタイラス、ジェスチャベースの入力、及び／又はタッチベースの入力を介して入力を受けることができる。このような事例では、入力デバイスは、ディスプレイデバイス２１８内に一体化することができる。加えて、電子デバイス１０６は、タッチスクリーンベースのディスプレイデバイス２１８とは別個の二次入力デバイスを含むことができる。

動作中、ユーザ１０４は、電子デバイス１０６を使用して、第１の位置１０８ａなどの初期位置から第１のオブジェクト１１２の画像又はビデオを取り込むことを要求することができる。第１のオブジェクト１１２は、第１の位置１０８ａにある電子デバイス１０６の第１ＦＯＶ １１０ａなどの１又は２以上のＦＯＶ内で見ることができる。１つの実施形態によれば、第１のオブジェクト１１２の少なくとも一部分は、第１の位置１０８ａにある電子デバイス１０６の第１ＦＯＶ １１０ａを超えて延びる場合がある。ＵＩマネージャ２１４は、電子デバイス１０６のＵＩ（例えば、ＵＩ １２０ａ）を介して、ユーザ１０４に取り込まれた参照画像又はビデオを表示するよう構成することができる。更に、ＵＩマネージャ２１４は、ユーザ１０４に対して、取り込まれた参照画像又はビデオに基づいて複数の入力値を提供するよう指示することができる。

１つの実施形態によれば、画像処理エンジン２１０は、電子デバイス１０６の第１ＵＩ １２０ａを介してユーザ１０４から第１の複数の入力値を受け取るよう構成することができる。第１の複数の入力値は、１又は２以上の参照画像又はビデオ内に第１の複数の境界ポイント１１４を含むことができる。第１の複数の境界ポイント１１４は、第１の位置１０８ａにある電子デバイス１０６の１又は２以上の基準ＦＯＶ（図１の第１ＦＯＶ １１０ａによって図示される）において第１のオブジェクト１１２を包含することができる。１つの実施形態によれば、画像処理エンジン２１０は、第２の位置（図１の第２の位置１０８ｂによって図示される）及び目標ＦＯＶ（図１の第２ＦＯＶ １１０ｂによって図示される）を決定するよう構成することができる。第２の位置１０８ｂ及び第２ＦＯＶ １１０ｂは、受け取った第１の複数の境界ポイント１１４に基づいて、少なくとも第１のオブジェクト１１２を含む１又は２以上の最終画像又はビデオを取り込むために決定することができる。

１つの実施形態によれば、１又は２以上のセンサ２１６は、１又は２以上の参照画像又はビデオが取り込まれたときにセンサデータを生成することができる。画像処理エンジン２１０は、１又は２以上のセンサ２１６からセンサデータを受け取ることができる。センサデータは、限定ではないが、画像取り込みセンサデータ、位置センサデータ、方位センサデータ、及び／又は速度／モーションセンサデータを含むことができる。その後、画像処理エンジン２１０は、センサデータに基づいて１又は２以上のパラメータを決定することができる。１又は２以上のパラメータの実施例は、限定ではないが、光の方向、１又は２以上の光源、光の強度、第１ＦＯＶ １１０ａにおいて第１のオブジェクト１１２を見たときの電子デバイス１０６の移動角度、第１の位置１０８ａの電子デバイス１０６からの第１のオブジェクト１１２の距離、及び／又は画像品質閾値を含むことができる。１つの実施形態によれば、第２の位置１０８ｂ及び第２ＦＯＶ １１０ｂの決定は、決定された１又は２以上のパラメータに基づくことができる。

１つの実施形態によれば、画像処理エンジン２１０は、１又は２以上のパラメータ及び／又はセンサデータに基づいて、第１のオブジェクト１１２を包含する第１の複数の境界ポイント１１４を決定するよう構成することができる。このような事例では、画像処理エンジン２１０は、ユーザ１０４から第１の複数の入力値の受け取りを必要としない場合がある。代替として、ＵＩマネージャ２１４は、画像処理エンジン２１０によって決定された第１の複数の境界ポイント１１４が重ねられた１又は２以上の参照画像又はビデオを提示することができる。第１の複数の境界ポイント１１４が重ねられた１又は２以上の参照画像又はビデオは、電子デバイス１０６の第１ＵＩ １２０ａを介してユーザ１０４に提示することができる。ユーザ１０４は、第１ＵＩ １２０ａを介して第１の複数の境界ポイント１１４を確認又は調整することができる。

画像処理エンジン２１０は、１又は２以上のパラメータ及び／又はセンサデータに基づいて、第１のオブジェクト１１２が第１ＦＯＶ １１０ａ内に完全に又は部分的に位置するかどうかを決定するよう構成することができる。第１のオブジェクト１１２が第１ＦＯＶ １１０ａ内に完全には位置しない場合、ＵＩマネージャ２１４は、ユーザ１０４に対して、第１のオブジェクト１１２の一部分の取り込みに関連付けられる閾値を提供するよう指示することができる。画像処理エンジン２１０は、ユーザ定義閾値に基づいて、第２の位置１０８ｂ及び第２ＦＯＶ １１０ｂを決定することができる。例えば、ユーザ１０４は、第１ＵＩ １２０ａを介して、「１２０パーセント」などの閾値を提供する。閾値に基づいて、画像処理エンジン２１０は、背景シーンに対する取り込まれた画像又はビデオのパーセンテージを決定することができる。従って、閾値「１２０パーセント」に基づいて、第２ＦＯＶ １１０ｂは、背景シーンの「２０パーセント」以上を含む。

１つの実施形態によれば、画像処理エンジン２１０は、第１の位置１０８ａにあるユーザ１０４からの第２の複数の入力値を第１ＵＩ １２０ａを介して受け取るよう構成することができる。受け取った第２の複数の入力値は、第２のオブジェクト１１６を包含することができる第２の複数の境界ポイント１１８を含むことができる。１つの実施形態によれば、画像処理エンジン２１０は、第１のオブジェクト１１２及び第２のオブジェクト１１６の両方を含むことができる最終画像又はビデオを取り込むための第２の位置１０８ｂ及び第２ＦＯＶ １１０ｂを決定するよう構成することができる。最終画像又はビデオの決定は、第１のオブジェクト１１２についての受け取った第１の複数の境界ポイント１１４及び第２のオブジェクト１１６についての受け取った第２の複数の境界ポイント１１８に基づくことができる。

１つの実施形態によれば、画像処理エンジン２１０は、第２ＦＯＶ １１０ｂに第１のオブジェクト１１２及び／又は第２のオブジェクト１１６の一部分を含む画像又はビデオを取り込むための閾値を決定するよう構成することができる。画像処理エンジン２１０は、１又は２以上のパラメータ及び／又はセンサデータに基づいて閾値を決定することができる。ＵＩマネージャ２１４は、第１ＵＩ １２０ａを介してこの閾値をユーザ１０４に提示することができる。例えば、第１のオブジェクト１１２及び第２のオブジェクト１１６に対して決定された閾値は、それぞれ「１００パーセント」及び「１２０パーセント」である。これは、第２ＦＯＶ １１０ｂに取り込まれた最終画像又はビデオが、背景シーンに対して第１のオブジェクト１１２の「１００パーセント」及び第２のオブジェクト１１６の「１２０パーセント」を包含できることを示すことができる。

１つの実施形態によれば、第１のオブジェクト１１２、及び／又は第２のオブジェクト１１６は、移動状態とすることができる。画像処理エンジン２１０は、センサデータ及び／又は１又は２以上のパラメータに基づいて、第１のオブジェクト１１２及び／又は第２のオブジェクト１１６が移動状態であるかどうかを決定するよう構成することができる。次に、画像処理エンジン２１０及び／又は推奨エンジン２１２は、第１のオブジェクト１１２及び／又は第２のオブジェクト１１６を取り込むのに好適な１又は２以上の画像取り込みモードの推奨を生成することができる。ＵＩマネージャ２１４は、この推奨された画像取り込みモードを電子デバイス１０６の第２ＵＩ １２０ｂを介してユーザ１０４に提示することができる。１又は２以上の画像取り込みモードの実施例は、限定ではないが、フル解像度画像モード、閾値解像度画像モード、パノラマ画像モード、及び／又はビデオモードを含むことができる。１つの実施形態によれば、第１のオブジェクト１１２及び／又は第２のオブジェクト１１６が移動状態であるときは、ユーザ１０４に推奨される画像取り込みモードは、ビデオモードに相当することができる。

１つの実施形態によれば、推奨エンジン２１２は、関心シーン１０２の地理的エリアにおいて第１のオブジェクト１１２などの１又は２以上のオブジェクトの画像又はビデオをユーザ１０４が取り込むのを支援するための１又は２以上の推奨を生成するよう構成することができる。１つの実施形態によれば、推奨エンジン２１２は、１又は２以上のセンサ２１６からリアルタイムでセンサデータを受け取ることができる。その後、推奨エンジン２１２は、センサデータに基づいて、地理的エリア内のユーザ１０４の第１の位置１０８ａなどの現在の位置（電子デバイス１０６の現在の位置など）と第２の位置１０８ｂとの間の１又は２以上の経路を決定することができる。例えば、推奨エンジン２１２は、画像処理エンジン２１０から第２の位置１０８ｂの位置座標を受け取ることができる。更に、推奨エンジン２１２は、位置センサなどの１又は２以上のセンサ２１６からユーザ１０４の現在の位置（電子デバイス１０６の現在の位置など）の位置座標を受け取ることができる。その後、推奨エンジン２１２は、２つの位置のそれぞれの位置座標に基づいて、現在の位置と第２の位置１０８ｂとの間の１又は２以上の経路を決定することができる。１つの実施形態によれば、推奨エンジン２１２は、決定された１又は２以上の経路に基づいて、ユーザ１０４を第２の位置１０８ｂに案内するためのインジケータ（以下、「ガイダンスインジケータ」と同義に呼ばれる）の表示を制御するよう構成することができる。ガイダンスインジケータは、第２ＦＯＶ １１０ｂにおける１又は２以上のオブジェクト（第１のオブジェクト１１２など）の画像又はビデオの取り込みを可能にすることができる。ＵＩマネージャ２１４は、推奨エンジン２１２によって制御されるガイダンスインジケータを第２ＵＩ １２０ｂを介してユーザ１０４に提示することができる。例えば、ユーザ１０４の現在の位置と第２の位置１０８ｂとの間の経路は、ユーザ１０４に「３フィート右に」及び「６フィート後方に」移動するよう要求することができる。ガイダンスインジケータは、これに従ってユーザ１０４に移動するよう指示することができる。１又は２以上のセンサ２１６は、ユーザ１０４が第２の位置１０８ｂに向かって移動するときに、ユーザ１０４（及び電子デバイス１０６）の位置をリアルタイムでモニタすることができる。推奨エンジン２１２は、ユーザ１０４が第２の位置１０８ｂに向かって移動したときに、ユーザ１０４のモニタされる位置に基づいて第２の位置１０８ｂまでの更新された経路を決定することができる。ガイダンスインジケータは、これに従って更新することができる。例えば、ユーザ１０４がユーザ１０４の前回の位置から「３フィート右に」及び「５フィート後方に」移動した場合、ガイダンスインジケータは、第２の位置１０８ｂに到達するためにユーザ１０４に「１フィート後方に」更に移動するよう指示することができる。

１つの実施形態によれば、推奨エンジン２１２は、画像処理エンジン２１０から地理的エリアにおける１又は２以上の他の第２の位置の位置座標を受け取るよう構成することができる。１又は２以上の他の第２の位置は、第２の位置１０８ｂに加えて、第１のオブジェクト１１２などの１又は２以上のオブジェクトの画像又はビデオを取り込むための他の最適位置に相当することができる。１つの実施形態によれば、推奨エンジン２１２は、ユーザ１０４の現在の位置と１又は２以上の他の第２の位置の各々との間の１又は２以上の経路を決定するよう構成することができる。ＵＩマネージャ２１４は、１又は２以上の他の第２の位置及び／又は現在の位置と１又は２以上の他の第２の位置の各々との間の決定された１又は２以上の経路の推奨を第２ＵＩ １２０ｂを介してユーザ１０４に提示することができる。ＵＩマネージャ２１４は、ユーザ１０４に対して、１又は２以上の他の第２の位置の１つ及び／又は第２の位置１０８ｂから選択させるよう指示することができる。推奨エンジン２１２は、ユーザ１０４によって選択された位置及びユーザ１０４の現在の位置に基づいて、リアルタイムでガイダンスインジケータを更新することができる。例えば、第１のオブジェクト１１２（第２の位置１０８ｂなど）の画像又はビデオを取り込むための最良位置は、ユーザ１０４にとって到達できない可能性がある。このようなシナリオでは、ユーザ１０４は、第１のオブジェクト１１２の画像又はビデオを取り込むために推奨される他の第２の位置のうちの１つを選ぶことができる。ガイダンスインジケータは、ユーザ１０４によって選択された他の第２の位置にユーザ１０４が到達するのを支援することができる。

１つの実施形態によれば、推奨エンジン２１２は、第２ＦＯＶ １１０ｂにおいて決定された第２の位置１０８ｂにある１又は２以上のオブジェクト（第１のオブジェクト１１２など）の画像又はビデオを取り込むための１又は２以上の設定パラメータを決定するよう構成することができる。推奨エンジン２１２は、画像処理エンジン２１０によって決定された１又は２以上のパラメータ及び／又はセンサデータに基づいて、１又は２以上の設定パラメータを決定することができる。１又は２以上の設定パラメータを使用して、１又は２以上のセンサ２１６からの画像取り込みセンサの１又は２以上の機能及び／又は動作態様を構成することができる。ＵＩマネージャ２１４は、電子デバイス１０６の第２ＵＩ １２０ｂを介して、推奨として決定された１又は２以上の設定パラメータをユーザ１０４に提供することができる。ユーザ１０４は、推奨された１又は２以上の設定パラメータに基づく入力を第２ＵＩ １２０ｂを介して提供することができる。画像取り込みセンサなどの１又は２以上のセンサ２１６は、それぞれの設定パラメータに対して受け取ったユーザ入力に基づいて、その設定パラメータの値を調整することができる。１又は２以上の設定パラメータの実施例は、限定ではないが、アパーチャ設定、ＩＳＯ感度、自動露出、オートフォーカス、自動ホワイトバランス、及び／又は自動照明を含むことができる。本開示の範囲が推奨エンジン２１２による１又は２以上の設定パラメータの決定に限定されないことを、当業者であれば理解するであろう。１つの実施形態によれば、画像処理エンジン２１０は、本開示の範囲から逸脱することなく１又は２以上の設定パラメータを決定するよう構成することができる。

本開示の様々な実施形態は、多数の利点を包含することができる。上述のように、電子デバイス１０６は、第１のオブジェクト１１２の画像又はビデオを取り込むのに好適とすることができる第２の位置１０８ｂ及び第２ＦＯＶ １１０ｂを決定することができる。第２の位置１０８ｂにて取り込まれる第１のオブジェクト１１２の画像又はビデオは、第１の位置１０８ａにて取り込まれる第１のオブジェクト１１２の画像又はビデオよりも優れた品質を有することができる。これは、１又は２以上のパラメータに基づいて画像又はビデオの取り込みのために第１の位置１０８ａと比較して第２の位置１０８ｂがより好適であることに起因することができる。

更に、上述のように、電子デバイス１０６は、ユーザ１０４の現在の位置から第２の位置１０８ｂを発見するためのガイダンスをユーザ１０４に提供することができる。ユーザ１０４は、リアルタイムの指示の使用によって、第２の位置１０８ｂに到達することができる。更に、ユーザ１０４が第２の位置１０８ｂを発見できない場合、電子デバイス１０６は、第１のオブジェクト１１２の画像又はビデオを取り込むための第２の位置についての代替の推奨をユーザ１０４に提供することができる。加えて、電子デバイス１０６は、電子デバイス１０６の画像取り込みセンサの適正な構成のための１又は２以上の設定パラメータの推奨をユーザ１０４に提供することができる。

図３は、本開示の実施形態による、関心シーンの１又は２以上のオブジェクトを包含する複数の境界ポイントの選択のための例示的なシナリオを示す。図３は、図２からの要素と関連して記載されている。図３を参照すると、シナリオ図３００が示されている。シナリオ図３００は、ユーザ１０４、電子デバイス１０６、関心シーン３０２、上部境界ポイント３０４ａ、左境界ポイント３０４ｂ、右境界ポイント３０４ｃ、下部境界ポイント３０４ｄ、上部参照画像３０６ａ、左参照画像３０６ｂ、右参照画像３０６ｃ、下部参照画像３０６ｄ、目標参照画像３０８、境界ポイントの第１のセット３１０、及び境界ポイントの第２のセット３１２を含む。

動作中、電子デバイス１０６のＵＩマネージャ２１４は、ユーザ１０４に対して、関心シーン３０２における１又は２以上の関心オブジェクトを包含する１又は２以上の参照画像を第１ＵＩ １２０ａを介して取り込むように指示することができる。ユーザ１０４は、電子デバイス１０６を使用して、関心シーン３０２における１又は２以上の関心オブジェクトの上部分を含むことができる上部参照画像３０６ａを取り込むことができる。同様に、ユーザ１０４は、電子デバイス１０６を使用して、１又は２以上の関心オブジェクトの左部分及び右部分を含むことができる左参照画像３０６ｂ及び右参照画像３０６ｃそれぞれを取り込むことができる。更に、ユーザ１０４は、電子デバイス１０６を使用して、１又は２以上の関心オブジェクトの下部部分を含むことができる下部参照画像３０６ｄを取り込むことができる。上部参照画像３０６ａが取り込まれると、電子デバイス１０６の画像処理エンジン２１０は、電子デバイス１０６の１又は２以上のセンサ２１６から受け取ったセンサデータに基づいて、上部境界ポイント３０４ａを決定することができる。更に、参照画像３０６ｂ、３０６ｃ、及び３０６ｄそれぞれが取り込まれると、画像処理エンジン２１０は、１又は２以上のセンサ２１６から受け取ったセンサデータに基づいて、境界ポイント３０４ｂ、３０４ｃ、及び３０４ｄを決定することができる。

例えば、３０６ａから３０６ｄなどの参照画像の各々が電子デバイス１０６によって取り込まれると、位置センサは、電子デバイス１０６のＸ、Ｙ、及びＺ軸座標を決定することができる。更に、３０６ａから３０６ｄなどの参照画像の各々が電子デバイス１０６によって取り込まれると、方位センサは、電子デバイス１０６の向きの角度を決定することができる。画像処理エンジン２１０は、１又は２以上の三角法推定を適用して、電子デバイス１０６からの１又は２以上の関心オブジェクトの距離を決定することができる。更に、画像処理エンジン２１０は、１又は２以上の三角法推定に基づいて、関心シーン３０２内の１又は２以上の関心オブジェクトの寸法を決定することができる。

本開示の範囲が、３０４ａ、３０４ｂ、３０４ｃ、及び３０４ｄなどの４つの境界ポイントを決定するための３０６ａ〜３０６ｄなどの参照画像の取り込みに限定されないことは、当業者であれば理解するであろう。１つの実施形態によれば、ユーザ１０４は、電子デバイス１０６を使用して、関心シーン３０２における１又は２以上の関心オブジェクトの垂直範囲及び水平範囲をスキャンすることができる。例えば、ユーザ１０４は、電子デバイス１０６を上部から下部へ又はその逆に移動させて、１又は２以上の関心オブジェクトの垂直範囲の連続画像又はビデオを取り込むことができる。同様に、ユーザ１０４は、電子デバイス１０６を左から右に又はその逆に移動させて、１又は２以上の関心オブジェクトの水平範囲の連続画像又はビデオを取り込むことができる。画像処理エンジン２１０は、１又は２以上の関心オブジェクトの垂直範囲の連続画像又はビデオに基づいて、上部及び下部境界ポイント３０４ａ及び３０４ｄをそれぞれ決定することができる。更に、画像処理エンジン２１０は、１又は２以上の関心オブジェクトの水平範囲の連続画像又はビデオに基づいて、左及び右境界ポイント３０４ｂ及び３０４ｃをそれぞれ決定することができる。別の実施形態によれば、ユーザ１０４は、電子デバイス１０６を使用して、１又は２以上の関心オブジェクトの１又は２以上の対角範囲の連続画像又はビデオを取り込むことができる。画像処理エンジン２１０は、１又は２以上の対角範囲のかかる連続画像又はビデオに基づいて、３０４ａから３０４ｄなどの４つの境界ポイントを決定することができる。

１つの実施形態によれば、画像処理エンジン２１０は、４つの境界ポイント３０４ａから３０４ｄを決定するために取り込むことができる画像の組み合わせ合わせて、目標参照画像３０８を生成することができる。目標参照画像３０８を生成するために組み合わされた画像の実施例は、限定ではないが、参照画像３０６ａ〜３０６ｄ；及び／又は１又は２以上の関心オブジェクトの縦方向範囲、横方向範囲、及び／又は１又は２以上の対角範囲のスキャンを含む画像を含むことができる。画像処理エンジン２１０は、４つの境界ポイント３０４ａ〜３０４ｄ及び／又はセンサデータに基づいて、１又は２以上の関心オブジェクトを包含することができる境界ポイントの第１のセット３１０を決定することができる。更に、ＵＩマネージャ２１４は、電子デバイス１０６の第１ＵＩ １２０ａを介して、目標参照画像３０８に重なった境界ポイントの第１のセット３１０をユーザ１０４に提示することができる。１つの実施形態によれば、ユーザ１０４は、境界ポイントの第１のセット３１０を境界ポイントの第２のセット３１２に修正するための入力を提供することができる。例えば、ユーザ１０４は、電子デバイス１０６のタッチスクリーン上でピンチ、ズーム、又はパンを行って、境界ポイントの第１のセット３１０を境界ポイントの第２のセット３１２に修正することができる。１つの実施形態によれば、画像処理エンジン２１０は、境界ポイントの第２のセット３１２内の１又は２以上のオブジェクトを包含する最終画像又はビデオを取り込むのに好適とすることができる目標位置及び目標ＦＯＶを決定することができる。

図４は、本開示の実施形態による、関心シーンにおける少なくとも１つの動的オブジェクト及び１又は２以上の静的オブジェクトについての複数の境界ポイントの選択の例示的なシナリオを示す。図４は、図２からの要素に関連して記載されている。図４を参照すると、シナリオ図４００が示されている。シナリオ図４００は、ユーザ１０４、電子デバイス１０６、関心シーン４０２、第１のオブジェクト４０４ａ、第２のオブジェクト４０４ｂ、第３のオブジェクト４０４ｃ、第１の複数の境界ポイント４０６ａ、第２の複数の境界ポイント４０６ｂ、第３の複数の境界ポイント４０６ｃ、方向ベクトル４０８、第１画像４１０、及び第２画像４１２を含む。

動作中、ユーザ１０４は、電子デバイス１０６を使用して、関心シーン４０２における１又は２以上の関心オブジェクトの１又は２以上の参照画像又はビデオを取り込むことができる。例えば、ユーザ１０４は、第１のオブジェクト４０４ａ、第２のオブジェクト４０４ｂ、及び第３のオブジェクト４０４ｃを包含することができる１又は２以上の参照画像又はビデオを取り込むことができる。ＵＩマネージャ２１４は、ユーザ１０４に対して、１又は２以上の参照画像又はビデオにおいて取り込まれた１又は２以上の関心オブジェクトの各々を包含する複数の境界ポイントを示す入力を第１ＵＩ １２０ａを介して提供するよう指示することができる。ユーザ１０４は、取り込まれた１又は２以上の参照画像又はビデオに基づいて、複数の境界ポイントを示す入力を提供することができる。例えば、ユーザ１０４は、第１のオブジェクト４０４ａを包含する複数の境界ポイントとして第１の複数の境界ポイント４０６ａを選択することができる。更に、ユーザ１０４は、第２のオブジェクト４０４ｂ及び第３のオブジェクト４０４ｃそれぞれについての第２の複数の境界ポイント４０６ｂ及び第３の複数の境界ポイント４０６ｃを選択することができる。別の実施形態によれば、画像処理エンジン２１０は、センサデータ及び／又は１又は２以上のパラメータに基づいて、１又は２以上の関心オブジェクトを包含する複数の境界ポイントを決定することができる。このような事例では、複数の境界ポイントの選択は、ユーザ入力なしに実行することができる。代替として、ユーザ１０４は、画像処理エンジン２１０によって決定された複数の境界ポイントを確認又は修正するための入力を提供することができる。

１つの実施形態によれば、１又は２以上の関心オブジェクトの少なくとも１つは移動状態とすることができ、他の関心オブジェクトは、静止状態とすることができる。例えば、第２のオブジェクト４０４ｂは、移動状態とすることができる人間の対象体に相当することができる。第２のオブジェクト４０６ｂは、関心シーン４０２にわたって右から左などの方向４０８で移動することができる。更に、第１のオブジェクト４０４ａ及び第３のオブジェクト４０４ｃは、静止した建物又は人工物に相当することができる。１つの実施形態によれば、画像処理エンジン２１０は、複数の境界ポイント、センサデータ、及び／又は１又は２以上のパラメータに基づいて、１又は２以上の関心オブジェクトを包含する画像又はビデオを取り込むのに好適とすることができる目標位置及び目標ＦＯＶを決定することができる。推奨エンジン２１２は、第２ＵＩ １２０ｂを介してユーザ１０４に表示されるガイダンスインジケータを生成して、決定された位置にユーザ１０４が到達するのを支援することができる。

例えば、ガイダンスインジケータは、第１のオブジェクト４０４ａ、第２のオブジェクト４０４ｂ、及び第３のオブジェクト４０４ｃを包含することができる第１画像４１０を取り込むよう特定の位置に移動するための推奨をユーザ１０４に提供することができる。ユーザ１０４が当該位置に移動できないシナリオにおいては、ガイダンスインジケータは、第１画像４１０を取り込むための別の好適な位置を推奨することができる。更に、１又は２以上のセンサ２１６は、１又は２以上の関心オブジェクトの位置の変化をモニタして、リアルタイムでセンサデータを更新することができる。代替として、又は上記に加えて、ユーザ１０４は、関心シーン４０２内で移動状態とすることができる主オブジェクト（例えば第２のオブジェクト４０４ｂ）としてオブジェクトを識別するための入力を提供することができる。１つの実施形態によれば、関心オブジェクト（第２のオブジェクト４０４ｂなどの主オブジェクトなど）が移動したときに、ＵＩマネージャ２１４は、第２ＵＩ １２０ｂを介してユーザ１０４に通知することができる。１つの実施形態によれば、画像処理エンジン２１０は、１又は２以上の関心オブジェクトの後続の画像又はビデオを取り込むのに好適とすることができる目標位置及び関連のＦＯＶを決定することができる。

例えば、ユーザ１０４は、ガイダンスインジケータの支援により、第１時間インスタンスにおいて特定の位置に到達して、第１画像４１０を取り込むことができる。第１画像４１０は、第２のオブジェクト４０４ｂなどの少なくとも１つの動的オブジェクトを含むことができる。１又は２以上のセンサ２１６は、第２のオブジェクト４０４ｂの移動を検知することができる。その後、ガイダンスインジケータは、第２のオブジェクト４０４ｂの最終画像を取り込むのに好適とすることができる目標位置をユーザ１０４が発見するのを支援することができる。ユーザ１０４は、ガイダンスインジケータの支援によって目標位置に到達して、電子デバイス１０６を使用して第２画像４１２などの最終画像を取り込むことができる。明らかなことであるが、第２のオブジェクト４０４ｂは、第１画像４１０の取り込みと第２画像４１２の取り込みの間の時間間隔に、関心シーン４０２において左に向かって（４０８で示される方向に）移動することができる。

１つの実施形態によれば、推奨エンジン２１２は、第２ＵＩ １２０ｂを介して、１又は２以上の画像取り込みモードの推奨をユーザ１０４に提供することができる。１つの実施形態によれば、関心オブジェクトのうちの１つが移動状態とすることができ、他の関心オブジェクト（静的オブジェクト）が単一の画像で完全には取り込めない可能性があるときには、推奨エンジン２１２は、ビデオモード又はパノラマ画像モードを推奨することができる。ユーザ１０４は、推奨に基づいて、第１のオブジェクト４０４ａ及び第３のオブジェクト４０４ｃなどの１又は２以上の静的オブジェクトと第２のオブジェクト４０４ｂなどの少なくとも１つの動的オブジェクトとを包含するビデオを取り込むことができる。例えば、第１画像４１０及び第２画像４１２は、取り込まれたビデオの後続のフレームに相当することができる。

１つの実施形態によれば、推奨エンジン２１２はまた、他の関心オブジェクトの各々の少なくとも予め設定された部分と共に動的オブジェクトの取り込みを可能にすることができる閾値画像モードを推奨することができる。このようなシナリオでは、画像処理エンジン２１０は、閾値画像モードで画像を取り込むのに好適とすることができる位置及びＦＯＶを決定することができる。ガイダンスインジケータは、ユーザ１０４がこのような位置を発見するのを支援することができる。

図５は、本開示の１つの実施形態による、電子デバイスを使用して画像又はビデオをユーザが取り込むのを支援するための第１の例示的なシナリオを示す。図５は、図２からの要素に関連して記載されている。図５を参照すると、シナリオ図５００が示されている。シナリオ図５００は、ユーザ１０４、電子デバイス１０６、関心シーン５０２、現在の位置５０４ａ、目標位置５０４ｂ、電子デバイス１０６の１又は２以上のＦＯＶ（現在ＦＯＶ５０６ａによって図示される）、電子デバイス１０６の目標ＦＯＶ（目標ＦＯＶ５０６ｂによって図示される）、第１のオブジェクト５０８、第１のオブジェクト５０８を包含する第１の複数の境界ポイント５１２、及び光源５１２（太陽など）を含む。

動作中、ユーザ１０４が現在の位置５０４ａに位置するときに、ユーザ１０４は、第１のオブジェクト５０８の１又は２以上の参照画像又はビデオを取り込むことができる。電子デバイス１０６のＵＩマネージャ２１４は、ユーザ１０４に対して、取り込まれた１又は２以上の参照画像又はビデオに基づいて、第１の複数の入力値を第１ＵＩ １２０ａを介して提供するよう指示することができる。ユーザ１０４は、第１の複数の入力値を電子デバイス１０６の第１ＵＩ １２０ａを介して提供することができる。１つの実施形態によれば、ユーザ１０４によって提供された第１の複数の入力値は、現在のＦＯＶ５０６ａ内の第１のオブジェクト５０８を包含する第１の複数の境界ポイント５１０の指示を含むことができる。

１つの実施形態によれば、電子デバイス１０６の１又は２以上のセンサ２１６は、センサデータ及び１又は２以上のパラメータを決定するよう構成することができる。例えば、１又は２以上のセンサ２１６からの光センサは、光源５１２から発した光の方向及び強度を決定することができる。更に、光センサは、関心シーン５０２が光源５１２に加えて他の光源を含むかどうかを決定することができる。同様の方式で、光センサは、全てのこのような光源から発した光の方向及び強度を決定することができる。加えて、光センサはまた、関心シーン５０２が１又は２以上の影の領域を含むかどうかを決定することができる。従って、画像処理エンジン２１０は、光センサなどの１又は２以上のセンサ２１６によって決定されたセンサデータ及び１又は２以上のパラメータに基づいて、電子デバイス１０６についての目標位置５０４ｂ及び目標ＦＯＶ５０６ｂを決定することができる。推奨エンジン２１２は、第２ＵＩ １２０ｂ上に表示されたガイダンスインジケータを制御して、目標ＦＯＶ５０６ｂにおける第１のオブジェクト５０８の最終画像又はビデオを取り込むための目標位置５０４ｂをユーザ１０４が発見するのを支援することができる。

例えば、光源５１２が明るく、光源５１２によって発せられた光の方向が、現在のＦＯＶ５０６ａ内に存在することがある。このような事例では、画像処理エンジン２１０は、光源５１２から受ける光の強度が低い位置として目標位置５０４ｂを決定することができる。更に、画像処理エンジン２１０は、光源５１２によって発せられた光の方向から離れたエリアを包含することができるＦＯＶとして目標ＦＯＶ５０６ｂを決定することができる。別のシナリオでは、光源５１２があまり明るくなく、関心シーン５０２が薄暗い光のシーンであることがある。このような事例では、画像処理エンジン２１０は、良好な照明条件を備えた位置として第２の位置５０４ｂを決定することができる。更に、画像処理エンジン２１０は、第２の位置５０４ｂにおいて第１のオブジェクト５０８の画像又はビデオを効果的に取り込むためにフラッシュの使用の推奨を生成することができる。高強度の光源及びＦＯＶ内の影の領域の存在が、取り込まれた画像又はビデオにおける高ダイナミックレンジ及びコントラストに起因してＦＯＶにて取り込まれた画像又はビデオの品質を低下させる可能性があることを、当業者であれば理解するであろう。他方、ＦＯＶ内の微光条件はまた、取り込まれた画像又はビデオにおける低ダイナミックレンジ及びコントラストに起因してＦＯＶにて取り込まれた画像又はビデオの品質を低下させる可能性がある。従って、第２の位置５０４ｂにて第１のオブジェクト５０８の最終画像又はビデオを取り込むために画像処理エンジン２１０によって生成される推奨は、不適正な照明条件下でユーザ１０４が最適ショットを取り込むのを支援することができる。

図６は、本開示の１つの実施形態による、電子デバイスを使用して画像又はビデオをユーザが取り込むのを支援する第２の例示的なシナリオを示す。図６は、図２からの要素に関連して記載されている。図６を参照すると、シナリオ図６００が示されている。シナリオ図６００は、ユーザ１０４、電子デバイス１０６、関心シーン６０２、現在の位置６０４ａ、目標位置６０４ｂ、電子デバイス１０６の現在のＦＯＶ６０６ａ及び目標ＦＯＶ６０６ｂなどの電子デバイス１０６の１又は２以上のＦＯＶ、参照画像６０８、第１閾値画像６１０、及び第２閾値画像６１２を含む。

動作中、ユーザ１０４は、電子デバイス１０６を使用して現在の位置６０４ａにて参照画像６０８を取り込むことができる。１つの実施形態によれば、参照画像６０８は、現在の位置６０４ａにて電子デバイス１０６の現在のＦＯＶ６０６ａ内で取り込むことができる。ＵＩマネージャ２１４は、ユーザ１０４に対して、参照画像６０８に基づいて画像又はビデオの取り込みに関連する閾値を第１ＵＩ １２０ａを介して提供するよう指示することができる。１つの実施形態によれば、閾値は、取り込まれる画像又はビデオにおける背景に対する参照画像６０８の背景の比率に相当することができる。次に、ユーザ１０４は、閾値を示す入力を第１ＵＩ １２０ａを介して提供することができる。

１つの実施形態によれば、画像処理エンジン２１０は、１又は２以上のセンサ２１６からセンサデータを受け取ることができる。更に、画像処理エンジン２１０は、センサデータに基づいて、１又は２以上のパラメータを決定することができる。１又は２以上のパラメータの実施例は、限定ではないが、光の方向、１又は２以上の光源、光の強度、オブジェクトを現在のＦＯＶ６０６ａで見たときの電子デバイス１０６の移動の角度、現在の位置６０４ａでの電子デバイス１０６からのオブジェクトの距離、及び／又は画像品質閾値を含むことができる。画像処理エンジン２１０は、１又は２以上のパラメータ及びユーザ１０４によって提供される閾値に基づいて、目標位置６０４ｂ及び目標ＦＯＶ６０６ｂを決定することができる。１つの実施形態によれば、推奨エンジン２１２は、第２ＵＩ １２０ｂ上に表示されたガイダンスインジケータを制御して、ユーザ１０４が目標位置６０４ｂを発見して目標ＦＯＶ６０６ｂの閾値画像又はビデオを取り込むのを支援することができる。

例えば、参照画像６０８は、「１００パーセント」などの閾値に相当することができる。他方、第１閾値画像６１０及び第２閾値画像６１２は、「１２０パーセント」及び「１５０パーセント」などの閾値にそれぞれ対応することができる。従って、第１閾値画像６１０は、参照画像６０８に対して「２０パーセント」追加の背景を含むことができる。同様に、第２閾値画像６１２は、参照画像６０８に対して「５０パーセント」追加の背景を含むことができる。ユーザ１０４が「１２０パーセント」などの閾値を提供するシナリオでは、ガイダンスインジケータは、電子デバイス１０６の関連する目標ＦＯＶ６０６ｂにおける第１閾値画像６１０を取り込むのに好適な目標位置６０４ｂにユーザ１０４を案内することができる。同様に、ユーザ１０４が「１５０パーセント」などの閾値を提供する場合、電子デバイス１０６の関連する目標ＦＯＶ６０６ｂにおける第２閾値画像６１２を取り込むのに好適とすることができる目標位置６０４ｂにユーザ１０４を案内することができる。

図７は、本開示の１つの実施形態による、関心シーンのパノラマ画像をユーザが取り込むためのガイダンスの例示的なシナリオを示す。図７は、図２からの要素に関連して記載されている。図７を参照すると、シナリオ図７００が示されている。シナリオ図７００は、ユーザ１０４、電子デバイス１０６、関心シーン７０２、第１のオブジェクト７０４ａ、第２のオブジェクト７０４ｂ、第３のオブジェクト７０４ｃ、第１の複数の境界ポイント７０６ａ、第２の複数の境界ポイント７０６ｂ、第３の複数の境界ポイント７０６ｃ、パノラマ画像７０８、及びスキャン方向７１０を含む。

動作中、ユーザ１０４は、電子デバイス１０６を使用して、関心シーン７０２における１又は２以上の関心オブジェクトの１又は２以上の参照画像又はビデオを取り込むことができる。ＵＩマネージャ２１４は、ユーザ１０４に対して、１又は２以上の参照画像又はビデオにて取り込まれた１又は２以上の関心オブジェクトの各々を包含する複数の境界ポイントを示す入力を第１ＵＩ １２０ａを介して提供するよう指示することができる。ユーザ１０４は、取り込まれた１又は２以上の参照画像又はビデオに基づいて、かかる複数の境界ポイントを示す入力を提供することができる。例えば、ユーザ１０４は、第１のオブジェクト７０４ａを包含する複数の境界ポイントとして第１の複数の境界ポイント７０６ａを選択することができる。更に、ユーザ１０４は、第２のオブジェクト７０４ｂ及び第３のオブジェクト７０４ｃそれぞれについて第２の複数の境界ポイント７０６ｂ及び第３の複数の境界ポイント７０６ｃを選択することができる。別の実施形態によれば、画像処理エンジン２１０は、センサデータ及び／又は１又は２以上のパラメータに基づいて、１又は２以上の関心オブジェクトを包含する複数の境界ポイントを決定することができる。このような事例では、複数の境界ポイントの選択は、どのようなユーザ入力もなしに実行することができる。代替として、ユーザ１０４は、画像処理エンジン２１０によって決定された複数の境界ポイントを確認又は修正するための入力を提供することができる。

１つの実施形態によれば、画像処理エンジン２１０は、センサデータ、１又は２以上のパラメータ、及び／又は７０６ａ、７０６ｂ、及び７０６ｃなどの各関心オブジェクトの複数の境界ポイントに基づいて、１又は２以上の位置及び関連する目標ＦＯＶを決定することができる。１又は２以上の位置は、関連する目標ＦＯＶ内にオブジェクト７０４ａ、７０４ｂ、及び７０４ｃを包含する画像又はビデオを取り込むのに好適とすることができる。更に、画像処理エンジン２１０は、１又は２以上の関心オブジェクトの各々が１又は２以上の位置にて取り込まれた単一の画像に包含され得るかどうかを決定することができる。単一の画像が全ての関心オブジェクトを全体として含まない可能性があるときには、画像処理エンジン２１０又は推奨エンジン２１２は、パノラマ画像モードで画像を取り込む推奨を生成することができる。ＵＩマネージャ２１４は、このような推奨を第２ＵＩ １２０ｂを介してユーザ１０４に示すことができる。その後、ユーザ１０４は、推奨に基づいて、電子デバイス１０６を使用してパノラマ画像７０８を取り込むことができる。１つの実施形態によれば、ユーザ１０４は、左から右に（スキャン方向７１０によって示されるように）又はその逆で関心シーン７０２の水平範囲を取り込むことによりパノラマ画像７０８を取り込むことができる。パノラマ画像７０８にて関心シーン７０２から取り込まれた水平範囲は、７０４ａ〜７０４ｃなどの各関心オブジェクトを含むことができる。

図８は、本開示の１つの実施形態による、関心シーンの閾値画像をユーザが取り込むためのガイダンスの例示的なシナリオを示す。図８は、図２からの要素に関連して記載されている。図８を参照すると、シナリオ図８００が示されている。シナリオ図８００は、ユーザ１０４、電子デバイス１０６、関心シーン８０２、第１のオブジェクト８０４ａ、第２のオブジェクト８０４ｂ、第３のオブジェクト８０４ｃ、第１の複数の境界ポイント８０６ａ、第２の複数の境界ポイント８０６ｂ、第３の複数の境界ポイント８０６ｃ、及び閾値画像７０８を含む。

動作中、ユーザ１０４は、電子デバイス１０６を使用して、関心シーン８０２における１又は２以上の関心オブジェクトの１又は２以上の参照画像又はビデオを取り込むことができる。ＵＩマネージャ２１４は、ユーザ１０４に対して、１又は２以上の参照画像又はビデオにて取り込まれた１又は２以上の関心オブジェクトの各々を包含する複数の境界ポイントを示す入力を第１ＵＩ １２０ａを介して提供するよう指示することができる。ユーザ１０４は、取り込まれた１又は２以上の参照画像又はビデオに基づいて、かかる複数の境界ポイントを示す入力を提供することができる。例えば、ユーザ１０４は、第１のオブジェクト８０４ａを包含する複数の境界ポイントとして第１の複数の境界ポイント８０６ａを選択することができる。更に、ユーザ１０４は、第２のオブジェクト８０４ｂ及び第３のオブジェクト８０４ｃそれぞれについて第２の複数の境界ポイント８０６ｂ及び第３の複数の境界ポイント８０６ｃを選択することができる。別の実施形態によれば、画像処理エンジン２１０は、センサデータ及び／又は１又は２以上のパラメータに基づいて、１又は２以上の関心オブジェクトを包含する複数の境界ポイントを決定することができる。このような事例では、複数の境界ポイントの選択は、どのようなユーザ入力もなしに実行することができる。代替として、ユーザ１０４は、画像処理エンジン２１０によって決定された複数の境界ポイントを確認又は修正するための入力を提供することができる。

１つの実施形態によれば、画像処理エンジン２１０は、センサデータ、１又は２以上のパラメータ、及び／又は８０６ａ、８０６ｂ、及び８０６ｃなどの各関心オブジェクトの複数の境界ポイントに基づいて、１又は２以上の位置及び関連する目標ＦＯＶを決定することができる。１又は２以上の位置は、関連する目標ＦＯＶ内のオブジェクト８０４ａ、８０４ｂ、及び８０４ｃを包含する画像又はビデオを取り込むのに好適とすることができる。更に、画像処理エンジン２１０は、１又は２以上の関心オブジェクトの各々が１又は２以上の位置において取り込まれた単一の画像に完全に包含され得るかどうかを決定することができる。単一の画像が関心オブジェクト全てを全体として埋め込むことができないときには、画像処理エンジン２１０又は推奨エンジン２１２は、閾値画像モードで画像を取り込むための推奨を生成することができる。ＵＩマネージャ２１４は、この推奨を第２ＵＩ １２０ｂを介してユーザ１０４に示すことができる。その後、ユーザ１０４は、推奨に基づいて、電子デバイス１０６を使用して閾値画像８０８を取り込むことができる。

１つの実施形態によれば、閾値画像８０８は、関心シーン８０２における１又は２以上の関心オブジェクトから、第１のオブジェクトセットの完全な部分及び第２のオブジェクトセットの予め設定された部分を含むことができる。例えば、閾値画像８０８における第１のオブジェクトセットは、第２のオブジェクト８０４ｂ及び第３のオブジェクト８０４ｃを含むことができる。更に、第２のオブジェクトセットは、第１のオブジェクト８０４ａを含むことができる。従って、この事例では、閾値画像８０８は、オブジェクト８０４ｂ及び８０４ｃの完全な部分、及びオブジェクト８０４ａなどの予め設定された部分を含むことができる。１つの実施形態によれば、ユーザ１０４は、閾値画像８０８内に含まれことが必要とされる各オブジェクトの最小部分に相当することができる閾値を示す入力を提供することができる。例えば、ユーザ１０４は、「８０パーセント」などの閾値を提供することができる。この事例では、閾値画像８０８は、各関心オブジェクトの少なくとも「８０パーセント」部分を含むことができる。別の実施形態によれば、画像処理エンジン２１０は、センサデータ及び／又は１又は２以上のパラメータに基づいて、閾値を決定することができる。１つの実施形態では、ＵＩマネージャ２１４は、第１ＵＩ １２０ａを介してユーザ１０４に閾値を提示することができる。ユーザ１０４は、ユーザ１０４のプリファレンスに基づいて閾値を確認又は修正することができる。

６つの例示的なシナリオ、３００、４００、５００、６００、７００、及び８００が例証の目的で提供されること、及び本開示の範囲を限定するものと解釈すべきでないことを、当業者であれば理解するであろう。本開示は、本開示の範囲から逸脱することなく１又は２以上の変形形態を有する様々な他のシナリオで実施することができる。

図９は、本開示の実施形態による、画像又はビデオをユーザが取り込むのを支援する方法を示すフローチャートである。図９を参照すると、フローチャート９００が示されている。フローチャート９００は、図１及び２に関連して記載されている。本方法は、ステップ９０２から始まり、ステップ９０４に進む。

ステップ９０４において、第１の複数の入力値をユーザ１０４から受け取ることができる。１つの実施形態によれば、電子デバイス１０６の画像処理エンジン２１０は、電子デバイス１０６の第１ＵＩ １２０ａを介して第１の複数の入力値を受け取るよう構成することができる。１つの実施形態によれば、第１の複数の入力値は、第１の複数の境界ポイント１１４（図１）を含むことができる。第１の複数の境界ポイント１１４は、第１の位置（図１の１０８ａによって図示される）にて電子デバイス１０６の１又は２以上のＦＯＶ（第１ＦＯＶ １１０ａによって図示される）において第１のオブジェクト１１２（図１）を包含することができる。

１つの実施形態によれば、画像処理エンジン２１０は、電子デバイス１０６の１又は２以上のセンサ２１６によって生成されたセンサデータに基づいて、第１の複数の境界ポイント１１４を決定することができる。このようなシナリオでは、第１の複数の入力値は、ユーザ１０４から要求されない場合があり、従って、ステップ９０４はスキップすることができる。代替として、ＵＩマネージャ２１４は、第１の複数の境界ポイント１１４を第１ＵＩ １２０ａを介してユーザ１０４に表示することができる。ユーザ１０４は、第１の複数の境界ポイント１１４を確認又は修正することができる。

ステップ９０６において、センサデータに基づいて、１又は２以上のパラメータを決定することができる。１つの実施形態によれば、画像処理エンジン２１０は、１又は２以上のセンサ２１６からセンサデータを受け取るよう構成することができる。センサデータは、限定ではないが、画像取り込みセンサデータ、位置センサデータ、方位センサデータ、及び／又は速度／モーションセンサデータを含むことができる。画像処理エンジン２１０は、センサデータに基づいて、１又は２以上のパラメータを決定するよう構成することができる。１又は２以上のパラメータの実施例は、限定ではないが、光の方向、１又は２以上の光源、光の強度、第１のオブジェクト１１２を第１ＦＯＶ １１０ａにおいて見たときの電子デバイス１０６の移動角度、第１の位置１０８ａの電子デバイス１０６からの第１のオブジェクト１１２の距離、及び／又は画像品質閾値を含むことができる。

ステップ９０８において、電子デバイス１０６の第２の位置（図１の第２の位置１０８ｂによって図示される）及び目標ＦＯＶ（図１の第２ＦＯＶ １１０ｂによって図示される）を決定することができる。１つの実施形態によれば、画像処理エンジン２１０は、１又は２以上のパラメータ、センサデータ及び／又は第１の複数の境界ポイント１１４に基づいて、電子デバイス１０６の第２の位置１０８ｂ及び第２ＦＯＶ １１０ｂを決定するよう構成することができる。１つの実施形態によれば、第２の位置１０８ｂは、第２ＦＯＶ １１０ｂ内の少なくとも第１のオブジェクト１１２を包含する画像又はビデオを取り込むための好適な位置とすることができる。画像処理エンジン２１０は、本開示の範囲から逸脱することなく第１のオブジェクト１１２の画像又はビデオに対する複数の第２の位置及び関連する目標ＦＯＶを決定できることを、当業者であれば理解することができる。

ステップ９１０において、ユーザ１０４を第２の位置１０８ｂに案内するためのインジケータの表示を制御することができる。１つの実施形態によれば、電子デバイス１０６の推奨エンジン２１２は、１又は２以上のセンサ２１６からのセンサデータをリアルタイムで受け取るよう構成することができる。センサデータは、電子デバイス１０６の現在の位置（ユーザ１０４の現在の位置と同じ）を示すことができる。推奨エンジン２１２は、ユーザ１０４の現在の位置から第２の位置１０８ｂに到達するための１又は２以上の経路の推奨を生成することができる。ＵＩマネージャ２１４は、生成された推奨に基づいて、推奨エンジン２１２によって制御されるガイダンスインジケータを第２ＵＩ １２０ｂを介してユーザ１０４に提示することができる。推奨エンジン２１２は、ユーザ１０４のリアルタイム移動に基づいて、ガイダンスインジケータを介して提示される推奨を更新することができる。従って、ガイダンスインジケータは、第２ＦＯＶ １１０ｂにおいて第１のオブジェクト１１２の最終画像又はビデオを取り込むために、ユーザ１０４が第２の位置１０８ｂに到達するのを支援することができる。ユーザ１０４が第２の位置１０８ｂに到達できない可能性があるときには、ガイダンスインジケータが別の第２の位置への１又は２以上の経路の推奨を提供できることは、当業者であれば理解するであろう。

ステップ９１２において、１又は２以上の設定パラメータをユーザ１０４に推奨することができる。１つの実施形態によれば、推奨エンジン２１２は、センサデータに基づいて、１又は２以上の設定パラメータを推奨するよう構成することができる。１又は２以上の設定パラメータを使用して、１又は２以上のセンサ２１６から画像取り込みセンサの１又は２以上の機能及び／又は動作態様を構成することができる。ＵＩマネージャ２１４は、電子デバイス１０６の第２ＵＩ １２０ｂを介して推奨として決定された１又は２以上の設定パラメータをユーザ１０４に提供することができる。ユーザ１０４は、推奨された１又は２以上の設定パラメータに基づく入力を第２ＵＩ １２０ｂを介して提供することができる。画像取り込みセンサなどの１又は２以上のセンサ２１６は、それぞれの設定パラメータに対して受け取ったユーザ入力に基づいて、設定パラメータの値を調整することができる。１又は２以上の設定パラメータの実施例は、限定ではないが、アパーチャ設定、ＩＳＯ感度、自動露出、オートフォーカス、自動ホワイトバランス、及び／又は自動照明を含むことができる。本開示の範囲を推奨エンジン２１２による１又は２以上の設定パラメータの決定に限定すべきでないことは、当業者であれば理解するであろう。１つの実施形態によれば、画像処理エンジン２１０は、本開示の範囲から逸脱することなく１又は２以上の設定パラメータを決定するよう構成することができる。制御は終了ステップ９１４に進む。

本開示の１つの実施形態によれば、画像又はビデオをユーザが取り込むのを支援するためのシステムが開示される。本システムは、第１の位置にてユーザから第１の複数の入力値を受け取るよう構成することができる電子デバイス１０６を含むことができる。受け取った第１の複数の入力値は、第１の位置にある電子デバイス１０６の１又は２以上のＦＯＶにおける第１のオブジェクトを包含する第１の複数の境界ポイントを含むことができる。電子デバイス１０６は更に、受け取った第１の複数の境界ポイントに基づいて、画像又はビデオを取り込むための第２の位置及び目標ＦＯＶを決定するよう構成することができる。画像又はビデオは、少なくとも第１のオブジェクトを含むことができる。更に、電子デバイス１０６は、インジケータの表示を制御して、ユーザを目標ＦＯＶにおける第１のオブジェクトの画像又はビデオを取り込むための第２の位置に案内することができる。

本開示の様々な実施形態は、画像又はビデオをユーザが取り込むのを支援するため機械及び／又はコンピュータによって実行可能な少なくとも１つのコードセクションを有するマシンコード及び／又はコンピュータプログラムを格納した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。電子デバイス１０６における少なくとも１つのコードセクションは、第１の位置にあるユーザから第１の複数の入力値の受信を含むステップを機械及び／又はコンピュータに実行させることができる。受け取った第１の複数の入力値は、第１の位置にある電子デバイス１０６の１又は２以上のＦＯＶにおける第１のオブジェクトを包含する第１の複数の境界ポイントを含むことができる。その後、受け取った第１の複数の境界ポイントに基づいて、画像又はビデオを取り込むための第２の位置及び目標ＦＯＶを決定することができる。画像又はビデオは、少なくとも第１のオブジェクトを含むことができる。更に、インジケータの表示を制御して、目標ＦＯＶにおける第１のオブジェクトの画像又はビデオを取り込むための第２の位置にユーザを案内することができる。

本開示は、ハードウェア、又はハードウェアとソフトウェアのストレージ媒体で実現することができる。本開示は、集中方式で、又は少なくとも１つのコンピュータシステムで、或いは分散方式で実現することができ、この場合、異なる要素を幾つかの相互接続されたコンピュータシステムにわたって分散させることができる。本明細書で記載される方法を実行するよう適応されたコンピュータシステム又は他の装置も好適とすることができる。ハードウェアとソフトウェアのストレージ媒体は、ロードされ実行されたときに、本明細書で説明する方法を実行するようコンピュータシステムを制御することができるコンピュータプログラムを備えた汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部分を含むハードウェアで実現することができる。

本開示は、本明細書で記載される方法の実施構成を可能にする特徴の全てを含み、またコンピュータシステムにロードされたときにこれらの方法を実行することができるコンピュータプログラム製品に組み込むこともできる。本関連におけるコンピュータプログラムは、直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なるマテリアル形態での展開の何れか又は両方の後で、情報処理機能を備えたシステムに特定の機能を実行させるよう意図された命令セットの何れかの言語、コード又は表記法での何らかの表現を意味する。

本開示は、特定の実施形態に関して説明してきたが、本開示の範囲から逸脱することなく様々な変更を行い得ること及び均等物に置き換え得ることは、当業者には理解されるであろう。加えて、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適応させるために多くの修正を行い得る。従って、本開示は、開示される特定の実施形態に限定されるものではなく、本開示は添付の請求項の範囲内にある全ての実施形態を含むことを意図している。

９００ フローチャート
９０２ 開始
９０４ 電子デバイスの１又は２以上のＦＯＶにおいて第１の位置にて取り込まれた第１のオブジェクトを包含する第１の複数の境界ポイントを含む第１の複数の入力をユーザから受け取る
９０６ センサデータに基づいて１又は２以上のパラメータを決定する
９０８ 第１のオブジェクトの画像又はビデオを取り込むための第２の位置及び目標ＦＯＶを決定する
９１０ インジケータの表示を制御して画像又はビデオを取り込むための第２の位置にユーザを案内する
９１２ センサデータに基づいて１又は２以上の設定パラメータをユーザに推奨する
９１４ 終了

Claims (24)

1. 画像又はビデオをユーザが取り込むのを支援するためのシステムであって、
   電子デバイスにおいて１又は２以上の回路を備え、
   前記１又は２以上の回路が、
   第１の位置において前記ユーザから第１の複数の入力値を受信し、前記受け取った第１の複数の入力値が、前記第１の位置において前記電子デバイスの１又は２以上の視野（ＦＯＶ）において第１のオブジェクトを包含する第１の複数の境界ポイントを含み、
   前記受け取った第１の複数の境界ポイントに基づいて、少なくとも前記第１のオブジェクトを含む前記画像又は前記ビデオを取り込むための第２の位置及び目標ＦＯＶを決定し、
   インジケータの表示を制御して、前記目標ＦＯＶにおける前記第１のオブジェクトの画像又はビデオを取り込むため前記第２の位置に前記ユーザを案内する、
   よう構成されている、
   ことを特徴とするシステム。
2. 前記第１のオブジェクトの少なくとも一部分は、前記第１の位置において前記電子デバイスの１又は２以上のＦＯＶを超えて延びる、
   ことを特徴とする請求項１に記載のシステム。
3. 前記１又は２以上の回路は更に、前記第１のオブジェクトを包含する前記第１の複数の境界ポイントの前記決定のため前記電子デバイスの１又は２以上のセンサからセンサデータを受け取るように構成される、
   ことを特徴とする請求項１に記載のシステム。
4. 前記１又は２以上の回路は、１又は２以上のパラメータの決定に基づいて前記第２の位置及び前記第目標ＦＯＶを決定するよう構成され、前記１又は２以上のパラメータは、光の方向、１又は２以上の光源、光の強度、前記第１のオブジェクトを前記１又は２以上のＦＯＶにおいて見たときの前記電子デバイスの移動角度、前記第１の位置での前記電子デバイスからの前記第１のオブジェクトの距離、及び／又は画像品質閾値のうちの１又はそれ以上を含む、
   ことを特徴とする請求項１に記載のシステム。
5. 前記１又は２以上の回路は更に、前記目標ＦＯＶにおいて前記第１のオブジェクトの一部分を取り込むユーザ定義の閾値に基づいて、前記第２の位置及び前記目標ＦＯＶを決定するよう構成される、
   ことを特徴とする請求項１に記載のシステム。
6. 前記１又は２以上の回路は更に、前記第１の位置にて前記ユーザから第２の複数の入力値を受け取るよう構成され、前記受け取った第２の複数の入力値は、第２のオブジェクトを包含する第２の複数の境界ポイントを含む、
   ことを特徴とする請求項１に記載のシステム。
7. 前記１又は２以上の回路は更に、前記受け取った第１の複数の境界ポイントに基づく前記第１のオブジェクト及び前記受け取った第２の複数の境界ポイントに基づく前記第２のオブジェクトを含む前記画像又は前記ビデオを取り込むための前記第２の位置及び前記目標ＦＯＶを決定するよう構成される、
   ことを特徴とする請求項６に記載のシステム。
8. 前記１又は２以上の回路は更に、前記目標ＦＯＶにおいて前記第１のオブジェクト及び前記第２のオブジェクトのうちの１つ又は両方の一部分を取り込む閾値を示すよう構成される、
   ことを特徴とする請求項６に記載のシステム。
9. 前記第１のオブジェクト及び／又は前記第２のオブジェクトが移動状態にある、
   ことを特徴とする請求項６に記載のシステム。
10. 前記第１のオブジェクト及び／又は前記第２のオブジェクトが移動状態にあるときに、前記１又は２以上の回路は更に、前記第１のオブジェクト及び前記第２のオブジェクトを含む前記ビデオを取り込むよう構成される、
    ことを特徴とする請求項９に記載のシステム。
11. 前記１又は２以上の回路は更に、前記目標ＦＯＶにおいて前記決定された第２の位置での前記第１のオブジェクトの前記画像又は前記ビデオを取り込むため１又は２以上の設定パラメータを使用する推奨を提供するよう構成され、前記１又は２以上の設定パラメータは、アパーチャ設定、国際標準化機構（ＩＳＯ）感度、自動露出、オートフォーカス、自動ホワイトバランス、及び／又は自動照明の１又はそれ以上を含む、
    ことを特徴とする請求項１に記載のシステム。
12. 画像又はビデオをユーザが取り込むのを支援する方法であって、前記方法は、
    電子デバイスにおいて、
    第１の位置にて前記ユーザから第１の複数の入力値を受け取るステップであって、前記受け取った第１の複数の入力値は、前記第１の位置にて前記電子デバイスの１又は２以上の視野（ＦＯＶ）において第１のオブジェクトを包含する第１の複数の境界ポイントを含むステップと、
    前記受け取った第１の複数の境界ポイントに基づいて、少なくとも前記第１のオブジェクトを含む前記画像又は前記ビデオを取り込むための第２の位置及び目標ＦＯＶを決定するステップと、
    インジケータの表示を制御して、前記目標ＦＯＶにおける前記第１のオブジェクトの前記画像又は前記ビデオを取り込むため前記第２の位置に前記ユーザを案内するステップと、
    を含む方法。
13. 前記第１のオブジェクトの少なくとも一部分は、前記第１の位置において前記電子デバイスの前記１又は２以上のＦＯＶを超えて延びる、
    ことを特徴とする請求項１２に記載の方法。
14. 前記第１のオブジェクトを包含する前記第１の複数の境界ポイントの決定のために前記電子デバイスの１又は２以上のセンサからセンサデータを受け取るステップを更に含む、
    ことを特徴とする請求項１２に記載の方法。
15. １又は２以上のパラメータの決定に基づいて前記第２の位置及び前記目標ＦＯＶを決定するステップを更に含み、前記１又は２以上のパラメータは、光の方向、１又は２以上の光源、光の強度、前記第１のオブジェクトを前記１又は２以上のＦＯＶにおいて見たときの前記電子デバイスの移動角度、前記第１の位置の前記電子デバイスからの前記第１のオブジェクトの距離、及び／又は画像品質閾値の１又はそれ以上を含む、
    ことを特徴とする請求項１２に記載の方法。
16. 前記目標ＦＯＶにおいて前記第１のオブジェクトの一部分を取り込むユーザ定義閾値に基づいて、前記第２の位置及び前記目標ＦＯＶを決定するステップを更に含む、
    ことを特徴とする請求項１２に記載の方法。
17. 前記第１の位置において前記ユーザからの第２の複数の入力値を受け取るステップを更に含み、前記受け取った第２の複数の入力値は、第２のオブジェクトを包含する第２の複数の境界ポイントを含む、
    ことを特徴とする請求項１２に記載の方法。
18. 前記第１のオブジェクト及び前記第２のオブジェクトを取り込むためパノラマ画像モードを推奨するステップを更に含む、
    ことを特徴とする請求項１７に記載の方法。
19. 前記受け取った第１の複数の境界ポイントに基づく前記第１のオブジェクト及び前記受け取った第２の複数の境界ポイントに基づく前記第２のオブジェクトを含む前記画像又は前記ビデオを取り込むための前記第２の位置及び前記目標ＦＯＶを決定するステップを更に含む、
    ことを特徴とする請求項１７に記載の方法。
20. 前記目標ＦＯＶにおける前記第１のオブジェクト及び前記第２のオブジェクトのうちの１つ又は両方の一部分を取り込む閾値を示すステップを更に含む、
    ことを特徴とする請求項１７に記載の方法。
21. 前記第１のオブジェクト及び／又は前記第２のオブジェクトが移動状態にある、
    ことを特徴とする請求項１７に記載の方法。
22. 前記第１のオブジェクト及び／又は前記第２のオブジェクトが移動状態にあるときに、前記第１のオブジェクト及び前記第２のオブジェクトを含む前記ビデオを取り込むステップを更に含む、
    ことを特徴とする請求項２１に記載の方法。
23. 前記目標ＦＯＶにおいて前記決定された第２の位置で前記第１のオブジェクトの前記画像又は前記ビデオを取り込むための１又は２以上の設定パラメータを使用する推奨を提供するステップを更に含み、前記１又は２以上の設定パラメータは、アパーチャ設定、国際標準化機構（ＩＳＯ）感度、自動露出、オートフォーカス、自動ホワイトバランス、及び／又は自動照明の１又はそれ以上を含む、
    ことを特徴とする請求項１２に記載の方法。
24. 電子デバイスにステップを実行させるためのコンピュータ実行可能命令のセットを格納させた非一時的コンピュータ可読記憶媒体であって、前記ステップは、
    第１の位置にてユーザから第１の複数の入力値を受け取るステップであって、前記受け取った第１の複数の入力値は、前記第１の位置にて前記電子デバイスの１又は２以上の視野（ＦＯＶ）において第１のオブジェクトを包含する第１の複数の境界ポイントを含むステップと、
    前記受け取った第１の複数の境界ポイントに基づいて、少なくとも前記第１のオブジェクトを含む画像又は前記ビデオを取り込むための第２の位置及び目標ＦＯＶを決定するステップと、
    インジケータの表示を制御して、前記目標ＦＯＶにおける前記第１のオブジェクトの前記画像又は前記ビデオを取り込むため前記第２の位置に前記ユーザを案内するステップと、
    を含む、非一時的コンピュータ可読記憶媒体。

Images