JP2019508928A - 立体視画像シーケンスを作成するための方法 - Google Patents

Abstract

立体視画像シーケンスを作成するための方法が提供される。この方法は、静止画像のシーケンスを取り込むステップと、複数の画像対を形成するステップとを含むことができる。各画像対は、静止画像のシーケンスから選択された第１の画像および第２の画像を含む。第１の画像の選択は、画像対が空間的に一貫性があるように形成されるように行うことができる。立体視画像シーケンスは、これらの画像対に基づいて作成することができる。この立体視画像シーケンスを作成することは、たとえば、立体視ビデオを生成することに関係することができる。【選択図】図４

Description

本開示は、一般に、立体視画像シーケンスを作成するための方法に関する。

立体視画像またはビデオは、典型的には、
１）立体視カメラ
２）２つの別々の、しかし同期されたカメラ
３）単一のカメラ
の使用により取り込むことができる。

立体視カメラは、立体視画像に必要とされる左右の画像を取り込むために、固定されたレンズ（たとえば、左右のレンズ）を有する。これらのレンズは各レンズの位置およびレンズ間の距離が調整可能でないという意味で固定されていることを考えると、ユーザが左右の画像を（すなわち、固定されているレンズのおかげで）同期させる必要がないので、立体視画像／ビデオを取り込むために立体視カメラを使用することは、ユーザフレンドリである点で有利である。すなわち、ユーザは、左右の画像を同期させるために（たとえば、レンズに対して）調整することを必要とされない。しかしながら、立体視カメラは、（たとえば、機器のコストまたは入手しやすさに鑑みて）多くの人にとって手の届きやすいものでない可能性がある非常に専門化された機器である。

２つの別々の、しかし同期されたカメラを使用することは、立体視カメラに対する実行可能な代替となり得る。しかしながら、２つのカメラの必要を考えると、これはかなり面倒である。さらに、これらの２つのカメラを同期させるために、ある程度のユーザ介入が必要となり得る。

さらに、単一のカメラの使用も、左右の画像を別々に（すなわち、左画像のためのショットと、右画像のための別のショット）得ることが可能であるため、別の代替となり得る。しかしながら、そのような使用の成功は、ユーザの技能に非常に左右される。たとえば、ユーザは、（たとえば、左画像を取り込むための）１回目の撮影の後、カメラを適切に移動して（右画像を取り込むための）２回目の撮影を行うことが必要とされる。ユーザがカメラを移動している間、不完全な動きのために、垂直変位および／または回転方向の変化が発生し、同期問題をもたらすことがある。

したがって、前述の問題に対処するための解決策を提供することが望ましい。

本開示の一態様によれば、立体視画像シーケンスを作成するための方法が提供され、この方法は、静止画像のシーケンスを取り込むステップと、複数の画像対を形成するステップとを含むことができる。各画像対は、静止画像のシーケンスから選択された第１の画像および第２の画像を含むことができる。第１の画像の選択は、画像対が空間的に一貫性があるように形成されるように行うことができる。立体視画像シーケンスは、これらの画像対に基づいて作成することができる。この立体視画像シーケンスを作成することは、たとえば、立体視ビデオを制作することに関係することができる。

各画像対は、第１の画像と第２の画像との間の間隔に基づくステレオベースに関連付けることができる。さらに、ステレオベースは、画像対の第１の画像および第２の画像の選択に基づいて可変である。

画像対の第１の画像および第２の画像の選択は、手動ベースの選択および自動ベースの選択のうちの一方または両方に基づく。

手動ベースの選択は、画像対の第１の画像および第２の画像のユーザ選択のために静止画像のシーケンスをディスプレイ画面上に提示することによることができる。自動ベースの選択は、少なくとも１つの静止画像に関連付けられた焦点距離の変化、目立つ対象検出、および静止画像に関連付けられた特性のうちのいずれか１つ、またはそれらの任意の組合せに基づくものとすることができる。

一実施形態では、立体視画像シーケンスは、立体視画像シーケンスが閲覧されているときのユーザインタラクションに基づいて画像対の第１の画像の選択が可変であるように、インタラクティブなものとすることができる。

他の実施形態では、立体視画像シーケンスは、複数の立体視画像を含むことができ、立体視画像のそれぞれは、画像対に基づいて形成され、ユーザが立体視画像シーケンスを閲覧しているときユーザによって閲覧されている立体視画像は、ユーザの動きに基づいて可変である。

以下、本開示の実施形態について、以下の図面を参照して述べる。

本開示の一実施形態による、静止画像のシーケンスを使用して立体視画像シーケンスを作成／生成するための方法１００の図である。 本開示の一実施形態による、画像取込みデバイスを例示的な方向に移動することによって静止画像のシーケンスが取り込まれる、図１の方法に関する静止画像のシーケンスの図である。 本開示の一実施形態による、立体視画像のそれぞれを図２の静止画像のシーケンスからの画像対に基づいて形成／生成することができる、複数の立体視画像を含む立体視画像シーケンスの図である。 本開示の一実施形態による、ユーザが図２の例示的な方向に画像取込みデバイスをスイープすることによって撮られたシーンの第１のスナップショットおよび第２のスナップショットの図である。 本開示の一実施形態による、図２の静止画像のシーケンスの一部分を、画像対を作成するのに使用できない／適さないものにし得る垂直シフトの問題の図である。 本開示の一実施形態による、画像取込みデバイスが閲覧デバイスと通信するように構成可能である例示的な応用例の図である。

本開示は、静止画像のシーケンスを使用して立体視画像シーケンスを作成／生成するための方法１００（図１を参照してさらに詳細に示される）に関する。静止画像は、たとえば、規則正しく離間された時間間隔で撮られたシーンのスナップショットとすることができる。これらのスナップショットは、カメラなど画像取込みデバイスを使用して撮ることができる。これに関して、画像取込みデバイスを使用して撮られたシーンのスナップショットは、シーンの撮られた写真と同様とすることができる。

図１を参照すると、方法１００は、開始ステップ１０２、取込みステップ１０４、停止ステップ１０６、および処理ステップ１０８を含むことができる。

方法１００は、ユーザがシーンの１点で画像取込みデバイスを位置決めする開始ステップ１０２で始まる。これは、ユーザがシーンのスナップショットを撮り始める開始点と考えられる。開始点では、画像取込みデバイスを、ユーザの好みに従って関心対象に合焦するように構成してもよい。

方法１００は、取込みステップ１０４に進み、ここでユーザは、画像取込みデバイスを開始点からシーンの別の点に移動し、シーンの静止画像のシーケンスを取り込むことができる。画像取込みデバイスの移動は、スイープタイプの移動とすることができる。

静止画像のシーケンスの取込みは、停止ステップ１０６で終了することができ、ここでユーザは、画像取込みデバイスを開始点から前述の別の点に移動し終えている。具体的には、前述の別の点は、ユーザが画像取込みデバイスを移動するのを止めた停止点であると考えることができる。

実際的に言えば、開始ステップ１０２から停止ステップ１０６までの方法１００に関して、ユーザは、カメラを保持して、そのカメラを開始点から停止点にスイープし、シーンの静止画像のシーケンスを取り込む。これは、スイープの経路に沿って撮られる一連の写真と同様であると考えることができる。たとえば、ユーザは、シーンの左側から開始してシーンの右側にカメラをスイープすることができる。これに関して、シーンの左側（すなわち、スイープの開始）は、開始点と考えることができ、シーンの右側（すなわち、スイープの終了）は、終了点と考えることができる。

取り込まれた静止画像のシーケンスを処理ステップ１０８で処理し、立体視画像シーケンスを生成することができる。立体視画像シーケンスは、複数の立体視画像を含むことができ、立体視画像は、取り込まれた静止画像のシーケンスから１対の静止画像を選択することによって生成することができる。したがって、立体視画像は、画像対（すなわち、１対の静止画像）によって生成することができ、立体視画像シーケンスは、複数の画像対（すなわち、２対以上の静止画像）を選択することによって生成することができる。画像対の選択については、図２を参照してさらに詳細に後述する。処理は、静止画像のシーケンスの取込み中、および／または静止画像の完全なシーケンスの取込み後に行うことができることを理解されたい。

静止画像のシーケンスおよび／または立体視画像シーケンスは、記憶されてもよい。これらの画像は、たとえば、様々なビデオ圧縮ツール［たとえば、ｈ．２６４］、多数のＪＰＥＧ、および／または画像ピラミッド（すなわち、複数の解像度を記憶するためのもの）でビデオとして記憶することができる。

図２は、図１の方法１００を参照しての前の考察に従って取り込まれた静止画像のシーケンス２００を示す。矢印２００ａは、スイープの例示的な方向（たとえば、シーンの左側から右側）を示す。

静止画像のシーケンス２００は、複数の静止画像を含むことができる。具体的には、複数の静止画像は、開始画像、複数の中間画像、および終了画像を含むことができる。たとえば、複数の静止画像は、第１の静止画像２０２、第２の静止画像２０４、第３の静止画像２０６、第４の静止画像２０８、第５の静止画像２１０、第６の静止画像２１２、および第７の静止画像２１４を含むことができる。

第１の静止画像２０２は、開始点で撮られた開始画像に対応することができ、中間画像は、第１の点と終了点の間でのスイープ中に撮られた第２の静止画像から第６の静止画像２０４／２０６／２０８／２１０／２１２を含むことができ、第７の静止画像２１４は、終了点で撮られた終了画像に対応することができる。

前述のように、立体視画像は、取り込まれた静止画像のシーケンスから１対の静止画像（すなわち、画像対）を選択することによって生成することができる。したがって、画像対は、たとえば前述の第１の静止画像から第７の静止画像２０２／２０４／２０６／２０８／２１０／２１２／２１４からの静止画像を前述の第１の静止画像から第７の静止画像２０２／２０４／２０６／２０８／２１０／２１２／２１４からの別の静止画像と対にすることによって形成することができる。

スイープの例示的な方向（たとえば、シーンの左側から右側）に基づいて、第１の静止画像２０２は、左側画像であると考えることができ、第７の静止画像２１４は、右側画像であると考えることができる。

さらに、画像対において、第２の静止画像から第６の静止画像２０４／２０６／２０８／２１０／２１２のそれぞれは、それぞれがどの静止画像と対にされるかに応じて、左側画像または右側画像になると考えることができる。一般に、中間画像（たとえば、第２の静止画像から第６の静止画像２０４／２０６／２０８／２１０／２１２）については、開始画像（すなわち、第１の静止画像２０２）に位置がより近い静止画像を、終了画像（すなわち、第７の静止画像２１４）に位置がより近い別の静止画像に対して左側画像であると考えることができる。反対に、終了画像に位置がより近い静止画像は、開始画像に位置がより近い別の静止画像に対して右側画像であると考えることができる。

たとえば、第２の静止画像２０４が第３の静止画像２０６と対にされる場合、第２の静止画像２０４は、左側画像と考えることができ、第３の静止画像２０６は、右側画像と考えることができる。しかしながら、第３の静止画像２０６が第４の静止画像から第６の静止画像２０８／２１０／２１２いずれか１つと対にされる場合、第３の静止画像２０６は、左側画像と考えることができ、第３の静止画像２０６と対にされた第４の静止画像から第６の静止画像２０８／２１０／２１２いずれか１つは、右側画像と考えることができる。さらに、第６の静止画像２１２が第７の静止画像２１４と対にされる場合、第６の静止画像２１２は、第７の静止画像２１４に対して左側画像と考えることができる。

一般に、立体視画像を生成／形成する画像対は、左側画像と右側画像を含む。画像対は、左側画像および右側画像に基づくステレオベースに関連付けることができる。左側画像および右側画像は、それぞれ「左目画像」および「右目画像」とも呼ぶことができる。画像対に関連付けられたステレオベースについては、図４を参照してさらに詳細に後述する。

さらに前述のように、立体視画像シーケンスは、複数の立体視画像を含むことができる。好ましくは、立体視画像シーケンスを生成／形成する画像対は、空間的に一貫性がある。具体的には、立体視画像シーケンスは、視覚的な流れ（ユーザによって閲覧されたとき）が過度に乱れないように形成されることが好ましい。より具体的には、ある画像対から次の画像対への視覚的な移行が滑らかであるべきであり、ユーザは、立体視画像シーケンスを閲覧しているとき、画像対間の移行中、「ぎくしゃくさ（ｊｅｒｋｉｎｇ）」を視覚的に知覚するべきでない。これに関して、立体視画像シーケンスを閲覧しているユーザは、たとえば、立体視ビデオを閲覧しているユーザと同様とすることができ、そのユーザは、立体視ビデオを閲覧しているとき「ぎくしゃくさ」を視覚的に知覚するべきでない。これについては、図２に関連して図３を参照してさらに詳細に述べる。

図３は、立体視画像のそれぞれを図２の静止画像のシーケンス２００からの画像対に基づいて形成／生成することができる、複数の立体視画像を含む立体視画像シーケンス３００を示す。

たとえば、立体視画像シーケンス３００は、第１の立体視画像３０２、第２の立体視画像３０４、第３の立体視画像３０６、および第４の立体視画像３０８を含むことができる。第１の立体視画像３０２から第４の立体視画像３０８は、それぞれ立体視画像シーケンス３００の第１から第４の要素であると考えることができる。したがって、立体視画像シーケンス３００は、第１の要素で開始し、第４の要素で終了する順序を有することができる。具体的には、第１の要素の後に第２の要素が続き、第２の要素の後に第３の要素が続き、第３の要素の後に第４の要素が続く（すなわち、順次、第１の立体視画像３０２の後に第２の立体視画像３０４が続き、その後に第３の立体視画像３０６が続き、その後に第４の立体視画像３０８が続く）。

第１の立体視画像３０２は、たとえば、第１および第２の静止画像２０２／２０４の画像対に基づいて形成することができる。第２の立体視画像３０４は、たとえば、第２および第３の静止画像２０４／２０６の画像対に基づいて形成することができる。第３の立体視画像３０６は、たとえば、第４および第５の静止画像２０８／２１０の画像対に基づいて形成することができる。第４の立体視画像は、たとえば、第６および第７の静止画像２１２／２１４の画像対に基づいて形成することができる。

したがって、各画像対は、第１の画像と第２の画像を含むことができることを理解されたい。スイープの例示的な方向（たとえば、矢印２００ａによって示されているシーンの左側から右側）に関する前の考察により、第１の画像は、たとえば左側画像に対応し得、第２の画像は、たとえば右側画像に対応し得る。スイープの方向が変更された場合（すなわち、シーンの左側から右側ではなくシーンの右側から左側）、それに応じて静止画像に関連付けられた前述の順序／方向も変更され得ることを理解されたい。たとえば、画像取込みデバイスがシーンの右側から左側にスイープされる場合、第１の画像は、たとえば右側画像に対応することができ、第２の画像は、たとえば左側画像に対応することができる。他の例は、画像取込みデバイスをスイープすることが対角状であることを含むことができる。

前述のように、立体視画像シーケンスを生成／形成する画像対は、空間的に一貫性があることが好ましい。

静止画像のシーケンス２００の各静止画像（たとえば、第１の静止画像から第７の静止画像２０２／２０４／２０６／２０８／２１０／２１２／２１４）は、静止画像のシーケンス２００の１つのフレームであると考えることができる。さらに、立体視画像シーケンス３００の第１から第４の要素に関する順序に関する前の考察と同様に、静止画像のシーケンス２００は、第１の静止画像２０２で開始し、第７の静止画像２１４で終了する順序を有することができ、第１の静止画像２０２の後に第２の静止画像２０４が続き、順にその後に第３の静止画像２０６が続き、順にその後に第４の静止画像２０８が続き、以下同様である。

画像対が空間的に一貫性があると考えられるためには、ある要素の第１の画像は、一般に、後続の要素の第１の画像から順次変位しすぎるべきでない。したがって、静止画像のシーケンス２００に関する順序と、立体視画像シーケンス３００のシーケンスに関する順序が考えられることになる。

たとえば、立体視画像シーケンス３００では、第１の要素の後に第２の要素が続く。したがって、空間的一貫性のためには、第１の要素に関連付けられた第１の画像と、第２の要素に関連付けられた第１の画像は、順序通りであるべきである。

より具体的には、第１の立体視画像３０２（すなわち、第１の要素）が第１および第２の静止画像２０２／２０４の画像対に基づいて形成され、第２の立体視画像３０４（すなわち、第２の要素）が第２および第３の静止画像２０４／２０６の画像対に基づいて形成される前の例では、静止画像のシーケンス２００に関して、第１の要素に関連付けられた第１の画像の後に、第２の要素に関連付けられた第１の画像が順次続くことを理解されたい。

すなわち、静止画像のシーケンス２００を考えると、第１の要素（すなわち、第１の立体視画像３０２）に関連付けられた第１の画像（すなわち、第１の静止画像２０２）の後に、第２の要素（第２の立体視画像３０４）に関連付けられた第１の画像（すなわち、第２の静止画像２０４）が順序通りに続く。したがって、立体視画像シーケンス３００の第１の要素と第２の要素は、空間的に一貫性があると考えることができる。理解されるように、各画像対の第１の画像の選択は、これらの画像対を空間的に一貫性があるように形成することができるように行われる。

空間的一貫性に関して、本開示は、あるレベルの許容差が許され得ることを企図している。すなわち、２つの要素が空間的に一貫性があると考えられるためには、１つの要素の第１の画像の直後に後続の（すなわち、立体視画像シーケンス３００の状況において）要素の第１の画像が続く（すなわち、静止画像のシーケンス２００の状況において）必要がない。たとえば、ある要素の第１の画像と後続の要素の第１の画像との間の１つまたは複数のフレームの差の許容差があり得る。これは、立体視画像シーケンス３００の第１の要素と第２の要素、および第３の要素と第４の要素によって例示することができる。

より具体的には、第１の立体視画像３０２が第１および第２の静止画像２０２／２０４の画像対に基づいて形成され、第２の立体視画像３０４が第２および第３の静止画像２０４／２０６の画像対に基づいて形成され、第３の立体視画像３０６が第４および第５の静止画像２０８／２１０の画像対に基づいて形成され、第４の立体視画像３０８が第６および第７の静止画像２１２／２１４の画像対に基づいて形成される前の例に関して、静止画像のシーケンス２００を考えると、第２の立体視画像３０４の第１の画像は、第１の立体視画像３０２の第１の画像の直後に続く（すなわち、第２の静止画像２０４である単一のフレームギャップだけがある）ことを理解されたい。これは、第３の立体視画像３０６の第１の画像と第４の立体視画像３０８の第１の画像との間の２つのフレームギャップと対照的である。より具体的には、第３の立体視画像３０６の第１の画像は第４の静止画像２０８であり、第４の立体視画像３０８の第１の画像は第６の静止画像２１２であり、２つの第１の画像間に２つのフレームギャップ（すなわち、第６の静止画像２１２、第５の静止画像２１０を含む）がある。２つのフレームギャップがあってさえ、立体視画像シーケンス３００の第３の要素（すなわち、第３の立体視画像３０６）と第４の要素（すなわち、第４の立体視画像３０８）は、依然として空間的に一貫性があると考えることができる。

要するに、立体視画像シーケンス３００を考えると、第１の要素（すなわち、第１の立体視画像３０２）は、第２の要素（すなわち、第２の立体視画像３０４）と空間的に一貫性があり、順に第２の要素は、第３の要素（すなわち、第３の立体視画像３０６）と空間的に一貫性があり、順に第３の要素は、第４の要素（すなわち、第４の立体視画像３０８）と空間的に一貫性がある。

前述のように、画像対は、ステレオベースに関連付けることができる。次に、ステレオベースについて、図２および図３に関連して図４を参照してさらに詳細に論じる。

図４は、ユーザが図２で述べた、矢印２００ａによって示されている例示的な方向に画像取込みデバイスをスイープすることによって撮られたシーンの第１のスナップショット、第２のスナップショット、第３のスナップショット、および第４のスナップショットを示す。第１および第２のスナップショットは、スイープの一部分４００ａ中に撮ることができる。第３および第４のスナップショットは、スイープの別の一部分４００ｂ中に撮ることができる。図のように、第１のスナップショットと第２のスナップショットを対にし、第１の立体視画像を形成することができ、一方、第３のスナップショットと第４のスナップショットを対にし、第２の立体視画像を形成することができる。

一例として、形成された第１の立体視画像は、たとえば図３において述べられている第１の立体視画像３０２に対応し得る。したがって、第１および第２のスナップショットは、たとえば、それぞれ第１および第２の静止画像２０２／２０４に対応し得る。

ステレオベースを決定するために、２つの画像間の射影変換を考える必要がある。一例では、オプティカルフローをそのような検討のための基礎とすることができる。他の例は、そのような射影変換を決定するためにジャイロスコープ／加速度計／コンパスを使用することを含むことができる。次に、ステレオベースの決定について、オプティカルフローに関してさらに詳細に論じる。

オプティカルフローは、一般に、画像取込みデバイス（すなわち、ユーザによって移動される）とシーンの間の相対的な動きによって引き起こされる、たとえば対象（たとえば、シーン内の対象）の見かけの動きのパターンとして定義することができる。したがって、画像取込みデバイスがユーザによってシーンの１つの点（すなわち、開始点）からシーンの別の点（すなわち、停止点）までスイープされることを考えると、画像取込みデバイスの動きの方向、および水平変位を考える必要がある。

具体的には、動きの方向は、（たとえば、矢印２００ａによって示されている）スイープの方向に基づく。シーンにおける対象の状況において、画像取込みデバイスとシーンの間の相対的な動きによって引き起こされる対象の見かけの動きに関係付けることができる。シーン内の対象は、たとえば、図４に示されている関心対象４０２／４０３とすることができる。

検討しているオプティカルフローに基づいて、画像対の第１の画像を選択することができる。たとえば、静止画像のシーケンス２００を、ユーザが閲覧するためにディスプレイ画面上に表示させることができ、ユーザは、静止画像のシーケンス２００からの静止画像を画像対の第１の画像として選択することができる。画像対の第１の画像は、たとえば左側画像とすることができる。画像対の第１の画像が選択された後で、ステレオベースに基づいて第２の画像を特定し、画像対を完成させることができる。

ステレオベースは、典型的には、物体距離に基づくことができる。物体距離は、たとえば画像取込みデバイスとシーン内の対象との間の距離に対応し得る。観察される典型的な経験則は、１：３０の比である。たとえば、シーン内の関心対象が画像取込みデバイスから約９０メートル離れている場合、第１および第２のスナップショットによって形成される画像対に関連付けられたステレオベースは、３メートルとすることができる（すなわち、１：３０の比に基づいて９０を３０で除したもの）。これに関して、ステレオベースは、典型的には、物体距離に正比例する。

本開示は、ステレオベースを物体距離に基づく代わりに、本開示の一実施形態により、ステレオベースを水平変位に基づくことができることを企図している。水平変位は、たとえば関心対象４０２／４０３が「移動」／「シフト」した（すなわち、画像取込みデバイスとシーンの間の相対的な動きによって引き起こされる対象の見かけの動きによる）ピクセルの数で表して定量化することができる。具体的には、図４の第１のスナップショットと第２のスナップショットを比較すると、関心対象４０２は、水平に（すなわち、点線４０４に沿って）シフトしており、この水平シフトは、ピクセルの数（たとえば、５ピクセル）で表して定量化することができることを理解することができる。したがって、図４の第１のスナップショットと第２のスナップショットを比較すると、関心対象４０２は、たとえば５ピクセルだけ水平にシフトしており、水平変位は、この場合、５ピクセルであると考えることができることを理解することができる。

これに関して、本開示は、ステレオベースが物体距離ではなく水平変位に基づくことを企図している。したがって、本開示にとって、静止画像（たとえば、第１の静止画像２０２）のどの関心部分／関心領域（たとえば、関心対象４０２）が前述の水平変位のための参照として選択／使用されているかが問題であることを理解されたい。したがって、ステレオベースは、使用／選択されている静止画像の関心部分／関心領域に応じて変わり得ることを理解されたい。

理解されるように、所望の水平シフト（これは、たとえばユーザ定義されたものとすることも、デフォルト設定とすることもできる）に基づいて、第２の画像を特定し、画像対を完成させることができる。

これに関して、画像対に関連付けられたステレオベースは、画像対の第１の画像と第２の画像の間の間隔を定量化するパラメータであると考えることができることを理解されたい。特に、例示／考察のために、画像取込みデバイスが実質的に一定の速度で移動される場合、ステレオベースは、静止画像のシーケンス２００内の第１の画像と第２の画像を隔てるフレームの数で表して定量化することができることが企図されている。間隔を定量化する際、第１の画像と第２の画像を隔てるフレームの数は、第２の画像それ自体をも考慮するべきであることに留意されたい。

一例では、関心対象（たとえば、関心対象４０２／４０３）に関する５ピクセルの所望の水平変位に基づいて、また第１の画像が第２の静止画像２０４に対応する場合、５ピクセルの所望の水平変位の基準に合う第２の画像は、第５の静止画像２１０に対応し得る。これに関して、ステレオベースは、３フレーム間隔（すなわち、第５の静止画像２１０、第２の静止画像２０４と第５の静止画像２１０との間の第３および第４の静止画像２０６／２０８を含む）に対応し得る。

別の例では、関心対象（たとえば、関心対象４０２／４０３）に関する５ピクセルの所望の水平変位に基づいて、また第１の画像が第２の静止画像２０４に対応する場合、５ピクセルの所望の水平変位の基準に合う第２の画像は、第４の静止画像２０８に対応し得る。これに関して、ステレオベースは、２フレーム間隔（すなわち、第４の静止画像２０８、第２の静止画像２０４と第４の静止画像２０８との間の第３の静止画像２０６を含む）に対応し得る。

画像取込みデバイスがシーンにわたってスイープされるとき、関心対象は変更され得ることが企図されている。

たとえば、図４を参照すると、関心対象をスイープの一部分４００ａ中に特定することができる。具体的には、１つの関心対象４０２を、第１の静止画像２０２（すなわち、第１の立体視画像３０２の第１の画像）に関して特定することができ、関心対象４０２について５ピクセルの所望の水平変位に基づいて、第２の静止画像２０４を特定し、画像対（すなわち、第１の立体視画像３０２の第２の画像）を完成させることができる。しかしながら、スイープの別の部分４００ｂ中に、別の関心対象４０３を特定することもできる。具体的には、別の関心対象４０３は、第３の静止画像２０６に関して特定することができる。第３の静止画像２０６が第１の画像として選択されるとき、（第３の静止画像２０６内の）関心対象４０３について５ピクセルの同じ所望の水平変位を考えると、５ピクセルの所望の水平変位の基準を満たす第２の画像は、（たとえば、第１の静止画像２０２内の関心対象４０２に比べた第３の静止画像２０６内に関心対象４０３のサイズに鑑みて）第５の静止画像２１０に対応し得る。これに関して、立体視画像は、第３および第５の静止画像２０６／２１０の画像対に基づいて形成することができる。したがって、異なる部分４００ａ／４００ｂが異なるステレオベースに関連付けられ得ることを理解されたい。具体的には、一部分４００ａに関連付けられたステレオベースは、１フレーム（すなわち、第２の静止画像２０４）によって定量化することができ、一方、もう１つの部分４００ｂに関連付けられたステレオベースは、２フレーム（すなわち、第４および第５の静止画像２０８／２１０）によって定量化することができる。

また、画像取込みデバイスがシーンにわたってスイープされるとき、同じ関心対象（たとえば、第３の静止画像２０６に関して特定された関心対象４０３）を考えると、前述の所望の水平変位の基準を満たす第２の画像は、変更され得ることが企図されている。

たとえば、立体視画像は、関心対象４０３の５ピクセルの所望の水平変位に鑑みて、第３および第５の静止画像２０６／２１０の画像対に基づくことができることを前述した。しかしながら、（たとえば、第４の静止画像から第７の静止画像２０８／２１０／２１２／２１４からの）スイープの後の部分では、第５および第７の静止画像２１０／２１４の画像対は、同じ関心対象４０３の５ピクセルの水平変位の同じ基準を満たす可能性がある（すなわち、第５の静止画像２１０内の関心対象が第３の静止画像２０６内のものと同じである可能性がある）。そのような現象は、たとえば、（ユーザが画像取込みデバイスを保持している自分の手をどのように動かすかに応じた）スイープの終わりに向かうスイープの動きの湾曲により起こり得る。

したがって、ステレオベースは、画像取込みデバイスがシーンにわたってスイープされるとき変わり得ることを理解されたい。さらに、ステレオベースは、画像対の第１の画像および第２の画像の選択に基づいて可変であることを理解されたい。

さらに、上記の考察に基づいて、ステレオベースは、関心対象（および関心対象周りの領域）に基づくことができることを理解されたい。関心対象は、以下の１つまたは複数に基づいて特定することができる。
１）自動的に検出される目立つ対象
２）画像取込みデバイス焦点領域
３）ユーザ定義の領域（すなわち、画像取込みデバイスを操作するユーザによって手動で定義／選択される）
４）追跡するのに良好な特徴を選択するために静止画像全体（またはユーザ定義の部分領域）に作用するビジョン方法（ｖｉｓｉｏｎ ｍｅｔｈｏｄ）

ステレオベースが関心対象の水平変位に基づいて決定されることとは別に、ステレオベースを決定する他の方法が可能となり得る。たとえば、
１）ステレオベースは、フォーカス距離に基づいて決定されることができ。
２）ステレオベースは、スナップショットの特性に基づいて決定されることができる。

フォーカス距離に関しては、本開示は、画像取込みデバイスが、スナップショットをシーンの関心対象に合焦することができることを企図している。したがって、スイープ中、フォーカス距離は（たとえば、画像取込みデバイスと関心対象の間の相対的な動きにより）変わり得ることを理解されたい。これに関して、ステレオベースは、それに応じて変わり得る。具体的には、ステレオベースは、フォーカス距離の変化に基づいて変わり得る。これに関して、ステレオベースは、画像取込みデバイスのレンズ（たとえば、カメラレンズ）に関連付けられたフォーカス距離に依存すると考えることができる。より具体的には、ステレオベースは、フォーカス距離の関数であると考えることができる。

スナップショットの特性に関しては、閲覧の快適性を最大にすることに関する画像対品質が考えられる。具体的には、画像対は、以下の条件の一方または両方が満たされるとき良好な品質のものであると考えられる。
１）垂直シフトが無視できる、または垂直シフトがない（点線４０４ａによって示されているように−関心対象４０２が、画像対の第１の画像と第２の画像の間で、水平にだけシフトしており、垂直シフトは無視できるか、または垂直シフトがないことに留意されたい）。
２）第１の画像と第２の画像の間でシーンの変化が無視できるほど−理想的には、スナップショットに取り込まれた対象は、移動すべきでなかったものであり（スナップショット内の対象の移動は、前述の見かけの動きから区別されるべきであり、それは、「対象の移動」が、シーンそれ自体内で実際に対象が位置を変えることを意味することになり、一方、見かけの動きは、前に述べたように、対象がシーン内で実際に位置を変えることなしに、画像取込みデバイスとシーンの間の相対的な動きによって引き起こされるからである）、ライティング条件（ｌｉｇｈｔｉｎｇ ｃｏｎｄｉｔｉｏｎ）は不変である。

選択される画像対の第１の画像が左側画像である場合、ユーザは、上記の条件を満たす右側画像を選択することができる。たとえば、ステレオベースが、たとえば（前述の所望の水平変位に基づいて）５フレームであると予め決定されている場合、ユーザは、５フレームのステレオベースに基づく第２の画像が良好な品質の画像対のための上記の条件を満たさない場合、静止画像のシーケンス２００から別の静止画像を選択することができる。より具体的な例では、５フレームのステレオベースに基づく第２の画像が第１の画像に比べて垂直シフトが大きすぎると（たとえば、ユーザによって）思われる場合、２フレームのステレオベースに基づく第２の画像が第１の画像に対して垂直シフトが無視できるほどであると思われるなら、ステレオベースを２フレームに低減させることができる。右側画像の選択は、ユーザがディスプレイ画面上に表示された静止画像のシーケンス２００から選択することによることができる。あるいは、上記の条件を満たす右側画像のユーザ選択の代わりに、上記の条件を満たす右側画像を特定するために、画像処理／比較が可能なプロセッサの使用により、右側画像の自動選択（すなわち、選択される画像対の第１の画像が左側画像である場合）が可能である（たとえば、プロセッサによる自動選択は、射影変換／目立つ対象追跡から得られる情報に基づくことができる）ことを理解されたい。さらに、垂直シフトの問題については、図５を参照してさらに詳細に後述する。

理解されるように、スナップショットの特性に基づいてステレオベースを決定することは、静止画像のシーケンス２００の一部分が画像対を作成するために使用できない／適さない（たとえば、相当な垂直シフトによる）と思われる場合、その部分のためのステレオベースをゼロに削減することができる点で、ユーザに制御および柔軟性をもたらす。

たとえば、静止画像のシーケンス２００では、第１および第２の静止画像２０２／２０４は、画像対を生成するために適している（すなわち、第１の適切な部分）と考えられ、第２の静止画像から第４の静止画像２０４／２０６／２０８は、前述の使用できない／適さない部分であると思われ、第５の静止画像から第７の静止画像２１０／２１２／２１４は、画像対を生成するために適している（すなわち、第２の適切な部分）と考えられる。画像対は、第１の適切な部分に基づいて形成することができ、ステレオベースは、最初に、たとえばピクセルの数で表して定量化することができる。第１の適切な部分に続いて、その部分（たとえば、第２の静止画像から第４の静止画像２０４／２０６／２０８）が画像対を作成するために適していない場合、ユーザは、２つの同一の画像を選択することによってステレオベースを（第１の適切な部分に関連付けられた初期のステレオベースから）ゼロに減じ、画像対を作成することができる（たとえば、ユーザは、画像対の第１の画像と第２の画像の両方となる第２の静止画像２０４を選択することができる）。使用できない／適さない部分に続いて、別の画像対を、第２の適切な部分に基づいて形成することができ、ステレオベースを（使用できない／適さない部分に関連付けられた、ゼロに減ぜられたステレオベースから）増大／伸長することができる。これに関して、ステレオベースは、静止画像のシーケンス２００内のスナップショットの特性に従って調整する／変えることができることを理解されたい。

したがって、１つまたは複数の画像対のステレオベースを、自動（たとえば、自動の目立つ対象検出および／またはスナップショットの特性）および／または手動（たとえば、ユーザ定義および／またはスナップショットの特性）で変えることができることを理解されたい。

さらに、ステレオベースは、立体視画像シーケンス３００の立体視画像（たとえば、第１の立体視画像から第４の立体視画像３０２／３０４／３０６／３０８）を形成するとき、動的に修正する／変えることができることを理解されたい。より具体的には、リアルタイムでのステレオベースの動的な修正を（たとえば、自動の目立つ対象検出、スナップショットの特性、スナップショットの焦点距離、および／またはユーザ定義により）容易にすることができることを理解されたい。

次に、垂直シフトの問題について、以下、画像対を作成するのに使用できない／適さない部分が第２の静止画像から第４の静止画像２０４／２０６／２０８を含む前の例の状況において、図５を参照して論じる。

図５に示されているように、静止画像のシーケンス２００では、第２の静止画像２０４が第４の静止画像２０８に比べられたとき、点線５０２および５０４によって示されているように、関心対象４０２の位置の著しい垂直シフトがあり得る。関心対象４０２は、第２の静止画像２０４が第４の静止画像２０８に比べられたとき、垂直に変位している（すなわち、図５に示されているΔｙ）と考えることができる。そのような垂直変位は、第２および第４の静止画像２０４／２０８を、画像対を作成するのに適さない／使用できないものにし得る。

本開示は、これがたとえばスイープを行うとき画像取込みデバイスの不十分なユーザ制御により起こり得ることを企図している。たとえば、ユーザは、スイープを行うとき、画像取込みデバイスを不安定に保持しており、したがってぎくしゃくさを引き起こした可能性がある。理想的には、静止画像のシーケンス２００は、静止画像間の垂直シフトが無視できるほどであるように取り込まれるべきである（すなわち、理想的には、たとえば画像取込みデバイスとシーンの間の相対的な動きによって引き起こされる対象の見かけの動きによる水平変位だけが、スイープに起因するべきである）。

次に、以下図６を参照して論じる例示的な応用例を参照する状況において前述をとらえる。

図６は、閲覧デバイス６０４と通信するように構成することができる画像取込みデバイス６０２を示す。画像取込みデバイス６０２は、たとえば、ユーザ（図示せず）がシーン（図示せず）のスイープを（たとえば、矢印２００ａによって示されている前述の例示的な方向に）行い、そのシーンの前述の静止画像のシーケンス２００を取り込むために使用することができるカメラを備えるスマートフォンとすることができる。閲覧デバイス６０４は、たとえば、ユーザが、静止画像のシーケンス２００に基づいて作成される前述の立体視画像シーケンス３００を閲覧するために着用するヘッドマウントディスプレイとすることができる。

画像取込みデバイス６０２は、プロセッサ（図示せず）、感知デバイス（図示せず）、ディスプレイモジュール６０２ａ、およびユーザ入力モジュール６０２ｂを含むことができる。具体的には、画像取込みデバイス６０２は、プロセッサ、感知デバイス、ディスプレイモジュール６０２ａ、およびユーザ入力モジュール６０２ｂを担持するように形作られ寸法設定されたケーシングを有することができる。プロセッサおよび感知デバイスは、たとえば、ケーシング内で担持され得る。さらに、ケーシングは、ディスプレイモジュール６０２ａおよびユーザ入力モジュール６０２ｂを、共に閲覧するために露出されアクセス可能となるように担持することができる。

ディスプレイモジュール６０２ａは、たとえばタッチスクリーンベースのディスプレイとすることができる。静止画像のシーケンス２００を、ユーザが閲覧するためにディスプレイモジュール６０２ａ上に表示することができ、ユーザは、所望の静止画像（たとえば、第１の静止画像２０２）を表示するディスプレイモジュール６０２ａの部分に接触することによって、静止画像の１つ（たとえば、第１の静止画像２０２）を画像対の第１の画像として選択することができる。これに関して、選択された（画像対の）第１の画像を示す画像選択データを、ディスプレイモジュール６０２ａから通信することができる。

ユーザ入力モジュール６０２ｂは、ユーザが前述の所望の水平変位を定義することを可能にする、スライダなどハードウェアベースの部分とすることができる。したがって、ユーザは、いつでも望むとき、やはりユーザ入力モジュール６０２ｂを使用し、たとえばスライダをスライドさせることによって水平変位を変えることができる。これに関して、所望の水平変位を示す水平変位データを、ユーザ入力モジュール６０２ｂから通信することができる。

感知デバイスは、スイープの方向を感知／検出するように構成することができる。たとえば、感知デバイスは、ジャイロスコープ−加速度計−コンパスとすることができ、オプティカルフローは、感知デバイスによって感知されるスイープの方向に基づいて決定することができる。これに関して、オプティカルフローを示す感知データを、感知デバイスから通信することができる。

プロセッサは、たとえば、画像選択データおよび／またはステレオベースデータ、ならびに感知データを受信し、静止画像のシーケンス２００内の静止画像を適切に対にし、立体視画像シーケンス３００を作成するように処理するように構成されたマイクロプロセッサとすることができる。プロセッサによる処理は、ビデオ安定化を含むことができる。さらに、プロセッサによる処理は、画像ワーピングを実施し、垂直シフトを低減することによって、１つまたは複数の画像対の第１の画像と第２の画像を幾何学的に位置合わせすることを含むことができる。さらに、プロセッサによる処理は、画像対の移行中、突然の変化（すなわち、視覚的に知覚可能な「ぎくしゃくさ」）を防止するために、画像ワーピングの量をスムージングすることを含むことができる。画像ワーピングの量をスムージングすることは、プロセッサ内のローパスフィルタおよび／またはカルマンフィルタの実装（たとえば、デジタル信号処理）によって可能になり得る。さらに、プロセッサによる処理は、表示（すなわち、閲覧デバイス６０４による）のために適切な形状に画像対をフォーマット化することを含むことができる。

ビデオ安定化に関して、本開示は、回転および垂直平行移動の両方の補正を行う状況において、ビデオ安定化をよりいっそう企図しており、水平平行移動補正を行う状況においてはそれほど重要としない。

画像取込みデバイスは、たとえば立体視画像シーケンス３００を閲覧するためにユーザが着用することができる閲覧デバイス６０４に立体視画像シーケンス３００を通信するようにさらに構成することができる。

好ましくは、立体視画像シーケンス３００は、以下の意味でインタラクティブなものとすることができる。
１）選択される第１の画像（すなわち、画像対のもの）は、立体視画像シーケンス３００閲覧時のユーザインタラクションに基づくことができる。および／または
２）ユーザが閲覧する立体視画像（たとえば、第１の立体視画像から第４の立体視画像３０２／３０４／３０６／３０８のいずれか）が、ユーザの動きに従って変更される。

一例では、ユーザインタラクションに基づく第１の画像の選択に関して、閲覧デバイス６０４を着用しているユーザが頭を回したとき、選択される第１の画像は、ユーザの頭の回る動きに基づくことができる。具体的には、画像対の第１の画像が最初、第３の静止画像２０６である場合、この画像対の第１の画像は、たとえばユーザが頭を左に回した場合、第２の静止画像２０４に変更され得る。したがって、ユーザが頭を左に回したとき、第２の静止画像２０４に基づく画像対を作成することができる。反対に、ユーザが頭を右に回した場合、この画像対の第１の画像は、たとえば第５の静止画像２１０に変更され得、それに応じて、第１の画像として第５の静止画像２１０に基づく画像対を作成することができる。理解されるように、閲覧デバイス６０４は、ユーザの動きを感知するために感知デバイス（画像取込みデバイス６０２のものと同様のもの）を含んでもよい。さらに、ユーザの動きを示すフィードバック信号を、閲覧デバイス６０４から画像取込みデバイス６０２に通信し、画像対の第１の画像の選択を変えることができる。これに関して、画像対、したがって立体視画像シーケンス３００は、ユーザの動きを検出することによって、（ユーザがディスプレイモジュール６０２ａに接触し、選択することに対して）非接触で作成することができる（すなわち、非接触ユーザインタラクション）ことを理解されたい。

別の例では、ユーザの動きに従ってユーザが閲覧している立体視画像を変更することに関して、閲覧デバイス６０４を着用しているユーザが最初、第２の立体視画像３０４を閲覧している可能性がある。ユーザが頭を左に回したとき、ユーザは、最初の第２の立体視画像３０４ではなく第１の立体視画像３０２を閲覧している可能性がある。反対に、ユーザが頭を右に回したとき、ユーザは、最初の第２の立体視画像３０４ではなく第４の立体視画像３０８を閲覧している可能性がある。

上述の例示的な応用例は、以下に有用となり得る。
１）ユーザが関心対象周りで画像取込みデバイスをスイープする（すなわち、対象それ自体だけの静止画像のシーケンス２００を取り込む）対象閲覧タイプのスイープ
２）ユーザが腕の長さで画像取込みデバイスを保持し、ユーザ自身に向けて、画像取込みデバイスを円弧状にスイープすることができる（すなわち、ユーザ自身だけの静止画像のシーケンス２００を取り込む）自撮りタイプのスイープ
３）パノラマタイプのスイープ
前述のようにして、前述の欠点の少なくとも１つに対処するために、本開示の様々な実施形態が述べられている。そのような実施形態は、以下の特許請求の範囲によって包含されることが意図されており、そのように記載の特定の形態または各部の配置に限定されるものではなく、本開示に鑑みて、多数の変更および／または修正をなすことができ、これらもまた以下の特許請求の範囲によって包含されることが意図されていることが当業者には明らかであろう。

たとえば、前述の例示的な応用例は、画像取込みデバイス６０２がプロセッサを担持することを企図している。そのようなプロセッサは、閲覧デバイスによって担持され得ることを理解されたい（たとえば、画像取込みデバイス６０２は、閲覧デバイス６０４によって担持されたプロセッサによって処理するために、静止画像のシーケンス２００を閲覧デバイス６０４に通信することができる）。また、画像取込みデバイス６０２と閲覧デバイス６０４がそれぞれプロセッサを担持することができることを理解されたい（すなわち、処理の一部分を画像取込みデバイスによって担持されたプロセッサによって扱うことができ、処理の別の部分を閲覧デバイス６０４によって担持されたプロセッサによって扱うことができる）。

別の例では、スイープ中、音声（すなわち、シーンからの可聴音）をも取り込み、立体視画像シーケンス３００の閲覧中に再生し、閲覧体験を豊かにすることができる。

さらに別の例では、ユーザインターフェース（ＵＩ）を（たとえば、画像取込みデバイス６０２のディスプレイモジュール６０２ａを介して）表示し、スイープまたはスイープの一部分を使用して画像対を作成することができるかどうかユーザに対して示すことができる。ＵＩは、たとえば、画像取込みデバイスを保持しているユーザの手がスイープ中不安定であるかどうか示すことができる。

さらに別の例では、停止ステップ１０６に関して、停止点はユーザが画像取込みデバイスを移動するのを止めたところであると考えられることが述べられているが、停止点は、（たとえば、ユーザが画像取込みデバイスを移動するのを止めたか否かにかかわらず取込みを停止するように画像取込みデバイス内のタイマを設定することによって）ユーザが画像取込みデバイスを移動するのを止める前にいつでも自動的に発生し得ることを理解されたい。

Claims (9)

1. 立体視画像シーケンスを作成するための方法であって、
   静止画像のシーケンスを取り込むステップと、
   複数の画像対を形成するステップであって、各画像対は、静止画像の前記シーケンスから選択された第１の画像および第２の画像を含み、前記第１の画像の選択は、前記画像対が空間的に一貫性があるように形成されるように行われる、ステップとを含み、
   前記立体視画像シーケンスは、前記画像対に基づいて作成される、方法。
2. 各画像対は、前記第１の画像と前記第２の画像との間の間隔に基づくステレオベースに関連付け可能である、請求項１に記載の方法。
3. 前記ステレオベースは、画像対の前記第１の画像および前記第２の画像の選択に基づいて可変である、請求項２に記載の方法。
4. 画像対の前記第１の画像および前記第２の画像の選択は、手動ベースの選択および自動ベースの選択のうちの少なくとも１つに基づく、請求項３に記載の方法。
5. 手動ベースの選択は、画像対の前記第１の画像および前記第２の画像のユーザ選択のために静止画像の前記シーケンスをディスプレイ画面上に提示することによる、請求項４に記載の方法。
6. 自動ベースの選択は、少なくとも１つの静止画像に関連付けられた焦点距離の変化、目立つ対象検出、および前記静止画像に関連付けられた特性のうちの少なくとも１つに基づく、請求項４に記載の方法。
7. 前記立体視画像シーケンスは、前記立体視画像シーケンスが閲覧されているときのユーザインタラクションに基づいて画像対の前記第１の画像の選択が可変であるように、インタラクティブである、請求項１に記載の方法。
8. 前記立体視画像シーケンスは、複数の立体視画像を含み、前記立体視画像のそれぞれは、画像対に基づいて形成され、
   ユーザが前記立体視画像シーケンスを閲覧しているときユーザによって閲覧されている前記立体視画像は、ユーザの動きに基づいて可変である、請求項１に記載の方法。
9. 前記立体視画像シーケンスを作成することは、立体視ビデオを生成することに関係する、請求項１に記載の方法。

Images