JP2023500513A - 画像合成システム及びその方法 - Google Patents

画像合成システム及びその方法 Download PDF

Info

Publication number
JP2023500513A
JP2023500513A JP2022525825A JP2022525825A JP2023500513A JP 2023500513 A JP2023500513 A JP 2023500513A JP 2022525825 A JP2022525825 A JP 2022525825A JP 2022525825 A JP2022525825 A JP 2022525825A JP 2023500513 A JP2023500513 A JP 2023500513A
Authority
JP
Japan
Prior art keywords
pose
view
scene
dimensional
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022525825A
Other languages
English (en)
Other versions
JPWO2021089340A5 (ja
Inventor
クリスティアン ヴァーエカンプ
ヘースト バルトロメウス ウィルヘルムス ダミアヌス ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2023500513A publication Critical patent/JP2023500513A/ja
Publication of JPWO2021089340A5 publication Critical patent/JPWO2021089340A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

画像合成システムは、シーンの少なくとも一部を記述するシーンデータと、オブジェクトに関して相対的なポーズを有するビューイングゾーンからの３Ｄオブジェクトを記述するオブジェクトデータと、シーン内のビューポーズとを受信する受信器２０１、２０３、２０５を含む。ポーズ決定回路２０７は、シーンデータ及びビューポーズに応じて、３次元シーン内の３次元オブジェクトのオブジェクトポーズを決定し、ビュー合成回路２０９は、オブジェクトデータ、オブジェクトポーズ、及びビューポーズからオブジェクトのビュー画像を生成する。回路２１１は、オブジェクトポーズである状態のオブジェクトのビューイングゾーンに対応するシーン内のビューイング領域を決定する。ポーズ決定回路２０７は、ビューイング領域に対してのビューポーズに対する距離尺度を決定し、且つ、ビューポーズとビューイング領域のポーズとの間の距離が閾値を超えるという要件を含む基準を、距離尺度が満たす場合に、オブジェクトポーズを変更する。

Description

本発明は、画像合成システムに関し、特に、排他的にではないが、複合、拡張、又は仮想現実アプリケーションのビュー合成をサポートする画像合成装置に関する。
近年では、ビデオを利用及び消費する新しいサービス及び手段が絶えず開発及び導入されて、画像及びビデオアプリケーションの多様性及び範囲が大幅に拡大している。
例えば、ますます普及してきているサービスの１つは、視聴者がシステムと能動的且つ動的にインタラクトして、レンダリングのパラメータを変更できるようなやり方での画像シーケンスの提供である。多くのアプリケーションにおいて非常に魅力的な特徴は、視聴者の事実上のビューイング位置及びビューイング方向を変更する能力であり、これは、例えば視聴者が提示されているシーン内を動き回ったり、見て回ったりすることを可能にする。
このような特徴は、特に仮想現実体験をユーザに提供できる。これにより、ユーザは、例えば、仮想環境内で（比較的）自由に動き回り、自分の位置や見ている場所を動的に変更することができる。通常、このような仮想現実（ＶＲ）アプリケーションは、シーンの３次元モデルに基づいており、このモデルは動的に評価されて、要求された特定のビューを提供する。このアプローチは、例えば、ファーストパーソンシューティングゲームなどのカテゴリにおける、コンピュータ及びコンソール用のゲームアプリケーションからよく知られている。
別の例としては、仮想生成コンテンツがローカル環境の認識と混合される拡張現実（ＡＲ）又は複合現実（ＭＲ）アプリケーションがある。例えば、ユーザは、自分の周囲を直接見ることを可能にしながら、仮想コンテンツをユーザが認識できるように表示することを可能にするディスプレイも含むメガネ又はヘッドセットを着用する。仮想コンテンツは、現実世界のビューに適応することができる。例えば、ＭＲシステムでは、ユーザは、例えばシーンに追加の仮想オブジェクトが出現している状態でローカル環境を見ることができる。
同様に、ＶＲ体験では、仮想シーンを記述するモデルとは別に、仮想オブジェクトなどの追加コンテンツが提供される。ＶＲシステムは、シーンのレンダリングとともにそのようなオブジェクトを合わせ、この結果、ユーザに提供されるビューには、シーン内のオブジェクトが含まれている。
したがって、ＡＲ及びＭＲアプリケーションでは、実際の背景に３Ｄコンピュータ生成オブジェクトなどのコンピュータグラフィックスがオーバーレイされる。ＶＲアプリケーションでは、仮想背景に、例えばシーンのモデルの一部ではない３Ｄコンピュータ生成オブジェクトなどのコンピュータグラフィックスがオーバーレイされる。
オブジェクトは、具体的には、視聴者の視点と位置合わせされた３Ｄオブジェクトであり、ユーザに提供されるビュー画像内の３Ｄオブジェクトの表現は、視聴者の移動に適応され、この結果、オブジェクトは、シーン内に存在するように視聴者を包む（ｐａｐｅｒ）。例えば、視聴者が移動すると、異なるビューイング方向から見られるようにオブジェクトの出現が変更される。
しかしながら、異なるビューイング方向からのオブジェクトのこのようなビューを生成するためには、オブジェクトを十分に完全なデータで表現して、好ましくは、オブジェクトに対する任意のビュー位置及び向きからビューを生成できるようにする必要がある。これは、いくつかのアプリケーションでは実行可能であるが、オブジェクトが現実世界キャプチャから生成される場合など、多くのアプリケーションでは、オブジェクトを表すデータは限られている場合がある。
例えば、オブジェクトは、所与のカメラ間距離を有して真っ直ぐ一列に配置された複数のカメラによってキャプチャされた実際のオブジェクトである。通常、カメラの数は比較的限られており、実際には、約３～１０台のカメラを有するカメラリグが使用されることが多い。しかしながら、このようなオブジェクトの問題は、典型的に、オブジェクトのキャプチャが非常に限られていることである。例えば、オブジェクトの前のビューイング位置については正確なデータが入手可能である一方で、他のビューイング位置では、取得されるデータが不十分であることが多い。例えば、オブジェクトの後ろ又は横のビューイング位置についてはデータがキャプチャされない場合がある。これにより、いくつかの位置／向きのビューを合成できなくなるか、又は、少なくとも画質が大幅に低下する可能性がある。
具体的には、ビュー合成されたオブジェクトは、深度を備えたマルチビュー（ｍｕｌｔｉ－ｖｉｅｗ ｗｉｔｈ ｄｅｐｔｈ：ＭＶＤ）キャプチャからの投影として得られる。このようなオブジェクトは、例えば、クロマキーイングを使用して元のＭＶＤキャプチャから切り出すことができる。しかしながら、ＭＶＤコンテンツから合成された画像オブジェクトの場合、高品質イメージングは、通常、オブジェクトの前の位置に限定されるため、すべての位置でオーバーレイコンテンツを生成することが困難又は不可能となり得る。そのため、多くの視聴者位置／ポーズについて品質が低下するか、又は、十分な品質を確保するために視聴者が取ることができる位置／ポーズが大幅に限られる場合がある。
そのため、改良されたアプローチが有利である。特に、操作性の向上、柔軟性の向上、仮想／拡張／複合現実体験の向上、複雑さの軽減、実装の簡素化、合成画像品質の向上、レンダリングの向上、ユーザの（場合によっては仮想の）移動の自由の増加、ユーザ体験の向上、並びに／又はパフォーマンス及び／若しくは操作性の向上を可能にするアプローチが有利である。
したがって、本発明は、好ましくは、上記の欠点のうちの１つ以上を、単独又は任意の組み合わせで軽減、緩和、又は排除しようと努めるものである。
本発明の一態様によれば、画像合成システムが提供される。本システムは、３次元シーンの少なくとも一部を記述するシーンデータを受信する第１の受信器と、３次元オブジェクトを記述するオブジェクトデータを受信する第２の受信器であって、オブジェクトデータは、３次元オブジェクトに関して相対的なポーズを有するビューイングゾーンからの３次元オブジェクトの視覚的データを提供する、第２の受信器と、３次元シーン内の視聴者のビューポーズを受信する第３の受信器と、シーンデータ及びビューポーズに応じて、３次元シーン内の３次元オブジェクトのオブジェクトポーズを決定するポーズ決定回路と、視覚的データ、オブジェクトポーズ、及びビューポーズからビュー画像を生成するビュー合成回路であって、ビュー画像は、３次元オブジェクトがオブジェクトポーズである状態で、且つビューポーズから眺められている状態での３次元シーン内の３次元オブジェクトのビューを含む、ビュー合成回路と、３次元オブジェクトのオブジェクトポーズ及びビューイングゾーンの相対的なポーズの３次元シーン内のビューイング領域を決定する回路であって、ビューイング領域は、オブジェクトポーズである状態の３次元オブジェクトの３次元シーン内のビューイングゾーンに対応している、回路とを含み、ポーズ決定回路は、オブジェクトポーズに対するビューイング領域に対してのビューポーズに対する距離尺度を決定し、且つ、ビューポーズとビューイング領域のポーズとの間の距離が第１の閾値を超えるという要件を含む第１の基準を、距離尺度が満たすことに応じて、オブジェクトポーズを変更し、ビュー合成回路は、距離が第１の閾値を超えないビューポーズの少なくともいくつかの変更に対して、異なる角度からであるように３次元オブジェクトの前記ビューを生成し、ポーズ決定回路は、オブジェクトポーズの変更に従う新しいオブジェクトポーズを決定し、新しいオブジェクトポーズの決定は、距離尺度が新しいオブジェクトポーズについて第１の基準を満たさないという制約を受ける。
本発明は、多くの実施形態において、ユーザ体験を向上させる。本発明は、ＡＲ、ＶＲ、及び／又はＭＲアプリケーションでの画質と移動の自由度との間のトレードオフを向上することを可能にする。
このアプローチは、例えば、合成された仮想オブジェクトをシーンにマージして、この結果、オブジェクトが小さな移動に関してシーン内に通常のオブジェクトのように見えるが、十分に高い品質を保つために必要である場合は、位置及び／又は向きを適応及び変更するアプリケーションを可能にする又は容易にできる。
このアプローチは、例えば、マルチビュー及び深度によって表されるオブジェクトなど、合成するオブジェクトの限定的なキャプチャ及び表現に基づいて、ＡＲ／ＶＲ／ＭＲアプリケーションを向上させることを可能にする。
ビューイングゾーンは、オブジェクトデータが画像合成に十分なものとして指定されているビューポーズのセットであり得る。ビューイングゾーンのポーズは、３Ｄオブジェクトに対して決定される。ビューゾーンは、シーンとは無関係であっても、キャプチャ座標系又はオブジェクト座標系に関連していてもよい。
ビューイング領域は、３Ｄオブジェクトがシーンに追加されたときに、ビューイングゾーンと一致する３次元シーンのビューポーズを含むビューポーズのセットであり得る。ビューイング領域は、オブジェクトがオブジェクトポーズに従って位置決めされ及び方向付けされたときに、ビューイングゾーンと一致するシーン内の領域であり得る。ビューイング領域は、オブジェクトがオブジェクトポーズに従って位置決めされ及び方向付けされたときに、ビューイングゾーンに属する３次元シーン内のポーズで構成され得る。
ビューイングゾーンは、オブジェクトに関して記述／定義されたポーズのセットであり得る。ビューイング領域は、３次元シーンに関して記述／定義されたポーズのセットであり得る。ビューイングゾーンは、オブジェクト又はキャプチャ座標系に関して記述／定義されたポーズのセットであり得る。ビューイング領域は、シーン座標系に関して記述／定義されたポーズのセットであり得る。
シーンデータは、３次元シーンの完全な又は部分的な記述であり得る。シーンデータは、シーン内の１つ以上のオブジェクトの位置及び輪郭を記述するデータを含み得る。シーンオブジェクトは、仮想オブジェクトであっても、ＭＲ／ＡＲアプリケーション用の現実世界オブジェクトであってもよい。
ポーズは、位置及び／又は向きであり得る。新しいオブジェクトポーズは、オブジェクトポーズが変更されたポーズであり得る。
現実世界の３次元シーン（特にＡＲ／ＭＲアプリケーション用）の場合、シーンデータは、例えば、コンピュータビジョンアルゴリズムを使用して自動的に生成される。
本発明の任意選択の特徴によれば、ビューイング領域は、少なくとも２次元の領域である。
本発明の任意選択の特徴によれば、オブジェクトポーズから異なる方向にある少なくともいくつかのビューポーズについて、距離は閾値を超えない。
いくつかの実施形態では、距離は、ビューポーズとビューイング領域のポーズとの間の向きの差に依存する。いくつかの実施形態では、ビューイング領域には、オブジェクトポーズに関連する異なる向きを有するポーズが含まれている。いくつかの実施形態では、ビューイング領域は、少なくとも２つの次元が変化するポーズを含む。いくつかの実施形態では、ビューイング領域は、少なくとも３次元の領域である。いくつかの実施形態では、ビューイング領域は、少なくとも１つの向き次元について拡張を有する。いくつかの実施形態では、ビューイング領域は、少なくとも１つの向き次元及び少なくとも１つの位置次元について拡張を有する。いくつかの実施形態では、距離には、向き距離寄与が含まれている。いくつかの実施形態では、距離には、位置距離寄与と向き距離寄与の両方が含まれている。
本発明の任意選択の特徴によれば、ポーズ決定回路は、ビューポーズとビューイング領域のポーズとの間の距離が第２の閾値を超えないという要件を含む基準を、距離尺度が満たすときに、変化するビューポーズについてオブジェクトポーズを変更しない。
これにより、多くの実施形態において、ユーザ体験が向上し、操作性が向上及び／又は容易にされる。これは、特に実際のオブジェクトと同じように、３Ｄオブジェクトのビューを視聴者の移動に関して変更するような表現を可能にする。
本発明の任意選択の特徴によれば、オブジェクトポーズの変更は、オブジェクトポーズの位置の変更を含む。
これにより、多くの実施形態において、ユーザ体験が向上し、操作性が向上及び／又は容易にされる。オブジェクトポーズの変更には、平行移動の変更が含まれていてもよい。
本発明の任意選択の特徴によれば、オブジェクトポーズの変更は、オブジェクトポーズの向きの変更を含む。
これにより、多くの実施形態において、ユーザ体験が向上し、操作性が向上及び／又は容易にされる。オブジェクトポーズの変更には、回転の変更が含まれていてもよい。
本発明の任意選択の特徴によれば、シーンデータは、３次元シーン内の少なくとも１つのシーンオブジェクトのデータを含み、ポーズ決定回路は、少なくとも１つのシーンオブジェクトによる３次元オブジェクトのビューポーズのオクルージョンがないという制約の下で、変更に従う新しいオブジェクトポーズを決定する。
これにより、多くの実施形態において、ユーザ体験が向上し、操作性が向上及び／又は容易にされる。
本発明の任意選択の特徴によれば、シーンデータは、３次元シーン内の少なくとも１つのオブジェクトのオブジェクトデータを含み、ポーズ決定回路は、３次元シーン内の少なくとも１つのオブジェクトと新しいビューポーズの３次元オブジェクトとの間にオーバーラップがないという制約の下で、変更に従う新しいオブジェクトポーズを決定する。
これにより、多くの実施形態において、ユーザ体験が向上し、操作性が向上及び／又は容易にされる。
本発明の任意選択の特徴によれば、ビューイングゾーンは、基準ポーズを含み、ポーズ決定回路は、基準ポーズとビューポーズとの位置合わせを目的として、変更に従う新しいオブジェクトポーズにバイアスをかける。
これにより、多くの実施形態において、ユーザ体験が向上し、操作性が向上及び／又は容易にされる。ポーズ決定回路は、複数のポーズについて優先傾向尺度を評価することによって新しいオブジェクトポーズを決定し得る。バイアスは、基準ポーズがビューポーズに近いほど、優先傾向尺度が高くなるようなバイアスであり得る。優先傾向尺度が最も高いポーズを、新しいオブジェクトポーズとして選択できる。
バイアスは、基準ポーズと所与の候補ポーズのビューポーズとの間のの距離が小さいほど、新しいオブジェクトポーズとして候補ポーズの選択の変更が高くなるようなバイアスであり得る。
バイアスは、新しいオブジェクトポーズの選択のためのすべての制約が満たされ、基準ポーズとビューポーズとの間の距離尺度が最も低いポーズが新しいオブジェクトポーズとして選択されるようなバイアスであり得る。
いくつかの実施形態では、ポーズ決定回路は、基準ポーズをビューポーズと位置合わせさせるようにオブジェクトポーズを変更する。いくつかの実施形態では、ポーズ決定回路は、基準ポーズがビューポーズと同じであるように、変更に従う新しいオブジェクトポーズを選択する。
本発明の任意選択の特徴によれば、ポーズ決定回路は、距離尺度が新しいビューポーズについて第１の基準を満たさないという制約の下で、変更に従う新しいオブジェクトポーズを決定する。
これにより、多くの実施形態において、ユーザ体験が向上し、操作性が向上及び／又は容易にされる。
本発明の任意選択の特徴によれば、ポーズ決定回路は、変更前のオブジェクトポーズに対する最小ポーズ差へ向けて、変更に従う新しいオブジェクトポーズにバイアスをかける。
これにより、多くの実施形態において、ユーザ体験が向上し、操作性が向上及び／又は容易にされる。
ポーズ決定回路は、複数のポーズについて優先傾向尺度を評価することによって新しいオブジェクトポーズを決定し得る。バイアスは、ポーズが変更前のポーズに近いほど、そのポーズの優先傾向尺度が高くなるようなバイアスであり得る。優先傾向尺度が最も高いポーズを、新しいオブジェクトポーズとして選択できる。
バイアスは、所与の候補ポーズと前のオブジェクトポーズとの間の距離が小さいほど、新しいオブジェクトポーズとして候補ポーズの選択の変更が高くなるようなバイアスであり得る。
バイアスは、新しいオブジェクトポーズの選択のためのすべての制約が満たされ、ポーズと前のオブジェクトポーズとの間の距離尺度が最も低いポーズが新しいオブジェクトポーズとして選択されるようなバイアスであり得る。
本発明の任意選択の特徴によれば、シーンデータは、３次元シーン内の少なくとも１つのシーンオブジェクトのデータを含み、ポーズ決定回路は、３次元オブジェクトによる少なくとも１つのシーンオブジェクトのビューポーズのオクルージョンがないという制約の下で、変更に従う新しいオブジェクトポーズを決定する。
これにより、多くの実施形態において、ユーザ体験が向上し、操作性が向上及び／又は容易にされる。
本発明の任意選択の特徴によれば、ポーズ決定回路は、複数の制約を満たす変更に従う新しいオブジェクトポーズを見つけるために、シーンの領域についてポーズの検索を実行する。
これにより、多くの実施形態において、ユーザ体験が向上し、操作性が向上及び／又は容易にされる。
本発明の任意選択の特徴によれば、３次元オブジェクトの表現は、３次元オブジェクトのマルチビュー画像及び深度表現を含む。
本発明の任意選択の特徴によれば、シーンデータは、３次元シーンの少なくとも一部の視覚的モデルを提供し、ビュー合成回路は、３次元オブジェクトのビューとブレンドされたビューポーズからのシーンのビューであるように、視覚的モデルに応じて、ビュー画像を生成する。
本発明の一態様によれば、画像合成方法が提供される。本方法は、３次元シーンの少なくとも一部を記述するシーンデータを受信するステップと、３次元オブジェクトを記述するオブジェクトデータを受信するステップであって、オブジェクトデータは、３次元オブジェクトに関して相対的なポーズを有するビューイングゾーンからの３次元オブジェクトの視覚的データを提供する、受信するステップと、３次元シーン内の視聴者のビューポーズを受信するステップと、シーンデータ及びビューポーズに応じて、３次元シーン内の３次元オブジェクトのオブジェクトポーズを決定するステップと、視覚的データ、オブジェクトポーズ、及びビューポーズからビュー画像を生成するステップであって、ビュー画像は、３次元オブジェクトがオブジェクトポーズである状態で、且つビューポーズから眺められている状態での３次元シーン内の３次元オブジェクトのビューを含む、生成するステップと、３次元オブジェクトのオブジェクトポーズ及びビューイングゾーンの相対的なポーズの３次元シーン内のビューイング領域を決定するステップであって、ビューイング領域は、オブジェクトポーズである状態での３次元オブジェクトの３次元シーン内のビューイングゾーンに対応している、決定するステップと、オブジェクトポーズに対するビューイング領域に対してのビューポーズに対する距離尺度を決定するステップと、ビューポーズとビューイング領域のポーズとの間の距離が第１の閾値を超えるという要件を含む第１の基準を、距離尺度が満たすことに応じて、オブジェクトポーズを変更するステップとを含み、ビュー画像を生成するステップは、距離が第１の閾値を超えないビューポーズの少なくともいくつかの変更に対して、異なる角度からであるように３次元オブジェクトのビューを生成するステップを含み、オブジェクトポーズを変更するステップは、オブジェクトポーズの変更に従う新しいオブジェクトポーズを決定するステップを含み、新しいオブジェクトポーズの決定は、距離尺度が新しいオブジェクトポーズについて第１の基準を満たさないという制約を受ける。
次のような画像合成システムが提供され得る。このシステムは、第１の座標系（シーン座標系）で表される３次元シーンの少なくとも一部を記述するシーンデータを受信するための第１の受信器と、３次元オブジェクトを記述するオブジェクトデータを受信するための第２の受信器であって、オブジェクトデータは、３次元オブジェクトに関して相対的なポーズを有するビューイングゾーンからの３次元オブジェクトの視覚的データを提供する、第２の受信器と、３次元シーン内の視聴者のビューポーズを受信するための第３の受信器であって、ビューポーズは、第１の座標系に関連している、第３の受信器と、シーンデータ及びビューポーズに応じて、第１の座標系での３次元オブジェクトのオブジェクトポーズを決定するためのポーズ決定回路と、視覚的データ、オブジェクトポーズ、及びビューポーズからビュー画像を生成するためのビュー合成回路であって、ビュー画像は、ビューポーズからのオブジェクトポーズにおける３次元オブジェクトのビューを含む、ビュー合成回路と、３次元オブジェクトのオブジェクトポーズ及びビューイングゾーンの相対的なポーズの第１の座標系でのビューイング領域を決定するための回路であって、ビューイング領域は、オブジェクトポーズである状態での３次元オブジェクトの第１の座標系でのビューイングゾーンに対応している、回路とを含み、ポーズ決定回路は、オブジェクトポーズに対するビューイング領域に対してのビューポーズに対する距離尺度を決定し、且つ、ビューポーズとビューイング領域のポーズとの間の距離が第１の閾値を超えるという要件を含む第１の基準を、距離尺度が満たすことに応じて、オブジェクトポーズを変更する。
次のような画像合成システムが提供され得る。このシステムは、３次元シーンの少なくとも一部を記述するシーンデータを受信するための第１の受信器（２０１）と、３次元オブジェクトを記述するオブジェクトデータを受信するための第２の受信器（２０３）であって、オブジェクトデータは、３次元オブジェクトに関して相対的なポーズを有するビューイングゾーンからの３次元オブジェクトの視覚的データを提供する、第２の受信器（２０３）と、３次元シーン内の視聴者のビューポーズを受信するための第３の受信器（２０５）と、シーンデータ及びビューポーズに応じて、３次元シーン内の３次元オブジェクトのオブジェクトポーズを決定するためのポーズ決定回路（２０７）と、視覚的データ、オブジェクトポーズ、及びビューポーズからビュー画像を生成するためのビュー合成回路（２０９）であって、ビュー画像は、３次元オブジェクトがオブジェクトポーズである状態で、且つビューポーズから眺められている状態での３次元シーン内の３次元オブジェクトのビューを含む、ビュー合成回路（２０９）と、３次元オブジェクトのオブジェクトポーズ及びビューイングゾーンの相対的なポーズの３次元シーン内のビューイング領域を決定するための回路（２１１）であって、ビューイング領域は、オブジェクトポーズである状態での３次元オブジェクトの３次元シーン内のビューイングゾーンに対応している、回路（２１１）とを含み、ポーズ決定回路（２０７）は、オブジェクトポーズに対するビューイング領域に対してのビューポーズに対する距離尺度を決定し、且つ、ビューポーズとビューイング領域のポーズとの間の距離が第１の閾値を超えるという要件を含む第１の基準を、距離尺度が満たすことに応じて、オブジェクトポーズを変更する。
次のような画像合成方法が提供され得る。この方法は、３次元シーンの少なくとも一部を記述するシーンデータを受信するステップと、３次元オブジェクトを記述するオブジェクトデータを受信するステップであって、オブジェクトデータは、３次元オブジェクトに関して相対的なポーズを有するビューイングゾーンからの３次元オブジェクトの視覚的データを提供する、受信するステップと、３次元シーン内の視聴者のビューポーズを受信するステップと、シーンデータ及びビューポーズに応じて、３次元シーン内の３次元オブジェクトのオブジェクトポーズを決定するステップと、視覚的データ、オブジェクトポーズ、及びビューポーズからビュー画像を生成するステップであって、ビュー画像は、３次元オブジェクトがオブジェクトポーズである状態で、且つビューポーズから眺められている状態での３次元シーン内の３次元オブジェクトのビューを含む、生成するステップと、３次元オブジェクトのオブジェクトポーズ及びビューイングゾーンの相対的なポーズの３次元シーン内のビューイング領域を決定するステップであって、ビューイング領域は、オブジェクトポーズである状態での３次元オブジェクトの３次元シーン内のビューイングゾーンに対応している、決定するステップと、オブジェクトポーズに対するビューイング領域に対してのビューポーズに対する距離尺度を決定するステップと、ビューポーズとビューイング領域のポーズとの間の距離が第１の閾値を超えるという要件を含む第１の基準を、距離尺度が満たすことに応じて、オブジェクトポーズを変更するステップとを含む。
本発明のこれらの及び他の態様、特徴、及び利点は、以下に説明される実施形態から明らかになり、また、当該実施形態を参照して説明される。
本発明の実施形態を、ほんの一例として図面を参照して以下に説明する。
図１は、３Ｄオブジェクトの画像及び深度キャプチャの一例を示す。 図２は、本発明のいくつかの実施形態による画像合成装置の要素の一例を示す。 図３は、本発明のいくつかの実施形態に従って、仮想３Ｄオブジェクト要素が提示されているシーンの一例を示す。 図４は、本発明のいくつかの実施形態に従って、仮想３Ｄオブジェクト要素が提示されているシーンの一例を示す。 図５は、本発明のいくつかの実施形態による画像合成装置が実行し得る処理の一例を示す。
多くの拡張現実（ＡＲ）、複合現実（ＭＲ）、又はさらには仮想現実（ＶＲ）アプリケーションでは、認識されている環境に別の又は追加の３Ｄオブジェクトを追加することが望ましい。例えば、ＡＲ及びＭＲでは、合成されたオブジェクトを実際の背景に統合／マージ／オーバーレイする。一例として、ユーザは、ユーザがいる部屋などの現実世界の環境をユーザが見ることを可能にする一方で、合成された仮想コンピュータグラフィックスを提示するディスプレイも含むメガネ又はヘッドセットを着用する。これらのディスプレイを使用して、合成されたオブジェクトのビューを表示し、この結果、オブジェクトは、部屋内に存在する（仮想）オブジェクトとして認識される。ＶＲ体験では、現実世界のビューは、仮想シーンを表すシーンデータから生成された背景に置き換えられる。この場合、仮想シーン及び３Ｄオブジェクトのデータは別々に提供及び生成される。したがって、ＶＲアプリケーションでは、シーンデータに基づいて背景が生成され、この背景に３Ｄオブジェクトを記述する別の３Ｄデータから生成されたコンピュータグラフィックがオーバーレイされる。
３Ｄオブジェクトは、視聴者の視点に位置合わせされて提示され、ビューは、ユーザの移動及びポーズの変更を反映するために生成される。したがって、ユーザが移動すると、３Ｄオブジェクトのビューは、３Ｄオブジェクトがシーン内に位置決めされた実際のオブジェクトである場合の３Ｄオブジェクトの見え方を反映するように変更する。さらに、３Ｄオブジェクトがシーン内の通常のオブジェクトであるように見えるために、３Ｄオブジェクトのビューは、シーンに位置合わせされる必要がある。例えば、部屋の床の上に位置決めされている／立っているように見えるためにオブジェクトをレンダリングすることが望ましい場合があり、これには、メガネ／ディスプレイにおける床上の同じ点の移動に一致するために３Ｄオブジェクトのビューの位置決めを動的に変更する必要がある。例えば、複合現実では、コンピュータグラフィックスオブジェクトは、それが位置決めされる環境に適合している必要がある。現実的であると認識されるためには、オブジェクトは、テーブルを通って落ちたり、天井にくっ付いたりなどしてはならない。
本分野では、「配置」及び「ポーズ」という用語は、位置又は方向／向きの共通用語として使用される。例えば、オブジェクト、カメラ、頭部、又はビューの位置と方向／向きとの組み合わせは、ポーズ又は配置と呼ぶことがある。したがって、配置又はポーズの指示は、６つの値／成分／自由度を含み、各値／成分が、通常、対応するオブジェクトの位置／場所又は向き／方向の個別の特性を記述する。当然ながら、多くの場合、配置又はポーズは、より少ない成分で見なされても又は表されてもよい。例えば、１つ以上の成分が固定されているか又は無関係であると見なされる場合である（例えば、すべてのオブジェクトが同じ高さにあって、水平の向きを有していると見なされる場合、４つの成分で、オブジェクトポーズを完全に表現できる）。以下では、「ポーズ」という用語は、１～６つの値（最大可能な自由度に対応）で表される位置及び／又は向きを指す。「ポーズ」という用語は、「配置」という用語に置き換えることもできる。「ポーズ」という用語は、「位置及び／又は向き」という用語に置き換えることもできる。「ポーズ」という用語は、「位置及び向き」という用語に置き換えられても（ポーズが位置と向きの両方の情報を提供する場合）、「位置」という用語に置き換えられても（ポーズが位置（場合によっては位置のみ）の情報を提供する場合）、又は「向き」に置き換えられてもよい（ポーズが向き（場合によっては向きのみ）の情報を提供する場合）。
ＭＲアプリケーションの一例としては、講師の形の３Ｄオブジェクトを、その講師が生徒／アプリケーションのユーザと同じ部屋の中にいるように見えるように生成して提示する教育アプリケーションがある。したがって、３Ｄオブジェクトは、多くのシナリオにおいて、３Ｄビデオオブジェクトなどの一時的に変化する３Ｄオブジェクトであり得る。
シーンにオーバーレイされる３Ｄオブジェクトが、完全な３Ｄデータによって完全に記述される仮想オブジェクトである場合、すべてのビューポーズについて適切なビューを生成することが可能であり、シーンを眺める特定の位置又は向きについて劣化又は複雑化が生じることはない。しかしながら、多くのシナリオでは、３Ｄオブジェクトは、すべての可能な視点／ポーズからは完全には特徴付けられない場合がある。例えば、３Ｄオブジェクトは、適切なキャプチャ操作によってキャプチャされるが、限られた範囲のポーズに対する完全なデータしか提供しない現実世界のオブジェクトであり得る。
具体例として、３Ｄオブジェクトは、限られたキャプチャ領域の多数のキャプチャポーズからキャプチャされた複数の画像（深度データを含む可能性がある）によって生成されるキャプチャされたデータで表され得る。キャプチャされたビュー画像間の高品質のビュー合成／補間を可能にするために十分なデータを提供するには、これらが互いに近い必要がある。しかしながら、キャプチャカメラ／ポーズの必要な数を減らすためには、比較的小さいキャプチャ領域をカバーすることしか実用的に実現可能でないことが多い。
よく使用されるアプローチは、深度を備えたマルチビュー（ＭＶＤ）キャプチャとして知られているものを使用することである。このようなキャプチャアプローチでは、オブジェクトの複数のビューがキャプチャされることで、オブジェクトは、限られたキャプチャ領域におけるキャプチャポーズの深度データが関連付けられた複数のキャプチャ画像によって表される。画像は、実際には複数のカメラ及び深度センサを含むカメラリグを使用してキャプチャされ得る。
図１に、このようなキャプチャシステムの一例を示す。図１は、具体的にはグリーンバック背景である背景１０３の前にあるキャプチャされるオブジェクト１０１を示す。複数のキャプチャカメラ１０５が、キャプチャ領域１０７に位置決めされている。このような例では、オブジェクトは、例えば、当業者に知られているクロマキーイング技術を使用して、例えば、ＭＶＤキャプチャ画像から切り出される。
したがって、キャプチャの結果は、マルチビュー画像及び深度表現による３Ｄオブジェクトの表現、すなわち、複数のキャプチャポーズについて提供される画像及び深度による３Ｄオブジェクトの表現である。したがって、マルチビュー画像及び深度表現は、キャプチャ／ビューイングゾーンからの３Ｄオブジェクトの技術を提供する。したがって、３Ｄオブジェクトを表すデータは、ビューイングゾーンからの３Ｄオブジェクトの表現を提供する。ビューイングゾーンからの視覚的データが３Ｄオブジェクトの記述を提供する。ビューイングゾーンは、オブジェクトに対するポーズを含む。含まれているポーズは、その表現がビュー画像を生成することを可能にするデータを提供するポーズである。したがって、オブジェクトに対してビューイングゾーンに入るビューポーズについては、十分な品質のビュー画像を生成できるが、オブジェクトに対してビューイングゾーンの外側のビューポーズについては、十分な品質のビュー画像の生成は保証されないと考えられる。
当然ながら、ビューイングゾーンの正確な選択／決定／特徴付け（通常はその境界線、輪郭、又はエッジで表される）は、個々の実施形態の特定の優先傾向及び要件に依存する。例えば、いくつかの実施形態では、ビューイングゾーンは、キャプチャゾーンに直接対応するように決定される。すなわち、ビューイングゾーンは、キャプチャポーズが及ぶゾーンである。多くの実施形態では、ビューイングゾーンは、ポーズと、最も近いキャプチャポーズとの間の距離尺度が基準を満たすポーズを含むように決定される。
したがって、ビューイングゾーン内のポーズについてのものであるが、ビューイングゾーンの外側のポーズについてのものではない３Ｄオブジェクトを表すように示される／設計される／考慮されるデータが生成される。ビューイングゾーンは、３Ｄオブジェクトに関連して決定され、使用される特定のキャプチャプロセス（例えば、カメラリグなど）を反映する。ビューイングゾーンは、キャプチャ又はオブジェクト座標系を基準にして記述／定義され、且つシーン及びシーン座標系とは無関係に定義される。
多くの実施形態では、ビューイングゾーンは、ＲＮ空間のポーズのサブセットとして定義され、ここで、Ｎは考慮される次元の数である。多くの実施形態では、特に多くの６ＤｏＦアプリケーションなどでは、Ｎは６に等しく、通常、位置を示す３つの座標／次元と、向き（／方向／回転）を示す３つの座標に対応する。いくつかの実施形態では、Ｎは、考慮されない（具体的には、無視されるか又は固定されていると見なされているかのいずれか）いくつかの次元に対応する６未満であり得る。
位置次元又は座標のみが考慮される実施形態もあれば、向き次元のみが考慮される実施形態もある。しかしながら、多くの実施形態では、少なくとも１つの位置次元及び１つの向き次元が考慮される。
ビューイングゾーンは、少なくとも２次元であり、少なくとも２つの座標／次元の値が異なるポーズを含む。多くの実施形態では、ビューイングゾーンは、少なくとも３次元であり、少なくとも３つの座標／次元の値が異なるポーズを含む。ビューイングゾーンは通常、少なくとも２次元又は３次元のゾーンである。ビューイングゾーンは、少なくとも２つの次元が変化するポーズを含む。
多くの実施形態では、ビューイングゾーンには、オブジェクトポーズに対して様々な向きを有するポーズが含まれている。したがって、ビューイングゾーンは通常、少なくとも１つの向き座標／次元について非ゼロの拡張を有する。
ほとんどの実施形態では、ビューイングゾーンは、少なくとも１つの向き次元及び少なくとも１つの位置次元について拡張を有する。したがって、ほとんどの実施形態では、位置と向きの両方がシステムによって考慮される。
図２は、上記の３Ｄオブジェクトがシーン内に含められるＡＲ／ＭＲ／ＶＲ体験を提供するために使用される画像合成装置の一例を示す。この説明では、例えば、講師の形の動的３Ｄオブジェクトが、ユーザの周囲の現実世界の環境の認識にオーバーレイされる場合など、ＭＲアプリケーションに焦点を当てる。しかしながら、他の実施形態では、説明される原理を使用して、例えばＶＲ体験を提供できることが理解されるであろう。
画像合成装置は、３次元シーンの少なくとも一部を記述するシーンデータを受信する第１の受信器２０１を含む。ＡＲ／ＭＲアプリケーションでは、シーンは、特にユーザが存在する現実世界のシーンである。したがって、シーンデータは、ユーザが存在する部屋／環境の特性を記述する。ＶＲ体験では、シーンデータは、仮想シーンの特性を記述する。シーンデータには、特にシーン内の１つ以上のオブジェクトの位置及び／又は輪郭を記述するデータが含まれている。
シーンデータは、３Ｄオブジェクトが挿入されるシーンの要素又は特性を記述する。ＡＲ／ＭＲアプリケーションでは、シーンデータは、現実世界の環境の特性を記述し、特に現実世界における１つ以上のオブジェクトの特性を記述する。シーンデータは、特にローカル環境における１つ以上のオブジェクトの位置及び輪郭を記述する。オブジェクトには、壁、家具、又は環境内に存在する他のオブジェクトが含まれる。
このような場合は、シーンは、例えば、現実世界の環境の手動入力又はスキャンによって決定される。多くの場合、これはアプリケーションの初期設定時に実行されるか、又は、例えば、静止環境についてより永続的なベースで実行され得る。
ＶＲアプリケーションでは、シーンデータには、オブジェクトなどの位置などを記述するデータが含まれ、さらにオブジェクトの視覚的データが含まれる。具体的には、シーンデータは３Ｄシーンのフルモデルである。したがって、ＶＲアプリケーションでは、シーンデータは、十分なデータを含んで、仮想シーンのビューが生成されることを可能にする。
シーンデータは、シーン座標系を基準にして提供される。すなわち、シーン内のオブジェクトの位置は、シーン座標系に関して評価される。いくつかのシナリオでは、シーンデータが１つのシーン座標系に従って保存又は受信され、これが、処理の一部として（例えば、アプリケーションのレンダリングの一部として）、異なるシーン座標系に変換されることが理解されるであろう。
画像合成装置はさらに、シーンデータによって表されるシーン（例えば、アプリケーションに応じて実際又は仮想のシーン）にオーバーレイ／マージされる３Ｄオブジェクトを記述するオブジェクトデータを受信する第２の受信器２０３を含む。
オブジェクトデータは、３Ｄオブジェクトに関連するビューイングゾーンからの３Ｄオブジェクトの視覚的データを提供する。したがって、ビューイングゾーンは、３Ｄオブジェクトに関連して定義され、３Ｄオブジェクトに関連するポーズを含み／記述し、そこからオブジェクトデータは、十分なデータを含んで、画像（許容可能な品質を有する）の生成を可能にする。前述のように、ビューイングゾーンを決定するための正確な基準は、個々の実施形態の優先傾向及び要件に依存する。
多くの実施形態では、受信したオブジェクトデータには、ビューイングゾーンの指示が含まれている。例えば、オブジェクトデータは、前述のＭＶＤキャプチャによって生成され、画像及び深度マップとともに、ビューイングゾーンの指示がオブジェクトデータに含まれる。他の実施形態では、ビューイングゾーンは、第２の受信器２０３自体によって決定される。例えば、オブジェクトデータは、（３Ｄオブジェクトに関連する）提供された画像の各々のキャプチャポーズの指示を含み、第２の受信器２０３は、次に、キャプチャポーズのうちの１つまでの距離が閾値未満であるポーズを含めるようにビューイングゾーンを決定する。使用される特定の距離尺度及び閾値の値は、特定の実施形態の特定の設計基準に応じて選択される。
ビューイングゾーンは、３Ｄオブジェクトに関連して定義され、オブジェクト又はキャプチャ座標系と呼ぶ座標系に従って提供される。座標系は、オブジェクトデータが基準とする座標系であり、シーンとは無関係である。ビューイングゾーンは、例えば、３Ｄオブジェクトから所与の距離及び方向を有する領域によって記述される。例えば、ビューイングゾーンは、例えば各座標成分の間隔（例えば、オブジェクト座標系でポーズを定義する６つの座標のうちの各々の間隔）のセットによって定義される領域の中心点へのポーズオフセットベクトルによって表される。
画像合成装置は、３次元シーン内の視聴者のビューポーズを受信する第３の受信器２０５を含む。ビューポーズは、視聴者がシーンを眺める位置及び／又は向きを表し、ＶＲアプリケーションでは、シーンのビューが生成されるべきポーズを提供する。
第１、第２、及び第３の受信器は、任意の適切なやり方で実装でき、また、ローカルメモリ、ネットワーク接続、無線接続、データ媒体などを含む任意の適切なソースからデータを受信できる。
受信器は、特定用途向け集積回路（ＡＳＩＣ）などの１つ以上の集積回路として実装できる。いくつかの実施形態では、受信器は、例えば、中央処理ユニット、デジタル信号処理ユニット、又はマイクロコントローラなどの適切なプロセッサ上で実行されているファームウェア又はソフトウェアとしてなど、１つ以上のプログラムされた処理ユニットとして実装できる。このような実施形態では、処理ユニットには、オンボード又は外部メモリ、クロック駆動回路、インターフェース回路、ユーザインターフェース回路などが含まれていることが理解されるであろう。このような回路はさらに、処理ユニットの一部として、集積回路として、及び／又はディスクリート電子回路として実装されてもよい。
画像合成装置はさらに、シーン内、具体的にはシーン座標系での３Ｄオブジェクトのオブジェクトポーズを決定するポーズ決定回路２０７を含む。オブジェクトポーズは、具体的にはシーン／シーン座標系での３Ｄオブジェクトの位置及び／又は向きを示す。したがって、ポーズ決定回路２０７は、具体的にはシーン内のどこに３Ｄオブジェクトを位置決めし、方向付けるかを決定する。
ポーズ決定回路２０７は、特定用途向け集積回路（ＡＳＩＣ）などの１つ以上の集積回路としてなど、任意の適切なやり方で実装できる。いくつかの実施形態では、受信器は、例えば、中央処理ユニット、デジタル信号処理ユニット、又はマイクロコントローラなどの適切なプロセッサ上で実行されているファームウェア又はソフトウェアとしてなど、１つ以上のプログラムされた処理ユニットとして実装できる。このような実施形態では、処理ユニットには、オンボード又は外部メモリ、クロック駆動回路、インターフェース回路、ユーザインターフェース回路などが含まれていることが理解されるであろう。このような回路はさらに、処理ユニットの一部として、集積回路として、及び／又はディスクリート電子回路として実装されてもよい。
画像合成装置はさらに、３Ｄオブジェクトのビュー画像を生成するビュー合成回路２０９を含む。具体的には、ビュー合成回路２０９は、３Ｄオブジェクトが、オブジェクトポーズによって示されるように位置決め及び方向付けされている状態で、ビューポーズから見た３Ｄオブジェクトに対応する画像オブジェクトを生成する。ビュー画像は、具体的には３Ｄオブジェクトのビューに対応する画像オブジェクトのみを含む。例えば、いくつかの実施形態では、（例えば、メガネ又はヘッドセットの）ディスプレイの全領域に対応するフルビュー画像が生成され、３Ｄオブジェクトのビューに対応するピクセルのみが含まれ、他のすべてのピクセルは透明である。このような画像はディスプレイに直接表示される。他の実施形態では、生成されたビュー画像は、ディスプレイ上の適切な位置に位置決めされる画像オブジェクトである。このようなシナリオでは、ビュー画像／画像オブジェクトは、ディスプレイ内のビュー画像／オブジェクトの位置を示す位置情報に関連付けられる。
ＶＲアプリケーションでは、画像合成装置はさらに、シーンデータから仮想シーンを反映する画像部分を生成できる。
ビュー合成回路２０９は、特定用途向け集積回路（ＡＳＩＣ）などの１つ以上の集積回路としてなど、任意の適切なやり方で実装できる。いくつかの実施形態では、受信器は、例えば、中央処理ユニット、デジタル信号処理ユニット、又はマイクロコントローラなどの適切なプロセッサ上で実行されているファームウェア又はソフトウェアとしてなど、１つ以上のプログラムされた処理ユニットとして実装できる。このような実施形態では、処理ユニットには、オンボード又は外部メモリ、クロック駆動回路、インターフェース回路、ユーザインターフェース回路などが含まれていることが理解されるであろう。このような回路はさらに、処理ユニットの一部として、集積回路として、及び／又はディスクリート電子回路として実装されてもよい。
このように、画像合成装置は、３Ｄオブジェクト、オブジェクトポーズ、及びビューポーズの視覚的特性を記述するオブジェクトデータの視覚的データから、３Ｄオブジェクトのビュー画像を生成する。したがって、ビュー画像は、オブジェクトポーズである状態で、且つビューポーズからの３次元オブジェクトのビューを含む。
通常、右目用のビュー画像／オブジェクト及び左目用のビュー画像／オブジェクトを含むステレオ画像／オブジェクトが生成されることが理解されるであろう。したがって、ビュー画像が、例えばＡＲ／ＶＲヘッドセットを介してユーザに提示される場合、３Ｄオブジェクトが実際にシーンに３Ｄオブジェクトとして存在しているかのように見える。
画像を合成するためのアルゴリズム及びアプローチが多く知られており、任意の適切なアプローチをビュー合成回路２０９で使用できることが理解されるであろう。
このように、画像合成装置は、３Ｄオブジェクトのビュー画像を生成し、これらをシーン上にマージする／オーバーレイすることができる。３Ｄオブジェクトのビューは、例えば、ユーザが現在いる部屋において特定の位置で且つ特定の向きを有して現れるように生成される。
さらに、シーン内を動き回るユーザに応じてビューポーズが動的に変化するため、３Ｄオブジェクトのビューは絶えず更新されて、ビューポーズの変更が反映される。したがって、３Ｄオブジェクト及びビュー画像オブジェクトに含まれる３Ｄオブジェクトの部分の位置は動的に変化し、この結果、オブジェクトは、同じ位置のままであり且つ同じ向きを有するように見える。つまり、ユーザが移動する際に、シーン／環境内でオブジェクトが、ユーザにとって静止しているように見える。
したがって、ビュー合成回路２０９は、オブジェクトポーズに関してビューポーズの横方向の移動について異なる角度からであるように３次元オブジェクトのビューを生成する。オブジェクトポーズとは異なる方向／向きにあるように視聴者のポーズが変更する場合、ビュー合成回路２０９は、異なる角度からであるように３Ｄオブジェクトのビューを生成する。したがって、視聴者のポーズが変化するにつれて、オブジェクトは、シーン内で静止しており、且つ固定された向きを有していると認識できる。視聴者は、実質的に移動し、オブジェクトを異なる方向から見ることができる。オブジェクトは、特にシーン内の実際のオブジェクトのように認識されるように提示される。
図３は、仮想３Ｄオブジェクト１０１が、ユーザが存在する現実世界の部屋であるシーン内に位置決めされている具体例を示す。部屋は、壁３０１と、例えば家具などのいくつかの部屋オブジェクト３０３とを含む。
シーンデータは、シーン座標系に関して壁３０１及び部屋オブジェクト３０３の位置、並びにこれらの輪郭を記述する。３Ｄオブジェクトのオブジェクトポーズは、ビューポーズと同じシーン座標系に関して決定される（このシーン座標系を基準に直接受信されるか、又はこのシーン座標系に変換されることのいずれかによって）。
３Ｄオブジェクトは、シーン内のオブジェクトとして認識されるように含められるため、ビューポーズは、したがって、３Ｄオブジェクトが眺められる視点及び向きも表す。つまり、３Ｄオブジェクトのビューが生成されるべきポーズを表す。
アプリケーションを開始するときの初期オブジェクトポーズは、任意の適切な基準又はアルゴリズムに従って決定される。例えば、いくつかの実施形態では、ユーザが３Ｄオブジェクトの初期位置及び向きを設定する入力を手動で入力する。多くの実施形態では、初期オブジェクトポーズは、通常はオブジェクトデータ及びシーンデータに基づいて自動的に設定される。初期オブジェクトポーズは、オブジェクトが、オブジェクトのうちのいずれかのオブジェクトまでのある距離にあるように、且つ、床に立っているように見えるように設定され得る。例えば、初期オブジェクトポーズは、シーンの壁及び家具からできるだけ離れているように設定される。これは、視聴者がビューイング領域の外側を平行移動するときに有利に働く。というのは、この場合、オブジェクトは、シーンオブジェクトと直接衝突しないからである。したがって、シーン内の非常に異なる位置に突然ジャンプする必要がない。別の例として、オブジェクトが人である場合、当該人がシーン内のある特定の特性、例えば機械、台所、家具を説明している場合がある。この場合、初期ポーズを、説明されているオブジェクトに最適に関連するように選択する必要がある。例えば、当該人がシーン内の所与のオブジェクトを指す。この場合、ポーズは正しい認識のために重要である。
初期オブジェクトポーズを決定するための特定の要件は、受信したオブジェクトデータが３Ｄオブジェクト１０１の画像の生成を可能にするようなものであるべきことである。したがって、初期オブジェクトポーズは、初期オブジェクトポーズに関する初期ビューポーズが、３Ｄオブジェクトとビューイングゾーンとの関係と一致するようにする必要がある。
画像合成装置は、現在のオブジェクトポーズについてシーン／シーン座標系でのビューイング領域を決定するビュー領域回路２１１を含む。ビューイング領域は、現在のオブジェクトポーズのビューイングゾーンに対応するシーン／シーン座標系での領域である。前述のように、オブジェクトデータは、オブジェクトのビューを表す（十分な品質の）画像コンテンツの生成のためにオブジェクトデータが有効であると見なされるオブジェクトポーズに関連するポーズのセットであるビューイングゾーンに関連付けられている。この関連するビューイングゾーンは、シーン／シーン座標系でのビューイング領域に対応する。つまり、シーン／シーン座標系で、受信したオブジェクトデータが有効と見なされるポーズを含むビューイング領域がある。
いくつかの実施形態では、ビューイングゾーンは、シーン座標系とは無関係であるオブジェクト又はキャプチャシステムを参照するが、ビューイング領域は、シーン座標系を参照する。ビュー領域回路２１１は、オブジェクトポーズに基づいてこれらの間で変換する。
ビュー領域回路２１１は、現在のオブジェクトポーズのビューイングゾーンに対応するこのビューイング領域を決定する。
例えば、ビューイングゾーンが、３Ｄオブジェクトのポーズに関連するオフセットベクトルによって与えられる場合、現在のオブジェクトポーズのシーン座標系での対応するポーズは、このベクトルによって現在のオブジェクトポーズをオフセットすることで生成される。例えば、ビューイングゾーンは、オフセットベクトルによって示されるポーズの周りの所定の領域として与えられ、ビューイング領域は、オフセットベクトルによって現在のオブジェクトポーズをオフセットした結果として得られるポーズの周りの対応する所定の領域として決定される。
別の例として、オブジェクトに対するキャプチャ位置が示され、現在のオブジェクトポーズのシーン座標系での対応するキャプチャ位置が決定される。この場合、ビューイング領域は、例えば、適切な距離尺度が閾値を下回るポーズのセットとして決定される。
様々な座標系間で変換するためのアルゴリズム及びアプローチが多く知られており、本発明を損なうことなく、任意の適切なアプローチを使用できることが理解されるであろう。
ビューイングゾーンと同様に、ビューイング領域は、ＲＮ空間のポーズのサブセットとして定義され、ここで、Ｎは考慮される次元の数である。多くの実施形態では、具体的には、多くの６ＤｏＦアプリケーションなどでは、Ｎは６に等しく、通常、位置を示す３つの座標／次元と、向き（／方向／回転）を示す３つの座標に対応する。いくつかの実施形態では、Ｎは、考慮されない（具体的には、無視されるか又は固定されていると見なされているかのいずれか）いくつかの次元に対応する６未満であり得る。
ビューイング領域について、位置次元又は座標のみが考慮される実施形態もあれば、向き次元のみが考慮される実施形態もある。しかしながら、多くの実施形態では、少なくとも１つの位置次元及び１つの向き次元が考慮される。
ビューイング領域は、少なくとも２次元であり、少なくとも２つの座標／次元の値が異なるポーズを含む。多くの実施形態では、ビューイング領域は、少なくとも３次元であり、少なくとも３つの座標／次元の値が異なるポーズを含む。ビューイング領域は通常、少なくとも２次元又は３次元のゾーンである。ビューイングゾーンは、少なくとも２つの次元が変化するポーズを含む。
多くの実施形態では、ビューイング領域には、オブジェクトポーズに関連する異なる向きを有するポーズが含まれている。したがって、ビューイング領域は通常、少なくとも１つの向き座標／次元について非ゼロの拡張を有する。
ほとんどの実施形態では、ビューイング領域は、少なくとも１つの向き次元及び少なくとも１つの位置次元について拡張を有する。したがって、ほとんどの実施形態では、位置と向きの両方が考慮される。
ビュー領域回路２１１は、特定用途向け集積回路（ＡＳＩＣ）などの集積回路として実装できる。いくつかの実施形態では、ビュー領域回路２１１は、例えば、中央処理ユニット、デジタル信号処理ユニット、又はマイクロコントローラなどの適切なプロセッサ上で実行されているファームウェア又はソフトウェアとしてなど、プログラムされた処理ユニットとして実装できる。このような実施形態では、処理ユニットには、オンボード又は外部メモリ、クロック駆動回路、インターフェース回路、ユーザインターフェース回路などが含まれていることが理解されるであろう。このような回路はさらに、処理ユニットの一部として、集積回路として、及び／又はディスクリート電子回路として実装されてもよい。
システムでは、ポーズ決定回路２０７は、オブジェクトポーズのビューイング領域に関連するビューポーズの距離尺度を決定する。いくつかの実施形態では、距離尺度は、ビューポーズがビューイング領域内にあるかどうか、又はビューポーズがビューイング領域の外側であるかどうかを示す単純な２進距離尺度である。このような距離尺度は、ポーズ座標を、現在のビューイング領域のポーズ座標の現在の範囲と比較することによって単純に生成できる。具体例として、ビューポーズとオフセットベクトルによって示されるポーズとの差分ベクトルが決定され、このベクトルが、（例えば、中心基準位置からの）対応する方向のビューイングゾーン／領域の拡張より小さい場合は、距離尺度は、ビューポーズがビューイング領域内にあることを示し、それ以外の場合は、ビューイング領域の外側にあることを示す。
別の例として、いくつかの実施形態では、現在のビューポーズからビューイング領域のポーズまでの距離を示す値を生成する距離尺度が生成される。ビューイング領域のこのポーズは、例えば、固定の基準ポーズ（オフセットベクトルで示されるポーズなど）であるか、又はビューイング領域内で最も近いポーズなど、ビューポーズに依存する場合もある。距離尺度は、例えば、ポーズの各座標の差分値を決定して、これらを距離尺度として使用できる組み合わせ値に組み合わせてもよい。例えば、位置座標の場合、ユークリッド距離尺度が決定され、向き座標の場合、絶対座標差分の合計が使用される（又は、例えば、ポーズの方向を示すベクトル間の単純な角度差が使用されてもよい）。
ポーズ決定回路２０７はさらに、距離尺度が、ビューポーズとビューイング領域のポーズとの間の距離が第１の閾値を超えるという要件を含む第１の基準を満たすかどうかを評価する。
したがって、ポーズ決定回路２０７は、任意の適切な距離決定及び要件に従って、現在のビューポーズがビューイング領域から特定の量よりも多く離れているかどうかを判断できる。この基準にはまた、例えば、検出の頻度、前回の検出からの時間、ユーザ選択設定など、他の考慮事項も含まれていることが理解されるであろう。また、（例えば、前述のパラメータに基づいている）いくつかの実施形態では、閾値が動的に適応可能であることも理解されるであろう。実際、多くの実施形態では、適用される閾値は、異なるパラメータの関数として決定でき、そのため、例えば、方向に依存する（例えば、現在のオブジェクトポーズに真っ直ぐ向かう又は離れる移動に対してよりも、横方向の移動に対してより大きい距離を可能にする）。
多くの実施形態では、ポーズ決定回路２０７は、例えば、単に２進尺度がビューポーズはビューイング領域内にあることを示すかどうかを決定することによって、単に現在のビューポーズがビューイング領域内にあるかどうかを検出する。他の実施形態では、例えば、非２進距離尺度を動的閾値と比較するなど、より複雑なアプローチが使用される。いくつかの実施形態では、第１の基準には、ビューポーズとビューイング領域の任意のポーズとの間の距離が第１の閾値を超えるという要件が含まれる。この場合、閾値はゼロに設定できる。つまり、ビューポーズとビューイング領域の任意のポーズとの間の距離がゼロ閾値を超えた場合、要件は満たされる。
多くの実施形態では、第１の基準には、ビューポーズとビューイング領域の基準ポーズとの間の距離が第１の閾値を超えるという要件が含まれる。基準ポーズは、要件が満たされていない視聴者のポーズとは無関係である。基準ポーズは、要件が満たされていない限り固定できる。いくつかの実施形態では、要件が満たされたとき（具体的にはオブジェクトポーズが変更されたとき）に基準ポーズは変更される。
ポーズ決定回路２０７はさらに、距離尺度が第１の基準を満たすとの検出に反応して、オブジェクトポーズを変更する。したがって、ポーズ決定回路２０７は、現在のビューポーズがビューイング領域の外側（例えば、特定の距離だけ）に移動することを検出し、これに応じて、オブジェクトポーズを変更する。つまり、３Ｄオブジェクトがシーン内のどこにあるか、及び／又はシーン内の３Ｄオブジェクトの向きを変更する。
ビューイング領域は、現在のオブジェクトポーズのシーン／シーン座標系でのビューイングゾーンの表現として見なされ、したがって、オブジェクトのビューの生成のために十分なデータをオブジェクトデータが提供すると見なされるシーン内の領域を示す。したがって、ポーズ決定回路２０７は、十分に高品質な３Ｄオブジェクトのビューの生成のために十分に完全且つ正確なデータを提供するのに、オブジェクトデータを信頼できない程度までビューポーズが変更されたことを判定する。
この検出は、新しいビューポーズが新しいオブジェクトポーズのビューイング領域内にあるように、オブジェクトポーズの変更をもたらす。したがって、具体的には、ポーズ決定回路２０７が決定する新しいオブジェクトポーズは、新しいオブジェクトポーズについて第１の基準を満たさないという要件の対象となる。つまり、新しいオブジェクトポーズは、新しいオブジェクトポーズのビューイングゾーンに対応する新しいビューイング領域が、新しいビューポーズ及び新しいオブジェクトポーズの距離尺度が第１の基準を満たさないように選択する必要がある。したがって、新しいオブジェクトポーズは、ビューポーズが新しいオブジェクトポーズのビューイング領域から遠すぎないように選択される。
具体例として、新しいオブジェクトポーズは、新しい／現在のビューポーズが新しいオブジェクトポーズのビューイング領域内にあるように決定される。
新しいオブジェクトポーズを決定するための正確なアルゴリズム又は選択基準は、具体的な実施形態によって異なり、多くの異なるアプローチを使用できることが理解されるであろう。特に有利ないくつかの考慮事項及び基準について、後で詳しく説明する。
ポーズ決定回路２０７は、所与の基準（距離が第２の閾値を超えないという要件を含む基準を距離尺度が満たすという基準又は要件など）が満たされるシナリオでは、変化するビューポーズに対してオブジェクトポーズを変更しない。
したがって、多くの実施形態では、少なくともいくつかの状況及びシナリオでは、オブジェクトポーズは固定される又は永続的にされる。具体的には、多くの実施形態では、第１の基準が満たされない限り、オブジェクトポーズは変更されない。ビューポーズがビューイング領域から遠くへ移動しすぎたことが決定される場合にのみ、オブジェクトポーズは変更される。
例えば、いくつかの実施形態では、ポーズ決定回路２０７は、ビューポーズがビューイング領域内にある限りオブジェクトポーズを固定したままにし、ビューポーズがビューイング領域の外側に移動することを距離尺度が示している場合に（のみ）、オブジェクトポーズを変更する。ビューポーズがビューイング領域の外側に移動すると、新しいオブジェクトポーズのビューイング領域に現在のビューポーズが含まれるように、オブジェクトポーズが変更される。
このアプローチは、多くの実施形態及びシナリオにおいて、ユーザの体験を向上させる。例えば、ＭＲアプリケーションでは、例えば、講師を表す３Ｄオブジェクトが、室内のある特定の位置にあり、ユーザに向いていると認識されるように提示される。ユーザが比較的少しだけ移動する場合（ビューイング領域に留まるようになど）、３Ｄオブジェクト／講師は、実際のオブジェクトとして挙動するように見える。つまり、ユーザは、横に移動して、異なる角度から講師を見ることなどができる。さらに、提示される画像は高品質である。しかしながら、ユーザが初期ポーズから離れて移動し、ビューイング領域の外側に移動する場合は、システムは、新しいポーズから３Ｄオブジェクト／講師のビューを単にレンダリングし続けない。これは、オブジェクトデータによって提供されるデータが不完全であることから、低品質となるからである。
むしろ、代わりに、ユーザが初期ポーズから離れて移動しすぎた（例えば、ビューイング領域の外側など）ことが検出され、３Ｄオブジェクト／講師は、新しい位置及び／又は向きに変更される。例えば、３Ｄオブジェクト／講師は、例えば、現在のビュー位置のすぐ前に見られるように部屋の中の新しい位置に「ジャンプ」するか、及び／又は、例えば、講師が再びユーザに直接向いているように回転／方向転換したことが認識されるように向きが変更される。
多くの実施形態において、このアプローチは、特に３Ｄオブジェクトの認識される品質が常に十分に高いことを確実にし、また、使用可能なオブジェクトデータに基づいて３Ｄオブジェクトをレンダリングすることが常に可能であることが確実にされる。サービスに対してより高い品質が最低でも保証することができる。同時に、ほとんどの一般的な移動では、ユーザの移動（例えば視差）に従う３Ｄオブジェクトのビューで自然な体験を達成できる。
説明した体験は、例えば、生徒があまり頻繁に動かない教育アプリケーションなど、多くのアプリケーションに非常に有益であり得る。例えば、生徒には、該生徒が机に座っている限り、講師の自然な認識が提示される。しかしながら、生徒が立ち上がって、部屋の異なる部分にある椅子まで移動すると、システムは、講師の位置及び／又は向きを自動的に変更して、この新しい場所で、対応する体験をユーザに提供する。
したがって、ビュー合成回路２０９は、距離が第１の閾値を超えないビューポーズの少なくともいくつかの移動に対しては、異なる角度からであるように３次元オブジェクトのビューを生成する。具体的には、距離が第１の閾値を超えないが、オブジェクトポーズから視聴者のポーズの方向に垂直な移動成分を含む任意の移動に対しては、オブジェクトの生成されたビューは、オブジェクトの異なるビューイング角度に対応する。
これは、任意の２次元移動を可能にし、変化する視聴者のポーズに対してオブジェクトポーズを一定に保つ、任意の距離及び閾値の決定の場合に本質的に当てはまることが理解されるであろう。例えば、２次元（又はそれ以上）のビューイングゾーンは、２次元（又はそれ以上）のビューイング領域につながり、これは、閾値を満たさない移動が、垂直成分を有する移動、したがって、オブジェクトポーズが一定であるときに、オブジェクトの異なるビューイング角度を有する移動を含むことにつながる。
多くの実施形態では、第１の閾値は、オブジェクトポーズから異なる方向にある少なくともいくつかのビューポーズについて、距離が第１の閾値を超えないような閾値である。したがって、このようなビューポーズ間の変更は、新しいオブジェクトポーズを生成しないが、オブジェクトから異なる方向にあるビューポーズをもたらす。つまり、オブジェクトは、異なる角度から眺められる又は見られる。したがって、ビューポーズのこのような変更に対してオブジェクトポーズを一定に保つと、異なるビュー角度のオブジェクトのビューが生成される。つまり、オブジェクトは、視聴者の移動に対応して異なる角度から見られる。したがって、このような実施形態では、第１の閾値が満たされない場合、オブジェクトのビューは、シーン内の通常の３Ｄオブジェクトのように見えるため、より自然な認識が得られる。
多くの実施形態では、距離尺度及び／又は第１の閾値には、向き成分が含まれている。したがって、距離は、ビューポーズとビューイング領域のポーズとの間の向きの差分に依存する場合がある。同様に、閾値にも向きの考慮事項が含まれている。
したがって、多くの実施形態では、距離／第１の閾値には、向き距離寄与が含まれている。ほとんどの実施形態では、距離／第１の閾値には、位置距離寄与と向き距離寄与の両方が含まれている。いくつかの実施形態では、距離及び／又は第１の閾値は、多成分値である。例えば、これらはベクトルとみなされる。
例えば、距離尺度の１つの成分が閾値を超える場合（例えば、オブジェクトポーズに対するビューポーズの成分のうちの１つにおける差分が閾値を超えた場合など）に、第１の閾値を超える。具体的には、ビューポーズの向きが変更され、この結果、向き値のうちの少なくとも１つがビューイング領域内のポーズの対応する向き値から、第１の閾値に含まれる閾値を超えて異なる場合に、ポーズ決定回路２０７は、新しいオブジェクトポーズを決定する。
いくつかの実施形態では、第１の閾値は適応的閾値である。特に、いくつかの実施形態では、ポーズ決定回路２０７は、オブジェクトデータの特性及び／又はビューイングゾーンの特性に応じて閾値を適応させる。
例えば、ポーズ決定回路２０７は、オブジェクトデータに応じて（例えば、マルチビュー及び深度表現によって表されるオブジェクトに対して提供されるビューの数及び／又は角度密度に基づいてなど）閾値を適応させる。例えば、提供されるビューが多いほど、また、角度密度が高いほど、より大きい閾値が設定され、これにより、オブジェクトポーズは、より大きな領域について一定に保たれる。別の例として、オブジェクトを表すために使用されるテクスチャメッシュの欠落した部分のサイズに基づいて、閾値を適応させる。例えば、テクスチャマップが提供されないオブジェクトの量が少ないほど、閾値は大きくなり、この結果、オブジェクトポーズが変更されない領域が増加する。
別の例として、ポーズ決定回路２０７は、ビューイング領域の特性に基づいて閾値を適応させる。例えば、ビューイング領域のサイズに基づいて閾値を適応させる。このような例では、閾値は、ビューイング領域が小さい場合は増加され、ビューイング領域が大きい場合には低減される。多くの実施形態では、これは、オブジェクトの自然な３Ｄ効果のユーザ体験（例えば、自然な視差、オブジェクトがシーン内の実際のオブジェクトである認識）と、提示されたオブジェクトの画質（例えば、合成アーチファクト及びエラーの量）との間のより有利なトレードオフを提供する。
上記したように、ポーズ決定回路２０７は、第１の基準を満たすビューポーズ変更が検出されたときに、オブジェクトポーズを変更する。いくつかの実施形態では、オブジェクトポーズの向きは、オブジェクトポーズが環境内で再方向付けされるように変更される。例えば、ユーザが３Ｄオブジェクトの横に移動しすぎて、この結果、３Ｄオブジェクトの正確なビューをレンダリングするのに十分なデータをオブジェクトデータが提供しない場合（例えば、３Ｄオブジェクトの背面又は後ろ側のデータがない）は、ポーズ決定回路２０７は、３Ｄオブジェクトが、例えば再びユーザに向くように回転したように見えるように、オブジェクトポーズを変更する。
或いは又は更に、ポーズ決定回路２０７は、オブジェクトポーズを変更して、シーン内の３Ｄオブジェクトの位置を変更してもよい。例えば、ユーザが、３Ｄオブジェクトの横に移動しすぎて、この結果、３Ｄオブジェクトの正確なビューをレンダリングするのに十分なデータをオブジェクトデータが提供しない場合（例えば、３Ｄオブジェクトの背面又は後ろ側のデータがない）は、ポーズ決定回路２０７は、シーン内の３Ｄオブジェクトの位置が、視聴者のすぐ前にあるように、すなわち、３Ｄオブジェクトが再び前から直接見られるように、オブジェクトポーズを変更する。
第１の基準が満たされるときにオブジェクトポーズを変更する説明したアプローチは、最初に、変更前、又は変更後にオブジェクトポーズを決定するために適用される特定の操作又は他の基準に依存していないことを理解されたい（第１の基準を満たさないことをもたらす変更に従う新しいオブジェクトポーズを対象とする）。むしろ、実際には、オブジェクトポーズを決定するために使用されるほぼすべてのアルゴリズム又は基準に対して有用で、且つ適していることが上記アプローチの利点である。特定の初期化又は制約を必要としないが、例えば、オブジェクトポーズを決定するために使用される任意の所望のアルゴリズムに加えて、「オーバーレイ」又は「制御操作」として実装できる。オブジェクトポーズでは、第１の基準が満たされるようにビューポーズが変更される場合、第１の基準がもはや満たされなくなるように変更を実行できる。これは、特定の特性を有するオブジェクトポーズ、オブジェクトポーズがどのように選択されたか、又はこの決定／選択にどの基準／アルゴリズムが使用されたかに依存しない。
特に、ビューポーズ又はシーンデータのいずれかに基づいてオブジェクトポーズを決定するために使用される特定のアルゴリズムに依存しない。請求項に係る概念の追加操作は、多様なアルゴリズムをオーバーレイすることができ、どのようにオブジェクトポーズが選択され得るかには依存しない。
シーンデータに基づいてオブジェクトポーズを決定することで、オブジェクトはシーンに関連付けされる。しかしながら、これを行う正確なやり方は、個々の実施形態の優先傾向及び要件に完全に依存し、距離尺度に基づいてオブジェクトポーズを変更する操作は、任意の特定の要件、優先傾向、又は、シーンデータに基づいてオブジェクトポーズを決定する方法に制限されない。例えば、いくつかの実施形態では、初期オブジェクトポーズをシーン内の任意のオブジェクトからできるだけ遠いように決定することが望ましい場合がある。他の実施形態では、初期オブジェクトポーズを特定のオブジェクトのすぐ隣であるように決定することが望ましい場合がある。さらに他の実施形態では、オブジェクトが対照をなすシーンの一部の前にオブジェクトを位置決めすることが望ましい場合（例えば、暗いシーン要素の前に明るいオブジェクトが位置決めされる）など、などである。シーンデータの関数としてオブジェクトポーズを決定することは、完全に設計上の決定であり、アプローチは任意の特定の操作に制限されない。
同様に、請求項に係る概念のビューポーズに対するオブジェクトポーズの依存は、第１の基準を満たすようにビューポーズが変更されることが検出される場合にオブジェクトポーズが変更されることであり、当該変更は、新しいオブジェクトポーズが変更に従って第１の基準を満たすような変更である。この概念及び操作は、ビューポーズに対するオブジェクトポーズの依存を定義する。ビューポーズに基づいてオブジェクトポーズを選択するために使用される他のアプローチ若しくはアルゴリズムに、又は、実際に、オブジェクトポーズを決定するときにビューポーズがさらに使用される場合に、条件を設定したり、強制したりすることはない。特に、該概念は、初期オブジェクトポーズを決定するために使用される特定のアプローチに依存しない。これは、個々の実施形態の設計上の選択である。
具体的には、操作及び利点は、初期オブジェクトポーズの任意の特定の決定又は初期オブジェクトポーズの任意の特定の選択に限定されない。一例として、システムは、オブジェクトがシーンの暗い部分（例えば、夜間シーンの空）の前にあるように選択された初期ポーズの決定から開始する。しかし、それ以外の場合は、オブジェクトポーズは完全にランダムに選択され得る。次に、システムは、初期オブジェクトポーズ及び現在のビューポーズについて、距離尺度及び第１の基準を評価する。評価によって第１の基準が満たされていると判断される場合、システムは、オブジェクトポーズを、第１の基準が満たされないポーズに変更する。したがって、既存のアルゴリズム又はアプリケーションが望ましくない初期オブジェクトポーズを生成したとしても、このアプローチを、この初期オブジェクトポーズを望ましいオブジェクトポーズに補正する追加の制御として使用できる。したがって、オブジェクトポーズを決定するために任意の特定のアルゴリズム又はアプローチに依存するのではなく、実際には、このアプローチを使用して、オブジェクトポーズを決定するためのアルゴリズムの多様性を拡張することができる。これは、このアプローチを、このようなアルゴリズムの望ましくない結果を補正又は補償するために使用できるからである。
このアプローチは、例えば作者によって選択されたポーズである初期ポーズにまったく依存しない若しくは関連していない、又は望ましい位置であることにも依存しない若しくは関連していない。このアプローチは、オブジェクトの望ましいポーズを維持するために使用されないが、むしろ、逆の効果を可能にするために使用される。つまり、オブジェクトポーズは、現在のビューポーズに適しているように自動的に変更される。したがって、特定のオブジェクトポーズを課そうとするのではなく、第１の基準を満たさない場合に、これを自由に決定してから変更することができる。これにより、第１の基準が満たされることによって示されるように画質が保証されない場合にオブジェクトポーズが変更されることを確実にすることができるため、オブジェクトポーズを決定するアルゴリズムの自由度が向上する。
ほとんどの実施形態では、ポーズ決定回路２０７は、オブジェクトポーズの向きと位置の両方、したがって、３Ｄオブジェクトを修正する。
いくつかの実施形態では、基準ポーズがビューイングゾーンに対して指定される。多くの実施形態では、例えば、３Ｄオブジェクトの画像を生成するための好ましいポーズが定義される。例えば、基準ポーズは、ビューイングゾーンに含まれるすべてのポーズのについての中心ポーズ又は平均ポーズであっても、キャプチャポーズのうちの１つであってもよい。したがって、多くの実施形態では、基準ポーズは、３Ｄオブジェクトのビューのための好ましいポーズを示す。
ポーズ決定回路２０７は、現在のビューポーズを、ビューイングゾーンの基準ポーズに位置合わせすることで、オブジェクトポーズを変更する。例えば、新しいオブジェクトポーズは、現在のビューポーズにマッピングするビューイングゾーンの基準ポーズとなるように選択される。ビューイングゾーンの基準ポーズは、３Ｄオブジェクトに対して定義され、シーン内のビューイング領域内の対応する基準ポーズにマッピングされる。したがって、基準ポーズとビューポーズの位置合わせにより、シーン内の３Ｄオブジェクトが、最適な品質を達成できる場所などの好ましい位置に位置決めされるように、又は、例えば、ビューイング領域の端までの最大距離を提供することで、必要な変更の数を減らすために、３Ｄオブジェクトは再位置決めされる。
具体例として、ポーズ決定回路２０７は、オフセットベクトルを使用して新しいオブジェクトポーズを決定する。例えば、新しいオブジェクトポーズは、オフセットベクトルのポーズ座標を減算した後のビューポーズのポーズ座標として決定される。
このアプローチは、多くの実施形態において有利な操作性とユーザ体験を提供する。例えば、ユーザが、ビューイング領域内に留まりながら、自由に動き回ることができるという効果が得られる。しかしながら、ビューポーズが過度にずれる場合、システムは、３Ｄオブジェクトの位置及び向きを現在のビューポーズとの好ましい関係にリセットすることによって、３Ｄオブジェクトの表現を事実上リセットする。
多くの実施形態では、他のパラメータ又は制約も考慮され、基準ポーズとビューポーズとの位置合わせは、１つの考慮事項にすぎない。しかしながら、このような場合でも、（他の考慮事項を考慮して）基準ポーズとビューポーズとをできるだけ位置合わせすることが望ましく、したがって、ポーズ決定回路２０７は、ビューポーズと基準ポーズとの位置合わせを目的として、新しいオブジェクトポーズの選択にバイアスをかける。
多くの実施形態では、ポーズ決定回路２０７は、現在のビューポーズのオクルージョンを回避するように新しいオブジェクトポーズを決定する。
具体的には、ポーズ決定回路２０７は、シーンデータが記述する任意のシーンオブジェクトによって３Ｄオブジェクトが隠されないように、新しいオブジェクトポーズを決定する。例えば、ポーズ決定回路２０７は、シーンデータに基づいて、任意のシーンオブジェクトと交差していないビューポーズに直接視線があるシーン内のすべてのポーズを決定する。次に、所与の優先傾向要件（例えば、基準ポーズとの位置合わせのためにできるだけ近いこと、最小限のポーズ変更など）に従って、これらのポーズから新しいオブジェクトポーズが選択される。
いくつかの実施形態では、ポーズ決定回路２０７は、３Ｄオブジェクトがシーン内の１つ以上のシーンオブジェクトのセットを隠さないように新しいオブジェクトポーズを決定する。シーンオブジェクトのセットには、シーンデータが記述するすべてのシーンオブジェクトが含まれる。又は、例えば、これらのうちのサブセットのみ、例えば特定のタイプのオブジェクトのみが含まれる。
例えば、ポーズ決定回路２０７は、シーンデータに基づいて、壁ではないすべてのシーンオブジェクトの表面に対応する位置を決定する。これらの位置の各々について、現在のビューポーズへの直接視線がトレースされ、３Ｄオブジェクトがこれらの線のいずれとも交差しないという制約の下で、オブジェクトポーズが決定される。
いくつかの実施形態では、ポーズ決定回路２０７は、新しいオブジェクトポーズに従って位置決め及び方向付けされたときに、シーンオブジェクトのセットと３Ｄオブジェクトとの間にオーバーラップがないように、オブジェクトポーズの変更に従う新しいオブジェクトポーズを決定する。繰り返しになるが、シーンオブジェクトのセットには、すべてのシーンオブジェクト又はこれらのサブセットのみが含まれる。
例えば、ポーズ決定回路２０７は、基準ポーズと現在のビューポーズとの最も近い位置合わせ又はオブジェクトポーズの最小限の変更などの優先傾向尺度に応じて、好ましいオブジェクトポーズを決定する。次に、このポーズの３Ｄオブジェクトの輪郭を決定する。これによってシーンオブジェクトとのオーバーラップが生じない場合は、新しいオブジェクトポーズは、この値に設定され、そうでない場合、オブジェクトポーズはオーバーラップがなくなるまでシフトされる。
別の例として、いくつかの実施形態では、３Ｄオブジェクトの最大断面次元（３Ｄオブジェクトの２点間の最も遠い距離）が決定される。新しいオブジェクトポーズは、シーンオブジェクトのセットのうちの任意のシーンオブジェクトまでの距離が、この最大断面次元よりも大きくなければならないという要件の下で選択される。
多くの実施形態では、ポーズ決定回路２０７は、変更前のオブジェクトポーズとの差が最小限に抑えられるオブジェクトポーズを目的として、新しいオブジェクトポーズの決定にバイアスをかける。いくつかの実施形態では、新しいオブジェクトポーズの選択に、他の要件を満たしながら、可能な限り小さな変更が選択される。例えば、オブジェクトがどのシーンオブジェクトも隠さず、３Ｄオブジェクトがシーンオブジェクトにオーバーラップしない、シーン／シーン座標系でのすべてのポーズが決定される。任意の適切な距離尺度（例えば、位置間の最小ユークリッド距離及び向き間の最小角度）に従って、これらのポーズと前のオブジェクトポーズとの差分が決定される。そして、新しいオブジェクトポーズは、最小距離尺度が見つかったものとして選択される。
このようなアプローチにより、３Ｄオブジェクトの表現において認識されるジャンプが可能な限り最小限に抑えられる。
例えば、説明したシステムは、３Ｄオブジェクトが、ビューイングゾーンに限定されたＭＶＤコンテンツから合成されるアプリケーションにおいて有益である。ビューポーズによって示される視聴者の位置は、結果として得られる画像（実際に生成できる場合）の品質を低下させることなく、元のカメラ位置から過度に逸脱することはできない。正確な劣化は、ビューイング領域への近接性とキャプチャされたオブジェクトの複雑さなどに依存する。キャプチャされた位置／ビューイング領域からの逸脱が大きい場合、３Ｄオブジェクトは、デオクルージョンデータの不足又は深度マップの不正確さなどにより歪みを生じる。図１は、ＭＶＤオブジェクトのキャプチャの一例を示し、図３は、実際の又は仮想の部屋でどのようにこれがコンピュータ生成画像として視覚化されるかを示している。このような状況での問題は、視聴者がＭＶＤオブジェクトキャプチャによって決定された限られたビューイング領域を有するが、視聴者は部屋全体を自由に動き回ることを望むことである。説明したアプローチは、これに対処し、３Ｄオブジェクトの視覚化のための高品質を維持しながら、視聴者が室内を動き回ることができるシステムを提供する。
これは、視覚化された３Ｄオブジェクトを制約されたやり方で部屋の周りを「スナップ」することを事実上可能にすることによって、特に実現できる。例えば、視聴者が、ビューイングゾーンから出て行くときは、３Ｄオブジェクトは、観察者が再びビューイングゾーンの中心に最適に位置決めされるように再位置決め（スナップ）され、再方向付けされる。ＡＲオブジェクトの複数の再位置決め及び再方向付けが可能である。さらに、ビューイング領域内に留まっているときは、視覚化された３Ｄオブジェクトは、動的に変更されて、ユーザの移動を反映し、これにより、３Ｄオブジェクトの自然な体験及びビューが提供される。
変更に従う新しいオブジェクトポーズは、所与の制約のセットの下で所与の基準を最適化するように決定される。例えば、新しいオブジェクトポーズは、観察者のビューイング方向に対する３Ｄオブジェクトの位置の変更ができるだけ少なく、同時に、家具などのシーンオブジェクトとの衝突がないことを確実にするように決定される。別の例として、新しいオブジェクトポーズは、ビューポーズと基準ポーズとの間の距離ができるだけ小さく、同時に、家具などのシーンオブジェクトとの衝突がないことを確実にするように決定される。
オブジェクトポーズの決定には、特に次の考慮事項のうちの１つ以上が含まれている。具体的には、いくつかの実施形態では、これらすべてが以下の優先順位が高いものから順に考慮される。
１．３Ｄオブジェクトとシーンオブジェクトとの衝突を回避する。新しいオブジェクトポーズは、壁や戸棚などの他のオブジェクトと衝突しないようにする必要がある。仮想シーンの場合、既知の幾何学的形状から衝突を検出するか、追加の（メタ）データに手動で注釈を付けることができる。現実のシーンの場合、有効なポーズは、例えばコンピュータビジョンアルゴリズムを使用して決定される。
２．シーンオブジェクトによる３Ｄオブジェクトのオクルージョンを回避する。
３．前のオブジェクト位置に対する最小の平行移動の大きさが実現されるように、オブジェクトポーズの位置を選択する。
４．現在のビューイング方向と比較して最小の回転角度の大きさが実現されるように、オブジェクトポーズの向きを選択する。
５．有効なポーズが特定されない場合、シーン内のすべてのポーズを検索して、要件を満たすオブジェクトポーズを特定する。
図４は、３つの戸棚（ｃ１、ｃ２、ｃ３）を含む仮想又は現実の部屋（ｒ１）の形のシーンの具体例を示す。時間ｔ＝１において、視聴者はビューイング位置ｖ１に位置し、３Ｄオブジェクトはｏ１に最適に示されている。視聴者がビューイング領域ｚ１内を動き回るときに、ｏ１はｒ１に対して同じ位置のままになる。すなわち、シーン内のままになる。ｔ＝２において、視聴者は最初のビューイング領域から出てビューイング位置ｖ２に移動する。しかしながら、ｏ１までの距離は同じままである。このシナリオでは、ｏ２の位置はｏ１に対して変化していない（平行移動の大きさ＝０）。ｏ１に対してｏ２の向きのみが変化する。つまり、オブジェクトは、観察者の方を向いて回転する。ｔ＝３において、視聴者はｖ３に移動する。３Ｄオブジェクトの平行移動の最小化のみを考慮した基準では、３Ｄオブジェクトはｏ３ａに移動する。しかしながら、これにより衝突が生じるため、３Ｄオブジェクトは代わりにｏ３ｂに移動される。
より具体的には、ＭＶＤオブジェクトのレンダリングには、次の式：
Figure 2023500513000002
 に従って、３次元表現から２次元表現への投影が含まれる。
この方程式では、４×４モデル行列Ｍｉが、オブジェクトｉに対してローカルである座標を、グローバル世界座標系に変換する。キャプチャされたＭＶＤ ３Ｄオブジェクトの場合、ビューのセットのうちの各ビューは、セット全体を初期世界位置に位置決めする独自の初期モデル行列を有する。
マルチビューオブジェクトのビューイングゾーンは、通常、カメラアレイの元のキャプチャ位置の周囲の空間に制限される。マルチビュー３Ｄオブジェクトが最初にシーン内に配置されるとき、視聴者は、例えば、カメラリグの原点を視聴者の目に近い位置にマッピングすることによって、（ビューポーズによって表されるように）ビューイングゾーンの中心に配置される。したがって、モデル行列は、ビュー行列の関数である：
Ｍｉ＝ｆ（Ｖ）
最初は、視聴者は、マルチビューキャプチャが自分の現在の頭部の位置から取得されたと仮定して、位置決めされる：
Ｍ＊，４＝Ｖ＊，４
３６０°のグラフィックス環境では、モデル行列によって表される向きは、シーン内に既に存在する他の（グラフィックス）オブジェクトとの衝突がない限り、任意であり得る。
視聴者がシーン内を移動し始めると、ビューイングゾーン／領域の外に移動する可能性が非常に高い。視聴者をビューイングゾーンに戻すために、画像合成装置は、新しいオブジェクトポーズのためのビューイング領域がビューポーズを包含するように、３Ｄオブジェクトを平行移動又は回転させる。図５は、視聴者がビューイングゾーンの中心に再位置決めされるように、３Ｄオブジェクトのモデル行列Ｍｉを修正するアプローチを示す。図５の例には、３Ｄオブジェクトの平行移動と回転の両方が含まれている。
図５を参照すると、ビューポーズはビューイング領域の境界にあり、回転－αがｙ軸の周りで現在のモデル行列Ｍｉに適用され、その後に、ｘｚ平面内での平行移動（ｔｘ，ｔｚ）が続く。新しいモデル行列は次のようになる：
Ｍｉ←Ｔ（α，ｔｘ，ｔｚ）Ｍｉ
ここで、
Ｔ（α，ｔｘ，ｔｚ）＝Ｍｔｒａｎｓｌａｔｉｏｎ（ｔｘ，ｔｚ）Ｍｒｏｔａｔｉｏｎ（α）
である。
３Ｄオブジェクトに対する視聴者の変化する位置は、ビュー行列Ｖを介して既知である。
いくつかの実施形態では、ビューイング領域の外へ移動するビューポーズの検出は、キャプチャ座標系で実行される。この例では、ビューポーズの位置は、キャプチャ座標に変換される。
Figure 2023500513000003
明確にするための上記の説明は、様々な機能回路、ユニット、及びプロセッサを参照して本発明の実施形態を説明していることが理解されるであろう。しかしながら、本発明を損なうことなく、様々な機能回路、ユニット、又はプロセッサ間で適切に機能を分配できることは明らかである。例えば、別々のプロセッサ又はコントローラによって実行されるものと説明される機能が、同じプロセッサ又はコントローラによって実行されてもよい。したがって、特定の機能ユニット又は回路への参照は、厳密な論理若しくは物理構造又は組織を示すのではなく、説明された機能を提供するための適切な手段への参照としてのみ見なされる。
本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせを含む、任意の適切な形式で実装できる。本発明は、任意選択で、１つ以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして少なくとも部分的に実装されてもよい。本発明の実施形態の要素及び構成要素は、任意の適切なやり方で物理的、機能的、及び論理的に実装できる。実際に、機能は、１つのユニット、複数のユニット、又は他の機能ユニットの一部として実装できる。したがって、本発明は、１つのユニットに実装することも、異なるユニット、回路、及びプロセッサ間で物理的且つ機能的に分散させることもできる。
一般的に、画像合成システム、画像合成方法、及び該方法を実装するコンピュータプログラムの例は、以下の実施形態によって示す。
実施形態：
１．画像合成システムであって、
３次元シーンの少なくとも一部を記述するシーンデータを受信するための第１の受信器（２０１）と、
３次元オブジェクトを記述するオブジェクトデータを受信するための第２の受信器（２０３）であって、オブジェクトデータは、３次元オブジェクトに関して相対的なポーズを有するビューイングゾーンからの３次元オブジェクトの視覚的データを提供する、第２の受信器（２０３）と、
３次元シーン内の視聴者のビューポーズを受信するための第３の受信器（２０５）と、
シーンデータ及びビューポーズに応じて、３次元シーン内の３次元オブジェクトのオブジェクトポーズを決定するためのポーズ決定回路（２０７）と、
視覚的データ、オブジェクトポーズ、及びビューポーズからビュー画像を生成するためのビュー合成回路（２０９）であって、ビュー画像は、３次元オブジェクトがオブジェクトポーズである状態で、且つビューポーズから眺められている状態での３次元シーン内の３次元オブジェクトのビューを含む、ビュー合成回路（２０９）と、
３次元オブジェクトのオブジェクトポーズ及びビューイングゾーンの相対的なポーズの３次元シーン内のビューイング領域を決定するための回路（２１１）であって、ビューイング領域は、オブジェクトポーズである状態での３次元オブジェクトの３次元シーン内のビューイングゾーンに対応している、回路（２１１）と、
を含み、
ポーズ決定回路（２０７）は、オブジェクトポーズに対するビューイング領域に対してのビューポーズに対する距離尺度を決定し、且つ、ビューポーズとビューイング領域のポーズとの間の距離が第１の閾値を超えるという要件を含む第１の基準を、距離尺度が満たすことに応じて、オブジェクトポーズを変更する、画像合成システム。
２．ポーズ決定回路（２０７）は、ビューポーズとビューイング領域のポーズとの間の距離が第２の閾値を超えないという要件を含む基準を、距離尺度が満たすときに、変化するビューポーズについてオブジェクトポーズを変更しない、実施形態１に記載の画像合成システム。
３．オブジェクトポーズの変更は、オブジェクトポーズの位置の変更を含む、任意の前の実施形態に記載の画像合成システム。
４．オブジェクトポーズの変更は、オブジェクトポーズの向きの変更を含む、任意の前の実施形態に記載の画像合成システム。
５．シーンデータは、３次元シーン内の少なくとも１つのシーンオブジェクトのデータを含み、ポーズ決定回路（２０７）は、少なくとも１つのシーンオブジェクトによる３次元オブジェクトのビューポーズのオクルージョンがないという制約の下で、変更に従う新しいオブジェクトポーズを決定する、任意の前の実施形態に記載の画像合成システム。
６．シーンデータは、３次元シーン内の少なくとも１つのオブジェクトのオブジェクトデータを含み、ポーズ決定回路（２０７）は、３次元シーン内の少なくとも１つのオブジェクトと新しいビューポーズの３次元オブジェクトとの間にオーバーラップがないという制約の下で、変更に従う新しいオブジェクトポーズを決定する、任意の前の実施形態に記載の画像合成システム。
７．ビューイングゾーンは、基準ポーズを含み、ポーズ決定回路（２０７）は、基準ポーズとビューポーズとの位置合わせを目的として、変更に従う新しいオブジェクトポーズにバイアスをかける、任意の前の実施形態に記載の画像合成システム。
８．ポーズ決定回路（２０７）は、距離尺度が新しいビューポーズについて第１の基準を満たさないという制約の下で、変更に従う新しいオブジェクトポーズを決定する、任意の前の実施形態に記載の画像合成システム。
９．ポーズ決定回路（２０７）は、変更前のオブジェクトポーズに対する最小ポーズ差へ向けて、変更に従う新しいオブジェクトポーズにバイアスをかける、任意の前の実施形態に記載の画像合成システム。
１０．シーンデータは、３次元シーン内の少なくとも１つのシーンオブジェクトのデータを含み、ポーズ決定回路（２０７）は、３次元オブジェクトによる少なくとも１つのシーンオブジェクトのビューポーズのオクルージョンがないという制約の下で、変更に従う新しいオブジェクトポーズを決定する、任意の前の実施形態に記載の画像合成システム。
１１．ポーズ決定回路（２０７）は、複数の制約を満たす変更に従う新しいオブジェクトポーズを見つけるために、シーンの領域についてポーズの検索を実行する、任意の前の実施形態に記載の画像合成システム。
１２．３次元オブジェクトの表現は、３次元オブジェクトのマルチビュー画像及び深度表現を含む、任意の前の実施形態に記載の画像合成システム。
１３．シーンデータは、３次元シーンの少なくとも一部の視覚的モデルを提供し、ビュー合成回路（２０９）は、３次元オブジェクトのビューとブレンドされたビューポーズからのシーンのビューであるように、視覚的モデルに応じてビュー画像を生成する、任意の前の実施形態に記載の画像合成システム。
１４．画像合成方法であって、
３次元シーンの少なくとも一部を記述するシーンデータを受信するステップと、
３次元オブジェクトを記述するオブジェクトデータを受信するステップであって、オブジェクトデータは、３次元オブジェクトに関して相対的なポーズを有するビューイングゾーンからの３次元オブジェクトの視覚的データを提供する、受信するステップと、
３次元シーン内の視聴者のビューポーズを受信するステップと、
シーンデータ及びビューポーズに応じて、３次元シーン内の３次元オブジェクトのオブジェクトポーズを決定するステップと、
視覚的データ、オブジェクトポーズ、及びビューポーズからビュー画像を生成するステップであって、ビュー画像は、３次元オブジェクトがオブジェクトポーズである状態で、且つビューポーズから眺められている状態での３次元シーン内の３次元オブジェクトのビューを含む、生成するステップと、
３次元オブジェクトのオブジェクトポーズ及びビューイングゾーンの相対的なポーズの３次元シーン内のビューイング領域を決定するステップであって、ビューイング領域は、オブジェクトポーズである状態での３次元オブジェクトの３次元シーン内のビューイングゾーンに対応している、決定するステップと、
オブジェクトポーズに対するビューイング領域に対してのビューポーズに対する距離尺度を決定するステップと、
ビューポーズとビューイング領域のポーズとの間の距離が第１の閾値を超えるという要件を含む第１の基準を、距離尺度が満たすことに応じて、オブジェクトポーズを変更するステップと、
を含む、画像合成方法。
１５．プログラムがコンピュータ上で実行されると、実施形態１４のすべてのステップを実行するために適応されたプログラムコード手段を含むコンピュータプログラムプロダクト。
より具体的には、本発明は、添付の特許請求の範囲によって規定される。
本発明は、いくつかの実施形態に関連して説明されているが、本明細書に記載される特定の形態に限定されることを意図していない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定されるものである。更に、ある特徴が特定の実施形態に関連して説明されているように見える場合もあるが、当業者であれば、説明される実施形態の様々な特徴を本発明に従って組み合わせてもよいことを認識するであろう。特許請求の範囲では、「含む」という用語は、他の要素やステップの存在を排除するものではない。
更に、個別にリストされているが、複数の手段、要素、回路又は方法ステップは、例えば１つの回路、ユニット、又はプロセッサによって実装できる。更に、個々の特徴が異なる請求項に含まれている場合があるが、これらの特徴を有利に組み合わせることもでき、様々な請求項における包含は、特徴の組み合わせが実現可能ではない及び／又は有利ではないことを示唆するものではない。また、請求項の１つのカテゴリにおける特徴の包含は、このカテゴリの限定を示唆するものではなく、むしろ、必要に応じて、特徴が他の請求項カテゴリにも同様に適用できることを示している。更に、請求項における特徴の順序は、特徴が機能する必要がある特定の順序を示唆するものではなく、特に、方法の請求項における個々のステップの順序は、この順序でステップを実行する必要があることを示唆するものではない。むしろ、ステップは、任意の適切な順序で実行できる。また、単数形の参照は、複数形の参照を排除するものではない。したがって、「第１の」、「第２の」などの参照は、複数形を排除するものではない。特許請求の範囲における参照符号は、明確にするための例としてのみ提供されており、これらの例は、いかようにも特許請求の範囲を限定するものと解釈されるべきではない。

Claims (18)

  1. ３次元シーンの少なくとも一部を記述するシーンデータを受信する第１の受信器と、
    ３次元オブジェクトを記述するオブジェクトデータを受信する第２の受信器であって、前記オブジェクトデータは、前記３次元オブジェクトに関して相対的なポーズを有するビューイングゾーンからの前記３次元オブジェクトの視覚的データを提供する、第２の受信器と、
    前記３次元シーン内の視聴者のビューポーズを受信する第３の受信器と、
    前記シーンデータ及び前記ビューポーズに応じて、前記３次元シーン内の前記３次元オブジェクトのオブジェクトポーズを決定するポーズ決定回路と、
    前記視覚的データ、前記オブジェクトポーズ、及び前記ビューポーズからビュー画像を生成するビュー合成回路であって、前記ビュー画像は、前記３次元オブジェクトが前記オブジェクトポーズである状態で、且つ前記ビューポーズから眺められている状態での前記３次元シーン内の前記３次元オブジェクトのビューを含む、ビュー合成回路と、
    前記３次元オブジェクトの前記オブジェクトポーズ及び前記ビューイングゾーンの前記相対的なポーズに対する前記３次元シーン内のビューイング領域を決定する回路であって、前記ビューイング領域は、前記３次元オブジェクトが前記オブジェクトポーズである状態での前記３次元シーン内の前記ビューイングゾーンに対応している、回路と、
    を含み、
    前記ポーズ決定回路は、前記オブジェクトポーズに対する前記ビューイング領域に対しての前記ビューポーズに対する距離尺度を決定し、且つ、前記ビューポーズと前記ビューイング領域のポーズとの間の距離が第１の閾値を超えるという要件を含む第１の基準を、前記距離尺度が満たすことに応じて、前記オブジェクトポーズを変更し、前記ビュー合成回路は、前記距離が前記第１の閾値を超えない前記ビューポーズの少なくともいくつかの変更に対して、異なる角度からであるように前記３次元オブジェクトの前記ビューを生成し、前記ポーズ決定回路は、前記オブジェクトポーズの変更に従う新しいオブジェクトポーズを決定し、前記新しいオブジェクトポーズの決定は、前記距離尺度が前記新しいオブジェクトポーズについて前記第１の基準を満たさないという制約を受ける、画像合成システム。
  2. 前記ビューイング領域は、少なくとも２次元の領域である、請求項１に記載の画像合成システム。
  3. 前記第１の閾値は、前記オブジェクトポーズから異なる方向にある少なくともいくつかのビューポーズについて、前記距離が前記第１の閾値を超えないような閾値である、請求項１又は２に記載の画像合成システム。
  4. 前記ポーズ決定回路は、前記ビューポーズと前記ビューイング領域のポーズとの間の前記距離が第２の閾値を超えないという要件を含む基準を、前記距離尺度が満たすときに、変化するビューポーズについて前記オブジェクトポーズを変更しない、請求項１から３のいずれか一項に記載の画像合成システム。
  5. オブジェクトポーズの前記変更は、前記オブジェクトポーズの位置の変更を含む、請求項１から４のいずれか一項に記載の画像合成システム。
  6. オブジェクトポーズの前記変更は、前記オブジェクトポーズの向きの変更を含む、請求項１から５のいずれか一項に記載の画像合成システム。
  7. 前記シーンデータは、前記３次元シーン内の少なくとも１つのシーンオブジェクトのデータを含み、
    前記ポーズ決定回路は、オブジェクトポーズの前記変更に従う新しいオブジェクトポーズを決定し、前記新しいオブジェクトポーズの決定は、前記少なくとも１つのシーンオブジェクトによる前記３次元オブジェクトの前記ビューポーズのオクルージョンがないという制約を受ける、請求項１から６のいずれか一項に記載の画像合成システム。
  8. 前記シーンデータは、前記３次元シーン内の少なくとも１つのオブジェクトのオブジェクトデータを含み、
    前記ポーズ決定回路は、オブジェクトポーズの前記変更に従う新しいオブジェクトポーズを決定し、前記新しいオブジェクトポーズの決定は、前記３次元シーン内の前記少なくとも１つのオブジェクトと前記新しいビューポーズの前記３次元オブジェクトとの間にオーバーラップがないという制約を受ける、請求項１から７のいずれか一項に記載の画像合成システム。
  9. 前記ビューイングゾーンは、基準ポーズを含み、
    前記ポーズ決定回路は、前記基準ポーズと前記ビューポーズとの位置合わせを目的として、前記変更に従う新しいオブジェクトポーズにバイアスをかける、請求項１から８のいずれか一項に記載の画像合成システム。
  10. 前記ポーズ決定回路は、オブジェクトポーズの前記変更前のオブジェクトポーズに対する最小ポーズ差へ向けて、オブジェクトポーズの前記変更に従う新しいオブジェクトポーズにバイアスをかける、請求項１から９のいずれか一項に記載の画像合成システム。
  11. 前記シーンデータは、前記３次元シーン内の少なくとも１つのシーンオブジェクトのデータを含み、
    前記ポーズ決定回路は、前記３次元オブジェクトによる前記少なくとも１つのシーンオブジェクトの前記ビューポーズのオクルージョンがないという制約の下で、オブジェクトポーズの前記変更に従う新しいオブジェクトポーズを決定する、請求項１から１０のいずれか一項に記載の画像合成システム。
  12. 前記ポーズ決定回路は、複数の制約を満たす前記オブジェクトポーズの前記変更に従う新しいオブジェクトポーズを見つけるために、前記シーンの領域についてポーズの検索を実行する、請求項１から１１のいずれか一項に記載の画像合成システム。
  13. 前記３次元オブジェクトの表現は、前記３次元オブジェクトのマルチビュー画像及び深度表現を含む、請求項１から１２のいずれか一項に記載の画像合成システム。
  14. 前記シーンデータは、前記３次元シーンの少なくとも一部の視覚的モデルを提供し、
    前記ビュー合成回路は、前記３次元オブジェクトの前記ビューとブレンドされた前記ビューポーズからの前記シーンのビューであるように、前記視覚的モデルに応じて、前記ビュー画像を生成する、請求項１から１３のいずれか一項に記載の画像合成システム。
  15. 前記ポーズ決定回路は、前記オブジェクトデータの特性に応じて、前記閾値を適応させる、請求項１から１４のいずれか一項に記載の画像合成システム。
  16. 前記ポーズ決定回路は、前記ビューイングゾーンの特性に応じて、前記閾値を適応させる、請求項１から１５のいずれか一項に記載の画像合成システム。
  17. ３次元シーンの少なくとも一部を記述するシーンデータを受信するステップと、
    前記３次元オブジェクトを記述するオブジェクトデータを受信するステップであって、前記オブジェクトデータは、前記３次元オブジェクトに関して相対的なポーズを有するビューイングゾーンからの前記３次元オブジェクトの視覚的データを提供する、受信するステップと、
    前記３次元シーン内の視聴者のビューポーズを受信するステップと、
    前記シーンデータ及び前記ビューポーズに応じて、前記３次元シーン内の前記３次元オブジェクトのオブジェクトポーズを決定するステップと、
    前記視覚的データ、前記オブジェクトポーズ、及び前記ビューポーズからビュー画像を生成するステップであって、前記ビュー画像は、前記３次元オブジェクトが前記オブジェクトポーズである状態で、且つ前記ビューポーズから眺められている状態での前記３次元シーン内の前記３次元オブジェクトのビューを含む、生成するステップと、
    前記３次元オブジェクトの前記オブジェクトポーズ及び前記ビューイングゾーンの前記相対的なポーズに対する前記３次元シーン内のビューイング領域を決定するステップであって、前記ビューイング領域は、前記３次元オブジェクトが前記オブジェクトポーズである状態での前記３次元シーン内の前記ビューイングゾーンに対応している、決定するステップと、
    前記オブジェクトポーズに対する前記ビューイング領域に対しての前記ビューポーズに対する距離尺度を決定するステップと、
    前記ビューポーズと前記ビューイング領域のポーズとの間の距離が第１の閾値を超えるという要件を含む第１の基準を、前記距離尺度が満たすことに応じて、前記オブジェクトポーズを変更するステップと、
    を含み、
    前記ビュー画像を生成するステップは、前記距離が前記第１の閾値を超えない前記ビューポーズの少なくともいくつかの変更に対して、異なる角度からであるように前記３次元オブジェクトの前記ビューを生成するステップを含み、
    前記オブジェクトポーズを変更するステップは、前記オブジェクトポーズの変更に従う新しいオブジェクトポーズを決定するステップを含み、前記新しいオブジェクトポーズの決定は、前記距離尺度が前記新しいオブジェクトポーズについて前記第１の基準を満たさないという制約を受ける、画像合成方法。
  18. プログラムがコンピュータ上で実行されると、請求項１７に記載の画像合成方法のすべてのステップを実行するために適応されたプログラムコード手段を含む、コンピュータプログラム。
JP2022525825A 2019-11-05 2020-10-23 画像合成システム及びその方法 Pending JP2023500513A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19207149.6 2019-11-05
EP19207149.6A EP3819873A1 (en) 2019-11-05 2019-11-05 An image synthesis system and method therefor
PCT/EP2020/079864 WO2021089340A1 (en) 2019-11-05 2020-10-23 An image synthesis system and method therefor

Publications (2)

Publication Number Publication Date
JP2023500513A true JP2023500513A (ja) 2023-01-06
JPWO2021089340A5 JPWO2021089340A5 (ja) 2023-10-26

Family

ID=68468633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022525825A Pending JP2023500513A (ja) 2019-11-05 2020-10-23 画像合成システム及びその方法

Country Status (9)

Country Link
US (1) US11823340B2 (ja)
EP (2) EP3819873A1 (ja)
JP (1) JP2023500513A (ja)
KR (1) KR20220090574A (ja)
CN (1) CN114930404A (ja)
BR (1) BR112022008494A2 (ja)
CA (1) CA3159790A1 (ja)
TW (1) TW202126035A (ja)
WO (1) WO2021089340A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8767040B2 (en) * 2012-01-11 2014-07-01 Google Inc. Method and system for displaying panoramic imagery
US9210413B2 (en) 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US20190110040A1 (en) 2016-03-21 2019-04-11 Interdigital Ce Patent Holdings Method for enhancing viewing comfort of a multi-view content, corresponding computer program product, computer readable carrier medium and device
US10496156B2 (en) 2016-05-17 2019-12-03 Google Llc Techniques to change location of objects in a virtual/augmented reality system
GB2556910A (en) 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
EP3422708A1 (en) * 2017-06-29 2019-01-02 Koninklijke Philips N.V. Apparatus and method for generating an image

Also Published As

Publication number Publication date
EP3819873A1 (en) 2021-05-12
EP4055568A1 (en) 2022-09-14
WO2021089340A1 (en) 2021-05-14
CN114930404A (zh) 2022-08-19
BR112022008494A2 (pt) 2022-07-26
TW202126035A (zh) 2021-07-01
CA3159790A1 (en) 2021-05-14
US20220383596A1 (en) 2022-12-01
US11823340B2 (en) 2023-11-21
KR20220090574A (ko) 2022-06-29

Similar Documents

Publication Publication Date Title
JP7480163B2 (ja) 画像の奥行きマップの処理
US20210264658A1 (en) Apparatus and method for generating images of a scene
TWI810233B (zh) 用於產生視圖影像之設備及方法
US11823340B2 (en) Image synthesis system and method therefor
US11734875B2 (en) Image representation of a scene
JP7479386B2 (ja) シーンを表す画像信号
US20240080431A1 (en) An image synthesis system and method therefor
KR20210076975A (ko) 이미지 생성 장치 및 그를 위한 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231018