JP2023016135A

JP2023016135A - 表示装置及び表示方法

Info

Publication number: JP2023016135A
Application number: JP2021120236A
Authority: JP
Inventors: 生也近藤; Naruya Kondo
Original assignee: Individual
Current assignee: Individual
Priority date: 2021-07-21
Filing date: 2021-07-21
Publication date: 2023-02-02
Anticipated expiration: 2041-07-21
Also published as: US20230023455A1; JP7175529B1

Abstract

【課題】簡易な方法によって3Dオブジェクトを擬似的に表現することを可能とする表示装置及び表示方法を提供する。【解決手段】表示装置は、所定オブジェクトに関する表示画像を仮想空間において二次元画像として表示する制御を実行する表示部と、前記仮想空間における視点に関する第１パラメータと、前記所定オブジェクトの変化を定義する第２パラメータと、を取得するパラメータ取得部と、を備え、前記表示部は、前記第１パラメータに基づいて、前記仮想空間における前記二次元画像の傾きを変更するとともに、前記第１パラメータ及び前記第２パラメータに基づいて、前記所定オブジェクトに関する表示画像を表示する制御を実行する。【選択図】図１

Description

本発明は、表示装置及び表示方法に関する。

近年、様々な角度から撮像された現実世界のもの（以下、オブジェクト）の2D画像に基づいて3Dオブジェクトを生成する技術（以下、フォトグラメトリー技術）が知られている。さらに、フォトグラメトリー技術において、2D画像を撮像する2以上の撮像ポイントの相対距離に基づいて、3Dオブジェクトのサイズを特定する技術も提案されている（例えば、特許文献１）

特開2017-130008号公報

上述した技術は、静的な3Dオブジェクトを生成するものであるが、動的な3Dオブジェクトを生成するニーズも存在する。

しかしながら、動的な3Dオブジェクトを生成する場合には、3Dオブジェクトを構成する各部分の動きに関する物理法則を定義する必要があり、動的な3Dオブジェクトの生成には極めて専門的な知識が要求される。また、動的な3Dオブジェクトの生成及び使用に必要な計算コストも膨大である。

そこで、本発明は、上述した課題を解決するためになされたものであり、簡易な方法によって3Dオブジェクトを擬似的に表現することを可能とする表示装置及び表示方法を提供することを目的とする。

第１の特徴は、表示装置であって、所定オブジェクトに関する表示画像を仮想空間において二次元画像として表示する制御を実行する表示部と、前記仮想空間における視点に関する第１パラメータと、前記所定オブジェクトの変化を定義する第２パラメータと、を取得するパラメータ取得部と、を備え、前記表示部は、前記第１パラメータに基づいて、前記仮想空間における前記二次元画像の傾きを変更するとともに、前記第１パラメータ及び前記第２パラメータに基づいて、前記所定オブジェクトに関する表示画像を表示する制御を実行する、ことを要旨とする。

第２の特徴は、第１の特徴において、前記所定オブジェクトを２以上の角度から撮像することによって、前記所定オブジェクトの変化を含む撮像画像を取得する画像取得部と、前記所定オブジェクトの角度及び前記撮像画像を学習することによって画像生成モデルを生成するモデル生成部と、を備え、前記表示部は、前記画像生成モデルを用いて、前記所定オブジェクトに関する表示画像を生成する、ことを要旨とする。

第３の特徴は、第１の特徴又は第２の特徴において、前記パラメータ取得部は、前記所定オブジェクトをリアルタイムで光学的に認識した結果を前記第２パラメータとして取得する、ことを要旨とする。

第４の特徴は、第１の特徴又は第２の特徴において、前記パラメータ取得部は、前記所定オブジェクトに対する操作を指定するコマンドを前記第２パラメータとして取得する、ことを要旨とする。

第５の特徴は、第１の特徴又は第２の特徴において、前記パラメータ取得部は、前記所定オブジェクトの変化を定義する時間及び環境の少なくともいずれか１つを指定するコマンドを前記第２パラメータとして取得する、ことを要旨とする。

第６の特徴は、表示方法であって、所定オブジェクトに関する表示画像を仮想空間において二次元画像として表示する制御を実行するステップＡと、前記仮想空間における視点に関する第１パラメータと、前記所定オブジェクトの変化を定義する第２パラメータと、を取得するステップＢと、を備え、前記ステップＡは、前記第１パラメータに基づいて、前記仮想空間における前記二次元画像の傾きを変更するとともに、前記第１パラメータ及び前記第２パラメータに基づいて、前記所定オブジェクトに関する表示画像を表示する制御を実行するステップを含む、ことを要旨とする。

本発明によれば、簡易な方法によって3Dオブジェクトを擬似的に表現することを可能とする表示装置及び表示方法を提供することができる。

図１は、実施形態に係る表示装置１００を示す図である。図２は、実施形態に係る学習について説明するための図である。図３は、実施形態に係る表示について説明するための図である。図４は、実施形態に係る表示について説明するための図である。図５は、実施形態に係る表示について説明するための図である。図６は、実施形態に係る表示について説明するための図である。図７は、実施形態に係る表示について説明するための図である。図８は、実施形態に係る表示方法を示す図である。

以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。但し、図面は模式的なものである。

［実施形態］
（表示装置）
以下において、実施形態に係る表示装置について説明する。図１は、実施形態に係る表示装置１００を示す図である。

図１に示すように、表示装置１００は、画像取得部１０と、モデル生成部２０と、格納部３０と、パラメータ取得部４０と、表示部５０と、を有する。後述するように、表示装置１００は、所定オブジェクトに関する表示画像を仮想空間において二次元画像（以下、Billboard）として表示する制御を実行する。

画像取得部１０は、２以上の角度から撮像された撮像画像であって、所定オブジェクトの変化を含む撮像画像を取得する。撮像画像は、動画像（映像）であってもよく、２以上の静止画像であってもよい。画像取得部１０は、所定オブジェクトを撮像する撮像装置（カメラなど）を含んでもよく、撮像装置から撮像画像を取得してもよい。

特に限定されるものではないが、所定オブジェクトは、自律的又は自動的に動作するオブジェクト（以下、第１オブジェクト）を含んでもよい。例えば、第１オブジェクトは、人間の少なくとも一部（例えば、顔）を含んでもよく、犬や猫などのペットを含んでもよい。

所定オブジェクトは、他律的又は他動的に操作されるオブジェクト（以下、第２オブジェクト）を含んでもよい。例えば、第２オブジェクトは、そば、パスタなどの食品を含んでもよく、服、帽子、履物、手袋などの被服を含んでもよく、バッグ、財布などの小物を含んでもよい。

モデル生成部２０は、所定オブジェクトの角度（撮像角度）及び撮像画像を学習することによって画像生成モデルを生成する。撮像角度は、撮像視点と読み替えられてもよい。学習は、機械学習であってもよく、深層学習であってもよい。学習は、AI（Artificial Intelligence）を含んでもよい。ここで、撮像画像は、所定オブジェクトの変化態様を含み、モデル生成部２０は、撮像角度及び変化態様を学習することによって、所定オブジェクトの変化態様を様々な角度から表現する表示画像を出力可能な画像生成モデルを生成する。

特に限定されるものではないが、モデル生成部２０は、既知の特徴点抽出アルゴリズムによるデータ入力を用いて画像生成モデルを生成してもよい。モデル生成部２０は、既知のモーションキャプチャ技術によるデータ入力を用いて画像生成モデルを生成してもよい。

格納部３０は、モデル生成部２０によって生成された画像生成モデルを格納する。

パラメータ取得部４０は、仮想空間における視点（以下、仮想空間視点）に関する第１パラメータと、所定オブジェクトの変化を定義する第２パラメータと、を取得する。

第１パラメータは、仮想空間において所定オブジェクトを視認する向き（視点）を定義するパラメータである。実施形態では、第１パラメータは、仮想空間においてBillboardの傾きを定義するパラメータであると考えてもよい。

第２パラメータは、所定オブジェクトの動的な変化を定義するパラメータである。第２パラメータは、所定オブジェクトをリアルタイムで光学的に認識した結果であってもよい。例えば、光学的に認識した結果は、カメラなどの撮像装置を用いた所定オブジェクトの撮像結果を含んでもよく、LiDAR（Light Detection and Ranging）技術を用いた所定オブジェクトの検出結果を含んでもよい。第２パラメータは、所定オブジェクトに対する操作を指定するコマンドであってもよい。例えば、コマンドは、そば又はパスタなどの麺類を持ち上げる操作を指定するコマンドであってもよい。第２パラメータは、所定オブジェクトの変化を定義する時間及び環境の少なくともいずれか１つを指定するコマンドであってもよい。例えば、コマンドは、時間経過を指定するコマンドであってもよく、温度や湿度などの環境変化を指定するコマンドであってもよい。このようなコマンドは、最初に入力されればよく、逐次的に入力されなくてもよい。

表示部５０は、所定オブジェクトに関する表示画像を仮想空間においてBillboardとして表示する制御を実行する。表示部５０は、第１パラメータに基づいて、仮想空間におけるBillboardの傾きを変更するとともに、Billboardの傾きを定義する第１パラメータ及び所定オブジェクトの動的な変化を定義する第２パラメータに基づいて、所定オブジェクトに関する表示画像を表示する制御を実行する。具体的には、表示部５０は、第１パラメータ基づいて、Billboard上における所定オブジェクトの角度を変更し、第２パラメータを所定モデルに入力することによって、変更された角度から見た所定オブジェクトに関する表示画像を生成する。

（学習）
以下において、学習（画像生成モデルの生成）の一例について説明する。図２は、実施形態に係る学習を説明するための図である。

ここでは、所定オブジェクトが人間の顔であるケースについて例示する。所定オブジェクトの変換は表情の変化であってもよい。

図２に示すように、表示装置１００は、２以上の角度から撮像された撮像画像であって、所定オブジェクト２００の変化を含む撮像画像を取得する。例えば、撮像画像は、正面から顔を撮像した画像、右側から顔を撮像した画像、左側から顔を撮像した画像などを含んでもよい。撮像画像は、目を瞑っている画像、目を開いている画像、口を閉じている画像、口を開いている画像などを含んでもよい。

表示装置１００は、各撮像画像から顔の特徴点３００を抽出する。顔の特徴点３００を抽出するアルゴリズムとしては、既知のアルゴリズムを用いることができる。

表示装置１００は、所定オブジェクト２００の撮像画像、角度（正面、右側、左側など）及び特徴点３００を学習することによって画像生成モデルを生成する。

ここでは、既知の特徴点抽出アルゴリズムによるデータ入力を用いて画像生成モデルが生成されるケースについて例示したが、画像生成モデルは、既知のモーションキャプチャ技術によるデータ入力を用いて生成されてもよい。但し、画像生成モデルの生成方法は特に限定されるものではない。画像生成モデルは、様々な角度から様々な表情の顔を生成するモデルであればよい。

（表示）
以下において、表示（表示画像の出力）の一例について説明する。図３～図５は、実施形態に係る表示を説明するための図である。

ここでは、所定オブジェクトが現実世界の人間の顔であり、仮想空間において人間の胴体に人間の顔が重畳されるケースについて例示する。人間の胴体は、CG（Computer Graphics）技術によって予め生成された3D画像であってもよい。人間の胴体は、仮想空間の一部であると考えてもよい。なお、第２パラメータが所定オブジェクトの撮像画像であるケースについて例示する。

また、説明を明確化するために、表示装置１００を利用するユーザが仮想空間において所定オブジェクトを視認する視点（以下、ユーザ視点）を例に挙げて説明する。ユーザ視点は、仮想空間視点の１つであると考えてもよい。仮想空間視点は、仮想空間を定義する絶対的な座標軸において、仮想空間内の画像を視認する視点であると考えてもよい。

このようなケースにおいて、ユーザ視点においては、Billboardの傾きは、ユーザ視点に対してBillboardが正対するように変更されてもよい。すなわち、ユーザ視点（仮想空間視点の１つ）に関する第１パラメータに基づいてBillboardの傾きが変更される。一方で、ユーザ視点とは異なる仮想空間視点においては、Billboardの傾きは、ユーザ視点と仮想空間視点との間の相対的な差異に基づいて変更されてもよい。すなわち、仮想空間視点に関する第１パラメータに基づいてBillboardの傾きが変更される。Billboardの傾きは、垂直軸を中心とする傾きを含んでもよく、水平軸を中心とする傾きを含んでもよく、奥行軸を中心とする傾きを含んでもよい。

このような前提下において、図３～図７に示すように、表示装置１００は、ユーザ視点の画像において、仮想空間４００において、所定オブジェクト２００を含むBillboard２１０を胴体４１０に重畳する。Billboard２１０上の所定オブジェクト２００は、所定オブジェクト２００の撮像画像そのものであってもよい。

以下において、所定オブジェクト２００を撮像する向き（以下、撮像視点）は、現実世界の人間の顔を正面から撮像する想定で定義される視点であるケースを例示する。例えば、撮像画像において、所定オブジェクト２００が現実世界の人間の顔の正面視であってもよい。但し、撮像画像において現実世界の人間の顔が上下左右に振られた画像が撮像されてもよい。このようなケースにおいて、仮想空間において人間の顔が上下左右に振られた画像が表示されてもよい。以下の例においては、Billboardの傾きは、ユーザ視点に関する第１パラメータに基づいて、ユーザ視点に対して正対するように変更されることを前提とする。

第１に、ユーザ視点が所定オブジェクト２００の撮像視点と同じであり、仮想空間視点がユーザ視点であるケースについて説明する。図３に示すように、ユーザ視点は、胴体４１０を正面から視認する視点であってもよい。仮想空間視点がユーザ視点であるため、ユーザ視点に対してBillboard２１０が正対するようにBillboard２１０の傾きが変更される。Billboard２１０上において、所定オブジェクト２００に関する表示画像は、ユーザ視点（仮想空間視点）に関する第１パラメータ及び第２パラメータ（撮像画像）に基づいて生成される。このようなケースにおいて、ユーザ視点が所定オブジェクト２００の撮像視点と同じであるため、表示装置１００は、所定オブジェクト２００に関する表示画像として、所定オブジェクト２００の撮像画像をそのまま表示する制御を実行してもよい。

第２に、ユーザ視点が所定オブジェクト２００の撮像視点と異なり、仮想空間視点がユーザ視点であるケースについて説明する。図４に示すように、ユーザ視点は、胴体４１０を略30°左側から視認する視点であってもよい。仮想空間視点がユーザ視点であるため、ユーザ視点に対してBillboard２１０が正対するようにBillboard２１０の傾きが変更される。Billboard２１０上において、所定オブジェクト２００に関する表示画像は、ユーザ視点（仮想空間視点）に関する第１パラメータ及び第２パラメータ（撮像画像）に基づいて生成される。このようなケースにおいて、ユーザ視点が所定オブジェクト２００の撮像視点と異なるため、表示装置１００は、所定オブジェクト２００の撮像画像に基づいて、ユーザ視点（略30°左側）から視認する向きの画像を生成して、所定オブジェクト２００に関する表示画像として、生成された画像を表示する制御を実行してもよい。このような制御では、上述した画像生成モデルが用いられてもよい。

第３に、ユーザ視点が所定オブジェクト２００の撮像視点と異なり、仮想空間視点がユーザ視点であるケースについて説明する。図５に示すように、ユーザ視点は、胴体４１０を略30°右側から視認する視点であってもよい。仮想空間視点がユーザ視点であるため、ユーザ視点に対しておいてBillboard２１０が正対するようにBillboard２１０の傾きが変更される。Billboard２１０上において、所定オブジェクト２００に関する表示画像は、ユーザ視点（仮想空間視点）に関する第１パラメータ及び第２パラメータ（撮像画像）に基づいて生成される。このようなケースにおいて、ユーザ視点が所定オブジェクト２００の撮像視点と異なるため、表示装置１００は、所定オブジェクト２００の撮像画像に基づいて、ユーザ視点（略30°右側）から視認する向きの画像を生成して、所定オブジェクト２００に関する表示画像として、生成された画像を表示する制御を実行してもよい。このような制御では、上述した画像生成モデルが用いられてもよい。

第４に、Billboard２１０の傾きについて説明する観点から、ユーザ視点と異なる仮想空間視点で視認され得る画像について説明する。図６に示すように、ユーザ視点が胴体４１０を正面から視認する視点である場合において、仮想空間視点は、胴体４１０を略30°右側から視認する視点であってもよい。Billboard２１０の傾きは、ユーザ視点に対してBillboard２１０が正対するように変更されるため、ユーザ視点とは異なる仮想空間視点においては、Billboard２１０の傾きは、ユーザ視点と異なる仮想空間視点に対してBillboard２１０が傾くように変更される。すなわち、Billboard２１０の傾きは、ユーザ視点と仮想空間視点との相対的な差異に基づいて変更される。

第５に、Billboard２１０の傾きについて説明する観点から、ユーザ視点と異なる仮想空間視点で視認され得る画像について説明する。図７に示すように、ユーザ視点が胴体４１０を略30°左側から視認する視点である場合に、仮想空間視点は、胴体４１０を略30°右側から視認する視点であってもよい。Billboard２１０の傾きは、ユーザ視点に対してBillboard２１０が正対するように変更されるため、ユーザ視点とは異なる仮想空間視点においては、Billboard２１０の傾きは、ユーザ視点と異なる仮想空間視点に対してBillboard２１０が傾くように変更される。すなわち、Billboard２１０の傾きは、ユーザ視点と仮想空間視点との相対的な差異に基づいて変更される。

図３～図７では、説明の明確化のために、仮想空間４００においてBillboard２１０を明示しているが、Billboard２１０において所定オブジェクト２００を除いた部分は透明であってもよい。すなわち、所定オブジェクト２００を除いた部分において、仮想空間４００の画像が表示されてもよい。

（表示方法）
以下において、実施形態に係る表示方法について説明する。

図８に示すように、ステップS10において、表示装置１００は、２以上の角度から撮像された撮像画像であって、所定オブジェクトの変化を含む撮像画像を取得する。撮像画像は、動画像（映像）であってもよく、２以上の静止画像であってもよい。

ステップS20において、表示装置１００は、所定オブジェクトの角度及び撮像画像を学習することによって画像生成モデルを生成する。上述したように、表示装置１００は、既知の特徴点抽出アルゴリズムによるデータ入力を用いて画像生成モデルを生成してもよい。表示装置１００は、既知のモーションキャプチャ技術によるデータ入力を用いて画像生成モデルを生成してもよい。

なお、ステップS10及びステップS20は、学習フェーズと称されてもよい。

ステップS30において、表示装置１００は、仮想空間視点に関する第１パラメータと、所定オブジェクトの変化を定義する第２パラメータと、を取得する。

ステップS40において、表示装置１００は、第１パラメータに基づいて、仮想空間におけるBillboardの傾きを変更するとともに、第１パラメータ及び第２パラメータに基づいて、所定オブジェクトに関する表示画像を表示する制御を実行する。

なお、ステップS30及びステップS40は、表示フェーズと称されてもよい。また、表示フェーズにおいて、ステップS30及びステップS40の処理は繰り返されてもよい。すなわち、表示装置１００は、第１パラメータ及び第２パラメータの入力毎に、仮想空間におけるBillboardの傾きを逐次的に変更し、所定オブジェクトに関する表示画像を逐次的に表示してもよい。

（作用及び効果）
実施形態では、表示装置１００は、第１パラメータに基づいて、仮想空間におけるBillboardの傾きを変更するとともに、第１パラメータ及び第２パラメータに基づいて、所定オブジェクトに関する表示画像を表示する制御を実行する。すなわち、表示装置１００は、所定オブジェクトに関する表示画像をBillboard（2D画像）として扱う前提下において、Billboardの傾きに応じた角度でBillboard上の表示画像を表示する制御を実行する。このような構成によれば、所定オブジェクトに関する表示画像を簡易な方法によって擬似的に3Dオブジェクトとして表現することができる。従って、動的な3Dオブジェクトの生成に必要な極めて専門的な知識が不要であり、動的な3Dオブジェクトの生成及び使用に必要な計算コストを大きく抑制することができる。

例えば、所定オブジェクトをリアルタイムで光学的に認識した結果を第２パラメータとして用いるケースを想定すると、所定オブジェクトに関する表示画像の生成及び使用に必要な計算コストが小さいため、表示画像のフレームレートを高めることができる。

［その他の実施形態］
本発明は上述した開示によって説明したが、上述した開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

上述した開示では、第２パラメータが所定オブジェクトをリアルタイムで光学的に認識した結果であるケースについて主として説明した。しかしながら、上述した開示はこれに限定されるものではない。上述したように、第２パラメータは、所定オブジェクトに対する操作を指定するコマンドであってもよく、所定オブジェクトの変化を定義する時間及び環境の少なくともいずれか１つを指定するコマンドであってもよい。

上述した開示では、表示装置１００を利用するユーザが１人であるケースについて例示した。しかしながら、上述した開示はこれに限定されるものではない。表示装置１００を利用するユーザは２人以上であってもよい。このようなケースにおいて、表示装置１００は、ユーザ毎のユーザ視点に基づいて、ユーザ毎のユーザ視点に対して正対する各ユーザ用のBillboardを設定し、所定オブジェクトに関する表示画像をBillboard上に表示してもよい。例えば、表示装置１００を利用するユーザとしてユーザＡ及びユーザＢが存在する場合に、ユーザＡのユーザ視点に対して正対するユーザＡのBillboardを設定し、所定オブジェクトに関する表示画像をユーザＡ用のBillboard上に表示する一方で、ユーザＢのユーザ視点に対して正対するユーザＢのBillboardを設定し、所定オブジェクトに関する表示画像をユーザＢ用のBillboard上に表示してもよい。このようなケースにおいて、表示装置１００は、ユーザＢ用のBillboard及び所定オブジェクトに関する表示画像をユーザＡに対して表示せずに、ユーザＡ用のBillboard及び所定オブジェクトに関する表示画像をユーザＢに対して表示しなくてもよい。或いは、表示装置１００は、ユーザＡのユーザ視点とユーザＢのユーザ視点との相対的な差異に基づいて、ユーザＢ用のBillboardが傾いた状態で、ユーザＢ用のBillboard及び所定オブジェクトに関する表示画像（例えば、図６及び図７に示す態様）をユーザＡに対して表示してもよい。同様に、表示装置１００は、ユーザＡのユーザ視点とユーザＢのユーザ視点との相対的な差異に基づいて、ユーザＡ用のBillboardが傾いた状態で、ユーザＡ用のBillboard及び所定オブジェクトに関する表示画像（例えば、図６及び図７に示す態様）をユーザＢに対して表示してもよい。

上述した開示では、所定オブジェクトの撮像視点は、現実世界の人間の顔を正面から撮像する想定で定義される視点であるケースを例示した。しかしながら、上述した開示はこれに限定されるものではない。所定オブジェクト２００の撮像視点は、仮想空間において所定オブジェクトを視認する基準視点によって定義された視点であってもよい。Billboard上に表示される表示画像は、基準視点とユーザ視点との相対的な差異に基づいて生成される。

表示装置１００は、表示画像を実際に表示するディスプレイを有してもよい。このようなケースにおいて、所定オブジェクトに関する表示画像を仮想空間においてBillboardとして表示する制御は、ディスプレイへの表示画像の表示を含んでもよい。表示装置１００は、表示画像を実際に表示するディスプレイを有していなくてもよい。このようなケースにおいて、所定オブジェクトに関する表示画像を仮想空間においてBillboardとして表示する制御は、表示画像の生成及びディスプレイへの出力を含んでもよい。

表示装置１００は、インターネットなどのネットワーク上に設けられたクラウドサーバであってもよい。このようなケースにおいて、所定オブジェクトに関する表示画像を仮想空間においてBillboardとして表示する制御は、表示装置１００にネットワークを介して接続された端末に対して、生成された表示画像を出力（送信）する動作を含んでもよい。

上述した開示では、仮想空間に配置される2D画像をBillboardと称したが、仮想空間に配置される2D画像は、キャンバスなどの他の名称で称されてもよい。

上述したように、画像生成モデルの生成方法は、特に限定されるものではないが、画像生成モデルは、CNN（Convolutional Neural Network）、LSTM（Long Short-Term memory）、GAN（Generative Adversarial Network）などの技術を用いて生成されてもよい。

特に限定されるものではないが、画像取得部１０は、カメラなどの撮像装置によって構成されてもよく、撮像装置に接続された画像入力インタフェースによって構成されてもよい。モデル生成部２０は、１以上のプロセッサによって構成されてもよい。格納部３０は、半導体メモリ又は磁気メモリなどの記憶媒体によって構成されてもよい。パラメータ取得部４０は、カメラなどの撮像装置によって構成されてもよく、撮像装置に接続された画像入力インタフェースによって構成されてもよく、コマンドを入力するためのユーザインタフェースによって構成されてもよい。表示部５０は、表示画像を生成する１以上のプロセッサによって構成されてもよく、表示画像などを実際に表示するディスプレイによって構成されてもよく、表示画像などを出力する出力インタフェースによって構成されてもよい。

上述した開示では特に触れていないが、表示装置１００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。

或いは、表示装置１００が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

１０…画像取得部、２０…モデル生成部、３０…格納部、４０…パラメータ取得部、５０…表示部、１００…表示装置

Claims

所定オブジェクトに関する表示画像を仮想空間において二次元画像として表示する制御を実行する表示部と、
前記仮想空間における視点に関する第１パラメータと、前記所定オブジェクトの変化を定義する第２パラメータと、を取得するパラメータ取得部と、を備え、
前記表示部は、前記第１パラメータに基づいて、前記仮想空間における前記二次元画像の傾きを変更するとともに、前記第１パラメータ及び前記第２パラメータに基づいて、前記所定オブジェクトに関する表示画像を表示する制御を実行する、表示装置。
２以上の角度から撮像された撮像画像であって、前記所定オブジェクトの変化を含む撮像画像を取得する画像取得部と、
前記所定オブジェクトの角度及び前記撮像画像を学習することによって画像生成モデルを生成するモデル生成部と、を備え、
前記表示部は、前記画像生成モデルを用いて、前記所定オブジェクトに関する表示画像を生成する、請求項１に記載の表示装置。
前記パラメータ取得部は、前記所定オブジェクトをリアルタイムで光学的に認識した結果を前記第２パラメータとして取得する、請求項１又は請求項２に記載の表示装置。
前記パラメータ取得部は、前記所定オブジェクトに対する操作を指定するコマンドを前記第２パラメータとして取得する、請求項１又は請求項２に記載の表示装置。
前記パラメータ取得部は、前記所定オブジェクトの変化を定義する時間及び環境の少なくともいずれか１つを指定するコマンドを前記第２パラメータとして取得する、請求項１又は請求項２に記載の表示装置。
所定オブジェクトに関する表示画像を仮想空間において二次元画像として表示する制御を実行するステップＡと、
前記仮想空間における視点に関する第１パラメータと、前記所定オブジェクトの変化を定義する第２パラメータと、を取得するステップＢと、を備え、
前記ステップＡは、前記第１パラメータに基づいて、前記仮想空間における前記二次元画像の傾きを変更するとともに、前記第１パラメータ及び前記第２パラメータに基づいて、前記所定オブジェクトに関する表示画像を表示する制御を実行するステップを含む、表示方法。