JP2020013390A - 情報処理装置、情報処理プログラム及び情報処理方法 - Google Patents

Abstract

【課題】３次元モデルデータに対するテクスチャの生成を自動で行うこと。【解決手段】３次元モデルデータを取得する３次元モデルデータ取得部と、前記３次元モデルデータの特定視点からの画像である特定視点画像データを生成する特定視点画像データ生成部と、予め学習を行った学習済モデルに基づいて前記特定視点画像データに対して着色処理を実行することで着色済特定視点画像データを得る特定視点画像データ着色部と、前記着色済特定視点画像データと前記３次元モデルデータとの対応関係に基づいて、前記３次元モデルデータのテクスチャを生成するテクスチャ生成部とを備える。【選択図】図１

Description

本発明は、３次元モデルデータに対するテクスチャの生成を自動で行うことが可能な情報処理装置、情報処理プログラム及び情報処理方法に関するものである。

近年、ディープラーニングと呼ばれる多層構造のニューラルネットワークを用いた機械学習が様々な分野において適用されている。画像認識や画像生成といった画像処理の分野においても活用が目立ち、目覚ましい成果を上げている。

例えば、非特許文献１は、スケッチ画像に対して色彩を合成する処理をディープニューラルネットワークによって実現している。

この非特許文献１は、２次元画像データに対する色彩の合成処理に関する技術であるが、３次元モデルデータの表面に形成されるテクスチャを生成したいというニーズがある。ここでいうテクスチャとは、３次元モデルデータの表面に貼り付けられる物体の色彩、質感等を表すための表面処理用データのことをいう。一般的にテクスチャの生成処理は、ユーザが２次元上において画像処理ソフトウェアによってテクスチャを生成して、３次元モデルデータの表面の位置データと２次元で作成されるテクスチャの座標位置との対応関係を登録するＵＶマッピング処理を行うことで、３次元モデルデータの表面に２次元で作成したテクスチャを貼り付けるようにしている。従来は、デザイナー等のテクスチャの生成に関する熟練者が正確なディテールの表現されたテクスチャを作成していた。熟練者であれば様々なテクスチャを作成できたが、テクスチャの生成に関して素人である者が簡易的にテクスチャを生成する術がなかった。

Controlling Deep Image Synthesis with Sketch and Color, Patsorn Sangkloy et al.（https://arxiv.org/pdf/1612.00835.pdf）

本発明は、上記問題点に鑑みなされたものであり、３次元モデルデータに対するテクスチャの生成を自動で行うことが可能な情報処理装置、情報処理プログラム及び情報処理方法を提供することを目的とする。

本発明に係る情報処理装置は、３次元モデルデータを取得する３次元モデルデータ取得部と、前記３次元モデルデータの特定視点からの画像である特定視点画像データを生成する特定視点画像データ生成部と、予め学習を行った学習済モデルに基づいて前記特定視点画像データに対して着色処理を実行することで着色済特定視点画像データを得る特定視点画像データ着色部と、前記着色済特定視点画像データと前記３次元モデルデータとの対応関係に基づいて、前記３次元モデルデータのテクスチャを生成するテクスチャ生成部とを備えることを特徴とする。

また、本発明に係る情報処理装置は、前記３次元モデルデータの表面座標とテクスチャを生成する平面画像座標との対応関係を表したＵＶデータを取得するＵＶデータ取得部を備え、前記特定視点画像データ生成部は、前記３次元モデルデータと前記特定視点画像データとの対応関係を表したテクスチャＩＤマップを併せて生成するものとし、前記テクスチャ生成部は、前記着色済特定視点画像データと、前記ＵＶデータ、前記テクスチャＩＤマップとを用いて、前記３次元モデルデータのテクスチャを生成することを特徴とする。

また、本発明に係る情報処理装置は、前記特定視点画像データの少なくとも１箇所に対するヒント情報を取得するヒント情報取得部を備え、前記特定視点画像データ着色部は、前記特定視点画像データと前記ヒント情報に基づいて着色処理を実行することを特徴とする。

また、本発明に係る情報処理装置は、前記特定視点画像データの少なくとも１箇所に対するヒント情報を取得するヒント情報取得部と、前記ヒント情報取得部において取得した前記特定視点画像データに対するヒント情報と、前記ＵＶデータと、前記３次元モデルデータと前記特定視点画像データとの対応関係を表したテクスチャＩＤマップとを用いて、前記３次元モデルデータに対するヒントテクスチャを生成するヒントテクスチャ生成部とを備え、前記特定視点画像データ着色部は、前記特定視点画像データと前記ヒント情報に基づいて着色処理を実行することを特徴とする。

また、本発明に係る情報処理装置は、前記ヒント情報取得部は、前記特定視点画像データ生成部で生成した特定視点画像データとは異なる視点の特定視点画像データに基づいて前記テクスチャ生成部で生成されたテクスチャの少なくとも一部をヒント情報として取得する機能を備え、前記特定視点画像データ着色部は、他の視点に基づいて生成されたテクスチャをヒント情報として利用して前記特定視点画像データに対する着色処理を実行することを特徴とする。

本発明に係る情報処理プログラムは、コンピュータに、３次元モデルデータを取得する３次元モデルデータ取得機能と、前記３次元モデルデータの特定視点からの画像である特定視点画像データを生成する特定視点画像データ生成機能と、予め学習を行った学習済モデルに基づいて前記特定視点画像データに対して着色処理を実行することで着色済特定視点画像データを得る特定視点画像データ着色機能と、前記着色済特定視点画像データと前記３次元モデルデータとの対応関係に基づいて、前記３次元モデルデータのテクスチャを生成するテクスチャ生成機能とを実現させることを特徴とする。

本発明に係る情報処理方法は、３次元モデルデータを取得する３次元モデルデータ取得手順と、前記３次元モデルデータの特定視点からの画像である特定視点画像データを生成する特定視点画像データ生成手順と、予め学習を行った学習済モデルに基づいて前記特定視点画像データに対して着色処理を実行することで着色済特定視点画像データを得る特定視点画像データ着色手順と、前記着色済特定視点画像データと前記３次元モデルデータとの対応関係に基づいて、前記３次元モデルデータのテクスチャを生成するテクスチャ生成手順とを含むことを特徴とする。

本発明に係る情報処理装置は、ユーザが３次元モデルデータを入力するためのフォーム領域を表示画面に表示する３次元モデルデータ入力フォーム表示部と、入力された３次元モデルデータについてユーザが指定する角度からの画像である特定視点画像データを、前記表示画面に設けられた特定視点画像データ表示領域に表示する特定視点画像データ表示部と、予め学習させた学習済モデルに基づいて前記特定視点画像データに対して着色処理を行うことにより得られた着色済特定視点画像データが示す画像を、前記表示画面に設けられた着色済特定視点画像データ表示領域に表示する着色済特定視点画像データ表示部とを備えることを特徴とする。

また、本発明に係る情報処理装置は、前記特定視点画像データ表示領域に表示された前記特定視点画像データが示す画像に対して着色処理を施すべき箇所を指定するためのヒント情報入力ツールを前記表示画面に表示してヒント情報の入力を受け付けるヒント情報入力ツール表示部を備え、前記着色済特定視点画像データ表示部は、予め学習させた学習済モデルに基づいて、前記ヒント情報を含んだ状態で前記特定視点画像データに対して着色処理を行うことにより得られた着色済特定視点画像データが示す画像を、前記着色済特定視点画像データ表示領域に表示することを特徴とする。

本発明に係る情報処理装置１０の構成を表したブロック図である。 情報処理装置１０を実現するために必要とされるハードウェア構成を表したブロック図である。 情報処理装置１０についてのシステム構成の一例を表したブロック図である。 ３次元モデルデータについてのＵＶデータを説明するための説明図である。 特定視点画像データの生成のためのＵＩの一例を表した画面図である。 特定視点画像データに対するヒント情報を取得するためのＵＩの一例を表した画面図である。 ニューラルネットワークの概念を表した説明図である。 テクスチャ生成実行後のＵＩの表示画面の一例を表した画面図である。 本例の情報処理装置１０におけるテクスチャ生成処理の流れを表したフローチャート図である。

［第１の実施の形態］
以下、図面を参照しながら、本発明の第１の実施の形態に係る情報処理装置の例について説明する。図１は、本発明に係る情報処理装置１０の構成を表したブロック図である。図１に示すように、情報処理装置１０は、３次元モデルデータ取得部１１と、ＵＶデータ得部１２と、特定視点画像データ生成部１３と、ヒント情報取得部１４と、ヒントテクスチャ生成部１５と、特定視点画像データ着色部１６と、テクスチャ生成部１７と、スタンプ処理部１８と、記憶部１９とを備えている。

なお、情報処理装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。図２は、情報処理装置１０を実現するために必要とされるハードウェア構成を表したブロック図である。この図２に示すように、情報処理装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）５１と、ＧＰＵ（Graphics Processing Unit：画像処理装置）５２と、メモリ５３と、ハードディスクドライブ、ＳＳＤ（solid state drive）等のストレージ５４とを備えており、また、マウス、キーボード等の入力装置５５と、ディスプレイ、プリンタ等の出力装置５６と、通信ネットワークと接続するための通信装置５７とを備えており、これらがバス５８を介して接続されているものとする。情報処理装置１０が備える３次元モデルデータ取得部１１、ＵＶデータ取得部１２、特定視点画像データ生成部１３、ヒント情報取得部１４、ヒントテクスチャ生成部１５、特定視点画像データ着色部１６、テクスチャ生成部１７、スタンプ処理部１８などにおける処理は、これらの各部における処理を実行するためのプログラムをメモリ５３から読み込んで制御部（制御回路、Ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔ、Ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）として機能するＣＰＵ５１やＧＰＵ５２において実行することで実現する。言い換えると、当該プログラムの実行により、プロセッサ（処理回路）が、各装置の各処理を実行できるように構成される。

図３は、情報処理装置１０についてのシステム構成の一例を表したブロック図である。図３において、サーバ装置６０と複数の端末装置７０１〜７０ｎは、通信ネットワーク８０を介して相互に接続可能に構成されている。例えば、この図３におけるサーバ装置６０を情報処理装置１０として機能させ、複数の端末装置７０１〜７０ｎの何れかから情報処理装置１０に対して通信ネットワークを介して接続して利用するものであってもよい。その際、端末装置７０に情報処理装置１０を利用するためのグラフィカルユーザインターフェースプログラムをインストールする構成であってもよいし、サーバ上のグラフィカルユーザインターフェースプログラムをブラウザを介して利用する構成であってもよいし、グラフィカルユーザインターフェースとしての各種表示を表示する機能を備えた情報処理装置であってもよい。

また、以下に説明する情報処理装置１０の構成要素を全て同一の装置が備えている必要はなく、一部構成を他の装置に備えさせる、例えば、通信ネットワークを介して接続可能なサーバ装置６０と複数の端末装置７０１〜７０ｎの何れかにそれぞれ一部の構成を備えさせるようにして、情報処理装置１０が通信を行いながら他の装置に備えられた構成を利用するものであってもよい。また、サーバ装置６０は１台である場合に限らず、複数のサーバ装置を利用する構成であってもよい。また、後述する学習済モデルは、情報処理装置１０としての装置に格納する場合の他、他の装置としてのサーバ装置６０、複数の端末装置７０１〜７０ｎなどに分散させて備えさせるようにし、利用する学習済モデルを備えた装置にその都度通信ネットワークを介して接続して利用する構成であってもよい。すなわち、何らかの学習済モデル記憶手段によって記憶された学習済モデルを利用可能であれば、学習済モデル記憶手段を情報処理装置１０自身で備えているのか他の装置において備えているのかについては問わない。

３次元モデルデータ取得部１１は、テクスチャ生成対象としての３次元モデルデータを取得する機能を有する。ここで、３次元モデルデータとは、物体の形状を三角形や四角形などの多角形の集合として表現したモデルのことをいう。３次元モデルデータを表現するために必要な情報としては、多角形の頂点の座標情報、頂点間の接続関係を表したインデックス情報、頂点のつなぎ方を表したトポロジ情報などが挙げられる。３次元モデルデータの取得は、例えば、ユーザがテクスチャの生成を行いたい対象としての３次元モデルデータを選択することによって３次元モデルデータ取得部１１によって取得される。具体的には、ユーザが３次元モデルデータを入力するためのフォーム領域を表示画面に表示させて、ユーザによる３次元モデルデータの入力を受付けるものであってもよい。

ＵＶデータ取得部１２は、３次元モデルデータの表面座標とテクスチャを生成する平面画像座標（テクスチャ座標、ＵＶ座標）との対応関係を表したＵＶデータを取得する機能を有する。ここで、テクスチャとは、３次元モデルデータの表面に貼り付けられる物体の色彩、質感等を表すための表面処理用データのことをいう。また、本発明においてテクスチャと表現する場合、モデルの表面の色彩等の画像情報のみならず、法線マップテクスチャ、アルベドマップ、ラフネスマップ、メタリックマップ、ディスプレースメントマップ、エミッション光マップなどのモデルの表面の細かな質感を表現するための各種情報が含まれるものとする。ＵＶデータとしては、例えば、三角形の集合として表現されたｘｙｚ座標上の３次元モデルデータの各三角形の頂点ごとに、どのＵＶ座標に対応するかを記録したものが該当する。この場合の各三角形の内点に関しては、近傍の三角形の頂点のテクスチャ座標を重心座標系にした上でそれぞれの頂点の距離の近さに対して掛けて算出する。なお、ＵＶデータは、３次元モデルデータの表面座標とテクスチャを生成する平面画像座標（テクスチャ座標）との対応関係を表すことができればどのような手法であってもよい。ＵＶデータの取得は、例えば、ユーザがＵＶデータを選択することによって取得されるものであってもよいし、３次元モデルデータに関連付けされた情報の一つとして、３次元モデルデータ取得部１１における３次元モデルデータの取得と同時にＵＶデータを取得するものであってもよい。３次元モデルデータに含まれる情報としてのＵＶデータを３次元モデルデータ取得部１１において取得する構成である場合には、ＵＶデータ取得部１２の構成は省略することが可能である。

図４は、３次元モデルデータについてのＵＶデータを説明するための説明図である。図４（ａ）は、３次元モデルデータの一例としての六角柱２０を表しており、図４（ｂ）は、六角柱２０についてのテクスチャを生成するための画像平面を表している。図４（ａ）に示すように、六角柱２０は８面で構成されており、８面のそれぞれに（１）〜（８）までの番号を割り振るとすると、図４（ｂ）に示すように、テクスチャ生成用の２次元画像における六角柱２０を展開した展開図２１においては、（１）〜（８）までの番号を割り振った各面とテクスチャ生成用の２次元画像上の展開図２１の各部の対応関係が規定されることになる。この図４においては説明の簡略化のために（１）〜（８）の番号によって説明したが、実際には、３次元モデルデータの各頂点に対してｕｖ座標値との対応関係を規定するなどの手法によって表現されたＵＶデータを取得する。

特定視点画像データ生成部１３は、３次元モデルデータについての特定視点からの画像である特定視点画像データを生成する機能を有する。ここで、特定視点とは、特定方向から仮想カメラで撮影するようにして３次元モデルデータを観察する場合の視点方向をいう。そして、特定視点画像データは、特定方向から仮想カメラで撮影するようにして３次元モデルデータを観察する場合にその観察される２次元画像情報を画像データ化したものをいう。カメラの投影手法は透視投影でも平行投影でもよく、あるいは円筒投影や球面投影などの特殊な投影手法でも良い。通常は、カメラの位置や視野角などをモデルの大きさや形状に応じて適切に自動で配置される機構とともに用いる必要がある。また、特定視点画像データ生成部１３において特定視点画像データを生成する際には、その特定視点画像データに表示される３次元モデルデータの各部がどのテクスチャに対応しているかのＩＤを塗り分けたテクスチャであるテクスチャＩＤマップを併せて生成する。１つの３次元モデルデータに対して複数のテクスチャが結びついている場合があり、テクスチャＩＤマップによって複数のテクスチャとの対応関係を規定することによって３次元モデルデータの各部に対するテクスチャの反映を適切に実行可能とする。また、特定視点画像データ生成部１３では、ＵＶデータに基づいて、特定視点画像データに表示される３次元モデルデータの各部が対応するテクスチャのどの位置に対応しているかを２次元のベクトルで表したＵＶマップを生成する。このテクスチャＩＤマップとＵＶマップを用いることで、３次元モデルデータが既に保持するテクスチャを特定視点画像データに対して適切に表示することが可能となり、また、特定視点画像データに対して新たに生成されるテクスチャを３次元モデルデータに対して反映させることが可能となる。また、特定視点画像データに対して表示させるテクスチャには、後述するヒントテクスチャを含ませることができるため、ユーザが与えたヒントを特定視点画像データに対して随時反映させることが可能となる。

図５は、特定視点画像データの生成のためのユーザインターフェース（以下、ＵＩという。）の一例を表した画面図である。この図５に示すように、３次元モデルデータ取得部１１において取得した３次元モデルデータを特定視点方向から観察した様子を特定視点画像データとして表示画面に表示させるＵＩが考えられる。この図５に示す例では、ＵＩとしてのメニューバー３０が表示され、そのうち、視点変更ボタン３２をユーザが選択することで、３次元モデルデータに対する視点方向を変更することを可能とする。例えば、視点変更ボタン３２をマウス操作等によって選択することで、横回転ボタン２２ａ、２２ｂ及び縦回転ボタン２３ａ、２３ｂが表示画面上に現れ、そのうち、横回転ボタン２２ａ、２２ｂをマウス操作等によって選択すると、３次元モデルデータが横回転することで視点方向が変化し、縦回転ボタン２３ａ、２３ｂをマウス操作等によって選択すると、３次元モデルデータが縦回転することで視点方向が変化するという構成が考えられる。このようにして視点方向を変化させる度にその視点方向から３次元モデルデータを観察した際の特定視点画像データを生成して表示画面上に表示させる。なお、特定視点画像データ生成部１３における特定視点画像データの生成は、図５に示すＵＩのように視点変更を行う度に生成するようにしてもよいし、テクスチャの生成を実行する直前に生成するようにしてもよい。生成された特定視点画像データは、表示画面に設けられた特定視点画像データ表示領域に表示するようにすることで、ユーザが視覚的に視点方向を把握することが可能となるため好ましい。

ヒント情報取得部１４は、特定視点画像データの少なくとも１箇所に対するヒント情報を取得する機能を有する。ここで、ヒント情報とは、テクスチャの生成に用いられるヒントのことをいい、テクスチャを生成するための色彩の情報の他、法線マップテクスチャなどの各種情報もヒント情報に含むものとする。ヒント情報には、３次元モデルデータが潜在的に保持している情報から自動的に生成できるヒント情報（法線や深さなどの着色のヒントになる情報であって３次元モデルデータから自動的な処理によって求めることができるもの）と、ユーザが直接的に指定するヒント情報とが含まれる。すなわち、このヒント情報取得部１４において、前者のヒント情報は３次元モデルデータから自動的に取得するようにし、後者のヒント情報はユーザの指定によって取得される。また、ヒント情報には、後述するスタンプ処理が実行される場所を予め登録したスタンプ予定情報を含むようにしてもよい。また、既にテクスチャの生成された箇所のテクスチャの情報をヒント情報として含むようにしてもよい。ヒント情報に関するユーザによる指定方法の一例としては、ヒント情報を施したい箇所を表示画面に表示された特定視点画像データに対して指定する手法が考えられる。ヒント情報は、複数個所に対して指定するようにしてもよい。得られたヒント情報は、後述する特定視点画像データ着色部１６における着色処理に利用される。なお、ヒント情報の取得を行わずにテクスチャ生成を実行する際には、このヒント情報取得部１４におけるヒント情報の取得を省略することができる。なお、３次元モデルデータが潜在的に保持している情報から自動的に生成できるヒント情報については、このヒント情報取得部１４で取得せずに、特定視点画像データ生成部１３において特定視点画像データを生成すると同時に取得する構成であってもよい。その場合には、このヒント情報取得部１４はユーザの指定によるヒント情報を取得するための構成として機能することになる。

ヒントテクスチャ生成部１５は、ヒント情報取得部１４において取得した特定視点画像データに対するヒント情報と特定視点画像データを生成する際に併せて生成されるＵＶマップとを用いて、３次元モデルデータに対するヒントテクスチャを生成する機能を有する。ヒント情報取得部１４において取得したヒント情報は、２次元画像である特定視点画像データに対するヒント情報であるため、３次元モデルデータに対する視点方向を変更して特定視点画像データが変化すると失われてしまうヒント情報である。そこで、特定視点画像データに対するヒント情報を、テクスチャ生成用の２次元画像と同様の２次元画像であるヒントテクスチャに変換するようにする。ヒントテクスチャは、テクスチャと同様に、３次元モデルデータの何れの箇所に対するヒント情報であるかの対応関係を規定しておく必要があり、この際、特定視点画像データを生成する際に併せて生成されたＵＶマップをキャプチャした結果を用いることで、３次元モデルデータとヒントテクスチャとの対応関係を規定する。これにより、特定視点画像データに対するヒント情報が３次元モデルデータの何れの箇所に対するヒント情報であるかをヒントテクスチャとして管理することが可能となる。よって、３次元モデルデータに対する視点方向を変更したとしても、一度生成したヒントテクスチャは維持されるため、他の視点から特定視点画像データを生成した場合であっても、その視点の範囲内に元のヒント情報が含まれるならばそのヒント情報を保持した状態とすることができる。

図６は、特定視点画像データに対するヒント情報を取得するためのＵＩの一例を表した画面図である。この図６に示すように、特定視点画像データを表示画面に表示した状態において、ユーザからのヒント情報の入力を受付けるようにしてもよい。この図６に示す例では、ヒント情報入力ツールとして使用するＵＩとしてのメニューバー３０が表示され、そのうち、ヒント入力ボタン３３をユーザが選択することで、特定視点画像データに対するヒント情報の入力を可能とする。また、ヒント消去ボタン３４をユーザが選択することで、一度入力したヒント情報を消去することができる。また、ヒント情報の入力内容として色を選択したい場合には、色設定ボタン３５をユーザが選択することで色設定を行うことができる。さらに、色情報以外の法線マップテクスチャなどの各種情報の入力内容の調整などその他の設定を行いたい場合には、その他設定ボタン３６をユーザが選択することで法線マップテクスチャなどの各種情報の入力内容の調整などその他の設定を行うことができる。図６において、ヒント入力ボタン３３をユーザが選択すると、ヒント入力用カーソル３７が表示画面上に表示され、入力したい箇所に対してヒント情報の入力を例えばドラッグ操作によって行う。図６の例では、２か所にヒント情報を入力している。

特定視点画像データ着色部１６は、予め学習を行った学習済モデルに基づいて特定視点画像データに対して着色処理を実行することで着色済特定視点画像データを得る機能を有する。ここで、本例における着色処理とは、特定視点画像データに対して彩色を施す処理の他、法線マップテクスチャの情報など３次元モデルデータの表面の細かな質感を表現するための各種情報を与える処理を含むものとする。着色処理のための学習済モデルは、例えば、同一の３次元モデルデータでかつ同一視点からのテクスチャ生成前の特定視点画像データとテクスチャ生成後の特定視点からの正解画像データとをセットとして訓練データとして使用して学習を行ったものである。また、ヒント情報を利用した着色処理に関する学習とヒント情報を用いない着色処理に関する学習の両方について学習させることが好ましい。なお、着色処理の結果をユーザが把握できるようにするために、学習済モデルによって着色処理を行うことで得られる着色済特定視点画像データが示す画像を、表示画面に設けられた着色済特定視点画像データ表示領域に表示するようにすることが好ましい。着色済特定視点画像データ表示領域は、特定視点画像データ表示領域と別に設けてもよいし、一つの表示領域を特定視点画像データ表示領域と共有するものであってもよい。

図７は、ニューラルネットワークの概念を表した説明図である。学習のためのモデルは、例えば、例えば、畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）を含むニューラルネットワークで構成されたモデルをいう。ニューラルネットワークの入力層に対して特定視点画像データとヒント情報を入力し、出力層から着色済特定視点画像データを出力することを学習させる。なお、これはあくまで一例であり、ニューラルネットワークの構成は様々なものが適用可能である。

学習の際には、前述の通り、訓練データが用いられる。訓練データは、例えば、テクスチャ生成前の特定視点画像データとテクスチャ生成後の特定視点からの正解画像データとをセットとしたものが用いられる。なお、訓練データにおいて採用される特定視点画像データは、３次元モデルデータを特定視点方向から観察した画像データであればどのようなものであってもよく、線分のみで構成されたもの、一部着色が施されたもの、彩色に関するヒント情報が付されたもの、法線マップテクスチャなどの各種情報に関するヒント情報が付されたもの、スタンプ予定情報に関するヒント情報が付されたものなどが対象となり、それぞれに対応する正解画像データを併せて用意して訓練データのセットとする。学習処理は、学習させたいモデルに対して特定視点画像データとヒント情報を入力して、着色処理結果を着色済特定視点画像データとして出力させる。着色済特定視点画像データと正解画像データを用いて損失関数の計算を行い、損失が小さくなる方向にニューラルネットワークのパラメータを更新する。このようなパラメータの更新を、複数の訓練データに基づいて実行することで学習済モデル得る。

テクスチャ生成部１７は、着色済特定視点画像データとＵＶマップとテクスチャＩＤマップとを用いて３次元モデルデータの該当箇所についてのテクスチャを生成する機能を有する。特定視点画像データ着色部１６において得られる着色済特定視点画像データは、２次元画像データであり、３次元モデルデータのテクスチャは未だ生成されていない状況である。そこで、着色済特定視点画像データとＵＶマップとテクスチャＩＤマップとを用いて３次元モデルデータの該当箇所についてのテクスチャを生成する。着色済特定視点画像データとテクスチャＩＤマップとを用いることにより、３次元モデルデータの何れの箇所に着色処理が施されたのかの対応関係が明らかとなり、かつ、ＵＶマップを用いることにより、テクスチャ座標上の何れの箇所に着色処理結果を反映させるかの対応関係が明らかとなるため、これらの情報を用いることでテクスチャを生成することができる。特定視点の取り方によっては複数視点の画像が別々の色を同じ３次元上の点に対して生成したりしてしまうので、このような際は平均をとったり、法線方向に一番近い特定視点画像が用いられるなどの処理によって解決可能である。さらに、この場合特定視点画像に映らない遮蔽された場所に着色することはできない。このような際には遮蔽された着色されないテクスチャ部分をテクスチャ空間上で補完するような、図７のようなニューラルネットワークを同様に用いたものを構築することによって補完が可能である。

図８は、テクスチャ生成実行後のＵＩの表示画面の一例を表した画面図である。図６のようにヒント情報を与えた後で、テクスチャ生成実行ボタン３１がユーザによって選択されると、先ず、特定視点画像データ着色部１６によって特定視点画像データに対するヒント情報を反映させた着色処理が実行されて、着色済特定視点画像データを得る。図８において表示されているのは、着色済特定視点画像データである。着色済特定視点画像データの取得後、さらに、テクスチャ生成部１７においてテクスチャの生成が実行される。これは、着色済特定視点画像データからテクスチャを生成する処理である。これにより、テクスチャ生成実行後にＵＩの視点変更ボタン３２によって視点変更がなされたとしても、テクスチャ生成が行われた箇所の情報は失われない。

スタンプ処理部１８は、予め作成した所定の画像であるスタンプを３次元モデルデータと対応したテクスチャ座標上に貼り付ける機能を有する。スタンプは、例えば、キャラクターの目の表現を予め作成した画像や、複雑な衣装のパーツなどを予め作成した画像などをテクスチャ生成実行後に貼り付ける処理のことをいう。複雑な画像部分に関しては、学習済モデルに生成させるよりも予め作成したものを貼り付ける対応をした方が所望の結果となる場合がある。このようなスタンプを貼り付ける処理をテクスチャ生成後に実行することを予めヒント情報として与えることで、スタンプ処理が実行されることを前提とした着色処理及びテクスチャ生成処理が実行される。具体的には、キャラクターの目はスタンプ処理で生成するとヒント情報を与えることで、着色処理時にキャラクターの目の着色処理を実行しなくなるといった例が考えられる。

記憶部１９は、情報処理装置１０において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。また、予め学習を行って得られた学習済モデルをこの記憶部１９に格納するようにしてもよい。

次に、本例の情報処理装置１０におけるテクスチャ生成処理の流れについて説明する。図９は、本例の情報処理装置１０におけるテクスチャ生成処理の流れを表したフローチャート図である。本例の情報処理装置１０におけるテクスチャ生成処理は、先ず、情報処理装置１０において３次元モデルデータを取得することで開始される（ステップＳ１０１）。例えば、３次元モデルデータをユーザが選択することで取得が行われる。３次元モデルデータの取得に続いて、情報処理装置１０は、ＵＶデータを取得する（ステップＳ１０２）。

次に、情報処理装置１０は、特定視点画像データを生成する（ステップＳ１０３）。特定視点画像データの生成は、例えば、表示画面上に表示された３次元モデルデータをユーザが任意に回転させることで所望の視点からの特定視点画像データを生成するという手法が考えられる。

次に、情報処理装置１０は、ヒント情報を取得する（ステップＳ１０４）。ヒント情報の取得は、例えば、表示画面上に表示された特定視点画像データに対してユーザがヒント情報を入力することで取得される。ヒント情報取得後、情報処理装置１０は、ヒント情報を反映させたヒントテクスチャを生成する（ステップＳ１０５）。なお、ステップＳ１０４及びステップＳ１０５の処理が実行されなくともテクスチャの生成は可能である。

そして、情報処理装置１０は、特定視点画像データに対する着色処理を実行する（ステップＳ１０６）。着色処理を実行することで、着色済特定視点画像データを得る。そして、情報処理装置１０は、着色済特定視点画像データに基づいて、テクスチャを生成する（ステップＳ１０７）。テクスチャの生成は、着色済特定視点画像データとＵＶマップとテクスチャＩＤマップとを用いて実行される。テクスチャ生成後、スタンプ処理を受付けて実行する（ステップＳ１０８）。なお、スタンプ処理の実行は任意である。情報処理装置１０は、最終的に得られたテクスチャを出力して、処理を終了する。

以上のように、第１の実施の形態に係る情報処理装置１０によれば、３次元モデルデータについて特定視点方向から観察した状態を表す特定視点画像データを生成し、学習済モデルに基づいて特定視点画像データに対して着色処理を施し、着色済特定視点画像データからテクスチャを生成するようにしたので、処理を実行するコンピュータへの処理負荷を大きくすることなく３次元モデルデータのテクスチャを自動で簡易的に生成することが可能となる。

［第２の実施の形態］
第１の実施の形態に係る情報処理装置１０によれば、３次元モデルデータについて特定視点方向から観察した状態を表す特定視点画像データに写る範囲についてはテクスチャが生成されるが、他の視点方向から３次元モデルデータを観察した場合には、テクスチャが生成されていない箇所が残っていることになる。そこで、この第２の実施の形態においては、複数視点方向からの特定視点画像データに対してそれぞれ着色処理を実行することで３次元モデルデータの全体に対してテクスチャを生成する例について説明を行う。

第１の実施の形態に係る情報処理装置１０によって、ある視点方向からの特定視点画像データに対して着色処理を施してテクスチャを生成すると、当該視点方向の特定視点画像データに写る箇所にはテクスチャが生成されるが、写っていない箇所にはテクスチャが生成されない。よって、視点方向を例えば水平方向に１２０°移動（３次元モデルデータを水平方向に１２０°回転と同義）させると、テクスチャ生成済の箇所が６０°だけ観察され、残りの１２０°はテクスチャが生成されていない状態で観察されることになる。そこで、このように１２０°だけ視点方向を移動させた状態の特定視点画像データを生成し、その視点移動後の特定視点画像データに対して着色処理を実行することで、テクスチャ未生成の箇所にテクスチャを生成するようにする。同様に、同じ移動方向にさらに１２０°だけ移動させると、１回目の処理でテクスチャ生成済の箇所が６０°だけ観察され、２回目の処理でテクスチャ生成済の箇所が６０°だけ観察され、間の残りの６０°はテクスチャが生成されていない状態で観察されることになる。この最初の視点位置から水平方向に２４０°視点方向を移動させた状態の特定視点画像データを生成し、その視点移動後の特定視点画像データに対して着色処理を実行することで、テクスチャ未生成の箇所にテクスチャを生成すると、３次元モデルデータ全体にテクスチャを生成することが可能となる。なお、この例では説明を簡略化するために水平方向にのみ視点方向を移動させたが、実際には、垂直方向と水平方向の両方に視点方向を所定角度ずつ移動させるようにすることで、テクスチャの未生成箇所が発生するリスクを低減することが可能となる。

また、視点方向を移動させてテクスチャの生成を行う際には、既にテクスチャの生成された箇所の情報をヒントテクスチャとして利用して当該視点における特定視点画像データの着色処理を実行するようにしてもよい。具体的には、特定視点画像データ着色部１６において用いる学習済モデルに対して、ヒントテクスチャが特定視点画像データの何れの箇所に該当するかを反映させたヒント情報を特定視点画像データとともに入力して着色処理を実行するようにする。このようにすることで、テクスチャ生成済の箇所の情報を利用してこれからテクスチャを生成する箇所の着色が行われるようになるため、テクスチャの雰囲気が連続した状態の着色結果が得られる。

また、３次元モデルデータ全体に対するテクスチャ生成を自動で実行可能とするために、視点方向を予め設定した所定角度で変更しながら複数回にわたって、特定視点画像データの生成、特定視点画像データの着色及びテクスチャの生成の処理をそれぞれの視点において行うようにしてもよい。視点方向を予め設定した所定角度で変更しながら複数回にわたって処理することで、複数の特定視点画像データの何れかに３次元モデルデータを構成する多角形が必ず写っている状態とすることができれば、全体に対する漏れのないテクスチャ生成を自動で行うことが可能となる。

第１及び第２の実施の形態においては、特定視点画像データに対する着色処理を予め学習を行った学習済モデルによって実現するものとして説明を行ったが、これに限定されるものではなく、２次元画像データに対する既存の様々な処理手法によって特定視点画像データに対する着色処理を行うようにしてもよい。既存の処理手法としては、例えば、スタイルの変換、Image-Analogyのような手法が挙げられる。着色済特定視点画像データから３次元モデルデータのテクスチャ生成処理については第１及び第２の実施の形態と同様に行うことで、第１及び第２の実施の形態と同様にテクスチャを得ることが可能となる。

第１及び第２の実施の形態においては、３次元モデルデータについて特定視点方向から観察した状態を表す特定視点画像データを生成し、特定視点画像データに対してテクスチャ生成のための情報の生成を含む着色処理を実行し、着色済特定視点画像データに基づいて３次元モデルデータのテクスチャ生成処理を実行するという構成としていたが、一度の処理で３次元モデルデータ全体に対してテクスチャを生成することを予め学習させた学習済モデルによって実現するようにしてもよい。この場合の処理の一例としては、３次元モデルデータを点群データに変換し、予め学習させた学習済モデルに基づいて変換後の点群データの各点に対して着色処理を実行する手法が考えられる。また、他の一例としては、３次元モデルデータをボクセルデータに変換し、予め学習させた学習済モデルに基づいて変換後のボクセルデータの各ボクセルに対して着色処理を実行する手法が考えられる。何れの手法の場合も、着色処理後のデータに基づいて３次元モデルデータについてのテクスチャを生成するようにすることで、一度の処理で３次元モデルデータ全体に対してテクスチャを生成することが可能となる。

１０ 情報処理装置
１１ ３次元モデルデータ取得部
１２ ＵＶデータ取得部
１３ 特定視点画像データ生成部
１４ ヒント情報取得部
１５ ヒントテクスチャ生成部
１６ 特定視点画像データ着色部
１７ テクスチャ生成部
１８ スタンプ処理部
１９ 記憶部
２０ 六角柱
２１ 展開図
２２ａ、２２ｂ 横回転ボタン
２３ａ、２３ｂ 縦回転ボタン
３０ メニューバー
３１ テクスチャ生成実行ボタン
３２ 視点変更ボタン
３３ ヒント入力ボタン
３４ ヒント消去ボタン
３５ 色設定ボタン
３６ その他設定ボタン
５１ ＣＰＵ
５２ ＧＰＵ
５３ メモリ
５４ ストレージ
５５ 入力装置
５６ 出力装置
５７ 通信装置
５８ バス
６０ サーバ装置
７０、７０１〜７０ｎ 端末装置
８０ 通信ネットワーク

Claims (9)

1. ３次元モデルデータを取得する３次元モデルデータ取得部と、
   前記３次元モデルデータの特定視点からの画像である特定視点画像データを生成する特定視点画像データ生成部と、
   予め学習を行った学習済モデルに基づいて前記特定視点画像データに対して着色処理を実行することで着色済特定視点画像データを得る特定視点画像データ着色部と、
   前記着色済特定視点画像データと前記３次元モデルデータとの対応関係に基づいて、前記３次元モデルデータのテクスチャを生成するテクスチャ生成部と
   を備える情報処理装置。
2. 前記３次元モデルデータの表面座標とテクスチャを生成する平面画像座標との対応関係を表したＵＶデータを取得するＵＶデータ取得部を備え、
   前記特定視点画像データ生成部は、前記３次元モデルデータと前記特定視点画像データとの対応関係を表したテクスチャＩＤマップを併せて生成するものとし、
   前記テクスチャ生成部は、前記着色済特定視点画像データと、前記ＵＶデータと、前記テクスチャＩＤマップとを用いて、前記３次元モデルデータのテクスチャを生成する
   請求項１に記載の情報処理装置。
3. 前記特定視点画像データの少なくとも１箇所に対するヒント情報を取得するヒント情報取得部を備え、
   前記特定視点画像データ着色部は、前記特定視点画像データと前記ヒント情報に基づいて着色処理を実行する
   請求項１又は請求項２に記載の情報処理装置。
4. 前記特定視点画像データの少なくとも１箇所に対するヒント情報を取得するヒント情報取得部と、
   前記ヒント情報取得部において取得した前記特定視点画像データに対するヒント情報と、前記ＵＶデータと、前記３次元モデルデータと前記特定視点画像データとの対応関係を表したテクスチャＩＤマップとを用いて、前記３次元モデルデータに対するヒントテクスチャを生成するヒントテクスチャ生成部とを備え、
   前記特定視点画像データ着色部は、前記特定視点画像データと前記ヒント情報に基づいて着色処理を実行する
   請求項２に記載の情報処理装置。
5. 前記ヒント情報取得部は、前記特定視点画像データ生成部で生成した特定視点画像データとは異なる視点の特定視点画像データに基づいて前記テクスチャ生成部で生成されたテクスチャの少なくとも一部をヒント情報として取得する機能を備え、
   前記特定視点画像データ着色部は、他の視点に基づいて生成されたテクスチャをヒント情報として利用して前記特定視点画像データに対する着色処理を実行する
   請求項３又は請求項４に記載の情報処理装置。
6. コンピュータに、
   ３次元モデルデータを取得する３次元モデルデータ取得機能と、
   前記３次元モデルデータの特定視点からの画像である特定視点画像データを生成する特定視点画像データ生成機能と、
   予め学習を行った学習済モデルに基づいて前記特定視点画像データに対して着色処理を実行することで着色済特定視点画像データを得る特定視点画像データ着色機能と、
   前記着色済特定視点画像データと前記３次元モデルデータとの対応関係に基づいて、前記３次元モデルデータのテクスチャを生成するテクスチャ生成機能と
   を実現させる情報処理プログラム。
7. ３次元モデルデータを取得する３次元モデルデータ取得手順と、
   前記３次元モデルデータの特定視点からの画像である特定視点画像データを生成する特定視点画像データ生成手順と、
   予め学習を行った学習済モデルに基づいて前記特定視点画像データに対して着色処理を実行することで着色済特定視点画像データを得る特定視点画像データ着色手順と、
   前記着色済特定視点画像データと前記３次元モデルデータとの対応関係に基づいて、前記３次元モデルデータの該当箇所についてのテクスチャを生成するテクスチャ生成手順と
   を含む情報処理方法。
8. ユーザが３次元モデルデータを入力するためのフォーム領域を表示画面に表示する３次元モデルデータ入力フォーム表示部と、
   入力された３次元モデルデータについてユーザが指定する角度からの画像である特定視点画像データを、前記表示画面に設けられた特定視点画像データ表示領域に表示する特定視点画像データ表示部と、
   予め学習させた学習済モデルに基づいて前記特定視点画像データに対して着色処理を行うことにより得られた着色済特定視点画像データが示す画像を、前記表示画面に設けられた着色済特定視点画像データ表示領域に表示する着色済特定視点画像データ表示部と
   を備える情報処理装置。
9. 前記特定視点画像データ表示領域に表示された前記特定視点画像データが示す画像に対して着色処理を施すべき箇所を指定するためのヒント情報入力ツールを前記表示画面に表示してヒント情報の入力を受け付けるヒント情報入力ツール表示部を備え、
   前記着色済特定視点画像データ表示部は、予め学習させた学習済モデルに基づいて、前記ヒント情報を含んだ状態で前記特定視点画像データに対して着色処理を行うことにより得られた着色済特定視点画像データが示す画像を、前記着色済特定視点画像データ表示領域に表示する
   請求項８に記載の情報処理装置。

Images