JP2021039563A - 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法 - Google Patents

Abstract

【課題】機械学習エンジンの教師データとなるデプス画像(depth)に対して、人手の作業を要することなく自動的にアノテーションを付与するプログラム等を提供する。【解決手段】デプス画像を教師データとした機械学習エンジンを構築するべく、当該デプス画像にラベルを付与するように、コンピュータに実行させるプログラムであって、３Ｄモデルに、ラベルが予め付与されており、３ＤＣＧソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する仮想配置手段と、仮想カメラから、当該３Ｄモデルを撮影するレンダリング手段と、撮影された仮想画像について、画素毎に、仮想カメラからのデプス（距離）を算出し、デプス画像を作成するデプス画像作成手段と、作成されたデプス画像に、当該３Ｄモデルのラベルを付与するアノテーション手段としてコンピュータを機能させる。【選択図】図２

Description

本発明は、機械学習エンジンの教師データに対するアノテーション(Annotation)の技術に関する。

アノテーションとは、テキストや音声、画像などのメディアデータに、ラベル（メタデータ）を付与する作業をいう。特に教師有りの機械学習エンジンは、メディアデータを説明変数とし、ラベルを目的変数とした教師データによって、学習モデルを構築する。そのため、大量のメディアデータに正確なラベルを付与するアノテーションの精度が、その機械学習エンジンの精度に直結することとなる。

画像は、テキストや音声と異なって、大量の画素の色情報に過ぎない。そのために、画像アノテーションの場合、画像や映像の内容自体を正確に理解するために、人手が必要となっている。現状、「ＡＩ向けの教師データ作成サービス（画像アノテーション）」が多く提供されている（例えば非特許文献１参照）。これらサービスによれば、人の視認の感覚を必要とするラベルを、実際に人手によって付与していく。

従来、ＣＧ(Computer Graphics)データを用いたアノテーションによって、学習データを構築する技術がある（例えば特許文献１参照）。この技術によれば、複数のモデルを含むＣＧデータのシーンデータを用いて、シーンデータ用画像を生成する。そして、シーンデータから特定物体モデル以外のモデルを削除し、特定物体モデルを特定色にして、シーンデータから学習データ生成用シーンデータを生成する。その学習データ生成用シーンデータを用いて生成した学習データ用画像について、特定物体モデルの領域を設定し、シーンデータ用画像と領域の情報とを対応付けて学習データとして格納する。

他の従来技術として、２．５次元画像を撮影可能なデプスカメラ(Depth Camera)が、一般的になってきている。デプスカメラとは、奥行き情報を取得する深度センサを内蔵したカメラをいう。デプスカメラは、通常のＲＧＢカメラが取得する２次元の平面的な画像と異なって、奥行き距離(Depth)を取得し、３次元の立体的な情報を取得することができる。この情報は、画素毎の距離情報を伴う点群データであって、「ポイントクラウド」と称される（例えば8bit/pixelで、幅w×高さhによって表現）。また、１視点から見た３次元情報しか取得できないため、概念的に「２．５次元画像」とも称される。

特開２０１９−０２３８５８号公報

アノテック、「Deep Learningモデル構築を実現する学習データ作成用アノテーションサービス」、[online]、［令和１年８月５日検索］、インターネット＜URL:https://annoteq.com/?gclid=Cj0KCQjwhJrqBRDZARIsALhp1WQqaaWrnZYhiusXa_jb1LFr1rVfCtTcRd1X0LTIvVtHWUl4LjfBfmIaAinZEALw_wcB＞

前述したように、画像アノテーションは人手の作業となっており、人件費や管理費、教育費などのコストが高額となってしまう。そのために、一般的に、人件費が安い海外のオフショア拠点で作業されている。特に、画像に映り込む３Ｄモデルやその態様が、変容且つ複雑なものであるほど、人の認識力が必要となると考えられる。

これに対し、３Ｄモデルが非変容且つ定型寸法のものである場合、画像に映り込むその３Ｄモデルの態様の変化は、カメラの平行移動及び回転の関係に過ぎない。
ここで、本願の発明者は、３Ｄモデルが例えばＣＡＤ(Computer Aided Design)データ又はジオメトリ定義ファイルに基づくものである場合、ＲＧＢ画像よりも、デプス(depth)画像の方が、機械学習エンジンの推定に適するのではないか、と考えた。即ち、デプス画像の方が、ＲＧＢ画像よりも、３Ｄモデルの３次元形状をより正確に取得しているためである。一方で、ＲＧＢを持たないデプス画像は、深度をグレースケールで表示したとしても、人が視認するには非常に難しい。そのために、デプス画像に対する人手のアノテーション作業は、更に難しくなる。

そこで、本発明によれば、機械学習エンジンの教師データとしてのデプス画像に対して、人手の作業を要することなく自動的にアノテーションを付与するプログラム、装置及び方法を提供することを目的とする。

本発明によれば、デプス(depth)画像を教師データとした機械学習エンジンを構築するべく、当該デプス画像にラベルを付与する(Annotation)ように、コンピュータに実行させるプログラムであって、
３Ｄ(three-Dimensional)モデルに、ラベルが予め付与されており、
３ＤＣＧ(3D Computer Graphics)ソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する仮想配置手段と、
仮想カメラから、当該３Ｄモデルを撮影するレンダリング手段と、
撮影された仮想画像について、画素毎に、仮想カメラからのデプス（距離）を算出し、デプス画像を作成するデプス画像作成手段と、
作成されたデプス画像に、当該３Ｄモデルのラベルを付与するアノテーション手段と
してコンピュータを機能させることを特徴とする。

本発明のプログラムにおける他の実施形態によれば、
仮想配置手段が、仮想カメラにおけるカメラ外部パラメータ（平行移動及び回転）を所定範囲で変位させる毎に、レンダリング手段が、仮想カメラから当該３Ｄモデルを撮影する
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
仮想配置手段は、仮想カメラのカメラ外部パラメータにおける変位の所定範囲を、実用デプスカメラの平行移動及び回転に基づく変位の範囲に合わせる
ようにコンピュータに実行させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
実用デプスカメラの平行移動及び回転に基づく変位の範囲は、当該実用デプスカメラを人が特定態様で把持した場合に生じるであろう当該実用デプスカメラの平行移動及び回転に基づくものである
ようにコンピュータに実行させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
レンダリング手段は、運用時に使用される実用デプスカメラのカメラ内部パラメータを、仮想カメラのカメラ内部パラメータとして設定する
ようにコンピュータに実行させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
３Ｄモデルは、ポリゴン形式又はパラメトリック形式のジオメトリ定義ファイルに基づいてモデリングされたものであって、
仮想配置手段は、３Ｄモデルを、３次元空間上に同一寸法で再現する
ようにコンピュータに実行させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
実用デプスカメラが、不特定である場合、
レンダリング手段は、仮想カメラとして、Ｚ深度に基づく１枚の仮想画像を撮影し、
デプス画像作成手段は、撮影された１枚の仮想画像をそのまま、デプス画像として出力する
ようにコンピュータに実行させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
実用デプスカメラが、正弦波の位相のずれを用いたＴＯＦ(Time Of Flight)型である場合、
レンダリング手段は、仮想カメラとして、１視点からの４枚以上の仮想画像を撮影し、
デプス画像作成手段は、撮影された４枚以上の仮想画像から、正弦波の位相のずれに基づいて仮想カメラからのデプスを算出する
ようにコンピュータに実行させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
実用デプスカメラが、視差による三角測量を用いたステレオ型である場合、
レンダリング手段は、仮想カメラとして、ステレオ型の２視点からの２枚の仮想画像を撮影し、
デプス画像作成手段は、撮影された２枚の仮想画像から、ステレオ視差原理に基づいて仮想カメラからのデプスを算出する
ようにコンピュータに実行させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
機械学習エンジンは、畳み込みニューラルネットワークに基づくものであり、
学習時に、機械学習エンジンは、デプス画像を説明変数とし、ラベルを目的変数として対応付けた教師データを入力して学習モデルを構築し、
運用時に、機械学習エンジンに、実用デプスカメラによって撮影されたデプス画像を説明変数として入力し、目的変数となるラベルを出力する
ようにコンピュータに実行させることも好ましい。

本発明によれば、デプス画像を教師データとした機械学習エンジンを構築するべく、当該デプス画像にラベルを付与する(Annotation)アノテーション装置であって、
３Ｄ(three-Dimensional)モデルに、ラベルが予め付与されており、
３ＤＣＧ(3D Computer Graphics)ソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する仮想配置手段と、
仮想カメラから、当該３Ｄモデルを撮影するレンダリング手段と、
撮影された仮想画像について、画素毎に、仮想カメラからのデプス（距離）を算出し、デプス画像を作成するデプス画像作成手段と、
作成されたデプス画像に、当該３Ｄモデルのラベルを付与するアノテーション手段と
を有することを特徴とする。

本発明によれば、デプス画像を教師データとした機械学習エンジンを構築するべく、当該デプス画像にラベルを付与する(Annotation)装置のアノテーション方法であって、
３Ｄ(three-Dimensional)モデルに、ラベルが予め付与されており、
装置は、
３ＤＣＧ(3D Computer Graphics)ソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する第１のステップと、
仮想カメラから、当該３Ｄモデルを撮影する第２のステップと、
撮影された仮想画像について、画素毎に、仮想カメラからのデプス（距離）を算出し、デプス画像を作成する第３のステップと、
作成されたデプス画像に、当該３Ｄモデルのラベルを付与する第４のステップと
を実行することを特徴とする。

本発明のプログラム、装置及び方法によれば、機械学習エンジンの教師データとしてのデプス画像に対して、人手の作業を要することなく自動的にアノテーションを付与することができる。

機械学習エンジンを有する推定装置の機能構成図である。 本発明におけるアノテーション装置の機能構成図である。 本発明における仮想配置部の説明図である。 本発明におけるレンダリング部のカメラ内部パラメータの設定を表す説明図である。 仮想カメラの配置変更に応じたレンダリング部の撮影を表す説明図である。 ３Ｄモデルを異なる視点から撮影した仮想画像を表す説明図である。 Ｚ深度に基づく仮想カメラの撮影態様を表す説明図である。 ＴＯＦに基づく仮想カメラの撮影態様を表す説明図である。 ＴＯＦの仮想カメラに基づく撮影画像に対するデプス画像の作成を表すコードである。 ステレオに基づく仮想カメラの撮影態様を表す説明図である。 ステレオの仮想カメラに基づく撮影画像に対するデプス画像の作成を表すコードである。

以下では、本発明の実施の形態について、図面を用いて詳細に説明する。

図１は、機械学習エンジンを有する推定装置の機能構成図である。

図１によれば、推定装置は、教師有り学習の機械学習エンジンを有する。機械学習エンジンは、クラス分類に対応したものであってもよく、例えば畳み込みニューラルネットワークに基づくものであってもよい。また、ｋ近傍法、決定木、ランダムフォレスト、サポートベクタマシン、ベイジアンネットワーク、隠れマルコフモデルなどのアルゴリズムに基づくものを用いることもできる。

機械学習エンジンは、学習時に、デプス画像を説明変数とし、ラベルを目的変数として対応付けた教師データを入力して、学習モデルを構築する。
＜説明変数：デプス画像＞ ＜目的変数：ラベル＞
また、機械学習エンジンは、運用時に、実用デプスカメラによって撮影されたデプス画像を説明変数として入力し、目的変数となるラベルを出力する。

図２は、本発明におけるアノテーション装置の機能構成図である。

図２によれば、アノテーション装置１は、デプス画像を教師データとした機械学習エンジンを構築するべく、当該デプス画像にラベルを付与する(Annotation)ものである。
アノテーション装置１は、３ＤＣＧ(3D Computer Graphics)ソフトウェア１０における仮想配置部１０１及びレンダリング部１０２と、デプス画像作成部１１と、アノテーション部１２とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。また、これら機能構成部の処理の流れは、デプス画像に対するアノテーション方法としても理解できる。

［３ＤＣＧソフトウェア１０］
３ＤＣＧソフトウェア１０は、例えばMaya（登録商標）のような統合型の３次元のコンピュータグラフィックスを作成可能なソフトウェアを想定する。本発明によれば、３ＤＣＧソフトウェア１０は、３次元空間上におけるレイアウトのための仮想配置部１０１と、画像化のためのレンダリング部１０２との機能を少なくとも有する。勿論、仮想配置部１０１と、レンダリング部１０２とは、別々の３ＤＣＧソフトウェアによって構成されるものであってもよい。

［仮想配置部１０１］
仮想配置部１０１は、３次元空間上に、「３Ｄモデル」と、当該３Ｄモデルを撮影する「仮想カメラ」とを配置する。

図３は、本発明における仮想配置部の説明図である。

３Ｄモデルは、３次元空間上に同一寸法で再現される。
３Ｄモデルは、ポリゴン形式又はパラメトリック形式のジオメトリ定義ファイルに基づいてモデリングされたものであって、非変容で且つ定型寸法である。ポリゴン形式としては、ＯＢＪファイルがあり、パラメトリック形式としては、ＮＵＲＢＳ(Non-Uniform Rational B-Spline)（非一様有理Ｂスプライン）やＣＡＤ(Computer-Aided Design)データがある。
ジオメトリとは、各頂点の位置、各テクスチャ座標の頂点のＵＶ位置、頂点法線、頂点リストとして定義された各ポリゴンを形作る面、テクスチャ頂点を定義したものである。頂点は、標準で反時計回りに記録され、面法線の明示的宣言を不要としている。
ジオメトリ定義ファイルの３Ｄモデルは、３ＤＣＧソフトウェア１０によって、３次元空間上にコンピュータグラフィックスによって配置される。

仮想カメラは、３Ｄモデルに対して、カメラ外部パラメータ（平行移動及び回転）を制御可能となる。仮想カメラは、撮影すべき仮想画像に、３Ｄモデルが映り込むように配置される。即ち、３Ｄモデルから、どのようなポジション及びアングルからも撮影することができる。

図３によれば、仮想配置部１０１は、３Ｄモデルを３次元空間上に配置するためのクラス"Transform"を定義している。
また、クラス"Transform"に対して、仮想カメラを３次元空間上に配置するために、カメラ外部パラメータを設定するクラス"CameraExtrinsic"も定義されている。

［レンダリング部１０２］
レンダリング部１０２は、仮想カメラのカメラ内部パラメータの設定と、３Ｄモデルの仮想画像の撮影との機能を有する。レンダリング部１０２としては、フォトリアルなレンダリングを可能とするものとして、例えば統合３ＤＣＧソフトウェアにプラグイン可能なV-ray（登録商標）がある。

図４は、本発明におけるレンダリング部のカメラ内部パラメータの設定を表す説明図である。

＜仮想カメラのカメラ内部パラメータの設定＞
レンダリング部１０２は、運用時に使用される実用デプスカメラのカメラ内部パラメータを、仮想カメラのカメラ内部パラメータとして設定する。ここでは、運用時に使用される実用デプスカメラのカメラ内部パラメータが、予め特定されており、キャリブレーションを必要としない。

図４によれば、レンダリング部１０２は、３ＤＣＧソフトウェア１０における「カメラ属性エディタ」が表されている。例えば以下のようなカメラ内部パラメータを、実用デプスカメラに合わせて設定する。
画角、焦点距離、立体視、ステレオカメラの間隔、アパーチャ、・・・
カメラ属性エディタの設定は、プログラミングによって自動的な設定も可能となる。そのために、実用デプスカメラのカメラ内部パラメータ一式を、レンダリング部１０２に設定することもできる。

具体的には、実用デプスカメラとしてのRealSense（Intel製）によれば、以下のような仕様パラメータが設定されている。
焦点距離：1.93mm
画角 ：水平91.2°、垂直65.5°、対角100.6°
ピクセルサイズ：3μm×３μm

また、図４によれば、仮想カメラのカメラ内部パラメータを設定するクラス"CameraIntrinsic"も定義されている。

(fx,fy)：カメラ内部パラメータの焦点距離
(cx,cy)：カメラ内部パラメータの画像中心（主点）
(t1,t2,t3)：カメラ外部パラメータの平行移動
(r11,r12,r13,r21,r22,r23,r31,r32,r33)：カメラ外部パラメータの回転
(X,Y,Z)：世界座標系の３次元座標
(u,v) ：画像平面に投影された点座標
s：スケールの不定性を表す係数
３次元座標(X,Y,Z)から、画像平面上のピクセル座標(u,v)を算出する。

＜仮想カメラの仕様＞
仮想カメラの仕様は、実用デプスカメラに対応して、例えば以下のような３種類がある。
（１）実用デプスカメラが、不特定である場合
レンダリング部１０２は、仮想カメラとして、Ｚ深度(Z-buffer)に基づく１枚の仮想画像を撮影する。この仮想画像は、画素毎に、撮影対象となる３Ｄモデルの表面までの深度（奥行き）に応じて、グレースケールで表現される。例えば仮想カメラから見て最も手前（距離が短い）を深度値＝０と定めて「白」で表示し、距離が長くなるにつれて深度値が大きくなり黒く表示する。

（２）実用デプスカメラが、正弦波の位相のずれを用いたＴＯＦ(Time Of Flight)型である場合
実用デプスカメラとしては、例えばKinect2（Microsoft社製）がある。
レンダリング部１０２は、仮想カメラとして、Ｚ深度に基づく４枚以上の仮想画像を撮影する。

（３）実用デプスカメラが、視差による三角測量を用いたステレオ型である場合
実用デプスカメラとしては、例えばKinect1（Microsoft社製）、Xtion（ASUS社製）RealSense（Intel社製）がある。
レンダリング部１０２は、仮想カメラとして、ステレオ型の２視点に基づく２枚の仮想画像を撮影する。

尚、仮想カメラの種別に応じた実施形態については、図６〜図８で後述する。

図５は、仮想カメラの配置変更に応じたレンダリング部の撮影を表す説明図である。

＜３Ｄモデルの仮想画像の撮影＞
レンダリング部１０２は、仮想カメラから、当該３Ｄモデルを撮影する。
仮想配置部１０１が、仮想カメラにおけるカメラ外部パラメータ（平行移動及び回転）を所定範囲で変位させる毎に、レンダリング部１０２が、仮想カメラから当該３Ｄモデルを撮影する。

仮想配置部１０１は、仮想カメラのカメラ外部パラメータにおける変位の所定範囲を、実用デプスカメラの平行移動及び回転に基づく変位の範囲に合わせる。
図４のように、例えば、ＣＡＤデータの３Ｄモデルが「ネジ」である場合、実用デプスカメラによってその「ネジ」が３６０°全ての方向から撮影される場合、仮想カメラでも３６０°全ての方向から仮想画像を撮影する必要がある。また、実用デプスカメラによってその「ネジ」が所定方向から固定的に撮影される場合、仮想カメラでもその所定方向から所定範囲内（例えば１０°）で複数の仮想画像を撮影する必要がある。

また、実用デプスカメラが人手によって撮影される場合もある。その場合、実用デプスカメラの平行移動及び回転に基づく変位の範囲は、当該実用デプスカメラを人が特定態様で把持した場合に生じるであろう当該実用デプスカメラの平行移動及び回転に基づくものとする。
例えば「手振れ」を考慮して、仮想カメラでもその所定方向から所定範囲内（例えば２０°）で複数の仮想画像を撮影する必要がある。

図６は、３Ｄモデルを異なる視点から撮影した仮想画像を表す説明図である。
図６によれば、３Ｄモデルとしてトーラス及びコイルの例が表されている。仮想画像は、被写体となる３Ｄモデルと、仮想カメラとの配置によって、異なる仮想画像が撮影される。

レンダリング部１０２によって撮影された仮想画像は、デプス画像作成部１１へ出力される。

［デプス画像作成部１１］
デプス画像作成部１１は、撮影された仮想画像について、画素毎に、仮想カメラからのデプス（距離）を算出し、デプス画像を作成する。

＜仮想画像がＺ深度に基づくものである場合＞
デプス画像作成部１１は、撮影された１枚の仮想画像をそのまま、デプス画像として出力する。
図７は、Ｚ深度に基づく仮想カメラの撮影態様を表す説明図である。

＜仮想画像がＴＯＦ型に基づくものである場合＞
デプス画像作成部１１は、撮影された４枚の仮想画像から、正弦波の位相のずれに基づくデプスを算出する。
図８は、ＴＯＦに基づく仮想カメラの撮影態様を表す説明図である。
図９は、ＴＯＦの仮想カメラに基づく撮影画像に対するデプス画像の作成を表すコードである。

＜仮想画像がステレオ型に基づくものである場合＞
デプス画像作成部１１は、撮影された２枚の仮想画像から、ステレオ視差原理に基づいて仮想カメラからのデプスを算出する。
図１０は、ステレオに基づく仮想カメラの撮影態様を表す説明図である。
図１１は、ステレオの仮想カメラに基づく撮影画像に対するデプス画像の作成を表すコードである。

［アノテーション部１２］
３Ｄ(three-Dimensional)モデルに、ラベルが予め付与されている。
アノテーション部１２は、作成されたデプス画像に、当該３Ｄモデルのラベルを付与する。

以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、機械学習エンジンの教師データとしてデプス画像に対して、人手の作業を要することなく自動的にアノテーションを付与することができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ アノテーション装置
１０ ３ＤＣＧソフトウェア
１０１ 仮想配置部
１０２ レンダリング部
１１ デプス画像作成部
１２ アノテーション部

本発明によれば、正弦波の位相のずれを用いたＴＯＦ(Time Of Flight)型の実用デプスカメラによって撮影されたデプス(depth)画像にラベルを付与(Annotation)する機械学習エンジンにおける教師データを生成するようにコンピュータを機能させるプログラムであって、
３Ｄ(three-Dimensional)モデルに、ラベルが予め付与されており、
３ＤＣＧ(3D Computer Graphics)ソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する仮想配置手段と、
１視点の仮想カメラから、当該３Ｄモデルを異なるタイミングで撮影した複数の仮想画像を生成するレンダリング手段と、
生成された複数の仮想画像から、正弦波の位相のずれに基づいて仮想カメラからのデプス画像を作成するデプス画像作成手段と、
作成されたデプス画像に、当該３Ｄモデルのラベルを付与するアノテーション手段と
してコンピュータを機能させることを特徴とする。

本発明によれば、視差による三角測量を用いたステレオ型の実用デプスカメラによって撮影されたデプス画像にラベルを付与する機械学習エンジンにおける教師データを生成するようにコンピュータを機能させるプログラムであって、
３Ｄモデルに、ラベルが予め付与されており、
３ＤＣＧソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する仮想配置手段と、
２視点の仮想カメラそれぞれから、当該３Ｄモデルを撮影した複数の仮想画像を生成するレンダリング手段と、
生成された複数の仮想画像から、ステレオ視差原理に基づいて仮想カメラからデプス画像を作成するデプス画像作成手段と、
作成されたデプス画像に、当該３Ｄモデルのラベルを付与するアノテーション手段と
してコンピュータを機能させることを特徴とする。

本発明のプログラムにおける他の実施形態によれば、
レンダリング手段は、運用時に使用される実用デプスカメラのカメラ内部パラメータを、仮想カメラのカメラ内部パラメータとして設定し、
仮想配置手段は、３Ｄモデルを、３次元空間上に同一寸法で再現する
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
仮想配置手段が、仮想カメラにおけるカメラ外部パラメータ（平行移動及び回転）を所定範囲で変位させる毎に、レンダリング手段が、仮想カメラから当該３Ｄモデルを撮影すると共に、
仮想配置手段は、仮想カメラのカメラ外部パラメータにおける変位の所定範囲を、当該実用デプスカメラを人が特定態様で把持した場合に生じるであろう当該実用デプスカメラの平行移動及び回転に基づく変位の範囲に合わせる
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
機械学習エンジンは、畳み込みニューラルネットワークに基づくものであり、
学習時に、機械学習エンジンは、デプス画像を説明変数とし、ラベルを目的変数として対応付けた教師データを入力して学習モデルを構築し、
運用時に、機械学習エンジンに、実用デプスカメラによって撮影されたデプス画像を説明変数として入力し、目的変数となるラベルを出力する
ようにコンピュータを機能させることも好ましい。

本発明によれば、正弦波の位相のずれを用いたＴＯＦ型の実用デプスカメラによって撮影されたデプス画像にラベルを付与する機械学習エンジンにおける教師データを生成するアノテーション装置であって、
３Ｄモデルに、ラベルが予め付与されており、
３ＤＣＧソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する仮想配置手段と、
１視点の仮想カメラから、当該３Ｄモデルを異なるタイミングで撮影した複数の仮想画像を生成するレンダリング手段と、
生成された複数の仮想画像から、正弦波の位相のずれに基づいて仮想カメラからデプス画像を作成するデプス画像作成手段と、
作成されたデプス画像に、当該３Ｄモデルのラベルを付与するアノテーション手段と
を有することを特徴とする。

本発明によれば、視差による三角測量を用いたステレオ型の実用デプスカメラによって撮影されたデプス画像にラベルを付与する機械学習エンジンにおける教師データを生成するアノテーション装置であって、
３Ｄモデルに、ラベルが予め付与されており、
３ＤＣＧソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する仮想配置手段と、
２視点の仮想カメラそれぞれから、当該３Ｄモデルを撮影した複数の仮想画像を生成するレンダリング手段と、
生成された複数の仮想画像から、ステレオ視差原理に基づいて仮想カメラからデプス画像を作成するデプス画像作成手段と、
作成されたデプス画像に、当該３Ｄモデルのラベルを付与するアノテーション手段と
を有することを特徴とする。

本発明によれば、正弦波の位相のずれを用いたＴＯＦ型の実用デプスカメラによって撮影されたデプス画像にラベルを付与する機械学習エンジンにおける教師データを生成する装置のアノテーション方法であって、
装置は、
３Ｄモデルに、ラベルを予め付与しており、
３ＤＣＧソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する第１のステップと、
１視点の仮想カメラから、当該３Ｄモデルを異なるタイミングで撮影した複数の仮想画像を生成する第２のステップと、
生成された複数の仮想画像から、正弦波の位相のずれに基づいて仮想カメラからデプス画像を作成する第３のステップと、
作成されたデプス画像に、当該３Ｄモデルのラベルを付与する第４のステップと
を実行することを特徴とする。

本発明によれば、視差による三角測量を用いたステレオ型の実用デプスカメラによって撮影されたデプス画像にラベルを付与する機械学習エンジンにおける教師データを生成する装置のアノテーション方法であって、
装置は、
３Ｄモデルに、ラベルを予め付与しており、
３ＤＣＧソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する第１のステップと、
２視点の仮想カメラそれぞれから、当該３Ｄモデルを撮影した複数の仮想画像を生成する第２のステップと、
生成された複数の仮想画像から、ステレオ視差原理に基づいて仮想カメラからデプス画像を作成する第３のステップと、
作成されたデプス画像に、当該３Ｄモデルのラベルを付与する第４のステップと
を実行することを特徴とする。

Claims (12)

1. デプス(depth)画像を教師データとした機械学習エンジンを構築するべく、当該デプス画像にラベルを付与する(Annotation)ように、コンピュータに実行させるプログラムであって、
   ３Ｄ(three-Dimensional)モデルに、ラベルが予め付与されており、
   ３ＤＣＧ(3D Computer Graphics)ソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する仮想配置手段と、
   仮想カメラから、当該３Ｄモデルを撮影するレンダリング手段と、
   撮影された仮想画像について、画素毎に、仮想カメラからのデプス（距離）を算出し、デプス画像を作成するデプス画像作成手段と、
   作成されたデプス画像に、当該３Ｄモデルのラベルを付与するアノテーション手段と
   してコンピュータを機能させることを特徴とするプログラム。
2. 仮想配置手段が、仮想カメラにおけるカメラ外部パラメータ（平行移動及び回転）を所定範囲で変位させる毎に、レンダリング手段が、仮想カメラから当該３Ｄモデルを撮影する
   ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
3. 仮想配置手段は、仮想カメラのカメラ外部パラメータにおける変位の所定範囲を、実用デプスカメラの平行移動及び回転に基づく変位の範囲に合わせる
   ようにコンピュータに実行させることを特徴とする請求項１又は２に記載のプログラム。
4. 実用デプスカメラの平行移動及び回転に基づく変位の範囲は、当該実用デプスカメラを人が特定態様で把持した場合に生じるであろう当該実用デプスカメラの平行移動及び回転に基づくものである
   ようにコンピュータに実行させることを特徴とする請求項３に記載のプログラム。
5. レンダリング手段は、運用時に使用される実用デプスカメラのカメラ内部パラメータを、仮想カメラのカメラ内部パラメータとして設定する
   ようにコンピュータに実行させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
6. ３Ｄモデルは、ポリゴン形式又はパラメトリック形式のジオメトリ定義ファイルに基づいてモデリングされたものであって、
   仮想配置手段は、３Ｄモデルを、３次元空間上に同一寸法で再現する
   ようにコンピュータに実行させることを特徴とする請求項１から５のいずれか１項に記載のプログラム。
7. 実用デプスカメラが、不特定である場合、
   レンダリング手段は、仮想カメラとして、Ｚ深度に基づく１枚の仮想画像を撮影し、
   デプス画像作成手段は、撮影された１枚の仮想画像をそのまま、デプス画像として出力する
   ようにコンピュータに実行させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。
8. 実用デプスカメラが、正弦波の位相のずれを用いたＴＯＦ(Time Of Flight)型である場合、
   レンダリング手段は、仮想カメラとして、１視点からの４枚以上の仮想画像を撮影し、
   デプス画像作成手段は、撮影された４枚以上の仮想画像から、正弦波の位相のずれに基づいて仮想カメラからのデプスを算出する
   ようにコンピュータに実行させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。
9. 実用デプスカメラが、視差による三角測量を用いたステレオ型である場合、
   レンダリング手段は、仮想カメラとして、ステレオ型の２視点からの２枚の仮想画像を撮影し、
   デプス画像作成手段は、撮影された２枚の仮想画像から、ステレオ視差原理に基づいて仮想カメラからのデプスを算出する
   ようにコンピュータに実行させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。
10. 機械学習エンジンは、畳み込みニューラルネットワークに基づくものであり、
    学習時に、機械学習エンジンは、デプス画像を説明変数とし、ラベルを目的変数として対応付けた教師データを入力して学習モデルを構築し、
    運用時に、機械学習エンジンに、実用デプスカメラによって撮影されたデプス画像を説明変数として入力し、目的変数となるラベルを出力する
    ようにコンピュータに実行させることを特徴とする請求項１から９のいずれか１項に記載のプログラム。
11. デプス画像を教師データとした機械学習エンジンを構築するべく、当該デプス画像にラベルを付与する(Annotation)アノテーション装置であって、
    ３Ｄ(three-Dimensional)モデルに、ラベルが予め付与されており、
    ３ＤＣＧ(3D Computer Graphics)ソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する仮想配置手段と、
    仮想カメラから、当該３Ｄモデルを撮影するレンダリング手段と、
    撮影された仮想画像について、画素毎に、仮想カメラからのデプス（距離）を算出し、デプス画像を作成するデプス画像作成手段と、
    作成されたデプス画像に、当該３Ｄモデルのラベルを付与するアノテーション手段と
    を有することを特徴とするアノテーション装置。
12. デプス画像を教師データとした機械学習エンジンを構築するべく、当該デプス画像にラベルを付与する(Annotation)装置のアノテーション方法であって、
    ３Ｄ(three-Dimensional)モデルに、ラベルが予め付与されており、
    装置は、
    ３ＤＣＧ(3D Computer Graphics)ソフトウェアを用いて、３次元空間上に、３Ｄモデルと、当該３Ｄモデルを撮影する仮想カメラとを配置する第１のステップと、
    仮想カメラから、当該３Ｄモデルを撮影する第２のステップと、
    撮影された仮想画像について、画素毎に、仮想カメラからのデプス（距離）を算出し、デプス画像を作成する第３のステップと、
    作成されたデプス画像に、当該３Ｄモデルのラベルを付与する第４のステップと
    を実行することを特徴とするアノテーション方法。
    

Images