JP2013117958A - 三次元（３ｄ）カメラのシミュレーション - Google Patents

Abstract

【課題】三次元撮像システムによって生成されるシミュレーション画像をシミュレーションするための方法及び装置を提供する。
【解決手段】三次元撮像システム１０２によって生成される画像に生じる一組の影響１３０の一組のモデル１２８が特定される。一組のモデル１２８及び三次元レンダリングシステム１１５を使用して、三次元撮像システム１０２によって生成される画像をシミュレーションするシミュレーション画像１５２が生成される。シミュレーション画像１５２を生成するステップは、一組の影響１３０の一組のモデル１２８、環境モデル１１６、センサモデル１１８、及び三次元レンダリングシステム１１５を使用して、画像バッファ１４０と深度バッファ１４２とを含むシミュレーションデータ１３８を生成する。
【選択図】図１

Description

本発明は、概して三次元撮像システムに関し、具体的には三次元撮像システムによりほぼ実時間で生成される画像のシミュレーションの方法及びシステムに関する。

撮像システムは、様々な種類の作業を実行するための種々のアプリケーションに使用される。例えば、撮像システムは、ロボットシステム、航法システム、検査システム、監視システム、及び他の適切な種類のシステムに使用されうる。これらのアプリケーションの１つに使用される撮像システムの性能は、例えば、限定しないが、撮像システムの動作環境、撮像システムのコンポーネントの特性、及び／又は他の適切な種類の要因を含む任意の数の要因によって決まる。

撮像システムのコンポーネントには、ハードウェアコンポーネント、ソフトウェアコンポーネント、及び／又はハードウェアとソフトウェアの両方を含むコンポーネントが含まれる。例えば、撮像システムは、画像処理ソフトウェアに加えて、任意の数のレンズ、ミラー、光学フィルタ、光センサ、焦点面アレイ、及び他のデバイスを含むことができる。

選択された公差内で要求通りに機能する撮像システムの開発及び試験は、撮像システムの動作をシミュレーションすることにより行われる。このようなシミュレーションの実行により生成されたシミュレーションデータは、次いで撮像システムのコンポーネントの調節に使用することができる。

例えば、シミュレーションデータは、撮像システムを動作中に望み通りに機能させることを目的とした、撮像システムに含まれるレンズとミラーの構成の変更、撮像システムに使用される画像処理ソフトウェアの修正、撮像システムに使用されるソフトウェアのデバッグ、及び／又は他の何らかの適切な方式での撮像システムの調節に使用することができる。

現在利用可能な幾つかのシミュレーションシステムは、ほぼ実時間で撮像システムの動作をシミュレーションすることができる。例えば、現在利用可能なこれらのシミュレーションシステムは、撮像システムによって作製される画像をシミュレーションするシミュレーション画像を生成することができる。しかしながら、現在利用可能なこれらのシミュレーションシステムは、環境要因及び／又は撮像システムを形成するコンポーネントの特性に応じて、撮像システムによって生成される画像に生じる影響を考慮しない。具体的には、現在利用可能な幾つかのシミュレーションシステムは、環境要因及び／又は三次元撮像システムを形成するコンポーネントの特性に応じて、三次元（３Ｄ）撮像システムによって生成される画像に生じる影響を考慮しない。

したがって、上述の問題点の少なくとも幾つかと、起こりうる他の問題点を考慮する方法及び装置を有することが有利であろう。

例示的な一実施形態では、三次元撮像システムによって生成される画像をシミュレーションするための方法が提供される。三次元撮像システムによって生成される画像に生じる一組の影響の一組のモデルが特定される。三次元撮像システムによって生成される画像をシミュレーションするシミュレーション画像は、一組のモデル及び三次元レンダリングシステムを使用して生成することができる。

別の例示的な実施形態では、三次元撮像システムによって生成される画像をシミュレーションするための装置は、センサモデル、環境モデル、及び三次元レンダリングシステムを備えている。センサモデルは、三次元撮像システムを表現するように構成されている。環境モデルは、三次元撮像システムの動作環境を表現するように構成されている。三次元レンダリングシステムは、センサモデル及び環境モデルと通信する。さらに、三次元レンダリングシステムは、三次元撮像システムによって生成される画像に生じる一組の影響の一組のモデルを特定する。

また別の例示的な実施形態では、三次元撮像システムの動作をシミュレーションするためのシミュレーションシステムは、センサモデル、環境モデル、一組のモデル、及び三次元レンダリングシステムを備えている。センサモデルは、三次元撮像システムを表現するように構成されている。環境モデルは、三次元撮像システムが動作する実際の環境及び概念的環境のうちの一方を表現するように構成されている。一組のモデルは、三次元撮像システムによって生成される画像に生じる一組の影響に対するものである。三次元レンダリングシステムは、センサモデル、環境モデル、及び一組の影響の一組のモデルのうちの１つ又は複数と通信する。さらに、三次元レンダリングシステムは、環境モデルを使用して仮想環境を作り出し、センサモデル及び一組の影響の一組のモデルを使用して、この仮想環境において三次元撮像システムの動作をシミュレーションするように構成されている。

これらのフィーチャ、及び機能は、本発明の様々な実施形態において独立に達成可能であるか、又は他の実施形態において組み合わせることが可能である。これらの実施形態について、後述の説明及び添付図面を参照してさらに詳細に説明する。

新規のフィーチャと考えられる例示的実施形態の特徴は、特許請求の範囲に明記される。しかしながら、例示的実施形態と、好ましい使用モード、さらなる目的、及びそのフィーチャとは、添付図面を参照して本発明の例示的一実施形態の後述の詳細な説明を読むことにより最もよく理解されるであろう。

例示的一実施形態によるシミュレーションシステムのブロック図である。 例示的一実施形態による、画像に生じる一組の影響のブロック図である。 例示的一実施形態による、三次元撮像システムにより生成される画像に生じる一組の影響を引き起こしうる要因のブロック図である。 例示的一実施形態による、三次元撮像システムの視野を示している。 例示的一実施形態による仮想環境を示している。 例示的一実施形態による、シミュレーションした輝度の画像を示している。 例示的一実施形態による、シミュレーションした深度の画像を示している。 例示的一実施形態によるポイントクラウドを示している。 例示的一実施形態による、三次元撮像システムのシミュレーションプロセスを示すフロー図である。 例示的一実施形態によるデータ処理システムを示している。

種々の例示的実施形態は、様々な検討事項を認識し、考慮する。例えば、種々の例示的実施形態は、時に、環境要因及び／又は三次元撮像システムのコンポーネントの特性により、三次元撮像システムによって生成される画像に影響が生じることを認識し、考慮する。このような影響には、例えば、限定されないが、歪み、色収差、ぼけ、陰影、及び／又は他の種類の影響が含まれる。

さらに、種々の例示的実施形態は、現在利用可能な幾つかのシミュレーションシステムは、三次元撮像システムによって生成される画像をシミュレーションするとき、これらの影響をシミュレーションすることができないことを認識し、考慮する。種々の例示的実施形態は、これらの影響をシミュレーションすることは、三次元撮像システムに使用される画像処理ソフトウェアの微調整、三次元撮像撮像システムに使用されるソフトウェアのデバッグ、三次元撮像システムに使用される様々なコンポーネントの構成の調節、及び／又は三次元撮像システムに対する他の修正にとって重要であることを認識し、考慮する。

このようにして、種々の例示的実施形態により、三次元撮像システムの動作をシミュレーションするための方法及び装置が提供される。例示的な一実施形態では、三次元撮像システムによって生成される画像をシミュレーションするための方法が提供される。三次元撮像システムによって生成される画像に生じる一組の影響の一組のモデルが特定される。三次元撮像システムによって生成される画像をシミュレーションするシミュレーション画像は、一組のモデル及び三次元レンダリングシステムを使用して生成される。

ここで図面を参照する。具体的には、図１は、本発明の例示的な一実施形態によるシミュレーションシステムのブロック図を示している。このような実施例では、シミュレーションシステム１００は、このような実施例における三次元撮像システム１０２の動作をシミュレーションするように構成される。

三次元撮像システム１０２は、深度情報１０６を提供する画像１０４を生成する任意のセンサシステムの形態をとりうる。例えば、三次元撮像システム１０２は、三次元撮像システム１０２の動作環境１０５の、三次元撮像システム１０２の視野１０７に含まれる部分の画像を生成することができる。三次元撮像システム１０２の視野１０７は、環境１０５内の三次元領域とすることができる。

このような実施例では、環境１０５は任意の数の異なる形態をとることができる。例えば、限定しないが、環境１０５は、屋外領域、屋内領域、市街、近隣、ハイウェイの一部、森林の一領域、宇宙の一区域、水中領域、空間内の一領域、製造工場の一領域、又は他の何らかの適切な種類の対象領域の形態をとることができる。さらに、環境１０５内には任意の数のオブジェクトが存在してよい。これらのオブジェクトには、例えば、限定されないが、地形、芝生、樹木、空、雲、人工的構造物、人、動物、水域、道路、車両、航空機、建造物、橋、及び／又は他の適切な種類のオブジェクトが含まれる。
実装態様に応じて、三次元撮像システム１０２によって生成される画像１０４は、環境１０５の、三次元画像１０２の視野１０７に含まれる部分の静止画像でありうる、及び／又は映像を形成しうる。例えば、三次元撮像システム１０２は、環境１０５の三次元映像を生成する三次元ビデオカメラの形態をとることができる。

このような実施例では、深度情報１０６は、三次元で画像１０４内の環境１０５を知覚するために必要な情報である。具体的には、画像１０４の深度情報１０６は、各画像１０４に含まれる各画素の深度値を含む。画像内の特定の画素に関連付けられた深度値は、例えば、限定しないが、三次元撮像システム１０２と、特定の画素が表わす環境１０５内のオブジェクト表面との間の距離の測定値である。

例えば、三次元撮像システム１０２によって生成される画像１０４は、環境１０５のカラー画像でも、グレースケール画像でもよく、画像内の各画素は、環境１０５の深度情報１０６の深度値に関連付けられている。このように、三次元撮像システム１０２は、深度カメラシステム又は深度カメラとも呼ばれる。

先述のように、三次元撮像システム１０２は、画像１０４を生成するように構成された任意の数のコンポーネント１０８を含む。本明細書で使用する「任意の数のアイテム」は、１つ又は複数のアイテムを意味する。例えば、「任意の数のコンポーネント１０８」は、１つ又は複数のコンポーネントを意味する。任意の数のコンポーネント１０８には、ハードウェアコンポーネント、ソフトウェアコンポーネント、及び／又はハードウェアとソフトウェアの両方を含むコンポーネントが含まれる。例えば、限定しないが、任意の数のコンポーネント１０８には、レンズ、光センサ、ミラー、プリズム、光学フィルタ、コンピュータ、マイクロプロセッサ、集積回路、画像処理ソフトウェア、制御ソフトウェア、及び他の適切な種類のコンポーネントのうちの少なくとも１つが含まれる。

本明細書において、列挙されたアイテムと共に使用する「〜のうちの少なくとも１つ」という表現は、列挙されたアイテムのうちの１つ又は複数からなる様々な組み合わせが使用可能であり、且つ、場合によっては列挙された各アイテムが１つだけあればよいことを意味する。例えば、レンズ、ミラー、及びプリズムのうちの少なくとも１つは、レンズでも、又はレンズとミラーでもよい。場合によっては、レンズ、ミラー、及びプリズムのうちの少なくとも１つは、レンズとミラーとプリズムでもよく、又はミラーとプリズムでもよい。

他の例では、レンズ、ミラー、及び光学フィルタのうちの少なくとも１つは、例えば、限定しないが、２つのレンズと１つのミラーと１０個の光学フィルタでもよく、４つのミラーと７つの光学フィルタでもよく、或いは他の何らかの適切な組み合わせとすることができる。このように、任意の数のコンポーネント１０８は、三次元撮像システム１０２に使用するために適したコンポーネントのあらゆる組み合わせを含みうる。

このような実施例において、シミュレーションシステム１００は、三次元撮像システム１０２のシミュレーションに使用することができる。幾つかの事例では、このようなシミュレーションは、三次元撮像システム１０２の開発及び試験に使用される。例えば、シミュレーションシステム１００は、三次元撮像システム１０２の仮想プロトタイピングのシミュレーションを実行するために使用される。三次元撮像システム１０２の仮想プロトタイピングには、三次元撮像システム１０２の物理的プロトタイプを構築する前の、三次元撮像システム１０２の設計及び構成の開発、試験、認証、及び／又は修正が含まれる。

シミュレーションシステム１００は、ハードウェア、ソフトウェア、またはそれら二つの組み合わせを使用して実施される。一実施例では、シミュレーションシステム１００は、コンピュータシステム１１０において実施される。コンピュータシステム１１０は、任意の数のコンピュータを備える。コンピュータシステム１１０内に複数のコンピュータが存在する場合には、これらのコンピュータは相互に通信することができる。このように、実装態様に応じて、これらのコンピュータは同じ位置にあっても、異なる位置にあってもよい。

シミュレーションシステム１００は、三次元レンダリングシステム１１５を使用して、環境１０５のような環境における三次元撮像システム１０２の動作をシミュレーションする。三次元レンダリングシステム１１５は、例えば環境１０５の一部のような三次元のシーンを、二次元に表わすように構成されている。

三次元レンダリングシステム１１５は、三次元撮像システム１０２の動作がほぼ実時間でシミュレーションされるように構成される。三次元レンダリングシステム１１５は、現在利用可能な三次元レンダリングシステムを使用して実施することができる。例えば、三次元レンダリングシステム１１５は、Ｓｉｌｉｃｏｎ Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｒｐｏｒａｔｉｏｎによって市販されているＯｐｅｎＧＬ（登録商標）、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから市販されているＤｉｒｅｃｔＸ（登録商標）、及び／又は他の何らかの適切な種類の三次元レンダリングシステムを使用して実施することができる。

図示のように、三次元レンダリングシステム１１５は、三次元撮像システム１０２の動作をシミュレーションするための仮想環境１１４を作り出す。仮想環境１１４は、三次元撮像システム１０２が動作しうる実際の環境又は概念的な環境の表現である。例えば、仮想環境１１４は、三次元撮像システム１０２が動作しうる環境１０５の、コンピュータによって生成される表現といえる。

このような実施例では、三次元レンダリングシステム１１５は、環境モデル１１６を使用して仮想環境１１４を生成することができる。環境モデル１１６は、例えば、環境１０５の三次元の数学的表現である。さらに、環境モデル１１６は、仮想環境１１４内に表現されるオブジェクトのモデルを含みうる。一実施例では、環境モデル１１６は、コンピュータ支援設計（ＣＡＤ）モデルの形態をとることができる。

さらに、シミュレーションシステム１００は、センサモデル１１８を使用して仮想環境１１４に仮想撮像システム１２０を加えることができる。センサモデル１１８は、三次元撮像システム１０２の１つの表現である。幾つかの事例では、センサモデル１１８は、三次元撮像システム１０２の動作をシミュレーションするように構成された任意の数のアルゴリズム及び／又はプロセスを含むことができる。

このような実施例では、三次元レンダリングシステム１１５は、シーン１２２としての環境モデル１１６に基づいて生成された仮想環境１１４を格納するように構成される。シーン１２２は、仮想環境１１４の二次元表現とすることができる。

シーン１２２は、任意の数の仮想オブジェクト１２４、仮想撮像システム１２０、及び任意の数の仮想光源１２６を含みうる。幾つかの実施例では、任意の数の仮想オブジェクト１２４の各々は、表現されているオブジェクト表面の色及び／又は鏡面性を規定する特性を有する多角形メッシュの形態をとることができる。オブジェクト表面の鏡面性は、オブジェクト表面の鏡面反射率の測定値とすることができる。

さらに、任意の数の仮想光源１２６は、異なる種類の光源の表現とすることができる。このような異なる種類の光源には、例えば、限定されないが、三次元撮像システム１０２に関連付けられた光源、自然光源、ランプ、及び／又は他の適切な種類の光源が含まれる。

他の実施例では、シーン１２２には、仮想撮像システム１２０に関連付けられた仮想プラットフォーム１２７が含まれる。仮想プラットフォーム１２７は、例えば、限定されないが、三次元撮像システム１０２が取り付けられるプラットフォーム１２９を表わすことができる。プラットフォーム１２９は、固定プラットフォーム又は移動プラットフォームの形態をとることができる。すなわち、三次元撮像システム１０２は、プラットフォーム１２９に関連付けられているとき、概ね固定されたままである、及び／又は環境１０５内で移動できる。

加えて、シミュレーションシステム１００は、三次元撮像システム１０２の動作をシミュレーションするために、センサモデル１１８及び環境モデルと共に一組のモデル１２８も使用する。本明細書で使用する「一組の」アイテムは、１つ又は複数のアイテムを意味する。例えば、「一組のモデル１２８」は、１つ又は複数のアイテムである。

一組のモデル１２８は、三次元撮像システム１０２によって生成される画像１０４内に生じうる一組の影響１３０をシミュレーションするように構成される。本明細書で使用する三次元撮像システム１０２によって生成される画像内の「影響」は、画像に捕獲されたシーン及び実際のシーンの見た目の、いずれかの種類の相違又は差異である。場合によっては、三次元撮像システム１０２によって生成される画像内の「影響」は、画像内における望ましくないフィーチャでありうる。

一実施例として、ぼけは、画像１０４内に生じうる、一組の影響１３０のうちの一つである。画像のぼけは、画像内に捕獲されたシーン中の、１つ又は複数のオブジェクトのクリアでない又は不明瞭な見た目である。ぼけは、三次元撮像システム１０２の焦点が合わないときに生じうる。

幾つかの実施例では、一組のモデル１２８のうちの１つは、一組の影響１３０のうちの１つ又は複数をシミュレーションすることができる。他の事例では、一組のモデル１２８のうちの複数のモデルを使用して、一組の影響１３０のうちの１つをシミュレーションすることができる。

図示のように、一組の影響１３０のうちの１つは、要因１３２のうちの１つ又は複数によって生じる。さらに、要因１３２のうちの１つ又は複数により、一組の影響１３０のうちの複数が生じうる。要因１３２には、例えば、限定されないが、環境要因１３４、コンポーネント要因１３６、及び／又は他の適切な種類の要因が含まれる。環境要因１３４は、三次元撮像システム１０２が動作する環境に関連する要因である。コンポーネント要因１３６は、二三次元撮像システム１０２の任意の数のコンポーネント１０８の１つ又は複数に関連する要因である。

シミュレーションシステム１００内の三次元レンダリングシステム１１５は、環境モデル１１６、センサモデル１１８、及び一組のモデル１２８を使用してシミュレーションデータ１３８を生成することができる。幾つかの事例では、三次元レンダリングシステム１１５は、シミュレーションデータ１３８を生成するために、一組のモデル１２８のうちの１つ又は複数を、センサモデル１１８及び／又は環境モデル１１６に導入することができる。

一実施例では、シミュレーションデータ１３８は、画像バッファ１４０及び深度バッファ１４２の形態をとる。画像バッファ１４０は、シミュレーションした色の画像１４４及びシミュレーションした輝度の画像１４５の少なくとも１つを含む。三次元撮像システム１０２が仮想環境１１４に物理的にほぼ等価な環境内で動作している場合、シミュレーションした色の画像１４４及びシミュレーションした輝度の画像１４５は、三次元撮像システム１０２によって生成される画像１０４に付与される色情報及び輝度情報をそれぞれ表わすと考えられる。
深度バッファ１４２は、シュミレーションした深度情報１４８を供給するシミュレーションした深度の画像１４６を含みうる。例えば、限定しないが、シミュレーションした深度の画像１４６の１つに含まれる各画素は、シミュレーションした色の画像１４４のうちの対応する１つに含まれる対応する画素のシミュレーションした深度値を表わす。

シミュレーションした深度の画像１４６、シミュレーションした色の画像１４４、及びシミュレーションした輝度の画像１４５の各々は、仮想環境１１４及び任意の数の仮想オブジェクト１２４の現状と、仮想環境１１４内における仮想撮像システム１２０及び任意の数の仮想光源１２６の位置に基づいて生成される。任意の数の仮想オブジェクト１２４の状態には、これらのオブジェクトが仮想環境１１４内において占める位置が含まれる。
幾つかの実施例では、三次元レンダリングシステム１１５は、ポイントクラウド１５０を形成するために、深度バッファ１４２に含まれるシミュレーションした深度の画像１４６を使用することができる。ポイントクラウド１５０は、複数の三次元座標内に複数の頂点を含む。ポイントクラウド１５０中の頂点は、仮想環境１１４内においてシミュレーションされた様々な表面上の点を表している。例えば、幾つかの事例では、ポイントクラウド１５０は、仮想環境１１４内の任意の数の仮想オブジェクト１２４の１つ又は複数について形成される。他の実施例では、ポイントクラウド１５０は、仮想環境１１４内の空間全体について形成される。

三次元撮像システム１０２が仮想環境１１４に物理的にほぼ等価な環境内で動作している場合、三次元レンダリングシステム１１５は、ポイントクラウド１５０と共に画像バッファ１４０を使用して、三次元撮像システム１０２によって生成される画像１０４をシミュレーションするシミュレーション画像１５２を生成すると考えられる。さらに、シミュレーション画像１５２は、三次元撮像システム１０２によって生成される画像１０４内に生じうる一組の影響１３０を表わす一組のシミュレーションされた影響１５４を含むことができる。

このように、シミュレーションシステム１００は、三次元撮像システム１０２の動作をシミュレーションするためのシステムを提供する。一実施例では、三次元撮像システム１０２は、例えば、自動ロボットマシンのようなデバイスに埋め込まれたシステムの形態をとることができる。この実施例では、シミュレーションシステム１００によって生成されるシミュレーション画像１５２は、自動ロボットマシンの、ＳＩＬ（software-in-the-loop）試験及び／又はＨＩＬ（hardware-in-the-loop）試験の実行に使用することができる。

次に図２を参照する。図２は、例示的な一実施形態による、画像内に生じる一組の影響のブロック図である。図１の一組の影響１３０に含まれる影響の例が図２に示されている。

図示のように、一組の影響１３０には、例えば、歪み２００、色収差２０２、陰影２０４、照度の影響２０６、ぼけ１０８、深度測定値の不整合２１０、フィールド効果の深度２１２、口径食２１４、及びアナログ／デジタル変換の影響２１６が含まれる。言うまでもなく、他の実施例では、上記に加えて又は代えて、他の影響が一組の影響１３０に含まれてよい。

歪み２００は、シーン内の直線が、シーンの画像内において実質的に直線として現れないとき、シーンの画像に生じているといえる。歪み２００には、例えば、放射状の歪み２１８、接線方向の歪み２２０、及び／又は他の適切な種類の歪みが含まれる。放射状の歪み２１８は、放射方向に対称な歪みである。接線方向の歪み２２０は、図１の三次元撮像システム１０２内におけるレンズと焦点面アレイとのミスアラインメントによって作り出される歪みである。

色収差２０２は、三次元撮像システム１０２内のレンズが同じ収束点にすべての色の焦点を合わせることができない種類の歪みである。一般に、色収差２０２は、画像生成に使用される三次元撮像システム１０２内のレンズが光の異なる波長について異なる屈折率を有するときに画像に生じうる。

陰影２０４は、三次元撮像システム１０２の光源が、環境１０５内において、三次元撮像システム１０２と実質的に同じ位置に存在しないときに生じうる。画像内の照度の影響２０６は、シーン内の異なる表面間で跳ね返ることによりシーン全体に、及びシーンと三次元撮像システム１０２との間の半透明及び／又は透明媒質に光が伝播すると生じる照明効果とすることができる。照度の影響２０６には、例えば、光拡散、反射、及び屈折効果が含まれる。

ぼけ２０８は、画像内の１つ又は複数のオブジェクトのクリアでない又は不明瞭な見た目である。ぼけ２０８は、三次元撮像システム１０２が環境１０５内で移動したとき、及び／又は環境１０５内のオブジェクトが三次元撮像システム１０２に対して移動したときに生じうる。

さらに、深度測定値の不整合２１０は、不正確な深度値である。不正確な深度値は、ノイズ、表面反射、及び／又は他の適切な要因があると、三次元撮像システム１０２によって生成される。

フィールド効果の深度２１２は、画像内のシーンの他の部分の焦点が合っているとき、シーンの一部のぼけとして画像内に生じうる。口径食２１４は、画像の周囲領域の明度が中央領域より低いとき、画像内に存在しているといえる。

アナログ／デジタル変換の影響２１６は、例えば、焦点面アレイにより、三次元撮像システム１０２において検出された光の変換結果として、例えば、三次元撮像システム１０２内のプロセッサによって処理することが可能な電気信号に生じうる。さらに、幾つかの事例では、アナログ／デジタル変換の影響２１６は、画像形成を目的としたこのような電気信号の処理の結果として生じうる。

アナログ／デジタル変換の影響には、例えば、限定されないが、ノイズ２２２、飽和２２４、及び／又は他の適切な種類の影響が含まれる。ノイズ２２２には、画像内における明度及び／又は色及び／又は他の収差のランダムな局所的変化が含まれる。幾つかの事例では、ノイズ２２２は「ごま塩」ノイズの形態をとることがある。

飽和２２４は、撮像されているシーンの照度レベルが、画像内の画素に可能な値の範囲に基づいて、画像に捕獲するには高すぎるか、又は低すぎるときに生じうる。すなわち、シーン内の輝度レベルの範囲が、画像内の画素に可能な値の範囲より大きい。この結果、画像内の画素の値の範囲を超えた明度又は暗度の変化は、画像内の一部の画素には表現されない。このような画素は「飽和している」と言われる。

言うまでもなく、他の実施例では、上記に加えて又は代えて、他の影響が、図１の三次元撮像システム１０２によって生成される画像内に現れてよい。例えば、限定しないが、非線型性、ぼやけ、レンズのフレア、目視可能なアーチファクト、望ましくないフィーチャ、及び／又は他の適切な種類の影響といった影響が画像内に現れうる。

ここで図３を参照する。図３は、例示的一実施形態による、三次元撮像システムにより生成される画像に生じる一組の影響を引き起こす要因を示すブロック図である。この実施例には、図１の要因１３２の例が記載されている。

環境要因１３４には、例えば、限定されないが、表面特性３００、大気粒子３０２、鏡面マテリアル３０４、環境の種類３０６、及び／又は他の適切な種類の環境要因が含まれる。表面特性３００には、図１の環境１０５内の異なる表面の特性が含まれる。例えば、表面特性３００は、環境１０５内における任意の数の航空機の表面の特性を含みうる。

大気粒子３０２には、例えば、限定されないが、煙、霧、靄、雲、スモッグ、及び／又は他の大気条件の粒子が含まれる。大気粒子３０２は、画像をぼやけさせる場合がある。

鏡面マテリアル３０４は、光源、反射表面、及び三次元撮像システム１０２の視点の間の特定の相対的角度において、ミラーのように働く任意の材料とすることができる。鏡面マテリアル３０４は、画像に鏡面ハイライトをもたらす。鏡面ハイライトは、光源の色を有する極めて明るい区域である。

環境の種類３０６は、三次元撮像システム１０２が動作する環境の種類である。例えば、限定しないが、環境の種類３０６として、水中環境、陸上環境、空中環境、空洞、宇宙環境、又は他の何らかの適切な種類の環境のうちの一つを選択することができる。

このような実施例では、コンポーネント要因１３６には、光学システムの特性３０８、焦点面アレイの構成３１０、画像処理ソフトウェア３１２、及び／又は他の適切な要因が含まれる。光学システムの特性３０８には、例えば、限定されないが、使用されるレンズの数、使用されるレンズの種類、レンズを構成する材料、使用される光学フィルタの特性、及び／又は三次元撮像システム１０２の光学的コンポーネントの他の特性が含まれる。光学システムの特性３０８は、画像をぼやけさせることがあり、レンズのフレア、及び／又は他の種類の影響を引き起こすことがある。

焦点面の構成３１０は、三次元撮像システム１０２の焦点面アレイの構成を含む。焦点面アレイが選択された公差内で適切に較正されていないとき、焦点面アレイの構成３１０によって画像に１つ又は複数の影響が生じることがある。

さらに、三次元撮像システム１０２に使用される画像処理ソフトウェア３１２によって、画像に１つ又は複数の影響が生じることがある。一実施例として、三次元撮像システム１０２によって生成される情報を圧縮して圧縮画像を形成する画像処理ソフトウェア３１２によって、画像内に望ましくないフィーチャが現れることがある。例えば、圧縮画像において、特定のオブジェクトがクリアでない又は不明瞭になることがある。

図１に示すシミュレーションシステム１００、図２に示す一組の影響１３０、及び図３に示す要因１３２は、例示的な実施形態を実施可能な方式を物理的又はアーキテクチャ的に限定するものではない。図示したコンポーネントに加えて又は代えて、他のコンポーネントを使用することができる。幾つかのコンポーネントは不必要になることがある。また、ブロックは、幾つかの機能的なコンポーネントを示すために提示されている。例示的な実施形態において実施される場合、これらのブロックの一又は複数を、異なるブロックに統合、分割、或いは統合且つ分割することができる。

例えば、幾つかの実施例では、三次元撮像システム１０２に加えて１つ又は複数の撮像システムをシミュレーションすることができる。具体的には、仮想撮像システム１２０に加えて、１つ又は複数の仮想撮像システムを仮想環境１１４に加えることができる。

次に図４を参照する。図４は、例示的な一実施形態による、三次元撮像システムの視野を示している。この実施例では、視野４００は、図１の視野１０７の一実装態様の一例である。視野４００は、三次元撮像システム（例えば、図１に示す三次元撮像システム１０２）の位置４０１における視野である。

図示のように、視野４００は、前面４０２、上面４０４、左側面４０６、背面４０８、底面４１０、及び右側面４１２によって画定される。さらに、三次元撮像システムの視線４１４は、位置４０１から始まって視野４００の中央を通って延びる。

次に図５を参照。図５は、例示的な一実施形態による仮想環境を示している。この実施例では、仮想環境５００は、図１の仮想環境１１４の一実装態様の一例である。図示のように、仮想撮像システム５０２は仮想環境５００内に存在している。

仮想撮像システム５０２は、三次元撮像システム（例えば、図１の三次元撮像システム１０２）の一表現である。この実施例では、仮想光源５０４は、仮想環境５００内の仮想撮像システム５０２に関連付けられている。

さらに、仮想環境５００内には仮想オブジェクト５０６も存在している。図示の実施例では、仮想オブジェクト５０６は航空機を表現したものである。仮想環境５００は、仮想撮像システム５０２が表わす三次元撮像システムによって生成される、仮想オブジェクト５０６が表わす航空機の画像がシミュレーションされるように、生成される。

次に図６を参照する。図６は、例示的な実施形態による、シミュレーションした輝度の画像を示している。この実施例では、シミュレーションした輝度の画像６００は、図１の画像バッファ１４０に含まれるシミュレーションした輝度の画像１４５の１つの一実装態様の一例である。

シミュレーションした輝度の画像６００は、例えば、図１の三次元レンダリングシステム１１５を使用して生成される。シミュレーションした輝度の画像６００は、図５の仮想環境５００内の仮想撮像システム５０２を使用して生成された画像の一実施例である。この実施例では、シミュレーションした輝度の画像６００に含まれる各画素は、画像に捕獲された図５の仮想オブジェクト５０６上の１点の強度値を表わす。

次に図７を参照する。図７は、例示的な実施形態による、シミュレーションした深度の画像を示している。この実施例では、シミュレーションした深度の画像７００は、図１の深度バッファ１４２内のシミュレーションした深度の画像１４６の１つの一実装態様の一例である。

シミュレーションした深度の画像７００は、例えば、図１の三次元レンダリングシステム１１５を使用して生成される。シミュレーションした深度の画像７００に含まれる各画素は、図６のシミュレーションした輝度の画像６００内の対応する画素に対応する深度値を表わす。

次に図８を参照する。図８は、有利な一実施形態によるポイントクラウドを示している。この実施例では、ポイントクラウド８００は、図１のポイントクラウド１５０の一実装態様の一例である。ポイントクラウド８００は、例えば、図１の三次元レンダリングシステム１１５を使用して形成される。

具体的には、三次元レンダリングシステム１１５は、シミュレーションした深度の画像７００及び／又は図５の仮想環境５００内の仮想撮像システム５０２について生成された他のシミュレーションした深度の画像を使用して、ポイントクラウド８００を形成する。図示のように、ポイントクラウド８００の各頂点８０２は、図５の仮想オブジェクト５０６の表面上の一点を表わす。

次に図９を参照する。図９は、例示的な一実施形態による、三次元撮像システムのシミュレーションプロセスのフロー図である。図９に示されるプロセスは、図１の三次元撮像システム１０２をシミュレーションするために、図１のシミュレーションシステム１００を使用して実施される。

このプロセスは、仮想環境を生成するための環境モデルを特定することにより開始される（工程９００）。プロセスは、次いで、仮想環境内における三次元撮像システムの動作をシミュレーションするためのセンサモデルを特定する（工程９０２）。その後、プロセスは、三次元撮像システムによって生成される画像内に生じる一組の影響の一組のモデルを特定する（工程９０４）。

プロセスは、次いで、環境モデル、センサモデル、及び一組のモデルを使用して、シミュレーションデータを生成する（工程９０６）。次に、プロセスは、シミュレーションデータを使用して、三次元撮像システムが、仮想環境に物理的にほぼ等価な環境内で動作した場合に三次元撮像システムによって生成されるであろう画像をシミュレーションするシミュレーション画像を生成し（工程９０８）、その後終了する。

図示された種々の実施形態のフローチャート及びブロック図は、例示的な一実施形態における装置及び方法の幾つかの実施可能なアーキテクチャ、機能性、及び工程を説明するものである。これに関して、フロー図又はブロック図の各ブロックは、工程又はステップの１つのモジュール、セグメント、機能及び／又は部分を表わすことができる。例えば、ブロックの一又は複数は、ハードウェア内のプログラムコードとして、又はプログラムコードとハードウェアの組合せとして実施可能である。ハードウェアにおいて実施されるとき、ハードウェアは、例えば、フロー図又はブロック図の１つ又は複数の工程を実施するように製造又は構成された集積回路の形態をとることができる。

例示的な一実施形態の幾つかの代替的な実装態様では、ブロックに記載された１つ又は複数の機能は、図中に記載の順序を逸脱して現れることがある。例えば、場合によっては、連続して示されている２つのブロックは、含まれる機能によって、ほぼ同時に実行されても、又は時には逆の順番で実施されてもよい。また、フロー図又はブロック図に示されるブロックに他のブロックが追加されてもよい。

次に図１０を参照する。図１０は、例示的な一実施形態によるデータ処理システムを示している。この実施例では、データ処理システム１０００は、図１のコンピュータシステム１１０の１つ又は複数のコンピュータを実施するために使用される。データ処理システム１０００は通信ファブリック１００２を含み、この通信ファブリック１００２はプロセッサユニット１００４、メモリ１００６、固定記憶域１００８、通信ユニット１０１０、入出力（Ｉ／Ｏ）ユニット１０１２、及びディスプレイ１０１４の間の通信を行う。

プロセッサユニット１００４は、メモリ１００６にローディングされるソフトウェアに対する命令を実行するように働く。プロセッサユニット１００４は、特定の実装態様に応じて、任意の数のプロセッサ、マルチプロセッサコア、グラフィック処理装置（ＧＰＵ）、及び／又は他の何らかの種類のプロセッサを含みうる。本明細書でアイテムに言及して「任意の数の」というとき、１つ又は複数のアイテムを意味する。さらに、プロセッサユニット１００４は、単一チップ上にメインプロセッサと二次プロセッサとが共存する任意の数の異種プロセッサシステムを使用して実施されてもよい。別の実施例では、プロセッサユニット１００４は同種のプロセッサを複数個含む対称型マルチプロセッサシステムであってもよい。

メモリ１００６及び固定記憶域１００８は、記憶装置１０１６の例である。記憶装置は、例えば、限定しないが、データ、機能的な形態のプログラムコード、及び／又は他の適切な情報などの情報を、一時的に及び／又は永続的に格納することができる任意のハードウェア部分である。記憶装置１０１６は、このような実施例では、コンピュータで読込可能な記憶装置とも呼ばれる。このような実施例では、メモリ１００６は、例えば、ランダムアクセスメモリ又は他の何らかの適切な揮発性又は不揮発性の記憶装置であってもよい。固定記憶域１００８は、特定の実装態様に応じて様々な形態をとることができる。

例えば、固定記憶域１００８は、１つ又は複数のコンポーネント又はデバイスを含みうる。例えば、固定記憶域１００８は、ハードドライブ、フラッシュメモリ、書換え形光ディスク、書換え可能磁気テープ、又はそれらの何らかの組み合わせであってよい。固定記憶域１００８によって使用される媒体は、取り外し可能なものでもよい。例えば、取り外し可能なハードドライブを固定記憶域１００８に使用することができる。

このような実施例では、通信ユニット１０１０は、他のデータ処理システム又はデバイスとの通信を行う。このような実施例では、通信ユニット１０１０はネットワークインターフェースカードである。通信ユニット１０１０は、物理的通信リンク及び無線の通信リンクの一方又は両方を使用することによって通信することができる。

入出力ユニット１０１２により、データ処理システム１０００に接続可能な他のデバイスによるデータの入出力が可能になる。例えば、入出力ユニット１０１２は、キーボード、マウス、及び／又は他の何らかの適切な入力装置を介してユーザ入力のための接続を提供することができる。さらに、入出力ユニット１０１２は、プリンタに出力を送ることができる。ディスプレイ１０１４は、ユーザに対して情報を表示する機構を提供する。

オペレーティングシステム、アプリケーション、及び／又はプログラムに対する命令は記憶装置１０１６に格納されており、この記憶装置は通信ファブリック１００２を介してプロセッサユニット１００４と通信する。このような実施例では、命令は固定記憶域１００８上において機能的な形態になっている。これらの命令は、メモリ１００６にローディングされてプロセッサユニット１００４によって実行される。種々の実施形態のプロセスは、メモリ（例えば、メモリ１００６）に配置される、コンピュータで実施される命令を使用して、プロセッサユニット１００４によって実行されうる。

これらの命令は、プログラムコード、コンピュータで使用可能なプログラムコード、又はコンピュータで読込可能なプログラムコードと呼ばれ、プロセッサユニット１００４内の１つのプロセッサによって読込まれて実行されうる。種々の実施形態のプログラムコードは、様々な物理的記憶媒体又はコンピュータで読込可能な記憶媒体（例えば、メモリ１００６又は固定記憶域１００８）上に具現化されうる。

プログラムコード１０１８は、選択的に取り外し可能なコンピュータで読込可能な媒体１０２０上に機能的な形態で位置し、データ処理システム１０００にローディング又は転送されて、プロセッサユニット１００４によって実行される。プログラムコード１０１８及びコンピュータで読込可能な媒体１０２０は、このような実施例ではコンピュータプログラム製品１０２２を形成する。一実施例では、コンピュータで読込可能な媒体１０２０は、コンピュータで読込可能な記憶媒体１０２４又はコンピュータで読込可能な信号媒体１０２６である。コンピュータで読込可能な記憶媒体１０２４は、例えば、固定記憶域１００８の一部であるドライブ又は他のデバイスに挿入又は配置されて、固定記憶域１００８の一部である、ハードドライブなどの記憶装置上に転送される光ディスク又は磁気ディスクを含みうる。

コンピュータで読込可能な記憶媒体１０２４は、データ処理システム１０００に接続されているハードドライブ、サムドライブ、又はフラッシュメモリなどの固定記憶域の形態もとりうる。幾つかの例では、コンピュータで読込可能な記憶媒体１０２４は、データ処理システム１０００から取り外し可能でなくともよい。このような実施例では、コンピュータで読込可能な記憶媒体１０２４は、プログラムコード１０１８を伝搬又は転送する媒体ではなく、プログラムコード１０１８を格納するために使用される物理的な又は有形の記憶装置である。コンピュータで読込可能な記憶媒体１０２４は、コンピュータで読込可能な有形の記憶装置又はコンピュータで読込可能な物理的な記憶装置とも呼ばれる。換言すると、コンピュータで読込可能な記憶媒体１０２４は、人が触れることのできる媒体である。

代替的に、プログラムコード１０１８は、コンピュータで読込可能な信号媒体１０２６を用いてデータ処理シスム１０００に転送可能である。コンピュータで読込可能な信号媒体１０２６は、例えば、プログラムコード１０１８を含む伝播されたデータ信号であってもよい。例えば、コンピュータで読込可能な信号媒体１０２６は、電磁信号、光信号、及び／又は他のいずれかの適切な種類の信号であってもよい。これらの信号は、無線通信リンク、光ファイバケーブル、同軸ケーブル、有線、及び／又は他のいずれかの適切な種類の通信リンクといった通信リンクによって転送される。換言すると、本発明の実施例では、通信リンク及び／又は接続は物理的なもの又は無線によるものでありうる。

幾つかの実施形態では、プログラムコード１０１８は、コンピュータで読込可能な信号媒体１０２６により、ネットワークを介して別のデバイス又はデータ処理システムから固定記憶域１００８にダウンロードされて、データ処理システム１０００内で使用される。例えば、サーバーデータ処理システムのコンピュータで読込可能な記憶媒体に格納されたプログラムコードは、ネットワークを介してサーバーからデータ処理システム１０００にダウンロードすることができる。プログラムコード１０１８を提供するデータ処理システムは、サーバーコンピュータ、クライアントコンピュータ、又はグラムコード１０１８を格納及び転送することができる他の何らかのデバイスであってもよい。

データ処理システム１０００に例示されている種々のコンポーネントは、種々の実施形態を実施できる方式をアーキテクチャ的に制限するものではない。異なる例示的実施形態が、データ処理システム１０００について示されているコンポーネントに追加的又は代替的なコンポーネントを含むデータ処理システムにおいて実施されうる。図１０に示す他のコンポーネントは、図示の実施例から変更することができる。種々の実施形態は、プログラムコードを実行できる任意のハードウェアデバイス又はシステムを使用して実施することができる。一実施例として、データ処理システムは、無機コンポーネントと一体化した有機コンポーネントを含むことができる、及び／又は全体を人間を除く有機コンポーネントで構成することができる。例えば、記憶装置は、有機半導体で構成することができる。

別の実施例では、プロセッサユニット１００４は、特定の用途のために製造又は構成された回路を有するハードウェアユニットの形態をとってもよい。この種のハードウェアは、工程を実行するように構成された記憶装置からメモリにプログラムコードをローディングする必要なく、工程を実施することができる。

例えば、プロセッサユニット１００４がハードウェアユニットの形態をとる場合、プロセッサユニット１００４は、回路システム、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス、又は任意の数の工程を実行する他の何らかの適切な種類のハードウェアであってもよい。プログラマブルロジックデバイスの場合、このデバイスは任意の数の工程を実行する。このデバイスは、その後再構成することも、又は任意の数の工程を実行するように恒久的に構成することもできる。プログラマブルロジックデバイスの例として、例えば、プログラマブルロジックアレイ、プログラマブルアレイロジック、フィールドプログラマブルロジックアレイ、フィールドプログラマブルゲートアレイ、及び他の適切なハードウェアデバイスが挙げられる。この種の実装態様では、種々の実施形態のプロセスがハードウェア装置で実施されるため、プログラムコード１０１８は省略されてもよい。

さらに別の実施例では、プロセッサユニット１００４は、コンピュータ及びハードウェアユニットの中に見出されるプロセッサの組み合わせを使用して実施することができる。プロセッサユニット１００４は、プログラムコード１０１８を実行するように構成された任意の数のハードウェアユニット及び任意の数のプロセッサを有することができる。この実施例では、プロセスの幾つかは、任意の数のハードウェアユニットにおいて実施することができ、他のプロセスは任意の数のプロセッサで実施することができる。

別の実施例では、バスシステムは、通信ファブリック１００２を実施するために使用することができ、システムバス又は入出力バスといった１つ又は複数のバスから構成することができる。言うまでもなく、バスシステムは、バスシステムに取り付けられた種々のコンポーネント又はデバイスの間でのデータ伝送を行う任意の適切な種類のアーキテクチャを使用して実施することができる。

加えて、通信ユニットは、データの送信、データの受信、又はデータの送受信を行う任意の数のデバイスを含みうる。通信ユニットは、例えば、モデム又はネットワークアダプタ、２個のネットワークアダプタ、又はこれらの何らかの組み合わせであってもよい。さらに、メモリは、例えば、通信ファブリック１００２内に存在することがあるインターフェース及びメモリコントローラハブにみられるような、メモリ１００６又はキャッシュであってもよい。

テキスト及び図面において、三次元撮像システム１０２によって生成される画像１０４のシミュレーション方法が開示される。この方法は、三次元撮像システム１０２によって生成される画像に生じる一組の影響１３０の一組のモデル１２８を特定すること、及び一組のモデル１２８と三次元レンダリングシステム１１５とを使用して、三次元撮像システム１０２によって生成される画像をシミュレーションするシミュレーション画像１５２を生成することを含む。一実施例では、方法は、三次元撮像システム１０２が動作する環境１０５を表わす環境モデル１１６を特定することをさらに含む。一例では、方法は、環境モデル１１６を使用して仮想環境１１４を生成することをさらに含み、この仮想環境１１４は、三次元撮像システム１０２が動作する実際の環境及び概念的環境の一方を表している。一実施例では、方法は、三次元撮像システム１０２をシミュレーションするように構成されたセンサモデル１１８を特定することをさらに含む。

一変形例では、シミュレーション画像１５２を生成するステップは、一組の影響１３０の一組のモデル１２８、環境モデル１１６、センサモデル１１８、及び三次元レンダリングシステム１１５を使用してシミュレーションデータ１３８を生成することを含み、このシミュレーションデータには画像バッファ１４０と深度バッファ１４２とが含まれる。また別の実施例では、シミュレーション画像１５２を生成するステップは、画像バッファ１４０と深度バッファ１４２とを使用して三次元撮像システム１０２によって生成される画像１０４をシミュレーションするシミュレーション画像１５２を生成することをさらに含む。また別の場合には、画像バッファ１４０と深度バッファ１４２とを使用して三次元撮像システム１０２によって生成される画像１０４をシミュレーションするシミュレーション画像１５２を生成するステップは、深度バッファ１４２を使用してポイントクラウドを生成すること、並びに、ポイントクラウドと、画像バッファ１４０内のシミュレーションした色の画像１４４及びシミュレーションした輝度の画像１４５のうちの少なくとも１つとを使用してシミュレーション画像１５２を生成することを含む。

また別の実施例では、方法は、三次元撮像システム１０２によって生成される画像１０４に生じた一組の影響１３０を特定することをさらに含む。一例では、一組の影響１３０のうちの１つは任意の数の要因によって生じ、これら任意の数の要因１３２には、環境要因１３４及びコンポーネント要因１３６のうちの少なくとも１つが含まれ、一組の影響１３０には、歪み２００、放射状の歪み２１８、接線方向の歪み２２０、色収差２０２、陰影２１０、ぼけ２０８、深度測定値の不整合２１０、フィールド効果の深さ２１２、口径食２１４、アナログ／デジタル変換の影響２１６、ノイズ２２２、及び飽和２２４のうちの少なくとも一つが含まれる。

一態様では、三次元撮像システム１０２によって生成される画像１０４のシミュレーション装置が開示される。この装置は、三次元撮像システム１０２を表わすように構成されたセンサモデル１１８、三次元撮像システム１０２が動作する環境１０５を表わすように構成された環境モデル１１６、並びに、センサモデル１１８及び環境モデル１１６と通信し、三次元撮像システム１０２によって生成される画像１０４内に生じる一組の影響１３０の一組のモデル１２８を特定するように構成された三次元レンダリングシステム１１５を含んでいる。一例では、装置は、環境モデル１１６を使用して三次元レンダリングシステム１１５が生成した仮想環境１１４をさらに含み、この仮想環境１１４は、三次元撮像システム１０２が動作する実際の環境及び概念的環境のうちの一方を表している。また別の例では、三次元レンダリングシステム１１５は、さらに、センサモデル１１８及び一組の影響１３０の一組のモデル１２８を使用して仮想環境１１４内における三次元撮像システム１０２の動作をシミュレーションするように構成される。一実施例では、三次元撮像システム１０２は、さらに、センサモデル１１８、環境モデル１１６、及び一組の影響１３０の一組のモデル１２８を使用してシミュレーションデータ１３８を生成するように構成され、このシミュレーションデータには画像バッファ１４０と深度バッファ１４２とが含まれる。別の実施例では、深度バッファ１４２には、シミュレーションした深度の画像１０４が含まれ、画像バッファ１４０には、シミュレーションした色の画像１４４及びシミュレーションした輝度の画像１４５のうちの少なくとも１つが含まれる。一変形例では、三次元レンダリングシステム１１５は、さらに、シミュレーションした深度の画像１０４、シミュレーションした色の画像１４４、及びシミュレーションした輝度の画像１４５のうちの少なくとも１つを使用してシミュレーション画像１５２を生成するように構成されており、シミュレーション画像１５２は、三次元撮像システム１０２が三次元レンダリングシステム１１５によって作成された仮想環境１１４に物理的にほぼ等価な環境１０５内で動作するときに、三次元撮像システム１０２によって生成される画像１０４を表わす。一変形例では、三次元レンダリングシステム１１５は、さらに、シミュレーションした深度の画像１０４を使用してポイントクラウド１５０を生成し、ポイントクラウド１５０と、画像バッファ１４０に含まれるシミュレーションした色の画像１４４及びシミュレーションした輝度の画像１４５のうちの少なくとも１つとを使用してシミュレーション画像１５２を作成するように構成される。別の変形例では、シミュレーション画像１５２は、三次元撮像システム１０２が、三次元レンダリングシステム１１５によって形成された仮想環境１１４に物理的にほぼ等価な環境内で動作しているとき、三次元撮像システム１０２によって生成される画像内に生じる一組の影響１３０を表わすシミュレーションされた一組の影響を含む。また別の変形例では、一組の影響１３０のうちの１つは任意の数の要因によって生じ、これら任意の数の要因には、環境要因及びコンポーネント要因のうちの少なくとも１つが含まれ、一組の影響１３０には、歪み、放射状の歪み、接線方向の歪み、色収差、陰影、ぼけ、深度測定値の不整合、フィールド効果の深さ、口径食、アナログ／デジタル変換の影響、ノイズ、及び飽和のうちの少なくとも一つが含まれる。

一態様では、三次元撮像システム１０２の動作をシミュレーションするためのシミュレーションシステムが開示される。このシミュレーションシステムは、三次元撮像システム１０２を表わすように構成されたセンサモデル１１８、三次元撮像システム１０２が動作する実際の環境及び概念的な環境のうちの一方を表わす環境モデル１１６、三次元撮像システム１０２によって生成される画像内に生じる一組の影響１３０の一組のモデル１２８、並びに、センサモデル１１８、環境モデル１１６、及び一組影響１３０の一組のモデル１２８のうちの１つ又は複数と通信して、環境モデルを使用して仮想環境１１４を作成し、センサモデル１１８と、一組の影響１３０の一組のモデル１２８とを使用して仮想環境１１４内における三次元撮像システム１０２の動作をシミュレーションするように構成された三次元レンダリングシステム１１５を含む。別の例では、三次元レンダリングシステム１１５は、環境モデル１１６、センサモデル１１８、及び一組のモデル１２８を使用した三次元撮像システム１０２の動作のシミュレーションに基づいて、シミュレーション画像１５２を生成するように構成されており、シミュレーション画像１５２には、三次元撮像システム１０２が、三次元レンダリングシステム１１５によって作成された仮想環境１１４に物理的にほぼ等価な環境内で動作するときに、三次元撮像システム１０２によって生成される画像内に生じる一組の影響１３０のうちの１つ又は複数を表わすシミュレーションされた一組の影響が含まれる。

このようにして、種々の例示的実施形態により、三次元撮像システムの動作をシミュレーションするための方法及び装置が提供される。例示的な一実施形態では、三次元撮像システムによって生成される画像をシミュレーションするための方法が提供される。三次元撮像システムによって生成される画像に生じる一組の影響の一組のモデルが特定される。三次元撮像システムによって生成される画像をシミュレーションするシミュレーション画像は、一組のモデル及び三次元レンダリングシステムを使用して生成される。

上述した種々の例示的な実施形態の説明は、例示及び説明を目的とするものであり、完全な説明であること、又はこれらの実施形態を開示された形態に限定することを意図していない。当業者には、多数の修正例及び変形例が明らかであろう。さらに、種々の例示的な実施形態は、他の例示的な実施形態とは異なる利点を提供することができる。選択された１つ又は複数の実施形態は、実施形態の原理、実際の用途を最もよく説明するため、及び他の当業者に対し、様々な実施形態の開示内容と、考慮される特定の用途に適した様々な修正との理解を促すために選択及び記述されている。

４００ 視野
４０１ 三次元撮像システムの位置
４０２ 全面
４０４ 上面
４０６ 左側面
４０８ 背面
４１０ 底面
４１２ 右側面
４１４ 視線
５００ 仮想環境
５０２ 仮想撮像システム
５０４ 仮想光源
５０６ 仮想オブジェクト
６００ シミュレーションした輝度の画像
７００ シミュレーションした深度の画像
８００ ポイントクラウド
８０２ 頂点

Claims (12)

1. 三次元撮像システム（１０２）によって生成される画像（１０４）のシミュレーション方法であって、
   三次元撮像システム（１０２）によって生成される画像に生じる一組の影響（１３０）の一組のモデル（１２８）を特定すること、及び
   一組のモデル（１２８）及び三次元レンダリングシステム（１１５）を使用して、三次元撮像システム（１０２）によって生成される画像をシミュレーションするシミュレーション画像（１５２）を生成すること
   を含む方法。
2. 三次元撮像システム（１０２）が動作する環境（１０５）を表わす環境モデル（１１６）を特定すること、
   三次元撮像システム（１０２）によって生成される画像（１０４）に生じる一組の影響（１３０）を特定すること、
   環境モデル（１１６）を使用して、三次元撮像システム（１０２）が動作する実際の環境及び概念的環境のうちの一方を表わす仮想環境（１１４）を生成すること、並びに
   三次元撮像システム（１０２）をシミュレーションするように構成されたセンサモデル（１１８）を特定すること
   をさらに含む、請求項１に記載の方法。
3. シミュレーション画像（１５２）を生成するステップが、
   一組の影響（１３０）の一組のモデル（１２８）、環境モデル（１１６）、センサモデル（１１８）、及び三次元レンダリングシステム（１１５）を使用して、画像バッファ（１４０）と深度バッファ（１４２）とを含むシミュレーションデータ（１３８）を生成すること
   を含む、請求項１又は２に記載の方法。
4. シミュレーション画像（１５２）を生成するステップが、
   画像バッファ（１４０）及び深度バッファ（１４２）を使用して、三次元撮像システム（１０２）によって生成される画像（１０４）をシミュレーションするシミュレーション画像（１５２）を生成すること
   をさらに含む、請求項３に記載の方法。
5. 画像バッファ（１４０）及び深度バッファ（１４２）を使用して、三次元撮像システム（１０２）によって生成される画像（１０４）をシミュレーションするシミュレーション画像（１５２）を生成するステップが、
   深度バッファ（１４２）を使用してポイントクラウドを生成すること、並びに
   ポイントクラウドと、画像バッファ（１４０）に含まれるシミュレーションした色の画像（１４４）及びシミュレーションした輝度の画像（１４５）のうちの少なくとも１つとを使用して、シミュレーション画像（１５２）を生成すること
   を含む、請求項４に記載の方法。
6. 一組の影響（１３０）のうちの１つは任意の数の要因によって生じ、任意の数の要因（１３２）には、環境要因（１３４）及びコンポーネント要因（１３６）のうちの少なくとも１つが含まれ、一組の影響（１３０）には、歪み（２００）、放射状の歪み（２１８）、接線方向の歪み（２２０）、色収差（２０２）、陰影（２１０）、ぼけ（２０８）、深度測定値の不整合（２１０）、フィールド効果の深さ（２１２）、口径食（２１４）、アナログ／デジタル変換の影響（２１６）、ノイズ（２２２）、及び飽和（２２４）のうちの少なくとも１つが含まれる、請求項１ないし５のいずれか一項に記載の方法。
7. 三次元撮像システム（１０２）によって生成される画像（１０４）のシミュレーション装置であって、
   三次元撮像システム（１０２）を表わすように構成されているセンサモデル（１１８）、
   三次元撮像システム（１０２）が動作する環境（１０５）を表わす環境モデル（１１６）、並びに
   センサモデル（１１８）及び環境モデル（１１６）と通信しており、三次元撮像システム（１０２）によって生成される画像（１０４）に生じる一組の影響（１３０）の一組のモデル（１２８）を特定するように構成されている三次元レンダリングシステム（１１５）
   を備える装置。
8. 環境モデル（１１６）を使用して三次元レンダリングシステム（１１５）によって作成された仮想環境（１１４）をさらに含んでおり、仮想環境（１１４）が、三次元撮像システム（１０２）が動作する実際の環境及び概念的環境のうちの一方を表し、
   三次元レンダリングシステム（１１５）は、さらに、センサモデル（１１８）及び一組の影響（１３０）の一組のモデル（１２８）を使用して仮想環境（１１４）内における三次元撮像システム（１０２）の動作をシミュレーションするように構成されている、
   請求項７に記載の装置。
9. 三次元撮像システム（１０２）は、さらに、センサモデル（１１８）、環境モデル（１１６）、及び一組の影響（１３０）の一組のモデル（１２８）を使用してシミュレーションデータ（１３８）を生成するように構成されており、シミュレーションデータには画像バッファ（１４０）と深度バッファ（１４２）とが含まれている、請求項７又は８に記載の装置。
10. 深度バッファ（１４２）には、シミュレーションした深度の画像（１０４）が含まれており、画像バッファ（１４０）には、シミュレーションした色の画像（１４４）及びシミュレーションした輝度の画像（１４５）のうちの少なくとも１つが含まれている、請求項７に記載の装置。
11. 三次元レンダリングシステム（１１５）は、さらに、シミュレーションした深度の画像（１０４）、シミュレーションした色の画像（１４４）、及びシミュレーションした輝度の画像（１４５）のうちの少なくとも１つを使用してシミュレーション画像（１５２）を生成するように構成されており、シミュレーション画像（１５２）は、三次元撮像システム（１０２）が三次元レンダリングシステム（１１５）によって作成された仮想環境（１１４）に物理的にほぼ等価な環境（１０５）内で動作するときに、三次元撮像システム（１０２）によって生成される画像（１０４）を表わしている、請求項１０に記載の装置。
12. 三次元レンダリングシステム（１１５）は、さらに、シミュレーションした深度の画像（１０４）を使用してポイントクラウド（１５０）を生成し、且つポイントクラウド（１５０）と、画像バッファ（１４０）に含まれるシミュレーションした色の画像（１４４）及びシミュレーションした輝度の画像（１４５）のうちの少なくとも１つとを使用してシミュレーション画像（１５２）を生成するように構成されており、シミュレーション画像（１５２）は、三次元撮像システム（１０２）が三次元レンダリングシステム（１１５）によって作成された仮想環境（１１４）に物理的にほぼ等価な環境内で動作するときに、三次元撮像システム（１０２）によって生成される画像に生じる一組の影響（１３０）を表わすシミュレーションされた一組の影響を含んでいる、請求項９又は１０に記載の装置。