JP2023162943A - 情報処理装置、情報処理方法 - Google Patents

Abstract

【課題】 撮像装置の特性やレンズの特性に応じたメッシュ群のデータの生成技術を提供すること。【解決手段】 撮像装置の特性に係る第１情報と、該撮像装置に装着されているレンズの特性に係る第２情報と、に基づいて、頂点群の配置を決定し、該決定した配置における頂点群に基づくメッシュ群のデータを生成する。【選択図】 図２

Description

本発明は、メッシュ群のデータを生成するための技術に関するものである。

視聴者が臨場感のある映像を楽しむために用いられる表示装置として、頭部に装着して視聴者の見ている方向を検出することで、広視野角の映像を見回しながら視聴することができる表示装置が提案されている。このような表示装置において、映像に歪みが残っていると、映像酔いや違和感により視聴者に体調不良を招来してしまうおそれがある。広視野の映像の歪曲や射影を補正して表示する方法として、メッシュデータを利用して再生する方法がある。

特許文献１は、半球の形状データに基づいて３Ｄプリンタ等で生成した現実物体としての半球を撮像装置で撮影し、撮影画像と形状データ上の頂点とを対応付けることで、該撮像装置で撮影した魚眼画像を補正表示するための半球状のメッシュデータを生成する技術を開示している。

米国特許第９８６５０５５号明細書

近年、頭部に装着して映像を視聴することにより、視聴者が臨場感あふれる映像を楽しむことができる、ヘッドマウントディスプレイ（以下、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）と称する）が広く利用されている。ＨＭＤに映像を表示する場合、魚眼レンズを備える撮像装置で撮像された入力映像をメッシュにマッピングして３次元ＣＧ空間に配置し、仮想カメラに基づいてメッシュをレンダリングすることにより表示用の映像を生成する処理が行われる。レンズ交換式撮像装置の場合、レンズを切り替えることにより、撮影した映像の歪み方や撮像範囲が変わる。そのため、異なるレンズとカメラの組み合わせで１つのメッシュデータを利用すると、レンズとメッシュの組み合わせによって視聴時に表示映像に歪みが発生したり、撮像範囲がすべて表示できない場合がある。そのため、ＨＭＤに表示された映像を視聴する際に、視聴者が映像酔いを引き起こす、違和感を覚えてしまうなどの課題があった。本発明では、撮像装置の特性やレンズの特性に応じたメッシュ群のデータの生成技術を提供する。

本発明の一様態は、撮像装置の特性に係る第１情報と、該撮像装置に装着されているレンズの特性に係る第２情報と、に基づいて、頂点群の配置を決定する決定手段と、前記決定手段が決定した配置における頂点群に基づくメッシュ群のデータを生成する生成手段とを備えることを特徴とする。

本発明の構成によれば、撮像装置の特性やレンズの特性に応じたメッシュ群のデータの生成技術を提供することができる。

情報処理装置１００のハードウェア構成例を示すブロック図。 情報処理装置１００の機能構成例を示すブロック図。 情報処理装置１００がメッシュデータを生成するために行う処理のフローチャート。 メッシュデータを説明する図。 メッシュオブジェクトの一例を示す図。 メッシュオブジェクトの一例を示す図。 メッシュオブジェクトの一例を示す図。 メッシュオブジェクトの一例を示す図。 メッシュオブジェクトの一例を示す図。 頂点座標リストの生成方法を説明する図。 三角形リストの生成方法を説明する図。 ＵＶ座標の一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、撮像装置の特性に係る第１情報と、該撮像装置に装着されているレンズの特性に係る第２情報と、に基づいて、頂点群の配置を決定し、該配置における頂点群に基づくメッシュ群のデータを生成する情報処理装置の一例について説明する。

先ず、本実施形態に係る情報処理装置１００のハードウェア構成例について、図１のブロック図を用いて説明する。本実施形態に係る情報処理装置１００には、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末装置などのコンピュータ装置が適用可能である。

ＣＰＵ１０１は、ＲＡＭ１０２やＲＯＭ１０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１０１は、情報処理装置１００全体の動作制御を行うと共に、情報処理装置１００が行うものとして説明する各種の処理を実行もしくは制御する。

ＲＡＭ１０２は、ＲＯＭ１０３やＨＤＤ（ハードディスクドライブ）１０５からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。さらにＲＡＭ１０２は、ネットワークＩ／Ｆ１１０を介して外部サーバ１１１から受信したコンピュータプログラムやデータを格納するためのエリアを有する。さらにＲＡＭ１０２は、入力デバイス１０１から入力される各種のデータを格納するためのエリアを有する。さらにＲＡＭ１０２は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０２は、各種のエリアを適宜提供することができる。

ＲＯＭ１０３には、情報処理装置１００の設定データ、情報処理装置１００の起動に係るコンピュータプログラムやデータ、情報処理装置１００の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

ＨＤＤ１０５はＨＤＤ Ｉ／Ｆ１０４を介して情報処理装置１００に接続されており、ＣＰＵ１０１はＨＤＤ Ｉ／Ｆ１０４を介してＨＤＤ１０５に対してアクセス可能である。ＨＤＤ Ｉ／Ｆ１０４は、例えば、シリアルＡＴＡ（ＳＡＴＡ）などのＩ／Ｆである。

ＨＤＤ１０５には、ＯＳ（オペレーティングシステム）、情報処理装置１００が行うものとして説明する各種の処理をＣＰＵ１０１に実行もしくは制御させるためのコンピュータプログラムやデータ、などが保存されている。ＨＤＤ１０５に保存されているデータには、以下の説明において、既知の情報として取り扱う情報も含まれる。ＨＤＤ１０５に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０２にロードされ、ＣＰＵ１０１による処理対象となる。なお、ＨＤＤ１０５は二次記憶装置の一例である。

入力デバイス１０７は入力Ｉ／Ｆ１０６を介して情報処理装置１００に接続されており、ＣＰＵ１０１は入力Ｉ／Ｆ１０６を介して入力デバイス１０７と通信可能である。入力Ｉ／Ｆ１０６は、例えば、ＵＳＢやＩＥＥＥ１３９４などのシリアルバスＩ／Ｆである。

入力デバイス１０７は、キーボード、マウス、タッチパネル画面などのユーザインターフェース、動画像及び／または静止画像を撮像可能なカメラなどの撮像装置、スキャナ装置、などの機器である。

出力デバイス１０９は出力Ｉ／Ｆ１０８を介して情報処理装置１００に接続されており、ＣＰＵ１０１は出力Ｉ／Ｆ１０８を介して出力デバイス１０９と通信可能である。出力Ｉ／Ｆ１０８は、例えば、ＤＶＩやＨＤＭＩ（登録商標）などの映像出力Ｉ／Ｆである。

出力デバイス１０９は、ＣＰＵ１０１による処理結果を画像や文字などでもって表示する表示画面を有する装置であり、例えば、液晶画面やタッチパネル画面を有する。なお、出力デバイス１０９は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ Ｉ／Ｆ１０４、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０８、ネットワークＩ／Ｆ１１０、はいずれも、システムバス１１２に接続されている。

次に、本実施形態に係る情報処理装置１００の機能構成例を図２のブロック図に示す。本実施形態では、図２に示した機能部はいずれもコンピュータプログラムで実装したケースについて説明する。以下では図２に示した機能部を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをＣＰＵ１０１が実行することで、該機能部の機能が実現される。なお、図２に示した機能部のうち１つ以上をハードウェア（ＡＳＩＣや電子回路等のハードウェア）で実装しても良い。

本実施形態に係る情報処理装置１００は、撮像画像（定期的若しくは不定期的に撮像される静止画像、若しくは動画像における各フレームの画像）をＨＭＤ等の視聴デバイスに表示する際に利用するメッシュオブジェクトのデータ（メッシュデータ）を生成する。ここで、メッシュデータについて、図４を用いて説明する。

本実施形態に係るメッシュオブジェクトは、図４に示す如く、複数のメッシュ（メッシュ群）で構成された半球体のオブジェクトであり、それぞれのメッシュは三角形のパッチである。つまり、メッシュデータは、メッシュオブジェクトを構成するメッシュ群のデータである。

このようなメッシュオブジェクトに係るメッシュデータは、該メッシュオブジェクトの原点（半球体の中心位置であり、それぞれのメッシュの頂点からの距離が等しい１点）から、該メッシュオブジェクトにおけるメッシュの頂点への角度が、該メッシュオブジェクトにマッピングする撮像画像の画素に記録された入射光線の角度となるように３次元仮想空間内に配置するための情報を含む。

撮像画像をテクスチャとしてメッシュオブジェクトにマッピングし、該マッピングを行ったメッシュオブジェクトを３次元仮想空間に配置する。そして、該配置したメッシュオブジェクトの原点から見た該テクスチャをレンダリングしたレンダリング画像を、出力デバイス１０９に表示する表示画像として生成する。出力デバイス１０９がＨＭＤである場合、生成した表示画像に対してさらに、接眼レンズの歪曲など、デバイスの特性を考慮した変換が行われる。

メッシュデータは、それぞれのメッシュの頂点の３次元座標が登録されたリスト（頂点座標リスト）、メッシュオブジェクトにマッピングされる撮像画像においてメッシュの頂点の３次元座標に対応する２次元座標を特定するための座標（ＵＶ座標）、それぞれのメッシュの頂点のインデックスが登録されたリスト（三角形リスト）、を含み、これらの情報で表わされるトポロジ情報を有するデータである。

メッシュオブジェクトに撮像画像をマッピングする場合、メッシュオブジェクトにおけるメッシュの頂点の配置によって、画像表示の際の歪曲等の補正の精度が変化する。メッシュオブジェクトにおいて頂点の密度が高いほど、画像表示の際の歪曲等の補正の精度は向上する。また、頂点の生成範囲が広いほどメッシュオブジェクトのサイズは大きくなり、このようなメッシュオブジェクトにマッピングした撮像画像のサイズは大きくなる。そのため、このような撮像画像を表示することでより広い画角の撮像画像を視聴者に提示することができる。また、頂点の数が多いほど、メッシュオブジェクトの生成や上記のマッピングや画像表示などの負荷が高くなり、また、メッシュオブジェクトのデータサイズも大きくなる。そのため、補正精度が必要な歪曲が大きい領域に頂点を多く配置し、画角に応じて適切な範囲で頂点を配置する必要がある。

本実施形態では、メッシュオブジェクトにマッピングする撮像画像を撮像した撮像装置の特性、該撮像装置に装着されているレンズの特性、に応じて頂点群の配置を決定し、該決定した配置の頂点群で構成されるメッシュオブジェクトを生成する。なお、レンズには魚眼レンズなど、様々なレンズを用いることができる。

焦点距離が長いレンズが装着された撮像装置による撮像画像をマッピングするメッシュオブジェクト、焦点距離が短いレンズが装着された撮像装置による撮像画像をマッピングするメッシュオブジェクト、の一例について、図５を用いて説明する。

焦点距離がｆ１であるレンズが装着された撮像装置による撮像画像をマッピングするメッシュオブジェクト５０１の一例を図５（ａ）に示す。また、焦点距離がｆ２（＞ｆ１）であるレンズが装着された撮像装置による撮像画像をマッピングするメッシュオブジェクト５０２の一例を図５（ｂ）に示す。

焦点距離が短い場合、撮像画角が広くなるため、撮像領域をすべて表示するために頂点の配置範囲（つまりメッシュの生成範囲）を広くする必要がある。そのため、本実施形態では、レンズの焦点距離が短いほど、より広範囲に頂点を配置してより広範囲にメッシュが配置されたメッシュオブジェクトを生成する。

また、撮像装置が有する撮像センサの受光領域が広いほど撮像画角が広くなるため、撮像領域をすべて表示するために頂点の配置範囲（つまりメッシュの生成範囲）を広くする必要がある。そのため、本実施形態では、撮像装置が有する撮像センサの受光領域が広いほど、より広範囲に頂点を配置してより広範囲にメッシュが配置されたメッシュオブジェクトを生成する。

図５（ａ）において点５０３はメッシュオブジェクト５０１の原点（メッシュオブジェクト５０１が表す半球体の原点）、点５０４はメッシュオブジェクトの５０２の原点（メッシュオブジェクト５０２が表す半球体の原点）である。図５（ａ）の場合、点５０３の位置に配置した仮想視点から見える、該メッシュオブジェクト５０１にマッピングされた撮像画像が表示画像としてレンダリングされる。図５（ｂ）の場合、点５０４の位置に配置した仮想視点から見える、該メッシュオブジェクト５０２にマッピングされた撮像画像が表示画像としてレンダリングされる。

半球状のメッシュオブジェクトの場合、角度で表示領域を表現することができる。図５に示すように、焦点距離に基づいてメッシュオブジェクトにおける各メッシュの頂点の位置を制御することで、表示画像の画角を制御することができる。

次に、等距離射影のレンズが装着された撮像装置による撮像画像をマッピングするメッシュオブジェクト６０１の一例を図６（ａ）に示す。また、正射影のレンズが装着された撮像装置による撮像画像をマッピングするメッシュオブジェクト６０２の一例を図６（ｂ）に示す。

レンズの射影方式によって、入射する光線の間隔が異なるため、撮像画像の隣接する画素に記録される光線の入射角の間隔が異なる。等距離射影では、撮像画像上の射影中心からの距離と正面を基準とした光線の入射角度が比例するため、本実施形態では、それぞれの頂点を、メッシュオブジェクトの原点からの角度が等間隔になるように配置する。一方、正射影の場合、撮像画像の周辺は該撮像画像の中心よりも隣接する画素で記録する光線の入射角度の間隔が狭くなるため、本実施形態では、それぞれの頂点を、撮像画像周辺に近いほど頂点の間隔が狭くなるよう配置する。

レンズの射影方式に基づいて半球体の半径方向の頂点の間隔を算出することで、撮像装置に装着するレンズを射影方式が異なる他のレンズに切り替えても、所望のメッシュオブジェクトを生成することができる。これにより、表示の際のずれが少ない表示が行えるようになり、視聴時の違和感を低減することができる。

歪曲のないレンズが装着された撮像装置による撮像画像をマッピングするメッシュオブジェクト７０１の一例を図７（ａ）に示す。歪曲のあるレンズが装着された撮像装置による撮像画像をマッピングするメッシュオブジェクト７０２の一例を図７（ｂ）に示す。

歪曲によって、光線の入射する角度が変化するため、撮像画像の隣接する画素に記録される光線の間隔が異なる。本実施形態では、歪曲がある場合、歪曲率に合わせて調整した位置に頂点を配置して該頂点の配置密度を調整する。これにより、歪み補正精度を向上させ、視聴時の違和感を低減する撮像画像を表示させることができる。

ユーザが撮像装置を操作して多い撮像画素数を設定した場合に生成されるメッシュオブジェクトの一例を図８（ａ）、図９（ａ）に示す。ユーザが撮像装置を操作して少ない撮像画素数を設定した場合に生成されるメッシュオブジェクトの一例を図８（ｂ）、図９（ｂ）に示す。

本実施形態では、より多い撮像画素数が設定されると、図８（ａ）および図９（ａ）に示す如く、頂点の数を増加させてより多い頂点でメッシュオブジェクトを構成するようにする。一方、本実施形態では、より少ない撮像画素数が設定されると、図８（ｂ）および図９（ｂ）に示す如く、頂点の数を減少させてより少ない頂点でメッシュオブジェクトを構成するようにする。

このように、撮像画素数に応じて頂点数を変更することで表示するときの歪みの補正精度とメッシュを生成するために要する時間、メッシュオブジェクトのデータサイズ、メッシュオブジェクトの再生時の負荷、を制御することができる。

次に、情報処理装置１００がメッシュデータを生成するために行う処理について、図３のフローチャートに従って説明する。ステップＳ３０１では、取得部２０２は、撮像装置に装着されているレンズの特性を表すレンズパラメータ（レンズ情報）を取得する。レンズパラメータは、レンズの射影方式、レンズの焦点距離、レンズの歪曲情報（歪曲の有無や歪曲率を含む）、などのレンズの特性を表す情報を含むパラメータである。なお、レンズパラメータの取得方法は特定の取得方法に限らず、例えば、撮像装置から取得しても良いし、ＨＤＤ１０５に保存されている撮像画像のメタデータから取得するようにしても良い。

ステップＳ３０２では、取得部２０１は、撮像装置の特性を表すカメラパラメータ（カメラ情報）を取得する。カメラパラメータは、撮像センサのサイズ、該撮像センサの画素数、主点位置、などの撮像装置の特性を表す情報を含むパラメータである。なお、カメラパラメータの取得方法は特定の取得方法に限らず、例えば、撮像装置から取得しても良いし、ＨＤＤ１０５に保存されている撮像画像のメタデータから取得するようにしても良い。

ステップＳ３０３では、取得部２０３は、メッシュオブジェクトを生成するために要するパラメータであるメッシュ生成パラメータを取得する。メッシュ生成パラメータは、例えば、画素当たりの頂点数ｋ，ｐを含む。メッシュ生成パラメータの取得方法は特定の取得方法に限らず、例えば、ＨＤＤ１０５から取得するようにしても良い。

ステップＳ３０４では、生成部２０４は、ステップＳ３０１で取得したレンズパラメータ、ステップＳ３０２で取得したカメラパラメータ、ステップＳ３０３で取得したメッシュ生成パラメータ、を用いて、基準頂点リストを生成する。

ステップＳ３０５では、生成部２０５は、ステップＳ２０４で生成した基準頂点リストを用いて、メッシュオブジェクトにおけるそれぞれのメッシュの頂点の３次元座標が登録されたリストを頂点座標リストとして生成する。

本実施形態では、同心円上に頂点が並ぶドーム形状のメッシュオブジェクトのメッシュデータを生成するケースについて説明する。メッシュデータについて、図４を例に取り説明する。

メッシュデータは、セクター数ｃ、周波数ａ、画角θ、レンズパラメータ、カメラパラメータに基づいて生成する。セクター（ｓｅｃｔｏｒ）は、図４の正面図に示す如く正面から見た半球体（円形）を複数の扇形に分割したときの１つの扇形の領域を指す。セクター数ｃは、図４の正面図における中心の頂点４０１の１つ外側の円周上の頂点の数に等しい。メッシュオブジェクトでは同心円状に頂点が配置されており、ある円Ｃに対して１つ外側の円Ｃ’上の頂点の数は、円Ｃ上の頂点の数よりもセクター数だけ多い。周波数ａは、図４の上面図に示す如く頂点４０１から頂点４０２（頂点４０１をセクタ境界の一端としたときの他端の頂点）までの円弧を分割する数である。画角θは、メッシュオブジェクトにマッピングされた撮像画像の画角である。図４では、セクター数ｃ＝４、周波数ａ＝５、画角θ＝１８０°となっている。

レンズパラメータとカメラパラメータは、現実空間（３次元空間）における位置（３次元位置）を撮像装置で撮像したときの撮像画像における対応位置（投影位置）の座標を算出するために利用する。レンズパラメータとカメラパラメータに基づいて「カメラ座標系（撮像装置の位置および姿勢を基準とする座標系）における３次元座標ＶＣ」から「ＵＶ座標ｘ」を算出する投影関数ｘ＝Ｐ（ＶＣ）が定義される。魚眼レンズを備えた撮像装置の場合、投影関数は、魚眼レンズの射影方式と焦点距離と歪曲を考慮して、３次元座標ＶＣを撮像画像上の２次元座標に投影し、該２次元座標をＵＶ座標系におけるＵＶ座標ｘに変換して、ＵＶ座標ｘを算出する。

次に、このようなメッシュオブジェクトにおけるそれぞれのメッシュの頂点の３次元座標が登録されたリスト（頂点座標リスト）の生成方法について、図１０を例に取り説明する。

ステップＳ３０４では、図１０（ａ）に示す如く、円弧上に並ぶそれぞれの頂点（頂点１００２から頂点１００３までの各頂点）の３次元座標が登録されたリストを基準頂点リストとして生成する。

ステップＳ３０５では、図１０（ｂ）に示す如く、基準頂点リストに３次元座標が登録されているそれぞれの頂点を、メッシュオブジェクトの原点を中心に前方向周りに等間隔に配置することで、メッシュオブジェクトにおける頂点群を配置する。そして、該配置した頂点群のそれぞれの３次元座標が登録されたリストを頂点座標リストとして生成する。

基準頂点リストは以下のようにして生成される。基準頂点リストは、周波数ａ、画角θ、半球体の半径Ｒ、に基づいて円弧上に配置されるそれぞれの頂点の３次元座標が登録されたリストである。メッシュオブジェクトの原点からの角度が重要であるため、半径Ｒはいくつでも構わない（既定値）。

図１０（ａ）に示す如く、適当な位置（メッシュオブジェクトの原点となる位置）から半径Ｒだけ離間した位置に円弧の始点である頂点１００２を配置する。そして、頂点１００２と原点とを結ぶ線分と、頂点１００３と原点とを結ぶ線分と、の成す角度１００１が、画角θの半分になるように円弧の終点である頂点１００３の位置を算出する。等距離射影の魚眼レンズにおいて、画角θは焦点距離ｆと撮像センサの横幅ｓからθ＝ｓ／ｆを計算することで求めることができる。ここでは、撮像センサの横幅を基準に画角θを算出したが、撮像センサの縦幅や対角の長さを基準にして画角θを算出しても構わない。次に、頂点１００２を一端とし頂点１００３を他端とする円弧をａ等分する各位置に頂点を配置し、該円弧上の頂点のうち頂点１００２を除く頂点列（頂点１００３、該円弧をａ等分する各位置に配置した頂点）を登録したリストを基準頂点リストとして生成する。ここで、周波数ａは、メッシュオブジェクトにマッピングする撮像画像の水平方向の画素数ｗと画素当たりの頂点数ｋとからａ＝ｗｘｋを計算することで求めることができる。

基準頂点リストには、例えば、図４の正面図における中心の頂点４０１から近い順にａ個の頂点Ｓｊ（ｊ＝１，…，ａ）の３次元座標が登録される。レンズの射影が等距離射影である場合、頂点を等間隔に配置する。正射影の場合、ｊが大きくなるほど間隔が狭くなるように頂点を配置するなど、射影方式によって頂点の配置間隔を変更しても良い。レンズの歪曲がある場合、射影方式に応じて算出した頂点の位置に対する歪曲率に合わせて頂点の位置を調整してもよい。例えば等距離射影の場合、理想像高と実像高の比を表す頂点Ｓｊの歪曲率がｄｊであれば、頂点Ｓｊの角度φ_ｊは、全基準頂点（基準頂点リストに３次元座標が登録されている頂点）の歪曲率の和をＤとするとφ_ｊ＝φ_ｊ－１＋ｄ_ｊθ／（２Ｄ）として算出できる。

このように、カメラパラメータ及びレンズパラメータに基づいて基準頂点リストを生成することで、レンズの特性や撮像装置の特性に適した頂点生成範囲及び頂点密度でメッシュデータを生成することができる。

セクター数ｃは、画素当たりの頂点数ｐからｃ＝ｐπｗ／ａを計算することで求めることができる。ここで、πは円周率である。そして、図１０（ｂ）に示す如く、中心の頂点ｖ０と、各基準頂点Ｓｊを原点中心に前方向周りに等間隔に２π／（ｊ×ｃ）［°］ずつ３６０度回転させて配置した頂点（最も内側の同心円上の頂点はｖ１，ｖ２，ｖ３，ｖ４）と、のそれぞれの３次元座標が登録されたリストを頂点座標リストとして生成する。頂点座標リストには、Ｎ個の頂点の３次元座標が登録されている。ここで、Ｎ＝１＋ｃ×ａ×（ａ＋１）／２である。周波数ａ及びセクター数ｃは両方を制御しても良いし、一方を固定値として一方のみを制御しても構わない。

このように、カメラパラメータ及びレンズパラメータに基づいて頂点座標リストを生成することで、レンズの特性や撮像装置の特性に適した頂点生成範囲及び頂点密度でメッシュデータを生成することができる。

図３に戻って、次に、ステップＳ３０６では、生成部２０６は、ステップＳ３０５で生成した頂点座標リストを用いて、メッシュオブジェクトを構成するそれぞれのメッシュ（三角形）の３頂点のインデックスのリストを、三角形リストとして生成する。三角形リストの生成方法について、図１１を例に取り説明する。

それぞれのメッシュの頂点は頂点インデックスで識別されるため、１つのメッシュは３つの頂点の頂点インデックスを１つの組としてメッシュ（ｉ，ｊ，ｋ）のように表現できる。つまり、メッシュは複数の頂点インデックスの組で表現される。図１１（ａ）に示す如く、中心の頂点の頂点インデックスは０、最も内側の同心円上の頂点の頂点インデックスは時計回りに１，２，３，４となっており、２番目に内側の同心円上の頂点の頂点インデックスは時計回りに５，６，…となっている。

メッシュのインデックス（面番号）は、図１１（ｂ）に示す如く、最も内側の同心円上のメッシュのインデックスは時計回りに０，１，２，３となっており、２番目に内側の同心円上のメッシュのインデックスは時計回りに４，５，…、１５となっている。

そして、図１１（ｃ）に示す如く、それぞれのメッシュについて、該メッシュの面番号と、該メッシュを構成するそれぞれの頂点の頂点インデックスと、を対応付けて登録した三角形リストを生成する。

ステップＳ３０７では、算出部２０７は、ステップＳ３９５で生成した頂点座標リストに登録されているそれぞれの３次元座標に対応する、メッシュオブジェクトにマッピングされる撮像画像上の２次元座標を求め、ＵＶ座標において該２次元座標に対応する座標（ＵＶ座標）を特定し、該特定したＵＶ座標が登録されたリストをＵＶ座標リストとして生成する。

ＵＶ座標の一例を図１２に示す。ＵＶ座標は、メッシュオブジェクトの頂点と、テクスチャである撮像画像（図１２では魚眼レンズを用いて撮像された撮像画像）上の２次元座標と、の対応関係を表すものである。例えば、メッシュオブジェクトの頂点の３次元座標が（ｘ，ｙ，ｚ）、対応するＵＶ座標が（ｕ，ｖ）であるとき、３次元座標（ｘ，ｙ，ｚ）にはＵＶ座標（ｕ，ｖ）に対応するテクスチャ上の１点が対応付けられる。メッシュ（つまりテクスチャにおいて該メッシュに対応する部分画像）を表示する際、３次元座標（ｘ，ｙ，ｚ）に対応する画素位置には、テクスチャのＵＶ座標（ｕ，ｖ）における色が表示される。本実施形態においてＵＶ座標は横軸ｕ、縦軸ｖ、撮像画像の左下を原点（０，０）とし、右端がｕ＝１，上端がｖ＝１となる座標系で表す。ＵＶ座標の取りうる範囲は、ｕおよびｖ共に［０～１］である。

頂点座標リストに登録されている頂点の３次元座標ＶＩに対するＵＶ座標を算出し、該算出したＵＶ座標を登録したリストであるＵＶ座標リストを生成する。ＵＶ座標リストには、Ｎ個の頂点に対応するＵＶ座標が登録されている。カメラ座標系における頂点の３次元座標Ｖｃｉを撮像装置の投影関数Ｐにより撮像画像に投影し、ＵＶ座標Ｘｉ＝Ｐ（Ｖｃｉ）を算出する。

ステップＳ３０８では、出力部２０９は、ステップＳ３０５で生成した頂点座標リスト、ステップＳ３０６で生成した三角形リスト、ステップＳ３０７で生成したＵＶ座標リスト、を含むデータをメッシュデータとして生成する。そして出力部２０９は、該生成したメッシュデータをファイルとして出力する。出力部２０９によるファイルの出力先は特定の出力先に限らない。例えば、出力部２０９は、ファイルをＨＤＤ１０５に出力（保存）しても良いし、ネットワークＩ／Ｆ１１０を介して外部サーバ１１１に対して出力（送信）しても良い。また、出力部２０９は、生成したメッシュデータを、メッシュオブジェクトにマッピングする撮像画像のメタデータとし、該撮像画像と該メッシュデータとを含むファイルを生成して出力しても良い。

図３のフローチャートに従った処理は、例えば、撮像装置における各種の設定を変更した場合、撮像装置に装着されているレンズを別の特性を有するレンズに交換する場合など、撮像装置の特性やレンズの特性が変化した場合に行われる。

また、メッシュデータをＨＤＤ１０５に保存しておき、撮像画像を表示する際に該保存しておいたメッシュデータに基づくメッシュオブジェクトを生成し、該生成したメッシュオブジェクトにマッピングした撮像画像を表示対象とするようにしても良い。

このように、本実施形態によれば、撮像装置の特性および／またはレンズの特性が変化した際にもレンズの特性や撮像装置の特性に基づいてメッシュデータを生成することができる。そのため、例えば、レンズ交換式撮像装置でレンズが変更された場合であっても、レンズと撮像装置の組み合わせによる歪みや撮像範囲の違いを考慮したメッシュデータを生成することができる。これにより、ＨＭＤ等の表示装置に表示された撮像画像を視聴する際の違和感を低減することが可能なメッシュデータを生成することができる。

なお、本実施形態に係る情報処理装置１００は、例えば、次のようなシステムに利用可能である。情報処理装置１００は、ＨＭＤに備わっている撮像装置により撮像された撮像画像をメッシュオブジェクトにマッピングしたマッピング撮像画像を生成する。そして情報処理装置１００は、該生成したマッピング撮像画像をＨＭＤの表示画面や、出力デバイス１０９や、他の機器に対して送信する。

また、情報処理装置１００は、撮像画像と、該撮像画像をメッシュオブジェクトにマッピングすることで得られるマッピング撮像画像と、を並べて出力デバイス１０９に表示させても良い。この場合、ユーザは撮像画像とマッピング撮像画像とを見比べてメッシュデータを生成するための各種のパラメータを調整したり等、メッシュデータの生成に係る各種の調整／設定を行うことができる。また、情報処理装置１００は、撮像画像およびマッピング撮像画像に加えて若しくは代えて、現在のメッシュデータに基づいて生成されるメッシュオブジェクトを出力デバイス１０９などに表示してもよい。

［第２の実施形態］
第１の実施形態では、メッシュオブジェクトを半球体のオブジェクトとした。しかし、メッシュオブジェクトの形状は半球体に限らず、よって、メッシュデータの生成方法も、カメラパラメータおよびレンズパラメータに応じた上記の性質に鑑みた頂点の配置となる生成方法であれば、特定の生成方法に限らない。

また、第１の実施形態では、メッシュは全て三角形のパッチであるものとして説明したが、これに限らず、四角形以上の多角形のパッチであっても良いし、三角形のパッチと四角形のパッチとを利用するなど、複数種のパッチを使用しても良い。つまり、第１の実施形態では、トポロジ情報を三角形リストとしたが、四角形リストなど、別の多角形で表わされる多角形リストで表現してもよい。

また、情報処理装置１００は、視差のある魚眼動画をマッピング対象として入力しても良い。視差のある魚眼動画は、２つの魚眼レンズを備える視差撮像装置によって撮像された視差を持つ２つの動画像を左右に配置した動画像である。この場合、魚眼動画を構成する各フレームの画像を撮像画像として第１の実施形態を適用すれば良い。なお、動画像の代わりに、定期的若しくは不定期的に撮像される静止画像であっても良い。

また、上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の送信先／送信元／格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の開示は、以下の情報処理装置、情報処理方法、コンピュータプログラムを含む。

（項目１）
撮像装置の特性に係る第１情報と、該撮像装置に装着されているレンズの特性に係る第２情報と、に基づいて、頂点群の配置を決定する決定手段と、
前記決定手段が決定した配置における頂点群に基づくメッシュ群のデータを生成する生成手段と
を備えることを特徴とする情報処理装置。

（項目２）
前記決定手段は、前記第１情報および前記第２情報に応じた円弧上に並ぶ頂点列を用いて、前記頂点群の配置を決定することを特徴とする項目１に記載の情報処理装置。

（項目３）
前記決定手段は、前記レンズの焦点距離に応じた範囲における前記配置を決定することを特徴とする項目１または２に記載の情報処理装置。

（項目４）
前記決定手段は、前記撮像装置の撮像センサのサイズに応じた範囲における前記配置を決定することを特徴とする項目１または２に記載の情報処理装置。

（項目５）
前記決定手段は、頂点間の間隔が前記レンズの射影方式に応じた間隔となる前記配置を決定することを特徴とする項目１または２に記載の情報処理装置。

（項目６）
前記決定手段は、前記レンズの歪曲率に応じた前記配置を決定することを特徴とする項目１または２に記載の情報処理装置。

（項目７）
前記決定手段は、前記撮像装置による撮像画素数に応じた数の頂点の配置を決定することを特徴とする項目１または２に記載の情報処理装置。

（項目８）
前記生成手段は、前記頂点群のそれぞれの３次元座標のリスト、前記頂点群を有するメッシュオブジェクトにマッピングされる撮像画像においてメッシュの頂点の３次元座標に対応する２次元座標を特定するための座標のリスト、前記頂点群で規定されるそれぞれのメッシュのインデックスのリスト、を含む前記データを生成することを特徴とする項目１乃至７のいずれか１項目に記載の情報処理装置。

（項目９）
前記決定手段および前記生成手段は、前記撮像装置の特性および／または前記レンズの特性が変化した際に動作することを特徴とする項目１乃至８のいずれか１項目に記載の情報処理装置。

（項目１０）
さらに、
前記データを、前記メッシュ群で構成されるメッシュオブジェクトにマッピングする撮像画像のメタデータとし、該撮像画像と該データとを含むファイルを生成して出力する出力手段を備えることを特徴とする項目１乃至９のいずれか１項目に記載の情報処理装置。

（項目１１）
さらに、
撮像画像と、該撮像画像を前記メッシュ群で構成されるメッシュオブジェクトにマッピングしたマッピング撮像画像と、を表示する手段を備えることを特徴とする項目１乃至１０のいずれか１項目に記載の情報処理装置。

（項目１２）
さらに、
前記メッシュ群で構成されるメッシュオブジェクトを表示する手段を備えることを特徴とする項目１乃至１１のいずれか１項目に記載の情報処理装置。

（項目１３）
前記メッシュ群で構成されるメッシュオブジェクトにマッピングする撮像画像は、魚眼レンズを用いて撮像された撮像画像であることを特徴とする項目１に記載の情報処理装置。

（項目１４）
前記メッシュ群で構成されるメッシュオブジェクトにマッピングする撮像画像は、２つの魚眼レンズを備える撮像装置によって撮像された視差を持つ２つの動画像を左右に配置した動画像の各フレームの画像であることを特徴とする項目１に記載の情報処理装置。

（項目１５）
情報処理装置が行う情報処理方法であって、
前記情報処理装置の決定手段が、撮像装置の特性に係る第１情報と、該撮像装置に装着されているレンズの特性に係る第２情報と、に基づいて、頂点群の配置を決定する決定工程と、
前記情報処理装置の生成手段が、前記決定工程で決定した配置における頂点群に基づくメッシュ群のデータを生成する生成工程と
を備えることを特徴とする情報処理方法。

（項目１６）
コンピュータを、項目１乃至１４のいずれか１項目に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２０１：取得部 ２０２：取得部 ２０３：取得部 ２０４：生成部 ２０５：生成部 ２０６：生成部 ２０７：算出部 ２０９：出力部

Claims (16)

1. 撮像装置の特性に係る第１情報と、該撮像装置に装着されているレンズの特性に係る第２情報と、に基づいて、頂点群の配置を決定する決定手段と、
   前記決定手段が決定した配置における頂点群に基づくメッシュ群のデータを生成する生成手段と
   を備えることを特徴とする情報処理装置。
2. 前記決定手段は、前記第１情報および前記第２情報に応じた円弧上に並ぶ頂点列を用いて、前記頂点群の配置を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記レンズの焦点距離に応じた範囲における前記配置を決定することを特徴とする請求項１に記載の情報処理装置。
4. 前記決定手段は、前記撮像装置の撮像センサのサイズに応じた範囲における前記配置を決定することを特徴とする請求項１に記載の情報処理装置。
5. 前記決定手段は、頂点間の間隔が前記レンズの射影方式に応じた間隔となる前記配置を決定することを特徴とする請求項１に記載の情報処理装置。
6. 前記決定手段は、前記レンズの歪曲率に応じた前記配置を決定することを特徴とする請求項１に記載の情報処理装置。
7. 前記決定手段は、前記撮像装置による撮像画素数に応じた数の頂点の配置を決定することを特徴とする請求項１に記載の情報処理装置。
8. 前記生成手段は、前記頂点群のそれぞれの３次元座標のリスト、前記頂点群を有するメッシュオブジェクトにマッピングされる撮像画像においてメッシュの頂点の３次元座標に対応する２次元座標を特定するための座標のリスト、前記頂点群で規定されるそれぞれのメッシュのインデックスのリスト、を含む前記データを生成することを特徴とする請求項１に記載の情報処理装置。
9. 前記決定手段および前記生成手段は、前記撮像装置の特性および／または前記レンズの特性が変化した際に動作することを特徴とする請求項１に記載の情報処理装置。
10. さらに、
    前記データを、前記メッシュ群で構成されるメッシュオブジェクトにマッピングする撮像画像のメタデータとし、該撮像画像と該データとを含むファイルを生成して出力する出力手段を備えることを特徴とする請求項１に記載の情報処理装置。
11. さらに、
    撮像画像と、該撮像画像を前記メッシュ群で構成されるメッシュオブジェクトにマッピングしたマッピング撮像画像と、を表示する手段を備えることを特徴とする請求項１に記載の情報処理装置。
12. さらに、
    前記メッシュ群で構成されるメッシュオブジェクトを表示する手段を備えることを特徴とする請求項１に記載の情報処理装置。
13. 前記メッシュ群で構成されるメッシュオブジェクトにマッピングする撮像画像は、魚眼レンズを用いて撮像された撮像画像であることを特徴とする請求項１に記載の情報処理装置。
14. 前記メッシュ群で構成されるメッシュオブジェクトにマッピングする撮像画像は、２つの魚眼レンズを備える撮像装置によって撮像された視差を持つ２つの動画像を左右に配置した動画像の各フレームの画像であることを特徴とする請求項１に記載の情報処理装置。
15. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の決定手段が、撮像装置の特性に係る第１情報と、該撮像装置に装着されているレンズの特性に係る第２情報と、に基づいて、頂点群の配置を決定する決定工程と、
    前記情報処理装置の生成手段が、前記決定工程で決定した配置における頂点群に基づくメッシュ群のデータを生成する生成工程と
    を備えることを特徴とする情報処理方法。
16. コンピュータを、請求項１乃至１４のいずれか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

Images