JP2022112228A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】ユーザに見た目の違和感を与えず、かつＣＧモデルの操作を可能とするモデルを生成できるようにする。【解決手段】情報処理装置は、撮像装置が撮像した撮像画像からモデル化対象の現実物の領域を検出する領域検出部と、領域検出部により検出した領域に基づいて、現実物に係る表面モデルを生成する第１のモデル生成部と、第１のモデル生成部により生成された表面モデルの法線の方向に厚みを付けて現実物に係る裏面モデルを生成する第２のモデル生成部とを有する。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、現実空間に仮想空間の情報をリアルタイムに重ね合せて利用者に提示する複合現実感（ＭＲ）に関する研究が行われている。複合現実感では、ヘッドマウントディスプレイ（ＨＭＤ）等の撮像装置によって撮像された現実の映像の全域又は一部に、撮像装置の位置姿勢に応じた仮想空間の画像（ＣＧ）を重畳した合成画像を表示する。

このとき、現実物と仮想物体の距離に応じて撮像画像領域にある特定の現実物領域に仮想物体を表示しないことで物体間の距離感を表現することができる。例えば、ＨＭＤを装着したユーザが自分の手や工具等の現実物を仮想物体の前にかざしたとき、撮像画像上の手や工具の領域に仮想物体を描画しなければ自分の手や工具が仮想物体の手前にあるように表示される。これにより、ユーザは仮想物体と現実物の位置関係を把握しやすくなり、仮想空間上で現実の手や工具を用いた作業の検証が容易になる。

このように、現実物と仮想物体の位置関係を正しく表現するためには、現実物領域の検出及び現実物の距離計測が必要となる。しかしながら、ＨＭＤに取り付けられた距離計測装置で現実物までの距離を計測しても、現実物の表面までの奥行きしか取得できず、現実物の裏面の奥行きを取得することはできない。例えば、複合現実感において現実の手とＣＧモデルの接触判定を行う場合、撮像装置から現実の手の表面までの距離を計測しても、実際にＣＧモデルと接触している手の裏面との接触判定が行えない問題がある。

そのため、より正確に現実物とＣＧモデル間の接触判定を行う手法が求められている。例えば、特許文献１では、複数視点カメラで奥行き推定する場合に、画像間で対応付けができない点の奥行きを、対応付けできた点の奥行きから推定する手法を用いている。また、非特許文献１では、事前に用意した体や手のＣＧモデルを利用してモーションキャプチャで得られた関節に厚み付けを行っている。また、特許文献２では、深度画像を基に正面領域だけでなく側面領域も含めた広範囲の三次元モデルを復元する手法が提案されている。特許文献３では、手の表面ポリゴンを法線方向に投影した位置に裏面ポリゴンを生成し、裏面ポリゴンを投影した際に表面ポリゴンよりも外に出る場合には、その頂点を視線方向に移動している。

特開２０１５－８２２８８号公報 特開２０１６－７１６４５号公報 特開２０１９－４６０９６号公報

J.P.Lewis, Matt Corder, and Nickson Fong. Pose space deformations. A unified approach to shape interpolation and skeleton-driven deformation. Proceedings of SIGGRAPH 2000, pp.165-172, July 2000

しかしながら、特許文献１では、複数のカメラ間でマッチングできない領域に対して奥行きを推定できる一方で、すべてのカメラで見えない領域の奥行きを推定することはできない。また、非特許文献１では、モーションキャプチャで得られる関節位置などからモデルを再構築した際に、ＣＧモデルと現実物の位置や太さ、長さを一致させることは難しく、複合現実感において見た目のずれが生じる問題がある。さらに、特許文献２では、ボクセルを利用することを前提としており精度良くモデルの奥行きを推定する場合には、ボクセルを細かくしなければならず奥行モデルの生成に多大なメモリと時間を要する問題がある。また、特許文献３では、表面ポリゴンの頂点の法線が内向きになっている場合、裏面ポリゴンの位置が隣接する頂点と交差して反転してしまいポリゴン形状の不整合を生んでしまう可能性がある。このような場合、現実の手とＣＧモデルとの接触判定の精度に悪影響を及ぼしてしまう。また、現実の手とＣＧモデルの接触した瞬間の現実の手の形状を見回すような場合、ユーザに見た目の違和感を与えてしまう。

ＭＲにおいてユーザの手を表示しながらＣＧモデルを操作する場合、ステレオカメラや深度センサからユーザの手をモデル化し、モデル化した手とＣＧモデルの前後関係を表現しながら高速な接触判定を行う必要がある。ここで、モデル化された手を表示するとき、表示位置に実写の手画像を重ね合わせることでユーザは現実の手でＣＧモデルを操作するように感じる。一方で、モデル化した手が現実の手形状と異なると現実映像と見た目のずれが生じてしまい、ユーザに違和感を与える。また、ＨＭＤに取り付けられた距離計測装置を用いて物体表面だけをモデル化する場合、厚みを考慮することができずＣＧモデルとの接触判定が正しく行えずユーザに違和感を与える問題がある。

本発明は、このような事情に鑑みてなされたものであり、ユーザに見た目の違和感を与えず、かつＣＧモデルの操作を可能とするモデルを生成できるようにすることを目的とする。

本発明に係る情報処理装置は、撮像装置が撮像した撮像画像から対象の現実物の領域を検出する領域検出手段と、前記領域検出手段により検出した領域に基づいて、前記現実物に係る表面モデルを生成する第１のモデル生成手段と、前記第１のモデル生成手段により生成された前記表面モデルの法線の方向に厚みを付けて前記現実物に係る裏面モデルを生成する第２のモデル生成手段とを有することを特徴とする。

本発明によれば、ユーザに見た目の違和感を与えず、かつＣＧモデルの操作を可能とするモデルを生成することができる。

本発明の実施形態に係るシステム構成例を示す図である。 本実施形態に係る厚み情報の登録方法の例を示す図である。 第１の実施形態に係る第２のモデル生成部の処理例を示すフローチャートである。 第１の実施形態に係るモデル生成を説明する図である。 第２の実施形態に係る第２のモデル生成部の処理例を示すフローチャートである。 第２の実施形態に係るモデル生成を説明する図である。 ビュー座標系を説明する図である。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、本実施形態に係る撮像装置を制御する情報処理装置の構成例を示すブロック図である。本実施形態では、撮像装置１１０、入力装置１２０、表示装置１３０が情報処理装置１４０に接続された構成となる。ただし、撮像装置１１０はステレオ構成とする。例えば、撮像装置１１０はビデオシースルー型ヘッドマウントディスプレイ（ＨＭＤ：ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）に配置される撮像カメラであり、表示装置１２０はＨＭＤやＰＣモニタ等のディスプレイである。

情報処理装置１４０は、例えばプロセッサ、メモリ、ＯＳ（オペレーションシステム）やアプリケーションプログラム等を記憶する記憶装置、外部装置と通信するインタフェース等を有するコンピュータである。情報処理装置１４０は、画像取得部１４１、情報登録部１４２、データ記憶部１４３、領域検出部１４４、第１のモデル生成部１４５、第２のモデル生成部１４６、接触判定部１４７、及び画像生成部１４８を有する。なお、これらの各機能部は、すべてがソフトウェアにより実現されていても良いし、その一部をハードウェアにより実現するようにしても良い。

画像取得部１４１は、撮像装置１１０によって撮影された撮像画像を取得してデータ記憶部１４３に記憶する。情報登録部１４２は、入力装置１２０から入力されたモデル化対象となる現実物に係る情報をデータ記憶部１４３に記憶する。情報登録部１４２は、例えば入力装置１２０から入力されたモデル化対象となる現実物の厚み情報をデータ記憶部１４３に記憶する。データ記憶部１４３は、画像取得部１４１で取得した撮像画像や情報登録部１４２より入力される情報等を記憶する。

領域検出部１４４は、データ記憶部１４３に記憶された撮像画像からモデル化対象となる現実物の領域を検出する。例えば、現実物の色辞書を用いて画像内の特定の色領域を検出しても良いし、機械学習によって対象物領域を検出しても良い。撮像画像からモデル化対象となる現実物領域を検出可能であれば、何れの手段でも良い。

第１のモデル生成部１４５は、領域検出部１４４で検出した検出領域に基づいて、モデル化対象の現実物に係る三次元モデルを生成する。第１のモデル生成部１４５は、例えば、ステレオ画像の検出領域の輪郭で対応点を求めステレオマッチングすることで対象の三次元のポリゴンモデルを生成する。なお、ステレオマッチングにより生成した三次元モデルは、撮像装置１１０における視線方向に厚みを持たない薄い表面モデルとなり、三次元モデルを撮像画像に投影すると検出領域と一致する。

第２のモデル生成部１４６は、第１のモデル生成部１４５で生成した表面モデルに対して撮像画像に投影した際の見た目を変えないように、データ記憶部１４３に登録された厚み情報（厚みパラメータ）に基づいて厚みを付ける。第２のモデル生成部１４６は、撮像装置１１０における視線方向に厚みを持たない表面モデルに対して、厚み情報に応じた厚みを持つモデルを生成する。

接触判定部１４７は、第２のモデル生成部１４６で生成した厚みを持つ現実物に係るモデルとデータ記憶部１４３に記憶されたＣＧモデルとの接触判定を行う。接触判定は境界ボリュームの階層構造やＧＪＫ法等の何れの判定手法でも良い。このとき、モデル同士がめり込まないようにＣＧモデルに対して衝突応答を行っても良いし、接触をトリガーとしてＣＧモデルに対する操作を行っても良い。

画像生成部１４８は、接触判定部１４７で計算されたＣＧモデルと厚みを持つモデル化対象の現実物に係るモデル、及びデータ記憶部１４３に記憶した撮像画像を重畳した画像を生成し、生成した画像を表示装置１３０に出力する。画像生成部１４８は、ＣＧモデルと現実物に係るモデル、及びデータ記憶部１４３に記憶した撮像画像を表示装置１３０に重畳表示させる。このとき、最初に撮像画像を背景に描画し、次に深度テストを有効にして透明な厚みを持つ現実物に係るモデルをレンダリングし、最後にＣＧモデルをレンダリングすることで、現実物に係るモデルの位置に現実物の画像を重畳することができる。

＜処理の手順＞
本実施形態における特徴は、情報登録部１４２と第２のモデル生成部１４６で実行される２つの処理にある。情報登録部１４２では、対象となるモデルの厚みをＵＩ上から入力する。厚みの登録はモデルの厚みをキーボードやマウス等を用いて入力しても良いし、モデル化対象の現実物をステレオカメラで撮影してステレオマッチングから自動的に厚みを入力してもよい。例えば、図２に示すように、モデル化対象の現実物を撮影し、第１のモデル生成部１４５で生成した表面モデルの横幅を厚みとする。

図３は、第１の実施形態に係る第２のモデル生成部の処理例を示すフローチャートである。図３に示す処理は、情報処理装置１４０の第２のモデル生成部１４６によって実行される。ここで、ポリゴン生成の手法の一例を示した図４（ａ）～図４（ｃ）を適宜参照して図３に示す処理を説明する。

ステップＳ３０１では、第２のモデル生成部１４６は、第１のモデル生成部１４５によって生成された表面モデルの法線を算出する。具体的には、第２のモデル生成部１４６は、図４（ａ）のように撮像装置１１０で撮像された物体の表面に生成された表面モデル４０１に対して、図４（ｂ）に示す法線４０２を求める。ここで計算する法線は、表面モデルのポリゴンの面毎に算出した面法線であってもよいし、頂点毎に算出した点法線であってもよい。なお、図４（ａ）～図４（ｃ）において、４００は視線ベクトルである。ここでの視線ベクトル４００とはビュー座標における原点から表面モデルの頂点に向かうベクトルのことである。

ステップＳ３０２では、第２のモデル生成部１４６は、ステップＳ３０１において計算した法線の方向に、データ記憶部１４３から取得した厚み情報（厚みパラメータ）の長さだけ表面モデルの頂点を投影する。そして、第２のモデル生成部１４６は、投影した位置を補間・外挿することよって、図４（ｂ）に示すような裏面深度曲面４０３を生成する。例えば、第２のモデル生成部１４６は、表面モデルの頂点の投影では導出されない裏面深度を、表面モデルの頂点を投影して得られた裏面深度の勾配値から補間する。裏面深度曲面４０３の表現方法として、画像やベクトル場のように離散値の集合として表現してもよいし、ベジェ曲面、Ｂスプライン曲面、ＮＵＲＢＳ曲面のようなパラメトリック曲面として表現してもよい。投影した位置の補間方法の一例として、線形補間、ラングランジュ補間、スプライン補間等の方法をとってもよい。また、投影した位置の外挿方法の一例として、線形外挿やパラメトリック曲面を使用したが外挿を用いてもよい。

ステップＳ３０３では、第２のモデル生成部１４６は、領域検出部１４４で取得したマスク領域の輪郭からの距離を求める。第２のモデル生成部１４６は、例えば、輪郭からのユークリッド距離を表すマップであるＥｕｃｌｉｄｉａｎＤｉｓｔａｎｃｅＴｒａｎｓｆｏｒｍを用いて輪郭からの距離を表現する。また、輪郭からのマンハッタン距離を表すＴａｘｉｃａｂＧｅｏｍｅｔｏｒｙ、或いはベクトル空間で最も大きいベクトルの距離を示すＣｈｅｂｙｓｈｅｖＤｉｓｔａｎｃｅ等を用いて輪郭からの距離を表現するようにしてもよい。

ステップＳ３０４以降、第２のモデル生成部１４６は、表面モデルの頂点毎にステップＳ３０５～Ｓ３０７の処理を行う。
ステップＳ３０５では、第２のモデル生成部１４６は、ステップＳ３０３において求めた輪郭距離を用いて、注目する頂点（処理対象の頂点）が領域の端部にあるか否かを判定する。第２のモデル生成部１４６は、端部にあると判定した場合（Ｙｅｓ）にはステップＳ３０６に処理を進め、そうでない場合（Ｎｏ）にはステップＳ３０７に処理を進める。頂点が端部にあるか否かの判定方法の一例として、第２のモデル生成部１４６は、輪郭距離があらかじめ決められた距離以下である場合に端部であると判定する。

ステップＳ３０６では、第２のモデル生成部１４６は、図４（ｃ）に示すように裏面深度曲面４０３の深度を領域端部からの距離に応じて表面モデルの深度に近づけることで、補正後の裏面深度曲面４０４を生成する。このとき、表面モデルの深度に近づける割合は、例えば、端部からの距離に応じて線形的に近づけてもよいし、二次関数や対数関数等を用いて非線形的に近づけてもよい。

ステップＳ３０７では、第２のモデル生成部１４６は、表面モデルの頂点を補正後の裏面深度曲面４０４に視線ベクトル４００方向に投影した位置に裏面頂点を生成する。第２のモデル生成部１４６は、このようにして表面モデルの頂点毎に厚み情報に基づいて裏面頂点を生成し、モデル化対象の現実物に係る裏面モデルを生成する。

第１の実施形態によれば、モデル化対象の現実物である手の厚みを考慮して高精度にＣＧモデルの操作を可能とし、ユーザが見まわした場合にも違和感のない現実物に係るモデルを高速に生成することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
前述した第１の実施形態では、表面モデルの頂点を裏面曲面に視線ベクトル方向へ投影した位置に裏面頂点を生成した。第２の実施形態では、表面モデルの頂点を裏面曲面に視点座標系の奥行方向へ投影した位置に裏面頂点を生成し、表面からはみ出す場合には裏面深度を表面深度に調整することで、現実物に係る厚みを持つモデルの生成を実現する。なお、情報処理装置の構成は、第１の実施形態と同様であるので、説明は省略する。

図５は、第２の実施形態に係る第２のモデル生成部の処理例を示すフローチャートである。図５に示す処理は、情報処理装置１４０の第２のモデル生成部１４６によって実行される。ここで、ポリゴン生成の手法の一例を示した図６（ａ）～図６（ｄ）と、ビュー座標系について示した図７を適宜参照して図５に示す処理を説明する。

ステップＳ５０１では、図３のステップＳ３０１と同様に、第２のモデル生成部１４６は、第１のモデル生成部１４５によって生成された表面モデルの法線を算出する。具体的には、第２のモデル生成部１４６は、図６（ａ）のように撮像装置１１０で撮像された物体の表面に生成された表面モデル６０１に対して、図６（ｂ）に示す法線６０２を求める。なお、図６（ａ）～図６（ｄ）において、６００は視線ベクトルである。

ステップＳ５０２では、図３のステップＳ３０２と同様に、第２のモデル生成部１４６は、ステップＳ５０１において計算した法線の方向に、データ記憶部１４３から取得した厚み情報（厚みパラメータ）の長さだけ表面モデルの頂点を投影する。そして、第２のモデル生成部１４６は、投影した位置を補間・外挿することよって、図６（ｂ）に示すような裏面深度曲面６０３を生成する。

ステップＳ５０３以降、第２のモデル生成部１４６は、表面モデルの頂点毎にステップＳ５０４～Ｓ５０７の処理を行い、すべての頂点について処理した場合には処理を終了する。
ステップＳ５０４では、第２のモデル生成部１４６は、図６（ｃ）のように、ビュー座標系Ｚ軸逆方向６０４に、表面モデル６０１の各頂点を裏面深度曲面６０３へ投影した位置に裏面頂点６１０～６１３を生成する。ここで、ビュー座標系とは、図７に示すように、主点７０２を原点として、画像平面７０３の横幅の方向をＸ軸、縦幅の方向をＹ軸と定義し、画像平面７０３から主点７０２へ向かう方向をＺ軸とした座標系である。そのため、ビュー座標系Ｚ軸逆方向６０４は、Ｚ軸ベクトル７０１の逆方向のベクトルである。

ステップＳ５０５では、第２のモデル生成部１４６は、生成した裏面頂点と表面モデルをそれぞれ画像平面に投影する。
ステップＳ５０６では、第２のモデル生成部１４６は、投影した裏面頂点が表面モデルと重なるか否かを判定する。第２のモデル生成部１４６は、裏面頂点が表面モデルと重なると判定した場合（Ｙｅｓ）には次のループを実行し、裏面頂点が表面モデルと重ならないと判定した場合（Ｎｏ）にはステップＳ５０７に進む。ステップＳ５０７では、第２のモデル生成部１４６は、表面モデルと重ならないと判定された裏面モデルの頂点の深度を表面モデルの頂点の深度になるよう調整する。

図６（ｃ）に示した例では、裏面頂点６１３は表面モデル６０１と重ならないため、図６（ｄ）に示すように調整後の裏面頂点６２３へ移動する。その後、裏面頂点６１０、６１１、６１２と調整後の裏面頂点６２３とを頂点として裏面モデル６０６が生成される。第２のモデル生成部１４６は、このようにして表面モデルの頂点毎に裏面頂点の生成及び調整を行い、モデル化対象の現実物に係る裏面モデルを生成する。

第２の実施形態によれば、第１の実施形態と同様に、モデル化対象の現実物である手の厚みを考慮して高精度にＣＧモデルの操作を可能とし、ユーザが見まわした場合にも違和感のない現実物に係るモデルを高速に生成することができる。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１０：撮像装置 １２０：入力装置 １３０：表示装置 １４０：情報処理装置 １４１：画像取得部 １４２：情報登録部 １４３：データ記憶部 １４４：領域検出部 １４５：第１のモデル生成部 １４６：第２のモデル生成部 １４７：接触判定部 １４８：画像生成部

Claims (10)

1. 撮像装置が撮像した撮像画像から対象の現実物の領域を検出する領域検出手段と、
   前記領域検出手段により検出した領域に基づいて、前記現実物に係る表面モデルを生成する第１のモデル生成手段と、
   前記第１のモデル生成手段により生成された前記表面モデルの法線の方向に厚みを付けて前記現実物に係る裏面モデルを生成する第２のモデル生成手段とを有することを特徴とする情報処理装置。
2. 前記第２のモデル生成手段は、前記第１のモデル生成手段により生成された前記表面モデルの法線の方向に、前記現実物の厚み情報に基づいて前記表面モデルの頂点を投影して裏面深度曲面を生成し、該裏面深度曲面に前記表面モデルの頂点を投影した位置に頂点を生成して前記裏面モデルを生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記第２のモデル生成手段が前記裏面深度曲面に前記表面モデルの頂点を投影する方向は視線ベクトル方向であることを特徴とする請求項２に記載の情報処理装置。
4. 前記第２のモデル生成手段は、前記現実物の領域の端部からの距離に応じて前記裏面深度曲面を補正することを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記第２のモデル生成手段が前記裏面深度曲面に前記表面モデルの頂点を投影する方向は奥行方向であることを特徴とする請求項２に記載の情報処理装置。
6. 前記第２のモデル生成手段は、前記表面モデルと前記裏面モデルの頂点を画像平面に投影し、投影された前記裏面モデルの頂点が前記表面モデルと重ならない場合に前記裏面モデルの頂点の深度を調整することを特徴とする請求項２又は５に記載の情報処理装置。
7. 前記第２のモデル生成手段は、前記表面モデルからの投影では導出されない裏面深度を、投影で導出された裏面深度の勾配値から補間することを特徴とする請求項２～６の何れか１項に記載の情報処理装置。
8. 撮像装置が撮像した撮像画像から対象の現実物の領域を検出する領域検出工程と、
   前記領域検出工程にて検出した領域に基づいて、前記現実物に係る表面モデルを生成する第１のモデル生成工程と、
   前記第１のモデル生成工程にて生成された前記表面モデルの法線の方向に厚みを付けて前記現実物に係る裏面モデルを生成する第２のモデル生成工程とを有することを特徴とする情報処理方法。
9. 撮像装置が撮像した撮像画像から対象の現実物の領域を検出する領域検出ステップと、
   前記領域検出ステップにて検出した領域に基づいて、前記現実物に係る表面モデルを生成する第１のモデル生成ステップと、
   前記第１のモデル生成ステップにて生成された前記表面モデルの法線の方向に厚みを付けて前記現実物に係る裏面モデルを生成する第２のモデル生成ステップとをコンピュータに実行させるためのプログラム。
10. 請求項９に記載のプログラムを記憶した記憶媒体。

Images