JP2019092089A - 画像処理装置、画像表示システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 撮像タイミングのずれによる仮想画像の描画重畳位置のずれや振動を低減すること。【解決手段】 本発明は、第一の撮像手段で撮像した第一の画像から特徴点の位置姿勢を検出する検出手段と、前記第一の撮像手段で撮像した複数の前記第一の画像の撮像時刻と前記第一の画像から検出された前記特徴点の位置姿勢とに基づいて、前記第一の撮像手段とは撮像タイミングが非同期である第二の撮像手段により撮像された第二の画像の撮像時刻における前記特徴点の位置姿勢を推定する推定手段と、前記推定した特徴点の位置姿勢に基づき、前記第二の撮像手段で撮像した第二の画像に仮想画像を重畳する重畳手段と、を有することを特徴とする。【選択図】 図４

Description

本発明は、現実空間の画像に対して仮想画像を精度良く重畳するための技術に関する。

近年バーチャルリアリティ技術が発展してきている。その中で現実映像にＣＧで生成された仮想映像を描画重畳したＡＲやＭＲなどが提案されている。このとき現実映像に対して仮想映像の重畳位置を決定するために、現実映像上から特徴点を検出し、その位置情報に基づいて描画重畳する手法が提案されている。

また、現実映像上から特徴点の検出精度を上げるために、特徴点としてあらかじめ登録されたマーカーを用いる手法がある。このとき、マーカーが視界から外れると正しく仮想映像が描画重畳できなくなるため、ユーザの視界よりも広範囲の領域を撮像する位置検出用の撮像手段を別途設ける構成が提案されている。

しかしながら、このように別途位置検出用の撮像手段を設けた場合に、各撮像手段間で撮像タイミングの同期は必ずしもとることができない。その為の撮像手段タイミングが異なることで仮想映像の描画重畳位置に遅れが生じることがある。また、各撮像手段の撮像周期（フレームレート）が異なる場合、周期的な重畳位置ずれが生じ、現実映像を取得する撮像手段を旋回させた場合など、仮想映像が現実映像に対して振動的に表示されてしまう場合がある。

このような所望のタイミングと異なるタイミングで撮像された画像データを用いて、所望のタイミングの画像を生成する方法として特許文献１が提案されている。特許文献１は前後の画像よりフレーム間のピクセルデータを補完し異なるフレームレートの画像を提供する。

特開昭６１−２６３８２号公報

しかしながら、特許文献１に開示された手法の場合、前後のフレームより所望の時刻の画像の全ピクセルデータを生成するため生成に時間がかかる。そのため、ＡＲ、ＭＲのシステムにおいて撮像タイミングが異なる撮像手段を用いた場合に、撮像タイミングのずれによる仮想画像の描画重畳位置のずれや振動を抑えることは難しかった。

上記課題を解決するために、本発明は、第一の撮像手段で撮像した第一の画像から特徴点の位置姿勢を検出する検出手段と、前記第一の撮像手段で撮像した複数の前記第一の画像の撮像時刻と前記第一の画像から検出された前記特徴点の位置姿勢とに基づいて、前記第一の撮像手段とは撮像タイミングが非同期である第二の撮像手段により撮像された第二の画像の撮像時刻における前記特徴点の位置姿勢を推定する推定手段と、前記推定した特徴点の位置姿勢に基づき、前記第二の撮像手段で撮像した第二の画像に仮想画像を重畳する重畳手段と、を有することを特徴とする。

以上の構成によれば、本発明は、撮像タイミングが異なる撮像手段を用いた場合にも、撮像タイミングのずれによる仮想画像の描画重畳位置のずれや振動を低減することができる。

第１の実施形態の画像表示システムの概要を示す図。 第１の実施形態のシステムブロック図。 第１の実施形態の特徴点位置推定手段の処理フローチャート。 第１の実施形態の補間予測方法を示す図。 第２の実施形態のシステム概要図。 第２の実施形態のシステムブロック図。 第２の実施形態の処理データ選択組み合わせ例を示す図。 第２の実施形態のシステムブロックの変形例を示す図。

［第１の実施形態］
第１の実施形態として、画像表示装置であるヘッドマウントディスプレイ（以降、ＨＭＤ）１００に接続された画像処理装置に適用した形態について図１乃至図４を用いて説明する。初めに本実施形態におけるシステム構成の概要および画像表示装置の外観について図１を用いて説明し、その後システム構成及び各構成要素の動作について図２乃至図４を用いて説明する。

（ＨＭＤの外観）
本実施形態の画像表示システムの概要を図１に示す。ＨＭＤ１００は撮像手段として第一の撮像手段１と二つの第二の撮像手段２ａ、２ｂを備える。また第二の撮像手段２の裏面には第二の撮像手段２ａ、２ｂに対応した二つの表示手段９ａ、９ｂ（不図示）を備える。

（ＭＲの動作）
図２は本実施形態における画像表示システムの構成図である。まず本実施形態における特徴点である特徴点位置推定手段４及び時刻付与手段６を除いた、基本的なＡＲ、ＭＲなどにおける撮像手段の役割と仮想画像の描画重畳について説明する。以降の説明は簡単のために第二の撮像手段２ａ、２ｂの内一方のみについて説明するが、他方についても同様の構成及び処理フローである。

本実施形態におけるシステム構成として、空間内の特徴点を検出するための第一の画像１０を取得するための第一の撮像手段１と、ユーザの視野画像として用いる第二の画像１１を取得するための第二の撮像手段２を備える。特徴点検出手段３は第一の撮像手段１で取得した第一の画像１０を入力することで、画像に含まれる特徴点の位置姿勢を検出する。仮想映像描画重畳手段５は特徴点検出手段３が出力した特徴点の位置姿勢情報をもとに、入力された仮想物体情報２４の表示する位置姿勢を決定し第二の画像１１上に描画重畳した重畳画像１２を出力する。表示手段（表示部）９は仮想映像描画重畳手段５が出力した重畳画像１２を表示する。これによりユーザはＨＭＤの表示手段９を通して現実空間上に仮想物体があるかのような映像を見ることができる。本実施形態においては、第一の撮像手段１、第二の撮像手段２、表示手段９は、画像表示システムのうち、画像表示装置であるＨＭＤに備えられている。一方、その他の手段については、画像表示システムのうちの画像処理装置（ＰＣ等）に備えられている。

画像処理装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備え、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、上述した各機能構成や後述するフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域を有する。

（特徴点位置推定手段の動作）
上記基本的な画像表示システムの動作を前提として、本実施形態の特徴的な構成を説明する。まず、第一の時刻付与手段６ａ及び第二の時刻付与手段６ｂは第一の撮像手段１および第二の撮像手段２の映像が入力された際に、撮像映像に撮像時刻情報２１を付与する。特徴点位置推定手段４は特徴点検出手段３より入力された、特徴点位置姿勢情報２２とそれに該当する第一の撮像画像の撮像時刻情報２１ａを少なくとも最新の２つ以上を記憶する。また特徴点位置推定手段４は第二の画像１１の撮像時刻情報２１ｂを入力すると、記憶されている位置姿勢情報２２と撮像時刻情報２１ａに基づき、位置姿勢推定情報２３を仮想映像描画重畳手段５へ出力する。

特徴点位置推定手段４の具体的な動作を図３のフローチャート及び図４のグラフを用いて説明する。図４は横軸に時間縦軸に特徴点の位置を示している。実際の推定には姿勢を示す三つの軸周りの回転と三つの軸方向の位置の６軸の位置姿勢情報を推定する必要があるがここでは簡単のため一つの軸の位置についてのみに着目し説明を行う。

まず特徴点位置推定手段４はＳ０１に示すように第一の画像１０及び第二の画像１１の撮像時刻情報２１ａ、２１ｂを取得する。このとき特徴点位置推定手段４はＳ０２の処理として記憶されている撮像時刻情報２１ａ、２１ｂとの時間差ｄｔを求める。

この時間差ｄｔが所定時間以下の場合の例をまず説明する。時間差ｄｔが所定時間以下の場合、特徴点位置推定手段４の処理はＳ０３へ進む。Ｓ０３では特徴点位置推定手段４に記憶された少なくとも最新の２つ以上の位置姿勢情報２２と第一の画像１０の撮像時刻情報２１ａと入力された第二の画像１１の撮像時刻情報２１ｂより予測処理を行う。具体的には図４のグラフの時刻Ｔｍが第二の画像１１の撮像時刻情報２１ｂとし、記憶されている第一の画像１０の撮像時刻情報２１ａの二つがＴｎとＴｎ−１とする。このとき時刻Ｔｎにおける位置ＸｎとＴｎ−１における位置Ｘｎ−１とすると下記の式（１）より時刻Ｔｍにおける位置Ｘｍを予測する。

（Ｘｎ − Ｘｎ−１） ／ （Ｔｎ − Ｔｎ−１） ×（Ｔｍ − Ｔｎ） ＋ Ｘｎ ・・・ 式（１）
特徴点位置推定手段４は式（１）を用いて予測した、位置姿勢推定情報２３をＳ０４において仮想映像描画重畳手段５に入力する。

次に、Ｓ０２において時間差ｄｔが所定時間以上の場合の例を説明する。時間差ｄｔが所定時間以上であった場合にはＳ０５の処理として、第一の撮像手段１における次の撮像を待つ。次の第一の画像１０が撮像されたら、Ｓ０６の処理とし最新の２つ以上の位置姿勢情報２２と第一の画像１０の撮像時刻情報２１ａと入力された第二の画像１１の撮像時刻情報２１ｂより補間処理を行う。具体的には図４のグラフの時刻Ｔｍが第二の画像１１の撮像時刻情報２１ｂとし、記憶されている第一の画像１０の撮像時刻情報２１ａの二つがＴｎとＴｎ＋１とする。このとき時刻Ｔｎにおける位置ＸｎとＴｎ＋１における位置Ｘｎ＋１とすると下記の式（２）より時刻Ｔｍにおける位置Ｘｍを予測する。

（Ｘｎ＋１ − Ｘｎ） ／ （Ｔｎ＋１ − Ｔｎ） ×（Ｔｍ − Ｔｎ） ＋ Ｘｎ ・・・ 式（２）
特徴点位置推定手段４は式（２）を用いて予測した、位置姿勢推定情報２３をＳ０４において仮想映像描画重畳手段５に入力する。

（効果）
この特徴点位置推定手段４の動作により、第一の撮像手段１と第二の撮像手段２の撮像時刻が非同期であったとしても、第二の撮像手段２の撮像時刻における特徴点７の位置を推定することができる。これにより現実空間の画像である第二の画像１１に位置姿勢の誤差が少なく仮想画像を描画重畳することができる。

特に補間処理と、予測処理を切り替えることにより、推定精度と遅延時間の両立をとることができる。具体的には図４に示すように最新の第一の画像１０の撮像時刻と第二の画像１１の撮像時刻が近しいときには予測演算の精度が高いが、時刻が離れると予測精度が低下する。一方で第二の画像１１の撮像時刻よりも後の時刻の第一の画像１０を用いると、予測精度が上がる。一方で、第一の画像１０の取得を待つ必要があるため、もともと第一の画像１０の撮像時刻と第二の画像１１の撮像時刻が近しいときには、１フレーム近く待機をする必要があり、仮想画像を生成するまでの遅延が増大する。これに対して、本実施形態により推定精度と遅延時間を両立した構成とすることができる。

本実施形態では、特徴点７は特に言及していないが、例えば図１に示すような既知のマーカー８を用いることで精度やロバスト性向上が図れる。しかしながら特徴点７として既知のマーカー８に限定するものではない。例えば、撮像画像中に含まれる、コントラストが高い部分や色度変化の大きい部分などを特徴（自然特徴）として検出し、その部分の移動に基づいて撮像手段が移動したと検出する構成としてもよい。

また、本実施形態においては第一の撮像手段１について特に言及しなかったが、カラー画像を取得するものに限らず、輝度情報だけを取得する撮像手段でも構わない。また深度情報を取得するための撮像手段などを用いて、深度情報を特徴点７として検出する構成としてもよい。

時刻情報の付与については、本実施形態においては撮像手段から画像を取得した際にその時刻を付与するとしたが必ずしもこの構成に限定するものではない。例えば、撮像手段による撮像した時刻から、実際に画像を取得するまでの所定時間がかかる場合には、その所定時間分遡った時刻情報を付与することが望ましい。また、撮像手段において時刻情報を付与できる場合はその時刻情報を用いてもよい。この場合撮像手段ごとに時刻情報にオフセット誤差がある場合は、特徴点位置推定手段４で時刻情報を使用する際にそのオフセット誤差を考慮して計算することが望ましい。

本実施形態においては、簡単のため速度に基づく補間処理である直線補間を行う構成で説明したが、３点以上用いて加速度を考慮した補間を行ってもよい。また、撮像手段の解像度やノイズなどにより検出位置に誤差が載る可能性がある。その場合には特徴検出手段で検出した特徴点７の位置姿勢情報の変化にローパスフィルタなどのフィルタ処理を行い、そのフィルタ後の情報をもとに位置を推定する方法を用いてもよい。

また、簡単のため推定処理の演算については一つの軸の移動の推定処理しか記載していないが、その他の軸の回転および位置についても同様の推定方法で推定することができる。

また、本実施形態において推定処理において、補間処理と予測処理を切り替える構成としたが必ずしも切り替えを行う必要はない。例えば、レイテンシが許容できるシステムであれば補間処理のみとしてもかまわない。また逆に、レイテンシが許容できない等の場合には、予測処理のみのシステムとしてもよい。

本実施形態においては、各手段の実装形態を特に限定していないが、たとえば電気的なロジック回路で構成してもよいし、ソフトウェアで構成しＣＰＵやＧＰＵなどのプロセッサに処理させる構成としてもよい。

また、適用する画像表示装置としてＨＭＤとして記載したが、ＨＭＤに限らず表示手段と複数の撮像手段を備えたＡＲ、ＭＲ機器、たとえばＰＣやタブレット、スマートフォンなどにも適用可能である。

［第２の実施形態］
第２の実施形態として第一の撮像手段１として位置が固定された撮像手段を用いたシステム構成へ適用した形態について図５乃至図８を用いて説明する。なお、第１の実施形態で既に説明をした構成については同一の符号を付し、その説明を省略する。

初めに本実施形態におけるシステム構成の概要図を図５に示し、本システムのブロック図を図６に示す。図５、図６を用いて本実施形態のシステム構成を説明する。第一の撮像手段１ａ、１ｂが空間上に固定されて設定されている。第一の撮像手段１は空間上の特徴点７を撮影する。なお、本実施形態においては、特徴点として床面や壁面に張り付けられた第一マーカー８ａと、ユーザが手に持つ第二の撮像手段２に取り付けられた第二のマーカー８ｂを撮影する。第一の撮像手段１で撮像した第一の画像１０ａ，１０ｂは第一の実施形態同様に撮像時刻を付与し図６に示す特徴点検出手段３ａ，３ｂで特徴点７の位置姿勢情報２２ａ，２２ｂを求め特徴点位置推定手段４に入力する。このとき特徴点７の位置姿勢情報２２としては、マーカー８ａ，８ｂ両方の情報を特徴点位置推定手段４に入力する。特徴点位置推定手段は入力された複数の特徴点７の位置姿勢情報２２を元に、後述の推定処理により空間に対する第二の撮像手段２の位置姿勢を推定し仮想映像描画重畳手段５に入力する。

仮想映像描画重畳手段５は、第１の実施形態同様に、特徴点検出手段３が出力した特徴点７の位置姿勢情報をもとに入力された仮想物体情報２４の表示する位置姿勢を決定し、第二の画像１１上に描画重畳した重畳画像１２を出力する。第二の撮像手段２には表示手段９が備えられており、仮想映像描画重畳手段５の出力する重畳画像１２を表示する。これによりユーザは表示手段９を通して現実空間上に仮想物体があるかのような映像を見ることができる。

（特徴点位置推定手段の動作）
次に、本実施形態における特徴点位置推定手段４の動作について説明する。第１の実施形態と異なる点としては、入力される位置姿勢情報２２が複数の第一の撮像手段１から得られた情報が入力される点である。ここでは、この複数の位置姿勢情報２２の処理について説明する。図６に示すように、非同期の複数の撮像手段を用いているため、撮像時刻情報２１は２つの第一の撮像手段１ａ、１ｂ及び第二の撮像手段２とで異なっている。このとき第一の撮像手段１ａ、１ｂのどちらかを問わず、第二の撮像手段の撮像時刻情報２１に近い位置姿勢情報を用いて推定処理を行う。具体的には、図７の第一の組み合わせ３１と第二の組み合わせ３２のどちらか一方を用いて推定処理を行う。第一の組み合わせ３１と第二の組み合わせ３２の切り替えやその組み合わせにおいての補間・予測の演算処理は第１の実施形態と同様である。

こうすることにより、非同期な複数の第一の撮像手段１ａ、１ｂの撮像画像を用いることで、疑似的に第一の撮像手段１のサンプリングレートが上がったのと等価になる。これにより第二の画像１１の撮像時刻における空間に対する第二の撮像手段２の推定精度を向上することができる。

また、各第一の撮像手段１で撮像した第一の画像１０を基に検出した位置姿勢情報２２に各第一の撮像手段１固有の誤差が含まれる可能性がある。この場合、第二の撮像手段２に取り付けられた第二のマーカー８を固定した状態で、それぞれの位置姿勢情報２２を求め、各位置姿勢情報２２間の検出誤差３３ａ、３３ｂをオフセット誤差として図８に示すような構成で補正してもよい。

本実施形態では第二の撮像手段２と表示手段９が一体である構成を示したが、必ずしもこれに限定するものではなく、例えば、表示手段９は別体の構成としてもよい。また、第二の撮像手段２と一体の表示手段９と別体の表示手段を双方備える構成でもよい。

また、本実施形態では第一の撮像手段１によるマーカー８の撮像失敗などについて言及していないが、例えばユーザの影にマーカー８が入ってしまい一方の第一の撮像手段１では取得できない可能性がある。そのような場合は、マーカー８の位置姿勢情報２２を取得できている第一の撮像手段１の位置姿勢情報２２のみを用いて処理を行う形態としてもよい。

また、本実施形態において第一のマーカー８ａを床面または壁面に設置し、第二の撮像手段２に取り付けた第二のマーカー８ｂとの相対位置姿勢（相対位置の関係）を検出するとしたが必ずしもこの構成に限定するものではない。例えば第一の撮像手段１の設置位置が空間上のどの位置にあるか適切に登録できている場合には、第一のマーカー８ａは必ずしも必要なく、第二のマーカー８ｂのみで第二の撮像手段２の空間上の位置姿勢を求めることができる。

第一の実施形態と同様に特徴点７はマーカー８に限定するものではなく、第二の撮像手段の形状データなどを用いてもよい。

その他、撮像手段や、時刻情報の付与、位置姿勢の推定方法、位置姿勢情報に含まれるノイズの除去などに関しても第１の実施形態と同様に特定の形態に限定するものではない。

本実施形態においては、各手段の実装形態を特に限定していないが、たとえば電気的なロジック回路で構成してもよいし、ソフトウェアで構成しＣＰＵやＧＰＵなどのプロセッサに処理させる構成としてもよい。

また、適用する装置として第二の撮像手段２と表示手段９を備える、タブレット状のものとして図示したが必ずしもそれに限定するものではない。例えば、第１の実施形態同様にＨＭＤやデジタルカメラ、デジタルビデオカメラ、ＰＣやタブレット、スマートフォンなどにも適用可能である。

また、第一の撮像手段１を空間上に固定する形態としたがこれに限定するものではなく、ＨＭＤやタブレット上に第一の撮像手段１を複数備える構成としてもよい。また固定の第一の撮像手段１と併用する構成としてもよい。

［その他の実施形態］
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１ 第一の撮像手段
２ 第二の撮像手段
３ 特徴点検出手段
４ 特徴点位置推定手段
５ 仮想映像描画重畳手段
６ 時刻付与手段
１００ ＨＭＤ
１０１ タブレット

Claims (10)

1. 第一の撮像手段で撮像した第一の画像から特徴点の位置姿勢を検出する検出手段と、
   前記第一の撮像手段で撮像した複数の前記第一の画像の撮像時刻と前記第一の画像から検出された前記特徴点の位置姿勢とに基づいて、前記第一の撮像手段とは撮像タイミングが非同期である第二の撮像手段により撮像された第二の画像の撮像時刻における前記特徴点の位置姿勢を推定する推定手段と、
   前記推定した特徴点の位置姿勢に基づき、前記第二の撮像手段で撮像した第二の画像に仮想画像を重畳する重畳手段と、
   を有することを特徴とする画像処理装置。
2. 前記推定手段は、前記第一の画像を撮像した時刻と前記第二の画像を撮像した時刻とに基づき、前記第二の画像を撮像した時刻よりも後の時刻に撮像された前記第一の画像を含んだ複数の画像に基づいて補間処理と、前記第二の画像を撮像した時刻よりも前の時刻に撮像された複数の第一の画像に基づく予測処理とを切り替えることにより、前記第二の画像を撮像した時刻における前記特徴点の位置姿勢を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記推定手段は、前記第二の画像を撮像した時刻における最新の前記第一の画像を撮像した時刻の差が所定の時間以下の場合には前記予測処理を行い、所定の時間以上の場合には次の第一の画像の取得を待つことにより前記補間処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記推定手段は、複数の前記第一の撮像手段で撮像した複数の前記第一の画像の中から、前記第二の画像の撮像時刻に近い複数の画像を用いて、前記第二の画像の撮像時刻における前記特徴点の位置姿勢を推定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記重畳手段は、前記第一の撮像手段と前記第二の撮像手段の相対位置の関係と前記推定された特徴点の位置姿勢に基づき、仮想画像を重畳することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記重畳手段は、前記第一の撮像手段により撮像された前記第二の撮像手段に供えられた前記特徴点により前記第一の撮像手段と前記第二の撮像手段のとの前記相対位置の関係を推定し、当該相対位置の関係に基づき前記第二の画像に対して仮想画像を重畳することを特徴とする請求項５に記載の画像処理装置。
7. 請求項１から６のいずれか１項に記載の画像処理装置と、
   前記第二の画像に対して仮想画像を重畳して生成された画像を表示する表示部を有する
   画像表示装置と、
   を有することを特徴とする画像表示システム。
8. 前記表示装置は、前記第一の撮像手段および前記第二の撮像手段を有することを特徴とする請求項７に記載の画像表示システム。
9. 第一の撮像手段で撮像した第一の画像から特徴点の位置姿勢を検出するステップと、
   前記第一の撮像手段で撮像した複数の前記第一の画像の撮像時刻と前記第一の画像から検出された前記特徴点の位置姿勢とに基づいて、前記第一の撮像手段とは撮像タイミングが非同期である第二の撮像手段により撮像された第二の画像の撮像時刻における前記特徴点の位置姿勢を推定するステップと、
   前記推定した特徴点の位置姿勢に基づき、前記第二の撮像手段で撮像した第二の画像に仮想画像を重畳するステップと、
   を有することを特徴とする画像処理方法。
10. コンピュータを請求項１から６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images