JP2014215755A

JP2014215755A - 画像処理システム、画像処理装置及び画像処理方法

Info

Publication number: JP2014215755A
Application number: JP2013091520A
Authority: JP
Inventors: 雄一山川; Yuichi Yamakawa
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-04-24
Filing date: 2013-04-24
Publication date: 2014-11-17
Anticipated expiration: 2033-04-24
Also published as: US20140320526A1; JP5769755B2; US9355497B2

Abstract

【課題】処理負荷が多くならないようにして、より臨場感を高めた複合現実空間を使用者に提供できるようにする。【解決手段】位置推定部１１２において、ＨＭＤ１の位置及び姿勢を追従し、位置・姿勢計測部１２２の計測結果に基づいて追従結果を補正する。そして、この補正結果に基づいて特徴点の位置及び大きさを推定する。このとき、特徴点の大きい順に優先度を高くし、優先度の高い特徴点を含むように特徴検出用画像を切出すようにする。このように特徴点の推定結果によって特徴検出用画像の切出し位置が随時変更されるため、精度良くＨＭＤ１の位置及び姿勢を計測することができる。【選択図】図１

Description

本発明は、特に、ＭＲ技術においてＣＧ画像を撮像画像に重畳するために用いて好適な画像処理システム、画像処理装置、画像処理方法及びプログラムに関する。

近年、現実世界と仮想世界とをリアルタイムにシームレスに融合させる技術として、複合現実技術、いわゆるＭＲ（Mixed Reality）技術が知られている。このＭＲ技術の１つに、ビデオシースルーＨＭＤ（Head Mounted Display）を利用して、複合現実画像を使用者に提示する技術がある。ビデオシースルーＨＭＤが内蔵するビデオカメラは、使用者の瞳位置から観測される被写体と略一致する被写体を撮像する。この撮像画像にＣＧ（Computer Graphics）画像を重畳した画像をビデオシースルーＨＭＤの表示パネルに表示することによって、複合現実空間が使用者に提供される。

ここで、ＣＧ画像を重畳する位置を決定する技術として、撮像画像から特徴点を検出し、ビデオシースルーＨＭＤの位置・姿勢を計測した結果を利用する方法が知られている。また、高精度な位置合わせを行うためには、より多くかつより高精細な特徴点を撮像することが必要である。そのため、より広画角で高解像度な撮像画像を得ることが望ましい。ＭＲ技術においても、臨場感を高めるために広画角で高解像度な撮像画像と表示画像とを持つことが望ましい。一般的にビデオシースルーＨＭＤの撮像画角及び表示画角は同じであるが、特許文献１には、より広い範囲の特徴点を撮像するために撮像画角を表示画角より広くし、撮像画像の一部領域を切り出して表示画像を生成する方法が提示されている。

特開２０１０−９２４３６号公報

しかしながら特許文献１に記載の方法では、撮像画角を広画角化することにより、より多くの特徴点を撮像することが可能となるが、広画角化することによって１画素あたりの分解能が悪くなってしまう。このため、位置・姿勢を精度よく計測するためには広画角化するとともに撮像画像を高解像度化する必要がある。一般的に撮像画像から特徴点を検出する処理は処理負荷が大きいため、高解像度な撮像画像を使用することによってシステムの負荷が増加してしまう課題があった。

本発明は前述の問題点に鑑み、処理負荷が多くならないようにして、より臨場感を高めた複合現実空間を使用者に提供できるようにすることを目的としている。

本発明の画像処理システムは、外界を撮像して撮像画像を生成する撮像手段と、前記撮像手段の位置及び姿勢を追従する追従手段と、前記追従手段によって追従された前記撮像手段の位置及び姿勢に基づいて前記撮像画像における特徴点の位置を推定する推定手段と、前記撮像手段によって生成された撮像画像から、合成用画像を切出すとともに、前記推定手段によって推定された特徴点の位置に基づいて特徴検出用画像を切出す切出し手段と、前記切出し手段によって切出された特徴検出用画像から特徴点を検出して前記撮像手段の位置及び姿勢を計測する計測手段と、前記計測手段によって計測された位置及び姿勢に基づいてＣＧ画像を生成する生成手段と、前記切出し手段によって切出された合成用画像と、前記生成手段によって生成されたＣＧ画像とを合成する合成手段と、前記合成手段によって合成された画像を表示部に表示する表示制御手段とを有することを特徴とする。

本発明によれば、撮像画角を広画角化せずに処理負荷が多くならないようにして、より臨場感を高めた複合現実空間を使用者に提供することができる。

本発明の実施形態に係る画像処理システムの内部構成例を示すブロック図である。撮像と表示との光学的な関係を示す概略図である。撮像部で得られる画像と表示部で表示される画像の関係を示した図である。撮像画像と特徴検出用画像との関係を示した図である。本発明の実施形態に係る位置推定部及び初期データ部の詳細な構成例を示すブロック図である。特徴点の位置を推定する方法の概念を説明するための図である。ＨＭＤの位置・姿勢情報及び特徴点情報の一例を示す図である。本発明の実施形態に係る位置推定部による処理手順の一例を示すフローチャートである。撮像画像における特徴点及び余裕領域を説明するための図である。本発明の第１の実施形態における図８のＳ８０４の詳細な処理手順の一例を示すフローチャートである。特徴検出用画像を中心方向に広げる例を示す概念図である。特徴点を多く含むように特徴検出用画像を切出す例を説明するための図である。余裕領域の座標及び大きさの一覧の例を示す図である。余裕領域を特徴検出用画像として切出す例を説明するための図である。本発明の第２の実施形態における図８のＳ８０４の詳細な処理手順の一例を示すフローチャートである。図１５のＳ１５０３の詳細の処理手順の一例を示すフローチャートである。特徴点と余裕領域のサイズとから優先度順に並び変えた一覧の例を示す図である。画素データを入力する順序を説明するための図である。ＰＣへ送信するデータの構造例を示す図である。１ラインごとにＰＣにデータを送付する手順を説明するための図である。ＰＣへ送付するデータを送付順に並べた例を示す図である。最も優先度の高い特徴点から遠い特徴点の優先度を高くする手順を説明するための図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る画像処理システムの内部構成例を示すブロック図である。本実施形態に係るシステムは、ユーザに対して複合現実感（ＭＲ）を提供する複合現実システムであり、ビデオシースルーＨＭＤ（以下、ＨＭＤ）１と情報処理装置であるパーソナルコンピュータ（ＰＣ）２とで構成されている。
図１において、ＨＭＤ１は、撮像部１０１により外界を撮像する。撮像部１０１で生成された撮像画像は、特徴検出用切出し部１０２によって撮像画像の一部が切出される。

位置推定部１１２は、初期データ部１１０及びセンサ部１１１が保持するデータからＨＭＤ１の位置・姿勢を追従する。なお、特徴検出用切出し部１０２は、この位置推定部１１２から撮像画像の切出し位置が指示される。また、撮像部１０１で生成された撮像画像は、画像合成用切出し部１０３にも送られ、後述する画像合成用の画像として撮像画像の一部が切出される。

特徴検出用切出し部１０２で切出された撮像画像（以下、特徴検出用画像と記す）と位置推定部１１２で指示された画像の切出し位置に関する情報は、インターフェース１０６を通してＰＣ２の特徴検出部１２１に送信される。特徴検出部１２１は、切り出された撮像画像から特徴点を検出し、検出結果及び切出し位置の情報を位置・姿勢計測部１２２に送信する。

位置・姿勢計測部１２２は、切出し位置と特徴検出部１２１で検出された特徴点の位置とに基づいて、ＨＭＤ１の位置・姿勢を計測し、計測結果をComputer Graphics（以下、ＣＧ）描写部１２３に送信する。ＣＧ描写部１２３は、ＣＧデータ１２４と位置・姿勢の計測結果とからＣＧ画像を描写する。描写されたＣＧ画像はインターフェース１２５を通じてＰＣ２からＨＭＤ１に送信される。

画像合成部１０４は、画像合成用切出し部１０３で切り出された撮像画像（以下、画像合成用画像と記す）と、ＣＧ描写部１２３で描写されたＣＧ画像とを合成する。さらに、合成された画像を表示部１０５に表示する表示制御も行う。これにより複合現実感をユーザに提供することができる。

次に、画像合成用切出し部１０３の処理について、図２及び図３を参照しながら説明する。図２は、撮像と表示との光学的な関係を示す概略図である。図２において、光線２００は撮像プリズム２０１を通り、撮像部２０２（図１の撮像部１０１に対応）によって撮像される。表示部２１０（図１の表示部１０５に対応）に表示される光線２１３は、表示プリズム２１２を経て目２１４に入射される。ここで、点２０３は撮像部１０１の中心で撮像された光であり、この光は表示部２１０の中心点２１１で再現される。本実施形態に係るＨＭＤ１では、光線２００の光軸と光線２１３の光軸とが略一致している。

図３は、撮像部１０１で得られる画像と表示部１０５で表示される画像の関係を示した図である。図３の枠３００は撮像部１０１で得られた画像の枠であり、枠３０１は画像合成用切出し部１０３によって撮像画像から切り出されて表示部１０５に表示される画像の枠である。また、点３１０は、図２の点２０３、２１１に相当する画素を示す。撮像画像の光軸と表示画像の光軸とを一致させるため、撮像画像から表示画像を切り出す位置は動かすことができず、常に同じでなければならない。

次に、特徴検出用切出し部１０２の処理について説明する。特徴検出用切出し部１０２によって切出される特徴検出用画像は、特徴点を検出するためだけに使用される画像であり、ＨＭＤ１の表示部１０５の表示には使用されない。より多くの特徴点を含んだ領域で切出すことが重要であるため、特徴検出用切出し部１０２が切出すための切出し位置は常に固定されるものではない。

図４は、撮像画像と特徴検出用画像との関係を示した図である。図４において、枠４０１は特徴検出用切出し部１０２で切出された特徴検出用画像の枠を示している。なお、特徴検出用切出し部１０２では、位置推定部１１２から切出し位置が指定される。また、特徴検出用切出し部１０２は、指定された切出し位置をもとに切出される対象範囲の画像のみをインターフェース１０６へ送信するため、フレームバッファを不要とする。

ここで、図５を参照しながら特徴検出用切出し部１０２へ切出し位置を指定する具体的な処理について説明する。図５は、位置推定部１１２及び初期データ部１１０の詳細な構成例を示すブロック図である。本実施形態では、切出し位置の指定をするために、初期データ部１１０、センサ部１１１、及び位置推定部１１２が使用される。

図５において、初期データ部１１０は、特徴点の３次元配置位置を記録する特徴点位置記録部５００と、ＨＭＤ１を起動する時のＨＭＤ１の位置・姿勢情報を記録するＨＭＤ初期位置・姿勢記録部５０１とで構成されている。特徴点の３次元配置位置は、システム起動時にＰＣ２の位置・姿勢計測部１２２で事前に計測した特徴点の３次元配置位置であり、インターフェース１０６を通して取得される。ＨＭＤ１を起動する時のＨＭＤ１の位置・姿勢情報は、ＰＣ２の位置・姿勢計測部１２２でシステム起動時にＨＭＤ１の位置・姿勢を計測することによってインターフェース１０６を通して取得される。

位置推定部１１２は、位置・姿勢追従部５１０、位置・姿勢推定部５１１、データ受信部５１２、比較・補正部５１３、及び切出し位置決定部５１４で構成されている。位置・姿勢追従部５１０は、センサ部１１１から送信されるＨＭＤ１の位置・姿勢変化を追従し、ＨＭＤ１の初期位置からの変位を測定し、測定結果を位置・姿勢推定部５１１に送信する。なお、センサ部１１１は位置・姿勢変化を検出するセンサ、例えばジャイロセンサや加速度センサなどである。

位置・姿勢追従部５１０で行うようなジャイロセンサや加速度センサで位置・姿勢を追従する方法は、追従時間が長くなるにつれて誤差を蓄積してしまうことがある。一方、ＰＣ２で計測するＨＭＤ１の位置・姿勢は、特徴点検出を行った結果を利用しているため、時間経過による誤差の蓄積が起こらない。そのため、後述する比較・補正部５１３は、センサ部１１１から追従したＨＭＤ１の位置・姿勢情報を、ＰＣ２で得られた位置・姿勢情報を用いて定期的に補正する。

位置・姿勢推定部５１１は、位置・姿勢追従部５１０で決定された初期位置からの変位と、ＨＭＤ初期位置・姿勢記録部５０１に記録された初期の位置・姿勢情報から、ＨＭＤ１の位置・姿勢を逐次推定する。そして、位置・姿勢の推定結果を比較・補正部５１３へ送信する。データ受信部５１２は、ＰＣ２の位置・姿勢計測部１２２で計測されたＨＭＤ１の位置・姿勢の計測結果を毎フレーム、あるいは数フレームに一回定期的に受信し、比較・補正部５１３へ送信する。

比較・補正部５１３は、位置・姿勢推定部５１１で推定されたＨＭＤ１の位置・姿勢とデータ受信部５１２で受信されたＨＭＤ１の位置・姿勢の計測結果とを比較し、その比較結果に基づいて位置・姿勢推定部５１１の推定結果を補正する。なお、比較・補正部５１３は内部にメモリを備えており、数フレーム分の位置・姿勢推定部５１１の推定結果を記録している。

また、データ受信部５１２から受け取るデータは、位置・姿勢推定部５１１の推定結果に比べて数フレーム遅延している。これは、位置推定部１１２の推定結果に基づいて特徴検出用切出し部１０２が切出した特徴検出用画像からＰＣ２の位置・姿勢計測部１２２で位置・姿勢計測を行っているためである。そのため、比較・補正部５１３は、データ受信部５１２から受信した位置・姿勢情報を、位置・姿勢推定部５１１の同時刻の位置・姿勢情報と比較して補正情報を求め、最新の位置・姿勢推定部５１１の位置・姿勢情報を補正する。

さらに比較・補正部５１３は、位置・姿勢情報の補正結果と位置・姿勢の推定精度の情報とを、切出し位置決定部５１４へ送信する。ここで、推定精度とは後述する特徴点を含んだ余裕領域の大きさを決定するパラメータであり、各フレーム、特徴点ごとに値を持つ。この推定精度は比較・補正部５１３によって、比較・補正部５１３がデータを比較した時に決定される。推定精度の値は、比較した時刻と現時刻との差が大きいほど大きな値にする等の方法が考えられる。

切出し位置決定部５１４は、比較・補正部５１３から送られるＨＭＤ１の位置・姿勢情報及び推定精度の情報、並びに特徴点位置記録部５００から送られる特徴点の３次元配置情報から、撮像画像上の特徴点の位置と大きさとを推定する。

図６は、特徴点の位置を推定する方法の概念を説明するための図である。なお、図６において、水平・垂直方向共に６０°の撮像画角を持つものとする。
図６には、ＨＭＤ１の位置・姿勢と特徴点との位置関係を、後述する特徴点の位置ベクトルと姿勢方向ベクトルとを含む平面で示している。図６の点６００はＨＭＤ１の位置を示しており、ベクトル６０１はＨＭＤ１の姿勢方向ベクトルの向きを示し、ベクトル６０２はＨＭＤ１の位置を原点とした特徴点の位置ベクトルを示す。また、ベクトル６０３、６０４のなす角度が画角である６０°に相当し、ＨＭＤ１に撮像される範囲は、ベクトル６０３、６０４の間の領域となる。

特徴点が撮像画像に含まれるか否かは、ベクトル６０１、６０２のなす角度θが３０°以下であるか否かによって決まる。また、ベクトルの内積と大きさとの関係からこのなす角度の余弦（cosθ）は容易に求めることができる。図６に示す例の場合、cos３０°≒０．８７＜cosθであれば、ＨＭＤ１は特徴点を撮像することができる。そして、特徴点が撮像されると判明した場合、撮像画面に表示される大きさの計算を行う。撮像画面上の大きさは、ＨＭＤ１から離れると小さくなると仮定することができる。そのため、撮像画面上の大きさ判定を「実寸／距離」で行う。具体的な方法については、以下、図７を参照しながら説明する。

図７に示す位置は、世界座標系での位置を示し、姿勢は正面の向きを大きさ１のベクトルで表し、大きさは特徴点の実寸大を示す。正面の向きとは、ＨＭＤ１であれば撮像部１０１の撮像方向、特徴点であれば、特徴点の表を向く向きである。２つの姿勢方向が真逆である時に正面を向きあった関係となる。

図７（ａ）は、比較・補正部５１３から得られたＨＭＤ１の位置・姿勢情報を示し、図７（ｂ）は、特徴点位置記録部５００から読み出す１つ分の特徴点情報を示している。まず、ＨＭＤ１から水平・垂直方向の画角６０°の画面内に特徴点が撮像されるかどうかを計算する。なお、図７（ｃ）は、ＨＭＤ１から見た特徴点の位置ベクトル及びＨＭＤ１の姿勢方向ベクトルを示す。この２つのベクトルの大きさと内積とからcosθ≒０．９５と計算でき、cos３０°より大きいため、この特徴点の中心は撮像されることがわかる。同様にして特徴点を囲む領域で上記判定を行う。特徴点が撮像されることが判明し、撮像画面上の大きさを計算すると、撮像画面上の一辺の長さは２ｃｍ／（１０√１０）ｃｍで相対値は約０．０６３である。なお、特徴点自体も姿勢情報を持っているため、この姿勢情報も用いて大きさ等を求めてもよい。

切出し位置決定部５１４は、上記方法で求めた撮像画像上の特徴点の位置と、比較・補正部５１３の推定精度とから撮像画像の切出し位置を決定し、特徴検出用切出し部１０２に切出し位置を指示する。特徴検出用切出し部１０２で切出された特徴検出用画像の特徴点からＨＭＤ１の位置・姿勢計測を行うため、基本的により多くの特徴点が撮像されている場所を切出すことが好ましい。しかし、撮像画像上の小さな特徴点に比べて大きな特徴点からの方が精度よく位置・姿勢計測を行うことができるため、本実施形態では、複数の特徴点のうち、より大きいものの優先度が高いものとし、大きい特徴点を含むように切出す。

図８は、位置推定部１１２による処理手順の一例を示すフローチャートである。
まず、Ｓ８００において、位置・姿勢追従部５１０がセンサ部１１１から位置・姿勢の変化の情報を取得する。そして、Ｓ８０１において、位置・姿勢追従部５１０初期位置からの変位を測定することによって位置・姿勢情報を追従する。

次に、Ｓ８０２において、位置・姿勢推定部５１１は、Ｓ８０１の追従結果とＨＭＤ初期位置・姿勢記録部５０１に記録されている初期データとから現在の位置・姿勢を推定する。そして、Ｓ８０３において、比較・補正部５１３は、データ受信部５１２から得られた位置・姿勢情報とＳ８０２の推定結果とを比較し、推定精度を算出するとともに最新のＳ８０２の推定結果を補正する。次に、Ｓ８０４において、切出し位置決定部５１４は、Ｓ８０３の推定精度と補正結果と特徴点位置記録部５００のデータとから撮像画面上の特徴点の位置を推定し、特徴検出用切出し部１０２に切出し位置及びサイズを指示する。

ここで、図８のＳ８０４における切出し位置決定部５１４の処理の詳細について、図９及び図１０を参照しながら説明する。図９の枠９０１が示す余裕領域は、撮像画面上の特徴点の推定位置に対し、特徴点の大きさと比較・補正部５１３から送られた推定精度に応じた大きさとで特徴点の推定位置の周りを囲んだ領域である。

図１０は、図８のＳ８０４の詳細な処理手順の一例を示すフローチャートである。
まず、Ｓ１０００において、切出し位置決定部５１４は、前述した方法で、Ｓ８０３の推定精度と補正結果と特徴点位置記録部５００のデータとから撮像画面上の特徴点の位置を推定する。次に、Ｓ１００１において、推定した特徴点の中で優先度を決定する。図９に示す例の場合は、左側の特徴点は右側の特徴点よりも大きいと推定されるため、左側の特徴点の優先度を高くする（Ｓ１５１）。

次に、Ｓ１００２において、各特徴点に対して特徴点の大きさと推定精度とから余裕領域を決定する。図９に示す例では、枠９０１に囲まれた余裕領域を決定する。そして、Ｓ１００３において、特徴検出用画像の切出し位置を、Ｓ１００１で決定した最も優先度の高い特徴点を含む余裕領域を含むように決定する。本実施形態では、図９の枠４０１に示すように特徴検出用画像を切出す数は常に１つであり、同じサイズとする。そのため、余裕領域の外側の切出し領域に関しては、特徴点の位置に対して撮像画像の中心方向に広げた領域に決定される。

図１１は、特徴検出用画像を中心方向に広げる例を示す概念図である。図１１（ａ）に示す例では、優先度の高い特徴点が撮像画像に対して左下にあるため、余裕領域から右上に広げた領域に決定する。図１１（ｂ）に示す例では、優先度の高い特徴点が撮像画像に対して左側にあるため、余裕領域から右に広げた領域に決定する。図１１（ｃ）に示す例では、図１１（ｂ）に示した例と同様に余裕領域から右に広げた領域に決定するが、撮像画像からはみ出ないように領域に決定する。このように撮像画像の中心に対して対角線側に特徴検出用画像を切出すことにより、遠くに複数存在する特徴点を使用することも可能になる。遠くに複数存在する特徴点を使用すると、位置・姿勢の計測精度が良好になるため、ＭＲシステムにおいて有効である。

また、上記方法では、優先度が一番高い特徴点から中心方向に広げた領域を切出したが、できるだけ多くの特徴点を使用できるように切出す方法も考えられる。以下、この方法について説明する。

図１２（ａ）に示す例は、前述した方法で切出し位置を決定した例を示している。この方法では、切出し位置を一番優先度の高い特徴点のみで決定したため、特徴点Ｃ、Ｄを特徴検出用画像に含まれない。これに対して図１２（ｂ）に示す例では、一番優先度の高い特徴点を必ず含み、かつできるだけ他の特徴点の余裕領域も含んで切出している。この方法で切出す例について図１３を参照しながら説明する。

図１３は、図１２に示した各特徴点の座標の一覧の例を示す図である。切出し位置決定部５１４は、撮像画像に含まれる各特徴点の余裕領域を推定し、撮像画像の左上を原点とした座標から、余裕領域の大きさと優先度とを計算する。ここで、座標Ｘ_min、Ｘ_max、Ｙ_min、Ｙ_maxはそれぞれ各特徴点の座標の最大値及び最小値を示す。また、切出す領域のサイズはＸ方向に５００ピクセルとし、Ｙ方向に３００ピクセルとする。

まず、優先度が１である特徴点Ａを必ず含み、優先度が２である特徴点Ｂも含む切出し方法があるか否かを確認する。図１３に示す例では、特徴点Ａの座標Ｘ_minが最も小さく１００ピクセルで、特徴点Ｂの座標Ｘ_maxが最も大きく５９０ピクセルであり、切出し枠が５００ピクセルである。このため、Ｘ方向は切出す領域の枠内に入り、１０ピクセルだけＸ方向に移動可能である。同様に特徴点Ａの座標Ｙ_minが最も小さく１００ピクセルで、特徴点Ａの座標Ｙ_maxが最も大きく３００ピクセルで、さらに特徴点Ｂの座標Ｙ_maxが２５０ピクセルであり、切出し枠が３００ピクセルである。このため、Ｙ方向も切出す領域の枠内に入り、Ｙ方向も１００ピクセルだけ移動可能である。

次に、優先度が３である特徴点Ｃが枠内に入るか否かを確認する。図１３に示す例では、最も小さい特徴点Ａの座標Ｘ_minが１００ピクセルで、最も大きい特徴点Ｂの座標Ｘ_maxが５９０ピクセルで、さらに特徴点Ｃの座標Ｘ_maxが５２０ピクセルである。このため、Ｘ方向は切出す領域の枠内に入る。また、特徴点Ｃの座標Ｙ_minが最も小さく５０ピクセルで、最も大きい特徴点Ａの座標Ｙ_maxが３００ピクセルであり、この間の幅は２５０ピクセル以下であるため、Ｙ方向も特徴点Ａ、Ｂ、Ｃは同じ枠で切出すことができる。

次に、優先度が４である特徴点Ｄが枠内に入るか否かを確認する。図１３に示す例では、最も小さい特徴点Ａの座標Ｘ_minが１００ピクセルで、最も大きい特徴点Ｂの座標Ｘ_maxが５９０ピクセルであり、さらに特徴点Ｄの座標Ｘ_maxが５００ピクセルである。その間の幅が５００ピクセル以下であるためＸ方向は切出す領域の枠内に入る。一方、最も小さい特徴点Ｃの座標Ｙ_minが５０ピクセルで、特徴点Ｄの座標Ｙ_maxが最も大きく４７０ピクセルであり、その間の幅が３００ピクセルを超える。このため、特徴点Ｄは同じ切出し枠には入らない。

すべての特徴点に対して確認が終わったため、特徴点Ａの座標Ｘ_min、特徴点Ｃの座標Ｙ_min（この場合、１００、５０）から、切出し枠のサイズに合わせた領域で画面を切出す。この時、特徴点Ａの座標Ｘ_min、特徴点Ｃの座標Ｙ_minに必ずしも切出し枠を合わせる必要はなく、座標Ｘ_min、座標Ｘ_maxや座標Ｙ_min、座標Ｙ_maxの中心が切出し枠の中心に合うように切出してもよい。このように優先度の高い特徴点から順に処理を行うことにより切出し位置を決定する。なお、ある優先度の特徴点が切出し枠に入らなくても、それより低い優先度の特徴点がある場合は、その特徴点についても同様の処理を行う。

なお、本実施形態では、撮像画像上の特徴点の大きさが大きいものを優先度の高い特徴点とした。しかし、実際は特徴点を正面から見るのではなく斜めから見ることがある。このような場合、大きさだけで判断を行うのではなく角度による補正を行って優先度を設定してもよい。また、撮像画面上の特徴点の大きさで優先度を決定する以外にも、特定の特徴点を常に優先度を高くしたり、ある一定以上の大きさを持つ特徴点の優先度を同じにしたりする方法も考えられる。この場合でも、同様の処理により切出し枠を決定することができる。

以上のように本実施形態によれば、特徴点を検出するために必要な領域を推定して撮像画像を抽出するため、システムの負荷を増やさないようにして高精度に位置・姿勢を計測することができる。

（第２の実施形態）
本実施形態では、撮像画像から優先度の高い複数の特徴点の近辺のみをそれぞれ切出して位置・姿勢を計測する方法について説明する。この手法を用いることにより第１の実施形態と比べてより伝送負荷を抑えつつ高精度に位置・姿勢を計測することができる。なお、本実施形態に係る画像処理システムの内部構成例については第１の実施形態と同様であるため、説明は省略する。本実施形態では、第１の実施形態と異なる点についてのみ説明する。

第１の実施形態では、大きい特徴点の優先度を高くし、優先度の高い特徴点を含むように１つの特徴検出用画像を切出していたが、本実施形態では特徴点を検出するために必要なデータ量が一定以下になるように複数の特徴検出用画像を切出す。図１４に示すように、本実施形態では、優先度の高い順に余裕領域を計算し、各特徴点の余裕領域１４０１を特徴検出用画像として切出す。ただし、すべての特徴点の余裕領域を切出すのではなく、余裕領域の合計が事前に設定した一定サイズ以下のデータ量で収まるように切出す。

図１５は、本実施形態における切出し位置決定部５１４による図８のＳ８０４の詳細な処理手順の一例を示すフローチャートである。
まず、Ｓ１５００において、切出し位置決定部５１４は図１０のＳ１０００と同様の方法で撮像画像上の特徴点の位置を推定する。次に、Ｓ１５０１において、複数の特徴点の優先度を図１０のＳ１００１と同様、あるいは後述する方法により決定する。そして、Ｓ１５０２において、図１０のＳ１００２と同様の手順で余裕領域を決定する。次に、Ｓ１５０３において、優先度の高い特徴点の余裕領域を優先的に切出す。

図１６は、図１５のＳ１５０３の詳細の処理手順の一例を示すフローチャートである。また、図１７は、特徴点と余裕領域のサイズとから優先度順に並び変えた一覧の例を示す図である。以下、図１７に示す特徴点を例に余裕領域を切出す例について説明する。

まず、Ｓ１６００において、切出し位置決定部５１４は、図１７（ａ）に示す特徴点と余裕領域とが対応したデータを、図１７（ｂ）に示すように優先度順に並び変える。そして、Ｓ１６０１において、余裕領域の合計サイズを計算するためにデータ量の合計値を０にセットし、優先度の一番高いデータを演算対象データとしてセットする。

次に、Ｓ１６０２において、セットされた演算対象データが有効であるか否かを判定する。ここで、演算対象データが無効である場合とは、すべての特徴点に対して演算を終えた場合である。この判定の結果、演算対象データが有効である場合は、Ｓ１６０３において、余裕領域の合計サイズに演算対象データの余裕領域のサイズを足す。

次に、Ｓ１６０４において、足された余裕領域の合計サイズが一定値（図１７に示す例では一定値を１００００とする。）以下であるか否かを確認する。この確認の結果、合計サイズが一定値以下である場合は、Ｓ１６０５において、演算対象データの余裕領域の切出し位置及び大きさを決定する。そして、Ｓ１６０６において、演算対象データを次に優先度の高いデータに切り替え、Ｓ１６０２に戻る。

一方、Ｓ１６０２の判定の結果、演算対象データが無効な場合、あるいはＳ１６０４の確認の結果、合計サイズが一定値より大きくなった場合は、Ｓ１６０７に進む。そして、Ｓ１６０７において、Ｓ１６０５で決定した切出し位置及び大きさを特徴検出用切出し部１０２に指示する。図１７に示す例の場合、図１７（ｃ）に示すように優先度の高い３つの特徴点までが余裕領域の合計サイズである１００００以下に収まる。よって、切出し位置決定部５１４は、特徴検出用切出し部１０２に３つの特徴点Ａ、Ｃ、Ｂの余裕領域の切出し位置を指示する。

このように本実施形態では、第１の実施形態とは異なり、複数個所の特徴検出用画像をＰＣ２に送ることになる。以下、特徴検出用画像の送信方法について説明する。
撮像部１０１から送られてくる撮像画像は、例えば図１８に示すように撮像画像上の左上の画素データから右下の画素データの順に入力される。これに伴い、１ラインごとにＰＣ２にデータを送付する方法について図１９〜図２１を参照しながら説明する。

図１９は、ＰＣ２へ送付する特徴検出用画像のデータ構造の一例を示す図である。特徴検出用切出し部１０２は、特徴検出用画像を送る前に、各切出し領域の切出し位置及びサイズの情報をフレームヘッダとして先にＰＣ２へ送る。

次に、図２０のライン２００１上の特徴点Ａの領域のデータをＰＣ２へ送付する際には、図１９に示すように画素データに領域の識別子を付加したデータ１９０１をＰＣ２へ送る。そして、図２０のライン２００２上の特徴点Ａ、Ｂの領域のデータをＰＣ２へ送付する際には、図１９に示すように画素データに領域の識別子を付加したデータ１９０２、１９０３をＰＣ２に送る。さらに図２０のライン２００３上の特徴点Ａの領域のデータをＰＣ２へ送る際には、図１９に示すように画素データに領域の識別子を付加したデータ１９０４をＰＣ２に送る。

図２１は、ＰＣ２へ送付するデータを送付順に並べた例を示す図である。図２１（ａ）には、図２０のライン２００１上の特徴点Ａの余裕領域の画素データ群を示しており、図２１（ｂ）には、図２０のライン２００２上の特徴点Ａ、Ｂの余裕領域の画素データ群を示している。さらに、図２１（ｃ）には、図２０のライン２００３上の特徴点Ａの余裕領域の画素データ群を示している。前述したように、最初にフレームヘッダとして、各切出し領域の識別子、切出し位置、行数及び列数のデータをＰＣ２へ送る。その後、各識別子の画素データを順次送る。

必要以上の精度で位置・姿勢を計測するため、ある一定以上の大きさを持つ特徴点についてはすべての情報を送る必要がない。そのため、ＰＣ２へ画素データを送付する際に、ある一定以上の大きさを持つ特徴点に対しては、データを１行ずつ、１列ずつなど間引いてデータをＰＣ２へ送り、より多くの特徴点を送信するようにしてもよい。

次に、優先度を決定する方法について説明する。第１の実施形態では、撮像画像上の特徴点の大きさ順に優先度を決定する方法、及び特定の特徴点の優先度を常に高くする方法について説明した。前者は近づいた場所の精度を重視した場合の使用を想定しており、後者は特定の場所の精度を重視した場合の使用を想定している。本実施形態でも第１の実施形態と同様の手順で優先度を決定してもよい。

また、撮像画像中のある領域周辺のみの特徴点を用いた場合と、撮像画像の様々な場所の特徴点を用いた場合とでは、後者の方が空間全体において高精度にＨＭＤ１の位置・姿勢を計測できる場合が多い。そこで、空間全体において高精度にＨＭＤ１の位置・姿勢を計測する場合を想定し、撮像画像の様々な場所の特徴点を使用する方法について、図２２を参照しながら説明する。

図２２に示す例では、特徴点の大きさから最も優先度の高い特徴点Ａを決定した後、特徴点Ａから一番遠い特徴点Ｂを２番目に高い優先度に決定する。以下、切出し位置決定部５１４は、余裕領域の合計データ量が一定値を超えないように制御し、特徴点Ｄを３番目の優先度に決定し、特徴点Ｃを４番目の優先度に決定する。図１５のＳ１５０１では、この方法により優先度を決定してもよい。最も優先度の高い特徴点から遠い特徴点の優先度を高くする方法は、ＨＭＤ１で複数の撮像画像を取得できる場合にも、同様に適応することができる。また、本実施形態では、撮像画像及び合成用画像（表示用画像）の解像度や画角によらずに適応することができる。

以上のように本実施形態によれば、優先度が決定された複数の特徴点の余裕領域を特徴検出用画像として切出すことにより、特徴点の含有率が高いデータを抽出することができる。これにより、伝送負荷を一定以下に抑えるとともに高精度に位置・姿勢を計測することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１撮像部
１０２特徴検出用切出し部
１０３画像合成用切出し部
１０４画像合成部
１０５表示部
１１２位置推定部
１２２位置・姿勢計測部
１２３ＣＧ描写部

Claims

外界を撮像して撮像画像を生成する撮像手段と、
前記撮像手段の位置及び姿勢を追従する追従手段と、
前記追従手段によって追従された前記撮像手段の位置及び姿勢に基づいて前記撮像画像における特徴点の位置を推定する推定手段と、
前記撮像手段によって生成された撮像画像から、合成用画像を切出すとともに、前記推定手段によって推定された特徴点の位置に基づいて特徴検出用画像を切出す切出し手段と、
前記切出し手段によって切出された特徴検出用画像から特徴点を検出して前記撮像手段の位置及び姿勢を計測する計測手段と、
前記計測手段によって計測された位置及び姿勢に基づいてＣＧ画像を生成する生成手段と、
前記切出し手段によって切出された合成用画像と、前記生成手段によって生成されたＣＧ画像とを合成する合成手段と、
前記合成手段によって合成された画像を表示部に表示する表示制御手段とを有することを特徴とする画像処理システム。
前記計測手段によって計測された位置及び姿勢と、前記追従手段によって追従された位置及び姿勢とを比較する比較手段と、
前記比較手段による比較結果に基づいて前記追従手段によって追従された位置及び姿勢を補正する補正手段とをさらに有し、
前記推定手段は、前記補正手段によって補正された位置及び姿勢に基づいて前記撮像画像における特徴点を推定することを特徴とする請求項１に記載の画像処理システム。
前記推定手段は、前記撮像画像における優先度に応じた特徴点の位置を推定し、
前記切出し手段は、前記推定手段によって位置が推定された特徴点のうち、前記優先度に応じて特徴点を含むように前記特徴検出用画像を切出すことを特徴とする請求項１又は２に記載の画像処理システム。
前記推定手段は、前記特徴点の大きさを推定し、該大きさに応じて前記優先度を決定することを特徴とする請求項３に記載の画像処理システム。
前記推定手段は、特定の特徴点については同じ優先度に決定することを特徴とする請求項３に記載の画像処理システム。
前記推定手段は、優先度の最も高い特徴点から最も離れた特徴点を次に優先度の高い特徴点として決定することを特徴とする請求項３に記載の画像処理システム。
前記切出し手段は、複数の特徴検出用画像を切出し、前記複数の特徴検出用画像の合計のデータ量が一定値を超えないようにすることを特徴とする請求項１〜６の何れか１項に記載の画像処理システム。
外界を撮像して撮像画像を生成する撮像手段と、
前記撮像手段の位置及び姿勢を追従する追従手段と、
前記追従手段によって追従された前記撮像手段の位置及び姿勢に基づいて前記撮像画像における特徴点の位置を推定する推定手段と、
前記撮像手段によって生成された撮像画像から、合成用画像を切出すとともに、前記推定手段によって推定された特徴点の位置に基づいて特徴検出用画像を切出す切出し手段と、
前記切出し手段によって切出された特徴検出用画像を、前記特徴検出用画像から計測する前記撮像手段の位置及び姿勢に応じたＣＧ画像を生成する情報処理装置に送信する送信手段と、
前記情報処理装置から前記ＣＧ画像を受信する受信手段と、
前記切出し手段によって切出された合成用画像と、前記受信手段によって受信されたＣＧ画像とを合成する合成手段と、
前記合成手段によって合成された画像を表示部に表示する表示制御手段とを有することを特徴とする画像処理装置。
外界を撮像して撮像画像を生成する撮像手段の位置及び姿勢を追従する追従工程と、
前記追従工程において追従された前記撮像手段の位置及び姿勢に基づいて前記撮像画像における特徴点の位置を推定する推定工程と、
前記撮像手段によって生成された撮像画像から、合成用画像を切出すとともに、前記推定工程において推定された特徴点の位置に基づいて特徴検出用画像を切出す切出し工程と、
前記切出し工程において切出された特徴検出用画像から特徴点を検出して前記撮像手段の位置及び姿勢を計測する計測工程と、
前記計測工程において計測された位置及び姿勢に基づいてＣＧ画像を生成する生成工程と、
前記切出し工程において切出された合成用画像と、前記生成工程において生成されたＣＧ画像とを合成する合成工程と、
前記合成工程において合成された画像を表示部に表示する表示制御工程とを有することを特徴とする画像処理方法。
外界を撮像して撮像画像を生成する撮像手段の位置及び姿勢を追従する追従工程と、
前記追従工程において追従された前記撮像手段の位置及び姿勢に基づいて前記撮像画像における特徴点の位置を推定する推定工程と、
前記撮像手段によって生成された撮像画像から、合成用画像を切出すとともに、前記推定工程において推定された特徴点の位置に基づいて特徴検出用画像を切出す切出し工程と、
前記切出し工程において切出された特徴検出用画像を、前記特徴検出用画像から計測する前記撮像手段の位置及び姿勢に応じたＣＧ画像を生成する情報処理装置に送信する送信工程と、
前記情報処理装置から前記ＣＧ画像を受信する受信工程と、
前記切出し工程において切出された合成用画像と、前記受信工程において受信されたＣＧ画像とを合成する合成工程と、
前記合成工程において合成された画像を表示部に表示する表示制御工程とを有することを特徴とする画像処理方法。
外界を撮像して撮像画像を生成する撮像手段の位置及び姿勢を追従する追従工程と、
前記追従工程において追従された前記撮像手段の位置及び姿勢に基づいて前記撮像画像における特徴点の位置を推定する推定工程と、
前記撮像手段によって生成された撮像画像から、合成用画像を切出すとともに、前記推定工程において推定された特徴点の位置に基づいて特徴検出用画像を切出す切出し工程と、
前記切出し工程において切出された特徴検出用画像を、前記特徴検出用画像から計測する前記撮像手段の位置及び姿勢に応じたＣＧ画像を生成する情報処理装置に送信する送信工程と、
前記情報処理装置から前記ＣＧ画像を受信する受信工程と、
前記切出し工程において切出された合成用画像と、前記受信工程において受信されたＣＧ画像とを合成する合成工程と、
前記合成工程において合成された画像を表示部に表示する表示制御工程とをコンピュータに実行させることを特徴とするプログラム。