JP2016086245A - 画像処理装置、画像処理システム、画像処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】後段処理の演算精度を維持しつつデータの伝送量を抑制する。【解決手段】画像処理装置であって、視差が異なる複数の画像データから特徴点を検出する検出部と、複数の画像データについて特徴点の特徴量をそれぞれ抽出する抽出部と、抽出された特徴量に基づいて複数の画像データ間における特徴点の類似度を判定する判定部と、類似度に基づいて特徴点及び特徴量を含むデータの送信優先度を設定する設定部と、送信優先度に従ってデータを送信する送信部とを備える。【選択図】 図３

Description

本発明は、画像処理装置、画像処理システム、画像処理装置の制御方法およびプログラムに関し、特にＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を用いる仮想現実技術および複合現実技術に関するものである。

近年、現実世界と仮想世界とをリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルー型のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用した技術が知られている。これは、ＨＭＤ使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ使用者が観察できるシステムである。

本システムは、外界を撮像して使用者に画像を表示するＨＭＤと、ＣＧ重畳表示した画像を作成する画像処理装置とで構成されている。ＨＭＤを使用して自由に動きながらＭＲ空間を体験するためには、ＨＭＤとＰＣなどの外部装置との間は無線伝送で通信した方がよい。しかし、一般的に、無線による通信は有線での通信と比べて通信帯域が狭く、不安定である。

そこで、特許文献１では、画像データを圧縮して送信することに加えて、通信ネットワークの状況に応じて画像の圧縮率を変更しデータ量を調節することで、安定した画像データの送信を可能にすることが開示されている。

ＨＭＤと外部装置との無線伝送ではＨＭＤで撮像された画像を外部装置に伝送し、外部装置で位置姿勢計測を行った上で、画像の合成が行われる。この場合、ＨＭＤから外部装置への画像データのネットワーク伝送量を抑制するため、ＨＭＤで画像データを圧縮し、符号化ストリームを外部装置へ伝送する。ＨＭＤから伝送された符号化ストリームを受信した外部装置は、符号化ストリームを伸張し、この伸張画像を用いて画像解析を行い、画像解析情報に基づき位置姿勢計測を行う。そして、位置姿勢計測が完了すると、伸張画像を用いて画像合成を施し、ＨＭＤで表示すべく合成画像をＨＭＤへ伝送する。

特開２００４−１２０２０１号報

しかしながら、特許文献１の技術では、外部装置で位置姿勢計測に関わるすべての演算を行う場合、画像データが圧縮された符号化ストリームを用いることになる。そのため、伸張された画像データは撮像時の画像データから劣化し、当該劣化した画像データを用いて後段の位置姿勢計測処理等の演算を行うことになり、十分な演算精度が得られないという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、後段処理の演算精度を維持しつつデータの伝送を制御することを目的とする。

上記の目的を達成するために、本発明の一態様による画像処理装置は、以下の構成を備える。即ち、
視差が異なる複数の画像データから特徴点を検出する検出手段と、
前記複数の画像データについて前記特徴点の特徴量をそれぞれ抽出する抽出手段と、
前記抽出された特徴量に基づいて前記複数の画像データ間における特徴点の類似度を判定する判定手段と、
前記類似度に基づいて特徴点及び特徴量を含むデータの送信優先度を設定する設定手段と、
前記送信優先度に従って前記データを送信する送信手段と、
を備えることを特徴とする。

本発明によれば、後段処理の演算精度を維持しつつデータの伝送を制御することができる。

本発明の一実施形態に係る画像処理システムの構成例を示す図。 第１実施形態に係る画像処理装置（ＨＭＤ）の機能ブロック図。 第１実施形態に係る特徴解析部の機能ブロック図。 第１実施形態に係る特徴点検出に用いる注目画素及び参照画素の位置関係を示す図。 第１実施形態に係る特徴量抽出に用いるランダム線とベクトルを示す図。 （ａ）始点画素値及び終点画素値と、判定値との関係を示す図、（ｂ）基準画像の対象特徴量と参照画像の特徴量との間でのビット列の排他的論理和の一例を示す図。 第１実施形態に係る優先度設定部が実施する処理の手順を示すフローチャート。 第１実施形態に係る特徴点検出処理における画像スキャン順序の一例を示す図。 第１実施形態に係る外部サーバの機能ブロック図。 第２実施形態に係る画像処理装置（ＨＭＤ）の機能ブロック図。 第３実施形態に係る画像処理装置（ＨＭＤ）の機能ブロック図。

以下、添付の図面を参照しながら、本発明の実施の形態について詳述する。

（第１実施形態）
＜１．画像処理システムの構成＞
本発明の一実施形態に係るＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）処理（位置姿勢計測処理）を適用する画像処理システムについて説明する。図１に示されるように、画像処理システムは、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１０（画像処理装置）および外部サーバ２０を含み、ＨＭＤ１０と外部サーバ２０とは相互にネットワーク３０を介して接続されている。本実施形態に係るＨＭＤ１０は、２つ以上の視差が異なる画像データから特徴点を検出し、検出した特徴点から特徴量を抽出し、特徴量に基づいてデータ送信の優先度を設定して送信先である外部サーバへの伝送順序を制御する。また、ネットワークの使用帯域に応じて特徴点及び特徴量のデータ伝送量を制御する。

外部サーバ２０からネットワーク３０へ表示対象となる画像及び画像に関する情報を送信する。ＨＭＤ１０はネットワーク３０を経由して外部サーバ２０で画像処理された表示画像を受信する。

＜２．画像処理装置（ＨＭＤ）の構成＞
図２は、第１実施形態に係る画像処理装置（ＨＭＤ１０）の機能ブロック図である。ＨＭＤ１０は、第１の表示部２０１、第２の表示部２０２、画像処理部２０３、第１のデータ受信部２０４、第１の撮像部２０５、第２の撮像部２０６、特徴解析部２０７、縮小画像処理部２０８、オブジェクト検出部２０９、および第１のデータ送信部２１０を備える。

第１のデータ受信部２０４は、ネットワーク３０を介して外部サーバ２０から画像データを受信する。画像処理部２０３は、当該画像データに対して画像表示のために画像処理を施す。画像処理部２０３で処理されたステレオ画像は、第１の表示部２０１及び第２の表示部２０２にそれぞれ表示される。

第１の撮像部２０５及び第２の撮像部２０６は、左右の眼の代わりに、ＨＭＤ１０の外界をステレオ撮影する。第１の撮像部２０５及び第２の撮像部２０６は、光学素子で取り込まれた画像を現像処理し、それぞれ画像を特徴解析部２０７、縮小画像処理部２０８、及びオブジェクト検出部２０９に出力する。

特徴解析部２０７は、第１の撮像部２０５及び第２の撮像部２０６から出力された画像を取得する。特徴解析部２０７は、取得された画像から特徴点を検出し、当該特徴点に対応する特徴量を抽出する。そして、左右の眼に対応する各画像の特徴点の類似度を判定して特徴点に優先度を設定し、優先度が高い特徴点から優先的に特徴点のデータを第１のデータ送信部２１０へ出力する。特徴解析部２０７の詳細な処理は図３を参照しながら後述する。

縮小画像処理部２０８は、第１の撮像部２０５及び第２の撮像部２０６から入力されたステレオ映像を縮小して、縮小映像を第１のデータ送信部２１０へ出力する。映像データはデータ量が多いため、Ｈ．２６４やＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの映像符号化処理を用いてデータ圧縮して映像符号化ストリームを出力する方法がある。その場合、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ. Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの視差情報を利用した映像符号化処理を用いてステレオ映像を低ビットレートで圧縮する方法もあるが、縮小画像の圧縮、アルゴリズムはこれに限るものではない。また、本実施形態ではネットワーク３０に伝送する画像データ量を抑制するために、画像の縮小や圧縮する方法を記載したが、本発明はこれに限定されるものではない。本発明を無線ＭＲへの適用する場合、外部サーバ２０で位置姿勢計測や画像合成に必要な画像データがＨＭＤ１０から送信されていればよい。

オブジェクト検出部２０９は、第１の撮像部２０５及び第２の撮像部２０６から取得したステレオ映像から、人物、物体、物体色、形状、質感等をオブジェクト情報として検出し、当該オブジェクト情報を第１のデータ送信部２１０へ出力する。

第１のデータ送信部２１０は、特徴解析部２０７から取得した特徴点及び特徴量を図１のネットワーク３０へ送出する。さらに、第１のデータ送信部２１０は、縮小画像処理部２０８から取得した映像符号化ストリームや、オブジェクト検出部２０９から取得したオブジェクト情報をネットワーク３０へ送出する。ネットワーク３０に送出されたデータは、外部サーバ２０が受信する。

＜３．画像処理装置（ＨＭＤ）の特徴解析部の構成＞
続いて、特徴解析部２０７の処理の詳細を説明する。図３は、第１実施形態に係る特徴解析部２０７の機能ブロック図である。特徴解析部２０７は、特徴点検出部２０７１、特徴量抽出部２０７２、類似度判定部２０７３、優先度設定部２０７４、特徴点特徴量記憶部２０７５、及び特徴点特徴量読み出し部２０７６を備える。

特徴点検出部２０７１は、取得したステレオ画像の各々の注目画素と参照画素とから特徴点を検出する。ここで図４は、第１実施形態に係る特徴点検出に用いる注目画素及び参照画素の位置関係を示す図である。本実施形態では、特徴点の検出のために輝度を用いる。座標ｐ（ｐ（ｘ，ｙ）)に位置する注目画素Tpを中心として、予め定められた距離にある円周状の周辺にある複数の画素を参照画素として用いる。図４では、注目画素Tpから距離３とした場合の参照画素の例を示している。周辺の画素１〜画素１６が参照画素となる。なお、注目画素は矩形領域内の画素の平均値やフィルタ処理後の値を用いた補間画素であっても構わない。

注目画素Tpと参照画素との差分によってスコア（指標値）を算出し、算出されたスコアが閾値以上である場合、注目領域に凹凸があると判定する。次に、注目画素Tpのスコア算出方法について説明する。

円周状の各参照画素のうち、隣接する参照画素の塊を弧として特徴量を評価していく。例えば、参照画素４〜参照画素１２の弧、参照画素５〜参照画素１３の弧、参照画素６〜１４の弧というように、参照画素を１つずつずらしながら、特徴量を評価する。このように、分割された各弧を構成する注目画素Tpと周辺画素との差分の合計と、閾値とを比較し、特徴量のスコアを決定する。

注目画素Tpとの差分が閾値以上である周辺画素数が多ければ、特徴量のスコアは高く、注目画素Tpとの差分が閾値以上である周辺画素数が少なければ、特徴量のスコアは小さくなる。しかし、スコアの最小値と最大値は調整できるものとする。さらに、各弧の特徴量のスコアのうち、最も大きい値を注目画素Tp、すなわち、特徴点Ｐのスコアとする。特徴点検出部２０７１により検出された特徴点は、特徴点特徴量記憶部２０７５に記憶される。

特徴量抽出部２０７２は、特徴点検出部２０７１で検出された特徴点の座標情報を用いて特徴量を抽出する。以下、具体的な特徴量の算出方法について説明する。まず、図５に示すように、特徴点Ｐの周辺にランダムに線を配置する。そして、ランダム線の始点画素とランダム線の終点画素との大小関係をビットパターンで表したものが特徴量である。

式（１）に示すランダム線の判定式を用いて、ランダム線の始点画素の輝度値と終点画素の輝度値とから、判定値を算出する方法を説明する。pは処理対象の特徴点の座標であり、aはi番目のランダム線の始点を示すベクトルで、bはi番目のランダム線の終点を示すベクトルである。I(p)は、画像Iにおける特徴点の座標pの画素値を表す。τは判定値である。

I(p+a)はランダム線の始点位置の画素値であり、一方、I(p+b)は終点位置の画素値である。判定値τは０または１の２値である。式（１）により、始点画素値I(p+a)が終点画素値I(p+b)よりも小さい場合、判定値τは１である。始点画素値I(p+a)が終点画素値I(p+b)と等しい、もしくは、大きい場合、判定値τは０である。

ここで図６（ａ）は、ランダム線iの始点画素の輝度値および終点画素の輝度値と、判定値との関係を示す図である。ここでは、説明を簡単にするために、ランダム線数を５本としている。式（１）を用いた場合１番目(i=1)及び３番目(i=3)のランダム線の判定値が１となり、０番目(i=0)、２番目(i=2)、及び４番目(i=4)のランダム線の判定値が０となる。

これらのランダム線i=0〜4までの判定値をビットパターンとして用いたものが特徴点Ｐの特徴量となる。上表の場合、特徴点Pの特徴量のビットパターンは"０１０１０"となる。なお、ここではランダム線数を４として説明したが、ランダム線の数は限定されるものではない。計算リソースに応じて、ランダム線数を減らしても増やしても構わない。但し、ランダム線数を減らすと特徴量の演算精度は下がることがある。また、ランダム線数を一定以上に増やしても、冗長性が高まり、精度が向上しない場合がある。

特徴量抽出部２０７２により抽出された特徴量は、特徴点特徴量記憶部２０７５に記憶され、類似度判定部２０７３へ出力される。なお、特徴点の検出方法及び特徴量の抽出方法は、上述の方法に限定されるものではない。ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）が広く知られている方法ではあるが、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、或いは、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ））などを用いることも可能である。

類似度判定部２０７３は、左右の画像それぞれについて抽出された特徴量を用いて、左右の画像データ間における特徴点の類似度を判定する。ステレオ画像のうち、一方の画像を基準画像とし、基準画像で抽出された特徴点の座標から、比較対象となる他方の画像（参照画像）内で対応する特徴点候補を抽出する。抽出方法に関しては後述する。次に、基準画像から抽出された特徴点の特徴量と、参照画像から抽出された特徴点の特徴量とを比較する。特徴量の類似度が高いと、同一部位を示す特徴点の可能性が高いと判定される。

次に、特徴点候補の抽出方法について説明する。左右の画像には視差があるので、参照画像内の基準画像の対象特徴点と同一の座標から予め定められた一定距離内に分布する特徴点が類似度判定の対象となる特徴点候補となる。例えば、基準画像の対象特徴点の座標から同心円上に分布する参照画像の特徴点を判定対象の特徴点候補としてもよいし、対象特徴点の座標から一定距離移動した矩形領域内に分布する参照画像の特徴点を判定対象の特徴点候補としてもよい。

次に、類似度の判定方法について具体的に説明する。図６（ｂ）は、基準画像の対象特徴量と参照画像の特徴量との間でのビット列の排他的論理和の一例を示す図である。類似度は、基準画像の対象特徴量Xiと参照画像の特徴量Yiとでビット列の排他的論理和(xor)をとり、ビット列内の１をカウントして得られるハミング距離から算出することができる。図６（ｂ）の例では、排他的論理和は"１００１０"、ハミング距離は"２"となる。このハミング距離の値が小さい（ゼロに近い）ほど、特徴が類似していると判定できる。

なお、ここでは、類似度の判定にハミング距離を用いる例を説明したが、類似度を判定する特徴量の差分の長さ（距離）の算出には、マンハッタン距離やユークリッド距離など、他の距離表現方法を用いることも可能である。なお、類似度の判定方法は上述の方法に限定するものではない。ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などブロックマッチングを適用することも可能である。

優先度設定部２０７４は、類似度判定部２０７３により判定された類似度に基づいて特徴点の優先度を設定する。以下では、図７のフローチャートを参照して、優先度設定部２０７４によるデータの送信優先度の設定手順を説明する。図７の処理は、類似度判定部２０７３により判定された類似度と閾値とを用いて、優先度１〜優先度４の４段階で優先度を設定するものである。

Ｓ７０１において、優先度設定部２０７４は、優先度決定対象である特徴点Pの類似度Dｐと第１の閾値TH１との大小関係を比較する。類似度Dｐが第１の閾値TH１より小さい場合は、Ｓ７０２へ進む。一方、類似度Dｐが第１の閾値TH１以上である場合は、Ｓ７０３へ進む。

Ｓ７０２において、優先度設定部２０７４は、特徴点Pの送信優先度を１に設定する。Ｓ７０３において、優先度設定部２０７４は、類似度Dｐと第２の閾値TH２との大小関係を比較する。類似度Dｐが第２の閾値TH２より小さい場合は、Ｓ７０４へ進む。一方、類似度Dｐが第２の閾値TH２以上である場合は、Ｓ７０５へ進む。

Ｓ７０４において、優先度設定部２０７４は、特徴点Pの送信優先度を２に設定する。Ｓ７０５において、優先度設定部２０７４は、類似度Dｐと第３の閾値TH３との大小関係を比較する。類似度Dｐが第３の閾値TH３より小さい場合は、Ｓ７０６へ進む。一方、類似度Dｐが第３の閾値TH３以上である場合は、Ｓ７０７へ進む。Ｓ７０６において、優先度設定部２０７４は、特徴点Pの送信優先度を３に設定する。Ｓ７０７において、優先度設定部２０７４は、特徴点Pの送信優先度を４に設定する。

以上で図７の各処理が終了する。このようにして決定された優先度と、特徴点及び特徴量とを対応付けて、特徴点特徴量記憶部２０７５に記憶してもよい。

最後に、特徴点特徴量読み出し部２０７６は、優先度設定部２０７４により設定された優先度に従って、特徴点特徴量記憶部２０７５に記憶された特徴点及び特徴量を読み出し、特徴解析部２０７の外部（第１のデータ送信部２１０）に出力する。まず、優先度１と判定された特徴点及び特徴量をすべて出力し、次に、優先度２と判定された特徴点及び特徴量を出力する。以下、優先度３、優先度４と判定された特徴点及び特徴量を順次出力する。このようにして、特徴解析部２０７は、優先度が高い特徴点及び特徴量から順番に第１のデータ送信部２１０へ出力し、第１のデータ送信部２１０は、特徴解析部２０７から取得した特徴点及び特徴量を順番にネットワーク３０に送信する。

なお、特徴点の検出処理は、図８（ａ）に示すようなラスタスキャン順の処理が一般的である。しかし、類似度判定部２０７３は、左右の画像の特徴点に対応する特徴量を用いるので、図８（ａ）に示すような方法では特徴点に対応する特徴量を一画面分保持するためのメモリを設ける必要がある。また、図８（ａ）に示すような方法では、一画面分の特徴点の検出処理完了まで後段の処理部が待機する必要がある。そこで、図８（ｂ）に示すように、画像を矩形領域に分割し、矩形領域をラスタスキャンして、特徴点を検出、類似度を判定することも可能である。図８（ｂ）に示すスキャン順序の場合、特徴点特徴量記憶部２０７５の記憶容量を削減し、特徴点検出処理の完了まで待機することによる遅延を抑制することが可能になる。

なお、上述の図８（ａ）及び図８（ｂ）を用いて説明した処理順序は、特徴点検出順序の一例である。画像の処理対象領域を任意に、あるいは、ランダムに走査し、特徴点を検出することも可能である。

＜４．外部サーバの構成＞
続いて、図９を参照して、第１実施形態に係る外部サーバ２０の機能構成について説明する。外部サーバ２０は、第２のデータ送信部９０１、画像合成部９０２、第２のデータ受信部９０３、画像拡大部９０４、オブジェクト認識部９０５、時間軸方向類似度判定部９０６、及び位置姿勢計測部９０７を備える。

第２のデータ受信部９０３は、ネットワーク３０を介してＨＭＤ１０から特徴点及び特徴量、縮小画像、及びオブジェクト情報を受信する。画像拡大部９０４は、第２のデータ受信部９０３で受信した縮小画像を復号して所望の画像サイズに拡大する。オブジェクト認識部９０５は、第２のデータ受信部９０３で受信したオブジェクト情報と、画像拡大部９０４により拡大された拡大画像とを用いて、動物体の認識やユーザ指定の属性の認識を行う。

時間軸方向類似度判定部９０６は、第２のデータ受信部で受信した特徴点や特徴量を用いて、時間が異なるフレーム間での類似度を判定する。位置姿勢計測部９０７は、類似度、特徴点及び特徴量を用いて位置姿勢を計測し、位置姿勢情報を出力する。

画像合成部９０２は、画像拡大部９０４により生成された拡大画像、及びオブジェクト認識部９０５により出力されたオブジェクト情報、位置姿勢計測部９０７により計測された位置姿勢情報に基づいて、ＣＧ合成を行い、合成画像を第２のデータ送信部９０１に出力する。第２のデータ送信部９０１は、画像合成部９０２により合成された合成画像をネットワーク３０を介してＨＭＤ１０へ出力する。

そして、ＨＭＤ１０は、図２に示す第１のデータ受信部２０４が、ネットワーク３０を介して外部サーバ２０から画像データを受信する。画像処理部２０３は、この画像データに対して画像表示の画像処理を施す。画像処理部２０３で処理されたステレオ画像は、第１の表示部２０１、及び、第２の表示部２０２にそれぞれ表示される。以上が、第１実施形態に係るＭＲ処理における画像描画フローである。

本実施形態では、説明を簡単にするため、視差が異なるステレオ画像で説明したが、本発明は、同一視点の時間的に異なる画像間で特徴量を抽出しても構わない。さらに、本実施形態では、ビデオシースルー方式のＭＲシステムを用いて説明を行ったが、当該方式に限定されるものではなく、例えば光学シースルー方式のＭＲシステムにも適用可能である。

以上説明したように、本実施形態では、位置姿勢計測に用いる特徴点の検出及び特徴量の抽出の演算処理をＨＭＤ（画像処理装置）本体で実施することで、高精度に特徴点を検出し、特徴点に対応する特徴量を抽出することが可能である。さらに、外部サーバで行う時間軸方向のマッチングのために必要となる特徴点を優先的に伝送する伝送制御により、伝送帯域の抑制を可能にし、高速なＭＲ処理（位置姿勢計測処理）を実現することができる。

このように、ステレオ画像の類似度が高い特徴点を優先して送信することで、ＭＲ処理（位置姿勢計測）の演算精度を維持しつつ、ネットワークの伝送データ量を抑制することが可能となる。

（第２実施形態）
第２の実施形態では、第１の実施形態と同様に、位置姿勢計測における特徴点の検出及び特徴量の抽出をＨＭＤ本体で行い、特徴点及び特徴量をネットワークに送信する。そして、外部サーバは、ネットワークを介して受信した特徴点及び特徴量から位置姿勢計測を行う。そのため、ここでは画像処理システムの構成の説明は割愛する。

次に、図１０を参照して、第２実施形態に係る画像処理装置（ＨＭＤ）の機能構成を説明する。第１実施形態でとの主な差異は、第２実施形態に係るＨＭＤ１０が送信制御部１０１１をさらに備える点と、特徴解析部１００７の処理が異なる点である。他の処理部は、図２と同じであるため、各処理部の対応を以下に示し、詳細な説明は省略する。

図１０における第１のデータ受信部１００４は第１のデータ受信部２０４に対応し、画像処理部１００３は画像処理部２０３に対応し、第１の表示部１００１は第１の表示部２０１に対応し、第２の表示部１００２は第２の表示部２０２に対応する。さらに、第１の撮像部１００５は第１の撮像部２０５に対応し、第２の撮像部１００６は第２の撮像部２０６に対応する。また、縮小画像処理部１００８は縮小画像処理部２０８に対応し、オブジェクト検出部１００９はオブジェクト検出部２０９に対応し、第１のデータ送信部１０１０は第１のデータ送信部２１０に対応する。

以下、本実施形態に係る送信制御部１０１１の処理及び特徴解析部１００７の処理について説明する。送信制御部１０１１は、第１のデータ送信部１０１０からネットワーク３０に送信される特徴点及び特徴量のデータの送信量や縮小画像データの送信量を制御する。また、特徴解析部１００７は、特徴解析部２０７と同様に、ステレオ画像から特徴点の検出及び特徴量の抽出を行う。さらに、特徴解析部１００７は、送信制御部１０１１からの出力停止指示が解除されている間のみ、特徴点及び特徴量のデータを第１のデータ送信部１０１０に送信する。

より具体的には、送信制御部１０１１は、第１のデータ送信部１０１０からネットワークに送信された縮小画像データの送信量を計測する。第１のデータ送信部１０１０から送信される縮小画像の送信量が予め定められた閾値よりも多い場合は、特徴解析部１００７から第１のデータ送信部１０１０に出力される特徴点及び特徴量のデータの送信量を抑制することで、第１のデータ送信部１０１０の送信データ量を抑制する。

また、送信制御部１０１１は、特徴解析部１００７が第１のデータ送信部１０１０へ出力する特徴点及び特徴量のデータの送信量を計測する。そして、計測した特徴点及び特徴量のデータの送信量が予め定められた閾値を超過した場合は、特徴解析部１００７に対して特徴点及び特徴量のデータ出力停止を指示する。一方、第１のデータ送信部１０１０から送信される縮小画像のデータ量が閾値以下である場合は、送信制御部１０１１は特徴解析部１００７から出力される特徴点及び特徴量の出力停止指示を解除する。

さらに、ネットワーク３０へ送信されたデータ量が使用可能帯域に達した場合は、送信制御部１０１１は特徴解析部１００７にデータ出力停止を指示する。

以上説明したように、第２実施形態では、ＨＭＤ本体からネットワークに送信されるデータ量を一定に保ち、高速な位置姿勢計測を実現することが可能になる。

（第３実施形態）
第３実施形態では、ＨＭＤからネットワークへ送信する特徴点及び特徴量のデータ量を第２実施形態とは異なる方法で制御する。以下、図１１を参照して、第３実施形態に係る画像処理装置（ＨＭＤ）の機能構成を説明する。

まず、第２実施形態で説明した図１０のＨＭＤ構成と、図１１のＨＭＤ構成との差異について説明する。図１０と図１１の主な差異は、送信制御部の処理の違いである。他の処理部は図１０と同じであるため、図１０と図１１の各処理部の対応を以下に示し、詳細な機能の説明は省略する。

図１１における第１のデータ受信部１１０４は、第１のデータ受信部１００４に対応し、画像処理部１１０３は画像処理部１００３に対応し、第１の表示部１１０１は第１の表示部１００１に対応し、第２の表示部１１０２は第２の表示部１００２に対応する。さらに、第１の撮像部１１０５は第１の撮像部１００５に対応し、第２の撮像部１１０６は第２の撮像部１００６に対応する。また、縮小画像処理部１１０８は縮小画像処理部１００８に対応し、オブジェクト検出部１１０９はオブジェクト検出部１００９に対応し、第１のデータ送信部１１１０は第１のデータ送信部１０１０に対応する。

以下、第２の実施形態と異なる送信制御部１１１１について説明する。送信制御部１１１１は、第１のデータ送信部１１１０からネットワーク３０に送信される特徴点及び特徴量のデータ量を制御する。

具体的には、送信制御部１１１１は、図１のネットワーク３０を介して特徴点及び特徴量を受信する外部サーバ２０からのデータ要求指示に基づいて、特徴解析部１１０７に対して特徴点及び特徴量のデータ送信を許可する。

例えば、外部サーバ２０のネットワーク受信帯域が確保できない場合、外部サーバ２０は、一時的にＨＭＤ１０へのデータ要求指示を停止する。また、ＨＭＤ１０側へ送信する画像のデータ量が大きくなった場合は、一時的に特徴量及び特徴点のデータ受信を停止し、過去に受信した特徴量及び特徴点の情報からマッチング処理を継続する。また、外部サーバ２０側で、仮想空間上のオブジェクトの位置姿勢計測に必要な特徴点及び特徴量のデータを、既に必要な個数だけ得られたと判断した場合に、外部サーバ２０は、ＨＭＤ１０へのデータ要求指示を停止する。

送信制御部１１１１は、外部サーバ２０からのデータ要求指示がない間は、特徴解析部１１０７に対して第１のデータ送信部１１１０への特徴点及び特徴量のデータの出力停止を指示する。一方、送信制御部１１１１が外部サーバ２０からデータの要求指示を受けると、特徴解析部１１０７に対して第１のデータ送信部１１１０への特徴点及び特徴量のデータ出力を指示する。

以上説明したように、本実施形態によれば、特徴点及び特徴量のデータを受信する外部サーバのデータ受信状況に応じて、ＨＭＤから出力する特徴点及び特徴量のデータ量を制御し、高速な位置姿勢計測を実現することが可能になる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０：画像処理装置（ＨＭＤ）、２０：外部サーバ、３０：ネットワーク、２０１：第１の表示部、２０２：第２の表示部、２０３：画像処理部、２０４：第１のデータ受信部、２０５：第１の撮像部、２０６：第２の撮像部、２０７：特徴解析部、２０８：縮小画像処理部、２０９：オブジェクト検出部、２１０：第１のデータ送信部、２０７１：特徴点検出部、２０７２：特徴量抽出部、２０７３：類似度判定部、２０７４：優先度設定部、２０７５：特徴点特徴量記憶部、２０７６：特徴点特徴量読み出し部

Claims (12)

1. 視差が異なる複数の画像データから特徴点を検出する検出手段と、
   前記複数の画像データについて前記特徴点の特徴量をそれぞれ抽出する抽出手段と、
   前記抽出された特徴量に基づいて前記複数の画像データ間における特徴点の類似度を判定する判定手段と、
   前記類似度に基づいて特徴点及び特徴量を含むデータの送信優先度を設定する設定手段と、
   前記送信優先度に従って前記データを送信する送信手段と、
   を備えることを特徴とする画像処理装置。
2. 前記送信手段により送信されるデータ量を制御する制御手段をさらに備え、
   前記制御手段は、前記データ量が閾値よりも多い場合に、前記特徴点及び特徴量のデータの送信量を抑制することを特徴とする請求項１に記載の画像処理装置。
3. 前記送信手段は、前記画像データが縮小された縮小画像データをさらに送信し、
   前記制御手段は、前記縮小画像のデータ量が閾値よりも多い場合に、前記特徴点及び特徴量のデータの送信量を抑制することを特徴とする請求項２に記載の画像処理装置。
4. 前記特徴点及び特徴量のデータを受信する外部サーバからのデータ要求指示に基づいて前記送信手段によるデータの送信を制御する制御手段をさらに備えることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記画像データを縮小して縮小画像データを生成する縮小画像処理手段をさらに備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記画像データからオブジェクト情報を検出するオブジェクト検出手段をさらに備え、
   前記送信手段は、前記オブジェクト情報をさらに送信することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記視差が異なる複数の画像データを取得する第１の撮像手段及び第２の撮像手段をさらに備えることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記送信手段によるデータの送信先である外部サーバで処理された画像データを前記外部サーバから受信する受信手段と、
   前記受信手段により受信された画像データを処理する画像処理手段と、
   前記画像処理手段により処理された画像データを表示する第１の表示手段及び第２の表示手段と
   をさらに備えることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 請求項１乃至８の何れか１項に記載の画像処理装置と、
   前記画像処理装置からデータを受信して処理し、当該処理されたデータを前記画像処理装置へ送信する外部サーバと
   を備えることを特徴とする画像処理システム。
10. 前記外部サーバは、前記画像処理装置から受信した特徴点及び特徴量のデータの時間軸方向のマッチングを行って仮想空間上のオブジェクトの位置姿勢を計測する計測手段を備えることを特徴とする請求項９に記載の画像処理システム。
11. 画像処理装置の制御方法であって、
    検出手段が、視差が異なる複数の画像データから特徴点を検出する検出工程と、
    抽出手段が、前記複数の画像データについて前記特徴点の特徴量をそれぞれ抽出する抽出工程と、
    判定手段が、前記抽出された特徴量に基づいて前記複数の画像データ間における特徴点の類似度を判定する判定工程と、
    設定手段が、前記類似度に基づいて特徴点及び特徴量を含むデータの送信優先度を設定する設定工程と、
    送信手段が、前記送信優先度に従って前記データを送信する送信工程と、
    を有することを特徴とする画像処理装置の制御方法。
12. コンピュータを、
    視差が異なる複数の画像データから特徴点を検出する検出手段、
    前記複数の画像データについて前記特徴点の特徴量をそれぞれ抽出する抽出手段、
    前記抽出された特徴量に基づいて前記複数の画像データ間における特徴点の類似度を判定する判定手段、
    前記類似度に基づいて特徴点及び特徴量を含むデータの送信優先度を設定する設定手段、
    前記送信優先度に従って前記データを送信する送信手段、
    として機能させるためのプログラム。