JP2020095517A - 画像処理システム、画像処理方法、撮像装置、及びプログラム - Google Patents

Abstract

【課題】ＭＲシステムにおいて、画像に対する動的かつ適切な通信帯域の割り当てを可能にし、画質を向上させ、位置検出精度を高める。【解決手段】現実空間を撮影し撮像画像を取得するＨＭＤと、撮像画像と仮想空間の画像との合成画像を生成するＰＣ（画像処理装置）とを有するＭＲシステムにて、ＨＭＤが、取得した撮像画像内における合成画像を得るための指標の有無を検出する指標検出部と、その指標検出部の結果に基づき、ＰＣに送信する撮像画像の選択又は撮像画像の圧縮率の設定を行う送信制御部とを有し、ＰＣが、受信した撮像装置より送信された撮像画像から指標を検出する指標検出部と、その指標検出部の結果に基づき、撮像画像に仮想空間の画像を合成する画像合成部とを有するようにして、画像に対する動的かつ適切な通信帯域の割り当てを可能にする。【選択図】図２

Description

本発明は、画像処理システム、画像処理方法、撮像装置、及びプログラムに関する。

現実空間と仮想空間とをリアルタイムかつシームレスに融合させる技術としてＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：頭部装着型画像表示装置）を利用し、現実空間の画像と仮想空間の画像とを合成した合成画像をＨＭＤ使用者が観察できる技術が知られている。

ＨＭＤを利用したＭＲシステムでは、ＨＭＤ使用者は、例えば、ＨＭＤ使用者の瞳位置から観察される現実空間の画像としての被写体画像に、仮想空間の画像としてのＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を重畳表示した画像を観察できる。ＣＧ画像を現実空間の画像に重畳する位置、大きさ、向きを指定するための位置検出方法として、形状、大きさ、塗りパターンが既知のマーカを撮影する方法や、被写体の輪郭線のような現実空間の画像内の特徴点を用いて位置情報を生成する方法等がある。

ＨＭＤを使用して自由に動きながらＭＲを体験するには、ＨＭＤとＰＣ等のＣＧ画像を重畳するための外部装置とは無線伝送で通信した方がよい。しかし一般的に、無線による通信は有線での通信と比べて通信帯域が狭く、画像データを圧縮して送信するために、有線と比較して画質が低下する。また、ＭＲにおいては、現実空間の画像と仮想空間の画像との融合が重要であり、位置検出のためのマーカや特徴点が画像内に存在し、ＣＧ画像の重畳に必要な画像に対して、広い通信帯域を割り当てる必要がある。

特許文献１には、立体表示のための画像データを全体として高圧縮率で情報圧縮し、さらに画像の重要な部分は鮮明かつ明瞭に再現できるように圧縮率を制御する手法が提案されている。撮影対象領域の全体を撮影するカメラによる撮影で得られた画像データは、高圧縮率で情報圧縮し、対象領域内の特定領域を拡大して撮影するカメラによる撮影で得られた画像データは、情報量の低下を抑えるために低圧縮率で情報圧縮することが開示されている。

特開平１０−１１２８５４号公報

ＭＲシステムにおいて、複数のカメラにより撮影された画像を送受信すると、通信帯域が圧迫され、画質の低下や位置検出精度の低下が問題となる。特許文献１に記載の技術においては、複数のカメラ間での圧縮率の関係を最適化できるものの、高圧縮率で情報圧縮するか、低圧縮率で情報圧縮するかは、カメラ毎に予め設定されている。ここで、ＭＲシステムにおいて複数のカメラにより撮影される画像は、同じカメラで撮影されたとしても、位置検出のためのマーカや特徴点が画像内に存在することもあれば存在しないこともある。本発明は、このような事情に鑑みてなされたものであり、画像に対する動的かつ適切な通信帯域の割り当てを可能にし、画質を向上させ、位置検出精度を高めることを目的とする。

本発明に係る画像処理システムは、現実空間を撮影し撮像画像を取得する撮像装置と、前記撮像画像と仮想空間の画像との合成画像を生成する画像処理装置とを有し、前記撮像装置は、取得した前記撮像画像内における前記合成画像を得るための指標の有無を検出する第１の検出手段と、前記第１の検出手段の結果に基づき、前記画像処理装置に送信する前記撮像画像に係る画像の選択又は画像の圧縮率の設定を行う送信制御手段とを有し、前記画像処理装置は、受信した前記撮像装置より送信された前記撮像画像から前記指標を検出する第２の検出手段と、前記第２の検出手段の結果に基づき、前記撮像画像に前記仮想空間の画像を合成する合成手段とを有することを特徴とする。

本発明によれば、画像に対する動的かつ適切な通信帯域の割り当てが可能となり、画質を向上させ、位置検出精度を高めることができる。

第１の実施形態におけるＭＲシステムの構成例を説明する図である。 第１の実施形態におけるＭＲシステムの機能構成例を示す図である。 マーカ及び特徴点を利用した位置姿勢情報生成の概念を示す図である。 第１の実施形態における送信制御部の構成例を説明する図である。 第２の実施形態における送信制御部の構成例を説明する図である。 第２の実施形態における圧縮率制御部の処理例を示すフローチャートである。 本実施形態におけるＨＭＤ、ＰＣのハードウェア構成例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。本実施形態における画像処理システムは、現実空間の画像と仮想空間の画像とを融合させるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実）と呼ばれる映像技術を実現するＭＲシステムである。本実施形態におけるＭＲシステムは、撮像装置としてのＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：頭部装着型画像表示装置）と、画像処理装置としてのＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）とを有する。

ＨＭＤは、例えばビデオシースルー型ＨＭＤであり、ＨＭＤ装着者の左右それぞれの目の位置における画像を取得する画像撮像部、及びＨＭＤ装着者の左右の目に対して提示するステレオ画像を表示する画像表示部を有する。ＰＣは、ＨＭＤにより撮影された現実空間の画像としての撮像画像を受け取って、撮像画像に仮想空間の画像としてのＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を重畳しＨＭＤに伝送する。撮影された画像に基づき、現実空間上に定義された３次元座標系に３次元ＣＧ画像データを重ねることで、ＨＭＤ装着者に対して、現実空間と仮想空間とが融合された合成画像（ＭＲ画像）を提供することができる。

このようなＭＲシステムにおいて、ＨＭＤとＰＣとの間は有線により通信することも可能であるが、無線通信によることで自由度が高まり、ＨＭＤ装着者が快適にＭＲシステムを体験することが可能となる。本実施形態では、無線によりＨＭＤとＰＣとの間におけるデータ通信を行う無線通信によるＭＲシステムを例に説明する。図１は、第１の実施形態における画像処理システムとしての無線通信によるＭＲシステムの構成例を説明する図である。第１の実施形態におけるＭＲシステムは、ＨＭＤ１０１、中継器１０２、１０３、及びＰＣ（画像処理装置）１０４を有する。

ＨＭＤ１０１は、例えばビデオシースルー型ＨＭＤであり、有線接続された中継器１０２を介して、撮像画像をＰＣ１０４側の中継器１０３に無線通信により伝送する。ＰＣ１０４は、ＨＭＤ１０１で撮像された撮像画像（現実空間の画像）にＣＧ画像（仮想空間の画像）を重畳する。ＰＣ１０４は、有線接続された中継器１０３を介して、ＣＧ画像が重畳された合成画像（ＭＲ画像）をＨＭＤ１０１側の中継器１０２に無線通信により伝送する。中継器１０２で受信された合成画像は、ＨＭＤ１０１の画像表示部で表示され、ＨＭＤ装着者に提供される。本実施形態では、ＨＭＤ１０１とそれに接続された中継器１０２を別々のハードウェアとしているが、中継器１０２が有する機能をすべてＨＭＤ１０１内に実装して一体型の装置としてもよい。同様に、ＰＣ１０４とそれに接続された中継器１０３を一体型の装置としてもよい。

図２は、第１の実施形態におけるＭＲシステムの機能構成例を示すブロック図である。ＨＭＤ１０１は、１つ以上の画像撮像部２０１と、画像表示部２０２とを有する。なお、画像撮像部２０１と画像表示部２０２は、別々のハードウェアとしてもよい。また、ＨＭＤ１０１は、１つ以上の指標検出部２０３と、送信制御部２０４とを有する。ＰＣ１０４は、指標検出部２０７と、画像合成部２０８とを有する。

ＨＭＤ１０１側において、画像撮像部２０１は、ＨＭＤ装着者の左右の目の位置における画像を撮影する。指標検出部２０３は、画像撮像部２０１により撮影された画像（現実空間の画像）内に、ＣＧ画像（仮想空間の画像）を合成した合成画像を得るための指標が存在するか否かを判断する。指標は、例えば、形状、大きさ、塗りパターンが既知のマーカ、或いは現実空間の画像内の特徴点であり、撮像画像（現実空間の画像）にＣＧ画像（仮想空間の画像）を重畳する合成処理において位置姿勢情報の生成に用いられる。ここで、処理の負荷を低減するため、指標検出部２０３における処理は、撮像画像内における指標の有無を検出することに留めておき、マーカ等の指標とＨＭＤ１０１との相対的位置を計算する等の位置姿勢情報の生成処理は行わない。

送信制御部２０４は、指標検出部２０３の結果に基づき、後段の処理へ送信する画像を選択、圧縮、多重化した後に中継器１０２の送信ユニット２０５を介してＰＣ１０４に送る。画像表示部２０２は、中継器１０２の受信ユニット２１０を介して受信したＰＣ１０４により生成された画像（合成画像）、或いは送信制御部２０４で折り返された画像撮像部２０１により撮影された画像（撮像画像）を表示する。

また、ＰＣ１０４側において、指標検出部２０７は、中継器１０３の受信ユニット２０６を介して受信したＨＭＤ１０１より送られた撮像画像から、撮像画像（現実空間の画像）にＣＧ画像（仮想空間の画像）を合成した合成画像を得るための指標を検出する。また、指標検出部２０７は、検出した指標に基づき、ＨＭＤ１０１の相対的位置関係及びＨＭＤ使用者が観察している方向に関する３次元位置姿勢情報を生成する。例えば、指標検出部２０７は、中継器１０３の受信ユニット２０６を介して受信した撮像画像に含まれる、位置検出のためのマーカや特徴点を指標として検出する。そして、指標検出部２０７は、検出したマーカや特徴点を用いて、マーカや特徴点とＨＭＤ１０１との相対的位置関係及びＨＭＤ使用者がマーカや特徴点を観察している方向に関する３次元位置姿勢情報を算出する。

ここで、指標情報としてマーカ及び特徴点を利用した撮像画像からの位置姿勢情報の生成概念を、図３を用いて説明する。マーカ３０１は、予め撮像装置と位置関係が対応付けられているものとする。現実空間の画像にマーカ３０１が表示されている場合、指標検出部２０７は、画像データ中からマーカ３０１を検出し、マーカ３０１の大きさや形、塗りつぶしのパターン等の情報を取得する。この情報から、マーカ３０１と画像撮像部２０１（ＨＭＤ）との相対的位置関係及びＨＭＤ使用者がマーカ３０１を観察している方向に関する３次元位置姿勢情報を算出することができる。また、マーカ３０１ではなく、テーブルの輪郭線３０２のような画像中の特徴点や、画像中の特定の色等を抽出し、それらを用いて位置姿勢情報を算出することも可能である。

画像合成部２０８は、指標検出部２０７の結果に基づき、受信した撮像画像（現実空間の画像）上にＣＧ画像（仮想空間の画像）を適切な位置、大きさ、向きで重畳する。画像合成部２０８は、例えば、指標検出部２０７で算出された３次元位置姿勢情報に従って撮像画像にＣＧ画像を重畳し、ＣＧ画像を重畳した画像をレンダリングして撮像画像とＣＧ画像とを合成した合成画像（ＭＲ画像）を生成する。画像合成部２０８によりＣＧ画像を重畳した画像は、中継器１０３の送信ユニット２０９を介して、ＨＭＤ１０１に送られる。

次に、第１の実施形態における送信制御部２０４による通信帯域制御について説明する。図４は、第１の実施形態における送信制御部２０４の構成例を説明するブロック図である。図４に示す例では、図２に示した画像撮像部２０１を、ＣＧ画像を重畳する背景画像として用いる画像を撮影する背景画像撮像部４０１と、位置姿勢情報の生成のみに用いる画像を撮影する位置姿勢検出画像撮像部４０２とに分類している。例えば、１組の背景画像撮像部４０１及び位置姿勢検出画像撮像部４０２が、ＨＭＤ装着者の左目の位置における画像を取得し、別の１組の背景画像撮像部４０１及び位置姿勢検出画像撮像部４０２が、ＨＭＤ装着者の右目の位置における画像を取得する。図４においては、合計で４つの画像撮像部４０１、４０２を有しているが、各画像撮像部は個別のＩＤを有しており、画像撮像部と画像データとの対応関係を知るために、各画像撮像部のＩＤが画像とともに後段の処理に渡される。

図４に示すように、送信制御部２０４は、多重化部４０３、ＯＲ演算部（論理和部）４０４、データ出力部４０５、及びデータ入力部４０６を有する。多重化部４０３は、入力される１つ以上の画像（ＩＤ等の付加情報を含む）を多重化し、Ｈ２６４等の圧縮方法により圧縮した後に中継器１０２の送信ユニット２０５を介して無線送信する。ＯＲ演算部４０４は、指標検出部２０３の検出結果が入力され、それらをＯＲ演算（論理和演算）して演算結果を出力する。

データ出力部４０５−１、４０５−２は、入力される制御信号に応じて、対応する画像撮像部４０１、４０２により撮影された画像の出力制御を行う。背景画像撮像部４０１に対応するデータ出力部４０５−１には、ＯＲ演算部４０４の演算結果が制御信号として入力され、位置姿勢検出画像撮像部４０２に対応するデータ出力部４０５−２には、対応する指標検出部２０３の検出結果が制御信号として入力される。

データ出力部４０５−１は、対応する背景画像撮像部４０１により撮影された画像を、ＯＲ演算部４０４の演算結果が真である場合には多重化部４０３に出力し、ＯＲ演算部４０４の演算結果が偽である場合にはデータ入力部４０６に出力する。ここで、少なくとも１つの指標検出部２０３で指標が検出された場合、すなわち画像撮像部４０１、４０２により撮影された何れかの画像内に指標が存在すると判断された場合、ＯＲ演算部４０４の演算結果は真である。一方、何れの指標検出部２０３でも指標が検出されなかった場合、すなわち画像撮像部４０１、４０２により撮影された画像のすべてにおいて指標が存在しないと判断された場合、ＯＲ演算部４０４の演算結果は偽である。

データ出力部４０５−２は、対応する指標検出部２０３で指標が検出された場合、対応する位置姿勢検出画像撮像部４０２により撮影された画像を多重化部４０３に出力し、対応する指標検出部２０３で指標が検出されなかった場合、画像を出力しない。すなわち、データ出力部４０５−２は、対応する位置姿勢検出画像撮像部４０２により撮影された画像内に指標が存在すると判断された場合には画像を出力し、そうでない場合には画像を出力しない。

データ入力部４０６は、入力される制御信号に応じて、画像表示部２０２に対する画像の入力制御を行う。データ入力部４０６には、ＯＲ演算部４０４の演算結果が制御信号として入力される。データ入力部４０６は、ＯＲ演算部４０４の演算結果が真である場合、中継器１０２の受信ユニット２１０を介して受信した画像（合成画像）を画像表示部２０２に出力する。また、データ入力部４０６は、ＯＲ演算部４０４の演算結果が偽である場合、折り返しでの表示を行うためにデータ出力部４０５−１により入力される画像を画像表示部２０２に出力する。

本実施形態では前述の構成により、位置姿勢検出画像撮像部４０２により撮影された画像のうち、指標検出部２０３で指標であるマーカ又は特徴点が検出されなかった画像は、ＣＧ画像に係る位置合わせにおいて使用しないため、多重化部４０３に出力しない。このようにして、ＨＭＤ１０１とＰＣ１０４との間で、ＣＧ画像の重畳に必要のない画像を無線送信しないことで、画像に対する動的かつ適切な通信帯域の割り当てが可能となり、送信する画像１枚当たりに割り当てられる通信帯域を広げることができる。通信帯域の増加は、圧縮率を下げることにつながり、情報量の低下を抑制して画質を向上させることができる。さらに、画質が向上することで指標であるマーカや特徴点を精度よく検出することが可能となり、位置検出精度を向上させることができる。

一方、背景画像撮像部４０１により撮影された画像は、指標検出部２０３で指標であるマーカ又は特徴点が検出されなかった画像であっても、指標が検出された他の画像が存在する場合には、ＣＧ画像の重畳に使用するために多重化部４０３に送信する。また、指標が検出された他の画像が存在しない場合、すなわちすべての画像において指標が検出されなかった場合には、ＣＧ画像を重畳しないため、背景画像撮像部４０１により撮影された画像を多重化部４０３に送信する必要がない。この場合には、背景画像撮像部４０１により撮影された画像を、直接画像表示部２０２に折り返して表示させることで、画像処理システムは、無線通信自体を行わないため、圧縮による画質劣化を防ぐとともに消費電力を抑えることができる。

なお、大多数の画像撮像部で撮影された画像において指標であるマーカや特徴点が検出された場合、多重化部４０３が受け取る画像データ量は大きくなる。これをそのまま多重化すると、画質向上の効果は小さくなるため、ＰＣ１０４における位置検出精度に影響が出ない範囲で送信する画像を選択する機能をＨＭＤ１０１が有していても良い。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、ＨＭＤ１０１の指標検出部２０３の結果に基づき、送信する画像の選択を行うことによる通信帯域の有効活用する例を示したが、すべての画像を必要とするケースでは不都合が生じるおそれがある。そこで、第２の実施形態では、すべての画像をＨＭＤ１０１からＰＣ１０４に送信しつつ、通信帯域を有効活用する例を示す。

第２の実施形態における画像処理システムにおいて、第１の実施形態と異なるのはＨＭＤ１０１側、詳細には送信制御部２０４であり、その他は第１の実施形態と同様であるので重複する説明は省略する。以下では、第２の実施形態における画像処理システムにおいて、第１の実施形態と異なる点について説明する。

図５は、第２の実施形態における送信制御部２０４の構成例を説明するブロック図である。図５において、図４に示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。図５に示すように、送信制御部２０４は、多重化部４０３及び圧縮率制御部５０１を有する。圧縮率制御部５０１は、指標検出部２０３の検出結果に基づき圧縮率を設定する。圧縮率制御部５０１により設定された圧縮率は多重化部４０３に送られ、画像撮像部４０１、４０２により撮影された画像は、指定された圧縮率にて多重化部４０３で処理される。

例えば、本実施形態では、指標検出部２０３で指標であるマーカ又は特徴点が検出された場合には、圧縮率制御部５０１が圧縮率を低く設定することで、情報量の低下を抑制して画質の低下を防ぐ。一方、指標検出部２０３で指標であるマーカ又は特徴点が検出されなかった場合には、圧縮率制御部５０１が圧縮率を高く設定することで、通信帯域を大きく占有しないようにする。これにより、画像に対する動的かつ適切な通信帯域の割り当てが可能となり、画像内に指標であるマーカや特徴点が存在する重要な画像に対して割り当てられる通信帯域を広げることができる。したがって、画質を向上させることができ、また位置検出精度を向上させることができる。なお、背景画像撮像部４０１により撮影された画像は、ＣＧ画像の重畳に使用するため、常に画質の低下を防ぐ目的で、マーカや特徴点の有無によらずに固定の圧縮率としても良い。

図６は、第２の実施形態における圧縮率制御部５０１の処理例を示すフローチャートである。図６には、背景画像撮像部４０１により撮影された画像は、指標の検出結果にかかわらず、固定の圧縮率とした場合の例を示している。

以下の説明では、一方の背景画像撮像部４０１により撮影された画像について設定するビットレートをｂ１とし、他方の背景画像撮像部４０１により撮影された画像について設定するビットレートをｂ２とする。また、一方の位置姿勢検出画像撮像部４０２により撮影された画像について設定するビットレートをｂ３とし、他方の位置姿勢検出画像撮像部４０２により撮影された画像について設定するビットレートをｂ４とする。

また、一方の位置姿勢検出画像撮像部４０２により撮影された画像の指標検出結果をｉ３とし、他方の位置姿勢検出画像撮像部４０２により撮影された画像の指標検出結果をｉ４とする。指標検出結果ｉ３、ｉ４は、対応する指標検出部２０３で指標が検出された場合が真（ＴＲＵＥ）であり、指標が検出されなかった場合が偽（ＦＡＬＳＥ）である。なお、説明を簡単にするため、ビットレートが等しければ同等の画質が得られるものとする。

まず、ステップＳ６０１では、圧縮率制御部５０１が、圧縮率が可変となる位置姿勢検出画像撮像部４０２により撮影された画像での指標検出部２０３の結果ｉ３、ｉ４を取得する。次に、ステップＳ６０２で、圧縮率制御部５０１は、指標検出部２０３の結果ｉ３が真であるか否かを判断し、ステップＳ６０３、Ｓ６０４で、圧縮率制御部５０１は、指標検出部２０３の結果ｉ４が真であるか否かを判断する。

圧縮率制御部５０１は、指標検出部２０３の結果ｉ３、ｉ４がともに真であると判断した場合（ステップＳ６０２、Ｓ６０３においてＹｅｓ）、ステップＳ６０５ですべてのビットレートｂ１〜ｂ４を等しく設定する。すなわち、圧縮率制御部５０１は、位置姿勢検出画像撮像部４０２によりそれぞれ撮影された画像の圧縮率を同じ圧縮率に設定する。

また、圧縮率制御部５０１は、指標検出部２０３の結果ｉ３のみが真であると判断した場合（ステップＳ６０２においてＹｅｓ、かつステップＳ６０３においてＮｏ）、ステップＳ６０６でビットレートｂ４のみを低く設定する。すなわち、圧縮率制御部５０１は、指標が検出されなかった他方の位置姿勢検出画像撮像部４０２により撮影された画像の圧縮率を、指標が検出された一方の位置姿勢検出画像撮像部４０２により撮影された画像の圧縮率よりも高い圧縮率に設定する。

また、圧縮率制御部５０１は、指標検出部２０３の結果ｉ４のみが真であると判断した場合（ステップＳ６０２においてＮｏ、かつステップＳ６０４においてＹｅｓ）、ステップＳ６０７でビットレートｂ３のみを低く設定する。すなわち、圧縮率制御部５０１は、指標が検出されなかった一方の位置姿勢検出画像撮像部４０２により撮影された画像の圧縮率を、指標が検出された他方の位置姿勢検出画像撮像部４０２により撮影された画像の圧縮率よりも高い圧縮率に設定する。

また、圧縮率制御部５０１は、指標検出部２０３の結果ｉ３、ｉ４がともに偽であると判断した場合（ステップＳ６０２、Ｓ６０３においてＮｏ）、ステップＳ６０８でビットレートｂ３、ｂ４を低く設定する。すなわち、圧縮率制御部５０１は、位置姿勢検出画像撮像部４０２によりそれぞれ撮影された画像の圧縮率を、指標が検出されたときの圧縮率よりも高い圧縮率に設定する。

圧縮率制御部５０１が、図６に示した処理を実行することにより、ＣＧ画像の重畳に使用する背景画像は常に画質の低下を防ぐことができ、重要度の低い位置姿勢検出画像は低ビットレート（高圧縮率）とすることで通信帯域を有効活用することができる。したがって、重要度の高い画像の画質を向上させ、位置検出精度を向上させることができる。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

図７は、本実施形態における撮像装置としてのＨＭＤや画像処理装置としてのＰＣのハードウェア構成の一例を示すブロック図である。図７に示すように、ＨＭＤ、ＰＣは、ＣＰＵ７０１、ＲＡＭ７０２、ＲＯＭ７０３、入力部７０４、出力部７０５、記憶部７０６、及び通信インターフェース（ＩＦ）７０７を有する。ＣＰＵ７０１、ＲＡＭ７０２、ＲＯＭ７０３、入力部７０４、出力部７０５、記憶部７０６、及び通信ＩＦ７０７は、システムバス７０８を介して通信可能に接続される。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０１は、システムバス７０８に接続された各部の制御を行う。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０２は、ＣＰＵ７０１の主記憶装置として使用される。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７０３は、装置の起動プログラム等を記憶する。ＣＰＵ７０１が、記憶部７０６からプログラムを読み出して実行することで、例えばＨＭＤでは指標検出部及び送信制御部の機能が実現され、ＰＣでは指標検出部及び画像合成部の機能が実現される。

入力部７０４は、ユーザによる入力等を受け付けたり、画像データを入力したりする。出力部７０５は、画像データやＣＰＵ７０１における処理結果等を出力する。記憶部７０６は、装置の動作や処理に係る制御プログラム等を記憶する不揮発性の記憶装置である。通信ＩＦ７０７は、本装置と他の装置（中継器等）との情報通信を制御する。

前述のように構成された装置において、装置に電源が投入されると、ＣＰＵ７０１は、ＲＯＭ７０３に格納された起動プログラムに従って、記憶部７０６から制御プログラム等をＲＡＭ７０２に読み込む。ＣＰＵ７０１は、ＲＡＭ７０２に読み込んだ制御プログラム等に従い処理を実行することによって、ＨＭＤやＰＣの機能を実現する。つまり、ＨＭＤやＰＣのＣＰＵ７０１が制御プログラム等に基づき処理を実行することによって、ＨＭＤやＰＣの機能構成及び動作が実現される。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：ＨＭＤ １０２、１０３：中継器 １０４：ＰＣ ２０１：画像撮像部 ２０２：画像表示部 ２０３、２０７：指標検出部 ２０４：送信制御部 ２０５、２０９：送信ユニット ２０６、２１０：受信ユニット ２０８：画像合成部 ４０１：背景画像撮像部 ４０２：位置姿勢検出画像撮像部 ４０３：多重化部 ４０４：ＯＲ演算部（論理和部） ４０５：データ出力部 ４０６：データ入力部 ５０１：圧縮率制御部

Claims (13)

1. 現実空間を撮影し撮像画像を取得する撮像装置と、
   前記撮像画像と仮想空間の画像との合成画像を生成する画像処理装置とを有し、
   前記撮像装置は、
   取得した前記撮像画像内における前記合成画像を得るための指標の有無を検出する第１の検出手段と、
   前記第１の検出手段の結果に基づき、前記画像処理装置に送信する前記撮像画像に係る画像の選択又は画像の圧縮率の設定を行う送信制御手段とを有し、
   前記画像処理装置は、
   受信した前記撮像装置より送信された前記撮像画像から前記指標を検出する第２の検出手段と、
   前記第２の検出手段の結果に基づき、前記撮像画像に前記仮想空間の画像を合成する合成手段とを有することを特徴とする画像処理システム。
2. 前記送信制御手段は、画像内に前記指標がある前記撮像画像を、前記画像処理装置に送信する前記撮像画像に選択することを特徴とする請求項１記載の画像処理システム。
3. 前記撮像装置は、画像を表示する表示手段を有し、
   前記送信制御手段は、前記第１の検出手段の結果に基づき、前記画像処理装置で生成された前記合成画像又は取得した前記撮像画像を前記表示手段に表示させることを特徴とする請求項１又は２記載の画像処理システム。
4. 前記送信制御手段は、取得した少なくとも１つの前記撮像画像において画像内に前記指標がある場合には前記画像処理装置で生成された前記合成画像を前記表示手段に表示させ、取得したすべての前記撮像画像において画像内に前記指標がない場合には前記撮像画像を前記表示手段に表示させることを特徴とする請求項３記載の画像処理システム。
5. 前記送信制御手段は、画像内に前記指標がない前記画像処理装置に送信する前記撮像画像の圧縮率を、画像内に前記指標がある前記画像処理装置に送信する前記撮像画像の圧縮率よりも高い圧縮率に設定することを特徴とする請求項１記載の画像処理システム。
6. 前記送信制御手段は、画像内に前記指標がある前記画像処理装置に送信する前記撮像画像の圧縮率を第１の圧縮率に設定し、画像内に前記指標がない前記画像処理装置に送信する前記撮像画像の圧縮率を第２の圧縮率に設定し、前記第１の圧縮率は前記第２の圧縮率よりも低いことを特徴とする請求項１記載の画像処理システム。
7. 前記撮像画像は、前記仮想空間の画像を合成する第１の撮像画像と、前記撮像画像と前記仮想空間の画像との合成に係る位置姿勢情報の生成に用いる第２の撮像画像とを含み、
   前記送信制御手段は、前記第２の撮像画像に対して、前記第１の検出手段の結果に基づく画像の選択又は画像の圧縮率の設定を行うことを特徴とする請求項１〜６の何れか１項に記載の画像処理システム。
8. 前記送信制御手段は、前記第１の検出手段の結果にかかわらず、前記第１の撮像画像を前記画像処理装置に送信する前記撮像画像とすることを特徴とする請求項７記載の画像処理システム。
9. 前記指標は、形状、大きさ、及び塗りパターンが既知のマーカであることを特徴とする請求項１〜８の何れか１項に記載の画像処理システム。
10. 前記指標は、現実空間の画像中の特徴点であることを特徴とする請求項１〜９の何れか１項に記載の画像処理システム。
11. 現実空間を撮影し撮像画像を取得する撮像装置と、前記撮像画像と仮想空間の画像との合成画像を生成する画像処理装置とを有する画像処理システムの画像処理方法であって、
    前記撮像装置が、取得した前記撮像画像内における前記合成画像を得るための指標の有無を検出する第１の検出工程と、
    前記撮像装置が、前記第１の検出工程での結果に基づき、前記画像処理装置に送信する前記撮像画像に係る画像の選択又は画像の圧縮率の設定を行う送信制御工程と、
    前記画像処理装置が、受信した前記撮像装置より送信された前記撮像画像から前記指標を検出する第２の検出工程と、
    前記画像処理装置が、前記第２の検出工程での結果に基づき、前記撮像画像に前記仮想空間の画像を合成する合成工程とを有することを特徴とする画像処理方法。
12. 現実空間の画像と仮想空間の画像との合成画像を得るための指標を検出して前記合成画像を生成する画像処理装置と通信が可能な撮像装置であって、
    前記現実空間を撮影し撮像画像を取得する撮像手段と、
    取得した前記撮像画像内における前記指標の有無を検出する検出手段と、
    前記検出手段の結果に基づき、前記画像処理装置に送信する前記撮像画像に係る画像の選択又は画像の圧縮率の設定を行う送信制御手段とを有することを特徴とする撮像装置。
13. 現実空間の画像と仮想空間の画像との合成画像を得るための指標を検出して前記合成画像を生成する画像処理装置と通信が可能な撮像装置のコンピュータに、
    前記現実空間を撮影し撮像画像を取得する撮像ステップと、
    取得した前記撮像画像内における前記指標の有無を検出する検出ステップと、
    前記検出ステップでの結果に基づき、前記画像処理装置に送信する前記撮像画像に係る画像の選択又は画像の圧縮率の設定を行う送信制御ステップとを実行させるためのプログラム。

Images