JP2014199508A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮像画像とＣＧ画像とが高解像度に合成された画像を得ることができるようにする。【解決手段】縦横のサイズが半減された撮像画像にＣＧ画像が合成された合成画像において、半透明の領域を撮像画像とＣＧ画像とに分離する際に、対象画素の画素値と周辺画素の画素値との差分を、α値を変化させながら計算し、最も差分が小さくなるα値を求める。そして、このα値に基づいて撮像画像とＣＧ画像とに分離し、合成画像のうち、撮像画像に該当する部分を、情報量を削減する前の撮像画像に置き換えて、高解像度の合成画像を生成できるようにする。【選択図】図３

Description

本発明は、例えば、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術に用いる画像を生成するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

近年、現実世界と仮想世界とをリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用した技術がある。この技術では、ビデオシースルーＨＭＤを利用して使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示したＭＲ画像を使用者は観察することができる。

ビデオシースルーＨＭＤでは、ＣＣＤ等の電荷結合素子により被写体を撮像して該被写体のデジタル画像データを得るとともに、ＣＧ画像を重畳したＭＲ画像（複合現実画像）を液晶や有機ＥＬ等の表示デバイスを介して装着者に表示する構成になっている。

図２２は、使用者がＨＭＤ２２０１を装着している時の様子を説明する図である。ＨＭＤ２２０１の他に不図示の外部装置が存在し、ＨＭＤ２２０１から外部装置に撮像画像を送信する。外部装置では、ＨＭＤ２２０１のカメラで撮像した映像からＨＭＤ２２０１の位置姿勢を計算し、この位置姿勢の結果からＣＧ画像を撮像画像に重畳した重畳画像を作成し、ＨＭＤ２２０１へ送信する。これにより、ＨＭＤ２２０１で外部装置から受信した重畳画像を表示する。このように使用者はＨＭＤ２２０１を用いることによりＭＲ空間を体験することが可能となる。

ここで、パーソナルコンピュータ（ＰＣ）などの外部装置とＨＭＤとの間では、撮像画像及び重畳画像の通信を行っており、できる限り通信量を減らす方が望ましい。そのため、ＨＭＤから外部装置には位置姿勢の計算に必要な最低限の解像度、例えば、撮影時の半分の解像度の撮像画像を送信することなどが考えられる。ＰＣでは、ＨＭＤに表示するサイズでＭＲ画像を作成する必要があるため、ＨＭＤから受信した撮像画像を拡大した後にＣＧ画像を重畳する。このように撮像画像を拡大しているため、撮像画像と半透明で合成された個所に関してはＣＧ画像に比べて低解像度になる。

以上のことから、撮像画像と半透明で合成された個所に関しては、ＨＭＤ側で解像度の高い撮像画像に置き換えることが望まれる。より解像度の高い撮像画像に置き換えるためには、半透明で合成した際の透過度情報（α値）が必要になる。ＨＭＤが外部装置から受信する画像は撮像画像とＣＧ画像とが重畳された画像であるため、α値を重畳画像とは別データとして受け取るか、もしくは画像の中に埋め込む方法が提案されている（例えば、特許文献１参照）。

特開２００５−１０７７８０号公報

しかしながら、特許文献１に開示されている技術では、α値を画像に埋め込む必要があることから、色情報がα値を埋め込む前に比べて少なくなってしまい、十分に高解像度の画像が得られない。

本発明は前述の問題点に鑑み、撮像画像とＣＧ画像とが高解像度に合成された画像を得ることができるようにすることを目的としている。

本発明の画像処理装置は、外界を撮像して撮像画像を生成する撮像手段と、前記撮像手段によって生成された撮像画像を記憶する記憶手段と、前記撮像手段によって生成された撮像画像の情報量を削減する削減手段と、前記削減手段によって情報量が削減された撮像画像とＣＧ画像とが合成された合成画像を取得する取得手段と、前記取得手段によって取得された合成画像から半透明で合成された領域を特定する特定手段と、前記特定手段によって特定された半透明の領域において、前記情報量が削減された撮像画像と、前記ＣＧ画像とを分離する分離手段と、前記分離手段によって分離された撮像画像の領域と、前記特定手段によって半透明で合成された領域と特定されていない領域のうち、前記撮像画像に該当する領域とを、前記記憶手段に記憶された撮像画像に置き換えて再合成する再合成手段とを有し、前記分離手段は、前記半透明の領域における対象画素と、前記対象画素の周囲に存在する周囲画素とを用いて前記半透明の領域における透過度を算出し、前記算出した透過度に基づいて、前記情報量が削減された撮像画像と、前記ＣＧ画像とを分離することを特徴とする。

本発明によれば、撮像画像とＣＧ画像とが高解像度に合成された画像を得ることができる。

本発明の実施形態に係る画像表示システムの構成例を示す図である。 第１の実施形態に係るＨＭＤ及び画像処理装置の構成例を示すブロック図である。 第１の実施形態における図２に示すＨＭＤの画像処理部の詳細な構成例を示すブロック図である。 第１の実施形態において、画像処理装置から受信する合成画像の一例を示す概略図である。 α値が０．５の時にある１画素の撮像画像とＣＧ画像とを半透明に合成する手順を説明する図である。 対象画素と周辺画素との位置関係を示す図である。 第１の実施形態において、α値を変化させた時の、ＣＧ画像の対象画素と周囲画素との画素値の差分を求める方法を説明する図である。 第１の実施形態において、撮像画像の領域と半透明領域とを高解像度に置き換える処理手順の一例を示すフローチャートである。 第１の実施形態における図８のＳ８０２の詳細な処理手順の一例を示すフローチャートである。 第２の実施形態に係るＨＭＤ及び画像処理装置の構成例を示すブロック図である。 第２の実施形態において、画像処理装置から受信する合成画像の一例を示す概略図である。 第２の実施形態において、撮像画像の領域と半透明領域とを高解像度に置き換える処理手順の一例を示すフローチャートである。 第２の実施形態における図１２のＳ１２０２の詳細な処理手順の一例を示すフローチャートである。 第３の実施形態に係るＨＭＤ及び画像処理装置の構成例を示すブロック図である。 第３の実施形態において、比較対象にする画像を説明する図である。 第３の実施形態における図８のＳ８０２の詳細な処理手順の一例を示すフローチャートである。 第４の実施形態において、画像処理装置から受信する合成画像の一例を示す概略図である。 第４の実施形態において、α値を変化させた時の、ＣＧ画像の対象画素と周囲画素との画素値の差分を求める方法を説明する図である。 第４の実施形態における図２に示すＨＭＤの画像処理部の詳細な構成例を示すブロック図である。 第４の実施形態において、撮像画像の領域と半透明領域とを高解像度に置き換える処理手順の一例を示すフローチャートである。 第４の実施形態における図２０のＳ２００３の詳細な処理手順の一例を示すフローチャートである。 使用者がＨＭＤを装着している時の様子を説明する図である。

以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図１は、本実施形態に係る画像表示システム１００の構成例を示す図である。
図１において、本実施形態の画像表示システム１００は、頭部搭載型の表示装置（以下、ＨＭＤ）１０１と、コントローラ１０２と、表示部１０３を有する画像処理装置１０４とから構成されている。

ＨＭＤ１０１は、使用者の頭部に装着され、画像表示部と、コントローラ１０２と通信する通信部と、それらを制御する制御部とを含んでいる。画像表示部は、画像処理装置１０４で生成した画像を表示するためのものであり、使用者のそれぞれの眼の前に光学系を含む構成で取付けられている。

また、ＨＭＤ１０１は、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のような小規模ネットワークに無線で接続されたコントローラ１０２と通信する。ＨＭＤ１０１とコントローラ１０２との間は無線による通信に限らず、有線通信方式を利用してもよい。

コントローラ１０２と有線で接続されている画像処理装置１０４は、画像を再生する再生部と再生する画像を格納しておく格納部とを有する。画像処理装置１０４はコントローラ１０２を介してＨＭＤ１０１と通信を行う。また、画像処理装置１０４は、キーボードなどの操作部を備えており、データや、命令等を入力して、入力されたデータや、命令の結果等を、表示部１０３に表示する。

なお、図１に示す例では、画像処理装置１０４とコントローラ１０２とを別々のハードウェア構成としているが、コントローラ１０２の持つ機能をすべて画像処理装置１０４内に実装して一体化してもよい。また、画像処理装置１０４とコントローラ１０２とがそれぞれ有する機能を集積させた専用の画像処理装置を構成することも可能である。

図２は、図１に示した画像表示システム１００におけるＨＭＤ１０１及び画像処理装置１０４の構成例を示すブロック図である。
ＨＭＤ１０１は、外界を撮像する撮像部２０１と、画像を表示する表示部２０４と、画像や制御信号を送受信する画像処理装置Ｉ／Ｆ通信ユニット２０６と、撮像部２０１で撮影した画像の情報を削減する情報量削減部２０２とを備えている。さらに、撮像部２０１で撮影した画像を一時的にメモリに保存する撮像画像格納部２０７と、外部から受信した画像に対して処理を行う画像処理部２０３と、ＨＭＤ１０１全体を制御する制御部２０５と、その他不図示の機能部とを備えている。

画像処理装置１０４は、ＨＭＤ１０１とは異なっており、パーソナルコンピュータ（ＰＣ）などの装置で構成されている。画像処理装置１０４は、画像や制御信号等を送受信するＨＭＤ Ｉ／Ｆ通信ユニット２２１と、ＨＭＤ１０１から受信した画像からＨＭＤ１０１の位置姿勢を算出する位置姿勢算出部２２４とを備えている。さらに、ＣＧ画像が格納されているコンテンツＤＢ２２３と、コンテンツＤＢ２２３に格納されている画像とＨＭＤ１０１から受信した画像とを合成するＣＧ合成部２２２と、その他不図示の機能部とを備えている。

上述の構成において、ＨＭＤ１０１の撮像部２０１で撮像した外界の撮像画像は、画像処理装置Ｉ／Ｆ通信ユニット２０６を介して画像処理装置１０４へ送られる。画像処理装置１０４の位置姿勢算出部２２４は、受信した撮像画像からＨＭＤ１０１の位置姿勢を算出する。ＣＧ合成部２２２は、位置姿勢算出部２２４で算出したＨＭＤ１０１の位置姿勢を元にＣＧ画像を撮像画像に合成する。その後、ＨＭＤ Ｉ／Ｆ通信ユニット２２１を介してＨＭＤ１０１へ合成画像を送信する。ＨＭＤ１０１は、画像処理装置１０４から受信した合成画像を表示部２０４に表示する。以上の構成により、使用者はＨＭＤ１０１を装着することにより画像処理装置１０４で合成した画像を見ることができる。

本実施形態では、ＨＭＤ１０１と画像処理装置１０４との間の通信量を減らすため、ＨＭＤ１０１から画像処理装置１０４へ送信する撮像画像の情報量を情報量削減部２０２で減らしている。例えば、撮像部２０１で撮影した画像の解像度を半分にしたり、色情報を減らしたりする方法である。本実施形態では、撮像画像の縦、横のサイズを半分にする方法を用いる例について説明する。

画像処理装置１０４のＣＧ合成部２２２では、ＣＧ画像を合成する前に撮像画像を表示部２０４で表示できるサイズに拡大する。例えば撮像部２０１で撮影する画像のサイズと表示部２０４で表示する画像のサイズとが同じであった場合は、情報量削減部２０２で撮像画像の縦、横のサイズを半分にしているため、ＣＧ画像を合成前に撮像画像を２倍にする。撮像画像を１度半分にした後２倍にしているため、合成画像における撮像画像の領域、及び半透明でＣＧ画像と合成した箇所はＣＧ画像に比べて解像感が低下する。

図３は、画像処理部２０３の詳細な構成例を示すブロック図である。画像処理部２０３では、ＣＧ画像に比べて解像感が低下している撮像画像と半透明の個所とを高解像度に置き換える。
図３において、画像処理装置１０４から受信した画像は、半透明領域特定部３０１で半透明で合成された場所が判定される。

図４は、画像処理装置１０４から受信する合成画像の一例を示す概略図である。
図４において、領域４０１は撮像画像の領域を示している。領域４０２はＣＧ画像の領域を示しており、領域４０４は半透明で合成された領域を示している。本実施形態では、半透明の領域４０４の前後に境界を示す画素の領域４０３が含まれており、この画素は、半透明の領域４０４の境界以外では使われない色とする。本実施形態では、図４に示すように半透明で合成されたエリアを示す情報を用いることにより、半透明の領域を判定するが、これの限りでない。

半透明領域特定部３０１により半透明であると判定された個所の情報は、分離部３０２へ送られ、半透明以外と判定された個所の情報はＣＧ判定部３０４に送られる。半透明領域特定部３０１から合成画像の情報が分離部３０２、またはＣＧ判定部３０４に送られる時、半透明の領域の境界を示していた画素に関しては周囲の画素から置き換える。この置き換え方法は隣接する画素で置き換えてもよいし、周囲の画素の平均値で置き換えてもよい。

ＣＧ判定部３０４は、半透明領域特定部３０１から受け取った画像が撮像画像の個所か、それともＣＧ画像の個所かを判定する。元々の撮像画像は、撮像画像格納部２０７に格納されているため、撮像画像格納部２０７に格納されている撮像画像と画像処理装置１０４から受け取った合成画像とを画素毎に比較する。この比較結果が似ている場合は、その画素は撮像画像の領域であると判断し、置き換え部３０５において撮像画像格納部２０７に格納されている撮像画像に置き換える。これにより、実写画像に関しては高解像度の画像に置き換わる。

ここで画像処理装置１０４から受け取った合成画像と、撮像画像格納部２０７に格納されている撮像画像とが似ているか否かの判定は、例えば、以下のように行うことができる。ＨＭＤ１０１は、画像処理装置１０４から事前に撮像画像を拡大する方法（例えばバイリニア、バイキュービック）が事前に通知される。そのため撮像画像を拡大した後の画素値をＨＭＤ１０１で予測することができる。そのため、似ているか似ていないかを判定することができる。

半透明で合成された領域に関しては、分離部３０２において半透明で合成された領域を合成前のＣＧ画像と撮像画像とに分離し、さらに半透明で合成された時の透過度（α値）を算出する。この方法の詳細に関しては後述する。その後、再合成部３０３において、求めたＣＧ画像の画素値とα値とを元に撮像画像格納部２０７に格納されている解像度の高い撮像画像を用いて半透明で合成する。

分離部３０２での処理を説明する前に、半透明の合成方法に関して簡単に説明する。半透明で２つの画像を合成する場合、一般的に以下のような式（１）に従って合成が行われる。

ここで、αは０≦α≦１の条件を満たす値とする。また、Ｚは半透明で合成した後の画像を表し、Ｘは撮像画像を表し、ＹはＣＧ画像を表す。

分離部３０２による、合成前のＣＧ画像及び撮像画像への分離方法について、図５〜図７を参照しながら説明する。図５は、α値が０．５の時にある１画素の撮像画像とＣＧ画像とを半透明に合成する手順を説明する図である。撮像画像の画素値Ｒ、Ｇ、Ｂが（１９２、１２８、６４）であり、ＣＧ画像の画素値Ｒ、Ｇ、Ｂが（６４、１９２、１２８）でα値を０．５で合成すると、半透明で合成した画素値Ｒ、Ｇ、Ｂは（１２８、１６０、９６）になる。

画像処理装置１０４から受信する合成画像は、半透明画像であり、図５に示す例では画素値Ｒ、Ｇ、Ｂが（１２８、１６０、９６）である。また、撮像画像に関しては撮像画像格納部２０７に格納されており、図５に示す例では、画素値Ｒ、Ｇ、Ｂは（１９２、１２８、６４）である。そのため、α値が０．５であること、ＣＧ画像の画素値Ｒ、Ｇ、Ｂが（６４、１９２、１２８）であることを求めれば、半透明画像から撮像画像とＣＧ画像とに分離することができる。

式（１）に従うと、例えば赤（ＲＥＤ）を求める式に、不定値は２つ（α値、Ｙ_red）存在するため、１つの画素の情報からは撮像画像とＣＧ画像とに分離することはできない。そのため、周囲の画素の情報も用いて分離を行う。ある１画素とこの画素の周囲画素とでは、ＣＧ画像の画素値もα値も大幅に変化することは少ない。そのため、本実施形態では、図６に示すように対象画素６０２の周囲に存在する８つの周囲画素６０１の情報を用いて分離を行う。本実施形態では、８つの周囲画素を用いる例について説明するが、周囲画素を用いる範囲をさらに増やしてもよい。

図７は、α値を変化させた時の、ＣＧ画像の対象画素と周囲画素との画素値の差分を求める方法を説明する図である。半透明画像から撮像画像とＣＧ画像とに分離する際、不定値はα値とＣＧ画像の画素値であるため、α値を変化させると、変化させた時のＣＧ画像の画素値を求めることができる。ＣＧ画像の画素値は以下の式（２）により求めることができる。

図７（ａ）に示す例では、α値が０．１の時の対象画素と周囲画素とのＣＧ画像の画素値を表している。同様に図７（ｂ）に示す例はα値が０．２の時を表し、図７（ｃ）に示す例はα値が０．８の時を表し、図７（ｄ）に示す例はα値が０．９の時を表している。なお、図７には示していないが、α値が０．３〜０．７の時も同様にＣＧ画像の画素値を求めることができる。本実施形態では、α値の変化は０．１刻みにしているが、０．０１刻みでもよく０．１の限りではない。ＣＧ画像の対象画素及び周囲画素の画素値は大幅に変化することは少ないため、対象画素及び周囲画素の画素値の差分の合計を以下の式（３）により計算する。

図７に示す例では、図７（ｃ）に示すようなα値が０．８の時に、対象画素と周囲画素との差分が一番少ないため、ＣＧ画像の対象画素の画素値Ｒ、Ｇ、Ｂは（１０、１０、１０）、α値は０．８と求めることができる。なお、図７（ｄ）に示す例では、対象画素の一つ左の画素の画素値Ｒ、Ｇ、Ｂが（１１、１１、−４）となっている。色情報で負数は存在しないため、対象画素と周囲画素との差分の対象からは省いている。このようにこの処理を半透明領域の全ての画素に対して実施する。

図８は、本実施形態において、画像処理部２０３により撮像画像の領域と半透明領域とを高解像度に置き換える処理手順の一例を示すフローチャートである。
まず、Ｓ８０１において、半透明領域特定部３０１は、画像処理装置１０４から受け取った合成画像の画素が半透明か否かを判定する。この判定の結果、半透明であった場合は、Ｓ８０２において、分離部３０２は合成前の撮像画像とＣＧ画像とに分離する。なお、この処理の詳細に関しては後述する。

次に、Ｓ８０３において、再合成部３０３は該当する撮像画像の画素を撮像画像格納部２０７から取得する。そして、Ｓ８０４において、再合成部３０３は、Ｓ８０２で分離したＣＧ画像と、Ｓ８０３で取得した撮像画像とをα値で再合成する。

一方、Ｓ８０１の判定の結果、半透明でない場合は、Ｓ８０５において、ＣＧ判定部３０４はＣＧ画像の領域か撮像画像の領域かを判定する。この判定の結果、ＣＧ画像である場合はＳ８０８に進み、撮像画像である場合は、Ｓ８０６において、置き換え部３０５は該当する撮像画像の画素を撮像画像格納部２０７から取得する。そして、Ｓ８０７において、置き換え部３０５は、Ｓ８０６で取得した撮像画像の画素に置き換える。そして、Ｓ８０８において、すべての画素について処理が終了したか否かを判定する。この判定の結果、まだ処理を行っていない画素がある場合はＳ８０１に戻り、そうでない場合は処理を終了する。

図９は、図８のＳ８０２において、分離部３０２が行う詳細な処理手順の一例を示すフローチャートである。
まず、Ｓ９０１において、初期のα値を設定する。このα値の初期設定は固定でもよいし、既に求めた周りの画素のα値を初期値にしてもよい。本実施形態では、既に求めた周りの周囲画素のα値の平均を初期値にする。α値も隣接する画素で大幅に変化することは少ないため、周囲画素のα値を初期値にすることによりα値とＣＧ画像の画素値とを求める計算量を少なくすることができる。

次に、Ｓ９０２において、α値を変化させる処理が終了したか否かを判定する。この判定の結果、全てのα値を変化させた時の計算が終了していない場合にはＳ９０３に進む。そして、Ｓ９０３において、図７に示したようにα値によるＣＧ画像の画素値を対象画素と周囲８画素とに対して算出する。

次に、Ｓ９０４において、求めた対象画素と周囲画素とで画素の差分を算出する。そして、Ｓ９０５において、対象画素と周囲画素との画素の差分が増加傾向にあるか否かを判定する。この判定の結果、これ以上α値を変化させても差分は増加する場合には、Ｓ９０６に進む。そして、Ｓ９０６において、Ｓ９０４で求めた対象画素と周囲画素との画素の差分が一番小さい時のα値とＣＧ画像の画素値が、画像処理装置１０４で合成する前のＣＧ画像の画素値とα値とであると判定し、これらの値を退避する。一方、Ｓ９０５の判定の結果、差分が減少する可能性がある場合には、Ｓ９０２に戻る。

以上のように本実施形態によれば、半透明で合成された個所に関して、画像処理装置からα値の情報を受け取ることを不要にして合成前の画像に分離することができる。そして、より高解像度の撮像画像に置き換えて再合成することにより、半透明の領域でも高解像度化することができる。

（第２の実施形態）
第１の実施形態では、ＨＭＤ１０１から画像処理装置１０４へ情報量削減部２０２により情報量が削減された撮像画像を送信していた。本実施形態では、画像処理装置１０４へ撮像画像を送信しない場合に半透明個所の撮像画像を置き換える方法に関して説明する。なお、本実施形態に係る画像表示システムの構成については図１と同様であるため、説明は省略する。

図１０は、本実施形態に係るＨＭＤ１０００及び画像処理装置１０１０の構成例を示すブロック図である。図２に示した例と比べて、ＨＭＤ１０００は、情報量削減部２０２を有しておらず、代わりに位置姿勢算出部１００７を有している。一方、画像処理装置１０１０は、位置姿勢算出部２２４を有していない。このように本実施形態では、ＨＭＤ１０００が第１の実施形態と同様の手順によりＨＭＤ１０００の位置姿勢を計算し、位置姿勢の計算結果を画像処理装置１０１０に送信する構成になっている。

このように本実施形態では、ＨＭＤ１０００から画像処理装置１０１０へＨＭＤ１０００の位置姿勢の情報を送信する構成である。一方、ＨＭＤ１０００から画像処理装置１０１０へ位置姿勢の情報を送信せずに、画像処理装置１０１０が外部センサを用いてＨＭＤ１０００の位置姿勢を求めるような構成であってもよい。

第１の実施形態では、画像処理装置１０４からＨＭＤ１０１へ送信する画像は撮像画像とＣＧ画像とが合成された画像であったが、本実施形態では、クロマキー色の画像とＣＧ画像とが合成された画像でなる。図１１は、画像処理装置１０１０がＨＭＤ１０００へ送信する画像の一例を示す概略図である。図１１の領域１１０１はクロマキー色の画素の領域を示しており、領域１１０２はＣＧ画像の領域を示している。また、領域１１０４は半透明で合成された領域を示している。

本実施形態でも、半透明の領域１１０４の前後に境界を示す画素の領域１１０３が含まれており、この画素は、境界以外では使われない色とする。なお、本実施形態でも図１１に示すように半透明で合成された領域を示す情報が画像の中に入っている方法で説明するが、これの限りでない。また、本実施形態では、クロマキー色は画素値Ｒ、Ｇ、Ｂを（０、０、２５５）とする。第１の実施形態では半透明で合成された個所は撮像画像とＣＧ画像とを半透明に合成した領域であったが、本実施形態ではクロマキー色との画像ＣＧ画像とを半透明に合成する。

図１２は、本実施形態において、クロマキー色の領域と半透明の領域とを撮像画像に置き換える処理手順の一例を示すフローチャートである。図８のフローチャートと比べると、Ｓ８０２における撮像画像との分離処理がＳ１２０１におけるクロマキー色の画像とＣＧ画像との分離処理に置き換わっている。なお、Ｓ１２０１の処理以外に関しては図８と同じであるため、説明は省略する。

図１３は、図１２のＳ１２０１の詳細な処理手順の一例を示すフローチャートでる。図９のフローチャートと比較して、Ｓ９０３の処理が、Ｓ１３０１に置き換わっている。Ｓ１３０１においては、ＣＧ画像の画素値を算出するために、撮像画像の画素値ではなくクロマキー色の画素値を用いる。それ以外の処理については、図９と同じであるため、説明は省略する。

以上のように本実施形態によれば、撮像画像との合成画像ではなくクロマキー色の画像との合成画像を画像処理装置から受信した場合に、半透明の個所を撮像画像に置き換えて表示することが可能になる。

（第３の実施形態）
第１及び第２の実施形態では、一般の画像を用いて合成前の画像に分離していたが、本実施形態では、３Ｄ用として左眼用の画像と右眼用の画像との両方を用いて合成前の画像に分離する時の方法に関して説明する。なお、本実施形態に係る画像表示システムの構成については図１と同様であるため、説明は省略する。

図１４は、本実施形態に係るＨＭＤ１４００及び画像処理装置１０４の構成例を示すブロック図である。本実施形態では、左眼用と右眼用の画像を取り扱うため、図２と比べると、ＨＭＤ１４００の撮像部１４０１、情報量削減部１４０２、画像処理部１４０３、及び表示部１４０４に関して全て左眼用、右眼用が存在する。また、図２の撮像画像格納部２０７が、左眼用と右眼用の撮像画像を格納する左右撮像画像格納部１４０５に置き換わっている。以下、左眼用、右眼用と区別する時は符号にＲ、Ｌを付して説明するが、左眼用、右眼用と特に定めない時は、符号にＲ、Ｌを省略して説明する。なお、画像処理装置１０４は図２と同様の構成である。

図１５は、本実施形態における比較対象にする画像を説明する図である。第１及び第２の実施形態では、対象画素の周囲の８画素を比較対象としたが、本実施形態では、さらにもう片方の反対側の画像の同じような位置の画素も比較対象にする。これは左右の画像でも似たような画像であるため、もう一方の画像も比較対象にする。

撮像画像の領域と半透明の領域とを高解像度に置き換える処理手順については図８と同様であり、Ｓ８０２において、ＣＧ画像と撮像画像とに分離する詳細な手順が第１の実施形態と異なっている。図１６は、図８のＳ８０２における詳細な処理手順の一例を示すフローチャートである。図９のフローチャートとの違いは、Ｓ１６０１及びＳ１６０２の処理が追加されている点である。なお、それ以外の処理については図９と同様であるため、説明は省略する。

Ｓ１６０１においては、もう片方の画像に対しても同じα値によるＣＧ画像の画素値を計算する。そして、Ｓ１６０２において、もう片方の画像に対するＣＧ画像の画素値の差分を計算する。なお、Ｓ９０６においては、左眼用及び右眼用の両方の画像に対して最も差分が少なかった時のα値とＣＧ画像の画素値を分離前の値と決める。このとき、両方の画像に対して最も差分が少なかった時の値を採用してもよいし、もう片方の差分値に少し重みづけを行って計算してもよい。

また、本実施形態においては、第２の実施形態のようにＨＭＤ１４００から画像処理装置１０４へ撮像画像を送信しない構成でもよい。以上のように本実施形態によれば、左眼用及び右眼用の画像を用いるため、さらにより正確に合成前の画像に分離することが可能になる。

（第４の実施形態）
第１〜第３の実施形態では、画像の中に半透明の領域の開始個所を埋め込むことにより半透明の領域を判定したが、本実施形態では画像の中に情報を埋め込まずに半透明の領域を判定して、合成前の画像に分離する方法に関して説明する。本実施形態に係る画像表示システム、及び各装置の構成については基本的には図１、図２と同様であるため、説明は省略する。

図１７は、本実施形態において、ＨＭＤ１０１が画像処理装置１０４から受信する合成画像の一例を示す概略図である。
図１７において、領域１７０１は、撮像画像の領域を示しており、領域１７０２はＣＧ画像の領域を示している。また、領域１７０３は、半透明の画素の領域を示している。第１の実施形態では、図４に示したように半透明の領域４０４の前後に半透明であることを示す情報として境界を示す画素の領域４０３が含まれていたが、本実施形態では、図１７に示すように、合成画像の中にこのような領域は含まれていない。

そこで、どのように半透明の画素かＣＧ画像の画素かを判定する方法について、図１８を参照しながら説明する。図１８は、図７と同様にα値を変化させて対象画素と周囲画素との画素値の差分を求める方法を説明する図である。図１８に示す例の場合、α値が０．１の時に対象画素と周囲画素との画素値の差分が最も小さくなる。

第１の実施形態の手順では、αを０．１として分離し、高精細な撮像画像と再度合成していた。α値が０．１の場合、第１の実施形態に記載した合成時の式（１）に従うと、合成後の画像の画素値は、ほとんどＣＧ画像の画素値から構成されることになる。そこで本実施形態では、α値が閾値以下の時は半透明領域と判定するのではなくＣＧ画像の領域と判定し、α値が閾値よい大きい時は半透明の画素として判定する。また、α値を０．１刻みではなく、α値を０．０１刻みにして閾値を０．０１に設定してもよい。

図１９は、本実施形態における画像処理部２０３の詳細な構成例を示すブロック図である。
図１９において、撮像画像判定部１９０１は、画像処理装置１０４から受信した画像において撮像画像の画素か撮像画像とは異なる画素かを判定する。元々の撮像画像は撮像画像格納部２０７に格納されているため、撮像画像格納部２０７に格納されている撮像画像と画像処理装置１０４から受け取った画像とを画素毎に比較する。この比較結果が似ている場合は、その画素は撮像画像の領域であると判断し、置き換え部１９０５において、撮像画像格納部２０７に格納されている撮像画像に置き換える。これにより、実写画像に関しては高解像度の画像に置き換わる。

一方、その画素が撮像画像の領域でない場合は、半透明領域特定部１９０２において、半透明の領域の画素かＣＧ画像の領域の画素か判定する。判定方法については前述した方法で行い、半透明の領域の画素である場合はα値も求める。ＣＧ画像の領域の画素である場合は、何も処理をせずに画像処理部２０３から表示部２０４へデータを送り、半透明の領域の画素である場合は分離部１９０３へそのデータが送られる。

分離部１９０３は、半透明領域特定部１９０２で求めたα値を元に、合成前のＣＧ画像の画素値を求める。再合成部１９０４は、分離部１９０３で分離したＣＧ画像の画素値と、半透明領域特定部１９０２で算出した合成前のα値と、撮像画像格納部２０７から読み出した該当する撮像画像とを再合成する。

図２０は、本実施形態において、撮像画像の領域と半透明の領域とを高解像度に置き換える処理手順の一例を示すフローチャートである。
まず、Ｓ２００１において、撮像画像判定部１９０１は画像処理装置１０４から受け取った合成画像の画素が撮像画像の領域か撮像画像以外の領域かを、撮像画像格納部２０７から取得した撮像画像と比較して判定する。この判定の結果、撮像画像の領域である場合は、Ｓ２００２において、置き換え部１９０５は、撮像画像格納部２０７から取得した撮像画像の画素に置き換える。

一方、Ｓ２００１の判定の結果、撮像画像以外の領域である場合は、Ｓ２００３において、半透明領域特定部１９０２は、半透明の領域の画素であるか否かを判定する。この処理の詳細については後述するが、Ｓ２００３では、半透明の領域の画素かＣＧ画像の画素かを求め、半透明の領域の画素の場合はα値も求める。

次に、Ｓ２００４において、半透明領域特定部１９０２は、Ｓ２００３の判定の結果、半透明の領域であって、かつα値が閾値以下であるか否かを判定する。この判定の結果、α値が閾値より大きい場合は、半透明領域の画素と判定し、Ｓ２００５に進む。そして、Ｓ２００５において、分離部１９０３は、Ｓ２００３で求めたα値と撮像画像とを元に合成前のＣＧ画像の画素値を求める。次に、Ｓ２００６において、再合成部１９０４は、求めたα値とＣＧ画像の画素値とを用いて、撮像画像格納部２０７から取得した撮像画像で合成を行う。

一方、Ｓ２００４の判定の結果、それ以外の場合は、ＣＣ画像の領域の画素と判定し、Ｓ２００７に進む。Ｓ２００７においては、すべての画素について処理が終了したか否かを判定する。この判定の結果、まだ処理を行っていない画素がある場合はＳ２００１に戻り、そうでない場合は処理を終了する。

図２１は、図２０のＳ２００３における詳細な処理手順の一例を示すフローチャートである。なお、図２１に示す各処理は全て半透明領域特定部１９０２により行われる処理である。
まず、Ｓ２１０１において、α値を変化させるのが終了したか判定する。α値を変化させる処理については第１の実施形態と同様である。この判定の結果、全てのα値を変化させたて計算が終了した場合は、Ｓ２１０４に進み、そうでない場合はＳ２１０２に進む。

Ｓ２１０２においては、図１８に示すように、α値によってＣＧ画像の画素値を対象画素と周囲８画素とに対して算出する。そして、Ｓ２１０３において、求めた対象画素と周囲画素との画素の差分を算出する。一方、Ｓ２１０４においては、Ｓ２１０３で求めた対象画素と周囲画素との画素の差分が一番小さい時のα値とＣＧ画像の画素値とを退避する。

以上のように本実施形態によれば、画像の中に半透明の領域の境界を示す情報を埋め込むことを不要しても、より高解像度の撮像画像に置き換えて再合成し、半透明の領域でも高解像度化することが可能となる。なお、第３の実施形態のように左眼用及び右眼用の画像を生成する場合も同様である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１ 撮像部
２０２ 情報量削除部
２０３ 画像処理部
２０４ 表示部
２０５ 制御部
２０６ 画像処理装置Ｉ／Ｆ通信ユニット
２０７ 撮像画像格納部

Claims (12)

1. 外界を撮像して撮像画像を生成する撮像手段と、
   前記撮像手段によって生成された撮像画像を記憶する記憶手段と、
   前記撮像手段によって生成された撮像画像の情報量を削減する削減手段と、
   前記削減手段によって情報量が削減された撮像画像とＣＧ画像とが合成された合成画像を取得する取得手段と、
   前記取得手段によって取得された合成画像から半透明で合成された領域を特定する特定手段と、
   前記特定手段によって特定された半透明の領域において、前記情報量が削減された撮像画像と、前記ＣＧ画像とを分離する分離手段と、
   前記分離手段によって分離された撮像画像の領域と、前記特定手段によって半透明で合成された領域と特定されていない領域のうち、前記撮像画像に該当する領域とを、前記記憶手段に記憶された撮像画像に置き換えて再合成する再合成手段とを有し、
   前記分離手段は、前記半透明の領域における対象画素と、前記対象画素の周囲に存在する周囲画素とを用いて前記半透明の領域における透過度を算出し、前記算出した透過度に基づいて、前記情報量が削減された撮像画像と、前記ＣＧ画像とを分離することを特徴とする画像処理装置。
2. 前記分離手段は、前記対象画素と前記周囲画素との画素値の差分が最も小さくなる透過度を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、透過度が閾値よりも大きい領域を半透明の領域と特定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記再合成手段は、前記特定手段によって半透明の領域と特定された領域においては半透明で合成することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記削減手段は、解像度及び色情報のうち、少なくとも１つを削減することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記周囲画素とは、前記対象画素の周囲に位置する８つの画素であることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記撮像手段は、左眼用の撮像画像と、右眼用の撮像画像とを生成し、
   前記分離手段は、さらに、反対側の眼用の撮像画像を用いて透過度を算出することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 外界を撮像して撮像画像を生成する撮像手段と、
   前記撮像手段によって生成された撮像画像を記憶する記憶手段と、
   外部の装置からＣＧ画像が合成された合成画像を取得する取得手段と、
   前記取得手段によって取得された合成画像から半透明で合成された領域を特定する特定手段と、
   前記特定手段によって特定された半透明の領域において、前記ＣＧ画像と、それ以外の画像とを分離する分離手段と、
   前記分離手段によって分離された前記それ以外の領域と、前記特定手段によって半透明で合成された領域と特定されていない領域のうち、前記ＣＧ画像に該当しない領域とを、前記記憶手段に記憶された撮像画像に置き換えて再合成する再合成手段と有し、
   前記分離手段は、前記半透明の領域における対象画素と、前記対象画素の周囲に存在する周囲画素とを用いて前記半透明の領域における透過度を算出し、前記算出した透過度に基づいて、前記ＣＧ画像と、それ以外の画像とを分離することを特徴とする画像処理装置。
9. 外界を撮像して撮像画像を生成する撮像手段と、前記撮像手段によって生成された撮像画像を記憶する記憶手段とを有する画像処理装置の画像処理方法であって、
   前記撮像手段によって生成された撮像画像の情報量を削減する削減工程と、
   前記削減工程において情報量が削減された撮像画像とＣＧ画像とが合成された合成画像を取得する取得工程と、
   前記取得工程において取得された合成画像から半透明で合成された領域を特定する特定工程と、
   前記特定工程において特定された半透明の領域において、前記情報量が削減された撮像画像と、前記ＣＧ画像とを分離する分離工程と、
   前記分離工程において分離された撮像画像の領域と、前記特定工程において半透明で合成された領域と特定されていない領域のうち、前記撮像画像に該当する領域とを、前記記憶手段に記憶された撮像画像に置き換えて再合成する再合成工程とを有し、
   前記分離工程においては、前記半透明の領域における対象画素と、前記対象画素の周囲に存在する周囲画素とを用いて前記半透明の領域における透過度を算出し、前記算出した透過度に基づいて、前記情報量が削減された撮像画像と、前記ＣＧ画像とを分離することを特徴とする画像処理方法。
10. 外界を撮像して撮像画像を生成する撮像手段と、前記撮像手段によって生成された撮像画像を記憶する記憶手段とを有する画像処理装置の画像処理方法であって、
    外部の装置からＣＧ画像が合成された合成画像を取得する取得工程と、
    前記取得工程において取得された合成画像から半透明で合成された領域を特定する特定工程と、
    前記特定工程において特定された半透明の領域において、前記ＣＧ画像と、それ以外の画像とを分離する分離工程と、
    前記分離工程において分離された前記それ以外の領域と、前記特定工程において半透明で合成された領域と特定されていない領域のうち、前記ＣＧ画像に該当しない領域とを、前記記憶手段に記憶された撮像画像に置き換えて再合成する再合成工程と有し、
    前記分離工程においては、前記半透明の領域における対象画素と、前記対象画素の周囲に存在する周囲画素とを用いて前記半透明の領域における透過度を算出し、前記算出した透過度に基づいて、前記ＣＧ画像と、それ以外の画像とを分離することを特徴とする画像処理方法。
11. 外界を撮像して撮像画像を生成する撮像手段と、前記撮像手段によって生成された撮像画像を記憶する記憶手段とを有する画像処理装置を制御するためのプログラムであって、
    前記撮像手段によって生成された撮像画像の情報量を削減する削減工程と、
    前記削減工程において情報量が削減された撮像画像とＣＧ画像とが合成された合成画像を取得する取得工程と、
    前記取得工程において取得された合成画像から半透明で合成された領域を特定する特定工程と、
    前記特定工程において特定された半透明の領域において、前記情報量が削減された撮像画像と、前記ＣＧ画像とを分離する分離工程と、
    前記分離工程において分離された撮像画像の領域と、前記特定工程において半透明で合成された領域と特定されていない領域のうち、前記撮像画像に該当する領域とを、前記記憶手段に記憶された撮像画像に置き換えて再合成する再合成工程とをコンピュータに実行させ、
    前記分離工程においては、前記半透明の領域における対象画素と、前記対象画素の周囲に存在する周囲画素とを用いて前記半透明の領域における透過度を算出し、前記算出した透過度に基づいて、前記情報量が削減された撮像画像と、前記ＣＧ画像とを分離することを特徴とするプログラム。
12. 外界を撮像して撮像画像を生成する撮像手段と、前記撮像手段によって生成された撮像画像を記憶する記憶手段とを有する画像処理装置を制御するためのプログラムであって、
    外部の装置からＣＧ画像が合成された合成画像を取得する取得工程と、
    前記取得工程において取得された合成画像から半透明で合成された領域を特定する特定工程と、
    前記特定工程において特定された半透明の領域において、前記ＣＧ画像と、それ以外の画像とを分離する分離工程と、
    前記分離工程において分離された前記それ以外の領域と、前記特定工程において半透明で合成された領域と特定されていない領域のうち、前記ＣＧ画像に該当しない領域とを、前記記憶手段に記憶された撮像画像に置き換えて再合成する再合成工程とコンピュータに実行させ、
    前記分離工程においては、前記半透明の領域における対象画素と、前記対象画素の周囲に存在する周囲画素とを用いて前記半透明の領域における透過度を算出し、前記算出した透過度に基づいて、前記ＣＧ画像と、それ以外の画像とを分離することを特徴とするプログラム。

Images