JP2019220887A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 投影装置が投影した領域を撮像した撮像画像において、投影領域を矩形に変形する。【解決手段】基準オブジェクトからなる第１のパターン画像と、前記基準オブジェクトを所定の方向にシフトしたオブジェクトからなる第２のパターン画像とを重畳することで、投影用パターン画像を生成する重畳手段と、前記投影用パターン画像を投影装置に出力する出力手段と、前記投影用パターン画像を前記投影装置が投影した投影領域を、撮像装置を用いて撮像した撮像画像をオブジェクトごとに分離することで、前記第１のパターン画像に対応する第１の撮像画像と、前記第２のパターン画像に対応する第２の撮像画像を生成する分離手段と、前記第１の撮像画像と前記第２の撮像画像とに基づいて、前記撮像画像を変形する変形手段とを有し、前記重畳手段は、基準オブジェクトとシフトしたオブジェクトの少なくとも何れかの態様を変更し、重畳することを特徴とする。【選択図】 図１

Description

本発明は、投影装置により投影された画像の位置合わせに関する。

近年、例えばアミューズメント施設や博物館展示などにおいて、単体あるいは複数の投影型表示装置（以下、投影装置）を用いた投影型表示システムが知られている。投影装置は、投影面に対して所望の位置に投影されるように、位置や投影領域の歪みに応じて投影する画像を生成する必要がある。

特許文献１に記載の方法によれば、投影装置から調整用パターン画像を投影して投影領域をカメラが撮像し、撮像画像の分析結果に基づいて投影画像の歪み補正と位置合わせをする。

米国特許公開公報ＵＳ２０１７／０１８０６８９

特許文献１に記載された方法では、撮像画像の分析において、撮像画像における投影領域が矩形であることを前提としている。ところで、被投影面に対して投影型表示装置や撮像装置が斜めに配置されていると、撮像画像における投影領域は必ずしも矩形にならない。そのため、撮像画像を精度よく分析できない場合があった。

そこで本発明は、投影装置が投影した領域を撮像した撮像画像において、投影領域における歪みを推定し、推定した歪みに基づいて投影領域を矩形に変形することを目的とする。

上記課題を解決するため本発明の画像処理装置は、基準オブジェクトからなるパターンを含む第１のパターン画像と、前記基準オブジェクトを所定の方向にシフトしたオブジェクトからなるシフトパターンを含む第２のパターン画像を生成する生成手段と、前記第１のパターン画像と前記第２のパターン画像とを重畳することで、投影用パターン画像を生成する重畳手段と、前記投影用パターン画像を投影装置に出力する出力手段と、前記投影用パターン画像を前記投影装置が投影した投影領域を、撮像装置を用いて撮像した撮像画像を取得する取得手段と、前記撮像画像をオブジェクトごとに分離することで、前記第１のパターン画像に対応する第１の撮像画像と、前記第２のパターン画像に対応する第２の撮像画像を生成する分離手段と、前記第１の撮像画像と前記第２の撮像画像とに基づいて、前記撮像画像を変形する変形手段とを有し、前記重畳手段は、前記第１のパターン画像における基準オブジェクトと前記第２のパターンにおけるオブジェクトの少なくとも何れかの態様を変更し、重畳することを特徴とする。

本発明によれば、投影装置が投影した領域を撮像した撮像画像において、投影領域における歪みを推定し、推定した歪みに基づいて投影領域を矩形に変形することができる。

画像処理システムの概略および画像処理装置の論理構成図 パターン生成部が生成するパターン画像 色別重畳部が実行する処理を説明するための図 撮像画像の一例を示す図 変形部が実行する処理を説明する図 変形を説明する図 画像処理システムにおけるフローチャート 画像処理システムの概略および画像処理装置の論理構成図 背景減算部が実行する処理概要の説明図 色強調部の処理概要の説明図 画像処理システムにおけるフローチャート 画像処理システムの概略および画像処理装置の論理構成図 形状別重畳部の処理概要の説明図 形状別分離部の処理概要の説明図 投影側と撮像側のフローチャート 画像処理システムの概略および画像処理装置の論理構成図 色別重畳部と形状別重畳部の処理概要の説明図 画像処理システムにおけるフローチャート

以下、添付の図面を参照して、本発明を好適な実施形態を説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に必ずしも限定されるものではない。

＜実施形態１＞
本実施形態では、１つの投影型表示装置（以下、投影装置）の位置合わせを行うための画像処理方法について説明する。投影装置は、スクリーン上の所望の位置に画像を投影するように設置される。しかしながら実際には、精密な位置に、かつスクリーンに正対させて投影装置を設置するのは難しい。投影装置がスクリーンに正対していない場合、投影装置から投影されたスクリーン上の画像（以下、投影画像）は歪んでしまう。そこで投影装置に位置合わせ用のパターン画像を投影させ、スクリーン上に投影されたパターン画像を撮像することにより得られる撮像画像を解析する。この撮像画像を解析することにより、投影装置とスクリーンの位置関係を検出し、検出した位置関係を考慮して、投影装置に投影させる画像を変形することができる。撮像画像の解析には、撮像画像における投影領域（以下、撮像投影領域と呼ぶ）が矩形である必要がある。そこで本実施形態では、撮像投影領域を特定し、撮像投影領域を矩形に変形する処理を行う。ここで矩形とは、長方形など４つの角が直角の四角形を意味する。

図１は、本実施形態における画像処理システムの概要および画像処理装置の論理構成の示すブロック図である。画像処理システムは、画像処理装置１００、投影装置１２０、撮像装置１０により構成される。図１において投影装置１２０は、便宜上被投影面（スクリーン）に対して正対するように示されているが、実際には位置ズレが生じ、被投影面に正対していない。また、撮像装置１３０は、被投影面における投影装置１２０の投影領域を撮像可能な位置に配置されている。撮像装置１３０は、投影領域を正対する位置とは異なる位置から撮像している。画像処理装置１００は、投影装置１００が投影する画像を生成するための画像処理を実行する。

図７（ａ）は、画像処理システムにおける各装置の動作の流れを示す。以下、各工程を「Ｓ」と表記することとする。まずＳ１００１において画像処理装置１００は、投影装置１２０が投影する投影用パターン画像を生成する。Ｓ１００２において投影装置１２０は、被投影面に投影用パターン画像を投影する。被投影面には、投影用パターン画像の投影画像が投影されている。この投影画像は、被投影面と投影装置１２０との位置関係により、歪みが発生している。Ｓ１００３において撮像装置１３０は、被投影面の投影画像を含むように撮像する。この時、被投影面に対して、投影装置１２０や撮像装置１３０が斜めに配置されていると、投影画像が歪んで撮影される。図４は、撮像画像の一例を示す図である。領域４０１は、歪みが生じた投影領域である。なお図４において、投影領域に投影されている画像におけるパターンは図示していない。撮像装置１３０は、撮像画像を出力する。Ｓ１００４において画像処理装置１００は、撮像画像に基づいて前記投影領域を矩形に変形する。

ここで画像処理装置１００における処理について詳細に説明する。画像処理装置１００は、パターン生成部１０１、色別重畳部１０２、色別分離部１０３、変形部１０４を有する。図１では投射装置が１台である場合を例に示しているが、投影装置が複数台あっても構わない。

パターン生成部１０１は、基準となるパターンを含むパターン画像（基準パターン画像）を生成する。パターンは、所定のオブジェクトが複数配置されることによって構成される。図２は、パターン生成部１０１が生成するパターン画像を示す。本実施形態においてオブジェクトはドットあり、パターン画像にはドットが多数配置されている。ここではパターン画像においては、ドットを黒、背景を白としているが、ドットを白、背景を黒のように色が反転したパターン画像を用いてもよい。

色別重畳部１０２は、基準パターン画像に基づいて、投影装置１２０に投影させるパターン画像を生成する。色別重畳部１０２はパターン画像に対して、ドットの位置を所定の方向にシフトする処理とシフトしたドットの色を変える処理を複数回実行し、ドットの位置と色が異なる複数のパターン画像（シフトパターン画像）を生成する。色別重畳部１０２は、基準パターン画像に複数のシフトパターン画像を重畳する。

図３は、色別重畳部１０２が実行する処理を説明する図である。図３（ａ）は、図２に示すパターン画像の一部の矩形領域を拡大した図である。基準パターン画像に含まれる１つのドットを基準ドット３０１とする。本実施形態では、基準ドット３０１は、２つの互いに直交する方向にシフトされる。ここでは一例として、シフト方向は斜め４５度右上（以下、単に右上と呼ぶ）と斜め４５度右下（以下、単に右下と呼ぶ）とする。図３（ｂ）は、パターン画像における各ドットを右上にシフトすることで得られる右上シフトパターン画像の一部である。基準ドット３０１は、ドット３０２にシフトされる。図３（ｃ）は、パターン画像における各ドットを右下にシフトすることで得られる右下シフトパターン画像の一部である。基準ドット３０１は、ドット３０３の位置にシフトされる。なお、基準ドットをシフトするシフト量を、α（ｘ，ｙ）とする。基準パターン画像に含まれる各ドットは、シフト量α（ｘ，ｙ）の分、シフトされる。なお、シフト方向は２方向に限定せず、１方向でも３方向以上でもかまわない。また、本実施形態では右上方向のシフト量と右下方向のシフト量を同一として説明するが、それぞれ異なるシフト量としても良い。

色別重畳部１０２は、基準パターン画像における各ドット、右上シフトパターン画像における各ドット、右下シフトパターン画像におけるドットそれぞれの色を選択し、各ドットの色を選択した色に変更する。ここでは色別重畳部１０２は、基準パターン画像におけるドットの色として緑（Ｇ）を、右上シフトパターン画像におけるドットの色として青（Ｂ）を、右下シフトパターン画像におけるドットの色として赤（Ｒ）を選択する。色別重畳部１０２は、基準パターン画像、右上シフトパターン画像、右下シフトパターン画像それぞれのドットの色を変更した後、互いにドットの色が異なる３つのパターン画像を重畳する。図３（ｄ）は、３つのパターン画像を重畳することで得られる投影用のパターン画像（以降、投影用パターン画像）である。投影用パターン画像においてドット３０４は基準ドット３０１を緑（Ｇ）に、ドット３０５は右上にシフトされたドット３０２を青（Ｂ）に、ドット３０６は右下にシフトされたドット３０３を赤（Ｒ）に変えたドットである。色別重畳部１０２は、図３（ｄ）に示すようにそれぞれ基準ドットかシフトされたドットかが識別可能な投影用パターン画像を生成し、投影装置１２０に投影用パターン画像を出力する。

次に、色別分離部１０３は、撮像装置１３０が被投影面を撮像することで得られる撮像画像を取得し、色ごとのパターン画像に分離する。色別分離部１０３はまず、撮影投影領域を特定し、撮像投影領域のうち一部の矩形領域を切り出す。ここで色別分離部１０３は、例えば、次の様な方法で撮像投影領域を特定する。まず、投影装置１２０が白ベタ画像を投射した被投影面を撮像し、背景領域と分離可能な閾値により撮像画像を二値化する。そして、二値化した白領域の輪郭を検出することで、撮像投射領域を特定する。図５（ａ）は、切り出した矩形領域の画像（以下、矩形画像と呼ぶ）を示す。切り出した矩形画像には、複数の異なる色のドットが含まれている。具体的には、ドット５０１はＧ、ドット５０２はＢ、ドット５０３はＲである。前述の通り、投影用パターン画像においては、基準ドットはＧ、基準ドットを右上にシフトしたドットはＢ、右下にシフトしたドットはＲであり、撮像画像は、このような投影用パターン画像を投影した投影画像を撮像することにより得られる画像である。したがって、切り出した矩形画像において、ドット５０１が基準ドット、ドット５０２は右上にシフトしたドット、ドット５０３は右下にシフトしたドットと識別することができる。そこで色別分離部１０３は、切り出した矩形画像を各色のパターン画像に分離する。図５（ｂ）は、切り出した矩形画像のうち、Ｇのドットのみを抽出した画像である。ドット５０４は、基準となるドットである。図５（ｃ）は、切り出した矩形画像のうち、Ｂのドットのみを抽出した画像である。ドット５０５は、基準ドットを右上にシフトしたドットに対応する。また、図５（ｄ）は、切り出した矩形画像のうち、Ｒのドットのみを抽出した画像である。ドット５０７は、基準ドットを右下にシフトしたドットに対応する。以上の通り、色別分離部１０３は、撮像画像の投影領域に対応する領域から各色のパターン画像を生成する。ここでは、３つのパターン画像が生成される。Ｇのドットからなるパターン画像は、基準パターン画像を投影した画像の撮像画像に対応する。また、Ｂのドットからなるパターン画像は、右上シフトパターン画像を投影した画像の撮像画像に対応する。Ｒのドットからなるパターン画像は、右下シフトパターン画像を投影した画像の撮像画像に対応する。

色別分離部１０３はさらに、撮像画像におけるドットのシフト量を算出する。図５（ｃ）に示すように、基準ドット５０４とドット５０５とを結ぶベクトルβ（ｘ，ｙ）を、撮像画像における基準ドット５０４からのシフト量とする。色別分離部１０３は、図５（ｂ）と図５（ｃ）の矩形画像それぞれを周波数領域に変換し、位相相関シフト法を用いることで撮像画像におけるシフト量β（ｘ，ｙ）を算出する。また、図５（ｄ）に示すように、基準ドット５０４とドット５０７とのベクトルγ（ｘ，ｙ）を、撮像画像における基準ドット５０４からのシフト量とする。色別分離部１０３は、図５（ｂ）と図５（ｄ）の矩形画像それぞれを周波数領域に変換し、位相相関シフト法を用いることで、撮像画像におけるシフト量γ（ｘ，ｙ）を算出する。なお、シフト量の算出方法として周波数領域上で算出する方法を挙げたが、それに限定するものではない。例えば、ブロックマッチング法などを用いて画像上において２つのドット間のベクトルを算出する方法でもよい。

変形部１０４は、色別重畳部１０２が出力したパターン画像における各方向のシフト量と、投影装置１２０が投影したパターン画像を撮像した撮像画像における各方向のシフト量とに基づいて、投影画像の歪みを推定する。具体的な投影画像の歪み推定方法について説明する。まず、変形部１０４は、投影用パターン画像におけるシフト量αと、撮像画像におけるシフト量β及びγとに基づいて、右上方向のシフト比率Ｓｃａｌｅ１（ｘ，ｙ）と右下方向のシフト比率Ｓｃａｌｅ２（ｘ，ｙ）を下記式（１）、（２）を用いて算出する。
Ｓｃａｌｅ１（ｘ，ｙ）＝（β（ｘ）／α（ｘ），β（ｙ）／α（ｙ）） 式（１）
Ｓｃａｌｅ２（ｘ，ｙ）＝（γ（ｘ）／α（ｘ），γ（ｙ）／α（ｙ）） 式（２）

図６（ａ）に示すように、色別分離部１０３が切り出した矩形領域の中心座標をＣｅｎｔｅｒ（ｘ，ｙ）、辺の長さをＰａｔｃｈ＿Ｓｉｚｅとして、変形部１０４は、図６（ａ）示す矩形領域の４頂点の座標値ＴＬ、ＢＲ、ＴＲ、ＢＬを式（３）〜（６）を用いて算出する。
ＴＬ（ｘ，ｙ）＝（Ｃｅｎｔｅｒ（ｘ）−Ｐａｔｃｈ＿Ｓｉｚｅ／２、Ｃｅｎｔｅｒ（ｙ）−Ｐａｔｃｈ＿Ｓｉｚｅ／２） 式（３）
ＢＲ（ｘ，ｙ）＝（Ｃｅｎｔｅｒ（ｘ）＋Ｐａｔｃｈ＿Ｓｉｚｅ／２、Ｃｅｎｔｅｒ（ｙ）＋Ｐａｔｃｈ＿Ｓｉｚｅ／２） 式（４）
ＴＲ（ｘ，ｙ）＝（Ｃｅｎｔｅｒ（ｘ）＋Ｐａｔｃｈ＿Ｓｉｚｅ／２、Ｃｅｎｔｅｒ（ｙ）−Ｐａｔｃｈ＿Ｓｉｚｅ／２） 式（５）
ＢＬ（ｘ，ｙ）＝（Ｃｅｎｔｅｒ（ｘ）−Ｐａｔｃｈ＿Ｓｉｚｅ／２、Ｃｅｎｔｅｒ（ｙ）＋Ｐａｔｃｈ＿Ｓｉｚｅ／２） 式（６）

切り出した矩形領域は、投影装置１２０と被投影面との位置関係および、撮像装置と被投影面との位置関係の影響により、歪みが生じている。そのため、パターン画像のシフト量は本来αであるのに対し、撮像投影領域から切り出した矩形領域においてはシフト量β、γとなる。そこで、シフト量αがシフト量β、γとなるよう切り出した矩形領域を変形すると、図６（ｂ）のような形状の画像になる。この変形によって得られる画像を、歪み画像と呼ぶ。変形部１０４は、式（１）、（２）を用いて算出したシフト量の比率と式（３）〜（６）を用いて算出した４頂点の座標値に基づいて、図６（ｂ）に示す歪み画像の４頂点の座標値ＴＬ’、ＢＲ’、ＴＲ’、ＢＬ’を式（７）〜（１０）を用いて算出する。
ＴＬ’（ｘ，ｙ）＝（Ｃｅｎｔｅｒ（ｘ）−Ｐａｔｃｈ＿Ｓｉｚｅ／２×Ｓｃａｌｅ２（ｘ）、Ｃｅｎｔｅｒ（ｙ）−Ｐａｔｃｈ＿Ｓｉｚｅ／２×Ｓｃａｌｅ２（ｙ）） 式（７）
ＢＲ’（ｘ，ｙ）＝（Ｃｅｎｔｅｒ（ｘ）＋Ｐａｔｃｈ＿Ｓｉｚｅ／２×Ｓｃａｌｅ２（ｘ）、Ｃｅｎｔｅｒ（ｙ）＋Ｐａｔｃｈ＿Ｓｉｚｅ／２×Ｓｃａｌｅ２（ｙ）） 式（８）
ＴＲ’（ｘ，ｙ）＝（Ｃｅｎｔｅｒ（ｘ）＋Ｐａｔｃｈ＿Ｓｉｚｅ／２×Ｓｃａｌｅ１（ｘ）、Ｃｅｎｔｅｒ（ｙ）−Ｐａｔｃｈ＿Ｓｉｚｅ／２×Ｓｃａｌｅ１（ｙ）） 式（９）
ＢＬ’（ｘ，ｙ）＝（Ｃｅｎｔｅｒ（ｘ）−Ｐａｔｃｈ＿Ｓｉｚｅ／２×Ｓｃａｌｅ１（ｘ）、Ｃｅｎｔｅｒ（ｙ）＋Ｐａｔｃｈ＿Ｓｉｚｅ／２×Ｓｃａｌｅ１（ｙ）） 式（１０）

変形部１０４は、矩形画像と歪み画像とに基づいて、ホモグラフィを推定する。変形部１０４は、推定したホモグラフィの逆変換を使用した射影変換を実行することにより、撮像画像における歪みを変形した矩形の画像を生成する。図５（ｅ）は、図５（ｂ）に示す基準パターン画像の撮像画像の歪みを変形した画像である。なお図５（ｅ）は、撮像投影領域の一部を矩形で切り出したパッチを変形した結果で示しているため外形は歪んでいるが、撮像投影領域としてはこの変形により矩形となる。

図７（ｂ）は、図７（ａ）のＳ１００１において画像処理装置１００が実行する投影用パターン画像生成処理の詳細なフローチャートを示す。ＣＰＵ（不図示）が、図７（ｂ）に示すフローチャートを実現可能なプログラムを読み出し実行することで、各構成（機能）が実現される。

Ｓ１１０１においてパターン生成部１０１は、基準となるパターン画像を生成する。Ｓ１１０２において色別重畳部１０２は、基準パターン画像におけるオブジェクト（ドット）の位置を、右上方向にシフトしたパターン画像と、右下方向にシフトしたパターン画像を生成する。Ｓ１１０３において色別重畳部１０２は、それぞれのパターン画像のドットの色を変更する。Ｓ１１０４において色別重畳部１０２においてそれぞれのパターン画像を重畳することで、投影用パターン画像を生成する。

図７（ｃ）は、図７（ａ）のＳ１００４において画像処理装置１００が実行する変形処理のフローチャートである。ＣＰＵ（不図示）が、図７（Ｃ）に示すフローチャートを実現可能なプログラムを読み出し実行することで、各構成（機能）が実現される。Ｓ１２０１において色別分離部１０３は、撮像画像から色毎にパターン画像を分離する。Ｓ１２０２において色別分離部１０３は、基準パターンの投影結果を撮像した画像のドットと、各シフトパターン画像の投影結果を撮像した画像におけるドット間のシフト量を算出する。Ｓ１２０３において変形部１０４において投影パターン画像におけるシフト量（図７（ｂ）のＳ１１０２において用いられたシフト量）とＳ１２０２において算出されたシフト量の比率から、撮像画像の歪みを補正する。

以上本実施形態では、基準となるオブジェクト、基準オブジェクトを第１の方向にシフトしたオブジェクト、第２の方向にシフトしたオブジェクトを、色を異ならせて重畳したパターン画像を用いて、投影装置が投影した画像の撮像画像における歪みを検出した。

それぞれのオブジェクトを識別できない場合、例えば、基準パターン画像を投影装置１２０が投影した画像を撮像し、次にオブジェクトをシフトしたシフトパターン画像を投影装置１２０が投影した画像を撮像する必要がある。本実施形態のように、２つの異なる方向にオブジェクトをシフトする場合は、合計で３回の投影および撮像が必要になる。しかしながら本実施形態では、各種のオブジェクトにおいて色を異ならせて重畳することにより、投影装置が投影した画像を撮像した撮像画像において、基準オブジェクト、第１の方向にシフトしたオブジェクト、第２の方向にシフトしたオブジェクトを識別することが可能である。従って、位置合わせのための撮像の回数を減らすことができる。

さらに本実施形態のように、異なる方向にシフトしたパターン画像と基準パターン画像を重畳することで１つの投影用パターン画像としたことで、一回投影および撮像すればよい。そのため、複数回投影及び撮像の間に、例えば、スクリーンが揺れることによって設置した機器の位置関係にずれが生ずる場合でも、オブジェクト間のシフト量を正確に算出し撮像画像の変形をより高精度に行うことができる。

＜実施形態２＞
実施形態１では、撮像画像をそのまま各色に分離した。本実施形態では、投影画像撮像影した画像を解析する際に、彩度軸においてゲインを乗じることにより、撮像画像におけるオブジェクトの検出を補助する技術を説明する。なお本実施形態において、実施形態１と同様の構成については、同じ符号を付し、詳細な説明を省略する。

図８は、実施形態２における画像処理システムの概要および画像処理装置の論理構成を示すブロック図である。画像処理装置１００はさらに、背景減算部１１０、色強調部１１１を有する。

実施形態１では、ドットの色が異なるパターン画像を重畳した投影用パターン画像を投影し、撮像した。撮像画像におけるドットに対応する画素の画素値は、色毎に異なる。一般的にはＧと比較してＲとＢの画素値は小さい。そのため、ＲのドットやＢのドットは撮像画像において十分なコントラストがない場合がある。そこで、本実施形態では投影用パターン画像を投影した画像の撮像画像と、全ての画素が黒である黒ベタの画像（以降、黒ベタ画像）を投影した画像の撮像画像との差分を算出する。さらに差分画像において色別にゲインをかけることにより、撮像画像における各色のドットのコントラストを強調する。

投影用パターン画像と黒ベタ画像との差分をとる処理について、図９を用いて説明する。まず、投影用パターン画像を被投影面に投影し撮像する。図９（ａ）は、投影用パターン画像を投影した画像の撮像画像である。被投影面２２０１における領域２２０２は、投影用パターン画像が投影された領域である。次に、投影装置１２０が黒ベタ画像を被投影面に投影し撮像する。図９（ｂ）は、黒ベタ画像を投影した画像の撮像画像である。領域２２０３は、黒ベタ画像が投影された領域である。

背景減算部１１０は、図９（ａ）に示す撮像画像における各画素の画素値から図９（ｂ）に示す撮像画像における各画素の画素値を減算することで、差分画像を生成する。図９（ｃ）は、差分画像である。このように、投影用パターン画像を投影した画像の撮像画像から黒ベタ画像を投影した画像の撮像画像を減算することで、投影用パターンのドット２２０４だけが差分画像に残る。

撮像後の色にゲインを用いて補正する色強調処理を、図１０を用いて説明する。図１０（ａ）は、背景減算部１１０が生成した差分画像における一部の領域を拡大した画像である。ドット２３０１はＧ、ドット２３０２はＢ、ドット２３０１はＲのドットである。図１０（ｂ）は、図１０（ａ）における各ドットに対応する画素の画素値を示したグラフである。縦軸を画素値、横軸をＸ座標値とする。画素値２３０４はＧのドットに対応する画素値、画素値２３０５はＲのドットに対応する画素値、画素値２３０６はＢのドットに対応する画素値である。図１０（ｃ）は、図１０（ｂ）の各ドットの画素値にゲインをかけてコントラストの強調をした後の画素値を示すグラフである。Ｇと比較するとＲとＢは元の画素値が小さいため、Ｇと同程度になるように各々異なるゲインを用いて色強調する。画素値２３０７は、Ｇのドットに対応する画素値２３０４に対してゲインを乗じたＧ’の画素値である。画素値２３０８はＲのドットに対応する画素値２４０５に対してゲインを乗じたＲ’の画素値である。画素値２３０９は、Ｂのドットに対応する画素値２３０６にゲインを乗じたＢ’の画素値である。本実施形態において色強調部１１１は、ドットのコントラストを改善するため、彩度軸において各ドットの色が強調されるように色強調処理を行う。これは環境光を白とした場合、彩度軸のほうがコントラストを得やすいためである。

まず色強調部１１１は、差分画像における各ドットに対応する画素値を、式（１１）〜（１３）の通りにＩＴＵ−ＢＴ．６０１によりＹＣｂＣｒ値へ変換する。ただし変換の規格は上記に限定されない。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ 式（１１）
Ｃｂ＝−０．１６８７３６×Ｒ−０．３３１２６４×Ｇ＋０．５×Ｂ 式（１２）
Ｃｒ＝０．５×Ｒ−０．４１８６８８×Ｇ−０．０８１３１２×Ｂ 式（１３）

次に色強調部１１１は、式（１４）と式（１５）を用いて、ＣｂとＣｒの各々の絶対値の最大彩度値ＭｂとＭｒを算出する。
Ｍｂ＝ｍａｘ（｜Ｃｂ｜） 式（１４）
Ｍｒ＝ｍａｘ（｜Ｃｒ｜） 式（１５）

次に色強調部１１１は、式（１６）と式（１７）の通りに、最大彩度値Ｍｂの逆数に応じた値をゲインとして、最大彩度値を基準にＣｂとＣｒに、乗じる。なお式（１６）と式（１７）におけるゲインの分子の０．５は彩度の値域の最大値である。
Ｃｂ＝Ｃｂ×０．５／Ｍｂ 式（１６）
Ｃｒ＝Ｃｒ×０．５／Ｍｒ 式（１７）

ただし、被投影面の一部に太陽光や照明光のような外光が当たった場合、外光が当たった領域の彩度値が高くなってしまう。一部の彩度値が高い場合、最大彩度値を基準にゲインを決定すると外光が当たっていない領域のゲインが小さくなり、本来ゲインを上げる必要がある領域のゲインが不足してしまう。これを回避するために、最大彩度値よりも若干低い値を基準にゲインをかけるようにしてもよい。

次に色強調部１１１は、Ｙ、Ｃｂ、Ｃｒ値からＩＴＵ−ＢＴ．６０１でＲ、Ｇ、Ｂ値へ変換して彩度を拡大したＲ’、Ｇ’、Ｂ’を得る。
Ｒ’＝Ｙ＋１．４０２×Ｃｒ 式（８）
Ｇ’＝Ｙ−０．３４４１３６×Ｃｂ−０．７１４１３６×Ｃｒ 式（９）
Ｂ’＝Ｙ＋１．７７２×Ｃｂ 式（１０）

このコントラストを強調した撮像画像に対して、色別分離部１０３が色毎にパターンを分離し、変形部１０４が変形して出力する。

上記一連の処理概要を図１１のフローチャートを使って説明する。制御方法全体のフローは図７（ａ）と同じである。図１１（ａ）は、図７（ａ）のＳ１００１の重畳パターン生成の詳細フローを示す。Ｓ２０１において画像処理装置１００は、ユーザからパターン画像を投影するか黒ベタ画像を投影するか選択した指示を受けつける。パターン画像の投影が選択された場合、Ｓ２０２に進む。黒ベタ画像お投影が選択された場合は、Ｓ２０６へ進み、パターン生成部１０１は黒ベタ画像を生成する。Ｓ２０２においてパターン生成部１０１は、ドットにより構成された基準パターン画像を生成する。Ｓ２０３において色別重畳部１０２は、基準パターン画像におけるドットを右上または右下にシフトする。Ｓ２０４において色別重畳部１０２は、基準パターン画像、右上シフトパターン画像、右下パターン画像それぞれのドットの色を変更する。Ｓ２０５において色別重畳部１０２は、互いにドットの色が異なる基準パターン画像、右上シフトパターン画像、右下パターン画像を重畳する。

図１１（ｂ）は、図７（ａ）のＳ１００１の変形の詳細フローを示す。Ｓ２１１において背景減算部１１０は、パターン画像を投影した画像を撮像した画像から黒ベタ画像を投影した画像を撮像した画像を減算する。Ｓ２１２において色強調部１１１は、差分画像に基づいて、パターン画像を投影した画像を撮像した撮像画像におけるドットの色を強調する。Ｓ２１３において色別分離部１０３は、撮像画像からドットにより構成されたパターン画像を色毎に分離する。Ｓ２１４において色別分離部１０３は、ドット間のシフト量を算出する。Ｓ２１５において変形部１０４は、ドット間のシフト量から撮像画像の歪みを補正する。

以上、本実施形態により、重畳したパターン画像の撮像画像と黒ベタ画像の撮像画像の差分をとり、さらに撮像画像の色にゲインをかけてコントラストを強調することで変形部の補正精度を改善することができる。

＜実施形態３＞
実施形態では、シフトしたオブジェクトの色を変えて重畳することで一つのパターン画像とした。本実施形態では、シフトしたオブジェクトの形状を変えて重畳することで一つのパターン画像とする技術を説明する。

図１２は、本発明の実施形態３に関わる画像処理システムの機能構成の一例を示す。１１０は背景減算部、１１２は形状別重畳部、１１３は形状別分離部であり、その他は実施形態１と同じである。

実施形態１及び２では、オブジェクトの色を変えたパターンを重畳して投影及び撮像した。しかし、Ｒ、Ｇ、Ｂのパターンでは白いパターンに比べて明るさが減る。

本実施形態ではオブジェクトの形状を変えて重畳することにより明るさを減らさずに投影及び撮像し、形状別にオブジェクトを分離して歪みの補正を行う。

形状を変えて重畳及び分離する一連の処理を図１３と図１４を用いて説明する。

まず、パターン生成部１０１において１画素からなるドットで構成されるパターンを生成する。ドットを黒とし背景を白としているが、反転してドットを白とし背景を黒としてもよい。

次に、形状別重畳部１１２で上記パターンに対してドットの位置をシフトする処理とドットの形を変えて重畳する処理を行う。シフト処理は実施形態１と同じである。

図１３はシフトしたドットの形状を変えたものである。実施形態１の図３（ｄ）の色を変えたドットと比較すると、図１３の３２０１はＧの代わりに菱形、３２０２はＢの代わりに丸型、３２０３はＲの代わりに三角にドットの形状を変えたものである。オブジェクトの大きさは、形状が区別できる程度の大きさであれば良い。形状を変える方法は、例えば、上記形状のオブジェクトを予めメモリに保存しておきドットと置換する。

上記重畳したパターンと黒ベタ画像を投影型表示装置１２０で被投影面に交互に投影し撮像装置１３０で撮像し、背景減算部１１０でパターン画像から黒ベタ画像を減算する。

次に、形状別分離部１１３で上記減算画像からオブジェクトで構成されたパターンを形状毎に分離する。図１４（ａ）は形状別分離部１１３に入力される背景減算部１１０で減算されたパターン画像の一部である。図１４（ｂ）は図１４（ａ）から菱形を分離したパターン画像である。図１４（ｃ）は図１４（ａ）から丸形を分離したパターン画像である。３３０１は右上のシフト量を示す。図１４（ｄ）は図１４（ａ）から三角を分離したパターン画像である。３３０２は右下のシフト量を示す。シフト量は、オブジェクトの重心を求めてからその重心点を使って実施形態１と同様に算出する。

最後に、変形部１０４で、形状別重畳部１１２のシフト量と形状別分離部１１３で算出したシフト量の比率から撮像画像の歪補正を行う。図１４（ｅ）は図１４（ｂ）の歪みを補正したパターン画像である。

上記一連の処理概要を図１５のフローチャートを使って説明する。 制御方法全体のフローは図７（ａ）と同じである。図１５（ａ）は、図７（ａ）のＳ１００１の重畳パターン生成の詳細フローを示す。Ｓ３０１で、ユーザがパターン画像を投影するか黒ベタ画像を投影するか選択する。パターン画像の投影が選択された場合、Ｓ３０２に進む。黒ベタ画像の投影が選択された場合は、Ｓ３０６に進み黒ベタ画像を生成する。Ｓ３０２で、パターン生成部１０１においてオブジェクトで構成されたパターン画像を生成する。Ｓ３０３で、形状別重畳部１１２においてオブジェクトを右上方向または右下方向にシフトする。Ｓ３０４で、形状別重畳部１１２においてオブジェクトの形状を変更する。Ｓ３０５で、形状別重畳部１１２において形状の異なるオブジェクトで構成されたパターン画像を重畳する。

図１５（ｂ）は、図７（ａ）のＳ１００４の変形の詳細フローを示す。

Ｓ３１１で、背景減算部１１０において撮像したパターン画像から黒ベタ画像を減算する。Ｓ３１２で、形状別分離部１１３において撮像画像からパターン画像を形状毎に分離する。Ｓ３１３で、形状別分離部１１３においてオブジェクト間のシフト量を求める。Ｓ３１４で、変形部１０４においてオブジェクト間のシフト量から撮像画像の歪みを補正する。

以上、本実施形態により、オブジェクトの色を分けることにより被投影面から光が十分に反射されない場合でもコントラストをとることができる為、変形の精度の劣化を防ぐことができる。

＜実施形態４＞
実施形態１では、シフトしたオブジェクトの色を変えて重畳することで一つのパターン画像とした。また第３の実施形態では、シフトしたオブジェクトの形状を変えて重畳することで一つのパターン画像とした。本実施形態では、シフトしたオブジェクトの色あるいは形状を選択して変えて重畳することで一つのパターン画像とする技術を説明する。

図１６は、本発明の実施形態４に関わる画像処理システムの機能構成の一例を示す。１１２は形状別重畳部、１１３は形状別分離部、１１４は投影切替え部、１１５は撮像切換え部である。その他は実施形態１と同じである。

実施形態３では、オブジェクトの形状を変えたパターンを重畳して投影及び撮像した。しかし、オブジェクトの形状認識にはある程度の大きさが必要である為、被投影面の表面にざらつきの様な微小な凸凹があると、形状の分離や重心の算出に誤差が発生する。結果、変形部の補正精度が劣化する場合がある。

そこで、被投影面の色や表面の状況に応じてオブジェクトの色または形を変えることにより、被投影面に最適なオブジェクトを投影する。一連の処理を図１６と図１７を用いて説明する。まず、色別または形状別の選択をする。例えば、投影面の目視、もしくは変形部１０４の補正結果から精度が良い方をユーザが選択する。

次に、上記選択結果に基づいて色別または形状別にパターンを切り替える。図１７（ａ）は色別に、図１７（ｂ）は形状別に重畳したパターンである。投影切替え部１１４でどちらかを選択し出力する。本実施形態では、あらかじめ色別と形状別の２パターンを生成しているが、選択結果に応じたパターンのみを生成する構成でもよい。

選択したパターンと黒ベタ画像を投影型表示装置１２０で被投影面に交互に投影し撮像装置１３０で撮像し、背景減算部１１０でパターン画像から黒ベタ画像を減算する。次に、上記選択結果に基づいて、減算したパターン画像から分離したパターンを色別または形状別に切替える。

最後に、変形部１０４で、色別重畳部１０２または形状別重畳部１１２においてずらしたシフト量と、色別分離部１０３または形状別分離部１１３で算出したシフト量の差分から撮像画像の歪補正を行う。

上記一連の処理概要を図１８のフローチャートを使って説明する。制御方法全体のフローは図７（ａ）と同じである。図１８（ａ）は、図７（ａ）のＳ１００１の重畳パターン生成の詳細フローを示す。Ｓ４０１で、ユーザがパターン画像を投影するか黒ベタ画像を投影するか選択する。パターン画像の投影が選択された場合、Ｓ４０２に進む。黒ベタ画像の投影が選択された場合は、Ｓ４０９に進み黒ベタ画像を生成する。Ｓ４０２で、ユーザによる投影面の判定を行う。Ｓ４０３で、パターン生成部１０１においてドットで構成されたパターン画像を生成する。Ｓ４０４で、形状別重畳部１１２または色別重畳部１０２でドットを右上方向または右下方向にシフトする。Ｓ４０５で、Ｓ４０２の投影面の判定結果に基づいてパターン画像を色別または形状別に分ける。色別が選択された場合Ｓ４０６において色別に、形状別が選択された場合Ｓ４０７において形状別にパターン画像を分離する。Ｓ４０８で、形状別重畳部１１２または色別重畳部１０２でパターン画像を重畳する。

図１８（ｂ）は、図７（ａ）のＳ１００１の重畳パターン生成の詳細フローを示す。Ｓ４１１で、ユーザによる投影面の判定を行う。Ｓ４１２で、背景減算部１１０において撮像したパターン画像から黒ベタ画像を減算する。Ｓ４１３で、Ｓ４１１の投影面の判定結果に基づいてパターン画像を色別または形状別に分離する。色別が選択された場合は、Ｓ４１４で色強調部１１１においてパターン画像の色を強調し、Ｓ４１５で色強調部１１１において色別に分離する。形状別が選択された場合は、Ｓ４１６において形状別分離部１１３で形状別に分離する。Ｓ４１７で、色別分離部１０３または形状別分離部１１３でオブジェクト間のシフト量を求める。Ｓ４１８で、変形部１０４においてオブジェクト間のシフト量から撮像画像の歪みを補正する。

以上、本実施形態により、被投影面の色や表面の状況に応じてオブジェクトの色または形を変えることにより被投影面に最適なオブジェクトを投影するができ、変形の精度の劣化を防ぐことができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１０１ パターン生成部
１０２ 色別重畳部
１０３ 色別分離部
１０４ 変形部
１２０ 投影型表示装置
１３０ 撮像装置

Claims (4)

1. 画像処理装置であって、
   基準オブジェクトからなるパターンを含む第１のパターン画像と、前記基準オブジェクトを所定の方向にシフトしたオブジェクトからなるシフトパターンを含む第２のパターン画像を生成する生成手段と、
   前記第１のパターン画像と前記第２のパターン画像とを重畳することで、投影用パターン画像を生成する重畳手段と、
   前記投影用パターン画像を投影装置に出力する出力手段と、
   前記投影用パターン画像を前記投影装置が投影した投影領域を、撮像装置を用いて撮像した撮像画像を取得する取得手段と、
   前記撮像画像をオブジェクトごとに分離することで、前記第１のパターン画像に対応する第１の撮像画像と、前記第２のパターン画像に対応する第２の撮像画像を生成する分離手段と、
   前記第１の撮像画像と前記第２の撮像画像とに基づいて、前記撮像画像を変形する変形手段と、を有し、
   前記重畳手段は、前記第１のパターン画像における基準オブジェクトと前記第２のパターンにおけるオブジェクトの少なくとも何れかの態様を変更し、重畳することを特徴とする画像処理装置。
2. 前記重畳手段は、前記第１のパターン画像における基準オブジェクトと前記第２のパターンにおけるオブジェクトの色を互いに異なる色に変更して、重畳することを特徴とする請求項１に記載の画像処理装置。
3. コンピュータを請求項１に記載の画像処理装置として機能させるためのプログラム。
4. 画像処理方法であって、
   基準オブジェクトからなるパターンを含む第１のパターン画像と、前記基準オブジェクトを所定の方向にシフトしたオブジェクトからなるシフトパターンを含む第２のパターン画像を生成する生成ステップと、
   前記第１のパターン画像と前記第２のパターン画像とを重畳することで、投影用パターン画像を生成する重畳手段と、
   前記投影用パターン画像を投影装置に出力する出力ステップと、
   前記投影用パターン画像を前記投影装置が投影した投影領域を、撮像装置を用いて撮像した撮像画像を取得する取得ステップと、
   前記撮像画像をオブジェクトごとに分離することで、前記第１のパターン画像に対応する第１の撮像画像と、前記第２のパターン画像に対応する第２の撮像画像を生成する分離ステップと、
   前記第１の撮像画像と前記第２の撮像画像とに基づいて、前記撮像画像を変形する変形ステップと、を有し、
   前記重畳ステップは、前記第１のパターン画像における基準オブジェクトと前記第２のパターンにおけるオブジェクトの少なくとも何れかの態様を変更し、重畳することを特徴とする画像処理装置。