JP2014131257A - 画像補正システム、画像補正方法及びプログラム - Google Patents

Abstract

【課題】撮影装置により被写体を撮影した撮影画像が歪んでいても、当該撮影画像を利用して撮影画像に含まれる被写体の歪みを解消する。
【解決手段】本発明の画像補正システムは、被写体を撮影して撮影画像を取得する撮影部と、撮影部と被写体とを正対させて撮影したときの撮影方向に対する撮影部の撮影方向の傾きを認識する傾き認識部と、傾きによる撮影画像の歪みを補正した補正画像を生成する第１補正部と、補正画像の非線形歪みを補正して補正後撮影画像を取得する第２補正部と、を備える。
【選択図】図２０

Description

本発明は、画像補正システム、画像補正方法及びプログラムに関する。

プロジェクタ等の投影装置により投影された投影画像の歪みとして、線形歪み（台形歪み）、及び非線形歪みが知られている。線形歪みの原因の一例としては、投影面と投影装置との間の正対関係のズレが挙げられる。すなわち、投影面に対して垂直に設置するように設計されている投影装置が、投影面と正対していないときに、投影画像の線形歪みが発生する。

また、非線形歪みの原因の一例としては、吊るし型スクリーン等の投影面の凹凸が挙げられる。一般に、吊るし型スクリーン等の投影面の凹凸には線形性がないため、投影画像に非線形歪みが発生する。

投影画像の歪みを補正する技術として、投影装置と撮影装置とを組み合わせた投影システム（プロジェクタ・カメラシステム）が知られている。例えば、プロジェクタ等の投影装置により投影された投影画像の歪みを、可搬型撮像装置（デジタルカメラ、ウェブカメラ、並びに携帯電話、及びスマートフォン等に付随しているカメラ等。以下「外部カメラ」という。）により撮影した撮影画像に基づいて補正する。

投影画像の歪みを補正する技術文献としては、特許文献１が知られている。特許文献１には、カメラ付き携帯電話により撮影された撮影画像を利用して、投影画像を補正する発明が開示されている。

しかしながら、例えば投影面の凹凸等に起因する投影画像の歪みを補正するために、撮影装置により投影画像を撮影した撮影画像を利用すると、補正後の投影画像に線形歪みが生じる問題があった。

本発明は、上記に鑑みてなされたものであって、撮影装置により被写体を撮影した撮影画像が歪んでいても、当該撮影画像を利用して撮影画像に含まれる被写体の歪みを解消できる画像補正システム、画像補正方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の画像補正システムは、被写体を撮影して撮影画像を取得する撮影部と、前記撮影部と前記被写体とを正対させて撮影したときの撮影方向に対する前記撮影部の撮影方向の傾きを認識する傾き認識部と、前記傾きによる前記撮影画像の歪みを補正した補正画像を生成する第１補正部と、前記補正画像の非線形歪みを補正して補正後撮影画像を取得する第２補正部と、を備える。

また、本発明の画像補正方法は、撮影部が、被写体を撮影して撮影画像を取得するステップと、傾き補正部が、前記撮影部と前記被写体とを正対させて撮影したときの撮影方向に対する前記撮影部の撮影方向の傾きを認識するステップと、第１補正部が、前記傾きによる前記撮影画像の歪みを補正した補正画像を生成するステップと、第２補正部が、前記補正画像の非線形歪みを補正して補正後撮影画像を取得するステップと、を含む。

また、本発明のプログラムは、被写体を撮影して撮影画像を取得する撮影部を備える画像補正システムを、前記撮影部と前記被写体とを正対させて撮影したときの撮影方向に対する前記撮影部の撮影方向の傾きを認識する傾き認識部と、前記傾きによる前記撮影画像の歪みを補正した補正画像を生成する第１補正部と、前記補正画像の非線形歪みを補正して補正後撮影画像を取得する第２補正部として機能させる。

本発明によれば、撮影装置により被写体を撮影した撮影画像が歪んでいても、当該撮影画像を利用して撮影画像に含まれる被写体の歪みを解消できるという効果を奏する。

図１は、第１実施形態の画像補正システムの機能ブロックの構成の一例を示すブロック図である。 図２は、第１実施形態の画像補正システムの形態の一例を示す図である。 図３は、第１実施形態の画像補正システムの投影部が投影するパターン画像の一例を示す図である。 図４は、第１実施形態の画像補正システムの投影部が投影した投影画像の非線形歪みの一例を示す図である。 図５は、第１実施形態の画像補正システムの撮影部が撮影した撮影画像に、線形歪みと非線形歪みが含まれる場合の一例を示す図である。 図６は、第１実施形態の画像補正システムの投影部が投影する補正された投影画像の一例を示す図である。 図７は、第１実施形態の画像補正システムの第１補正部の機能ブロックの一例を示す図である。 図８は、第１実施形態の画像補正システムの撮影部の投影面に対する傾きの一例を示す図である。 図９は、第１実施形態の画像補正システムの射影変換行列算出部による射影変換行列の算出方法の一例を説明するための図である。 図１０は、第１実施形態の画像補正システムによる補正画像の生成方法の一例を説明するためのフローチャートである。 図１１は、第１実施形態の画像補正システムの第２補正部の機能ブロックの一例を示す図である。 図１２は、第１実施形態の画像補正システムの第２補正部の補正方法の一例を説明するための図である。 図１３は、第１実施形態の画像補正システムによる投影、撮影、及び補正と対応する射影変換行列の関係の一例を示す図である。 図１４は、第１実施形態の画像補正システムの第２補正部の補正方法の一例を説明するためのフローチャートである。 図１５は、第１実施形態の画像補正システムの動作を説明するための図である。 図１６は、第１実施形態の画像補正システムの投影部が投影するパターン画像の変形例１を示す図である。 図１７は、第１実施形態の画像補正システムの投影部が投影するパターン画像の変形例２を示す図である。 図１８は、第２実施形態の画像補正システムの機能ブロックの構成の一例を示すブロック図である。 図１９は、第２実施形態の画像補正システムの撮影装置の被写体の一例を示す図である。 図２０は、第３実施形態の画像補正システムの機能ブロックの構成の一例を示すブロック図である。 図２１は、第３実施形態の画像補正システムの撮影装置の被写体の一例を示す図である。 図２２は、第３実施形態の画像補正システムの撮影装置の被写体の一例を示す図である。 図２３は、第１〜３実施形態の画像補正システムおいて、ソフトウェア（コンピュータプログラム）を実行させるためのハードウェアの構成の一例を説明する図である。

以下に添付図面を参照して、画像補正システム、画像補正方法及びプログラムの実施の形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の画像補正システム１の機能ブロックの構成の一例を示すブロック図である。第１実施形態の画像補正システム１は、撮影装置２、及び投影装置３を備える。撮影装置２は、撮影部２１、及び傾き認識部２２を備える。投影装置３は、制御部３１、投影部３２、第１補正部３３、及び第２補正部３４を備える。

撮影部２１は、投影部３２により投影された投影画像を撮影する。また、撮影部２１は、当該撮影画像を第１補正部３３に送信する。

傾き認識部２２は、撮影部２１と投影面とを正対させて撮影したときの撮影方向に対する撮影部２１の撮影方向の傾きを認識する。傾き認識部２２は、撮影部２１による投影画像の撮影時に、加速度センサにより当該傾きを認識する。加速度センサからは、例えば、撮影部２１が地面に対して１０度傾いている等の情報が得られる。また、傾き認識部２２は、当該傾きを示す情報（以下「傾き情報」という。）を、第１補正部３３に送信する。

ここで、加速度センサについて説明する。加速度センサの軸が、３軸であれば、撮影画像の縦方向の台形歪み（線形歪み）を補正することができる。加速度センサの軸が、４軸〜６軸であれば、更に、横方向の台形歪み（線形歪み）、及びジャイロ回転補正も行うことができる。

一般に、投影部３２の投影先であるスクリーン等の投影面は、地面と垂直になっている。このことから、外部カメラ（撮影装置２）と投影面が正対しているとき、外部カメラ（撮影装置２）は地面に対して垂直であると推測できる。したがって、傾き認識部２２により認識された傾き情報を用いて、撮影画像自身の傾きを補正した補正画像は、スクリーン等に正対した状態で撮影したときに得られる撮影画像（正面から撮影された撮影画像）と同じである。

なお、撮影装置２から投影装置３に、撮影画像、及び傾き情報を送信する方式は、無線方式であっても有線方式であってもよい。

制御部３１は、投影部３２から投影画像として投影する入力画像を、投影部３２に入力する。また、制御部３１は、入力画像の非線形歪みを補正するため、入力画像を第２補正部３４に入力する。制御部３１は、入力画像の非線形歪みを補正した補正後入力画像を、第２補正部３４から受信する。制御部３１は、当該補正後入力画像を、投影部３２に入力する。

投影部３２は、入力画像、又は補正後入力画像を、投影画像として投影面に投影する。投影面は、スクリーン、壁、又はホワイトボード等である。入力画像、及び補正後入力画像の詳細については後述する。

第１補正部３３は、傾き情報に基づいて、撮影画像から補正画像を生成する。また、第１補正部３３は、補正画像を、第２補正部３４に送信する。第１補正部３３の詳細は後述する。

第２補正部３４は、補正画像に基づいて、入力画像の非線形歪みを補正し、補正後入力画像を生成する。第２補正部３４の詳細は後述する。

図２は、第１実施形態の画像補正システム１の形態の一例を示す図である。図２の画像補正システム１は、外部カメラ（撮影装置２）、及び至近プロジェクタ（投影装置３）により実現されている。また、至近プロジェクタ（投影装置３）は、スクリーン（投影面）に、投影画像の歪みを補正するためのパターン画像を投影している。図２のパターン画像に含まれる線の交点は、第２補正部３４が、第１補正部３３により生成された補正画像と、入力画像とを対応させるための対応点として利用する。

図３は、第１実施形態の画像補正システム１の投影部３２が投影するパターン画像の一例を示す図である。図３は、パターンが格子状であるパターン画像の例である。

図２の例では、至近プロジェクタ（投影装置３）から、パターン画像が投影されている。図２の例では、スクリーン（投影面）の歪みにより、投影されたパターン画像に非線形歪みが生じている。投影画像の非線形歪みは、第２補正部３４が、格子状のパターン画像に含まれる線の交点を、補正画像と入力画像との対応点として用いることにより補正する。

ここで、制御部３１から投影部３２に入力される入力画像と、投影画像の歪みについて説明する。図４は、第１実施形態の画像補正システム１の投影部３２が投影した投影画像の非線形歪みの一例を示す図である。図４の例は、正方形を投影面に投影した場合の例である。図４の例では、投影面の歪みにより、投影画像の正方形に非線形歪みが生じている。

この非線形歪みを検出するために、撮影部２１により撮影画像を取得すると、投影面と撮影部２１との正対関係のズレにより、撮影画像に線形歪みが生じる場合がある。

図５は、第１実施形態の画像補正システム１の撮影部２１が撮影した撮影画像に、線形歪みと非線形歪みが含まれる場合の一例を示す図である。図５の撮影画像の例は、図２の外部カメラ（撮影装置２）の座標軸において、ｙ軸を回転軸として、地面に対して右に水平に、外部カメラ（撮影装置２）を回転させた方向に、スクリーン（投影面）と外部カメラ（撮影装置２）との正対関係がズレた場合の例である。

第１補正部３３は、図５のような線形歪みと非線形歪みを含む撮影画像から、撮影部２１と投影面との正対関係のズレに起因する線形歪みを除去する補正により、撮影画像から補正画像を生成する。

図６は、第１実施形態の画像補正システム１の投影部３２が投影する補正された投影画像の一例を示す図である。第２補正部３４が、第１補正部３３により撮影画像から生成された補正画像と、入力画像とに基づいて、補正後入力画像を生成する。投影部３２が、補正後入力画像を投影すると、補正された投影画像が投影面に写る。補正された投影画像は、入力画像と同じ画像となる。

次に、第１実施形態の画像補正システム１の第１補正部３３の詳細について説明する。図７は、第１実施形態の画像補正システム１の第１補正部３３の機能ブロックの一例を示す図である。第１補正部３３は、内部パラメタ行列算出部３３１、回転行列算出部３３２、３次元座標算出部３３３、射影変換行列算出部３３４、及び補正画像生成部３３５を備える。

内部パラメタ行列算出部３３１は、撮影部２１の内部パラメタ行列を算出する。まず、内部パラメタ行列について説明する。

（１）は、内部パラメタ行列Ａである。（１）の内部パラメタ行列Ａの成分について説明する。ｆは、撮影部２１の焦点距離である。ｃｘは、撮影部２１の主点（ｃｘ、ｃｙ）のｘ座標である。ｃｙは、撮影部２１の主点（ｃｘ、ｃｙ）のｙ座標である。

内部パラメタ行列算出部３３１は、内部パラメタ行列Ａを算出するために、撮影部２１の焦点距離ｆ、及び主点（ｃｘ、ｃｙ）を取得する必要がある。

内部パラメタ行列算出部３３１は、焦点距離ｆ、及び主点（ｃｘ、ｃｙ）を、撮影画像のタグ情報であるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）情報に基づいて取得してもよい。また、内部パラメタ行列算出部３３１は、焦点距離ｆ、及び主点（ｃｘ、ｃｙ）を、撮影部２１のカメラキャリブレーションにより取得してもよい。

内部パラメタ行列Ａは、３次元座標算出部３３３が、撮影画像の２次元座標から、当該２次元座標に対応する実空間の３次元座標を算出する際に使用する。

回転行列算出部３３２は、傾き認識部２２から傾き情報を取得する。傾き情報は、撮影部２１が、撮影部２１と投影面とを正対させて撮影したときの撮影方向に対する撮影部２１の撮影方向の傾きθを示す情報を含む。回転行列算出部３３２は、当該傾きθだけ座標を回転させる座標変換を表す回転行列Ｒを算出する。

ここで、回転行列Ｒについて説明する。図８は、第１実施形態の画像補正システム１の撮影部２１の投影面に対する傾きθの一例を示す図である。図８の例は、撮影装置２の撮影方向（ｚ軸方向）を、ｘ軸を回転軸として傾きθだけ回転させて、撮影部２１と投影面とを正対させる場合の例である。図８のｘ，ｙ_１，ｚ_１は、傾きθだけ回転させる前の座標軸を示す。また、図８のｘ，ｙ_２，ｚ_２は、傾きθだけ回転させた後の座標軸を示す。

このとき、座標（ｘ，ｙ_２，ｚ_２）は、傾きθだけ回転させる回転行列Ｒを用いて、次式により算出できる。

回転行列算出部３３２は、（２）を満たす行列を回転行列Ｒとして算出する。

３次元座標算出部３３３は、撮影画像の座標と、撮影部２１の内部パラメタ行列Ａとから、透視投影変換により、撮影画像の座標に対応する３次元座標を算出する。まず、透視投影変換について説明する。撮影部２１による撮影画像の撮影は、実空間の３次元座標を、撮影画像の２次元座標に変換する操作に相当する。この変換は、透視投影変換と呼ばれる。透視投影変換は、撮影部２１の透視投影変換行列Ｐにより表現することができる。透視投影変換行列Ｐは、次式により表される。

（３）の行列Ａは、上述した撮影部２１の内部パラメタ行列である。行列［Ｒｔ］は、外部パラメタ行列である。外部パラメタ行列は、撮影部２１の回転、及び平行移動を表現する。

撮影部２１を、図８のように傾きθだけ傾けた状態で、投影画像を撮影した場合の透視投影変換行列Ｐ_１は、次式で表される。

なお、撮影部２１自身が原点であり、撮影部２１は、原点中心に回転するためｔ＝０としている。

このとき、実空間の３次元座標と、撮影画像の２次元座標の関係は、次のように表現することができる。

なお、（５）は、スケールを除いて等しいことを表す。すなわち、同次座標系（斉次座標系）において等しいことを表す。

また、撮影部２１が、投影面と正対している場合の透視投影変換行列Ｐ_２は、次式で表される。

また、このときの実空間の３次元座標と、撮影画像の２次元座標の関係は、次のように表現することができる。

なお、一般に、（７）は、下記の式（８）と等価である。ただし、（７）では、Ｒを単位行列、ｔを０としている。そのため、下記（８）では、Ｒ＝Ｅ（単位行列）、ｔ＝０である。

３次元座標算出部３３３は、透視投影変換行列Ｐ_１の逆変換行列Ｐ_１ ^−１により、撮影画像の座標に対応する実空間の３次元座標を算出する。３次元座標算出部３３３は、当該対応する実空間の３次元座標を、撮影画像の２次元座標の全ての点について算出しなくてもよい。すなわち、後述する射影変換行列Ｈを算出するために必要な数（４つ）だけ、撮影画像の点と対応する３次元座標の対応点を算出してもよい。

射影変換行列算出部３３４は、撮影画像の座標を、補正画像の座標に変換する射影変換行列Ｈを算出する。射影変換行列Ｈは、補正画像生成部３３５が、撮影画像の座標に対応する補正画像の座標を算出するために使用する。

図９は、第１実施形態の画像補正システム１の射影変換行列算出部３３４による射影変換行列Ｈの算出方法の一例を説明するための図である。射影変換行列Ｈは、次式で表される行列である。

上記の式（９）、（１０）は、スケールを除いて等しいことを表す。すなわち、同次座標系（斉次座標系）において等しいことを表す。

射影変換行列Ｈの係数を算出することは、下記の式（１１）を計算することに帰着される。

（１１）式は、ｈ_１〜ｈ_８の８個の未知係数を含む。撮影画像の座標（ｘ_１，ｙ_１）と、撮影画像の座標（ｘ_１，ｙ_１）に対応する補正画像の座標（ｘ_２，ｙ_２）毎に、（１１）式が得られる。そのため、ｈ_１〜ｈ_８の８個の未知係数を決定するためには、少なくとも４点について、撮影画像の点に対応する補正画像の対応点の情報が必要である。なお、撮影画像の座標（ｘ_１，ｙ_１）に対応する補正画像の座標（ｘ_２，ｙ_２）は、上述の撮影画像の座標に対応する実空間の３次元座標に、透視投影変換行列Ｐ_２を作用させることにより算出できる。

なお、射影変換行列算出部３３４は、射影変換行列Ｈを、投影画像の点に対応する補正画像の対応点の情報を複数用いた最小二乗法により算出してもよい。これにより、射影変換行列算出部３３４が取得した上述の対応点に、対応関係の誤差が含まれていても、誤差が最小になる射影変換行列Ｈを算出できる。なお、当該対応関係の誤差の影響を少なくするための方法は、最小二乗法に限られない。当該対応関係の誤差の影響を少なくするための方法は、その他の方法であってもよい。

補正画像生成部３３５は、撮影画像の全ての画素の座標に、当該射影変換行列Ｈを作用させることにより、補正画像を生成する。

図１０は、第１実施形態の画像補正システム１による補正画像の生成方法の一例を説明するためのフローチャートである。

第１補正部３３は、撮影部２１から撮影画像を取得する。また、第１補正部３３は、傾き認識部２２から傾き情報を取得する（ステップＳ１）。内部パラメタ行列算出部３３１は、撮影画像のタグ情報であるＥｘｉｆ情報に基づいて、撮影部２１の内部パラメタ行列Ａを算出する（ステップＳ２）。回転行列算出部３３２は、傾き情報に基づいて回転行列Ｒを算出する（ステップＳ３）。

３次元座標算出部３３３は、撮影部２１の内部パラメタ行列Ａと、回転行列Ｒとから、透視投影変換行列Ｐ_１を算出する。３次元座標算出部３３３は、撮影画像の座標に、透視投影変換行列Ｐ_１の逆変換行列Ｐ_１ ^−１を作用させることにより、撮影画像の座標に対応する３次元座標を算出する（ステップＳ４）。射影変換行列算出部３３４は、当該３次元座標に透視投影変換行列Ｐ_２を作用させることにより、当該３次元座標に対応する補正画像の座標を算出する（ステップＳ５）。

ステップＳ４、及びステップＳ５により、第１補正部３３は、撮影画像の座標の点に対応する補正画像の座標の対応点を算出する。射影変換行列算出部３３４は、撮影画像の座標の点に対応する補正画像の座標の対応点を用いて、最小二乗法により射影変換行列Ｈを算出する（ステップＳ６）。補正画像生成部３３５は、撮影画像の全ての画素の座標に、当該射影変換行列Ｈを作用させることにより、補正画像を生成する（ステップＳ７）。

次に、第１実施形態の画像補正システム１の第２補正部３４について説明する。図１１は、第１実施形態の画像補正システム１の第２補正部３４の機能ブロックの一例を示す図である。第２補正部３４は、補正領域決定部３４１、対応点検出部３４２、射影変換行列算出部３４３、及び補正後入力画像生成部３４４を備える。

補正領域決定部３４１は、補正画像上に補正領域を決定する。図１２は、第１実施形態の画像補正システム１の第２補正部３４の補正方法の一例を説明するための図である。図１２の領域４１は、補正領域決定部３４１により決定された補正領域の一例である。補正領域決定部３４１は、領域４１を任意の方法で決定してよい。例えば、補正領域決定部３４１は、投影画像の投影領域と同じアスペクト比の矩形を、補正領域として決定する。

この補正領域の画素値に、入力画像の画素値を対応させる。一般に、当該補正領域は、入力画像の大きさよりも小さい。したがって、入力画像を、当該補正領域に全て表示するためには、当該入力画像を縮小する必要がある。

図１１に戻り、対応点検出部３４２は、補正画像上のパターン画像の点と対応する補正後入力画像のパターン画像の対応点を検出する。例えば、図１２の例では、対応点検出部３４２は、補正画像の点４３と補正後入力画像の点５３を対応させる。また、対応点検出部３４２は、補正画像の点４４と補正後入力画像の点５４を対応させる。また、対応点検出部３４２は、補正画像の点４５と補正後入力画像の点５５を対応させる。また、対応点検出部３４２は、補正画像の点４６と補正後入力画像の点５６を対応させる。これにより、補正画像の単位領域４２と補正後入力画像の単位領域５２が対応する。

射影変換行列算出部３４３は、各単位領域ｎ毎に、射影変換行列Ｈ_ｎ’を決定する。例えば、射影変換行列算出部３４３は、対応点検出部３４２により検出された４つの対応点により得られる式（１１）により射影変換行列Ｈ_ｎ’を決定する。

補正後入力画像生成部３４４は、補正領域の座標に射影変換行列Ｈ_ｎ’を作用させることにより得られた座標の画素値を、射影変換行列Ｈ_ｎ’を作用させた当該補正領域の座標の画素値によって決定する。なお、当該対応させる画素値は、補正画像の補正領域自身の画素値ではなく、領域４１に対応させた入力画像の画素値である。

例えば、補正後入力画像生成部３４４は、補正後入力画像の画素値５７を、射影変換行列Ｈ_１’により対応する補正領域の位置に対応する入力画像の画素値４７によって決定する。補正後入力画像生成部３４４は、補正後入力画像上の任意の点の画素値を、射影変換行列Ｈ_ｎ’により決定する。これにより、補正後入力画像生成部３４４は、補正後入力画像５１を生成する。

図１３は、第１実施形態の画像補正システム１による投影、撮影、及び補正と対応する射影変換行列の関係の一例を示す図である。投影部３２が、入力画像を投影することは、射影変換行列Ｈ_ｎ’の逆行列（Ｈ_ｎ’）^−１で表現される変換に対応する。また、投影画像を撮影することは、第１補正部３３によって算出される射影変換行列Ｈの逆行列Ｈ^−１で表現される変換に対応する。したがって、投影画像と補正画像は同一となる。すなわち、行列Ｅは単位行列である。

また、第２補正部３４は、補正画像上の補正領域の座標を、射影変換行列Ｈ_ｎ’によって補正後入力画像の座標に変換する。また、第２補正部３４は、当該補正後入力画像の座標の画素値を、補正領域に対応させた入力画像の画素値にする。したがって、補正領域の画像と補正された投影画像は同一となる。すなわち、行列Ｅ_ｎは単位行列である。

図１４は、第１実施形態の画像補正システム１の第２補正部３４の補正方法の一例を説明するためのフローチャートである。

対応点検出部３４２は、パターン画像の格子点を利用して、補正画像と補正後入力画像との対応点を算出する（ステップＳ１１）。これにより、補正画像の単位領域と、補正後入力画像の単位領域が対応する。補正領域決定部３４１は、第２補正部３４によって補正される領域である補正領域を決定する（ステップＳ１２）。補正領域決定部３４１は、補正領域の画素値に、入力画像の画素値を対応させる（ステップＳ１３）。射影変換行列算出部３４３は、補正領域において、単位領域毎の射影変換行列を算出する（ステップＳ１４）。補正後入力画像生成部３４４は、補正画像上の補正領域の任意の座標を、射影変換行列Ｈ_ｎ’によって補正後入力画像の座標に変換する。そして、補正後入力画像生成部３４４は、当該補正後入力画像の座標の画素値を、補正領域に対応させた入力画像の画素値にすることにより、補正後入力画像を生成する（ステップＳ１５）。

図１５は、第１実施形態の画像補正システム１の動作を説明するための図である。

制御部３１が、投影部３２に投影画像の校正開始を表す信号を送信する（ステップＳ２１）。投影部３２は、投影画像として、投影面にパターン画像を投影する（ステップＳ２２）。撮影部２１は、当該投影画像を撮影し、撮影画像を取得する（ステップＳ２３）。傾き認識部２２は、ステップＳ３における撮影時の撮影部２１の傾きθを認識する（ステップＳ２４）。第１補正部３３が、撮影部２１の内部パラメタ行列、及び撮影時の傾きθに基づいて、撮影画像を補正して補正画像を生成する（ステップＳ２５）。

第２補正部３４が、補正画像の補正領域と、単位領域毎に算出された補正画像から補正後入力画像への射影変換行列とを歪み補正パラメタとして算出する（ステップＳ２６）。ここで、ステップＳ２６の詳細について説明する。まず、補正画像の補正領域について説明する。補正画像の補正領域は、補正後投影画像の投影領域となる。そのため、第２補正部３４は、当該補正領域のアスペクト比を入力画像のアスペクト比と同じにする。一般に、補正画像の補正領域に対応する投影面に投影される補正後投影画像（補正後入力画像）は、縮小された入力画像となる。

次に、単位領域毎に算出された補正画像から補正後入力画像への射影変換行列について説明する。第２補正部３４は、補正画像のパターン画像と入力画像のパターン画像との対応点を検出する。第２補正部３４は、当該対応点を結ぶ線分で囲まれた単位領域毎に射影変換行列を算出する。

第２補正部３４は、当該歪み補正パラメタを、画像補正システム１のメモリに記憶する（ステップＳ２７）。第２補正部３４は、制御部３１から入力画像を受信する（ステップＳ２８）。第２補正部３４は、ステップＳ２７で記憶された歪み補正パラメタをメモリから読み出す（ステップＳ２９）。第２補正部３４は、歪み補正パラメタに基づいて入力画像を補正する（ステップＳ３０）。

制御部３１は、投影画像の校正の終了を示す命令を受信したか否かを判定する（ステップＳ３１）。校正の終了を示す命令を受信した場合（ステップＳ３１、Ｙｅｓ）は、処理を終了する。校正の終了を示す命令を受信していない場合（ステップＳ３１、Ｎｏ）は、ステップＳ２８に戻る。

なお、第１実施形態の画像補正システム１で使用するパターン画像は、格子状のパターンでなくてもよい。図１６は、第１実施形態の画像補正システム１の投影部３２が投影するパターン画像の変形例１を示す図である。図１６の例は、チェスパターン形式のパターン画像である。図１７は、第１実施形態の画像補正システム１の投影部３２が投影するパターン画像の変形例２を示す図である。図１７の例は、円パターン形式のパターン画像である。

また、第２補正部３４の対応点検出部３４２は、パターン画像を使用せずに対応点を検出してもよい。例えば、ユーザのコンテンツ画像に、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）による対応点抽出方法を使用してもよい。また、制御部３１は、ユーザのコンテンツ画像に画像特徴が少ない場合を判定し、ＳＩＦＴによる対応点抽出方法に当該コンテンツ画像を利用しないようにしてもよい。具体的には、制御部３１は、コンテンツ画像の周波数を算出し、高周波成分の少ないコンテンツ画像を利用しないようにしてもよい。

また、第１補正部３３、及び第２補正部３４による補正処理を、投影装置３で行わずに、ネットワークを介して接続された外部のコンピュータにより行ってもよい。また、画像補正システム１と当該外部のコンピュータとの接続方式は、有線方式であっても無線方式であってもよい。

また、傾き認識部２２によって撮影装置２の傾きを認識する方法は、加速度センサに限られない。例えば、撮影装置２が撮影した撮影画像を利用した画像処理により、撮影装置２の傾きを認識してもよい。当該画像処理は、例えば、傾き認識部２２が、撮影画像に含まれる投影面（スクリーン等）の上下の黒枠等を検知し、当該黒枠の長さの比により、撮影装置２の傾きを認識してもよい。

（第２実施形態）
次に第２実施形態の画像補正システム１について説明する。図１８は、第２実施形態の画像補正システム１の機能ブロックの構成の一例を示すブロック図である。第２実施形態の画像補正システム１は、まず、撮影装置２が第１補正部３３及び第２補正部３４を備えている点が、第１実施形態の画像補正システム１と異なる。これにより投影装置３を、投影に係る基本的な機能のみを有する簡易な構成にすることができる。また第２実施形態の画像補正システム１は、第２補正部３４によって補正画像の非線形歪みを補正した補正後撮影画像を記憶する記憶部２３を備えている点が異なる。第２実施形態の画像補正システム１の動作の説明は、第１実施形態の画像補正システム１の説明と同様であるため詳細な説明は省略する。

なお、第１実施形態の画像補正システム１の説明では、投影装置３がスクリーンを投影面にして投影画像を投影し、撮影装置２が当該投影面を撮影する場合を例にして説明した。しかしながら投影装置３の投影面、及び撮影装置２の被写体はスクリーンに限られない。第２実施形態の画像補正システム１の説明では、撮影装置２の被写体がスクリーンでない場合について説明する。

図１９は、第２実施形態の画像補正システム１の撮影装置２の被写体の一例を示す図である。図１９は、投影装置３が図１７に示した円パターン形式のパターン画像を書籍に投影し、撮影装置２が当該書籍を撮影して撮影画像を取得する場合の例である。以下では書籍を撮影して取得した撮影画像を補正する場合について説明する。まず撮影部２１が、パターン画像が投影された書籍を撮影して撮影画像を取得する。次に第１補正部３３が、撮影装置２と被写体の書籍とが撮影時に正対していないことに起因する撮影画像の台形歪み（線形歪み）を補正した補正画像を取得する。

次に第２補正部３４が、書籍のたわみなどに起因する非線形歪みを補正した補正後撮影画像を取得する。具体的には、第２補正部３４は図１７のパターン画像を入力画像とし、当該入力画像と補正画像とから上述の射影変換行列Ｈ_ｎ’を算出する。すなわち、第２補正部３４は、図１７のパターン画像の個々の円パターンと、補正画像に含まれるパターン画像の個々の円パターンとの対応をとることにより、上述の射影変換行列Ｈ_ｎ’を算出する。なお、第２補正部３４が射影変換行列Ｈ_ｎ’を算出するために、投影部３２が投影するパターン画像は図１７の例に限られず任意でよい。第２補正部３４は、補正画像上の各領域ｎ（個々の円パターンを含む領域）の射影変換行列Ｈ_ｎ’を記憶部２３に記憶する。これにより第２補正部３４は、図１９の書籍のたわみなどに起因する非線形歪みと同一の非線形歪みを補正することができる。例えば図１９の書籍と同じような形状であって、図１９の書籍と同じような非線形歪みが生じる書籍などの場合に、記憶部２３に記憶された射影変換行列Ｈ_ｎ’を利用できる。

第２補正部３４は、補正画像の各領域ｎを射影変換行列Ｈ_ｎ’により変換して補正後撮影画像を取得し、当該補正後撮影画像を記憶部２３に記憶する。撮影装置２は、当該補正後撮影画像を投影装置３に送信し、投影装置３によって当該補正後撮影画像を投影してもよい。これにより書籍を被写体として撮影して取得した撮影画像を、第１補正部３３及び第２補正部３４により補正した補正後撮影画像を、投影画像としてスクリーンなどの投影面に表示することができる。

（第３実施形態）
次に第３実施形態の画像補正システム１について説明する。図２０は、第３実施形態の画像補正システム１の機能ブロックの構成の一例を示すブロック図である。第３実施形態の画像補正システム１は撮影装置２及び表示装置４を備える。第３実施形態の画像補正システム１は投影装置３の代わりに表示装置４を備えている点が、第１及び第２実施形態の画像補正システム１と異なる。表示装置４は、補正後撮影画像を表示する表示部５を備える。

第２実施形態の画像補正システム１の撮影装置２の構成は、第２実施形態の画像補正システム１の撮影装置２と同じであるため説明を省略する。また第３実施形態の画像補正システム１の動作の説明は、第１及び第２実施形態の画像補正システム１の説明と同様であるため詳細な説明は省略する。

図２１及び図２２は、第３実施形態の画像補正システム１の撮影装置２の被写体の一例を示す図である。図２１は、パターン画像が印刷されたページを含む書籍の例である。図２２は、パターン画像が印刷された紙面の例である。以下では撮影装置２の被写体が図２１の書籍である場合を例にして説明する。なお、撮影装置２の被写体が図２１の紙面である場合についても以下の説明と同様である。

まず撮影部２１が、パターン画像が印刷された書籍を撮影して撮影画像を取得する。次に第１補正部３３が、撮影装置２と被写体の書籍とが撮影時に正対していないことに起因する撮影画像の台形歪み（線形歪み）を補正した補正画像を取得する。次に第２補正部３４は書籍に印刷されたパターン画像と同一のパターン画像を記憶部２３から読み出し、当該パターン画像と補正画像とから上述の射影変換行列Ｈ_ｎ’を算出する。

第２補正部３４は、補正画像上の各領域ｎ（個々の円パターンを含む領域）の射影変換行列Ｈ_ｎ’を記憶部２３に記憶する。これにより第２補正部３４は、図２１の書籍のたわみなどに起因する非線形歪みと同一の非線形歪みを補正することができる。第２補正部３４は、補正画像の各領域ｎを射影変換行列Ｈ_ｎ’により変換して補正後撮影画像を取得し、当該補正後撮影画像を記憶部２３に記憶する。撮影装置２は、当該補正後撮影画像を表示装置４に送信し、表示装置４の表示部５に当該補正後撮影画像を表示する。これにより書籍を被写体として撮影して取得した撮影画像を、第１補正部３３及び第２補正部３４により補正した補正後撮影画像を、表示装置４の表示部５に表示することができる。

第１〜３実施形態の画像補正システム１の傾き認識部２２、制御部３１、第１補正部３３、及び第２補正部３４は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよいし、ソフトウェア（コンピュータプログラム）により実現してもよい。また、第１〜３実施形態の画像補正システム１の傾き認識部２２、制御部３１、第１補正部３３、及び第２補正部３４を、ハードウェア、及びソフトウェア（コンピュータプログラム）を組み合わせて実現してもよい。

図１８は、第１〜３実施形態の画像補正システム１において、ソフトウェア（コンピュータプログラム）を実行させるためのハードウェアの構成の一例を説明する図である。第１〜３実施形態の撮影装置２、及び第１及び第２実施形態の投影装置３は、メモリカード等の補助記憶装置６１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置６２、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ６３、及び他の装置と通信するための通信Ｉ／Ｆ６４を備える。補助記憶装置６１、主記憶装置６２、プロセッサ６３、及び通信Ｉ／Ｆ６４は、バス６５を介して互いに接続されている。

補助記憶装置６１は、ソフトウェア（コンピュータプログラム）を記憶する。しかしながら、当該ソフトウェア（コンピュータプログラム）を、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録したコンピュータ・プログラム・プロダクトとして提供してもよい。

また、当該ソフトウェア（コンピュータプログラム）を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、当該ソフトウェア（コンピュータプログラム）をインターネット等のネットワーク経由で提供又は配布するように構成してもよい。

プロセッサ６３は、メモリカード等の補助記憶装置６１や、ＣＤ−ＲＯＭ等の記憶媒体、ネットワーク上の他のコンピュータ等に記憶されているソフトウェア（コンピュータプログラム）を、主記憶装置６２に読み出して実行する。これにより、傾き認識部２２、制御部３１、第１補正部３３、及び第２補正部３４をソフトウェア（コンピュータプログラム）により実現する場合には、これらの機能ブロックが主記憶装置６２上に実現される。

第１〜３実施形態の画像補正システム１によれば、撮影装置２により被写体を撮影した撮影画像が歪んでいても、当該撮影画像を利用して撮影画像に含まれる被写体の歪みを解消できる画像補正システム、画像補正方法及びプログラムを提供することができる。

１ 画像補正システム
２ 撮影装置
３ 投影装置
４ 表示装置
５ 表示部
２１ 撮影部
２２ 傾き認識部
２３ 記憶部
３１ 制御部
３２ 投影部
３３ 第１補正部
３４ 第２補正部
３３１ 内部パラメタ行列算出部
３３２ 回転行列算出部
３３３ ３次元座標算出部
３３４ 射影変換行列算出部
３３５ 補正画像生成部
３４１ 補正領域決定部
３４２ 対応点検出部
３４３ 射影変換行列算出部
３４４ 補正後入力画像生成部
６１ 補助記憶装置
６２ 主記憶装置
６３ プロセッサ
６４ 通信Ｉ／Ｆ
６５ バス
Ａ 内部パラメタ行列
Ｈ 射影変換行列
Ｈ_１’ 射影変換行列
Ｈ_ｎ’ 射影変換行列
Ｐ 透視投影変換行列
Ｐ_１ 透視投影変換行列
Ｐ_２ 透視投影変換行列
Ｒ 回転行列
ｆ 焦点距離
θ 傾き

特開２００６−０３３３５７号公報

Claims (8)

1. 被写体を撮影して撮影画像を取得する撮影部と、
   前記撮影部と前記被写体とを正対させて撮影したときの撮影方向に対する前記撮影部の撮影方向の傾きを認識する傾き認識部と、
   前記傾きによる前記撮影画像の歪みを補正した補正画像を生成する第１補正部と、
   前記補正画像の非線形歪みを補正して補正後撮影画像を取得する第２補正部と、
   を備える画像補正システム。
2. 前記第１補正部は、
   前記撮影画像の座標に対応する前記補正画像の座標を算出し、前記撮影画像の座標を、前記補正画像の座標に変換する射影変換行列を算出する射影変換行列算出部と、
   前記撮影画像の全ての画素の座標に前記射影変換行列を作用させることにより、前記補正画像を生成する補正画像生成部と
   を備える請求項１に記載の画像補正システム。
3. 前記第１補正部は、
   前記撮影部の内部パラメタ行列を算出する内部パラメタ行列算出部と、
   前記傾きによる座標変換を表す回転行列を算出する回転行列算出部と、
   前記撮影画像の座標と、前記撮影部の内部パラメタ行列と、前記回転行列とから、透視投影変換により、前記撮影画像の座標に対応する３次元座標を算出する３次元座標算出部と
   を更に備え、
   前記射影変換行列算出部は、
   前記３次元座標から、前記内部パラメタ行列による透視投影変換により、前記撮影画像の座標に対応する前記補正画像の座標を算出する
   請求項２に記載の画像補正システム。
4. 投影面に投影画像を投影する投影部を更に備え、
   前記撮影部は、
   前記被写体として前記投影画像を撮影して撮影画像を取得し、
   前記第２補正部は、
   前記補正画像の非線形歪みを補正して補正後投影画像を取得し、
   前記投影部は、
   更に前記補正後投影画像を前記投影面に投影する
   請求項１乃至３のいずれか１項に記載の画像補正システム。
5. 前記傾き認識部は、
   前記傾きを、加速度センサにより認識する
   請求項１乃至４のいずれか１項に記載の画像補正システム。
6. 前記傾き認識部は、
   前記傾きを、前記撮影部による撮影時に認識する
   請求項１乃至５のいずれか１項に記載の画像補正システム。
7. 撮影部が、被写体を撮影して撮影画像を取得するステップと、
   傾き補正部が、前記撮影部と前記被写体とを正対させて撮影したときの撮影方向に対する前記撮影部の撮影方向の傾きを認識するステップと、
   第１補正部が、前記傾きによる前記撮影画像の歪みを補正した補正画像を生成するステップと、
   第２補正部が、前記補正画像の非線形歪みを補正して補正後撮影画像を取得するステップと、
   を含む画像補正方法。
8. 被写体を撮影して撮影画像を取得する撮影部を備える画像補正システムを、
   前記撮影部と前記被写体とを正対させて撮影したときの撮影方向に対する前記撮影部の撮影方向の傾きを認識する傾き認識部と、
   前記傾きによる前記撮影画像の歪みを補正した補正画像を生成する第１補正部と、
   前記補正画像の非線形歪みを補正して補正後撮影画像を取得する第２補正部
   として機能させるためのプログラム。

Images