JP2001320652A - プロジェクタ装置 - Google Patents

Abstract

(57)【要約】 【課題】 任意の三次元形状の投影面に対して投影する
プロジェクタ装置において歪みのない出力映像を得るこ
と。 【解決手段】 プロジェクタから出力する映像中の計測
点Ｐに対し、その点Ｐに対応する投影面上の点Ｑをカメ
ラによって撮影し、得られたカメラ画像から点Ｑに対応
する点Ｒを検出する。つぎに、あらかじめ算出したカメ
ラの内部特性を示すカメラ内部パラメータを用いて、カ
メラ画像中の点に対応する空間中の点Ｒ”のカメラ座標
を算出する。そして、あらかじめ算出した投影面の式あ
るいは点の集合を利用して、カメラのレンズ中心Ｏｃと
Ｒ”とを通る直線と投影面との交点Ｑのカメラ座標を算
出する。最後に、点Ｐの位置を変化させながらカメラ画
像中の点と交点Ｑのカメラ座標の対応を複数求め、それ
をもとにプロジェクタのカメラ座標系における位置姿勢
および内部特性を示すプロジェクタパラメータを算出す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、投影面の三次元形
状を測定し、該測定結果に応じて投影画像を補正して投
影するプロジェクタ装置に関するものである。

【０００２】

【従来の技術】プロジェクタでは、投影面を平面に限定
した上でプロジェクタ光軸に対して投影面が垂直な位置
から前後に傾くことから台形歪みが生じる。このような
台形歪みを補正する従来技術として、特開平４−１３１
８１９号公報、特開平８−３３６０９２号公報および特
開平８−２８９２３７号公報に開示されるものがある。

【０００３】特開平４−１３１８１９号公報に開示され
るものでは光学系を手動で調整する構成とされ、特開平
８−３３６０９２号公報、特開平８−２８９２３７号公
報に開示されるものでは歪みに対応した映像を手動で調
整して出力する補正機能が備えられている。

【０００４】また、投影面の三次元形状が任意であって
も投影画面の歪みを自動的に補正するプロジェクタが特
願平１１−２３６１８７号として提案されている。図１
７はこのような機能を有するプロジェクタの全体構成を
示すブロック図である。

【０００５】パタン画像生成部Ｒ６で所定のパタンを生
成し、映像出力部Ｒ４から投影面にパタンを投影する。
カメラＲ７はこの投影面上のパタンを撮影し、投影面獲
得部Ｒ３へ送出する。投影面獲得部Ｒ３では光投影法の
原理を用いて投影面を構成する各点における投影距離と
投影方向を測定し、この測定結果を映像補正部Ｒ２およ
び投影制御部Ｒ５へ出力する。

【０００６】投影面獲得部Ｒ３からの測定結果を受け付
けた映像補正部Ｒ２は、測定結果から投影面を構成する
各点における投影距離と投影方向を測定した後、映像入
力部Ｒ１から得られる原画像に対して、投影面の投影中
心を通り、その法線ベクトルは投影面の法線ベクトルと
水平成分が同じで、かつ、床面と平行な仮想投影面に歪
みのない映像が表示されるよう、透視変換モデルに基づ
いて逆投影シミュレーションによって補正した画像を映
像出力部Ｒ４へ出力する。一方、投影面獲得部Ｒ３から
の測定結果を受け付けた投影制御部Ｒ５では、映像出力
部Ｒ４が投影出力とする映像を映像補正部Ｒ２からの出
力に切り替えさせる。このような構成とすることによ
り、任意の三次元形状の投影画面であってもその歪みが
自動的に補正される映像が出力される。

【０００７】

【発明が解決しようとする課題】上述した従来の技術の
うち、特開平４−１３１８１９号公報、特開平８−３３
６０９２号公報および特開平８−２８９２３７号公報に
開示されるものは、光学系を手動で調整する構成であ
り、調整に手間がかかり煩わしいとともに時間がかかる
という問題点がある。

【０００８】また、図１７を用いて説明した方法で投影
面の形状を測定する場合、カメラ・プロジェクタの相対
位置姿勢や、透視変換モデルにもとづいたプロジェクタ
・カメラの内部パラメータが正確に得られていないと、
精度の高い形状測定が困難である。このことについて図
６を参照して詳細に説明する。

【０００９】図１７中の映像出力部Ｒ４から出力される
プロジェクタ画像に対して、図６に示すように、そのプ
ロジェクタ画像内の点Ｐが投影面上の点Ｑに投影され、
カメラＲ７によって点Ｑがカメラ画像中の点Ｒに撮影さ
れたとする。ここで、点Ｐ・Ｒの位置をもとに点Ｑの３
次元空間中の位置を推定する場合、点Ｐを透視変換モデ
ルのプロジェクタ画像面上の点Ｐ”に変換し、点Ｒを透
視変換モデルのカメラ画像面上の点Ｒ”に変換し、プロ
ジェクタ光源Ｏｐと点Ｐ”とを結ぶ直線と、カメラレン
ズ中心Ｏｃと点Ｒ”とを結ぶ直線との交点を求める。

【００１０】したがって、プロジェクタ光源Ｏｐとカメ
ラレンズ中心Ｏｃの相対位置、プロジェクタ画像面とカ
メラ画像面の相対的な傾き、点Ｐから点Ｐ”に変換する
ためのプロジェクタの内部特性、点Ｒから点Ｒ”に変換
するためのカメラの内部特性が正確にわかってないと、
点Ｑの位置推定精度が悪くなってしまう。

【００１１】図１７を用いて説明した方法では、これら
の値についてはプロジェクタ・カメラの内部特性として
は予め与えられる定格値を利用し、プロジェクタ光源Ｏ
ｐとカメラレンズ中心Ｏｃの相対位置、画像面の相対的
な傾きについては手動で測定したものを利用することと
されている。したがって、予め与えられる定格値が正確
な値でなかったり、手動での測定を良好に行うことがで
きず、その測定結果が不正確な値である場合には、投影
される面形状の測定を精度よく行うことができず、画像
を補正しても像が歪んでしまうという問題があった。

【００１２】本発明は上述したような従来の技術が有す
る問題点に鑑みてなされたものであって、プロジェクタ
光源Ｏｐとカメラレンズ中心Ｏｃの相対位置、プロジェ
クタ画像面とカメラ画像面の相対的な傾き、点Ｐから点
Ｐ”に変換するためのプロジェクタの内部特性、点Ｒか
ら点Ｒ”に変換するためのカメラの内部特性を正確に測
定する手段を提供することにより、歪みのない画像を確
実に提示することを目的とする。

【００１３】

【課題を解決するための手段】本発明のプロジェクタ装
置は、原画像が入力される映像入力手段と、前記映像入
力手段に入力された原画像に対する傾き補正と拡大・縮
小処理と行なう映像補正手段と、所定のパタン画像を生
成するパタン画像生成手段と、前記映像補正手段により
傾き補正と拡大・縮小処理とが行われた映像と前記パタ
ン画像生成手段により生成されたパタン画像とを入力
し、いずれかを投影出力する映像出力手段と、前記映像
出力手段より投影出力される映像についてその投影面を
含むシーンを撮影するカメラと、前記映像出力手段から
投影出力と前記カメラにより撮影された投影面を含むシ
ーンとに基づいて、前記映像出力手段と前記カメラそれ
ぞれの内部特性および相対位置姿勢を補正するキャリブ
レーション手段と、前記キャリブレーション手段で補正
された前記カメラの内部特性および相対位置姿勢を記憶
する特性記憶手段と、前記映像出力手段において投影出
力される映像を切り替える投影制御手段と、前記特性記
憶手段に記憶された前記カメラの内部特性および相対位
置姿勢を認識し、前記投影制御手段を介して前記映像出
力手段において投影出力される映像を切り替え、前記パ
タン画像生成手段より出力されたパタン画像と前記映像
出力手段に該パタン画像を入力したときの投影面の画像
をカメラを介して撮影した画像から画像座標とカメラ画
像座標との対応づけを行い、対応づけが行なわれたそれ
ぞれの位置が透視変換モデルに基づいた三次元空間中の
どの位置に対応するかを前記特性記憶手段により記憶さ
れている特性をもとに推定し、その三次元空間の位置の
対応から三角測量の原理によって該パタン画像が投影さ
れた位置の三次元座標を求めることによって該投影面の
三次元形状を獲得する投影面獲得手段と、を備え、前記
映像補正手段は前記投影面獲得手段により獲得された投
影面の三次元形状に対応して入力原画像に対する傾き補
正と拡大・縮小処理と行なうことを特徴とする。

【００１４】この場合、前記映像出力手段が出力するパ
タン画像が位置計測の対象となる計測点を含んでおり、
前記キャリブレーション手段が、前記カメラにより撮影
された投影面を含むシーンの中の計測点を検出する計測
点検出手段と、前記カメラの内部特性を示す内部パラメ
ータを算出するカメラ内部パラメータ算出手段と、前記
カメラの座標系における前記投影面の式あるいは点の集
合を算出する投影面算出手段と、前記投影面上の計測点
のカメラ座標系での位置を算出する計測点空間位置算出
手段と、前記映像出力手段が投影する映像内部の計測点
の位置と、前記計測点空間位置算出手段が算出する投影
面上の計測点の位置との対応を記憶する計測点対応記憶
手段と、前記計測点対応記憶手段が記憶した対応関係を
もとに映像出力手段のカメラ座標系における位置姿勢お
よび内部特性を示すプロジェクタパラメータを算出する
プロジェクタパラメータ算出手段と、を有することとし
てもよい。

【００１５】また、前記映像出力手段が、複数の計測点
を含む異なる複数の映像を、投影される映像の組み合わ
せで各計測点を識別できるように投影し、前記カメラ
は、前記映像出力手段がそれぞれの映像を投影している
ときの投影面を撮影してそれぞれ別なカメラ画像として
取得し、前記計測点検出手段が、各カメラ画像に対して
投影された点を検出する領域検出手段と、前記領域検出
手段が検出したそれぞれの領域について、どの映像を投
影したときに検出されたかを利用して領域の識別を行う
領域識別手段と、各領域の重心位置など領域を代表する
点を検出し、その点とカメラ画像中の計測点の位置とす
る計測点位置検出手段と、を有することとしてもよい。

【００１６】さらに、前記計測点検出手段が、カメラ画
像中の投影された点の領域のみを検出する領域検出手段
と、映像出力手段から映像を投影しても投影面の色など
の影響でカメラ画像によってその映像を検出することが
できない検出不能領域について、それをあらかじめ記憶
している検出不能領域記憶手段と、前記領域検出手段に
より検出する領域が検出不能領域記憶手段に記憶されて
いる検出不能領域にかかっておらず、計測点を投影した
領域全体を検出しているかどうか判定する領域判定手段
と、前記領域判定手段により計測点を投影した領域全体
を検出していると判定されたものについて、その領域の
重心位置などカメラ画像中の計測点の位置を検出する計
測点位置検出手段と、を有することとしてもよい。

【００１７】「作用」本発明のプロジェクタ装置は、特
願平１１−２３６１８７号に記載される発明の構成に加
えて、キャリブレーション手段と特性記憶手段を有する
ものである。

【００１８】本発明による作用について以下に説明す
る。

【００１９】図９に示すように、パタン画像生成手段は
位置計測の基準となる計測点Ｐをｃむプロジェクタ画像
を生成し、映像出力手段はその画像を投影面上に投影す
ることによって点Ｐを点Ｑに表示し、カメラは点Ｑを含
んだ投影面のシーンを撮影する。

【００２０】以下、キャリブレーション手段において、
まず、計測点検出手段はカメラ画像から点Ｑに対応する
点Ｒを検出する。つぎに、計測点空間位置算出手段は、
カメラ内部パラメータ算出手段で算出されたカメラの内
部パラメータを用いてカメラ画像中の点Ｒ（ｕ_fc，
ｖ_fc）に対応する空間中の点Ｒ”のカメラ座標（ｘ
_uc ，ｙ_uc，ｆ_c）を算出し、投影面算出手段によって算
出される投影面の式あるいは点の集合を利用してカメラ
のレンズ中心Ｏｃと点Ｒ”とを通る直線と投影面との交
点Ｑ（ｘ_c，ｙ_c，ｚ_c）を算出する。計測点対応記憶手
段は、異なる位置の点Ｐにおいて、（ｕ_fc，ｖ_fc）と
（ｘ_c，ｙ_c，ｚ_c）の対応を記憶する。プロジェクタパ
ラメータ算出手段は、この対応をもとに、映像出力手段
のカメラ座標系における位置姿勢および内部特性を示す
プロジェクタパラメータを算出する。最後に、特性記憶
手段はカメラ内部パラメータ算出手段で算出されたカメ
ラの内部パラメータとプロジェクタパラメータ算出手段
で算出されたプロジェクタパラメータを記憶する。

【００２１】実際の投影面の計測に際しては、パタン画
像生成手段は複数のパタン画像を生成して、映像出力手
段から出力し、投影面獲得手段は該パタン画像と前記映
像出力手段に該パタン画像を入力したときの投影面の画
像をカメラを介して撮影した画像からプロジェクタ画像
座標とカメラ画像座標との対応づけをおこなって、対応
づけが行なわれたそれぞれの位置が透視変換モデルに基
づき三次元空間中のどの位置に対応するかを特性記憶手
段により記憶された特性をもとに推定し、その三次元空
間の位置の対応から三角測量の原理によって該パタン画
像が投影された位置の三次元座標を求めることによって
該投影面の三次元形状を獲得する。

【００２２】以上により、本発明の目的を達成すること
ができる。

【００２３】

【発明の実施の形態】次に、本発明の実施形態について
図面を参照して詳細に説明する。

【００２４】まず、本発明の第１の実施形態について図
１を参照して詳細に説明する。本実施形態は、映像入力
手段１と、投影面獲得手段２と、映像補正手段３と、パ
タン画像生成手段４と、投影制御手段５と、映像出力手
段６と、カメラ７と、キャリブレーション手段８と、特
性記憶手段９から構成されている。

【００２５】これらの手段はそれぞれ次のように動作す
る。

【００２６】映像入力手段１は、原画像を入力する。

【００２７】投影面獲得手段２は、パタン画像生成手段
４で生成するパタン画像と映像出力手段６にパタン画像
を入力したときの投影面の画像をカメラ７を介して撮影
した画像からプロジェクタ画像座標とカメラ画像座標と
の対応づけを行って、対応づけが行なわれたそれぞれの
位置が透視変換モデルに基づいて三次元空間中のどの位
置に対応するかを特性記憶手段９により記憶された特性
をもとに推定し、その三次元空間の位置の対応から三角
測量の原理によってパタン画像が投影された位置の三次
元座標を求めることによって投影面の三次元形状を獲得
する。

【００２８】映像補正手段３は、投影面獲得手段２で獲
得された投影面の形状に対応して入力原画像に対する傾
き補正と拡大・縮小処理を行なう。

【００２９】パタン画像生成手段４は、パタン画像を生
成して出力する。投影制御手段５は、映像出力手段６に
対する入力映像を切り替える。映像出力手段６は、入力
映像を投影出力する。カメラ７は、該投影面を含むシー
ンを撮影する。キャリブレーション手段８は、映像出力
手段６とカメラ７の内部特性および相対位置姿勢を補正
する。特性記憶手段９は、前記キャリブレーション手段
８で補正された結果を記憶する。

【００３０】つぎに、キャリブレーション手段８につい
て、その構成を示す図２を参照して詳細に説明する。

【００３１】キャリブレーション手段８は、計測点検出
手段８１と、カメラ内部パラメータ算出手段８２と、投
影面算出手段８３と、計測点空間位置算出手段８４と、
計測点対応記憶手段８５と、プロジェクタパラメータ算
出手段８６から構成されている。

【００３２】計測点検出手段８１は、カメラ画像中の計
測点を検出する。カメラ内部パラメータ算出手段８２
は、カメラ７の内部特性を示す内部パラメータを算出す
る。投影面算出手段８３は、カメラ座標系における投影
面の式、あるいは点の集合を算出する。計測点空間位置
算出手段８４は、投影面上の計測点のカメラ座標系での
位置を算出する。計測点対応記憶手段８５は、映像出力
手段６が投影する映像内部の計測点の位置と、計測点空
間位置算出手段８４が算出する投影面上の計測点の位置
との対応を記憶する。プロジェクタパラメータ算出手段
８６は、計測点対応記憶手段８５が記憶した対応関係を
もとに映像出力手段６のカメラ座標系における位置姿勢
および内部特性を示すプロジェクタパラメータを算出す
る。

【００３３】つぎに、本実施形態の全体の動作について
図６ないし図１０を参照して詳細に説明する。

【００３４】具体的な処理内容の説明に入る前に、本実
施形態で使用するカメラ座標系、プロジェクタ座標系の
定義と、カメラ７の世界座標での位置姿勢および内部特
性を表すカメラパラメータ、映像出力手段６の世界座標
での位置姿勢および内部特性を表すプロジェクタパラメ
ータの定義を行う。

【００３５】図７は本実施形態で使用するカメラ座標系
の定義を説明するための図である。世界座標系Ｏ_w−ｘ_w
−ｙ_w−ｚ_wは、空間中の位置向きを一意に定めるために
適当に与えた座標系である。これに対して、カメラ座標
系Ｏ_c−ｘ_c−ｙ_c−ｚ_cは、Ｏ _cはレンズ中心（ピンホー
ル）を表し、ｚ_c軸はレンズの光軸に一致するように設
定する。カメラ画像座標系Ｏ_ic−ｕ_ic−ｖ_icは、カメラ
画像の左上Ｏ_icを原点とし、カメラ画像の右向きをｕ_ic
座標の正方向、カメラ画像の下向きをｖ_ic座標の正方向
とした座標系である。これら３つの座標系は以下に示す
関係がある。

【００３６】まず、世界座標Ｏ_w−ｘ_w−ｙ_w−ｚ_wにおけ
る点Ｑの座標を（ｘ_w，ｙ_w，ｚ_w）と表し、カメラ座標
Ｏ_c−ｘ_c−ｙ_c−ｚ_cにおける点Ｑの座標を（ｘ_c，ｙ_c，
ｚ_c）と表す。つぎに、ｘ_c−ｙ_c平面に平行でｚ_c座標が
ｆｃの位置に画像中心がＯ_v、座標軸がＸ−Ｙのカメラ
画像面を考える。理想的なピンホールカメラの場合は、
点Ｑの座標（ｘ_c，ｙ_c，ｚ_c）はカメラ画像面上では
（ｘ_uc，ｙ_uc）と表されるが、レンズの幾何学的歪みに
より実際には（ｘ_dc，ｙ_dc）の位置に対応するものとす
る。そして、（ｘ_dc，ｙ_dc）を離散化し、カメラ画像座
標系で表した位置を（ｕ_fc，ｖ_fc）と表す。点Ｑの世界
座標（ｘ_w，ｙ_w，ｚ_w）とその点のカメラ画像座標系で
の位置（ｕ_fc，ｖ_fc）との関係は以下の手順で導く。 ＳＴＥＰ１ （ｘ_w，ｙ_w，ｚ_w）から（ｘ_c，ｙ_c，ｚ_c）への変換を回
転行列Ｒｃと並進ベクトルＴｃを用いて以下のように表
す。

【００３７】

【数１】

【００３８】ただし、

【００３９】

【数２】

【００４０】ＳＴＥＰ２ 透視変換による（ｘ_c，ｙ_c，ｚ_c）から（ｘ_uc，ｙ_uc）
への変換を焦点距離ｆｃを用いて以下のように表す。

【００４１】

【数３】

【００４２】ＳＴＥＰ３ （ｘ_uc，ｙ_uc）から（ｘ_dc，ｙ_dc）への変換を以下のよ
うに表す。 ｘ_dc＋Ｄ_x＝ｘ_uc，ｙ_dc＋Ｄ_y＝ｙ_uc（４） ただし、Ｄ_x，Ｄ_yはレンズの半径方向の歪み係数ｋ_c1，
ｋ_c2を用いて以下のように表す。

【００４３】

【数４】

【００４４】

【数５】

【００４５】ただし、

【００４６】

【数６】

【００４７】ＳＴＥＰ４ （ｘ_dc，ｙ_dc）から（ｕ_fc，ｖ_fc）への変換を以下のよ
うに表す。

【００４８】

【数７】

【００４９】

【数８】

【００５０】ただし、ｓ_cxはスケール係数、（ｕ_cc，ｖ
_cc）はカメラ画像座標系で表した画像中心Ｏ_vの位置、
ｄ_cx，ｄ_cyはそれぞれｕ_ic方向，ｖ_ic方向のＣＣＤ素子
の間隔を表す。なお、ｄ´_cxはｕ_ic方向のＣＣＤ素子数
Ｎ_ccxと１走査線のサンプル数Ｎ_cfxを用いてｄ_cxを補正
したものである。

【００５１】

【数９】

【００５２】以上の関係を整理すると、 Ｕ＝ｕ_fc−ｕ_cc，Ｖ＝ｖ_fc−ｖ_cc（１０） を用いて、

【００５３】

【数１０】

【００５４】

【数１１】

【００５５】が得られる。ただし、

【００５６】

【数１２】

【００５７】（１３）である。

【００５８】なお、上記に示した回転行列Ｒｃ、並進ベ
クトルＴｃ、焦点距離ｆｃ、歪み係数ｋ_c1，ｋ_c2、スケ
ール係数ｓ_cx、カメラ画像座標系における画像中心の位
置（ｕ_cc，ｖ_cc）、ｕ_ic方向のＣＣＤ素子の間隔ｄ_cx、
ｖ_ic方向のＣＣＤ素子の間隔ｄ_cy、ｕ_ic方向のＣＣＤ素
子数Ｎ_ccx、１走査線のサンプル数Ｎ_cfxをカメラパラメ
ータと呼ぶ。なお、回転行列Ｒｃ、並進ベクトルＴｃは
特に外部パラメータと呼ばれ、残りのパラメータは特に
内部パラメータと呼ばれる。

【００５９】つぎに、図８に本実施形態で使用するプロ
ジェクタ座標系の定義を示す。世界座標系Ｏ_w−ｘ_w−ｙ
_w−ｚ_wは、カメラ座標系の場合と同様、空間中の位置向
きを一意に定めるために適当に与えた座標系である。こ
れに対して、プロジェクタ座標系Ｏ_p−ｘ_p−ｙ_p−ｚ
_pは、Ｏ_pはプロジェクタ光源を表し、ｚ_p軸はレンズの
光軸に一致するように設定する。プロジェクタ画像座標
系Ｏ_ic−ｕ_ic−ｖ_icは、映像出力手段１によって生成さ
れる画像の左上Ｏ_ipを原点とし、画像の右向きをｕ _ip座
標の正方向、画像の下向きをｖ_ip座標の正方向とした座
標系である。これら３つの座標系は以下に示す関係があ
る。

【００６０】まず、世界座標Ｏ_w−ｘ_w−ｙ_w−ｚ_wにおけ
る点Ｑの座標を（ｘ_w，ｙ_w，ｚ_w）と表し、プロジェク
タ座標Ｏ_p−ｘ_p−ｙ_p−ｚ_pにおける点Ｑの座標を
（ｘ_p，ｙ_p，ｚ_p）と表す。つぎに、ｘ_p−ｙ_p平面に平
行でｚ_p座標がｆｐの位置に画像中心がＯ_v、座標軸がＸ
−Ｙのプロジェクタ画像面（但し、この面は平面で、機
器的にはプロジェクタの液晶面にあたる）を考える。透
視変換モデルが当てはまるプロジェクタの場合は、点Ｑ
の座標（ｘ_p，ｙ_p，ｚ_p）はプロジェクタ画像面上では
（ｘ_up，ｙ_up）と表されるが、レンズの幾何学的歪みに
より実際には（ｘ_dp，ｙ_dp）の位置に対応するものとす
る。そして、（ｘ_dp，ｙ_dp）を離散化し、プロジェクタ
画像座標系で表した位置を（ｕ_fp，ｖ_fp）と表す。プロ
ジェクタ画像座標系での点Ｐ（ｕ_fp，ｖ_fp）と点Ｐが空
間中に投影された点Ｑの世界座標（ｘ_w，ｙ_w，ｚ_w）と
の関係は以下の手順で導く。 ＳＴＥＰ１ （ｘ_w，ｙ_w，ｚ_w）から（ｘ_p，ｙ_p，ｚ_p）への変換を回
転行列Ｒｐと並進ベクトルＴｐを用いて以下のように表
す。

【００６１】

【数１３】

【００６２】ただし、

【００６３】

【数１４】

【００６４】ＳＴＥＰ２ 透視変換による（ｘ_p，ｙ_p，ｚ_p）から（ｘ_up，ｙ_up）
への変換を焦点距離ｆｐを用いて以下のように表す。

【００６５】

【数１５】

【００６６】ＳＴＥＰ３ （ｘ_up，ｙ_up）から（ｘ_dp，ｙ_dp）への変換を以下のよ
うに表す。 ｘ_dp＋Ｄ_x＝ｘ_up，ｙ_dp＋Ｄ_y＝ｙ_up（１７） ただし、Ｄ_x，Ｄ_yはレンズの半径方向の歪み係数ｋ_p1，
ｋ_p2を用いて以下のように表す。

【００６７】

【数１６】

【００６８】

【数１７】

【００６９】ただし、

【００７０】

【数１８】

【００７１】ＳＴＥＰ４ （ｘ_dp，ｙ_dp）から（ｕ_fp，ｖ_fp）への変換を以下のよ
うに表す。

【００７２】

【数１９】

【００７３】

【数２０】

【００７４】ただし、ｓ_pxはスケール係数、（ｕ_cp，ｖ
_cp）はプロジェクタ画像座標系で表した画像中心Ｏ_vの
位置、ｄ_px，ｄ_pyはそれぞれｕ_ip方向，ｖ_ip方向の液晶
素子の間隔を表す。なお、ｄ´_pxはｕ_ip方向の液晶素子
数Ｎ_pcxと１走査線のサンプル数Ｎ_pfxを用いてｄ_xpを補
正したものである。

【００７５】

【数２１】

【００７６】以上の関係を整理すると、 Ｕ＝ｕ_fp−ｕ_cp，Ｖ＝ｖ_fp−ｖ_cp（２３） を用いて、

【００７７】

【数２２】

【００７８】

【数２３】

【００７９】が得られる。ただし、

【００８０】

【数２４】

【００８１】である。

【００８２】なお、上記に示した回転行列Ｒｐ、並進ベ
クトルＴｐ、焦点距離ｆｐ、歪み係数ｋ_p1，ｋ_p2、スケ
ール係数ｓ_px、プロジェクタ画像座標系における画像中
心の位置（ｕ_cp，ｖ_cp）、ｕ_ip方向の液晶素子の間隔ｄ
_px、ｖ_ip方向の液晶素子の間隔ｄ_py、ｕ_ip方向の液晶素
子数Ｎ_pcx、１走査線のサンプル数Ｎ_pfxをプロジェクタ
パラメータと呼ぶ。なお、回転行列Ｒｐ、並進ベクトル
Ｔｐは特に外部パラメータとよばれ、残りのパラメータ
は特に内部パラメータと呼ばれる。

【００８３】以下に、図１における処理内容を説明す
る。本実施形態では事前に、キャリブレーション手段８
において、カメラの内部パラメータ、プロジェクタの内
部パラメータ、カメラ座標系からプロジェクタ座標系に
変換するための回転行列Ｒｃｐ、並進ベクトルＴｃｐを
求める。図２にキャリブレーション手段８の全体構成図
を示す。

【００８４】ここでまず、カメラ内部パラメータ算出手
段８２において、カメラの内部パラメータ（焦点距離ｆ
ｃ、歪み係数ｋ_c1，ｋ_c2、スケール係数ｓ_cx、カメラ画
像座標系における画像中心（ｕ_cc，ｖ_cc）、ｕ_ic方向の
ＣＣＤ素子の間隔ｄ_cx、ｖ_ic方向のＣＣＤ素子の間隔ｄ
_cy、ｕ_ic方向のＣＣＤ素子数Ｎ_ccx、１走査線のサンプ
ル数Ｎ_cfx）を求め、投影面算出手段８３によって、カ
メラ座標系における投影面の式・点の集合を求める。こ
れらの値は、カメラにズームレンズを用いることによっ
て手動で求めることもできるが、簡便な手法として以下
のような手法を図１０を参照して説明する。

【００８５】まず、投影面として格子点間距離ａがあら
かじめ分かっている市松模様が描かれたキャリブレーシ
ョンボードをカメラによって撮影する。つぎに、撮影し
た画像から画像処理あるいは手動で格子点にあたる点
（例．Ｐ_c（ｕ_p，ｖ_p））を検出する。画像処理で検出
する場合は格子点の位置がちょうどエッジの交点にあた
ることを利用する。そして、格子点の中で世界座標の原
点になる点Ｏ´_w（ｕ_o，ｖ_o）、世界座標のｘｗ、ｙｗ
軸の正の向きを手動、あるいは特開平０５−２７４４２
６号公報に開示されているような方法などにより決め、
Ｐ_cに対応する世界座標系での点Ｐ_wの座標（ａ・ｉ，ａ
・ｊ，０）（ｉ，ｊ整数）を決める。つぎに、Ｐ_cとＰ_w
の複数の対応をもとに、Ｔｓａｉの手法（参考： Roger
Y. Tsai, ”An Efficient and Accurate Camera Calib
ration Technique for 3D Machine Vision”, Proceedi
ngs of IEEE Conference on Computer Vision and Patt
ern Recognition, 1986, pp.364-374）によりカメラの
内部パラメータと世界座標を基準にした回転行列Ｒｃ、
並進ベクトルＴｃを求める。

【００８６】これらの値が求まると、（１）より

【００８７】

【数２５】

【００８８】が成り立つので、

【００８９】

【数２６】

【００９０】とすれば、世界座標系での投影面の式はｚ
_w＝０なので、カメラ座標系での投影面の式は、 ｒ´_c7ｘ_c＋ｒ´_c8ｙ_c＋ｒ´_c9ｚ_c−Ｔ´_cz＝０（２８） と表される。

【００９１】以上が、カメラ内部パラメータ算出手段４
と投影面算出手段５の動作である。

【００９２】つぎに、これらの値が求まった後の処理に
ついて、図９を参照しながら詳細に説明する。

【００９３】まず、パタン画像生成手段４より映像出力
手段６から出力するプロジェクタ画像を作成する。この
映像の例としては、内部に点が１つあるもの、あるいは
後述する第２の実施形態のように内部に点が複数あるも
のが考えられる。ここでは内部に点が１つあるものにつ
いてのみ説明する。なお、この点をプロジェクタ画像座
標系においてＰ（ｕ_fp，ｖ_fp）と表すこととする。パタ
ン画像生成手段４では、後述するプロジェクタパラメー
タ算出手段１０で算出するのに必要な点の数だけ、しか
もそれぞれのＰ（ｕ_fp，ｖ_fp）の位置が異なるように作
成される。映像出力手段６は、投影制御手段５からの信
号によって適宜プロジェクタ画像を切り替えながら、こ
れらのプロジェクタ画像を出力する。ここで、点Ｐが映
像出力手段６によって投影された点Ｑを、カメラ座標系
において（ｘ_c，ｙ_c，ｚ_c）と表すものとする。

【００９４】つぎに、映像出力手段６により映像の投影
が行われている投影面をカメラ７が撮影し、カメラ画像
として取り込む。取り込まれたカメラ画像は、計測点検
出手段８１によって、映像投影前と後の画像の差分など
を用いて投影されている点の領域を検出し、その領域の
重心点を点Ｒとして検出する。なお、この点Ｒのカメラ
画像座標系での位置を（ｕ_fc，ｖ_fc）とする。

【００９５】計測点空間位置算出手段８４では、カメラ
内部パラメータ算出手段８２に記載された内部パラメー
タと投影面算出手段８３に記載された投影面の式あるい
は点の集合を参照しながら、Ｒ（ｕ_fc，ｖ_fc）からＱ
（ｘ_c，ｙ_c，ｚ_c）を推定する。 ＳＴＥＰ１ （７）（８）から、Ｒ（ｕ_fc，ｖ_fc）からＲ´（ｘ_dc，
ｙ_dc）に以下の式により変換する。 ｘ_dc＝ｓ_cx ^-1ｄ´_cx（ｕ_fc−ｕ_cc）（２９） ｙ_dc＝ｄ_cy（ｖ_fc−ｖ_cc）（３０） ＳＴＥＰ２ （４）より、Ｐ´（ｘ_dp，ｙ_dp）Ｒ´（ｘ_dc，ｙ_dc）を
Ｐ″（ｘ_up，ｙ_up）Ｒ″（ｘ_uc，ｙ_uc）に変換する。 ＳＴＥＰ３ カメラ座標の原点Ｏｃのカメラ座標系での位置（０，
０，０）とＲ″（ｘ_uc，ｙ_uc）のカメラ座標系での位置
（ｘ_uc，ｙ_uc，ｆ_c）から、直線ＯｃＲ”上の点Ｑ
（ｘ_c，ｙ_c，ｚ_c）は、媒介変数ｔを用いて

【００９６】

【数２７】

【００９７】と表される。投影面が方程式ｆ（ｘ，ｙ，
ｚ）＝０により表されるとすれば、 ｆ（ｘ_c，ｙ_c，ｚ_c）＝０（３２） が成り立つので、（３１）（３２）から成り立つｆ
（ｔ）＝０を解いて、それによって得られたｔをもと
に、（３１）によって（ｘ_c，ｙ_c，ｚ_c）を定めればよ
い。例えば、投影面の式が（２８）のように表される場
合、

【００９８】

【数２８】

【００９９】となるので、

【０１００】

【数２９】

【０１０１】となる。また、投影面が点の集合Ｕ＝
｛（ｘ_ck，ｙ_ck，ｚ_ck）｜ｋは投影面を構成する点の個
数｝で表される場合、（３１）のｔを変化させながら、
（ｘ_c，ｙ_c，ｚ_c）∈Ｕを満たすようなものを探せばよ
い。

【０１０２】以上が計測点空間位置算出手段８４の動作
である。

【０１０３】つぎに、計測点対応記憶手段８５では、パ
タン画像生成手段４で作成する異なるパタン画像におけ
るＰ（ｕ_fp，ｖ_fp）のそれぞれにおいて、前記（ｕ_fp，
ｖ_fp）と（ｘ_c，ｙ_c，ｚ_c）の対応を記憶する。

【０１０４】最後に、プロジェクタパラメータ算出手段
８６では、計測点対応記憶手段８５に記憶された対応関
係をもとにプロジェクタパラメータを算出する。ここ
で、カメラパラメータとプロジェクタパラメータは同じ
式（（１）〜（１３）、（１４）〜（２６））で定義で
きるので、算出方法はカメラキャリブレーションと同様
の方法を利用することができる。ここでは、Ｔｓａｉキ
ャリブレーション法（参考文献は前述）を用いた場合に
ついて説明する。

【０１０５】この手法は、Ｎ個（Ｎ：多数）の点の世界
座標（ｘ_ci，ｙ_ci，ｚ_ci）（ここでは世界座標＝カメラ
座標）とその点に対応するプロジェクタ画像座標（ｕ
_fpi，ｖ_fpi）の組が計測点対応記憶手段７により与えら
れたときに、プロジェクタの外部パラメータとして回転
行列Ｒｐ（未知数３個）と並進ベクトルＴｐ（未知数３
個）を、内部パラメータとして焦点距離ｆｐ、歪み係数
ｋ_p1，ｋ_p2、スケール係数ｓ_px、プロジェクタ画像座標
系における画像中心の位置（ｕ_cp，ｖ_cp）を求める。た
だし、この場合、世界座標系＝カメラ座標系となるた
め、Ｒｐはカメラ座標系からプロジェクタ座標系へ変換
するための回転行列Ｒｃｐ、Ｔｐはカメラ座標系からプ
ロジェクタ座標系へ変換するための並進ベクトルＴｃｐ
と同じことになる。以下、ｓ_pxを既知（通常１．０）と
した場合のキャリブレーションの手順について述べる。 ＳＴＥＰ１ プロジェクタの仕様からＮ_pcx，Ｎ_pfx，ｄ´_px，ｄ_pyを
求める。 ＳＴＥＰ２ プロジェクタ画像の中央を画像中心（ｕ_cp，ｖ_cp）とす
る。 ＳＴＥＰ３ Ｎ点の（ｘ_dpi，ｙ_dpi）を求める。 ｘ_dpi＝ｓ_px ^-1ｄ´_px（ｕ_fpi−ｕ_cp）（３４） ｙ_dpi＝ｄ_py（ｖ_fpi−ｖ_cp）（３５） ＳＴＥＰ４ （ｘ_ci，ｙ_ci，ｚ_ci）と（ｘ_dpi，ｙ_dpi）の組から、Ｔ
_py ^-1ｒ_p1，Ｔ_py ^-1ｒ_p2，Ｔ_py ^-1ｒ_px，Ｔ_py ^-1ｒ_p4，Ｔ_py
^-1ｒ_p5を未知数とする連立方程式を解く。

【０１０６】

【数３０】

【０１０７】この式は、（１６）（１７）から ｘ_dpｙ_p−ｙ_dpｘ_p＝０（３７） を導き、さらにを代入することによって得られる。 ＳＴＥＰ５ Ｔ_py ^-1ｒ_p1，Ｔ_py ^-1ｒ_p2，Ｔ_py ^-1ｒ_px，Ｔ_py ^-1ｒ_p4，Ｔ
_py ^-1ｒ_p5からＴ_py ²を求める。まず、

【０１０８】

【数３１】

【０１０９】

【数３２】

【０１１０】とする。行列Ｃの行または列の要素が０で
ない場合は、

【０１１１】

【数３３】

【０１１２】を求める。ただし、ｓ_r＝ｒ´₁ ²＋ｒ´₂ ²
＋ｒ´₄ ²＋ｒ´₅ ²とする。一方、行列Ｃの行または列が
０の場合は、

【０１１３】

【数３４】

【０１１４】を求める。ただし、ｒ´_i，ｒ_jは行列Ｃの
０でない行または列の要素を表す。 ＳＴＥＰ６ 画像中心（ｕ_cp，ｖ_cp）から十分離れた点（ｕ_fpi，ｖ
_fpi）とその対応する点の世界座標（ｘ_ci，ｙ_ci，
ｚ_ci）からＴ_pyの符号を決定する。まず、Ｔ_pyの符号を
正として、

【０１１５】

【数３５】

【０１１６】を求め、ｘとＵの符号が等しくかつｙとＶ
の符号が等しいならＴ_pyの符号を正、それ以外ではＴ_py
の符号を負とする。 ＳＴＥＰ７ ｒ_p1，ｒ_p2，ｒ_p4，ｒ_p5，から回転行列Ｒｐを決定す
る。

【０１１７】

【数３６】

【０１１８】ただし、ｓ＝−ｓｇｎ（ｒ_p1ｒ_p4＋ｒ_p2ｒ
_p5）である。ｒ_p7，ｒ_p8，ｒ_p9，はＲｐが直交行列であ
るという性質を利用して求める。なお、ＳＴＥＰ８で求
める焦点距離ｆｐが負となる場合は、

【０１１９】

【数３７】

【０１２０】を用いる。 ＳＴＥＰ８ レンズ歪みを無視し、（ｋ_p1＝ｋ_p2＝０）として、ｆｐ
とＴ_pzの初期値を求める。Ｎ個のキャリブレーション点
を用いてｆｐとＴ_pzを未知数とする線形方程式を解く。

【０１２１】

【数３８】

【０１２２】ただし、 ｙ_i＝ｒ_p4ｘ_ci＋ｒ_p5ｙ_ci＋Ｔ_py ｗ_i＝ｒ_p7ｘ_ci＋ｒ_p8ｙ_ci（４６） ＳＴＥＰ９ ＳＴＥＰ８で求めたｆｐとＴ_pzおよびｋ_p1＝ｋ_p2＝０を
初期値として、（２５）を非線形最適化問題として解
き、ｆｐ，Ｔ_pz，ｋ_p1，ｋ_p2を求める。

【０１２３】以上がＴｓａｉのキャリブレーション法の
内容である。

【０１２４】最後にこれらの値を算出した後、その結果
を特性記憶手段９に記憶する。

【０１２５】以上がキャリブレーション手段８の処理内
容である。

【０１２６】つぎに、特性記憶手段９に記憶された情報
をもとに、投影面獲得手段２において、任意の三次元形
状をした投影面に対して投影面の三次元形状を認識す
る。ここでいう投影面の三次元形状とは、図１７を用い
て説明した特願平１１−２３６１８７号と同様、プロジ
ェクタ光源に対する方位角、傾斜角、距離の３つのパラ
メータで表されるものである。ここで、方位角とはプロ
ジェクタ装置に対して投影面がいずれの方向に傾いてい
るかを示す角度（プロジェクタ装置の光軸を含む垂直面
内の、光軸と直交する軸の回りの回転角）である。傾斜
角とは、投影面がどのくらい傾いているかを示す角度
（プロジェクタ装置の光軸と直交する水平軸の回りの回
転角）である。距離とは、プロジェクタ中心（プロジェ
クタレンズの中心）から投影中心までの距離である。投
影面を構成する各点のプロジェクタ座標系で表される位
置が分かれば、座標系の定義方法を変えることによって
これら３つのパラメータを簡単に求めることができる。
したがって、ここでは、投影面を構成する各点のプロジ
ェクタ座標系で表される位置を投影面の三次元形状とす
る。

【０１２７】まず、パタン画像生成手段４は、縞模様な
どのパタンのあるプロジェクタ画像を作成し、映像出力
手段６によって投影面に投影する。カメラ７は、投影面
をカメラによって撮影し、そのカメラ画像を取得する。
投影面獲得手段２は、そのプロジェクタ画像とカメラ画
像を基として以下のように投影面の３次元形状を推定す
る。

【０１２８】まず、カメラ画像、プロジェクタ画像の各
画素において光投影法の原理を利用して対応づけを行な
う。以下、対応づけられた画素をＰ（ｕ_fp，ｖ_fp）、Ｒ
（ｕ _fc，ｖ_fc）とする。

【０１２９】つぎに、ＰとＲの座標から、特性記憶手段
９に記憶されたデータを基として、投影点Ｑのプロジェ
クタ座標系での位置（ｘ_p，ｙ_p，ｚ_p）を以下のように
して推定する。ＳＴＥＰ１（７）（８）（２０）（２
１）から、Ｐ（ｕ_fp，ｖ_fp）、Ｒ（ｕ_fc，ｖ_fc）をそれ
ぞれＰ´（ｘ_dp，ｙ_dp）、Ｒ´（ｘ_dc，ｙ_dc）に以下の
式により変換する。 ｘ_dp＝ｓ_pxｄ´_px（ｕ_fp−ｕ_cp）（４７） ｙ_dp＝ｄ_py（ｖ_fp−ｖ_cp）（４８） ｘ_dc＝ｓ_cx ^-1ｄ´_cx（ｕ_fc−ｕ_cc）（４９） ｙ_dc＝ｄ_cy（ｖ_fc−ｖ_cc）（５０） ＳＴＥＰ２ （４）（１７）より、Ｐ´（ｘ_dp，ｙ_dp）Ｒ´（ｘ_dc，
ｙ_dc）をＰ″（ｘ_up，ｙ_up）Ｒ″（ｘ_uc，ｙ_uc）に変換
する。 ＳＴＥＰ３ カメラ座標の原点Ｏｃのプロジェクタ座標系での位置
（ｘ_po，ｙ_po，ｚ_po）とＲ″（ｘ_uc，ｙ_uc）のプロジェ
クタ座標系での位置（ｘ_pr，ｙ_pr，ｚ_pr）を（２７）よ
り以下のように算出する。

【０１３０】

【数３９】

【０１３１】

【数４０】

【０１３２】ただし、Ｒ_cpはプロジェクタ座標を基準に
した回転行列、Ｔ_cpはプロジェクタ座標を基準にした並
進ベクトルである。 ＳＴＥＰ４ 直線ＯｃＲ”、直線ＯｐＰ”の交点によりＱ（ｘ_p，
ｙ_p，ｚ_p）を定める。 直線

【０１３３】

【数４１】

【０１３４】直線

【０１３５】

【数４２】

【０１３６】これより、

【０１３７】

【数４３】

【０１３８】つぎに、投影制御手段５は映像出力手段６
が出力する映像を映像補正手段３からの出力に切り替え
た上で、映像入力手段１が生成する原画像に対し、映像
補正手段３は投影面形状に対応して入力原画像に対する
傾き補正と拡大・縮小処理を行い、映像出力手段６は映
像を出力する。続いて、映像補正手段３による傾き補正
処理が行われる。

【０１３９】これらの詳細な動作は、特願平１１−２３
６１８７号と同様の以下の手順により行われる。

【０１４０】補正処理開始時、投影面獲得手段２は、投
影面の法線ベクトルを算出する。投影面の法線ベクトル
は、投影面上の、少なくとも３点の位置を計測すること
によって求められる。

【０１４１】次に、投影面獲得手段２は、法線ベクトル
から投影面の方位角と傾斜角を求める。プロジェクタ装
置の光軸をＺ軸とし、上方をＹ軸とした座標系で、
（ａ，ｂ，ｃ）という法線ベクトルが求められた場合、
方位角はｔａｎ^-1（ｂ／ａ）として求められ、傾斜角は
ｔａｎ^-1（ｃ／√（ａ²＋ｂ²））として求められる。

【０１４２】次に、投影面獲得手段２はプロジェクタ装
置の光軸と投影面との交点を求めることによって、プロ
ジェクタ中心から投影面の中心までの距離を算出する。

【０１４３】次に、映像補正手段３は傾き補正の処理を
行う。図１８および図１９のそれぞれは、本発明による
プロジェクタ装置１００の投影状態を、プロジェクタ装
置の光軸とその投影面１０９の法線ベクトルを含む平面
で切断した状態を示す断面図である。基準面１１２はプ
ロジェクタ装置１００から基準となる平面で、基準面１
１２に投影されるような画像に修正されて、投影面１１
０に画像が投影されるものとする。ここで、仮基準面１
１１とは、基準面１１２に平行で、プロジェクタ光軸と
投影面１１０との交点を通る平面と定義する。

【０１４４】まず、図１８において、プロジェクタ装置
１００から基準面１１２までの距離をＺ0、プロジェク
タ装置１００から仮基準面１１１までの距離をＺ1とす
ると、基準面におけるｙ軸値Ｌ0が仮基準面１１１にお
いて同じくＬ0の位置に投影されるためには、元画像の
該対応点のｙ軸値をＺ0／Ｚ1倍、つまり、ｙ"＝ｙ・Ｚ1
／Ｚ0とする必要がある。これは単純な拡大縮小計算で
あり、ｘ軸値についても同様である。

【０１４５】さらに、図１９において、仮基準面１１１
におけるｙ軸値Ｌが投影面１１０において同じくＬの位
置に投影されるためには、元画像の該対応点のｙ軸値を
ｔａｎφ／ｔａｎθ倍、つまり、ｙ"＝ｙ・ｔａｎφ／
ｔａｎθ＝ｙ・Ｚ1・ｃｏｓα／（Ｚ1＋ｙ・ｓｉｎα）
とする必要がある。ｘ軸値については、距離Ｚ3の位置
で元画像の長さが表示されなければならないので、ｘ"
＝Ｚ1（Ｚ1＋ｙ・ｓｉｎα）となる。

【０１４６】以上が、本発明の第１の実施形態である。

【０１４７】つぎに、本発明の第１の実施形態の効果に
ついて説明する。本実施形態は、プロジェクタ・カメラ
の内部パラメータと相対位置を補正し、その値を利用し
て投影面の三次元形状を精度よく測定することができる
ので、美しい補正映像を提示することが可能となる。

【０１４８】つぎに、本発明の第２の実施形態について
図１１を参照して説明する。本実施形態では、第１の実
施形態における補正時に、パタン画像生成手段４が生成
するパタンに空間コード化法を使用した場合について説
明する。

【０１４９】第１の実施形態は映像出力手段１で投影す
る映像は点１個のみの場合について説明したが、これだ
と点１個あたり映像を１枚投影しなければならず、処理
時間がかかってしまう。

【０１５０】第２の実施形態では、パタン画像生成手段
４が生成する１枚の映像の中に点を複数含むようにし
て、それぞれの計測点は投影される映像の組み合わせで
区別するものとする。こうすることによって投影する映
像の数を減らし、処理時間を短くすることができる。本
実施形態の構成としては、図３に示すように、第１の実
施形態の計測点検出手段８１が、領域検出手段８１１と
領域識別手段８１２と計測点位置検出手段８１３から構
成されている。

【０１５１】図１１ではパタン画像生成手段４の生成す
るパタンについてパタン１〜４の４つの例を示してい
る。図１１では全点の個数が１５個の場合について示し
ている。このとき、必要なパタンの数は４枚でよい。図
１１の右側にそれぞれのパタンで投影する点を示した。
黒く塗りつぶした点が投影する点、それ以外が投影しな
い点である。このように点を投影する場合、各点と投影
するパタンの関係は以下に示す表のようになる。

【０１５２】

【表１】

【０１５３】このとき、例えば点３を検出する場合に
は、パタン１、パタン３、パタン４で投影され、パタン
２で投影されなかった点をさがせばよい。

【０１５４】なお、このような手法をとる場合、投影す
るパタンには以下の３つの条件がなりたつ。 投影する点の総数がＮ個の場合に必要なパタンの数は
ｌｏｇ₂（Ｎ＋１）である。 それぞれのパタンで投影する点の個数は

【０１５５】

【数４４】

【０１５６】である。 作成するパタンのうち２つの組み合わせを任意に選ぶ
と、選ばれた２つのパタンの両方において投影される点
の個数は

【０１５７】

【数４５】

【０１５８】である。

【０１５９】カメラ２は、映像出力手段１がそれぞれの
映像を投影しているときの投影面を撮影し、それぞれ別
なカメラ画像として取得する。計測点検出手段８１の詳
細な動作は以下の通りである。

【０１６０】まず、領域検出手段８１１は、各カメラ画
像に対して投影された点の領域を検出する。この検出方
法は、投影する前と後とのカメラ画像の差分をとる方法
や、投影する点の色を投影面上のすべての色と識別でき
るようにした上で色により検出する手法などがある。

【０１６１】領域識別手段８１２は、領域検出手段８１
１が検出した各領域に対して、どの映像を投影したとき
に検出されたかを利用して領域の識別を行う。例えば、
図１１のような４つのパタンを投影する場合では、パタ
ン１、パタン３、パタン４を投影して検出され、パタン
２を投影して検出されなかった点の領域を点３に対応す
ると考える訳である。これは、パタン１、パタン３、パ
タン４を投影したときに検出された領域とパタン２を投
影したときに検出されなかった領域との積をとることに
よって実現できる。

【０１６２】計測点位置検出手段８１３は、識別された
各領域の重心点をカメラ画像中の計測点Ｒとして検出す
る。

【０１６３】以上が計測点検出手段８１の動作である。

【０１６４】計測点空間位置算出手段８４以降の動作
は、第１の実施形態と同じである。

【０１６５】以上が本発明の第２の実施形態である。

【０１６６】つぎに、本発明の第２の実施形態の効果に
ついて説明する。本実施形態は、第１の実施形態の効果
に加えて、以下に述べる特有の効果も有する。

【０１６７】本実施形態は、複数の点を含む映像を複数
投影し、空間コード化法により識別するため、投影する
映像の数を少なくすることができる。したがって、第１
の実施形態に比べて処理時間を短くすることができる。

【０１６８】つぎに、本発明の第３の実施形態について
詳細に説明する。本実施形態は、第１、第２の実施形態
における計測点検出手段８１の計測点検出動作に特徴を
有するものであり、以下に図１２を参照して詳細に説明
する。

【０１６９】第３の実施形態の計測点検出手段８１によ
って計測点を検出する場合、一般に図１２（ａ）に示さ
れるように計測点のみを検出できる訳ではない。例えば
格子模様のような投影面を使用した場合、投影面に黒っ
ぽい反射の少ない領域（検出不能領域）が存在するた
め、図１２（ｂ）に示されるように計測点が検出不能領
域に隠れて検出できなかったり、図１２（ｃ）に示され
るように計測点が検出不能領域の一部に入ってしまうこ
とによって計測点の一部の領域が欠けてしまう。

【０１７０】本実施形態では、上記のような状況下でも
計測点を正確に検出するための手法である。図４および
図５のそれぞれは、本実施形態における計測点検出手段
８１の構成を示すブロック図である。ここで、図４は第
１の実施形態に対応させた構成を示し、図５は第２の実
施形態に対応させた構成を示す図である。

【０１７１】まず、図４に示す計測点検出手段８１の場
合について説明する。パタン画像生成手段４、映像出力
手段６、カメラ７の動作は、第１の実施形態と全く同じ
である。

【０１７２】図４に示す計測点検出手段８１の詳細な動
作は以下の通りである。

【０１７３】領域検出手段８１１は、カメラ画像中の投
影された領域を検出する（図１３左から２番目の図）。
ここでは、点を投影する前と後とのカメラ画像の差分を
とる方法を利用した場合について図示した。

【０１７４】検出不能領域記憶手段８１５は、映像出力
手段６で映像を投影しても投影面の色などの影響でカメ
ラ画像によってその映像を検出できない領域（検出不能
領域）について、それをあらかじめ記憶している。

【０１７５】領域判定手段８１４は、領域検出手段８１
１により検出する領域が検出不能領域記憶手段８１５に
記憶されている検出不能領域にかかっておらず、計測点
を投影した領域全体を検出しているかどうかを判定す
る。この処理の内容は図１４に示すフローチャートのよ
うに動作する。まず、ラベリングなどを用いて領域が１
つだけ存在しているかをチェックする（ステップＡ
１）。

【０１７６】領域が２つ以上存在する場合、あるいは存
在しない場合には、映像出力手段１に別な映像を投影さ
せる。領域が１つしかない場合は、その領域に対して領
域拡大処理をかける（図１３における図面左から３番目
の図）（ステップＡ２）。この領域拡大処理は境界を１
画素膨張させる程度の処理で十分である。

【０１７７】つぎに、領域拡大をした画像と検出不能領
域記憶手段８１５に記憶されている２値画像との積をと
る（ステップＡ３）。ここで、計測点が検出不能領域に
隣接してない場合は、ステップＡ３にて積をとった画像
には何も存在しない（図１３における図面右上の図）。
しかし、計測点が検出不能領域に隣接している、あるい
は計測点の一部が検出不能領域内に存在する場合には、
積をとった画像に双方共有する領域が存在する（図１３
における図面右下の図）。そこで、積をとった画像に対
して何か領域が存在しているかを調べ（ステップＡ
４）、何も存在していなければその領域に対して計測点
位置検出手段８１３の処理を行う。そうでなければ、映
像出力手段６から別の映像を投影させる。

【０１７８】計測点位置検出手段８１３は、領域判定手
段８１４により計測点を投影した領域全体を検出してい
ると判定されたものについて、その領域の重心位置など
カメラ画像中の計測点の位置を検出する。

【０１７９】つぎに、図５に示す計測点検出手段８１の
場合について説明する。パタン画像生成手段４、映像出
力手段６、カメラ７は、第２の実施形態と全く同じであ
る。

【０１８０】計測点検出手段８１の詳細な動作は以下の
通りである。

【０１８１】まず、領域検出手段８１１は、各カメラ画
像に対して投影された点の領域を検出する（図１５にお
ける左上から２番目の図）。ここでは、点を投影する前
と後とのカメラ画像の差分をとる方法を利用した場合に
ついて図示した。

【０１８２】領域識別手段８１２は、領域検出手段８１
１が検出した各領域に対して、どの映像を投影したとき
に検出されたかを利用して領域の識別を行う（図１５に
おける左上から３番目の図）。この手法は、第３の実施
形態と全く同じである。

【０１８３】検出不能領域記憶手段８１５は、映像出力
手段で映像を投影しても投影面の色などの影響でカメラ
画像によってその映像を検出できない領域（検出不能領
域）について、それをあらかじめ記憶している。

【０１８４】領域判定手段８１４は、領域識別手段８１
２により識別された領域それぞれについて、検出不能領
域記憶手段８１５に記憶されている検出不能領域にかか
っておらず、計測点を投影した領域全体を検出している
かどうかを判定し、そうでない領域を除去する。図１６
はこのような処理動作を示すフローチャートであり、以
下に図１６を参照して図５に示す計測点検出手段８１の
動作について説明する。

【０１８５】まず、領域識別手段８１２によって何らか
の領域が検出されているかどうかをチェックする（ステ
ップＢ１）。領域が検出されていない場合には、映像出
力手段６に別な映像を投影させる。何らかの領域が検出
されると、各領域に対して領域拡大処理を行う（図１５
における左下の図）（ステップＢ２）。この領域拡大処
理は、境界を１画素膨張させる程度の処理で十分であ
る。

【０１８６】つぎに、領域拡大をした画像と検出不能領
域記憶手段８１５に記憶されている２値画像との積をと
る（ステップＢ３）。最後に、積をとった画像に残って
いる領域のラベルを調べ、そのラベルの領域を除去する
（図１５における左下から２番目の図）（ステップＢ
４）。

【０１８７】計測点位置検出手段８１３は、領域判定手
段８１４により計測点を投影した領域全体を検出してい
ると判定された領域のそれぞれについて、各領域の重心
位置などカメラ画像中の計測点の位置を検出する。

【０１８８】以上が計測点検出手段８１の動作である。

【０１８９】計測点空間位置算出手段８４以降の動作は
第２の実施形態と同じである。

【０１９０】以上が本発明の第３の実施形態である。

【０１９１】つぎに、本発明の第３の実施形態の効果に
ついて説明する。本実施形態は、第１、第２の実施形態
の効果に加えて、以下に述べる特有の効果も有する。

【０１９２】本実施形態は、図１２（ｂ）のように計測
点が検出不能領域に隠れて検出されなかったり、図１２
（ｃ）のように計測点が検出不能領域の一部に欠けてし
まったりする場合を除外し、図１２（ａ）のように計測
点のみを検出した場合に限って計測点の位置推定を行う
手法を提供する。これにより、投影面の色などを固定し
なくてもプロジェクタパラメータの推定が可能となる。

【０１９３】

【発明の効果】第１の効果は、任意の三次元形状をした
投影面に対し美しい補正映像を提示するプロジェクタを
実現することが可能となる。

【０１９４】その理由は、プロジェクタ・カメラの内部
パラメータと相対位置を補正し、その値を利用して投影
面の三次元形状を精度よく測定することができるためで
ある。

【０１９５】第２の効果は、上記のキャリブレーション
を高速に行なうプロジェクタを実現できることにある。

【０１９６】その理由は、空間コード化法により多数の
点を高速に識別する手法を実現するためである。

【０１９７】第３の効果は、投影面に一部黒っぽい反射
の少ない領域（検出不能領域）があっても、キャリブレ
ーションできるプロジェクタを実現できることにある。

【０１９８】その理由は、検出不能領域にプロジェクタ
が計測点を投影した場合を認識し、そのときの情報をキ
ャリブレーションに使用しないようにするためである。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の構成を示すブロック
図である。

【図２】本発明の第１の実施形態のキャリブレーション
手段の構成を示すブロック図である。

【図３】本発明の第２の実施形態の計測点検出手段の構
成を示すブロック図である。

【図４】本発明の第３の実施形態の計測点検出手段の構
成を示すプロック図である。

【図５】本発明の第３の実施形態の計測点検出手段の構
成を示すブロック図である。

【図６】本発明の全体構成を示すブロック図である。

【図７】カメラにおける座標定義を行った図である。

【図８】プロジェクタにおける座標定義を行った図であ
る。

【図９】本発明のキャリブレーションにおける全体構成
を示す図である。

【図１０】本発明の第１の実施形態に関するカメラ内部
パラメータ、投影面の式の算出方法の参考図である。

【図１１】本発明の第２の実施形態に関するパタン画像
生成手段４で生成するパタンの説明図である。

【図１２】本発明の計測点検出手段８１で問題となる例
を示した図である。

【図１３】本発明の第３の実施形態に関する計測点検出
手段８１の内容を説明する図である。

【図１４】本発明の第３の実施形態に関する領域判定手
段８１４のフローチャートである。

【図１５】本発明の第３の実施形態に関する計測点検出
手段８１の内容を説明する図である。

【図１６】本発明の第３の実施形態に関する領域判定手
段８１４のフローチャートである。

【図１７】従来手法のブロック図である。

【図１８】映像補正手段３における傾き補正の処理を説
明するための図であり、本発明によるプロジェクタ装置
１００の投影状態を、プロジェクタ装置の光軸とその投
影面１０９の法線ベクトルを含む平面で切断した状態を
示す断面図である。

【図１９】映像補正手段３における傾き補正の処理を説
明するための図であり、本発明によるプロジェクタ装置
１００の投影状態を、プロジェクタ装置の光軸とその投
影面１０９の法線ベクトルを含む平面で切断した状態を
示す断面図である。

【符号の説明】

１ 映像入力手段 ２ 投影面獲得手段 ３ 映像補正手段 ４ パタン画像生成手段 ５ 投影制御手段 ６ 映像出力手段 ７ カメラ ８ キャリブレーション手段 ８１ 計測点検出手段 ８２ カメラ内部パラメータ算出手段 ８３ 投影面算出手段 ８４ 計測点空間位置算出手段 ８５ 計測点対応記憶手段 ８６ プロジェクタパラメータ算出手段 ９ 特性記憶手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】 原画像が入力される映像入力手段と、前
   記映像入力手段に入力された原画像に対する傾き補正と
   拡大・縮小処理と行なう映像補正手段と、 所定のパタン画像を生成するパタン画像生成手段と、 前記映像補正手段により傾き補正と拡大・縮小処理とが
   行われた映像と前記パタン画像生成手段により生成され
   たパタン画像とを入力し、いずれかを投影出力する映像
   出力手段と、 前記映像出力手段より投影出力される映像についてその
   投影面を含むシーンを撮影するカメラと、 前記映像出力手段から投影出力と前記カメラにより撮影
   された投影面を含むシーンとに基づいて、前記映像出力
   手段と前記カメラそれぞれの内部特性および相対位置姿
   勢を補正するキャリブレーション手段と、 前記キャリブレーション手段で補正された前記カメラの
   内部特性および相対位置姿勢を記憶する特性記憶手段
   と、 前記映像出力手段において投影出力される映像を切り替
   える投影制御手段と、 前記特性記憶手段に記憶された前記カメラの内部特性お
   よび相対位置姿勢を認識し、前記投影制御手段を介して
   前記映像出力手段において投影出力される映像を切り替
   え、前記パタン画像生成手段より出力されたパタン画像
   と前記映像出力手段に該パタン画像を入力したときの投
   影面の画像をカメラを介して撮影した画像から画像座標
   とカメラ画像座標との対応づけを行い、対応づけが行な
   われたそれぞれの位置が透視変換モデルに基づいた三次
   元空間中のどの位置に対応するかを前記特性記憶手段に
   より記憶されている特性をもとに推定し、その三次元空
   間の位置の対応から三角測量の原理によって該パタン画
   像が投影された位置の三次元座標を求めることによって
   該投影面の三次元形状を獲得する投影面獲得手段と、を
   備え、 前記映像補正手段は前記投影面獲得手段により獲得され
   た投影面の三次元形状に対応して入力原画像に対する傾
   き補正と拡大・縮小処理と行なうことを特徴とするプロ
   ジェクタ装置。
2. 【請求項２】 請求項１に記載のプロジェクタ装置にお
   いて、 前記映像出力手段が出力するパタン画像が位置計測の対
   象となる計測点を含んでおり、 前記キャリブレーション手段が、 前記カメラにより撮影された投影面を含むシーンの中の
   計測点を検出する計測点検出手段と、 前記カメラの内部特性を示す内部パラメータを算出する
   カメラ内部パラメータ算出手段と、 前記カメラの座標系における前記投影面の式あるいは点
   の集合を算出する投影面算出手段と、 前記投影面上の計測点のカメラ座標系での位置を算出す
   る計測点空間位置算出手段と、 前記映像出力手段が投影する映像内部の計測点の位置
   と、前記計測点空間位置算出手段が算出する投影面上の
   計測点の位置との対応を記憶する計測点対応記憶手段
   と、 前記計測点対応記憶手段が記憶した対応関係をもとに映
   像出力手段のカメラ座標系における位置姿勢および内部
   特性を示すプロジェクタパラメータを算出するプロジェ
   クタパラメータ算出手段と、を有することを特徴とする
   プロジェクタ装置。
3. 【請求項３】 請求項２に記載のプロジェクタ装置にお
   いて、 前記映像出力手段が、複数の計測点を含む異なる複数の
   映像を、投影される映像の組み合わせで各計測点を識別
   できるように投影し、 前記カメラは、前記映像出力手段がそれぞれの映像を投
   影しているときの投影面を撮影してそれぞれ別なカメラ
   画像として取得し、 前記計測点検出手段が、 各カメラ画像に対して投影された点を検出する領域検出
   手段と、 前記領域検出手段が検出したそれぞれの領域について、
   どの映像を投影したときに検出されたかを利用して領域
   の識別を行う領域識別手段と、 各領域の重心位置など領域を代表する点を検出し、その
   点とカメラ画像中の計測点の位置とする計測点位置検出
   手段と、を有することを特徴とするプロジェクタ装置。
4. 【請求項４】 請求項２または請求項３に記載のプロジ
   ェクタ装置において、 前記計測点検出手段が、 カメラ画像中の投影された点の領域のみを検出する領域
   検出手段と、 映像出力手段から映像を投影しても投影面の色などの影
   響でカメラ画像によってその映像を検出することができ
   ない検出不能領域について、それをあらかじめ記憶して
   いる検出不能領域記憶手段と、 前記領域検出手段により検出する領域が検出不能領域記
   憶手段に記憶されている検出不能領域にかかっておら
   ず、計測点を投影した領域全体を検出しているかどうか
   判定する領域判定手段と、 前記領域判定手段により計測点を投影した領域全体を検
   出していると判定されたものについて、その領域の重心
   位置などカメラ画像中の計測点の位置を検出する計測点
   位置検出手段と、を有することを特徴とするプロジェク
   タ装置。