JP2004165944A - 投影情報補正方法、投影情報補正装置、プログラム、および記録媒体 - Google Patents
投影情報補正方法、投影情報補正装置、プログラム、および記録媒体 Download PDFInfo
- Publication number
- JP2004165944A JP2004165944A JP2002329028A JP2002329028A JP2004165944A JP 2004165944 A JP2004165944 A JP 2004165944A JP 2002329028 A JP2002329028 A JP 2002329028A JP 2002329028 A JP2002329028 A JP 2002329028A JP 2004165944 A JP2004165944 A JP 2004165944A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- image
- point
- feature point
- projection image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Projection Apparatus (AREA)
Abstract
【課題】投影面の三次元座標が変化する際にも利用者による観測を阻害することなく測定し、歪みの少ない投影画像を生成する。
【解決手段】投影面に対して情報を投影する投影装置に入力される投影画像と、投影面が撮影範囲内に映るように設置された撮影装置が撮影する撮影画像を入力し、投影面上で表示される投影画像の歪みを補正する。
投影画像入力部１は投影画像を入力する。撮影画像入力部２は撮影画像を入力する。投影面測定部３は、投影画像から特徴点を抽出し、該特徴点に対応する対応点を撮影画像から決定し、特徴点と対応点と、投影装置と撮影装置のパラメータを用いて特徴点に対応する投影面上の点の三次元座標を求める。投影画像補正部４は三次元座標を用いて投影画像に対して補正を行なう。投影画像出力部５は補正した画像を出力する。
【選択図】 図１
【解決手段】投影面に対して情報を投影する投影装置に入力される投影画像と、投影面が撮影範囲内に映るように設置された撮影装置が撮影する撮影画像を入力し、投影面上で表示される投影画像の歪みを補正する。
投影画像入力部１は投影画像を入力する。撮影画像入力部２は撮影画像を入力する。投影面測定部３は、投影画像から特徴点を抽出し、該特徴点に対応する対応点を撮影画像から決定し、特徴点と対応点と、投影装置と撮影装置のパラメータを用いて特徴点に対応する投影面上の点の三次元座標を求める。投影画像補正部４は三次元座標を用いて投影画像に対して補正を行なう。投影画像出力部５は補正した画像を出力する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、投影される画像の歪みを補正可能にした画像投影方法および装置に関する。
【０００２】
【従来の技術】
プロジェクタ等の投影装置を利用して該プロジェクタに入力された画像を投影する際、凹凸面など投影装置の光軸と投影面（スクリーン）の法線が一致しない部分では、投影された画像に歪みが生じることになる。
【０００３】
これに対して、従来から入力画像に何らかの補正を行なって、歪みの少ない投影画像を得る方法が知られている（例えば、特許文献１、非特許文献１参照）。
【０００４】
これら文献に記載されている方法では、光投影法として知られる、縞模様などのパターン画像を対象に投影した様子をカメラ等の撮像装置で観測し、三角測量の原理によって対象座標を測定する方法を利用してあらかじめ投影面の三次元座標を測定し、該投影面の三次元座標を利用して入力画像に補正処理を施してから投影する方法により歪みの少ない投影画像を得ている。
【０００５】
【特許文献１】
特開２００１−６１１２１
【０００６】
【非特許文献１】
「スクリーン物体への光学パターン投影による仮想光学環境の実現」
（向川康博、電子情報通信学会論文誌 Ｄ−ＩＩ，Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．７，ｐｐ．１４４８−１４５５．２００１年７月）
【０００７】
【発明が解決しようとする課題】
しかしながら従来の投影方法では、入力画像補正に必要な投影面の三次元座標の計測にパターン画像を投影するため、投影面の三次元座標が測定時と異なる場合にはその都度パターンの再投影が必要となる。このため、画像を観察する利用者にとっては投影面の三次元座標が変化する都度、画像の観察を中断することを余儀なくされ、操作性の悪化だけでなく時間のロスを招くという問題があった。
【０００８】
本発明は、上述したような従来技術が有する問題点に鑑みてなされたものであり、投影情報補正方法において、投影面の三次元座標が変化する際にも利用者による観測を阻害することなく測定し、歪みの少ない投影画像を生成することが可能な投影情報補正方法、投影情報補正装置、プログラムおよび記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明は、以下の投影情報補正方法、投影情報補正装置、プログラムおよび記録媒体を特徴とする。
【００１０】
（方法の発明）
（１）投影面に対して情報を投影する投影装置に入力される投影画像と、前記投影面が撮影範囲内に映るように設置された撮影装置が撮影する撮影画像を入力し、前記投影面上で表示される前記投影画像の歪みを補正する方法であって、
前記投影画像から投影画像を補正するために利用する特徴点を抽出し、前記撮影画像から前記特徴点に対応する対応点を決定し、前記特徴点と前記対応点と投影装置および撮影装置のパラメータとを用いて前記特徴点に対応する前記投影面上の点の三次元座標を決定し、該三次元座標を用いて投影画像に対して補正を行なうことを特徴とする。
【００１１】
（２）前記投影画像から特徴点を抽出する手順において、前記投影画像の画素値を用いて画像上の角や交点となる点を特徴点として抽出することを特徴とする。
【００１２】
（３）前記撮影画像から前記特徴点に対応する対応点を決定する手順において、前記投影画像の特徴点近傍の画素値を利用して対応点を決定する時に利用するための照合パターンを作成し、該照合パターンを利用して前記撮影画像から特徴点に対応する対応点を決定することを特徴とする。
【００１３】
（４）前記特徴点に対応する投影面上の点の三次元座標に対応して投影画像に対して補正を行なう手順において、前記投影画像中の特徴点を用いて該特徴点を頂点とする三角形を作成し、該三角形内部点の投影画像の補正を前記特徴点の補正値を利用して行なうことを特徴とする。
【００１４】
（５）前記特徴点に対応する投影面上の点の三次元座標に対応して投影画像に対して補正を行なう手順において、前記三次元座標と、前記投影面を観測している利用者の視点位置と視線方向を用いて前記投影画像を補正することを特徴とする。
【００１５】
（装置の発明）
（６）投影面に対して情報を投影する投影装置に入力される投影画像と、前記投影面が撮影範囲内に映るように設置された撮影装置が撮影する撮影画像を入力し、前記投影面上で表示される前記投影画像の歪みを補正する装置であって、
前記投影画像を入力する投影画像入力手段と、
前記撮影画像を入力する撮影画像入力手段と、
前記投影画像から特徴点を抽出し、該特徴点に対応する対応点を前記撮影画像から決定し、前記特徴点と前記対応点と、前記投影装置と前記撮影装置のパラメータを用いて前記特徴点に対応する前記投影面上の点の三次元座標を求める投影面測定手段と、
該三次元座標を用いて投影画像に対して補正を行なう投影画像補正手段とを備えたことを特徴とする。
【００１６】
（プログラムの発明）
（７）上記（１）〜（５）のいずれか１項に記載の投影情報補正方法における処理手順をコンピュータで実行可能に構成したことを特徴とする。
【００１７】
（記録媒体の発明）
（８）上記（１）〜（５）のいずれか１項に記載の投影情報補正方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能に記録したことを特徴とする。
【００１８】
以上の投影情報補正方法、装置、プログラムおよび記録媒体になる本発明では、投影面の三次元座標を投影画像を利用して測定することにより、利用者による投影画像の観測を阻害することなく、歪みの少ない投影画像を表示することが可能となる。また、本発明では、投影面の三次元座標を投影画像中の特徴点のみ測定することにより、投影画像の補正処理に掛かる計算処理を大幅に削減することが可能となる。
【００１９】
【発明の実施の形態】
以下、本発明の実施形態について図面を用いて説明する。
【００２０】
図１は、本発明の実施形態になる投影情報補正方法および装置を説明するための装置構成図である。この例の投影情報補正装置は、投影画像入力部１と撮影画像入力部２と投影面測定部３と投影画像補正部４および投影画像出力部５から構成される。
【００２１】
投影画像入力部１は、プロジェクタなどの投影装置に入力される投影画像を入力する。撮影画像入力部２は、カメラなどの撮影装置を介して投影面を撮影した画像を入力する。投影面測定部３は、投影面の三次元座標の情報を測定する。投影画像補正部４は画像の歪み補正の処理を行なう。投影画像出力部５は、歪み補正された画像を投影出力する。
【００２２】
続いて、投影情報補正方法および装置で行われる処理フローを詳細に説明する。全体の処理を表した図を図２に示す。
【００２３】
（Ｓ１）投影情報補正装置では、まず投影画像入力部が起動される。投影画像入力部１では、投影装置に入力される投影画像を受け取り、処理を終了する。
【００２４】
（Ｓ２）続いて撮影画像入力部が起動される。撮影画像入力部２では、撮影装置が出力する投影面を撮影した撮影画像を受け取り、処理を終了する。
【００２５】
（Ｓ３）両画像が揃ったことをチェックする。
【００２６】
（Ｓ４）続いて投影面測定部が起動される。投影面測定部４で行なわれる処理を表した図を図３に示す。同図において、投影面測定部４は、起動されると投影画像と撮影画像を受け取り、投影画像の特徴点を抽出する（Ｓ４１）。この特徴点の抽出は、画像の特徴を利用して自動で設定しても良いものとする。
【００２７】
次に、投影画像を利用し撮影画像から特徴点に対応する点を決定するための照合パターン（テンプレート）を作成し（Ｓ４２）、これを利用して対応点を決定する（Ｓ４３）。
【００２８】
ここで、照合パターンには例えば前記特徴点近傍の画素値を利用する。また、対応点探索処理は例えば投影画像の特徴点近傍の画素値と前記撮影画像に設定した探索ウィンドウ内の画素値を特徴量として行ない、対応付けの評価値として両画像のウィンドウ内の画素値の差の２乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を利用することにより実現できる。また、対応点探索の際の特徴量は画素値に限らずエッジの向きや大きさを特徴量として利用しても良いし、フーリエ変換して得た周波数成分等を特徴量として利用しても良い。また、対応点探索の評価値としてはＳＳＤに限らず、正規化相関値や画素値の差の絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）など画像中から対応点を絞り込むために利用されるものであれば何でも良い。
【００２９】
最後に、特徴点と対応点、投影装置と撮影装置の校正パラメータを利用して、特徴点に対応する投影面上の点の撮影装置の校正パラメータを利用して、特徴点に対応する投影面上の点の三次元座標を決定し、処理を終了する（Ｓ４４）。
【００３０】
（Ｓ５）図２に戻って、投影画像補正部が起動される。投影画像補正部４で行なわれる処理を表した図を図４に示す。同図において、投影画像補正部４が起動されると、まず投影画像と各特徴点に対応する投影面上の点の三次元座標を受け取り、投影画像をその符徴点を頂点とする三角形で分割する（Ｓ５１）。この三角形分割処理は例えばＤｅｌａｕｎａｙの方法などにより実現できる。
【００３１】
続いて、三角形の各頂点に対応する投影面上の点の三次元座標を読み出し、それらを頂点とした三角形の法線を投影面の各部分の法線として算出する（Ｓ５２）。続いて、三角形の三次元座標を用いて、投影画像の補正処理を行う（Ｓ５３）。
【００３２】
この投影画像補正処理は、従来技術（例えば、特開２００１−６１１２１「プロジェクタ装置」記載の方法）と特に変わるところはないので、ここでの詳細な記述は省略する。
【００３３】
また、投影画像補正の際に利用者の視点位置、方向の情報を用いて投影画像の画素値の補正を行なってもよい。この時、利用者の視点位置、方向はあらかじめ設定していても良いし、位置トラッカ、ジャイロセンサ等の位置、方向計測装置を利用して計測した値を利用しても良い。
【００３４】
最後に、分割した三角形全てに対して投影画像補正処理が終了したかどうかを確認し、全て終了していれば処理を終了する。終了していなければ未処理の三角形を決定し補正処理を繰り返す（Ｓ５４）。
【００３５】
次に、本実施形態を具体的データに即して説明する。まず、図５に示すように三次元空間中に凹凸のある投影面１１が存在し、これに対してプロジェクタ１２などの投影装置により図６に示す投影画像を投影し、これをカメラ１３などの撮影装置により撮影し、図７に示す撮影画像を得たものとする。
【００３６】
投影情報補正方法ではまず投影画像入力部が起動する。投影画像入力部１は起動されると、図６で示す、プロジェクタ１２等の投影装置に入力される投影画像を読み込む。
【００３７】
同様に撮影画像入力部２は起動されると、図５で示す、カメラ１３等の撮影装置で投影面を撮影し、出力された画像を読み込む。
【００３８】
次に、投影面測定部３が起動されると、図６の投影画像と図７の撮影画像を受信する。続いて投影画像から特徴点を抽出する。本実施形態では特徴点として図８で示す黒丸のように選択された１０点が決定されたものとする。
【００３９】
次に、投影画像を利用し撮影画像から特徴点に対応する点を決定するための照合パターンを作成する。本実施形態では照合パターンとして図８中のように四角で囲った領域内の画素値を利用するものとする。
【００４０】
次に、抽出された各特徴点に対応する対応点を設定した照合パターンを利用して照合パターンマッチングにより撮影画像中から決定する。本実施形態では対応点として図９中の×印で示す点が決定されたものとする。
【００４１】
次に、各特徴点とそれに対応する対応点、投影装置と撮影装置の校正パラメータを利用して、特徴点の対応する投影面上の点の三次元座標を決定する。
【００４２】
続いて、投影画像補正部４は、起動されると、図６の投影画像と各特徴点、各特徴点に対応する投影面上の点の三次元座標を受け取る。次に、投影画像の特徴点を利用し三角形分割を行う。本実施形態では図１０のように三角形に分割されたものとする。続いて、分割された三角形の中から適当に一つを選択する。
【００４３】
次に、その三角形の各頂点に対応する投影面上の点の三次元座標と利用者の視点位置、方向と投影画像を利用し、利用者視点から正しく投影画像を観測できるよう投影画像を補正する。最後に、分割した三角形全てに対して投影画像補正処理が終了したかどうかを確認し、全て終了していれば処理を終了する。
【００４４】
本実施形態では投影画像中の全ての三角形に投影画像補正処理を行なった結果、図１１のような歪み補正画像が得られたものとする。また、本実施形態における最終的に補正した画像の投影結果を図１２に示す。
【００４５】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上記の実施形態例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【００４６】
なお、本発明は、図２〜図４に示した方法又は図１に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現し、コンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００４７】
【発明の効果】
以上説明したように、本発明では、投影面の三次元座標を投影画像を利用して測定することにより、計測用の特定のパターン画像を投影することなく、したがって、利用者による投影画像の観測を阻害することなく、歪みの少ない投影画像を表示することが可能となる。
【００４８】
また、本発明では、投影面の三次元座標を投影画像中の特徴点のみ測定することにより、投影画像の補正処理に掛かる計算処理を大幅に削減することが可能となる。
【図面の簡単な説明】
【図１】本発明による投影情報補正方法及び装置を説明するための図。
【図２】本発明による投影情報補正方法の全体処理フロー。
【図３】本発明による投影面測定部の処理フロー。
【図４】本発明による投影画像補正部の処理フロー。
【図５】本発明の実施形態における投影情報補正前の投影状態図。
【図６】本発明の実施形態における投影画像例。
【図７】本発明の実施形態における撮影画像例。
【図８】本発明の実施形態における投影画像特徴点抽出例。
【図９】本発明の実施形態における対応点の例。
【図１０】本発明の実施形態における投影画像の特徴点の三角分割例。
【図１１】本発明の実施形態における歪み補正画像例。
【図１２】本発明の実施形態における投影情報補正後の投影状態図。
【符号の説明】
１…投影画像入力部
２…撮影画像入力部
３…投影面測定部
４…投影画像補正部
５…投影画像出力部
【発明の属する技術分野】
本発明は、投影される画像の歪みを補正可能にした画像投影方法および装置に関する。
【０００２】
【従来の技術】
プロジェクタ等の投影装置を利用して該プロジェクタに入力された画像を投影する際、凹凸面など投影装置の光軸と投影面（スクリーン）の法線が一致しない部分では、投影された画像に歪みが生じることになる。
【０００３】
これに対して、従来から入力画像に何らかの補正を行なって、歪みの少ない投影画像を得る方法が知られている（例えば、特許文献１、非特許文献１参照）。
【０００４】
これら文献に記載されている方法では、光投影法として知られる、縞模様などのパターン画像を対象に投影した様子をカメラ等の撮像装置で観測し、三角測量の原理によって対象座標を測定する方法を利用してあらかじめ投影面の三次元座標を測定し、該投影面の三次元座標を利用して入力画像に補正処理を施してから投影する方法により歪みの少ない投影画像を得ている。
【０００５】
【特許文献１】
特開２００１−６１１２１
【０００６】
【非特許文献１】
「スクリーン物体への光学パターン投影による仮想光学環境の実現」
（向川康博、電子情報通信学会論文誌 Ｄ−ＩＩ，Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．７，ｐｐ．１４４８−１４５５．２００１年７月）
【０００７】
【発明が解決しようとする課題】
しかしながら従来の投影方法では、入力画像補正に必要な投影面の三次元座標の計測にパターン画像を投影するため、投影面の三次元座標が測定時と異なる場合にはその都度パターンの再投影が必要となる。このため、画像を観察する利用者にとっては投影面の三次元座標が変化する都度、画像の観察を中断することを余儀なくされ、操作性の悪化だけでなく時間のロスを招くという問題があった。
【０００８】
本発明は、上述したような従来技術が有する問題点に鑑みてなされたものであり、投影情報補正方法において、投影面の三次元座標が変化する際にも利用者による観測を阻害することなく測定し、歪みの少ない投影画像を生成することが可能な投影情報補正方法、投影情報補正装置、プログラムおよび記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明は、以下の投影情報補正方法、投影情報補正装置、プログラムおよび記録媒体を特徴とする。
【００１０】
（方法の発明）
（１）投影面に対して情報を投影する投影装置に入力される投影画像と、前記投影面が撮影範囲内に映るように設置された撮影装置が撮影する撮影画像を入力し、前記投影面上で表示される前記投影画像の歪みを補正する方法であって、
前記投影画像から投影画像を補正するために利用する特徴点を抽出し、前記撮影画像から前記特徴点に対応する対応点を決定し、前記特徴点と前記対応点と投影装置および撮影装置のパラメータとを用いて前記特徴点に対応する前記投影面上の点の三次元座標を決定し、該三次元座標を用いて投影画像に対して補正を行なうことを特徴とする。
【００１１】
（２）前記投影画像から特徴点を抽出する手順において、前記投影画像の画素値を用いて画像上の角や交点となる点を特徴点として抽出することを特徴とする。
【００１２】
（３）前記撮影画像から前記特徴点に対応する対応点を決定する手順において、前記投影画像の特徴点近傍の画素値を利用して対応点を決定する時に利用するための照合パターンを作成し、該照合パターンを利用して前記撮影画像から特徴点に対応する対応点を決定することを特徴とする。
【００１３】
（４）前記特徴点に対応する投影面上の点の三次元座標に対応して投影画像に対して補正を行なう手順において、前記投影画像中の特徴点を用いて該特徴点を頂点とする三角形を作成し、該三角形内部点の投影画像の補正を前記特徴点の補正値を利用して行なうことを特徴とする。
【００１４】
（５）前記特徴点に対応する投影面上の点の三次元座標に対応して投影画像に対して補正を行なう手順において、前記三次元座標と、前記投影面を観測している利用者の視点位置と視線方向を用いて前記投影画像を補正することを特徴とする。
【００１５】
（装置の発明）
（６）投影面に対して情報を投影する投影装置に入力される投影画像と、前記投影面が撮影範囲内に映るように設置された撮影装置が撮影する撮影画像を入力し、前記投影面上で表示される前記投影画像の歪みを補正する装置であって、
前記投影画像を入力する投影画像入力手段と、
前記撮影画像を入力する撮影画像入力手段と、
前記投影画像から特徴点を抽出し、該特徴点に対応する対応点を前記撮影画像から決定し、前記特徴点と前記対応点と、前記投影装置と前記撮影装置のパラメータを用いて前記特徴点に対応する前記投影面上の点の三次元座標を求める投影面測定手段と、
該三次元座標を用いて投影画像に対して補正を行なう投影画像補正手段とを備えたことを特徴とする。
【００１６】
（プログラムの発明）
（７）上記（１）〜（５）のいずれか１項に記載の投影情報補正方法における処理手順をコンピュータで実行可能に構成したことを特徴とする。
【００１７】
（記録媒体の発明）
（８）上記（１）〜（５）のいずれか１項に記載の投影情報補正方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能に記録したことを特徴とする。
【００１８】
以上の投影情報補正方法、装置、プログラムおよび記録媒体になる本発明では、投影面の三次元座標を投影画像を利用して測定することにより、利用者による投影画像の観測を阻害することなく、歪みの少ない投影画像を表示することが可能となる。また、本発明では、投影面の三次元座標を投影画像中の特徴点のみ測定することにより、投影画像の補正処理に掛かる計算処理を大幅に削減することが可能となる。
【００１９】
【発明の実施の形態】
以下、本発明の実施形態について図面を用いて説明する。
【００２０】
図１は、本発明の実施形態になる投影情報補正方法および装置を説明するための装置構成図である。この例の投影情報補正装置は、投影画像入力部１と撮影画像入力部２と投影面測定部３と投影画像補正部４および投影画像出力部５から構成される。
【００２１】
投影画像入力部１は、プロジェクタなどの投影装置に入力される投影画像を入力する。撮影画像入力部２は、カメラなどの撮影装置を介して投影面を撮影した画像を入力する。投影面測定部３は、投影面の三次元座標の情報を測定する。投影画像補正部４は画像の歪み補正の処理を行なう。投影画像出力部５は、歪み補正された画像を投影出力する。
【００２２】
続いて、投影情報補正方法および装置で行われる処理フローを詳細に説明する。全体の処理を表した図を図２に示す。
【００２３】
（Ｓ１）投影情報補正装置では、まず投影画像入力部が起動される。投影画像入力部１では、投影装置に入力される投影画像を受け取り、処理を終了する。
【００２４】
（Ｓ２）続いて撮影画像入力部が起動される。撮影画像入力部２では、撮影装置が出力する投影面を撮影した撮影画像を受け取り、処理を終了する。
【００２５】
（Ｓ３）両画像が揃ったことをチェックする。
【００２６】
（Ｓ４）続いて投影面測定部が起動される。投影面測定部４で行なわれる処理を表した図を図３に示す。同図において、投影面測定部４は、起動されると投影画像と撮影画像を受け取り、投影画像の特徴点を抽出する（Ｓ４１）。この特徴点の抽出は、画像の特徴を利用して自動で設定しても良いものとする。
【００２７】
次に、投影画像を利用し撮影画像から特徴点に対応する点を決定するための照合パターン（テンプレート）を作成し（Ｓ４２）、これを利用して対応点を決定する（Ｓ４３）。
【００２８】
ここで、照合パターンには例えば前記特徴点近傍の画素値を利用する。また、対応点探索処理は例えば投影画像の特徴点近傍の画素値と前記撮影画像に設定した探索ウィンドウ内の画素値を特徴量として行ない、対応付けの評価値として両画像のウィンドウ内の画素値の差の２乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を利用することにより実現できる。また、対応点探索の際の特徴量は画素値に限らずエッジの向きや大きさを特徴量として利用しても良いし、フーリエ変換して得た周波数成分等を特徴量として利用しても良い。また、対応点探索の評価値としてはＳＳＤに限らず、正規化相関値や画素値の差の絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）など画像中から対応点を絞り込むために利用されるものであれば何でも良い。
【００２９】
最後に、特徴点と対応点、投影装置と撮影装置の校正パラメータを利用して、特徴点に対応する投影面上の点の撮影装置の校正パラメータを利用して、特徴点に対応する投影面上の点の三次元座標を決定し、処理を終了する（Ｓ４４）。
【００３０】
（Ｓ５）図２に戻って、投影画像補正部が起動される。投影画像補正部４で行なわれる処理を表した図を図４に示す。同図において、投影画像補正部４が起動されると、まず投影画像と各特徴点に対応する投影面上の点の三次元座標を受け取り、投影画像をその符徴点を頂点とする三角形で分割する（Ｓ５１）。この三角形分割処理は例えばＤｅｌａｕｎａｙの方法などにより実現できる。
【００３１】
続いて、三角形の各頂点に対応する投影面上の点の三次元座標を読み出し、それらを頂点とした三角形の法線を投影面の各部分の法線として算出する（Ｓ５２）。続いて、三角形の三次元座標を用いて、投影画像の補正処理を行う（Ｓ５３）。
【００３２】
この投影画像補正処理は、従来技術（例えば、特開２００１−６１１２１「プロジェクタ装置」記載の方法）と特に変わるところはないので、ここでの詳細な記述は省略する。
【００３３】
また、投影画像補正の際に利用者の視点位置、方向の情報を用いて投影画像の画素値の補正を行なってもよい。この時、利用者の視点位置、方向はあらかじめ設定していても良いし、位置トラッカ、ジャイロセンサ等の位置、方向計測装置を利用して計測した値を利用しても良い。
【００３４】
最後に、分割した三角形全てに対して投影画像補正処理が終了したかどうかを確認し、全て終了していれば処理を終了する。終了していなければ未処理の三角形を決定し補正処理を繰り返す（Ｓ５４）。
【００３５】
次に、本実施形態を具体的データに即して説明する。まず、図５に示すように三次元空間中に凹凸のある投影面１１が存在し、これに対してプロジェクタ１２などの投影装置により図６に示す投影画像を投影し、これをカメラ１３などの撮影装置により撮影し、図７に示す撮影画像を得たものとする。
【００３６】
投影情報補正方法ではまず投影画像入力部が起動する。投影画像入力部１は起動されると、図６で示す、プロジェクタ１２等の投影装置に入力される投影画像を読み込む。
【００３７】
同様に撮影画像入力部２は起動されると、図５で示す、カメラ１３等の撮影装置で投影面を撮影し、出力された画像を読み込む。
【００３８】
次に、投影面測定部３が起動されると、図６の投影画像と図７の撮影画像を受信する。続いて投影画像から特徴点を抽出する。本実施形態では特徴点として図８で示す黒丸のように選択された１０点が決定されたものとする。
【００３９】
次に、投影画像を利用し撮影画像から特徴点に対応する点を決定するための照合パターンを作成する。本実施形態では照合パターンとして図８中のように四角で囲った領域内の画素値を利用するものとする。
【００４０】
次に、抽出された各特徴点に対応する対応点を設定した照合パターンを利用して照合パターンマッチングにより撮影画像中から決定する。本実施形態では対応点として図９中の×印で示す点が決定されたものとする。
【００４１】
次に、各特徴点とそれに対応する対応点、投影装置と撮影装置の校正パラメータを利用して、特徴点の対応する投影面上の点の三次元座標を決定する。
【００４２】
続いて、投影画像補正部４は、起動されると、図６の投影画像と各特徴点、各特徴点に対応する投影面上の点の三次元座標を受け取る。次に、投影画像の特徴点を利用し三角形分割を行う。本実施形態では図１０のように三角形に分割されたものとする。続いて、分割された三角形の中から適当に一つを選択する。
【００４３】
次に、その三角形の各頂点に対応する投影面上の点の三次元座標と利用者の視点位置、方向と投影画像を利用し、利用者視点から正しく投影画像を観測できるよう投影画像を補正する。最後に、分割した三角形全てに対して投影画像補正処理が終了したかどうかを確認し、全て終了していれば処理を終了する。
【００４４】
本実施形態では投影画像中の全ての三角形に投影画像補正処理を行なった結果、図１１のような歪み補正画像が得られたものとする。また、本実施形態における最終的に補正した画像の投影結果を図１２に示す。
【００４５】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上記の実施形態例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【００４６】
なお、本発明は、図２〜図４に示した方法又は図１に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現し、コンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００４７】
【発明の効果】
以上説明したように、本発明では、投影面の三次元座標を投影画像を利用して測定することにより、計測用の特定のパターン画像を投影することなく、したがって、利用者による投影画像の観測を阻害することなく、歪みの少ない投影画像を表示することが可能となる。
【００４８】
また、本発明では、投影面の三次元座標を投影画像中の特徴点のみ測定することにより、投影画像の補正処理に掛かる計算処理を大幅に削減することが可能となる。
【図面の簡単な説明】
【図１】本発明による投影情報補正方法及び装置を説明するための図。
【図２】本発明による投影情報補正方法の全体処理フロー。
【図３】本発明による投影面測定部の処理フロー。
【図４】本発明による投影画像補正部の処理フロー。
【図５】本発明の実施形態における投影情報補正前の投影状態図。
【図６】本発明の実施形態における投影画像例。
【図７】本発明の実施形態における撮影画像例。
【図８】本発明の実施形態における投影画像特徴点抽出例。
【図９】本発明の実施形態における対応点の例。
【図１０】本発明の実施形態における投影画像の特徴点の三角分割例。
【図１１】本発明の実施形態における歪み補正画像例。
【図１２】本発明の実施形態における投影情報補正後の投影状態図。
【符号の説明】
１…投影画像入力部
２…撮影画像入力部
３…投影面測定部
４…投影画像補正部
５…投影画像出力部
Claims (8)
- 投影面に対して情報を投影する投影装置に入力される投影画像と、前記投影面が撮影範囲内に映るように設置された撮影装置が撮影する撮影画像を入力し、前記投影面上で表示される前記投影画像の歪みを補正する方法であって、
前記投影画像から投影画像を補正するために利用する特徴点を抽出し、前記撮影画像から前記特徴点に対応する対応点を決定し、前記特徴点と前記対応点と投影装置および撮影装置のパラメータとを用いて前記特徴点に対応する前記投影面上の点の三次元座標を決定し、該三次元座標を用いて投影画像に対して補正を行なうことを特徴とする投影情報補正方法。 - 前記投影画像から特徴点を抽出する手順において、前記投影画像の画素値を用いて画像上の角や交点となる点を特徴点として抽出することを特徴とする請求項１記載の投影情報補正方法。
- 前記撮影画像から前記特徴点に対応する対応点を決定する手順において、前記投影画像の特徴点近傍の画素値を利用して対応点を決定する時に利用するための照合パターンを作成し、該照合パターンを利用して前記撮影画像から特徴点に対応する対応点を決定することを特徴とする請求項１または２記載の投影情報補正方法。
- 前記特徴点に対応する投影面上の点の三次元座標に対応して投影画像に対して補正を行なう手順において、前記投影画像中の特徴点を用いて該特徴点を頂点とする三角形を作成し、該三角形内部点の投影画像の補正を前記特徴点の補正値を利用して行なうことを特徴とする請求項１〜３のいずれか１項記載の投影情報補正方法。
- 前記特徴点に対応する投影面上の点の三次元座標に対応して投影画像に対して補正を行なう手順において、前記三次元座標と、前記投影面を観測している利用者の視点位置と視線方向を用いて前記投影画像を補正することを特徴とする請求項１〜４のいずれか１項記載の投影情報補正方法。
- 投影面に対して情報を投影する投影装置に入力される投影画像と、前記投影面が撮影範囲内に映るように設置された撮影装置が撮影する撮影画像を入力し、前記投影面上で表示される前記投影画像の歪みを補正する装置であって、
前記投影画像を入力する投影画像入力手段と、
前記撮影画像を入力する撮影画像入力手段と、
前記投影画像から特徴点を抽出し、該特徴点に対応する対応点を前記撮影画像から決定し、前記特徴点と前記対応点と、前記投影装置と前記撮影装置のパラメータを用いて前記特徴点に対応する前記投影面上の点の三次元座標を求める投影面測定手段と、
該三次元座標を用いて投影画像に対して補正を行なう投影画像補正手段とを備えたことを特徴とする投影情報補正装置。 - 請求項１〜５のいずれか１項に記載の投影情報補正方法における処理手順をコンピュータで実行可能に構成したことを特徴とするプログラム。
- 請求項１〜５のいずれか１項に記載の投影情報補正方法における処理手順をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能に記録したことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002329028A JP2004165944A (ja) | 2002-11-13 | 2002-11-13 | 投影情報補正方法、投影情報補正装置、プログラム、および記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002329028A JP2004165944A (ja) | 2002-11-13 | 2002-11-13 | 投影情報補正方法、投影情報補正装置、プログラム、および記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004165944A true JP2004165944A (ja) | 2004-06-10 |
Family
ID=32807147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002329028A Pending JP2004165944A (ja) | 2002-11-13 | 2002-11-13 | 投影情報補正方法、投影情報補正装置、プログラム、および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004165944A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007295375A (ja) * | 2006-04-26 | 2007-11-08 | Nippon Telegr & Teleph Corp <Ntt> | 投影映像補正装置及び投影映像補正プログラム |
| CN101232577A (zh) * | 2006-05-22 | 2008-07-30 | 佳能株式会社 | 能摄像的显示设备、图像处理设备和方法、图像显示系统 |
| JP2009135921A (ja) * | 2007-11-06 | 2009-06-18 | Panasonic Corp | 画像投影装置及び画像投影方法 |
| US7857461B2 (en) | 2007-11-06 | 2010-12-28 | Panasonic Corporation | Projector and projection method |
| CN111629191A (zh) * | 2020-06-05 | 2020-09-04 | 中影巴可（北京）电子有限公司 | 3d设备投影画面的对齐方法 |
| WO2020217348A1 (ja) * | 2019-04-24 | 2020-10-29 | 三菱電機エンジニアリング株式会社 | 画像投影システム |
| EP3968632A1 (en) * | 2020-09-09 | 2022-03-16 | Christie Digital Systems USA, Inc. | System and method for projector alignment using detected image features |
| CN114615478A (zh) * | 2022-02-28 | 2022-06-10 | 青岛信芯微电子科技股份有限公司 | 投影画面校正方法、系统、投影设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08201913A (ja) * | 1995-01-24 | 1996-08-09 | Fujitsu Ltd | イメージ投影システム |
| JPH09326981A (ja) * | 1996-06-06 | 1997-12-16 | Olympus Optical Co Ltd | 画像投影システム |
| WO1999031877A1 (fr) * | 1997-12-12 | 1999-06-24 | Hitachi, Ltd. | Dispositif d'affichage d'images a projecteurs multiples |
| WO2000018139A1 (en) * | 1998-09-23 | 2000-03-30 | Honeywell Inc. | Method and apparatus for calibrating a tiled display |
| JP2001061121A (ja) * | 1999-08-23 | 2001-03-06 | Nec Corp | プロジェクタ装置 |
| JP2001083949A (ja) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | 映像投影装置 |
-
2002
- 2002-11-13 JP JP2002329028A patent/JP2004165944A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08201913A (ja) * | 1995-01-24 | 1996-08-09 | Fujitsu Ltd | イメージ投影システム |
| JPH09326981A (ja) * | 1996-06-06 | 1997-12-16 | Olympus Optical Co Ltd | 画像投影システム |
| WO1999031877A1 (fr) * | 1997-12-12 | 1999-06-24 | Hitachi, Ltd. | Dispositif d'affichage d'images a projecteurs multiples |
| WO2000018139A1 (en) * | 1998-09-23 | 2000-03-30 | Honeywell Inc. | Method and apparatus for calibrating a tiled display |
| JP2001061121A (ja) * | 1999-08-23 | 2001-03-06 | Nec Corp | プロジェクタ装置 |
| JP2001083949A (ja) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | 映像投影装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007295375A (ja) * | 2006-04-26 | 2007-11-08 | Nippon Telegr & Teleph Corp <Ntt> | 投影映像補正装置及び投影映像補正プログラム |
| CN101232577A (zh) * | 2006-05-22 | 2008-07-30 | 佳能株式会社 | 能摄像的显示设备、图像处理设备和方法、图像显示系统 |
| JP2009135921A (ja) * | 2007-11-06 | 2009-06-18 | Panasonic Corp | 画像投影装置及び画像投影方法 |
| US7857461B2 (en) | 2007-11-06 | 2010-12-28 | Panasonic Corporation | Projector and projection method |
| WO2020217348A1 (ja) * | 2019-04-24 | 2020-10-29 | 三菱電機エンジニアリング株式会社 | 画像投影システム |
| JPWO2020217348A1 (ja) * | 2019-04-24 | 2021-10-28 | 三菱電機エンジニアリング株式会社 | 画像投影システム |
| CN111629191A (zh) * | 2020-06-05 | 2020-09-04 | 中影巴可（北京）电子有限公司 | 3d设备投影画面的对齐方法 |
| EP3968632A1 (en) * | 2020-09-09 | 2022-03-16 | Christie Digital Systems USA, Inc. | System and method for projector alignment using detected image features |
| US11303864B2 (en) | 2020-09-09 | 2022-04-12 | Christie Digital Systems Usa, Inc. | System and method for projector alignment using detected image features |
| CN114615478A (zh) * | 2022-02-28 | 2022-06-10 | 青岛信芯微电子科技股份有限公司 | 投影画面校正方法、系统、投影设备和存储介质 |
| CN114615478B (zh) * | 2022-02-28 | 2023-12-01 | 青岛信芯微电子科技股份有限公司 | 投影画面校正方法、系统、投影设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021115071A1 (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| JP5961945B2 (ja) | 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| JP5121673B2 (ja) | 画像投影装置及び画像投影方法 | |
| US9519968B2 (en) | Calibrating visual sensors using homography operators | |
| CN111935465B (zh) | 投影系统、投影装置以及其显示影像的校正方法 | |
| JP4435145B2 (ja) | 幾何情報を校正してパノラマ映像を提供する方法および装置 | |
| ES2253542T3 (es) | Procedimiento y sistema para producir informaciones formateadas relacionadas con los defectos, como minimo, de una aparato de una cadena, en especial por efecto borroso. | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| US7857461B2 (en) | Projector and projection method | |
| JP2011253376A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CN112272292B (zh) | 投影校正方法、装置和存储介质 | |
| KR20130054868A (ko) | 회귀 베지어 패치 분할에 기반하는 기하 보정 장치 및 방법 | |
| JP2013005258A (ja) | ブレ補正装置、ブレ補正方法及び帳票 | |
| JP2005326247A (ja) | 校正装置及び校正方法並びに校正プログラム | |
| JP2019530059A (ja) | 複数の対象とする領域を独立的に処理する方法 | |
| JP2012050013A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2011155412A (ja) | 投影システムおよび投影システムにおける歪み修正方法 | |
| JP2004165944A (ja) | 投影情報補正方法、投影情報補正装置、プログラム、および記録媒体 | |
| JP3812770B2 (ja) | 手ぶれパラメータ検出方法及び情報記録媒体 | |
| JP2007288295A (ja) | 観察位置追従式映像提示装置及び観察位置追従式映像提示プログラム，映像提示装置及び映像提示プログラム | |
| JP2017212638A (ja) | 表示装置、表示装置の制御方法、及びプログラム | |
| JP5955003B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
| JP2005123855A (ja) | 情報提示装置、情報提示システム、情報提示方法および情報提示プログラム | |
| JP2019016843A (ja) | 原稿読取装置、原稿読取装置の制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061121 |