JP2014143630A - 画像処理システム - Google Patents

Abstract

【課題】画像が投影された投影面に行った書込みを、ユーザの手間をかけずに自動的に取り込む画像処理システムを提供する。
【解決手段】投影手段により画像が投影される投影面を撮像する撮像手段と、投影手段により基準画像を投影面に投影した画像を撮像手段により撮像した撮像画像から、基準画像に対応する画像を探索する探索手段と、探索手段により探索した画像に基づいて撮像画像に対するパースペクティブ歪みを補正する第１補正パラメータを算出する第１補正パラメータ算出手段と、第１補正パラメータ算出手段により算出した第１補正パラメータに基づいて、一様画像を投影面に投影した画像を撮像した撮像画像に対して補正する補正手段と、を備える。
【選択図】図３

Description

本発明は、投影面に投影された画像を撮像して得た撮像画像に対して画像処理を行う画像処理システムに関する。

近年、プロジェクタを利用して複数人で同じ資料を閲覧し、その資料についての議論を行う機会が増えてきている。また、プロジェクタにより画像を投影させる投影面としてホワイトボードを利用する機会も増えてきている。加えて、ホワイトボードによる画像の投影面に書き込みを行ったり、付箋を貼ったりする等、投影面にアナログ情報を付加する機会も多くなってきている。そして、従来こういった利用シーンにおいて、付加したアナログ情報を適切に取り込めないという問題があった。

例えば、ある資料をプロジェクタでホワイトボードに投影し、投影面に文字などを書き込んだ後、カメラで撮影すると、図１４に示すような所謂パースペクティブ歪みが発生し可読性が悪くなるという問題がある。パースペクティブ歪みとは、一般に投影された画像をＣＣＤカメラ等で撮影すると、ＣＣＤカメラの撮影方向と撮像面とが垂直でないため、本来長方形に撮像されて欲しい画像が台形に歪んでしまうことをいう。

また、投影した資料は元々デジタルデータであるため必ずしも撮影する必要は無いが、書き込んだ文字を投影した資料ごと撮影した撮影画像において、投影した資料により文字の可読性が悪くなるという問題がある。一方で、撮影した文字等の内容は投影した資料と関連付けて、しかも投影した資料における位置関係が正確に再現されていることが望ましい。

上記の問題に関して、特許文献１にはホワイトボードに書いた文字や図形を簡単に取り込むことができるプロジェクタが開示されている。また、特許文献２には、表示画像において幾つかの点を手動で指定することで高さ方向の透視歪みを補正するあおり補正方法が開示されている。さらに、プロジェクタで任意の画像を投影し、それをカメラで撮影することによって歪みを検知する手法が特許文献３に開示されている。

特許文献１に開示されたプロジェクタにおいては、撮影した画像に対して台形歪み補正処理を行うことが開示されているものの、具体的な手法については全く開示されていない。

また、特許文献２に開示されたあおり補正方法によれば、あおりのある撮像画像から、あおりのない撮像画像を簡単な操作で生成することができる。しかし、そのためにはユーザが撮像画像中の幾つかの点を手動で指定しなければならず、ユーザにとって手間がかかる。

さらに、特許文献３に開示されている投影システムは、ホワイトボードに投影された投影内容の歪みを補正するために行うものであって、ホワイトボードなどの投影面に書き込まれた文字や図形を取り込むことはできない。

本発明は、このような実情に鑑みてなされたものであって、画像が投影された投影面に行った書き込みを、ユーザの手間をかけずに自動的に取り込む画像処理システムを提供することを目的とする。

上記の課題を解決するため、本発明の画像処理システムは、投影手段により画像が投影される投影面を撮像する撮像手段と、投影手段により基準画像を投影面に投影した画像を撮像手段により撮像した撮像画像から、基準画像に対応する画像を探索する探索手段と、探索手段により探索した画像に基づいて撮像画像に対するパースペクティブ歪みを補正する第１補正パラメータを算出する第１補正パラメータ算出手段と、第１補正パラメータ算出手段により算出した第１補正パラメータに基づいて、一様画像を投影面に投影した画像を撮像した撮像画像に対して補正する補正手段と、を備えることを特徴とする。

本発明によれば、画像が投影された投影面に行った書き込みを、ユーザの手間をかけずに自動的に取り込むことができる。

本発明の第１実施形態の画像処理システムのシステム構成例を示す図である。 本発明の第１実施形態の画像処理装置の概略ブロック図である。 本発明の第１実施形態の画像処理手順を示すフローチャートである。 本発明の第１実施形態の画像処理に用いる基準画像の一例である。 本発明の第１実施形態の画像処理に用いる基準画像を投影面に投影した状態である。 本発明の第１実施形態の基準画像の探索処理の手順を示すフローチャートである。 図６のステップＳ１０２の処理の概念を説明するための図である。 図６のステップＳ１０２で用いる微分フィルタの例を示す図である。 図３のステップＳ１４の探索位置補正の処理手順の詳細を示すフローチャートである。 図３のステップＳ１４に関し、姿勢パラメータが歪んだ状態を示す概念図である。 本発明の第２実施形態の画像処理装置の概略ブロック図である。 本発明の第２実施形態の画像処理手順を示すフローチャートである。 本発明を適用できるその他のシステム構成例である。 パースペクティブ歪みの概念図である。

本発明の実施形態の画像処理システムについて図面を参照して以下に説明するが、本発明の趣旨を越えない限り、何ら本実施形態に限定されるものではない。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。

なお、本発明はホワイトボードに対してプロジェクタの投影を行い、この投影動作にカメラによる撮像動作を連動させることで、手書きというアナログ手段で付加した情報をデジタル情報として保存するような画像処理システムに関する発明である。本発明の画像処理システムとして、プロジェクタやカメラと連動してパーソナルコンピュータ（以下、ＰＣとする）上で動作するソフトウェアや、カメラ・処理系を含んだプロジェクタ、プロジェクタと連動して動作するモバイル端末、もしくはプロジェクタ機能までを内部に持ったモバイル端末等への適用が見込まれる。

本発明の概略を説明すると、自動で投影、撮影が行われて取得される基準画像から得られた補正パラメータを用いて、一様画像に対する補正を行う、というものである。本発明の画像処理に係る一連の動作はユーザが意識することなく自動で行われる。そのため、ユーザの手間をかけずに適切に歪み補正を施された画像を得ることができる。また、ホワイトボードに書き込んだ内容と、補正用の基準画像を別に撮影して利用することで、手書き内容だけをきれいに抽出することができる。また、ホワイトボード全面に書き込んだ内容を抽出することが出来る。

［第１実施形態］
本発明の第１実施形態の画像処理システムについて図１から図１０を参照して説明する。図１に本実施形態の画像処理システムのシステム構成例を示す。本実施形態の画像処理システムは、図１に示すように、例えば画像処理装置としての携帯情報端末と、投影手段としてのプロジェクタ２０と、投影面であるホワイトボード３０を含んで構成される。なお、ホワイトボード３０にはユーザにより書き込みＡが行われている。

なお、以下では携帯情報端末としてスマートフォン１０を例に挙げて説明するが、本発明がこれに限定されるものでないことは言うまでもなく、携帯電話、タブレットＰＣ、あるいはノートＰＣ等であってもよい。また、本実施形態では撮像手段としてのカメラを内蔵するスマートフォン１０を例に挙げて説明しているが、本発明の画像処理システムが、カメラ単体を含んで構成されるものであってもよい。

図１に示すように、本実施形態においては、スマートフォン１０とプロジェクタ２０が有線または無線ネットワークで繋がっており、スマートフォン１０に内蔵される記録媒体には会議で議論するための各種資料が保存されている。

また、スマートフォン１０は、少なくとも任意の情報を表示する表示手段としてのディスプレイと、ディスプレイへの接触を感知するセンシング手段としてのタッチパネルと、上述のカメラと、様々な処理を実現するための演算を行うＣＰＵを搭載している。加えて、スマートフォン１０には、上記の資料等を任意の画像情報としてプロジェクタ２０へ転送する機能と、カメラで撮像した画像に対して画像処理を行える画像処理機能が含まれるアプリケーションプログラムがインストールされている。

そして、ホワイトボード３０に対して、プロジェクタ２０を使用してスマートフォン１０から転送された資料の画像が投影される。ユーザはホワイトボード３０に投影された資料を見ながら議論し、投影された資料の上にホワイトボードマーカー等を使って自由に手書きで文字や図形を書き込む。

また、ユーザがホワイトボード３０に書き込んだ内容を保存したいと考えたとき、上述のアプリケーションを起動して撮影機能を呼び出す。撮影機能が呼び出されるとスマートフォン１０はカメラから得られた画像を随時ディスプレイにプレビュー表示する。

次に、本実施形態の画像処理装置としてのスマートフォン１０の概略構成について図２を参照して説明する。本実施形態のスマートフォン１０は、撮像部１１と、探索部１２と、第１補正パラメータ算出部１３と、補正部１４と、ぶれ検出手段としての加速度検知部１５と、判定部１６と、第１パラメータ補正部１７とで構成される。

撮像部１１は露光を調整する露光調整部２１を備えている。露光調整部２１の動作については後述する。また、第１パラメータ補正部１７は、姿勢パラメータ推定部１７１と姿勢パラメータ補正部１７２とを備えているが、これらについても後述する。

撮像部１１は、上述したように本実施形態のスマートフォン１０に内蔵されるカメラであり、これによりプロジェクタ２０により画像が投影される投影面を撮像する。なお、本実施形態においては、投影される画像データはスマートフォン１０からプロジェクタ２０に上述のネットワークを介して送信される。

また、撮像部１１は、プロジェクタ２０により基準画像をホワイトボード３０に投影した画像と一様画像をホワイトボード３０に投影した画像を略同時に撮影する。これにより、各画像の撮像間での撮像部１１、プロジェクタ２０、及びホワイトボード３０の位置関係は殆ど同じとなり、ぶれの少ない撮像画像を得ることができる。

探索部１２は、プロジェクタ２０により基準画像をホワイトボード３０に投影した画像をカメラにより撮像した撮像画像から、基準画像に対応する画像を探索する。ここで、基準画像とはコーナーを多く含む画像であって、あまり規則的でない画像であれば何でも良い。例えば図４に示すように、風になびく草原の画像等を用いればよい。但し、投影する基準画像と、資料として投影する画像を同サイズとしておく必要がある。

ここで、投影面いっぱいに表示された基準画像を含む撮像画像において基準画像を探索するということは、投影面が撮像画像においてどこにあるかを探索することに他ならない。撮像画像において投影面がわかるということは、一様画像の撮影画像において投影面がわかるということとほぼ同義である。

また、仮に基準画像を最初に撮影し、撮像部１１、プロジェクタ２０、ホワイトボード３０の位置で決まるパースペクティブ歪みを補正するパラメータを算出し、以降の撮影では、算出されたパラメータに基づいて歪み補正を行う手法をとったとする。この場合でも、撮影画像すべてに対して歪み補正が好適になされる。一方、この手法をとると、撮像部１１、プロジェクタ２０、ホワイトボード３０の位置がずれることが無いようにユーザが意識する必要があり、不便である。

一方、本発明においては基準画像を毎回の撮影時に撮影することで、ユーザは、撮像部１１、プロジェクタ２０、ホワイトボード３０の位置がずれることを気にすることなく、歪み補正がなされた撮像画像を得ることが出来る。

また、歪み補正により、投影面が、基準画像に合致するような射影変換が施される。さらに、上述のように、基準画像と資料として投影する画像が同サイズであるため、補正された手書き画像の位置は投影していた資料における位置に完全に一致することになる。例えば、補正後の手書き画像に対して二値化を行い、背景を透過させて資料に重ね合わせれば、投影した資料に書き込んだ手書き内容をきれいに再現することができる。

第１補正パラメータ算出部１３は、探索部１２により探索した基準画像に対応する画像に基づいて撮像部１１により撮像された撮像画像に対するパースペクティブ歪みを補正する第１補正パラメータを算出する。

補正部１４は、第１補正パラメータ算出部１３により算出した第１補正パラメータに基づいて、一様画像を投影面に投影した画像を撮像した撮像画像に対して補正する。『一様画像』とは均一な色からなる画像のことをいう。なお、本実施形態においては、後述するように一様画像として白画像を使用するが、概ね一様でさえあれば黒画像を使用してもよい。また、一様画像として白画像や黒画像に限定されず、均一な色からなる画像であれば、その他の色からなる画像であってもよい。なお、例えば一様画像として真っ白な画像を投影すれば、手書き内容だけが撮像されることになり、資料を背景に撮像した場合に比べて、手書き内容が読みやすくなるという効果が得られる。

撮像部１１による基準画像と一様画像の撮像間のぶれを検出するぶれ検出手段としての加速度検知部１５は、撮像部１１に与えられた加速度を検知する加速度センサである。本実施形態においては、ぶれ検出手段として加速度センサを使用しているが、これに限定されず携帯情報端末等による撮影時のぶれを検出できる手段であればよい。

なお、加速度センサにより、基準画像と一様画像の撮像間での手ぶれを検知し、検知結果を第１補正パラメータに反映させることにより、撮像間での撮像部１１、プロジェクタ２０、ホワイトボード３０の位置関係が変化しても、手ぶれの影響を軽減することが可能となる。

判定部１６は、加速度検知部１５により検出したぶれの大きさと予め定められた第１の閾値との比較に基づいて補正部１４による補正が可能かどうかを判定する。第１の閾値には、加速度検知部１５により検知されたぶれの大きさを示す加速度のうち、補正部１４による補正が許容される限界値を設定する。

例えば、基準画像と一様画像の撮像間での手ぶれが大きすぎるときには、基準画像の探索を実施できない。そのため、補正部１４による補正が許容される限界値を設定し、加速度の許容限界値を超えて補正ができないと判定されたときは、ユーザに再撮影を促すこととする。こうすることで、後で確認したら画像がうまく補正されていなかったという不具合をなくすことが出来るので、ユーザは安心して本システムを使用することができる。

第１パラメータ補正部１７は、加速度検知部１５により検知された加速度が予め定められた第２の閾値以上であるとき、第１補正パラメータ算出部１３により算出した第１補正パラメータを、検知された加速度に基づいて補正する。第２の閾値には、加速度検知部１５により検知されたぶれの大きさを示す加速度のうち、第１補正パラメータを補正する必要があるかどうかを判定する境界値を設定する。

次に、本実施形態の画像処理の手順について図３のフローチャートを参照して説明する。まず、ユーザはスマートフォン１０のディスプレイにおいてプレビューを見ながら、ホワイトボード３０に照準を合わせ、ディスプレイをタッチすることでスマートフォン１０に対して撮像指示を出す（ステップＳ１）。なお、これ以降はスマートフォン１０により自動的に処理され、ユーザによる操作を要しない。

ユーザによる撮像指示の後、スマートフォン１０からプロジェクタ２０に一様画像として真っ白な画像を送信され、プロジェクタ２０によりホワイトボード３０に真っ白な画像が投影される（ステップＳ２）。このとき、ホワイトボード３０にはユーザによる書き込みＡだけが見えていることになる。

続いて、撮像部１１において、露光調整部２１により画面の中央部を基準として露光調整が行われる（ステップＳ３）。これは、撮像画像全体が白飛びして書き込み内容が撮影できなくなるのを防ぐためである。また、本実施形態では、真っ白な画像を投影した後で撮像前に撮像部１１の露光調整を行っているが、これは、白とびで手書き内容が撮像できなくなってしまう可能性を防ぐためである。

なお、一般に露光調整は、撮像したいものに合わせて行うが、ユーザの意図する構図上、通常は撮像したいものが撮像面のどこにあるか不明である。そのため何らかの手段でユーザに露光調整の位置を指定させるカメラも少なくない。一方、本発明の場合、ユーザが撮影したいものはホワイトボードで有り、ほぼそれが真ん中になるように撮像されると考えられるため、基準位置を画面の中央部に固定している。これによりユーザに不要な手間を与える必要が無く、適切に露光を調整できる。

さらに、投影する画像を切り替えるたびに、露光調整を行っていると、一様画像の撮像と基準画像の撮像の間に大きなタイムラグが発生してしまい、手振れ発生の可能性が増える。そのため、本実施形態では、露光調整を１回とすることが望ましい。

さらに、本実施形態における露光調整は手書き文字情報の白とびの発生を防止することに留意する。一方で、投影する一様画像の撮像画像は真っ白な画像であり、基準画像と比較すると、一様画像の撮像画像の方が必ず明るくなる。そのため一様画像の撮像で露光調整を行えば白とびの発生を確実に抑制することができ、露光調整を１回で済ませることが出来る。

その後、スマートフォン１０の撮像部１１によりホワイトボード３０が撮影される（ステップＳ４）。なお、図においては簡略化のため、ホワイトボードを「ＷＢ」としている。そして、加速度検知部１５により撮像部１１に与えられた加速度を検知する（ステップＳ５）。

その後、予めスマートフォン１０に保存されていた基準画像がプロジェクタ２０に送信され、プロジェクタ２０によりホワイトボード３０の全面に基準画像が投影される（ステップＳ６）。そして、撮像部１１により再度ホワイトボード３０を撮影する（ステップＳ７）。

その後、ステップＳ７において撮像部１１により得られた撮像画像の中における、基準画像の位置を探索する（ステップＳ８）。基準画像の位置探索の手法については後述する。

その後、判定部１６は、加速度検知部１５により検知された加速度が第１の閾値よりも小さいか大きいかを判定する（ステップＳ９）。判定の結果、検知された加速度が第１の閾値より大きい場合には（ステップＳ９、大きい）、補正不可能であることをディスプレイに表示してユーザに通知し、再度の撮像指示を促す（ステップＳ１）。

一方、検知された加速度が第１の閾値よりも小さい場合（ステップＳ９、小さい）、次に検知された加速度が第２の閾値より小さいか大きいかを判定する（ステップＳ１０）。検知された加速度が第２の閾値より小さい場合（ステップＳ１０、小さい）、ステップＳ１１へ移行する。一方、検知された加速度が第２の閾値より大きい場合（ステップＳ１０、大きい）、探索された基準画像の位置を補正し（ステップＳ１４）、ステップＳ１１へ移行する。

基準画像の探索位置を補正するステップＳ１４においては、探索した基準画像の位置から撮像部１１と基準画面との位置関係を表す緯度経度・回転・ズームパラメータを推定する。本発明においては、これらのパラメータを総称して姿勢パラメータとする。そして加速度センサの出力に基づいて、それらの姿勢パラメータを変化させて、もう一度基準画像の探索位置を再計算することで、探索位置の補正を行う。

姿勢パラメータを推定することにより、加速度センサの出力に基づいて、姿勢パラメータを変化させ、もう一度基準画像の探索位置を計算しなおす。探索位置の補正を行えば、若干の手ぶれがあっても正確な歪み補正を行うことが可能である。結果として、ユーザは不必要に手ぶれを警戒しなくても良くなるのでユーザの利便性が向上する。

そして、第１補正パラメータ算出部５３は、得られた基準画像の位置から第１補正パラメータとしての射影変換マトリクスを算出し（ステップＳ１２）、該マトリクスを用いて撮影画像に対して補正が行われる（ステップＳ１３）。

次に、上述した処理手順における各処理のアルゴリズムについて具体的に説明する。

［基準画像探索］
基準画像探索は基準画像の撮像画像から投影していた基準画像を探す処理である。図５に示すように一様画像の撮像画像はホワイトボード３０に基準画像が投影された画像になっており、図中の黒丸で示した点の位置を見つけることが本処理の目的である。

そのため非特許文献１に記載された処理を行う。以下その概略について図６を参照して説明する。まず基準画像に対して、画像中で画素値が極大・極小となる点と、その基準サイズの検出を行う（ステップＳ１０１）。さらに、検出された極大・極小点それぞれについてコーナーらしい点だけを選別する（ステップＳ１０２）。なお、ここで言うコーナーとは画素値が２つの方向に変動している点を示すものとする。また、以下の説明において選別された極大・極小点のことを「Key point」とする。

その後、各「Key point」について、基準となる角度を算出する（ステップＳ１０３）。その後、算出した各「Key point」の基準サイズと基準角度に基づいて周辺領域を参照しながら、画素値勾配に基づいた１２８次元の特徴量を算出する（ステップＳ１０４）。同様に、一様画像の撮像画像についてもステップＳ１０５〜１０８の各処理を行うことによって、「Key point」の位置と各「Key point」についての特徴量を算出する。

基準画像と、一様画像の撮像画像から得られた特徴量を比較し、ユークリッド距離が近いものを選別することで、２枚の画像における各「Key point」の対応点を見つける（ステップＳ１０９）。そして、それら対応点を用いて補正マトリクスを算出する（ステップＳ１１０）。これにより、基準画像の４隅を基準画像の撮像画像における基準画像の４隅に変換するマトリクスが得られる。このマトリクスによって、基準画像の４隅を変換すれば、基準画像の位置を表す４点を求めることができる（ステップＳ１１１）。なお、ステップＳ１１０で算出した補正マトリクスは上述した探索位置を補正するステップＳ１４で使用する。

以上のように、本実施形態では、基準画像の探索を多数の局所領域の対応を利用して確率的に行っている。全ての局所領域の対応をとらなくて良いため、手書き内容や、ホワイトボードの汚れ、投影面がホワイトボードよりも広い領域であったなどといった外的な影響に対して、非常にロバストに基準位置の探索を行うことが出来る。

以下、図６で示した基準画像探索の処理工程を構成する各処理の詳細について説明する。

［基準サイズ検出（ステップＳ１０１）］
ここでは、入力画像に対して画像処理を施し、基準サイズの検出とコーナーの位置検出とを同時に行う。まず、入力画像に対して段階的に標準偏差を変化させたガウシアンフィルタ５枚（σ0〜σ4）を施して、連続したぼかし画像を５枚得る。続いて、各ぼかし画像において画素値として極大、もしくは極小の位置を極値として検出する。

検出した極値であって、かつ連続したぼかし画像における同座標の点を比較し、連続するぼかし画像においても極大、もしくは極小である点をコーナー候補として検出する。また、極値が得られたフィルタの標準偏差σｎを基準サイズとして保持する。

［基準画像におけるコーナー選別（ステップＳ１０２）］
ここでは、検出された各コーナー候補をについて変動が少ないもの、また変動が２方向に発生していないものを除去する。変動が１方向にしか発生していない点は例えば直線状の点で対応する点が正確に取れないので、変動が２方向になっているものを選択するのである。

変動が２方向になっているものを選択するには、まず各画素に対して、例えば図８に示すような、縦方向の２次微分と横方向の２次微分、及び縦横方向の微分フィルタを画像へ適用することで、縦方向、横方向、縦横方向の変動を示すような応答を求め、ヘシアンマトリクスを作成する。

その固有値を求めると、最も変動の大きい方向とその変動成分αが求まる。同様に、該方向に直行する方向の変動成分βも求めることができる。この時画像の構造に対してαとβがどのような値になるかの関係は図７のように示せる。なお、α≧βなので斜線部は存在しない。小さい方の変動βが十分に大きい場合、注目画素の周辺は少なくとも２つの方向に対して大きく変動しているということがいえるのでは該領域は、何もない領域ではなく、単純なエッジでもない。つまり、コーナーとして検出できる。

縦横方向に変動のある領域をコーナーとして検出すると斜め方向への変動を検出することができない。一方で斜め方向の変動を検出するために様々な方向の変動を検出すると非効率的であるが、固有値を求めて小さい方の変動βを調べると、最も変動が大きい方向に直行する変動が一意に求まる。小さいほうの変動が十分に大きければコーナーと判定することで、様々な向きを向いたコーナーを効率よく検出できるため、コーナー検出のための計算コストが小さくなる。

［基準画像における基準角度算出（ステップＳ１０３）］
基準角度算出ステップでは、周辺の濃度勾配が最も大きい方向を基準角度として以下のように算出する。画像の画素値をＬ（ｕ，ｖ）、勾配強度をｍ（ｕ，ｖ）、勾配方向をθ（ｕ，ｖ）とすると、それぞれは以下のように算出できる。

その後、勾配方向θ（ｕ，ｖ）を１０度ずつ、３６方向に離散化したヒストグラムを用意する。該ヒストグラムには、勾配強度ｍ（ｕ，ｖ）に対し、注目画素を中心とするガウシアンを掛け合わせた値を加算していく。該ヒストグラムに於いて最も大きな値を示す角度が最も変動が大きい方向、つまり基準方向となる。

［基準画像における特徴量算出（ステップＳ１０４）］
入力画像においてコーナーを中心として基準方向を上とし、また基準サイズσ_nを用いてコーナー近辺の半径２σ_nとなる領域を切り出し、一辺４ブロックの計１６ブロックに分割する。ブロックごとに４５度ずつ、８方向の勾配ヒストグラムを作成することにより、４×４×８＝１２８次元の特徴量が得られる。このように特徴量は基準サイズと基準角度を用いて正規化されているので、投影画像と撮影画像との間で画像の大きさの変化や回転が発生したとしても対応する点の特徴量は類似した値になりやすい。

［特徴量比較（ステップＳ１０９）・補正マトリクス算出（ステップＳ１１０）］
ここまでで投影画像と撮影画像とで、それぞれ多数の「Key point」およびその周辺で正規化された特徴量が得られている。これらから変換マトリクスを求める。まず、投影画像と撮影画像とで特徴量のユークリッド距離を算出し、それぞれ最も近ものを選択することで、各「Key point」の対応が取れているものとする。

ここで投影画像における「Key point」の位置を点列として（ｘ₀，ｙ₀，ｚ₀），（ｘ₁，ｙ₁，ｚ₁），・・・，（ｘ_n，ｙ_n，ｚ_n）とし、一方で撮影画像における「Key point」の位置を点列として、（ｘ′₀，ｙ′₀，ｚ′₀），（ｘ′₁，ｙ′₁，ｚ′₁），・・・，（ｘ′_n，ｙ′_n，ｚ′_n）とする。なお、添え字が同じなら対応する点であると判定する。そして、以下の変換マトリクスによって対応点が射影される。

そして、以下の式で示されるそれらの二乗誤差和を最小化する用にＨの各要素を求めれば良い。Levenberg‐Marquardt法などを用いて数値的に解くことが可能である。

［探索位置補正（ステップＳ１４）］
探索位置補正について図９を参照して説明する。補正マトリクスは３×３のマトリクスであった。このマトリクスは、本来、真正面から適正な距離で見れば、単位行列であったはずであるところを、図１０に示すようにチルトθ、経度ｆ、緯度ｅ、ズームｇで見たために、歪んでしまったものである。

この歪みのプロセスは、以下の式に示すような線形変換で表すことができ、ここまでに補正マリクスにおけるｈ₁₁，ｈ₁₂，ｈ₂₁，ｈ₂₂がそれぞれａ，ｂ，ｃ，ｄに対応する。未知数であるチルトθ、経度ｆ、緯度ｅ、ズームｇに対して式が４つあるため、姿勢パラメータを推定するステップＳ２０１において連立方程式を解くことで、全未知数を求めることが出来る。

その後、加速度センサにより得られた、一様画像の撮像と、基準画像の撮像との間で発生した向きの変化を用いて、姿勢パラメータを補正するステップＳ２０２にてチルトθ、経度ｆ、緯度ｅ、ズームｇを補正すれば、その後の座標変換（ステップＳ２０３）により一様画像の撮像と基準画像の撮像との間で発生した向きの振れを正確に補正することが出来る。また、加速度センサで検知した平行移動成分を用いてｈ₁₃，ｈ₂₃を補正すれば手ぶれによる平行移動も補正することが出来る。但し、こちらについては、投影面のサイズが不明なため、正確に補正することは不可能であるため、移動量と補正量を経験的に決めている。

以上のように、本実施形態によれば、歪み補正マトリクスから推定したパラメータと、加速度センサの検知結果によって若干の手振れに対してロバストに一様画像の撮像における投影面の推定が出来るため、良好な歪み補正を施した画像が得られる可能性が高くなる。

［補正パラメータ算出（ステップＳ１２）］
ここまでに基準画像の４隅と一様画像の撮像画像における基準画像の４隅がわかっているので、射影変換マトリクスとしての歪み補正マトリクスを簡単に算出することが出来る。歪み補正マトリクスは撮影した画像中の点（ｘ_n，ｙ_n）を基準画像における点（ｘ′_n，ｙ′_n）に射影するようなマトリクスである。以下の式で示すように未知数が８となるため、８元連立方程式を立てて解くことが必要になる。

ここで、撮影画像中における４点（ｘ_n，ｙ_n）と基準画像における４点（ｘ′_n，ｙ′_n）を指定すればｘ、ｙそれぞれにつき４つの方程式、合わせて８つの方程式を作ることが可能であり、マトリクスの要素を全て求めることが可能である。なお、添え字のｎ（０≦ｎ≦４）は各点のインデックス番号を示すものとする。

４点を代入してまとめると以下の連立方程式になるので、これをGauss‐Jordan法等で数値解析的に解くと射影変換マトリクスを求めることができる。

なお、上述したように本発明の第１実施形態では、一様画像として真っ白な画像を用いたが、概ね一様でさえあれば、黒画像でも構わない。但し、白とびを抑制するための露光は一様画像の投影画像と基準画像の投影画像とで明るいほうの画像に合わせたほうが良い。また、本発明においては、必ずしも基準画像を後に撮影する必要は無い。よって、ユーザの利便性を考え、基準画像と一様画像を投影する順番や、露光調整を行うための画像の選択を適宜変更しても良い。

［第２実施形態］
次に、本発明の第２実施形態の画像処理システムについて図１１及び図１２を参照して説明する。システム構成としては第１実施形態と同様であるが、加速度センサのセンシング結果に基づいて歪み補正パラメータを補正するのではなく、画像処理によって得られた結果に基づいて歪み補正パラメータを補正する点で第１実施形態と異なっている。なお、以下において第１実施形態と同様の構成・処理については説明を省略する。

本発明の第２実施形態の画像処理装置としてのスマートフォン５０の概略構成としては、図１１に示すように、第１実施形態における加速度検知部１５、判定部１６、並びに第１パラメータ補正部１７に代えて、第２補正パラメータ算出部５６及び第２パラメータ補正部５７を備えたことに特徴がある。

第２補正パラメータ算出部５６は、一様画像の撮像において抽出したエッジを第２補正パラメータとして算出する。また、第２パラメータ補正部５７は、第１補正パラメータ算出部５３により算出した第１補正パラメータを、第２補正パラメータ算出部５６により算出した第２補正パラメータに基づいて補正する。つまり、第２補正パラメータとしてのエッジに基づいて第１補正パラメータとしての射影変換マトリクスを補正するのである。

次に、本実施形態の画像処理手順について、図１２を参照して説明する。なお、上述したように、第１実施形態と同様の手順については説明を省略する。ステップＳ３０３における露光調整の後、加速度検出部５５によりスマートフォン５０に発生している加速度をモニタリングして、加速度が限りなく小さくなるまで待機する（ステップＳ３０４）。なお、加速度の値がゼロであると尚よい。

その後、各投影画像を撮像し（ステップＳ３０６からＳ３０８）、基準画像探索の処理において、第２補正パラメータ算出部は、一様画像の撮像において第２補正パラメータとしてのエッジを抽出する（ステップＳ３０９）。この基準画像探索で得られた基準画像の４隅を直線でつなぎ、その直線周辺付近以外ではエッジ検出を行わないようにする。

その後、第２パラメータ補正部５７は、検出されたエッジに対してhough変換で直線を求め、その交点を持って、補正後の基準画像位置とする（ステップＳ３１０）。そして、補正後の基準画像位置から第１補正パラメータとしての射影変換マトリクスを算出し（ステップＳ３１１）、補正部５４は該マトリクスを用いて一様画像の撮像に対して補正が行われる（ステップＳ３１２）。

本発明の第２実施形態によれば、基準画像の撮像において基準画像を探索した後、基準画像が有ると考えられる領域周辺でエッジ探索を行い、投影面を探索することで、手ぶれが発生しても、良好に歪み補正が行うことが可能となるのである。

また、本発明の第２実施形態において、撮像指示はスマートフォン５０の表示部をタッチすることで行われるが、この動作は非常に手ぶれを発生させやすい。そのため、本発明の第２実施形態においてば、撮像指示があってすぐに撮像を行うのではなく、タッチしてから、スマートフォンの動きが安定するまで撮像を行わない構成としている。これにより手ぶれ発生の可能性が低まり、良好な歪み補正画像を得ることが可能となるのである。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本発明の実施形態においては、図２で示したようなシステム構成を仮定したが、本発明はカメラ、プロジェクタ、ＰＣなどの演算装置があれば実施できるため、他にも様々なシステムへの適用が可能である。

また、演算装置はＰＣ上で動作するソフトウェアでも実装できるが、専用の回路を組んでハードウェアで実現しても全く問題ない。以下において他の様々なシステム構成を例示する。

［他のシステム構成１］
図１３（ａ）に示すように、他のシステム構成１では、プロジェクタ１０２にカメラ機能１０２２をもたせ、ノートＰＣ１０３から送られてくる画像データに基づいてプロジェクタ１０２がホワイトボード１０１へ投影を行うものである。このとき、基準画像はプロジェクタ１０２に内蔵される記録部に予め保存されていた画像を用いる。また、これまでに説明した補正パラメータ算出手段、パラメータ補正手段、補正手段といった画像処理手段が、プロジェクタ１０２にハードウェアとして実装されているものとする。

但し、一部の基準画像はノートＰＣ１０３に保持されていても良いし、画像処理手段の一部がノートＰＣ１０３のＣＰＵを用いてソフトウェア的に実装されていてもよい。

［他のシステム構成２］
図１３（ｂ）に示す他のシステム構成２では、カメラ２０４とプロジェクタ２０２と演算装置としてのＰＣ２０３のように、それぞれ別のデバイス上に実装されているものとする。補正パラメータ算出手段、補正パラメータ修正手段、補正手段といった画像処理手段をＰＣ２０３上で動作するソフトウェアで実装すれば、既存のデバイスを用いて本発明を実施することが可能である。

［他のシステム構成３］
最後にスマートフォン３０３のみを用いたシステム構成について図１３（ｃ）を参照して説明する。他のシステム構成３では、補正パラメータ算出手段や補正パラメータ修正手段、補正手段といった画像処理手段が第１実施例同様、スマートフォン上で動作するソフトウェアとして実装される。近年ではカメラが搭載されたスマートフォンは珍しくなく、さらにプロジェクタ機能を搭載したスマートフォンも近年登場しており、この構成で本発明の効果を十分に得ることが可能である。

１０、５０ スマートフォン
１１、５１ 撮像部
１２、５２ 探索部
１３、５３ 第１補正パラメータ算出部
１４、５４ 補正部
１５、５５ 加速度検知部
１６ 判定部
１７ 第１パラメータ補正部
２０ プロジェクタ
２１ 露光調整部
３０ ホワイトボード
５６ 第２補正パラメータ算出部
５７ 第２パラメータ補正部
１７１ 姿勢パラメータ推定部
１７２ 姿勢パラメータ補正部

特開２００４−２３９９６７号公報 特開２００１−８４３６５号公報 特開２０１２−０９５１８１号公報

David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, 2004

Claims (10)

1. 投影手段により画像が投影される投影面を撮像する撮像手段と、
   前記投影手段により基準画像を投影面に投影した画像を前記撮像手段により撮像した撮像画像から、前記基準画像に対応する画像を探索する探索手段と、
   前記探索手段により探索した画像に基づいて前記撮像画像に対するパースペクティブ歪みを補正する第１補正パラメータを算出する第１補正パラメータ算出手段と、
   前記第１補正パラメータ算出手段により算出した第１補正パラメータに基づいて、一様画像を投影面に投影した画像を撮像した撮像画像に対して補正する補正手段と、
   を備えることを特徴とする画像処理システム。
2. 前記撮像手段は、前記投影手段により基準画像を投影面に投影した画像と一様画像を投影面に投影した画像を略同時に撮像することを特徴とする請求項１記載の画像処理システム。
3. 前記撮像手段による基準画像と一様画像の撮像間のぶれを検出するぶれ検出手段と、
   前記ぶれ検出手段により検出したぶれの大きさと予め定められた第１の閾値との比較に基づいて前記補正手段による補正が可能かどうかを判定する判定手段と、
   を備えることを特徴とする請求項１又は２記載の画像処理システム。
4. 前記ぶれ検出手段は前記撮像手段に与えられた加速度を検知する加速度検知手段であって、
   前記加速度検知手段により検知された加速度が予め定められた第２の閾値以上であるとき、第１補正パラメータ算出手段により算出した第１補正パラメータを、前記検知された加速度に基づいて補正する第１パラメータ補正手段と、
   を備えることを特徴とする請求項３記載の画像処理システム。
5. 前記第１パラメータ補正手段は、
   前記探索手段により探索された画像の位置からカメラと投影面に対する姿勢パラメータを推定する姿勢パラメータ推定手段と、
   前記加速度検知手段により検知された加速度に基づいて、前記探索された画像の位置を再計算することにより前記姿勢パラメータを補正する姿勢パラメータ補正手段と、
   を備えることを特徴とする請求項４記載の画像処理システム。
6. 一様画像に基づいて投影面の位置を推定する第２補正パラメータを算出する第２補正パラメータ算出手段と、
   前記第１補正パラメータ算出手段により算出した第１補正パラメータを、第２補正パラメータ算出手段により算出した第２補正パラメータに基づいて補正する第２パラメータ補正手段とを備え、
   前記補正手段は、第２パラメータ補正手段により補正された第１補正パラメータに基づいて、一様画像を投影面に投影した画像を撮像した撮像画像に対して補正することを特徴とする請求項１又は２記載の画像処理システム。
7. 前記撮像手段は、前記加速度検知手段により検知された加速度が限りなく小さくなったとき、一様画像を投影面に投影した画像を撮像することを特徴とする請求項４又は５記載の画像処理システム。
8. 前記撮像手段は、撮像前に露光を調整する露光調整手段を備えることを特徴とする請求項１から７の何れか１項に記載の画像処理システム。
9. 前記露光調整手段は撮像画像の中心を基準として露光を調整することを特徴とする請求項８記載の画像処理システム。
10. 前記露光調整手段は基準画像と一様画像の撮像間に露光を調整することを特徴とする請求項８又は９記載の画像処理システム。

Images