JP2012027608A - 画像処理装置 - Google Patents

Abstract

【構成】ＣＰＵ３６は、互いに異なる角度から対象物を撮影することで得られた複数フレームの画像データを取り込み、取り込まれた画像データに基づいて対象物の３次元モデルを作成し、そして作成された３次元モデルの表面の歪みを検出する。ＣＰＵ３６はまた、検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成し、作成された逆歪み情報と対象物の表面で指定された基準位置とに基づいて再生画像データに歪みを付与する。付与された歪みを有する再生画像データはプロジェクション系ＰＲＪによって光学像に変換され、変換された光学像は対象物に投影される。
【効果】歪みを有する対象物に投影される画像の視認性が向上する。
【選択図】図２

Description

この発明は、画像処理装置に関し、特に、互いに異なる角度から対象物を撮影することで得られた複数の対象物画像に基づいて画像処理を実行する、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、対象物の位置と垂直基準棒の床面位置とを参照して、オリジナル画像ｎ（１≦ｎ≦８）における対象物の位置が揃えられ、かつ対象物の大きさを同じにする画像倍率がオリジナル画像ｎ毎に算出される。オリジナル画像ｎの倍率は、算出された画像倍率に従って変換される。これによって、高精度のカメラキャリブレーションを実施することなく、被写体の大きさや位置などが一致している見易い臨場感のある画像を生成することができる。

特開２００８−１０９４８１号公報

しかし、背景技術では、オリジナル画像ｎに基づいて対象物の表面の歪みが算出されることはなく、対象物の表面に画像が投影ないし貼付されることもない。したがって、背景技術では、画像を対象物の表面に投影ないし貼付したときに画像の視認性が低下する。

それゆえに、この発明の主たる目的は、歪みを有する対象物に投影ないし貼付される画像の視認性を向上させることができる、画像処理装置を提供することである。

この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、互いに異なる角度から対象物を撮影することで得られた複数の対象物画像を取り込む取り込み手段(S35)、取り込み手段によって取り込まれた複数の対象物画像に基づいて対象物の表面の歪みを検出する検出手段(S41~S67)、検出手段によって検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成する作成手段(S69)、および作成手段によって作成された逆歪み情報と対象物の表面の基準位置とに基づいて指定画像に歪みを付与する付与手段(S101)を備える。

好ましくは、逆歪み情報は検出手段によって検出された歪みの大きさと同じ大きさをパラメータの他の一部として有する。

好ましくは、基準位置を指定する指定操作を受け付ける受け付け手段(S91~S93)がさらに備えられる。

好ましくは、付与手段によって付与された歪みを有する指定画像を基準位置に対応して出力する出力手段(S103, 44, 46)がさらに備えられる。

ある局面では、出力手段は、光学像を投影する投影手段(46)、および指定画像に基づいて投影手段を駆動する駆動手段(44)を含む。

他の局面では、出力手段は、指定画像を用紙に印刷する印刷手段(S115)、および基準位置に対応する位置を用紙にマークするマーキング手段(S117)を含む。

この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(36)に、互いに異なる角度から対象物を撮影することで得られた複数の対象物画像を取り込む取り込みステップ(S35)、取り込みステップによって取り込まれた複数の対象物画像に基づいて対象物の表面の歪みを検出する検出ステップ(S41~S67)、検出ステップによって検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成する作成ステップ(S69)、および作成ステップによって作成された逆歪み情報と対象物の表面の基準位置とに基づいて指定画像に歪みを付与する付与ステップ(S101)を実行させるための、画像処理プログラムである。

この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、互いに異なる角度から対象物を撮影することで得られた複数の対象物画像を取り込む取り込みステップ(S35)、取り込みステップによって取り込まれた複数の対象物画像に基づいて対象物の表面の歪みを検出する検出ステップ(S41~S67)、検出ステップによって検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成する作成ステップ(S69)、および作成ステップによって作成された逆歪み情報と対象物の表面の基準位置とに基づいて指定画像に歪みを付与する付与ステップ(S101)を備える。

この発明に従う外部制御プログラムは、メモリ(52)に保存された内部制御プログラムに従う処理を実行するプロセッサ(36)を備える画像処理装置(10)に供給される外部制御プログラムであって、互いに異なる角度から対象物を撮影することで得られた複数の対象物画像を取り込む取り込みステップ(S35)、取り込みステップによって取り込まれた複数の対象物画像に基づいて対象物の表面の歪みを検出する検出ステップ(S41~S67)、検出ステップによって検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成する作成ステップ(S69)、および作成ステップによって作成された逆歪み情報と対象物の表面の基準位置とに基づいて指定画像に歪みを付与する付与ステップ(S101)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。

この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(54)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(52)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(36)を備える画像処理装置であって、外部制御プログラムは、互いに異なる角度から対象物を撮影することで得られた複数の対象物画像を取り込む取り込みステップ(S35)、取り込みステップによって取り込まれた複数の対象物画像に基づいて対象物の表面の歪みを検出する検出ステップ(S41~S67)、検出ステップによって検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成する作成ステップ(S69)、および作成ステップによって作成された逆歪み情報と対象物の表面の基準位置とに基づいて指定画像に歪みを付与する付与ステップ(S101)を内部制御プログラムと協働して実行するプログラムに相当する。

この発明によれば、指定画像に付与される歪みは、逆歪み情報と対象物の表面の基準位置とに基づいて定義される。ここで、逆歪み情報は、対象物の表面の歪みの方向と逆の方向をパラメータの一部として有する。したがって、歪みが付与された指定画像を基準位置に対応して対象物に貼付ないし投影すると、特定角度から眺めたときに指定画像の歪みが低減される。こうして、歪みを有する対象物に投影ないし貼付される画像の視認性が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 （Ａ）は図２実施例において参照されるレジスタの構成の一例を示す図解図であり、（Ｂ）は図２実施例において参照される他のレジスタの構成の一例を示す図解図であり、（Ｃ）は図２実施例において参照されるその他のレジスタの構成の一例を示す図解図である。 歪み測定モードにおける図２実施例の動作の一部を示す図解図である。 （Ａ）は歪み測定モードにおいて生成された対象物画像の一例を示す図解図であり、（Ｂ）は歪み測定モードにおいて生成された対象物画像の他の一例を示す図解図であり、（Ｃ）は歪み測定モードにおいて生成された対象物画像のその他の一例を示す図解図である。 （Ａ）は再生すべき画像の一例を示す図解図であり、（Ｂ）は逆歪み補正を施された画像の一例を示す図解図である。 プロジェクションモードにおける図２実施例の動作の一部を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 この発明の他の実施例の構成を示すブロック図である。 この発明のその他の実施例の構成を示すブロック図である。 図１７実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 図１７実施例に適用されるＣＰＵの動作の一部を示すフロー図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。取り込み手段１は、互いに異なる角度から対象物を撮影することで得られた複数の対象物画像を取り込む。検出手段２は、取り込み手段１によって取り込まれた複数の対象物画像に基づいて対象物の表面の歪みを検出する。作成手段３は、検出手段２によって検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成する。付与手段４は、作成手段３によって作成された逆歪み情報と対象物の表面の基準位置とに基づいて指定画像に歪みを付与する。

指定画像に付与される歪みは、逆歪み情報と対象物の表面の基準位置とに基づいて定義される。ここで、逆歪み情報は、対象物の表面の歪みの方向と逆の方向をパラメータの一部として有する。したがって、歪みが付与された指定画像を基準位置に対応して対象物に貼付ないし投影すると、特定角度から眺めたときに指定画像の歪みが低減される。こうして、歪みを有する対象物に投影ないし貼付される画像の視認性が向上する。
［実施例］

図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞り機構１４を含む。フォーカスレンズ１２および絞り機構１４を経た被写界の光学像は、撮像装置１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。

電源が投入されると、ＣＰＵ３６は、キー入力装置３８に設けられたモード切り換えスイッチ３８ｍｄの設定（つまり現時点の動作モード）をメインタスクの下で判別する。現時点の動作モードがカメラモードであれば撮像タスクが起動され、現時点の動作モードが再生モードであれば、再生タスクが起動される。また、撮像モードの下で歪み測定モードが選択されると、歪み測定タスクが起動される。

カメラモードが選択されたとき、ＣＰＵ３６は、撮像タスクの下で動画取り込み処理を開始するべく、表示系ＤＳＰを起動し、ドライバ１８ｃにプリ露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ１８ｃは、ＳＧ２０から出力された垂直同期信号Ｖｓｙｎｃに応答して、撮像面にプリ露光を施し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。撮像装置１６からは、読み出された電荷に基づく生画像データが周期的に出力される。

信号処理回路２２は、撮像装置１６から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施し、これによって作成されたＹＵＶ形式の画像データをメモリ制御回路２４を通してＳＤＲＡＭ２６の表示画像エリア２６ａ（図３参照）に書き込む。表示系ＤＳＰを構成するＬＣＤドライバ２８は、表示画像エリア２６ａに格納された画像データをメモリ制御回路２４を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３０を駆動する。この結果、被写界を表すスルー画像がモニタ画面に表示される。

撮像面の中央には図示しない評価エリアが割り当てられる。輝度評価回路３２は、信号処理回路２２から出力されたＹデータのうち評価エリアに属するＹデータを、垂直同期信号Ｖｓｙｎｃに応答して積分する。積分値は、輝度評価値として輝度評価回路３２から出力される。また、ＡＦ評価回路３４は、信号処理回路２２から出力されたＹデータのうち評価エリアに属するＹデータの高域周波数成分を、垂直同期信号Ｖｓｙｎｃに応答して積分する。積分値は、ＡＦ評価値としてＡＦ評価回路３４から出力される。

キー入力装置３８に設けられたシャッタボタン３８ｓｈが非操作状態のとき、ＣＰＵ３６は、輝度評価回路３２から出力された輝度評価値に基づいて適正ＥＶ値を算出するべく、簡易ＡＥ処理を繰り返し実行する。算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、ＬＣＤモニタ３０に表示されるスルー画像の明るさが適度に調整される。

シャッタボタン３８ｓｈが半押しされると、ＣＰＵ３６は、輝度評価回路３２から出力された輝度評価値に基づいて最適ＥＶ値を算出するべく、厳格ＡＥ処理を実行する。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。これによって、ＬＣＤモニタ３０に表示されるスルー画像の明るさが厳格に調整される。

ＣＰＵ３６は続いて、ＡＦ処理を実行する。フォーカスレンズ１２は光軸方向に移動され、ＡＦ評価回路３４から出力されたＡＦ評価値はフォーカスレンズ１２の移動処理と並列して繰り返し取り込まれる。合焦点は取り込まれたＡＦ評価値に基づいて探索され、フォーカスレンズ１２は発見された合焦点に配置される。これによって、ＬＣＤモニタ３０に表示されるスルー画像の鮮鋭度が向上する。

シャッタボタン３８ｓｈが全押しされると、静止画取り込み処理がＣＰＵ３６によって実行される。シャッタボタン３８ｓｈが操作された時点の被写界を表す１フレームの画像データは、ＳＤＲＡＭ２６のワークエリア２６ｃ（図３参照）に退避される。

歪み測定モードが非選択状態であれば、ＣＰＵ３６は、記録処理を実行するべく、Ｉ／Ｆ４０を起動する。Ｉ／Ｆ４０は、ワークエリア２６ｃに退避された画像データをメモリ制御回路２４を通して読み出し、読み出された画像データをファイル形式で記録媒体４２に記録する。これに対して、歪み測定モードが選択状態であれば、ＣＰＵ３６は、記録処理を省略する。ただし、歪み測定モードでは、撮像タスクと並列する歪み測定タスクの下で以下の処理が実行される。

まず、変数Ｋが“０”に設定され、カメラ姿勢の変動量が加速度センサ５０の出力に基づいて算出される。算出された変動量は、時計回路４８が示す現在時刻とともに図４（Ａ）に示すレジスタＲＧＳＴ１に登録される。シャッタボタン３８ｓｈが全押しされると、変数Ｋがインクリメントされる。時計回路４８が示す現在時刻は、変数Ｋに対応して図４（Ｂ）に示すレジスタＲＧＳＴ２に登録される。

図５を参照して、ディジタルカメラ１０の姿勢（ないし角度）が図５に示すＣＰ１→ＣＰ２→ＣＰ３の順で変更されると、姿勢ＣＰ１から姿勢ＣＰ３に至るまでの一連の姿勢が時刻情報とともにレジスタＲＧＳＴ１に登録される。また、姿勢ＣＰ１，ＣＰ２およびＣＰ３の各々でシャッタボタン３８ｓｈが全押しされると、姿勢ＣＰ１における全押し時刻がＫ＝１に対応してレジスタＲＧＳＴ２に登録され、姿勢ＣＰ２における全押し時刻がＫ＝２に対応してレジスタＲＧＳＴ２に登録され、そして姿勢ＣＰ３における全押し時刻がＫ＝３に対応してレジスタＲＧＳＴ２に登録される。

変数Ｋが“２”以上の値を示す状態で測定開始ボタン３８ｓｔが操作されると、不連続な輝度／彩度の変化点によって描かれる輪郭がワークエリア２６ｃ上のＫフレームの画像データの各々から検出される。輪郭は、姿勢ＣＰ１に対応して図６（Ａ）に示す要領で検出され、姿勢ＣＰ２に対応して図６（Ｂ）に示す要領で検出され、姿勢ＣＰ３に対応して図６（Ｃ）に示す要領で検出される。

続いて、シャッタボタン３８ｓｈが全押しされた時点のカメラ姿勢がレジスタＲＧＳＴ１およびＲＧＳＴ２の記述に基づいて検出される。これによって、図６（Ａ）に示す輪郭画像が姿勢ＣＰ１と対応付けられ、図６（Ｂ）に示す輪郭画像が姿勢ＣＰ２と対応付けられ、そして図６（Ｃ）に示す輪郭画像が姿勢ＣＰ３と対応付けられる。

輪郭画像およびカメラ姿勢がこうして検出されると、被写界に存在する１または２以上の物体の各々の属性（属性：位置，サイズおよび形状）が、検出された輪郭画像およびカメラ姿勢に基づいて算出される。３次元モデリングの対象物は、算出された属性を参照して（或いは操作者の選択操作に従って）、被写界に存在する１または２以上の物体の中から選択される。選択された対象物は、この対象物の属性を参照して３次元モデル化を施される。図５に示す物体ＯＢＪが対象物として選択されると、物体ＯＢＪの属性を参照して物体ＯＢＪの３次元モデルが作成される。

３次元モデルが完成すると、この３次元モデルの表面の歪み（凹凸）が算出され、算出された歪みに基づいて逆歪み情報が作成される。逆歪み情報は、算出された歪みの方向と逆の方向をパラメータの一部として有し、算出された歪みの大きさと同じ大きさをパラメータの他の一部として有する。

再生モードが選択されると、ＣＰＵ３６は、再生タスクの下で以下の処理を実行する。ＣＰＵ３６はまず、フラグＦＬＧｐｏｓを“０”に設定し、記録媒体４２に保存された複数の画像ファイルのいずれか１つを再生画像ファイルとして選択する。再生モードの下には、再生画像をＬＣＤモニタ３０に表示するＬＣＤモードと、再生画像に対応する光学像をプロジェクタ４６によって投影するプロジェクションモードとが出力モードとして準備される。フラグＦＬＧｐｏｓは、プロジェクションモードで生成される光学像の投影位置が指定済みであるか否かを識別するためのフラグであり、“０”が未指定を示す一方、“１”が指定済みを示す。

現時点の出力モードがＬＣＤモードであれば、ＣＰＵ３６は、再生画像ファイルに格納された画像データの表示画像エリア２６ａへの転送をメモリＩ／Ｆ４０に要求する。所望の画像データは、メモリＩ／Ｆ４０によって読み出され、メモリ制御回路２４を通して表示画像エリア２６ａに書き込まれる。読み出しが完了すると、ＣＰＵ３６は、表示系ＤＳＰを起動する。プロジェクション系ＰＲＪが起動していれば、プロジェクション系ＰＲＪはここで停止される。ＳＤＲＡＭ２６に格納された画像データはＬＣＤドライバ２８によって読み出され、読み出された画像データ基づく画像つまり再生画像はＬＣＤドライバ２８によってＬＣＤモニタ３０に表示される。

現時点の出力モードがプロジェクションモードでかつフラグＦＬＧｐｏｓが“０”であるとき、ＣＰＵ３６は、光学像の投影位置を以下の要領で指定する。まず、動画取り込み処理が開始される。表示系ＤＳＰはここで起動され、この結果、スルー画像がＬＣＤモニタ３０に表示される。次に、位置指定操作を要求するメッセージが操作者に向けて出力される。

これに対して、操作者が位置指定操作（たとえばモニタ画面のタッチ操作）を行うと、指定位置が図４（Ｃ）に示すレジスタＲＧＴＳ３に登録される。図５に示す物体ＯＢＪの表面に描かれた十字ＣＲＳの交点が指定されると、交点の位置がレジスタＲＧＳＴ３に登録される。動画取り込み処理は指定位置の登録の後に終了され、フラグＦＬＧｐｏｓは“０”から“１”に更新される。なお、表示系ＤＳＰは、動画取り込み処理の終了に伴って停止される。

現時点の出力モードがプロジェクションモードでかつフラグＦＬＧｐｏｓが“１”であれば、ＣＰＵ３６は、再生画像ファイルに格納された画像データのプロジェクション画像エリア２６ｂ（図３参照）への転送をメモリＩ／Ｆ４０に要求する。所望の画像データは、メモリＩ／Ｆ４０によって読み出され、メモリ制御回路２４を通してプロジェクション画像エリア２６ｂに書き込まれる。ＣＰＵ３６は続いて、レジスタＲＧＳＴ３に登録された指定位置と歪み測定タスクの下で作成された逆歪み情報とに基づいて、プロジェクション画像エリア２６ｂに格納された画像データに逆歪み補正を施す。したがって、再生された画像データが図７（Ａ）に示す画像に相当するときは、図７（Ｂ）に示す要領で歪みが付与された画像が逆歪み補正によって作成される。

逆歪み補正が完了すると、ＣＰＵ３６はプロジェクション系ＰＲＪを起動する。プロジェクタドライバ４４は、逆歪み補正を施された画像データをメモリ制御回路２４を通してプロジェクション画像エリア２６ｂから読み出し、読み出された画像データに基づいてプロジェクタ４６を駆動する。この結果、対応する光学像がプロジェクタ４６によって生成されかつ対象物に向けて投影される。光学像の中心が十字ＣＲＳの交点と一致するようにカメラ姿勢を調整すると、図７（Ｂ）に示す要領で逆歪み補正を施された画像は、図８に示す要領で（つまり歪みが解消された状態で）物体ＯＢＪに投影される。なお、表示系ＤＳＰが起動していれば、プロジェクション系ＰＲＪの起動に伴って表示系ＤＳＰが停止される。

ＬＣＤモードおよびプロジェクションモードのいずれにおいても、ＣＰＵ３６は、キー入力装置３８に設けられた送り／戻しボタン３８ｆｒによる送り／戻し操作を受け付ける。送り／戻し操作が行われると、ＣＰＵ３６は、後続の画像ファイルまたは先行する画像ファイルを再生画像ファイルとして指定する。指定画像ファイルは上述と同様の処理を施され、この結果、再生画像または投影画像が更新される。

ＣＰＵ３６は、マルチタスクＯＳを採用し、図９に示すメインタスク，図１０に示す撮像タスク，図１１〜図１２に示す歪み測定タスク，図１３〜図１５に示す再生タスクを含む複数のタスクの少なくとも一部を並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ５２に記憶される。

図９を参照して、ステップＳ１では現時点の動作モードがカメラモードであるか否かを判別し、ステップＳ３では現時点の動作モードが再生モードであるか否かを判別する。ステップＳ１でＹＥＳであればステップＳ５で撮像タスクを起動する。ステップＳ５に続くステップＳ７では、歪み補正モードが選択されたか否かを判別し、判別結果がＹＥＳであればステップＳ９で歪み測定タスクを起動してからステップＳ１７に進む一方、判別結果がＮＯであればそのままステップＳ１７に進む。

ステップＳ３でＹＥＳであれば、ステップＳ１３で再生タスクを起動し、その後にステップＳ１７に進む。ステップＳ１およびＳ３のいずれもＮＯであればステップＳ９でその他の処理を実行し、その後にステップＳ１７に進む。ステップＳ１７では、モード切り換え操作が行われたか否かを繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、起動中のタスクをステップＳ１９で停止し、その後にステップＳ１に戻る。

図１０を参照して、ステップＳ２１では動画取り込み処理を開始する。このとき、表示系ＤＳＰも起動され、これによってスルー画像がＬＣＤモニタ３０に表示される。ステップＳ２３ではシャッタボタン３８ｓｈが半押しされたか否かを判別し、判別結果がＮＯである限りステップＳ２５の簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが適度に調整される。シャッタボタン３８ｓｈが半押しされると、ステップＳ２３でＹＥＳと判断し、ステップＳ２７で厳格ＡＥ処理を実行するとともに、ステップＳ２９でＡＦ処理を実行する。厳格ＡＥ処理の結果、スルー画像の明るさが厳格に調整される。また、ＡＦ処理の結果、スルー画像の鮮鋭度が向上する。

ステップＳ３１ではシャッタボタン３８ｓｈが全押しされたか否かを判別し、ステップＳ３３ではシャッタボタン３８ｓｈの操作が解除されたか否かを判別する。ステップＳ３１の判別結果がＹＥＳであればステップＳ３５に進み、ステップＳ３３の判別結果がＹＥＳであればステップＳ２３に戻り、ステップＳ３１およびＳ３３の判別結果がＮＯであればステップＳ３１に戻る。

ステップＳ３５では静止画取り込み処理を実行する。この結果、シャッタボタン３８ｓｈが全押しされた時点の被写界を表す１フレームの画像データが表示画像エリア２６ａからワークエリア２６ｃに退避される。ステップＳ３７では歪み測定モードが選択されているか否かを判別し、判別結果がＹＥＳであればそのままステップＳ２３に戻る一方、判別結果がＮＯであればステップＳ３９で記録処理を実行してからステップＳ２３に戻る。記録処理の結果、ワークエリア２６ｃに退避された画像データがファイル形式で記録媒体４２に記録される。

図１１を参照して、ステップＳ４１では変数Ｋを“０”に設定し、ステップＳ４３では加速度センサ５０の出力に基づいてカメラ姿勢の変動量を算出する。ステップＳ４５では、算出された変動量を時計回路４８が示す現在時刻とともにレジスタＲＧＳＴ１に登録する。ステップＳ４７ではシャッタボタン３８ｓｈが全押しされたか否かを判別し、ステップＳ４９では測定開始ボタン３８ｓｔが操作されたか否かを判別し、ステップＳ５１では変数Ｋが“２”以上であるか否かを判別する。

ステップＳ４７の判別結果がＹＥＳであれば、ステップＳ５３で変数Ｋをインクリメントする。ステップＳ５５では時計回路４８が示す現在時刻を変数Ｋに対応してレジスタＲＧＳＴ２に登録し、登録処理が完了するとステップＳ４３に戻る。ステップＳ４７の判別結果がＮＯでかつステップＳ４９またはＳ５１の判別結果がＮＯであれば、そのままステップＳ４３に戻る。ステップＳ４７の判別結果がＮＯでかつステップＳ４９およびＳ５１の判別結果がいずれもＹＥＳであれば、ステップＳ５７に進む。

ステップＳ５７では不連続な輝度／彩度の変化点によって描かれる輪郭をワークエリア２６ｃ上のＫフレームの画像データの各々から検出し、ステップＳ５９ではシャッタボタン３８ｓｈが全押しされた時点のカメラ姿勢をレジスタＲＧＳＴ１およびＲＧＳＴ２の記述に基づいて検出する。ステップＳ６１では、こうして検出された輪郭およびカメラ姿勢に基づいて、被写界に存在する１または２以上の物体の属性（属性：位置，サイズおよび形状）を算出する。

ステップＳ６３では、算出された属性を参照して（或いは操作者の選択操作に従って）、被写界に存在する１または２以上の物体のいずれか１つを３次元モデリングの対象物として選択する。ステップＳ６５では、選択された対象物の３次元モデル化を選択された対象物の属性を参照して実行する。

ステップＳ６７ではステップＳ６５で作成された３次元モデルの表面の歪み（凹凸）を算出し、ステップＳ６９では算出された歪みに基づいて逆歪み情報を作成する。逆歪み情報は、算出された歪みの方向と逆の方向をパラメータの一部として有し、算出された歪みの大きさと同じ大きさをパラメータの他の一部として有する。歪み測定タスクは、逆歪み情報が作成された後に終了される。

図１３を参照して、ステップＳ７１ではフラグＦＬＧｐｏｓを“０”に設定し、ステップＳ７３では記録媒体４２に保存された複数の画像ファイルのいずれか１つを再生画像ファイルとして選択する。ステップＳ７５では、現時点の出力モードがＬＣＤモードであるか否かを判別する。判別結果がＹＥＳであればステップＳ７７に進み、再生画像ファイルに格納された画像データの表示画像エリア２６ａへの転送をメモリＩ／Ｆ４０に要求する。所望の画像データは、メモリＩ／Ｆ４０によって読み出され、メモリ制御回路２４を通して表示画像エリア２６ａに書き込まれる。

読み出しが完了すると、ステップＳ７９で表示系ＤＳＰを起動する。プロジェクション系ＰＲＪが起動していれば、プロジェクション系ＰＲＪはここで停止される。ＳＤＲＡＭ２６に格納された画像データはＬＣＤドライバ２８によって読み出され、読み出された画像データ基づく画像つまり再生画像はＬＣＤモニタ３０に表示される。

ステップＳ８１では、送り／戻し操作が行われたか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ８３に進み、次ファイル／前ファイルを再生画像ファイルとして選択する。選択処理が完了すると、ステップＳ７５に戻る。

現時点の出力モードがプロジェクションモードであれば、ステップＳ７５からステップＳ８５に進み、フラグＦＬＧｐｏｓが“０”であるか否かを判別する。判別結果がＹＥＳであればステップＳ８７〜Ｓ９７の処理を経てステップＳ９９に進み、判別結果がＮＯであればそのままステップＳ９９に進む。

ステップＳ８７では、動画取り込み処理を開始する。表示系ＤＳＰはここで起動され、この結果、スルー画像がＬＣＤモニタ３０に表示される。ステップＳ８９では、位置指定操作を要求するメッセージを操作者に向けて出力する。これに対して位置指定操作が行われると、ステップＳ８１からステップＳ９３に進み、指定位置をレジスタＲＧＴＳ３に登録する。登録処理が完了すると、ステップＳ９５で動画取り込み処理を終了し、ステップＳ９７でフラグＦＬＧｐｏｓを“１”に設定する。なお、表示系ＤＳＰは、ステップＳ９５の処理に伴って停止される。

ステップＳ９９では、再生画像ファイルに格納された画像データのプロジェクション画像エリア２６ｂへの転送をメモリＩ／Ｆ４０に要求する。所望の画像データは、メモリＩ／Ｆ４０によって読み出され、メモリ制御回路２４を通してプロジェクション画像エリア２６ｂに書き込まれる。ステップＳ１０１では、レジスタＲＧＳＴ３に登録された指定位置と上述のステップＳ６９で作成された逆歪み情報とに基づいて、プロジェクション画像エリア２６ｂに格納された画像データに逆歪み補正を施す。逆歪み補正が完了すると、ステップＳ１０３でプロジェクション系ＰＲＪを起動し、その後にステップＳ８１に移行する。なお、表示系ＤＳＰが起動していれば、プロジェクション系ＰＲＪの起動に伴って表示系ＤＳＰが停止される。

以上の説明から分かるように、ＣＰＵ３６は、互いに異なる角度から対象物を撮影することで得られた複数フレームの画像データを取り込み(S35)、取り込まれた画像データに基づいて対象物の３次元モデルを作成し(S41~S65)、そして作成された３次元モデルの表面の歪みを検出する(S67)。ＣＰＵ３６はまた、検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成し(S69)、作成された逆歪み情報と対象物の表面で指定された基準位置とに基づいて再生画像データに歪みを付与する(S101)。付与された歪みを有する再生画像データはプロジェクション系ＰＲＪによって光学像に変換され、変換された光学像は対象物に投影される。

画像データに付与される歪みは、逆歪み情報と対象物の表面の基準位置とに基づいて定義される。ここで、逆歪み情報は、対象物の表面の歪みの方向と逆の方向をパラメータの一部として有する。したがって、歪みが付与された画像データを基準位置に対応して対象物に投影すると、特定角度から眺めたときに投影画像の歪みが低減される。こうして、歪みを有する対象物に投影される画像の視認性が向上する。

なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ５２に予め記憶される。しかし、図１６に示すように通信Ｉ／Ｆ５４をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ５２に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。

また、この実施例では、ＣＰＵ３６によって実行される処理を複数のタスクに分散させるようにしている。しかし、いずれかのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、いずれかのタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。

さらに、この実施例では、単一の撮像装置１６をディジタルカメラ１０に設けるようにしているが、複数の撮像装置をディジタルカメラ１０に設け、複数の対象物画像を同時に生成するようにしてもよい。

また、この実施例では、再生モードの下にＬＣＤモードおよびプロジェクションモードを設け、プロジェクションモードが選択されたときに再生画像を表す光学像を対象物に投影するようにしている。しかし、プロジェクションモードに代えてプリントモードを設けるとともに、図１７に示すようにプロジェクション系ＰＲＪに代えてプリンタドライバ６０を設け、プリンタドライバ６０によってプリントされた用紙を対象物に貼付するようにしてもよい。この場合、位置指定操作によって指定された位置は、好ましくは、用紙の裏面の対応位置にマークされる。

このような動作を実現するために、ＳＤＲＡＭ２６は図１８に示す要領でマッピングされる。また、ＣＰＵ３６は、図１５に示すステップＳ９９〜Ｓ１０３に代えて図１９に示すステップＳ１１１〜Ｓ１１７に従う処理を実行する。

ステップＳ１１１では、再生画像ファイルに格納された画像データのプリント画像エリア２６ｄへの転送をメモリＩ／Ｆ４０に要求する。所望の画像データは、メモリＩ／Ｆ４０によって読み出され、メモリ制御回路２４を通してプリント画像エリア２６ｄに書き込まれる。ステップＳ１１３では、レジスタＲＧＳＴ３に登録された指定位置と上述のステップＳ６９で作成された逆歪み情報とに基づいて、プリンタ画像エリア２６ｄに格納された画像データに逆歪み補正を施す。逆歪み補正が完了すると、ステップＳ１１５でプリンタドライバ６０を起動する。

起動したプリンタドライバ６０は、プリンタ画像エリア２６ｄに格納された画像データをメモリ制御回路２４を通して読み出し、読み出された画像データに基づいてプリンタ（図示せず）を駆動する。この結果、対応する画像がプリンタによって用紙の表面に印刷される。なお、表示系ＤＳＰが起動していれば、プリンタドライバ６０の起動に伴って表示系ＤＳＰが停止される。

ステップＳ１１７では、レジスタＲＧＳＴ３に登録された指定位置を示すマーカのプリントをプリンタドライバ６０に要求する。プリンタドライバ６０は、マーカを用紙の裏面の対応する位置にマークする。ステップＳ１１７の処理が完了すると、ステップＳ８１に移行する。

１０ …ディジタルカメラ
１６ …撮像装置
３２ …輝度評価回路
３４ …ＡＦ評価回路
３６ …ＣＰＵ
４４ …プロジェクタドライバ
４６ …プロジェクタ

Claims (10)

1. 互いに異なる角度から対象物を撮影することで得られた複数の対象物画像を取り込む取り込み手段、
   前記取り込み手段によって取り込まれた複数の対象物画像に基づいて前記対象物の表面の歪みを検出する検出手段、
   前記検出手段によって検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成する作成手段、および
   前記作成手段によって作成された逆歪み情報と前記対象物の表面の基準位置とに基づいて指定画像に歪みを付与する付与手段を備える、画像処理装置。
2. 前記逆歪み情報は前記検出手段によって検出された歪みの大きさと同じ大きさを前記パラメータの他の一部として有する、請求項１記載の画像処理装置。
3. 前記基準位置を指定する指定操作を受け付ける受け付け手段をさらに備える、請求項１または２記載の画像処理装置。
4. 前記付与手段によって付与された歪みを有する指定画像を前記基準位置に対応して出力する出力手段をさらに備える、請求項１ないし３のいずれかに記載の画像処理装置。
5. 前記出力手段は、光学像を投影する投影手段、および前記指定画像に基づいて前記投影手段を駆動する駆動手段を含む、請求項４記載の画像処理装置。
6. 前記出力手段は、前記指定画像を用紙に印刷する印刷手段、および前記基準位置に対応する位置を前記用紙にマークするマーキング手段を含む、請求項４記載の画像処理装置。
7. 画像処理装置のプロセッサに、
   互いに異なる角度から対象物を撮影することで得られた複数の対象物画像を取り込む取り込みステップ、
   前記取り込みステップによって取り込まれた複数の対象物画像に基づいて前記対象物の表面の歪みを検出する検出ステップ、
   前記検出ステップによって検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成する作成ステップ、および
   前記作成ステップによって作成された逆歪み情報と前記対象物の表面の基準位置とに基づいて指定画像に歪みを付与する付与ステップを実行させるための、画像処理プログラム。
8. 画像処理装置によって実行される画像処理方法であって、
   互いに異なる角度から対象物を撮影することで得られた複数の対象物画像を取り込む取り込みステップ、
   前記取り込みステップによって取り込まれた複数の対象物画像に基づいて前記対象物の表面の歪みを検出する検出ステップ、
   前記検出ステップによって検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成する作成ステップ、および
   前記作成ステップによって作成された逆歪み情報と前記対象物の表面の基準位置とに基づいて指定画像に歪みを付与する付与ステップを備える、画像処理方法。
9. メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
   互いに異なる角度から対象物を撮影することで得られた複数の対象物画像を取り込む取り込みステップ、
   前記取り込みステップによって取り込まれた複数の対象物画像に基づいて前記対象物の表面の歪みを検出する検出ステップ、
   前記検出ステップによって検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成する作成ステップ、および
   前記作成ステップによって作成された逆歪み情報と前記対象物の表面の基準位置とに基づいて指定画像に歪みを付与する付与ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
10. 外部制御プログラムを取り込む取り込み手段、および
    前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
    前記外部制御プログラムは、
    互いに異なる角度から対象物を撮影することで得られた複数の対象物画像を取り込む取り込みステップ、
    前記取り込みステップによって取り込まれた複数の対象物画像に基づいて前記対象物の表面の歪みを検出する検出ステップ、
    前記検出ステップによって検出された歪みの方向と逆の方向をパラメータの一部として有する逆歪み情報を作成する作成ステップ、および
    前記作成ステップによって作成された逆歪み情報と前記対象物の表面の基準位置とに基づいて指定画像に歪みを付与する付与ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。

Images