JP2015220607A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】原稿を撮像した撮像画像から容易に描画領域を抽出可能とする情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】撮像画像取得部は、撮像部４０４から出力される被写体を撮像した撮像画像を取得する。標準画像出力部４１２は、撮像部の撮像方向に向けて照射する光を発光する発光部４０３と、発光部から予め定められた距離における光の輝度分布に基づく標準画像を出力する。補正処理部４１１は、撮像画像取得部が発光部から光が発光された状態で取得した撮像画像を、標準画像を用いて補正する。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

従来、ユーザが所望のキャラクタを紙などに描画した画像をディジタルデータ化して他の画像データに合成させて表示させる技術が知られている。特許文献１には、各ユーザが描画したキャラクタを用いて擬似的にレースを楽しむことを可能としたシステムが開示されている。

例えば、ユーザがキャラクタを描画した原稿をスキャナ装置により読み取り、スキャナ装置に接続されるコンピュータにより、原稿を読み取った原稿画像データからキャラクタ領域を抽出する。コンピュータは、キャラクタ領域が抽出された画像データをコンピュータによる座標空間に適用させる。

コンピュータは、例えば、各画素の輝度値に基づく閾値判定により原稿画像データを２値化し、２値化した原稿画像データに対して描画領域と非描画領域とを画素毎に判定する。そして、コンピュータは、描画領域と判定された領域を、キャラクタ領域として用いる。

一方、近年では、スマートフォンやタブレット型コンピュータといった、多機能携帯端末の普及に伴い、この多機能携帯端末に搭載されるディジタルカメラの性能も向上している。上述した、ユーザがキャラクタを描画した原稿の画像を、多機能携帯端末に搭載されたディジタルカメラで撮像して原稿画像データを取得するようにすると、スキャナ装置を用いずに、原稿画像からキャラクタ領域を抽出する処理を実現できる。

ところで、ディジタルカメラにより原稿画像を撮像した原稿画像データは、全体として輝度が低い場合や、影などにより輝度が原稿面内で不均一になっている場合が起こり得る。このような場合、撮像された原稿画像データに対して２値化処理を行っても、正しく描画領域を抽出できない可能性がある。

この原稿画像の撮像画像における輝度不足や輝度の不均一を解消するために、多機能携帯端末に設けられたライトを点灯することが考えられる。ライトを点灯することで、環境光の影響が低減され、影の発生が抑制される。また、ライトの点灯により、輝度不足が解消されることが期待される。しかしながら、多機能携帯端末に搭載されるライトは、一般的には点光源であるため、ライトを点灯させた状態で撮像された画像は、ライトの正面すなわち原稿の中心付近が明るく、周辺部が暗い、輝度の不均一な画像となってしまうおそれがある。この場合、撮像画像データから正しく描画領域を抽出できない可能性があるという問題点があった。

本発明は、上記に鑑みてなされたものであって、原稿を撮像した撮像画像から容易に描画領域を抽出可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、撮像部から出力される、被写体を撮像した撮像画像を取得する撮像画像取得部と、撮像部の撮像方向に向けて照射する光を発光する発光部と、発光部から予め定められた距離における光の輝度分布に基づく標準画像を出力する標準画像出力部と、撮像画像取得部が発光部から光が発光された状態で取得した撮像画像を、標準画像を用いて補正する補正処理部とを有することを特徴とする。

本発明によれば、原稿を撮像した撮像画像から容易に描画領域を抽出可能となるという効果を奏する。

図１は、第１の実施形態について概念的に説明するための図である。 図２は、第１の実施形態に適用可能な情報処理装置の一例の構成を示すブロック図である。 図３は、第１の実施形態による画像補正処理を示す一例のフローチャートである。 図４は、第１の実施形態に係る標準画像の特性の一例を示す図である。 図５は、第１の実施形態に係る情報処理装置の一例の構成をより具体的に示すブロック図である。 図６は、第１の実施形態の第１の変形例に係る、枠画像が形成された用紙の例を示す図である。 図７は、第１の実施形態の第１の変形例に係る情報処理装置の一例の構成を示すブロック図である。 図８は、第１の実施形態の第１の変形例による画像補正処理を示す一例のフローチャートである。 図９は、第１の実施形態の第２の変形例に係る情報処理装置の一例の構成を示すブロック図である。 図１０は、第１の実施形態の第２の変形例に係る、ファインダ画面内に枠ガイド画像が表示されている様子を示す図である。 図１１は、第１の実施形態の第２の変形例による画像補正処理を示す一例のフローチャートである。 図１２は、第１の実施形態の第２の変形例に係る、枠ガイド画像が表示されたファインダ画面に用紙の画像が表示されている様子を示す図である。 図１３は、第１の実施形態の第３の変形例に係る情報処理装置の一例の構成を示すブロック図である。 図１４は、第１の実施形態の第３の変形例による画像補正処理を示す一例のフローチャートである。 図１５は、ライトと被写体との距離に応じた被写体上での輝度分布の変化を説明するための図である。 図１６は、第２の実施形態に係る情報処理装置の一例の構成を示すブロック図である。 図１７は、第２の実施形態による画像補正処理を示す一例のフローチャートである。 図１８は、各実施形態および変形例に適用可能な情報処理装置の一例の構成を示すブロック図である。 図１９は、第３の実施形態に係る表示システムの一例の構成を示すブロック図である。 図２０は、第３の実施形態に係る、３次元の座標系を持つ画像データ空間について概略的に示す図である。 図２１は、第３の実施形態に適用可能なＰＣの一例の構成を示すブロック図である。 図２２は、第３の実施形態に係るＰＣの機能を説明するための一例の機能ブロック図である。 図２３は、第３の実施形態に係る表示システムによる表示制御処理の全体的な流れを示す一例のフローチャートである。 図２４は、第３の実施形態に係る、手書き描画を行うための用紙の例を示す図である。

以下に添付図面を参照して、情報処理装置、情報処理方法およびプログラムの実施形態を詳細に説明する。

（第１の実施形態）
第１の実施形態について説明する。第１の実施形態は、例えばユーザにより画像が描画された用紙を撮像装置により撮像した撮像画像に含まれる、ユーザにより描画された画像（ユーザ画像と呼ぶ）を抽出する処理を容易に行うための、撮像画像に施す画像処理に係るものである。

（第１の実施形態の概要）
図１を用いて、第１の実施形態について概念的に説明する。例えば、ユーザは、図１（ａ）に例示されるように、用紙３００に対して任意のユーザ画像３０１を描画する。このユーザ画像３０１を画像データ化するために、ユーザ画像３０１を含むように、用紙３００をディジタルカメラを用いて撮像する。この用紙３００を撮像した撮像画像に対して画像処理を施して、ユーザ画像３０１の領域を抽出する。なお、ユーザ画像３０１は、ユーザが描画した例えば線そのものを指し、ユーザ画像３０１の領域は、ユーザ画像３０１の全体を含む領域を指す。

このときの画像処理としては、例えば、撮像画像の画素毎の画素値（輝度値）に対して閾値判定を行って撮像画像を２値化し、２値化した各画素に基づきユーザ画像３０１の領域を決定する処理を適用することができる。例えば、画素値が閾値以上の画素を値「１」、画素値が閾値未満の画素を値「０」とする２値化を行い、値「０」の画素をユーザ画像３０１による画素と決定する。そして、この値「０」の画素に基づきユーザ画像３０１の領域を抽出する。

撮像画像に対して２値化処理を施す際に、用紙３００上に影が存在すると、閾値判定により影の部分も例えば値「０」として抽出してしまい、ユーザ画像３０１を正しく抽出できないおそれがある。また、照明などが十分ではなく、撮像画像の輝度が全体的に低い場合も同様である。そのため、撮像時には、ライトなどにより被写体を照射し、影や低輝度による影響を抑制することが好ましい。

ここで、ディジタルカメラは、スマートフォンやタブレット型コンピュータといった多機能携帯端末に内蔵されるカメラ（以下、内蔵カメラと呼ぶ）を用いるものとする。このような多機能携帯端末に内蔵されるライトは、一般的には点光源と見做せる。そのため、用紙３００を多機能携帯端末に内蔵のライト（以下、内蔵ライトと呼ぶ）で照射した場合、ライトの正面すなわち用紙３００の中央付近の輝度が最大となり、中央付近から周辺に向けて徐々に輝度が低くなる輝度分布となる。

図１（ｂ）は、用紙３００を多機能携帯端末に内蔵のライトで照射して撮像した撮像画像の例を示す。図１（ｂ）において、撮像画像３１０は、用紙３００の輝度分布に対応して、グラデーション３１１で例示されるように、周辺に向けて輝度が徐々に低く変化する輝度分布となっている。このような輝度分布の撮像画像３１０に対して２値化処理を施すと、ユーザ画像３０１’と共に、特に輝度の低い周辺部の領域もユーザ画像として抽出してしまうおそれがある。この場合、撮像画像３１０から正しくユーザ画像３０１’の領域を抽出することが困難になる。

そこで、第１の実施形態では、この被写体をライトで照射した際の輝度分布を有する画像を標準画像として予め用意し、ライトを照射して撮像した撮像画像を、この標準画像を用いて補正する。

図１（ｃ）は、標準画像の一例を示す。図１（ｃ）において、標準画像３２０は、中央付近において輝度が最大値とされ、グラデーション３２１で例示されるように、中央付近から周辺に向けて輝度が徐々に低下する輝度分布となる。この標準画像の輝度変化は、例えば上述した撮像画像の輝度変化と一致させる。すなわち、標準画像３２０は、カメラから、撮像画像３１０を撮像する際の用紙３００の距離として与えられた距離における平面の、ライトによる輝度分布を有する画像である。

撮像画像３１０と標準画像３２０との間で、画素毎に下記の式（１）〜（３）に示される演算を行う。
Ｒ(ｉ)＝Ｒａ(ｉ)＋(Ｙ_MAX−Ｒｂ(ｉ)) …（１）
Ｇ(ｉ)＝Ｇａ(ｉ)＋(Ｙ_MAX−Ｇｂ(ｉ)) …（２）
Ｂ(ｉ)＝Ｂａ(ｉ)＋(Ｙ_MAX−Ｂｂ(ｉ)) …（３）

なお、式（１）において、変数ｉは、画素を識別するインデクスであり、変数Ｒａ(ｉ)、Ｇａ(ｉ)およびＢａ(ｉ)は、それぞれ撮像画像３１０における画素ｉのＲ（赤色）、Ｇ（緑色）およびＢ（青色）の画素値を示す。変数Ｒｂ(ｉ)、Ｇｂ(ｉ)およびＢｂ(ｉ)は、それぞれ標準画像３２０における画素ｉのＲ、ＧおよびＢの画素値を示す。また、Ｙ_MAXは、ＲＧＢ各色に共通の画素値の最大値である。ＲＧＢ各画素が８ビットのビット深度を有する場合、Ｙ_MAX＝２５５となる。

上述の式（１）〜（３）の演算の結果で得られた画素値Ｒ(ｉ)、Ｇ(ｉ)およびＢ(ｉ)が、撮像画像３１０を標準画像３２０で補正した補正画像の画素値となる。補正画像において、撮像画像３１０から標準画像３２０の成分が差し引かれ、撮像画像３１０と標準画像３２０とで共通する部分の画素が画素値Ｙ_MAXとされ、標準画像３２０に対して異なる撮像画像３１０の部分の画素は、撮像画像３１０の画素値が保持される。したがって、ユーザ画像３０１’が保持され、他の部分が画素値Ｙ_MAXとなる。

このように、撮像画像３１０を標準画像３２０を用いて補正することで、撮像画像３１０におけるユーザ画像３０１’以外の部分の画素値が均一化され、２値化のための閾値判定の精度が向上する。したがって、撮像画像３１０から容易且つ正確にユーザ画像３０１’の領域を抽出することが可能となる。

（第１の実施形態のより具体的な例）
以下、第１の実施形態について、より具体的に説明する。図２は、第１の実施形態に適用可能な情報処理装置４００の一例の構成を示す。情報処理装置４００は、補正部４０１と、操作部４０２と、ライト４０３と、カメラモジュール４０４とを備える。また、補正部４０１は、制御部４１０と、補正処理部４１１と、標準画像出力部４１２とを備える。この情報処理装置４００は、多機能携帯端末として、これら補正部４０１、操作部４０２、ライト４０３およびカメラモジュール４０４が一体的且つ携帯可能に構成される。

情報処理装置４００において、操作部４０２は、ユーザ操作を受け付ける各種操作子を含む。操作部４０２は、表示デバイスと、接触した位置に応じた制御信号を出力する入力デバイスとが一体的に構成された、所謂タッチパネルを用いることができる。ライト４０３は、制御部４１０の制御に従い発光する発光部である。ライト４０３は、例えば略無指向性且つ点光源と見做せる光源である。ライト４０３は、点光源に限らず、他の特性の光源を用いることもできる。

カメラモジュール４０４は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージャといった撮像素子と、撮像素子を駆動する駆動回路と、撮像素子から出力された撮像信号に所定の信号処理を施してディジタルデータとしての撮像画像を出力する撮像信号処理部とを備える。カメラモジュール４０４は、例えば所定のフレーム周期毎に撮像画像を出力する。

補正部４０１は、カメラモジュール４０４から出力された撮像画像に対して上述したような標準画像による補正を行い、出力画像を出力する。補正部４０１において、制御部４１０は、この情報処理装置４００の全体の動作を制御する。補正処理部４１１は、制御部４１０の制御に従い、カメラモジュール４０４から出力された撮像画像に対して、標準画像を用いて上述した式（１）〜（３）による演算を行い、撮像画像が補正された出力画像を出力する。標準画像出力部４１２は、補正処理部４１１からの指示に従い標準画像を出力する。

補正部４０１は、例えばＣＰＵ(Central Processing Unit)、ＲＯＭ(Read Only Memory)およびＲＡＭ(Random Access Memory)を備え、ＲＯＭに予め記憶された情報処理プログラムに従い、ＲＡＭをワークメモリとして用いて動作し、第１の実施形態に係る撮像画像に対する補正処理を実行する。制御部４１０、補正処理部４１１および標準画像出力部４１２は、それぞれ当該情報処理プログラムのモジュールとして構成することができる。当該情報処理プログラムは、情報処理装置４００上で動作するアプリケーションプログラムであって、適宜、アプリと呼ぶ。

なお、補正部４０１に含まれる各部は、情報処理プログラムのモジュールとして動作する例に限定されない。例えば、補正部４０１に含まれる制御部４１０、補正処理部４１１および標準画像出力部４１２の一部または全部を、互いに協働するハードウェアにより構成してもよい。

図３は、第１の実施形態による画像補正処理を示す一例のフローチャートである。ステップＳ１００で、例えば操作部４０２に対するユーザ操作に応じて、第１の実施形態に係るアプリが起動されると、次のステップＳ１０１で、制御部４１０は、ライト４０３を点灯し発光させる。ライト４０３は、ユーザの操作部４０２に対する操作に応じて点灯させてもよい。制御部４１０は、次のステップＳ１０２で、撮像指示を待機する。制御部４１０は、例えば操作部４０２に対して撮像を指示する操作がなされたと判定した場合、処理をステップＳ１０３に移行させる。一方、制御部４１０は、操作部４０２に対する撮像指示の操作が無いと判定した場合、処理をステップＳ１０２に戻す。

なお、ユーザ画像３０１が描画された用紙３００を撮像する際には、カメラモジュール４０４における撮像面と、用紙３００とをできるだけ平行に保つことが好ましい。さらに、用紙３００が、カメラモジュール４０４における撮像素子の有効撮像領域にできるだけ大きく撮像されるように、用紙３００と情報処理装置４００との距離またはカメラモジュール４０４による画角を調整することが好ましい。

ステップＳ１０３で、補正処理部４１１は、カメラモジュール４０４から出力された撮像画像３１０を取得する。すなわち、補正処理部４１１は、カメラモジュール４０４から出力された撮像画像３１０を取得する、撮像画像取得部としても機能する。補正処理部４１１は、取得した撮像画像３１０を、例えば図示されないフレームメモリに格納する。制御部４１０は、ステップＳ１０３で補正処理部４１１により撮像画像３１０が取得された後、ライト４０３を消灯することができる。

次のステップＳ１０４で、補正処理部４１１は、標準画像出力部４１２から標準画像３２０を取得する。例えば、補正処理部４１１は、標準画像出力部４１２に対して標準画像３２０を要求し、標準画像出力部４１２は、この要求に応じて標準画像３２０を補正処理部４１１に対して出力する。

ここで、標準画像出力部４１２は、予め作成されＲＯＭなどに記憶された標準画像３２０を読み出して出力してもよいし、所定の計算式などに従い標準画像３２０のデータを画素毎に計算して出力してもよい。図４は、第１の実施形態に係る標準画像３２０の特性の一例を示す。図４において、縦軸は明るさすなわち輝度Ｙを示し、横軸は、ライト４０３の正面となる画像中心からの距離ｄを示す。図４に例示されるように、標準画像３２０において、輝度Ｙは、画像中心からの距離ｄに応じて低下する。標準画像出力部４１２は、この輝度Ｙと距離ｄとの関係を示す関数あるいはテーブルを予め有し、この関数やテーブルに基づき標準画像３２０の各画素の画素値を求めることができる。

次のステップＳ１０５で、補正処理部４１１は、ステップＳ１０４で取得した標準画像３２０を用いて、ステップＳ１０３で取得した撮像画像３１０を補正する。このとき、補正処理部４１１は、標準画像３２０および撮像画像３１０の各画素毎に、上述した式（１）〜（３）に従い演算を行うことで、撮像画像３１０の補正を行う。

例えば、補正処理部４１１は、ステップＳ１０４で取得した標準画像３２０をＲＡＭなどに記憶させる。補正処理部４１１は、標準画像３２０をＲＡＭから画素毎に読み出すと共に、読み出した画素に位置が対応する撮像画像３１０の画素を、ステップＳ１０３で撮像画像３１０が格納されたフレームメモリから読み出す。そして、ＲＡＭおよびフレームメモリからそれぞれ読み出した、標準画像３２０の画素と撮像画像３１０の画素とを用いて、式（１）〜（３）による演算を行う。

これに限らず、補正処理部４１１は、ステップＳ１０４で標準画像出力部４１２から標準画像３２０の画素を１画素毎に受け取って補正処理を行ってもよい。

次のステップＳ１０６で、補正処理部４１１は、ステップＳ１０５で撮像画像３１０が補正された補正画像を取得する。補正処理部４１１は、取得した補正画像を出力画像として補正部４０１の外部に出力する。出力画像は、例えば図示されない画像抽出部に供給され、２値化処理が施されてユーザ画像３０１’の画素が決定され、決定された画素に基づきユーザ画像３０１’の領域が抽出される。

なお、上述では、標準画像３２０が予め与えられているものとして説明したが、これはこの例に限定されない。例えば、ユーザ画像３０１が描画された用紙３００を撮像する前に、標準画像３２０を作成することもできる。例えば、情報処理装置４００において、実際にライト４０３を発光させ、カメラモジュール４０４による画角をユーザ画像３０１が描画された用紙３００を撮像する際の画角に合わせる。この状態で、ユーザ画像３０１が描画されておらず、用紙３００と地の色が同一の新規の用紙を撮像する。この撮像画像３１０を、標準画像３２０として用いることができる。この場合、用紙３００が白色ではない場合にも、補正処理を行うことが可能となる。

このように、第１の実施形態では、ライト４０３を点灯させて用紙３００を撮像した撮像画像３１０に対し、カメラ（カメラモジュール４０４の撮像素子）から、撮像画像３１０を撮像する際の用紙３００の距離として与えられた距離における平面の、ライト４０３の照射による輝度分布を有する標準画像３２０を用いて補正を行っている。そのため、撮像画像３１０を補正して得られた補正画像は、ライト４０３の照射による輝度分布が均一化され、ユーザ画像３０１’の抽出が容易となる。

図５は、第１の実施形態に係る情報処理装置の一例の構成をより具体的に示す。なお、図５において、上述の図２と共通する部分には同一の符号を付して、詳細な説明を省略する。図５において、情報処理装置４００ａは、操作部４０２と、ライト４０３と、制御部４３０ａと、撮像部４４０と、撮像信号処理部４４１と、フレームメモリ４４２および４４５と、画像処理部４４３と、表示部４４４と、標準画像出力部４４６と、演算部４４７とを有する。

これらのうち、撮像部４４０および撮像信号処理部４４１は、図２のカメラモジュール４０４に含まれる。制御部４３０ａは、図２の制御部４１０に対応する。また、制御部４３０ａは、図２の補正処理部４１１における撮像画像取得部としての機能を有している。フレームメモリ４４２および４４５、画像処理部４４３、ならびに、演算部４４７は、補正処理部４１１に含まれる。また、標準画像出力部４４６は、標準画像出力部４１２に対応し、標準画像の画像データ（標準画像データ）を出力する。表示部４４４は、例えばＬＣＤ(Liquid Crystal Display)などによる表示デバイスと、表示デバイスを駆動する駆動回路とを含む。

制御部４３０ａは、操作部４０２からのユーザ操作に応じた制御信号が入力される。制御部４３０ａは、ライト４０３の点灯を制御する。また、後述するが、制御部４３０ａは、フレームメモリ４４５の読み書きのタイミングや、演算部４４７の動作を制御する。

撮像部４４０は、図示されないクロックに従いフレーム周期でアナログ方式の撮像信号を出力する。撮像部４４０から出力されたアナログ方式の撮像信号は、撮像信号処理部４４１に入力される。撮像信号処理部４４１は、入力された撮像信号に対してノイズ除去、ゲイン制御などの所定の信号処理を施す。撮像信号処理部４４１は、この所定の信号処理を施されたアナログ方式の撮像信号をＡ／Ｄ変換し、ディジタル方式の撮像画像データに変換して出力する。撮像信号処理部４４１から出力された撮像画像データは、フレーム単位でフレームメモリ４４２に格納される。

画像処理部４４３は、フレームメモリ４４２からフレーム単位で撮像画像データを読み出し、読み出した撮像画像データに対してガンマ補正処理やホワイトバランス調整処理といった画像処理を施して出力する。画像処理部４４３から出力された、撮像画像データが画像処理された画像データは、例えば表示部４４４に供給されて表示デバイスに対して表示される。これにより、表示部４４４は、撮像部４４０で撮像された撮像画像を確認するファインダとして機能させることができる。

制御部４３０ａは、操作部４０２に対する撮像指示の操作に応じて、フレームメモリ４４２に格納される１フレーム分の撮像画像データをフレームメモリ４４５に記憶させることで、処理対象とする撮像画像データを取得する（図３のステップＳ１０３）。演算部４４７は、制御部４３０ａの制御に従い、標準画像出力部４４６から出力された標準画像と、フレームメモリ４４５に記憶される撮像画像データとの間で上述した式（１）〜（３）の演算を行い、撮像画像データが補正された補正画像データが取得される。演算部４４７は、この補正画像データを出力画像データとして出力する。

（第１の実施形態の第１の変形例）
次に、第１の実施形態の第１の変形例について説明する。上述した第１の実施形態では、ユーザは、表示部４４４の表示を確認しながら、撮像画像にユーザ画像３０１が含まれるように情報処理装置４００ａと用紙３００との間の距離（撮像部４４０による画角）を調整し、その上で、撮像指示のためのユーザ操作を行う必要があった。

この第１の実施形態の第１の変形例では、用紙３００に対してユーザがユーザ画像３０１を描画するための領域を示す枠画像を予め形成しておく。また、情報処理装置では、撮像画像に含まれる枠画像を認識し、枠画像が撮像画像から検出された場合に、撮像画像を自動的に取得するようにする。ユーザは、ユーザ画像３０１が適切に含まれた撮像画像を容易に取得することができ、また、撮像画像の取得を、情報処理装置に対して撮像指示のための操作を行うこと無く実行できる。

図６は、第１の実施形態の第１の変形例に係る、枠画像が形成された用紙の例を示す。図６において、用紙３３０は、ユーザ画像３０１を描画するための領域３３２を示す枠画像３３１が予め形成される。図６の例では、矩形の枠画像３３１に加え、枠画像３３１の４箇所の角のうち３箇所にマーカ３３３ａ、３３３ｂおよび３３３ｃが形成されている。この３箇所のマーカ３３３ａ、３３３ｂおよび３３３ｃを画像認識により検出することで、領域３３２の外縁と、領域３３２の向きを判定することができる。領域３３４は、領域３３２に描画されるユーザ画像３０１のタイトルを書き込むことができる。

図７は、第１の実施形態の第１の変形例に係る情報処理装置の一例の構成を示す。なお、図７において、上述した図５と共通する部分には同一の符号を付して、詳細な説明を省略する。

図７において、情報処理装置４００ｂは、図５の情報処理装置４００ａに対して枠認識部４５０ａが追加されている。枠認識部４５０ａは、画像処理部４４３から出力される画像データに含まれる枠画像３３１を認識し、枠画像３３１を検出する。

例えば、枠認識部４５０ａは、枠画像３３１に対応する画像パターン情報を予め有し、この画像パターン情報と画像データとを比較することで、枠画像３３１を検出することが考えられる。枠認識部４５０ａは、マーカ３３３ａ〜３３３ｃに対応する画像パターン情報に基づき枠画像３３１を検出してもよい。さらに、枠認識部４５０ａは、枠画像３３１が画像データ内の所定位置において認識されたか否かを判定する。これにより、撮像画像に所定の大きさで含まれる枠画像３３１を認識することができる。

図８は、第１の実施形態の第１の変形例による画像補正処理を示す一例のフローチャートである。ステップＳ１１０で、例えば操作部４０２に対するユーザ操作に応じて、第１の実施形態の第１の変形例に係るアプリが起動されると、次のステップＳ１１１で、制御部４３０ｂは、ライト４０３を点灯し発光させる。

次のステップＳ１１２で、枠認識部４５０ａは、画像処理部４４３から出力された画像データから枠画像３３１が認識されたか否かを判定する。枠認識部４５０ａは、枠画像３３１が認識されていないと判定した場合、処理をステップＳ１１２に戻す。一方、枠認識部４５０ａは、画像データ中に枠画像３３１を認識したと判定した場合、処理をステップＳ１１３に移行させる。

ステップＳ１１３で、枠認識部４５０ａは、ステップＳ１１２で認識された枠画像３３１が画像データ内の所定位置にあるか否かを判定する。枠認識部４５０ａは、若し、枠画像３３１が所定位置に無いと判定した場合、処理をステップＳ１１２に戻す。一方、枠認識部４５０ａは、枠画像３３１が画像データ内の所定位置にあると判定した場合、処理をステップＳ１１４に移行させる。

ステップＳ１１４で、制御部４３０ｂは、フレームメモリ４４２から１フレーム分の撮像画像データを読み出してフレームメモリ４４５に記憶させ、処理対象の撮像画像データを取得する。次のステップＳ１１５で、制御部４３０ｂは、標準画像出力部４４６から出力される標準画像データを取得する。例えば、制御部４３０ｂは、演算部４４７を制御して、標準画像出力部４４６から出力される標準画像データを演算部４４７に取り込む。

次のステップＳ１１６で、演算部４４７は、式（１）〜（３）に従い、ステップＳ１１５で取り込まれた標準画像データを用いて、ステップＳ１１４でフレームメモリ４４５に記憶された撮像画像データを補正する。演算部４４７は、この補正処理により補正後の補正画像データを取得する（ステップＳ１１７）。演算部４４７は、取得した補正画像データを、例えば図示されない画像抽出部に対して出力する。

（第１の実施形態の第２の変形例）
次に、第１の実施形態の第２の変形例について説明する。この第２の変形例では、上述の第１の変形例の枠認識機能に対し、さらに、表示部４４４に表示される、撮像状態を確認するためのファインダ画面に対して、枠画像３３１の位置決めを行うための枠ガイド画像を表示させるようにしている。そして、ファインダ画面内において、枠画像３３１が、枠ガイド画像に対して所定の範囲内に表示されているか否かを判定する。

図９は、第１の実施形態の第２の変形例に係る情報処理装置の一例の構成を示す。なお、図９において、上述した図５と共通する部分には同一の符号を付して、詳細な説明を省略する。図９において、情報処理装置４００ｃは、図５の情報処理装置４００ａに対して枠認識部４５０ｂと、枠生成部４５１と、合成部４５２とが追加されている。

枠生成部４５１は、ファインダ画面に表示させるための枠ガイド画像を生成する。合成部４５２は、制御部４３０ｃの制御に従い、枠生成部４５１で生成された枠ガイド画像と、画像処理部４４３から出力される画像データとを合成し、画像データによる画像内の所定位置に枠ガイド画像が配置されるガイド付き画像データを生成する。図１０に、第１の実施形態の第２の変形例に係る、ファインダ画面３４０内に枠ガイド画像３４１が表示されている様子を示す。枠生成部４５１は、枠ガイド画像３４１の画像データ内での座標を示す情報を枠認識部４５０ｂに渡す。

枠認識部４５０ｂは、上述した枠認識部４５０ａと同様に画像処理部４４３から出力され合成部４５２を介して供給される画像データに含まれる枠画像３３１を認識し、枠画像３３１を検出する。さらに、枠認識部４５０ｂは、枠生成部４５１から渡された、枠ガイド画像３４１の座標を示す情報に基づき、画像データから検出された枠画像３３１が、枠生成部４５１で生成された枠ガイド画像３４１に対して所定範囲内に収まっているか否かを判定する。

図１１は、第１の実施形態の第２の変形例による画像補正処理を示す一例のフローチャートである。ステップＳ１２０で、例えば操作部４０２に対するユーザ操作に応じて、第１の実施形態の第２の変形例に係るアプリが起動されると、次のステップＳ１２１で、制御部４３０ｃは、ライト４０３を点灯し発光させる。

次のステップＳ１２２で、枠生成部４５１は、枠ガイド画像３４１を生成して合成部４５２に供給し、枠ガイド画像３４１をファインダ画面３４０内に表示させる。このとき、枠生成部４５１は、枠ガイド画像３４１のファインダ画面３４０内での座標、すなわち、画像処理部４４３から出力された画像データ内での座標を示す情報を枠認識部４５０ｂに渡す。

次のステップＳ１２３で、枠認識部４５０ｂは、画像処理部４４３から出力された画像データから枠画像３３１が認識されたか否かを判定する。枠認識部４５０ｂは、枠画像３３１が認識されていないと判定した場合、処理をステップＳ１２３に戻す。一方、枠認識部４５０ｂは、画像データ中に枠画像３３１を認識したと判定した場合、処理をステップＳ１２４に移行させる。

ステップＳ１２４で、枠認識部４５０ｂは、枠ガイド画像３４１の座標情報に基づき、画像データ内に含まれる枠画像３３１が、枠ガイド画像３４１に対して所定範囲内に表示されているか否かを判定する。

図１２は、第１の実施形態の第２の変形例に係る、枠ガイド画像３４１が表示されたファインダ画面３４０に、用紙３３０の画像が表示されている様子を示す。この図１２の例では、用紙３３０に設けられる枠画像３３１の全体が枠ガイド画像３４１に含まれ、且つ、枠画像３３１と、枠ガイド画像３４１との間の距離が所定範囲内に収まっている。したがって、枠認識部４５０ｂは、枠画像３３１が枠ガイド画像３４１に対して所定範囲内に表示されていると判定する。

ここで、枠画像３３１と枠ガイド画像３４１との間の距離は、枠画像３３１と枠ガイド画像３４１とにおける、互いに対応する各辺の間の距離である。枠認識部４５０ｂは、ステップＳ１２４で、画像データ内での枠画像３３１および枠ガイド画像３４１の座標に基づき各辺の距離判定を行い、枠画像３３１と枠ガイド画像３４１との関係が、この図１２に例示されたような状態になっているか否かを判定する。枠認識部４５０ｂは、枠画像３３１および枠ガイド画像３４１の辺ではなく、枠画像３３１の四隅の各座標と、枠ガイド画像３４１の四隅の各座標とを比較して距離判定を行ってもよい。

なお、図１２の例では、枠ガイド画像３４１内に枠画像３３１が含まれているが、これはこの例に限定されない。すなわち、枠認識部４５０ｂは、枠画像３３１内に枠ガイド画像３４１が含まれている場合であっても、枠画像３３１と枠ガイド画像３４１との間の距離が所定範囲内に収まっていれば、枠画像３３１が枠ガイド画像３４１に対して所定範囲内に表示されていると判定する。

ユーザは、表示部４４４に表示されるファインダ画面３４０を確認しながら、枠画像３３１が枠ガイド画像３４１に対して所定範囲内に表示されるように、例えば情報処理装置４００ｃと用紙３３０との距離を調整する。

枠認識部４５０ｂは、ステップＳ１２４で枠画像３３１が枠ガイド画像３４１に対して所定範囲内に表示されていないと判定した場合、処理をステップＳ１２３に戻す。一方、枠認識部４５０ｂは、枠画像３３１が、枠ガイド画像３４１に対して所定範囲内に表示されていると判定した場合、処理をステップＳ１２５に移行させる。

ステップＳ１２５で、制御部４３０ｃは、フレームメモリ４４２から１フレーム分の撮像画像データを読み出してフレームメモリ４４５に記憶させ、処理対象の撮像画像データを取得する。次のステップＳ１２６で、制御部４３０ｃは、標準画像出力部４４６から出力される標準画像データを取得する。例えば、制御部４３０ｃは、演算部４４７を制御して、標準画像出力部４４６から出力される標準画像データを演算部４４７に取り込む。

次のステップＳ１２７で、演算部４４７は、式（１）〜（３）に従い、ステップＳ１２６で取り込まれた標準画像データを用いて、ステップＳ１２５でフレームメモリ４４５に記憶された撮像画像データを補正する。演算部４４７は、この補正処理により補正後の補正画像データを取得する（ステップＳ１２８）。演算部４４７は、取得した補正画像データを、例えば図示されない画像抽出部に対して出力する。

このように、第１の実施形態の第２の変形例では、枠ガイド画像３４１をファインダ画面３４０内に表示させているため、撮像画像において枠画像３３１を適切な大きさで撮像する処理を容易に実行できる。また、撮像画像の取得を、情報処理装置４００ｃに対して撮像指示のための操作を行うこと無く実行できる。

（第１の実施形態の第３の変形例）
次に、第１の実施形態の第３の変形例について説明する。用紙３３０を撮像する場合、撮像部４４０における撮像素子の撮像面と用紙３３０とが平行ではない場合、用紙３３０の撮像画像に台形歪みが発生する。より具体的には、本来矩形で撮像されるべき枠画像３３１が、撮像画像においては、撮像面の用紙３３０に対する角度に応じた台形に変形した画像となる。この場合、ライト４０３の光の照射による撮像画像における輝度分布が、標準画像における輝度分布と異なってしまい、式（１）〜（３）の演算を行っても画素値が均一化されないことになる。

そこで、第１の実施形態の第３の変形例では、情報処理装置の傾きを検出し、傾きが所定以上の場合に、撮像画像の取得を行わないようにする。

図１３は、第１の実施形態の第３の変形例に係る情報処理装置の一例の構成を示す。なお、図１３において、上述した図９と共通する部分には同一の符号を付して、詳細な説明を省略する。図１３において、情報処理装置４００ｄは、図９の情報処理装置４００ｃに対して傾きセンサ４６０が追加されている。

傾きセンサ４６０は、例えばジャイロを利用して情報処理装置４００ｄの傾きを検出する。傾きセンサ４６０は、少なくとも、水平面に対する角度を傾きとして検出することができるものとする。傾きセンサ４６０は、検出結果として水平面に対する角度を出力して、制御部４３０ｄに供給する。

図１４は、第１の実施形態の第３の変形例による画像補正処理を示す一例のフローチャートである。なお、ユーザ画像３０１が描画された、情報処理装置４００ｄの撮像対象である用紙３３０は、可能な限り水平の状態を保っているものとする。ステップＳ１４０で、例えば操作部４０２に対するユーザ操作に応じて、第１の実施形態の第３の変形例に係るアプリが起動されると、次のステップＳ１４１で、制御部４３０ｄは、ライト４０３を点灯し発光させる。

次のステップＳ１４２で、枠生成部４５１は、枠ガイド画像３４１を生成して合成部４５２に供給し、枠ガイド画像３４１をファインダ画面３４０内に表示させ、枠ガイド画像３４１のファインダ画面３４０内での座標を示す情報を枠認識部４５０ｂに渡す。

次のステップＳ１４３で、枠認識部４５０ｂは、画像処理部４４３から出力された画像データから枠画像３３１が認識されたか否かを判定する。枠認識部４５０ｂは、枠画像３３１が認識されていないと判定した場合、処理をステップＳ１４３に戻す。一方、枠認識部４５０ｂは、画像データ中に枠画像３３１を認識したと判定した場合、処理をステップＳ１４４に移行させる。

ステップＳ１４４で、枠認識部４５０ｂは、枠ガイド画像３４１の座標情報に基づき、画像データ内に含まれる枠画像３３１が、枠ガイド画像３４１に対して所定範囲内に表示されているか否かを判定する。枠認識部４５０ｂは、枠画像３３１が枠ガイド画像３４１に対して所定範囲内に表示されていないと判定した場合、処理をステップＳ１４３に戻す。一方、枠認識部４５０ｂは、枠画像３３１が、枠ガイド画像３４１に対して所定範囲内に表示されていると判定した場合、処理をステップＳ１４５に移行させる。

ステップＳ１４５で、制御部４３０ｄは、傾きセンサ４６０から供給される検出結果に基づき、情報処理装置４００ｄの水平面に対する傾きが所定範囲内であるか否かを判定する。制御部４３０ｄは、傾きが所定範囲を超えていると判定した場合、処理をステップＳ１４３に戻す。一方、制御部４３０ｄは、傾きが所定範囲内であると判定した場合、処理をステップＳ１４６に移行させる。

ステップＳ１４６で、制御部４３０ｄは、フレームメモリ４４２から１フレーム分の撮像画像データを読み出してフレームメモリ４４５に記憶させ、処理対象の撮像画像データを取得する。次のステップＳ１４７で、制御部４３０ｄは、標準画像出力部４４６から出力される標準画像データを取得する。次のステップＳ１４８で、演算部４４７は、式（１）〜（３）に従い、ステップＳ１４７で取り込まれた標準画像データを用いて、ステップＳ１４６でフレームメモリ４４５に記憶された撮像画像データを補正する。演算部４４７は、この補正処理により補正後の補正画像データを取得する（ステップＳ１４９）。演算部４４７は、取得した補正画像データを、例えば図示されない画像抽出部に対して出力する。

このように、第１の実施形態の第３の変形例では、情報処理装置の傾きを検出し、傾きが所定以上の場合に、撮像画像の取得を行わないようにしている。したがって、情報処理装置４００ｄが傾いているために撮像画像に台形歪みが発生する事態を防止することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。上述した第１の実施形態では、ユーザは、ユーザ画像３０１が描画された用紙３００を撮像する際に、情報処理装置４００と用紙３００との距離が所定の距離になるように、情報処理装置４００の位置を調整する必要があった。これは、第１の実施形態のみならず、第１の実施形態の各変形例でも同様である。

すなわち、ライト４０３と被写体との距離に応じて、図１５（ａ）〜図１５（ｄ）に例示されるように、被写体上でのライト４０３の光の照射による輝度分布の傾向が変化する。図１５（ａ）〜図１５（ｄ）の例は、図１５（ａ）がライト４０３と被写体との距離が最も遠い場合の輝度分布の例を示し、以降、図１５（ｂ）、図１５（ｃ）、図１５（ｄ）の順にライト４０３と被写体との距離が順次接近した場合のそれぞれの輝度分布の例を示す。

この例では、ライト４０３と被写体との距離が遠いほど、被写体における全体的な輝度が低下し、且つ、周辺部の輝度がより低下する。逆に、ライト４０３と被写体との距離が接近するに連れ、被写体における全体的な輝度が増加し、且つ、周辺部の輝度も増加する。

したがって、各距離における輝度分布にそれぞれ対応した複数の標準画像を用意し、ライト４０３からの距離を距離センサを用いて測定して、測定結果に基づき、複数の標準画像からライト４０３からの距離に応じた標準画像を選択する。この距離に応じて選択された標準画像を用いて撮像画像を補正することで、情報処理装置の位置を大まかに調整するだけで、適切な補正画像を得ることが可能となる。

図１６は、第２の実施形態に係る情報処理装置の一例の構成を示す。なお、図１６において、上述した図５と共通する部分には同一の符号を付して、詳細な説明を省略する。図１６において、情報処理装置４００ｅは、図５の情報処理装置４００ａに対して距離センサ４７０が追加されている。距離センサ４７０は、撮像部４４０による撮像の際に被写体までの距離を測定する距離センサを共用することができる。

また、図１６において、標準画像出力部４８０は、距離＃１、＃２、＃３および＃４の複数の距離にそれぞれ対応する複数の標準画像データ４８１ａ、４８１ｂ、４８１ｃおよび４８１ｄと、これら標準画像データ４８１ａ、４８１ｂ、４８１ｃおよび４８１ｄから１を選択するためのセレクタ４８２とを含む。標準画像データ４８１ａ、４８１ｂ、４８１ｃおよび４８１ｄは、例えば、図１５（ａ）〜図１５（ｄ）に示した、ライト４０３と被写体との距離に応じた輝度分布に対応したデータを用いることができる。

距離センサ４７０の出力が制御部４３０ｅに供給される。制御部４３０ｅは、供給された距離センサ４７０の出力に基づき被写体までの距離を取得し、取得した距離に従いセレクタ４８２を制御して、標準画像データ４８１ａ〜４８１ｄのうち距離に応じた標準画像データを選択する。標準画像データ４８１ａ〜４８１ｄのうち、セレクタ４８２に選択された標準画像データが演算部４４７に供給される。

なお、上述では、演算部４４７には、距離について段階的に選択された標準画像データが供給されるように説明したが、これはこの例に限定されない。例えば、図４を用いて説明した標準画像を示す特性を、被写体からの距離を示す距離値をパラメータに含む関数として表現し、この関数を標準画像出力部４８０に適用することも考えられる。制御部４３０ｅは、距離センサ４７０の出力に基づく距離値をパラメータとして標準画像出力部４８０に供給する。標準画像出力部４８０は、制御部４３０ｅから供給されたパラメータを用いて、標準画像の特性を示す関数の計算を行い、計算結果を当該距離値が示す距離に対応する標準画像データとして、演算部４４７に供給する。

また、制御部４３０ｅは、距離センサ４７０の出力に基づく距離値を標準画像出力部４８０に供給し、標準画像出力部４８０は、この距離値に基づき各標準画像データ４８１ａ〜４８１ｄを補間して、距離値に対応する標準画像データを出力することも可能である。

図１７は、第２の実施形態による画像補正処理を示す一例のフローチャートである。ステップＳ１３０で、例えば操作部４０２に対するユーザ操作に応じて、第２の実施形態に係るアプリが起動されると、次のステップＳ１３１で、制御部４３０ｅは、ライト４０３を点灯し発光させる。次のステップＳ１３２で、制御部４３０ｅは、距離センサ４７０の出力に基づき被写体（用紙３３０）までの距離を検出する。

制御部４３０ｅは、次のステップＳ１３３で、撮像指示を待機する。制御部４３０ｅは、例えば操作部４０２に対して撮像を指示する操作がなされたと判定した場合、処理をステップＳ１３４に移行させる。一方、制御部４３０ｅは、操作部４０２に対する撮像指示の操作が無いと判定した場合、処理をステップＳ１３３に戻す。

ステップＳ１３４で、制御部４３０ｅは、フレームメモリ４４２から１フレーム分の撮像画像データを読み出してフレームメモリ４４５に記憶させ、処理対象の撮像画像データを取得する。次のステップＳ１３５で、制御部４３０ｅは、ステップＳ１３２で検出された距離に従いセレクタ４８２を制御して、標準画像データ４８１ａ〜４８１ｄのうち当該距離に対応する標準画像データを選択する。そして、制御部４３０ｅは、演算部４４７を制御して、標準画像出力部４８０から、セレクタ４８２で選択され出力される標準画像データを演算部４４７に取り込む。

次のステップＳ１３６で、演算部４４７は、式（１）〜（３）に従い、ステップＳ１３５で取り込まれた標準画像データを用いて、ステップＳ１３４でフレームメモリ４４５に記憶された撮像画像データを補正する。演算部４４７は、この補正処理により補正後の補正画像データを取得する（ステップＳ１３７）。演算部４４７は、取得した補正画像データを、例えば図示されない画像抽出部に対して出力する。

（情報処理装置の具体的な構成例）
図１８は、各実施形態および変形例に適用可能な情報処理装置の一例の構成を示す。なお、図１８は、図２を用いて説明した情報処理装置４００を実現可能な構成の例として示しているが、図１８の構成は、上述した第１の実施形態の各変形例および第２の実施形態による情報処理装置４００ａ〜４００ｅにも適用可能なものである。

図１８に例示される情報処理装置４００において、バスに対してＣＰＵ４９０、ＲＯＭ４９１、ＲＡＭ４９２および表示制御部４９３が接続される。また、バスに対して、ストレージ４９５、データＩ／Ｆ４９６、入力デバイス４９７、通信部４９８が接続される。ストレージ４９５は、データを不揮発に記憶することが可能な記憶媒体であって、例えばフラッシュメモリなどの不揮発性の半導体メモリである。これに限らず、ストレージ４９５としてハードディスクドライブを用いてもよい。

情報処理装置４００において、バスに対して、さらに、ライト４０３と、距離センサ４７０と、カメラモジュール４０４とが接続される。なお、ライト４０３および距離センサ４７０は、図示されないインターフェイスを介してバスに接続される。これに限らず、ライト４０３および距離センサ４７０は、図示されないインターフェイスを介してＣＰＵ４９０に直接的に接続されてもよい。

ＣＰＵ４９０は、ＲＯＭ４９１およびストレージ４９５に記憶されるプログラムに従い、ＲＡＭ４９２をワークメモリとして用いて、この情報処理装置４００の全体の動作を制御する。表示制御部４９３は、ＣＰＵ４９０により生成された表示制御信号を、表示デバイス４９４が表示可能な信号に変換して出力する。

ストレージ４９５は、上述のＣＰＵ４９０が実行するためのプログラムや各種データが格納される。データＩ／Ｆ４９６は、外部からのデータの入力を行う。データＩ／Ｆ４９６としては、例えば、ＵＳＢ(Universal Serial Bus)やＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394)などによるインタフェースを適用することができる。

入力デバイス４９７は、ユーザ入力を受け付けて所定の制御信号を出力する。ユーザは、例えば表示デバイス４９４に対する表示に応じて入力デバイス４９７を操作することで、情報処理装置４００に対して指示を出すことができる。なお、入力デバイス４９７と表示デバイス４９４とを一体的に構成し、入力デバイス４９７を押圧した位置に応じた制御信号を出力すると共に、表示デバイス４９４の画像を透過するタッチパネルとして構成すると、好ましい。

通信部４９８は、所定のプロトコルを用いてネットワークと無線または有線による通信を行う。カメラモジュール４０４は、入力デバイス４９７に対するユーザ操作による指示に従い、撮像やズームなどの機能を実行する。カメラモジュール４０４で撮像され得られた撮像画像データは、バスを介してＣＰＵ４９０に送られる。

上述した制御部４１０と、補正処理部４１１と、標準画像出力部４１２は、ＣＰＵ４９０上で動作するアプリケーションプログラム（アプリ）によって実現される。このアプリケーションプログラムは、ＲＯＭ４９１やストレージ４９５に予め記憶させて提供することができる。これに限らず、アプリケーションプログラムは、通信部４９８が通信可能なネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成される。また、このアプリケーションプログラムを、ネットワーク経由で提供または配布するように構成してもよい。

これに限らず、このアプリケーションプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供してもよい。この場合、例えばデータＩ／Ｆ４９６に接続された外部のドライブ装置やコンピュータを介して、アプリケーションプログラムが情報処理装置４００に供給される。

アプリケーションプログラムは、例えば、上述した各部（制御部４１０、補正処理部４１１および標準画像出力部４１２）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ４９０が例えばストレージ４９５から当該アプリケーションプログラムを読み出して実行することにより上記各部が主記憶装置（例えばＲＡＭ４９２）上にロードされ、各部が主記憶装置上に生成されるようになっている。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態は、ユーザが描画した画像に基づく画像データを、仮想的な水槽内で恰も魚が遊泳しているように表示する表示システムに、上述した第１の実施形態に係る情報処理装置４００を適用した例である。

なお、第３の実施形態は、当該表示システムに対し、第１の実施形態に係る情報処理装置４００を適用する例に限られず、第１の実施形態および第１の実施形態の各変形例に係る情報処理装置４００ａ〜４００ｄ、ならびに、第２の実施形態に係る情報処理装置４００ｅのうち何れかを適用してもよい。

図１９は、第３の実施形態に係る表示システムの一例の構成を示すブロック図である。図１９において、表示システム１は、パーソナルコンピュータ（ＰＣ）１０と、１以上のプロジェクタ装置（ＰＪ）１１₁、１１₂、１１₃とを含む。また、ＰＣ１０は、情報処理装置４００と無線または有線でのデータ通信が可能とされている。

図１９において、ユーザ２３は、情報処理装置４００において例えば第１の実施形態に係るアプリを起動させ、ユーザ画像２２が描画された用紙２１を撮像する。情報処理装置４００は、例えば図３のフローチャートの処理に従い、アプリが起動されるとライト４０３を発光させ（ステップＳ１００、ステップＳ１０１）、ユーザ２３の情報処理装置４００に対する撮像指示に応じて撮像画像データおよび標準画像データを取得する（ステップＳ１０２〜ステップＳ１０４）。そして、情報処理装置４００は、式（１）〜（３）に従い標準画像データを用いて撮像画像データを補正し、撮像画像データが補正された画像データを取得する（ステップＳ１０５、ステップＳ１０６）。

情報処理装置４００は、撮像画像データが補正された画像データをＰＣ１０に送信する。ＰＣ１０は、情報処理装置４００から送信された画像データに対して所定の画像処理を施して表示画像データとし、プロジェクタ装置（ＰＪ）１１₁、１１₂、１１₃に供給する。プロジェクタ装置１１₁、１１₂、１１₃は、ＰＣ１０から供給された表示画像データに従い、画像１３₁、１３₂、１３₃をスクリーン１２に投射する。

なお、図１９のように複数のプロジェクタ装置（ＰＪ）１１₁、１１₂、１１₃による画像１３₁、１３₂、１３₃を１のスクリーン１２に投射する場合、各画像１３₁、１３₂、１３₃の隣接部分に重複部分を設けると好ましい。図１９の例では、カメラ１４によりスクリーン１２に投射された画像１３₁、１３₂、１３₃を撮像し、ＰＣ１０が、撮像画像データに基づき各画像１３₁、１３₂、１３₃、あるいは、各プロジェクタ装置（ＰＪ）１１₁、１１₂、１１₃を制御して、重複部分の画像を調整している。

このような構成において、例えば、ユーザ２３が手書きにてユーザ画像２２を用紙２１に描画し、この用紙２１の画像を情報処理装置４００で撮像する。情報処理装置４００は、上述したようにして標準画像データにより撮像画像データを補正し、補正した画像データをＰＣ１０に送信する。ＰＣ１０は、情報処理装置４００から供給された画像データからユーザ画像２２に対応する画素を決定し、ユーザ画像２２の領域のデータを抽出する。このとき、情報処理装置４００から供給される画像データは、描画部分以外の輝度分布が補正処理により均一化されているため、ユーザ画像２２の領域を高精度に抽出することが可能である。ＰＣ１０は、抽出した、ユーザ画像２２の領域の画像データをユーザ画像データとして記憶する。

一方、ＰＣ１０は、３次元の座標系を持つ画像データ空間を生成する。そして、ＰＣ１０は、ユーザ画像データに対してこの画像データ空間内の座標を与えて当該ユーザ画像データを当該画像データ空間内のデータとする。以下では、この３次元の画像データ空間内のユーザ画像データを、ユーザオブジェクトと呼ぶ。ＰＣ１０は、この、ユーザオブジェクトを含む３次元の画像データ空間を２次元の画像データ平面に投影し、投影して生成された画像データを、プロジェクタ装置（ＰＪ）１１₁、１１₂、１１₃の台数分に分割して、各プロジェクタ装置（ＰＪ）１１₁、１１₂、１１₃に供給する。

ここで、ＰＣ１０は、ユーザオブジェクトに対して、画像データ空間内での動きを与えることができる。例えば、ＰＣ１０は、ユーザオブジェクトの元になるユーザ画像データの特徴量を求め、求めた特徴量に基づき、ユーザオブジェクト自身の変形のモードを含む、動きに関する各パラメータを生成する。ＰＣ１０は、このパラメータをユーザ画像データに適用して、ユーザオブジェクトに対して画像データ空間内での動きを与える。

このようにすることで、ユーザ２３は、自身が手書きにて作成したユーザ画像２２を、３次元の画像データ空間内で動く画像として観察することができる。また、ＰＣ１０は、複数のユーザオブジェクトを同一の画像データ空間内に含めることができる。したがって、ユーザ２３は、上述の操作を繰り返すことで、例えば異なる複数のユーザ画像２２を、それぞれ、３次元の画像データ空間内で動く画像として観察することができる。

図２０は、第３の実施形態に係る、ＰＣ１０により生成される、３次元の座標系を持つ画像データ空間について概略的に示す。第３の実施形態では、３次元の座標系として、互いに直交する３の座標軸（ｘ軸、ｙ軸、ｚ軸）を持つ直交座標系を用いる。以下では、図２０に示されるように、ｘ軸、ｙ軸およびｚ軸を、それぞれ高さ、幅および奥行方向の軸とし、ＰＣ１０は、高さ、幅および奥行の各軸による３次元の座標系を持つ画像データ空間３０を生成するものとして説明する。図２０の例では、この画像データ空間３０内に、ユーザ画像データによる各ユーザオブジェクト４０₁、４０₂、４０₃、４０₄および４０₅が含まれている。

ＰＣ１０は、この画像データ空間３０に対して、それぞれ値が予め定められた高さＨ、幅Ｗおよび奥行Ｄからなる空間である定義領域３１を設定する。ユーザ画像データによる各ユーザオブジェクト４０₁、４０₂、…の動きは、この定義領域３１内に制限される。第３の実施形態では、各ユーザオブジェクト４０₁、４０₂、…の元になるユーザ画像２２として、魚類、イカ、タコ、クラゲなど水中に棲息する生物を想定しており、定義領域３１は、仮想的な水槽と見做すことができる。以下では、特に記載の無い限り、定義領域３１を仮想水槽３１と呼ぶ。

図２１は、第３の実施形態に適用可能なＰＣ１０の一例の構成を示す。図２１のＰＣ１０において、バス１００に対してＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２および表示制御部１１３が接続される。ＰＣ１０において、さらに、バス１００に対してストレージ１１４、データＩ／Ｆ１１５および通信Ｉ／Ｆ１１６が接続される。

ＣＰＵ１１０は、ＲＯＭ１１１およびストレージ１１４に予め記憶されるプログラムに従い、ＲＡＭ１１２をワークメモリとして用いて、このＰＣ１０の全体を制御する。表示制御部１１３は、モニタ１２０が接続され、ＣＰＵ１１０により生成された表示制御信号を、モニタ１２０が表示可能な信号に変換して出力する。また、表示制御部１１３は、表示制御信号を、プロジェクタ装置１１₁、１１₂および１１₃が表示可能な信号に変換してそれぞれ出力することができる。

ストレージ１１４は、データを不揮発に記憶することが可能な記憶媒体であって、例えばハードディスクドライブが用いられる。これに限らず、ストレージ１１４として、例えばフラッシュメモリなどの不揮発性の半導体メモリを用いてもよい。ストレージ１１４は、上述のＣＰＵ１１０が実行するためのプログラムや各種のデータが格納される。

データＩ／Ｆ１１５は、外部の機器との間でのデータの入出力を制御する。例えば、データＩ／Ｆ１１５は、マウスなどのポインティングデバイスや図示されないキーボード（ＫＢＤ）からの信号が入力される。さらに、ＣＰＵ１１０で生成された表示制御信号を、このデータＩ／Ｆ１１５から出力して、例えば各プロジェクタ装置１１₁、１１₂および１１₃に供給してもよい。このようなデータＩ／Ｆ１１５としては、ＵＳＢやＢｌｕｅｔｏｏｔｈ（登録商標）といったインタフェースを適用することができる。

通信Ｉ／Ｆ１１６は、インターネットやＬＡＮ(Local Area Network)といったネットワークを介した通信を制御する。ＰＣ１０は、情報処理装置４００との通信を、この通信Ｉ／Ｆ１１６を介して行う。

図２２は、第３の実施形態に係るＰＣ１０の機能を説明するための一例の機能ブロック図である。ＰＣ１０は、入力部１３０と、画像取得部１３１と、３Ｄ空間生成部１３２と、領域設定部１３３と、モード判定部１３４と、パラメータ生成部１３５と、画像制御部１３６と、記憶部１３７とを含む。

入力部１３０は、ユーザ２３による手書きで描画されたユーザ画像２２を含む画像データが入力される。例えば、入力部１３０は、通信Ｉ／Ｆ１１６の機能を含み、情報処理装置４００から送信された、ユーザ２３が手書きで描画したユーザ画像２２を含む用紙２１を撮像し、標準画像を用いて補正した画像データが入力される。そして、入力部１３０は、入力された画像データから、ユーザ画像２２を抽出し、ユーザ画像データとして取得する。

３Ｄ空間生成部１３２は、図２０を用いて説明した、高さ、幅および奥行の３軸からなる３次元の座標軸による画像データ空間３０を生成する。３Ｄ空間生成部１３２は、例えば、ＲＡＭ１１２上のアドレス空間として画像データ空間３０を生成する。領域設定部１３３は、３Ｄ空間生成部１３２で生成された画像データ空間３０内に、予め定められた値に従い、高さＨ、幅Ｗおよび奥行Ｄの定義領域３１（仮想水槽３１）を設定する。

画像取得部１３１は、画像データ空間３０に対して所定に視点を設定して、設定した視点から画像データ空間３０を２次元の画像データ平面に投影し、プロジェクタ装置１１_１〜１１_３で投射させるための画像データを取得する。

モード判定部１３４は、入力部１３０で取得されたユーザ画像データに基づき、当該ユーザ画像データが画像データ空間３０に含まれた際のユーザオブジェクトに割り当てる、ユーザオブジェクト自身の変形のモード（変形モードと呼ぶ）を判定する。パラメータ生成部１３５は、入力部１３０で取得されたユーザ画像データに基づき、当該ユーザ画像データによるユーザオブジェクトの動きに関する性能を決めるパラメータを生成する。

画像制御部１３６は、モード判定部１３４により判定された変形モードと、パラメータ生成部１３５で生成されたパラメータとに従い、画像データ空間３０内でのユーザオブジェクトの動きを制御する。換言すれば、画像制御部１３６は、画像データ空間３０における仮想水槽３１内での座標をユーザオブジェクトに与え、この座標を、時間の経過に伴い連続して変化させる制御を行う。

記憶部１３７は、ＲＡＭ１１２に対応し、ユーザオブジェクトの元になるユーザ画像データなどを記憶する。これに限らず、ストレージ１１４を記憶部１３７として用いてもよい。例えば、モード判定部１３４やパラメータ生成部１３５は、この記憶部１３７に記憶されるユーザ画像データを用いて、変形モードの判定やパラメータの生成を行う。また、画像制御部１３６は、記憶部１３７に記憶されるユーザ画像データに対して仮想水槽３１内の座標を与えることで、当該ユーザ画像データを、画像データ空間３０内にユーザオブジェクトとして含ませることができる。さらに、画像制御部１３６は、ユーザオブジェクトに対して変形モードやパラメータに従い変形処理や移動処理などを施す。

なお、上述したＰＣ１０に含まれる入力部１３０、画像取得部１３１、３Ｄ空間生成部１３２、領域設定部１３３、モード判定部１３４、パラメータ生成部１３５および画像制御部１３６は、例えばストレージ１１４に予め記憶され、ＣＰＵ１１０上で動作する表示制御プログラムによって実現される。この表示制御プログラムは、インストール可能な形式また実行可能な形式のファイルでＣＤ、フレキシブルディスク（ＦＤ）、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施形態のＰＣ１０で実行される表示制御プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供するように構成してもよい。また、実施形態のＰＣ１０で実行される表示制御プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。さらに、実施形態の表示制御プログラムを、ＲＯＭ１１１などに予め組み込んで提供するように構成してもよい。

実施形態のＰＣ１０で実行される表示制御プログラムは、上述した各部（入力部１３０、画像取得部１３１、３Ｄ空間生成部１３２、領域設定部１３３、モード判定部１３４、パラメータ生成部１３５および画像制御部１３６）を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１１０がストレージ１１４やＲＯＭ１１１などの記憶媒体から表示制御プログラムを読み出して実行することにより、上述した各部がＲＡＭ１１２などの主記憶装置上にロードされ、入力部１３０、画像取得部１３１、３Ｄ空間生成部１３２、領域設定部１３３、モード判定部１３４、パラメータ生成部１３５および画像制御部１３６が主記憶装置上に生成されるようになっている。

次に、実施形態による表示制御処理について、より詳細に説明する。図２３は、第３の実施形態に係る表示システムによる表示制御処理の全体的な流れを示す一例のフローチャートである。このフローチャートによる処理の実行に先立って、ユーザ２３により用紙２１にユーザ画像２２が描画される。ここでは、ユーザは、予めフォーマットが定められた用紙に対してユーザ画像２２の描画を行うものとする。

図２４は、第３の実施形態に係る、手書き描画を行うための用紙の例を示す。図２４の左側に示される用紙２００において、画像データ空間３０内に含ませたいオブジェクト（ユーザオブジェクト）の元となるユーザ画像２１２を手書き描画する描画領域２１０と、描画領域２１０に描画された絵に対するタイトルを記入するタイトル記入領域２１１とが配される。

また、用紙２００の四隅のうち３の隅に、マーカ２２０₁、２２０₂および２２０₃が配される。用紙２００の画像を情報処理装置４００で撮像した撮像画像から、これらマーカ２２０₁、２２０₂および２２０₃を検出することで、用紙２００の向きおよび大きさを知ることができる。なお、これらマーカ２２０₁、２２０₂および２２０₃は、描画領域２１０の各隅に配置してもよい。

図２３のフローチャートにおいて、ＰＣ１０は、情報処理装置４００から送信された、ユーザ画像２１２を含む用紙２００の画像を撮像し標準画像を用いて補正された画像データを受信する。受信された画像データは、ステップＳ１０で入力部１３０に入力される。

次のステップＳ１１で、ＰＣ１０において、入力部１３０は、入力された画像データから、ユーザ画像データを抽出する。先ず、入力部１３０は、画像データから各マーカ２２０₁〜２２０₃を検出する。入力部１３０は、検出された各マーカ２２０₁〜２２０₃の画像データ上の位置に基づき、画像データの方向および大きさを判定する。

例えば、入力部１３０は、画像データの四隅のうち、マーカ２２０₁〜２２０₃が存在しない隅を検出し、検出された隅の位置に基づき画像データの向きを判定する。図２４の例では、マーカ２２０₁〜２２０₃が存在しない隅が画像データの右下隅であると判定する。また、これにより、各マーカ２２０₁〜２２０₃の原稿画像データ上での位置も確定できる。入力部１３０は、さらに、各マーカ２２０₁〜２２０₃間の距離を計測し、計測された距離と、ストレージ１１４などに予め記憶される対応する既知の距離とを比較する。この比較結果に基づき、原稿画像データにおける縦横方向のサイズの歪みを修正することができる。

入力部１３０は、上述のようにして取得した画像データの向きとサイズとに基づき、画像データから描画領域２１０とタイトル記入領域２１１とを抽出する。図２４の右側に、画像データから抽出された描画領域２１０およびタイトル記入領域２１１の画像データによる画像の例を示す。入力部１３０は、さらに、描画領域２１０の画像データからユーザ画像２１２の部分を抽出する。例えば、入力部１３０は、描画領域２１０の画像データの各画素の輝度を閾値判定し、画像データを２値化する。この２値化された画像データに対してユーザ画像２１２の部分を抽出する。このユーザ画像２１２の部分を含み、底辺の方向が描画領域２１０の底辺の方向と平行な最小の矩形領域２１３の画像データを、ユーザ画像データとする。入力部１３０は、ユーザ画像データを記憶部１３７に記憶させる。

次のステップＳ１２で、ＰＣ１０において、モード判定部１３４は、ステップＳ１１で抽出されたユーザ画像データに対して割り当てる変形モードを判定する。実施形態では、仮想水槽３１内での各ユーザオブジェクトに対して変形モードを割り当て、各ユーザオブジェクトの仮想水槽３１内での動作を、この変形モードに基づき制御する。

第３の実施形態では、変形モードとして、ユーザオブジェクトを縦に分割して進行方向の後ろ側を動かして変形させる第１モードと、ユーザオブジェクトを縦方向に伸縮させて変形させる第２モードと、ユーザオブジェクトを横に分割して下側を動かして変形させる第３モードとの３モードが定義される。実施形態では、ユーザ画像データの縦横比Ｒを取得し、取得した縦横比Ｒに従い当該ユーザ画像データによるユーザオブジェクトに対して、上述した第１、第２および第３モードのうち何れを割り当てるかを決定する。

ステップＳ１３で、ＰＣ１０において、パラメータ生成部１３５は、ユーザ画像データによるユーザオブジェクトに対して、当該ユーザオブジェクトの画像データ空間３０内での動作に関する性能（以下、動作性能と呼ぶ）を決定するパラメータｐを生成、決定する。ユーザオブジェクトの画像データ空間３０内での動作は、ここで生成、決定されたパラメータｐに従い制御されることになる。パラメータｐは、例えば、進行方向の最大速度および加速度、水平および垂直方向の角加速度の最大値、垂直方向の向きの変更速度の最大値、左右上下方向の乱数幅の最大値（最大乱数幅）を含む。

パラメータ生成部１３５は、ユーザ画像２１２の特徴量を求め、求めた特徴量に基づき当該ユーザ画像データによるユーザオブジェクトの各パラメータｐを決定する。ユーザ画像データの特徴量は、ユーザ画像データにおける色分布やエッジ量などに基づき求めることが可能である。また、特開２００９−１０１１２２号公報に記載されるように、ユーザ画像データを構成する各画素のビット情報に基づき特徴量を求めることもできる。

次のステップＳ１４で、画像制御部１３６は、ユーザ画像データに対して半透明領域を設定する。例えば、画像制御部１３６は、ユーザ画像データを含む矩形領域２１３において、図２４を用いて説明したようにして入力部１３０により抽出されたユーザ画像２１２の部分の内側領域および外側領域を検出する。画像制御部１３６は、検出された内側領域において、白色の画素を、半透明に設定する。また、画像制御部１３６は、検出された外側領域を透明に設定する。画像データに対する透明および半透明の設定は、既知のアルファブレンディングの技術を用いて実現することができる。

このように、ユーザ画像データのユーザ画像２１２の部分に対して半透明領域を設定することで、仮想水槽３１内において、当該ユーザ画像データによるユーザオブジェクトの見え方を、水中の生物により近くすることができる。

次に、ステップＳ１５で、画像制御部１３６は、ユーザ画像データによるユーザオブジェクトに対して、当該ユーザオブジェクトが仮想水槽３１内に最初に表示される際の初期座標が設定される。次のステップＳ１６で、画像制御部１３６は、ステップＳ１５で初期座標が設定されたユーザオブジェクトに対して動きを与え、ユーザオブジェクトの動作を開始させる。画像制御部１３６は、対象ユーザオブジェクトに対して設定された第１〜第３モードの何れかの変形モードに従い、当該対象ユーザオブジェクトを変形させながら、パラメータｐに応じてユーザオブジェクトを動作させる。

なお、上述の実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

３００，３３０ 用紙
３０１ ユーザ画像
３１０ 撮像画像
３２０ 標準画像
３３１ 枠画像
３４０ ファインダ画面
３４１ 枠ガイド画像
４００，４００ａ，４００ｂ，４００ｃ，４００ｄ，４００ｅ 情報処理装置
４０１ 補正部
４０２ 操作部
４０３ ライト
４０４ カメラモジュール
４１０，４３０ａ，４３０ｂ，４３０ｃ，４３０ｄ，４３０ｅ 制御部
４１１ 補正処理部
４１２，４４６，４８０ 標準画像出力部
４４２，４４５ フレームメモリ
４４４ 表示部
４４７ 演算部
４５０ａ，４５０ｂ 枠認識部
４５１ 枠生成部
４６０ 傾きセンサ
４７０ 距離センサ
４８１ａ，４８１ｂ，４８１ｃ，４８１ｄ 標準画像データ
４８２ セレクタ

特開２００９−１３１５９６号公報

Claims (10)

1. 撮像部から出力される、被写体を撮像した撮像画像を取得する撮像画像取得部と、
   前記撮像部の撮像方向に向けて照射する光を発光する発光部と、
   前記発光部から予め定められた距離における前記光の輝度分布に基づく標準画像を出力する標準画像出力部と、
   前記撮像画像取得部が前記発光部から前記光が発光された状態で取得した前記撮像画像を、前記標準画像を用いて補正する補正処理部と
   を有する
   ことを特徴とする情報処理装置。
2. 前記撮像画像取得部は、
   前記発光部を制御し、前記撮像画像の取得に先立って前記光を発光させる
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記撮像部から出力される前記撮像画像から被写体に予め設けられた枠画像を認識する認識部をさらに有し、
   前記撮像画像取得部は、
   前記認識部により前記撮像画像内に前記枠画像が認識された場合に、前記撮像画像を取得する
   ことを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 前記撮像画像を表示する表示部と、
   前記表示部に表示させるための表示用枠画像を出力する枠画像出力部と
   をさらに有し、
   前記撮像画像取得部は、
   前記認識部が前記撮像画像から認識した前記枠画像が、前記表示用枠画像の前記表示部における表示領域内の位置に対して予め定められた範囲内に位置する場合に、前記撮像画像を取得する
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記撮像画像取得部は、
   前記認識部により認識された前記枠画像の形状が予め定められた形状である場合に前記撮像画像を取得する
   ことを特徴とする請求項３または請求項４に記載の情報処理装置。
6. 前記標準画像を予め記憶する記憶部をさらに有し、
   前記標準画像出力部は、
   前記記憶部から前記標準画像を読み出して出力する
   ことを特徴とする請求項１乃至請求項５の何れか１項に記載の情報処理装置。
7. 前記発光部から被写体までの距離を測定する距離測定部をさらに有し、
   前記標準画像出力部は、
   前記距離測定部の測定結果に従い、前記発光部からの前記距離に応じた前記標準画像を出力する
   ことを特徴とする請求項１乃至請求項６の何れか１項に記載の情報処理装置。
8. 前記撮像部の傾きを検出する傾き検出部をさらに有し、
   前記撮像画像取得部は、
   前記傾きが予め定められた範囲内である場合に前記撮像画像を取得する
   ことを特徴とする請求項１乃至請求項７の何れか１項に記載の情報処理装置。
9. 撮像部から出力される、被写体を撮像した撮像画像を取得する撮像画像取得ステップと、
   前記撮像部の撮像方向に向けて照射する光を発光する発光部から予め定められた距離における前記光の輝度分布に基づく標準画像を出力する標準画像出力ステップと、
   前記撮像画像取得ステップにより前記発光部から前記光が発光された状態で取得した前記撮像画像を、前記標準画像を用いて補正する補正処理ステップと
   を有する
   ことを特徴とする情報処理方法。
10. 撮像部から出力される、被写体を撮像した撮像画像を取得する撮像画像取得ステップと、
    前記撮像部の撮像方向に向けて照射する光を発光する発光部から予め定められた距離における前記光の輝度分布に基づく標準画像を出力する標準画像出力ステップと、
    前記撮像画像取得ステップにより前記発光部から前記光が発光された状態で取得した前記撮像画像を、前記標準画像を用いて補正する補正処理ステップと
    をコンピュータに実行させるためのプログラム。

Images