JP2007194794A - 撮影装置、撮影画像の画像処理方法及びプログラム - Google Patents

Abstract

【課題】色のついたライティングの影響を受けずに色補正を正しく行う。
【解決手段】台座１３には、予め、カラーバーが印刷されている。書画カメラ１は、この台座１３を含む領域を撮影領域として撮影を行う。書画カメラ１は、台座射影パラメータを取得し、カラーバーの位置とカラーバー画像の位置を対応させてから、カラーバー画像の色成分の情報を取得する。カラーバーの本来のカラー値は既知であり、書画カメラ１は、取得した色成分の情報と本来のカラー値とに基づいて、カラー歪みを推測し、推測したカラー歪みに基づいて色補正パラメータを取得する。書画カメラ１は、取得した色補正パラメータに基づいて色補正、明るさ補正を行う。
【選択図】図１

Description

本発明は、撮影装置、撮影画像の画像処理方法及びプログラムに関するものである。

近年、撮影装置として、ユーザが原稿台に載置した原稿をカメラで撮影して、カメラで撮影した原稿の画像データを記憶して画像処理を行い、プロジェクタを用いてスクリーン上に原稿の画像を拡大して投影するものがある（例えば、特許文献１参照）。

図１１（ａ）、（ｂ）に示すように、この撮影装置の支柱５２は、カメラ部５１の向きを変えることができるように可動式になっている。図１１（ａ）に示すように、カメラ部５１が原稿台５３の真上に配置されて、原稿台５３に載置された原稿（用紙）が撮影されると、図１２（ａ）に示すような画像が得られる。

ライトの映り込みがある場合は、図１１（ｂ）に示すように、カメラ部５１が少し斜め上方向に配置される。このようにカメラ部５１が配置されて原稿台５３に載置された原稿が撮影されると、図１２（ｂ）に示すような画像が得られる。

この従来の撮影装置は、輝度、色差といった画像効果に関する処理に対して余分な領域の影響を排除するため、得られた画像から原稿画像の切り出しを行い、正面化補正を行う。そして、従来の撮影装置は、正面化補正を行った画像に対して画像鮮明化処理を行い、最終的に、図１２（ｃ）に示すような視認性の良い画像を生成する。

かかる従来の撮影装置は、原稿画像のみからなる画像から、輝度ヒストグラム、色ヒストグラムを作成し、作成したヒストグラムに基づいてパラメータを取得し、このパラメータに基づいて、画像の引き延ばし又は陰等の影響によるシェーディング補正等の画像鮮明化処理を行うようにしている。

特開２００５−１２２３２３号公報（第１０，２６頁、図１，２，２２，２４）

しかし、従来の撮影装置では、撮影画像を基にしてパラメータを取得しているため、コントラストや鮮やかさを高めることはできるものの、色のついたライティング等の影響による色の補正をすることができない。このため、色合いが重要な写真の投影等において、必要とされる色合いの画像を得られない場合がある。

本発明は、このような従来の問題点に鑑みてなされたもので、色補正を正しく行うことが可能な撮影装置、撮影画像の画像処理方法及びプログラムを提供することを目的とする。
また、本発明は、容易に色補正を行うことが可能な撮影装置、撮影画像の画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮影装置は、
各色の予め設定されたカラー画素値を示すカラーバーと形状が既知の多角形の頂点とが予め記された台座を撮影する撮影部と、
前記撮影部の撮影によって得られた撮影画像中の前記台座に記された多角形の頂点座標に基づき、前記多角形画像の各座標を出力座標系に射影変換するための射影パラメータを取得する射影パラメータ取得部と、
前記射影パラメータ取得部によって設定された出力座標系におけるカラーバー画像の各カラー画素値から色補正パラメータを取得する色補正パラメータ取得部と、
前記色補正パラメータ取得部が取得した色補正パラメータを用いて、前記撮影画像の色補正を行う色補正部と、を備えたことを特徴とする。

前記射影パラメータ取得部は、前記撮影画像から、前記台座に付された多角形に対応する多角形画像の頂点座標を取得し、前記台座に記された多角形の頂点座標と前記多角形画像の頂点座標とを比較して前記出力画像の出力座標系を設定し、前記多角形画像の各座標を前記出力座標系に射影変換するための射影パラメータを取得するようにしてもよい。

前記色補正パラメータ取得部は、前記出力座標系における前記カラーバー画像の位置と前記台座に記されたカラーバーの位置とを対応させて、前記カラーバー画像の各カラー画素値と前記台座に付されたカラーバーの各カラー画素値とを比較し、前記カラーバーの各カラー画素値が前記カラーバー画像のそれぞれのカラー画素値に変化した変化分を示すカラー歪みを取得し、前記取得したカラー歪みに基づいて、前記カラーバー画像の各カラー画素値を前記カラーバーのそれぞれのカラー画素値に変換するための色補正パラメータを取得するようにしてもよい。

前記カラーバーは、原色と黒色と白色との色成分のそれぞれのカラー画素値を領域に分けて示すものであってもよい。

前記色補正パラメータ取得部は、前記カラー歪みの逆関数を線形近似して前記色補正パラメータを取得するようにしてもよい。

前記色補正部は、前記射影パラメータ取得部が取得した射影パラメータに基づいて前記台座の画像の各座標を前記出力座標系に射影変換して射影補正画像を生成し、前記撮影画像の色補正を行うようにしてもよい。

本発明の第２の観点に係る撮影画像の画像処理方法は、
各色のカラー画素値を示すカラーバーと形状が既知の多角形の頂点とが予め記された台座を撮影することによって得られた撮影画像中の前記台座に記された多角形画像の頂点座標に基づき、出力座標系に射影変換するための射影パラメータを取得するステップと、
前記設定された出力座標系におけるカラーバー画像の各カラー画素値から色補正パラメータを取得するステップと、
前記取得した色補正パラメータを用いて、前記撮影画像の色補正を行うステップと、を備えたことを特徴とする。

本発明の第３の観点に係るプログラムは、
コンピュータに、
各色のカラー画素値を示すカラーバーと形状が既知の多角形の頂点とが予め記された台座を撮影することによって得られた撮影画像中の前記台座に記された多角形画像の頂点座標に基づき、出力座標系に射影変換するための射影パラメータを取得する手順、
前記設定された出力座標系におけるカラーバー画像の各カラー画素値から色補正パラメータを取得する手順、
前記取得した色補正パラメータを用いて、前記撮影画像の色補正を行う手順、
を実行させるためのものである。

本発明によれば、色補正を正しく行うことができる。また、色補正を容易に行うことができる。

以下、本発明の実施形態に係る撮影装置を図面を参照して説明する。尚、本実施形態では、撮像装置を撮影画像投影装置として説明する。
本実施形態に係る撮影画像投影装置の構成を図１に示す。
撮影画像投影装置は、書画カメラ１と、プロジェクタ２と、を備える。書画カメラ１とプロジェクタ２とは、ビデオ映像ケーブル３１を介して接続される。

書画カメラ１は、撮影対象を撮影する撮影装置であり、カメラ部１１と、支柱１２と、台座１３と、を備える。カメラ部１１は、原稿４を撮影するためのものである。カメラ部１１には、デジタルカメラが用いられる。支柱１２は、カメラ部１１を取り付けるためのものである。台座１３は、支柱１２を支えるためのものである。

また、この書画カメラ１は、図２に示すように、画像データ生成部２１と、データ処理部２２と、からなる。画像データ生成部２１とデータ処理部２２とは、例えば、図１に示すカメラ部１１に備えられる。画像データ生成部２１は、原稿４を撮影して得られた原稿画像のデータを取り込むためのものである。

データ処理部２２は、画像データ生成部２１から、撮影対象の画像データを取得して、プロジェクタ２に出力するための画像の処理を行うものである。

画像データ生成部２１は、光学レンズ装置１０１と、イメージセンサ１０２と、から構成される。
光学レンズ装置１０１は、原稿４を撮影するために、光を集光するレンズなどで構成されたものであり、焦点、露出、ホワイトバランス等のカメラ設定パラメータを調整するための周辺回路を備える。

イメージセンサ１０２は、光学レンズ装置１０１が光を集光することによって結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ（Charge Coupled Device;電荷結合素子）等によって構成される。

また、画像データ生成部２１は、定期的に画像の撮影を行う。画像データ生成部２１は、例えば、３００万画素の画像を１０フレーム／秒の速さで動画撮影と画像読み出しが可能なものである。

データ処理部２２は、メモリ２０１と、ビデオ出力装置２０２と、画像処理装置２０３と、操作部２０４と、プログラムコード記憶装置２０６と、ＣＰＵ２０７と、から構成される。

メモリ２０１は、画像データ等を記憶するものである。メモリ２０１は、これらのデータが書き込まれる領域として、図３に示すように、センサ画像記憶領域２０１ａと、処理画像記憶領域２０１ｂと、表示画像記憶領域２０１ｃと、作業データ記憶領域２０１ｄと、を有する。

センサ画像記憶領域２０１ａは、イメージセンサ１０２が取り込んだ画像データを、撮影する毎に一時記憶するための領域である。イメージセンサ１０２は、画像データをセンサ画像記憶領域２０１ａに記憶し、画像処理装置２０３、ＣＰＵ２０７は、一時記憶された画像データをセンサ画像記憶領域２０１ａから読み出す。

処理画像記憶領域２０１ｂは、画像処理装置２０３が処理に必要な画像データを書き込むための領域である。作業データ記憶領域２０１ｄは、座標データ等を記憶するための領域である。

図２に戻り、ビデオ出力装置２０２は、メモリ２０１の表示画像記憶領域２０１ｃに記憶された画像データに基づいてＲＧＢ信号を生成するものである。ビデオ出力装置２０２は、生成したＲＧＢ信号をプロジェクタ２に出力する。

画像処理装置２０３は、ＣＰＵ２０７に制御されて、メモリ２０１のセンサ画像記憶領域２０１ａに一時記憶された画像データに対して画像処理を行うためのものである。画像処理装置２０３は、書画カメラ１の機能を実現するため、以下のような画像処理を行う。

（１）台座射影パラメータ取得処理
（２）色補正パラメータ取得処理
（３）画像射影補正と色補正処理
（４）画像の圧縮処理
（５）投影処理

（１）〜（５）の処理を具体的に説明する。
（１）台座射影パラメータ取得処理
台座射影パラメータ取得処理は、正面化補正を行うために、台座１３の画像の形状（座標）を正面からみた形状に射影するためのパラメータを取得する処理である。

形状が既知の四角形を斜めに撮影すると、台形等のような矩形歪みが生じる。このような矩形歪みが生じても、その形状が既知であれば、矩形歪みが生じた画像を正面から撮影したような画像に補正することができる。

書画カメラ１は、これを利用して、長方形の形状の被写体を撮影し、画像処理装置２０３は、取得した被写体画像の形状に基づいて正面化補正を行う。

この射影パラメータ取得方法について説明する。
まず、台座１３には、被写体として、図４（ａ）に示すような形状が既知である長方形の内部領域Ｓｐ１１が印刷される。また、台座１３の四隅には、この内部領域Ｓｐ１１の頂点座標を特定するためのマークとして、Ｌ型のコーナーマーク１４１〜１４４が描画又は刻印される。

書画カメラ１は、撮影範囲として、この台座１３を含む範囲を撮影し、図４（ｂ）に示すような台座画像１２ａを含む撮影画像１ａを取得し、イメージセンサ１０２は、取得した撮影画像１ａをメモリ２０１のセンサ画像記憶領域２０１ａに記憶する。画像処理装置２０３は、この撮影画像１ａにおいて、予め、四隅のコーナーマーク画像１４１ａ〜１４４ａの位置を判別する。このコーナーマーク画像１４１ａ〜１４４ａによって特定される領域Ｓｐ１１ａは台座１３の内部領域Ｓｐ１１に対応する撮影画像１ａ内の内部領域である。

画像処理装置２０３は、メモリ２０１のセンサ画像記憶領域２０１ａから、この撮影画像１ａを読み出して、図５（ａ）に示すように、各コーナーマーク画像１４１ａ〜１４４ａが含まれるべき四隅の領域Ｓｐ２１ａ〜Ｓｐ２４ａを設定する。画像処理装置２０３は、例えば、領域Ｓｐ２１ａ〜Ｓｐ２４ａの画像を２値化して、図５（ｂ）に示すような２値化画像Ｓｐ２１ｂ〜Ｓｐ２４ｂを取得する。

台座１３の画像の色が黒色、コーナーマーク画像１４１ａ〜１４４ａの色とテーブル画像の色とが白色として判別された場合、画像処理装置２０３は、図５（ｂ）に示すように、２値化画像Ｓｐ２１ｂ〜Ｓｐ２４ｂから、それぞれ、ラベリング等の手法を用いて、境界に接していない最大の白の連結領域を探し、図５（ｃ）に示すような２値化されたコーナーマーク画像１４１ｃ〜１４４ｃを取得する。

画像処理装置２０３は、このコーナーマーク画像１４１ｃ〜１４４ｃの中心を長方形の画像の各頂点とする。このようにして得られた各頂点座標を、それぞれ、（x₀,y₀），（x₁,y₁），（x₂,y₂），（x₃,y₃）とする。

画像処理装置２０３は、出力画像の座標系を設定し、この座標（x₀,y₀），（x₁,y₁），（x₂,y₂），（x₃,y₃）を出力画像の座標系の座標（0,0），（umax,0），（umax,vmax），（0,vmax）に合わせて出力するとき、入力画像（書画カメラ１の撮影画像）の座標（x,y）と出力画像（u,v）と出力画像（u,v）の関係を次の数１を用いて取得する。

最終的な座標（u,v）は、次の数２によって算出される。

射影行列Ａは次の数３のＡｔｐによって表される。

よって、Ａtpの各要素は前述の四隅の座標（x₀,y₀），（x₁,y₁），（x₂,y₂），（x₃,y₃）から求めることができる。画像処理装置２０３は、このようにして、数３に示すＨ行例を台座射影パラメータとして取得する。そして、画像処理装置２０３は、取得したＨ行列のデータをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

（２）色補正パラメータ取得処理
色補正とは、撮影された画像はライティングやシェーディング、イメージセンサ特性等の様々な要因によって本来の色から変化した色を、元の色に戻す処理をいう。

また、色補正パラメータとは、どのような色歪みが生じているかを示す値であり、また、撮影により変化した色に基づいて元の色に戻す色補正のための値でもある。色補正パラメータ取得処理とは、この色補正パラメータを取得する処理をいう。

画像処理装置２０３は、色補正を正しく行うため、台座射影パラメータを取得し、台座１３に記されたカラーバー１５の位置とカラーバー画像１５ａの位置とを対応させてから、この色補正処理を実行する。

この色補正パラメータを取得するため、本実施形態では、図６（ａ）に示すように、予め、台座１３上のコーナーマーク１４３の外側にカラーバー１５が印刷される。

カラーバー１５は、複数の成分の色がそれぞれの領域に分けられて並べられたものであり、複数の色成分のそれぞれのカラー画素値を示すものである。本実施形態では、カラーバー１５の各色は、図６（ｂ）に示すように、黒、白、赤、緑、青、シアン、マゼンタ、イエローの８色とし、カラーバー１５は、これら複数の色成分の各カラー画素値をそれぞれの領域に分けて示す。

このカラーバー１５の印刷位置とコーナーマーク１４１〜１４４との相対位置は、台座１３に原稿４が載置されてもカラーバー１５が原稿４によって覆われない位置に設定される。書画カメラ１は、このような台座１３を含む範囲を撮影することによって、図６（ｃ）に示すようなカラーバー画像１５ａを含む撮影画像１ａを取得する。

カラーバー画像１５ａの各色の領域の中心点の座標を、台座１３に記されたカラーバー１５の位置とカラーバー画像１５ａの位置とを対応させるため、前述の出力画像の座標系で表す。このときのそれぞれの座標を（u_black,v_black），（u_white,v_white），（u_red,v_red），（u_green,v_green），（u_blue,v_blue），（u_cyan,v_cyan），（u_mazenta,v_mazenta），（u_yellow,v_yellow）とする。

表記を簡単化するため、カラーバー１５の色集合をScolor＝（black,white,red,green,blue,cyan,mazenta,yellow）とすると、上記座標は、色集合（uc,vc）,c∈Scolorのように表される。

色集合（uc,vc）,c∈Scolorの座標を順次、数３に代入することにより、入力画像に対応するカラーバー画像１５ａの各色の中心位置座標（xc,yc）,c∈Scolorを求めることができる。

この中心座標（xc,yc）の近傍画素の平均の画素値をＱcとする。この画素値Ｑcがカラーバー画像１５ａの各色をサンプリングした色となる。画素値Ｑcはカラー画素値である。本実施形態では、ＲＧＢカラー空間を用いるものとし、カラー画像ＱcをＲＧＢ表記で（r_Qc,g_Qc,b_Qc）で表すものとする。

こららのカラーバー画像１５ａの本来の色をカラー値Ｐcとする。カラー値Ｐcは既知の値であり、カラー値Ｐcが様々な要因のカラー歪みを受けて画素値Ｑcに変化する。カラー歪みは、この変化分を示す。このカラー歪みをｆとすると次の数４が成り立つ。

この歪みｆを推測し、その歪みｆの逆関数を用いると、入力画像の画素値Ｑから、最適な元のカラー値Ｐを求めることができる。このカラー値Ｐは、次の数５によって表される。

本実施形態では、カラー歪みｆが線形であるとみなし、数５を線形近似して簡単化し、次の数６に示すようなモデルを考える。

数６において、Ｐはカラー歪補正後のＲＧＢ画素値であり、Ｑはカラー歪みを受けた入力画像のＲＧＢ画素値である。パラメータＳ，Ｔは、色補正パラメータであり、カラーバー画像１５ａからサンプリングした画素値Ｑcとそのカラーバー１５の元のカラー値Ｐc＝（r_Pc,g_Pc,b_Pc）^tとが既知であるので、これらから最小２乗法によってパラメータＴ，Ｓを求めることができる。

画像処理装置２０３は、画素値Ｑcとカラー値Ｐc＝（r_Pc,g_Pc,b_Pc）^tとに基づいて最小２乗法により、パラメータＴ，Ｓを取得する。そして、画像処理装置２０３は、取得したパラメータＴ，Ｓをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

（３）画像射影補正と色補正処理
画像射影補正とは、台座１３を斜めから撮影して得られた撮影画像から正面化補正を行う処理である。画像処理装置２０３は、台座射影パラメータ取得処理において求めた射影補正パラメータＡtpをメモリ２０１の作業データ記憶領域２０１ｄから読み出して、出力画像の各画素の座標（u,v）（０≦u＜umax，０≦v＜vmax）を順番に数３に代入し、その対応する入力画素（x,y）を求めることにより、画像射影補正を行う。

尚、座標(x,y)は、整数になるとは限らないため、出力画素Ｑの座標(u,v)の画素値Ｑ(u,v)は、入力画像ｐの座標(x,y)の周辺の画素値からバイリニア法による補間方法を用いて求められる。バイリニア法による補間方法は、次の数７によって表される。

画素値Ｑはカラー値であるので、数７におけるｐはＲＧＢ３次元ベクトルである。この結果、求められる画素値ＱもＲＧＢの３次元ベクトルになる。この３次元ベクトルをＲＧＢカラー画素値Ｑ＝（r_Q,g_Q,b_Q）^tとする。

画像処理装置２０３は、以上の手順を出力範囲（u,v）（０≦u＜umax，０≦v＜vmax）のすべての座標点において行い、各画素の補正ＲＧＢ画素値Ｐを求める。

色補正パラメータ取得処理で求めたＳ，Ｔパラメータを用いて、数６に、数７で求めたＲＧＢカラー画素値Ｑ＝（r_Q,g_Q,b_Q）^tを代入することにより、補正カラー画素値Ｐ＝（r_P,g_P,b_P）^tを求めることができる。

このような処理が色補正処理であり、画像処理装置２０３は、この色補正処理を行い、補正カラー画素値Ｐ＝（r_P,g_P,b_P）^tを求め、求めた値をメモリ２０１の処理画像記憶領域２０１ｂ内であって出力画像の画素の座標（u,v）に対応する場所に記憶する。

（４）画像の圧縮処理
画像の圧縮処理は、補正した画像のデータを、コンピュータに送り出すために圧縮する処理である。

画像処理装置２０３は、メモリ２０１の処理画像記憶領域２０１ｂに記憶されている画像データに対してＪＰＥＧ画像圧縮を行い、画像データを圧縮する。画像処理装置２０３は、圧縮した画像データをＰＣインタフェース装置２０８に送り出す。

（５）投影処理
投影処理は、画像データをスクリーン３に投影するための処理である。画像処理装置２０３は、プロジェクタ２にリアルタイムに現在の撮影画像をそのまま投影する場合、画像データをメモリ２０１のセンサ画像記憶領域２０１ａから読み出して、同じメモリ２０１内の表示画像記憶領域２０１ｃにコピーする。

また、補正した画像をスクリーン３に投影する場合、画像処理装置２０３は、補正した画像のデータを、メモリ２０１の処理画像記憶領域２０１ｂから読み出して、同じメモリ２０１内の表示画像記憶領域２０１ｃにコピーする。

次に、図２に戻り、操作部２０４は、ユーザの操作情報を取得するためのものであり、電源スイッチ等を備える。

電源スイッチ（図示せず）は、書画カメラ１の電源をオン（ＯＮ）、オフ（ＯＦＦ）するためのものである。

支柱傾き変化検出部２０５は、図１に示す支柱１２の傾きなどを切り替えた場合に、その支柱１２の傾きの変化を検出するためのものである。支柱傾き変化検出部２０５は、例えば、重力加速度計等を備え、支柱１２の動きを検出する機構部（図示せず）を有する。支柱傾き変化検出部２０５は、支柱１２の動作を検出すると、支柱１２が動いたことを示す情報をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

プログラムコード記憶装置２０６は、ＣＰＵ２０７が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ２０７は、プログラムコード記憶装置２０６に格納されているプログラムに従って、各部を制御する。

具体的には、ＣＰＵ２０７は、後述するカメラ基本処理を実行する。ＣＰＵ２０７は、カメラ基本処理において、カメラ部１１の撮影条件の初期化を行う。撮影条件には、カメラ部１１のフォーカス、シャッター速度（露光時間）、絞りなどの露出、ホワイトバランス、ＩＳＯ感度などを含む。ＣＰＵ２０７は、オートフォーカス測定、測光などをおこなって撮影が最適になる条件を探して、画像データ生成部２１をその条件となるように初期化を行う。

また、ＣＰＵ２０７は、メモリ２０１の初期化、通信、画像処理等に用いるデータの初期化を行う。

ＣＰＵ２０７は、支柱傾き変化検出部２０５から支柱１２の傾きが変化した旨の情報が供給されると、画像処理装置２０３に台座射影パラメータ取得処理を実行させる。

ＣＰＵ２０７は、画像処理装置２０３に色補正パラメータ取得処理を実行させ、撮影画像から台座１３上に印刷されたカラーバーの情報を得て、色補正パラメータを作成する。

次に、ＣＰＵ２０７は、画像処理装置２０３に画像射影補正と色補正処理とを実行させ、まず、以前に得られた台座１３の射影パラメータを用いて、斜めに映っている原稿４等の画像を正面から撮影したように、画像の補正を行う。

ＰＣインタフェース装置２０８は、画像データ等を、ＵＳＢ（Universal Serial Bus）規格のデータに変換し、通信ケーブルを介してコンピュータに送信するとともに、コンピュータからのデータ、信号を受信するためのものである。

図１に戻り、プロジェクタ２は、書画カメラ１から供給された画像データを投影光に変換し、スクリーン３にこの投影光を照射して原稿画像をスクリーン３上に結像させるものである。

次に本実施形態に係る撮影画像投影装置の動作を説明する。
ユーザが書画カメラ１の操作部２０４の電源スイッチを押下すると、書画カメラ１の電源はＯＮし、書画カメラ１のＣＰＵ２０７は、プログラムコード記憶装置２０６からプログラムコードを読み出してカメラ基本処理を実行する。

このカメラ基本投影処理を図７に示すフローチャートに従って説明する。
ＣＰＵ２０７は、光学レンズ装置１０１の周辺回路を制御して、光学レンズ装置１０１の焦点、ズームレンズ位置、絞りなどのカメラ設定と、ビデオ出力装置２０２等の初期化と、を行う（ステップＳ１１）。

ＣＰＵ２０７は、メモリ２０１の初期化、通信、画像処理等に用いるデータの初期化を行う（ステップＳ１２）。このとき、ＣＰＵ２０７は、あわせて、カメラのフォーカス、シャッター速度（露光時間）、絞りなどの露出、ホワイトバランス、ＩＳＯ感度等の撮影条件の初期化を行う。

ＣＰＵ２０７は、オートフォーカス測定、測光等を行って撮影が最適になる条件を探し、カメラ設定を行うとともに、画像データ生成部２１の制御を行って画像の撮影を行う（ステップＳ１３）。イメージセンサ１０２は、撮影された画像のデータをメモリ２０１のセンサ画像記憶領域２０１ａに記憶する。

ＣＰＵ２０７は、メモリ２０１の作業データ記憶領域２０１ｄに書き込まれた情報に基づいて、支柱１２の傾きが変化したか否かを判定する（ステップＳ１４）。

支柱１２の傾きは変化しなかったと判定した場合（ステップＳ１４においてＮｏ）、ＣＰＵ２０７は、ステップＳ１６に進む。

支柱１２の傾きが変化したと判定した場合（ステップＳ１４においてＹｅｓ）、ＣＰＵ２０７は、画像処理装置２０３に、台座射影パラメータ取得処理を実行するように指示する（ステップＳ１５）。

画像処理装置２０３は、この指示に従って台座射影パラメータ取得処理を実行し、数２，数３に従って取得した射影パラメータである行列Ａｔｐのデータをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

ＣＰＵ２０７は、画像処理装置２０３に色補正パラメータ取得処理を実行するように指示する（ステップＳ１６）。

画像処理装置２０３は、ＣＰＵ２０７の指示に従い、色補正パラメータ取得処理を実行し、カラーバー画像１５ａの情報から、最小２乗法によってパラメータＴ，Ｓを取得する。そして、画像処理装置２０３は、取得した歪みｆのパラメータＴ，Ｓをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

ＣＰＵ２０７は、画像処理装置２０３に、画像射影補正と色補正処理を行うように指示する（ステップＳ１７）。

画像処理装置２０３は、ＣＰＵ２０７の指示に従い、図８に示すフローチャートに従って、画像射影補正と色補正処理を実行する。
画像処理装置２０３は、座標ｕ＝０に初期化する（ステップＳ２１）。
画像処理装置２０３は、座標ｖ＝０に初期化する（ステップＳ２２）。

画像処理装置２０３は、射影パラメータＡtｐを用いて、数３に座標(u,v)を代入し、座標(x,y)を求める（ステップ２３）。

画像処理装置２０３は、得られた座標（x,y）から、バイリニア法を示す数７に従って出力画像の画素値Ｑ（u,v）を求める（ステップＳ２４）。

画像処理装置２０３は、求めたＲＧＢカラー画素値Ｑ（u,v）＝（r_Q,g_Q,b_Q）^tを用い、数６に従い、補正したＲＧＢカラー画素値Ｐ＝（r_P,g_P,b_P）を求める（ステップＳ２５）。

画像処理装置２０３は、求めたＲＧＢカラー画素値Ｐ＝（r_P,g_P,b_P）をメモリ２０１の処理画像記憶領域２０１ｂに記憶する（ステップＳ２６）。

画像処理装置２０３は、座標ｖをインクリメントして、次のコラム座標点に移動させる（ステップＳ２７）。

画像処理装置２０３は、座標ｖが指定範囲ｖmaxを超えたか否かを判定する（ステップ２８）。

座標ｖが指定範囲ｖmax以下と判定した場合（ステップ２８おいて、ｖ≦vmax）、画像処理装置２０３は、再び、ステップＳ２３〜Ｓ２７を実行し、同一ラインにおける画素値の取得が終了するまで、順番に出力画像の画素値Ｐ(u,v)を求める。

座標ｖが指定範囲ｖmaxを超えたと判定した場合（ステップ２８において、ｖ＞ｖmax）、画像処理装置２０３は、座標ｕをインクリメントする（ステップＳ２９）。

画像処理装置２０３は、座標ｕが指定範囲ｕmaxを超えたか否かを判定する（ステップ３０）。

座標ｕが指定範囲ｕmax以下と判定した場合（ステップ３０において、ｕ≦ｕmax）、画像処理装置２０３は、座標ｖを初期化し、そのラインを始点から順番に出力画像の画素値Ｐ(u,v)を求める（ステップＳ２２〜Ｓ２９）。

一方、座標ｕが指定範囲ｕmaxを超えたと判定した場合（ステップ３０において、ｕ＞ｕmax）、画像処理装置２０３は、この画像射影補正と色補正処理を終了させる。

画像処理装置２０３がこのような画像射影補正と色補正処理を実行すると、ＣＰＵ２０７は、画像処理装置２０３に投影処理を実行するように指示する。

画像処理装置２０３は、このＣＰＵ２０７の指示に従い、補正した画像のデータを、メモリ２０１の処理画像記憶領域２０１ｂから読み出して、同じメモリ２０１内の表示画像記憶領域２０１ｃにコピーする。

ＣＰＵ２０７は、メモリ２０１内の表示画像記憶領域２０１ｃから画像データを読み出して、プロジェクタ２に画像を投影するように、ビデオ出力装置２０２を制御する（図７のステップＳ１８）。

ＣＰＵ２０７は、ビデオ出力装置２０２が画像をプロジェクタ２に投影すると、再び、ステップＳ１３に戻り、画像の撮影を行う。

以上説明したように、本実施形態によれば、台座１３にカラーバー１５が印刷され、画像処理装置２０３は、撮影画像から台座射影パラメータを取得する。そして、画像処理装置２０３は、この台座射影パラメータを用いて、台座１３に記されたカラーバー１５の位置とカラーバー画像１５ａの位置とを対応させ、撮影画像からカラーバー画像１５ａの色成分の情報を取得する。書画カメラ１は、取得した色成分の情報と本来のカラー値とに基づいて、カラー歪みを示す色補正パラメータＴ，Ｓを取得し、取得した色補正パラメータＴ，Ｓに基づいて色補正、明るさ補正を行うようにした。

従って、原稿４が、色のついたライティングや書画カメラ１の設定等の影響を受けても、常に本来の色に近い状態の画像を生成することができ、また、台座１３に記されたカラーバー１５の位置とカラーバー画像１５ａの位置とが正確に対応するため、色補正を正しく行うことができる。特に、色合いが重要な写真の投影等において、必要とされる色合いの画像を得ることができ、その効果は大きい。

そして、エッジ抽出時、カラーチャート付近に汚れ等があった場合でも、カラーチャートを特定できる。また、ライトの写り込みを避けるためにカメラ部１１の向きを変えた場合でも、カラーバー画像１５ａの位置を把握することができ、色補正を正しく行うことができる。また、マウス等でカラーバー画像１５ａの位置を指定する必要もなく、容易に色補正を行うことができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。

例えば、カラーバー１５を複数の場所に印刷することもできる。
画像処理装置２０３は、各位置におけるカラーバー１５１〜１５４の各画像の補正パラメータＳm，Ｔm（ｍ＝１，２，・・・，Ｍ；Ｍは台座１３上に印刷されたカラーバー）を求め、これらのパラメータを補正する画素の位置に応じて変更する。このように構成されることにより、台座１３の陰やライティングムラの影響を低減することもできる。

例えば、図９に示すように、台座１３上であって各コーナーマーク１４１〜１４４の外側に、それぞれ、カラーバー１５１〜１５４が印刷される。画像処理装置２０３は、これら４箇所の色補正パラメータを取得し、バイリニア法を用い、補正を行う画素の座標に応じて補正パラメータを算出し、算出したパラメータを用いて色補正を行うように構成されることもできる。

上記実施形態では、歪みｆを、簡単化のため、線形であるとみなし、色補正パラメータＴ，Ｓを求めるようにした。しかし、歪みｆは線形であることに限られるものではなく、例えば、歪みｆは、元の色Ｐを求める数５が画素値Ｑcの２次方程式で表されるような関数であってもよい。

上記実施形態では、台座射影パラメータ取得処理において用いられるマークとして、コーナーマーク１４１〜１４４を用いるようにした。しかし、マークはコーナーマーク１４１〜１４４に限られるものではなく、例えば、図１０に示すような円マーク１６１〜１６４であってもよいし、三角マークであってもよい。この場合、画像処理装置２０３は、円マーク１６１〜１６４又は三角マークの重心の位置と長方形の頂点位置とを対応させ、この重心位置を求めて、長方形の四隅の頂点座標を取得する。

また、撮影装置は、コンピュータを備えられたものであってもよい。そして、コンピュータが、画像処理装置２０３を備え、コンピュータが画像処理等を行うようにしてもよい。このようにすれば、カメラ部１１には、汎用のデジタルカメラを用いることもできる。

上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、撮影装置を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係る撮影画像投影装置の構成を示す図である。 図１に示す書画カメラの構成を示すブロック図である。 図２に示すメモリの各記憶領域を示すブロック図である。 台座射影パラメータ取得処理に用いるコーナーマークを説明するための図であり、（ａ）は、台座に描画又は刻印されたコーナーマークを示し、（ｂ）は、その画像を示す。 台座射影パラメータ取得処理を示す図であり、（ａ）は、四隅に設けられる領域を示し、（ｂ）は、２値化されたこの各領域の画像を示し、（ｃ）は、この領域から取り出したコーナーマーク画像を示す。 カラーバーを示す図であり、（ａ）は、台座に印刷されたカラーバーを示し、（ｂ）は、カラーバーの色配置を示し、（ｃ）は、カラーバー画像を含む撮影画像を示す。 図１に示す書画カメラが実行するカメラ基本処理を示すフローチャートである。 図２に示す画像処理装置が実行する画像射影補正と色補正処理を示すフローチャートである。 台座にカラーバーを複数印刷した応用例を示す図である。 コーナーマークの代わりに円マークを描画した応用例を示す図である。 従来の撮影装置を示す図である。 従来の撮影装置の撮影画像を示す図である。

符号の説明

１・・・書画カメラ、２・・・プロジェクタ、３・・・スクリーン、４・・・原稿、１１・・・カメラ部、１３・・・台座、２０１・・・メモリ、２０２・・・ビデオ出力装置、２０３・・・画像処理装置、２０４・・・操作部、２０５・・・支柱傾き変化検出部、２０７・・・ＣＰＵ

Claims (8)

1. 各色の予め設定されたカラー画素値を示すカラーバーと形状が既知の多角形の頂点とが予め記された台座を撮影する撮影部と、
   前記撮影部の撮影によって得られた撮影画像中の前記台座に記された多角形の頂点座標に基づき、前記多角形画像の各座標を出力座標系に射影変換するための射影パラメータを取得する射影パラメータ取得部と、
   前記射影パラメータ取得部によって設定された出力座標系におけるカラーバー画像の各カラー画素値から色補正パラメータを取得する色補正パラメータ取得部と、
   前記色補正パラメータ取得部が取得した色補正パラメータを用いて、前記撮影画像の色補正を行う色補正部と、を備えた、
   ことを特徴とする撮影装置。
2. 前記射影パラメータ取得部は、前記撮影画像から、前記台座に付された多角形に対応する多角形画像の頂点座標を取得し、前記台座に記された多角形の頂点座標と前記多角形画像の頂点座標とを比較して前記出力画像の出力座標系を設定し、前記多角形画像の各座標を前記出力座標系に射影変換するための射影パラメータを取得する、
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記色補正パラメータ取得部は、前記出力座標系における前記カラーバー画像の位置と前記台座に記されたカラーバーの位置とを対応させて、前記カラーバー画像の各カラー画素値と前記台座に付されたカラーバーの各カラー画素値とを比較し、前記カラーバーの各カラー画素値が前記カラーバー画像のそれぞれのカラー画素値に変化した変化分を示すカラー歪みを取得し、前記取得したカラー歪みに基づいて、前記カラーバー画像の各カラー画素値を前記カラーバーのそれぞれのカラー画素値に変換するための色補正パラメータを取得する、
   ことを特徴とする請求項１又は２に記載の撮影装置。
4. 前記カラーバーは、原色と黒色と白色との色成分のそれぞれのカラー画素値を領域に分けて示すものである、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。
5. 前記色補正パラメータ取得部は、前記カラー歪みの逆関数を線形近似して前記色補正パラメータを取得する、
   ことを特徴とする請求項３に記載の撮影装置。
6. 前記色補正部は、前記射影パラメータ取得部が取得した射影パラメータに基づいて前記台座の画像の各座標を前記出力座標系に射影変換して射影補正画像を生成し、前記撮影画像の色補正を行う、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮影装置。
7. 各色のカラー画素値を示すカラーバーと形状が既知の多角形の頂点とが予め記された台座を撮影することによって得られた撮影画像中の前記台座に記された多角形画像の頂点座標に基づき、出力座標系に射影変換するための射影パラメータを取得するステップと、
   前記設定された出力座標系におけるカラーバー画像の各カラー画素値から色補正パラメータを取得するステップと、
   前記取得した色補正パラメータを用いて、前記撮影画像の色補正を行うステップと、を備えた、
   ことを特徴とする撮影画像の画像処理方法。
8. コンピュータに、
   各色のカラー画素値を示すカラーバーと形状が既知の多角形の頂点とが予め記された台座を撮影することによって得られた撮影画像中の前記台座に記された多角形画像の頂点座標に基づき、出力座標系に射影変換するための射影パラメータを取得する手順、
   前記設定された出力座標系におけるカラーバー画像の各カラー画素値から色補正パラメータを取得する手順、
   前記取得した色補正パラメータを用いて、前記撮影画像の色補正を行う手順、
   を実行させるためのプログラム。

Images