JP2018159839A - 画像投影装置とその制御方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】印刷物に形成された印刷画像に投影画像を重ね合わせた際に、印刷画像のコントラストを向上させると共に印刷画像の階調性や解像感の低下を抑制する。【解決手段】投影面に設置された印刷物に投影画像を重ね合わせる画像投影装置１００は、投影面情報を取得する投影面情報取得部２０７と、投影面情報から投影面における投影画像の画素サイズを算出する投影画素サイズ算出部２０８と、投影画像の画素サイズが大きくなるほど投影画像のコントラストが小さくなるように投影画像を補正する画像補正部２０９を備え、画像補正部２０９により補正された投影画像を印刷物に重ね合わせる。【選択図】図２

Description

本発明は、画像投影装置とその制御方法、プログラム及び記憶媒体に関する。

印刷物のコントラストや色域、表示輝度等を高めるために、印刷物に形成された印刷画像に対応した画像を画像投影装置（プロジェクタ）を用いて印刷画像上に投影する技術が提案されている（特許文献１参照）。また、映像の階調に応じて透過率を制御するパネル部と、パネル部に背面から提供する光を部分的な領域ごとに制御可能な発光部を有し、発光部での発光を制御することによって表示画像のコントラストを向上させる技術が記載されている（特許文献２参照）。特許文献２には、画像の部分的な領域ごとの階調値（画素値）に基づいて、発光部の発光輝度を決定すると共に決定した発光輝度によって生じる画像信号の損失分を打ち消すようにパネル部に表示される画素の階調値を補償する技術も記載されている。

特開２００８−８３１８０号公報 特開２００８−２６３５８６号公報

しかしながら、上記特許文献１に記載された技術では、印刷物に形成された印刷画像と、印刷画像に重ね合わせた（重畳させた）投影画像の画素サイズが考慮されていない。そのため、印刷画像に投影画像を重ね合わせた際に、画素サイズの違いによる階調性や解像感の低下が生じてしまうおそれがある。例えば、投影画像の画素サイズが印刷画像の画素サイズよりも大きい場合、印刷画像においてエッジ（階調差）がない部分にエッジが生じ又は印刷画像の階調が潰れ或いは印刷画像における階調の大小関係が逆転する等の問題が生じるおそれがある。

また、上記特許文献２に記載された技術は、パネル部や発光部の画素サイズが変化する画像投影装置を用いたシステムには不向きである。例えば、画像投影装置から投影される画像の画素サイズは設置状況に応じて変化し、印刷装置により出力される印刷画像の画素サイズは印刷設定によって変化する。よって、印刷画像に投影画像を重ね合わせた場合に、画素サイズの違いによって階調性や解像感の低下が生じてしまうおそれがある。

本発明は、印刷画像に投影画像を重ね合わせた際に印刷画像のコントラストを向上させると共に印刷画像の階調性や解像感の低下を抑制することができる画像投影装置を提供することを目的とする。

本発明に係る画像投影装置は、投影面に設置された印刷物に投影画像を重ね合わせる投影手段と、前記投影面の情報を取得する取得手段と、前記投影面の情報から前記投影面における前記投影画像の画素の大きさまたは画素密度を算出する算出手段と、前記投影画像の画素の大きさが大きくなるほど前記投影画像のコントラストが小さくなるようにまたは前記投影画像の画素密度が小さくなるほど前記投影画像のコントラストが小さくなるように前記投影画像を補正する補正手段と、を備えることを特徴とする。

本発明によれば、印刷画像に投影画像を重ね合わせた際に、印刷画像のコントラストを向上させると共に印刷画像の階調性や解像感の低下を抑制することができる。

画像投影装置による画像投影の様子を模式的に説明する図である。 第１実施形態に係る画像投影装置の概略構成を示すブロック図である。 図２の画像投影装置で投影画像を補正する処理のフローチャートである。 画像投影時の投影距離と投影領域の関係を説明する図である。 画像補正部が使用する投影画素サイズとゲインの関係を示す図である。 画像補正部による形状調整画像と補正画像の階調の関係を示す図である。 比較例に係る印刷物、投射画像及び重畳画像の輝度分布を示す図である。 実施例１に係る印刷物、投射画像及び重畳画像の輝度分布を示す図である。 実施例２に係る印刷物、投射画像及び重畳画像の輝度分布を示す図である。 第２実施形態に係る画像投影装置の概略構成を示すブロック図である。 図１０の画像投影装置で投影画像を補正する処理のフローチャートである。 第３実施形態に係る画像投影装置の概略構成を示すブロック図である。 図１２の画像投影装置で投影画像を補正する処理のフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。最初に、画像投影装置と、画像投影装置から画像を投影する対象物（画像投影先）である印刷物との関係について説明する。

図１は、画像投影装置１００による画像投影の様子を模式的に説明する図である。図１（ａ）は、画像投影装置１００が印刷物１０１に対して画像を投影している第１の例を模式的に示す図である。画像投影装置１００は、投影領域１１０に画像を投影することができ、投影領域１１０内に設置された印刷物１０１上に、所定の投影画像１１１を投影する。本実施形態では、画像投影装置１００は、投影領域１１０のうち投影画像１１１を投影しない領域には全黒画像を投影する。なお、画像投影装置１００の構成と動作の詳細については後述する。

印刷物１０１と投影領域１１０の関係は、図１（ａ）に示すように、投影領域１１０が印刷物１０１よりも大きい第１の状態に限定されない。図１（ｂ）は、画像投影装置１００が印刷物１０１に対して画像を投影している第２の例を模式的に示す図であり、投影領域１１０と印刷物１０１の大きさが略等しくても構わない。また、図１（ｃ）は、画像投影装置１００が印刷物１０１に対して画像を投影している第３の例を模式的に示す図であり、投影領域１１０に複数の印刷物１０１，１０２が設置され、それぞれに投影画像１１１，１１２が投影される構成となっていてもよい。

＜第１実施形態＞
第１実施形態では、画像投影装置が、投影画像の画素の大きさに応じて投影画像を補正する構成について説明する。図２は、本発明の第１実施形態に係る画像投影装置１００の概略構成を示すブロック図である。画像投影装置１００は、システム制御部２００、画像入力部２０１、操作入力部２０２、印刷物情報取得部２０３、表示位置制御部２０４、拡縮／変形部２０５及びレイアウト部２０６を備える。また、画像投影装置１００は、投影面情報取得部２０７、投影画素サイズ算出部２０８、画像補正部２０９、液晶パネル制御部２１０、液晶パネル２１１、光源制御部２１２、光源２１３、光学系制御部２１４及び投影光学系２１５を有する。

システム制御部２００は、ＣＰＵ（演算処理回路）、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ及びＤ／Ａコンバータ等を有する。システム制御部２００においてＣＰＵがＲＯＭに格納されたコンピュータプログラムをＲＡＭに展開することにより画像投影装置１００を構成する各部の動作が制御され、画像投影装置１００での全体的な制御が実現される。画像入力部２０１は、入力画像、つまり、印刷物１０１上に投影する画像（映像）の画像データ、を受け付ける。画像データは、例えば、有線通信又は無線通信により、パーソナルコンピュータ、ファイルサーバ、クラウド上のストレージ等から画像入力部２０１へ入力される。なお、画像入力部２０１が、外部装置から入力画像を選択して取得するようにしてもよい。この場合、操作入力部２０２を介してユーザが入力画像を指定し、又は、印刷物メタデータ抽出部（不図示）が印刷物に付加されているメタデータを抽出することによって入力画像を特定する。また、画像入力部２０１がカメラ（不図示）を備え、カメラが印刷物１０１を撮影して取得した撮影画像を入力画像として使用する構成になっていてもよい。以下では、入力画像は静止画であるとして説明するが、動画であってもよい。

操作入力部２０２は、ユーザによる操作入力を受け付ける。ユーザは、操作入力部２０２を介して、印刷物１０１に重ね合わせる（重畳する）投影画像の画像データの指定、投影画像の輝度値、台形補正量、ズーム率等の動作の指定を行う。印刷物情報取得部２０３は、所定の投影面（画像投影先）に設置された印刷物１０１を検出するセンサであり、例えば、カメラが用いられる。印刷物情報取得部２０３は、具体的には、投影領域１１０と印刷物１０１の相対的な位置関係、印刷物１０１の大きさ、形状、枚数等を印刷物情報として取得する。なお、印刷物１０１を検出するために、印刷物１０１が設置されていない状態における投影面の画像を画像投影装置１００の設置時等に予め取得しておくようにしてもよい。

表示位置制御部２０４は、印刷物情報取得部２０３が取得した印刷物情報に基づいて、入力画像（画像入力部２０１に入力された画像データの画像）を印刷物１０１に重ね合わせるように投影するための位置合わせ情報を生成する。位置合わせ情報とは、投影領域１１０を変更するためのレンズシフト量やレンズズーム率等の情報、投影領域１１０内での投影画像の位置を変更するための情報、拡縮率や変形率（台形補正等）等の入力画像を変形させる情報等である。拡縮／変形部２０５は、位置合わせ情報に含まれる拡縮率や変形率に基づいて入力画像を拡大又は縮小し或いは変形させる形状調整を行う。なお、入力画像の拡大や縮小には、バイキュービック等の一般的な方法を用いることができる。レイアウト部２０６は、拡縮／変形部２０５による形状調整後の画像を位置合わせ情報に含まれるレイアウト情報に基づいて投影領域１１０内の指定の位置に配置し、投影画像データを生成する。

投影面情報取得部２０７は、カメラ等のセンサで構成されており、投影面情報を取得する。投影面情報とは、投影画素サイズ算出部２０８が投影画像の画素サイズ（以下「投影画素サイズ」という）を算出するために必要な情報であり、具体的には、画像投影装置１００から投影面までの距離（投影距離）等である。なお、投影面情報取得部２０７は、印刷物情報取得部２０３と一体に構成されていてもよい。

投影画素サイズ算出部２０８は、投影面情報取得部２０７が取得した投影面情報に基づき、投影画素サイズを算出する。投影画素サイズの算出方法については、図４を参照して後述する。画像補正部２０９は、投影画素サイズ算出部２０８が算出した投影画素サイズに基づいて、レイアウト部２０６から取得した投影画像データを補正する。なお、投影画像データを補正することによって、結果的に印刷物に重畳される投影画像が補正されることになるため、以下の説明では便宜的に、画像補正部２０９は投影画像を補正するとの表現を用いて説明を行うこととする。投影面情報取得部２０７、投影画素サイズ算出部２０８及び画像補正部２０９の動作の詳細については、図３を参照して後述する。

液晶パネル制御部２１０は、画像補正部２０９から出力される投影画像を投影光学系２１５から印刷物に対して投影するために、液晶パネル２１１の透過率を変調する電圧信号を生成する。液晶パネル２１１は、光源２１３から照射される光を液晶パネル制御部２１０から入力される電圧信号に基づく透過率で透過させることにより投影画像を投影面へ投影する。光源制御部２１２は、投影画像の階調値や操作入力部２０２を介したユーザ指示等に基づいて、光源２１３のオン／オフや光量制御を行う。光源２１３は、ハロゲンランプ（キセノンランプ）、メタルハライドランプ、高圧水銀ランプ等であり、制御値に基づいて液晶パネル２１１へ光を照射する。光学系制御部２１４は、表示位置制御部２０４から入力される位置合わせ情報や操作入力部２０２を介したユーザ指定に基づいて投影光学系２１５を制御する。投影光学系２１５は、複数のレンズ、レンズ駆動用のアクチュエータ等を備え、アクチュエータが制御値に基づいてレンズを駆動することにより、投影画像を拡大し又は縮小することができ、また、焦点位置をずらすことができる。

なお、システム制御部２００、印刷物情報取得部２０３、表示位置制御部２０４、拡縮／変形部２０５及びレイアウト部２０６は、例えば、マイクロコンピュータ或いはＡＳＩＣ等の演算装置で構成されている。但し、これに限定されず、これらの各部は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能であり、ソフトウェアとハードウェアとの組み合わせによって実装されていてもよい。投影面情報取得部２０７、投影画素サイズ算出部２０８及び画像補正部２０９、液晶パネル制御部２１０、光源制御部２１２、光学系制御部２１４についても同様である。

ここで、投影画素サイズを算出し、算出された投影画素サイズに基づいて投影画像を補正する処理の詳細について説明する。図３は、投影面情報取得部２０７、投影画素サイズ算出部２０８及び画像補正部２０９が実行する処理のフローチャートである。図３のフローチャートの各処理は、システム制御部２００が所定のプログラムを実行して、投影面情報取得部２０７、投影画素サイズ算出部２０８及び画像補正部２０９の動作を制御することにより実現される。

ステップＳ３０１では投影面情報取得部２０７が、投影面情報を取得し、取得した投影面情報から投影領域１１０の大きさ（面積）を算出する。本実施形態では、投影面情報取得部２０７は、投影面情報として、画像投影装置１００（投影光学系２１５）から投影面までの距離（以下「投影距離」という）を、例えば赤外光を使用した測距センサ等を用いて取得する。そして、投影面情報取得部２０７は、取得した投影距離に基づき、投影領域１１０の大きさとして、投影領域１１０の水平方向と垂直方向の各辺の長さを算出する。

図４は、投影距離Ｌ１と投影領域１１０の水平方向における辺の長さの関係を説明する図である。投影面情報取得部２０７は、取得した投影距離Ｌ１と投影光学系２１５の水平画角θとから、三角関数によって投影領域１１０の水平方向の辺の長さを算出する。なお、投影距離Ｌ１と、液晶パネル２１１の水平方向の辺の長さＤと、投影光学系２１５の焦点距離Ｌ２との相似関係から、投影領域１１０の水平方向の辺の長さを算出するようにしてもよい。投影領域１１０の垂直方向の辺の長さは、投影領域１１０の水平方向の辺の長さと同様に算出することができる。投影面情報取得部２０７は、こうして算出した投影領域１１０の大きさに関する情報を、投影面情報として投影画素サイズ算出部２０８に出力する。

ステップＳ３０２では投影画素サイズ算出部２０８が、投影面情報取得部２０７から取得した投影面情報に基づいて投影画素サイズを算出し、画像補正部２０９へ出力する。投影画素サイズ算出部２０８は、投影画素サイズとして、投影画像の１画素分の水平方向と垂直方向の各辺の長さを算出する。水平方向での投影画素サイズは、投影領域１１０の水平方向の辺の長さを液晶パネル２１１の水平方向画素数で除算することによって算出することができる。同様に、垂直方向での投影画素サイズは、投影領域１１０の垂直方向の辺の長さを液晶パネル２１１の垂直方向画素数で除算することによって算出される。

なお、投影領域１１０に対して各辺１つずつの投影画素サイズを算出する構成に限られず、投影領域１１０に含まれる画素ごとに投影画素サイズを計算するようにしてもよい。これは、画像投影装置１００が印刷物１０１の正面に設置されていない場合等には、投影画素サイズが投影領域１１０内で均一でなくなることがあるからである。この場合、まず、画像投影装置１００から投影領域１１０の上端、下端、左端、右端までの各距離を測定し、図４に示した相似関係から上辺、下辺、左辺、右辺の各長さを算出する。続いて、これら各辺の長さを水平画素数又は垂直画素数で除算することによって、投影領域の上端、下端、左端、右端の画素の大きさを算出する。最後に、端部以外の画素の大きさを、端部からの画素の距離に応じて端部の画素の大きさを用いて補間演算することによって算出する。これにより、投影画像の画素ごとの投影画素サイズを計算することができる。演算処理を簡略化するために、画素ごとではなく、複数の画素を集めた一定の領域を１単位として投影画素サイズを算出するようにしてもよい。

ステップＳ３０３では画像補正部２０９が、投影画素サイズ算出部２０８から取得した投影画素サイズに基づいて投影画像を補正する。本実施形態では、水平方向と垂直方向の投影画素サイズのうち大きい方の投影画素サイズに基づいて投影画像を補正する。画像補正部２０９は、投影画像を補正するために、まず、投影画素サイズに応じて投影画像を補正するためのゲインとオフセットを決定する。

図５は、画像補正部２０９がゲインを決定する際に使用する、投影画素サイズとゲインの関係を示す図であり、図５（ａ）は第１の例を、図５（ｂ）は第２の例をそれぞれ示している。本実施形態では、投影画素サイズが大きいほど小さいゲインを使用する。つまり、投影画素サイズが大きいほど投影画像の最大輝度と最低輝度の差（コントラスト）が小さくなるようにする。画像補正部２０９は、決定したゲインに応じてオフセットを計算する。オフセット値は、ゲインを掛けた場合に全白の階調値が維持できるような値とする。なお、ゲインを掛けた場合に全黒の階調値を維持できるようにオフセット値を０（ゼロ）としてもよい。全白の階調値を維持した場合には印刷物を高い輝度値で表現することができ、全黒の階調値を維持した場合には印刷物の暗部の黒浮きを抑えた表現が可能となる。

続いて画像補正部２０９は、決定したゲインとオフセットを使用して投影画像の階調を補正する。図６は、投影画像の補正前（入力）と補正後（出力）の階調の関係の一例を示す図である。図６（ａ）は、ゲインが０．２５、オフセットが３０７２の場合の例を、図６（ｂ）は、ゲインが０、オフセットが４０９５の場合の例をそれぞれ示しており、いずれも階調値の小さい部分の階調値を大きくすることによってコントラストを小さくしている。ステップＳ３０３により本処理は終了する。

画像補正部２０９は、投影画素サイズが所定のサイズ閾値以上である場合に限って、投影画像の階調を補正するようにしてもよい。この場合、投影画素サイズにおける水平方向の辺の長さが所定の第１の閾値以上であるか否か及び垂直方向の辺の長さが第２の閾値以上であるか否かを判定し、いずれか一方の条件が満たされる場合にのみ、投影画像の階調を補正するようにする。第１の閾値と第２の閾値は同じであってもよいし、異なる値であってもよい。なお、図５（ｂ）を用いてゲインを決定する場合、投影画素サイズが予め定められたサイズ閾値未満である場合にはゲインは１となる。よって、投影画素サイズが所定のサイズ閾値以上である場合に限って投影画像の階調を補正するようにした場合であっても、投影画素サイズがサイズ閾値未満である場合には実質的に階調補正処理は行われないことになる。

画像補正部２０９での演算処理を簡略化（演算負荷を軽減）するために、投影画素サイズが所定のサイズ閾値未満である場合にはゲインを１とし、所定のサイズ閾値以上である場合はゲインを０．５とするというように固定値を用いるようにしてもよい。また、投影画素サイズを画素ごとや複数の画素を集めた一定の領域ごとに算出している場合には、画像補正部２０９による補正処理も画素ごとや一定の領域ごとに行うようにしてもよい。画像補正部２０９は、ゲインとオフセットによる図６に示したような線形補正ではなく、予め実験的に求めた階調補正テーブルを使用した非線形補正により投影画像の階調を補正するものであってもよい。

図３のフローチャートに従う処理によって投影画像を補正し、補正された投影画像を印刷物へ重ね合わせることにより、印刷物の階調性や解像感の低下を抑制することができる。その理由について、図７乃至図９を参照して、以下に説明する。なお、図７乃至図９において印刷物は実質的に同じものであり、よって、図８及び図９において図７と共通する要素については図７での符号を用いる。

図７は、印刷物７７０に対して、印刷物７７０に形成された印刷画像に近い階調分布を持つ投影画像７８０を重ね合わせた比較例（以下の図８及び図９の実施例に対する従来例）を説明する図である。投影画像７８０には、画像補正部２０９による階調補正処理は施されていない。投影画像７８０は、例えば、印刷物７７０に重ね合わされる位置にある画素の階調値に、印刷物７７０の画素の階調値の平均値を用いる等して作成することができる。図８は、図６（ａ）にしたがって投影画像７８０を階調補正した投影画像８８０を印刷物７７０上に重ね合わせた実施例１を説明する図である。図９は、図６（ｂ）にしたがって投影画像７８０を階調補正した投影画像９８０を印刷物７７０上に重ね合わせた実施例２を説明する図である。

図７（ａ）、図８（ａ）及び図９（ａ）は同じ図であり、印刷物７７０のＮライン目のデータの水平方向の階調の分布を模式的に示す図である。図７（ｂ）、図８（ｂ）及び図９（ｂ）はそれぞれ、印刷物７７０のＮライン目の位置に重畳される投影画像７８０，８８０，９８０の水平方向の階調の分布を模式的に示す図である。ここでは、投影画素サイズは、印刷物７７０の画素サイズの３倍の大きさである場合を例示している。図７（ｃ）、図８（ｃ）及び図９（ｃ）はそれぞれ、印刷物７７０に投影画像７８０，８８０，９８０が投影されて形成された重畳画像７９０，８９０，９９０におけるＮライン目の水平方向の表示輝度の分布を模式的に示す図である。ここで、重畳画像の表示輝度は、下記式１により表される。

上記式１において、投影光量の単位にはルーメン［ｌｍ］が用いられ、投影領域面積には、例えば、平方メートル［ｍ^２］が用いられる。液晶パネル２１１は投影画像の階調値に応じた透過率で投影光を透過させるように制御されることから、投影光量は投影画像の階調値に比例した値となる。また、反射率は、印刷物に投影されるために、印刷物の反射率となり、よって、印刷物の階調値に比例した値となる。したがって、図７（ｃ）、図８（ｃ）及び図９（ｃ）に示すそれぞれの重畳画像７９０，８９０，９９０のそれぞれの輝度分布は、投影画像７８０，８８０，９８０の階調値と印刷物７７０の階調値との積に比例する値を反映する。

投影画像のコントラストが小さくなるように階調補正を行った場合、上記式１における投影光量のレンジが狭まる。その結果、投影画像が重畳画像の表示輝度へ与える影響が小さくなり、印刷物の階調（反射率）による影響が相対的に大きくなる。そこで、本実施形態では、投影画素サイズが重畳画像の階調性や解像感に影響を与えるおそれがある場合に、重畳画像の表示輝度に対する投影画像の影響度を小さくすることで、印刷物の影響を大きくする。投影画素サイズが大きくなるほど印刷物の階調性や解像感の低下が生じてしまう可能性が高くなるため、本実施形態では図５に示したように、投影画素サイズが大きくなるとゲインを小さくするようにしている。

以上を踏まえ、まず、図７について詳細に説明する。印刷物７７０では、画素７０１が最暗部となっている。一方、投影画像７８０では、画素７０１とは異なる位置にある画素７０８が最暗部となっている。これは、印刷物７７０における画素７０１〜７０３の平均階調値よりも、画素７０４〜７０６の平均階調値の方が小さいためである。その結果、重畳画像７９０の表示輝度では、印刷物７７０における最暗部である画素７０１の位置が最暗部になるとは限らない。つまり、印刷物７７０における階調の大小関係が崩れるおそれがあり、重畳画像７９０では、画素７０１と同じ位置にある画素７０９ではなく、異なる位置にある画素７１０が最暗部となっている。

また、印刷物７７０では画素７０３と画素７０４の階調値は同じであるが、投影画像７８０の階調分布では画素７０３と同じ位置ある画素７０７と、画素７０４と同じ位置にある画素７０８とで階調値が異なっている。その結果、重畳画像７９０の表示輝度では、印刷物７７０において階調値が同じだった画素７０３，７０４に対応する画素７１１，７１２に階調差が生じている。つまり、印刷物７７０においてエッジ（階調差）がなかった部分にエッジが生じることになる。このように印刷物７７０の階調に近い階調の投影画像７８０を印刷物７７０に重畳した重畳画像７９０では、印刷物７７０の階調の大小関係が逆転するおそれがあり、また、印刷物７７０においてエッジがない部分にエッジが生じてしまうおそれがある。

続いて、図８について説明する。印刷物７７０では、画素７０１が最暗部となっている。また、投影画像８８０の階調分布では、画素７０１とは異なる位置にある画素８０８が最暗部となっている。但し、投影画像８８０における画素８０７と画素８０８の階調値の差は、投影画像７８０における画素７０７と画素７０８の階調値の差よりも小さい。これは、図６（ａ）に示したように、投影画像のコントラストを小さくするような補正を行っているためである。その結果、重畳画像８９０の表示輝度において、印刷物７７０における階調の大小関係が逆転してしまうことを抑制し、仮に逆転が生じてしまう場合であっても、その程度を軽減することが可能になる。なお、重畳画像８９０では、階調の大小関係の逆転が防止されている例として、画素７０１と同じ位置にある画素８０９が最暗部となっている場合を例示している。

また、印刷物７７０において、画素７０３と画素７０４の階調値は同じである。これに対して、投影画像８８０の階調分布では、画素７０３と同じ位置ある画素８０７と、画素７０４と同じ位置ある画素８０８の階調値は異なっている。但し、投影画像８８０における画素８０７と画素８０８の階調値の差は、投影画像７８０の画素７０７と画素７０８の階調値の差よりも小さい。そのため、重畳画像７９０において画素７０３，７０４に対応する画素８１０，８１１の階調差は、画素７１１，７１２の階調差よりも小さくなっている。つまり、印刷物７７０においてエッジがなかった部分に生じるエッジを軽減することが可能となっている。このように投影画像の階調補正を行うことで、重畳画像で印刷物における階調の大小関係が逆転することや印刷物においてエッジがない部分に重畳画像でエッジが生じることを抑制することができる。

続いて、図９について説明する。印刷物７７０では、画素７０１が最暗部となっている。一方、投影画像９８０では、全画素の階調値を揃えている。これは、図６（ｂ）に示したように、投影画像のコントラストを１：１とする補正を行っているためである。その結果、重畳画像９９０でも画素７０１と同じ位置にある画素９０９が最暗部となっている。つまり、重畳画像９９０の表示輝度において、印刷物７７０における階調の大小関係の逆転してしまうことが防止されている。

また、印刷物７７０において画素７０３と画素７０４の階調値は同じであり、投影画像９８０において画素７０３と同じ位置ある画素９０７と画素７０４と同じ位置ある画素９０８とで階調値は同じである。そのため、重畳画像９９０において画素７０３，７０４に対応する画素９１０，９１１の階調値も同じとなっている。つまり、印刷物７７０においてエッジがない部分に重畳画像９９０でエッジが生じてしまうことが防止されている。

以上の説明の通り、本実施形態に係る図８及び図９に示す画像投影を行うことにより、印刷物における階調の大小関係が重畳画像で逆転することや印刷物においてエッジがない部分に重畳画像でエッジが生じることを抑制又は防止することができる。つまり、印刷物に画像を投影した際に、印刷物の階調性や解像感が低下してしまうことを抑制することができる。また、重畳画像のコントラストは、実施例１（図８）では印刷物だけの場合よりも高められており、実施例２（図９）では印刷物だけの場合と同等のコントラストが維持されている。また、表示輝度の絶対値については、実施例１及び実施例２のいずれの場合でも、投影画像によって上記式１における投影光量が増加するので、印刷物単体よりも高い表示輝度とすることができる。このように本実施形態によれば、印刷物に画像を投影することによる印刷物のコントラスト向上効果や印刷物の表示輝度の向上という効果を維持しながら、印刷物よりも階調性や解像感が低下した重畳画像となってしまうことを抑制することができる。

なお、本実施形態では、印刷物の表面側から画像を投影する構成について説明したが、印刷物の背面側から画像を投影する構成であっても構わない。また、本実施形態では、投影領域の大きさを画素数で除算することによって算出する画素サイズを使用したが、これに代えて、画素数を投影領域の大きさで除算することによって算出される画素密度を使用しても構わない。投影領域の大きさを一定とした場合、投影画素サイズが大きくなれば画素密度は小さくなる。よって、画素密度が小さくなる場合の処理に、投影画素サイズが大きくなる場合の処理を適用すればよい。その際に、画素密度に所定の密度閾値を設け、投影画像の画素密度が所定の密度閾値未満である場合にのみ、投影画像の階調補正を行うようにしてもよい。複数の画素を集めた一定の領域を１単位として投影画像の画素密度を算出している場合、画像補正部２０９による補正処理も一定の領域ごとに行ってもよい。

また、本実施形態では、画像投影装置１００から印刷物（投影面）までの距離（投影距離Ｌ１）を取得することによって投影画素サイズを算出した。これに代えて、投影面情報取得部２０７を構成するカメラによって、直接、投影画像を撮影して投影画素サイズを算出しても構わない。また、投影画素サイズを算出せず、投影距離Ｌ１や投影光学系２１５の水平画角θのみに基づいて投影画像の階調を補正してもよく、これにより演算負荷を軽減することができる。その場合、投影距離Ｌ１又は水平画角θが予め定められたそれぞれの閾値以上の場合に投影画像の階調を補正し、又は、投影距離Ｌ１に応じたゲインを使用して投影画像の階調を補正すればよい。具体的には、投影距離Ｌ１が長くなるほど、また、水平画角θが大きくなるほど、投影画像のコントラストが小さくなるように投影画像の階調を補正すればよい。

ところで、本実施形態では、投影面情報取得部２０７、投影画素サイズ算出部２０８及び画像補正部２０９のすべてが画像投影装置１００に搭載された構成としたが、一部又は全部がパーソナルコンピュータ等の演算装置（不図示）に搭載されていてもよい。この場合、画像投影装置１００と演算装置との間で、シリアル通信等の汎用通信や各種の画像インタフェース規格でサポートされる通信を介して必要な情報の送受信が可能な構成とすればよい。例えば、投影面情報取得部２０７が画像投影装置１００にあり、投影画素サイズ算出部２０８と画像補正部２０９が演算装置に搭載されている場合には、以下のように動作する。すなわち、画像投影装置１００の投影面情報取得部２０７が、投影距離（画像投影装置１００と投影面までの距離）を取得する。続いて、演算装置が通信を介して画像投影装置１００から投影距離に関する情報を取得する。その後、演算装置内の投影画素サイズ算出部２０８と画像補正部２０９が、ステップＳ３０２，Ｓ３０３の処理を行って階調補正された投影画像を生成し、生成した投影画像を画像投影装置１００へ出力する。

＜第２実施形態＞
本実施形態では、投影画像の画素の大きさと印刷物に形成された印刷画像の画素の大きさに応じて投影画像を補正する構成について説明する。図１０は、第２実施形態に係る画像投影装置１０００の概略構成を示すブロック図である。なお、画像投影装置１０００の構成要素であって、第１実施形態に係る画像投影装置１００の構成要素と同じ機能を有する要素については、同じ符号を付して重複する説明を省略する。

画像投影装置１０００は、印刷面情報取得部１００１、印刷画素サイズ算出部１００２及び画像補正部１００３を備える。印刷面情報取得部１００１は、印刷物の印刷面（印刷画像が形成されている面）に関する情報（以下「印刷面情報」という）を取得する。印刷画素サイズ算出部１００２は、印刷面情報取得部１００１取得した印刷面情報から、印刷画像の画素サイズ（以下「印刷画素サイズ」という）を算出する。画像補正部１００３は、投影画素サイズ算出部２０８が算出した投影画素サイズと印刷画素サイズ算出部１００２が算出した印刷画素サイズに基づいて投影画像を補正する。

図１１は、画像投影装置１０００での投影画像の補正処理を説明するフローチャートである。図１１のフローチャートの各処理は、システム制御部２００が投影面情報取得部２０７、投影画素サイズ算出部２０８、印刷面情報取得部１００１、印刷画素サイズ算出部１００２及び画像補正部１００３の動作を制御することにより実現される。

最初に、図３のフローチャートに示したステップＳ３０１，Ｓ３０２の処理と同じ処理が実行される。これらの処理については説明済みであるため、ここでの説明を省略する。続くステップＳ１１０１では、印刷面情報取得部１００１が、印刷物１０１の印刷面情報を取得する。ここでは、印刷面情報取得部１００１は、操作入力部２０２と一体に構成されており、リモコンや携帯情報端末等を介したユーザ操作によって入力される印刷面情報を取得するものとする。例えば、印刷面情報取得部１００１は、「３００ｐｐｉで印刷された印刷物である」というユーザ入力から印刷物情報を取得する。

ステップＳ１１０２では、印刷画素サイズ算出部１００２が、印刷面情報から印刷画素サイズを算出する。具体的には、印刷面情報取得部１００１が取得した「３００ｐｐｉで印刷された印刷物である」という印刷物情報から、印刷物を構成する画素の一辺の長さを印刷画素サイズとして算出する。

ステップＳ１１０３では、画像補正部１００３が、ステップＳ３０２で算出された投影画素サイズをステップＳ１１０２で算出された印刷画素サイズで除算することで、投影画素サイズの印刷画素サイズに対する相対的な大きさ（相対値）を算出する。続いて、ステップＳ１１０４において画像補正部１００３は、ステップＳ１１０３で算出した画素サイズの相対値に応じて投影画像を補正する。このとき、第１実施形態での画像補正部２０９での階調補正処理と同様に、画素サイズの相対値が大きくなるほど投影画像のコントラストが小さくなるように投影画像を補正する。本処理は終了となる。

なお、ステップＳ１１０４の補正処理は、第１実施形態の場合と同様に、画素サイズの相対値が所定の閾値以上である場合に限って行うようにしてもよい。この場合、画素サイズの相対値が閾値以上であるか否かを判定する処理を追加で行うか又は図５（ｂ）に示したようなグラフから階調補正処理に用いるゲインを決定すればよい。また、第１実施形態での変形例と同様に、画素サイズの相対値に代えて、画素密度の相対値を用いて画像補正部１００３での補正処理を行うようにしてもよい。この場合、画素密度の相対値が小さくなるほど、投影画像のコントラストが小さくなるように投影画像を補正する。ここで、画素密度の相対値が所定の閾値未満である場合に限って、画像補正部１００３での補正処理を行うようにしてもよい。

以上の説明の通り、本実施形態によれば、印刷画素サイズに対する投影画素サイズの相対的な大きさに基づいて階調補正を行う。これにより、印刷画素サイズが極めて小さい場合に補正強度を高めることが可能になり、また、印刷画素サイズが小さくない場合に冗長な補正を行わないようにすることが可能になる。つまり、印刷画像と投影画像の組み合わせに応じた適切な階調補正を行って、コントラストの向上や表示輝度の向上という効果を得ながら、階調性や解像感が低下してしまうことを抑制することができる。

なお、ユーザ入力に基づく印刷面情報を取得して印刷画素サイズを算出する構成に代えて、例えば、印刷画素サイズとして予め定めた固定値を使用するようにしてもよい。これは、図１に示した構成のように印刷物への画像投影を行う場合に用いられる印刷物は高品質で印刷される可能性が高いと考えられるため、取り得る画素密度の範囲もある程度限定できるからである。或いは、印刷物の大きさと印刷解像度（ｐｐｉ）の間には統計的に相関性があることなどを考慮して、印刷物の大きさ（面積や辺の長さ）に関する情報に基づいて印刷画素サイズを推測するようにしてもよい。この場合、印刷物情報取得部２０３が印刷物を検出する際に、印刷物の大きさを合わせて取得するようにすればよい。

印刷物を撮影可能なカメラで印刷面情報取得部１００１を構成し、印刷物の撮影画像から印刷画素サイズ算出部１００２が印刷画素サイズを算出するようにしてもよい。この場合、印刷面情報取得部１００１は、想定される印刷物の画素密度（３００ｐｐｉ等）に対して十分な分解能で印刷物を撮影し、その際、必要に応じて印刷物の部分的な領域ごとに順次撮影を行う。そして、印刷画素サイズ算出部１００２が、撮影画像のエッジ成分を解析し、印刷物の画素サイズを推測する。例えば、２５μｍ×２５μｍの分解能で撮影した撮影画像において、最短でも４画素周期でしかエッジ成分が存在しない場合には、印刷物の画素サイズは概ね１００μｍ×１００μｍサイズ（２５４ｐｐｉ相当）であると推測することができる。

印刷画素サイズ等の印刷情報を埋め込んだメタデータを印刷物に付加しておき、そのメタデータを印刷面情報取得部１００１が検出して解析するようにしてもよい。なお、メタデータは可視パターンであってもよいし、特殊なカメラによってのみ検出可能な不可視パターンであってもよい。また、メタデータには、印刷画素サイズの他に、投影画像を特定するための情報等が含まれていてもよい。

＜第３実施形態＞
本実施形態では、投影画像を構成する画素の大きさと印刷物に形成された印刷画像の特徴に応じて投影画像を補正する構成について説明する。図１２は、第３実施形態に係る画像投影装置１２００の概略構成を示すブロック図である。なお、画像投影装置１２００の構成要素であって、第１実施形態に係る画像投影装置１００の構成要素と同じ機能を有する要素については、同じ符号を付して重複する説明は省略する。

画像投影装置１２００は、印刷画像データ取得部１２０１、印刷画像データ解析部１２０２及び画像補正部１２０３を備える。印刷画像データ取得部１２０１は、印刷物に形成されている印刷画像の画像データ（以下「印刷画像データ」という）を取得する。印刷画像データ解析部１２０２は、印刷画像データ取得部１２０１が取得した印刷画像データの特徴を解析する。画像補正部１２０３は、投影画素サイズ算出部２０８が算出した投影画素のサイズに基づいて投影画像を補正し、その際に、印刷画像データ解析部１２０２が解析した印刷画像データの特徴に基づいて補正閾値や補正強度を調整する。

図１３は、画像投影装置１２００での投影画像の補正処理を説明するフローチャートである。図１３のフローチャートの各処理は、システム制御部２００が投影面情報取得部２０７、投影画素サイズ算出部２０８、印刷画像データ取得部１２０１、印刷画像データ解析部１２０２及び画像補正部１２０３の動作を制御することにより実現される。

最初に、図３のフローチャートに示したステップＳ３０１，Ｓ３０２の処理と同じ処理が実行される。これらの処理については説明済みであるため、ここでの説明を省略する。続くステップＳ１３０１では、印刷画像データ取得部１２０１が、印刷物の印刷画像データを取得する。例えば、印刷画像データ取得部１２０１は、カメラ等のセンサで構成されており、印刷物を撮影することによって印刷画像データを取得する。続くステップＳ１３０２では、印刷画像データ解析部１２０２が、ステップＳ１３０１で取得された印刷画像データの特徴を解析する。例えば、印刷画像データの空間周波数を解析することにより、印刷画像データに含まれる高周波成分の量を取得する。

印刷画像に高周波成分が多いということは、例えば、図７（ａ）に示したような印刷物７７０の階調分布において１画素単位又は２画素単位といった細かい画素単位での階調値の変化が多いということを意味する。印刷画素サイズに対して投影画素サイズが大きい状態では、細かい画素単位での階調変化を重畳画像で表現することは困難である。つまり、印刷画像に高周波成分が多い場合には、投影画素サイズが大きい投影画像を重ね合わせると、階調性や解像感の低下が生じる領域が多くなる。

本実施形態ではこのような問題を回避するために、ステップＳ１３０３において画像補正部１２０３が、印刷画像データ解析部１２０２が解析した印刷画像データの特徴に基づいて、投影画像を補正するための補正係数としてのゲイン補正係数を決定する。具体的には、印刷画像の高周波成分が多くなるほどコントラストを小さくするようなゲイン補正係数を、予め準備されたルックアップテーブル等を使用して決定する。そして、ステップＳ１３０４において画像補正部１２０３は、まず、図５（ａ）又は（ｂ）を用いて決定したゲインをステップＳ１３０３で決定したゲイン補正係数を使用して補正する。そして、画像補正部１２０３は、画像補正部２０９での階調補正処理と同様に、補正済みのゲインを用いてオフセット値を算出して投影画像の階調を補正する。これにより、本処理は終了となる。

以上の説明の通り、本実施形態によれば、印刷画像データの特徴に基づいて投影画像を補正するためのゲインを補正する補正係数を調整する。これにより、第１実施形態と同様に、印刷画像に投影画像を重ね合わせることによる階調性や解像感の低下を抑制することができる。また、階調性や解像感の低下が顕著になる場合に補正強度を高めることや、階調性や解像感の低下が目立たない場合に冗長な補正を行わないようにすることができる。

なお、投影画素サイズが所定の閾値以上である場合に限って補正処理を行うようにしてもよい。この場合には、所定の閾値を補正係数によって補正し、その際に印刷画像に高周波成分が多く含まれるほど補正が掛かりやすくなる（所定の閾値を小さくする）ように補正係数を決定すればよい。また、本実施形態では、印刷物（印刷画像）を撮影することによって印刷画像データを取得したが、印刷画像データの取得方法はこれに限定されるものではない。例えば、印刷物に印刷画像データを特定するための情報を含むメタデータが付加されている場合、そのメタデータを使用し、シリアル通信等の汎用通信を介して外部装置等から印刷画像データを取得するようにしてもよい。また、印刷画像の特徴が可視又は不可視のメタデータとして印刷物に付加されている場合には、そのメタデータを印刷画像データ取得部１２０１が備えるカメラで抽出し、印刷画像データ解析部１２０２で解析するようにしてもよい。

本実施形態では、印刷画像データの特徴としての高周波成分の量に基づいて補正係数を決定したが、別の特徴に基づいて補正係数を決定してもよい。例えば、印刷画像の画像データから印刷画像の平均輝度値を取得し、印刷画像の平均輝度値が大きいほど投影画像の平均輝度値が小さくなるように投影画像を補正してもよい。これに対して、印刷画像のコントラスト情報を抽出し、抽出した印刷画像のコントラストが大きくなるほど投影画像のコントラストが小さくなるように投影画像を補正してもよい。

印刷画像データの特徴に基づいて補正係数を決定する方法に代えて、投影画像の画像データの特徴に基づいて補正係数を決定するようにしてもよい。投影画素サイズが大きい状態で、エッジ成分を多く含む投影画像を印刷物上に重畳してしまうと、印刷物において解像感が損なわれてしまう領域が多くなってしまう。そこで、このような問題が生じないように、投影画像の画像データに含まれる高周波成分の量を取得し、高周波成分が多くなるほどコントラストを小さくするようにゲインを補正してもよい。

また、投影画像の最大階調値と最小階調値の差が小さい場合に、補正処理の強度を弱める調整又は補正処理を行うか否かの所定の閾値を高める調整を行うようにしてもよい。これは、投影画像の最大階調値と最小階調値の差が小さい場合、印刷物上に投影画像を重ね合わせることによる階調性や解像感の低下の程度が少なくなるためである。なお、印刷画像データではなく投影画像の画像データの特徴に基づいて補正係数を決定する場合は、印刷画像データを取得する必要がないため、その処理を省略することができ、画像投影装置１２００内での演算負荷を軽減することができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，１０００，１２００ 画像投影装置
２００ システム制御部
２０３ 印刷物情報取得部
２０７ 投影面情報取得部
２０８ 投影画素サイズ算出部
２０９，１００３，１２０３ 画像補正部
２１５ 投影光学系
１００１ 印刷面情報取得部
１００２ 印刷画素サイズ算出部
１２０１ 印刷画像データ取得部
１２０２ 印刷画像データ解析部

Claims (16)

1. 投影面に設置された印刷物に投影画像を重ね合わせる投影手段と、
   前記投影面の情報を取得する取得手段と、
   前記投影面の情報から前記投影面における前記投影画像の画素の大きさまたは画素密度を算出する算出手段と、
   前記投影画像の画素の大きさが大きくなるほど前記投影画像のコントラストが小さくなるようにまたは前記投影画像の画素密度が小さくなるほど前記投影画像のコントラストが小さくなるように前記投影画像を補正する補正手段と、を備えることを特徴とする画像投影装置。
2. 前記補正手段は、前記投影画像の画素の大きさが所定のサイズ閾値以上である場合または前記投影画像の画素密度が所定の密度閾値未満である場合に前記補正を行うことを特徴とする請求項１に記載の画像投影装置。
3. 前記算出手段は、複数の画素を集めた一定の領域を１単位として前記投影画像の画素の大きさまたは前記投影画像の画素密度を算出し、
   前記補正手段は、前記一定の領域ごとに前記補正を行うことを特徴とする請求項１又は２に記載の画像投影装置。
4. 前記印刷物に形成された印刷画像の高周波成分または平均輝度値またはコントラストを検出する検出手段を備え、
   前記補正手段は、前記印刷画像の高周波成分が大きくなるほど前記投影画像のコントラストが小さくなるように、または、前記印刷画像の平均輝度値が大きくなるほど前記投影画像の平均輝度値が小さくなるように、または、前記印刷画像のコントラストが大きくなるほど前記投影画像のコントラストが小さくなるように前記補正を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像投影装置。
5. 前記投影画像の高周波成分を検出する検出手段を備え、
   前記補正手段は、前記投影画像の高周波成分が大きくなるほど前記投影画像のコントラストが小さくなるように前記投影画像を補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像投影装置。
6. 投影面に設置された印刷物に投影画像を重ね合わせる投影手段と、
   前記投影手段から前記投影面までの投影距離を検出する検出手段と、
   前記投影距離が長いほど前記投影画像のコントラストが小さくなるように前記投影画像を補正する補正手段と、を備えることを特徴とする画像投影装置。
7. 前記補正手段は、前記投影距離が所定の閾値以上である場合に前記補正を行うことを特徴とする請求項６に記載の画像投影装置。
8. 投影面に設置された印刷物に投影画像を重ね合わせる投影手段と、
   前記印刷物に形成された印刷画像の画素サイズと前記投影画像の画素サイズまたは前記印刷画像の画素密度と前記投影画像の画素密度を検出する検出手段と、
   前記投影画像の画素サイズを前記印刷画像の画素サイズで除した画素サイズの相対値または前記投影画像の画素密度を前記印刷画像の画素密度で除した画素密度の相対値を算出する算出手段と、
   前記画素サイズの相対値が大きくなるほど前記投影画像のコントラストが小さくなるようにまたは前記画素密度の相対値が小さくなるほど前記投影画像のコントラストが小さくなるように前記投影画像を補正する補正手段と、を備えることを特徴とする画像投影装置。
9. 前記補正手段は、前記画素サイズの相対値が所定の閾値以上の場合または前記画素密度が所定の閾値未満の場合に、前記補正を行うことを特徴とする請求項８に記載の画像投影装置。
10. 前記補正手段は、前記投影画像のすべての画素の階調値を揃える補正を行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像投影装置。
11. 前記補正手段は、前記投影画像における階調値の小さい部分の階調値を大きくすることによって前記投影画像のコントラストを小さくすることを特徴とする請求項１乃至９のいずれか１項に記載の画像投影装置。
12. 画像投影装置の制御方法であって、
    画像が投影される投影面の情報を取得するステップと、
    前記投影面に投影された投影画像の画素の大きさまたは画素密度を前記投影面の情報から算出するステップと、
    前記投影画像の画素の大きさが大きくなるほど前記投影画像のコントラストが小さくなるようにまたは前記投影画像の画素密度が小さくなるほど前記投影画像のコントラストが小さくなるように前記投影画像を補正するステップと、
    前記補正された投影画像を前記投影面に設置された印刷物に投影するステップと、を有することを特徴とする画像投影装置の制御方法。
13. 画像投影装置の制御方法であって、
    画像が投影される投影面までの投影距離を検出するステップと、
    前記投影距離が長いほど前記画像投影装置から投影する画像のコントラストが小さくなるように該画像を補正する補正手段と、
    前記補正された画像を前記投影面に設置された印刷物に投影するステップと、を有することを特徴とする画像投影装置の制御方法。
14. 印刷物に投影画像を重ね合わせる画像投影装置の制御方法であって、
    前記印刷物に形成された印刷画像の画素サイズと前記投影画像の画素サイズまたは前記印刷画像の画素密度と前記投影画像の画素密度を検出するステップと、
    前記投影画像の画素サイズを前記印刷画像の画素サイズで除した画素サイズの相対値または前記投影画像の画素密度を前記印刷画像の画素密度で除した画素密度の相対値を算出するステップと、
    前記画素サイズの相対値が大きくなるほど前記投影画像のコントラストが小さくなるようにまたは前記画素密度の相対値が小さくなるほど前記投影画像のコントラストが小さくなるように前記投影画像を補正するステップと、
    前記補正された投影画像を前記印刷物に投影するステップと、を有することを特徴とする画像投影装置の制御方法。
15. 請求項１２乃至１４のいずれか１項に記載の画像投影装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
16. 請求項１２乃至１４のいずれか１項に記載の画像投影装置の制御方法をコンピュータに実行させるためのプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images