JP2018125719A - システム、情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】画像の投射形状を調整するためにカメラの撮像画像を用いる場合においてカメラの露出設定に関するユーザの手間を低減する。
【解決手段】
投射手段により画像が投射されたスクリーンの撮像画像から検出された階調に応じて、前記投射手段に投射させる画像の階調を変更する制御手段と、前記制御手段による変更後の階調に基づいて前記投射手段による投射形状を調整するための調整用画像を生成する生成手段と、を有する。
【選択図】図３

Description

本発明は、システム、情報処理装置、情報処理方法及びプログラムに関する。

近年、例えばアミューズメント施設や博物館展示等で、単体又は複数の投射表示装置を用いた投射表示システムが常設されるようになってきている。このような常設の投射表示システムにおける一つの課題は、投射表示装置の初期設置、及び初期設置時の表示画像の維持のための投射表示形状の調整である。この調整を手動で行うには専門知識と多大な労力が必要となる。そこで、投射表示装置から投射する調整パターンをカメラで撮像し、投射表示装置の投射画像形状を調整するために必要となるカメラ画像上の座標と投射表示装置上の座標との対応付けを行う技術がある。
カメラ画像上の座標と投射表示装置上の座標との対応付けを行う方法として、位相シフト法と空間コード化法とを併用する方法が知られている。位相シフト法は、周期的に輝度が変化する正弦波縞パターンの位相を所定量ずつずらした複数の位相シフトパターンをスクリーンに投影する。また、空間コード化法は、明部と暗部との２値パターンである空間コードパターンを用い、空間を分割するのに必要なビット数分だけ空間コードパターンをスクリーンに投影し、空間コードパターンが投影されたスクリーンを撮像する。投影される空間コードパターンの変化に伴って、スクリーンの各点における明暗が変化する。空間コードパターンの明暗の周期と位相シフトパターンの周期とを合わせることで、スクリーン上の各点での明暗の変化が特定されると、その点の縞次数を特定することができる。縞次数とは、一端から他端に向かって数えてｎ周期目の縞であることを表す値である。縞次数とは、一端から他端に向かって数えてｎ周期目の縞であることを表す値である。
空間コード化法では、空間コードパターンの明暗を、空間コードパターンが投影された計測対象物を撮像した空間コード画像から画素ごとに判定する。そこで、明部と暗部との空間コードパターンの投影及び撮像に加え、明部と暗部とを反転させた反転コードパターンも投影及び撮像することで、明暗の判定を正確に行う方法が知られている（特許文献１参照）。

特開２００８−１４５１３９号公報

ところで、位相シフト法及び空間コード化法は共に露出が適正に設定されているカメラで投射画像を撮像することが前提となる。仮に、カメラ露出が適正となっていなかった場合、位相シフト法では適正な位相の検出ができず、空間コード化法では明るさの"滲み"により正確な明暗の周期の検出ができない。そのため、カメラの露出を事前に適正に設定する手順が必要である。また、一度適正な設定を行ったとしても、例えば部屋の明かりを消灯状態から点灯、又は点灯状態から消灯する等、環境が変化した場合、カメラの露出が適正となっていることを再度確認し、必要に応じて露出の再調整を行う必要があり手間であった。

本発明のシステムは、投射手段により画像が投射されたスクリーンの撮像画像から検出された階調に応じて、前記投射手段に投射させる画像の階調を変更する制御手段と、前記制御手段による変更後の階調に基づいて前記投射手段による投射形状を調整するための調整用画像を生成する生成手段と、を有する。

本発明によれば、画像の投射形状を調整するためにカメラの撮像画像を用いる場合においてカメラの露出設定に関するユーザの手間を低減できる。

実施形態１の画像表示システムのシステム構成等の一例を示す図である。 コンピュータのソフトウェア構成の一例を示す図である。 実施形態１の情報処理の一例を示すフローチャートである。 実施形態２の画像表示システムのシステム構成等の一例を示す図である。 実施形態２の情報処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、実施形態１の画像表示システムのシステム構成等の一例を示す図である。画像表示システムは、投射表示装置１００、撮像装置２００、コンピュータ３００を備えて構成される。投射表示装置１００は、プロジェクタであり、コンピュータ３００が生成する投射表示形状の調整用の画像を投射する。撮像装置２００は、例えばカメラであり、投射された投射表示形状の調整用の画像を撮像する。コンピュータ３００は、ＣＰＵを含む制御部３２０と、ＲＯＭ及びＲＡＭを含む記憶部３４０と、を備える。制御部３２０は、コンピュータ３００を制御すると共に、投射表示装置１００及び撮像装置２００を制御する。記憶部３４０は、制御部３２０の動作を制御するプログラム及び撮像装置２００によって撮像された画像データ等を記憶する。制御部３２０が、記憶部３４０に記憶されているプログラムに基づき処理を実行することによって、後述する図２に示すコンピュータ３００のソフトウェア構成、図３、図５のフローチャートの処理が実現される。投射表示装置１００、撮像装置２００も制御部や記憶部等を有し、それぞれの制御部がそれぞれの記憶部等に記憶されているプログラムに基づき処理を実行することによって、各装置の機能等が実現される。

図２は、コンピュータ３００のソフトウェア構成の一例を示す図である。コンピュータ３００は、ソフトウェア構成として、第一画像生成部３２１、階調検出部３２２、判定部３２３、第二画像生成部３２４、及び算出部３２５を備えている。
第一画像生成部３２１は、投射表示装置１００の階調を検出可能な画像、例えば所定の階調を持った全画面ベタ画像を生成する。
階調検出部３２２は、第一画像生成部３２１で生成し投射表示装置１００で投射した表示画像を撮像装置２００で撮像した画像を受け、受けた画像における投射画像の階調を検出する。ここで、投射画像の階調は、例えば全撮像範囲の約５０％を占める階調で検出することができる。なお、ここで５０％というのは、撮像装置２００の全撮像範囲に対して投射画像の撮像領域が５０％以上となるように投射表示装置１００と撮像装置２００との配置を決定することを前提とした数値であり、この数値に限るものではない。
判定部３２３は、撮像装置２００で撮像した投射表示画像が適正に撮像されているか否かを判定する。言い換えると、判定部３２３は、投射画像の階調が適正か否かを判定すると言うこともできる。例えば、判定部３２３は、階調検出部３２２で検出した階調の最大値が撮像画像の最大階調であれば撮像画像が飽和している可能性が高いため適正に撮像されていないと判定し、最大階調未満であれば飽和していないため適正に撮像されていると判定する。
なお、判定部３２３による判定方法は上記方法に限らない。例えば、判定部３２３は、階調検出部３２２で検出した諧調が予め設定された範囲内に収まっていれば適正であると判定する一方、当該範囲外であれば適正でないと判定するようにしてもよい。また、判定部３２３は、階調検出部３２２で検出した階調と比較される閾値として、撮像画像の最大階調とは異なる値を用いてもよい。当該閾値は、固定の値を用いてもよいし、ユーザ操作や投影環境等に応じて適宜変更可能としてもよい。
また、上記例では、判定部３２３が、階調検出部３２２で検出した階調の最大値が撮像画像の最大階調である場合に、適正に撮像されていない（投射画像の階調が適正でない）と判定する場合の例を説明したが、これに限らない。例えば、階調検出部３２２が検出した複数画素の階調を高い順に並べて、最大から所定番目（例えば１０番目）に高い階調が撮像画像の最大階調（例えば２５５）であれば適正に撮像されていないと判定するようにしてもよい。このような構成を採用することにより、例えば、撮像画像のごく一部の画素のみにおいて撮像画像の最大階調となっている場合には、投射表示画像が適正に撮像されていると判定することができる。
第二画像生成部３２４は、判定部３２３で投射表示画像が適正に撮像されていると判定したときに階調検出部３２２で検出した階調の最大値を最大階調とする画像（第二画像）を生成する。この画像（第二画像）は、撮像画像上の座標と投射表示装置１００が投射画像の位置を制御するために管理する座標との対応付けを行うための画像である。例えば、この画像は、位相シフト法を用いる場合は周期的に輝度が変化する正弦波の縞パターンを有する画像であり、空間コード化法を用いる場合は明部と暗部との２値の縞パターンを有する画像である。
算出部３２５は、第二画像の撮像画像を用いて撮像画像上の座標と投射表示装置１００が投射画像の位置を制御するために管理する座標との対応付けを行う。撮像画像上の座標と投射表示装置１００の座標との対応付けができれば、投射表示装置１００から投射される画像の投射形状を調整するパラメータは公知の技術で算出可能であるため、ここでは詳細な説明を省略する。
本実施形態では図２に示す構成は、ソフトウェア構成として説明を行うが、図２の構成の一部又は全てはハードウェア構成としてコンピュータ３００に実装されてもよい。

図３は、実施形態１の投射形状を調整する情報処理の一例を示すフローチャートである。以下では、説明の簡略化のためコンピュータ３００における処理は、制御部３２０が行うものとして説明を行う。
Ｓ１００において、制御部３２０は、投射表示装置１００の階調を検出可能な画像として、例えば最大階調の全画面ベタ画像を生成する。ここで生成する画像は、画像のおおよその階調を検出できる画像であれば良く、一部に任意のパターンが含まれていてもよい。
次にＳ１０２において、制御部３２０は、Ｓ１００で生成した画像（第一画像）を投射表示装置１００へ転送する。投射表示装置１００は、入力画像をスクリーンに向けて投射する。
次に投射された画像を撮像装置２００で撮像し、Ｓ１０４において、制御部３２０は、撮像画像を取得する。制御部３２０は、取得した撮像画像の画像データを記憶部３４０に記憶させる。
次にＳ１０６において、制御部３２０は、撮像画像における投射画像の階調を検出する。ここで、制御部３２０は、投射画像の階調を、例えば全撮像範囲の約５０％を占める階調で検出する。なお、ここで５０％というのは、撮像装置２００の全撮像範囲に対して投射画像の撮像領域が５０％以上となるように投射表示装置１００と撮像装置２００との配置を決定することを前提とした数値であり、この数値に限るものではない。

次にＳ１０８において、制御部３２０は、投射画像の階調が適正か否かを判定する。言い換えると、制御部３２０は、撮像画像から検出された階調に基づいて、投射表示装置１００に投射させる画像の階調を変更すべきかを判定すると言うこともできる。例えば、制御部３２０は、階調検出部３２２で検出した階調（例えば、輝度レベルの最大値）が撮像画像の最大階調（例えば、２５５）であれば撮像画像が飽和している可能性が高いため投射画像の階調を変更すべきと判定し、最大階調未満であれば飽和していないため投射画像の階調を変更すべきでないと判定する。なお、Ｓ１０８における判定方法は上記方法に限らない。例えば、判定部３２３は、階調検出部３２２で検出した諧調が予め設定された範囲内に収まっていれば適正であると判定する一方、当該範囲外であれば適正でないと判定するようにしてもよい。また、判定部３２３は、階調検出部３２２で検出した階調と比較される閾値として、撮像画像の最大階調とは異なる値を用いてもよい。当該閾値は、固定の値を用いてもよいし、ユーザ操作や投影環境等に応じて適宜変更可能としてもよい。制御部３２０は、投射画像の階調が適正ではないと判定した場合（Ｓ１０８においてＮＯ）、Ｓ１１０へ進み、投射画像の階調が適正であると判定した場合（Ｓ１０８においてＹＥＳ）、Ｓ１１２へ進む。
Ｓ１１０において、制御部３２０は、投射画像の階調を変えた画像を生成する。例えば、制御部３２０は、現在の投射画像の階調から所定の階調を差し引いた階調を持つ画像を生成する。生成する画像は、おおよその階調が変わっていれば現在の投射画像と同一画像で無くともよい。すなわち、制御部３２０は、投射表示装置１００により画像が投射されたスクリーンの撮像画像から検出された階調に応じて、投射表示装置１００に投射させる画像の階調を変更する（Ｓ１０２〜Ｓ１１０）。制御部３２０は、投射画像の階調が適正と判定するまでＳ１１０、Ｓ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０８の処理を繰り返す。最終的には、制御部３２０は、Ｓ１０６で検出した撮像画像の階調が撮像可能な最大階調未満となる投射画像の最大階調を適正と判定する。

以上の説明で、Ｓ１１０、Ｓ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０８の処理を繰り返して最大階調から順次階調を下げ、撮像画像における投射表示画像の階調が最大階調であるか否かで適正な撮像画像であるか否かを判定する構成とした。しかしながら、この方法に限定するものではなく、例えば、制御部３２０は、Ｓ１００で任意の中間階調の画像生成から初めて順次生成画像の階調を上げていってもよい。また、制御部３２０は、Ｓ１１０の階調の変え方として、直前の階調との差分の１／２の階調を減算又は加算して漸近法で飽和するか否かの境界値に近づけていくようにしてもよい。この場合、制御部３２０は、Ｓ１０８における撮像画像の適正度の判定において、単純に階調のみで判定できないので、例えば、値変化前の階調との差分等と合わせて判定する。

Ｓ１１２において、制御部３２０は、例えば、Ｓ１０８で投射表示画像が適正に撮像されていると判定した第一画像の階調を適正な最大階調として決定する。
次にＳ２００において、制御部３２０は、決定した最大階調で投射画像の投射形状を調整するための第二画像を生成する。第二画像は、例えば、位相シフト法を用いる場合は周期的に輝度が変化する正弦波の縞パターンであり、空間コード化法を用いる場合は明部と暗部との２値の縞パターンである。第二画像は、調整用画像の一例である。また、Ｓ２００の処理は、変更後の調整に基づいて投射表示装置１００による投射形状を調整するための調整用画像を生成する処理の一例である。
次にＳ２０２において、制御部３２０は、Ｓ２００で生成した画像を投射表示装置１００へ転送する。投射表示装置１００は、入力画像をスクリーンに向けて投射する。
投射された画像を撮像装置２００で撮像し、Ｓ２０４において、制御部３２０は、撮像画像を撮像装置２００より取得する。制御部３２０は、取得した撮像画像の画像データを記憶部３４０に記憶させる。
次にＳ２０６において、制御部３２０は、第二画像の撮像画像を解析することで投射表示装置１００上の画像座標を特定し、撮像画像上の座標と投射表示装置１００上の座標との対応付けを行う。撮像画像上の座標と投射表示装置１００上の座標の対応付けができれば、投射表示装置１００から投射される画像の投射形状を調整するパラメータは周知の技術で算出可能であるため、ここでは詳細な説明を省略する。ここで制御部３２０が算出するパラメータは、例えば投射表示装置１００が備える台形歪補正パラメータである。
次にＳ２０８において、制御部３２０は、Ｓ２０６で算出した調整パラメータを投射表示装置１００へ設定することで投射画像の投射形状を調整する情報処理を終了する。

制御部３２０が、Ｓ１１０、Ｓ１０２、Ｓ１０４、Ｓ１０６、Ｓ１０８の処理を繰り返すことで、飽和の無い適正な撮像画像を取得することができる。
例えば、空間コード化法の２値の縞パターンの撮像画像において投射画像が飽和していた場合、撮像画像の"滲み"により明部と暗部との正確な境界を判定できない。また、例えば、位相シフト法の正弦波の縞パターンの撮像画像において投射画像が飽和していた場合、撮像画像における正弦波形状が判定できないため正確な位相を判定できない。
つまり、撮像装置２００の露出設定がオーバー気味であったとしても、このような撮像画像の飽和の影響を除いて精度のよい撮像画像上の座標と投射表示装置１００上の座標との対応付けができる。

以上説明したように本実施形態によれば、投射画像の投射形状を調整するための第二画像の最大階調を制御することで、撮像装置２００の露出設定に依らず適正な撮像画像を取得することが可能となる。その結果として、精度のよい投射表示形状調整を実現できる。

＜実施形態２＞
実施形態１に係る画像表示システムでは、コンピュータ３００が第一画像生成部３２１及び第二画像生成部３２４を備え、投射表示装置１００は、第一画像生成部３２１及び第二画像生成部３２４で生成された画像を投射した。実施形態２では、図４に示す通り、投射表示装置１００が画像生成部１１０を備える。
画像生成部１１０は、コンピュータ３００からの指示を受けて実施形態１の第一画像生成部３２１及び第二画像生成部３２４が生成する画像と同等の画像を生成する。また、画像生成部１１０は、投射表示装置１００のＲＡＭ、ＲＯＭ等の記憶部に記憶されている画像を、コンピュータ３００の指示に応じて記憶部から読み出すようにしてもよい。画像生成部１１０は、ソフトウェアとして、投射表示装置１００に実装されてもよいし、ハードウェアとして、投射表示装置１００に実装されてもよい。

図５は、実施形態２の投射形状を調整する情報処理の一例を示すフローチャートである。
本実施形態におけるフローチャートの処理と実施形態１のフローチャートの処理との差異は、Ｓ１０２Ａ、Ｓ１１０Ａ、及びＳ２０２Ａである。Ｓ１０２Ａ、Ｓ１１０Ａ、及びＳ２０２Ａでは、コンピュータ３００の指示に応じて、投射表示装置１００がそれぞれ所定階調の全画面ベタ画像、又は形状調整用の画像を生成し、投射する。

以上説明したように本実施形態によれば、投射表示装置１００が調整に必要な画像を生成するため、コンピュータ３００と投射表示装置１００との間で映像信号の授受を行う必要が無い。そのため、シンプルな構成で処理時間が短い投射表示形状の調整を実現できる。
なお上述の実施形態では、第一画像生成部３２１が全画面ベタ画像（画像全体の階調値が均一の画像）を生成し、当該全画面ベタ画像が第一画像として投射される場合の例を中心に説明した。しかし、第一画像は全画面ベタ画像に限らず、画像領域によって階調値が異なる画像であってもよい。また、第一画像として全画面ベタ画像を使用するか、画像領域によって階調値が異なる画像を使用するかを、ユーザが適宜選択できるようにしてもよい。
また、上述の実施形態では、投射表示装置１００、撮像装置２００、及びコンピュータ３００をそれぞれ異なる装置である場合の例を中心に説明したが、これに限らない。例えば、１台のプロジェクタが、投射表示装置１００、撮像装置２００、及びコンピュータ３００の機能をすべて有していてもよい。また、例えば、１台のプロジェクタが、投射表示装置１００及びコンピュータ３００の機能を有するようにしてもよいし、投射表示装置１００及び撮像装置２００の機能を有するようにしてもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。

以上、上述した各実施形態の処理によれば、カメラの露出設定に拠らず適正な撮像画像を取得可能とすることができる。その結果として、投射表示装置の投射画像形状を調整するために必要となるカメラ画像上の座標と投射表示装置上の座標の精度のよい対応付けが可能となり、引いては精度のよい投射表示形状調整が可能な画像表示システム及びその方法を実現できる。

１００ 投射表示装置
２００ 撮像装置
３００ コンピュータ

Claims (12)

1. 投射手段により画像が投射されたスクリーンの撮像画像から検出された階調に応じて、前記投射手段に投射させる画像の階調を変更する制御手段と、
   前記制御手段による変更後の階調に基づいて前記投射手段による投射形状を調整するための調整用画像を生成する生成手段と、
   を有するシステム。
2. 前記撮像画像から検出された階調に基づいて、前記投射手段に投射させる画像の階調を変更すべきかを判定する判定手段を更に有し、
   前記制御手段は、前記判定手段により変更すべきと判定された場合、前記投射手段に投射させる画像の階調を変更し、
   前記生成手段は、前記判定手段により変更すべきと判定されなかった場合、前記撮像画像から検出された階調に基づいて、前記調整用画像を生成する請求項１記載のシステム。
3. 前記制御手段は、画像の階調を変更し、変更した階調の画像で、前記投射手段による前記スクリーンへの投射、撮像手段による前記スクリーンに投射された画像の撮像、前記判定手段による前記撮像手段によって撮像された撮像画像の階調が適正か否かの判定、を実行させる請求項２記載のシステム。
4. 前記制御手段は、現在の階調から所定の階調を差し引いた階調を持つ画像を生成することで画像の階調を変更する請求項１乃至３何れか１項記載のシステム。
5. 前記制御手段は、漸近法で画像が飽和するか否かの境界値に近づけていくことで画像の階調を変更する請求項１乃至３何れか１項記載のシステム。
6. 前記判定手段は、撮像画像の階調が最大階調未満か否かに基づいて撮像画像の階調が適正か否かを判定する請求項２記載のシステム。
7. スクリーンに投射された画像の撮像画像の階調が適正か否かを判定する判定手段と、
   前記判定手段によって前記撮像画像の階調が適正でないと判定された場合、画像の階調を変更する制御手段と、
   前記判定手段によって前記撮像画像の階調が適正であると判定された場合、画像の階調を決定する決定手段と、
   前記決定手段によって決定された階調で投射画像の投射形状を調整するための画像を生成する生成手段と、
   を有する情報処理装置。
8. スクリーンに投射された画像の撮像画像の階調が適正か否かを判定する判定手段と、
   前記判定手段によって前記撮像画像の階調が適正でないと判定された場合、画像の階調を変更する制御手段と、
   前記判定手段によって前記撮像画像の階調が適正であると判定された場合、画像の階調を決定する決定手段と、
   前記決定手段によって決定された階調で投射画像の投射形状を調整するための画像生成と生成した画像の前記スクリーンへの投射とを投射装置に指示する指示手段と、
   を有する情報処理装置。
9. システムが実行する情報処理方法であって、
   投射手段により画像が投射されたスクリーンの撮像画像から検出された階調に応じて、前記投射手段に投射させる画像の階調を変更する制御工程と、
   前記制御工程による変更後の階調に基づいて前記投射手段による投射形状を調整するための調整用画像を生成する生成工程と、
   を含む情報処理方法。
10. 情報処理装置が実行する情報処理方法であって、
    投射手段により画像が投射されたスクリーンの撮像画像から検出された階調に応じて、前記投射手段に投射させる画像の階調を変更する制御工程と、
    前記制御工程による変更後の階調に基づいて前記投射手段による投射形状を調整するための調整用画像を生成する生成工程と、
    を含む情報処理方法。
11. 情報処理装置が実行する情報処理方法であって、
    スクリーンに投射された画像の撮像画像の階調が適正か否かを判定する判定工程と、
    前記判定工程によって前記撮像画像の階調が適正でないと判定された場合、画像の階調を変更する制御工程と、
    前記判定工程によって前記撮像画像の階調が適正であると判定された場合、画像の階調を決定する決定工程と、
    前記決定工程によって決定された階調で投射画像の投射形状を調整するための画像生成と生成した画像の前記スクリーンへの投射とを投射装置に指示する指示工程と、
    を含む情報処理方法。
12. コンピュータを、請求項７又は８記載の情報処理装置の各手段として機能させるためのプログラム。

Images