JP2019078875A

JP2019078875A - 画像表示装置、その調整方法及びプログラム

Info

Publication number: JP2019078875A
Application number: JP2017205326A
Authority: JP
Inventors: 伸一砂川; Shinichi Sunakawa
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-10-24
Filing date: 2017-10-24
Publication date: 2019-05-23

Abstract

【課題】画像表示装置の各種調整を行う際、面倒なモード選択などの操作をすることなく調整ボタンの一操作あたりの変化量を最適化する。【解決手段】画像表示の調整機能を備えた画像表示装置であって、所定の調整パラメータにおける表示状態を、ユーザ操作に従って調整する調整手段と、前記調整パラメータにおける目標とする表示状態とのずれ量を、参照情報に基づいて検出する検出手段と、前記ユーザ操作１回あたりの前記調整パラメータにおける表示状態の変化量を、前記検出手段で検出されたずれ量に応じて決定する決定手段と、を備え、前記調整手段は、前記決定手段で決定された変化量の分だけ、前記調整パラメータにおける表示状態を変更することにより前記調整を行うことを特徴とする。【選択図】図４

Description

本発明は、画像表示装置における表示画像の調整に関する。

プロジェクタやモニターなどの画像表示装置を設置する場合、表示画像に関して各種調整が必要となる。例えばプロジェクタであれば、レンズシフトやキーストーンといったスクリーン上に投影された画像のずれや歪み等を補正する幾何調整に加え、色補正や輝度補正といった画質調整が必要となる。さらに、複数の画像表示装置を組み合わせて表示を行なう画像表示システムでは、当該システムを構成する各画像表示装置によって映し出される表示画像間相互の整合を取るための調整も必要となる。

画像表示装置における上述した様々な調整は、画像表示装置上の操作パネルや、或いは付属の操作用リモコンに設けられた調整用のボタン（以下、調整ボタン）で行なうのが通常である。その際には、表示された画像の状態に応じて、動作モード（調整内容）を切り換えた上で、各種調整が行なわれる。この点、調整ボタン操作時の動作モードを変更する方法として、特許文献１には、調整ボタンを長押しすると、表示する対象画像が切り換わる技術が開示されている。

特開２００９−２１７４１５号公報

ここで、例えばプロジェクタから投影される画像の表示位置の調整を行なう場合を考える。通常、プロジェクタの設置直後の時点では、投影画像の表示位置は理想的な表示位置から大きくずれている。したがって、調整ボタンの一操作あたりの変化量（以下、「単位調整量」とも呼ぶ。）を大きくするのが効率的である。一方、大まかな位置合わせが済んだ後は、微細に位置を調整する必要があるので、単位調整量を小さくする必要が生じる。この場合において、いちいち調整ボタンの動作モードを切り換えて、単位調整量を変更するのは、ユーザにとって手間の掛かる面倒な作業であり、調整時間もその分だけ余計に掛かってしまう。

本発明に係る画像表示装置は、画像表示の調整機能を備えた画像表示装置であって、所定の調整パラメータにおける表示状態を、ユーザ操作に従って調整する調整手段と、前記調整パラメータにおける目標とする表示状態とのずれ量を、参照情報に基づいて検出する検出手段と、前記ユーザ操作１回あたりの前記調整パラメータにおける表示状態の変化量を、前記検出手段で検出されたずれ量に応じて決定する決定手段と、を備え、前記調整手段は、前記決定手段で決定された変化量の分だけ、前記調整パラメータにおける表示状態を変更することにより前記調整を行うことを特徴とする。

本発明によれば、画像表示装置の調整を効率的に行うことができるようになる。

（ａ）はスタック投影手法によるシステム構成の一例、（ｂ）はマルチプロジェクション手法によるシステム構成の一例（ａ）はプロジェクタの内部構成を示すブロック図、（ｂ）はリモコンの外観図（ａ）は、テストパターンの一例を示す図、（ｂ）はテストパターン間のずれ量が大きい場合を示す図、（ｃ）はテストパターン間のずれ量が小さい場合を示す図レンズシフト機能を実現するソフトウェアの内部構成を示すブロック図位置ずれ量検出処理の流れを示すフローチャート単位調整量決定処理の流れを示すフローチャートマルチプロジェクション手法での表示位置調整の様子を説明する図色補正機能を実現するソフトウェアの内部構成を示すブロック図色調整に用いるテストチャートの一例を示す図色ずれ量検出処理の流れを示すフローチャート単位調整量決定処理の流れを示すフローチャート

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

実施形態１

本実施形態では、複数のプロジェクタを使用したスタック投影手法の画像表示システムにおいて、投影画像の表示位置調整時における調整ボタン等の一操作あたりの変化量（単位調整量）を、現在の位置ずれ量に応じて自動で設定変更する態様を説明する。

＜スタック投影手法＞
まず、本実施形態の前提であるスタック投影手法について説明する。複数のプロジェクタを用いた画像表示システムには、スタック投影手法やマルチプロジェクション手法などがある。本実施形態に係るスタック投影手法とは、同種のプロジェクタを複数台用いて、各プロジェクタの投影画像をスクリーン上に重畳表示することにより、通常よりも高いコントラストと色再現性を実現する手法である。図１（ａ）は、本実施形態に係る、スタック投影手法によるシステム構成の一例を示す図であり、スクリーン１０に対して２台のプロジェクタ１１及び１２によってスタック投影を行なっている。図１（ａ）において、プロジェクタ１１からの投影画像１３とプロジェクタ１２からの投影画像１４とが縦横の各方向に少しずれている。このような投影画像１３及び１４間の位置ずれがなくなるように、レンズシフト機能によって調整する。

図２（ａ）は、画像表示に関する各種調整機能を備えたプロジェクタ１１及び１２の内部構成を示すブロック図である。プロジェクタ１１と１２は同一の構造を有している。図２（ａ）に示すように、プロジェクタ１１及び１２は、投影光学系１０１、表示パネル１０２、光源１０３、光源制御部１０４、表示駆動部１０５、光学系制御部１０６、及び入力画像Ｉ／Ｆ１０７を備える。また、プロジェクタ１１及び１２は、メイン制御部１０８、画像処理部１０９、リモコンＩ／Ｆ１１０、カメラ１１１、操作部１１２、及び通信部１１３を備える。本実施形態のプロジェクタ１１及び１２は、入力画像に応じて表示パネル１０２の光の透過率を制御して、表示パネル１０２を透過した光源１０３からの光をスクリーン１０に投影する。

投影光学系１０１は、レンズやレンズ駆動用のアクチュエータなどで構成される。投影光学系１０１は、スクリーン１０に投影を行う際、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整等を行う。表示パネル１０２は、ＬＣＤパネル等で構成され、光源１０３から出射されて、ミラー（不図示）で分離された各色の光（赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ））に基づき、各色専用の画像を表示する。

光源制御部１０４は、メイン制御部１０８の指示に基づいて、光源１０３の光量の調整、出射のオン／オフ制御等を行う。表示制御部１０５は、入力画像に基づきＲＧＢ各色を再現するための透過率を調整するなどして、投影する画像を生成して表示パネル１０２に表示させる。光学系制御部１０６は、メイン制御部１０８の指示に基づいて、レンズシフト量だけでなく、ズーム率やフォーカス等の様々な調整を投影光学系１０１に対して行う。なお、メイン制御部１０８は、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成され、ＲＯＭに格納された所定のプログラムをＲＡＭに展開しこれをＣＰＵが実行することで、各部を統括的に制御する。また、ＲＯＭには、各種の制御プログラムの他、常に保持しておくべきテーブルデータ、テストパターン等の画像データの保存等にも使用される。また、ＲＡＭは、入力画像データや、画像処理部１０９にて画像処理を行なう際の画像データの一時保存等にも使用される。

入力画像Ｉ／Ｆ１０７は、入力画像データを受け取るインタフェースであり、映像信号のほか音声信号なども受信する。入力画像Ｉ／Ｆ１０７は、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子、ＤｉｓｐｌａｙＰｏｒｔ端子等を含む。また、入力画像Ｉ／Ｆ１０７は、アナログ信号の画像データを受信した場合には、デジタル信号の画像データに変換する。

画像処理部１０９は、例えば画像処理用のマイクロプロセッサから構成され、入力画像の解像度変換処理、フレームレート、画像の形状変形、エッジブレンド処理、メニュー等のＯＳＤオーバーラップ処理といった入力画像に対する各種画像処理を行う。また、画像処理部１０９は、画像表示の各種調整に関するパラメータ（調整パラメータ）についての調整処理も行う。この調整パラメータには、例えば、画像の表示位置や幾何歪み、色調や輝度など、画像表示に関する様々な調整項目が含まれる。なお、画像処理部１０９は、専用のマイクロプロセッサである必要はない。例えば、メイン制御部１０８内のＲＯＭに記憶されたプログラムによって、メイン制御部１０８において画像処理部１０９の機能を実現してもよい。

リモコンＩ／Ｆ１１０は、不図示の受光部を介してリモコン１２０からの例えば赤外光の発光信号を受信し、これを解析してユーザ操作の内容を抽出する。リモコン１２０には、図２（ｂ）に示すように、メニューボタン１２１と決定（ＯＫ）ボタン１２２の他、４種類の調整ボタン（上ボタン１２３、下ボタン１２４、左ボタン１２５、右ボタン１２６）が存在する。半球状の突起１２７は発光部である。ユーザがこれらボタンを操作すると、その都度、操作内容に応じた操作コマンドを表わす発光信号が出力され、それがリモコンＩ／Ｆ１１０で受光されて操作コマンドが伝わる。操作コマンドの解析結果はメイン制御部１０８に送られる。

カメラ１１１は、スクリーン１０上に投影された画像を撮影するための撮像装置であり、メイン制御部１０８の指示に基づき撮影を行う。撮影によって得られた画像データは、メイン制御部１０８に送られる。なお、本実施形態では、カメラ１１１はプロジェクタに内蔵されているが、必ずしも内蔵型のカメラでなくてもよい。

操作部１１２は、例えばタッチパネルなどで構成され、機能選択等の各種ユーザ操作に用いられる。通信部１１３は、有線ＬＡＮ、無線ＬＡＮなどの通信ネットワークを介して、相手方プロジェクタを含む外部機器と通信を行う。

＜レンズシフト機能＞
スタック投影手法における投影画像の位置ずれの調整には、上述のレンズシフト機能が使用される。レンズシフト機能は、プロジェクタの光学系を制御することで、光学的に投影画像の表示位置をずらす機能である。この機能により、例えばスクリーンの真正面にプロジェクタを設置できなくても、投影画像を歪ませることなく表示位置を移動することができる。

図１（ａ）に示すスタック投影手法のシステム構成において、本実施形態に係る、レンズシフト機能によって投影画像の位置ずれ調整を行う際の大まかな手順は以下のとおりである。
１）プロジェクタ１１及び１２を所定の場所に設置。
２）双方のプロジェクタからテストパターンをスクリーン１０に投影。
３）レンズシフト機能を用いてテストパターンが大まかに重なり合うように租調整。
４）レンズシフト機能を用いてテストパターンがずれなく重なり合うように微調整。

図３（ａ）は、テストパターンの一例を示す図であり、十字状の図形がテストパターンとして示されている。図３（ｂ）はテストパターン間のずれ量が大きい場合、同（ｃ）はテストパターン間のずれ量が小さい場合をそれぞれ示している。図３（ｂ）及び（ｃ）において、投影画像３０１はプロジェクタ１１から投影されており、投影画像３０２はプロジェクタ１２から投影されているものとする。いま、投影画像３０１のテストパターン３１１は点線で示され、投影画像３０２のテストパターンは実線で示されているが、プロジェクタ毎に線の色を変えて表示してもよい。例えば、プロジェクタ１１のテストパターンは青色で表し、プロジェクタ１２のテストパターンは赤色で表すといった具合である。

このように本実施形態では、投影画像の表示位置を調整パラメータとし、自身のプロジェクタから投影されたテストパターンと自身以外のプロジェクタから投影されたテストパターンとがぴったり重なる状態を目標とする表示状態として、表示位置の調整を行う。そして、この調整の際、自身以外のプロジェクタが投影するテストパターンの撮影画像を参照情報として使用し、自身のプロジェクタが投影するテストパターンとのずれ量に応じて、調整ボタンの一操作あたりの変化量（単位調整量）を決定する。具体的には、図３（ｂ）のように相互のずれ量が大きい場合には変化量を大きくし、図３（ｃ）のように相互のずれ量が小さい場合には、変化量を小さくする制御を行なう。これにより、スタック投影手法の際における、複数の投影画像間の位置ずれ調整を速やかに行えるようにすることを目的としている。なお、以降の説明では、自身のプロジェクタを「自プロジェクタ」と呼び、自身以外のプロジェクタを「相手方プロジェクタ」と呼ぶこととする。

＜レンズシフト機能を実現するソフトウェア構成＞
図４は、レンズシフト機能を担うソフトウェア（制御プログラム）の内部構成を示すブロック図である。プロジェクタ１１及び１２には、図４の構成を持つ制御プログラムが共にインストールされている。レンズシフト用制御プログラムは、位置ずれ量検出モジュール４０１、単位調整量決定モジュール４０２及びレンズ制御モジュール４０３の３つのモジュールで構成される。以下、各モジュールについて説明する。

位置ずれ量検出モジュール４０１は、自プロジェクタのカメラ１１１及び相手方プロジェクタのカメラ１１１によって各々撮影されたテストパターンの撮影画像を取得し、テストパターン同士の位置座標の差分を位置ずれ量として検出する。検出された位置ずれ量の情報は単位調整量決定モジュール４０２に送られる。

単位調整量決定モジュール４０２は、位置ずれ量検出モジュール４０１で検出された位置ずれ量に応じて、リモコン１２０の調整ボタン一押しあたりの表示位置の変化量を決定し、設定する。決定された変化量の情報は、レンズ制御モジュール４０３に送られる。

レンズ制御モジュール４０３は、単位調整量決定モジュール４０２で決定された変化量の情報に従って、投影光学系１０１内のレンズを、所定量だけ所定方向にシフトさせる。具体的には、設定された変化量の分だけ投影画像の位置を、ユーザが指示する方向にシフトさせる指示（レンズシフトコマンド）を光学系制御部１０６へ送る。光学系制御部１０６は、レンズシフトコマンドで指定された変化量に応じて投影光学系１０１内のレンズ位置をシフトさせて、投影画像の位置を調整する。

＜レンズシフト機能の動作制御＞
続いて、レンズシフト機能による表示位置調整の動作制御について、図５及び図６の両フローチャートを参照しつつ説明する。図５は、位置ずれ量検出モジュール４０１における、投影画像間の位置ずれ量を検出する処理の流れを示すフローチャートであり、図６は、単位調整量決定モジュール４０２における、表示位置調整時の単位調整量を決定する処理の流れを示すフローチャートである。図６の単位調整量決定処理は、図５の位置ずれ量検出処理の実行中において、いわゆる割り込み処理によって実行される。各処理の詳細な説明に入る前に、レンズシフト機能による表示位置調整の全体的なシーケンスを確認しておく。なお、以降の説明では、図１（ａ）におけるプロジェクタ１１を自プロジェクタ、プロジェクタ１２を相手方プロジェクタとして説明を行うものとする。

操作部１１２等を介して、表示位置調整の開始を指示するユーザ操作（レンズシフトモードへの移行指示）が入力されるとメイン制御部１０８は、前述のレンズシフト用制御プログラムを起動し、表示制御部１０５に対しテストパターンの投影を指示する。当該指示を受けて、表示制御部１０５は、テストパターン画像を生成して、スクリーン１０上に投影する。続いて、メイン制御部１０８は、カメラ１１１に対し、投影されたテストパターンの撮影を指示する。当該撮影指示を受けたカメラ１１１は撮影を行い、撮影画像のデータをメイン制御部１０８に送る。メイン制御部１０８は、撮影画像を解析し、自プロジェクタの投影画像と相手方プロジェクタの投影画像の位置ずれ量を算出する。一方で、ユーザは、リモコン１２０の調整ボタン１２３〜１２６を用いて、投影画像の表示位置の調整を行なう。例えば、ユーザが上ボタン１２３を１回押下すると、当該ボタンに対応する操作コマンドを変換した赤外光（発行信号）がリモコン１２０の発光部１２７から放射（出力）される。放射された赤外光はリモコンＩ／Ｆ１１０において解析され、操作コマンドが抽出される。抽出された操作コマンドはメイン制御部１０８に送られ、位置ずれ量に応じた単位調整量（１回のボタン操作に対応する変化量）だけ投影画像がシフトするよう、光学系制御部１０６に対し指示する。当該指示を受けて光学系制御部１０６は、レンズ位置を所定量だけシフトさせる（上ボタン１２３の場合は上方向へシフト）。このように、ユーザがリモコン１２０上の調整ボタンを操作すると、その都度、当該操作時点の位置ずれ量に応じた変化量が決定され、投影画像の表示位置が調整される。

＜位置ずれ量検出処理＞
続いて、位置ずれ量検出モジュール４０１における、投影画像間の位置ずれ量の検出について説明する。本実施形態では、自プロジェクタから投影されたテストパターンの撮影画像と、相手方プロジェクタから投影されたテストパターンの撮影画像のそれぞれから直線を抽出し、当該抽出した直線の座標間の差分を位置ずれ量として検出する。以下、図５のフローチャートに沿って詳しく説明する。

ステップ５０１では、自プロジェクタ及び相手方プロジェクタからテストパターンがそれぞれスクリーン１０上に投影される。このとき、相手方プロジェクタに対しては、通信部１１３を介して、テストパターンの投影指示がメイン制御部１０８から送られる。続くステップ５０２では、投影されたテストパターンが、自プロジェクタ及び相手方プロジェクタにおけるカメラ１１１によって撮影され、得られた撮影画像のデータはメイン制御部１０８へ送られる。続くステップ５０３では、双方の撮影画像からテストパターンを構成する直線が抽出される。この抽出には、例えば、公知技術であるハフ変換やエッジ追跡といった技術を適用すればよい。図３（ａ）のテストパターンの場合は、自プロジェクタについては交差する２本の直線（点線）、相手方プロジェクタについては交差する２本の直線（実線）が、それぞれ抽出されることになる。

ステップ５０４では、自プロジェクタ及び相手方プロジェクタの撮影画像から抽出されたそれぞれの直線の座標に基づき、投影画像の位置ずれ量が算出される。図３（ａ）のテストパターンの場合は、縦の直線同士の位置座標の差分（x_diff）、及び横の直線同士の位置座標の差分（y_diff）が求められることになる。こうして求めた差分（x_diff,y_diff）は、ステップ５０５において、現時点の位置ずれ量としてメイン制御部１０８内のＲＡＭ等に保持される。

ステップ５０６では、表示位置の調整作業が終了したかどうかが判定される。操作部１１２やリモコン１２０を介して、レンズシフトモードの終了を示すユーザ操作が入力されると、表示位置調整作業の終了と判定され、ステップ５０７に進む。一方、レンズシフトモードの終了を示すユーザ操作が入力されない間は、ステップ５０２に戻って処理が続行される。ステップ５０７では、レンズシフトモードを終了して通常表示モードに切り替えるモード移行制御がなされ、本処理を抜ける。以上が、位置ずれ量検出処理の内容である。

＜単位調整量決定処理＞
続いて、単位調整量決定モジュール４０２における、ユーザ操作１回あたりの変化量（ここではリモコン１２０上の調整ボタン一押しあたりの変化量）の決定について説明する。本実施形態では、前述の位置ずれ量検出処理で検出・保持された位置ずれ量を閾値と比較し、比較結果に基づいて単位調整量が決定される。以下、図６のフローチャートに沿って詳しく説明する。

ステップ６０１では、メイン制御部１０８内のＲＡＭ等に保持されている位置ずれ量（x_diff,y_diff）が取得される。続くステップ６０２では、取得した位置ずれ量（x_diff,y_diff）と、所定の閾値（x_th,y_th）とが比較される。ここで、所定の閾値（x_th,y_th）は、スクリーン１０の解像度の例えば10％程度の値を設定し、予め保持しておく。例えば、スクリーン１０のアスペクト比が16：9で、3840×2160画素の解像度であったとする。このとき、閾値を解像度の10％とすると、横方向（x成分）は384画素、縦方向（y成分）は216画素がそれぞれ閾値（x_th,y_th）となる。閾値処理の結果、ステップ６０１で取得した位置ずれ量（x_diff,y_diff）が、閾値（x_th,y_th）よりも大きければステップ６０３に進み、閾値（x_th,y_th）以下であればステップ６０４に進む。なお、この閾値処理は、x成分とy成分とを別個に行う。

ステップ６０３では、調整ボタン一押しあたりの変化量が「大」に設定される。また、ステップ６０４では、調整ボタン一押しあたりの変化量が「小」に設定される。ここで、「大」と「小」の関係は、例えば「大」は「小」の４倍といった具合に予め決定しておく。仮に「小」のときの変化量を１画素とした場合には、「大」のときの変化量は４画素となる。「小」のときの変化量をどの程度とし、「大」を「小」の何倍に設定するかは、ユーザが任意に決めればよい。

ステップ６０５では、変化量の設定が完了したかどうかが判定される。取得した位置ずれ量（x_diff,y_diff）のx成分とy成分の双方について変化量が設定済みであれば、ステップ６０６に進む。一方、いずれかの成分についての変化量が未設定であれば、ステップ６０２に戻って未処理の成分について同様の処理を繰り返す。これにより、投影画像間の位置ずれ量が大きくて大まかに合わせたい場合は一押しあたりの変化量として大きな値が設定され、位置ずれ量が小さくて精密に合わせたい場合は一押しあたりの変化量として小さな値が設定されることになる。

ステップ６０６では、ステップ６０３又はステップ６０４で設定された変化量に応じた分だけ、x方向及び／又はy方向に投影光学系１０１内のレンズをシフトさせるためのレンズシフトコマンドが光学系制御部１０６に送られる。そして、光学系制御部１０６において、レンズシフトコマンドに従ったレンズ位置のシフト制御がなされる。この際、予め用意しておいたテストパターンのバリエーションの中から、設定された変化量に応じて投影するテストパターンを切り替えてもよい。例えば、変化量が「大」から「小」に設定変更された場合には、視認性の良い太線のテストパターンから、微細に合わせやすい細線のテストパターンに切り替える、といった具合である。こうすることで、それぞれの局面でより表示位置調整がし易くなる。以上が、本実施形態に係る、単位調整量決定処理の内容である。

＜変形例＞
本実施形態は上述した例に限定されることなく、幅広く応用することができる。例えば、図６のフローでは、１個の閾値を用いて「大」又は「小」の２段階で変化量を設定しているが、これに限定されない。例えば閾値を２個用いて、「大」、「中」、「小」の３段階の変化量を設けるなど、より細かく変化量を設定するようにしてもよい。

また、設定された変化量の大きさを示す情報（例えば、設定された変化量に応じた数値或いは太さの異なる矢印など）を、例えばテストパターン上に重畳表示してもよい。このように、設定中の変化量のレベルをユーザが認識可能なように提示することで、調整ボタン等を１回操作する度にどれだけ表示位置等が変化するのかをユーザは容易に把握でき、調整をよりし易くなる。なお、変化量レベルの重畳表示を行う場合には、ずれ量検出処理を行なう前に当該レベル表示の領域をマスクし、撮影画像からの直線抽出（図５のフローのステップ５０３）に影響を与えないようにする。

また、位置ずれ量のx成分とy成分のそれぞれについて変化量を別個に設定するのに代えて、同じレベルの変化量をx成分とy成分に共通で設定するようにしてもよい。例えば、x成分についてはずれ量が閾値より大きいが、y成分についてはずれ量が閾値より小さいケースでは、設定する変化量をx成分とy成分に共通で「小」に設定する、といった具合である。或いは、いずれか一方のずれ量に合わせるのではなく、x成分のずれ量とy成分のずれ量との平均値を求め、当該平均値と閾値とを比較して、x成分とy成分に共通の変化量を設定してもよい。

また、本実施形態では、スタック投影手法を前提に説明を行ったがマルチプロジェクション手法にも同様に適用可能である。マルチプロジェクション手法とは、一つの画像を複数のプロジェクタに分解して割り振り、各プロジェクタが画像全体の一部を投影することで、例えば超ワイドな映像表示等を可能にする技術である。図１（ｂ）は、マルチプロジェクション手法によるシステム構成の一例を示す図である。図１（ｂ）では、４台のプロジェクタ２１〜２４によってマルチプロジェクションを行ない、各プロジェクタが別々の画像をスクリーン２０に対して投影している。マルチプロジェクション手法に本実施形態を適用する場合、ステップ５０２での撮影領域は、自プロジェクタの投影画像だけでなく、隣接する他のプロジェクタの投影画像も含めた領域となる。図７は、マルチプロジェクション手法での表示位置調整の様子を説明する図である。図７（ａ）は、テストパターンの一例を示す図であり、長方形の枠がテストパターンとして示されている。このようなテストパターンが、各プロジェクタに割り当てられた所定の表示位置に向かって投影される。図７（ｂ）は表示位置調整前の状態を示し、同（ｃ）は表示位置調整後の状態を示している。各プロジェクタからの投影画像を隙間なく繋ぐため、投影画像同士が一部重なり合うように調整が行われる。この際、重なり合った領域７０１に対しては、繋ぎ目を自然に見せるため、公知のエッジブレンド処理が行われる。レンズシフト機能を用いて、図７（ｂ）に示す状態からテストパターンの長方形の枠がずれなく重なり合うように調整して、図７（ｃ）のような状態にする。

また、本実施形態では、レンズシフト機能による表示位置調整を例に説明したが、例えば、キーストーン補正や曲面補正といった幾何学歪みの補正にも適用可能である。この際、使用するテストパターンをその目的に応じて変更、例えばキーストーン補正であれば矩形の枠、曲面補正であれば格子模様などに変える等、適用する幾何学歪み補正に合わせて必要な改変がなされる。要は、対象となる調整パラメータに関し、相手方プロジェクタにおける表示状態を参照情報として自プロジェクタにおける表示状態とのずれ量を求め、得られたずれ量に応じて単位調整量を決定するものであればよい。

また、画像表示装置はプロジェクタに限定される必要はなく、モニターにおける幾何調整や画質調整にも同様に適用可能である。

本実施形態によれば、画像の表示位置等の調整時において、調整ボタン等の１回操作あたりの変化量が現在のずれ量に応じて最適に設定される。これにより、表示位置等の調整を行う際のユーザビリティが向上する。

実施形態２

次に、図１（ｂ）に示したマルチプロジェクション手法の画像表示システムにおいて、投影画像間の色調を調整する際の調整ボタン等の一操作あたりの変化量を、現在のずれ量に応じて自動で設定する態様を説明する。なお、本実施形態の画像表示システムのハードウェア構成（図２（ａ）及び（ｂ）を参照）は、実施形態１と異なるところはないので説明を省略し、以下では差異点である、色調調整を行うための色補正機能を中心に説明を行うものとする。

＜色補正機能＞
色補正機能は、プロジェクタから投影される画像の色調のずれを調整する機能である。ユーザは、色補正機能を選択した上で、リモコン１２０のボタン操作等に応答して変化する色を見ながら、隣り合う投影画像間で色調が一致するように色毎に調整を行う。色補正の結果は、画像処理部１０９が管理する、各色について入力色値に対する出力色値を規定した色変換ＬＵＴ（ルックアップテーブル）に反映される。これにより、隣接する他の画像との間で色ずれのない画像の投影が可能になる。

＜色補正機能を実現するソフトウェア構成＞
図８は、色補正機能を担うソフトウェア（制御プログラム）の内部構成を示すブロック図である。プロジェクタ１１及び１２には、図８の構成を持つ制御プログラムが共にインストールされている。色補正用制御プログラムは、色ずれ量検出モジュール８０１、単位調整量決定モジュール８０２及び色補正モジュール８０３の３つのモジュールで構成される。以下、各モジュールについて説明する。

色ずれ量検出モジュール８０１は、自プロジェクタのカメラ１１１及び相手方プロジェクタのカメラ１１１から、それぞれテストチャートの撮影画像を取得し、自身の投影画像と相手方の投影画像との間での色ずれ量を検出する。図９は、色補正に用いるテストチャートの一例を示す図であり、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色パッチが所定の配置で並んでいる。色パッチ毎の測色結果から得られた色ずれ量の情報は単位調整量決定モジュール８０２に送られる。

単位調整量決定モジュール８０２は、色ずれ量検出モジュール８０１で検出された色ずれ量の情報に応じて、リモコン１２０の調整ボタン一押しあたりの色の変化量を決定する。決定された変化量の情報は、色補正モジュール８０３に送られる。

色補正モジュール８０３は、単位調整量決定モジュール８０２で決定された変化量に従い、テストチャート画像内のパッチの色値を変化させて、プロジェクタ間で生じる色調のずれがなくなるように補正する。具体的には、リモコン１２０の調整ボタンの押下に応答して、表示パネル１０２に渡されるテストチャート画像における調整対象パッチの色値を所定量だけ変化させる指示（色補正コマンド）が画像処理部１０９へ送られる。そして、画像処理部１０９において、色補正コマンドで指定された変化量の分だけ調整対象パッチの色値を変化させたテストチャート画像が生成される。こうしてボタン操作に応答して色パッチの色値を変化させたテストチャートが表示制御部１０５によって投影される。

＜色補正機能の動作制御＞
続いて、色補正機能によって複数の投影画像間の色調を合わせる調整を行う際の動作制御について、図１０及び図１１の両フローチャートを参照しつつ説明する。図１０は、色ずれ量検出モジュール８０１における、隣り合う投影画像間の色ずれ量を検出する処理の流れを示すフローチャートである。また、図１１は、単位調整量決定モジュール８０２における、色調調整時の単位調整量を決定する処理の流れを示すフローチャートである。図１１の単位調整量決定処理は、図１０の色ずれ量検出処理の実行中において、いわゆる割り込み処理によって実行される。各処理の詳細な説明に入る前に、色補正機能による色調調整の全体的なシーケンスを確認しておく。なお、実施例１と同様、図１におけるプロジェクタ１１を自プロジェクタ、プロジェクタ１２を相手方プロジェクタとして説明を行うものとする。

操作部１１２等を介して、色調調整の開始を指示するユーザ操作（色補正モードへの移行指示）を受けるとメイン制御部１０８は、前述の色補正用制御プログラムを起動し、表示制御部１０５に対しテストチャートの投影を指示する。当該指示を受けて、表示制御部１０５は、テストチャート画像をスクリーン１０上に投影する。続いて、メイン制御部１０８は、カメラ１１１に対し、投影されたテストチャートの撮影を指示する。当該撮影指示を受けたカメラ１１１は撮影を行い、撮影画像のデータをメイン制御部１０８に送る。メイン制御部１０８は、撮影画像から各パッチの色を測定し、自プロジェクタの投影画像と相手方プロジェクタの投影画像との間の色ずれ量を算出する。一方で、ユーザは、リモコン１２０の調整ボタン１２３〜１２６を用いて、投影画像間の色調を合わせる調整を行なう。本実施形態の場合、上ボタン１２３を押下すると対象パッチの色値が上がり、下ボタン１２４を押下すると対象パッチの色値が下がる。また、左ボタン１２５及び右ボタン１２６によって、複数の色パッチの中から対象パッチを選択する。これら各ボタンの中から、ユーザが任意のボタンを押下すると、当該ボタンに対応する操作コマンドを変換した赤外光がリモコン１２０の発光部１２７から放射される。放射された赤外光はリモコンＩ／Ｆ１１０において解析され、操作コマンドが抽出される。抽出された操作コマンドはメイン制御部１０８に送られ、操作コマンドに応じた処理が実行される。例えば操作コマンドが上ボタン１２３の操作に対応したコマンドであれば、検出された色ずれ量に応じた単位調整量だけ対象パッチの色値を変えるよう、画像処理部１０９に対して指示される。画像処理部１０９では、対象パッチの色値を所定量だけ変化させたテストチャート画像を生成し、表示制御部１０５によってスクリーン２０上に投影される。このように、ユーザがリモコン１２０上の調整ボタンを操作すると、その都度、当該操作時点の色ずれ量に応じた変化量が決定され、隣接する投影画像間の色調が調整される。

なお、リモコン１２０の調整ボタンを使った手動による色補正の他に、自動で色補正を行なうこともできる。ユーザから自動色補正の指示が操作部１１２等を介してあった場合、メイン制御部１０８は、自身と自身に隣接するプロジェクタからテストチャートを投影させ、その全体をカメラ１１１で撮影する。そして、得られた撮影画像から色ずれ量を検出し、各パッチの色値が一致するような調整値を求めて、色変換テーブルを補正する。こうして、投影画像間の色調を自動で合わせる補正がなされる。自動色補正を行った際は、補正履歴がメイン制御部１０８内のＲＡＭ等に格納される。ユーザは、このような自動色補正を行ない、その結果を踏まえてさらに手動で色調の微調整を行なってもよい。

＜色ずれ量検出処理＞
続いて、色ずれ量検出モジュール８０１における、投影画像間の色ずれ量の検出について説明する。本実施形態では、自プロジェクタから投影されたテストチャートの撮影画像と相手方プロジェクタから投影されたテストチャートの撮影画像のそれぞれから、注目するパッチ毎に色度を測定し、測定結果（色値）の差分を色ずれ量として検出する。以下、図１０のフローチャートに沿って詳しく説明する。

ステップ１００１では、自プロジェクタ及び相手方プロジェクタからテストチャートがそれぞれスクリーン１０上に投影される。このとき、相手方プロジェクタに対しては、通信部１１３を介して、テストチャートの投影指示がメイン制御部１０８から送られる。続くステップ１００２では、投影されたテストチャート内に存在するパッチ群の中から、色補正の対象とするパッチ（注目パッチ）が決定される。

続くステップ１００３では、投影されたテストチャートが、自プロジェクタ及び相手方プロジェクタにおけるカメラ１１１によって撮影される。各カメラ１１１で得られた撮影画像のデータは、直接或いは通信部１１３を介して、メイン制御部１０８へ送られる。続くステップ１００４では、双方の撮影画像から注目パッチの色度が測定される。具体的には、まず、撮影画像から注目パッチの存在する領域を切り出し、当該領域内の色値を公知の方法によって求める。そして、求めた色値の平均値をさらに求め、得られた平均値を当該注目パッチの代表色値とする。

ステップ１００５では、自プロジェクタ及び相手方プロジェクタの撮影画像からそれぞれ得られた注目パッチの代表色値に基づき、投影画像の色ずれ量が算出される。具体的には、自プロジェクタから投影された画像における注目パッチの代表色値と、相手方プロジェクタから投影された画像における注目パッチの代表色値との差分（c_diff）を求める。求めた差分（c_diff）は、ステップ１００６において、現時点の色ずれ量としてメイン制御部１０８内のＲＡＭ等に保持される。なお、算出結果が不正な値であった場合（例えば遮蔽物があって注目パッチから有意な色値を得られなかった場合など）は、測色失敗として色ずれ量に代えてエラーコードがＲＡＭ等に保持される。

ステップ１００７では、注目パッチについての色調の調整作業が終了したかどうかが判定される。操作部１１２やリモコン１２０を介して、例えば次の色パッチを選択するユーザ操作等が入力されると、注目パッチについての色調調整作業の終了と判定され、ステップ１００８に進む。一方、注目パッチについての作業終了を示すユーザ操作が入力されない間は、ステップ１００３に戻って処理が続行される。

ステップ１００８では、テストチャート内の全ての色パッチについて色調調整作業が終了したかどうかが判定される。操作部１１２やリモコン１２０を介して、色補正モードの終了を示すユーザ操作が入力されると、色調調整作業の終了と判定され、ステップ１００９に進む。一方、色補正モードの終了を示すユーザ操作が入力されない場合は、未処理のパッチがあることを意味する。そのため、ステップ１００２に戻り、次の注目パッチについての処理が続行される。

ステップ１００９では、色補正モードを終了して通常表示モードに切り替えるモード移行制御がなされ、本処理を抜ける。以上が、色ずれ量検出処理の内容である。

＜単位調整量決定処理＞
続いて、単位調整量決定モジュール８０２における、ユーザ操作１回あたりの変化量（ここではリモコン１２０上の調整ボタン一押しあたりの変化量）の決定について説明する。本実施形態では、前述の色ずれ量検出処理で検出された色ずれ量を閾値と比較し、比較結果に基づいて単位調整量が決定される。以下、図１１のフローチャートに沿って詳しく説明する。

ステップ１１０１では、メイン制御部１０８内のＲＡＭ等に保持されている色ずれ量検出処理の結果、すなわち、色ずれ量（c_diff）若しくはエラーコードが取得される。続くステップ１１０２では、ステップ１１０１で色ずれ量（c_diff）が取得できたかどうかが判定される。色ずれ量（c_diff）が取得できた場合はステップ１１０３に進む。一方、色ずれ量（c_diff）ではなくエラーコードが取得されていた場合は、ステップ１１０５に進む。

ステップ１１０３では、取得した色ずれ量（c_diff）と、所定の閾値（c_th）とが比較される。ここで、所定の閾値（c_th）は、各パッチの色値が８ビット（0〜255）で表わされる場合であれば、例えばその約5％に相当する“13”といった値を設定し、予め保持しておく。閾値処理の結果、ステップ１１０１で取得した色ずれ量（c_diff）が閾値（c_th）よりも大きければステップ１１０４に進み、閾値（c_th）以下であればステップ１１０５に進む。

ステップ１１０４では、調整ボタン一押しあたりの変化量が「大」に設定される。また、ステップ１１０５では、調整ボタン一押しあたりの変化量が「小」に設定される。ここでの「大」と「小」の関係は、実施例１に準じるので説明を省くこととする。これにより、投影画像間の色ずれ量が大きく大まかに色調を調整したい場合は一押しあたりの変化量として大きな値が設定され、色ずれ量の検出に失敗した場合や色ずれ量が小さく精密に色調整したい場合は、一押しあたりの変化量として小さな値が設定される。

ステップ１１０６では、ステップ１１０４又はステップ１１０５で設定された、調整ボタン一押しあたりの変化量に応じた分だけ、注目パッチの色値を変化させる色補正コマンドが画像処理部１０９に送られる。そして、画像処理部１０９において、色補正コマンドに従って注目パッチの色値を変更したテストチャート画像が生成され、表示制御部１０５によって表示パネル１０２に出力される。以上が、本実施形態に係る単位調整量決定処理の内容である。

＜変形例＞
本実施形態は上述した例に限定されることなく、幅広く応用することができる。例えば、前述の自動色補正を行った場合の履歴情報を保持しておき、自動色補正が所定の期間内に実行されている場合は、デフォルトの変化量として「小」に設定するステップを、上述の図１１のフローに追加してもよい。

また、本実施形態ではテストチャートを投影してその撮影画像から各パッチの色度を測定することで、投影画像間の色ずれ量を検出したが、相手方プロジェクタが備える色変換ＬＵＴを通信部１１３経由で取得して、直接に色変換特性を比較するようにしてもよい。

さらには、色ずれ量を検出する際に、テストチャートの画像ファイルに含まれる色情報そのものを参照するようにしてもよい。つまり、テストチャートを投影して撮影した画像から得た注目パッチの色値と、テストチャート自体が持つ当該注目パッチの色値とを直接比較して色ずれ量を求めてもよい。この際、参照するテストチャートの色情報は、テストチャートとは別に格納しておいてもよい。

また、本実施形態では、色補正を例に説明したが、輝度、白レベル、黒レベル、シャープネスといった様々な画質補正にも適用可能である。

実施形態３

実施形態１及び２では、画像表示システムを構成する複数のプロジェクタのそれぞれにおいて、相手方プロジェクタの情報を参照しつつ表示位置調整や色補正を行う場合について説明を行った。しかしながら、実施形態１及び２で述べた内容は、図１で示したようなプロジェクタとスクリーンのみで構成される画像表示システムだけに限定されるものではない。すなわち、複数のプロジェクタとＬＡＮ等で繋がった情報処理装置（各プロジェクトを統括的に制御・管理するためのＰＣ等）を別途用意し、当該ＰＣによって、投影画像間の表示位置調整や色調調整を行うような画像表示システムにも適用可能である。

例えば実施形態１の場合であれば、テストパターン画像の投影指示をＰＣから各プロジェクタに対して行い、各プロジェクタから投影されたテストパターンの撮影画像を取得する。そして、ＰＣにおいて、取得した撮影画像に基づきプロジェクタ間の位置ずれ量を算出する。そして、算出した位置ずれ量に応じた適切な変化量を決定して、決定した変化量に応じたレンズシフトコマンドをＰＣから各プロジェクタに対して指示するといった具合である。このようにＰＣを用いた集中制御方式によって、複数のプロジェクタについての様々な調整パラメータについての調整を行うようにしてもよい。

実施形態４

実施形態１〜３は、複数のプロジェクタを用いた画像表示システムを想定しているが、プロジェクタ単体やモニター単体の場合における表示位置調整や色調調整にも、実施形態１及び２で説明した内容は応用可能である。

例えば、実施形態１に関しては、相手方プロジェクタのテストパターンの撮影画像を参照するのに代えて、保存しておいた前回のデータ（過去に位置調整を行った際の、自プロジェクタのテストパターンの撮影画像）を参照するようにする。そして、今回のテストパターンの撮影画像と前回のテストパターンの撮影画像とに基づいて位置ずれ量を求め、求めた位置ずれ量に応じて操作ボタン一押しあたりの変化量を決定する。こうすることで、例えば日時を変えて同じ場所にプロジェクタを設置するようなケースにおいても、実施形態１と同様、表示位置調整を行う際のユーザビリティが向上することになる。

また、単位調整量をリニアに指定可能なスライドバー（不図示）等をリモコン１２０に別途設け、ユーザが任意の変化量を直接決められるようにしてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１、１２、２１〜２４プロジェクタ
４０１位置ずれ量検出モジュール
８０１色ずれ量検出モジュール
４０２、８０２単位調整量決定モジュール
４０３レンズ制御モジュール
８０３色補正モジュール

Claims

画像表示の調整機能を備えた画像表示装置であって、
所定の調整パラメータにおける表示状態を、ユーザ操作に従って調整する調整手段と、
前記調整パラメータにおける目標とする表示状態とのずれ量を、参照情報に基づいて検出する検出手段と、
前記ユーザ操作１回あたりの前記調整パラメータにおける表示状態の変化量を、前記検出手段で検出されたずれ量に応じて決定する決定手段と、
を備え、
前記調整手段は、前記決定手段で決定された変化量の分だけ、前記調整パラメータにおける表示状態を変更することにより前記調整を行う
ことを特徴とする画像表示装置。
前記決定手段は、前記ユーザ操作が入力される都度、前記検出手段で検出されたずれ量を所定の閾値と比較し、比較結果に応じて異なる変化量を決定することを特徴とする請求項１に記載の画像表示装置。
前記決定手段は、前記検出手段で検出されたずれ量が大きいほど、大きな変化量となるように決定することを特徴とする請求項２に記載の画像表示装置。
前記検出手段は、
自身の画像表示装置についての前記調整パラメータにおける過去の表示状態を前記参照情報として取得し、
取得した前記自身の画像表示装置についての前記調整パラメータにおける過去の表示状態と、自身の画像表示装置についての前記調整パラメータにおける現在の表示状態との差分を、前記ずれ量として検出する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
前記検出手段は、
少なくとも１つの他の画像表示装置についての前記調整パラメータにおける現在の表示状態を前記参照情報として取得し、
取得した前記他の画像表示装置についての前記調整パラメータにおける現在の表示状態と、自身の画像表示装置についての前記調整パラメータにおける現在の表示状態との差分を、前記ずれ量として検出する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
前記調整パラメータは、画像の表示位置であり、
前記調整手段は、前記決定手段で決定された変化量の分だけ、表示されている画像の位置を変更する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像表示装置。
前記調整パラメータは、画像の幾何学歪みであり、
前記調整手段は、前記決定手段で決定された変化量の分だけ、表示されている画像の形状を変更する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像表示装置。
前記検出手段は、表示された所定のテストパターンに基づき、画像の表示位置のずれ量を検出することを特徴とする請求項６又は７に記載の画像表示装置。
前記所定のテストパターンは、予め用意された複数のバリエーションの中から、前記決定手段で決定された変化量に基づき切り替えられることを特徴とする請求項８に記載の画像表示装置。
前記調整パラメータは、色調であり、
前記調整手段は、前記決定手段で決定された変化量の分だけ、表示されている画像の色値を変更する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
前記検出手段は、
少なくとも１つの他の画像表示装置についての現在の表示画像における注目する色の色値を前記参照情報として取得し、
取得した前記他の画像表示装置についての現在の表示画像における注目する色の色値と、自身の画像表示装置についての現在の表示画像における前記注目する色の色値との差分を、前記ずれ量として検出する
ことを特徴とする請求項１０に記載の画像表示装置。
前記検出手段は、
少なくとも１つの他の画像表示装置が有する色変換特性を示す情報を前記参照情報として取得し、
取得した前記他の画像表示装置についての色変換特性が示す注目する色の色値と、自身の画像表示装置についての色変換特性が示す注目する色の色値との差分を、前記ずれ量として検出する
ことを特徴とする請求項１０に記載の画像表示装置。
前記検出手段は、
テストチャートの画像ファイルに含まれる色情報を前記参照情報として取得し、
取得した前記色情報が示す注目する色の色値と、自身の画像表示装置についての現在の表示画像における前記注目する色の色値との差分を、前記ずれ量として検出する
ことを特徴とする請求項１０に記載の画像表示装置。
前記調整パラメータは、輝度、白レベル、黒レベル、シャープネスのいずれかであり、
前記調整手段は、前記決定手段で決定された変化量の分だけ、表示されている画像の輝度、白レベル、黒レベル、シャープネスに関する値を変更する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
前記決定手段で決定された変化量のレベルをユーザに提示する手段をさらに備えたことを特徴とする請求項１乃至１４のいずれか１項に記載の画像表示装置。
前記画像表示装置は、プロジェクタであり、
前記調整パラメータにおける表示状態は、投影画像に関する表示状態である
ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像表示装置。
画像表示の調整機能を備えた画像表示装置であって、
所定の調整パラメータにおける表示状態を、ユーザ操作に従って調整する調整手段と、
前記ユーザ操作を受け付けるユーザインタフェースであって、前記調整パラメータにおける目標とする表示状態とのずれ量に応じて決定された、前記ユーザ操作１回あたりの表示状態の変化量が自動で設定されるユーザインタフェースと、
を備えたことを特徴とする画像表示装置。
画像表示装置の調整を行う装置であって、
所定の調整パラメータにおける前記画像表示装置の表示状態を、ユーザ操作に従って調整する調整手段と、
前記調整パラメータにおける目標とする前記画像表示装置の表示状態とのずれ量を、参照情報に基づいて検出する検出手段と、
前記ユーザ操作１回あたりの前記調整パラメータにおける前記画像表示装置の表示状態の変化量を、前記検出手段で検出されたずれ量に応じて決定する決定手段と、
を備え、
前記調整手段は、前記決定手段で決定された変化量の分だけ、前記調整パラメータにおける前記画像表示装置の表示状態を変更することにより前記調整を行う
ことを特徴とする装置。
画像表示装置の調整方法であって、
検出手段によって、所定の調整パラメータにおける目標とする表示状態とのずれ量を、参照情報に基づいて検出するステップと、
決定手段によって、ユーザ操作１回あたりの前記調整パラメータにおける表示状態の変化量を、前記検出ステップで検出したずれ量に応じて決定するステップと、
調整手段によって、ユーザ操作に従って、前記調整パラメータにおける表示状態を、前記決定ステップで決定した変化量の分だけ変更することにより調整するステップと、
を含むことを特徴とする調整方法。
コンピュータを、請求項１乃至１７のいずれか１項に記載の画像表示装置として機能させるためのプログラム。