JP2008232855A - 相対位置算出装置、相対位置調整装置、相対位置調整方法および相対位置調整プログラム - Google Patents

Abstract

【課題】表示装置の形状に拘束されることなく、表示装置と撮像装置との相対位置を簡易に算出することができ、この結果、表示装置の表示方向と撮像装置の撮像方向とが一致するように両者の相対位置を調整する作業も簡易に実行することを課題とする。
【解決手段】撮像装置によって同一の撮像方向から焦点が異なる複数の態様で表示装置の表示面を撮像して得られた複数の画像から、表示面に設定された複数の領域に対して焦点が適合している画像を複数の領域ごとに検索し、検索された複数の画像を用いて、実空間における複数の領域それぞれの位置を算出し、当該位置から表示装置における表示方向と撮像装置における撮像方向との相対位置を算出し、算出された表示方向と撮像方向との相対位置を用いて、前記表示方向と撮像方向が一致するように表示装置と撮像装置との相対位置を調整する。
【選択図】 図１

Description

この発明は、相対位置算出装置、相対位置調整装置、相対位置調整方法および相対位置調整プログラムに関する。

従来より、液晶ディスプレイやプラズマテレビなどの表示装置の画質を評価する装置において、表示装置をＣＣＤカメラ（charge-coupled device）やデジタルカメラなどの撮像装置で撮像し、撮像した表示装置の画像を用いて表示装置の画質を評価する画質評価装置がある（例えば、特許文献１〜９参照）。

具体的には、従来技術に係る画質評価装置は、表示装置を撮像装置で撮像し、撮像した表示装置の画像を参照することで、表示装置における表示のムラや、残像や、画素の欠損などの有無を検査する。その際、画質評価装置は、例えば、水平に設置した表示装置の画質を評価する場合、表示装置の自重によって表示画面に撓みが生じ、その結果、生じた黒モヤを表示ムラと誤って認識するなど、画質評価の精度低下が発生していた。

これに対して、上述した特許文献９では、表示装置の上部をスライドしながら挟み込み、垂直に設置した表示装置の画質を評価する発明が開示されている。すなわち、表示装置を垂直に設置することで、表示画面の撓みを抑制している。

特開昭６３−１３６０８６号公報 特開昭６１−１７８６４８号公報 特開平０３−０６１９９３号公報 特開平０６−００３６３６号公報 特許第３５１２５３５号公報 特許第３４７１４３６号公報 特開２０００−１２１４９７号公報 特開２００４−０１２２５６号公報 特開２００４−２９４２７１号公報

ところで、上記した従来の技術は、表示装置の形状に応じて、表示装置と撮像装置との相対位置を調整する作業が必要であり、表示装置と撮像装置との相対位置を調整することが困難であるという課題があった。すなわち、形状（例えば、大きさ）の異なる表示装置ごとに対応した治具や初期調整が必要であり、適切な状態に表示装置と撮像装置との相対位置を調整することに手間がかかっていた。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、表示装置の形状に拘束されることなく、表示装置と撮像装置との相対位置を簡易に算出することができ、この結果、表示装置の表示方向と撮像装置の撮像方向とが一致するように両者の相対位置を調整する作業も簡易に実行することが可能な相対位置算出装置、相対位置調整装置、相対位置調整方法および相対位置調整プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、対向して配置された表示装置と撮像装置との相対位置を算出する相対位置算出装置であって、前記撮像装置によって同一の撮像方向から焦点が異なる複数の態様で前記表示装置の表示面を撮像して得られた複数の画像から、前記表示面に設定された複数の領域に対して焦点が適合している画像を前記複数の領域ごとに検索する焦点適合画像検索手段と、前記焦点適合画像検索手段によって検索された複数の画像を用いて、実空間における前記複数の領域それぞれの位置を算出し、当該位置から前記表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する相対位置算出手段とを備えたことを特徴とする。

また、上記の発明において、前記焦点適合画像検索手段は、全体が単色で表示されている表示面を撮像して得られた複数の画像から、前記焦点が適合している画像を検索することを特徴とする。

また、本発明は、対向して配置された表示装置と撮像装置との相対位置を調整する相対位置調整装置であって、前記撮像装置によって同一の撮像方向から焦点が異なる複数の態様で前記表示装置の表示面を撮像して得られた複数の画像から、前記表示面に設定された複数の領域に対して焦点が適合している画像を前記複数の領域ごとに検索する焦点適合画像検索手段と、前記焦点適合画像検索手段によって検索された複数の画像を用いて、実空間における前記複数の領域それぞれの位置を算出し、当該位置から前記表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する相対位置算出手段と、前記相対位置算出手段によって算出された前記表示方向と前記撮像方向との相対位置を用いて、前記表示方向と撮像方向が一致するように前記表示装置と撮像装置との相対位置を調整する相対位置調整手段とを備えたことを特徴とする。

また、上記装置によって実現される方法および上記装置を動作させるためのプログラムも本発明の範囲である。

請求項１の発明によれば、撮像装置によって同一の撮像方向から焦点が異なる複数の態様で表示装置の表示面を撮像して得られた複数の画像から、表示面に設定された複数の領域に対して焦点が適合している画像を複数の領域ごとに検索し、検索された複数の画像を用いて、実空間における複数の領域それぞれの位置を算出し、当該位置から表示装置における表示方向と撮像装置における撮像方向との相対位置を算出するので、表示装置の形状に拘束されることなく、表示装置と撮像装置との相対位置を簡易に算出することができ、この結果、表示装置の表示方向と撮像装置の撮像方向とが一致するように両者の相対位置を調整する作業も簡易に実行することも可能である。

また、請求項２、４の発明によれば、全体が単色で表示されている表示面を撮像して得られた複数の画像から、焦点が適合している画像を検索するので、焦点が適合している画像を確実かつ簡易に検索することも可能である。

また、請求項３、５、６の発明によれば、撮像装置によって同一の撮像方向から焦点が異なる複数の態様で表示装置の表示面を撮像して得られた複数の画像から、表示面に設定された複数の領域に対して焦点が適合している画像を複数の領域ごとに検索し、検索された複数の画像を用いて、実空間における複数の領域それぞれの位置を算出し、当該位置から表示装置における表示方向と撮像装置における撮像方向との相対位置を算出し、算出された表示方向と撮像方向との相対位置を用いて、表示方向と撮像方向が一致するように表示装置と撮像装置との相対位置を調整するので、表示装置の形状に拘束されることなく、表示装置と撮像装置との相対位置を簡易に算出することができ、この結果、表示装置の表示方向と撮像装置の撮像方向とが一致するように両者の相対位置を調整する作業を簡易に実行することも可能である。

以下に添付図面を参照して、この発明に係る相対位置算出装置、相対位置調整装置、相対位置調整方法および相対位置調整プログラムの実施例を詳細に説明する。なお、以下では、この発明を画質評価装置に適用し、画質評価対象である表示装置（ディスプレイ、例えば、液晶ディスプレイやプラズマテレビ、携帯電話など）を設置した後から、この発明に係る相対位置調整装置によって表示装置と、撮像装置（カメラ、例えば、ＣＣＤカメラ（charge-coupled device）やデジタルカメラなど）との相対位置を調整するまでの例を実施例として説明し、その調整の後に、表示装置の画質を評価するものとする。

以下の実施例１では、実施例１で用いる主要な用語、実施例１に係る相対位置調整装置の概要および特徴、相対位置調整装置の構成、相対位置調整装置の処理の流れを順に説明し、最後に実施例１の効果を説明する。

［実施例１で用いる主要な用語］
最初に、実施例１で用いる主要な用語を説明する。実施例１で用いる「Ｘ軸」とは、カメラの光軸に対して横方向の位置を概念的に表した空間上の軸であり（図５参照）、撮像した画像において横方向の位置を概念的に表した平面上の軸である（図４の（Ｂ）参照）。

また、実施例１で用いる「Ｙ軸」とは、カメラの光軸に対して上下方向の位置を概念的に表した空間上の軸であり（図５参照）、撮像した画像において上下方向の位置を概念的に表した平面上の軸である（図４の（Ｂ）参照）。

また、実施例１で用いる「Ｚ軸」とは、カメラの光軸に対して前後方向の位置を概念的に表した空間上の軸である（図５参照）。

実施例１で用いる「注目領域」とは、ディスプレイの画面上に表示された非黒な領域である。例えば、四角で表示された注目領域１、２および３がこれに該当する（図３参照）。

また、実施例１で用いる「（＊，＊，＊）」（＊は任意の数）とは、注目領域の１つを通り、かつ、カメラの光軸に対して垂直な平面と、カメラの光軸とが交わる点を原点とした場合における、ＸＹＺ空間上の座標である。なお、以下では、注目領域１を通り、かつ、カメラの光軸に対して垂直な平面（図９における平面ＡＢ）と、カメラの光軸（Ｚ軸）とが交わる点を原点（図９におけるＯ（０，０，０））とし、例えば、注目領域２がある座標は、（ｍＸ２，ｍＹ２，Ｚ２）で表現する（図９参照）。

また、実施例１で用いる「（＊，＊）」とは、撮像した画像において、画像の中心を原点（図４の（Ｂ）におけるＯ（０，０））とした際のＸＹ平面上の座標である。例えば、画像上の注目領域１における中心の座標である（Ｘ１，Ｙ１）がこれに該当する（図４の（Ｂ）参照）。

［実施例１に係る相対位置調整装置の概要および特徴］
次に、図１を用いて実施例１に係る相対位置調整装置の概要および特徴を説明する。図１は、実施例１に係る相対位置調整装置の概要および特徴を説明するための図である。

図１に示すように、実施例１に係る相対位置調整装置は、表示装置の形状に拘束されることなく、表示装置と撮像装置との相対位置を簡易に算出することができ、この結果、表示装置の表示方向と撮像装置の撮像方向とが一致するように両者の相対位置を調整する作業も簡易に実行することを主たる特徴とする。

この主たる特徴について説明すると、実施例１に係る相対位置調整装置は、撮像装置によって同一の撮像方向から焦点位置が異なる複数の態様で表示装置の表示面を撮像して得られた複数の画像から、表示面に設定された複数の領域に対して焦点が適合している画像を複数の領域ごとに検索する。具体的には、実施例１に係る相対位置調整装置は、カメラを移動しつつ（例えば、カメラをディスプレイに対して後方に移動させるなど）、ディスプレイを撮像するようにカメラとステージとを制御することで、ディスプレイが撮像された複数の画像を取得する。その際に、実施例１に係る相対位置調整装置は、撮像した画像を互いに付き合わせることで、四角形状セルの並びからなるディスプレイに表示された複数の注目領域に対して焦点が合った画像（図１の（Ａ）参照）を注目領域ごとに検索する。

また、実施例１に係る相対位置調整装置は、検索された複数の画像を用いて、実空間における複数の領域それぞれの位置を算出し、この位置から表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する。具体的には、実施例１に係る相対位置調整装置は、複数の注目領域に対して焦点が合った画像を用いて、画像上の注目領域の位置を抽出し、カメラの倍率を積算した値と、注目領域に対して焦点が合った画像を撮像したカメラの位置とから空間上の複数の注目領域それぞれがある位置を算出する。そして、実施例１に係る相対位置調整装置は、複数の注目領域それぞれがある位置を、「空間上の３点から法線ベクトルを求める公式」に代入し、ディスプレイ面の法線ベクトル（図１の（Ｂ）における（１）参照）を算出する。さらに、実施例１に係る相対位置調整装置は、ディスプレイ面の法線ベクトルと、カメラの光軸（図１の（Ｂ）における（２）参照）との相対位置（図１の（Ｂ）における（３）参照）を算出する。

そして、実施例１に係る相対位置調整装置は、算出された表示方向と撮像方向との相対位置を用いて、表示方向と撮像方向が一致するように表示装置と撮像装置との相対位置を調整する。具体的には、実施例１に係る相対位置調整装置は、ディスプレイ面の法線ベクトルと、カメラの光軸との相対位置を参照し、ステージを制御することで、ディスプレイ面の法線ベクトルと、カメラの法線が一致する位置にカメラを移動する制御を行う。つまり、ステージは、ディスプレイに対して真正面な角度および位置にカメラを移動する（図１の（Ｃ）参照）。

このようなことから、実施例１に係る相対位置調整装置は、表示装置の形状に拘束されることなく、表示装置と撮像装置との相対位置を簡易に算出することができ、この結果、表示装置の表示方向と撮像装置の撮像方向とが一致するように両者の相対位置を調整する作業も簡易に実行することも可能である。さらに、相対位置を調整した後に行う表示装置に対する画質評価も簡易に実行することも可能である。

［実施例１に係る相対位置調整装置の構成］
次に、図２を用いて、図１に示した相対位置調整装置の構成を説明する。図２は、実施例１に係る相対位置調整装置の構成を示すブロック図である。同図に示すように、この相対位置調整装置１４は、ディスプレイ１１、カメラ１２およびステージ１３と信号によって通信を行う通信ケーブルで接続され、制御部２０と、記憶部３０とから構成される。

このうち、ディスプレイ１１は、文字や図形などを表示する表示装置（例えば、液晶ディスプレイやプラズマテレビ）である。具体的には、ディスプレイ１１は、画質の評価対象となるディスプレイであり、相対位置調整装置１４から受け付けた信号によって注目領域を表示した画像を出力表示する（図３参照）。

カメラ１２は、写真や映像を撮像する撮像装置（例えば、ＣＣＤカメラやデジタルカメラ）であり、具体的には、相対位置調整装置１４から受け付けた信号によってディスプレイ１１を撮像する。

ステージ１３は、搭載した装置を可変に移動する運搬装置（ステージは例えば、三脚やロボットアームであってもよい）であり、具体的には、相対位置調整装置１４から受け付けた信号によってカメラ１２を移動する。

記憶部３０は、処理部２０による各種処理に必要なデータなどを記憶する。そして、本発明に密接に関連するものとしては、撮像画像記憶部３１と、相対位置記憶部３２とから構成される。

撮像画像記憶部３１は、撮像装置によって同一の撮像方向から焦点が異なる複数の態様で表示装置の表示面を撮像して得られた複数の画像を記憶する。具体的には、撮像画像記憶部３１は、焦点が異なる態様でディスプレイ１１を撮像した画像を記憶する（例えば、図４の（Ａ）参照）。

相対位置記憶部３２は、表示装置における表示方向と、撮像装置における撮像方向との相対位置を記憶する。具体的には、相対位置記憶部３２は、画像上の注目領域と、ＸＹ平面上の座標とを（例えば、画像上の注目領域「１」と座標（Ｘ１，Ｙ１）とを）対応付けて記憶する（図８の（Ａ）参照）。また、相対位置記憶部３２は、複数の注目領域それぞれがある空間上の位置と、ＸＹＺ空間上の座標とを（例えば、注目領域「２」と座標「（ｍＸ２，ｍＹ２，Ｚ２）」とを）対応付けて記憶する（図８の（Ｂ）参照）。また、相対位置記憶部３２は、相対位置がなすズレである軸と、角度とを（例えば、「Ｙ軸周り」と「Θ１度」とを）対応付けて記憶する（図８の（Ｆ）参照）。

制御部２０は、各種処理手順を規定した制御データを格納するための内部メモリを有し、これらによって各種の処理を実行する。そして、本発明に密接に関連するものとしては、ディスプレイ表示制御部２１と、撮像制御部２２と、焦点適合画像検索部２３と、相対位置算出部２４と、相対位置調整部２５とから構成される。なお、焦点適合画像検索部２３は特許請求の範囲に記載の「焦点適合画像検索手段」に対応し、相対位置算出部２４は、特許請求の範囲に記載の「相対位置算出手段」に対応し、相対位置調整部２５は特許請求の範囲に記載の「相対位置調整手段」に対応する。

ディスプレイ表示制御部２１は、ディスプレイ１１の表示を制御する。具体的には、ディスプレイ表示制御部２１は、ディスプレイ１１に対して複数の注目領域に表示する画像を出力させる信号を発信する。以下では、注目領域として３つの領域（注目領域１、２および３、例えば、図３に示す画像）を表示する例を説明する。なお、図３は、ディスプレイ表示制御部による処理を説明するための図である。

撮像制御部２２は、カメラ１２と、ステージ１３とを制御する。具体的には、撮像制御部２２は、カメラ１２に対して撮像させる信号を発信し、撮像した画像をカメラ１２から読み込み、撮像画像記憶部３１に書き込む。また、撮像制御部２２は、ステージ１３に対してカメラ１２を移動（例えば、ディスプレイに対して後方に移動）させる信号を発信する。

焦点適合画像検索部２３は、撮像装置によって同一の撮像方向から焦点が異なる複数の態様で表示装置の表示面を撮像して得られた複数の画像から、表示面に設定された複数の領域に対して焦点が適合している画像を複数の領域ごとに検索する。具体的に一例をあげて説明すると、焦点適合画像検索部２３は、撮像した画像が撮像画像記憶部３１に書き込まれた際に、カメラ１２の位置をディスプレイ１１に対して後方に移動しつつディスプレイ１１を撮像した複数の画像（例えば、後方に１ｍｍ移動するごとに撮像された複数の画像、図４の（Ａ）参照）から、撮像画像中の注目領域ごとに鮮鋭度が高い画像（例えば、図４の（Ｂ）、（Ｃ）および（Ｄ））を判定し、注目領域に対して焦点が適合した画像を、例えば、３つ検索する。すなわち、撮像した画像が撮像画像記憶部３１に書き込まれた際に、ディスプレイ１１を撮像した複数の画像を比較し、像画像中の注目領域ごとに鮮鋭度のピークを検出することで（図４の（Ｅ）参照）、注目領域に対して焦点が適合した画像を検索する。そして、焦点適合画像検索部２３は、注目領域に対して焦点が適合した画像からこの画像を撮像したカメラの位置を抽出する。すなわち、画像ごとの撮像したカメラの移動距離（例えば、Ｚ２）は、空間上における注目領域のＺ座標の差分に相当する（図４の（Ｅ）および図９のおける注目領域１に焦点が合った画像および注目領域２に焦点が合った画像参照）。なお、図４は、焦点適合画像検索部による処理を説明するための図である。

相対位置算出部２４は、検索された複数の画像を用いて、実空間における複数の領域それぞれの位置を算出し、当該位置から表示装置における表示方向と撮像装置における撮像方向との相対位置を算出する。具体的には、相対位置算出部２４は、検索された複数の注目領域に対して焦点が合った画像を用いて、画像上の注目領域の位置を抽出し、複数の注目領域それぞれがある空間上の位置を算出し、ディスプレイ面の法線ベクトルを算出し、ディスプレイ面の法線ベクトルと、カメラの光軸との相対位置を算出する。なお、相対位置算出部２４における処理の詳細は、後に詳細に説明する。

相対位置調整部２５は、相対位置算出部２４によって算出された表示方向と撮像方向との相対位置を用いて、表示方向と撮像方向が一致するように表示装置と撮像装置との相対位置を調整する。具体的には、相対位置調整部２５は、相対位置記憶部３２から、ディスプレイ面の法線ベクトルと、カメラの光軸との相対位置を読み込み、撮像制御部２２を介してステージ１３に対してカメラ１２を移動させる信号を発信する。例えば、相対位置調整部２５は、相対位置記憶部３２から、「Ｙ軸周り」の相対角度が「Θ１度」であることを読み込むと、撮像制御部２２を介してステージ１３に対して、Ｙ軸に係る移動を行うＹステージをＹ軸周りにΘ１度回転させる信号を発信する。すなわち、相対位置調整部２５は、相対位置記憶部３２を参照し、カメラ１２をカメラ１２の光軸ベクトルと、ディスプレイにおける法線ベクトルとが一致する角度に、Ｘステージを介してＸ軸回転（図５の（１）参照）およびＹステージを介してＹ軸回転（図５の（２）参照）する。その後、相対位置調整部２５は、Ｘステージ、ＹステージおよびＺステージを介して、Ｘ軸移動（図５の（６）参照）と、Ｙ軸移動（図５の（５）参照）と、Ｚ軸移動（図５の（４）参照）とを行うことで、カメラ１２が注目領域を撮像できる位置にカメラ１２を移動する。また、Ｚ軸回転（図５の（３）参照）を行うことで、撮像領域の角度を調整する。なお、図５は、相対位置調整部による処理を説明するための図である。

[実施例１に係る相対位置調整装置による処理]
次に、図６を用いて、実施例１係る相対位置調整装置の処理の流れを説明する。図６は、実施例１に係る相対位置調整装置による処理の流れ示すフローチャートである。

図６に示すように、実施例１に係る相対位置調整装置は、ディスプレイが設置されると（ステップＳ１０１肯定）、ディスプレイに出力表示する（ステップＳ１０２）。具体的には、実施例１に係る相対位置調整装置は、検査対象であるディスプレイ１１がカメラ１２の前に設置されると、ディスプレイ１１に対して複数の注目領域に表示する画像を出力させる信号をディスプレイ表示制御部２１から発信する。

続いて、撮像制御部２２は、ディスプレイを撮像する（ステップＳ１０３）。具体的には、撮像制御部２２は、カメラ１２に対して撮像させる信号を発信してディスプレイ１１を撮像し、撮像した画像をカメラ１２から読み込み、撮像画像記憶部３１に書き込む。

続いて、焦点適合画像検索部２３は、撮像した画像から表示面に設定された複数の領域に対して焦点が適合している画像を複数の領域ごとに検索する（ステップＳ１０４）。すなわち、焦点適合画像検索部２３は、ディスプレイ１１を撮像した複数の画像を比較し、像画像中の注目領域ごとに鮮鋭度のピークを検出することで、注目領域に対して焦点が適合した画像を検索する。

ここで、全ての領域に対して焦点が適合している画像がない場合（ステップＳ１０４否定）、焦点適合画像検索部２３は、撮像制御部２２を介してステージ１３を移動することでカメラ１１の位置をディスプレイ１１に対して後方に移動する（ステップＳ１０５）。すなわち、焦点適合画像検索部２３は、撮像制御部２２を介してステージ１３を移動することでカメラ１１の焦点位置とディスプレイ１１との距離を変更する。

続いて、焦点適合画像検索部２３は、撮像制御部２２をおよびカメラ１２を介して再びディスプレイ１１を撮像する（ステップＳ１０３）。すなわち、焦点適合画像検索部２３は、ステージ１３を移動し（ステップＳ１０５）、再びディスプレイ１１を撮像することで焦点位置からの距離が異なるディスプレイ１１の画像を撮像する（ステップＳ１０３）。

このようにして、以上の処理（ステップＳ１０３〜ステップＳ１０５）を繰り返すことで、焦点適合画像検索部２３は、全ての領域に対して焦点が適合している画像を検索するまで、撮像制御部２２およびカメラ１２を介して焦点位置が異なるディスプレイ１１の画像を撮像する。

一方、全ての領域に対して焦点が適合している画像を検索すると（ステップＳ１０４肯定）、相対位置算出部２４は、表示装置における表示方向と撮像装置における撮像方向との相対位置を算出する（ステップＳ１０６）。具体的には、相対位置算出部２４は、検索された複数の注目領域に対して焦点が合った画像を用いて、画像上の注目領域の位置を抽出し、複数の注目領域それぞれがある空間上の位置を算出し、ディスプレイ面の法線ベクトルを算出し、ディスプレイ面の法線ベクトルと、カメラの光軸との相対位置を算出する。

続いて、相対位置調整部２５は、表示方向と撮像方向が一致するように表示装置と撮像装置との相対位置を調整し（ステップＳ１０７）、実施例１に係る相対位置調整装置は、処理を終了する。すなわち、相対位置調整部２５によって表示方向と撮像方向が一致するように表示装置と撮像装置との相対位置を調整した後に、ディスプレイ画質評価装置によってディスプレイ１１の画質を評価する。

[実施例１に係る相対位置調整装置による相対位置算出処理]
次に、図７、図８および図９を用いて、実施例１に係る相対位置調整装置による相対位置算出処理を説明する。図７は、実施例１に係る相対位置算出部による処理を示すフローチャートであり、図８および図９は、実施例１に係る相対位置算出部による処理を説明するための図である。なお、以下では、焦点適合画像検索部２３よって表示面に設定された複数の領域に対して焦点が適合している画像（ここでは、３つ）がそれぞれの領域ごとに検索されたとして、その後の処理を説明する。

まず、図７に示すように、相対位置算出部２４は、焦点適合画像検索部２３において表示面に設定された複数の領域に対して焦点が適合している画像を検索すると（ステップＳ２０１肯定）、画像上の注目領域の位置を抽出する（ステップＳ２０２）。具体的には、相対位置算出部２４は、撮像画像記憶部３１から注目領域それぞれに焦点が適合している画像を読み込み、画像上の注目領域の中心の座標（例えば、注目領域１に焦点が合った画像から画像上の注目領域１における中心の座標（Ｘ１，Ｙ１）（図４の（Ｂ）参照））を抽出し、相対位置記憶部３２に画像上の注目領域と、座標とを対応付けて書き込む（図８の（Ａ）参照）。

続いて、相対位置算出部２４は、複数の注目領域それぞれがある実空間上の位置を算出する（ステップＳ２０３）。具体的には、相対位置算出部２４は、画像上の注目領域の中心の座標を相対位置記憶部３２から読み込み、この画像を撮像した際におけるカメラの倍率（ｍ）を積算することで、空間上の複数の注目領域それぞれがあるＸ座標およびＹ座標を算出し、各画像を撮像したカメラの位置と対応付けることで、複数の注目領域それぞれがある座標を算出し、相対位置記憶部３２に書き込む。

具体的一例をあげて説明すると、相対位置算出部２４は、注目領域１に焦点が合った画像上の注目領域１における中心の座標（Ｘ１，Ｙ１）に、この画像を撮像した際におけるカメラの倍率（ｍ）を積算することで、空間上の複数の注目領域１があるＸ座標（ｍＸ１）（図９における辺ＡＯの長さｍＸ１を参照）およびＹ座標（ｍＹ１）を算出する。ここで、例えば、注目領域１の座標は（ｍＸ１，ｍＹ１，０）（図９の注目領域１参照）であり、注目領域２のＺ座標は、注目領域１に焦点が合った画像から注目領域２に焦点があった画像へのカメラの移動距離に相当し（図９におけるカメラの移動距離を参照）、注目領域２のＸ座標（ｍＸ２）およびＹ座標（ｍＹ２）と、カメラの移動距離と（Ｚ２）と対応付けることで、空間上の注目領域２がある座標（ｍＸ２，ｍＹ２，Ｚ２）を算出する（図８の（Ｂ）および図９の注目領域２参照）。同様にして、注目領域３のＸ座標（ｍＸ３）およびＹ座標（ｍＹ３）と、カメラの移動距離と（Ｚ３）と対応付けることで、空間上の注目領域３がある座標（ｍＸ３，ｍＹ３，Ｚ３）を算出する。

続いて、相対位置算出部２４は、ディスプレイ面の法線ベクトルを算出する（ステップＳ２０４）。具体的には、相対位置算出部２４は、算出した複数の注目領域それぞれがある座標を、図８の（Ｃ）および（Ｄ）に示した「空間上の３点から法線ベクトルを求める式」に代入し、ディスプレイにおける法線ベクトル（ｎ＝（ｎｘ，ｎｙ，ｎｚ）、図９のディスプレイにおける法線ベクトル参照）、例えば、「ｎｘ＝（ｙ２−ｙ１）（ｚ３）−（ｚ２）（ｙ３−ｙ１）」を算出する。なお、図８の（Ｄ）は、図８の（Ｃ）に示した式に、図８の（Ｂ）に示した座標を代入し、変換した式である。

続いて、相対位置算出部２４は、ディスプレイ面の法線ベクトルと、カメラの光軸との相対位置を算出し（ステップＳ２０５）、処理を終了する。具体的には、相対位置算出部２４は、ディスプレイ面の法線ベクトルを図８の（Ｅ）に示した「相対角度を求める公式」に代入し、カメラ１２の光軸（ｎ＝（０，０，１））との相対的な角度（例えば、「Ｙ軸周り」の相対角度である「Θ１」、図９のΘ１を参照）を算出し、Ｘ軸またはＹ軸と、角度とを対応付けて相対位置記憶部３２に書き込む（図８の（Ｆ）参照）。

［実施例１の効果］
上記したように、実施例１によれば、表示装置の形状に拘束されることなく、表示装置と撮像装置との相対位置を簡易に算出することができ、この結果、表示装置の表示方向と撮像装置の撮像方向とが一致するように両者の相対位置を調整する作業も簡易に実行することも可能である。

また、実施例１によれば、相対位置を調整した後に行う表示装置に対する画質評価も簡易に実行することも可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として、他の実施例を説明する。

（１）注目領域の表示形態
例えば、実施例１では、注目領域としてディスプレイの画面上に非黒な領域を表示する場合を説明したが、本発明はこれに限定されるものではなく、注目領域に対して焦点が合った画像を撮像し得れば本発明を同様に適用することができる。すなわち、例えば、全体が単色（例えば、白色や黄色など）で表示されている表示面を撮像することで焦点が適合している画像を確実かつ簡易に検索することも可能である。

また、実施例１では、ディスプレイ上に四角で表示された複数の注目領域を出力表示する場合を説明したが、本発明はこれに限定されるものではなく、ディスプレイに表示された領域（例えば、縞模様状で表示された領域）であれば、本発明を同様に適用することができる。

また、実施例１では、ディスプレイ上に四角で表示された複数の注目領域を出力表示する場合を説明したが、本発明はこれに限定されるものではなく、画像上で固定領域を設定し、対応する領域としてディスプレイ上には仮想の注目領域を設けても良い。

また、実施例１では、四角形状セルの並びからなるディスプレイ（図１の（Ａ）参照）において注目領域を表示する場合を説明したが、本発明はこれに限定されるものではなく、セルの並びからなるディスプレイ（例えば、ハニカム構造（六角形））であっても、本発明を同様に適用することができる。

また、実施例１では、ディスプレイ全体を一時に撮像する場合を説明したが、本発明はこれに限定されるものではなく、ディスプレイを部分的に撮像するようにしてもよい。すなわち、ディスプレイの表示画面に撓みが生じていた場合、撓みが画質評価に影響しない程度に領域を限定して（例えば、ディスプレイの中心部分に限定して）撮像することで、本発明を同様に適用することができる。

また、実施例１では、３点からなる注目領域を表示する場合を説明したが、本発明はこれに限定されるものではなく、３点以上からなる注目領域を表示する場合であれば、本発明を同様に適用することができる。すなわち、最小二乗法を用いて擬似的に注目領域の位置を算出することや、画像上の注目領域の中心がある位置を抽出した後にディスプレイに近似した平面を形成し得る注目領域に限定することで、本発明を同様に適用することができる。

（２）表示装置の撮像方法
また、実施例１では、ディスプレイを断続的に（例えば、後方に１ｍｍ移動するごとに）撮像する場合を説明したが、本発明はこれに限定されるものではなく、ディスプレイと焦点位置との距離を変更しつつ撮像する場合（例えば、撮像画像中の注目領域の鮮鋭度が高くなったら０．１ｍｍと細かく移動するごとに撮像するなど）であれば、本発明を同様に適用することができる。

また、実施例１では、各注目領域それぞれに焦点があった３つの画像を撮像する場合を説明したが、本発明はこれに限定されるものではなく、注目領域それぞれに焦点があった画像を撮像する場合、すなわち、例えば、注目領域１および２に焦点が合った１つの画像および注目領域３に焦点が合った画像の２つの画像を撮像する場合であっても、本発明を同様に適用することができる。

また、実施例１では、カメラをディスプレイに対して後方に移動しつつ注目領域ごとに焦点が合った画像を撮像する場合を説明したが、本発明はこれに限定されるものではなく、焦点位置からの距離を移動しつつ撮像する場合（例えば、ズームレンズなどによりカメラの焦点距離を変えつつディスプレイを撮像する）であれば本発明を同様に適用することができる。

（３）カメラの移動方法
また、実施例１では、カメラを移動させることで、ディスプレイおよびカメラの相対的な位置を調整する場合を説明したが、本発明はこれに限定されるものではなく、ディスプレイおよびカメラの相対的な位置を調整する（例えば、ディスプレイの位置を移動する）場合であれば、本発明を同様に適用することができる。

また、実施例１では、ステージの組み合わせが上から順にＸステージ、Ｙステージ、Ｚステージの順になる場合を説明したが、本発明はこれに限定されるものではなく、ディスプレイおよびカメラの相対的な位置にカメラを可変に移動し得るステージ（例えば、ステージの組み合わせが上から順にＺステージ、Ｙステージ、Ｘステージの順になるステージ）であれば、本発明を同様に適用することができる。

（４）システム構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータ（例えば、図８に示した記憶情報など）を含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる（例えば、図２において相対位置調整装置をカメラに統合するなどできる）。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（５）相対位置調整プログラム
ところで、上記の実施例では、ハードウェアロジックによって各種の処理を実現する場合を説明したが、本発明はこれに限定されるものではなく、あらかじめ用意されたプログラムをコンピュータで実行することによって実現するようにしてもよい。そこで、以下では、図１０を用いて、上記の実施例に示した相対位置調整装置と同様の機能を有する相対位置調整プログラムを実行するコンピュータの一例を説明する。図１０は、相対位置調整プログラムを実行するコンピュータを示す図である。

同図に示すように、相対位置調整装置としてのコンピュータ１１０は、キーボード１２０、ＨＤＤ１３０、ＣＰＵ１４０、ＲＯＭ１５０、ＲＡＭ１６０およびディスプレイ１７０をバス１８０などで接続して構成される。

ＲＯＭ１５０には、上記の実施例１に示した相対位置調整装置１４と同様の機能を発揮する相対位置調整プログラム、つまり、図１０に示すようにディスプレイ表示制御プログラム１５０ａと、撮像制御プログラム１５０ｂと、焦点適合画像検索プログラム１５０ｃと、相対位置算出プログラム１５０ｄと、相対位置調整プログラム１５０ｅとが、あらかじめ記憶されている。なお、これらのプログラム１５０ａ〜プログラム１５０ｅについては、図２に示した相対位置調整装置の各構成要素と同様、適宜統合または、分散してもよい。

そして、ＣＰＵ１４０がこれらのプログラム１５０ａ〜プログラム１５０ｅをＲＯＭ１５０から読み出して実行することで、図１０に示すように、プログラム１５０ａ〜プログラム１５０ｅは、ディスプレイ表示制御プロセス１４０ａと、撮像制御プロセス１４０ｂと、焦点適合画像検索プロセス１４０ｃと、相対位置算出プロセス１４０ｄと、相対位置調整プロセス１４０ｅとして機能するようになる。なお、プロセス１４０ａ〜プロセス１４０ｅは、図２に示した、ディスプレイ表示制御部２１と、撮像制御部２２と、焦点適合画像検索部２３と、相対位置算出部２４と、相対位置調整部２５とにそれぞれ対応する。

そして、ＣＰＵ１４０はＲＡＭ１６０に記録された撮像画像データ１６０ａと、相対位置データ１６０ｂとに基づいて相対位置調整プログラムを実行する。

なお、上記した各プログラム１５０ａ〜プログラム１５０ｅについては、必ずしも最初からＲＯＭ１５０に記憶させておく必要はなく、例えば、コンピュータ１１０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、またはコンピュータ１１０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１１０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ１１０がこれから各プログラムを読み出して実行するようにしてもよい。

（付記１）対向して配置された表示装置と撮像装置との相対位置を算出する相対位置算出装置であって、
前記撮像装置によって同一の撮像方向から焦点が異なる複数の態様で前記表示装置の表示面を撮像して得られた複数の画像から、前記表示面に設定された複数の領域に対して焦点が適合している画像を前記複数の領域ごとに検索する焦点適合画像検索手段と、
前記焦点適合画像検索手段によって検索された複数の画像を用いて、実空間における前記複数の領域それぞれの位置を算出し、当該位置から前記表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する相対位置算出手段と、
を備えたことを特徴とする相対位置算出装置。

（付記２）前記焦点適合画像検索手段は、全体が単色で表示されている表示面を撮像して得られた複数の画像から、前記焦点が適合している画像を検索することを特徴とする付記１に記載の相対位置算出装置。

（付記３）対向して配置された表示装置と撮像装置との相対位置を調整する相対位置調整方法であって、
前記撮像装置によって同一の撮像方向から焦点が異なる複数の態様で前記表示装置の表示面を撮像して得られた複数の画像から、前記表示面に設定された複数の領域に対して焦点が適合している画像を前記複数の領域ごとに検索する焦点適合画像検索工程と、
前記焦点適合画像検索工程によって検索された複数の画像を用いて、実空間における前記複数の領域それぞれの位置を算出し、当該位置から前記表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する相対位置算出工程と、
を含んだことを特徴とする相対位置算出方法。

（付記４）対向して配置された表示装置と撮像装置との相対位置を調整する相対位置調整方法をコンピュータに実行させる相対位置調整プログラムであって、
前記撮像装置によって同一の撮像方向から焦点が異なる複数の態様で前記表示装置の表示面を撮像して得られた複数の画像から、前記表示面に設定された複数の領域に対して焦点が適合している画像を前記複数の領域ごとに検索する焦点適合画像検索手順と、
前記焦点適合画像検索手順によって検索された複数の画像を用いて、実空間における前記複数の領域それぞれの位置を算出し、当該位置から前記表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する相対位置算出手順と、
をコンピュータに実行させることを特徴とする相対位置算出プログラム。

（付記５）対向して配置された表示装置と撮像装置との相対位置を調整する相対位置調整装置であって、
前記撮像装置によって同一の撮像方向から焦点が異なる複数の態様で前記表示装置の表示面を撮像して得られた複数の画像から、前記表示面に設定された複数の領域に対して焦点が適合している画像を前記複数の領域ごとに検索する焦点適合画像検索手段と、
前記焦点適合画像検索手段によって検索された複数の画像を用いて、実空間における前記複数の領域それぞれの位置を算出し、当該位置から前記表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する相対位置算出手段と、
前記相対位置算出手段によって算出された前記表示方向と前記撮像方向との相対位置を用いて、前記表示方向と撮像方向が一致するように前記表示装置と撮像装置との相対位置を調整する相対位置調整手段と、
を備えたことを特徴とする相対位置調整装置。

（付記６）前記焦点適合画像検索手段は、全体が単色で表示されている表示面を撮像して得られた複数の画像から、前記焦点が適合している画像を検索することを特徴とする付記５に記載の相対位置調整装置。

（付記７）対向して配置された表示装置と撮像装置との相対位置を調整する相対位置調整方法であって、
前記撮像装置によって同一の撮像方向から焦点が異なる複数の態様で前記表示装置の表示面を撮像して得られた複数の画像から、前記表示面に設定された複数の領域に対して焦点が適合している画像を前記複数の領域ごとに検索する焦点適合画像検索工程と、
前記焦点適合画像検索工程によって検索された複数の画像を用いて、実空間における前記複数の領域それぞれの位置を算出し、当該位置から前記表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する相対位置算出工程と、
前記相対位置算出工程によって算出された前記表示方向と前記撮像方向との相対位置を用いて、前記表示方向と撮像方向が一致するように前記表示装置と撮像装置との相対位置を調整する相対位置調整工程と、
を含んだことを特徴とする相対位置調整方法。

（付記８）対向して配置された表示装置と撮像装置との相対位置を調整する相対位置調整方法をコンピュータに実行させる相対位置調整プログラムであって、
前記撮像装置によって同一の撮像方向から焦点が異なる複数の態様で前記表示装置の表示面を撮像して得られた複数の画像から、前記表示面に設定された複数の領域に対して焦点が適合している画像を前記複数の領域ごとに検索する焦点適合画像検索手順と、
前記焦点適合画像検索手順によって検索された複数の画像を用いて、実空間における前記複数の領域それぞれの位置を算出し、当該位置から前記表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する相対位置算出手順と、
前記相対位置算出手順によって算出された前記表示方向と前記撮像方向との相対位置を用いて、前記表示方向と撮像方向が一致するように前記表示装置と撮像装置との相対位置を調整する相対位置調整手順と、
をコンピュータに実行させることを特徴とする相対位置調整プログラム。

以上のように、本発明に係る相対位置算出装置、相対位置調整装置、相対位置調整方法および相対位置調整プログラムは、対向して配置された表示装置と撮像装置との相対位置を算出することに有用であり、特に、表示装置の形状に拘束されることなく、表示装置と撮像装置との相対位置を簡易に算出することができ、この結果、表示装置の表示方向と撮像装置の撮像方向とが一致するように両者の相対位置を調整する作業も簡易に実行することに適する。

実施例１に係る相対位置調整装置の概要および特徴を説明するための図である。 実施例１に係る相対位置調整装置の構成を示すブロック図である。 ディスプレイ表示制御部による処理を説明するための図である。 焦点適合画像検索部による処理を説明するための図である。 相対位置調整部による処理を説明するための図である。 実施例１に係る相対位置調整装置による処理を示すフローチャートである。 実施例１に係る相対位置算出部による処理を示すフローチャートである。 実施例１に係る相対位置算出部による処理を説明するための図である。 実施例１に係る相対位置算出部による処理を説明するための図である。 相対位置調整プログラムを実行するコンピュータを示す図である。

符号の説明

１１ ディスプレイ
１２ カメラ
１３ ステージ
１４ 相対位置調整装置
２０ 制御部
２１ ディスプレイ表示制御部
２２ 撮像制御部
２３ 焦点適合画像検索部
２４ 相対位置算出部
２５ 相対位置調整部
３０ 記憶部
３１ 撮像画像記憶部
３２ 相対位置記憶部

Claims (6)

1. 対向して配置された表示装置と撮像装置との相対位置を算出する相対位置算出装置であって、
   前記撮像装置によって同一の撮像方向から焦点が異なる複数の態様で前記表示装置の表示面を撮像して得られた複数の画像から、前記表示面に設定された複数の領域に対して焦点が適合している画像を前記複数の領域ごとに検索する焦点適合画像検索手段と、
   前記焦点適合画像検索手段によって検索された複数の画像を用いて、実空間における前記複数の領域それぞれの位置を算出し、当該位置から前記表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する相対位置算出手段と、
   を備えたことを特徴とする相対位置算出装置。
2. 前記焦点適合画像検索手段は、全体が単色で表示されている表示面を撮像して得られた複数の画像から、前記焦点が適合している画像を検索することを特徴とする請求項１に記載の相対位置算出装置。
3. 対向して配置された表示装置と撮像装置との相対位置を調整する相対位置調整装置であって、
   前記撮像装置によって同一の撮像方向から焦点が異なる複数の態様で前記表示装置の表示面を撮像して得られた複数の画像から、前記表示面に設定された複数の領域に対して焦点が適合している画像を前記複数の領域ごとに検索する焦点適合画像検索手段と、
   前記焦点適合画像検索手段によって検索された複数の画像を用いて、実空間における前記複数の領域それぞれの位置を算出し、当該位置から前記表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する相対位置算出手段と、
   前記相対位置算出手段によって算出された前記表示方向と前記撮像方向との相対位置を用いて、前記表示方向と撮像方向が一致するように前記表示装置と撮像装置との相対位置を調整する相対位置調整手段と、
   を備えたことを特徴とする相対位置調整装置。
4. 前記焦点適合画像検索手段は、全体が単色で表示されている表示面を撮像して得られた複数の画像から、前記焦点が適合している画像を検索することを特徴とする請求項３に記載の相対位置調整装置。
5. 対向して配置された表示装置と撮像装置との相対位置を調整する相対位置調整方法であって、
   前記撮像装置によって同一の撮像方向から焦点が異なる複数の態様で前記表示装置の表示面を撮像して得られた複数の画像から、前記表示面に設定された複数の領域に対して焦点が適合している画像を前記複数の領域ごとに検索する焦点適合画像検索工程と、
   前記焦点適合画像検索工程によって検索された複数の画像を用いて、実空間における前記複数の領域それぞれの位置を算出し、当該位置から前記表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する相対位置算出工程と、
   前記相対位置算出工程によって算出された前記表示方向と前記撮像方向との相対位置を用いて、前記表示方向と撮像方向が一致するように前記表示装置と撮像装置との相対位置を調整する相対位置調整工程と、
   を含んだことを特徴とする相対位置調整方法。
6. 対向して配置された表示装置と撮像装置との相対位置を調整する相対位置調整方法をコンピュータに実行させる相対位置調整プログラムであって、
   前記撮像装置によって同一の撮像方向から焦点が異なる複数の態様で前記表示装置の表示面を撮像して得られた複数の画像から、前記表示面に設定された複数の領域に対して焦点が適合している画像を前記複数の領域ごとに検索する焦点適合画像検索手順と、
   前記焦点適合画像検索手順によって検索された複数の画像を用いて、実空間における前記複数の領域それぞれの位置を算出し、当該位置から前記表示装置における表示方向と前記撮像装置における撮像方向との相対位置を算出する相対位置算出手順と、
   前記相対位置算出手順によって算出された前記表示方向と前記撮像方向との相対位置を用いて、前記表示方向と撮像方向が一致するように前記表示装置と撮像装置との相対位置を調整する相対位置調整手順と、
   をコンピュータに実行させることを特徴とする相対位置調整プログラム。

Images