JP2021114713A - 表示装置と撮像装置のための位置サイズ調整の支援方法および支援装置 - Google Patents

Abstract

【課題】撮像装置の仕様にかかわらず、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置関係および所定のサイズ関係に調整する。【解決手段】表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲとを所定の位置サイズ関係に調整するための作業者の調整作業を支援する位置サイズ調整の支援方法において、表示範囲ＤＲの少なくとも一部分を撮像装置１４によって撮像する。その撮像画像に基づいて、表示範囲ＤＲと撮像範囲ＳＲとの位置サイズ関係を算出し、算出された位置サイズ関係に基づいて、表示範囲ＤＲおよび撮像範囲ＳＲの少なくとも一方について、表示範囲ＤＲと撮像範囲ＳＲを所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも１つを算出する。算出した移動方向およびサイズ変更方向の少なくとも１つを作業者に提示する調整ガイド情報を作成し、作業者に出力する。【選択図】図１

Description

本開示は、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置関係および所定のサイズ関係に調整するための作業者の調整作業を支援する位置サイズ調整の支援方法および支援装置に関する。

例えば、特許文献１に記載されたシステムの場合、被写体に対して枠状の範囲指定画像を投射型表示装置（プロジェクタ）が投射し、範囲指定画像が投射された被写体をカメラが撮像する。システムは、撮像画像における範囲指定画像の位置を特定し、その特定した位置に基づいて、カメラの撮像範囲が範囲指定画像内に収まるようにカメラの撮像方向やズーム倍率を調整する。

特開２０１０−７４２６４号公報

しかしながら、特許文献１のシステムの場合、外部信号に基づいて撮像方向やズーム倍率が変更可能に構成されている撮像装置に限られる。すなわち、撮像方向やズーム倍率をユーザの手作業によって調節する仕様の撮像装置では、システムは撮像範囲の位置やサイズを調整することができない。

そこで、本開示は、撮像装置の仕様にかかわらず、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置関係および所定のサイズ関係に調整することを課題とする。

上述の課題を解決するために、本開示の一態様によれば、
表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援する表示装置と撮像装置のための位置サイズ調整の支援方法であって、
前記表示範囲の少なくとも一部分を前記撮像装置によって撮像し、
前記撮像装置によって撮像された撮像画像に基づいて、前記表示範囲と前記撮像範囲との位置サイズ関係を算出し、
算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも１つを算出し、
算出した移動方向およびサイズ変更方向の少なくとも１つを作業者に提示する調整ガイド情報を作成し、
前記調整ガイド情報を作業者に出力する、位置サイズ調整の支援方法が提供される。

また、本開示の別の態様によれば、
表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援する位置サイズ調整の支援装置であって、
前記撮像装置によって撮像され、前記表示装置の表示範囲の少なくとも一部分が写る撮像画像を取得し、
前記撮像画像に基づいて、前記表示範囲と前記撮像範囲の位置サイズ関係を算出し、
算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも１つを算出し、
算出した移動方向およびサイズ変更方向の少なくとも１つを作業者に提示する調整ガイド情報を作成し、
前記調整ガイド情報を作業者に出力する、位置サイズ調整の支援装置が提供される。

本開示によれば、撮像装置の仕様にかかわらず、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置関係および所定のサイズ関係に調整することができる。

本開示の実施の形態１に係る、表示装置の表示範囲と撮像装置の撮像範囲の位置サイズ調整を行う作業者を支援するための位置サイズ調整支援システムの概略図 位置サイズ調整支援システムの構成を示すブロック図 表示装置の表示範囲と撮像装置の撮像範囲との所定の位置サイズ関係の一例を示す図 表示装置の表示範囲と撮像装置の撮像範囲との所定の位置サイズ関係の別例を示す図 撮像装置によって撮像され、表示装置の表示範囲の一部分が写る撮像画像の一例を示す図 図４に示す撮像画像が撮像されたときの表示装置の表示範囲と撮像装置の撮像範囲との位置サイズ関係を示す図 画像の形態で作業者に提示される調整ガイド情報の一例を示す図 画像の形態で作業者に提示される調整ガイド情報の別例を示す図 図７は、調整支援装置の動作の流れの一例を示すフローチャート 本開示の実施の形態２に係る、撮像範囲の移動方向および移動量を提示する調整ガイド用画像の一例を示す図 本開示の実施の形態２に係る、撮像範囲の移動方向および移動量を提示する調整ガイド用画像の一例を示す図 本開示の実施の形態２に係る、撮像範囲の移動方向および移動量を提示する調整ガイド用画像の一例を示す図 本開示の実施の形態２に係る、撮像範囲のサイズ変更方向およびサイズ変更量を提示する調整ガイド用画像の一例を示す図 本開示の実施の形態２に係る、撮像範囲のサイズ変更方向およびサイズ変更量を提示する調整ガイド用画像の一例を示す図 本開示の実施の形態２に係る、撮像範囲のサイズ変更方向およびサイズ変更量を提示する調整ガイド用画像の一例を示す図 撮像装置の撮像範囲外に存在するパターン画像を示す図 撮像装置の範囲内に一部分が存在するパターン画像を示す図 １台の撮像装置の撮像範囲に対して位置サイズ関係がそれぞれ調整された複数台の表示装置の表示範囲を示す図

本開示の一態様に係る位置サイズ調整の支援方法は、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援する表示装置と撮像装置のための位置サイズ調整の支援方法であって、前記表示範囲の少なくとも一部分を前記撮像装置によって撮像し、前記撮像装置によって撮像された撮像画像に基づいて、前記表示範囲と前記撮像範囲との位置サイズ関係を算出し、算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも１つを算出し、算出した移動方向およびサイズ変更方向の少なくとも１つを作業者に提示する調整ガイド情報を作成し、前記調整ガイド情報を作業者に出力する。

このような態様によれば、撮像装置の仕様にかかわらず、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置関係および所定のサイズ関係に調整することができる。

例えば、前記調整ガイド情報として、調整ガイド用画像を作成し、前記調整ガイド用画像を、前記表示装置に表示させてもよい。

例えば、算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動量およびサイズ変更量の少なくとも１つを算出し、前記調整ガイド用画像が、算出した移動量およびサイズ変更量を作業者に提示するように作成されてもよい。

例えば、前記調整作業によって前記表示範囲と前記撮像範囲の位置サイズ関係が変化すると、その変化した位置サイズ関係に基づいて前記調整ガイド用画像を更新してもよい。

例えば、前記調整作業によって前記表示範囲と前記撮像範囲とが前記所定の位置サイズ関係になると、調整完了を提示する調整完了提示用画像を前記表示装置に表示させてもよい。

例えば、前記表示範囲にパターン画像を表示し、前記撮像範囲外に前記パターン画像の一部分が存在する場合、前記パターン画像を、前記撮像範囲内に存在する一部分と前記撮像範囲外に存在する残りの部分とが視覚的に異なるように表示してもよい。

例えば、前記表示範囲と前記撮像範囲とが前記所定の位置サイズ関係にあるとき、前記撮像範囲内に前記表示範囲全体が含まれてもよい。

例えば、前記表示範囲と前記撮像範囲とが前記所定の位置サイズ関係にあるとき、前記撮像範囲の中心と前記表示範囲の中心とが一致し、且つ、前記表示範囲の面積が前記撮像範囲の面積に対して所定の割合であってもよい。

例えば、前記表示装置が、画像を投射する投射型表示装置であってもよく、その場合、前記表示範囲が投射範囲である。

本開示の別の態様に係る位置サイズ調整の支援装置は、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援する位置サイズ調整の支援装置であって、前記撮像装置によって撮像され、前記表示装置の表示範囲の少なくとも一部分が写る撮像画像を取得し、前記撮像画像に基づいて、前記表示範囲と前記撮像範囲の位置サイズ関係を算出し、算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも１つを算出し、算出した移動方向およびサイズ変更方向の少なくとも１つを作業者に提示する調整ガイド情報を作成し、前記調整ガイド情報を作業者に出力する。

このような態様によれば、撮像装置の仕様にかかわらず、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置関係および所定のサイズ関係に調整することができる。

以下、本開示の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本開示の実施の形態１に係る、表示装置の表示範囲と撮像装置の撮像範囲の位置サイズ調整を行う作業者を支援するための位置サイズ調整支援システムの概略図である。図２は、位置サイズ調整支援システムの構成を示すブロック図である。

図１に示す位置サイズ調整支援システム１０は、投射型表示装置１２と、撮像装置１４と、これらに接続された調整支援装置（支援装置）１６とを含んでいる。位置サイズ調整支援システム１０は、すなわち調整支援装置１６は、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲとを目標の位置関係（すなわち所定の位置関係）に調整するとともに目標のサイズ関係（すなわち所定のサイズ関係）に調整する作業者の調整作業を支援するように構成されている。以下、位置関係およびサイズ関係を、位置サイズ関係と称する。

投射型表示装置１２は、例えばプロジェクタであって、スクリーンＳに画像を投射する。投射型表示装置１２の表示範囲ＤＲは、画像を投射可能な投射範囲に相当する。なお、本実施の形態１の場合、投射型表示装置１２は、既に、適切な位置に設置されているとともに、投射方向やズーム倍率が適切に調整されている。

撮像装置１４は、例えばカメラであって、投射型表示装置１２から投射されてスクリーンＳに写る画像を撮像するための装置である。撮像装置１４は、例えば、投射型表示装置１２から投射された画像をモニタリングするまたは画像を画質調整するために使用される。なお、本実施の形態１の場合、撮像装置１４は、投射型表示装置１２とは異なり、作業者によって仮の位置に設置されている。

本実施の形態１の場合、上述したように、投射型表示装置１２は適切な位置に設置されているが、撮像装置１４は仮の位置に設置されている。そのため、作業者の調整作業として、まず、撮像装置１４の撮像方向およびズーム倍率の調整が行われる。そして、撮像方向およびズーム倍率の調整を適切に行うことができれば、そのときの撮像装置１４の位置が適切な位置となる。

具体的には、投射型表示装置１２の表示範囲（投射範囲）ＤＲと撮像装置１４の撮像範囲ＳＲとを目標（所定）の位置サイズ関係に調整する作業者の調整作業として、撮像範囲ＳＲ内に表示範囲ＤＲ全体を含めるための調整作業（撮像装置１４の撮像方向およびズーム倍率の調整）が行われる。

図３Ａは、表示装置の表示範囲と撮像装置の撮像範囲との所定の位置サイズ関係の一例を示す図である。また、図３Ｂは、表示装置の表示範囲と撮像装置の撮像範囲との所定の位置サイズ関係の別例を示す図である。

本実施の形態１の場合、さらに具体的には、図３Ａに示すように、撮像範囲ＳＲの中心Ｃｓと表示範囲ＤＲの中心Ｃｄとが一致し、且つ、表示範囲ＤＲの面積が撮像範囲ＳＲの面積に対して所定の割合（例えば８０％）にするための調整作業が行われる。なお、面積の調整に代わって、図３Ｂに示すように、表示範囲ＤＲの輪郭線ＤＬと撮像範囲ＳＲの輪郭線ＳＬとの間の距離ｄ１〜ｄ４が所定の画素数（例えば２０〜４０ピクセル）になるような調整であってもよい。この距離ｄ１〜ｄ４は、同一であってもよいし、異なってもよい。

このような作業者の調整作業を支援する位置サイズ調整支援システム１０における調整支援装置１６は、図１に示すように、例えば、ラップトップ型ＰＣ（パーソナルコンピュータ）で構成される。プログラムがインストールされることにより、ＰＣが調整支援装置１６として機能する。

作業者の調整作業を支援するために、調整支援装置１６は、有線または無線を介して投射型表示装置１２および撮像装置１４に対して接続されている。

また、調整支援装置１６は、図２に示すように、目標位置サイズ関係取得部２０と、位置サイズ関係算出部２２と、調整動作算出部２４と、調整ガイド情報作成部２６と、記憶部２８とを有する。調整支援装置１６が、上述したようにＰＣで構成される場合、ＰＣのＣＰＵが、ハードディスクなどの記憶装置（記憶部２８）に記憶されているプログラムにしたがって動作することにより、目標位置サイズ関係取得部２０、位置サイズ関係算出部２２、調整動作算出部２４、および調整ガイド情報作成部２６として機能する。

目標位置サイズ関係取得部２０は、表示範囲ＤＲと撮像範囲ＳＲとの位置サイズ関係について、作業者が所望する目標の位置サイズ関係（すなわち所定の位置サイズ関係）の情報を取得する。例えば、調整支援装置１６がラップトップ型ＰＣで構成されている場合、ラップトップ型ＰＣのキーボードやラップトップ型ＰＣに接続されたマウスなどの入力デバイスを介して、作業者が所望する位置サイズ関係の情報を取得する。一例として、ラップトップ型ＰＣのディスプレイに複数の位置サイズ関係の情報を表示し、その複数の位置サイズ関係の情報の中から１つをマウスを介して作業者が選択する。また、撮像範囲ＳＲの面積に対する表示範囲ＤＲの面積の割合などが、作業者によってキーボードを介して数値入力される。

なお、ディスプレイを備えていない装置の場合、例えばコンピューティングボードが組み込まれているが、ディスプレイを備えていない装置の場合、投射型表示装置１２によって調整作業に必要な情報をスクリーンＳに投射してもよい。作業者は、スクリーンを見ながら装置に接続されたキーボードやマウスなどを操作することにより、調整作業を行う。

位置サイズ関係算出部２２は、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲとの位置サイズ関係を算出する。この位置サイズ関係の算出は、撮像装置１４の撮像画像に基づいて行われる。

まず、前準備として、投射型表示装置１２が表示範囲ＤＲ全体に広がる所定のパターン画像Ｐｉ（図４参照）を投射することにより、その表示範囲ＤＲを作業者が視認可能な状態にする。そして、その可視化された表示範囲ＤＲ（すなわちパターン画像Ｐｉ）に撮像装置１４が向くように作業者が撮像装置１４を調整する。

前準備が完了すると、撮像装置１４が、可視化された表示範囲ＤＲ（パターン画像Ｐｉ）を撮像する。その表示範囲ＤＲの少なくとも一部分が写る撮像画像を、調整支援装置１６は撮像装置１４から取得する。

図４は、撮像装置によって撮像され、表示装置の表示範囲の一部分が写る撮像画像の一例を示す図である。また、図５は、図４に示す撮像画像が撮像されたときの表示装置の表示範囲と撮像装置の撮像範囲との位置サイズ関係を示す図である。

図４に示すように、撮像装置１４の撮像画像Ｓｐには、可視化された表示範囲ＤＲの一部分（パターン画像Ｐｉの一部分）が写っている。すなわち、図５に示すように、撮像装置１４の撮像範囲ＳＲ内に存在する表示範囲ＤＲの部分が、撮像画像Ｓｐに写っている。なお、図５において、二点鎖線は、表示範囲ＤＲと撮像範囲ＳＲとが所定の位置サイズ関係であるときの目標の撮像範囲ＳＲ’を示している。

このようなパターン画像Ｐｉが写る撮像画像Ｓｐに基づいて、調整支援装置１６の位置サイズ関係算出部２２は、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲの位置サイズ関係を算出する。具体的には、撮像画像Ｓｐに対して画像処理を行い、撮像画像Ｓｐにおける表示範囲ＤＲの少なくとも一部分、すなわちパターン画像Ｐｉの一部分を抽出する。この抽出が可能になるようなパターン、すなわち投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲの対応関係（例えば投射型表示装置１２の画素と撮像装置１４の画素との対応関係）を取得できるパターンをパターン画像Ｐｉは備えている。なお、パターン画像Ｐｉが備えるパターンは、１種類であってもよく、または異なる種類の複数枚の組み合わせであってもよい。

抽出された撮像画像Ｓｐにおけるパターン画像Ｐｉの部分に基づいて、位置サイズ関係算出部２２は、例えば、撮像範囲ＳＲの中心Ｃｓ（形状中心）と表示範囲ＤＲの中心Ｃｄ（形状中心）のずれ方向およびずれ量と、撮像範囲ＳＲに対する表示範囲ＤＲの面積比とを位置サイズ関係として算出する。

なお、位置サイズ関係算出部２２は、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲが目標（所定）の位置サイズ関係になるように作業者が調整作業を実行している間、一定の周期で、位置サイズ関係を算出する。位置サイズ関係の算出は、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲの位置サイズ関係が目標（所定）の位置サイズ関係になるまで行われる。

調整動作算出部２４は、表示範囲ＤＲと撮像範囲ＳＲを目標位置サイズ関係取得部２０によって取得された目標(所定）の位置サイズ関係に変更するための調整動作として、撮像範囲ＳＲの移動方向およびサイズ変更方向の少なくとも１つを算出する。その算出は、位置サイズ関係算出部２２によって算出された投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲの位置サイズ関係に基づいて行われる、なお、ここで言う「サイズ変更方向」は、サイズの拡大または縮小を意味する。

例えば、図５に示す例の場合、表示範囲ＤＲの中心Ｃｄが、撮像範囲ＳＲの中心Ｃｓに対して左下に存在する。また、撮像範囲ＳＲが、表示範囲ＤＲに対して目標（所定）の位置サイズ関係にある目標の撮像範囲ＳＲ’（二点鎖線）に比べて大きい。この場合、調整動作算出部２４は、調整動作として、撮像範囲ＳＲの移動方向として左下方向を算出するとともに、撮像範囲ＳＲのサイズ変更方向として縮小を算出する。

調整ガイド情報作成部２６は、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲを目標（所定）の位置サイズ関係にする作業者の調整作業を支援するために、その調整作業をガイドする調整ガイド情報を作成する。その調整ガイド情報は、調整動作算出部２４によって算出された調整動作を作業者に提示するための情報である。

本実施の形態１の場合、調整ガイド情報作成部２６は、調整ガイド情報を画像の形態で、すなわち調整ガイド用画像としてユーザに提示する。その調整ガイド用画像は、投射型表示装置１２によって表示される（スクリーンＳに投射される）。

図６Ａは、画像の形態で作業者に提示される調整ガイド情報の一例を示す図である。また、図６Ｂは、画像の形態で作業者に提示される調整ガイド情報の別例を示す図である。

調整ガイド情報作成部２６は、図６Ａに示すように、撮像範囲ＳＲの移動方向、すなわち表示範囲ＤＲの中心Ｃｄに撮像範囲ＳＲの中心Ｃｓを一致させるための移動方向を作業者に提示する調整ガイド用画像Ｇｉ１を作成する。図６Ａに示す例の場合、撮像範囲ＳＲが左下方向に移動するように撮像装置１４の撮像方向を調整する調整作業を作業者に提示するために、左下に向いた矢印Ａｍを含む調整ガイド用画像Ｇｉ１が作成される。

なお、本実施の形態１の場合、調整ガイド用画像Ｇｉ１は、位置サイズ関係算出部２２が位置サイズ関係の算出に使用するパターン画像Ｐｉ上に撮像範囲ＳＲの移動方向を示す矢印Ａｍを重ねて構成されている。これにより、調整ガイド用画像Ｇｉ１は、位置サイズ関係の算出に使用されるとともに、作業者に撮像範囲ＳＲの移動方向を提示する。

また、調整ガイド情報作成部２６は、図６Ｂに示すように、撮像範囲ＳＲのサイズ変更方向を提示する調整ガイド用画像Ｇｉ２を作成する。この調整ガイド用画像Ｇｉ２は、撮像範囲ＳＲが表示範囲ＤＲに対して所定の位置関係になるように配置された後（表示範囲ＤＲの中心Ｃｄに撮像範囲ＳＲの中心Ｃｓが一致した後）に作成される。図６Ｂに示す例の場合、撮像範囲ＳＲが縮小するように撮像装置１４のズーム倍率を調整することを作業者に提示するために、中心に向いた複数の矢印Ａｓを含む調整ガイド用画像Ｇｉ２が作成される。

なお、本実施の形態１の場合、調整ガイド用画像Ｇｉ２は、位置サイズ関係算出部２２が位置サイズ関係の算出に使用するパターン画像Ｐｉ上に撮像範囲ＳＲのサイズ変更方向を示す矢印Ａｓを重ねて構成されている。これにより、調整ガイド用画像Ｇｉ２は、位置サイズ関係の算出に使用されるとともに、作業者に撮像範囲ＳＲのサイズ変更方向を提示する。

調整ガイド情報作成部２６によって作成された調整ガイド用画像Ｇｉ１、Ｇｉ２は、調整支援装置１６から投射型表示装置１２に送信され、投射型表示装置１２によってスクリーンＳに投射される。

調整ガイド用画像の作成は、断続的に実行される。すなわち、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲが目標（所定）の位置サイズ関係になるように作業者が調整作業を実行している間は位置サイズ関係が変化するので、その変化した位置サイズ関係に基づいて調整ガイド用画像が更新される。

なお、撮像範囲ＳＲを移動させるようにまたは撮像範囲ＳＲのサイズを変更するように作業者に提示する方法は、矢印の提示に限らない。

移動方向の提示に関して、例えば、表示範囲ＤＲの輪郭線を含む調整ガイド用画像が作成されてもよい。また例えば、表示範囲ＤＲに含まれる撮像範囲ＳＲの部分に対応する調整ガイド用画像の部分が他の部分と異なるように特徴付けられた（例えば、色や模様が異なる）調整ガイド用画像が作成されてもよい。

また例えば、移動方向の提示に関して、撮像範囲ＳＲの中心Ｃｓが表示範囲ＤＲ内に位置する場合、調整ガイド用Ｇｉ１は、撮像範囲ＳＲの中心Ｃｓを示すマークと表示範囲ＤＲの中心Ｃｄを示すマークとを含んでもよい。これにより、作業者は撮像方向を知ることができるとともに、その撮像方向の調整量を知ることができる。

サイズ変更方向に関して、例えば、中央から外側に向かうにしたがって濃淡が変化しているグラデーション画像が調整ガイド用画像として作成されてもよい。撮像範囲ＳＲを縮小するように作業者に提示する場合、中央から外側に向かって淡くなるグラデーション画像が作成される。また、撮像範囲ＳＲを拡大するように作業者に提示する場合、中央から外側に向かって濃くなるグラデーション画像が作成される。

また、位置サイズ関係算出部２２が目標（所定）の位置サイズ関係を算出すると、調整支援装置１６は、調整完了を作業者に提示する調整完了提示用画像を投射型表示装置１２に表示させてもよい。

ここまでは、位置サイズ調整支援システム１０の構成について説明してきた。ここからは、位置サイズ調整支援システム１０の動作、すなわち調整支援装置１６の動作について説明する。

図７は、調整支援装置の動作の流れの一例を示すフローチャートである。

図７に示すように、ステップＳ１００において、まず、調整支援装置１６（目標位置サイズ関係取得部２０）は、作業者の入力を介して、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲの目標（所定）の位置サイズ関係を取得する。

次に、ステップＳ１１０において、撮像装置１４が撮像を実行する。これにより、図４に示すように、投射型表示装置１２の表示範囲ＤＲの少なくとも一部分が写る撮像画像Ｓｐが作成される。

続いて、ステップＳ１２０において、調整支援装置１６（位置サイズ関係算出部２２）は、ステップＳ１１０で作成された撮像画像Ｓｐに基づいて、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲの位置サイズ関係を算出する。

ステップＳ１３０において、調整支援装置１６は、ステップＳ１２０で算出された位置サイズ関係に基づいて、投射型表示装置１２の表示範囲ＤＲの中心Ｃｄと撮像装置１４の撮像範囲ＳＲの中心Ｃｓとが一致しているか否かを判定する。一致している場合には、調整支援装置１６はステップＳ１４０に進む。そうでない場合には、ステップＳ１５０に進む。

ステップＳ１３０で投射型表示装置１２の表示範囲ＤＲの中心Ｃｄと撮像装置１４の撮像範囲ＳＲの中心Ｃｓとが一致していないと判定された場合、ステップＳ１５０において、調整支援装置１６（調整動作算出部２４）は、ステップＳ１２０で算出された位置サイズ関係に基づいて、撮像範囲ＳＲの移動方向、すなわち表示範囲ＤＲの中心Ｃｄに撮像範囲ＳＲの中心Ｃｓを一致させるための移動方向を算出する。

ステップＳ１６０において、調整支援装置１６（調整ガイド情報作成部２６）は、ステップＳ１５０で算出された撮像範囲ＳＲの移動方向を作業者に提示するための調整ガイド用画像Ｇｉ１を作成する。

ステップＳ１７０において、調整支援装置１６は、ステップＳ１６０で作成された調整ガイド用画像Ｇｉ１を、投射型表示装置１２を介して出力する。すなわち、図６Ａに示すように、表示範囲ＤＲに、撮像範囲ＳＲの移動方向を作業者に提示する調整ガイド用画像Ｇｉ１が表示される。その表示後、調整支援装置１６はステップＳ１１０に戻る。

ステップＳ１３０で投射型表示装置１２の表示範囲ＤＲの中心Ｃｄと撮像装置１４の撮像範囲ＳＲの中心Ｃｓとが一致していると判定された場合、ステップＳ１４０において、調整支援装置１６は、ステップＳ１２０で算出された位置サイズ関係に基づいて、投射型表示装置１２の表示範囲ＤＲの面積が撮像装置１４の撮像範囲ＳＲの面積に対して所定の割合（例えば８０％）であるか否かを判定する。所定の割合である場合には、調整支援装置１６はステップＳ１８０に進む。そうでない場合には、ステップＳ１９０に進む。

ステップＳ１４０で投射型表示装置１２の表示範囲ＤＲの面積が撮像装置１４の撮像範囲ＳＲの面積に対して所定の割合ではない判定された場合、ステップＳ１９０において、調整支援装置１６（調整動作算出部２４）は、ステップＳ１２０で算出された位置サイズ関係に基づいて、撮像範囲ＳＲのサイズ変更方向、すなわち表示範囲ＤＲの面積を撮像範囲ＳＲの面積に対して所定の割合にするためのサイズ変更方向を算出する。

ステップＳ２００において、調整支援装置１６（調整ガイド情報作成部２６）は、ステップＳ１９０で算出された撮像範囲ＳＲのサイズ変更方向を作業者に提示するための調整ガイド用画像Ｇｐ２を作成する。

ステップＳ２１０において、調整支援装置１６は、ステップＳ２００で作成された調整ガイド用画像Ｇｐ２を、投射型表示装置１２を介して出力する。すなわち、図６Ｂに示すように、表示範囲ＤＲに、撮像範囲ＳＲのサイズ変更方向を作業者に提示する調整ガイド用画像Ｇｐ２が表示される。その表示後、調整支援装置１６はステップＳ１１０に戻る。

ステップＳ１３０で投射型表示装置１２の表示範囲ＤＲの中心Ｃｄと撮像装置１４の撮像範囲ＳＲの中心Ｃｓとが一致していると判定され、且つ、ステップＳ１４０で表示範囲ＤＲの面積が撮像範囲ＳＲの面積に対して所定の割合であると判定された場合、表示範囲ＤＲと撮像範囲ＳＲとが所定の位置サイズ関係であることを意味する。そこで、ステップＳ１８０において、調整支援装置１６は、調整完了を作業者に提示する調整完了提示用画像を投射型表示装置１２介して出力する。すなわち、調整完了提示用画像が表示範囲ＤＲに表示される。

以上のような本実施の形態１によれば、撮像装置１４の仕様にかかわらず、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲとを所定の位置サイズ関係に調整することができる。

具体的に説明すると、作業者が、投射型表示装置１２の表示範囲ＤＲに表示された調整ガイド用画像Ｇｐ１、Ｇｐ２を参照しながら、すなわち撮像装置１４の撮像画像を確認することなく、撮像装置１４の撮像方向やズーム倍率を調整することができる。したがって、撮像装置１４は、外部信号に基づいて撮像方向やズーム倍率を変更する仕様の撮像装置でなくてもよい。また、撮像画像を表示するモニタを備えていない撮像装置であっても、投射型表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整することができる。

（実施の形態２）
上述の実施の形態１の場合、作業者は、調整ガイド情報（調整ガイド用画像）によって撮像装置の撮像範囲の移動方向およびサイズ変更方向については提示されるが、その移動量やサイズ変更量については提示されない。そこで、本実施の形態２は、その移動量やサイズ変更量を調整ガイド情報として作業者に提示する。なお、調整支援装置が異なる点を除いて、本実施の形態２は上述の実施の形態１と実質的に同一の構成である。

本実施の形態２に係る調整支援装置の調整動作算出部は、上述の実施の形態１における調整支援装置１６の調整動作算出部２４と同様に、撮像装置１４の撮像範囲ＳＲの移動方向とサイズ変更方向とを算出する。それとともに、本実施の形態２に係る調整動作算出部は、位置サイズ関係算出部によって算出された位置サイズ関係に基づいて、撮像範囲ＳＲの移動量とサイズ変更量とを算出する。撮像範囲ＳＲの移動量は、例えば、撮像範囲ＳＲの中心Ｃｓと表示範囲ＤＲの中心Ｃｄとの間の距離である。サイズ変更量は、例えば、表示範囲ＤＲが撮像範囲ＳＲに対して所定の割合（両範囲が目標（所定）の位置サイズ関係であるときの割合）であるときの目標の撮像範囲ＳＲ’と、算出時点での撮像範囲ＳＲとの面積比である。

本実施の形態２に係る調整支援装置の調整ガイド情報作成部は、調整動作算出部によって算出された撮像装置１４の撮像範囲ＳＲの移動方向および移動量と、サイズ変更方向およびサイズ変更量とに基づいて調整ガイド用画像を作成する。

図８Ａ〜図８Ｃは、撮像範囲の移動方向および移動量を提示する調整ガイド用画像の一例を示している。また、図９Ａ〜図９Ｃは、撮像範囲のサイズ変更方向およびサイズ変更量を提示する調整ガイド用画像の一例を示している。

図８Ａ〜図８Ｃに示すように、調整ガイド用画像Ｇｐ１において、矢印Ａｍは、撮像範囲ＳＲの中心Ｃｓと表示範囲ＤＲの中心Ｃｄとの間の距離が小さくなるほど、そのサイズが縮小する。したがって、矢印Ａｍが小さくなると、作業者は、撮像範囲ＳＲの中心Ｃｓが表示範囲ＤＲの中心Ｃｄに近づいていると認識することができる。

図９Ａ〜図９Ｃに示すように、調整ガイド用画像Ｇｐ２において、複数の矢印Ａｓは、撮像範囲ＳＲの面積が目標の撮像範囲ＳＲ’の面積に近づくほど、そのサイズが縮小する。したがって、矢印Ａｓが小さくなると、作業者は、撮像範囲ＳＲの面積が目標の撮像範囲ＳＲ’の面積に近づいていると認識することができる。

なお、撮像範囲ＳＲの移動量やサイズ変更量の提示は矢印Ａｍ、Ａｓのサイズ変更に限らない。例えば、矢印Ａｍ、Ａｓは、そのサイズが変化することなく、点滅間隔によって撮像範囲ＳＲの移動量やサイズ変更量を提示してもよい。例えば、矢印Ａｍ、Ａｓは、撮像範囲ＳＲと表示範囲ＤＲが所定の位置サイズ関係に近づくほど、その点滅間隔が短くなる。

以上のような本実施の形態２も、上述の実施の形態１と同様に、撮像装置の仕様にかかわらず、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲとを所定の位置サイズ関係に調整することができる。

（実施の形態３）
上述の実施の形態１および２の場合、作業者は、前準備として、図４および図５に示すように、投射型表示装置１２の表示範囲ＤＲ（パターン画像Ｐｉ）の少なくとも一部分が撮像装置１４の撮像範囲ＳＲ内に存在するように、撮像装置１４をその表示範囲ＤＲに向ける。しかしながら、その前準備に時間がかかる可能性がある。特に、上述の実施の形態１と異なり、撮像装置１４の位置も調整する場合に時間がかかる可能性がある。なぜなら、作業者は、撮像範囲ＳＲを視認することが困難である可能性があるからである。例えば、撮像装置１４に接続されてその撮像範囲ＳＲを提示するディスプレイ自体がない、またはディスプレイに接続されていても撮像装置１４を調整しながらそのディスプレイを作業者は見ることができない可能性がある。そこで、本実施の形態３は、その撮像範囲ＳＲを、作業者に視認可能にする。なお、調整支援装置が異なる点を除いて、本実施の形態３は上述の実施の形態１と実質的に同一の構成である。

本実施の形態３に係る調整支援装置は、パターン画像Ｐｉを少なくとも部分的に変更するパターン画像変更部を備える。位置サイズ関係算出部によって算出された位置サイズ関係に基づいて、パターン画像変更部は、パターン画像Ｐｉを変更する。

図１０Ａは、撮像装置の撮像範囲外に存在するパターン画像を示す図である。図１０Ｂは、撮像装置の範囲内に一部分が存在するパターン画像を示す図である。

図１０Ａおよび図１０Ｂに示すように、作業者が撮像装置１４を移動させてその撮像範囲ＳＲ内に投射型表示装置１２のパターン画像Ｐｉの一部分Ｐｉａが進入すると、本実施の形態３に係る調整支援装置のパターン画像変更部は、その一部分Ｐｉａを変更する。具体的には、パターン画像変更部は、その一部分Ｐｉａと撮像範囲ＳＲ外に存在する残りの部Ｐｉｂとが視覚的に異なるように、パターン画像を変更する。例えば、色が異なるようにパターン画像Ｐｉが変更される。これにより、作業者は、撮像範囲ＳＲの位置を認識することができる。

以上のような本実施の形態３も、上述の実施の形態１と同様に、撮像装置の仕様にかかわらず、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲとを所定の位置サイズ関係に調整することができる。

以上、上述の実施の形態１〜３を挙げて説明したが、本開示の実施の形態は上述の実施の形態に限らない。

例えば、上述の実施の形態１〜３の場合、表示装置は、プロジェクタなどの投射型表示装置１２であるが、本開示の実施の形態はこれに限らない。表示装置は、例えば、大型液晶ディスプレイであってもよい。

また、上述の実施の形態１〜３の場合、作業者の調整作業は、撮像装置１４の位置、撮像方向、およびズーム倍率の少なくとも１つを調整する作業であったが、本開示の実施の形態はこれに限らない。撮像装置１４を調整する代わりに、作業者の調整作業は、投射型表示装置１２の位置、投射方向、およびズーム倍率の少なくとも１つを調整する作業であってもよい。あるいは、作業者の調整作業は、投射型表示装置１２と撮像装置１４の両方に対する調整作業であってもよい。このような場合でも、本開示の実施の形態は、表示範囲と撮像範囲とを所定の位置サイズ関係にすることができる。

さらに、上述の実施の形態１の場合、図６Ａおよび図６Ｂに示すように、調整ガイド用画像Ｇｉ１、Ｇｉ２は、作業者の調整作業を支援するとともに、投射型表示装置１２の表示範囲ＤＲと撮像装置１４の撮像範囲ＳＲの位置サイズ関係を算出するためのパターン画像Ｐｉを含んでいる。しかしながら、調整ガイド用画像がパターン画像を含まなくても、作業者の調整作業は支援可能である。なお、この場合、例えば、調整ガイド用画像の支援を受けて作業者が撮像装置の位置、撮像方向、およびズーム倍率を調整した後、すなわちそれにより位置サイズ関係が変わると、調整支援装置は、調整ガイド用画像（パターン画像を含まない）からパターン画像に変更する。そのパターン画像に基づいて、新たに位置サイズ関係が算出される。その結果として、投射型表示装置は、調整ガイド用画像（パターン画像を含まない）とパターン画像とを交互に表示する。

さらにまた、上述の実施の形態１〜３の場合、１台の投射型表示装置１２の表示範囲ＤＲと１台の撮像装置１４の撮像範囲ＳＲを所定の位置サイズ関係の調整するための作業者の調整作業を支援するが、本開示の実施の形態はこれに限らない。

図１１は、１台の撮像装置の撮像範囲に対して位置サイズ関係がそれぞれ調整された複数台の表示装置の表示範囲を示す図である。

図１１に示すように、複数台の投射型表示装置１２Ａ〜１２Ｃそれぞれの表示範囲ＤＲＡ〜ＤＲＣが部分的にオーバーラップしている。中央の投射型表示装置１２Ａの表示範囲ＤＲＡの左側部分に、左側の投射型表示装置１２Ｂの表示範囲ＤＲＢの右側部分がオーバーラップしている。また、中央の表示範囲ＤＲＡの右側部分に、右側の投射型表示装置１２Ｃの表示範囲ＤＲＣの左側部分がオーバーラップしている。これらの表示範囲ＤＲＡ〜ＤＲＣのオーバーラップ量は、例えば２００ピクセルである。このように複数台の投射型表示装置１２Ａ〜１２Ｃを用いることにより、１台の投射型表示装置を用いる場合に比べて大きな画像や映像を表示することができる。

撮像装置１４は、複数台の投射型表示装置１２Ａ〜１２Ｃそれぞれの表示範囲ＤＲＡ〜ＤＲＣの重なり具合をモニタリングするために使用されている。そのため、撮像装置１４の撮像範囲ＳＲと複数台の投射型表示装置１２Ａ〜１２Ｃの表示範囲ＤＲＡ〜ＤＲＣそれぞれが所定の位置サイズ関係であるとき、中央の表示範囲ＤＲＡ全体、表示範囲ＤＲＢの右側部分、および表示範囲ＤＲＣの左側部分が撮像範囲ＳＲに含まれる。

この場合、まず、中央の投射型表示装置１２Ａが適切な位置に設置され、投射方向やズーム倍率が適切に調整される。その中央の投射型表示装置１２Ａの表示範囲ＤＲＡの中心と撮像範囲ＳＲの中心とが一致するように、撮像装置１４の位置および撮像方向を、調整支援装置の支援を受けながら作業者が調整する（第１の調整）。

次に、作業者の第１の調整が完了した後、撮像装置１４の撮像範囲ＳＲに左側の投射型表示装置１２Ｂの表示範囲ＤＲＢと右側の投射型表示装置１２Ｃの表示範囲ＤＲＣが所定の割合で含まれるように、投射型表示装置１２Ｂ、１２Ｃの位置、投射方向、およびズーム倍率と撮像装置１４のズーム倍率を、調整支援装置の支援を受けながら作業者が調整する（第２の調整）。

そして、上述の実施の形態の場合、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援するための調整ガイド情報は、画像の形態で作業者に提示されている。しかしながら、本開示の実施の形態はこれに限らない。調整ガイド情報は、例えば音声であってもよい。例えば、調整支援装置がＰＣである場合、ＰＣに搭載されたスピーカを介して調整ガイド情報が作業者に対して出力されてもよい。

すなわち、本開示の実施の形態は、広義には、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援する表示装置と撮像装置のための位置サイズ調整の支援方法であって、前記表示範囲の少なくとも一部分を前記撮像装置によって撮像し、前記撮像装置によって撮像された撮像画像に基づいて、前記表示範囲と前記撮像範囲との位置サイズ関係を算出し、算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも１つを算出し、算出した移動方向およびサイズ変更方向の少なくとも１つを作業者に提示する調整ガイド情報を作成し、前記調整ガイド情報を作業者に出力するものである。

以上のように、本開示における技術の例示として、上述の実施の形態を説明してきた。そのために、図面および詳細な説明を提供している。したがって、図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上述の技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。

本開示は、プロジェクタ、ディスプレイなどの表示装置の表示範囲を、カメラなどの撮像装置によって撮像する場合に適用可能である。

１２ 表示装置（投射型表示装置）
１４ 撮像装置
ＤＲ 表示範囲
ＳＲ 撮像範囲

Claims (10)

1. 表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援する表示装置と撮像装置のための位置サイズ調整の支援方法であって、
   前記表示範囲の少なくとも一部分を前記撮像装置によって撮像し、
   前記撮像装置によって撮像された撮像画像に基づいて、前記表示範囲と前記撮像範囲との位置サイズ関係を算出し、
   算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも１つを算出し、
   算出した移動方向およびサイズ変更方向の少なくとも１つを作業者に提示する調整ガイド情報を作成し、
   前記調整ガイド情報を作業者に出力する、位置サイズ調整の支援方法。
   
2. 前記調整ガイド情報として、調整ガイド用画像を作成し、
   前記調整ガイド用画像を、前記表示装置に表示させる、請求項１に記載の位置サイズ調整の支援方法。
   
3. 算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動量およびサイズ変更量の少なくとも１つを算出し、
   前記調整ガイド用画像が、算出した移動量およびサイズ変更量を作業者に提示するように作成される、請求項２に記載の位置サイズ調整の支援方法。
   
4. 前記調整作業によって前記表示範囲と前記撮像範囲の位置サイズ関係が変化すると、その変化した位置サイズ関係に基づいて前記調整ガイド用画像を更新する、請求項２または３に記載の位置サイズ調整の支援方法。
   
5. 前記調整作業によって前記表示範囲と前記撮像範囲とが前記所定の位置サイズ関係になると、調整完了を提示する調整完了提示用画像を前記表示装置に表示させる、請求項２から４のいずれか一項に記載の位置サイズ調整の支援方法。
   
6. 前記表示範囲にパターン画像を表示し、
   前記撮像範囲外に前記パターン画像の一部分が存在する場合、前記パターン画像を、前記撮像範囲内に存在する一部分と前記撮像範囲外に存在する残りの部分とが視覚的に異なるように表示する、請求項２から５のいずれか一項に記載の位置サイズ調整の支援方法。
   
7. 前記表示範囲と前記撮像範囲とが前記所定の位置サイズ関係にあるとき、前記撮像範囲内に前記表示範囲全体が含まれる、請求項１から６のいずれか一項に記載の位置サイズ調整の支援方法。
   
8. 前記表示範囲と前記撮像範囲とが前記所定の位置サイズ関係にあるとき、前記撮像範囲の中心と前記表示範囲の中心とが一致し、且つ、前記表示範囲の面積が前記撮像範囲の面積に対して所定の割合である、請求項７に記載の位置サイズ調整の支援方法。
   
9. 前記表示装置が、画像を投射する投射型表示装置であって、
   前記表示範囲が、投射範囲である、請求項１から８のいずれか一項に記載の位置サイズ調整の支援方法。
   
10. 表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援する位置サイズ調整の支援装置であって、
    前記撮像装置によって撮像され、前記表示装置の表示範囲の少なくとも一部分が写る撮像画像を取得し、
    前記撮像画像に基づいて、前記表示範囲と前記撮像範囲の位置サイズ関係を算出し、
    算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも１つを算出し、
    算出した移動方向およびサイズ変更方向の少なくとも１つを作業者に提示する調整ガイド情報を作成し、
    前記調整ガイド情報を作業者に出力する、位置サイズ調整の支援装置。

Images