JP2023020648A - 制御装置、制御方法、投影システム、及び制御プログラム - Google Patents

制御装置、制御方法、投影システム、及び制御プログラム Download PDF

Info

Publication number
JP2023020648A
JP2023020648A JP2021126129A JP2021126129A JP2023020648A JP 2023020648 A JP2023020648 A JP 2023020648A JP 2021126129 A JP2021126129 A JP 2021126129A JP 2021126129 A JP2021126129 A JP 2021126129A JP 2023020648 A JP2023020648 A JP 2023020648A
Authority
JP
Japan
Prior art keywords
projection
image
control
imaging
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021126129A
Other languages
English (en)
Inventor
賢司 今村
Kenji Imamura
和幸 板垣
Kazuyuki Itagaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2021126129A priority Critical patent/JP2023020648A/ja
Priority to US17/852,804 priority patent/US11895444B2/en
Priority to CN202210890300.6A priority patent/CN115695748A/zh
Publication of JP2023020648A publication Critical patent/JP2023020648A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/142Adjusting of projection optics
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/26Projecting separately subsidiary matter simultaneously with main image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/317Convergence or focusing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence

Abstract

【課題】広い投影範囲に対する投影装置の投影を容易に調整することのできる制御装置、制御方法、投影システム、及び制御プログラムを提供する。【解決手段】投影システム100は、複数のマーカー画像を含む第1画像71を投影する投影装置10と、第1画像71の少なくとも一部を撮像する撮像装置90と、コンピュータ50と、を備える。コンピュータ50は、撮像装置90による第1画像71の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像81~84を投影装置10から投影させる制御を行う。【選択図】図8

Description

本発明は、制御装置、制御方法、投影システム、及び制御プログラムに関する。
特許文献1には、複数のプロジェクタから投影された校正用投影像を複数の領域に分けてカメラで撮像し、プロジェクタ毎に位置合わせ、スケール合わせ、歪み補正、重複領域の輝度補正等を行う各種補正係数を算出することが記載されている。
特許文献2には、プロジェクタによる投影領域を部分的に重複するように複数の領域に分けて撮像し、撮像画像に基づいて、隣り合う部分画像同士を互いに繋ぎ合わせるための射影変換行列を推定することが記載されている。
特許文献3には、スタック投影に際し、テストパターンを重なり合ったまま同時に投影して撮像し、プロジェクタ毎にR,G,Bなど波長域を変えたパターンや、偏光特性を変えたパターンを投影し、事後的に重畳したパターンを分離することが記載されている。
特開2015-026992号公報 再表2016/204068号公報 特開2012-047849号公報
本開示の技術に係る1つの実施形態は、広い投影範囲に対する投影装置の投影を容易に調整することができる制御装置、制御方法、投影システム、及び制御プログラムを提供する。
本発明の一態様の制御装置は、複数のマーカー画像を含む第1画像を投影する1以上の投影装置と、上記第1画像の少なくとも一部を撮像する撮像装置と、を備える投影システムの制御装置であって、プロセッサを備え、上記プロセッサは、上記撮像装置による上記第1画像の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像を上記投影装置から投影させる制御を行うものである。
本発明の一態様の制御方法は、複数のマーカー画像を含む第1画像を投影する1以上の投影装置と、上記第1画像の少なくとも一部を撮像する撮像装置と、を含む投影システムの制御装置による制御方法であって、上記制御装置はプロセッサを備え、プロセッサが、上記撮像装置による上記第1画像の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像を上記投影装置から投影させる制御を行うものである。
本発明の一態様の投影システムは、複数のマーカー画像を含む第1画像を投影する1以上の投影装置と、上記第1画像の少なくとも一部を撮像する撮像装置と、制御装置と、を備える投影システムであって、上記制御装置は、プロセッサを備え、上記プロセッサは、上記撮像装置による上記第1画像の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像を上記投影装置から投影させる制御を行うものである。
本発明の一態様の制御プログラムは、複数のマーカー画像を含む第1画像を投影する1以上の投影装置と、上記第1画像の少なくとも一部を撮像する撮像装置と、を含む投影システムの制御装置のプロセッサに、上記撮像装置による上記第1画像の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像を上記投影装置から投影させる制御を行う、処理を実行させるためのものである。
本発明によれば、広い投影範囲に対する投影装置の投影を容易に調整することのできる制御装置、制御方法、投影システム、及び制御プログラムを提供することができる。
実施形態の投影システム100の一例を示す図である。 投影装置10の一例を示す図である。 投影部1の内部構成の一例を示す模式図である。 投影装置10の外観構成を示す模式図である。 図4に示した投影装置10の光学ユニット106の断面模式図である。 コンピュータ50のハードウェア構成の一例を示す図である。 投影装置10による第1画像の投影及び撮像装置90の撮像可能範囲の一例を示す図である。 投影装置10による第2画像の投影の一例を示す図(その1)である。 投影装置10による第2画像の投影の一例を示す図(その2)である。 投影装置10による第2画像の投影の一例を示す図(その3)である。 投影装置10による第2画像の投影の一例を示す図(その4)である。 コンピュータ50による処理の一例を示すフローチャートである。 投影装置10が投影する第1画像71の他の一例を示す図である。 投影装置10が投影する第2画像81の他の一例を示す図である。 複数の投影装置によるスタック投影の調整前の状態一例を示す図である。 コンピュータ50による、撮像条件に基づく処理の一例を示すフローチャートである。 投影装置10,10Aの個別の投影の一例を示す図(その1)である。 投影装置10,10Aの個別の投影の一例を示す図(その2)である。 投影装置10,10Aの同時の投影の一例を示す図である。 投影範囲11,11Aの重畳によるスタック投影の一例を示す図である。 複数の投影装置によるブレンディング投影の調整前の状態の一例を示す図である。 投影範囲11,11Aの重畳によるブレンディング投影の一例を示す図である。 コンピュータ50による、撮像条件に基づく処理の他の一例を示すフローチャートである。 撮像装置90による撮像の解像度が低い場合の第2画像の一例を示す図である。 コンピュータ50による、撮像条件に基づく処理の更に他の一例を示すフローチャートである。 撮像装置90による撮像の解像度が低い場合の第2画像のマーカー画像の一例を示す図である。 投影装置10の他の外観構成を示す模式図である。 図27に示した投影装置10の光学ユニット106の断面模式図である。
以下、本発明の実施形態の一例について、図面を参照して説明する。
(実施形態)
<実施形態の投影システム100>
図1は、実施形態の投影システム100の一例を示す図である。図1に示すように、投影システム100は、投影装置10と、コンピュータ50と、撮像装置90と、を備える。コンピュータ50は、本発明における制御装置の一例である。
コンピュータ50は、投影装置10及び撮像装置90と通信可能である。図1に示す例では、コンピュータ50は、通信ケーブル8を介して投影装置10と接続されており、投影装置10と通信可能である。コンピュータ50は、通信ケーブル9を介して撮像装置90と接続されており、撮像装置90と通信可能である。
投影装置10は、投影対象物6に対する投影が可能な投影装置である。撮像装置90は、投影装置10によって投影対象物6に投影された画像を撮像可能な撮像装置である。
投影対象物6は、投影装置10によって投影画像が表示される投影面を有するスクリーンなどの物体である。図1に示す例では、投影対象物6は、投影対象物6の投影面は矩形の平面である。図1における投影対象物6の上下左右が、実際の投影対象物6の上下左右であるとする。
一点鎖線で図示する投影範囲11は、投影対象物6のうち、投影装置10により投影光が照射される領域である。図1に示す例では、投影範囲11は矩形である。投影範囲11は、投影装置10により投影が可能な投影可能範囲の一部又は全部である。
<投影装置10>
図2は、投影装置10の一例を示す図である。図2に示すように、投影装置10は、投影部1と、制御部4と、操作受付部2と、通信部5と、を備える。投影部1は、例えば液晶プロジェクタ又はLCOS(Liquid Crystal On Silicon)を用いたプロジェクタ等によって構成される。以下では、投影部1が液晶プロジェクタであるものとして説明する。
制御部4は、投影装置10による投影の制御を行う。制御部4は、各種のプロセッサにより構成される制御部と、各部と通信するための通信インタフェース(図示省略)と、ハードディスク、SSD(Solid State Drive)、又はROM(Read Only Memory)等の記憶媒体4aと、を含む装置であり、投影部1を統括制御する。制御部4の制御部の各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。制御部4の制御部は、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
操作受付部2は、ユーザからの各種の操作を受け付けることにより、ユーザからの指示(ユーザ指示)を検出する。操作受付部2は、制御部4に設けられたボタン、キー、ジョイスティック等であってもよいし、制御部4の遠隔操作を行うリモートコントローラからの信号を受け付ける受信部等であってもよい。
通信部5は、コンピュータ50との間で通信が可能な通信インタフェースである。通信部5は、図1に示したように有線通信を行う有線通信インタフェースであってもよいし、無線通信を行う無線通信インタフェースであってもよい。
なお、投影部1、制御部4、操作受付部2は、例えば一個の装置により実現される(例えば図4,図5参照)。又は、投影部1、制御部4、及び操作受付部2は、互いに通信を行うことにより連携する、それぞれ別の装置であってもよい。
<投影部1の内部構成>
図3は、投影部1の内部構成の一例を示す模式図である。図3に示すように、投影部1は、光源21と、光変調部22と、投影光学系23と、制御回路24と、を備える。光源21は、レーザ又はLED(Light Emitting Diode)等の発光素子を含み、例えば白色光を出射する。
光変調部22は、光源21から出射されて図示省略の色分離機構によって赤、青、緑の3色に分離された各色光を、画像情報に基づいて変調して各色画像を出射する3つの液晶パネル(光変調素子)と、3つの液晶パネルから出射された各色画像を混合して同一方向に出射するダイクロイックプリズムと、によって構成される。この3つの液晶パネルにそれぞれ赤、青、緑のフィルタを搭載し、光源21から出射された白色光を、各液晶パネルにて変調して各色画像を出射させてもよい。
投影光学系23は、光源21及び光変調部22からの光が入射されるものであり、少なくとも1つのレンズを含む、例えばリレー光学系によって構成されている。投影光学系23を通過した光は投影対象物6に投影される。
投影対象物6のうち、光変調部22の全範囲を透過する光が照射される領域が、投影部1により投影が可能な投影可能範囲となる。この投影可能範囲のうち、光変調部22から実際に透過する光が照射される領域が投影範囲11となる。例えば、光変調部22のうち光が透過する領域の大きさ、位置、及び形状を制御することにより、投影可能範囲において、投影範囲11の大きさ、位置、及び形状が変化する。
制御回路24は、制御部4から入力される表示用データに基づいて、光源21、光変調部22、及び投影光学系23を制御することにより、投影対象物6にこの表示用データに基づく画像を投影させる。制御回路24に入力される表示用データは、赤表示用データと、青表示用データと、緑表示用データとの3つによって構成される。
また、制御回路24は、制御部4から入力される命令に基づいて、投影光学系23を変化させることにより、投影部1の投影範囲11(図1参照)の拡大や縮小を行う。また、制御部4は、操作受付部2によって受け付けられたユーザからの操作に基づいて投影光学系23を変化させることにより、投影部1の投影範囲11の移動を行ってもよい。
また、投影装置10は、投影光学系23のイメージサークルを維持しつつ、投影範囲11を機械的又は光学的に移動させるシフト機構を備える。投影光学系23のイメージサークルは、投影光学系23に入射した投影光が、光量落ち、色分離、周辺湾曲などの点から適正に投影光学系23を通過する領域である。
シフト機構は、光学系シフトを行う光学系シフト機構と、電子シフトを行う電子シフト機構と、の少なくともいずれかにより実現される。
光学系シフト機構は、例えば、投影光学系23を光軸に垂直な方向に移動させる機構(例えば図5,図28参照)、又は、投影光学系23を移動させる代わりに光変調部22を光軸に垂直な方向に移動させる機構である。また、光学系シフト機構は、投影光学系23の移動と光変調部22の移動とを組み合わせて行うものであってもよい。
電子シフト機構は、光変調部22において光を透過させる範囲を変化させることによる疑似的な投影範囲11のシフトを行う機構である。
また、投影装置10は、投影光学系23のイメージサークルとともに投影範囲11を移動させる投影方向変更機構を備えてもよい。投影方向変更機構は、機械的な回転で投影部1の向きを変更することにより、投影部1の投影方向を変化させる機構である(例えば図28参照)。
<投影装置10の機械的構成>
図4は、投影装置10の外観構成を示す模式図である。図5は、図4に示す投影装置10の光学ユニット106の断面模式図である。図5は、図4に示した本体部101から出射される光の光路に沿った面での断面を示している。
図4に示すように、投影装置10は、本体部101と、本体部101から突出して設けられた光学ユニット106と、を備える。図4に示す構成において、操作受付部2と、制御部4と、投影部1における光源21、光変調部22、及び制御回路24と、通信部5と、は本体部101に設けられる。投影部1における投影光学系23は光学ユニット106に設けられる。
光学ユニット106は、本体部101に支持される第1部材102を備える。光学ユニット106は、本体部101に着脱自在に構成(換言すると交換可能に構成)されていてもよい。
本体部101は、図5に示すように、光学ユニット106と連結される部分に光を通すための開口15aが形成された筐体15を有する。
図4に示すように、本体部101の筐体15の内部には、光源21と、光源21から出射される光を入力画像データに基づいて空間変調して画像を生成する光変調部22(図3参照)を含む光変調ユニット12と、が設けられている。光源21から出射された光は、光変調ユニット12の光変調部22に入射され、光変調部22によって空間変調されて出射される。
図5に示すように、光変調ユニット12によって空間変調された光によって形成される画像は、筐体15の開口15aを通過して光学ユニット106に入射され、投影対象物6に投影されて、画像G1が観察者から視認可能となる。
図5に示すように、光学ユニット106は、本体部101の内部と繋がる中空部2Aを有する第1部材102と、中空部2Aに配置された第1光学系121と、レンズ34と、第1シフト機構105と、を備える。
第1部材102は、断面外形が一例として矩形の部材であり、開口2aと開口2bが互いに平行な面に形成されている。第1部材102は、本体部101の開口15aと対面する位置に開口2aが配置される状態にて、本体部101によって支持されている。本体部101の光変調ユニット12の光変調部22から射出された光は、開口15a及び開口2aを通って第1部材102の中空部2Aに入射される。
本体部101から中空部2Aに入射される光の入射方向を方向X1と記載し、方向X1の逆方向を方向X2と記載し、方向X1と方向X2を総称して方向Xと記載する。また、図5において、紙面手前から奥に向かう方向とその逆方向を方向Zと記載する。方向Zのうち、紙面手前から奥に向かう方向を方向Z1と記載し、紙面奥から手前に向かう方向を方向Z2と記載する。
また、方向X及び方向Zに垂直な方向を方向Yと記載し、方向Yのうち、図5において上に向かう方向を方向Y1と記載し、図5において下に向かう方向を方向Y2と記載する。図5の例では方向Y2が鉛直方向となるように投影装置10が配置されている。
図3に示した投影光学系23は、図5の例では第1光学系121及びレンズ34により構成される。図5には、この投影光学系23の光軸Kが示されている。第1光学系121及びレンズ34は、光変調部22の側からこの順に光軸Kに沿って配置されている。
第1光学系121は、少なくとも1つのレンズを含み、本体部101から第1部材102に入射された方向X1に進む光をレンズ34に導く。
レンズ34は、第1部材102の方向X1側の端部に形成された開口2bを塞ぐ形でこの端部に配置されている。レンズ34は、第1光学系121から入射された光を投影対象物6に投影する。
第1シフト機構105は、投影光学系の光軸K(換言すると光学ユニット106)をその光軸Kに垂直な方向(図5の方向Y)に移動させるための機構である。具体的には、第1シフト機構105は、第1部材102の本体部101に対する方向Yの位置を変更することができるように構成されている。第1シフト機構105は、手動にて第1部材102を移動させるものの他、電動にて第1部材102を移動させるものであってもよい。
図5は、第1シフト機構105によって第1部材102が方向Y1側に最大限移動された状態を示している。この図5に示す状態から、第1シフト機構105によって第1部材102が方向Y2に移動することで、光変調部22によって形成される画像の中心(換言すると表示面の中心)と光軸Kとの相対位置が変化して、投影対象物6に投影されている画像G1を方向Y2にシフト(平行移動)させることができる。
なお、第1シフト機構105は、光学ユニット106を方向Yに移動させる代わりに、光変調部22を方向Yに移動させる機構であってもよい。この場合でも、投影対象物6に投影されている画像G1を方向Yに移動させることができる。
<コンピュータ50のハードウェア構成>
図6は、コンピュータ50のハードウェア構成の一例を示す図である。図1に示したコンピュータ50は、図5に示すように、プロセッサ51と、メモリ52と、通信インタフェース53と、ユーザインタフェース54と、を備える。プロセッサ51、メモリ52、通信インタフェース53、及びユーザインタフェース54は、例えばバス59によって接続される。
プロセッサ51は、信号処理を行う回路であり、例えばコンピュータ50の全体の制御を司るCPUである。なお、プロセッサ51は、FPGAやDSP(Digital Signal Processor)などの他のデジタル回路により実現されてもよい。また、プロセッサ51は、複数のデジタル回路を組み合わせて実現されてもよい。
メモリ52には、例えばメインメモリ及び補助メモリが含まれる。メインメモリは、例えばRAM(Random Access Memory)である。メインメモリは、プロセッサ51のワークエリアとして使用される。
補助メモリは、例えば磁気ディスク、光ディスク、フラッシュメモリなどの不揮発性メモリである。補助メモリには、コンピュータ50を動作させる各種のプログラムが記憶されている。補助メモリに記憶されたプログラムは、メインメモリにロードされてプロセッサ51によって実行される。
また、補助メモリは、コンピュータ50から取り外し可能な可搬型のメモリを含んでもよい。可搬型のメモリには、USB(Universal Serial Bus)フラッシュドライブやSD(Secure Digital)メモリカードなどのメモリカードや、外付けハードディスクドライブなどがある。
通信インタフェース53は、コンピュータ50の外部(例えば投影装置10や撮像装置90)との間で通信を行う通信インタフェースである。通信インタフェース53は、プロセッサ51によって制御される。通信インタフェース53は、有線通信を行う有線通信インタフェースであってもよいし、無線通信を行う無線通信インタフェースであってもよいし、有線通信インタフェース及び無線通信インタフェースの両方を含んでもよい。
ユーザインタフェース54は、例えば、ユーザからの操作入力を受け付ける入力デバイスや、ユーザへ情報を出力する出力デバイスなどを含む。入力デバイスは、例えばポインティングデバイス(例えばマウス)、キー(例えばキーボード)やリモコンなどにより実現することができる。出力デバイスは、例えばディスプレイやスピーカなどにより実現することができる。また、タッチパネルなどによって入力デバイス及び出力デバイスを実現してもよい。ユーザインタフェース54は、プロセッサ51によって制御される。
<投影装置10による第1画像の投影及び撮像装置90の撮像可能範囲>
図7は、投影装置10による第1画像の投影及び撮像装置90の撮像可能範囲の一例を示す図である。コンピュータ50は、図7に示すように、投影装置10から投影範囲11に第1画像71を投影させる制御を行う。第1画像71は、91個の矩形のマーカー画像が7×13のマトリクス状に配列された画像である。
撮像可能範囲72は、投影対象物6における撮像装置90により撮像が可能な範囲である。図7に示すように、撮像可能範囲72が投影範囲11より狭く、第1画像71の全体を撮像装置90により撮像することができない場合がある。これは、例えば、撮像装置90の画角の制限や、撮像装置90が投影対象物6から離れることができる距離の制限などによるものである。
例えば、コンピュータ50は、第1画像71のマーカー画像のうちなるべく多くのマーカー画像を含むように撮像を行うことを撮像装置90のユーザに促すメッセージを出力する制御を行う。なお、撮像装置90のユーザは、コンピュータ50のユーザと同一であってもよいし異なっていてもよい。
撮像装置90のユーザは、撮像装置90によって第1画像71の少なくとも一部を撮像する。図7の例では、撮像装置90により第1画像71の全体を撮像することができず、第1画像71の中央付近の一部の、4×7の28個のマーカー画像を含む領域を撮像可能範囲72に入れて撮像が行われたとする。撮像装置90は、撮像により得られた撮像画像をコンピュータ50へ送信する。
コンピュータ50は、撮像装置90から送信された撮像画像に基づいて、撮像可能範囲72の算出を行う。撮像可能範囲72の算出とは、具体的には、投影対象物6に投影された第1画像71に対する、撮像可能範囲72の相対的な大きさの算出である。例えば、コンピュータ50は、第1画像71に含まれるマーカー画像のうち、撮像装置90からの撮像画像に含まれるマーカー画像の数(図7の例では28個)を、撮像可能範囲72の大きさとして算出する。そして、コンピュータ50は、撮像可能範囲72の算出結果に基づいて、撮像可能範囲72に含まれる複数のマーカー画像を含む第2画像を生成する。
例えば、コンピュータ50は、撮像装置90からの撮像画像に含まれるマーカー画像の数を画像認識によって判定する。図7の例では、撮像装置90からの撮像画像には4×7の28個のマーカー画像が含まれている。したがって、コンピュータ50は、4×7の28個のマーカー画像を含む第2画像を生成する。
<投影装置10による第2画像の投影>
図8~図11は、投影装置10による第2画像の投影の一例を示す図である。コンピュータ50は、図7で説明したように撮像可能範囲72を算出した後に、例えば図8に示すように投影範囲11の左上に第2画像81を投影装置10から投影させる制御を行う。
第2画像81は、第1画像71から、左上の4×7の28個のマーカー画像の部分を切り取ったものである。すなわち、第2画像81は、28個の矩形のマーカー画像が4×7のマトリクス状に配列された画像である。また、第2画像81に含まれるマーカー画像のサイズや間隔は、第1画像71に含まれるマーカー画像のサイズや間隔と同じである。したがって、撮像装置90のユーザは、第2画像81に含まれる28個のマーカー画像を、撮像可能範囲72に入れて、投影装置10により撮像することができる。撮像装置90は、撮像により得られた第2画像81の撮像画像をコンピュータ50へ送信する。
図8に示した状態において、コンピュータ50は、第2画像81の全てのマーカー画像を含むように撮像を行うことを撮像装置90のユーザに促す制御を行ってもよい。図8の例では、コンピュータ50は、投影装置10を制御して、「左上のマーカー群を含むように撮像してください」というメッセージを、投影範囲11のうち第2画像81とは異なる位置に投影させている。
次に、コンピュータ50は、例えば図9に示すように第2画像82を投影装置10から投影範囲11の右上に投影させる制御を行う。第2画像82は、第1画像71から、右上の4×7の28個のマーカー画像の部分を切り取ったものである。すなわち、第2画像82は、第2画像81と同様に、28個の矩形のマーカー画像が4×7のマトリクス状に配列された画像である。したがって、撮像装置90のユーザは、第2画像82に含まれる28個のマーカー画像を、撮像可能範囲72に入れて、投影装置10により撮像することができる。撮像装置90は、撮像により得られた第2画像82の撮像画像をコンピュータ50へ送信する。
図9に示した状態において、コンピュータ50は、第2画像82の全てのマーカー画像を含むように撮像を行うことを撮像装置90のユーザに促す制御を行ってもよい。図9の例では、コンピュータ50は、投影装置10を制御して、「右上のマーカー群を含むように撮像してください」というメッセージを、投影範囲11のうち第2画像82とは異なる位置に投影させている。
次に、コンピュータ50は、例えば図10に示すように第2画像83を投影装置10から投影範囲11の左下に投影させる制御を行う。第2画像83は、第1画像71から、左下の4×7の28個のマーカー画像の部分を切り取ったものである。すなわち、第2画像83は、第2画像81,82と同様に、28個の矩形のマーカー画像が4×7のマトリクス状に配列された画像である。したがって、撮像装置90のユーザは、第2画像83に含まれる28個のマーカー画像を、撮像可能範囲72に入れて、投影装置10により撮像することができる。撮像装置90は、撮像により得られた第2画像83の撮像画像をコンピュータ50へ送信する。
図10に示した状態において、コンピュータ50は、第2画像83の全てのマーカー画像を含むように撮像を行うことを撮像装置90のユーザに促す制御を行ってもよい。図10の例では、コンピュータ50は、投影装置10を制御して、「左下のマーカー群を含むように撮像してください」というメッセージを、投影範囲11のうち第2画像83とは異なる位置に投影させている。
次に、コンピュータ50は、例えば図11に示すように第2画像84を投影装置10から投影範囲11の右下に投影させる制御を行う。第2画像84は、第1画像71から、右下の4×7の28個のマーカー画像の部分を切り取ったものである。すなわち、第2画像84は、第2画像81~83と同様に、28個の矩形のマーカー画像が4×7のマトリクス状に配列された画像である。したがって、撮像装置90のユーザは、第2画像84に含まれる28個のマーカー画像を、撮像可能範囲72に入れて、投影装置10により撮像することができる。撮像装置90は、撮像により得られた第2画像84の撮像画像をコンピュータ50へ送信する。
図11に示した状態において、コンピュータ50は、第2画像84の全てのマーカー画像を含むように撮像を行うことを撮像装置90のユーザに促す制御を行ってもよい。図11の例では、コンピュータ50は、投影装置10を制御して、「右下のマーカー群を含むように撮像してください」というメッセージを、投影範囲11のうち第2画像84とは異なる位置に投影させている。
図8~図11において説明したように、コンピュータ50は、第2画像81~84の撮像画像を撮像装置90から受信することで、第1画像71の全体の撮像画像と同等の情報を得ることができる。コンピュータ50は、受信した第2画像81~84の撮像画像に基づいて、投影装置10による投影を調整する制御を行う。
例えば、コンピュータ50は、受信した第2画像81~84の撮像画像を合成することにより、第1画像71の全体の撮像画像と同等の画像を生成する。そして、コンピュータ50は、生成した画像に含まれるマーカー画像の形状や配列の歪みに基づいて、投影範囲11における投影像の歪みを検出し、検出結果に基づいて、投影画像の歪み補正を行う。
このように、コンピュータ50は、複数のマーカー画像を含む第1画像71を投影装置10から投影させることにより、第1画像71の少なくとも一部を撮像装置90に撮像させ、その撮像結果に基づいて、複数のマーカー画像を含む第2画像(例えば第2画像81~84)を投影装置10から投影させる制御を繰り返し行う。
具体的には、コンピュータ50は、第1画像71の少なくとも一部の撮像画像に基づいて撮像装置90の撮像可能範囲72を算出し、算出した撮像可能範囲72に基づいて第2画像81~84を投影装置10から投影させる制御を行う。このとき、コンピュータ50は、第2画像81~84のそれぞれの投影位置を変えながら第2画像81~84を投影装置10から投影させる。そして、コンピュータ50は、撮像装置90による第2画像81~84の撮像結果に基づいて投影装置10の投影を調整する制御を行う。
これにより、投影範囲11に投影された第1画像71の全体を撮像装置90により撮像できなくても、撮像装置90で撮像可能な第2画像81~84を投影して撮像装置90により撮像させ、撮像結果に基づいて投影装置10の投影を調整することができる。このため、広い投影範囲11に対する投影装置10の投影を容易に調整することができる。
また、投影装置10は、第2画像を投影装置10から投影させる制御を繰り返し行う際に、投影装置10から投影させる第2画像を変化させる制御を行ってもよい。例えば、投影装置10は、第2画像81に含まれるマーカー画像を矩形とし、第2画像82に含まれるマーカー画像を丸形とし、第2画像83に含まれるマーカー画像を三角形とし、第2画像84に含まれるマーカー画像を×印としてもよい。これにより、コンピュータ50は、第2画像81~84の撮像画像を投影装置10から受信する際に、受信した撮像画像に含まれるマーカー画像の形状を判定することで、受信した撮像画像が第2画像81~84のいずれのものであるかを確実に判定することができる。
なお、第2画像81~84を順次投影して撮像する処理について説明したが、このような処理に限らない。例えば、コンピュータ50は、第2画像81~84のうち第2画像81のみを投影装置10から投影させてもよい。この場合、コンピュータ50は、第2画像81に含まれるマーカー画像の形状や配列の歪みに基づいて、投影範囲11の全体の投影像の歪みを推測し、推測結果に基づいて、投影画像の歪み補正を行う。
また、第2画像81~84が、第1画像71の一部を切り取ったものである場合について説明したが、第2画像81~84はこれに限らない。例えば、図7~図11に示した例において、第2画像81~84は、28個の丸形状や三角形状のマーカー画像が4×7のマトリクス状に配列された画像であってもよい。また、第2画像81~84は、互いに異なる形状や色のマーカー画像を含む画像であってもよい。
<コンピュータ50による処理>
図12は、コンピュータ50による処理の一例を示すフローチャートである。コンピュータ50は、例えば図12に示す処理を実行する。
まず、コンピュータ50は、投影装置10に制御信号を送信することによって投影装置10から第1画像71を投影させる(ステップS1201)。例えば、コンピュータ50は、図7に示した第1画像71を投影装置10から投影させる。
次に、コンピュータ50は、撮像装置90のユーザに対して、ステップS1201によって投影された第1画像71の撮像装置90による撮像を促す制御を行う(ステップS1202)。例えば、この制御は、投影装置10を制御して投影範囲11へメッセージを投影することにより行われる。
次に、コンピュータ50は、ステップS1202によって促した撮像によって得られた第1画像71の撮像画像を撮像装置90から受信する(ステップS1203)。撮像装置90による撮像画像の送信は、撮像装置90による撮像が行われたことを契機として撮像装置90が自動的に行われてもよいし、撮像装置90による撮像後のユーザ操作によって行われてもよい。
次に、コンピュータ50は、ステップS1203によって受信した撮像画像に、第1画像71の全てのマーカー画像が含まれているか否かを判断する(ステップS1204)。ステップS1204において、全てのマーカー画像が含まれている場合(ステップS1204:Yes)は、コンピュータ50は、ステップS1203によって受信した第1画像71の撮像画像に基づいて、投影装置10による投影を調整する制御を行い(ステップS1205)、一連の処理を終了する。
ステップS1204において、少なくともいずれかのマーカー画像が含まれていない場合(ステップS1204:No)は、コンピュータ50は、複数の第2画像を生成する(ステップS1206)。例えば、コンピュータ50は、ステップS1203によって受信した第1画像71の撮像画像に基づいて撮像可能範囲72を算出し、算出した撮像可能範囲72に基づいて、投影範囲11を網羅可能な第2画像(例えば第2画像81~84)を生成する。
次に、コンピュータ50は、ステップS1206によって生成した第2画像のうち未投影の第2画像を投影装置10から投影させる(ステップS1207)。次に、コンピュータ50は、撮像装置90のユーザに対して、ステップS1207によって投影された第2画像の撮像装置90による撮像を促す制御を行う(ステップS1208)。
次に、コンピュータ50は、ステップS1208によって促した撮像によって得られた第2画像の撮像画像を撮像装置90から受信する(ステップS1209)。次に、コンピュータ50は、ステップS1206によって生成した全ての第2画像を全てステップS1207によって投影したか否かを判断する(ステップS1210)。
ステップS1210において、第2画像の少なくともいずれかを投影していない場合(ステップS1210:No)は、コンピュータ50は、ステップS1207へ戻る。全ての第2画像を投影した場合(ステップS1210:Yes)は、コンピュータ50は、ステップS1209によって受信した複数の第2画像の撮像画像に基づいて、投影装置10による投影を調整する制御を行い(ステップS1211)、一連の処理を終了する。
<投影装置10が投影する第1画像71の他の例>
図13は、投影装置10が投影する第1画像71の他の一例を示す図である。第1画像71は、図13に示すように、マーカー画像として、位置毎に異なる数字等が配列された画像であってもよい。
また、コンピュータ50は、マーカー画像として第1画像71に含まれる各数字について、その数字が投影範囲11におけるいずれの位置に配置されているかが対応付けられた対応テーブルを記憶している。すなわち、図13に示す第1画像71のマーカー画像は、投影範囲11におけるマーカー画像の位置と対応付けられている。
これにより、コンピュータ50は、撮像装置90から受信した撮像画像に第1画像71のマーカー画像の一部しか含まれていなくても、その一部のマーカー画像が投影範囲11のいずれの位置のものであるかを判定することができる。
例えば、コンピュータ50は、撮像装置90から受信した第1画像71の撮像画像に、第1画像71のマーカー画像のうち所定割合以上のマーカー画像が含まれていた場合、上記の対応テーブルに基づいて、第1画像71の撮像画像に含まれるマーカー画像の投影範囲11における各位置を判定し、その判定結果に基づいて投影範囲11の全体における投影像の歪みを検出し、検出結果に基づいて投影画像の歪み補正を行う。この場合、コンピュータ50は、投影装置10から第2画像(例えば第2画像81~84)を投影させる制御を行わなくてもよい。
<投影装置10が投影する第2画像81の他の例>
図14は、投影装置10が投影する第2画像81の他の一例を示す図である。第2画像81は、図14に示すように、マーカー画像として、位置毎に異なる数字等が配列された画像であってもよい。図14の例では、第2画像81は、図13に示した第1画像71から左上の4×7の28個のマーカー画像の部分を切り取ったものである。
また、コンピュータ50は、マーカー画像として第2画像81に含まれる各数字について、その数字が投影範囲11におけるいずれの位置に配置されているかが対応付けられた対応テーブルを記憶している。この対応テーブルは、図13において説明した対応テーブルと同一であってもよい。すなわち、図14に示す第2画像81のマーカー画像は、投影範囲11におけるマーカー画像の位置と対応付けられている。
これにより、コンピュータ50は、撮像装置90から受信した撮像画像に第2画像81の一部しか含まれていなくても、その一部のマーカー画像が投影範囲11のいずれの位置のものであるかを判定することができる。
第2画像81について説明したが、第2画像82~84についても同様に、マーカー画像として位置毎に異なる数字等が配列された画像であってもよい。
例えば、コンピュータ50は、撮像装置90から受信した第2画像81の撮像画像に第2画像81のマーカー画像の一部しか含まれていなかった場合、上記の対応テーブルに基づいて、第2画像81の撮像画像に含まれるマーカー画像の投影範囲11における各位置を判定し、その判定結果に基づいて、第2画像81の撮像画像と第2画像82~84の撮像画像との合成を行う。これにより、第2画像81の領域の一部が欠けているものの、第1画像71の全体の撮像画像と同等の画像を生成することができる。そして、コンピュータ50は、生成した画像に含まれるマーカー画像の形状や配列の歪みに基づいて、投影範囲11における投影像の歪みを検出し、検出結果に基づいて投影画像の歪み補正を行う。
図13,図14の例では、投影範囲11における位置と対応付けられたマーカー画像について、位置毎に異なる数字を例として説明したが、投影範囲11における位置と対応付けられたマーカー画像は、これに限らず、例えば位置毎に異なるアルファベットや記号の画像などであってもよい。投影範囲11における位置と対応付けられたマーカー画像は、位置毎に異なる色の画像などであってもよい。また、画像の内の全てのマーカー画像が異なる例について説明したが、画像内の一部のマーカー画像のみが異なっていてもよい。
また、投影範囲11における位置と対応付けられたマーカー画像は、位置毎に異なるQR(Quick Response)コード(登録商標)やArUcoマーカーなどであってもよい。この場合、マーカー画像自体に、そのマーカー画像の投影範囲11における位置を示す情報を含めることができる。したがって、コンピュータ50は、上記の対応テーブルを記憶していなくても、撮像画像にマーカー画像として含まれるQRコードやArUcoマーカーの情報を読み取ることでそのマーカー画像の投影範囲11における位置を判定することができる。
<複数の投影装置によるスタック投影の調整前の状態一例>
図15は、複数の投影装置によるスタック投影の調整前の状態一例を示す図である。図15において、図1に示した部分と同様の部分については同一の符号を付して説明を省略する。図15に示すように、投影システム100は、更に投影装置10Aを含んでいてもよい。
投影装置10Aは、投影装置10と同様の構成であり、投影装置10とともに投影対象物6に対する投影を行う。コンピュータ50は、投影装置10Aと通信可能である。図1に示す例では、コンピュータ50は、通信ケーブル8Aを介して投影装置10Aと接続されており、投影装置10Aと通信可能である。
二点鎖線で図示する投影範囲11Aは、投影対象物6のうち、投影装置10Aにより投影光が照射される領域である。図15に示す例では、投影範囲11Aは矩形である。投影範囲11Aは、投影装置10Aにより投影が可能な投影可能範囲の一部又は全部である。
この例では、投影装置10の投影範囲11の全体と投影装置10Aの投影範囲11Aの全体とを重畳させ、投影装置10,10Aから同一の画像を投影することにより、ダイナミックレンジや階調表現の向上を図るスタック投影を行う場合について説明する。
<コンピュータ50による、撮像条件に基づく処理>
図16は、コンピュータ50による、撮像条件に基づく処理の一例を示すフローチャートである。図15に示した例において、コンピュータ50は、例えば図16に示す処理を実行してもよい。
まず、コンピュータ50は、撮像装置90の撮像条件を取得する(ステップS161)。この撮像装置90の撮像条件は、撮像装置90による撮像が、固定撮像及び手持ち撮像のいずれであるかを含む。固定撮像とは、撮像装置90が三脚や台座などのブレのない物体に固定された状態での撮像である。手持ち撮像とは、撮像装置90がユーザによる手によって保持されておりブレが生じる状態での撮像である。
コンピュータ50は、この固定撮像及び手持ち撮像のいずれであるかの撮像条件を、例えばコンピュータ50に対するユーザ操作によって受け付けることにより取得する。又は、コンピュータ50は、この固定撮像及び手持ち撮像のいずれであるかの撮像条件を、撮像装置90と通信を行うことにより、撮像装置90におけるジャイロセンサ等に基づく撮像装置90のブレの状態に基づいて取得してもよい。例えば、コンピュータ50は、ジャイロセンサ等により検出される撮像装置90のブレが閾値未満であれば固定撮像と判定し、ジャイロセンサ等により検出される撮像装置90のブレが閾値以上であれば手持ち撮像と判定する。
又は、コンピュータ50は、この固定撮像及び手持ち撮像のいずれであるかの撮像条件を、撮像装置90と通信を行うことにより、撮像装置90における手ブレ補正の機能のオン/オフの状態に基づいて取得してもよい。例えば、コンピュータ50は、撮像装置90における手ブレ補正の機能がオフの状態であれば固定撮像と判定し、撮像装置90における手ブレ補正の機能がオンの状態であれば手持ち撮像と判定する。
次に、コンピュータ50は、ステップS161により取得した撮像条件に基づいて、撮像装置90による撮像が手持ち撮像であるか否かを判断する(ステップS162)。撮像が手持ち撮像でない場合(ステップS162:No)は、コンピュータ50は、投影装置10,10Aの投影調整制御を個別に行い(ステップS163)、一連の処理を終了する。ステップS163の個別の投影調整制御については図17,図18において説明する。
ステップS162において、撮像が手持ち撮像である場合(ステップS162:Yes)は、コンピュータ50は、投影装置10,10Aの投影調整制御を同時に行い(ステップS164)、一連の処理を終了する。ステップS164の投影調整制御については図19において説明する。
<投影装置10,10Aの個別の投影>
図17及び図18は、投影装置10,10Aの個別の投影の一例を示す図である。撮像装置90による撮像が固定撮像である場合、図16のステップS163において、コンピュータ50は、例えば、まず投影装置10について、図12に示した処理を実行することにより、投影装置10の投影の調整を行う。次に、コンピュータ50は、投影装置10Aについて、図12に示した処理を実行することにより、投影装置10Aの投影の調整を行う。
図17は、投影装置10について実行された図12の処理のステップS1201によって投影装置10によって第1画像71が投影された状態を示している。図示を省略するが、投影装置10について実行された図12の処理においてステップS1207が実行された場合は、図8~図11と同様に投影装置10から第2画像81~84が投影されることになる。
図18は、投影装置10Aについて実行された図12の処理のステップS1201によって投影装置10Aによって第1画像71Aが投影された状態を示している。図18に示す第1画像71Aは、図17に示した第1画像71と同様の画像である。ただし、第1画像71Aに含まれるマーカー画像は、第1画像71に含まれるマーカー画像に対して、画像認識によって区別可能なマーカー画像となっている。画像認識によって区別可能なマーカー画像とは、例えば形状が異なっていたり、色が異なっていたり、線種(実線と点線等)が異なっていたり、空間周波数(配置の間隔)が異なっていたりするマーカー画像である。
図17,図18の例では、第1画像71に含まれるマーカー画像が白抜きの矩形の画像であるのに対して、第1画像71Aに含まれるマーカー画像は黒塗りの矩形の画像である。図示を省略するが、投影装置10Aについて実行された図12の処理においてステップS1207が実行された場合は、図8~図11と同様に投影装置10Aから第2画像が投影されることになる。この第2画像は、第2画像81~84と同様であるが、白抜きの矩形のマーカー画像ではなく黒塗りの矩形のマーカー画像を含む。
図17,図18に示したように、撮像装置90による撮像が固定撮像である場合、コンピュータ50は、投影装置10,10Aの投影調整制御を個別に行う。この場合、コンピュータ50は、投影装置10,10Aからの第1画像71,71Aを異なるタイミングで投影させることになるが、撮像装置90による撮像が固定撮像であるため、第1画像71,71Aの投影及び撮像が異なるタイミングであっても、撮像装置90の位置や向きは固定される。このため、コンピュータ50は、第1画像71,71Aの撮像画像に基づいて、投影範囲11と投影範囲11Aの相対的な位置関係を判定することができる。
また、第1画像71,71Aの投影及び撮像が異なるタイミングであるため、コンピュータ50は、第1画像71の撮像画像と第1画像71Aの撮像画像と、のそれぞれを撮像装置90から受信することができる。このため、コンピュータ50は、1つの撮像画像から第1画像71,71Aのそれぞれを区別して抽出する処理を行わなくてもよいため、投影範囲11,11Aの相対的な位置関係を簡易な処理で確実に判定することができる。
<投影装置10,10Aの同時の投影>
図19は、投影装置10,10Aの同時の投影の一例を示す図である。撮像装置90による撮像が手持ち撮像である場合、図16のステップS164において、コンピュータ50は、例えば、投影装置10,10Aについて図12に示した処理をまとめて実行することにより、投影装置10,10Aの投影の調整を同時に行う。
図19は、投影装置10,10Aについて実行された図12の処理のステップS1201によって投影装置10,10Aによって第1画像71,71Aが同時に投影された状態を示している。投影装置10,10Aについて実行された図12の処理においてステップS1205が実行された場合は、コンピュータ50は、ステップS1203によって得られた撮像画像から、投影装置10からの第1画像71と、投影装置10Aからの第1画像71Aと、のそれぞれを区別して抽出することにより、投影範囲11と投影範囲11Aの相対的な位置関係を判定する。
図示を省略するが、投影装置10,10Aについて実行された図12の処理においてステップS1207が実行された場合は、まず、図8に示した投影装置10からの第2画像81と、投影装置10Aからの第2画像(例えば第1画像71Aから左上の4×7の28個のマーカー画像の部分を切り取ったもの)と、が同時に投影される。
次に、図9に示した投影装置10からの第2画像82と、投影装置10Aからの第2画像(例えば第1画像71Aから右上の4×7の28個のマーカー画像の部分を切り取ったもの)と、が同時に投影される。次に、図10に示した投影装置10からの第2画像83と、投影装置10Aからの第2画像(例えば第1画像71Aから左下の4×7の28個のマーカー画像の部分を切り取ったもの)と、が同時に投影される。次に、図11に示した投影装置10からの第2画像84と、投影装置10Aからの第2画像(例えば第1画像71Aから右下の4×7の28個のマーカー画像の部分を切り取ったもの)と、が同時に投影される。
そして、投影装置10,10Aについて実行された図12の処理のステップS1211において、コンピュータ50は、ステップS1209によって得られた撮像画像のそれぞれから、投影装置10からの第2画像と、投影装置10Aからの第2画像と、のそれぞれを区別して抽出することにより、投影範囲11と投影範囲11Aの相対的な位置関係を判定する。
図19に示したように、撮像装置90による撮像が手持ち撮像である場合、コンピュータ50は、投影装置10,10Aの投影を同時に行う。これにより、手持ち撮像によって撮像装置90の位置や向きが変動していても、投影装置10の画像と投影装置10Aの画像とを含む撮像画像から、投影装置10の画像と投影装置10Aの画像とのそれぞれを区別して抽出することにより、投影範囲11と投影範囲11Aの相対的な位置関係を判定することができる。また、第1画像71,71Aの投影及び撮像が同時であるため、撮像装置90のユーザが行う撮像の回数を低減することができる。
<投影範囲11,11Aの重畳によるスタック投影>
図20は、投影範囲11,11Aの重畳によるスタック投影の一例を示す図である。図17,図18又は図19において説明したように、コンピュータ50は、投影範囲11,11Aの相対的な位置関係を判定する。
そして、コンピュータ50は、その判定の結果に基づいて、図20に示すように、投影範囲11の全体と投影範囲11Aの全体とが重畳されるように、投影装置10と投影装置10Aの相対的な投影位置を調整する。この調整は、例えば投影装置10,10Aの少なくともいずれかのシフト機構(光学系シフト機構や電子シフト機構)を制御することによって行うことができる。
例えば、コンピュータ50は、投影装置10の投影範囲11を基準として、投影装置10Aのシフト機構を制御することによって投影範囲11Aを調整することにより、投影範囲11の全体と投影範囲11Aの全体とを重畳させてスタック投影を可能にする。
例えば、電子シフト機構を用いる場合、コンピュータ50は、投影範囲11に対して投影範囲11Aが一致するように投影範囲11Aを補正するための変換パラメータを算出する。変換パラメータには、例えば射影変換(ホモグラフィー)行列が含まれる。そして、コンピュータ50は、算出した変換パラメータによって投影装置10Aの入力画像を補正して投影装置10Aからの投影を行うことで、投影範囲11に対して投影範囲11Aを一致させることができる。
このように、コンピュータ50は、投影装置10,10A(複数の投影装置)の投影範囲を重畳させるスタック投影を行う場合に、投影装置10の投影範囲11を基準として投影装置10Aの投影範囲11Aを調整することにより、投影範囲11と投影範囲11Aとの重畳を調整する。
投影装置10,10Aによる投影について、投影装置10の投影範囲11の全体と投影装置10Aの投影範囲11Aの全体とを重畳させて投影装置10,10Aから同一の画像を投影するスタック投影において投影調整制御を行う場合について説明したが、投影装置10,10Aによる投影について投影調整制御を行う形態はこれに限らない。
例えば、投影装置10の投影範囲11の端部と投影装置10Aの投影範囲11Aの端部とを重畳させ、大きな画像を分割した分割画像をそれぞれ投影装置10,10Aから投影することにより、投影の大画面化を図るブレンディング投影を行うようにしてもよい。
<複数の投影装置によるブレンディング投影の調整前の状態>
図21は、複数の投影装置によるブレンディング投影の調整前の状態の一例を示す図である。図21において、図15に示した部分と同様の部分については同一の符号を付して説明を省略する。図21の例では、ブレンディング投影を行うために、投影範囲11の端部と投影範囲11Aの端部のみが重畳するように投影装置10,10Aの位置や向きが調整される。
この場合もスタック投影の場合と同様に、コンピュータ50は、投影範囲11,11Aの位置合わせや歪み補正を行う際の投影調整制御を行うことができる。例えば、コンピュータ50は、図21に示す状態において、図16に示した処理を実行する。この場合に投影装置10,10Aから投影される第1画像や第2画像は、スタック投影の場合と同様である。
ただし、この場合の投影範囲11,11Aの調整において、コンピュータ50は、投影範囲11の特定領域(例えば右端の一定幅の領域)と投影範囲11Aの特定領域(例えば左端の一定幅の領域)とが重畳されるように投影範囲11,11Aの相対的な位置を調整する。投影範囲11の特定領域と投影範囲11Aの特定領域は同じ大きさである。
更に、コンピュータ50は、投影範囲11,11Aの重畳部分について、投影装置10,10Aからの投影画像の輝度をそれぞれ半分にする等のブレンディング処理を行う。これにより、投影範囲11,11Aの重畳部分のみが明るく表示される等の違和感を低減することができる。
<投影範囲11,11Aの重畳によるブレンディング投影>
図22は、投影範囲11,11Aの重畳によるブレンディング投影の一例を示す図である。コンピュータ50は、図16に示した処理おいて、撮像装置90からの撮像データに基づいて投影範囲11,11Aの相対的な位置関係を判定する。
そして、コンピュータ50は、その判定の結果に基づいて、図22に示すように、投影範囲11の特定領域と投影範囲11Aの特定領域とが重畳されるように、投影装置10と投影装置10Aの相対的な投影位置を調整する。この調整は、例えば投影装置10,10Aの少なくともいずれかのシフト機構(光学系シフト機構や電子シフト機構)を制御することによって行うことができる。
例えば、コンピュータ50は、投影装置10,10Aのシフト機構を制御することによって投影範囲11,11Aを調整することにより、投影範囲11の特定領域と投影範囲11Aの特定領域とを重畳させてブレンディング投影を可能にする。
例えば、電子シフト機構を用いる場合、コンピュータ50は、投影範囲11の特定領域と投影範囲11Aの特定領域が一致するように、投影範囲11,11Aを補正するための変換パラメータを算出する。変換パラメータには、例えば射影変換(ホモグラフィー)行列が含まれる。そして、コンピュータ50は、算出した変換パラメータによって投影装置10,10Aの入力画像を補正して投影装置10,10Aからの投影を行うことで、投影範囲11の特定領域と投影範囲11Aの特定領域とを一致させることができる。
このように、コンピュータ50は、投影装置10,10A(複数の投影装置)の投影範囲の一部を重畳させるブレンディング投影を行う場合に、投影範囲11,11Aのそれぞれを調整することにより、投影範囲11の特定領域と投影範囲11Aの特定領域との重畳を調整する。これにより、特定領域に対して輝度調整等のブレンディング処理を行うことにより、投影範囲11と投影範囲11Aとの重畳部分にのみブレンディング処理が適用され、見た目の違和感を低減することができる。
<コンピュータ50による、撮像条件に基づく処理の他の例>
図23は、コンピュータ50による、撮像条件に基づく処理の他の一例を示すフローチャートである。コンピュータ50は、図23に示す処理を実行してもよい。この例において、投影を行う投影装置は、例えば投影装置10のみである。
まず、コンピュータ50は、撮像装置90の撮像条件を取得する(ステップS231)。この撮像装置90の撮像条件は、撮像装置90による撮像の解像度を含む。解像度は、撮像の細かさであって、撮像装置90の撮像センサの画素数や、撮像装置90の撮像の画角等によって決まる。
コンピュータ50は、この撮像の解像度を、例えばコンピュータ50に対するユーザ操作によって受け付けることにより取得する。又は、コンピュータ50は、この撮像の解像度を、撮像装置90と通信を行うことにより、撮像装置90から画素数や画角等の情報を受信することによって取得してもよい。
次に、コンピュータ50は、ステップS231によって取得した撮像条件に含まれる撮像の解像度に基づいて、第2画像の大きさを設定する(ステップS232)。例えば、コンピュータ50は、撮像の解像度が閾値以上である場合は第2画像の大きさを「通常」に設定し、撮像の解像度が閾値未満である場合は第2画像の大きさを「小」に設定する。
次に、コンピュータ50は、投影装置10の投影調整制御を行い(ステップS233)、一連の処理を終了する。ステップS233において、コンピュータ50は、例えば、投影装置10について図12に示した処理を実行することにより、投影装置10の投影の調整を行う。図12に示した処理においてステップS1206を実行する場合、コンピュータ50は、ステップS232によって設定した第2画像の大きさに基づいて第2画像の生成を行う。
例えば、ステップS232によって第2画像の大きさを「通常」に設定した場合、コンピュータ50は、ステップS1206において、図8~図11に示した第2画像81~84を生成する。一方、ステップS232によって第2画像の大きさを「小」に設定した場合、コンピュータ50は、ステップS1206において、図8~図11に示した第2画像81~84よりも小さい第2画像を生成する。この第2画像は、図8~図11に示した第2画像81~84よりも小さいため、コンピュータ50は、投影範囲11を網羅するように、図8~図11に示した第2画像81~84よりも数が多い第2画像を生成する。
<撮像装置90による撮像の解像度が低い場合の第2画像>
図24は、撮像装置90による撮像の解像度が低い場合の第2画像の一例を示す図である。コンピュータ50は、図23のステップS232によって第2画像の大きさを「小」に設定した場合、図12の処理の1回目のステップS1206において、例えば図24に示す第2画像81を投影装置10から投影させる。
図24に示す第2画像81は、図8に示した第2画像81と比較して、含まれるマーカー画像の数が少なく、小さい画像である。これにより、撮像装置90のユーザは、投影対象物6に対してより近付いて第2画像81を撮像することができる。このため、撮像装置90による撮像の解像度が低くても、第2画像81に含まれるマーカー画像を高精度に抽出可能な撮像画像を得ることができる。
図24では図12の処理の1回目のステップS1206において投影される第2画像81について説明したが、コンピュータ50は、図12の処理の2回目以降のステップS1206において、図24に示す第2画像81と同様の第2画像を、投影位置を変えながら投影装置10から投影させる制御を行う。
図23,図24に示したように、コンピュータ50は、撮像装置90による撮像の解像度に応じた大きさの第2画像を投影装置10から投影させる制御を行ってもよい。これにより、撮像装置90による撮像の解像度が低くても、第2画像に含まれるマーカー画像を高精度に抽出可能な撮像画像が得られ、投影装置10の投影の調整を精度よく行うことができる。
投影装置10のみによって投影を行う場合に撮像の解像度に応じた大きさの第2画像を投影装置10から投影させる制御について説明したが、投影装置10,10Aによって投影を行う場合にも同様に、撮像の解像度に応じた大きさの第2画像を投影装置10,10Aから投影させる制御を行うようにしてもよい。
<コンピュータ50による、撮像条件に基づく処理の更に他の例>
図25は、コンピュータ50による、撮像条件に基づく処理の更に他の一例を示すフローチャートである。コンピュータ50は、図25に示す処理を実行してもよい。この例において、投影を行う投影装置は、例えば投影装置10のみである。
まず、コンピュータ50は、図23のステップS231と同様に、撮像装置90の撮像条件を取得する(ステップS251)。次に、コンピュータ50は、ステップS251によって取得した撮像条件に含まれる撮像の解像度に基づいて、第2画像に含まれるマーカー画像の大きさを設定する(ステップS252)。例えば、コンピュータ50は、撮像の解像度が閾値以上である場合は第2画像に含まれるマーカー画像の大きさを「通常」に設定し、撮像の解像度が閾値未満である場合は第2画像に含まれるマーカー画像の大きさを「大」に設定する。
次に、コンピュータ50は、投影装置10の投影調整制御を行い(ステップS253)、一連の処理を終了する。ステップS253において、コンピュータ50は、例えば、投影装置10について図12に示した処理を実行することにより、投影装置10の投影の調整を行う。図12に示した処理においてステップS1206を実行する場合、コンピュータ50は、ステップS252によって設定したマーカー画像の大きさに基づいて第2画像の生成を行う。
例えば、ステップS232によってマーカー画像の大きさを「通常」に設定した場合、コンピュータ50は、ステップS1206において、図8~図11に示した第2画像81~84を生成する。一方、ステップS232によってマーカー画像の大きさを「大」に設定した場合、コンピュータ50は、ステップS1206において、図8~図11に示した第2画像81~84よりも大きいマーカー画像を含む第2画像を生成する。
<撮像装置90による撮像の解像度が低い場合の第2画像のマーカー画像>
図26は、撮像装置90による撮像の解像度が低い場合の第2画像のマーカー画像の一例を示す図である。コンピュータ50は、図25のステップS252によって第2画像の大きさを「大」に設定した場合、図12の処理の1回目のステップS1206において、例えば図26に示す第2画像81を投影装置10から投影させる。
図26に示す第2画像81のマーカー画像は、図8に示した第2画像81のマーカー画像と比較して大きい画像である。これにより、撮像装置90による撮像の解像度が低くても、大きいことによってより高精度に抽出可能なマーカー画像を含む第2画像81の撮像画像を得ることができる。
図26では図12の処理の1回目のステップS1206において投影される第2画像81について説明したが、コンピュータ50は、図12の処理の2回目以降のステップS1206において、図26に示す第2画像81と同様の第2画像を、投影位置を変えながら投影装置10から投影させる制御を行う。
図25,図26に示したように、コンピュータ50は、撮像装置90による撮像の解像度に応じた大きさのマーカー画像を含む第2画像を投影装置10から投影させる制御を行ってもよい。これにより、撮像装置90による撮像の解像度が低くても、より高精度に抽出可能なマーカー画像を含む撮像画像が得られ、投影装置10の投影の調整を精度よく行うことができる。
投影装置10のみによって投影を行う場合に撮像の解像度に応じた大きさのマーカー画像を含む第2画像を投影装置10から投影させる制御について説明したが、投影装置10,10Aによって投影を行う場合にも同様に、撮像の解像度に応じた大きさのマーカー画像を含む第2画像を投影装置10,10Aから投影させる制御を行うようにしてもよい。
<変形例1>
図4,図5においては、投影装置10の構成として、光軸Kを屈曲させない構成について説明したが、光学ユニット106に反射部材を設けて光軸Kを1回以上屈曲させる構成としてもよい。
図27は、投影装置10の他の外観構成を示す模式図である。図28は、図27に示した投影装置10の光学ユニット106の断面模式図である。図27,図28において、図4,図5に示した部分と同様の部分については同一の符号を付して説明を省略する。
図27に示すように、光学ユニット106は、本体部101に支持される第1部材102に加えて、第1部材102に支持された第2部材103を備える。なお、第1部材102と第2部材103は一体化された部材であってもよい。
図28に示すように、光学ユニット106は、第1部材102に加えて、第1部材102の中空部2Aと繋がる中空部3Aを有する第2部材103と、中空部2Aに配置された第1光学系121及び反射部材122と、中空部3Aに配置された第2光学系31、反射部材32、第3光学系33、及びレンズ34と、第1シフト機構105と、投影方向変更機構104と、を備える。
図27,図28の例において、第1部材102の開口2aと開口2bは互いに垂直な面に形成されている。また、図27,図28に示す投影光学系23は、図4,図5に示した第1光学系121及びレンズ34に加えて、反射部材122、第2光学系31、反射部材32、及び第3光学系33により構成される。このような投影光学系23により、図28に示すように、光軸Kは、2回屈曲することで折り返される形になる。第1光学系121、反射部材122、第2光学系31、反射部材32、第3光学系33、及びレンズ34は、光変調部22側からこの順に光軸Kに沿って配置されている。
第1光学系121は、本体部101から第1部材102に入射された方向X1に進む光を反射部材122に導く。反射部材122は、第1光学系121から入射された光を方向Y1に反射させる。反射部材122は、例えばミラー等によって構成される。第1部材102には、反射部材122にて反射した光の光路上に開口2bが形成されており、この反射した光は開口2bを通過して第2部材103の中空部3Aへと進む。
第2部材103は、断面外形が略L字状の部材であり、第1部材102の開口2bと対面する位置に開口3aが形成されている。第1部材102の開口2bを通過した本体部101からの光は、この開口3aを通って第2部材103の中空部3Aに入射される。なお、第1部材102や第2部材103の断面外形は任意であり、上記のものには限定されない。
第2光学系31は、少なくとも1つのレンズを含み、第1部材102から入射された光を、反射部材32に導く。反射部材32は、第2光学系31から入射される光を方向X2に反射させて第3光学系33に導く。反射部材32は、例えばミラー等によって構成される。第3光学系33は、少なくとも1つのレンズを含み、反射部材32にて反射された光をレンズ34に導く。
レンズ34は、第2部材103の方向X2側の端部に形成された開口3cを塞ぐ形でこの端部に配置されている。レンズ34は、第3光学系33から入射された光を投影対象物6に投影する。
図28は、第1シフト機構105によって第1部材102が方向Y1側に最大限移動された状態を示している。この図28に示す状態から、第1シフト機構105によって第1部材102が方向Y2に移動することで、光変調部22によって形成される画像の中心と光軸Kとの相対位置が変化して、投影対象物6に投影されている画像G1を方向Y1にシフトさせることができる。
投影方向変更機構104は、第1部材102に対して第2部材103を回転自在に連結する回転機構である。この投影方向変更機構104によって、第2部材103は、方向Yに延びる回転軸(具体的には光軸K)の回りに回転自在に構成されている。なお、投影方向変更機構104は、光学系を回転させることができればよく、図28に示した配置位置に限定されない。また、回転機構の数も1つに限らず、複数設けられていてもよい。
<変形例2>
本発明の制御装置の一例としてコンピュータ50を挙げて説明したが、本発明の制御装置はこれに限らない。例えば、本発明の制御装置は、投影装置10(又は投影装置10A)であってもよい。この場合、上記のコンピュータ50による各制御が投影装置10によって行われる。投影装置10は、コンピュータ50を介して撮像装置90と通信を行ってもよいし、コンピュータ50を介さずに撮像装置90と通信を行ってもよい。投影装置10がコンピュータ50を介さずに撮像装置90と通信を行う場合は、投影システム100からコンピュータ50を省いた構成としてもよい。
又は、本発明の制御装置は、撮像装置90であってもよい。この場合、上記のコンピュータ50による各制御が撮像装置90によって行われる。撮像装置90は、コンピュータ50を介して投影装置10,10Aと通信を行ってもよいし、コンピュータ50を介さずに投影装置10,10Aと通信を行ってもよい撮像装置90がコンピュータ50を介さずに投影装置10,10Aと通信を行う場合は、投影システム100からコンピュータ50を省いた構成としてもよい。
<変形例3>
複数の投影装置の例として、投影装置10,10Aを例に挙げて説明したが、複数の投影装置は3つ以上の投影装置であってもよい。
本明細書には少なくとも以下の事項が記載されている。
(1)
複数のマーカー画像を含む第1画像を投影する1以上の投影装置と、上記第1画像の少なくとも一部を撮像する撮像装置と、を備える投影システムの制御装置であって、
プロセッサを備え、
上記プロセッサは、上記撮像装置による上記第1画像の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像を上記投影装置から投影させる制御を行う、
制御装置。
(2)
(1)に記載の制御装置であって、
上記プロセッサは、上記撮像装置による上記第2画像の撮像結果に基づいて上記投影装置の投影を調整する制御を行う、
制御装置。
(3)
(1)又は(2)に記載の制御装置であって、
上記マーカー画像のうち1以上のマーカー画像は、上記投影装置の投影範囲における上記マーカー画像の位置と対応付けられた画像である、
制御装置。
(4)
(1)から(3)のいずれか1項に記載の制御装置であって、
更に、上記マーカー画像と、上記投影装置の投影範囲における上記マーカー画像の位置と、を対応付ける対応テーブルを備え、
上記プロセッサは、上記対応テーブルに基づいて上記投影装置の投影範囲における上記マーカー画像の位置を判定する、
制御装置。
(5)
(1)から(4)のいずれか1項に記載の制御装置であって、
上記プロセッサは、
上記第1画像の少なくとも一部の上記撮像結果に基づいて上記撮像装置の撮像可能範囲を算出し、上記撮像可能範囲に基づく上記第2画像を上記投影装置から投影させる上記制御を行う、
制御装置。
(6)
(5)に記載の制御装置であって、
上記プロセッサは、
上記撮像可能範囲に基づいて、上記第1画像と異なる上記第2画像を生成して上記投影装置から投影させる上記制御を繰り返し行う、
制御装置。
(7)
(6)に記載の制御装置であって、
上記プロセッサは、上記第2画像を上記投影装置から投影させる上記制御を繰り返し行う場合に、上記第2画像の投影位置を変化させる制御を行う、
制御装置。
(8)
(6)又は(7)に記載の制御装置であって、
上記プロセッサは、上記第2画像を上記投影装置から投影させる上記制御を繰り返し行う場合に、上記投影装置から投影させる上記第2画像を変化させる制御を行う、
制御装置。
(9)
(1)から(8)のいずれか1項に記載の制御装置であって、
上記プロセッサは、上記撮像装置の撮像条件を取得し、取得した上記撮像条件に基づいて、上記第2画像を上記投影装置から投影させる上記制御を行う、
制御装置。
(10)
(9)に記載の制御装置であって、
上記投影装置は複数の投影装置を含み、
上記撮像条件は、上記撮像装置による撮像が固定撮像及び手持ち撮像のいずれであるかを含み、
上記プロセッサは、上記撮像が上記固定撮像である場合は、上記複数の投影装置からの上記第1画像及び上記第2画像の少なくともいずれかを異なるタイミングで投影させる上記制御を行う、
制御装置。
(11)
(10)記載の制御装置であって、
上記プロセッサは、上記撮像が上記手持ち撮像である場合は、上記複数の投影装置からの上記第1画像及び上記第2画像の少なくともいずれかの画像であって区別可能な画像を同時に投影させる上記制御を行う、
制御装置。
(12)
(9)から(11)のいずれか1項に記載の制御装置であって、
上記撮像条件は、上記撮像の解像度を含み、
上記プロセッサは、上記解像度に応じた大きさの上記第2画像を上記投影装置から投影させる上記制御を行う、
制御装置。
(13)
(9)から(11)のいずれか1項に記載の制御装置であって、
上記撮像条件は、上記撮像の解像度を含み、
上記プロセッサは、上記解像度に応じた大きさのマーカー画像を含む上記第2画像を上記投影装置から投影させる上記制御を行う、
制御装置。
(14)
(1)から(13)のいずれか1項に記載の制御装置であって、
上記投影装置は、投影範囲の少なくとも一部の重畳が行われる複数の投影装置を含み、
上記プロセッサは、上記重畳を調整する制御を行う、
制御装置。
(15)
(14)に記載の制御装置であって、
上記プロセッサは、上記複数の投影装置に含まれる第1投影装置の投影範囲を基準として、上記複数の投影装置に含まれ上記第1投影装置と異なる第2投影装置の投影範囲を調整することにより上記重畳を調整する上記制御を行う、
制御装置。
(16)
(15)に記載の制御装置であって、
上記プロセッサは、上記複数の投影装置の投影範囲を重畳させる場合に、上記第1投影装置の投影範囲を基準として上記第2投影装置の投影範囲を調整することにより上記重畳を調整する上記制御を行う、
制御装置。
(17)
(14)に記載の制御装置であって、
上記プロセッサは、上記複数の投影装置の投影画像を調整することにより上記重畳を調整する上記制御を行う、
制御装置。
(18)
(17)に記載の制御装置であって、
上記プロセッサは、上記複数の投影装置の投影範囲の一部を重畳させる場合に、上記複数の投影装置の投影範囲を調整することにより上記重畳を調整する上記制御を行う、
制御装置。
(19)
複数のマーカー画像を含む第1画像を投影する1以上の投影装置と、上記第1画像の少なくとも一部を撮像する撮像装置と、を含む投影システムの制御装置による制御方法であって、
上記制御装置はプロセッサを備え、
プロセッサが、上記撮像装置による上記第1画像の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像を上記投影装置から投影させる制御を行う、
制御方法。
(20)
(19)に記載の制御方法であって、
上記プロセッサは、上記撮像装置による上記第2画像の撮像結果に基づいて上記投影装置の投影を調整する制御を行う、
制御方法。
(21)
(19)又は(20)に記載の制御方法であって、
上記マーカー画像のうち1以上のマーカー画像は、上記投影装置の投影範囲における上記マーカー画像の位置と対応付けられた画像である、
制御方法。
(22)
(19)から(21)のいずれか1項に記載の制御方法であって、
更に、上記マーカー画像と、上記投影装置の投影範囲における上記マーカー画像の位置と、を対応付ける対応テーブルを含み、
上記プロセッサは、上記対応テーブルに基づいて上記投影装置の投影範囲における上記マーカー画像の位置を判定する、
制御方法。
(23)
(19)から(22)のいずれか1項に記載の制御方法であって、
上記プロセッサは、
上記第1画像の少なくとも一部の上記撮像結果に基づいて上記撮像装置の撮像可能範囲を算出し、上記撮像可能範囲に基づく上記第2画像を上記投影装置から投影させる上記制御を行う、
制御方法。
(24)
(23)に記載の制御方法であって、
上記プロセッサは、
上記撮像可能範囲に基づいて、上記第1画像と異なる上記第2画像を生成して上記投影装置から投影させる上記制御を繰り返し行う、
制御方法。
(25)
(24)に記載の制御方法であって、
上記プロセッサは、上記第2画像を上記投影装置から投影させる上記制御を繰り返し行う場合に、上記第2画像の投影位置を変化させる制御を行う、
制御方法。
(26)
(24)又は(25)に記載の制御方法であって、
上記プロセッサは、上記第2画像を上記投影装置から投影させる上記制御を繰り返し行う場合に、上記投影装置から投影させる上記第2画像を変化させる制御を行う、
制御方法。
(27)
(19)から(26)のいずれか1項に記載の制御方法であって、
上記プロセッサは、上記撮像装置の撮像条件を取得し、取得した上記撮像条件に基づいて、上記第2画像を上記投影装置から投影させる上記制御を行う、
制御方法。
(28)
(27)に記載の制御方法であって、
上記投影装置は複数の投影装置を含み、
上記撮像条件は、上記撮像装置による撮像が固定撮像及び手持ち撮像のいずれであるかを含み、
上記プロセッサは、上記撮像が上記固定撮像である場合は、上記複数の投影装置からの上記第1画像及び上記第2画像の少なくともいずれかを異なるタイミングで投影させる上記制御を行う、
制御方法。
(29)
(28)記載の制御方法であって、
上記プロセッサは、上記撮像が上記手持ち撮像である場合は、上記複数の投影装置からの上記第1画像及び上記第2画像の少なくともいずれかの画像であって区別可能な画像を同時に投影させる上記制御を行う、
制御方法。
(30)
(27)から(29)のいずれか1項に記載の制御方法であって、
上記撮像条件は、上記撮像の解像度を含み、
上記プロセッサは、上記解像度に応じた大きさの上記第2画像を上記投影装置から投影させる上記制御を行う、
制御方法。
(31)
(27)から(29)のいずれか1項に記載の制御方法であって、
上記撮像条件は、上記撮像の解像度を含み、
上記プロセッサは、上記解像度に応じた大きさのマーカー画像を含む上記第2画像を上記投影装置から投影させる上記制御を行う、
制御方法。
(32)
(19)から(31)のいずれか1項に記載の制御方法であって、
上記投影装置は、投影範囲の少なくとも一部の重畳が行われる複数の投影装置を含み、
上記プロセッサは、上記重畳を調整する制御を行う、
制御方法。
(33)
(32)に記載の制御方法であって、
上記プロセッサは、上記複数の投影装置に含まれる第1投影装置の投影範囲を基準として、上記複数の投影装置に含まれ上記第1投影装置と異なる第2投影装置の投影範囲を調整することにより上記重畳を調整する上記制御を行う、
制御方法。
(34)
(33)に記載の制御方法であって、
上記プロセッサは、上記複数の投影装置の投影範囲を重畳させる場合に、上記第1投影装置の投影範囲を基準として上記第2投影装置の投影範囲を調整することにより上記重畳を調整する上記制御を行う、
制御方法。
(35)
(32)に記載の制御方法であって、
上記プロセッサは、上記複数の投影装置の投影画像を調整することにより上記重畳を調整する上記制御を行う、
制御方法。
(36)
(35)に記載の制御方法であって、
上記プロセッサは、上記複数の投影装置の投影範囲の一部を重畳させる場合に、上記複数の投影装置の投影範囲を調整することにより上記重畳を調整する上記制御を行う、
制御方法。
(37)
複数のマーカー画像を含む第1画像を投影する1以上の投影装置と、
上記第1画像の少なくとも一部を撮像する撮像装置と、
制御装置と、を備える投影システムであって、
上記制御装置は、プロセッサを備え、
上記プロセッサは、上記撮像装置による上記第1画像の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像を上記投影装置から投影させる制御を行う、
投影システム。
(38)
複数のマーカー画像を含む第1画像を投影する1以上の投影装置と、上記第1画像の少なくとも一部を撮像する撮像装置と、を含む投影システムの制御装置のプロセッサに、
上記撮像装置による上記第1画像の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像を上記投影装置から投影させる制御を行う、
処理を実行させるための制御プログラム。
1 投影部
2 操作受付部
2A,3A 中空部
2a,2b,3a,3c,15a 開口
4 制御部
4a 記憶媒体
5 通信部
6 投影対象物
8,8A,9 通信ケーブル
10,10A 投影装置
11,11A 投影範囲
12 光変調ユニット
15 筐体
21 光源
22 光変調部
23 投影光学系
24 制御回路
31 第2光学系
32,122 反射部材
33 第3光学系
34 レンズ
50 コンピュータ
51 プロセッサ
52 メモリ
53 通信インタフェース
54 ユーザインタフェース
59 バス
71,71A 第1画像
72 撮像可能範囲
81~84 第2画像
90 撮像装置
100 投影システム
101 本体部
102 第1部材
103 第2部材
104 投影方向変更機構
105 第1シフト機構
106 光学ユニット
121 第1光学系
G1 画像

Claims (38)

  1. 複数のマーカー画像を含む第1画像を投影する1以上の投影装置と、前記第1画像の少なくとも一部を撮像する撮像装置と、を備える投影システムの制御装置であって、
    プロセッサを備え、
    前記プロセッサは、前記撮像装置による前記第1画像の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像を前記投影装置から投影させる制御を行う、
    制御装置。
  2. 請求項1に記載の制御装置であって、
    前記プロセッサは、前記撮像装置による前記第2画像の撮像結果に基づいて前記投影装置の投影を調整する制御を行う、
    制御装置。
  3. 請求項1又は2に記載の制御装置であって、
    前記マーカー画像のうち1以上のマーカー画像は、前記投影装置の投影範囲における前記マーカー画像の位置と対応付けられた画像である、
    制御装置。
  4. 請求項1から3のいずれか1項に記載の制御装置であって、
    更に、前記マーカー画像と、前記投影装置の投影範囲における前記マーカー画像の位置と、を対応付ける対応テーブルを備え、
    前記プロセッサは、前記対応テーブルに基づいて前記投影装置の投影範囲における前記マーカー画像の位置を判定する、
    制御装置。
  5. 請求項1から4のいずれか1項に記載の制御装置であって、
    前記プロセッサは、
    前記第1画像の少なくとも一部の前記撮像結果に基づいて前記撮像装置の撮像可能範囲を算出し、前記撮像可能範囲に基づく前記第2画像を前記投影装置から投影させる前記制御を行う、
    制御装置。
  6. 請求項5に記載の制御装置であって、
    前記プロセッサは、
    前記撮像可能範囲に基づいて、前記第1画像と異なる前記第2画像を生成して前記投影装置から投影させる前記制御を繰り返し行う、
    制御装置。
  7. 請求項6に記載の制御装置であって、
    前記プロセッサは、前記第2画像を前記投影装置から投影させる前記制御を繰り返し行う場合に、前記第2画像の投影位置を変化させる制御を行う、
    制御装置。
  8. 請求項6又は7に記載の制御装置であって、
    前記プロセッサは、前記第2画像を前記投影装置から投影させる前記制御を繰り返し行う場合に、前記投影装置から投影させる前記第2画像を変化させる制御を行う、
    制御装置。
  9. 請求項1から8のいずれか1項に記載の制御装置であって、
    前記プロセッサは、前記撮像装置の撮像条件を取得し、取得した前記撮像条件に基づいて、前記第2画像を前記投影装置から投影させる前記制御を行う、
    制御装置。
  10. 請求項9に記載の制御装置であって、
    前記投影装置は複数の投影装置を含み、
    前記撮像条件は、前記撮像装置による撮像が固定撮像及び手持ち撮像のいずれであるかを含み、
    前記プロセッサは、前記撮像が前記固定撮像である場合は、前記複数の投影装置からの前記第1画像及び前記第2画像の少なくともいずれかを異なるタイミングで投影させる前記制御を行う、
    制御装置。
  11. 請求項10記載の制御装置であって、
    前記プロセッサは、前記撮像が前記手持ち撮像である場合は、前記複数の投影装置からの前記第1画像及び前記第2画像の少なくともいずれかの画像であって区別可能な画像を同時に投影させる前記制御を行う、
    制御装置。
  12. 請求項9から11のいずれか1項に記載の制御装置であって、
    前記撮像条件は、前記撮像の解像度を含み、
    前記プロセッサは、前記解像度に応じた大きさの前記第2画像を前記投影装置から投影させる前記制御を行う、
    制御装置。
  13. 請求項9から11のいずれか1項に記載の制御装置であって、
    前記撮像条件は、前記撮像の解像度を含み、
    前記プロセッサは、前記解像度に応じた大きさの前記マーカー画像を含む前記第2画像を前記投影装置から投影させる前記制御を行う、
    制御装置。
  14. 請求項1から13のいずれか1項に記載の制御装置であって、
    前記投影装置は、投影範囲の少なくとも一部の重畳が行われる複数の投影装置を含み、
    前記プロセッサは、前記重畳を調整する制御を行う、
    制御装置。
  15. 請求項14に記載の制御装置であって、
    前記プロセッサは、前記複数の投影装置に含まれる第1投影装置の投影範囲を基準として、前記複数の投影装置に含まれ前記第1投影装置と異なる第2投影装置の投影範囲を調整することにより前記重畳を調整する前記制御を行う、
    制御装置。
  16. 請求項15に記載の制御装置であって、
    前記プロセッサは、前記複数の投影装置の投影範囲を重畳させる場合に、前記第1投影装置の投影範囲を基準として前記第2投影装置の投影範囲を調整することにより前記重畳を調整する前記制御を行う、
    制御装置。
  17. 請求項14に記載の制御装置であって、
    前記プロセッサは、前記複数の投影装置の投影画像を調整することにより前記重畳を調整する前記制御を行う、
    制御装置。
  18. 請求項17に記載の制御装置であって、
    前記プロセッサは、前記複数の投影装置の投影範囲の一部を重畳させる場合に、前記複数の投影装置の投影範囲を調整することにより前記重畳を調整する前記制御を行う、
    制御装置。
  19. 複数のマーカー画像を含む第1画像を投影する1以上の投影装置と、前記第1画像の少なくとも一部を撮像する撮像装置と、を含む投影システムの制御装置による制御方法であって、
    前記制御装置はプロセッサを備え、
    プロセッサが、前記撮像装置による前記第1画像の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像を前記投影装置から投影させる制御を行う、
    制御方法。
  20. 請求項19に記載の制御方法であって、
    前記プロセッサは、前記撮像装置による前記第2画像の撮像結果に基づいて前記投影装置の投影を調整する制御を行う、
    制御方法。
  21. 請求項19又は20に記載の制御方法であって、
    前記マーカー画像のうち1以上のマーカー画像は、前記投影装置の投影範囲における前記マーカー画像の位置と対応付けられた画像である、
    制御方法。
  22. 請求項19から21のいずれか1項に記載の制御方法であって、
    更に、前記マーカー画像と、前記投影装置の投影範囲における前記マーカー画像の位置と、を対応付ける対応テーブルを含み、
    前記プロセッサは、前記対応テーブルに基づいて前記投影装置の投影範囲における前記マーカー画像の位置を判定する、
    制御方法。
  23. 請求項19から22のいずれか1項に記載の制御方法であって、
    前記プロセッサは、
    前記第1画像の少なくとも一部の前記撮像結果に基づいて前記撮像装置の撮像可能範囲を算出し、前記撮像可能範囲に基づく前記第2画像を前記投影装置から投影させる前記制御を行う、
    制御方法。
  24. 請求項23に記載の制御方法であって、
    前記プロセッサは、
    前記撮像可能範囲に基づいて、前記第1画像と異なる前記第2画像を生成して前記投影装置から投影させる前記制御を繰り返し行う、
    制御方法。
  25. 請求項24に記載の制御方法であって、
    前記プロセッサは、前記第2画像を前記投影装置から投影させる前記制御を繰り返し行う場合に、前記第2画像の投影位置を変化させる制御を行う、
    制御方法。
  26. 請求項24又は25に記載の制御方法であって、
    前記プロセッサは、前記第2画像を前記投影装置から投影させる前記制御を繰り返し行う場合に、前記投影装置から投影させる前記第2画像を変化させる制御を行う、
    制御方法。
  27. 請求項19から26のいずれか1項に記載の制御方法であって、
    前記プロセッサは、前記撮像装置の撮像条件を取得し、取得した前記撮像条件に基づいて、前記第2画像を前記投影装置から投影させる前記制御を行う、
    制御方法。
  28. 請求項27に記載の制御方法であって、
    前記投影装置は複数の投影装置を含み、
    前記撮像条件は、前記撮像装置による撮像が固定撮像及び手持ち撮像のいずれであるかを含み、
    前記プロセッサは、前記撮像が前記固定撮像である場合は、前記複数の投影装置からの前記第1画像及び前記第2画像の少なくともいずれかを異なるタイミングで投影させる前記制御を行う、
    制御方法。
  29. 請求項28記載の制御方法であって、
    前記プロセッサは、前記撮像が前記手持ち撮像である場合は、前記複数の投影装置からの前記第1画像及び前記第2画像の少なくともいずれかの画像であって区別可能な画像を同時に投影させる前記制御を行う、
    制御方法。
  30. 請求項27から29のいずれか1項に記載の制御方法であって、
    前記撮像条件は、前記撮像の解像度を含み、
    前記プロセッサは、前記解像度に応じた大きさの前記第2画像を前記投影装置から投影させる前記制御を行う、
    制御方法。
  31. 請求項27から29のいずれか1項に記載の制御方法であって、
    前記撮像条件は、前記撮像の解像度を含み、
    前記プロセッサは、前記解像度に応じた大きさの前記マーカー画像を含む前記第2画像を前記投影装置から投影させる前記制御を行う、
    制御方法。
  32. 請求項19から31のいずれか1項に記載の制御方法であって、
    前記投影装置は、投影範囲の少なくとも一部の重畳が行われる複数の投影装置を含み、
    前記プロセッサは、前記重畳を調整する制御を行う、
    制御方法。
  33. 請求項32に記載の制御方法であって、
    前記プロセッサは、前記複数の投影装置に含まれる第1投影装置の投影範囲を基準として、前記複数の投影装置に含まれ前記第1投影装置と異なる第2投影装置の投影範囲を調整することにより前記重畳を調整する前記制御を行う、
    制御方法。
  34. 請求項33に記載の制御方法であって、
    前記プロセッサは、前記複数の投影装置の投影範囲を重畳させる場合に、前記第1投影装置の投影範囲を基準として前記第2投影装置の投影範囲を調整することにより前記重畳を調整する前記制御を行う、
    制御方法。
  35. 請求項32に記載の制御方法であって、
    前記プロセッサは、前記複数の投影装置の投影画像を調整することにより前記重畳を調整する前記制御を行う、
    制御方法。
  36. 請求項35に記載の制御方法であって、
    前記プロセッサは、前記複数の投影装置の投影範囲の一部を重畳させる場合に、前記複数の投影装置の投影範囲を調整することにより前記重畳を調整する前記制御を行う、
    制御方法。
  37. 複数のマーカー画像を含む第1画像を投影する1以上の投影装置と、
    前記第1画像の少なくとも一部を撮像する撮像装置と、
    制御装置と、を備える投影システムであって、
    前記制御装置は、プロセッサを備え、
    前記プロセッサは、前記撮像装置による前記第1画像の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像を前記投影装置から投影させる制御を行う、
    投影システム。
  38. 複数のマーカー画像を含む第1画像を投影する1以上の投影装置と、前記第1画像の少なくとも一部を撮像する撮像装置と、を含む投影システムの制御装置のプロセッサに、
    前記撮像装置による前記第1画像の少なくとも一部の撮像結果に基づいて、複数のマーカー画像を含む第2画像を前記投影装置から投影させる制御を行う、
    処理を実行させるための制御プログラム。
JP2021126129A 2021-07-30 2021-07-30 制御装置、制御方法、投影システム、及び制御プログラム Pending JP2023020648A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021126129A JP2023020648A (ja) 2021-07-30 2021-07-30 制御装置、制御方法、投影システム、及び制御プログラム
US17/852,804 US11895444B2 (en) 2021-07-30 2022-06-29 Control device, control method, projection system, and control program
CN202210890300.6A CN115695748A (zh) 2021-07-30 2022-07-27 控制装置、控制方法、投影系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021126129A JP2023020648A (ja) 2021-07-30 2021-07-30 制御装置、制御方法、投影システム、及び制御プログラム

Publications (1)

Publication Number Publication Date
JP2023020648A true JP2023020648A (ja) 2023-02-09

Family

ID=85038074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021126129A Pending JP2023020648A (ja) 2021-07-30 2021-07-30 制御装置、制御方法、投影システム、及び制御プログラム

Country Status (3)

Country Link
US (1) US11895444B2 (ja)
JP (1) JP2023020648A (ja)
CN (1) CN115695748A (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7936361B2 (en) * 2007-04-30 2011-05-03 Hewlett-Packard Development Company, L.P. System and method for masking and overlaying images in multiple projector system
JP5641820B2 (ja) 2010-08-25 2014-12-17 キヤノン株式会社 投射型表示システム及び投射型表示装置
JP2015026992A (ja) 2013-07-26 2015-02-05 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
US10593016B2 (en) 2015-06-19 2020-03-17 Sony Corporation Image processing unit, image processing method, and projection system
US11375165B2 (en) * 2018-04-10 2022-06-28 ImmersaView Pty., Ltd. Image calibration for projected images
WO2020202786A1 (ja) * 2019-03-29 2020-10-08 富士フイルム株式会社 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム
WO2021085499A1 (ja) * 2019-10-31 2021-05-06 富士フイルム株式会社 制御装置、投影装置、制御方法、制御プログラム
JP2021158627A (ja) * 2020-03-30 2021-10-07 セイコーエプソン株式会社 プロジェクターの制御方法、プロジェクター、及び投射システム
JP7367731B2 (ja) * 2021-05-12 2023-10-24 セイコーエプソン株式会社 投写システムの制御方法および投写システム

Also Published As

Publication number Publication date
CN115695748A (zh) 2023-02-03
US11895444B2 (en) 2024-02-06
US20230031450A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
US11016582B2 (en) Position detecting device, position detecting system, and controlling method of position detecting device
US9992466B2 (en) Projector with calibration using a plurality of images
CN103279313B (zh) 显示装置以及显示控制方法
US9753580B2 (en) Position detecting device, position detecting system, and controlling method of position detecting device
JP2009245392A (ja) ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
US10244197B2 (en) Projector and control method of projector
JP2009043139A (ja) 位置検出装置
JP2001325069A (ja) 位置検出装置およびその方法
JP2007048135A (ja) Dmdを使用した投影面上の座標位置の取得方法
JP7151126B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP7163943B2 (ja) 情報生成方法、情報生成システム、及びプログラム
JP2020039082A (ja) 表示装置、表示システムおよび表示装置の制御方法
JP6569259B2 (ja) 位置検出装置、表示装置、位置検出方法、及び、表示方法
JP2023020648A (ja) 制御装置、制御方法、投影システム、及び制御プログラム
JP2021056588A (ja) 位置検出装置、プロジェクター、及び位置検出方法
JP2020160808A (ja) 位置検出方法、位置検出装置、及び、インタラクティブプロジェクター
JP2007017516A (ja) 2次元の位置情報を投影する機能を備えたプロジェクタ
WO2023047833A1 (ja) 制御装置、制御方法、制御プログラム、及び投影システム
JP7228112B2 (ja) 投影制御装置、投影装置、投影方法及びプログラム
JP2021105639A (ja) 投写システムの制御方法、投写システム及び制御プログラム
US9958958B2 (en) Interactive projector and method of controlling interactive projector
US10055026B2 (en) Interactive projector and method of controlling interactive projector
CN108983962A (zh) 显示装置以及显示装置的控制方法
JP7266151B2 (ja) 指示位置検出装置、指示位置検出方法、指示位置検出プログラム、及び投影システム
WO2023162688A1 (ja) 制御装置、制御方法、及び制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240404