JP2019219289A - 投影システム、投影調整プログラム及び投影方法 - Google Patents

投影システム、投影調整プログラム及び投影方法 Download PDF

Info

Publication number
JP2019219289A
JP2019219289A JP2018117208A JP2018117208A JP2019219289A JP 2019219289 A JP2019219289 A JP 2019219289A JP 2018117208 A JP2018117208 A JP 2018117208A JP 2018117208 A JP2018117208 A JP 2018117208A JP 2019219289 A JP2019219289 A JP 2019219289A
Authority
JP
Japan
Prior art keywords
projection
measurement
mask
light
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018117208A
Other languages
English (en)
Other versions
JP7145444B2 (ja
JP2019219289A5 (ja
Inventor
渕上 竜司
Ryuji Fuchigami
竜司 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018117208A priority Critical patent/JP7145444B2/ja
Priority to US17/253,008 priority patent/US11962947B2/en
Priority to PCT/JP2019/019414 priority patent/WO2019244523A1/ja
Publication of JP2019219289A publication Critical patent/JP2019219289A/ja
Publication of JP2019219289A5 publication Critical patent/JP2019219289A5/ja
Application granted granted Critical
Publication of JP7145444B2 publication Critical patent/JP7145444B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/26Projecting separately subsidiary matter simultaneously with main image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】対象物の計測を行う際に投影範囲のエラー領域を適切に回避できる投影システムを提供する。【解決手段】対象物105、106に対して位置計測及び投影を行う計測投影装置100と、計測投影装置100の投影動作の調整に関する処理を実行する投影調整装置200とを含む投影システムであって、計測投影装置100は、対象物に非可視光の計測光を投影する投影装置と、対象物から反射した計測光の反射光を受光する撮像装置と、計測光の反射光に基づいて対象物の位置情報を算出する演算装置と、を有し、計測光の投影範囲の一部を制限するマスク処理を実行する。【選択図】図6

Description

本開示は、映像を対象物に投影する投影システム、この投影システムにおいて用いる投影調整プログラム及び投影方法に関する。
スクリーン又は構造物などの対象物に映像を投影する技術、いわゆるプロジェクションマッピングと呼ばれる技術が知られている。プロジェクションマッピングのシステムの中には、撮像機能を備えているシステムがある。例えば、特許文献1には、被写体の3D形状を取得すること、及び被写体を可視光で撮像することを同時に行うことができるシステムが開示されている。
また、大画面表示などの用途のために、複数の投影装置を用いた投影システムが種々提案されている。この種の投影システムとしては、投影装置を水平及び垂直方向に複数配置し、各投影装置の投射画面を並べて表示することにより大画面表示を行うマルチプロジェクションシステム、或いは、各投影装置の投射画面を重ねて表示することにより投射画面の明るさの向上を行うスタックプロジェクションシステムがある。例えば、特許文献2には、複数のプロジェクタ装置間で赤外線通信を行うことにより、個々のプロジェクタ装置の操作、或いは全てのプロジェクタ装置の一括操作を簡易に行うことができるシステムが開示されている。
特開2005−258622号公報 国際公開第2011/001507号
本開示は、投影システムにおいて対象物の計測を行う際に投影範囲のエラー領域を適切に回避できる投影システム、投影調整プログラム及び投影方法を提供することを目的とする。
本開示は、対象物に対して位置計測及び投影を行う投影装置を含む投影システムであって、前記投影装置は、前記対象物に非可視光の計測光を投影する非可視光投影部と、前記対象物から反射した計測光の反射光を受光する受光部と、前記計測光の反射光に基づいて前記対象物の位置情報を算出する演算部と、を有し、前記計測光を投影可能な投影範囲の一部を制限するマスク処理を実行する、投影システムを提供する。
また、本開示は、対象物に対して位置計測及び投影を行う投影装置を含む投影システムにおいて、コンピュータにより前記投影装置の投影動作の調整に関する処理を実行する投影調整プログラムであって、前記投影システムの投影装置において、前記対象物に非可視光の計測光を投影し、前記対象物から反射した計測光の反射光を受光し、前記計測光の反射光に基づいて前記対象物の位置情報を算出することにより、位置計測を実施し、前記位置計測の計測結果に不具合が生じるエラー領域を検出し、前記エラー領域の計測結果を用いて、前記計測光を投影する際の投影範囲の一部を制限するマスク処理のためのマスク領域を、対象の投影装置に対して設定する、投影調整プログラムを提供する。
また、本開示は、投影装置が非可視光の計測光を投影可能な投影範囲の一部を制限するマスク処理を実行するステップと、前記計測光を前記マスク処理によって一部が制限された前記投影範囲に投影するステップと、前記計測光の反射光を受光するステップと、前記計測光の反射光に基づいて、前記投影範囲内に位置する対象物の位置情報を算出するステップと、算出した前記対象物の位置情報に基づいて、コンテンツの投影位置を決定するステップと、前記決定した投影位置に前記コンテンツを投影するステップと、を含む投影方法を提供する。
本開示によれば、投影システムにおいて対象物の計測を行う際に投影範囲のエラー領域を適切に回避できる。
本実施の形態に係る計測投影装置の構成及び機能の概要を説明する図 本実施の形態に係る計測投影装置の概略構成を示す図 本実施の形態に係る不可視光の計測パターンの一例を示す図 本実施の形態に係る計測投影装置の機能構成を示すブロック図 本実施の形態に係る計測投影装置の動作の一例を示すタイムチャート 本実施の形態に係る投影システムの構成の一例を示す図 本実施の形態に係る投影調整装置の機能構成を示すブロック図 本実施の形態に係る投影システムの投影範囲におけるマスク領域の設定動作の第1例を示す図 本実施の形態に係る投影システムの投影範囲におけるマスク領域の設定動作の第2例を示す図 本実施の形態に係る投影調整装置による投影調整方法の第1例を示すフローチャート 本実施の形態に係る投影調整装置による投影調整方法の第2例を示すフローチャート 本実施の形態に係る投影調整装置による投影調整方法の第3例を示すフローチャート 本実施の形態に係る投影調整装置による表示画面の第1例を示す図 本実施の形態に係る投影調整装置による表示画面の第2例を示す図 本実施の形態に係る投影システムの複数の計測投影装置におけるマスク領域の設定例を説明する図
[実施の形態の内容に至る経緯]
プロジェクションマッピングなどの、投影対象である対象物に映像コンテンツを投影することを考えた場合、映像コンテンツを対象物に意図通り位置合わせをして投影することが求められる。最終的には、投影装置の座標系から見た対象物の幾何学的な位置情報を得ることが必要となる。
また、静的な対象物に投影するときは、投影とは別に事前計測を1度だけ行えばよい。その場合、投影と計測との干渉を無視できる。一方、動的に移動し、及び/又は変形する対象物に対して、それを3D計測しながらその結果に基づいてリアルタイムに誤差のない投影を行うことを考える。その場合、投影中の映像コンテンツに影響を与えないように計測を行うことが求められる。
しかしながら、上記の特許文献1は、3D計測用のパターン画像を非可視光により投影することによって、別の場所に設置された可視光光源からの可視光の影響を受けない計測が可能になることを開示しているに過ぎない。特許文献1の技術によれば、撮像装置の座標系に準ずる計測結果しか得られない。
計測の分野において、上記の特許文献1以外に、例えば参考非特許文献1及び参考特許文献3に開示されたシステムが知られている。
[参考特許文献3]特開2013−192189号公報
[参考非特許文献1]“高速プロジェクタを用いた3000フレーム毎秒の三次元画像計測システムの開発”,ロボティクス・メカトロニクス講演会講演概要集 2007,”1P1−M02(1)”−”1P1−M02(4)”,2007−05−11
参考非特許文献1は、光パターン投影を用いて高速に3D形状を計測する手法を開示している。参考非特許文献1の計測システムは、撮像装置と、光源、レンズ及びミラー素子又は液晶素子を有する投影装置とを備えている。撮像装置は高速度撮影を行う機能を有している。例えば、撮像装置は、6000fpsで高速撮影ができる。投影装置は、1024×768の画素を有するバイナリパターンを6000fps以上で投影できる。
また、参考特許文献3は、撮像データに基づいて映像コンテンツを調整する計測システムを開示している。参考特許文献3の計測システムは、撮像装置、投影装置、及び計算装置を備えている。計算装置は、撮像装置により取得された撮像結果から投影対象の画像認識を行う。計算装置は、投影対象を認識した領域に映像コンテンツを投射するようにその映像を生成する。投影装置は、映像コンテンツを投影対象に投影する。
上記の参考非特許文献1は、高速に3D計測を行う技術水準を開示しているに過ぎない。投影装置の座標情報を送出するには数十フレーム分の画像が必要になるので、従来、移動物体の3D計測を高速に行うことは困難であった。参考非特許文献1の技術は、高速に計測を行える可能性を示唆した点では有意義であると考えられる。
しかしながら、参考非特許文献1は3D計測単体の技術を開示しているだけであり、投影装置の座標系について何ら言及していない。また、参考非特許文献1は、高速撮像後のオフライン処理、すなわち非リアルタイムでの処理について言及している。そもそも、60Hzなどで画像処理を行うことを前提としたパーソナルコンピュータのような計算機アーキテクチャ装置においては、数十ミリ秒以上の遅延が入出力で発生する。その結果、移動物体に映像を投影しながらそれを撮像し、その結果をリアルタイムで投影にフィードバックさせることは困難である。
上記の参考特許文献3の技術によれば、撮像装置と投影装置との位置が互いに異なることによって視差が発生する。しかしながら、参考特許文献3は、その視差の解決について何ら言及していないし、システムの高速化についても言及していない。
このような状況を鑑み、本願発明者は、赤外光等の不可視光の高速投影が可能な不可視光投影装置と、可視光の高速投影が可能な可視光投影装置と、高速撮影が可能な撮像装置とを有し、高速に不可視光のパターン光による計測光の投影及び撮影を行って対象物の位置を高精度に計測し、対象物に可視光の映像コンテンツを意図通りに位置合わせをして投影を行うことができる投影システムを想到した。
ここで、計測光を高速投影して対象物の位置計測を行う投影装置を複数配置した投影システムを想定する。このような投影システムでは、複数の投影装置による投影時間及び投影範囲を調整し、対象物の位置計測及び映像投影を高精度に実行可能にすることが求められる。上記の特許文献2は、複数の投影装置間で赤外線通信を行うことにより、他の投影装置の存在の検出、複数の投影装置の操作を可能とすることについて開示しているに過ぎない。
上記のような複数の投影装置を用いて対象物の位置計測及び映像投影を行う投影システムでは、複数の投影装置の投影範囲に重なりが生じる場合、重複領域において計測光に干渉が発生し、的確な位置計測ができないことがある。また、高精度の位置計測が可能な投影装置を複数配置する場合、それぞれの投影装置の投影範囲の配置、投影範囲の重なりなど、複数の投影範囲の位置関係を容易に把握できないことがある。
このように、複数の投影装置を用いた投影システムにおいて、他の投影装置による干渉又は障害物が存在する場合、位置計測にエラーが発生し、的確な位置計測ができないという課題がある。また、単独の投影装置を用いた場合においても、何らかの障害物が存在する場合にエラーによって的確な位置計測ができないという課題がある。これらの課題に鑑み、投影装置の投影範囲にマスク領域を設定するなどの方法により、投影範囲のエラー領域を適切に回避することが望まれる。
以下、適宜図面を参照しながら、本開示に係る構成を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
[本実施の形態]
本実施の形態の一例として、複数の投影装置を用いた投影システムにおいて、所定の条件に応じて対象となる投影装置の投影範囲にマスク領域を設定し、エラー領域を回避して的確な位置計測を可能とする投影システム、投影調整プログラム及び投影方法を例示する。
(計測投影装置及び投影システムの概要)
図1は、本実施の形態に係る計測投影装置の構成及び機能の概要を説明する図である。本実施の形態では、対象物に対して映像投影を行う投影装置として、図1に示すような計測投影装置100を用いて、対象物の位置を計測し、対象物の位置情報に応じて映像を投影する例を示す。ここでは、映像を投影する対象物として、平面又は曲面のスクリーン又は壁面等による第1の対象物105と、この第1の対象物105の前に位置する人物等による第2の対象物106とを想定する。以下、単に対象物105、106と称することもある。人物等の第2の対象物106は、スクリーン等の第1の対象物105の前でダンスなどを行って身体の各部を動かし、移動するものとする。つまり、対象物106は、自身の動きに伴って各部の形状及び位置が変化する状態となっている。このため、対象物105、106に所定の映像コンテンツを投影するために、第1の対象物105に対する第2の対象物106の位置を計測し、対象物106の正確な位置情報を取得する必要がある。
計測投影装置100は、受光部の一例としての撮像装置101と、不可視光の計測光の一例としての赤外光を投影する非可視光投影部の一例としての赤外光投影部、及び可視光を投影する可視光投影部を含み、計測用の赤外光と映像投影用の可視光とを投影可能な投影装置122とを有する。計測投影装置100は、投影装置122の赤外光投影部によって投影座標をコード化した赤外光のパターン光を高速投影し、撮像装置101によって対象物105、106を高速撮像することにより、対象物105、106の位置を高速に計測する。対象物の位置計測の詳細については後述する。そして、計測投影装置100は、対象物105、106の位置情報に基づき、特に動いている対象物106の位置に対して常に位置合わせを行った状態で、投影装置122の可視光投影部によって所定の映像を投影する。なお、計測投影装置100は、投影装置122の代わりに、非可視光投影装置と可視光投影装置とを別体に有するものであってもよい。本実施の形態では、後述するように複数の計測投影装置100を適宜配置して投影システムを構成する場合を想定する。
複数の計測投影装置100を配置した投影システムの例として、例えば、対象物に対して多面投影を行って広い面積の領域をカバーするもの、重ね打ち投影によって高輝度の投影を行うもの、対象物の周囲を囲むように周状に配置してラッピング投影を行うもの、などがある。このような投影システムでは、投影範囲が重複する領域において、計測光に干渉が発生し、対象物の位置計測を正確に行えない課題が生じ得る。本実施の形態では、優先順位などの所定の条件に応じて対象となる投影装置の投影範囲にマスク領域を設定することにより、エラー領域を回避し、上記の課題を解決する。
(計測投影装置の構成)
次に、計測投影装置の構成及び動作の一例をより詳しく説明する。
図2は、本実施の形態に係る計測投影装置の概略構成を示す図である。計測投影装置100は、撮像装置101、投影装置122、及び演算装置103を備える。
本実施の形態では、撮像装置101は参考非特許文献1と同様に毎秒6000フレームの撮影を行うことができる。また、撮像装置101は、内部にバッファリングすることなく大規模な転送帯域を有し、演算装置103に撮像データを出力できる。さらに、撮像装置101は、赤外光領域に感度を有している。以下、これらを前提とし、各装置の機能及び動作の一例を説明する。
投影装置122は、非可視光投影部の一例としての赤外光投影部と、可視光投影部とを有する、一体型の投影装置により構成される。投影装置122の赤外光投影部は、計測光の一例として、投影座標系で規定される投影座標をコード化したパターン画像を示すパターン光を投影する。また、投影装置122の可視光投影部は、映像コンテンツを表す映像光を投影する。なお、投影装置122は、非可視光投影装置と可視光投影装置とがそれぞれ別体に構成されるものであってもよい。本願明細書では、投影座標系は、投影装置122の可視光投影部より投影する投影画像である映像コンテンツの画像の各画素の座標を特定する座標系を意味する。映像コンテンツの画像の各画素を特定する座標を投影座標系の「投影座標」と称する。投影座標は、投影装置122の赤外光投影部より投影するパターン画像の各画素の座標とも対応する。
投影装置122は、レンズ光学系111と、赤外LED光源112と、表示デバイス113と、可視光LED光源114と、ダイクロイックミラー115とを有する。レンズ光学系111は、一枚のレンズで構成されていてもよいし、複数枚のレンズ(レンズ群)で構成されていてもよい。複数のレンズは、例えばズームレンズ及びフォーカスレンズなどを含み得る。
赤外LED光源112は、非可視光の一例としての赤外光をパターン光として出射する。非可視光は、例えば、赤外光帯域(概ね700nmから1000nm)の波長を有している。なお、本実施の形態では、非可視光の光源として、赤外LED光源を用いているが、紫外線を出射する光源を利用することもできる。
可視光LED光源114は、可視光帯域(概ね380nmから780nm)の光を映像光として出射する。簡易化の観点から、可視光LED光源114を単色の可視光光源とすることができる。ただし、赤青緑の三色用に3つの光源をそれぞれ設けることにより、フルカラーの映像を投影しても当然構わない。又は、十分高速に回転可能なカラーホイールがあれば、可視光LED光源114の代わりに高圧水銀灯などの白色光源を備え、出力にそれを取り付けることにより、フルカラーの映像を投影することができる。また、可視光光源として、高圧水銀灯からダイクロイックプリズムなどで波長別に光を取り出せる光源を利用することができる。このように本開示にはあらゆる光源を利用することができる。
表示デバイス113は、例えば1024×768の升目上にマイクロミラーが配列されたデジタルマイクロミラーデバイス(DMD)等による光学デバイスであり、投影座標をコード化したパターン画像を生成する。表示デバイス113は、バイナリパターンで毎秒30000フレームの映像を出力できる。なお、表示デバイス113は、反射型の光学素子の代わりに、透過型の光学素子により構成するものであってもよいし、液晶デバイスで代替することも可能である。
ダイクロイックミラー115は、可視光を透過させ、赤外光を反射する特性を有している。ダイクロイックミラー115としては、公知となっているものを広く用いることができる。なお、赤外LED光源112と可視光LED光源114にそれぞれ対応して表示デバイスを設け、ダイクロイックミラー115の代わりにダイクロイックプリズムを設けて2つの光源及び表示デバイスからの光をレンズ光学系111に導く構成としてもよい。
受光部の一例としての撮像装置101は、パターン光を受光して撮像し、パターン光の撮像画像を生成する。撮像装置101は、イメージセンサ、レンズ光学系などを含んでいる。例えば、表示デバイス113と対応させて、1024×768の画素数を有するイメージセンサを用いることができる。その場合、1画素を8bitの分解能とすると、転送帯域は38Gbps程である。ここで、演算装置103は、例えば、FPGA(Field Programmable Gate Array)で実現するものと仮定する。現在の半導体技術水準を考慮すると、38Gbps程の転送帯域は十分に実現できる範囲である。
撮像装置101は、撮像座標系を有している。本願明細書では、撮像座標系は、撮像装置101により取得される撮像画像の各画素の座標を特定する座標系を意味する。「投影座標」と区別して、撮像画像の各画素の座標を撮像座標系の「撮像座標」と称する。
演算部の一例としての演算装置103は、撮像画像を、撮像座標系で規定される撮像座標に対応する投影座標を示す投影座標情報に復号し、投影座標系を基準として投影座標情報を対象物までの距離情報に変換し、距離情報に応じて、映像コンテンツの内容を選択的に決定する。
図3は、本実施の形態に係る不可視光の計測パターンの一例を示す図である。図3では、パターン光に対応した、コード化されたパターン画像(座標パターン)の一部を例示している。図3に示されるパターン画像は、1024×768のマイクロミラーを有する表示デバイス113の各ミラーのX座標及びY座標をグレイコード化した後に、各bitを白黒の2値画像として表すことにより得られる。
投影装置122の赤外光投影部は、例えば1024×768画素のパターン画像に基づいてパターン光を対象物107(対象物105、106に相当)に投影することができる。画素のX座標及びY座標ともに512より大きく1024以下である。その場合、X座標を表すbit0からbit9までの10ビットがグレイコード化される。X座標と同様に、Y座標を表すbit0からbit9までの10ビットがグレイコード化される。このように、各座標にそれぞれ10ビット、合計20ビットを割り当てることにより、座標情報をコード化できる。以下、40フレームの画像データを利用して、その20ビットの情報の符号化を行う例を説明する。
図3の(X9a)はX座標をグレイコード化した後のbit9に対応したパターン画像を示している。また、本実施の形態では、マンチェスタ符号化により投影座標を符号化するので、bit9をビット反転させた反転パターン画像も用いられる。図3の(X9b)は、(X9a)の画像パターンを反転させた反転パターン画像を示している。同様に、図3の(X8a)はX座標をグレイコード化した後のbit8に対応したパターン画像を示し、(X8b)は(X8a)の画像パターンを反転させた反転パターン画像を示している。図3の(X7a)はX座標をグレイコード化した後のbit7に対応したパターン画像を示し、(X7b)は(X7a)の画像パターンを反転させた反転パターン画像を示している。
図3の(Y9a)はY座標をグレイコード化した後のbit9に対応したパターン画像を示している。図3の(Y9b)は、(Y9a)の画像パターンを反転させた反転パターン画像を示している。同様に、図3の(Y8a)はY座標をグレイコード化した後のbit8に対応したパターン画像を示し、(Y8b)は(Y8a)の画像パターンを反転させた反転パターン画像を示している。図3の(Y7a)はY座標をグレイコード化した後のbit7に対応したパターン画像を示し、(Y7b)は(Y7a)の画像パターンを反転させた反転パターン画像を示している。
図示されていないが、計測可能な解像度まで、例えばX座標及びY座標のbit6から0にもそれぞれ対応したパターン画像及び反転パターン画像が存在する。投影装置122の赤外光投影部は、これらパターンを含めた40パターンを対象物107に順次投影する。撮像装置101は、対象物107からのパターン光の反射光を受光し、投影されたパターン画像を順次撮像する。
(計測投影装置の機能構成)
図4は、本実施の形態に係る計測投影装置の機能構成を示すブロック図である。演算装置103は、計測投影装置100の全体を制御する機能を有している。演算装置103は、例えばコンピュータ、プロセッサに代表される演算装置、又は半導体集積回路によって実現され得る。半導体集積回路とは、例えばASIC(Application Specific Integrated Circuit)及びFPGAなどである。演算装置103は、メモリに、各構成要素の機能を発揮するコンピュータプログラムを実装したものを用い、半導体集積回路内のプロセッサが逐次コンピュータプログラムを実行することにより、各構成要素の機能を実現してもよい。
演算装置103は、画像入力部401、パターン復号部402、フレームメモリ部403、コード復号用メモリ部404、座標変換部405、座標変換用メモリ部406、座標補間部407、コンテンツ生成部408、コンテンツメモリ部409、画像出力部410、及びパターン生成部411を有している。演算装置103内の各メモリ部は、例えばRAMなどによって構成され得る。
図5は、本実施の形態に係る計測投影装置の動作の一例を示すタイムチャートである。図5に示されるように、投影装置122は、期間161、163、165においてパターン光を投影し、期間162、164、166において映像光を投影する。つまり、投影装置122は、映像光及びパターン光を時分割多重化して投影する。なお、図中のマイクロミラーの「P」は計測のためのパターン画像を示し、「V」は投影画像としての映像コンテンツを示している。
パターン生成部411は、期間161において、赤外LED光源112を点灯させる。パターン生成部411は、上述した方法によりパターン投影用のパターン画像を生成する。パターン生成部411は、表示デバイス113において計測用のパターン投影を行うように、画像出力部410にパターン画像を示す画像データを出力する。画像出力部410は、パターン生成部411からの画像データと赤外LED光源112の点灯情報とを、投影装置122及び画像入力部401に出力する。パターン画像を示す計測光のパターン光は不可視光として投影されるので、撮像装置101により撮像されて計測されるが、人間の視覚には影響を及ぼさない。
パターン生成部411は、1つのパターンを1/6000秒で出力することができる。パターン生成部411は、期間161において、X座標及びY座標のそれぞれの10bitの座標画像とその反転画像との合計40フレームを出力する。一方、撮像装置101は、表示デバイス113のフレームを出力するレートと同期して40フレームで撮像を行う。この例では期間161の長さは例えば6.7ミリ秒である。
画像出力部410は、パターン生成部411の画像データの出力タイミングと同期して投影装置122にパターン画像を出力する。投影装置122は、パターン画像を対象物に投影する。また、画像入力部401は、画像出力部410のパターン画像の出力タイミングと同期して撮像装置101の露光を制御する。これにより、撮像装置101において、40フレームのパターン画像の撮像が行われる。
画像入力部401は、撮像装置101により撮像されたパターン画像の撮像画像(撮像データ)を受信する。画像入力部401は、受信した撮像データをパターン復号部402に送信する。画像入力部401は、画像出力部410と同期しながら受信した撮像データに対応するパターンを判定する。
パターン復号部402は、撮像装置101からのパターン画像を示す撮像画像を、撮像座標系で規定される撮像座標に対応する投影座標を示す投影座標情報に復号する。以下、パターン復号部402の機能をより詳細に説明する。
パターン復号部402は、画像入力部401から受信した撮像データがX座標及びY座標の非ビット反転画像であれば、その撮像データをフレームメモリ部403に書き込む。パターン復号部402は、その画像データがX座標及びY座標のビット反転画像であれば、先にフレームメモリ部403に記録された非ビット反転画像を読み出しながら、両者の差分をとる。このように非ビット反転画像とビット反転画像の差分を取ることにより、投影対象の色又は環境光に依存することなく、投影光の「0」と「1」とを判別することができる。上記差分が所定の値以下の領域を、投影光が投影されていない領域として判定し、その領域を計測対象領域から除外することができる。
コード復号用メモリ部404には、撮像装置101の画素毎に書き込み領域が設けられている。パターン復号部402は、非ビット反転画像とビット反転画像の差分をとった後、グレイコード化された座標データの各ビット値を、その書き込み領域にビット単位で書き込む。この座標データの書き込み操作が撮像装置101の露光時間の間に40フレーム分実行される。これにより、撮像装置101の各画素に対応する、投影装置102のX座標及びY座標が存在するか否かを示す情報と、存在する場合のX座標及びY座標のそれぞれを示す10bitの値とが、コード復号用メモリ部404に書き込まれる。パターン復号部402は最終的に、コード復号用メモリ部404に記録されたグレイコードの座標データをバイナリに再変換して座標変換部405に出力する。
これまでの処理により、撮像装置101のある画素位置に撮像された投影光が、投影装置122のどの画素から投影されたのかを知ることができる。つまり、投影装置122の投影座標系で規定される投影座標と、撮像装置101の撮像座標系で規定される撮像座標との対応関係を知ることができる。したがって、撮像装置101と投影装置122との互いの位置関係が既知であれば、撮像画素毎に対象物までの距離を三角法により得ることができる。しかしながら、得られる情報は、撮像装置101の撮像画素に対応した距離情報である。そのため、本実施の形態では、撮像装置101の撮像画素に対応した撮像座標の距離情報を投影装置122の投影座標に対応した距離情報に変換する。
座標変換部405は、パターン復号部402から受信したデータを、投影装置122の投影座標に対応したアドレスで特定される座標変換用メモリ部406の領域に書き込む。その後、座標変換部405は、座標変換用メモリ部406から、距離情報を投影装置122のX座標及びY座標の順番で読み出すことにより、投影装置122の投影座標に対応した距離情報を生成する。
その際、対応点が存在しない投影画素が発生し得る。具体的には、対象物に投影されたパターン画像のうち、ある複数の画素に対応したそれぞれの光が、撮像装置101の1つの撮像画素によって撮像され得る。その場合、グレイコードの特性上、対応点が存在しない投影画素は隣接する2つの投影画素のどちらかの画素座標に丸め込まれるので、片側の投影画素は対応先のない状態となる。
座標補間部407は、座標変換部405から、投影装置122の投影座標に対応した距離情報を受信する。座標補間部407は、距離情報の存在しない投影座標に対して距離情報を補間する。これは、補間することが可能な距離情報を有する投影座標が一定数その周辺に存在する箇所に限り、周辺座標の距離情報から線形補間等の補間法を用いて行なわれる。座標補間部407は、投影座標に基づく距離情報をコンテンツ生成部408に出力する。上記のように、パターン画像の撮像画像の読み出しと対象物までの距離情報を含む位置情報の演算とを実行することにより、リアルタイムで高速な位置計測動作が可能になる。
コンテンツ生成部408は、期間162と期間163とを跨いで投影用の映像コンテンツを生成する。コンテンツ生成部408は、コンテンツメモリ部409に予め記録されていた映像コンテンツを、座標補間部407から受信した距離情報に基づいて加工し、加工した映像コンテンツを画像出力部410に出力する。以下、加工された映像コンテンツを、予め記録された加工前の映像コンテンツと区別して、「加工後の映像コンテンツ」と称する場合がある。
コンテンツ生成部408は、座標ずれの無い、対象物までの距離に正確に対応した映像コンテンツを生成する。また、コンテンツ生成部408は、映像コンテンツの内容を距離情報に応じて選択的に決定することができる。例えば一定の距離にある物体だけを切り出して検知し、可視光投影用の映像コンテンツを正確に描画するなどの処理が可能となる。コンテンツ生成部408は、投影用の加工後の映像コンテンツを画像出力部410に出力する。
画像出力部410は、期間162及び期間163において生成された可視光投影用の映像コンテンツを、期間164において投影装置122に出力する。投影装置122は、可視光LED光源114を点灯し、表示デバイス113によって映像コンテンツに対応した映像光を投影する。表示デバイス113は、毎秒30000のバイナリフレームを出力することができる。そのため、例えば8.5ミリ秒の間に255フレームを用いて256階調の画像を投影することが可能となる。この投影は可視光光源によってなされるので、人間に視認される。
期間163においては、投影用の映像コンテンツの生成と並行して、期間161と同様に赤外光によるパターン画像の投影と撮像とがなされる。期間164と期間165とを跨いで、コンテンツ生成部408は、座標ずれの無い、対象物までの距離に正確に対応した映像コンテンツを生成する。そして、期間166において、投影装置122は、投影用の映像コンテンツを投影する。このように、位置計測と投影とを連続的に行うことが可能である。
計測と投影との繰り返しの周期は、例えば、計測時間(期間161)が6.7ミリ秒であり、投影時間(期間162)が8.5ミリ秒であれば、15.2ミリ秒である。これは60Hz以上のスループットで実現可能であることを意味している。また、計測からその計測結果を反映させるまでの時間(以下、「遅延時間」と称する。)を繰り返しの周期と同じ15.2ミリ秒とすることができる。このように60Hz以上のスループットを達成できるので、映像コンテンツが投影されない計測期間などの非表示時間に起因する投影画像のちらつきは人間の目に気にならないレベルまで十分に低減できる。なお、図5においては、遅延時間は、期間162及び期間163の合算時間に相当する。
本実施の形態の計測投影装置100では、映像投影と位置計測とを同じ計測投影装置によって行うことにより、投影と計測とのずれの発生を原理的に抑制でき、かつ、可視光の映像に干渉しない幾何学計測の重畳を実現できる。また、演算装置103が撮像装置101により撮像されたパターン画像をデコードできれば、相対的な位置計測には耐えることができる。そのため、設置の精度が十分に確保されなくても、実用に耐え得る。その点において、設置の簡易性を確保できる。また、経年劣化による設置関係の誤差拡大に対して高いロバスト性を得ることができる。
演算装置103において、パターン生成部411は、計測光を投影可能な投影範囲の一部を制限するマスク処理を実行する。この際、パターン生成部411は、マスク領域に対応するパターン画像の一部を非透過とし、投影範囲の一部領域をマスクする。投影装置122は、表示デバイス113によってマスク領域の光を遮断し、赤外LED光源112を点灯して計測光をマスク処理によって一部が制限された投影範囲に投影する。
(投影システムの構成)
図6は、本実施の形態に係る投影システムの構成の一例を示す図である。本実施の形態では、図6に示すような投影システムにおいて、パーソナルコンピュータ(PC)などによって構成される投影調整装置200を用いて、複数の計測投影装置100の投影動作の調整、或いはユーザによる投影動作の調整作業の支援を行う例を示す。投影システムは、複数(図示例では4つ)の計測投影装置100と、計測投影装置100の投影動作の調整に関する処理を実行する投影調整装置200とを有する。ここでは、複数の計測投影装置100によって、対象物105、106に対して多面投影を行って広い面積の領域をカバーするように、各計測投影装置100の投影範囲の一部が重なるように投影範囲を設定する場合を想定する。図示例では、4個の計測投影装置P1、P2、P3、P4を用いた構成を示している。
投影調整装置200は、情報表示用のディスプレイを有するモニタ250が接続され、投影動作調整のための各種の投影情報を含む表示画面をモニタ250に表示する。投影調整装置200は、プロセッサ及びメモリを有するPCなどの情報処理装置によって構成され、所定のコンピュータプログラムを実行することにより、投影情報の表示、投影動作の自動調整などの機能を実現する。
図7は、本実施の形態に係る投影調整装置の機能構成を示すブロック図である。投影調整装置200は、処理部210、記憶部220、通信インタフェース(I/F)230を有する。投影調整装置200は、通信インタフェース230を介して計測投影装置100と接続され、計測動作に関する設定情報、投影範囲情報、マスク領域情報、対象物の位置計測情報などの各種情報を送受信する。投影調整装置200は、表示部240及び入力部260と接続され、表示部240への表示画面の表示、入力部260からの操作指示の入力を行う。表示部240は、図6のモニタ250等の表示装置によって構成され、入力部260は、図示しないキーボード、マウス、タッチパッド、タッチパネル等の入力装置によって構成される。
記憶部220は、フラッシュメモリ等による半導体メモリ、SSD(Solid State Drive)、HDD(Hard Disk Drive)等によるストレージデバイスなどの少なくともいずれか一つを含む記憶デバイスを有する。記憶部220は、投影動作の調整に関する機能を実行する投影調整プログラム221を記憶する。
処理部210は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)等のプロセッサを有する。処理部210は、投影調整プログラム221に従って処理を実行し、マスク領域設定211等の機能を実現する。
通信インタフェース230は、有線通信又は無線通信により計測投影装置100等の外部装置との間で情報の送受信を行うインタフェースである。有線の通信インタフェースとしては、例えばUSB(Universal Serial Bus)、イーサネット(登録商標)などを用いてよい。無線の通信インタフェースとしては、例えばBluetooth(登録商標)、無線LANなどを用いてよい。
投影調整装置200は、マスク領域設定211の機能として、計測光の投影範囲におけるマスク領域に関する設定を、計測投影装置100による計測結果、所定の条件等に基づいて実行する。
計測投影装置100は、設定されたマスク領域の情報を取得し、計測光を投影可能な投影範囲の投影範囲の一部を制限するマスク処理を実行する。計測投影装置100は、投影装置122により計測光をマスク処理によって一部が制限された投影範囲に投影し、撮像装置101により計測光の反射光を受光する。また、計測投影装置100は、計測光の反射光に基づいて、演算装置103により投影範囲内に位置する対象物105、106の位置情報を算出し、算出した対象物の位置情報に基づいて、コンテンツの投影位置を決定する。そして、計測投影装置100は、決定した投影位置に投影装置122によりコンテンツを投影する。
なお、投影調整装置200の処理部の一部又は全部の機能を、計測投影装置100の演算装置103において備える構成とし、計測投影装置100においてマスク領域設定などの処理を実行するようにしてもよい。
(マスク領域の設定例)
ここで、本実施の形態の投影システムにおけるマスク領域の設定についていくつか例を説明する。
図8は、本実施の形態に係る投影システムの投影範囲におけるマスク領域の設定動作の第1例を示す図である。第1例は、他の計測投影装置の投影範囲との干渉及び投影範囲内の障害物の存在がある場合の設定例を示す。図中左上に示すように、着目する計測投影装置100について、計測光の投影範囲PE1において他の計測投影装置の投影範囲PExと重複して干渉しているエリアer1、意図しない障害物OBによって誤計測が生じているエリアer2が存在しているとする。例えば鏡面を有する物体など、意図しない障害物がある領域では、乱反射によって計測エラーが生じる。また、他の計測投影装置の計測光と干渉している領域についても、誤計測が発生する可能性が高く、広義には意図しない計測エラーが生じる領域であると考えられる。
この場合、障害物による乱反射又は投影範囲の重複によって計測エラーが生じるエリア(エラー領域)er1、er2を検出し、図中右上に示すように、エラー領域に対応するマスク領域me1、me2を設定し、このマスク領域の計測光を遮断する。すなわち、図中左下に示すような計測光のそれぞれのパターン画像において、図中右下に示すように、マスク領域me1、me2を設定し、マスク領域部分をマスクしたパターン光を生成して投影する。計測光のマスク領域のマスク処理は、パターン画像の白黒パターンと同様、表示デバイス113によって画素単位で遮断することによって実施可能である。
なお、マスク領域me1、me2は、図では分かりやすいように他の計測投影装置の投影範囲PExや障害物OBを完全に避けるように示しているが、他の投影範囲PExや障害物OBとの境界まで、或いは他の投影範囲PExや障害物OBに投影範囲PE1が少しかかるように、マスク領域を小さめに設定するのが好ましい。これにより、位置計測を行う際に、マスク領域の境界において計測範囲を程よく重ねるようにし、他の計測投影装置による位置計測結果との接続部分を滑らかに接続して計測することができ、より精度良く位置計測を実行できる。
このようなマスク領域の設定及びマスク処理によって、他の計測投影装置の計測光との干渉や障害物による誤検出が生じる領域を適切にマスクし、正常な位置計測を実行可能となる。第1例は、複数の計測投影装置100を制御して位置計測及び映像投影を行う場合だけでなく、例えば仕様の異なる異種装置など、統合的に管理、制御ができない他の計測投影装置と共に使用する環境下で、単体の計測投影装置100においてマスク処理を行う場合にも適用可能である。この場合、単体の計測投影装置100において、計測結果に基づき、エラーが発生した場合にエラー領域をマスク領域として設定すればよい。
図9は、本実施の形態に係る投影システムの投影範囲におけるマスク領域の設定動作の第2例を示す図である。第2例は、複数の計測投影装置を用いて多面投影等のマルチ投影を行う場合の設定例を示す。図中左上に示すように、4つの計測投影装置(P1〜P4)100による計測光の投影範囲PE1、PE2、PE3、PE4の一部がそれぞれ互いに重複し、例えば投影範囲PE4において干渉しているエリアer1が存在しているとする。この場合、干渉により計測エラーが生じるエリア(エラー領域)er1を検出し、図中右上に示すように、エラー領域をマスク領域me1として設定し、このマスク領域の計測光を遮断する。すなわち、図中左下に示すような計測光のそれぞれのパターン画像において、図中右下に示すように、マスク領域me1を設定し、マスク領域部分をマスクしたパターン光を生成して投影する。
ここで、図示例のように複数の投影範囲が重複している場合、最大3つまでは投影範囲の重複を許容し、4つ以上の重複がある領域についていずれかの投影範囲にマスク領域を設定して計測光の一部をマスクし、投影範囲の重複数を3以下にする。これにより、複数の計測投影装置を順次動作させる際の位相数を小さくでき、時分割による位置計測及び投影の分割数を少なくして短時間で効率の良い位置計測及び投影を可能にするとともに、計測光の干渉をできるだけ抑制して計測エラーを防止し、高精度の位置計測が可能になる。
なお、マスク領域me1は、図では分かりやすいように他の計測投影装置の投影範囲PE1〜3との4重の重複を完全に避けるように示しているが、他の投影範囲PE1〜3との境界までなど、マスク領域を小さめに設定して投影範囲を3重以下で適度に重複させるのが好ましい。これにより、位置計測を行う際に、マスク領域の境界において、他の計測投影装置による位置計測結果との接続部分を滑らかに接続して計測することができ、より精度良く位置計測を実行できる。
投影調整装置200は、制御対象の計測投影装置100に関して、複数の計測投影装置における投影動作の順番、位相、投影タイミングなどを投影範囲の配置等に基づいて決定する。また、投影調整装置200は、制御対象の計測投影装置100による位置計測を実施し、投影範囲の重複、障害物の有無に応じてマスク領域を決定し、計測投影装置に通知して設定することが可能である。投影調整装置200における投影調整プログラムの処理の具体例については後述する。
本実施の形態では、計測投影装置100の投影範囲において適宜マスク領域を設定してマスク処理を行うことにより、位置計測におけるエラー領域を回避できる。また、複数の計測投影装置を用いる場合、計測投影装置間での計測光の干渉を防止できる。したがって、投影システムの計測投影装置において適切な位置計測を実施することができる。例えば、複数の計測投影装置を用いてダンサーなどの動く対象物に対して位置計測及び映像投影を行う場合に、リアルタイムで正確に位置を計測しながら映像投影を繰り返し行うことが可能になる。また、スクリーンなどの固定された対象物と、ダンサーなどの動く対象物とがある場合に、複数の計測投影装置を用いる投影システムであっても、対象物の位置をリアルタイムで正確に計測し、それぞれの対象物の位置に合わせて個別に映像コンテンツを生成し、投影できる。
(投影調整装置の動作)
図10は、本実施の形態に係る投影調整装置による投影調整方法の第1例を示すフローチャートである。第1例は、投影調整装置によるマスク領域の設定処理の概略的な手順を示す。ここでは、投影調整プログラム221によるマスク領域設定211に関する処理の一例を示す。この第1例は、単体の計測投影装置におけるマスク領域の設定、及び、複数の計測投影装置を制御して位置計測及び映像投影を行う場合のマスク領域の設定の、いずれの場合においても適用可能である。
投影調整装置200は、処理部210において投影調整プログラム221に従って処理を実行する。まず、投影調整装置200は、制御対象の計測投影装置100に指示を送信し、計測投影装置100により計測光を投影して位置計測を実施させる(S11)。次に、投影調整装置200は、ユーザによる操作入力に基づき、マスク領域を設定する(すなわちマスク処理を実施する)計測投影装置を選択する(S12)。この際、投影調整装置200は、ユーザ入力に基づく装置の指定、或いは、装置の優先順位、投影範囲の配置、映像投影の解像度や輝度、手動設定や自動設定などの動作態様など、各種の条件を考慮し、所定の条件に応じてマスク処理を実施する計測投影装置を選択する。そして、投影調整装置200は、選択した計測投影装置を100におけて、ステップS11の計測結果を用いて、投影範囲の重複、障害物の有無を判定し、エラー領域に対してマスク領域を決定する(S13)。決定したマスク領域の情報は、マスク処理を実施する計測投影装置に送信してマスク領域の設定を行う。
本実施の形態によれば、優先順位などの所定の条件に応じて対象となる計測投影装置の投影範囲のエラー領域にマスク領域を設定することにより、対象物の計測を行う際に投影範囲のエラー領域を適切に回避することができる。これにより、対象物の位置計測を的確に実行することが可能となる。
図11は、本実施の形態に係る投影調整装置による投影調整方法の第2例を示すフローチャートである。第2例は、複数の計測投影装置を制御して位置計測及び映像投影を行う場合のマスク領域の設定処理の手順を示す。ここでは、投影調整プログラム221によるマスク領域設定211に関する処理の一例として、複数の投影範囲の重複状態の判定、マスク領域の決定、各計測投影装置の投影範囲や投影タイミングの表示を行う処理手順を示す。
投影調整装置200は、処理部210において投影調整プログラム221に従って処理を実行する。まず、投影調整装置200は、ユーザインタフェースとして、表示部240にGUI操作表示を行い、ユーザ操作用の操作画面を表示する(S21)。そして、ユーザ操作に従って投影調整装置200は以降の処理を実行する。ユーザにより計測実施の操作指示がなされると、投影調整装置200は、計測投影装置をカウントするカウンタ値をi=1として初期化し(S22)、i番目(初期状態では1番目)の計測投影装置において計測光を投影させてエラー発生を有無を確認し、計測エラーが生じた場合にエラー領域を記録する(S23)。続いて投影調整装置200は、i番目の計測投影装置のプロジェクタ投影を実行させる(S24)。プロジェクタ投影として、上述した計測光の投影を実行させる。このとき、投影調整装置200は、i番目の計測投影装置による計測光の投影を、全ての計測投影装置において撮像装置のカメラで撮影させる(S25)。
投影調整装置200は、全ての計測投影装置による撮影結果から、i番目の計測投影装置の投影範囲について、重複の有無、どの計測投影装置と重複しているかなど、投影範囲の接続関係を判定し、接続関係の情報を記録する(S26)。投影範囲の重複がある場合、他の計測投影装置によって計測光が撮像される。計測光が撮像された計測投影装置の位置によって、複数の計測投影装置における投影範囲の接続関係を判定可能である。
次に、投影調整装置200は、計測投影装置のカウンタ値をi=i+1とし(S27)、カウンタ値iが計測投影装置の数より小さいかどうかを判定する(S28)。カウンタ値iが計測投影装置の数より小さい場合(S28:Yes)、すなわち投影範囲の接続関係の判定が未処理の計測投影装置がある場合は、上記と同様にステップS23〜S28の処理を繰り返す。つまり、投影調整装置200は、全ての計測投影装置について順番に、エラー領域の確認を行い、計測光を投影して他の計測投影装置により撮像する動作を実行させ、それぞれの計測投影装置の投影範囲の接続関係を判定する。この各計測投影装置での計測光の投影及び全計測投影装置での撮像を行う計測処理は、ユーザが計測実施の操作指示を行ったときのみ実行してもよいし、所定時間毎に自動的に実行してもよい。
カウンタ値iが計測投影装置の数と等しくなった場合(S28:No)、投影調整装置200は、各計測投影装置の投影範囲の接続関係を示す投影位置情報を生成する。ここでは、一例として投影範囲の接続関係を示すグラフ表示の表示画面を作成する(S29)。そして、投影調整装置200は、表示部240の操作画面にグラフを描画し、各計測投影装置の投影範囲の接続関係を示すグラフ表示を行う(S30)。
ユーザにより手動マスク設定の操作指示がなされると、投影調整装置200は、ユーザによる操作入力に基づき、マスク処理を実施する計測投影装置と、この計測投影装置における投影範囲の重なり箇所とを選択する(S31)。そして投影調整装置200は、選択した計測投影装置における投影範囲の重なり箇所に対して、マスク領域を設定する(S32)。なお、計測投影装置の計測結果において、障害物などによるエラー領域が存在する場合、ユーザによる指定が無くともエラー領域にマスク領域を設定してもよい。設定したマスク領域の情報は、マスク処理を実施する対象の計測投影装置に送信してマスク領域を設定させる。
ユーザにより自動マスク設定の操作指示がなされると、投影調整装置200は、所定の条件として、投影範囲の重なりが規定値以上の箇所を探索する(S33)。重なりの規定値としては、例えば4を用い、4以上の投影範囲の重複箇所を探索する。続いて、投影調整装置200は、規定値以上の重なり箇所について、予め設定された優先度を示す優先情報に基づき、マスクを掛ける計測投影装置を選択する(S34)。優先度としては、システムにおいて設定された装置の優先順位、投影範囲の配置、映像投影の解像度や輝度などを適宜用いる。例えば、投影範囲が中央に近い位置にある装置、投影範囲の面積が大きい装置、解像度が高い装置、輝度が大きい装置、光源の寿命が長い装置、重なり数が大きい装置などを優先して投影範囲を確保し、他の計測投影装置にてマスク処理を実施するようにする。また、仕様の異なる異種装置など、投影調整装置200において管理下になく制御困難な装置、マスク機能が無い装置などを優先し、調整可能な計測投影装置においてマスク処理を実施することも可能である。そして、投影調整装置200は、選択した計測投影装置の投影範囲において、重なり箇所が無くなるようにマスク領域を設定する(S35)。なお、計測投影装置の計測結果において、障害物などによるエラー領域が存在する場合、投影範囲の重なり箇所に関わらずエラー領域にマスク領域を設定してもよい。設定したマスク領域の情報は、マスク処理を実施する対象の計測投影装置に送信してマスク領域を設定させる。
図12は、本実施の形態に係る投影調整装置による投影調整方法の第3例を示すフローチャートである。第3例は、第2例の変形例の手順を示す。ここでは、投影調整プログラム221によるマスク領域設定211に関する処理の一例として、複数の投影範囲の重複状態の判定、マスク領域の決定、各計測投影装置の投影タイミングやマスク領域の表示を行う処理手順を示す。
投影調整装置200は、処理部210において投影調整プログラム221に従って処理を実行する。まず、投影調整装置200は、制御対象の計測投影装置100に指示を送信し、計測投影装置100により計測光を投影して位置計測を実施させる(S41)。次に、投影調整装置200は、例えば図11のS22〜S28の処理と同様な処理によって、投影範囲の重複状態を確認し、投影範囲の接続関係を判定する。そして、投影調整装置200は、各計測投影装置の投影範囲の接続関係を示す投影位置情報を生成する。ここでは、一例として投影範囲の接続関係を示すグラフ表示の表示画面を作成する。また、投影調整装置200は、表示部240の操作画面にグラフを描画し、各計測投影装置の投影範囲の接続関係を示すグラフ表示を行う(S42)。
次に、投影調整装置200は、ユーザの操作入力などによって設定された動作モードが、自動でマスク設定を行う自動モードか、手動でマスク設定を行う手動モードかを判定する(S43)。なお、ユーザインタフェースとして、表示部240にGUI操作表示を行ってユーザ操作用の操作画面を表示し、自動モード又は手動モードのユーザ入力を受け付けるようにしてもよい。
手動モードの場合、投影調整装置200は、ユーザによる操作入力に基づき、マスク処理を実施する計測投影装置を選択する(S44)。この際、ユーザ入力により指定された計測投影装置における投影範囲の重複箇所の領域、及びエラー領域の情報を取得する。そして投影調整装置200は、投影範囲の重複及びエラーを回避するように、選択した計測投影装置における投影範囲のマスク領域を決定する(S45)。なお、計測投影装置の計測結果において、障害物などによるエラー領域が存在する場合、ユーザによる指定が無くともエラー領域にマスク領域を設定してもよい。
自動モードの場合、投影調整装置200は、所定の条件として、複数の計測投影装置の投影動作の希望位相数を入力し(S46)、計測投影装置の優先情報を入力する(S47)。これらの位相数及び優先情報は、例えば、予め初期値として設定した値を入力してもよいし、ユーザによる操作入力に基づき取得してもよい。また、ステップS41の計測処理によって取得した複数の投影範囲の接続関係に応じて、位相数、優先順位を決定して入力してもよい。位相数は、例えば2、3などを用いる。優先度は、システムにおいて設定された装置の優先順位、投影範囲の配置、映像投影の解像度や輝度、ユーザによる指定順位などを適宜用いる。そして、投影調整装置200は、入力した位相数及び優先情報に基づき、マスク処理を実施する計測投影装置を選択する(S48)。続いて、投影調整装置200は、選択した計測投影装置の投影範囲において、重なり箇所が無くなるようにマスク領域を決定する(S49)。なお、計測投影装置の計測結果において、障害物などによるエラー領域が存在する場合、投影範囲の重なり箇所に関わらずエラー領域にマスク領域を設定してもよい。
なお、手動モードと自動モードとを組み合わせて実行することも可能である。例えば、自動モードの処理によりおすすめのマスク領域を仮に決定し、手動モードの処理によりユーザ入力に基づいて領域の選択、一部変更、調整などを行ってマスク領域を決定するなどの手順としてもよい。
次に、投影調整装置200は、投影システムにおける計測投影装置の位相数、各計測投影装置の投影タイミング、投影範囲のマスク領域等を示す投影情報を生成して表示する(S50)。表示用の投影情報の一例として、投影調整装置200は、各計測投影装置の投影範囲を図形等で示すイメージ表示、各投影範囲の重複等の接続関係をノード及び接続線等で示すグラフ表示、各計測投影装置の投影タイミングを示すタイミング表示、投影範囲のマスク領域を図形等で示すイメージ表示、などの表示画面を作成する。そして、投影調整装置200は、表示部240の操作画面に文字、図形、グラフ等を描画し、上記のイメージ表示、グラフ表示、タイミング表示等を実行する。
そして、投影調整装置200は、ユーザによる操作入力を待機して設定確認を実行し、ユーザより「OK」の指示入力を受け付けたかどうか確認する(S51)。ユーザからの設定OKの指示が得られなかった場合、投影調整装置200は、ステップS43に戻り、ステップS43〜S51の処理を再び実行する。ユーザからの設定OKの指示を受けた場合、投影調整装置200は、設定したマスク領域及び投影タイミングの情報を各計測投影装置に通知し、各計測投影装置に投影タイミングを設定させ、マスク処理を実施する対象の計測投影装置にマスク領域を設定させる(S52)。
このように、1つ又は複数の計測投影装置において位置計測を行ってエラー領域を検出し、手動設定又は自動設定によって対象となる計測投影装置の投影範囲にマスク領域を設定することにより、対象物の計測を行う際に投影範囲のエラー領域を適切に回避することができる。
ここで、投影範囲、投影タイミング、マスク領域などを表示する表示画面の例をいくつか示す。
図13は、本実施の形態に係る投影調整装置による表示画面の第1例を示す図である。第1例は、複数の計測投影装置の投影範囲の配置を示すイメージ表示301と、投影範囲の接続関係を示すグラフ表示302とを含む表示画面の例である。イメージ表示301には、4個の計測投影装置P1〜P4による各投影範囲PE1〜PE4の配置を、四角形の図形表示によって模式的に表している。なお、投影範囲の重なり箇所を色又はパターン等によって区別して強調表示してもよい。これにより、ユーザは投影範囲が重複している領域や重複の状態をイメージ表示によって容易に把握できる。グラフ表示302には、4個の計測投影装置P1〜P4の投影範囲の位置を円マーク等のノード(節)321で表示し、それぞれの投影範囲が重複し接続関係があるノード321の間を接続線322で接続したグラフによって表している。このグラフ表示により、ユーザは各計測投影装置の投影範囲の接続関係を一目で確認できる。また、投影範囲の重複数、重複位置などを表示して把握可能にすることも可能である。
図14は、本実施の形態に係る投影調整装置による表示画面の第2例を示す図である。第2例は、複数の計測投影装置の位相数及び投影タイミングを示すタイミング表示311と、複数の計測投影装置の投影範囲におけるマスク領域を示すイメージ表示312とを含む表示画面の例である。タイミング表示311には、4個の計測投影装置P1〜P4を有する投影システムの位相数(位相数=2)を示すとともに、各計測投影装置P1〜P4の投影タイミングをタイミングチャートによって表している。図示例は、4個の計測投影装置を順に照射させて2つの位相により時分割投影を行う動作を示している。ユーザは各計測投影装置の投影タイミングを容易に把握できる。イメージ表示312には、4個の計測投影装置P1〜P4による投影範囲PE1〜PE4において、マスク領域me1を図形表示によって模式的に表している。なお、マスク領域を含む投影範囲、すなわちマスク処理を実施する投影範囲(図示例ではPE4)は、異なる色又はパターン等によって区別して強調表示してもよい。また、計測投影装置や投影範囲の優先情報を表示してもよい、これにより、ユーザはマスク領域を容易に確認できる。また、ユーザは投影位置情報の表示に基づいて複数の計測投影装置の投影動作の順番、位相、投影タイミングなどを設定、調整することも可能である。
上記例のような表示画面によって、ユーザは複数の計測投影装置の投影範囲の位置関係、投影タイミング、マスク領域等を容易に把握可能となり、視認性が良好な投影位置情報の表示を提供できる。したがって、ユーザが計測投影装置のマスク領域を設定する場合の投影動作の調整作業の支援を効果的に実施できる。
(複数装置におけるマスク領域の設定例)
図15は、本実施の形態に係る投影システムの複数の計測投影装置におけるマスク領域の設定例を説明する図である。ここでは、複数の計測投影装置においてマスク処理を実施する際のマスク領域を動的に設定する例を示す。
ここでは、投影システムにおいて、4個の計測投影装置P1〜P4による各投影範囲PE1〜PE4が互いに重複し、最大で4重に重複している重なり箇所があるものとする。そして、重なり箇所の重複数の最大値を3に設定し、重なりが3重以下になるようにマスク領域を設定する。これにより、計測投影装置の位相数の最大値は3となり、位相数を小さくすることができる。この場合、マスク領域は、いずれか1つの計測投影装置の投影範囲に設定してマスクを掛ければよい。
マスク領域は、特定の計測投影装置の投影範囲に対して固定的に設定するものに限定されず、マスク処理を実施する計測投影装置を切り替えて動的にマスク領域を設定することが可能である。例えば、図15の下側に示すように、マスク領域を設ける投影範囲(図中破線で示す)を、PE4→PE3→PE2→PE1のように時系列的に切り替え、時分割でマスク領域を割り当てることにより、マスク処理を実施する計測投影装置をローテーションさせる。この場合、1つの計測投影装置においては、計測光の投影の4回の内の1回の割合でマスクすることになる。これにより、投影範囲の重複領域において、全ての計測投影装置によって重なり箇所の計測が可能であり、例えば重複領域を挟んで移動する対象物がある場合などに、対象物の位置の追跡をシームレスで滑らかに実行でき、位置計測の精度を向上できる。
(マスク領域の他の設定例)
なお、マスク領域に関する他の設定例として、投影範囲に動く対象物又は障害物が存在し、エラー領域が変位する場合、エラー領域の位置の変化に対して動的にマスク領域を設定し、マスクを掛ける領域を変位させることも可能である。この場合、対象物又は障害物の位置計測を行って計測結果に基づきマスク領域を設定する処理を、投影期間にわたって所定のタイミング毎に繰り返すことにより、動的に変位するマスク領域設定及びマスク処理を実行できる。
また、マスク領域は、投影範囲において、計測光についてマスク処理を実施するものに限らず、可視光の映像投影についてマスク処理を実施することも可能である。この場合、計測光と可視光の両方を同じマスク領域でマスク処理してもよいし、計測光と可視光とで異なるマスク領域を設定してマスク処理してもよい。
以上のように、本実施の形態の投影システムは、対象物105、106に対して位置計測及び投影を行う投影装置として計測投影装置100を含む投影システムである。計測投影装置100は、対象物に非可視光の計測光を投影する非可視光投影部と、対象物から反射した計測光の反射光を受光する受光部としての撮像装置101と、計測光の反射光に基づいて対象物の位置情報を算出する演算部としての演算装置103と、を有する。計測投影装置100は、例えば、赤外LED光源112を持つ非可視光投影部と、可視光LED光源114を持つ可視光投影部とを含む投影装置122を有する。計測投影装置100は、計測光を投影可能な投影範囲の一部を制限するマスク処理を実行する。これにより、投影システムにおいて対象物の計測を行う際に投影範囲のエラー領域を適切に回避することが可能となる。
また、投影システムは、計測投影装置100による計測光の投影範囲の一部を制限するマスク処理のための設定処理を実行する処理部210を含む投影調整装置200を有する。処理部210は、計測投影装置100により計測光を投影して位置計測を実施し、位置計測の計測結果に不具合が生じるエラー領域を検出し、エラー領域の計測結果を用いて、計測光を投影する際のマスク領域を、対象の計測投影装置100に対して設定する。
これにより、エラー領域の計測結果を用いて、例えばエラー領域に計測光が投影されないように、適宜マスク領域を設定し、投影範囲の一部を制限するマスク処理を実行することが可能となる。したがって、投影範囲において適切にマスク領域を設定でき、マスク領域の部分の計測光をマスクすることにより、対象物の計測を行う際に投影範囲のエラー領域を適切に回避することができる。これによって、対象物の位置計測を的確に実行することが可能となる。
また、投影システムにおいて、処理部210は、エラー領域として、投影範囲において障害物によって計測エラーが生じる領域を検出し、この領域に対してマスク領域を設定する。これにより、計測エラーが生じる領域をエラー領域としてマスク処理を実行でき、対象物の位置計測を的確に実行することができる。
また、投影システムにおいて、処理部210は、エラー領域として、投影範囲において他の計測投影装置からの計測光が重複する領域を検出し、この領域に対してマスク領域を設定する。これにより、投影範囲の重複領域をエラー領域としてマスク処理を実行でき、対象物の位置計測を的確に実行することができる。
また、投影システムにおいて、複数の計測投影装置100を含み、処理部210は、投影システムの第1の計測投影装置において対象物に計測光を投影し、投影システムの第2の計測投影装置において対象物から反射した計測光の反射光を受光し、受光した計測光の反射光に基づいて第1の計測投影装置の投影範囲の接続関係を判定し、接続関係の判定処理を全処理対象の計測投影装置について実行し、エラー領域として、投影システムにおける各計測投影装置の投影範囲において他の計測投影装置からの計測光が重複する領域を検出し、この領域に対してマスク領域を設定する。これにより、複数の計測投影装置を含む投影システムにおいて、各計測投影装置の投影範囲における重複領域を検出し、例えば優先順位などの所定の条件に応じて対象となる計測投影装置の投影範囲に適切にマスク領域を設定できる。したがって、複数の計測投影装置のうちのいずれかの計測投影装置において、投影範囲の中の重複領域を回避して計測光を投影し、的確に対象物の位置計測を実行できる。また、他の計測投影装置においても計測光の重なりを回避でき、的確に対象物の位置計測を実行可能となる。
また、投影システムにおいて、処理部210は、ユーザによる操作入力を受け付け、操作入力に基づき、マスク処理を実施する計測投影装置と、この計測投影装置の投影範囲におけるエラー領域とを選択し、選択した計測投影装置のエラー領域に対するマスク領域を設定する。これにより、ユーザの操作入力に基づき、手動で所望のマスク領域を設定可能となる。
また、投影システムにおいて、処理部210は、所定の優先情報を含む条件を入力し、この条件に基づき、マスク処理を実施する計測投影装置と、この計測投影装置の投影範囲におけるエラー領域とを選択し、選択した計測投影装置のエラー領域に対するマスク領域を設定する。これにより、所定の条件に基づき、自動で適切なマスク領域を設定可能となる。
また、投影システムにおいて、処理部210は、所定の優先情報を含む条件を入力し、この条件に基づき、マスク処理を実施する計測投影装置と、この計測投影装置の投影範囲におけるエラー領域とを選択し、選択した計測投影装置のエラー領域に対するマスク領域を仮決定し、ユーザによる操作入力を受け付け、操作入力に基づいてマスク領域を決定し、決定したマスク領域を設定する。これにより、所定の条件に基づき、自動でおすすめ設定などの適切なマスク領域をユーザに提示でき、ユーザの操作入力に基づき、手動で所望のマスク領域を設定可能となる。また、マスク領域の設定の一部変更、微調整、再調整など、柔軟でより適切なマスク領域の設定が可能となる。
また、投影システムにおいて、処理部210は、位置計測を所定時間毎に実施し、エラー領域が変位する場合、エラー領域の位置変化に応じて動的にマスク領域を設定する。これにより、例えば対象物又は障害物が移動する場合などに、エラー領域の変位に連動してマスク領域を設定でき、的確な対象物の位置計測が実行可能となる。
また、投影システムにおいて、処理部210は、複数の計測投影装置に対して、マスク処理を実施する計測投影装置を切り替えてマスク領域を時分割で割り当てる。これにより、複数の計測投影装置を含む投影システムにおいて、各計測投影装置で交代でマスク処理を実施し、対象物の位置計測を的確に実行できる。この場合、他の計測投影装置の投影範囲との境界部において、計測結果を滑らかに接続可能であり、位置計測の精度を向上できる。
本実施の形態の投影調整プログラムは、対象物105、106に対して位置計測及び投影を行う投影装置として計測投影装置100を含む投影システムにおいて、コンピュータにより計測投影装置100の投影動作の調整に関する処理を実行する投影調整プログラムである。この投影調整プログラムは、投影システムの計測投影装置100において、対象物に非可視光の計測光を投影し、対象物から反射した計測光の反射光を受光し、計測光の反射光に基づいて対象物の位置情報を算出することにより、位置計測を実施する。また、投影調整プログラムは、位置計測の計測結果に不具合が生じるエラー領域を検出し、エラー領域の計測結果を用いて、計測光を投影する際の投影範囲の一部を制限するマスク処理のためのマスク領域を、対象の計測投影装置100に対して設定する。これにより、対象物の計測を行う際に投影範囲のエラー領域を適切に回避できる。
本実施の形態の投影方法は、計測投影装置100が非可視光の計測光を投影可能な投影範囲の一部を制限するマスク処理を実行するステップと、計測光をマスク処理によって一部が制限された投影範囲に投影するステップと、計測光の反射光を受光するステップと、計測光の反射光に基づいて、投影範囲内に位置する対象物105、106の位置情報を算出するステップと、算出した対象物の位置情報に基づいて、コンテンツの投影位置を決定するステップと、決定した投影位置にコンテンツを投影するステップと、を含む。これにより、投影システムにおいて対象物の計測を行う際に投影範囲のエラー領域を適切に回避できる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
本開示は、投影システムにおいて対象物の計測を行う際に投影範囲のエラー領域を適切に回避できる投影システム、投影調整プログラム及び投影方法として有用である。
100 計測投影装置
101 撮像装置
103 演算装置
105 第1の対象物
106 第2の対象物
111 レンズ光学系
112 赤外LED光源
113 表示デバイス
114 可視光LED光源
115 ダイクロイックミラー
122 投影装置
200 投影調整装置
210 処理部
220 記憶部
221 投影調整プログラム
230 通信インタフェース(I/F)
240 表示部
250 モニタ
260 入力部
401 画像入力部
402 パターン復号部
405 座標変換部
407 座標補間部
408 コンテンツ生成部
410 画像出力部
411 パターン生成部

Claims (12)

  1. 対象物に対して位置計測及び投影を行う投影装置を含む投影システムであって、
    前記投影装置は、
    前記対象物に非可視光の計測光を投影する非可視光投影部と、
    前記対象物から反射した計測光の反射光を受光する受光部と、
    前記計測光の反射光に基づいて前記対象物の位置情報を算出する演算部と、を有し、
    前記計測光を投影可能な投影範囲の一部を制限するマスク処理を実行する、
    投影システム。
  2. 請求項1に記載の投影システムであって、
    前記投影装置による前記マスク処理のための設定処理を実行する処理部を含み、
    前記処理部は、
    前記投影装置により前記計測光を投影して位置計測を実施し、前記位置計測の計測結果に不具合が生じるエラー領域を検出し、
    前記エラー領域の計測結果を用いて、前記計測光を投影する際のマスク領域を、対象の投影装置に対して設定する、
    投影システム。
  3. 請求項2に記載の投影システムであって、
    前記処理部は、
    前記エラー領域として、前記投影範囲において障害物によって計測エラーが生じる領域を検出し、この領域に対して前記マスク領域を設定する、
    投影システム。
  4. 請求項2に記載の投影システムであって、
    前記処理部は、
    前記エラー領域として、前記投影範囲において他の投影装置からの計測光が重複する領域を検出し、この領域に対して前記マスク領域を設定する、
    投影システム。
  5. 請求項2に記載の投影システムであって、
    複数の前記投影装置を含み、
    前記処理部は、
    前記投影システムの第1の投影装置において前記対象物に前記計測光を投影し、
    前記投影システムの第2の投影装置において前記対象物から反射した前記計測光の反射光を受光し、
    前記受光した計測光の反射光に基づいて前記第1の投影装置の投影範囲の接続関係を判定し、
    前記接続関係の判定処理を全処理対象の投影装置について実行し、
    前記エラー領域として、前記投影システムにおける各投影装置の投影範囲において他の投影装置からの計測光が重複する領域を検出し、この領域に対して前記マスク領域を設定する、
    投影システム。
  6. 請求項2から5のいずれか一項に記載の投影システムであって、
    前記処理部は、
    ユーザによる操作入力を受け付け、前記操作入力に基づき、前記マスク処理を実施する投影装置と、前記投影装置の投影範囲におけるエラー領域とを選択し、前記選択した投影装置のエラー領域に対するマスク領域を設定する、
    投影システム。
  7. 請求項2から5のいずれか一項に記載の投影システムであって、
    前記処理部は、
    所定の優先情報を含む条件を入力し、前記条件に基づき、前記マスク処理を実施する投影装置と、前記投影装置の投影範囲におけるエラー領域とを選択し、前記選択した投影装置のエラー領域に対するマスク領域を設定する、
    投影システム。
  8. 請求項2から5のいずれか一項に記載の投影システムであって、
    前記処理部は、
    所定の優先情報を含む条件を入力し、前記条件に基づき、前記マスク処理を実施する投影装置と、前記投影装置の投影範囲におけるエラー領域とを選択し、前記選択した投影装置のエラー領域に対するマスク領域を仮決定し、
    ユーザによる操作入力を受け付け、前記操作入力に基づいて前記マスク領域を決定し、前記決定したマスク領域を設定する、
    投影システム。
  9. 請求項2から8のいずれか一項に記載の投影システムであって、
    前記処理部は、
    前記位置計測を所定時間毎に実施し、
    前記エラー領域が変位する場合、前記エラー領域の位置変化に応じて動的に前記マスク領域を設定する、
    投影システム。
  10. 請求項5に記載の投影システムであって、
    前記処理部は、
    前記複数の投影装置に対して、前記マスク処理を実施する投影装置を切り替えて前記マスク領域を時分割で割り当てる、
    投影システム。
  11. 対象物に対して位置計測及び投影を行う投影装置を含む投影システムにおいて、コンピュータにより前記投影装置の投影動作の調整に関する処理を実行する投影調整プログラムであって、
    前記投影システムの投影装置において、前記対象物に非可視光の計測光を投影し、前記対象物から反射した計測光の反射光を受光し、前記計測光の反射光に基づいて前記対象物の位置情報を算出することにより、位置計測を実施し、
    前記位置計測の計測結果に不具合が生じるエラー領域を検出し、
    前記エラー領域の計測結果を用いて、前記計測光を投影する際の投影範囲の一部を制限するマスク処理のためのマスク領域を、対象の投影装置に対して設定する、
    投影調整プログラム。
  12. 投影装置が非可視光の計測光を投影可能な投影範囲の一部を制限するマスク処理を実行するステップと、
    前記計測光を前記マスク処理によって一部が制限された前記投影範囲に投影するステップと、
    前記計測光の反射光を受光するステップと、
    前記計測光の反射光に基づいて、前記投影範囲内に位置する対象物の位置情報を算出するステップと、
    算出した前記対象物の位置情報に基づいて、コンテンツの投影位置を決定するステップと、
    前記決定した投影位置に前記コンテンツを投影するステップと、を含む投影方法。
JP2018117208A 2018-06-20 2018-06-20 投影システム、投影調整プログラム及び投影方法 Active JP7145444B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018117208A JP7145444B2 (ja) 2018-06-20 2018-06-20 投影システム、投影調整プログラム及び投影方法
US17/253,008 US11962947B2 (en) 2018-06-20 2019-05-15 Projection system, projection adjustment program, and projection method
PCT/JP2019/019414 WO2019244523A1 (ja) 2018-06-20 2019-05-15 投影システム、投影調整プログラム及び投影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018117208A JP7145444B2 (ja) 2018-06-20 2018-06-20 投影システム、投影調整プログラム及び投影方法

Publications (3)

Publication Number Publication Date
JP2019219289A true JP2019219289A (ja) 2019-12-26
JP2019219289A5 JP2019219289A5 (ja) 2021-07-26
JP7145444B2 JP7145444B2 (ja) 2022-10-03

Family

ID=68983570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018117208A Active JP7145444B2 (ja) 2018-06-20 2018-06-20 投影システム、投影調整プログラム及び投影方法

Country Status (3)

Country Link
US (1) US11962947B2 (ja)
JP (1) JP7145444B2 (ja)
WO (1) WO2019244523A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001082940A (ja) * 1999-09-14 2001-03-30 Sanyo Electric Co Ltd 立体モデル生成装置及び方法
JP2007075887A (ja) * 2005-09-16 2007-03-29 Miyagawa Koki Co Ltd プレカット加工装置及び印字装置
JP2011021970A (ja) * 2009-07-15 2011-02-03 Nikon Corp 三次元形状測定装置および三次元形状測定方法
WO2015125403A1 (ja) * 2014-02-18 2015-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 投影システムおよび半導体集積回路
JP2016130663A (ja) * 2015-01-13 2016-07-21 オムロン株式会社 検査装置及び検査装置の制御方法
JP2017215374A (ja) * 2016-05-30 2017-12-07 パナソニックIpマネジメント株式会社 画像投影システムおよび画像投影方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258622A (ja) 2004-03-10 2005-09-22 Fuji Photo Film Co Ltd 三次元情報取得システムおよび三次元情報取得方法
JP4341723B2 (ja) * 2008-02-22 2009-10-07 パナソニック電工株式会社 光投影装置、照明装置
JP5334218B2 (ja) 2009-06-30 2013-11-06 Necディスプレイソリューションズ株式会社 プロジェクタ装置およびリモート制御方法
JP2013192189A (ja) 2012-03-15 2013-09-26 Casio Comput Co Ltd 画像処理装置、投影システム、プログラム及び画像処理方法
US9654748B2 (en) * 2014-12-25 2017-05-16 Panasonic Intellectual Property Management Co., Ltd. Projection device, and projection method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001082940A (ja) * 1999-09-14 2001-03-30 Sanyo Electric Co Ltd 立体モデル生成装置及び方法
JP2007075887A (ja) * 2005-09-16 2007-03-29 Miyagawa Koki Co Ltd プレカット加工装置及び印字装置
JP2011021970A (ja) * 2009-07-15 2011-02-03 Nikon Corp 三次元形状測定装置および三次元形状測定方法
WO2015125403A1 (ja) * 2014-02-18 2015-08-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 投影システムおよび半導体集積回路
JP2016130663A (ja) * 2015-01-13 2016-07-21 オムロン株式会社 検査装置及び検査装置の制御方法
JP2017215374A (ja) * 2016-05-30 2017-12-07 パナソニックIpマネジメント株式会社 画像投影システムおよび画像投影方法

Also Published As

Publication number Publication date
JP7145444B2 (ja) 2022-10-03
WO2019244523A1 (ja) 2019-12-26
US20210274139A1 (en) 2021-09-02
US11962947B2 (en) 2024-04-16

Similar Documents

Publication Publication Date Title
JP6618249B2 (ja) 投影システムおよび半導体集積回路
EP3466061B1 (en) Image projection system and image projection method
JP7462249B2 (ja) 投影システム、投影装置及び投影方法
US20210302753A1 (en) Control apparatus, control method, and program
US11743437B2 (en) Projection adjustment program and projection adjustment method
US9654748B2 (en) Projection device, and projection method
JP6975106B2 (ja) 3次元形状計測システム、3次元形状計測方法、及び3次元形状計測プログラム
US9524696B2 (en) Image projection device
JP6182739B2 (ja) 投影装置及び投影方法
WO2019244523A1 (ja) 投影システム、投影調整プログラム及び投影方法
JP5630853B2 (ja) 投射型表示装置、調整処理装置、受信機、表示システムおよび表示方法
JP2021127998A (ja) 距離情報取得装置および距離情報取得方法
JPWO2020090228A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2012150260A (ja) マルチプロジェクションシステム、プロジェクター、及び、画像投射制御方法
JP2021089304A (ja) 制御装置の動作方法および制御装置
JP2011123136A (ja) マルチプロジェクションシステムの制御装置、制御方法、プログラム
JP2015176048A (ja) プロジェクター、及びアピアランス変更方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220908

R151 Written notification of patent or utility model registration

Ref document number: 7145444

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151