JP2022102058A - 位置特定方法、シミュレーション方法、位置特定システムおよびシミュレーションシステム - Google Patents

位置特定方法、シミュレーション方法、位置特定システムおよびシミュレーションシステム Download PDF

Info

Publication number
JP2022102058A
JP2022102058A JP2020216570A JP2020216570A JP2022102058A JP 2022102058 A JP2022102058 A JP 2022102058A JP 2020216570 A JP2020216570 A JP 2020216570A JP 2020216570 A JP2020216570 A JP 2020216570A JP 2022102058 A JP2022102058 A JP 2022102058A
Authority
JP
Japan
Prior art keywords
coordinates
projector
coordinate system
image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020216570A
Other languages
English (en)
Inventor
泰介 山内
Taisuke Yamauchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2020216570A priority Critical patent/JP2022102058A/ja
Priority to US17/561,040 priority patent/US11856340B2/en
Priority to CN202111602998.9A priority patent/CN114693772A/zh
Publication of JP2022102058A publication Critical patent/JP2022102058A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】プロジェクターと、カメラ等の計測器とが、任意の位置に配置されても、対象物に所定の画像を投写することを支援可能な技術を提供する。【解決手段】位置特定方法は、特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物において前記特定点が位置する部分の３次元の第１座標と、前記特定点の前記投写画像における２次元の第２座標と、に基づいて、前記第１座標を特定する計測器が用いる３次元座標系と、前記第２座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す関係情報を生成し、前記関係情報を用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記３次元座標系における位置を特定する、ことを含む。【選択図】図１７

Description

本発明は、位置特定方法、シミュレーション方法、位置特定システムおよびシミュレーションシステムに関する。
特許文献１は、プロジェクターとカメラとのペアを用いることによって対象物に所定の画像を投写するシステムを開示する。このシステムでは、プロジェクターとカメラとの位置関係が予め決められている。
米国特許出願公開第２０１６／０３４３１２５号明細書
特許文献１に記載のシステムでは、プロジェクターとカメラとの位置関係が予め決められているため、プロジェクターと、カメラ等の計測器と、を任意の位置に配置できない虞がある。このため、プロジェクターと、カメラ等の計測器とが、任意の位置に配置されても対象物に所定の画像を投写することを支援できる技術が望まれる。
本発明に係る位置特定方法の一態様は、特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物において前記特定点が位置する部分の３次元の第１座標と、前記特定点の前記投写画像における２次元の第２座標と、に基づいて、前記第１座標を特定する計測器が用いる３次元座標系と、前記第２座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す関係情報を生成し、前記関係情報を用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記３次元座標系における位置を特定する、ことを含む。
本発明に係るシミュレーション方法の一態様は、第１特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物において前記第１特定点が位置する部分の３次元の第１座標と、前記第１特定点の前記投写画像における２次元の第２座標と、に基づいて、前記第１座標を特定する計測器が用いる３次元座標系と、前記第２座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す第１関係情報を生成し、前記対象物における第２特定点の前記３次元座標系における座標と、前記第２特定点に対応する第３特定点の３次元の仮想空間における座標と、に基づいて、前記３次元座標系と、前記仮想空間における座標を定める仮想空間座標系と、の対応関係を示す第２関係情報を生成し、前記第１関係情報と前記第２関係情報とを用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記仮想空間座標系における位置を特定する、ことを含む。
本発明に係るシミュレーション方法の一態様は、第１特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物をカメラが撮影することによって生成される撮像画像において前記第１特定点が位置する部分の２次元の座標である撮像座標と、前記第１特定点の前記投写画像における２次元の座標である投写座標と、に基づいて、前記撮像座標を定めるカメラ座標系と、前記投写座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す第１情報を生成し、前記対象物における第２特定点の前記カメラ座標系における座標と、前記第２特定点に対応する第３特定点の３次元の仮想空間における座標と、に基づいて、前記カメラ座標系と、前記仮想空間における座標を示す仮想空間座標系と、の対応関係を示す第２情報を生成し、前記第１情報と前記第２情報とを用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記仮想空間座標系における位置を特定する、ことを含む。
本発明に係る位置特定システムの一態様は、特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物において前記特定点が位置する部分の３次元の第１座標と、前記特定点の前記投写画像における２次元の第２座標と、に基づいて、前記第１座標を特定する計測器が用いる３次元座標系と、前記第２座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す関係情報を生成する生成部と、前記関係情報を用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記３次元座標系における位置を特定する位置特定部と、を含む。
本発明に係るシミュレーションシステムの一態様は、第１特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物において前記第１特定点が位置する部分の３次元の第１座標と、前記第１特定点の前記投写画像における２次元の第２座標と、に基づいて、前記第１座標を特定する計測器が用いる３次元座標系と、前記第２座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す第１関係情報を生成する第１生成部と、前記対象物における第２特定点の前記３次元座標系における座標と、前記第２特定点に対応する第３特定点の３次元の仮想空間における座標と、に基づいて、前記３次元座標系と、前記仮想空間における座標を定める仮想空間座標系と、の対応関係を示す第２関係情報を生成する第２生成部と、前記第１関係情報と前記第２関係情報とを用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記仮想空間座標系における位置を特定する位置特定部と、を含む。
本発明に係るシミュレーションシステムの一態様は、第１特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物をカメラが撮影することによって生成される撮像画像において前記第１特定点が位置する部分の２次元の座標である撮像座標と、前記第１特定点の前記投写画像における２次元の座標である投写座標と、に基づいて、前記撮像座標を定めるカメラ座標系と、前記投写座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す第１情報を生成する第１生成部と、前記対象物における第２特定点の前記カメラ座標系における座標と、前記第２特定点に対応する第３特定点の３次元の仮想空間における座標と、に基づいて、前記カメラ座標系と、前記仮想空間における座標を示す仮想空間座標系と、の対応関係を示す第２情報を生成する第２生成部と、前記第１情報と前記第２情報とを用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記仮想空間座標系における位置を特定する位置特定部と、を含む。
第１実施形態に係る投写システム１を示す図である。 変形画像Ｇ１の一例を示す図である。 変形画像Ｇ１の元になる元画像Ｇ２を示す図である。 元画像Ｇ２の変形の一例を示す図である。 変形画像Ｇ１の投写例を示す図である。 仮想空間ｄ１における画像のシミュレーションの一例を示す図である。 プロジェクター１００の一例を示す図である。 プロジェクター座標系ＣＳ１の一例を示す図である。 計測画像Ｇ３の一例を示す図である。 計測器２００の一例を示す図である。 計測器座標系ＣＳ２の一例を示す図である。 情報処理装置３００の一例を示す図である。 仮想空間ｄ１の一例を示す図である。 対応点ｆの一例を示す図である。 複数の計測画像Ｇ３の一例を示す図である。 画素１３０ｐと位相φとの関係を示す図である。 投写システム１の動作を説明するための図である。 ベクトルｖ１およびｖ２を説明するための図である。 計測画像Ｇ３の他の例を示す図である。
Ａ：第１実施形態
Ａ１：投写システム１の概要
図１は、第１実施形態に係る投写システム１を示す図である。投写システム１は、位置特定システムと、シミュレーションシステムと、の各々の一例である。
投写システム１は、対象物２に画像を投写する。対象物２は、部屋の壁である。部屋の壁は、演出対象の物体の一例である。演出対象の物体は、部屋の壁に限らず、例えば、建物の外壁または商品でもよい。対象物２は、演出対象の物体に限らず、例えば、製造中の物体または検査中の物体でもよい。製造中の物体は、例えば、製造中の自動車、製造中の列車、製造中の航空機、製造中の電化製品または建設中の建物である。検査中の物体は、例えば、検査中の自動車、検査中の列車、検査中の航空機、検査中の電化製品または検査中の建物である。対象物２の形態は、図１に示される形態に限らず、適宜変更可能である。
対象物２は、３つの対象点、具体的には、第１対象点ｋ１と第２対象点ｋ２と第３対象点ｋ３と、を有する。第１対象点ｋ１～第３対象点ｋ３を相互に区別する必要がない場合、第１対象点ｋ１～第３対象点ｋ３の各々を「対象点ｋ」と称する。対象点ｋは、第２特定点の一例である。対象物２は、４つ以上の対象点ｋを有してもよい。
投写システム１は、プロジェクター１００と、計測器２００と、情報処理装置３００と、を含む。
プロジェクター１００は、対象物２に変形画像Ｇ１を投写する。図２は、変形画像Ｇ１の一例を示す図である。変形画像Ｇ１は、対象物２の形状に応じて変形された画像である。図３は、変形画像Ｇ１の元になる元画像Ｇ２を示す図である。元画像Ｇ２は、第１画像の一例である。変形画像Ｇ１は、第２画像の一例である。
元画像Ｇ２がプロジェクター１００から対象物２に投写される状況においては、対象物２に示される元画像Ｇ２は、図４に示されるように、対象物２の形状に応じて変形する。対象物２の形状に応じた元画像Ｇ２の変形は、プロジェクター１００から投写される画像が、プロジェクター１００から当該画像の投写先までの距離が長いほど大きくなることに起因する。以下、対象物２に投写された元画像Ｇ２に生じる変形を「第１変形」と称する。
変形画像Ｇ１は、第１変形によって相殺される第２変形を、元画像Ｇ２に生じさせることによって得られる。
変形画像Ｇ１がプロジェクター１００から対象物２に投写される状況においては、対象物２に投写される変形画像Ｇ１に第１変形が生じる。この第１変形によって、変形画像Ｇ１における第２変形が相殺される。このため、図５に示されるように、対象物２には、変形画像Ｇ１が元画像Ｇ２と同様の形態で示される。
産業分野において、対象物２に、対象物２の製造方法または対象物２の検査方法を文字等で視認可能に示すことが望まれる場合、対象物２の製造方法または対象物２の検査方法を文字等で視認可能に示す元画像Ｇ２に基づいて、変形画像Ｇ１が生成されればよい。
計測器２００は、対象物２について３次元計測を実行する。情報処理装置３００は、プロジェクター１００と、計測器２００と、を用いることによって、変形画像Ｇ１を生成する。
情報処理装置３００は、図６に示すように、仮想空間ｄ１において画像をシミュレーションすることによって、変形画像Ｇ１を生成する。
情報処理装置３００は、まず、仮想空間ｄ１に、対象物２の形状と同一の形状を有する仮想対象物２ｖを配置する。
情報処理装置３００は、続いて、元画像Ｇ２を表す仮想の紙が仮想対象物２ｖに貼り付けられたように、仮想対象物２ｖに元画像Ｇ２を表示する。
情報処理装置３００は、続いて、仮想空間ｄ１に、仮想カメラ４００ｖを配置する。
具体的には、情報処理装置３００は、仮想カメラ４００ｖと仮想対象物２ｖとの位置関係が、プロジェクター１００と対象物２との位置関係と一致するように、仮想カメラ４００ｖを配置する。
仮想カメラ４００ｖは、プロジェクター１００の投写レンズ１４０の内部パラメーターと同一の内部パラメーターを有する仮想撮像レンズ４１０ｖを有する。
情報処理装置３００は、続いて、仮想対象物２ｖに表示される元画像Ｇ２を仮想カメラ４００ｖが撮像することによって得られる仮想撮像画像を、変形画像Ｇ１として生成する。図６には、仮想カメラ４００ｖの撮像エリア４２０ｖが示されている。
このような手法で変形画像Ｇ１が生成される場合、仮想空間ｄ１における仮想カメラ４００ｖの位置を特定する必要がある。情報処理装置３００は、プロジェクター１００と計測器２００とが任意の位置に配置されても、プロジェクター１００と計測器２００とを用いて、仮想空間ｄ１における仮想カメラ４００ｖの位置を特定する。
以下、仮想空間ｄ１における仮想カメラ４００ｖの位置を特定する手法と、変形画像Ｇ１を生成する手法と、をメインに、投写システム１の構成等について説明する。
Ａ２：プロジェクター１００
図７は、プロジェクター１００の一例を示す図である。プロジェクター１００は、画像処理部１１０と、光源１２０と、液晶ライトバルブ１３０と、投写レンズ１４０と、を含む。
画像処理部１１０は、例えば、画像処理回路等の回路によって構成される。画像処理部１１０は、情報処理装置３００から画像データａを受け取る。画像処理部１１０は、画像データａに対してガンマ補正等の画像処理を施すことによって、画像データａに基づく電圧ｂを生成する。
光源１２０は、ＬＥＤ（Light Emitting Diode）である。光源１２０は、ＬＥＤに限らず、例えば、キセノンランプまたはレーザー光源でもよい。
液晶ライトバルブ１３０は、一対の透明基板間に液晶が存在する液晶パネル等によって構成される。液晶ライトバルブ１３０は、矩形の画素領域１３０ａを有する。画素領域１３０ａは、マトリクス状に位置する複数の画素１３０ｐを含む。
液晶ライトバルブ１３０では、画像データａに基づく電圧ｂが、画素１３０ｐごとに液晶に印加される。画像データａに基づく電圧ｂが、画素１３０ｐごとに液晶に印加されると、画素１３０ｐは、画像データａに基づく光透過率に設定される。
光源１２０から出射された光は、液晶ライトバルブ１３０の画素領域１３０ａによって変調される。液晶ライトバルブ１３０は、光変調装置の一例である。液晶ライトバルブ１３０によって変調された光は、投写レンズ１４０に向かう。投写レンズ１４０は、液晶ライトバルブ１３０によって変調された光、すなわち画像を対象物２に投写する。
液晶ライトバルブ１３０には、プロジェクター座標系ＣＳ１が適用される。図８は、プロジェクター座標系ＣＳ１の一例を示す図である。プロジェクター座標系ＣＳ１は、２次元の座標系である。プロジェクター座標系ＣＳ１の原点ｏ１は、図８に示される画素領域１３０ａの左上の隅１３０ｃに設定される。図８においては、便宜上、原点ｏ１は、左上の隅１３０ｃと異なる位置に示されている。
投写レンズ１４０の主点の位置は、プロジェクター座標系ＣＳ１の座標によって特定される。投写レンズ１４０の主点の位置の座標は、プロジェクター１００の座標の一例である。プロジェクター１００の座標は、投写レンズ１４０の主点の位置の座標に限らず、プロジェクター座標系ＣＳ１における座標であればよい。
プロジェクター座標系ＣＳ１は、ｘ１軸と、ｙ１軸と、によって定められる。ｘ１軸およびｙ１軸は、液晶ライトバルブ１３０の向きに応じて決定される。ｘ１軸は、液晶ライトバルブ１３０の水平方向と平行、すなわち、液晶ライトバルブ１３０の横方向と平行である。ｙ１軸は、ｘ１軸と直交する。ｙ１軸は、液晶ライトバルブ１３０の垂直方向と平行、すなわち、液晶ライトバルブ１３０の縦方向と平行である。
図８は、ｘ１軸とｙ１軸に加えて、ｚ１軸を示す。ｚ１軸は、ｘ１軸およびｙ１軸の各々と直交する。ｚ１軸は、投写レンズ１４０の光軸に沿う。
プロジェクター１００は、変形画像Ｇ１に加えて、計測画像Ｇ３を、対象物２に投写する。
図９は、計測画像Ｇ３の一例を示す図である。計測画像Ｇ３は、プロジェクター座標系ＣＳ１と、計測器２００が有する計測器座標系ＣＳ２と、の対応関係を特定するために用いられる。さらに言えば、計測画像Ｇ３は、プロジェクター座標系ＣＳ１における点に対応する点を、計測器座標系ＣＳ２において特定するために用いられる。
計測画像Ｇ３は、第１計測点ｅ１と、第２計測点ｅ２と、第３計測点ｅ３と、を有する。第１計測点ｅ１～第３計測点ｅ３を相互に区別する必要がない場合、第１計測点ｅ１～第３計測点ｅ３の各々を「計測点ｅ」と称する。計測点ｅは、計測画像Ｇ３の一部である。計測点ｅは、特定点の一例、および、第１特定点の一例である。計測画像Ｇ３は、特定点を有する投写画像の一例、および、第１特定点を有する投写画像の一例である。計測画像Ｇ３は、４つ以上の計測点ｅを有してもよい。
複数の計測画像Ｇ３が用いられる場合、複数の計測画像Ｇ３の各々において、計測点ｅが、計測画像Ｇ３の他の部分と区別されない態様で存在してもよい。複数の計測画像Ｇ３の一例は、位相シフト法で用いられる複数の位相シフト画像である。位相シフト画像については後述する。
Ａ３：計測器２００
図１０は、計測器２００の一例を示す図である。計測器２００は、ステレオカメラである。計測器２００は、ステレオカメラに限らず、対象物２について３次元計測を実行する機器であればよい。計測器２００は、プロジェクター１００とは別の構成である。計測器２００は、プロジェクター１００とは別の構成ではなく、プロジェクター１００に組み込まれてもよい。
計測器２００は、第１カメラ２１０と、第２カメラ２２０と、第１記憶部２３０と、第１処理部２４０と、を含む。第１カメラ２１０の位置と第２カメラ２２０の位置は、相互に異なる。
第１カメラ２１０は、第１撮像レンズ２１１と、第１イメージセンサー２１２と、を含む。
第１撮像レンズ２１１は、対象物２の光学像を第１イメージセンサー２１２に結像する。例えば、第１撮像レンズ２１１は、プロジェクター１００が計測画像Ｇ３を対象物２に投写する状況において、計測画像Ｇ３が投写される対象物２の光学像を、第１イメージセンサー２１２に結像する。
第１イメージセンサー２１２は、ＣＣＤ（Charge Coupled Device）イメージセンサーである。第１イメージセンサー２１２は、ＣＣＤイメージセンサーに限らず、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーでもよい。第１イメージセンサー２１２は、矩形の第１撮像領域２１２ａを有する。第１撮像領域２１２ａは、マトリクス状に位置する複数のセル２１２ｐを含む。第１イメージセンサー２１２は、第１撮像レンズ２１１によって結像される光学像に基づいて、第１撮像データｃ１を生成する。
第２カメラ２２０は、第２撮像レンズ２２１と、第２イメージセンサー２２２と、を含む。
第２撮像レンズ２２１は、対象物２の光学像を第２イメージセンサー２２２に結像する。例えば、第２撮像レンズ２２１は、プロジェクター１００が計測画像Ｇ３を対象物２に投写する状況において、計測画像Ｇ３が投写される対象物２の光学像を、第２イメージセンサー２２２に結像する。
第２イメージセンサー２２２は、ＣＣＤイメージセンサーである。第２イメージセンサー２２２は、ＣＣＤイメージセンサーに限らず、例えば、ＣＭＯＳイメージセンサーでもよい。第２イメージセンサー２２２は、矩形の第２撮像領域２２２ａを有する。第２撮像領域２２２ａは、マトリクス状に位置する複数のセル２２２ｐを含む。第２イメージセンサー２２２は、第２撮像レンズ２２１によって結像される光学像に基づいて、第２撮像データｃ２を生成する。
第１記憶部２３０は、第１処理部２４０が読み取り可能な記録媒体である。第１記憶部２３０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）およびＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。第１記憶部２３０は、第１処理部２４０によって実行される第１プログラムＰ１を記憶する。
第１処理部２４０は、１または複数のＣＰＵ（Central Processing Unit）によって構成される。１または複数のＣＰＵは、１または複数のプロセッサーの一例である。プロセッサーおよびＣＰＵの各々は、コンピューターの一例である。
第１処理部２４０は、第１記憶部２３０から第１プログラムＰ１を読み取る。第１処理部２４０は、第１プログラムＰ１を実行することによって、撮像制御部２４１、提供部２４２および算出部２４３として機能する。
撮像制御部２４１、提供部２４２および算出部２４３の各々は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等の回路によって構成されてもよい。
撮像制御部２４１は、第１カメラ２１０によって実行される撮像と、第２カメラ２２０によって実行される撮像と、を制御する。
提供部２４２は、第１撮像データｃ１および第２撮像データｃ２等の種々の情報を情報処理装置３００に出力する。
算出部２４３は、第１撮像データｃ１と第２撮像データｃ２とに基づいて、対象物２について３次元計測を実行する。算出部２４３は、計測器座標系ＣＳ２における座標を用いることによって、３次元計測の結果を表す。
図１１は、計測器座標系ＣＳ２の一例を示す図である。計測器座標系ＣＳ２は、３次元の座標系である。計測器座標系ＣＳ２の原点ｏ２は、第１撮像レンズ２１１の主点の位置に設定される。第１撮像レンズ２１１の主点の位置は、計測器２００の位置の一例である。図１１においては、便宜上、原点ｏ２は、第１撮像レンズ２１１の主点の位置と異なる位置に示されている。計測器座標系ＣＳ２の原点ｏ２は、第１撮像レンズ２１１の主点の位置に限らず、例えば、第２撮像レンズ２２１の主点の位置でもよい。第２撮像レンズ２２１の主点の位置は、計測器２００の位置の他の例である。
計測器座標系ＣＳ２は、３次元座標系の一例である。計測器座標系ＣＳ２は、ｘ２軸と、ｙ２軸と、ｚ２軸と、によって定められる。ｘ２軸、ｙ２軸およびｚ２軸は、計測器２００の向きに応じて決定される。ｘ２軸、ｙ２軸およびｚ２軸は、相互に直交する。
ｘ２軸は、第１イメージセンサー２１２の水平方向と平行、すなわち、第１イメージセンサー２１２の横方向と平行である。計測器座標系ＣＳ２の原点ｏ２が、第２撮像レンズ２２１の主点の位置と一致する場合、ｘ２軸は、第２イメージセンサー２２２の水平方向と平行、すなわち、第２イメージセンサー２２２の横方向と平行である。
ｙ２軸は、第１イメージセンサー２１２の垂直方向と平行、すなわち、第１イメージセンサー２１２の縦方向と平行である。計測器座標系ＣＳ２の原点ｏ２が、第２撮像レンズ２２１の主点の位置と一致する場合、ｙ２軸は、第２イメージセンサー２２２の垂直方向と平行、すなわち、第２イメージセンサー２２２の縦方向と平行である。
ｚ２軸は、第１撮像レンズ２１１の光軸と一致する。計測器座標系ＣＳ２の原点ｏ２が、第２撮像レンズ２２１の主点の位置と一致する場合、ｚ２軸は、第２撮像レンズ２２１の光軸と一致する。
Ａ４：情報処理装置３００
図１２は、情報処理装置３００の一例を示す図である。情報処理装置３００は、ＰＣ（Personal Computer）である。情報処理装置３００は、ＰＣに限らず、例えば、タブレットまたはスマートフォンでもよい。
情報処理装置３００は、操作部３１０と、表示部３２０と、第２記憶部３３０と、第２処理部３４０と、を含む。
操作部３１０は、例えば、キーボード、マウス、操作ボタン、操作キーまたはタッチパネルである。操作部３１０は、ユーザーの入力操作を受ける。
表示部３２０は、ディスプレイ、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のＦＰＤ（Flat Panel Display）である。表示部３２０は、種々の情報を表示する。
第２記憶部３３０は、第２処理部３４０が読み取り可能な記録媒体である。第２記憶部３３０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。第２記憶部３３０は、第２処理部３４０によって実行される第２プログラムＰ２を記憶する。
第２処理部３４０は、例えば、１または複数のＣＰＵによって構成される。第２処理部３４０は、第２記憶部３３０から第２プログラムＰ２を読み取る。第２処理部３４０は、第２プログラムＰ２を実行することによって、仮想空間生成部３４１、投写制御部３４２、計測制御部３４３、取得部３４４、第１生成部３４５、第２生成部３４６、位置特定部３４７、仮想空間制御部３４８および画像生成部３４９として機能する。
仮想空間生成部３４１、投写制御部３４２、計測制御部３４３、取得部３４４、第１生成部３４５、第２生成部３４６、位置特定部３４７、仮想空間制御部３４８および画像生成部３４９の各々は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等の回路によって構成されてもよい。
仮想空間生成部３４１は、３次元の仮想空間ｄ１を生成する。図１３は、仮想空間ｄ１の一例を示す図である。仮想空間ｄ１には、仮想空間座標系ＣＳ３が適用される。仮想空間座標系ＣＳ３は、３次元の座標系である。仮想空間座標系ＣＳ３は、ｘ３軸と、ｙ３軸と、ｚ３軸と、によって定められる。ｘ３軸とｙ３軸とｚ３軸は、相互に直交する。
仮想空間ｄ１には、仮想対象物２ｖが位置する。仮想対象物２ｖは、対象物２に対応する。仮想対象物２ｖの形状は、対象物２の形状と同一である。
仮想対象物２ｖは、３つの仮想対象点、具体的には、第１仮想対象点ｑ１と、第２仮想対象点ｑ２と、第３仮想対象点ｑ３と、を有する。
第１仮想対象点ｑ１～第３仮想対象点ｑ３を相互に区別する必要がない場合、第１仮想対象点ｑ１～第３仮想対象点ｑ３の各々を「仮想対象点ｑ」と称する。仮想対象点ｑは、第２特定点に対応する第３特定点の一例である。
仮想対象物２ｖと第１仮想対象点ｑ１との位置関係は、対象物２と第１対象点ｋ１との位置関係と同一である。例えば、仮想対象物２ｖにおける第１仮想対象点ｑ１の位置が予め決定されている場合、対象物２と第１対象点ｋ１との位置関係が、仮想対象物２ｖと第１仮想対象点ｑ１との位置関係と同一となるように、対象物２における第１対象点ｋ１の位置が決定される。
この場合、例えば、対象物２における第１対象点ｋ１の位置に、第１物理マーカーが配置される。第１物理マーカーは、対象物２の反射率とは異なる反射率を有する。このため、第１カメラ２１０が生成する第１撮像データｃ１と、第２カメラ２２０が生成する第２撮像データｃ２と、の各々において、第１物理マーカーを識別可能になる。したがって、第１撮像データｃ１と第２撮像データｃ２に基づいて、第１物理マーカーの位置、すなわち、第１対象点ｋ１の位置を、特定することが可能である。第１仮想対象点ｑ１は、第１対象点ｋ１と対応する。
仮想対象物２ｖと第２仮想対象点ｑ２との位置関係は、対象物２と第２対象点ｋ２との位置関係と同一である。例えば、仮想対象物２ｖにおける第２仮想対象点ｑ２の位置が予め決定されている場合、対象物２と第２対象点ｋ２との位置関係が、仮想対象物２ｖと第２仮想対象点ｑ２との位置関係と同一となるように、対象物２における第２対象点ｋ２の位置が決定される。
この場合、例えば、対象物２における第２対象点ｋ２の位置に、第２物理マーカーが配置される。第２物理マーカーは、対象物２および第１物理マーカーの各反射率とは異なる反射率を有する。このため、第１カメラ２１０が生成する第１撮像データｃ１と、第２カメラ２２０が生成する第２撮像データｃ２と、の各々において、第２物理マーカーを識別可能になる。したがって、第１撮像データｃ１と第２撮像データｃ２に基づいて、第２物理マーカーの位置、すなわち、第２対象点ｋ２の位置を、特定することが可能である。第２仮想対象点ｑ２は、第２対象点ｋ２と対応する。
仮想対象物２ｖと第３仮想対象点ｑ３との位置関係は、対象物２と第３対象点ｋ３との位置関係と同一である。例えば、仮想対象物２ｖにおける第３仮想対象点ｑ３の位置が予め決定されている場合、対象物２と第３対象点ｋ３との位置関係が、仮想対象物２ｖと第３仮想対象点ｑ３との位置関係と同一となるように、対象物２における第３対象点ｋ３の位置が決定される。
この場合、例えば、対象物２における第３対象点ｋ３の位置に、第３物理マーカーが配置される。第３物理マーカーは、対象物２、第１物理マーカーおよび第２物理マーカーの各々の反射率とは異なる反射率を有する。このため、第１カメラ２１０が生成する第１撮像データｃ１と、第２カメラ２２０が生成する第２撮像データｃ２と、の各々において、第３物理マーカーを識別可能になる。したがって、第１撮像データｃ１と第２撮像データｃ２に基づいて、第３物理マーカーの位置、すなわち、第３対象点ｋ３の位置を、特定することが可能である。第３仮想対象点ｑ３は、第３対象点ｋ３と対応する。
説明を図１２に戻す。投写制御部３４２は、プロジェクター１００を制御する。投写制御部３４２は、計測画像Ｇ３と変形画像Ｇ１との各々をプロジェクター１００に投写させる。投写制御部３４２は、計測画像Ｇ３を示す計測画像データをプロジェクター１００に提供することによって、計測画像Ｇ３をプロジェクター１００に投写させる。計測画像データは、画像データａの一例である。投写制御部３４２は、変形画像Ｇ１を示す変形画像データをプロジェクター１００に提供することによって、変形画像Ｇ１をプロジェクター１００に投写させる。変形画像データは、画像データａの他の例である。
計測制御部３４３は、計測器２００を制御する。計測制御部３４３は、計測器２００に、対象物２を撮像させる。計測制御部３４３は、計測器２００に、対象物２について３次元計測を実行させる。
取得部３４４は、プロジェクター１００が計測画像Ｇ３を対象物２に投写する状況で対象物２において計測画像Ｇ３の計測点ｅが位置する部分の３次元の座標を、計測器２００から取得する。
対象物２において計測画像Ｇ３の計測点ｅが位置する部分を「対応点ｆ」と称する。図１４は、対応点ｆの一例を示す図である。図１４は、３つの対応点ｆ、具体的には、第１対応点ｆ１と、第２対応点ｆ２と、第３対応点ｆ３と、を示す。対応点ｆは、計測画像Ｇ３の計測点ｅに対応する点である。第１対応点ｆ１は、第１計測点ｅ１に対応する。第２対応点ｆ２は、第２計測点ｅ２に対応する。第３対応点ｆ３は、第３計測点ｅ３に対応する。
対応点ｆの３次元の座標を、「座標ｈ」と称する。座標ｈは、対応点ｆの計測器座標系ＣＳ２における座標である。座標ｈは、計測器２００によって計測される。座標ｈは、第１座標の一例である。
計測点ｅの計測画像Ｇ３における２次元の座標、すなわち、計測点ｅのプロジェクター座標系ＣＳ１における座標を、「座標ｉ」と称する。座標ｉは、第２記憶部３３０に事前に記憶されている。座標ｉは、第２座標の一例である。
説明を図１２に戻す。第１生成部３４５は、計測器座標系ＣＳ２と、プロジェクター座標系ＣＳ１と、の対応関係を示す第１関係情報ｊ１を生成する。第１生成部３４５は、対応点ｆの計測器座標系ＣＳ２における３次元の座標である座標ｈと、計測点ｅのプロジェクター座標系ＣＳ１における２次元の座標である座標ｉと、に基づいて、第１関係情報ｊ１を生成する。
第２生成部３４６は、計測器座標系ＣＳ２と、仮想空間座標系ＣＳ３と、の対応関係を示す第２関係情報ｊ２を生成する。
対象物２が有する対象点ｋの計測器座標系ＣＳ２における座標を「座標ｍ」と称する。
仮想対象物２ｖが有する仮想対象点ｑの仮想空間座標系ＣＳ３における座標を「座標ｎ」と称する。第２生成部３４６は、座標ｍと、座標ｎと、に基づいて、計測器座標系ＣＳ２と仮想空間座標系ＣＳ３との対応関係を示す第２関係情報ｊ２を生成する。
位置特定部３４７は、第１関係情報ｊ１と第２関係情報ｊ２とを用いることによって、プロジェクター１００のプロジェクター座標系ＣＳ１における座標に基づいて、プロジェクター１００の仮想空間座標系ＣＳ３における位置を特定する。プロジェクター１００の仮想空間座標系ＣＳ３における位置を「第１仮想位置ｒ１」と称する。
仮想空間制御部３４８は、仮想空間ｄ１を制御する。仮想空間制御部３４８は、仮想空間ｄ１に第２仮想位置ｒ２を設定する。例えば、仮想空間制御部３４８は、操作部３１０がユーザーから受け付ける配置指示に応じて、仮想空間ｄ１に第２仮想位置ｒ２を設定する。仮想空間ｄ１における第２仮想位置ｒ２は、対象物２の計測器座標系ＣＳ２における位置に対応する。仮想空間制御部３４８は、仮想対象物２ｖを第２仮想位置ｒ２に配置する。仮想空間制御部３４８は、仮想対象物２ｖに元画像Ｇ２を表示する。具体的には、仮想空間制御部３４８は、元画像Ｇ２を表す仮想の紙が仮想対象物２ｖに貼り付けられたように、仮想対象物２ｖに元画像Ｇ２を表示する。
仮想空間制御部３４８は、仮想空間ｄ１において、第１仮想位置ｒ１、すなわち、プロジェクター１００の仮想空間座標系ＣＳ３における位置に、仮想カメラ４００ｖを配置する。仮想空間制御部３４８は、仮想カメラ４００ｖが備える仮想撮像レンズ４１０ｖの主点を、第１仮想位置ｒ１に位置させる。
仮想撮像レンズ４１０ｖの内部パラメーターは、プロジェクター１００の投写レンズ１４０の内部パラメーターと等しい。仮想撮像レンズ４１０ｖの内部パラメーターは、仮想撮像レンズ４１０ｖの焦点距離等の仮想撮像レンズ４１０ｖの特性を表す。投写レンズ１４０の内部パラメーターは、投写レンズ１４０の焦点距離等の投写レンズ１４０の特性を表す。本実施形態では、投写レンズ１４０の内部パラメーターは既知である。投写レンズ１４０の内部パラメーターは、例えば、第２記憶部３３０に記憶されている。
画像生成部３４９は、仮想対象物２ｖに表示される元画像Ｇ２を仮想カメラ４００ｖが撮像することによって得られる仮想撮像画像を、変形画像Ｇ１として生成する。画像生成部３４９は、例えば、仮想撮像画像を示す画像データを、変形画像Ｇ１を示す変形画像データとして生成する。
Ａ５：計測画像Ｇ３
図１５は、複数の計測画像Ｇ３の一例を示す図である。複数の計測画像Ｇ３は、第１位相シフト画像Ｇ３１～第４位相シフト画像Ｇ３４を含む。
第１位相シフト画像Ｇ３１～第４位相シフト画像Ｇ３４を相互に区別する必要がない場合、第１位相シフト画像Ｇ３１～第４位相シフト画像Ｇ３４の各々を「位相シフト画像Ｇ３０」と称する。
位相シフト画像Ｇ３０は、プロジェクター座標系ＣＳ１のｘ１軸に沿う方向において正弦波に応じた輝度の変化を示すパタン画像である。正弦波は、余弦波を包含する概念である。位相シフト画像Ｇ３０は、位相シフト法において使用される。
第２位相シフト画像Ｇ３２における正弦波の位相は、第１位相シフト画像Ｇ３１における正弦波の位相よりも、π／２だけ、進んでいる。第３位相シフト画像Ｇ３３における正弦波の位相は、第１位相シフト画像Ｇ３１における正弦波の位相よりも、πだけ、進んでいる。第４位相シフト画像Ｇ３４における正弦波の位相は、第１位相シフト画像Ｇ３１における正弦波の位相よりも、３π／２だけ、進んでいる。
位相シフト画像Ｇ３０は、対応点ｆを特定するために用いられる。対応点ｆは、プロジェクター１００が位相シフト画像Ｇ３０を対象物２に投写する状況で対象物２において位相シフト画像Ｇ３０の計測点ｅが位置する部分である。
位相シフト法は、第１イメージセンサー２１２が有する複数のセル２１２ｐのうち、対応点ｆを観測するセル２１２ｐｔを特定するために使用される。また、位相シフト法は、第２イメージセンサー２２２が有する複数のセル２２２ｐのうち、対応点ｆを観測するセル２２２ｐｔを特定するために使用される。セル２１２ｐｔおよびセル２２２ｐｔは、位相シフト画像Ｇ３０が有する正弦波の位相を用いることによって特定される。
図１６は、液晶ライトバルブ１３０においてｘ１軸に沿う方向に並ぶ画素１３０ｐと、プロジェクター１００が第１位相シフト画像Ｇ３１を投写する状況における画素１３０ｐの輝度に応じた正弦波の位相φ１と、の関係を示す図である。
図１６に示されるように、ｘ１軸に沿う方向において、液晶ライトバルブ１３０の画素１３０ｐと、位相φ１は、１対１の対応関係を有する。このため、液晶ライトバルブ１３０が有する複数の画素１３０ｐのうち、計測点ｅに位置する画素１３０ｐｅに対応する位相φ１ｅは、一意に特定される。図１６では、説明の簡略化のため、画素１３０ｐｅとして、第１計測点ｅ１に位置する画素１３０ｐのみが示される。
第１位相シフト画像Ｇ３１が投写される状況において第１イメージセンサー２１２の任意のセル２１２ｐｉが観測する輝度に応じた正弦波の位相φ２は式１によって特定されることが知られている。
φ２＝ｔａｎ－１｛（Ｉ２－Ｉ４）／（Ｉ１－Ｉ３）｝ ・・・式１
Ｉ１は、第１位相シフト画像Ｇ３１が投写される状況においてセル２１２ｐｉが観測する輝度である。
Ｉ２は、第２位相シフト画像Ｇ３２が投写される状況においてセル２１２ｐｉが観測する輝度である。
Ｉ３は、第３位相シフト画像Ｇ３３が投写される状況においてセル２１２ｐｉが観測する輝度である。
Ｉ４は、第４位相シフト画像Ｇ３４が投写される状況においてセル２１２ｐｉが観測する輝度である。
位相シフト法によって特定されるセル２１２ｐｔは、第１イメージセンサー２１２が有する複数のセル２１２ｐのうち、対応点ｆを観測するセルである。このため、セル２１２ｐｔが観測する輝度に応じた位相φ２は、画素１３０ｐｅの輝度に応じた位相φ１ｅと同じ値を示す。したがって、セル２１２ｐｔの探索は、複数のセル２１２ｐの中から、画素１３０ｐｅに対応する位相φ１ｅと同じ値を示す位相φ２に応じた輝度を観測するセルを探索することを意味する。
よって、複数のセル２１２ｐの中から、プロジェクター座標系ＣＳ１のｘ１軸座標において対応点ｆが位置する座標ｘ１ｆと対応する座標ｘ２ｆを有する座標セル群２１２ｐｘを特定することが可能である。
また、図示は省略するが、複数の計測画像Ｇ３は、第５位相シフト画像Ｇ３５～第８位相シフト画像Ｇ３８を更に含む。第５位相シフト画像Ｇ３５～第８位相シフト画像Ｇ３８は、プロジェクター座標系ＣＳ１のｙ１軸に沿う方向において正弦波に応じた輝度の変化を示すパタン画像である。第６位相シフト画像Ｇ３６における正弦波の位相は、第５位相シフト画像Ｇ３５における正弦波の位相よりも、π／２だけ、進んでいる。第７位相シフト画像Ｇ３７における正弦波の位相は、第５位相シフト画像Ｇ３５における正弦波の位相よりも、πだけ、進んでいる。第８位相シフト画像Ｇ３８における正弦波の位相は、第５位相シフト画像Ｇ３５における正弦波の位相よりも、３π／２だけ、進んでいる。
第５位相シフト画像Ｇ３５～第８位相シフト画像Ｇ３８を第１カメラ２１０によって撮像することにより、第１位相シフト画像Ｇ３１～第４位相シフト画像Ｇ３４を用いた場合と同様に、複数のセル２１２ｐの中から、プロジェクター座標系ＣＳ１のｙ１軸座標において対応点ｆが位置する座標ｙ１ｆと対応する座標ｙ２ｆを有する座標セル群２１２ｐｙを特定することが可能である。
このため、複数のセル２１２ｐの中から、座標ｘ２ｆと座標ｙ２ｆとを有するセル２１２ｐを、セル２１２ｐｔとして特定することができる。
セル２２２ｐｔについても、セル２２２ｐｔと同様に特定することができる。
Ａ６：動作の説明
図１７は、投写システム１の動作を説明するための図である。なお、仮想空間生成部３４１は、仮想空間ｄ１を事前に生成している。仮想空間制御部３４８は、仮想空間ｄ１に第２仮想位置ｒ２を事前に設定している。仮想空間制御部３４８は、第２仮想位置ｒ２に仮想対象物２ｖを事前に配置している。
ユーザーは、操作部３１０を操作することによって、操作部３１０に開始指示を入力する。操作部３１０は、開始指示を受けると、開始指示を第２処理部３４０に提供する。
第２処理部３４０が開始指示を受けると、ステップＳ１０１において投写制御部３４２は、第１位相シフト画像Ｇ３１～第８位相シフト画像Ｇ３８を、未投写の画像として設定する。
続いて、ステップＳ１０２において投写制御部３４２は、第１位相シフト画像Ｇ３１～第８位相シフト画像Ｇ３８の中から、未投写の画像を１つ選択する。投写制御部３４２は、第１位相シフト画像Ｇ３１、第２位相シフト画像Ｇ３２、第３位相シフト画像Ｇ３３、第４位相シフト画像Ｇ３４、第５位相シフト画像Ｇ３５、第６位相シフト画像Ｇ３６、第７位相シフト画像Ｇ３７、第８位相シフト画像Ｇ３８の順に、未投写の画像を選択する。未投写の画像を選択する順序は、第１位相シフト画像Ｇ３１、第２位相シフト画像Ｇ３２、第３位相シフト画像Ｇ３３、第４位相シフト画像Ｇ３４、第５位相シフト画像Ｇ３５、第６位相シフト画像Ｇ３６、第７位相シフト画像Ｇ３７、第８位相シフト画像Ｇ３８の順に限らず、適宜変更可能である。
続いて、投写制御部３４２は、ステップＳ１０２で選択した画像を示す画像データａをプロジェクター１００に提供する。画像データａが、第２記憶部３３０に記憶されている場合、投写制御部３４２は、第２記憶部３３０から画像データａを読み取る。投写制御部３４２は、第２記憶部３３０から読み取った画像データａを、プロジェクター１００に提供する。投写制御部３４２は、第２プログラムＰ２に基づいて画像データａを生成してもよい。この場合、投写制御部３４２は、生成した画像データａを、プロジェクター１００に提供する。
続いて、投写制御部３４２は、ステップＳ１０２で選択した画像についての設定を、未投写の画像から、投写済みの画像に変更する。
続いて、ステップＳ１０３においてプロジェクター１００は、投写制御部３４２から提供された画像データａが示す画像を、対象物２に投写する。
続いて、ステップＳ１０４において計測制御部３４３は、画像が投写されている対象物２を、第１カメラ２１０および第２カメラ２２０に撮像させる。
例えば、計測制御部３４３は、第１カメラ２１０および第２カメラ２２０を用いる撮像を指示する撮像指示を、計測器２００の撮像制御部２４１に提供する。撮像制御部２４１は、撮像指示に応じて、画像が投写されている対象物２を第１カメラ２１０および第２カメラ２２０に撮像させる。第１カメラ２１０は、画像が投写されている対象物２を撮像することによって、画像が投写されている対象物２を示す第１撮像画像データを生成する。第１撮像画像データは、第１撮像データｃ１の一例である。第２カメラ２２０は、画像が投写されている対象物２を撮像することによって、画像が投写されている対象物２を示す第２撮像画像データを生成する。第２撮像画像データは、第２撮像データｃ２の一例である。提供部２４２は、第１撮像画像データと、第２撮像画像データと、を情報処理装置３００に提供する。
続いて、ステップＳ１０５において投写制御部３４２は、第１位相シフト画像Ｇ３１～第８位相シフト画像Ｇ３８の中に、未投写の画像として設定されている画像が存在する場合、処理をステップＳ１０２に戻す。このため、第１位相シフト画像Ｇ３１～第８位相シフト画像Ｇ３８が、プロジェクター１００によって個別に対象物２へ投写される。また、第１位相シフト画像Ｇ３１～第８位相シフト画像Ｇ３８の各々の第１撮像画像データと、第１位相シフト画像Ｇ３１～第８位相シフト画像Ｇ３８の各々の第２撮像画像データが、情報処理装置３００に提供される。
ステップＳ１０５において第１位相シフト画像Ｇ３１～第８位相シフト画像Ｇ３８の中に、未投写の画像として設定されている画像が存在しない場合、ステップＳ１０６において取得部３４４は、計測点ｅごとに、対応点ｆの計測器座標系ＣＳ２における３次元座標である座標ｈを取得する。対応点ｆは、プロジェクター１００が位相シフト画像Ｇ３０を対象物２に投写する状況で対象物２において位相シフト画像Ｇ３０の計測点ｅが位置する部分である。
ステップＳ１０６では、取得部３４４は、まず、計測点ｅごとに、セル２１２ｐｔとセル２２２ｐｔとを特定する。セル２１２ｐｔは、第１イメージセンサー２１２が有する複数のセル２１２ｐのうち、対応点ｆを観測するセルである。セル２２２ｐｔは、第２イメージセンサー２２２における複数のセル２２２ｐのうち、対応点ｆを観測するセルである。
取得部３４４は、計測点ｅのプロジェクター座標系ＣＳ１における座標である座標ｉと、第１位相シフト画像Ｇ３１～第８位相シフト画像Ｇ３８の各々の第１撮像画像データと、に基づいて、計測点ｅごとに、セル２１２ｐｔを特定する。なお、第２記憶部３３０が座標ｉを記憶しているため、取得部３４４は、第２記憶部３３０から座標ｉを取得する。取得部３４４は、位相シフト法を用いることによって、計測点ｅごとに、セル２１２ｐｔを特定する。
取得部３４４は、計測点ｅのプロジェクター座標系ＣＳ１における座標である座標ｉと、第１位相シフト画像Ｇ３１～第８位相シフト画像Ｇ３８の各々の第２撮像画像データと、に基づいて、計測点ｅごとに、セル２２２ｐｔを特定する。取得部３４４は、位相シフト法を用いることによって、計測点ｅごとに、セル２２２ｐｔを特定する。
取得部３４４は、計測点ｅごとに、セル２１２ｐｔとセル２２２ｐｔとを特定すると、計測制御部３４３を用いることによって、計測器２００に、各対応点ｆについての３次元計測を実行させる。
例えば、取得部３４４は、セル２１２ｐｔとセル２２２ｐｔとを計測点ｅごとに示す計測指示を、計測制御部３４３から計測器２００の算出部２４３に提供する。
算出部２４３は、計測点ｅごとに、第１イメージセンサー２１２におけるセル２１２ｐｔの位置と、第２イメージセンサー２２２におけるセル２２２ｐｔの位置と、に基づいて、対応点ｆの計測器座標系ＣＳ２における３次元座標を算出する。
例えば、算出部２４３は、計測点ｅごとに、セル２１２ｐｔの位置と、セル２２２ｐｔの位置と、に基づいて、対応点ｆから計測器２００までの距離を、三角測量の原理に基づいて算出する。
算出部２４３は、対応点ｆの計測器座標系ＣＳ２における３次元座標のうち、ｘ２軸に基づく座標として、セル２１２ｐｔのｘ２軸に基づく座標を用いる。算出部２４３は、対応点ｆの計測器座標系ＣＳ２における３次元座標のうち、ｙ２軸に基づく座標として、セル２１２ｐｔのｙ２軸に基づく座標を用いる。算出部２４３は、対応点ｆの計測器座標系ＣＳ２における３次元座標のうち、ｚ２軸に基づく座標として、対応点ｆから計測器２００までの距離に基づく値を用いる。
続いて、提供部２４２は、計測点ｅごとに、対応点ｆの計測器座標系ＣＳ２における３次元座標を、情報処理装置３００に提供する。
取得部３４４は、提供部２４２から、計測点ｅごとに、対応点ｆの計測器座標系ＣＳ２における３次元座標を、座標ｈとして取得する。
続いて、ステップＳ１０７において第１生成部３４５は、計測器座標系ＣＳ２と、プロジェクター座標系ＣＳ１と、の対応関係を示す第１関係情報ｊ１を生成する。
例えば、第１生成部３４５は、対応点ｆの計測器座標系ＣＳ２における３次元の座標である座標ｈと、計測点ｅのプロジェクター座標系ＣＳ１における２次元の座標である座標ｉと、に基づいて、第１関係情報ｊ１を生成する。
第１生成部３４５は、３次元座標である座標ｈを取得部３４４から取得する。２次元座標である座標ｉは第２記憶部３３０に記憶されているため、第１生成部３４５は、２次元座標である座標ｉを第２記憶部３３０から取得する。
第１生成部３４５は、３次元座標である座標ｈと２次元座標である座標ｉとの計測点ｅごとのペアを用いてＰｎＰ（Perspective n Points）問題を解くことによって、第１関係情報ｊ１を生成する。以下、座標ｈと座標ｉとのペアを「第１座標ペア」と称する。
例えば、第１生成部３４５は、式２に、計測点ｅごとに第１座標ペアを代入することによって、ＰｎＰ問題を解く。式２は、透視投影変換の式とも称される。
Figure 2022102058000002
 （Ｘ，Ｙ，Ｚ）は、計測器座標系ＣＳ２の３次元座標、例えば、座標ｈを表す。
（ｕ，ｖ）は、プロジェクター座標系ＣＳ１の２次元座標、例えは、座標ｉを表す。
ｓは、（ｕ，ｖ，１）における“１”を実現するためのスケーリングファクターである。ｓ＝Ｚが成り立つ。
（ｃｘ，ｃｙ）は、投写レンズ１４０の主点の座標である。
ｆｘとｆｙは、１つの画素１３０ｐを１単位とする値で表される投写レンズ１４０の焦点距離である。
換言すると、ｆｘとｆｙは、ピクセルの単位で表される投写レンズ１４０の焦点距離である。
ｆｘは、画素１３０ｐのｘ１軸方向の長さに基づく単位で表される投写レンズ１４０の焦点距離である。
ｆｙは、画素１３０ｐのｙ１軸方向の長さに基づく単位で表される投写レンズ１４０の焦点距離である。
式２は、式３と等価である。
Figure 2022102058000003
第１生成部３４５は、計測点ｅごとに第１座標ペアを式２に代入することによって、複数の方程式を生成する。第１生成部３４５は、複数の方程式を解くことによって、回転行列Ｒと、平行移動行列Ｔと、内部パラメーター行列Ａと、を特定する。
本実施形態では、投写レンズ１４０の内部パラメーターは既知である。すなわち、内部パラメーター行列Ａは、既知である。このため、第１生成部３４５は、複数の方程式を解くことによって、回転行列Ｒと、平行移動行列Ｔと、を特定すればよい。この場合、第１生成部３４５は、少なくとも３つの第１座標ペアを用いることによって、回転行列Ｒと、平行移動行列Ｔと、を特定できる。
第１生成部３４５は、６つ以上の第１座標ペアを用いれば、１つの解として、回転行列Ｒと、平行移動行列Ｔと、を特定できる。
第１座標ペアによって示される座標は、誤差を含む可能性がある。このため、式２に代入される第１座標ペアの数が多いほど、回転行列Ｒと平行移動行列Ｔとの精度が向上する。よって、第１生成部３４５は、より多くの第１座標ペアを用いることによって回転行列Ｒと平行移動行列Ｔとを特定することが望ましい。第１生成部３４５は、回転行列Ｒと平行移動行列Ｔと内部パラメーター行列Ａとスケールファクターｓとのグループを、第１関係情報ｊ１として生成する。
続いて、ステップＳ１０８において第２生成部３４６は、計測器座標系ＣＳ２と、仮想空間座標系ＣＳ３と、の対応関係を示す第２関係情報ｊ２を生成する。
第２生成部３４６は、対象物２が有する対象点ｋの計測器座標系ＣＳ２における座標である座標ｍと、仮想対象物２ｖが有する仮想対象点ｑの仮想空間座標系ＣＳ３における座標である座標ｎと、に基づいて、第２関係情報ｊ２を生成する。
第２生成部３４６は、計測器２００から、対象物２が有する対象点ｋの計測器座標系ＣＳ２における座標である座標ｍを取得する。
例えば、第２生成部３４６は、計測制御部３４３を用いることによって、計測器２００に、対象物２における各対象点ｋについて３次元計測を実行させる。
一例を挙げると、第２生成部３４６は、各対象点ｋについての３次元計測の指示を、計測制御部３４３から計測器２００の算出部２４３に提供する。
算出部２４３は、各対象点ｋについての３次元計測の指示に応じて、各対象点ｋの計測器座標系ＣＳ２における３次元座標を算出する。
算出部２４３は、対象点ｋの計測器座標系ＣＳ２における３次元座標のうち、ｘ２軸に基づく座標として、第１イメージセンサー２１２におけるセル２１２ｐのうち対象点ｋを観測するセルのｘ２軸に基づく座標を用いる。算出部２４３は、対象点ｋの計測器座標系ＣＳ２における３次元座標のうち、ｙ２軸に基づく座標として、第１イメージセンサー２１２におけるセル２１２ｐのうち対象点ｋを観測するセルのｙ２軸に基づく座標を用いる。算出部２４３は、対象点ｋから計測器２００までの距離を、三角測量の原理を用いて算出する。算出部２４３は、対象点ｋの計測器座標系ＣＳ２における３次元座標のうち、ｚ２軸に基づく座標として、対象点ｋから計測器２００までの距離に基づく値を用いる。
続いて、提供部２４２は、対象点ｋごとに、対象点ｋの計測器座標系ＣＳ２における３次元座標を、情報処理装置３００に提供する。
第２生成部３４６は、提供部２４２から、対象点ｋごとに、対象点ｋの計測器座標系ＣＳ２における３次元座標を、座標ｍとして取得する。
仮想対象物２ｖが有する仮想対象点ｑの仮想空間座標系ＣＳ３における座標である座標ｎは、仮想空間制御部３４８が管理している。このため、第２生成部３４６は、仮想空間制御部３４８から、仮想対象物２ｖが有する仮想対象点ｑごとに、仮想対象点ｑの仮想空間座標系ＣＳ３における座標である座標ｎを取得する。
第２生成部３４６は、対象点ｋの座標ｍと、当該対象点ｋに対応する仮想対象点ｑの座標ｎと、の対象点ｋごとのペアを用いて、第２関係情報ｊ２を生成する。以下、座標ｍと座標ｎとのペアを「第２座標ペア」と称する。
第２生成部３４６は、計測器座標系ＣＳ２の向きを仮想空間座標系ＣＳ３の向きに揃える回転行列Ｒ１と、計測器座標系ＣＳ２の原点ｏ２を仮想空間座標系ＣＳ３の原点ｏ３に揃える平行移動行列Ｔ１と、を特定する。回転行列Ｒ１は、３行３列の行列である。平行移動行列Ｔ１は、１行３列の行列である。
式４は、計測器座標系ＣＳ２と、仮想空間座標系ＣＳ３と、回転行列Ｒ１と、平行移動行列Ｔ１との相互の関係を示す。
Figure 2022102058000004
 （Ｘ，Ｙ，Ｚ）は、計測器座標系ＣＳ２の３次元座標、例えば、座標ｍを表す。
（ＸＶ，ＹＶ，ＺＶ）は、仮想空間座標系ＣＳ３の３次元座標、例えば、座標ｎを表す。
第２生成部３４６は、対象点ｋごとに第２座標ペアを式４に代入することによって、複数の方程式を生成する。第２生成部３４６は、当該複数の方程式を解くことによって、回転行列Ｒ１と、平行移動行列Ｔ１と、を特定する。第２生成部３４６は、回転行列Ｒ１と平行移動行列Ｔ１とのグループを、第２関係情報ｊ２として生成する。
続いて、ステップＳ１０９において位置特定部３４７は、第１関係情報ｊ１と第２関係情報ｊ２とを用いることによって、プロジェクター１００のプロジェクター座標系ＣＳ１における座標に基づいて、プロジェクター１００の仮想空間座標系ＣＳ３における位置である第１仮想位置ｒ１を特定する。
位置特定部３４７は、まず、第１関係情報ｊ１を用いることによって、プロジェクター１００のプロジェクター座標系ＣＳ１における座標に基づいて、プロジェクター１００の計測器座標系ＣＳ２における位置を特定する。
例えば、位置特定部３４７は、第１関係情報ｊ１を適用した式２を用いることによって、プロジェクター１００のプロジェクター座標系ＣＳ１における２次元座標を、プロジェクター１００の計測器座標系ＣＳ２における３次元座標に変換する。位置特定部３４７は、プロジェクター１００の計測器座標系ＣＳ２における３次元座標が示す位置を、プロジェクター１００の計測器座標系ＣＳ２における位置として特定する。
続いて、位置特定部３４７は、第２関係情報ｊ２を用いることによって、プロジェクター１００の計測器座標系ＣＳ２における位置を示す３次元座標に基づいて、プロジェクター１００の仮想空間座標系ＣＳ３における位置を特定する。
例えば、位置特定部３４７は、第２関係情報ｊ２を適用した式４を用いることによって、プロジェクター１００の計測器座標系ＣＳ２における３次元座標を、プロジェクター１００の仮想空間座標系ＣＳ３における３次元座標に変換する。位置特定部３４７は、プロジェクター１００の仮想空間座標系ＣＳ３における３次元座標が示す位置を、プロジェクター１００の仮想空間座標系ＣＳ３における位置、すなわち、第１仮想位置ｒ１として特定する。
続いて、ステップＳ１１０において仮想空間制御部３４８は、第１仮想位置ｒ１に、仮想カメラ４００ｖを配置する。
ステップＳ１１０では、仮想空間制御部３４８は、仮想カメラ４００ｖが備える仮想撮像レンズ４１０ｖの主点を、第１仮想位置ｒ１に位置させる。
続いて、ステップＳ１１１において仮想空間制御部３４８は、仮想対象物２ｖに、変形していない元画像Ｇ２を表示する。仮想空間制御部３４８は、元画像Ｇ２を表す仮想の紙が仮想対象物２ｖに貼り付けられたように、仮想対象物２ｖに元画像Ｇ２を表示する。
続いて、ステップＳ１１２において画像生成部３４９は、仮想対象物２ｖに表示される元画像Ｇ２を仮想カメラ４００ｖが撮像することによって得られる仮想撮像画像を、変形画像Ｇ１として生成する。仮想撮像画像は、対象物２に投写された元画像Ｇ２に生じる第１変形を相殺する第２変形が元画像Ｇ２に対してなされた画像となる。画像生成部３４９は、仮想撮像画像を示す画像データを、変形画像Ｇ１を示す変形画像データとして生成する。
続いて、ステップＳ１１３において投写制御部３４２は、変形画像Ｇ１を示す変形画像データをプロジェクター１００に提供することによって、プロジェクター１００に、変形画像Ｇ１を対象物２に対して投写させる。
変形画像Ｇ１が対象物２に投写される状況では、対象物２に示される変形画像Ｇ１に第１変形が生じる。当該第１変形によって、変形画像Ｇ１における第２変形が相殺される。このため、図５に示されるように、対象物２には、変形画像Ｇ１が元画像Ｇ２と同様の形態で示される。
Ａ７：第１実施形態のまとめ
第１生成部３４５は、計測画像Ｇ３をプロジェクター１００が対象物２へ投写する状況で対象物２において計測点ｅが位置する部分である対応点ｆの３次元の座標ｈと、計測点ｅの計測画像Ｇ３における２次元の座標ｉと、に基づいて、第１関係情報ｊ１を生成する。第１関係情報ｊ１は、座標ｈを特定する計測器２００が用いる計測器座標系ＣＳ２と、座標ｉおよびプロジェクター１００の座標を定めるプロジェクター座標系ＣＳ１と、の対応関係を示す。位置特定部３４７は、第１関係情報ｊ１を用いることによって、プロジェクター１００の座標に基づいて、プロジェクター１００の計測器座標系ＣＳ２における位置を特定する。
この態様によれば、プロジェクター１００と計測器２００とが任意の位置に配置されても、計測器２００が用いる計測器座標系ＣＳ２においてプロジェクター１００の位置を特定できる。計測器座標系ＣＳ２におけるプロジェクター１００の位置は、変形画像Ｇ１の生成に必要な情報である。したがって、プロジェクター１００と計測器２００とが任意の位置に配置されても、対象物２に変形画像Ｇ１等の所定の画像を投写することを支援できる。
第１生成部３４５は、計測画像Ｇ３をプロジェクター１００が対象物２へ投写する状況で対象物２において計測点ｅが位置する部分である対応点ｆの３次元の座標ｈと、計測点ｅの計測画像Ｇ３における２次元の座標ｉと、に基づいて、第１関係情報ｊ１を生成する。第１関係情報ｊ１は、座標ｈを特定する計測器２００が用いる計測器座標系ＣＳ２と、座標ｉおよびプロジェクター１００の座標を定めるプロジェクター座標系ＣＳ１と、の対応関係を示す。第２生成部３４６は、対象物２における対象点ｋの計測器座標系ＣＳ２における座標ｍと、対象点ｋに対応する仮想対象点ｑの３次元の仮想空間ｄ１における座標ｎと、に基づいて、第２関係情報ｊ２を生成する。第２関係情報ｊ２は、計測器座標系ＣＳ２と、仮想空間ｄ１における座標を定める仮想空間座標系ＣＳ３と、の対応関係を示す。位置特定部３４７は、第１関係情報ｊ１と第２関係情報ｊ２とを用いることによって、プロジェクター１００の座標に基づいて、プロジェクター１００の仮想空間座標系ＣＳ３における位置を特定する。
この態様によれば、プロジェクター１００と計測器２００とが任意の位置に配置されても、仮想空間座標系ＣＳ３においてプロジェクター１００の位置を特定できる。このため、仮想空間座標系ＣＳ３におけるプロジェクター１００の位置に基づいて、変形画像Ｇ１等の所定の画像を生成できる。したがって、プロジェクター１００と計測器２００とが任意の位置に配置されても、対象物２に変形画像Ｇ１等の所定の画像を投写することを支援できる。
取得部３４４は、座標ｈを、第１カメラ２１０と第２カメラ２２０とを有する計測器２００から取得する。計測器２００は、対象物２において計測点ｅが位置する対応点ｆを第１カメラ２１０が撮像することによって生成される第１撮像画像と、対象物２において計測点ｅが位置する対応点ｆを第２カメラ２２０が撮像することによって生成される第２撮像画像と、に基づいて、座標ｈを特定する。この態様によれば、計測器２００として、ステレオカメラを用いることができる。このため、座標ｈの取得が容易となる。
仮想空間制御部３４８は、対象物２の位置に対応する第２仮想位置ｒ２を、仮想空間ｄ１に設定する。仮想空間制御部３４８は、対象物２に対応する仮想対象物２ｖを、仮想空間ｄ１における第２仮想位置ｒ２に配置する。仮想空間制御部３４８は、仮想対象物２ｖに元画像Ｇ２を表示する。仮想空間制御部３４８は、仮想空間ｄ１において、プロジェクター１００の仮想空間座標系ＣＳ３における位置に仮想カメラ４００ｖを配置する。画像生成部３４９は、仮想対象物２ｖに表示される元画像Ｇ２を仮想カメラ４００ｖが撮像することによって得られる変形画像Ｇ１を生成する。この態様によれば、プロジェクター１００が対象物２に投写した場合に、元画像Ｇ２と同様の形態で示される変形画像Ｇ１を生成できる。
投写制御部３４２は、プロジェクター１００に、変形画像Ｇ１を対象物２へ投写させる。この態様によれば、対象物２に、元画像Ｇ２と同様の形態で画像を投写できる。
計測画像Ｇ３は、正弦波に応じた輝度の変化を示すパタン画像である。この態様によれば、いわゆる、位相シフト法において使用される位相シフト画像を計測画像Ｇ３として用いることができる。
Ｂ：変形例
以上に例示した実施形態の変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
Ｂ１：第１変形例
第１実施形態において、第１生成部３４５は、式２の代わりに、式５を用いることによって、回転行列Ｒと平行移動行列Ｔとを特定してもよい。
ｖ２・（Ｔ×Ｒｖ１）＝０ ・・・式５
式５は、エピポーラ方程式と称される。
図１８は、式５に示されるベクトルｖ１およびｖ２を説明するための図である。第１変形例においては、投写レンズ１４０の主点は、プロジェクター座標系ＣＳ１が規定する２次元平面１３０ｓではなく、２次元平面１３０ｓからｚ１軸に沿う方向において投写レンズ１４０の焦点距離だけ離れた位置Ｃに設定される。図１８では、説明の簡略化のため、２次元平面１３０ｓの位置および第１イメージセンサー２１２の位置が調整されている。実際には、２次元平面１３０ｓは、位置Ｃに対して点対象となる位置に存在する。第１イメージセンサー２１２は、原点ｏ２に対して点対象となる位置に存在する。
エピポーラ平面Ｋに含まれる２つのベクトルの外積は、エピポーラ平面Ｋに垂直なベクトルを示す。このため、エピポーラ平面Ｋに含まれる２つのベクトルの外積と、エピポーラ平面Ｋに含まれる他のベクトルと、の内積は「０」になる。式５は、この関係に基づいて定められる。
第１生成部３４５は、複数の第１座標ペアに基づいて、ベクトルｖ１およびｖ２の複数のペアを特定する。ベクトルｖ１およびｖ２のペアを「ベクトルペア」と称する。第１生成部３４５は、複数のベクトルペアを用いて、非線形最小二乗法などにより、式５のエピポーラ方程式を解くことによって、回転行列Ｒと平行移動行列Ｔとを特定する。
式５は、平行移動行列Ｔにて規定されるベクトルの方向を拘束できる。しかしながら、式５は、平行移動行列Ｔにて規定されるベクトルの大きさを拘束できない。そこで、第１生成部３４５は、平行移動行列Ｔにて規定されるベクトルの大きさを規定するために、式６を用いる。
Figure 2022102058000005
 式６において、（ｘ，ｙ，ｚ）は、第１座標ペアにおけるプロジェクター座標系ＣＳ１の２次元座標を３次元座標に変換することによって生成される。第１生成部３４５は、式６における（ｘ，ｙ，ｚ）のｚとして、投写レンズ１４０の焦点距離を用いることによって、第１座標ペアにおけるプロジェクター座標系ＣＳ１の２次元座標を３次元座標に変換する。
第１変形例によれば、プロジェクター座標系ＣＳ１と計測器座標系ＣＳ２との関係を表す回転行列Ｒと平行移動行列Ｔとを、エピポーラ方程式を用いることによって特定できる。
Ｂ２：第２変形例
第１実施形態および第１変形例において、プロジェクター１００の投写レンズ１４０としてズームレンズが用いられてもよい。
この場合、ズームレンズにおけるズームの状態に応じて、投写レンズ１４０の内部パラメーターが変化する。このため、第１生成部３４５が式２を用いる場合、回転行列Ｒと平行移動行列Ｔとに加えて、内部パラメーター行列Ａを特定する必要がある。回転行列Ｒと平行移動行列Ｔと内部パラメーター行列Ａとを、式２を用いて算出するには、最低１０個の第１座標ペアが必要となる。このため、第１生成部３４５は、１０個以上の第１座標ペアを用いることによって、回転行列Ｒと平行移動行列Ｔと内部パラメーター行列Ａとを特定する。
第１座標ペアによって示される座標は、誤差を含む可能性がある。このため、式２に代入される第１座標ペアの数が多いほど、回転行列Ｒと平行移動行列Ｔと内部パラメーター行列Ａの精度が向上する。よって、第１生成部３４５は、より多くの第１座標ペアを用いることによって回転行列Ｒと平行移動行列Ｔと内部パラメーター行列Ａとを特定することが望ましい。第１生成部３４５は、回転行列Ｒと平行移動行列Ｔと内部パラメーター行列Ａとスケールファクターｓとのグループを、第１関係情報ｊ１として生成する。
第２変形例によれば、投写レンズ１４０として、ズームレンズを用いることが可能になる。
Ｂ３：第３変形例
第１実施形態および第１変形例において、第１カメラ２１０の第１イメージセンサー２１２に対して、２次元の座標系である撮像座標系が適用されてもよい。
この場合、第１生成部３４５は、プロジェクター座標系ＣＳ１と撮像座標系との対応関係を示す第１情報を生成してもよい。第２生成部３４６は、撮像座標系と仮想空間座標系ＣＳ３との対応関係を示す第２情報を生成してもよい。位置特定部３４７は、第１情報と第２情報とを用いることによって、プロジェクター１００のプロジェクター座標系ＣＳ１における座標に基づいて、プロジェクター１００の仮想空間座標系ＣＳ３における位置である第１仮想位置ｒ１を特定してもよい。
例えば、第１生成部３４５は、計測点ｅのプロジェクター座標系ＣＳ１における２次元座標と、対応点ｆの撮像座標系における２次元座標と、の複数のペアを用いることによって、プロジェクター座標系ＣＳ１と撮像座標系との対応関係を示す第１情報を生成する。第１情報は、例えば、プロジェクター座標系ＣＳ１と撮像座標系とに基づく射影変換行列である。
第２生成部３４６は、対象点ｋの撮像座標系における２次元座標と、仮想対象点ｑの仮想空間座標系ＣＳ３における３次元座標と、の複数のペアを用いることによって、撮像座標系と仮想空間座標系ＣＳ３との対応関係を示す第２情報を生成する。第２生成部３４６は、対象点ｋの撮像座標系における２次元座標と、仮想対象点ｑの仮想空間座標系ＣＳ３における３次元座標と、の複数のペアを用いることによって、上述の透視投影変換の式２における未知数、具体的には、回転行列Ｒと平行移動行列Ｔとを特定する。この場合、第２生成部３４６は、内部パラメーター行列Ａに、第１撮像レンズ２１１の内部パラメーターを適用する。
位置特定部３４７は、まず、第１情報を用いることによって、プロジェクター１００のプロジェクター座標系ＣＳ１における座標に基づいて、プロジェクター１００の撮像座標系における位置を特定する。
続いて、位置特定部３４７は、第２情報を用いることによって、プロジェクター１００の撮像座標系における位置を示す２次元座標に基づいて、プロジェクター１００の仮想空間座標系ＣＳ３における位置を特定する。
第３変形例は、以下の態様を有する。
第１生成部３４５は、計測画像Ｇ３をプロジェクター１００が対象物２へ投写する状況で対象物２を第１カメラ２１０が撮影することによって生成される撮像画像において計測点ｅが位置する部分である対応点ｆの２次元座標である撮像座標と、計測点ｅの計測画像Ｇ３における２次元座標である投写座標と、に基づいて、第１情報を生成する。第１情報は、撮像座標を定めるカメラ座標系と、投写座標およびプロジェクター１００の座標を定めるプロジェクター座標系ＣＳ１と、の対応関係を示す。第２生成部３４６は、対象物２における対象点ｋのカメラ座標系における座標と、対象点ｋに対応する仮想対象点ｑの３次元の仮想空間ｄ１における座標と、に基づいて、第２情報を生成する。第２情報は、カメラ座標系と、仮想空間ｄ１における座標を示す仮想空間座標系ＣＳ３と、の対応関係を示す。位置特定部３４７は、第１情報と第２情報とを用いることによって、プロジェクター１００の座標に基づいて、プロジェクター１００の仮想空間座標系ＣＳ３における位置を特定する。
第３変形例によれば、プロジェクター１００と第１カメラ２１０とが任意の位置に配置されても、仮想空間座標系ＣＳ３においてプロジェクター１００の位置を特定できる。このため、仮想空間座標系ＣＳ３におけるプロジェクター１００の位置に基づいて、変形画像Ｇ１等の所定の画像を生成できる。したがって、プロジェクター１００と第１カメラ２１０とが任意の位置に配置されても、対象物２に変形画像Ｇ１等の所定の画像を投写することを支援できる。また、第２カメラ２２０を省略できる。また、第１関係情報ｊ１および第２関係情報ｊ２の生成を省略できる。
Ｂ４：第４変形例
第１実施形態および第１変形例～第２変形例では、計測器座標系ＣＳ２の原点ｏ２は、第１撮像レンズ２１１の主点の位置に設定される。このため、第１カメラ２１０の計測器座標系ＣＳ２における座標が既知である。したがって、位置特定部３４７は、第２関係情報ｊ２を用いることによって、第１カメラ２１０の仮想空間座標系ＣＳ３における座標を特定できる。
第２生成部３４６は、第１カメラ２１０の仮想空間座標系ＣＳ３における座標の位置から第１カメラ２１０の内部パラメーターを有する視錐台で仮想対象物２ｖを覗いた場合に得られる仮想撮像画像を用いて、第２関係情報ｊ２を更新してもよい。
例えば、第２生成部３４６は、第１カメラ２１０が対象物２を撮像することによって得られる対象撮像画像と、第１カメラ２１０の仮想空間座標系ＣＳ３における座標の位置から第１カメラ２１０の内部パラメーターを有する視錐台で仮想対象物２ｖを覗いた場合に得られる仮想撮像画像と、に基づいて、第２関係情報ｊ２を更新する。
一例を挙げると、第２生成部３４６は、対象撮像画像に示される第１対象点ｋ１の位置と、仮想撮像画像に示される第１仮想対象点ｑ１の位置と、の誤差の二乗和が最小化されるように、第２関係情報ｊ２を最適化する。誤差を特定するために使用される点は、第１対象点ｋ１に限らず、例えば、第２対象点ｋ２でもよく、また、対象物２においてプロジェクター１００から画像が投写されない領域に位置する点でもよい。なお、第４変形例では、第１カメラ２１０の内部パラメーターが既知であることが前提となる。第３変形例に第４変形例の手法を適用する場合には、第２生成部３４６は、第２関係情報ｊ２の代わりに、第２情報を上述のように最適化する。
第４変形例によれば、第２関係情報ｊ２の精度と、第２情報の精度と、を向上することができる。
Ｂ５：第５変形例
第４変形例において、仮想撮像画像は、仮想対象物２ｖにおいて仮想カメラ４００ｖの撮像範囲を含む領域の画像を示す。ここで、仮想カメラ４００ｖが有する仮想撮像レンズ４１０ｖの内部パラメーターは、プロジェクター１００の投写レンズ１４０の内部パラメーターと等しい。このため、仮想カメラ４００ｖの撮像範囲は、プロジェクター１００と同様の内部パラメーターを有する仮想プロジェクターが第１仮想位置ｒ１に配置された際に画像を投写する投写範囲と等しい。仮想対象物２ｖにおいて仮想カメラ４００ｖの撮像範囲となる領域に含まれる複数の点の仮想空間座標系ＣＳにおける３次元座標は既知である。第２生成部３４６は、この既知の３次元座標を用いて、第２関係情報ｊ２を更新してもよい。
対象物２が、仮想対象物２ｖにおいて仮想カメラ４００ｖの撮像範囲に含まれる複数の点に１対１で対応する複数のサンプルポイントを有するとする。この場合、第２生成部３４６は、計測器２００に、複数のサンプルポイントの計測器座標系ＣＳ２における３次元座標を計測させる。続いて、第２生成部３４６は、計測器２００から、複数のサンプルポイントの計測器座標系ＣＳ２における３次元座標を取得する。続いて、第２生成部３４６は、サンプルポイントごとに、サンプルポイントの計測器座標系ＣＳ２における３次元座標と、当該サンプルポイントに対応する点の仮想空間座標系ＣＳ３における３次元座標と、の差の二乗和が最小化されるように、第２関係情報ｊ２を最適化する。なお、この手法は、３次元座標の点群を用いた外形形状のマッチングとなるため、仮想対象物２ｖにおいて仮想カメラ４００ｖの撮像範囲となる領域が完全な平面でない場合に用いられる。
第５変形例によれば、第２関係情報ｊ２の精度を向上することができる。
Ｂ６：第６変形例
第１実施形態および第１変形例～第５変形例において、対象点ｋの位置は、物理マーカーの位置ではなく、対象物２が有する特徴点の位置でもよい。特徴点は、例えば、ボルト穴、または、突起である。この場合、仮想対象点ｑは、対象物２が有する特徴点の位置に応じて設定される。
第６変形例によれば、対象物２が有する特徴点を対象点ｋとして用いることができる。
Ｂ７：第７変形例
第１実施形態および第１変形例～第６変形例において、計測画像Ｇ３は、位相シフト画像に限らず、適宜変更可能である。計測画像Ｇ３は、例えば、計測点ｅの位置にマークを示す画像でもよい。
図１９は、計測画像Ｇ３の他の例を示す図である。図１９は、計測点ｅの位置にドットＧ３５ａを示す画像Ｇ３５を示す。ドットＧ３５ａの中心位置は、重心検出等の手法によって容易に算出可能である。このため、各計測点ｅの位置に、ドットＧ３５ａの中心が位置することが好ましい。なお、マークは、ドットＧ３５ａに限らず、例えば、多角形のマーク、または、２つの線が交差する形状を有するマークでもよい。
第７変形例によれば、位相シフト画像を用いる構成に比べて、計測画像Ｇ３の数を少なくできる。
Ｂ８：第８変形例
第１実施形態および第１変形例～第７変形例において、情報処理装置３００は、プロジェクター１００または計測器２００に組み込まれてもよい。
Ｂ９：第９変形例
第１実施形態および第１変形例～第８変形例において、光変調装置の一例として液晶ライトバルブ１３０が用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。また、液晶パネルおよびＤＭＤ以外にも、光源１２０が発した光を変調可能な構成は、光変調装置として採用できる。
１…投写システム、２…対象物、１００…プロジェクター、１１０…画像処理部、１２０…光源、１３０…液晶ライトバルブ、１４０…投写レンズ、２００…計測器、２１０…第１カメラ、２１１…第１撮像レンズ、２１２…第１イメージセンサー、２２０…第２カメラ、２２１…第２撮像レンズ、２２２…第２イメージセンサー、２３０…第１記憶部、２４０…第１処理部、２４１…撮像制御部、２４２…提供部、２４３…算出部、３００…情報処理装置、３１０…操作部、３２０…表示部、３３０…第２記憶部、３４０…第２処理部、３４１…仮想空間生成部、３４２…投写制御部、３４３…計測制御部、３４４…取得部、３４５…第１生成部、３４６…第２生成部、３４７…位置特定部、３４８…仮想空間制御部、３４９…画像生成部。
図１８は、式５に示されるベクトルｖ１およびｖ２を説明するための図である。第１変形例においては、投写レンズ１４０の主点は、プロジェクター座標系ＣＳ１が規定する２次元平面１３０ｓではなく、２次元平面１３０ｓからｚ１軸に沿う方向において投写レンズ１４０の焦点距離だけ離れた位置Ｃに設定される。図１８では、説明の簡略化のため、２次元平面１３０ｓの位置および第１イメージセンサー２１２の位置が調整されている。実際には、２次元平面１３０ｓは、位置Ｃに対して点対称となる位置に存在する。第１イメージセンサー２１２は、原点ｏ２に対して点対称となる位置に存在する。

Claims (11)

  1. 特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物において前記特定点が位置する部分の３次元の第１座標と、前記特定点の前記投写画像における２次元の第２座標と、に基づいて、前記第１座標を特定する計測器が用いる３次元座標系と、前記第２座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す関係情報を生成し、
    前記関係情報を用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記３次元座標系における位置を特定する、
    ことを含む位置特定方法。
  2. 第１特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物において前記第１特定点が位置する部分の３次元の第１座標と、前記第１特定点の前記投写画像における２次元の第２座標と、に基づいて、前記第１座標を特定する計測器が用いる３次元座標系と、前記第２座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す第１関係情報を生成し、
    前記対象物における第２特定点の前記３次元座標系における座標と、前記第２特定点に対応する第３特定点の３次元の仮想空間における座標と、に基づいて、前記３次元座標系と、前記仮想空間における座標を定める仮想空間座標系と、の対応関係を示す第２関係情報を生成し、
    前記第１関係情報と前記第２関係情報とを用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記仮想空間座標系における位置を特定する、
    ことを含むシミュレーション方法。
  3. 第１特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物をカメラが撮影することによって生成される撮像画像において前記第１特定点が位置する部分の２次元の座標である撮像座標と、前記第１特定点の前記投写画像における２次元の座標である投写座標と、に基づいて、前記撮像座標を定めるカメラ座標系と、前記投写座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す第１情報を生成し、
    前記対象物における第２特定点の前記カメラ座標系における座標と、前記第２特定点に対応する第３特定点の３次元の仮想空間における座標と、に基づいて、前記カメラ座標系と、前記仮想空間における座標を示す仮想空間座標系と、の対応関係を示す第２情報を生成し、
    前記第１情報と前記第２情報とを用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記仮想空間座標系における位置を特定する、
    ことを含むシミュレーション方法。
  4. 前記第１座標を、第１カメラと第２カメラとを有する計測器から取得することをさらに含み、
    前記計測器は、
    前記対象物において前記第１特定点が位置する前記部分を前記第１カメラが撮像することによって生成される第１撮像画像と、
    前記対象物において前記第１特定点が位置する前記部分を前記第２カメラが撮像することによって生成される第２撮像画像と、
    に基づいて、前記第１座標を特定する、
    請求項２に記載のシミュレーション方法。
  5. 前記対象物の位置に対応する仮想位置を、前記仮想空間に設定し、
    前記対象物に対応する仮想対象物を、前記仮想空間における前記仮想位置に配置し、
    前記仮想対象物に第１画像を表示し、
    前記仮想空間において、前記プロジェクターの前記仮想空間座標系における位置に仮想カメラを配置し、
    前記仮想対象物に表示される前記第１画像を仮想カメラが撮像することによって得られる第２画像を生成する、
    ことをさらに含む請求項２から４のいずれか１項に記載のシミュレーション方法。
  6. 前記プロジェクターに、前記第２画像を前記対象物へ投写させる、
    ことをさらに含む請求項５に記載のシミュレーション方法。
  7. 前記投写画像は、正弦波に応じた輝度の変化を示すパタン画像である、
    請求項２から６のいずれか１項に記載のシミュレーション方法。
  8. 前記投写画像は、前記第１特定点の位置にマークを示す画像である、
    請求項２から６のいずれか１項に記載のシミュレーション方法。
  9. 特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物において前記特定点が位置する部分の３次元の第１座標と、前記特定点の前記投写画像における２次元の第２座標と、に基づいて、前記第１座標を特定する計測器が用いる３次元座標系と、前記第２座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す関係情報を生成する生成部と、
    前記関係情報を用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記３次元座標系における位置を特定する位置特定部と、
    を含む位置特定システム。
  10. 第１特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物において前記第１特定点が位置する部分の３次元の第１座標と、前記第１特定点の前記投写画像における２次元の第２座標と、に基づいて、前記第１座標を特定する計測器が用いる３次元座標系と、前記第２座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す第１関係情報を生成する第１生成部と、
    前記対象物における第２特定点の前記３次元座標系における座標と、前記第２特定点に対応する第３特定点の３次元の仮想空間における座標と、に基づいて、前記３次元座標系と、前記仮想空間における座標を定める仮想空間座標系と、の対応関係を示す第２関係情報を生成する第２生成部と、
    前記第１関係情報と前記第２関係情報とを用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記仮想空間座標系における位置を特定する位置特定部と、
    を含むシミュレーションシステム。
  11. 第１特定点を有する投写画像をプロジェクターが対象物へ投写する状況で前記対象物をカメラが撮影することによって生成される撮像画像において前記第１特定点が位置する部分の２次元の座標である撮像座標と、前記第１特定点の前記投写画像における２次元の座標である投写座標と、に基づいて、前記撮像座標を定めるカメラ座標系と、前記投写座標および前記プロジェクターの座標を定めるプロジェクター座標系と、の対応関係を示す第１情報を生成する第１生成部と、
    前記対象物における第２特定点の前記カメラ座標系における座標と、前記第２特定点に対応する第３特定点の３次元の仮想空間における座標と、に基づいて、前記カメラ座標系と、前記仮想空間における座標を示す仮想空間座標系と、の対応関係を示す第２情報を生成する第２生成部と、
    前記第１情報と前記第２情報とを用いることによって、前記プロジェクターの座標に基づいて、前記プロジェクターの前記仮想空間座標系における位置を特定する位置特定部と、
    を含むシミュレーションシステム。
JP2020216570A 2020-12-25 2020-12-25 位置特定方法、シミュレーション方法、位置特定システムおよびシミュレーションシステム Pending JP2022102058A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020216570A JP2022102058A (ja) 2020-12-25 2020-12-25 位置特定方法、シミュレーション方法、位置特定システムおよびシミュレーションシステム
US17/561,040 US11856340B2 (en) 2020-12-25 2021-12-23 Position specifying method and simulation method
CN202111602998.9A CN114693772A (zh) 2020-12-25 2021-12-24 位置确定方法、模拟方法、位置确定系统和模拟系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020216570A JP2022102058A (ja) 2020-12-25 2020-12-25 位置特定方法、シミュレーション方法、位置特定システムおよびシミュレーションシステム

Publications (1)

Publication Number Publication Date
JP2022102058A true JP2022102058A (ja) 2022-07-07

Family

ID=82117987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020216570A Pending JP2022102058A (ja) 2020-12-25 2020-12-25 位置特定方法、シミュレーション方法、位置特定システムおよびシミュレーションシステム

Country Status (3)

Country Link
US (1) US11856340B2 (ja)
JP (1) JP2022102058A (ja)
CN (1) CN114693772A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114909999A (zh) * 2022-07-18 2022-08-16 深圳市超准视觉科技有限公司 一种基于结构光的三维测量系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182078A (ja) * 2010-02-26 2011-09-15 Seiko Epson Corp 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法
WO2017038096A1 (ja) * 2015-09-01 2017-03-09 Ｎｅｃプラットフォームズ株式会社 投射装置、投射方法およびプログラム記憶媒体
JP2019047312A (ja) * 2017-09-01 2019-03-22 セイコーエプソン株式会社 画像投写システム及びその制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013114707A1 (de) 2013-12-20 2015-06-25 EXTEND3D GmbH Verfahren zur Durchführung und Kontrolle eines Bearbeitungsschritts an einem Werkstück
JP6618249B2 (ja) 2014-02-18 2019-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 投影システムおよび半導体集積回路
US10089778B2 (en) * 2015-08-07 2018-10-02 Christie Digital Systems Usa, Inc. System and method for automatic alignment and projection mapping
JP2018097148A (ja) 2016-12-13 2018-06-21 パナソニックＩｐマネジメント株式会社 画像投影システム、画像投影装置、及び画像投影方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182078A (ja) * 2010-02-26 2011-09-15 Seiko Epson Corp 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法
WO2017038096A1 (ja) * 2015-09-01 2017-03-09 Ｎｅｃプラットフォームズ株式会社 投射装置、投射方法およびプログラム記憶媒体
JP2019047312A (ja) * 2017-09-01 2019-03-22 セイコーエプソン株式会社 画像投写システム及びその制御方法

Also Published As

Publication number Publication date
US20220210385A1 (en) 2022-06-30
CN114693772A (zh) 2022-07-01
US11856340B2 (en) 2023-12-26

Similar Documents

Publication Publication Date Title
Schmalz et al. Camera calibration: active versus passive targets
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP6576945B2 (ja) 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
JP5999615B2 (ja) カメラ較正情報生成装置、カメラ較正情報生成方法およびカメラ較正情報生成プログラム
JP2017227975A (ja) 複合現実環境を作成するためのシステム等
JP2014102246A (ja) 位置姿勢検出システム
JP2012058076A (ja) ３次元計測装置及び３次元計測方法
Suresh et al. Structured light system calibration with unidirectional fringe patterns
CN105306922A (zh) 一种深度相机参考图的获取方法和装置
JP2019139030A (ja) ３次元計測対象物体の表面に計測結果関連情報を投影する方法および装置
JP2022102058A (ja) 位置特定方法、シミュレーション方法、位置特定システムおよびシミュレーションシステム
WO2020049965A1 (ja) ３次元計測システム、３次元計測カメラ、３次元計測方法及びプログラム
JP2019045299A (ja) ３次元情報取得装置
JP2011075336A (ja) ３次元形状計測装置、３次元形状計測方法
JPWO2010013289A1 (ja) カメラ校正画像作成装置およびカメラ校正画像作成プログラム
JP2018106643A (ja) 空間モデル処理装置
JP2012216981A (ja) ステレオカメラのキャリブレーション方法及び情報処理装置
WO2015159835A1 (ja) 画像処理装置、画像処理方法、プログラム
JP5087571B2 (ja) 三次元像表示装置の座標校正方法
JP2014134611A (ja) 幾何歪み補正装置、プロジェクタ装置、及び幾何歪み補正方法
JP6713622B2 (ja) ３次元計測装置、３次元計測システム、３次元計測方法及びプログラム
JP2018084512A (ja) 三次元形状熱計測装置、三次元形状熱計測方法及びプログラム
JP4429135B2 (ja) 三次元形状計測システム及び計測方法
JP4985213B2 (ja) ３次元形状計測方法および装置ならびにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231018

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231026

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231201