JP2021135133A - 電子機器の制御方法および電子機器 - Google Patents

電子機器の制御方法および電子機器 Download PDF

Info

Publication number
JP2021135133A
JP2021135133A JP2020030461A JP2020030461A JP2021135133A JP 2021135133 A JP2021135133 A JP 2021135133A JP 2020030461 A JP2020030461 A JP 2020030461A JP 2020030461 A JP2020030461 A JP 2020030461A JP 2021135133 A JP2021135133 A JP 2021135133A
Authority
JP
Japan
Prior art keywords
storage unit
lens
zoom lens
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020030461A
Other languages
English (en)
Inventor
泰介 山内
Taisuke Yamauchi
泰介 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2020030461A priority Critical patent/JP2021135133A/ja
Priority to US17/185,267 priority patent/US11451755B2/en
Publication of JP2021135133A publication Critical patent/JP2021135133A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】信頼性の低い外部パラメーターが存在する状況を抑制可能な技術を提供する。【解決手段】投射レンズを介して画像を投射する投射部と、撮像レンズを介して撮像を実行する撮像部と、を含む電子機器の制御方法は、投射レンズの特性を表す第１特性データと、撮像レンズの特性を表す第２特性データと、投射レンズと撮像レンズとの配置関係を表す配置関係データとを、第１記憶部が記憶した後、投射レンズを介してパターン画像を投射部から物体に投射し、物体上のパターン画像を、撮像レンズを介して撮像部に撮像させることによって撮像データを生成し、第１特性データと第２特性データを更新せずに、撮像データと第１特性データと第２特性データに基づいて配置関係データを更新する。【選択図】図１０

Description

本発明は、電子機器の制御方法および電子機器に関する。
特許文献１は、パターン投影法によって物体の３次元形状を計測する３次元計測装置を開示する。３次元計測装置は、投射レンズを介して物体にパターン画像を投射する。３次元計測装置は、撮像レンズを介して物体上のパターン画像を撮像することによって撮像データを生成する。３次元計測装置は、撮像データと、投射レンズの内部パラメーターと、撮像レンズの内部パラメーターと、投射レンズと撮像レンズとの配置の関係を表す外部パラメーターと、を用いることによって、物体の３次元形状を計測する。投射レンズの内部パラメーターは、投射レンズの特性、例えば、投射レンズの焦点距離および投射レンズのレンズ歪みを表す。撮像レンズの内部パラメーターは、撮像レンズの特性、例えば、撮像レンズの焦点距離および撮像レンズのレンズ歪みを表す。
国際公開第２００６／１２０７５９号
特許文献１に記載の３次元計測装置では、例えば、投射レンズと撮像レンズとを直接的または間接的に支える部材の形状が経時変化した場合、投射レンズの内部パラメーターの信頼性と撮像レンズの内部パラメーターの信頼性は低下しないが、外部パラメーターの信頼性は低下するおそれがある。このため、信頼性の低い外部パラメーターが存在し続ける状況を抑制可能な技術が望まれる。
本発明に係る電子機器の制御方法の一態様は、投射レンズを介して画像を投射する投射部と、撮像レンズを介して撮像を実行する撮像部と、を含む電子機器の制御方法であって、前記投射レンズの特性を表す第１特性データと、前記撮像レンズの特性を表す第２特性データと、前記投射レンズと前記撮像レンズとの配置の関係を表す配置関係データとを、第１記憶部が記憶した後、前記投射レンズを介してパターン画像を前記投射部から物体に投射し、前記物体上の前記パターン画像を、前記撮像レンズを介して前記撮像部に撮像させることによって撮像データを生成し、前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとを更新せずに、前記撮像データと、前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとに基づいて、前記第１記憶部が記憶する前記配置関係データを更新する。
本発明に係る電子機器の一態様は、投射レンズの特性を表す第１特性データと、撮像レンズの特性を表す第２特性データと、前記投射レンズと前記撮像レンズとの配置の関係を表す配置関係データとを、第１記憶部が記憶した後、前記投射レンズを介して物体にパターン画像を投射する投射部と、前記物体上の前記パターン画像を、前記撮像レンズを介して撮像することによって撮像データを生成する撮像部と、前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとを更新せずに、前記撮像データと、前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとに基づいて、前記第１記憶部が記憶する前記配置関係データを更新する更新部と、を含む。
第１実施形態に係る電子機器１００を示す模式図である。 グレーコードパターンＧＰ１〜ＧＰ３の一例を示す図である。 電子機器１００の一例を示す図である。 液晶ライトバルブ１３２の一例を示す図である。 イメージセンサー２２の一例を示す図である。 物体２００の３次元形状を計測する手法を説明するための図である。 物体２００の３次元形状を計測する手法を説明するための図である。 三角測量における補正の必要性を示す図である。 エピポーラ拘束を説明するための図である。 外部パラメーターを更新する動作を説明するための図である。 パターン画像ＰＩの一例を示す図である。
Ａ：第１実施形態
Ａ１：電子機器１００の概要
図１は、第１実施形態に係る電子機器１００を示す模式図である。電子機器１００は、例えば、プロジェクターである。電子機器１００は、プロジェクターに限らず、例えば、物体の３次元形状を計測する計測装置でもよい。電子機器１００は、投射装置１と、カメラ２と、筐体１０１と、を含む。投射装置１とカメラ２は、筐体１０１に配置される。
電子機器１００は、空間コード化法におけるグレーコードパターンを投射装置１から物体２００に投射する。電子機器１００は、物体２００上のグレーコードパターンをカメラ２で撮像することによって撮像データを生成する。電子機器１００は、撮像データに基づいて、物体２００の３次元形状を計測する。電子機器１００がプロジェクターである場合、物体２００は、電子機器１００から画像が投射される被投射物、例えば、スクリーン、ホワイトボード、壁、扉または商品である。
図２は、グレーコードパターンＧＰ１〜ＧＰ３の一例を示す図である。グレーコードパターンＧＰ１〜ＧＰ３の各々は、黒部分を「０」とし、白部分を「１」とするパターンである。
電子機器１００は、投射されたグレーコードパターンＧＰ１〜ＧＰ３における第１特定位置と、撮像データが表す撮像画像において第１特定位置に対応する第２特定位置と、を相互に対応づける。例えば、電子機器１００は、投射されたグレーコードパターンＧＰ１〜ＧＰ３において「０１０」＝「３」によって示される第１特定位置と、撮像画像において「０１０」＝「３」によって示される第２特定位置と、を相互に対応づける。電子機器１００は、第１特定位置と第２特定位置との位置関係に基づいて、物体２００の３次元形状を計測する。
なお、グレーコードパターンの数は３つに限らない。また、縦縞のグレーコードパターンＧＰ１〜ＧＰ３に加えて、横縞のグレーコードパターンが用いられてもよい。電子機器１００は、グレーコードパターンＧＰ１〜ＧＰ３とは異なるパターンを用いて物体２００の３次元形状を計測してもよい。例えば、電子機器１００は、位相シフト法で用いられるパターンを用いて物体２００の３次元形状を計測してもよい。
Ａ２：電子機器１００の一例
図３は、電子機器１００の一例を示す図である。電子機器１００は、投射装置１と、カメラ２と、情報処理装置３と、レンズセンサー４と、を含む。
Ａ３：投射装置１
投射装置１は、ズームレンズ１１と、被検出体１１ａと、レンズ駆動部１２と、投射部１３と、を含む。
ズームレンズ１１は、投射レンズの一例である。ズームレンズ１１の焦点距離は、第１焦点距離ｆ１から第２焦点距離ｆ２までの範囲内で変更可能である。第１焦点距離ｆ１は、第２焦点距離ｆ２よりも長い。ズームレンズ１１の焦点距離が第１焦点距離ｆ１になっていることは、ズームレンズ１１の焦点距離が「テレ端」になっていることを意味する。ズームレンズ１１の焦点距離が第２焦点距離ｆ２になっていることは、ズームレンズ１１の焦点距離が「ワイド端」になっていることを意味する。
ズームレンズ１１の主点の位置は、ズームレンズ１１の焦点距離に応じて決まる。ズームレンズ１１の焦点距離の減少に伴い、ズームレンズ１１の主点の位置は、第１矢印Ａ方向に移動する。ズームレンズ１１の焦点距離の増加に伴い、ズームレンズ１１の主点の位置は、第２矢印Ｂ方向に移動する。第２矢印Ｂ方向は、第１矢印Ａ方向の反対方向である。
ズームレンズ１１の焦点距離が「テレ端」であるときのズームレンズ１１の主点の位置は、所定位置Ｎ１の一例である。所定位置Ｎ１は、ズームレンズ１１の焦点距離が「テレ端」であるときのズームレンズ１１の主点の位置に限らない。例えば、所定位置Ｎ１は、ズームレンズ１１の焦点距離が「ワイド端」であるときのズームレンズ１１の主点の位置でもよい。また、所定位置Ｎ１は、ズームレンズ１１の焦点距離が「テレ端」であるときのズームレンズ１１の主点の位置と、ズームレンズ１１の焦点距離が「ワイド端」であるときのズームレンズ１１の主点の位置と、の間の位置でもよい。ズームレンズ１１において焦点距離が変動する機能を「ズーム機能」と称する。
被検出体１１ａは、ズームレンズ１１の焦点距離の変更に応じて移動する。被検出体１１ａは、例えば、突起体である。
レンズセンサー４は、ズームレンズ１１の主点が所定位置Ｎ１に位置するか否かを検出する。レンズセンサー４は、例えば、ズームレンズ１１の主点が所定位置Ｎ１に位置する場合に被検出体１１ａと接触することによってオン状態になるスイッチである。なお、レンズセンサー４は、上述のスイッチに限らない。例えば、レンズセンサー４は、ズームレンズ１１の主点が所定位置Ｎ１に位置する場合に被検出体１１ａを非接触で検出する非接触検出器でもよい。非接触検出器は、例えば、ズームレンズ１１の主点が所定位置Ｎ１に位置する場合に被検出体１１ａで反射される光を検出する光センサーである。
レンズ駆動部１２は、例えば、モーターである。レンズ駆動部１２は、ズームレンズ１１の焦点距離を変更する。ズームレンズ１１の焦点距離は、手動で変更されてもよい。この場合、レンズ駆動部１２は、省略されてもよい。
投射部１３は、ズームレンズ１１を介して物体２００に投射画像を投射する。例えば、電子機器１００が物体２００の３次元形状を計測する場合、投射部１３は、投射画像として、図２に例示するようなグレーコードパターンＧＰ１〜ＧＰ３を投射する。投射部１３は、光源１３１と、液晶ライトバルブ１３２と、を含む。
光源１３１は、ＬＥＤ（Light Emitting Diode）である。光源１３１は、ＬＥＤに限らず、例えば、キセノンランプ、超高圧水銀ランプ、または、レーザー光源でもよい。
液晶ライトバルブ１３２は、一対の透明基板間に液晶が存在する液晶パネル等によって構成される。液晶ライトバルブ１３２は、図４に示すように矩形の画素領域１３２ａを有する。画素領域１３２ａは、マトリクス状に位置する複数の画素１３２ｐを含む。
液晶ライトバルブ１３２には、３次元の第１座標系Ｈ１が適用される。第１座標系Ｈ１は、投射装置１の座標系である。第１座標系Ｈ１の原点ｏ１は、ズームレンズ１１の主点の位置に設定される。第１座標系Ｈ１は、Ｘ１軸とＹ１軸とＺ１軸にて定められる。
Ｘ１軸の向きとＹ１軸の向きとＺ１軸の向きとの各々は、液晶ライトバルブ１３２の向きに応じて決定される。Ｘ１軸の方向は、液晶ライトバルブ１３２の水平方向、さらに言えば液晶ライトバルブ１３２の横方向である。Ｙ１軸の方向は、Ｘ１軸の方向と直交する。Ｙ１軸の方向は、液晶ライトバルブ１３２の垂直方向、さらに言えば液晶ライトバルブ１３２の縦方向である。Ｚ１軸の方向は、Ｘ１軸の方向およびＹ１軸の方向の各々と直交する。
液晶ライトバルブ１３２からズームレンズ１１の主点までのＺ１軸方向における距離は、ズームレンズ１１の焦点距離に応じて変動する。
液晶ライトバルブ１３２では、液晶に対して画素１３２ｐごとに画像データに応じた駆動電圧が印加される。画素１３２ｐの光透過率は、駆動電圧によって設定される。光源１３１から出射された光は、画素領域１３２ａによって変調される。液晶ライトバルブ１３２によって変調された光は、ズームレンズ１１に向かう。液晶ライトバルブ１３２は、光変調装置の一例である。ズームレンズ１１は、液晶ライトバルブ１３２によって変調された光である投射画像を物体２００に投射する。
Ａ４：カメラ２
カメラ２は、物体２００上の投射画像を撮像することによって撮像データを生成する。カメラ２は、撮像レンズ２１と、イメージセンサー２２と、を含む。
撮像レンズ２１は、物体２００上の投射画像の光学像をイメージセンサー２２に結像する。撮像レンズ２１は、ズーム機能を有さない。
イメージセンサー２２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサーである。イメージセンサー２２は、ＣＣＤイメージセンサーに限らず、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーでもよい。イメージセンサー２２は、撮像レンズ２１によって結像された投射画像の光学像に基づいて、撮像データを生成する。イメージセンサー２２は、図５に例示されるように、矩形の撮像領域２２ａを有する。撮像領域２２ａは、マトリクス状に位置する複数の受光用のセル２２ｐを含む。イメージセンサー２２は、撮像部の一例である。
イメージセンサー２２には、３次元の第２座標系Ｈ２が適用される。第２座標系Ｈ２は、カメラ２の座標系である。第２座標系Ｈ２の原点ｏ２は、撮像レンズ２１の主点の位置に設定される。第２座標系Ｈ２は、Ｘ２軸とＹ２軸とＺ２軸にて定められる。
Ｘ２軸の向きとＹ２軸の向きとＺ２軸の向きとの各々は、イメージセンサー２２の向きに応じて決定される。Ｘ２軸の方向は、イメージセンサー２２の水平方向、さらに言えばイメージセンサー２２の横方向である。Ｙ２軸の方向は、Ｘ２軸の方向と直交する。Ｙ２軸の方向は、イメージセンサー２２の垂直方向、さらに言えばイメージセンサー２２の縦方向である。Ｚ２軸の方向は、Ｘ２軸の方向およびＹ２軸の方向の各々と直交する。
イメージセンサー２２から撮像レンズ２１の主点までのＺ２軸方向における距離は、撮像レンズ２１の焦点距離と等しい。
Ａ５：情報処理装置３
情報処理装置３は、種々の処理を実行する。例えば、情報処理装置３は、撮像データに基づいて、物体２００の３次元形状を計測する。
情報処理装置３は、操作部３１と、表示部３２と、記憶部３３と、処理部３４と、を含む。
操作部３１は、例えば、キーボード、マウス、操作ボタン、操作キーまたはタッチパネルである。操作部３１は、ユーザーの入力操作を受ける。
表示部３２は、ディスプレイ、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のＦＰＤ（Flat Panel Display）である。表示部３２は、種々の情報を表示する。
記憶部３３は、処理部３４が読み取り可能な記録媒体である。記憶部３３は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）およびＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。記憶部３３は、第１記憶部３３１と、第２記憶部３３２と、を含む。
第１記憶部３３１は、ズームレンズ１１の内部パラメーターと、撮像レンズ２１の内部パラメーターと、外部パラメーターと、イメージセンサー２２の実体位置と、液晶ライトバルブ１３２の実体位置と、を記憶する。
ズームレンズ１１の内部パラメーターは、ズームレンズ１１の特性を表す。ズームレンズ１１の内部パラメーターは、ズームレンズ１１の特性として、ズームレンズ１１の焦点距離と、ズームレンズ１１のレンズ歪と、ズームレンズ１１の取付時の中心オフセットと、ズームレンズ１１の取付時の光軸角度ずれと、を示す。ズームレンズ１１の取付時の中心オフセットは、ズームレンズ１１の実際の中心位置と、液晶ライトバルブ１３２の平面上の基準座標、例えば左上の画素１３２ｐ’の座標との、ずれ量を示す。ズームレンズ１１の取付時の光軸角度ずれは、ズームレンズ１１の実際の光軸と液晶ライトバルブ１３２のｚ軸とのずれ角度を示す。ズームレンズ１１の内部パラメーターは、第１特性データの一例である。
電子機器１００の製造者は、電子機器１００の出荷前に、ズームレンズ１１の内部パラメーターを第１記憶部３３１に記憶させる。例えば、電子機器１００の製造者は、ズームレンズ１１の主点が所定位置Ｎ１にあるときのズームレンズ１１の特性を表すパラメーターを、ズームレンズ１１の内部パラメーターとして第１記憶部３３１に記憶させる。電子機器１００の製造者とは異なる者、例えば、電子機器１００の検査者が、ズームレンズ１１の内部パラメーターを第１記憶部３３１に記憶させてもよい。
撮像レンズ２１の内部パラメーターは、撮像レンズ２１の特性を表す。撮像レンズ２１の内部パラメーターは、撮像レンズ２１の特性として、撮像レンズ２１の焦点距離と、撮像レンズ２１のレンズ歪と、撮像レンズ２１の取付時の中心オフセットと、撮像レンズ２１の取付時の光軸角度ずれと、を示す。撮像レンズ２１の内部パラメーターは、撮像レンズ２１の特性を表す第２特性データの一例である。
電子機器１００の製造者は、電子機器１００の出荷前に、撮像レンズ２１の内部パラメーターを第１記憶部３３１に記憶させる。電子機器１００の製造者とは異なる者、例えば、電子機器１００の検査者が、撮像レンズ２１の内部パラメーターを第１記憶部３３１に記憶させてもよい。
外部パラメーターは、ズームレンズ１１と撮像レンズ２１との配置の関係を表す。外部パラメーターは、回転行列Ｒ１と、平行移動行列Ｔ１と、を示す。回転行列Ｒ１は、第１座標系Ｈ１と第２座標系Ｈ２とのずれ角度に基づく行列である。具体的には、回転行列Ｒ１は、Ｘ２軸の方向をＸ１軸の方向に揃え、Ｙ２軸の方向をＹ１軸の方向に揃え、かつ、Ｚ２軸の方向をＺ１軸の方向に揃えるための行列である。平行移動行列Ｔ１は、ズームレンズ１１の主点の位置と、撮像レンズ２１の主点の位置と、の位置ずれ量に基づく行列である。外部パラメーターは、配置関係データの一例である。
電子機器１００の製造者は、電子機器１００の出荷前に、外部パラメーターを第１記憶部３３１に記憶させる。例えば、電子機器１００の製造者は、ズームレンズ１１の主点が所定位置Ｎ１にあるときの回転行列Ｒ１と、ズームレンズ１１の主点が所定位置Ｎ１にあるときの平行移動行列Ｔ１とを、外部パラメーターとして第１記憶部３３１に記憶させる。電子機器１００の製造者とは異なる者、例えば、電子機器１００の検査者が、外部パラメーターを第１記憶部３３１に記憶させてもよい。
第１記憶部３３１は、電子機器１００とは別体でもよい。例えば、第１記憶部３３１は、電子機器１００と通信可能なサーバーに含まれてもよい。この場合、電子機器１００は、有線または無線のインターフェイスを介して、第１記憶部３３１とデータを送受信する。
第１記憶部３３１は、例えば、１つの記録媒体によって構成される。第１記憶部３３１は、ズームレンズ１１の内部パラメーターを記憶する第１記録媒体と、撮像レンズ２１の内部パラメーターを記憶する第２記録媒体と、外部パラメーターを記憶する第３記録媒体と、によって構成されてもよい。第１記録媒体から第３記録媒体のうち一の記録媒体は、第１記録媒体から第３記録媒体のうち、当該一の記録媒体とは異なる一の記録媒体を兼ねてもよい。
第２記憶部３３２は、１または２以上の記録媒体によって構成される。第２記憶部３３２は、処理部３４によって実行されるプログラムと、処理部３４が使用する各種のデータを記憶する。なお、第２記憶部３３２が、第１記憶部３３１を兼ねてもよい。
処理部３４は、例えば、１または２以上のプロセッサーによって構成される。一例を挙げると、処理部３４は、１または２以上のＣＰＵ（Central Processing Unit）によって構成される。処理部３４の機能の一部または全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等の回路によって構成されてもよい。処理部３４は、各種の処理を並列的または逐次的に実行する。
処理部３４は、記憶部３３からプログラムを読み取る。処理部３４は、当該プログラムを実行することによって、投射制御部３４１と、カメラ制御部３４２と、判定部３４３と、更新部３４４と、計測部３４５と、を実現する。
投射制御部３４１は、投射装置１を制御することによって、投射装置１に、投射画像を物体２００に向けて投射させる。投射制御部３４１は、１または２以上の投射コントローラー等の回路によって構成されてもよい。
カメラ制御部３４２は、カメラ２を制御することによって、カメラ２に撮像データを生成させる。カメラ制御部３４２は、１または２以上のカメラコントローラー等の回路によって構成されてもよい。
判定部３４３は、レンズセンサー４の検出結果に基づいて、ズームレンズ１１の主点が所定位置Ｎ１にあるか否かを判定する。判定部３４３は、判定回路等の回路によって構成されてもよい。
更新部３４４は、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターとを更新せずに、撮像データと、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターと、に基づいて、第１記憶部３３１が記憶する外部パラメーターを更新する。
例えば、更新部３４４は、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターとを更新せずに、ズームレンズ１１の主点が所定位置Ｎ１にあるという判定に応じて生成される撮像データと、ズームレンズ１１の内部パラメーターと、撮像レンズ２１の内部パラメーターと、に基づいて、第１記憶部３３１が記憶する外部パラメーターを更新する。更新部３４４は、更新回路等の回路によって構成されてもよい。
計測部３４５は、撮像データと、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターと、第１記憶部３３１が記憶する外部パラメーターと、に基づいて、物体２００の３次元形状を計測する。
Ａ６：３次元形状の計測の一例
図６は、物体２００の３次元形状を計測する手法を説明するための図である。ズームレンズ１１の主点位置Ｃは、ズームレンズ１１の焦点距離に応じて変動する。第１基準点Ｄは、物体２００の計測ポイントＧに投射される画像が存在する位置である。図６では、液晶ライトバルブ１３２の代わりに、仮想液晶ライトバルブ１３２Ｖが示される。仮想液晶ライトバルブ１３２Ｖは、ズームレンズ１１の主点位置Ｃを基準に、液晶ライトバルブ１３２と点対称となる位置に設定される。３次元計測で用いられるエピポーラ幾何では、一般に仮想液晶ライトバルブ１３２Ｖが用いられるため、図６において仮想液晶ライトバルブ１３２Ｖが示される。
撮像レンズ２１の主点位置Ｅは、撮像レンズ２１の焦点距離が一定であるため固定される。第２基準点Ｆは、撮像データにて表される撮像画像において、計測ポイントＧ上の画像が存在する位置である。図６では、イメージセンサー２２の代わりに、仮想イメージセンサー２２Ｖが示される。仮想イメージセンサー２２Ｖは、撮像レンズ２１の主点位置Ｅを基準に、イメージセンサー２２と点対称となる位置に設定される。エピポーラ幾何では、一般に仮想イメージセンサー２２Ｖが用いられるため、図６において仮想イメージセンサー２２Ｖが示される。
図６では、直線ＣＥと直線ＣＧとのなす角として角度αが示され、直線ＣＥと直線ＥＧとのなす角として角度βが示され、直線ＣＥの長さとして長さＴが示される。物体２００の計測ポイントＧまでの距離Ｚは、
Ｚ＝Ｔ（（１／ｔａｎα）＋（１／ｔａｎβ））
と表すことができる。計測部３４５は、計測ポイントＧを変更しながら距離Ｚを算出することによって、物体２００の３次元形状を計測する。
ズームレンズ１１の主点位置Ｃと、第１基準点Ｄと、液晶ライトバルブ１３２の位置と、仮想液晶ライトバルブ１３２Ｖの位置は、それぞれ、第１座標系Ｈ１によって特定される。撮像レンズ２１の主点位置Ｅと、第２基準点Ｆと、イメージセンサー２２の位置と、仮想イメージセンサー２２Ｖの位置は、それぞれ、第２座標系Ｈ２によって特定される。
計測部３４５は、距離Ｚの算出を容易にするために、ズームレンズ１１の主点位置Ｃと、第１基準点Ｄと、撮像レンズ２１の主点位置Ｅと、第２基準点Ｆと、計測ポイントＧと、液晶ライトバルブ１３２の実体位置と、仮想液晶ライトバルブ１３２Ｖの位置と、イメージセンサー２２の実体位置と、仮想イメージセンサー２２Ｖの位置と、の位置関係を、図７に示す仮想の位置関係に修正する。
図７では、ｔａｎαは、第１基準点Ｄの位置に基づいて決定される距離Ｊ１と、ズームレンズ１１の焦点距離ｆ３と、によって表される。第１基準点Ｄは、仮想液晶ライトバルブ１３２Ｖと直線ＣＧとの交点である。ｔａｎβは、第２基準点Ｆの位置に基づいて決定される距離Ｊ２と、撮像レンズ２１の焦点距離ｆ５と、によって表される。第２基準点Ｆは、仮想イメージセンサー２２Ｖと直線ＥＧとの交点である。なお、図７では、液晶ライトバルブ１３２において第１基準点Ｄに対応する位置を第３基準点Ｄ１として示し、イメージセンサー２２において第２基準点Ｆに対応する位置を第４基準点Ｆ１として示す。
第３基準点Ｄ１は、ズームレンズ１１の主点位置Ｃを基準に、第１基準点Ｄと点対称になる位置に設定される。第３基準点Ｄ１は、液晶ライトバルブ１３２において、計測ポイントＧに投射される画像が存在する位置である。第１基準点Ｄは、仮想液晶ライトバルブ１３２Ｖにおいて、計測ポイントＧに投射される画像が存在する位置である。
第４基準点Ｆ１は、撮像レンズ２１の主点位置Ｅを基準に、第２基準点Ｆと点対称になる位置に設定される。第４基準点Ｆ１は、イメージセンサー２２において、計測ポイントＧの画像が存在する位置である。第２基準点Ｆは、仮想イメージセンサー２２Ｖにおいて、計測ポイントＧの画像が存在する位置である。
計測部３４５は、図７に示す仮想の位置関係を設定するために、第１記憶部３３１から、ズームレンズ１１の内部パラメーターと、撮像レンズ２１の内部パラメーターと、外部パラメーターと、液晶ライトバルブ１３２の実体位置と、イメージセンサー２２の実体位置と、を読み取る。
計測部３４５は、液晶ライトバルブ１３２の実体位置と、ズームレンズ１１の焦点距離と、を用いて、ズームレンズ１１の主点位置Ｃを特定する。一例を挙げると、計測部３４５は、液晶ライトバルブ１３２において設定された中心位置からＺ１軸方向に、ズームレンズ１１の焦点距離だけ離れた位置を、ズームレンズ１１の主点位置Ｃとして特定する。
図７では、第１基準点Ｄおよび第３基準点Ｄ１は、ズームレンズ１１の主点位置Ｃと計測ポイントＧとを通る直線上に位置する。しかしながら、図８に示すように、液晶ライトバルブ１３２において、計測ポイントＧに投射される画像が実際に存在する第１存在位置Ｄ２は、例えば、ズームレンズ１１のレンズ歪およびズームレンズ１１の取付時の光軸角度ずれに起因して、ズームレンズ１１の主点位置Ｃと計測ポイントＧとを通る直線上に位置せず、第３基準点Ｄ１とは異なる場所に位置する。また、仮想液晶ライトバルブ１３２Ｖにおいて、ズームレンズ１１の主点位置Ｃを基準に、第１存在位置Ｄ２と点対称となる第３存在位置Ｄ３も、ズームレンズ１１の主点位置Ｃと計測ポイントＧとを通る直線上に位置せず、第１基準点Ｄとは異なる場所に位置する。
このため、計測部３４５は、ズームレンズ１１の焦点距離と、ズームレンズ１１の取付時の中心オフセットと、ズームレンズ１１の取付時の光軸角度ずれと、ズームレンズ１１のレンズ歪と、に基づいて、第１存在位置Ｄ２を補正することによって、第３基準点Ｄ１の位置と第１基準点Ｄの位置とを特定する。
また、計測部３４５は、イメージセンサー２２の実体位置と、撮像レンズ２１の焦点距離と、を用いて、撮像レンズ２１の主点位置Ｅを特定する。一例を挙げると、計測部３４５は、イメージセンサー２２の設計上の中心位置からＺ２軸方向に、撮像レンズ２１の焦点距離だけ離れた位置を、撮像レンズ２１の主点位置Ｅとして特定する。
図７では、第２基準点Ｆおよび第４基準点Ｆ１は、撮像レンズ２１の主点位置Ｅと計測ポイントＧとを通る直線上に位置する。しかしながら、図８に示すように、イメージセンサー２２において、計測ポイントＧの画像が実際に存在する第２存在位置Ｆ２は、例えば、撮像レンズ２１のレンズ歪および撮像レンズ２１の取付時の光軸角度ずれに起因して、撮像レンズ２１の主点位置Ｅと計測ポイントＧとを通る直線上に位置せず、第４基準点Ｆ１とは異なる場所に位置する。また、仮想イメージセンサー２２Ｖにおいて、撮像レンズ２１の主点位置Ｅを基準に、第２存在位置Ｆ２と点対称となる第４存在位置Ｆ３も、撮像レンズ２１の主点位置Ｅと計測ポイントＧとを通る直線上に位置せず、第２基準点Ｆとは異なる場所に位置する。
このため、計測部３４５は、撮像レンズ２１の焦点距離と、撮像レンズ２１の取付時の中心オフセットと、撮像レンズ２１の取付時の光軸角度ずれと、撮像レンズ２１のレンズ歪と、に基づいて、第２存在位置Ｆ２を補正することによって、第４基準点Ｆ１の位置と第２基準点Ｆの位置とを特定する。
計測部３４５は、回転行列Ｒ１と、平行移動行列Ｔ１と、を用いて、第２座標系Ｈ２の座標を第１座標系Ｈ１の座標に変換する。計測部３４５は、計測ポイントＧを変更しながら、第１座標系Ｈ１の座標を用いることによって、Ｚ＝Ｔ（（１／ｔａｎα）＋（１／ｔａｎβ））の演算を実行する。
Ａ７：外部パラメーターを更新する必要性
図１に例示する筐体１０１の形状が経時変化しても、さらに言えば、ズームレンズ１１と撮像レンズ２１とを直接的または間接的に支える部材の形状が経時変化しても、ズームレンズ１１の特性と撮像レンズ２１の特性は変化しない。このため、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターの信頼性と、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターの信頼性は低下しない。よって、ズームレンズ１１と撮像レンズ２１とを直接的または間接的に支える部材の形状が経時変化しても、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターとを更新する必要性は低い。
一方、ズームレンズ１１と撮像レンズ２１とを直接的または間接的に支える部材の形状が経時変化すると、ズームレンズ１１と撮像レンズ２１との配置の関係が変化するおそれがある。このため、第１記憶部３３１が記憶する外部パラメーターの信頼性は低下する。よって、ズームレンズ１１と撮像レンズ２１とを直接的または間接的に支える部材の形状が経時変化する場合、第１記憶部３３１が記憶する外部パラメーターを更新する必要がある。
そこで、更新部３４４は、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターとを更新せずに、第１記憶部３３１が記憶する外部パラメーター、具体的には、第１記憶部３３１が記憶する回転行列Ｒ１と、第１記憶部３３１が記憶する平行移動行列Ｔ１を更新する。例えば、更新部３４４は、エピポーラ拘束を用いることによって、新たな外部パラメーター、具体的には、新たな回転行列Ｒ１と新たな平行移動行列Ｔ１とを算出する。更新部３４４は、第１記憶部３３１が記憶する外部パラメーターを新たな外部パラメーターに置き換えることによって、第１記憶部３３１が記憶する外部パラメーターを更新する。
Ａ８：外部パラメーターの更新手法
図９に例示されるように、第１基準点Ｄと第２基準点Ｆは、計測ポイントＧと、ズームレンズ１１の主点位置Ｃと、撮像レンズ２１の主点位置Ｅと、を通るエピポーラ平面Ｋに存在する。
図９において、第１ベクトルｐ１は、ズームレンズ１１の主点位置Ｃを始点とし第１基準点Ｄを終点とするベクトルである。第２ベクトルｐ２は、撮像レンズ２１の主点位置Ｅを始点とし第２基準点Ｆを終点とするベクトルである。なお、第１ベクトルｐ１は、ズームレンズ１１の主点位置Ｃを始点とし第３基準点Ｄ１を終点とするベクトルを、ズームレンズ１１の主点位置Ｃを回転中心として１８０°回転させることによって生成される。また、第２ベクトルｐ２は、撮像レンズ２１の主点位置Ｅを始点とし第４基準点Ｆ１を終点とするベクトルを、撮像レンズ２１の主点位置Ｅを回転中心として１８０°回転させることによって生成される。
第１ベクトルｐ１と、第２ベクトルｐ２と、回転行列Ｒ１と、平行移動行列Ｔ１は、式１、式２および式３を満たす。なお、平行移動行列Ｔ１はベクトルでもある。
ｐ２＝Ｒ１ｐ１＋Ｔ１ ・・・式１
Ｔ１×ｐ２＝Ｔ１×Ｒ１ｐ１ ・・・式２
ｐ１・（Ｔ１×ｐ２）＝ｐ２・（Ｔ１×ｐ１）＝０ ・・・式３
エピポーラ拘束は、図９が示す関係に基づく拘束、具体的には、式１〜式３に基づく拘束である。エピポーラ平面Ｋに含まれる２つのベクトルの外積は、エピポーラ平面Ｋに垂直なベクトルを示す。このため、エピポーラ平面Ｋに含まれる２つのベクトルの外積と、エピポーラ平面Ｋに含まれる他のベクトルと、の内積は「０」になる。式３は、この関係に基づいて定められる。更新部３４４は、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターと、撮像データと、式３と、を用いることによって、回転行列Ｒ１と平行移動行列Ｔ１、すなわち、外部パラメーターを算出する。
回転行列Ｒ１は、Ｘ１軸回り、Ｙ１軸回りおよびＺ１軸回りの合計３つの回転によって定義される。つまり、回転行列Ｒ１における変数の数は「３」である。
平行移動行列Ｔ１は、Ｘ１軸方向、Ｙ１軸方向およびＺ１軸方向の合計３つの平行移動によって定義される。つまり、平行移動行列Ｔ１における変数の数は「３」である。ところが、外部パラメーターの算出に用いる式３は、外積の計算と内積の計算とによって構成される。このため、式３では、ベクトルの方向は必要であるが、ベクトルの大きさは必要ではない。よって、例えば、（ｘ，ｙ，１）など、２つの変数によって規格化されたベクトルでエピポーラ拘束は成立する。つまり、平行移動行列Ｔ１における変数の数を実質的に「２」にできる。
このため、回転行列Ｒ１と平行移動行列Ｔ１とで構成される外部パラメーターの変数の数は、回転行列Ｒ１における変数の数である「３」に平行移動行列Ｔ１における変数の数である「２」を加算することによって得られる「５」となる。したがって、相互に独立する５つの計測ポイントＧがあれば、更新部３４４は、回転行列Ｒ１と平行移動行列Ｔ１、すなわち、外部パラメーターを算出できる。
なお、５点の計測ポイントＧに基づいて算出される平行移動行列Ｔ１については、ベクトルの方向は算出されるが、ベクトルの大きさは算出されない。このため、平行移動行列Ｔ１についてベクトルの大きさが必要な場合は、例えば、更新前の平行移動行列Ｔ１から算出されるベクトルの大きさが用いられてもよい。
Ａ９：動作の説明
図１０は、第１記憶部３３１が記憶する外部パラメーターを更新する動作を説明するための図である。ユーザーは、外部パラメーターを更新したい場合、まず、投射画像が物体２００に投射され、かつ、物体２００上の投射画像をカメラ２が撮像できるように、電子機器１００を配置する。物体２００は、光の散乱性が高く反射率が一定であり凹凸のある外面を有することが望ましい。なお、外部パラメーターの更新時に使用される物体２００は、３次元形状の計測対象となる物体と異なってもよい。
続いて、ユーザーは、ズームレンズ１１の主点の位置を、所定位置Ｎ１、すなわち、テレ端に固定する。ズームレンズ１１の主点の位置が所定位置Ｎ１になると、レンズセンサー４は、被検出体１１ａと接触することによってオン状態になる。判定部３４３は、レンズセンサー４がオン状態になると、ズームレンズ１１の主点が所定位置Ｎ１に位置すると判定する。
続いて、ユーザーは、パターン画像の投射指示を操作部３１に入力する。操作部３１は、投射指示を処理部３４に提供する。ズームレンズ１１の主点が所定位置Ｎ１に位置すると判定部３４３が判定する状況で処理部３４が投射指示を受けると、ステップＳ１０１において投射制御部３４１は、投射装置１に、パターン画像ＰＩを物体２００に向けて投射させる。
図１１は、パターン画像ＰＩの一例を示す図である。パターン画像ＰＩは、マトリクス状に位置する２４個の白色のドットＷＤを表す。パターン画像ＰＩは、図１１に示す画像に限らない。例えば、パターン画像ＰＩは、グレーコードパターンでもよい。
続いて、ステップＳ１０２においてカメラ制御部３４２は、イメージセンサー２２に物体２００上のパターン画像ＰＩを撮像させることによってイメージセンサー２２に撮像データを生成させる。
続いて、ステップＳ１０３において更新部３４４は、撮像データの数が所定数であるか否かを判定する。所定数は「１」以上の整数である。
１つの撮像データから、互いに独立した５点以上の計測ポイントＧに１対１で対応する５点以上の第４基準点Ｆ１を検出できる場合、更新部３４４は、１つの撮像データがあれば、新たな外部パラメーターを算出できる。このため、所定数は「１」でもよい。しかしながら、第４基準点Ｆ１の数が多いほど、新たな外部パラメーターの精度が上がるため、所定数を「１」よりも大きい数、例えば、「２」としてもよい。なお、物体２００の外面が、３次元的に複雑な形状であるほど、第４基準点Ｆ１の数を多くできる。
撮像データの数が所定数に満たない場合、更新部３４４は、処理をステップＳ１０１に戻す。続いてユーザーは、共通の計測ポイントＧに互いに対応する第３基準点Ｄ１と第４基準点Ｆ１とのペアを新たに作るために、電子機器１００と物体２００との位置関係を変更する。ユーザーは、変更後の位置関係においても、投射画像が物体２００に投射され、かつ、カメラ２が物体２００上の投射画像を撮像可能にする。続いてユーザーは、パターン画像の投射指示を操作部３１に入力する。以下、ステップＳ１０１とステップＳ１０２とが実行される。
更新部３４４は、ステップＳ１０３において撮像データの数が所定数であると判定すると、ステップＳ１０４において、撮像データが表す撮像画像を解析することによって、図８に示すように、第１存在位置Ｄ２に対応する第２存在位置Ｆ２の位置を特定する。第１存在位置Ｄ２は、例えば、図１１に示す２４個の白色のドットＷＤのいずれかである。２４個の白色のドットＷＤの各々は、所定画像の一例である。
ステップＳ１０４では、更新部３４４は、互いに異なる少なくとも５つの第１存在位置Ｄ２に１対１で対応する少なくとも５つの第２存在位置Ｆ２を特定する。相互に対応する第１存在位置Ｄ２と第２存在位置Ｆ２は、共通の計測ポイントＧに対応する。
互いに異なる少なくとも５つの第１存在位置Ｄ２に１対１で対応する少なくとも５つの第２存在位置Ｆ２を特定する理由は、上述の通り、少なくとも５つの計測ポイントＧがあれば、更新部３４４は、回転行列Ｒ１と平行移動行列Ｔ１を算出できるからである。
続いて、ステップＳ１０５において更新部３４４は、相互に対応する第１存在位置Ｄ２と第２存在位置Ｆ２とのペアを特定する。更新部３４４は、少なくとも５つのペアを特定する。
続いて、ステップＳ１０６において更新部３４４は、第１存在位置Ｄ２と第２存在位置Ｆ２とのペアごとに、第１存在位置Ｄ２と第２存在位置Ｆ２とを示す位置データを生成する。
続いて、ステップＳ１０７において更新部３４４は、ペアごとに位置データを第２記憶部３３２に記憶する。
続いて、ステップＳ１０８において更新部３４４は、第２記憶部３３２が記憶する位置データと、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターと、に基づいて、新たな外部パラメーターを算出する。
ステップＳ１０８では、更新部３４４は、まず、第２記憶部３３２からペアごとに位置データを読み出す。続いて、更新部３４４は、位置データが示す第１存在位置Ｄ２と、位置データが示す第２存在位置Ｆ２と、を特定する。ここで、第１存在位置Ｄ２と第２存在位置Ｆ２は、それぞれ、２次元の座標である。続いて、更新部３４４は、第１存在位置Ｄ２を、第３基準点Ｄ１の規格化された３次元の座標に変換する。例えば、第１存在位置Ｄ２の座標を（ｘ，ｙ）とし、第３基準点Ｄ１の規格化された３次元の座標を（Ｘ，Ｙ，Ｚ）とすると、更新部３４４は、
Ｘ＝（ｘ−Ｃｘ）／ｆ
Ｙ＝（ｙ−Ｃｙ）／ｆ
Ｚ＝１
のように、第１存在位置Ｄ２の２次元の座標を、第３基準点Ｄ１の規格化された３次元の座標に変換する。ここで、ｆ、ＣｘおよびＣｙは、ズームレンズ１１の内部パラメーターに基づいて定められる値である。また、（Ｘ，Ｙ）で示される２次元の座標は、第３基準点Ｄ１の２次元の座標である。
続いて、更新部３４４は、第１存在位置Ｄ２を、第３基準点Ｄ１の規格化された３次元の座標に変換する手法と同様な手法で、第２存在位置Ｆ２を、第４基準点Ｆ１の規格化された３次元の座標に変換する。この場合、ズームレンズ１１の内部パラメーターの代わりに、撮像レンズ２１の内部パラメーターが用いられる。
続いて、更新部３４４は、以下のエピポーラ拘束の式４に基づいて、回転行列Ｒ１と平行移動行列Ｔ１とを新たに算出する。
ｐ’Ｅ１ｐ＝０ ・・・式４
ここで、ｐ’は、第４基準点Ｆ１の規格化された３次元の座標である。ｐは、第３基準点Ｄ１の規格化された３次元の座標である。Ｅ１は、基本行列である。基本行列Ｅ１は、Essential Matrixと称される。基本行列Ｅ１は、Ｅ１＝［Ｔ１ｘ］Ｒ１を満たす。
例えば、更新部３４４は、ｐとｐ’との少なくとも５つのペアを用いて、式４から非線形最小二乗法などにより基本行列Ｅ１を算出する。続いて、更新部３４４は、算出された基本行列Ｅ１に対し、特異値分解などを施すことによって、基本行列Ｅ１を、回転行列Ｒ１と平行移動行列Ｔ１に分解する。基本行列Ｅ１から分解された回転行列Ｒ１と、基本行列Ｅ１から分解された平行移動行列Ｔ１が、新たな外部パラメーターとなる。
ステップＳ１０８が完了すると、ステップＳ１０９において更新部３４４は、第１記憶部３３１に記憶されている外部パラメーターを新たな外部パラメーターに置き換えることによって、第１記憶部３３１が記憶する外部パラメーターを更新する。
外部パラメーターの更新後、計測部３４５は、更新後の外部パラメーターを用いて、物体２００の３次元形状の計測を実行する。このため、計測部３４５が、ズームレンズ１１と撮像レンズ２１とを直接的または間接的に支える部材の形状において経時変化が生じる前に算出された外部パラメーターを用いて３次元形状の計測を実行してしまうことを抑制できる。
Ａ１０：第１実施形態についてのまとめ
本実施形態に係る電子機器１００の制御方法と電子機器１００は以下の態様を含む。
投射部１３は、ズームレンズ１１の内部パラメーターと、撮像レンズ２１の内部パラメーターと、外部パラメーターとを、第１記憶部３３１が記憶した後、ズームレンズ１１を介して物体２００にパターン画像ＰＩを投射する。イメージセンサー２２は、物体２００上のパターン画像ＰＩを、撮像レンズ２１を介して撮像することによって撮像データを生成する。更新部３４４は、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターとを更新せずに、撮像データと、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターとに基づいて、第１記憶部３３１が記憶する外部パラメーターを更新する。
この態様によれば、例えば、ズームレンズ１１と撮像レンズ２１とを直接的または間接的に支える部材の形状が経時変化した場合、当該経時変化の影響を受ける外部パラメーターを更新できる。よって、電子機器１００は、信頼性の低い外部パラメーターが存在し続ける状況を抑制できる。また、電子機器１００は、ズームレンズ１１の内部パラメーターと撮像レンズ２１の内部パラメーターとの不必要な更新を抑制できる。ここで、ズームレンズ１１は、投射レンズの一例である。投射レンズは、ズームレンズ１１に限らず、例えば、単焦点レンズでもよい。
パターン画像ＰＩの一部は、ドットＷＤを表す。撮像データは、物体２００上のドットＷＤを表す撮像画像を示す。更新部３４４は、撮像データに基づいて、撮像画像におけるドットＷＤの位置を特定する。更新部３４４は、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターとを更新せずに、撮像画像におけるドットＷＤの位置と、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターとに基づいて、第１記憶部３３１が記憶する外部パラメーターを更新する。
この態様によれば、パターン画像ＰＩが表すドットＷＤを用いることによって、外部パラメーターを更新できる。なお、ドットＷＤは、所定画像の一例である。所定画像の形状は、ドットＷＤに限らず、例えば、多角形でもよく適宜変更可能である。
ズームレンズ１１の内部パラメーターは、ズームレンズ１１の主点が所定位置Ｎ１にあるときのズームレンズ１１の特性を表す。外部パラメーターは、ズームレンズ１１の主点が所定位置Ｎ１にあるときのズームレンズ１１と、撮像レンズ２１と、の配置の関係を表す。投射部１３は、ズームレンズ１１の主点が所定位置Ｎ１にある状況でズームレンズ１１を介して物体２００にパターン画像ＰＩを投射する。この態様によれば、電子機器１００は、ズームレンズ１１の主点が所定位置Ｎ１にあるときのズームレンズ１１の内部パラメーターを用いることによって、外部パラメーターを更新できる。
ズームレンズ１１の焦点距離は、第１焦点距離ｆ１から第２焦点距離ｆ２までの範囲内で変更可能である。所定位置Ｎ１は、ズームレンズ１１の焦点距離が第１焦点距離ｆ１であるときのズームレンズ１１の主点の位置と、ズームレンズ１１の焦点距離が第２焦点距離ｆ２であるときのズームレンズ１１の主点の位置と、ズームレンズ１１の焦点距離が第１焦点距離ｆ１と第２焦点距離ｆ２とのいずれとも異なるときのズームレンズ１１の主点の位置とのいずれかである。この態様によれば、所定位置Ｎ１を、いわゆる「テレ端」または「ワイド端」等に応じて設定できる。
第２記憶部３３２は、撮像画像におけるドットＷＤの位置を示す位置データを記憶する。更新部３４４は、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターとを更新せずに、第２記憶部３３２が記憶する位置データと、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターと、に基づいて、第１記憶部３３１が記憶する外部パラメーターを更新する。
この態様によれば、第２記憶部３３２は、外部パラメーターの更新に必要となる位置データを蓄積できる。更新部３４４は、第２記憶部３３２に記憶済みの位置データを用いることによって外部パラメーターを更新できるので、撮像データの生成タイミングにかかわらず外部パラメーターを更新できる。また、第２記憶部３３２が複数の位置データを記憶する場合、更新部３４４は、複数の位置データを用いて外部パラメーターを更新できる。このため、更新部３４４は、更新後の外部パラメーターを高精度とすることができる。
Ｂ：変形例
以上に例示した実施形態の変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
Ｂ１：第１変形例
第１実施形態において、判定部３４３は、ズームレンズ１１の主点が所定位置Ｎ１にあるか否かを判定する。投射部１３は、ズームレンズ１１の主点が所定位置Ｎ１にあると判定される場合、ズームレンズ１１を介して物体２００にパターン画像ＰＩを投射してもよい。
この態様によれば、電子機器１００は、投射指示等のユーザーの特別な指示がなくても、外部パラメーターの更新に必要な撮像データを自動的に生成できる。また、電子機器１００は、３次元形状の計測を行うか否かにかかわらず、ズームレンズ１１の主点が所定位置Ｎ１にある場合、パターン画像ＰＩの投射と、物体２００上のパターン画像ＰＩの撮像と、撮像画像におけるドットＷＤの位置の特定と、を実行できる。この場合、更新部３４４は、ユーザーの特別な指示がなくても、新たに特定したドットＷＤの位置に基づいて、自動的に外部パラメーターを更新してもよい。
Ｂ２：第２変形例
第１実施形態および第１変形例において、操作部３１は、外部パラメーターの更新を指示する更新指示をユーザーから受けてもよい。この場合、操作部３１は、更新指示を更新部３４４に提供する。更新部３４４は、更新指示を受けた場合、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターを更新せずに、第２記憶部３３２が記憶する位置データと、第１記憶部３３１が記憶するズームレンズ１１の内部パラメーターと、第１記憶部３３１が記憶する撮像レンズ２１の内部パラメーターに基づいて、第１記憶部３３１が記憶する外部パラメーターを更新する。この態様によれば、電子機器１００は、ユーザーが望むタイミングで外部パラメーターを更新できる。
Ｂ３：第３変形例
第１実施形態および第１変形例〜第２変形例において、更新部３４４は、位置データを第２記憶部３３２に記憶してから３０日間が経過した場合、当該位置データを第２記憶部３３２から削除してもよい。この態様によれば、電子機器１００は、信頼性が低下した位置データを用いて外部パラメーターを更新することを抑制できる。３０日間は、所定期間の一例である。所定期間は、３０日間に限らず、３０日間よりも短い期間でもよいし、３０日間よりも長い期間でもよい。
Ｂ４：第４変形例
第１実施形態および第１変形例〜第３変形例において、更新部３４４は、位置データを第２記憶部３３２に記憶した後に実行される外部パラメーターの更新の回数が所定回数を超えた場合、当該位置データを第２記憶部３３２から削除してもよい。この態様によれば、電子機器１００は、信頼性が低下した位置データを用いて外部パラメーターを更新することを抑制できる。所定回数は、例えば５回である。所定回数は、５回よりも少ない回数でもよいし、５回よりも長い回数でもよい。
Ｂ５：第５変形例
更新部３４４は、位置データを第２記憶部３３２に記憶してから特定期間が経過した場合、外部パラメーターの更新を促す表示を表示部３２に実行させてもよい。外部パラメーターの更新を促す表示は、例えば「外部パラメーターを更新してください」という表示である。外部パラメーターの更新を促す表示は、上述の表示に限らず、適宜変更可能である。特定期間は、例えば、３０日間である。特定期間は、３０日間に限らず、３０日間よりも短い期間でもよいし、３０日間よりも長い期間でもよい。
Ｂ６：第６変形例
第１実施形態および第１変形例〜第５変形例は、ロボティクスなどで用いられる３次元形状計測器全般に適用できる。また、第１実施形態および第１変形例〜第５変形例は、投射面の３次元形状を計測し、３次元形状の計測結果に応じて投射画像を幾何学的に補正するプロジェクターにも適用できる。
Ｂ７：第７変形例
第１実施形態および第１変形例〜第６変形例において、光変調装置の一例として液晶ライトバルブ１３２が用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。また、液晶パネルおよびＤＭＤ以外にも、光源１３１が発した光を変調可能な構成は、光変調装置として採用できる。
１…投射装置、２…カメラ、３…情報処理装置、４…レンズセンサー、１１…ズームレンズ、１１ａ…被検出体、１２…レンズ駆動部、１３…投射部、２１…撮像レンズ、２２…イメージセンサー、３１…操作部、３２…表示部、３３…記憶部、３４…処理部、１００…電子機器、３３１…第１記憶部、３３２…第２記憶部、３４１…投射制御部、３４２…カメラ制御部、３４３…判定部、３４４…更新部、３４５…計測部。

Claims (10)

  1. 投射レンズを介して画像を投射する投射部と、撮像レンズを介して撮像を実行する撮像部と、を含む電子機器の制御方法であって、
    前記投射レンズの特性を表す第１特性データと、前記撮像レンズの特性を表す第２特性データと、前記投射レンズと前記撮像レンズとの配置の関係を表す配置関係データとを、第１記憶部が記憶した後、前記投射レンズを介してパターン画像を前記投射部から物体に投射し、
    前記物体上の前記パターン画像を、前記撮像レンズを介して前記撮像部に撮像させることによって撮像データを生成し、
    前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとを更新せずに、前記撮像データと、前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとに基づいて、前記第１記憶部が記憶する前記配置関係データを更新する、
    ことを含む制御方法。
  2. 前記パターン画像の一部は、所定画像を表し、
    前記撮像データは、前記物体上の前記所定画像を表す撮像画像を示し、
    前記撮像データに基づいて、前記撮像画像における前記所定画像の位置を特定し、
    前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとを更新せずに、前記撮像画像における前記所定画像の位置と、前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとに基づいて、前記第１記憶部が記憶する前記配置関係データを更新する、
    請求項１に記載の制御方法。
  3. 前記投射レンズは、ズームレンズであり、
    前記第１特性データは、前記ズームレンズの主点が所定位置にあるときの前記ズームレンズの特性を表し、
    前記配置関係データは、前記ズームレンズの主点が前記所定位置にあるときの前記ズームレンズと、前記撮像レンズと、の配置の関係を表し、
    前記ズームレンズの主点が前記所定位置にある状況で前記ズームレンズを介して前記パターン画像を前記投射部から前記物体に投射する、
    請求項２に記載の制御方法。
  4. 前記ズームレンズの焦点距離は、第１焦点距離から第２焦点距離までの範囲内で変更可能であり、
    前記所定位置は、
    前記焦点距離が前記第１焦点距離であるときの前記ズームレンズの主点の位置と、
    前記焦点距離が前記第２焦点距離であるときの前記ズームレンズの主点の位置と、
    前記焦点距離が前記第１焦点距離と前記第２焦点距離とのいずれとも異なるときの前記ズームレンズの主点の位置と、
    のいずれかである、
    請求項３に記載の制御方法。
  5. 前記ズームレンズの主点が前記所定位置にあるか否かを判定し、
    前記ズームレンズの主点が前記所定位置にあると判定する場合に、前記ズームレンズを介して前記パターン画像を前記投射部から前記物体に投射する、
    請求項３または４に記載の制御方法。
  6. 前記撮像画像における前記所定画像の位置を示す位置データを第２記憶部に記憶し、
    前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとを更新せずに、前記第２記憶部が記憶する前記位置データと、前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとに基づいて、前記第１記憶部が記憶する前記配置関係データを更新する、
    請求項２から５のいずれか１項に記載の制御方法。
  7. 前記配置関係データの更新を指示する更新指示を受けた場合、前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとを更新せずに、前記第２記憶部が記憶する前記位置データと、前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとに基づいて、前記第１記憶部が記憶する前記配置関係データを更新する、
    請求項６に記載の制御方法。
  8. 前記位置データを前記第２記憶部に記憶してから所定期間が経過した場合、当該位置データを前記第２記憶部から削除する、
    請求項６または７に記載の制御方法。
  9. 前記位置データを前記第２記憶部に記憶した後に実行される前記更新の回数が所定回数を超えた場合、当該位置データを前記第２記憶部から削除する、
    請求項６または７に記載の制御方法。
  10. 投射レンズの特性を表す第１特性データと、撮像レンズの特性を表す第２特性データと、前記投射レンズと前記撮像レンズとの配置の関係を表す配置関係データとを、第１記憶部が記憶した後、前記投射レンズを介して物体にパターン画像を投射する投射部と、
    前記物体上の前記パターン画像を、前記撮像レンズを介して撮像することによって撮像データを生成する撮像部と、
    前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとを更新せずに、前記撮像データと、前記第１記憶部が記憶する前記第１特性データと、前記第１記憶部が記憶する前記第２特性データとに基づいて、前記第１記憶部が記憶する前記配置関係データを更新する更新部と、
    を含む電子機器。
JP2020030461A 2020-02-26 2020-02-26 電子機器の制御方法および電子機器 Pending JP2021135133A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020030461A JP2021135133A (ja) 2020-02-26 2020-02-26 電子機器の制御方法および電子機器
US17/185,267 US11451755B2 (en) 2020-02-26 2021-02-25 Method for controlling electronic instrument and electronic instrument

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020030461A JP2021135133A (ja) 2020-02-26 2020-02-26 電子機器の制御方法および電子機器

Publications (1)

Publication Number Publication Date
JP2021135133A true JP2021135133A (ja) 2021-09-13

Family

ID=77366613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020030461A Pending JP2021135133A (ja) 2020-02-26 2020-02-26 電子機器の制御方法および電子機器

Country Status (2)

Country Link
US (1) US11451755B2 (ja)
JP (1) JP2021135133A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023022164A1 (ja) 2021-08-20 2023-02-23 株式会社Ｎｔｔドコモ 端末、無線通信方法及び基地局

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7196899B2 (ja) * 2020-12-10 2022-12-27 セイコーエプソン株式会社 投写方法、投写システム、及びプログラム
CN115150593B (zh) * 2021-03-29 2024-06-07 中强光电股份有限公司 投影装置以及校正方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017720A1 (en) * 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
JP2010122273A (ja) * 2008-11-17 2010-06-03 Seiko Epson Corp 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724379B2 (en) 2005-05-12 2010-05-25 Technodream21, Inc. 3-Dimensional shape measuring method and device thereof
JP5032943B2 (ja) 2007-11-06 2012-09-26 パナソニック株式会社 ３次元形状計測装置及び３次元形状計測方法
JP4956456B2 (ja) 2008-02-05 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
JP5210203B2 (ja) 2009-02-25 2013-06-12 ローランドディー．ジー．株式会社 画像の差分による高精度ステレオカメラキャリブレーション
JP5962080B2 (ja) * 2012-03-08 2016-08-03 セイコーエプソン株式会社 画像処理装置、プロジェクター、およびプロジェクターの制御方法
JP2015094768A (ja) * 2013-11-08 2015-05-18 セイコーエプソン株式会社 表示装置、表示システムおよび制御方法
CN105227881B (zh) * 2015-09-15 2019-02-26 海信集团有限公司 一种投影画面校正方法及投影设备
US10395389B2 (en) * 2016-04-11 2019-08-27 Hewlett-Packard Development Company, L.P. Calibration based on intrinsic parameter selection and a projected calibration target
WO2018179040A1 (ja) * 2017-03-27 2018-10-04 日本電気株式会社 カメラパラメータ推定装置、方法およびプログラム
US20190052851A1 (en) * 2017-08-11 2019-02-14 Hilti Aktiengesellschaft System and Method for Recalibrating a Projector System
TWI622960B (zh) * 2017-11-10 2018-05-01 財團法人工業技術研究院 深度影像擷取裝置的校正方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017720A1 (en) * 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
JP2010122273A (ja) * 2008-11-17 2010-06-03 Seiko Epson Corp 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023022164A1 (ja) 2021-08-20 2023-02-23 株式会社Ｎｔｔドコモ 端末、無線通信方法及び基地局

Also Published As

Publication number Publication date
US20210266505A1 (en) 2021-08-26
US11451755B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
US11451755B2 (en) Method for controlling electronic instrument and electronic instrument
KR100648592B1 (ko) 화상 처리 시스템, 프로젝터 및 화상 처리 방법
JP4111166B2 (ja) ３次元形状入力装置
US10571254B2 (en) Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method
US10578426B2 (en) Object measurement apparatus and object measurement method
JP3996610B2 (ja) プロジェクタ装置とその画像歪補正方法
JP2004260785A (ja) 画像歪み補正機能を備えたプロジェクタ装置
JPWO2017138291A1 (ja) 距離画像取得装置及びその応用
JP2008165800A (ja) カーソル制御方法及び装置
JP2010122273A (ja) 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ
US20140071409A1 (en) Image processing device, projector, and image processing method
US20210289182A1 (en) Method of controlling projector and projector
JP2006246502A (ja) 画像歪み補正機能を備えたプロジェクタ装置
KR100332995B1 (ko) 비접촉식 3차원 스캐너 장치
CN113473094B (zh) 设定辅助方法和设定辅助装置
JP2020039082A (ja) 表示装置、表示システムおよび表示装置の制御方法
US8823646B2 (en) Method and display apparatus for calculating coordinates of a light beam
JP6197322B2 (ja) 投影装置、画像出力装置、投影方法及び投影プログラム
US11754389B2 (en) Estimation method, measurement method, and estimation apparatus
CN114693772A (zh) 位置确定方法、模拟方法、位置确定系统和模拟系统
JP2005136699A (ja) 投射型表示装置の台形歪み自動補正方法
JP7188176B2 (ja) プロジェクター、画像表示システム及び画像表示システムの制御方法
JP2021021845A (ja) プロジェクターの制御方法、及びプロジェクター
US20240036447A1 (en) Projection method and projection system
JP2014187515A (ja) プロジェクター及びプロジェクターの制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230817

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231003