JP2021113687A - システム及び方法 - Google Patents

システム及び方法 Download PDF

Info

Publication number
JP2021113687A
JP2021113687A JP2020005111A JP2020005111A JP2021113687A JP 2021113687 A JP2021113687 A JP 2021113687A JP 2020005111 A JP2020005111 A JP 2020005111A JP 2020005111 A JP2020005111 A JP 2020005111A JP 2021113687 A JP2021113687 A JP 2021113687A
Authority
JP
Japan
Prior art keywords
reflector
light
distance
substantially parallel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020005111A
Other languages
English (en)
Other versions
JP7297694B2 (ja
Inventor
英徳 大國
Hidenori Okuni
英徳 大國
健太郎 吉岡
Kentaro Yoshioka
健太郎 吉岡
トァン タン タ
Tuan Thanh Ta
トァン タン タ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2020005111A priority Critical patent/JP7297694B2/ja
Priority to US17/014,188 priority patent/US20210223022A1/en
Publication of JP2021113687A publication Critical patent/JP2021113687A/ja
Application granted granted Critical
Publication of JP7297694B2 publication Critical patent/JP7297694B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/14Measuring arrangements characterised by the use of electric or magnetic techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】演算処理量を軽減できるシステム及び方法を提供する。【解決手段】距離を計測するための電子装置6を用いて対象物の位置又は形状の少なくとも一方に関する情報を取得するための方法は、電子装置の距離を測定するための座標系を規定するそれぞれ直交する第1面、第2面及び第3面のいずれかに略平行に反射体2を配置するものであって、対象物及び反射体にて反射された光を含む入射光に基づいて、対象物の位置又は形状の少なくとも一方に関する情報を取得する。【選択図】図1

Description

本発明の実施形態は、システム及び方法に関する。
物体までの距離に応じた距離画像を生成する技術が提案されている。距離画像を生成するには、レーザ光を投光して、そのレーザ光が物体で反射された反射光を受光し、投光タイミングから受光タイミングまでの時間によって距離を計測する機能が必要となる。
ここで、レーザ光は、ミラー(鏡)等の反射体により反射される性質を有する。そのため、このミラーに距離計測用のレーザ光が照射された場合、照射されたレーザ光はミラーで反射されて物体の方向に進行し、物体で反射された後に、そのミラーで再度反射されて、受光されることがありえる。この場合に受光されたレーザ光に基づいて距離画像を生成すると、ミラーの奥側に物体が存在しているかのような虚像を含む距離画像が得られる。実際には、ミラーよりも手前側に物体が存在するが、レーザ光を用いた距離計測では、レーザ光の光路長により距離を計測するため、物体で反射されたレーザ光がミラーで反射されたか否かを把握できないのが実情である。
距離画像に写し込まれたミラーの奥側に視認される虚像は、ミラーの位置及び角度が分かれば、数値計算によって実像に変換することができる。このため、ミラーの位置及び角度を精度よく算出する技術が必要となる。
特に、ミラーが任意の場所に設定されている場合には、ミラーに映った虚像を実像に変換するには、平行移動のための座標変換と、回転のための座標変換と、虚像から実像への座標変換とを行わなければならず、演算処理量が膨大になってしまう。
特開2010−277283号公報
そこで、本発明の一実施形態は、演算処理量を軽減できるシステム及び方法を提供するものである。
上記の課題を解決するために、本発明の一実施形態によれば、距離を計測するための電子装置を用いて対象物の位置又は形状の少なくとも一方に関する情報を取得するための方法であって、
前記電子装置の距離を測定するための座標系を規定するそれぞれ直交する第1面、第2面及び第3面のいずれかに略平行に反射体を配置するものであって、前記対象物及び前記反射体にて反射された光を含む入射光に基づいて、前記対象物の位置又は形状の少なくとも一方に関する情報を取得する、方法が提供される。
一実施形態によるシステムの概略構成を示すブロック図。 ミラーを用いて物体までの距離計測を行う例を示す図。 ミラーが任意の座標位置に設置されている例を示す図。 ミラーを変換行列Hp+で移動させる例を示す図。 ミラーを変換行列Hp-で変換し、元の座標系に復元する例を示す図。 本実施形態によるシステムの処理動作を示すフローチャート。 本実施形態をゲーティングシステムに適用した例を示す図。
以下、図面を参照して、システムの実施形態について説明する。以下では、システムの主要な構成部分を中心に説明するが、以下で説明するシステムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
図1は一実施形態によるシステム1の概略構成を示すブロック図である。図1のシステム1は、ミラー2a等の反射体2に写った像を光学的に検出する機能を備えている。図1のシステム1は、投光部3と、受光部4と、取得部5とを備えている。また、図1のシステム1は、取得部5と、検出部8と、抽出部9と、座標変換部10とを備えていてもよい。
投光部3と受光部4は、例えば距離計測装置6に搭載されている。距離計測装置6は、投光部3から光を投光したタイミングと、この光が物体で反射されて受光部4で受光されたタイミングとの時間差に基づいて、距離計測装置6から物体までの距離を計測する。このように、距離計測装置6は、ToF(Time of Flight)方式にて距離を計測するLiDAR(Light Detection and Ranging)装置である。なお、後述するように、本実施形態によるシステム1は、ステレオカメラを用いて、物体(対象物とも呼ぶ)の位置又は形状の少なくとも一方に関する情報を取得する場合にも適用される。よって、投光部3は必須の構成部品ではない。
投光部3は、所定の座標系内の所定方向を光軸中心とする光を投光する。本実施形態では、所定の座標系を規定するそれぞれ直交する第1面、第2面及び第3面のいずれかに略平行に反射体2を配置することを想定している。よって、投光部3は、所定の座標系を規定するそれぞれ直交する第1面、第2面及び第3面のいずれかに略平行に反射体2が配置されている場合に、投光部3から座標系内の所定方向を光軸中心とする光を投光する。上述した座標系の3軸をx、y、zとすると、第1〜第3面はxyz軸のうちの2軸方向に広がる面であり、例えば第1面はxy面、第2面はyz面、第3面はzx面である。
ここで、略平行とは、必ずしも完全に平行である場合に限定されるものではなく、若干の非平行も許容される。後述するように、本実施形態では、反射体2で反射された光が受光部4で受光されるまでの時間を用いて距離画像を生成し、距離画像に含まれる虚像を座標変換処理により実像に変換する。反射体2の面方向が第1〜第3面のいずれにも平行でない場合、座標変換処理の一部に座標の回転処理を含むが、反射体2が第1〜第3面のいずれかにわずかに非平行の場合は、回転処理を省略しても、虚像から実像に許容範囲内で変換処理を行うことができる。わずかに非平行とは、どの程度の精度を許容するかによっても変わるが、例えば、平行な方向から±10度の角度誤差を有する場合である。
投光部3は、それぞれが所定の軸を光軸中心とする光を投光する複数の光源を有していてもよい。あるいは、投光部3は、所定の方向を光軸中心して所定の角度範囲内で光の投光方向を切り替えてもよい。すなわち、投光部3は、光の投光方向を所定の角度範囲内でスキャンさせてもよい。あるいは、投光部3は、それぞれ異なる投光方向に光を投光する複数の光源を有していてもよい。
投光部3が投光する光は、周波数と位相が揃ったレーザ光であってもよい。投光部3は、パルス状のレーザ光を所定の周期で間欠的に投光する。投光部3がレーザ光を投光する間隔は、レーザ光の各パルスごとに距離計測装置6で距離を計測するのに要する時間以上の時間間隔である。
受光部4は、第1〜第3面を含む三次元空間内の少なくとも一部の範囲の光を受光する。受光部4は、より詳細には、不図示の光検出器、増幅器、受光センサ、及びA/D変換器などを有する。光検出器は、投光されるレーザ光の一部を受光して電気信号に変換する。増幅器は、光検出器から出力された電気信号を増幅する。受光センサは、受光されたレーザ光を電気信号に変換する。A/D変換器は、受光センサから出力された電気信号をデジタル信号に変換する。
距離計測装置6は、投光部3と受光部4の他に、距離計測部7を有する。距離計測部7は、送信された電磁波の送信タイミングと受信された電磁波の受信タイミングとの時間差に基づいて、受信された電磁波が反射された点までの距離を計測する。距離計測部7は、電磁波としてレーザ光を用いる場合には、以下の式(1)に基づいて、距離を計測する。
距離=光速×(反射光の受光タイミング−投光タイミング)/2 …(1)
距離計測部7は、距離計測装置6の周囲に存在する種々の物体までの距離を計測するため、計測された各物体までの距離に基づいて距離画像を生成できる。生成された距離画像は、取得部5に送られる。取得部5は、電子装置1の距離を測定するための座標系を規定するそれぞれ直交する第1面、第2面及び第3面のいずれかに略平行に反射体2を配置するものであって、対象物及び反射体2にて反射された光を含む入射光に基づいて、対象物の位置又は形状の少なくとも一方に関する情報を取得する。すなわち、反射体2が第1面、第2面及び第3面のいずれかに略平行に配置されることに基づき、入射光から得られる情報から、対象物の位置又は形状の少なくとも一方に関する情報を導く。電子装置1に、座標系内の投光方向を光軸中心とする光を投光する投光部と、入射光を受光する受光部4とが設けられている場合、入射光は、投光部から投光された光が、反射体2で反射され、かつ、対象物で反射され、かつ、反射体2で反射されることよって、受光部4に受光される光を少なくとも含む。図1のシステムの例では、取得部5は、受光部4で受光された光に基づいて、周囲情報を取得する。より具体的には、取得部5は、距離計測装置6を利用して周囲情報を取得する。
なお、図1では、取得部5が距離計測装置6を利用して周囲情報を取得する例を示したが、取得部5は、距離計測部7で計測された距離に基づく距離画像に基づいて、周囲情報を取得してもよいし、あるいは、距離計測装置6以外の装置やセンサ等を用いて周囲情報を取得してもよい。例えば、後述するように周囲を撮影する撮影部を設ける場合には、取得部5は、撮影部で撮影された画像に基づいて周囲情報を取得してもよい。取得部5は、投光部3及び受光部4と同じ座標系を利用して周囲情報を取得する。
取得部5が取得する周囲情報は、距離計測部7で生成された距離画像を含んでいてもよい。周囲情報は、反射体情報を含んでいてもよい。反射体情報とは、反射体2の位置、サイズ、高さ及び角度の少なくとも一つを含む情報である。
ここで、反射体2とはミラー2a等の鏡面反射(正反射)を行う種々の部材を含む趣旨であり、反射体2の形状やサイズも任意である。なお、反射体2の設置目的も任意である。例えば、ロボットアームの死角となる領域を写し出すために設置されたものでもよいし、セキュリティカメラの死角になる領域をセキュリティカメラで撮影できるようにしたものでもよいし、他の目的で設置されたものでもよい。反射体2の設置場所も任意であり、屋外でもよいし、屋内でもよい。
本実施形態によるシステム1では、反射体2が第1〜第3面のいずれかに略平行に配置されていることを想定している。ただし、複数の反射体2が設けられる場合は、そのうちの少なくとも一つが第1〜第3面のいずれかに略平行に配置されていればよい。後述するように、反射体2を第1〜第3面のいずれかに略平行に配置することにより、反射体2に写った虚像を実像に変換する際の演算処理量を軽減することができる。
図1のシステム1内の検出部8は、取得部5で取得された周囲情報に含まれる反射体2の位置、サイズ、高さ及び角度の少なくとも一つを含む情報を検出する。あらかじめ、反射体2の位置、サイズ、高さ及び角度の少なくとも一つを含む情報を保持しておいてもよい。
図1のシステム1内の抽出部9は、取得部5で取得された周囲情報と検出部8で検出されたミラー情報(反射体情報)とに基づいて、反射体2に写る情報(虚像)を抽出する。抽出部9は、周囲情報と虚像に基づいて、計算処理により抽出する。ミラー2aの位置、サイズ、高さ及び角度がわかれば、ミラー2aに写る範囲を周囲情報から計算処理により抽出することができる。
図1のシステム1内の座標変換部10は、抽出部9で抽出された虚像を座標変換し、座標変換された実像の情報を周囲情報に合成する。直接取得部5で取得できない死角に存在する物体の情報を、反射体2経由で取得できるため、死角を軽減できる。
以下、座標変換部10が行う座標変換処理を詳細に説明する。図2は反射体2として平面ミラー2a(以下、単にミラー2aと呼ぶ)を用いて物体までの距離計測を行う例を示す図である。図2では、取得部5の座標系をxyzで示し、一例として、ミラー2aがyz平面上に設置され、座標(−x0、y0、z0)に物体があると仮定する。投光部3から投光されて反射体2で反射された光は、物体(実像)で反射された後に、ミラー2aで反射されて、受光部4で受光される。反射体2に写る像は虚像であり、虚像の位置は座標(x0、y0、z0)である(図中破線)。距離計測部7は、光の伝搬時間に基づいて距離を計測するため、虚像位置に物体があると誤認識してしまう。そこで、虚像の座標を実像の座標系に鏡映変換する必要がある。図2のように反射体2がyz平面に設置されている場合、x軸のみ符号を反転すればよい。虚像の座標Avを式(2)の左側の行列で表すと、ミラー2aがyz平面に設置された鏡映変換行列Hcは式(2)の右側の行列で表される。式(2)の2つの行列Av、Hcは、後述するように、平行移動の変換を表現できるようにするため、4次元に拡張している。
Figure 2021113687
実像の座標Arへの変換は、式(3)に示すように、鏡映変換行列と虚像座標との内積で表れる。
Figure 2021113687
式(3)に示すように、yz平面に反射体2が設置されている場合、x軸の符号反転処理のみとなる。
次に、図3A、図3B及び図3Cを用いて、ミラー2aが任意の座標に設置されている場合の鏡映変換方法を説明する。図3Aはミラー2aが任意の座標位置に設置されている例を示している。すなわち、図3Aのミラー2aは、yz平面、xz平面及びxy平面のいずれにも非平行でありうる。この場合、前述と同様に虚像の座標を行列Avで表す。まず初めに図3Bに示すように、ミラー2aの座標がyz平面となるように、変換行列Hp+で移動させる。ミラー2aがyz平面にあるので、式(2)で示した鏡映変換行列Hcで、鏡映変換を行う。次に、図3Cに示すように元の座標系に戻すために、変換行列Hp-で変換し、元の座標系に復元する。一連の処理を式で表すと、式(4)となる。
Figure 2021113687
このように、任意の位置に配置されたミラー2aを、平行移動と回転により、yz平面に移動させることができる。x軸、y軸、z軸方向への平行移動Tx、Ty、Tzの変換行列Pは、以下の式(5)で表される。
Figure 2021113687
また、x軸、y軸、z軸周りにθ回転させる変換行列Rx(θ)、Ry(θ)、Rz(θ)は、以下の式(6)〜(8)で表される。
Figure 2021113687
式(4)の変換行列Hp+は、例えば、x軸方向にa0平行移動し、y軸でθ0回転し、z軸でθ1回転した場合、式(9)で表される。
Figure 2021113687
式(4)の変換行列Hp-は、式(9)のHp+で変換した座標系を元の座標系に復元するだけであるので、式(10)に示すように変換行列Hp+の逆行列になる。
Figure 2021113687
以上のように、ミラー2aが任意の位置に存在する場合の鏡映変換方法は、式(4)に示した行列の内積演算で処理できる。内積演算では、乗算処理が必要となるため、演算コストが高くなってしまう。
次に、yz平面へのミラー2aの移動を平行移動のみで実現できると仮定すると、平行移動の行列は、式(11)で表される。式(11)は、x軸、y軸、z軸方向にTx、Ty、Tz平行移動する場合の変換行列Pmである。
Figure 2021113687
このように、yz平面へのミラー2aの移動が平行移動のみで実現できる場合の座標変換行列Arは、以下の式(12)で表される。
Figure 2021113687
ここで、yz平面にミラー2aを移動する場合、y軸およびz軸方向への移動は不要となり、式(11)において、Ty=Tz=0となる。さらに、鏡映変換行列Hcは、ミラー2aの位置がyz平面であるとすると、x座標の符号を反転することと等価となるため、式(13)で表される。
Figure 2021113687
また、平行移動のみの処理となるため、次元数を増やす必要がないため、式(11)および式(13)はそれぞれ式(14)及び式(15)に置換することができる。
Figure 2021113687
よって、ミラー2aの移動を平行移動のみで実現できれば、虚像の座標変換で乗算処理が不要となる。すなわち、図3Aにおいて反射体2をyz平面に平行となるように設置することにより、演算量を大幅に軽減できる。
前述の例では、反射体2をyz平面に平行となるようにミラー2aを配置する例を示した。同様に、zx平面やxy平面に平行にミラー2aを配置しても同様の効果を得ることができる。以上をまとめると、yz平面、zx平面、xy平面に平行となるようにミラー2aを配置した場合の虚像の座標変換処理はそれぞれ式(16)〜(18)となる。
Figure 2021113687
以上では、1枚のミラー2aについて説明したが、複数のミラー2aがある場合も同様である。より詳細には、複数のミラー2aのうち少なくとも一つをyz平面、zx平面、xy平面のいずれかに配置することにより、乗算処理なしに虚像の座標変換を行うことができる。
上述したように、ミラー2aをyz平面、zx平面又はxy平面に略平行に配置することで、虚像を実像に変換する際の座標変換処理の演算処理量を軽減できるが、ミラー2aがyz平面、zx平面又はxy平面に略平行に配置されていない場合には、ミラー2aと距離計測装置6との少なくとも一方を調整する必要がある。例えば、ミラー2aの位置及び角度の少なくとも一方を調整可能なアクチュエータを設けて、ミラー2aがyz平面、zx平面又はxy平面に略平行に配置されるように自動調整する機能を設けてもよい。あるいは、距離計測装置6が設置される支持台の位置や傾斜角度を自動調整する機能を設けてもよい。あるいは、手動で、ミラー2aや距離計測装置6を調整してもよい。自動又は手動で調整を行う場合、ミラー2aや距離計測装置6をどの方向にどの程度移動させるかを指示する調整信号をシステム1が出力すれば高精度の調整を行うことができる。
図4は本実施形態によるシステム1の処理動作を示すフローチャートである。図4のフローチャートは、システム1の電源がオンになると開始されて、物体の距離画像を生成する処理を行う。
まず、ミラー2aの位置及び角度を特定する(ステップS1)。ミラー2aの位置及び角度は、撮像装置で撮像された画像に基づいて特定してもよいし、距離計測装置6が生成した距離画像の点群から特定してもよい。あるいは、レーザを利用して、ミラー2aで反射された電波を受信してミラー2aの位置及び角度を特定してもよい。
次に、ミラー2aがyz平面、zx平面又はxy平面に平行か否かを判定する(ステップS1)。システム1は、距離計測装置6の座標系を予め把握しているため、ステップS1で特定されたミラー2aの位置及び角度を距離計測装置6の座標系と比較することで、ミラー2aがyz平面、zx平面又はxy平面に平行か否かを判定する。撮像装置の撮像画像からミラー2aの位置及び角度を検出する代わりに、距離計測装置6が生成した距離画像の点群からミラー2aの位置及び角度を検出し、検出されたミラー2aの位置及び角度を距離計測装置6の座標系と比較してもよい。
ステップS2で平行でないと判定されると、ミラー2a及び距離計測装置6の少なくとも一方をどの方向にどの程度移動又は回転させる必要があるかを示す調整信号を生成して出力する(ステップS3)。この調整信号の生成は、例えば距離計測装置6が行う。
ミラー2a及び距離計測装置6の少なくとも一方を自動調整する調整機構を備えている場合、この調整機構は、調整信号に基づいてミラー2a及び距離計測装置6の少なくとも一方を移動又は回転させる(ステップS4)。一方、調整機構を備えていない場合は、本システム1のユーザが調整信号に基づいて、ミラー2a及び距離計測装置6の少なくとも一方を手動で移動又は回転させる(ステップS4)。
ステップS4の調整が終わると、ステップS1以降の処理を繰り返す。ステップS2で平行と判定されると、距離計測装置6にて距離画像を生成する(ステップS5)。次に、抽出部9にて、距離画像の中から、虚像を抽出する(ステップS6)。ステップS1の処理でミラー2aの位置及び角度が既知であるため、投光部3から投光された光がミラー2aで反射されて受光部4で受光されるまでに要する時間も予め知ることができる。そこで、抽出部9は、想定したよりも長い時間がかかって受光部4で光が受光された場合は、虚像からの光であると認識することができる。
次に、例えば式(10)に基づいて虚像から実像への座標変換処理を行う(ステップS7)。そして、虚像を実像に変換した距離画像を生成する(ステップS8)。
図5は本実施形態によるシステム1を、ゲート11の通行を制御するゲーティングシステム12に適用した例を示す図である。図5のゲーティングシステム12は、ゲート11を通過する人間の数をカウントするものである。図5のゲーティングシステム12では、通行経路に沿ってその両側に配置された2つのゲート台13,14の間の通行経路を人間が通行する。各ゲート台13,14の内壁面にはミラー2aが取り付けられており、また、通行経路の上方にもミラー2aが設置されている。ゲート台13,14の上面に距離計測装置6が載置されている。
図5のゲーティングシステム12の距離計測装置6は、例えばゲート台13,14の並ぶ方向をx方向、ゲート11の通行方向をy方向、ゲート台13,14の設置面の法線方向をz方向としている。したがって、ゲート台13,14の内壁面に取り付けられたミラー2aは、zx平面に略平行に配置され、通行経路の上方に設置されたミラー2aは、xy平面に略平行に配置されている。このため、いずれのミラー2aも、zx平面かxy平面に略平行であることから、虚像から実像への座標変換処理を平行移動だけで行うことができ、距離画像中の虚像を実像に簡易かつ迅速に変換できる。
図5に示すように、通行経路の両側に配置される2台のゲート台13,14の各内壁面にミラー2aを配置するとともに、通行経路の上方にもミラー2aを配置することで、仮に大人の間に子供が囲まれてゲート11を通過する場合であっても、子供の通行を見逃すおそれがなくなる。また、距離計測装置6の設置場所を基準として、zx平面に略平行にミラー2aを配置するとともに、xy平面に略平行にミラー2aを配置することで、虚像から実像への座標変換を行う際の演算処理量を軽減できる。
図5のゲーティングシステム12は、本実施形態によるシステム1の具体的な一適用例にすぎない。本実施形態によるシステム1は、虚像を実像に変換する処理を含むシステム1に幅広く適用可能である。
上述した実施形態では、投光部3と受光部4を用いてToF方式にて物体までの距離を計測する例を説明したが、本実施形態は、ステレオカメラを用いた場合にも適用可能である。ステレオカメラは、左目用のカメラと右目用のカメラで撮影した画像と、両目の視差を利用して被写体までの距離を計測することができる。
このように、本実施形態では、反射体2を距離計測装置6の座標系のyz平面、zx平面又はxy平面に略平行に配置するため、距離画像中の虚像位置を実像位置に座標変換する処理を行う際の演算処理量を軽減できる。より具体的には、平行移動のみの座標変換処理だけで虚像を実像に変換できるため、乗算処理が不要となり、虚像を含む距離画像から、実像を含む距離画像を迅速に生成できる。
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1 システム、2 反射体、2a ミラー、3 投光部、4 受光部、5 取得部、6 距離計測装置、7 距離計測部、8 検出部、11 ゲート、12 ゲーティングシステム、13,14 ゲート台

Claims (18)

  1. 距離を計測するための電子装置を用いて対象物の位置又は形状の少なくとも一方に関する情報を取得するための方法であって、
    前記電子装置の距離を測定するための座標系を規定するそれぞれ直交する第1面、第2面及び第3面のいずれかに略平行に反射体を配置するものであって、前記対象物及び前記反射体にて反射された光を含む入射光に基づいて、前記対象物の位置又は形状の少なくとも一方に関する情報を取得する、方法。
  2. 前記反射体が前記第1面、前記第2面及び前記第3面のいずれかに略平行に配置されることに基づき、前記入射光から得られる情報から、前記対象物の位置又は形状の少なくとも一方に関する情報を導く、請求項1に記載の方法。
  3. 前記電子装置には、前記座標系内の投光方向を光軸中心とする光を投光する投光部と、前記入射光を受光する受光部とが設けられ、
    前記入射光は、前記投光部から投光された光が、前記反射体で反射され、かつ、前記対象物で反射され、かつ、前記反射体で反射されることよって、前記受光部に受光される光を少なくとも含む、請求項1又は請求項2に記載の方法。
  4. 前記投光部は、前記座標系内の投光方向を光軸中心とする光を間欠的に投光し、
    前記受光部は、前記座標系内の受光方向からの光を受光する、請求項3に記載の方法。
  5. 前記投光部が光を投光したタイミングと、当該光が対象物で反射されて前記受光部で受光されたタイミングとの時間差により、前記対象物までの距離を計測し、
    前記計測された距離に基づいて前記情報を取得する、請求項3又は4に記載の方法。
  6. 前記対象物までの計測された距離に基づいて距離画像を生成し、
    前記距離画像に含まれる虚像を抽出し、
    前記反射体の位置に基づいて前記抽出された虚像の位置を実像の位置に変換する、請求項5に記載の方法。
  7. 回転による座標変換を行うことなく、平行移動の座標変換により、前記抽出された虚像の位置を実像の位置に変換する、請求項6に記載の方法。
  8. 複数の前記反射体が設けられる場合には、そのうちの少なくとも一つの反射体が、前記第1面、前記第2面又は前記第3面に略平行に配置される、請求項1乃至7のいずれか一項に記載の方法。
  9. 前記反射体の位置、サイズ、高さ及び角度の少なくとも一つを含む反射体情報を取得する、請求項1乃至8のいずれか一項に記載の方法。
  10. 前記入射光に基づいて前記反射体情報を検出する、請求項9に記載の方法。
  11. 撮影部で撮影された画像に基づいて前記反射体情報を検出する、請求項9に記載の方法。
  12. 前記反射体情報に基づいて、前記反射体が前記第1面、前記第2面又は前記第3面に略平行か否かを判定する、請求項9乃至11のいずれか一項に記載の方法。
  13. 前記反射体が前記第1面、前記第2面又は前記第3面のいずれにも略平行でないと判定されると、前記反射体を前記第1面、前記第2面又は前記第3面に略平行にするための調整信号を出力する、請求項12に記載の方法。
  14. 前記反射体が前記第1面、前記第2面又は前記第3面のいずれにも略平行でないと判定されると、前記反射体を前記第1面、前記第2面又は前記第3面に略平行にするための調整を行う、請求項12又は13に記載の方法。
  15. 前記対象物の位置又は形状の少なくとも一方に関する情報を取得する取得部が前記第1面に平行な支持台に設置されている場合、前記取得部よりも上方で、かつ前記第1面に略平行に第1の反射体を配置し、
    前記第1の反射体と直交する方向に少なくとも一つの第2の反射体を配置する、請求項1乃至14のいずれか一項に記載の方法。
  16. 前記第2面又は前記第3面に略平行な方向への通行を制御するゲートの通行経路に沿って、前記通行経路に沿って前記通行経路の両側に複数の前記第2の反射体を配置する、請求項15に記載の方法。
  17. 距離を計測するための電子装置を用いて対象物の位置又は形状の少なくとも一方に関する情報を取得するためのシステムであって、
    前記電子装置の距離を測定するための座標系を規定するそれぞれ直交する第1面、第2面及び第3面のいずれかに略平行に配置される反射体と、前記対象物とで反射された光を含む入射光に基づいて、前記対象物の位置又は形状の少なくとも一方に関する情報を取得する取得部を備えるシステム。
  18. 前記座標系内の投光方向を光軸中心とする光を投光する投光部と、
    前記入射光を受光する受光部と、
    前記反射体の位置、サイズ、高さ及び角度の少なくとも一つを含む反射体情報に基づいて、前記反射体が前記第1面、前記第2面又は前記第3面に略平行か否かを判定する判定部と、
    前記反射体が前記第1面、前記第2面又は前記第3面のいずれにも略平行でないと判定されると、前記反射体を前記第1面、前記第2面又は前記第3面に略平行にするための調整信号を出力する出力部と、
    前記反射体が前記第1面、前記第2面又は前記第3面に略平行と判定されると、前記投光部が光を投光したタイミングと、当該光が対象物で反射されて前記受光部で受光されたタイミングとの時間差により、前記対象物までの距離を計測し、前記対象物までの計測された距離に基づいて距離画像を生成する距離画像生成部と、
    前記距離画像に含まれる虚像を抽出する抽出部と、
    前記反射体の位置に基づいて前記抽出された虚像の位置を実像の位置に変換する座標変換部と、を備える、請求項17に記載のシステム。
JP2020005111A 2020-01-16 2020-01-16 システム及び方法 Active JP7297694B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020005111A JP7297694B2 (ja) 2020-01-16 2020-01-16 システム及び方法
US17/014,188 US20210223022A1 (en) 2020-01-16 2020-09-08 System and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020005111A JP7297694B2 (ja) 2020-01-16 2020-01-16 システム及び方法

Publications (2)

Publication Number Publication Date
JP2021113687A true JP2021113687A (ja) 2021-08-05
JP7297694B2 JP7297694B2 (ja) 2023-06-26

Family

ID=76856818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020005111A Active JP7297694B2 (ja) 2020-01-16 2020-01-16 システム及び方法

Country Status (2)

Country Link
US (1) US20210223022A1 (ja)
JP (1) JP7297694B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087404A1 (ja) * 2017-11-06 2019-05-09 富士通株式会社 算出方法、算出プログラムおよび情報処理装置
JP2021135155A (ja) * 2020-02-27 2021-09-13 株式会社東芝 システム及び方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329424A (ja) * 2002-05-14 2003-11-19 Mitsubishi Electric Corp 三次元形状計測装置
JP2015032182A (ja) * 2013-08-05 2015-02-16 シャープ株式会社 自律移動装置およびその制御方法
JP2019071117A (ja) * 2019-01-11 2019-05-09 パイオニア株式会社 物体位置検出装置及び物体位置検出プログラム
JP2019144137A (ja) * 2018-02-21 2019-08-29 Juki株式会社 3次元計測装置、電子部品実装装置、及び3次元計測方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3279090B2 (ja) * 1994-09-09 2002-04-30 株式会社ニコン 照明装置および露光装置
US6291817B1 (en) * 1998-06-23 2001-09-18 Fuji Photo Optical Co., Ltd. Moire apparatus having projection optical system and observation optical system which have optical axes parallel to each other
WO2010004763A1 (ja) * 2008-07-11 2010-01-14 パナソニック株式会社 三次元形状計測装置、集積回路、および方法
US20140043610A1 (en) * 2012-08-07 2014-02-13 Carl Zeiss Industrielle Messtechnik Gmbh Apparatus for inspecting a measurement object with triangulation sensor
JP6430813B2 (ja) * 2014-12-25 2018-11-28 国立大学法人静岡大学 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
EP3203264A1 (en) * 2016-02-04 2017-08-09 Mettler-Toledo GmbH Method of imaging an object for tracking and documentation in transportation and storage
CN110050200B (zh) * 2016-11-10 2023-07-21 莱卡地球系统公开股份有限公司 激光扫描仪
CN108152802A (zh) * 2018-01-05 2018-06-12 山东理工大学 一种直升机载激光雷达三维姿态角补偿方法与装置
CN109274898B (zh) * 2018-08-08 2019-11-19 深圳市智像科技有限公司 文档图像智能采集方法、装置和系统
KR20200143049A (ko) * 2019-06-14 2020-12-23 주식회사 라이드로 라이다 광학 장치
JP2021012037A (ja) * 2019-07-03 2021-02-04 株式会社東芝 システム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329424A (ja) * 2002-05-14 2003-11-19 Mitsubishi Electric Corp 三次元形状計測装置
JP2015032182A (ja) * 2013-08-05 2015-02-16 シャープ株式会社 自律移動装置およびその制御方法
JP2019144137A (ja) * 2018-02-21 2019-08-29 Juki株式会社 3次元計測装置、電子部品実装装置、及び3次元計測方法
JP2019071117A (ja) * 2019-01-11 2019-05-09 パイオニア株式会社 物体位置検出装置及び物体位置検出プログラム

Also Published As

Publication number Publication date
US20210223022A1 (en) 2021-07-22
JP7297694B2 (ja) 2023-06-26

Similar Documents

Publication Publication Date Title
US10089789B2 (en) Coordinate measuring device with a six degree-of-freedom handheld probe and integrated camera for augmented reality
US9686532B2 (en) System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
JP5615416B2 (ja) レーザトラッカによる寸法データの自動計測
JP2014515826A (ja) リモートセンサと協働する六自由度レーザトラッカ
CN106153074B (zh) 一种惯性测量组合动态导航性能的光学标定系统和方法
EP3435028B1 (en) Live metrology of an object during manufacturing or other operations
EP2918967A1 (en) Method for monitoring linear dimensions of three-dimensional objects
JP2021113687A (ja) システム及び方法
JP7339629B2 (ja) 複数のレーザーガルバノスキャナを用いる空間曲線の共同位置決め投影システム、及び、その方法
WO2016025358A1 (en) A six degree-of-freedom triangulation scanner and camera for augmented reality
CN108226902A (zh) 一种面阵激光雷达测量系统
CN106443691A (zh) 一种基于数字微镜器件dmd的三维成像系统及成像方法
Wang et al. Modelling and calibration of the laser beam-scanning triangulation measurement system
CN103206926A (zh) 一种全景三维激光扫描装置
CN116067283A (zh) 一种深腔测量方法、装置、设备及介质
EP3706073A1 (en) System and method for measuring three-dimensional coordinates
Wallace et al. 3D imaging and ranging by time-correlated single photon counting
EP3988895B1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
FI113293B (fi) Menetelmä pisteen osoittamiseksi mittausavaruudessa
CN105333837A (zh) 三维扫描装置
Hong et al. 3D Scanning Embedded System Design
CN117146710B (zh) 基于主动视觉的动态投影三维重建系统及方法
KR101807371B1 (ko) 사진 측정 장치 및 방법
Matthias et al. Single image geometry inspection using inverse endoscopic fringe projection
WO2014203138A1 (en) Calibration of time-of-flight measurement using stray reflections

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220902

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230412

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230412

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230420

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230614

R151 Written notification of patent or utility model registration

Ref document number: 7297694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151