JP2014107867A - センサの位置合わせ用携帯端末機 - Google Patents

センサの位置合わせ用携帯端末機 Download PDF

Info

Publication number
JP2014107867A
JP2014107867A JP2013238752A JP2013238752A JP2014107867A JP 2014107867 A JP2014107867 A JP 2014107867A JP 2013238752 A JP2013238752 A JP 2013238752A JP 2013238752 A JP2013238752 A JP 2013238752A JP 2014107867 A JP2014107867 A JP 2014107867A
Authority
JP
Japan
Prior art keywords
sensor
image
terminal
light spot
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013238752A
Other languages
English (en)
Other versions
JP5749319B2 (ja
Inventor
Reinhard Heizmann
ハイツマン ラインハルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Publication of JP2014107867A publication Critical patent/JP2014107867A/ja
Application granted granted Critical
Publication of JP5749319B2 publication Critical patent/JP5749319B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • G01V8/12Detecting, e.g. by using light barriers using one transmitter and one receiver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Telephone Function (AREA)

Abstract

【課題】 光電センサの位置合わせを改善すること。
【解決手段】 端末機(100)、センサ(10)、および監視領域(18)内の物体(20)を検出するためのセンサ(10)の位置合わせ方法が提示される。この方法では、現在の位置合わせ状態を示す重畳画像が端末機(100)に表示され、重畳画像は監視領域(18)の少なくとも一部とセンサ(10)によって生成される光点(22)の位置の目標表示(116)とを示す。その際、センサ(10)は、監視領域(18)の視界画像を撮影し、視界画像内の光点(22)の位置を測定し、視界画像と位置とを端末機(100)に転送する。端末機(100)は、視界画像と位置とに基づいて重畳画像を生成しかつ表示する。
【選択図】 図1

Description

本発明は、請求項1、請求項7、および請求項13のプリアンブルにそれぞれ記載の、センサの位置合わせのための携帯端末機、監視領域内の物体を検出するための光電センサ、および携帯端末機を用いた検出のためのセンサの位置合わせ方法に関する。
多くの光電センサは、光線を投射し、その監視領域内の物体によって反射される自身の投光を評価する。このようなセンサでは、投光が物体上に生成する光点をセンサの目的に適した位置へ移動させる際に、非常に正確な位置合わせが要求される場合が多い。そのようにして、例えば、反射型光バリアがその反射器に向けて、またはデータ光バリアがその対向素子に向けて、また光格子では送信バーが受信バーに向けて位置合わせされ、距離スキャナでは測定対象の物体の探索やレーザ・スキャナの監視平面の設定が成される。
投光が十分に視認可能な光点を残せば、位置合わせを比較的容易に目視で行うことができる。しかし、遠方から光点を十分に認識できる程光点の強度が十分であるとは限らず、また、とりわけ多くのセンサが、例えば赤外領域または紫外領域の不可視光を利用している、という2つの理由により、そうではない場合が多い。
そのため、従来技術において多数の位置合わせ補助装置が知られている。ある従来の解決法では、センサが受信レベルを表示するとともに、可能であれば、位置感応型受光器を用いて、位置合わせを改善するためにセンサをどの方向に向けるべきかを指示する。光格子またはデータ光バリアにおけるような自己発光式の対向素子の場合には、受信強度に関するフィードバックを与えることができる。別の解決方法では、元々ある投光器に対して平行に可視光を発する追加のパイロット投光器、またはレチクル(十字線)を設けること等によって、光点をより見えやすくすることを試みている。さらに、固定された光線方向を前提とし、センサを実際の光点とは無関係に位置合わせすることが考えられる。これには、照門および照星を介したセンサの照準補助装置、または水準器の使用が役立ち得る。
これらの解決法の多くは、その時々のセンサタイプに特別に適合させなければならない。このため、センサの開発および製造のための費用が必要になる。それにもかかわらず、操作性が依然として限られている。
携帯無線装置について、それ自身のカメラでいわゆる拡張現実画像を表示することが知られている。この方法では、ライブ画像上に追加情報が融合される。この種の技術は、例えば住宅見学会または太陽光発電施設計画のために、任意に選択可能な一年中のある日の太陽軌道を表示する、というように応用されている。しかし、センサの位置合わせにこれを応用することは想定されておらず、適切ではない。
また、既知のカメラでは、選択可能な焦点領域が画像探索時に表示され、加えてその領域の一部が距離センサによって精確に測定される。しかし、これはせいぜいカメラ自体の位置合わせに役立つ程度であり、外部の光電センサの位置合わせの際には全く役に立たない。
したがって、本発明は、光電センサの位置合わせを改善することを課題とする。
この課題は、請求項1、請求項7、および請求項13にそれぞれ記載の、センサの位置合わせのための携帯端末機、監視領域内の物体を検出するための光電センサ、および携帯端末機を用いた検出のためのセンサの位置合わせ方法によって解決される。本発明は、位置合わせに必要なセンサの評価および表示を携帯端末機に担わせる、という基本思想に基づいている。このために、本発明は一方で、センサの視界画像および視界画像内の光点の位置をセンサから受信し、これらに基づいて、視界とセンサによって生成される光点の位置の目標表示との重畳画像を生成し、該画像において位置合わせ状態を可視化することができる携帯端末機を備えている。他方で、その視界画像および視界画像内の光点の位置を携帯端末機に供給するための付属のセンサが提示される。本明細書では、携帯端末機を、ノートパソコンまたはタブレット、および、特に携帯無線装置あるいはスマートフォンのような、最も広い意味での可搬式コンピュータとして理解することとする。
本発明には、センサの位置合わせが大幅に容易になるとともに、特殊なセンサについての特別な知識を必要としない、特に直感的で、操作性が良く、汎用性のある位置合わせ補助装置によって支援されるという利点がある。良好な使用感、高度な演算能力、および高解像度の表示は、センサによってではなく、端末機によって実現される。その時々の最新のハードウェアのこのような端末機は、大抵センサから独立して入手できる。センサはその演算能力および可視化機能の点で極めて簡素かつ低コストであり、そのまま長年にわたって使用し続けることができる一方、位置合わせ手段は最新の状態にできるので、使用者は、センサが古くなったと感じることなどなく、容易に素早く快適に操作することができる。使用者は、スマートフォンのような使い慣れた独自の端末を用いて位置合わせを行うことさえでき、未知の技術を習得する必要は全くない。携帯式の家庭用電子機器における進歩との理想的な相乗効果が生じ、この進歩をセンサの発展から分離して利用することができる。
好ましくは、端末機は、監視領域の追加の視界画像を撮影するための独自の画像センサを備えており、融合部が、その追加の視界画像にも基づいて重畳画像を生成するように構成されている。つまり、端末機は、独自のカメラを使用して独自の視界を撮影する。このカメラは大抵の携帯機に元々搭載されており、高性能および高分解能を有しているので、センサが使用者に供給する視界画像は良好でなくてもよい。このため、比較的低性能な、したがって安価な画像センサで間に合わせることができる。というのは、センサの視界画像は、端末機の独自のカメラによる追加の視界画像内の光点の位置を適合させるためのみに、そして場合によってはさらに、追加の視界画像の画像品質を空隙の充填または画像領域の妥当性確認によって向上させるためのみに使用されるからである。
端末機の画像センサが光点の波長に対して感度を有していない場合、共に示される光点の画像情報自体をセンサの視界画像から取り出してもよい。端末機は、追加の視界を撮影するために、センサとほぼ同じ視点で撮影しなければならない。しかし、好適な実施形態では、融合部が残存する視差を算出するので、これに関して過度の正確性が使用者に要求されることはない。
好ましくは、融合部は、追加の視界画像内の光点の位置を確定するために、センサの視界画像と独自の画像センサの追加の視界画像とを互いに一致させるように構成されている。最も単純な場合には、次のことが想定される。つまり、センサの視界画像の画像領域と端末機の独自の画像センサの追加の視界画像の画像領域とが互いに一致し、その結果、追加の視界画像において目標表示が重畳される位置と、センサがその独自の視界画像について確定した位置とがぴったり一致する。
移動、回転、および拡大縮小のような操作によって、センサの視界画像が端末機の画像センサの追加の視界画像に組み込まれることにより、両方の視界画像の整合性が著しく高まる。これは、例えば両方の視界画像の相関付けによって達成されるが、この相関付けを画像全体ではなく、画像内で選択された特徴部分または関心領域(ROI、region of interest)に限定することもできる。その後については、センサの視点を端末機の視点に変換し、この変換規則を利用して追加の視界画像内の正しい位置に目標表示を融合する操作が知られている。
端末の画像センサが光点の波長に対して感度を有していれば、画像処理によって直接光点の位置を特定することを試みることができる。その際に確定される光点の位置は、両方の視界画像を整合させる際の開始点として、あるいは妥当性確認のために使用することができる。
好ましくは、端末機は、姿勢および/または加速度センサを備えており、融合部は、端末機の方位および/または位置の変化を測定し、重畳画像への目標表示の融合の際にこの変化を考慮するように構成されている。この種のセンサは、多くの高価な携帯無線装置にとっては装備の一部となっている。これを用いれば、最初にセンサと端末機との間で位置および方位を調整し、それに基づいてその後の端末機の移動を積算することにより、センサに対する端末機の現在の視点についての情報を得ることができる。これにより、光点の位置を端末機の現在の位置および方位に換算することができる。
好ましくは、端末機は位置センサを備えており、融合部は、位置センサによって測定された端末機の位置を、重畳画像への目標表示の融合の際に考慮するように構成されている。例えば、位置検出はGPS、ガリレオ(欧州の全地球測位衛星システム)、または同等の、場合によっては外部または内部用の独自システムによっても行われる。位置センサが方位を検出しなければ、姿勢センサを追加してもよい。センサの位置および方位が分かっている場合(事実、これはセンサと端末機が物理的に接触している間に端末機の位置センサを用いてティーチングにより測定することができる)、検出された現在位置は、目標表示を重畳画像内の正しい位置に移動させるための別の選択肢である。
相関付けによる画像融合、姿勢および/または加速度センサによる、センサと端末機との間の経路の測定、および位置センサによる端末機の現在位置の測定は、センサおよび端末機の視点を互いに変換して重畳画像内に目標表示を正しく表示するための、3つの可能手段である。これらの手段を互いに組み合わせることによって、より正確な結果を得たり、エラーを発見したりすることができる。
好ましくは、融合部は、重畳画像からセンサの視点を逆算するように構成されている。この場合、端末機の画像センサのより高品質な追加の視界画像が表示されるが、これがあたかもセンサの視点から撮影されたかのように表示される。視差は、例えば前段落において要約した方法を用いて測定される。しかし、そのためには、センサと端末機の視点が大きく違っていてはならない。さもなければ、あまり適切ではない画像情報が使用されることになる。しかし、少なくとも、光点の位置に心合わせされたセンサの視界画像との重畳画像を表示することが可能であり、この重畳画像を、端末機の画像センサの画像情報を用いて、端末機の視点に応じて改善することができる。
本発明による、監視領域内の物体を検出するためのセンサは、物体に当たる際に、投光器を用いて、好適には可視スペクトル外の、または人間の目では見えない、またはほとんど認識できない程に、広がりが小さいあるいは低強度の投光を用いて光点を生成する。そうでなければ、人間が光点自体を位置合わせに直接利用することが可能であろう。センサは視界画像を撮影し、自身の視界画像に関して光点の位置を測定または認識し、本発明による端末機において使用するために視界画像および位置を出力する。センサは、例えば、距離スキャナまたは光バリア、特にデータ光バリアのような、単一光線システムである。しかし、レーザ・スキャナまたは光格子のような、他のセンサも考えられる。センサは位置合わせのためにわずかなハードウェア機器のみを必要とし、独自のディスプレイ・ドライバ、高価なディスプレイ、または高分解能の画像センサを必要とせず、しかも、全ての複雑な評価を端末内で行うことができるので、演算能力を実質的に必要としない。当然ながら、これにより、センサにもそのようなハードウェア機器が備えられることを除外するものではない。
好ましくは、光点位置確定部は、光点の位置を予め保存しておくための記憶装置を備えている。センサは、これを用いて自身に対する投光器の位置合わせ状態を認識し、それにより、視界画像を撮影するための自身の画像センサに対する位置合わせ状態をも認識する。この自身の位置合わせは、公差モデルによって簡単に確定することができるが、公差モデルでは、センサの型式によってそれ自身の位置合わせが確定されることが究極的に仮定される。その際に生じる公差をより正確に把握したい場合は、製造過程中または最終検査時のセンサ部品の調整の際に初期ティーチングを行うことも可能である。ここでは、専門家によって定義された周囲条件および標準化された方法が与えられているので、簡単で直感的な方法はそれほど重要ではない。これに対して、本発明が取り組む位置合わせは、好適にはセンサそのものではなく、センサの使用時の周囲に対する位置合わせに関する。
好ましくは、光点位置確定部は、画像処理を用いて光点の位置を確定するように構成されている。センサは、その物体検出の目的を果たすために、可視スペクトル外の投光においても必然的に光点を検出することができる。ただし、そのために、必ずしも画像センサを使用して視界画像を撮影しなければならないというわけではない。しかし、この画像センサが光点に対して感度を有している場合、画像処理によって、視界画像から端末機へ出力すべき量として要求される光点の位置を、センサ独自の視野について、つまりセンサの視界画像に対して決定することができる。
センサが距離測定を行うように設計されていれば、保存された、ティーチングされた、または測定された光点の位置は、さらにその時々の物体距離との依存関係を示すものであってもよい。つまり、個々の位置ではなく、距離に依存した関数が用意される。
好ましくは、センサは、インターフェースへの出力に向けて視界画像を準備するための前処理部を備えている。その場合、これには多少の内部演算能力が要求されるが、必要な帯域幅を低減する助けとなる。この種の前処理の例としては、圧縮、2値化、関心領域への限定、特に、光点または特徴的な物体、またはおそらく端末機の融合アルゴリズムから認識可能である画像の特徴部あるいは物体の縁部を有する領域への限定が挙げられる。
有利な発展形態では、本発明による光電センサを本発明による携帯端末機を用いて位置合わせするための配置が与えられている。その場合、センサおよび端末機のインターフェースは、好適には無線である。このために、Bluetooth、3G、LTE、WLAN、IR等のような、事実上全ての既知のおよび将来適用される規格が考慮の対象となる。携帯端末機にはもとより大抵多数のこの種のインターフェースが備えられているので、目的にかなった選択をセンサに対して行うことができる。
本発明による方法は、同様にさらなる特徴によって構成することができ、その際も同様の利点を発揮する。このようなさらなる特徴は、完結的ではなく例示的に、独立請求項に続く従属請求項に記載されている。
以下では本発明を、実施例に基づき、添付図面を参照しながら、さらなる利点および特徴の観点も含めて説明する。
センサおよびセンサの位置合わせを補助するための端末機の概略図である。 図1による端末機に表示された、センサの視界とセンサの光点の目標表示との重畳画像の例である。 端末機に表示された重畳画像のさらなる例である。 端末機に表示された重畳画像のさらなる例である。
図1は、センサ10およびセンサ10の位置合わせを補助するための端末機100の概略図である。図示のセンサ10は、光伝播時間の原理に従った単一光線の距離センサ形式のレーザ測定装置である。しかし、本発明による位置合わせは、具体的なセンサ原理またはセンサ構造に依存しないので、このタイプのセンサを単に例示的なものとして理解するべきである。つまり、距離スキャナの代わりに、導入部でそのいくつかを挙げた他のセンサ、特に、三角測量原理に従った距離スキャナ、光バリア、データ光バリア、レーザ・スキャナ、または光格子も考慮の対象となる。
センサ10は、光源12、例えばレーザ・ダイオードまたはLEDを用いて、投射光学系14を介して、投射光線16を監視領域18内へ投射する。多くの場合、センサ10は、人間の目には見えない波長を利用するので、物体20に衝突した際に発生する光点22を裸眼で認識することはできない。物体20に当たって拡散反射される光は、受光光学系24を介して受光器26上に入射する。その際、投光器12の光軸と受光器26の光軸との間の位置ずれは、図示上は比較的大きく見えるが、これは実用においてはほとんど問題とならない。加えて、スプリッタ・ミラーを備えたオート・コリメーション配置のような、投光器12および受光器26の他の既知の配置原理も考えられる。
センサはさらに、投光器12と受光器26とに接続された制御評価部28を含んでいる。受光器26によって生成される受光信号は評価部28へ導かれ、評価部28は、その受光信号から、既知の方法で投射光線16の投射と拡散反射光の記録との間の光伝播時間を測定することによって、物体20までの距離を測定する。2値の物体検出信号のような、他の評価も可能である。評価結果は、評価部28によって出力30に供給される。
前記センサ機能は、センサ10が所望の監視領域18上に位置合わせされるということに基づいている。例えば、投射光線16は、監視領域18内に物体がなければ不図示の反射器に当たる。
センサ10は、位置合わせを支援するために、評価部28を用いて監視領域18の視界画像を、好適には無線であるインターフェース32へ出力する。この視界画像は、画像センサとして構成された受光器26によって生成される。あるいは、センサ10に2つの個別の受光器、すなわち、視界画像撮影用の画像センサおよび物体検出用の受光器を設けてもよい。
評価部28は、さらなる情報として、視界画像内の光点の位置をインターフェース32へ出力する。評価部はこのために光点位置確定部34を備えている。これは、最も単純な場合には、センサ10の型式に依存する光点位置のための単なる記憶装置であって、この光点位置が個別のセンサ10にも採用される。代替として、光点位置は、製造または最終検査の枠内のティーチング工程において保存され、または画像処理によって視界画像から測定される。光点位置確定部は、位置に加えて、光点の形状またはサイズを測定および出力することができる。
端末機100、例えばスマートフォンは、目に見える部品として例示的に2つの操作ボタン102とディスプレイ104とを含んでいる。プロセッサ106は操作ボタン102での入力を評価し、ディスプレイ104に対して必要なデータを生成する。無線インターフェース108を介して、センサ10の視界画像および光点位置を受信することができる。オプションとして、端末機100には独自のセンサが設けられる。これには、自身のカメラ110および姿勢、移動、または/および位置センサ112が含まれる。端末機100の内部または裏側に位置する要素は破線で示されている。
融合部114は、センサ10の情報、およびいくつかの実施形態ではこれに加えて自身のセンサ110、112の情報をつなぎ合わせて、物体20および目標表示116を有するセンサ10の視界の重畳画像を得る。この重畳画像は、センサ10の光点22の位置に基づいた現在の位置合わせ状態を使用者に対して可視化するために、ディスプレイ104に表される。
端末機100の装備、センサ10によって供給される視界画像の品質、および光点位置の精度によっては、様々な実施形態が考えられるが、以下ではこれらをディスプレイ104に表示された例示的な重畳画像に基づいて説明する。その際、物体20としてそれぞれ反射器が示されるが、これは例示のために過ぎず、本発明をこの例に限定するものではない。
図2は、端末機100がセンサ10のディスプレイとしてのみ使用される実施形態のディスプレイを示している。光点位置確定部34は、公差モデルを介して光点位置の信頼領域を決定するが、この公差モデルは、投光器12の光軸と受光器26の光軸との内部公差、および、受光器26に画像センサと受光器という2つの構成要素が設けられている場合には両者の内部公差をも考慮している。さらに、この公差モデルを距離補正することもできる。この実施形態によれば、センサ10は測定とは無関係に光点位置を認識する。融合部はセンサ10の視界画像に目標表示を重畳する。図では、光点の位置および信頼領域を可視化した円形である目標表示が重畳されている。
図3は、同様の実施形態のディスプレイを示しているが、本実施形態では、光点位置が正確に分かっており、したがってより的確な目標表示によって強調表示されている。つまり、公差モデルの代わりに、光点22の位置、形状、およびサイズを、製造時または最終検査における調整の際に、視界画像に合わせて調整することができる。例えば、センサ10は、20mのような決められた距離にある光点が視界画像内で中心になるように補正される。さらなる代替手段として、光点位置確定部34が画像処理を用いて光点の視界画像内の位置を特定する。このためには、そもそも視界画像が光点22のスペクトルを認識できなければならず、加えて十分なコントラストを備えている必要がある。これらの全ての場合において、公差モデルによって予測された信頼領域内のみの場合に比べて、光点位置をより正確に知ることができる。
図4は、改善された重畳画像のディスプレイを示している。この改善のために、センサ10の視界画像が直接表示されるのではなく、概して基本的により高品質であり高分解能である端末機100自身のカメラ110の視界画像が表示されている。融合部114は、センサ10の視界画像および自身の視界画像から、相関付けによって融合画像を決定、つまり両方の画像を組み合わせる。これにより、センサ10の視界画像に関してセンサ10によって供給される光点位置を、端末機100の視界画像に関する光点位置に換算するための変換規則が決定される。図4は、破線の長方形118を用いて、そのようにして見出される端末機100の視界画像内のセンサ10の視界画像の境界を示している。相関付けが成功し得るには、視界画像の画像が十分に重複するとともに、可能であれば、視点がある程度一致していなければならない。
融合部114は、変換規則に基づいて、端末機100自身のカメラで撮影した視界画像内の正しい位置に目標表示116を融合させる。端末機100のカメラ110は光点22の波長に対して全く感度を有していない場合には、追加的にセンサ10の視界画像からの画像情報、例えば光点22自体を、重畳画像に移すこともできる。
相関付けの準備を行うとともに、インターフェース32、108への転送の帯域幅要件を低減するために、センサ側で予め前処理を行うことができる。このために、例えば、センサ10の視界画像が、評価部28によって圧縮、2値化、縁部またはその他の画像上の特徴部の検出が行われ、または関心領域が定義される。その場合、相関付けが変換規則の決定にとって重要である情報に限定される。
両方の画像の相関付けにより、センサ10および端末機100の異なる視点を補償することが可能となり得る。代替または追加として、端末機100のさらなる情報を参照し、さらに確かなシステムを得ることができる。
このために、初期の参照用として、端末機100およびセンサ10を互いに対して定義された位置へ移動させ、例えば、端末機100をセンサ10に当接させる。この位置が0点位置として定義あるいは端末機にティーチングされる。端末機100の引き続きの移動は、姿勢および/または加速度センサ112によって測定される、その都度の姿勢変化および/または加速の積分によって追跡される。このように、その後もセンサ10に関する現在位置が端末機に認識され、視点の変化を重畳画像の生成の際に考慮することができる。このような相対的位置決めの代替として、例えばGPSまたはガリレオのようなシステムに基づく絶対位置センサ112が使用される。その位置と初期位置とを比較した結果に基づいても、同様に端末機100のセンサ10に対する相対位置および方位を測定し、視点の変化を重畳画像の融合に反映させることができる。
重畳画像が絶えず更新、つまりライブ画像のように可能な限り待ち時間無く表示されれば、使用者にとっては快適である。しかし、演算の多いリアルタイム処理を用いないスナップショット操作も考えられる。これにもまた利点がある。例えば、演算能力に対する要求を低減し、揺れおよびブレを防ぎ、使用者が端末機を自身の前に置き、両手を自由に使ってセンサを新たに位置合わせすることができ、また、インターフェース32、108における帯域幅不足を防ぐことができる。
ディスプレイ104とセンサ10とが分離されていることから、センサ10の方位を変更するために端末機を介してセンサ10のアクチュエータまたは保持具を制御することによって、接近不能なセンサ10を位置合わせすることも原理的に可能である。

Claims (15)

  1. 現在の位置合わせ状態を示す重畳画像を示すためのディスプレイ(104)を備えた、センサ(10)の位置合わせのための携帯端末機(100)であって、前記重畳画像が、前記センサ(10)の監視領域(18)の視界画像および前記センサ(10)によって生成される光点(22)の位置の目標表示(116)に基づいており、
    前記端末機(100)が、該端末機(100)の外部にある前記センサ(10)から前記視界画像および前記視界画像内の前記光点(22)の位置に関する情報を受信するためのインターフェース(108)と、前記重畳画像を生成するための融合部(114)とを備えていることを特徴とする、端末機(100)。
  2. 前記監視領域(18)の追加の視界画像を撮影するための独自の画像センサ(110)を備え、
    前記融合部(114)が、前記追加の視界画像にも基づいて前記重畳画像を生成するように構成されている、請求項1に記載の端末機(100)。
  3. 前記融合部(114)が、前記追加の視界画像内の前記光点(22)の位置を確定するために、前記センサ(10)の前記視界画像と前記独自の画像センサ(110)の前記追加の視界画像とを互いに一致させるように構成されている、請求項2に記載の端末機(100)。
  4. 姿勢および/または加速度センサ(112)を備え、
    前記融合部(114)が、前記端末機(100)の方位および/または位置の変化を測定し、前記重畳画像への前記目標表示(116)の融合の際に前記方位および/または位置の変化を考慮するように構成されている、請求項1から3のいずれか一項に記載の端末機(100)。
  5. 位置センサ(112)を備えており、
    前記融合部(114)が、前記位置センサ(112)によって測定される前記端末機(100)の位置を、前記重畳画像への前記目標表示(116)の融合の際に考慮するように構成されている、請求項1から4のいずれか一項に記載の端末機(100)。
  6. 前記融合部(114)が、前記重畳画像から前記センサ(10)の視点を逆算するように構成されている、請求項1から5のいずれか一項に記載の端末機(100)。
  7. 物体(20)に当たる際に光点(22)を生成する光信号(16)を投射するための投光器(12)と、監視領域(18)の少なくとも一部の視界画像を撮影するための画像センサ(26)と、前記視界画像内の前記光点(22)の位置を確定するための光点位置確定部(34)とを備えた、前記監視領域(18)内の前記物体(20)を検出するための光電センサ(10)であって、
    前記センサ(10)が、前記視界画像と前記光点(22)の位置とを出力するためのインターフェース(32)を備えていることを特徴とする、センサ(10)。
  8. 前記光点位置確定部(34)が、前記光点(22)の位置を予め保存しておくための記憶装置を備えている、請求項7に記載のセンサ(10)
  9. 前記光点位置確定部(34)が、画像処理を用いて前記光点(22)の位置を確定するように形成されている、請求項7または8に記載のセンサ(10)。
  10. 前記インターフェース(32)への出力に向けて前記視界画像を準備するための前処理部(28)を備えている、請求項7から9のいずれか一項に記載のセンサ(10)。
  11. 請求項1から6のいずれか一項に記載の携帯端末機(100)を用いて、請求項7から10のいずれか一項に記載の光電センサ(10)を位置合わせするための配置。
  12. 前記センサ(10)の前記インターフェース(32)および前記端末機(100)の前記インターフェース(108)が、無線インターフェース(32、108)である、請求項11に記載の配置。
  13. 監視領域(18)内の物体(20)を検出するためのセンサ(10)の位置合わせ方法であって、現在の位置合わせ状態を示す重畳画像が端末機(100)に表示され、該重畳画像が、前記監視領域(18)の少なくとも一部と前記センサ(10)によって生成される光点(22)の位置の目標表示(116)とを示すような方法において、
    前記センサ(10)が、前記監視領域(18)の視界画像を撮影し、前記視界画像内の前記光点(22)の位置を確定し、前記視界画像と前記位置とを前記端末機(100)に転送し、前記端末(100)が、前記視界画像と前記位置とに基づいて前記重畳画像を生成および表示することを特徴とする、方法。
  14. 前記端末機(100)が、前記監視領域(18)の追加の視界画像を撮影し、前記追加の視界画像内の前記光点(22)の位置を確定するために、前記センサ(10)の前記視界画像と前記追加の視界画像とを互いに一致させ、前記端末機(100)がさらに前記目標表示(116)が重畳された前記追加の視界画像を重畳画像として表示する、請求項13に記載の方法。
  15. 前記端末機(100)が、第一の時点において、前記センサ(10)に対して既知の位置および方位に移動され、姿勢、加速度、および/または位置センサ(112)のデータに基づいて、第二の時点における前記センサ(10)に対する位置および方位が測定され、それにより、前記端末機(100)の移動によって前記第一の時点と前記第二の時点との間に生じた視点の変化が、前記重畳画像への前記目標表示(116)の融合の際に考慮される、請求項13または14に記載の方法。
JP2013238752A 2012-11-23 2013-11-19 センサの位置合わせ用携帯端末機 Active JP5749319B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012111345.9A DE102012111345B4 (de) 2012-11-23 2012-11-23 Mobiles Handgerät zur Ausrichtung eines Sensors
DE102012111345.9 2012-11-23

Publications (2)

Publication Number Publication Date
JP2014107867A true JP2014107867A (ja) 2014-06-09
JP5749319B2 JP5749319B2 (ja) 2015-07-15

Family

ID=50678862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013238752A Active JP5749319B2 (ja) 2012-11-23 2013-11-19 センサの位置合わせ用携帯端末機

Country Status (2)

Country Link
JP (1) JP5749319B2 (ja)
DE (1) DE102012111345B4 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020204552A (ja) * 2019-06-18 2020-12-24 株式会社ミツトヨ 測定装置
WO2021021869A1 (en) * 2019-07-30 2021-02-04 Brain Corporation Systems and methods for calibrating nonvisible light emitting sensors using alignment targets

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2985636B1 (de) 2014-08-11 2018-07-25 Leuze electronic GmbH + Co KG Verfahren zum Ausrichten einer Sensoreinrichtung
DE102019110674A1 (de) * 2019-04-25 2020-10-29 Carl Zeiss Optotechnik GmbH Verfahren zur Bereitstellung eines visuellen Feedbacks
DE102019122736A1 (de) * 2019-08-23 2021-02-25 Sick Ag System und Ausrichtverfahren mit einem System
DE202020106491U1 (de) 2020-11-12 2022-02-16 Sick Ag Visualisieren eines Schutzfeldes
DE102020129823B4 (de) 2020-11-12 2022-07-07 Sick Ag Visualisieren eines Schutzfeldes
DE202021105534U1 (de) 2021-10-13 2022-08-24 Leuze Electronic Gmbh + Co. Kg Sensoranordnung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0356094U (ja) * 1989-09-19 1991-05-29
WO2004036145A1 (de) * 2002-10-12 2004-04-29 Leica Geosystems Ag Elektronische anzeige- und steuervorrichtung für ein messgerät

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202007000327U1 (de) * 2007-01-10 2007-04-12 Sick Ag Optoelektronischer Scanner

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0356094U (ja) * 1989-09-19 1991-05-29
WO2004036145A1 (de) * 2002-10-12 2004-04-29 Leica Geosystems Ag Elektronische anzeige- und steuervorrichtung für ein messgerät

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020204552A (ja) * 2019-06-18 2020-12-24 株式会社ミツトヨ 測定装置
JP7408303B2 (ja) 2019-06-18 2024-01-05 株式会社ミツトヨ 測定装置
WO2021021869A1 (en) * 2019-07-30 2021-02-04 Brain Corporation Systems and methods for calibrating nonvisible light emitting sensors using alignment targets

Also Published As

Publication number Publication date
JP5749319B2 (ja) 2015-07-15
DE102012111345B4 (de) 2019-03-28
DE102012111345A1 (de) 2014-05-28

Similar Documents

Publication Publication Date Title
JP5749319B2 (ja) センサの位置合わせ用携帯端末機
US9175975B2 (en) Systems and methods for navigation
US8153972B2 (en) Infrared camera for locating a target using at least one shaped light source
US20170280132A1 (en) System and method of acquiring three-dimensional coordinates using multiple coordinate measurment devices
EP2634747A1 (en) A method and system for projecting a visible representation of infrared radiation
EP2635022A1 (en) A method and system for performing alignment of a projection image to detected infrared (IR) radiation information
US10962631B2 (en) Method for operating a laser distance measuring device
EP3628968B1 (en) Survey data processing device, survey data processing method, and survey data processing program
US10397565B2 (en) Imaging device with alignment analysis
US10298858B2 (en) Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device
KR20120105761A (ko) 외부 환경 가시화 장치 및 그 방법
US11448768B2 (en) Method for operating a laser distance measuring device
JPWO2018038152A1 (ja) ガス計測システム及びガス計測プログラム
US10724860B2 (en) Surveying device and survey system
US11226404B2 (en) Method for operating a laser distance measurement device
US10591603B2 (en) Retroreflector acquisition in a coordinate measuring device
JP7335899B2 (ja) 測定システム、測定装置、測定方法、及びプログラム
JP5543870B2 (ja) カメラ、カメラの制御方法、及びプログラム
JP2009031206A (ja) 位置測定装置
JP6227395B2 (ja) 三次元測定システム、三次元測定方法、被測定体、および、位置検出装置
US11727655B1 (en) Systems and methods for synchronizing the scanning of a scene with the viewing of the scan results relative to a live view of the scene
KR101618626B1 (ko) 회절광학소자를 이용한 거리측정기 및 그 거리측정방법과, 거리측정이 가능한 휴대용 디바이스
EP4024339A1 (en) Automatic registration of multiple measurement devices
JP2005156356A (ja) 被写体距離測定表示装置および携帯端末装置
CN116997930A (zh) 成像设备、成像方法和信息处理设备

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150513

R150 Certificate of patent or registration of utility model

Ref document number: 5749319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250