JP2019007938A - 位置検出をグラフィカル表現にマッピングするための方法、装置およびシステム - Google Patents

位置検出をグラフィカル表現にマッピングするための方法、装置およびシステム Download PDF

Info

Publication number
JP2019007938A
JP2019007938A JP2018057363A JP2018057363A JP2019007938A JP 2019007938 A JP2019007938 A JP 2019007938A JP 2018057363 A JP2018057363 A JP 2018057363A JP 2018057363 A JP2018057363 A JP 2018057363A JP 2019007938 A JP2019007938 A JP 2019007938A
Authority
JP
Japan
Prior art keywords
scene
positioning device
graphical representation
calibration
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018057363A
Other languages
English (en)
Other versions
JP6917936B2 (ja
JP2019007938A5 (ja
Inventor
アラス パパデリス,
Papadelis Aras
アラス パパデリス,
ペータル ヘンリクソン,
Henricsson Peter
ペータル ヘンリクソン,
ミーケル ヨーランソン,
Goransson Mikael
ミーケル ヨーランソン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of JP2019007938A publication Critical patent/JP2019007938A/ja
Publication of JP2019007938A5 publication Critical patent/JP2019007938A5/ja
Application granted granted Critical
Publication of JP6917936B2 publication Critical patent/JP6917936B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04Systems determining presence of a target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04Display arrangements
    • G01S7/06Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/886Radar or analogous systems specially adapted for specific applications for alarm systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/295Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4004Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026Antenna boresight
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

【課題】測位装置で検出されたシーン内のオブジェクトの位置検出をシーンのグラフィカル表現にマッピングする変換関数を生成するための方法、装置およびシステムを提供する。【解決手段】測位装置によって検出された位置を、測位装置およびシーンのグラフィカル表現のための地理座標系への事前の参照を必要とせずに、監視されるシーンのグラフィカル表現にマッピングすることを可能にする。したがって、事実上あらゆるタイプの画像を、手描きのスケッチでさえ、シーンのグラフィカル表現として使用することができる。【選択図】図2

Description

本発明は、位置検出をグラフィカル表現にマッピングする分野に関する。詳細には、本発明は、測位装置で検出されたシーン内のオブジェクトの位置検出をシーンのグラフィカル表現にマッピングする変換関数を生成するための方法、装置およびシステムに関する。
レーダ装置および光検出と測距(LIDAR)装置などの測位装置が、典型的には、オブジェクトまでの距離および測位装置に対するオブジェクトの速度を測定するために使用される。測位装置は、航空地上交通管制、天文学、防空システム、対ミサイルシステム、海洋用途、自律車両における障害物検出などの、様々な地上、空中、その他のモバイル用途分野において見出され得る。最近では、このような測位装置は、駐車場、ショッピングモール、または屋外屋内両方の、監視が必要な他のエリアでオブジェクトを検出するなどの、非軍事的な監視およびモニタリングアプリケーションにも使用できることが判明している。そのような監視用途では、測位装置は、セキュリティオペレータが、移動するオブジェクトを検出し、これらの検出されたオブジェクトまでの距離を測定する際の助けとなる。
モバイル測位装置にトランシーバを装備して、検出されたオブジェクトの位置をジオリファレンスするためのフレームワークを提供し、ジオリファレンスされた地図に表示された場所に検出情報を容易に関連付けるために、例えば、測位装置のGPS座標などの全球測位衛星システム(GNNS)規格に従って、測位装置のジオロケーションを記録することが一般的である。しかし、通常、固定位置にしっかりと取り付けられている監視装置に測位装置を組み込む場合には、このようなトランシーバを追加することは、それが意味する監視装置のコストおよび複雑さの増加のために稀である。
しかしながら、測位装置を含む監視装置またはシステムを管理するセキュリティオペレータが、検出されたオブジェクトの位置を、監視されたシーンのグラフィカル表現におけるロケーションに関連付けることができることが、依然として必要とされている。さらに、モニタリングおよび監視アプリケーションにおける監視エリアのグラフィカル表現は、ジオロケーションに参照されないことがある。ジオリファレンスされた地図や画像は、適切な分解能では利用できなかったり、または最新のインテリアデザインや屋外風景で更新されないことが多い。その代わりに、典型的にはジオリファレンスされていない画像、図面または青写真が、セキュリティオペレータの助けとして使用されることがある。
したがって、測位装置で検出されたシーン内のオブジェクトの位置検出をシーンのグラフィカル表現にマッピングするためのさらなる改良が必要である。
そこで、上記の観点から、本発明の目的は、測位装置で検出されたシーン内のオブジェクトの位置検出をシーンのグラフィカル表現にマッピングする変換関数を生成するための改良された方法、装置、およびシステムを提供することである。
本発明の第一の態様によれば、上記目的は、測位装置で検出されたシーン内のオブジェクトの位置検出をシーンのグラフィカル表現にマッピングする変換関数を生成するための監視装置における方法によって達成され、この方法は、シーン内の第1のキャリブレーション位置に位置しているオブジェクトの第1の位置を、測位装置で検出することであって、検出された第1の位置は、測位装置の位置に対する位置である、検出することと、シーンのグラフィカル表現における第1のキャリブレーション位置を表す画像座標の第1のセットを受け取ることと、第1のキャリブレーション位置に対応する、受け取られた画像座標の第1のセットと、測位装置によって検出された第1の位置とを、メモリに格納することと、シーン内の第2のキャリブレーション位置に位置しているオブジェクトの第2の位置を、測位装置で検出することであって、検出された第2の位置は、測位装置の位置に対する位置である、検出することと、シーンのグラフィカル表現における第2のキャリブレーション位置を表す画像座標の第2のセットを受け取ることと、第2のキャリブレーション位置に対応する、受け取られた画像座標の第2のセットと、測位装置によって検出された第2の位置とを、メモリに格納することと、第1のキャリブレーション位置に対応する、格納された画像座標の第1のセットおよび測位装置で検出された第1の位置を、第2のキャリブレーション位置に対応する、格納された画像座標の第2のセットおよび測位装置で検出された第2の位置と比較することによって、測位装置からの位置検出をシーンのグラフィカル表現におけるロケーションにマッピングする変換関数を生成することと、を含む。
このようにして、測位装置からの位置検出を監視されたシーンのグラフィカル表現内のロケーションにマッピングするための変換関数が生成される。このキャリブレーション方法は、事前の地理座標系の参照が、測位装置にもシーンのグラフィカル表現にも必要でないという利点を有する。これは、監視装置に必要な構成要素が少なくて済むので、監視装置およびシステムの技術的な複雑さおよびコストを単純化する。それはまた、シーンのグラフィカル表現として事実上あらゆるタイプの画像を使用でき、手描きのスケッチをスキャンして、シーンの表現として使用することもできることを意味する。さらに、シーンのレイアウトが更新されると、例えば、新しい木もしくは低木が植えられた場合、または新しい駐車スペースが駐車場に追加された場合、シーンのグラフィカル表現の新しいバージョンが、容易に作成され、監視装置とシステムに格納することができる。
本発明の第1の態様による方法はまた、シーンのグラフィカル表現の中に容易に認識できるランドマークに対応する第1および第2のキャリブレーション位置をオペレータが自由に選ぶことができるので、キャリブレーションを実行するためのユーザフレンドリーで時間効率の良い方式を提供する。シーンのグラフィカル表現の中に容易に認識され見出されるキャリブレーション位置を選択することにより、マッピングの精度も改善される。
本方法の一変形形態によれば、シーンのグラフィカル表現における第1のキャリブレーション位置を表す画像座標の第1のセットを受け取ることは、グラフィカル表現における第1のキャリブレーション位置を表す第1のロケーションを要求することに応答して実行され、シーンのグラフィカル表現における第2のキャリブレーション位置を表す画像座標の第2のセットを受け取ることは、グラフィカル表現における第2のキャリブレーション位置を表す第2のロケーションを要求することに応答して実行される。
これは、キャリブレーションを実行する人の観点から、キャリブレーションプロセスをさらに改善する。シーンのグラフィカル表現における第1および第2のキャリブレーション位置を表すロケーションをさらに要求することにより、キャリブレーションを行う人がキャリブレーションプロセスを通じて時間効率の良い方法で案内される。
本発明のさらなる実施形態では、第1のキャリブレーション位置を表す第1のロケーションを要求することは、ユーザに、シーンのグラフィカル表現を表示する測位装置のグラフィカルユーザインターフェース内の第1のロケーションをマーキングするように要求することを含み、第2のキャリブレーション位置を表す第2のロケーションを要求することは、ユーザに、シーンのグラフィカル表現を表示する測位装置のグラフィカルユーザインターフェース内の第2のロケーションをマーキングするように要求することをさらに含む。
シーンのグラフィカル表現を表示する測位装置のグラフィカルユーザインターフェース内のロケーションをマーキングするようにユーザに要求することの追加は、キャリブレーションを実行する人の観点からキャリブレーションプロセスをさらに改善する。シーンのグラフィカル表現を表示する測位装置のグラフィカルユーザインターフェース内のロケーションをマーキングすることによって、ロケーションは、シーンのグラフィカル表現を使用して、容易に識別することができ、ユーザは、ロケーションを表す数値を扱う必要はなく、あるいは使用する座標系のタイプなどを気にする必要はない。
第1および第2のキャリブレーション位置でそれぞれ検出されたオブジェクトは、移動可能なオブジェクトであってもよく、本発明は、測位装置を使用して、シーン内の移動可能なオブジェクトを第1および第2のキャリブレーション位置までそれぞれ追跡することをさらに含むことができる。
移動可能なオブジェクトを第1および第2のキャリブレーション位置まで追跡することの利点は、これがキャリブレーションプロセス中のシーンに関する要件を緩和することである。移動可能なオブジェクトをキャリブレーション位置まで追跡することによって、キャリブレーション位置の識別を妨害することなくキャリブレーションプロセス中のシーン内に他の移動可能なオブジェクトも存在することができる。したがって、これにより、キャリブレーション中のシーン内の条件の要件が緩和され、キャリブレーションプロセスの時間効率およびユーザフレンドリーさが改善される。
本発明による方法は、測位装置を使用して、移動可能なオブジェクトをシーン内の所定の位置から第1および第2のキャリブレーション位置の少なくとも1つまで追跡することをさらに含むことができる。
移動可能なオブジェクトがその位置から追跡される、シーン内の所定の位置を有することにより、追跡すべき移動可能なオブジェクトの識別の信頼性がさらに向上し、第1および第2のキャリブレーション位置を見つけるためにどの移動可能なオブジェクトを追跡すべきかを識別することが容易になる。
所定の位置は、測位装置に近接した位置であってもよい。
所定の位置として測位装置の位置を使用する利点は、それが、事実上すべてのモニタリングおよび監視システムで一般的であり見つけやすい位置であることである。
シーン内の移動可能なオブジェクトは、本発明のさらなる実施形態では、それがたどる軌跡を所定のパターンと比較することによって識別されてもよい。
これは、第1および第2のキャリブレーション位置まで追跡すべき移動可能なオブジェクトを識別する別の方法を提供する。第5の実施形態に関連して述べられている同じ利点が、本発明の第7の実施形態にも当てはまる。
測位装置は、レーダ装置またはLIDAR(光検出と測距)装置のいずれかであってもよい。レーダ装置およびLIDAR装置は、実証された信頼性とともにシーン内のオブジェクトの位置および速度を検出することができる多用途の測位装置であり、さらに、これらの装置で検出された反射信号の強度は、検出されたオブジェクトの大きさに関連するオブジェクト分類に使用されてもよい。これらの装置には、ビデオ解析に基づく多くの監視システムに当てはまる、シーン内の、例えば影のような照明人工物に起因する誤ったオブジェクト検出の傾向がない。
本発明のさらなる実施形態では、シーン内の第1のキャリブレーション位置に位置しているオブジェクトの第1の位置を検出することは、以前に検出された2つの位置からオブジェクトの位置を外挿することによってオブジェクトの理論的位置を推定することと、オブジェクトの推定された理論的位置とオブジェクトの検出された位置の加重平均を計算することと、を含むことができる。
以前に検出された位置におけるオブジェクトの検出された速度を使用して、以前に検出された位置からオブジェクトの位置を外挿することによってオブジェクトの第1の位置を検出する利点は、位置検出における分解能が改善され得ることである。
シーンのグラフィカル表現は、図面、技術図面、画像、航空画像、衛星画像、地図、監視カメラからの画像のうちの1つとすることができる。したがって、シーンのグラフィカル表現として、多種多様な画像タイプを使用することができ、これは、シーンのグラフィカル表現のフォーマットの要件を緩和し、さらに、セキュリティオペレータがシーンのグラフィカル表現を更新および処理することを容易にする。
本発明による方法は、シーンのグラフィカル表現における2つのロケーションの地理的経度および緯度座標の2つのセット、または代替として、シーンのグラフィカル表現における1つのロケーションの地理的経度および緯度座標の1つのセットならびにシーンのグラフィカル表現におけるコンパス方位を受け取ることを、さらに含むことができる。これは、生成された変換関数を使用してシーンのグラフィカル表現における任意のロケーションの地理的経度および緯度座標を計算することができる、という利点を追加する。したがって、測位装置によって行われる位置検出は、シーンのグラフィカル表現においてマーキングされるだけでなく、地理的経度および緯度座標でタグ付けされてもよい。これはさらに、別々の検出セクタを有するいくつかの測位装置からの位置検出を調整する可能性を追加する。
本方法は、シーンのグラフィカル表現を含むファイルをアップロードするユーザからシーンのグラフィカル表現を受け取ることを、さらに含むことができる。
これは、シーンの正確なグラフィカル表現で監視装置を構成および更新するための使い易い方法を提供する。さらに、それは、シーンのグラフィカル表現として多種多様な画像を使用することができることを保証する方法を提供する。
本発明による方法は、シーンのグラフィカル表現を含むファイルをアップロードするユーザからシーンのグラフィカル表現を受け取ることに関して、前述したものの代替として、ネットワーク接続された装置の画像リポジトリにシーンのグラフィカル表現を要求することに応答してシーンのグラフィカル表現を受け取ることを、含むことができる。
ネットワーク接続された装置の画像リポジトリからシーンのグラフィカル表現を受け取ることにより、カメラによってキャプチャされた画像を使用することができる。
第2の態様によれば、本発明は、測位装置で検出されたシーン内のオブジェクトの位置検出をシーンのグラフィカル表現にマッピングする変換関数を生成するための監視装置に関する。本発明の第2の態様による監視装置は、シーン内の監視されているオブジェクトの位置を測位装置の位置に対する相対位置として検出するように構成された測位装置であって、検出された位置の1つが、シーン内の第1のキャリブレーション位置に位置しているオブジェクトに対応し、検出された位置の別の1つが、シーン内の第2のキャリブレーション位置に位置しているオブジェクトに対応する、測位装置と、シーンのグラフィカル表現における第1のキャリブレーション位置を表す画像座標の第1のセットと、シーンのグラフィカル表現における第2のキャリブレーション位置を表す画像座標の第2のセットとを受け取るように構成された受け取りユニットと、第1のキャリブレーション位置に対応する、受け取られた画像座標の第1のセット、および測位装置によって検出された第1の位置、ならびに第2のキャリブレーション位置に対応する、受け取られた画像座標の第2のセット、および測位装置によって検出された第2の位置を格納するように構成されたメモリと、第1のキャリブレーション位置に対応する、格納された画像座標の第1のセットおよび測位装置によって検出された第1の位置を、第2のキャリブレーション位置に対応する、格納された画像座標の第2のセットおよび測位装置によって検出された第2の位置と比較することによって、測位装置からの位置検出をシーンのグラフィカル表現におけるロケーションにマッピングする変換関数を生成するように構成されたキャリブレーションユニットと、を備える。本発明の第1の態様に関連して述べた利点は、本発明のこの第2の態様にも適用可能であり、類似の実施形態が適用されてもよい。
第3の態様によれば、本発明は、測位装置で検出されたシーン内のオブジェクトの位置検出をシーンのグラフィカル表現にマッピングする変換関数を生成するためのシステムに関する。本発明の第3の態様によるシステムは、本発明の第2の態様による監視装置と、インストール装置とを備え、インストール装置は、シーンのグラフィカル表現を表示する監視装置のグラフィカルユーザインターフェースと、シーンのグラフィカル表現における第1のキャリブレーション位置を表す画像座標の第1のセットおよびシーンのグラフィカル表現における第2のキャリブレーション位置を表す画像座標の第2のセットに対応するユーザ入力を受け取るように構成されたユーザ入力手段と、を備える。本発明の第1の態様に関連して述べた利点は、本発明のこの第3の態様にも適用可能であり、類似の実施形態が適用されてもよい。
本発明のさらなる適用範囲は、以下の詳細な説明から明らかになるであろう。しかしながら、詳細な説明および特定の例は、本発明の好ましい実施形態を示しているが、例示のみのためのものであり、本発明の範囲内の様々な変更および修正が、この詳細な説明から当業者に明らかになるであろう。本発明は、他に明示的に述べられない限り、または技術的に不可能でない限り、上記または下記に開示された実施形態に関連して列挙された特徴のすべての可能な組み合わせに関する。
したがって、本発明は、記載された装置の特定の構成部分または記載された方法の特定のステップに限定されず、そのような装置および方法は変更可能であることが理解されるべきである。本明細書で使用する用語は、特定の実施形態のみを説明するためのものであり、限定することを意図するものではないことも理解されたい。本明細書および添付の特許請求の範囲で使用される場合、文脈上明白に他の意味に解釈すべき場合を除いて、冠詞「a(1つの)」、「an(1つの)」、「the(該)」および「said(前記)」は、該要素について1つ以上が存在することを意味することを意図している。したがって、例えば、「センサ(a sensor)」または「該センサ(the sensor)」への言及は、いくつかのセンサを含み得る、等々である。さらに、「含む」という単語は、他の要素またはステップを排除するものではない。
本発明の他の特徴および利点が、添付の図面を参照して、現時点で好ましい実施形態の以下の詳細な説明から明らかになるであろう。
測位装置を含む監視装置を有する監視システムを示す。 測位装置を含む監視装置によって監視されているシーンを示す。 測位装置で検出されたシーン内のオブジェクトの位置検出をシーンのグラフィカル表現にマッピングする変換関数を生成する方法のフローチャートである。 測位装置を含む監視装置の概略ブロック図である。 監視装置およびインストール装置を含む監視システムの概略ブロック図である。
さらに、図面において、同様の参照符号は、いくつかの図を通して同様のまたは対応する部分を示す。
LIDARおよびレーダ装置などの測位装置が、オブジェクトを検出し、検出されたオブジェクトの位置および速度を検出する信頼性のある能力のために、非軍事監視用途において最近関心を集めている。以前は、オブジェクトの検出は、例えば、影、シーンの照明の変化、監視カメラのレンズを横切る昆虫や蜘蛛、またはシーン内で動くウサギや鳥などの小さな動物のために、シーン内の動くオブジェクトの偽陽性警報を生成し易いビデオ分析によって、主に行われてきた。
測位装置は、ネットワーク接続された監視装置110に組み込まれてもよく、ネットワーク接続は、セキュリティオペレータによって使用されるクライアント装置120、監視装置およびVMS(ビデオ管理システム)と呼ばれることもあるネットワーク上の他の監視装置からの検出を格納および管理するサーバ130、または監視カメラ140などの、監視システム100内のネットワークに接続された他の装置に、測位装置によって行われた検出を送る可能性を提供する(監視システムを示す図1を参照のこと)。ネットワーク通信は、例えば、IP、RTP、RTSP、HTTP、HTTPS、または他の標準化されたネットワーク通信プロトコルに基づくことができる。測位装置が組み込まれた監視装置110は、静止画像またはビデオ画像を生成するための画像センサ、熱画像センサ、タイムオブフライトセンサ、PIR検出器、マイクロホンおよび他の様々な種類の監視センサなどの、シーンを監視するための他のセンサを含むこともできる。
レーダ装置およびLIDAR装置などの測位装置は、典型的には、極座標(r,q)でオブジェクト検出を視覚化する。ここで、rは、測位装置の位置250に対する検出されたオブジェクト270までの距離220であり、qは、測位装置の方向260に対する検出されたオブジェクト270までの角度230である(この角度230は、方位角と呼ばれることもある)(図2参照)。オブジェクト検出は、典型的には、セクタ210に対して原点に位置する測位装置を用いてセクタ210にプロットされる(図2参照)。ここで、説明目的のためにセクタ210がシーン240上に重ねられている。図2では、測位装置の方向260は、測位装置の検出軸の方向と重なるように選択されているが、他の方向もまた、測位装置で行われる検出の基準方向として選択されてもよい。
監視システムの設定、構成、設置を行うシステムインテグレータや、監視システムの動作の監視と管理を担当するセキュリティオペレータなどのセキュリティ人員は、測位装置を扱う仕事をしたり、測位装置からの信号を解釈するのに慣れていないので、監視カメラからのビデオ画像と比較して、測位装置から出力される情報を十分に活用することは困難かもしれない。
レーダ装置などの測位装置からの検出をより良く理解するために、本発明は、それが監視するシーンのグラフィカル表現上に出力信号をマッピングすることを提案する。このようにして、セキュリティオペレータにとって、測位装置からの検出をシーンへ、可能であれば、同じまたは関連するシーンを監視する監視カメラ140からのシーンのビデオ画像へ関連付けることがより容易になる。
多くの監視およびモニタリングシステムにおいて、例えばシーン内のロケーションまたはエリアに接続された検出ルールは、例えば、シーンの所定のロケーションまたはエリアにおけるオブジェクト検出によってトリガされる警報、イベントまたはアラームを生成するように構成される。これらの検出ルールはまた、測位装置からの位置検出によってトリガするように構成されてもよく、この種の検出ルールの構成は、典型的には、シーンのグラフィカル表現におけるロケーションおよびエリアを定めることによって行われるので、本発明によるキャリブレーション方法は、検出ルールの設定と構成を支援するのに役立つ。
この場合、測位装置によって監視されるシーンは、屋内または屋外に位置してもよく、駐車場、ショッピングモール、空港のターミナル、都市環境におけるフィールドまたはスクエアなどの監視エリアであってもよい。シーンのグラフィカル表現は、典型的には、シーンの上からの眺めなどのシーンの概観である。シーンのグラフィカル表現の例には、画像、監視カメラによってキャプチャされた画像、青写真などの技術的画像、図面、航空画像、衛星画像、地図などが含まれる。
シーンのグラフィカル表現の眺めは、好ましくは、シーンの基平面に垂直な方向からのものであり、または言い換えると、好ましくは、測位装置によって検出が行われる平面に垂直な方向からのものである。したがって、シーンのグラフィカル表現が、カメラによってキャプチャされる場合、カメラのレンズの光軸は、シーンの基平面に対して垂直であることが好ましい。したがって、シーンのグラフィカル表現は、好ましい概観図から逸脱した眺めからのグラフィカル表現に、当該技術分野で知られている画像ワーピング変換を適用することによって生成することもできる。様々な透視変換関数を、例えば、建物の屋根上の高所に配置され、上からシーンを監視するが、シーンの好ましい眺めを有しない監視カメラからの画像に適用することができる。
シーンのグラフィカル表現は、通常、監視装置のメモリにファイルとして格納され、監視装置のグラフィカルユーザインターフェースで使用される。したがって、監視装置のユーザは、シーンのグラフィカル表現を含むファイルを監視装置にアップロードすることができる。代替案として、シーンのグラフィカル表現を含むファイルは、地図または衛星画像のためのオンライン画像リポジトリ、または監視カメラに接続された画像リポジトリなどの画像リポジトリから監視装置において受け取ることができる。監視装置は、更新された最後の時間から所定の時間が経過した場合、または同じ監視システムに接続されている他の監視装置から受け取られた警報またはイベントなどの、監視されたシーンが変更されたことを示す他の兆候がある場合に、ユーザまたは画像リポジトリに、シーンのグラフィカル表現の新しいバージョンを要求することができる。
測位装置からの検出をシーンのグラフィカル表現にマッピングするために、変換関数が、少なくとも2つのキャリブレーション位置とシーンのグラフィカル表現における対応するロケーションに基づいて、生成される。測位装置で検出されたシーン内のオブジェクトの位置検出をシーンのグラフィカル表現にマッピングする変換関数を生成する方法300を、図3を参照してさらに説明する。方法300のステップは、図3において例示的な順序で配置されているが、当業者であれば、方法300のステップは、本発明の範囲内の別の順序で配置されてもよいことを理解するであろう。さらに、方法300の任意選択のステップは、図3に破線で示されている。
シーン内の第1のキャリブレーション位置に位置しているオブジェクトの第1の位置が、測位装置によって検出される(310)。測位装置は、通常、この第1の位置を測位装置の位置に対して検出する。その後、シーンのグラフィカル表現における第1のキャリブレーション位置を表す画像座標の第1のセットが、測位装置を含む監視装置において受け取られる(320)。この座標のセットは、オペレータにユーザ入力を要求する任意選択のステップに応答して受け取られてもよい(330)。
さらに任意選択のステップとして、この入力は、ユーザがグラフィカルユーザインターフェース内の座標をマーキングすることによって行われてもよい(340)。マーキングは、例えば、タブレットコンピュータ、タッチディスプレイ付き携帯電話または専用インストールツールなどのインストール装置上に表示されるグラフィカルユーザインターフェース内のロケーションをクリック、ポインティングまたはその他の方法でマーキングすることによって実行されてもよい。座標の数値が分かっているならば、これらの座標は、もちろん、代替的に、測位装置を含む監視装置において入力され、受け取られてもよい(320)。
第1のキャリブレーション位置に対応する、受け取られた画像座標の第1のセットと、測位装置によって検出された第1の位置が、メモリに格納され(350)、その後、方法は、続いて、シーン内の第2のキャリブレーション位置に位置しているオブジェクトの第2の位置を測位装置で検出する(360)。
もちろん、第1および第2のオブジェクトは、同じオブジェクトであってもよいが、状況によっては、第1および第2の位置を検出するために別個のオブジェクトを使用することが有利であり得る。第1および第2の位置を検出するために2つの異なるオブジェクトを有することにより、2つのキャリブレーション位置が、例えば同時に検出されてもよく、2つのキャリブレーション位置が、測位装置によって監視される大きな駐車場の両側に配置されるべきであると決定された場合、キャリブレーションに必要な時間は、第1のキャリブレーション位置から第2のキャリブレーション位置に移動しなければならない1つのオブジェクトを有することと比較して、同時に検出され得る2つの別個のオブジェクトを有することによって、低減され得る。
その後、シーンのグラフィカル表現における第2のキャリブレーション位置を表す画像座標の第2のセットが、測位装置を含む監視装置において受け取られる(370)。画像座標の第1のセットの場合と同様に、画像座標の第2のセットもまた、ユーザ入力に対する任意選択の要求(380)に応答して受け取られてもよく、画像座標の第2のセットはまた、(同じく任意選択のステップとして)ユーザがグラフィカルユーザインターフェースにおいて座標の第2のセットをマーキング(390)した後に、受け取られてもよい。第2のキャリブレーション位置に対応する、受け取られた画像座標の第2のセットと、測位装置によって検出された第2の位置が、その後メモリに格納される(392)。
キャリブレーション位置は、測位装置によって監視されるシーン内の任意の位置であってよい。しかし、好適なシナリオでは、それらは、遠く離れて、例えば、監視されるシーンの両側の周辺に近接して配置される。キャリブレーション位置が遠く離れて配置されている場合、シーンのグラフィカル表現における画像座標への検出のマッピングの精度が向上する。
ユーザが、シーンのグラフィカル表現においてキャリブレーション位置に対応するロケーションを認識し、見つけ出し、マーキングすることができるように、キャリブレーション位置は、好ましくは、現実と同じように、シーンのグラフィカル表現において見つけ出し認識し易いランドマークに対応するように選択される。例としては、建物のコーナー、舗道、標識、街灯、街路樹、花壇などの画定された構造的特徴が挙げられる。これにより、検出されたキャリブレーション位置と、シーンのグラフィカル表現における受け取られた画像座標のセットとの間の相関の精度が向上し、ゆえにマッピングのための生成された変換関数の精度もまた向上する。
上記の例では、2つのキャリブレーション位置に基づくキャリブレーション方法が論じられているが、本発明の範囲内で、2つより多いキャリブレーション位置を使用することも、もちろん可能である。これを行う理由は、マッピングのための変換関数の精度を向上させるためであり得る。一例として、測位装置の位置が、追加のキャリブレーション位置として使用されてもよく、この位置が、監視されているシーンの座標系における位置(0,0)に対応することが分かっているので、検出を行うためにこのキャリブレーション位置へオブジェクトを向ける必要はない。シーンのグラフィカル表現における測位装置の位置に対応する画像座標のセットを受け取るだけで十分である。
その後、第1のキャリブレーション位置に対応する、格納された画像座標の第1のセットおよび測位装置を用いて検出された第1の位置を、第2のキャリブレーション位置に対応する、格納された画像座標の第2のセットおよび測位装置を用いて検出された第2の位置と比較することによって、測位装置からの位置検出をシーンのグラフィカル表現におけるロケーションにマッピングする変換関数が、生成される(394)。変換関数は、通常、測位装置による位置検出の座標系からシーンのグラフィカル表現への並進変換、回転変換およびスケーリング変換を処理することができる。
例えば三角測量または三辺測量に基づく教科書的な三角法を適用することによって、格納された画像座標のセットを格納された検出位置と比較するとき、変換関数を導き出すことができる。これがどのように実行され得るかの一例が、変換関数を生成するための1つの選択肢を示すために、以下に説明される。
変換関数を生成する際には、シーンのグラフィカル表現におけるピクセル当たりのメートル、m/pixelでの適用可能なスケールおよび測位装置の検出軸の方向が、使用されてもよい。
スケールは、第1および第2のキャリブレーション位置における検出されたオブジェクトの位置と、ピクセル数でのシーンのグラフィカル表現における対応する距離とを使用して、第1のキャリブレーション位置と第2の位置との間の距離を計算することによって、推定することができる。スケールは、メートルでの距離をピクセルでの距離で除算することによって推定することができる。
測位装置の検出軸の方向は、検出されたキャリブレーション位置の角度を使用し、標準的な三角測量法を適用して、計算することができる。
測位装置からの位置検出をシーンのグラフィカル表現内のロケーションにマッピングする変換関数は、2つの異なる部分に分割することができる。1つは水平画像座標(ここでは、x座標と呼ぶ)に対応し、1つは垂直画像座標(ここでは、y座標と呼ぶ)に対応する(以下の式(1)および(2)を参照)。ここで、測位装置からの検出された距離220は、
Figure 2019007938
で示され、αは、pixels/mでのスケーリング係数であり、
Figure 2019007938
は、シーンのグラフィカル表現における水平x軸と比べた測位装置の検出軸の方向260であり、
Figure 2019007938
は、測位装置の検出軸260を基準とした、検出された位置の角度230である。
Figure 2019007938
上記の例では、測位装置からの検出を視覚化するために、極座標系が使用されている。しかしながら、測位装置はまた、測位装置で検出されたシーン内のオブジェクトの位置検出をシーンのグラフィカル表現にマッピングする変換関数を生成するための同様の方法を使用して、デカルト座標(x,y)でオブジェクト検出を視覚化することができる。
本発明の好ましい実施形態では、キャリブレーション位置は、測位装置を使用して、移動可能なオブジェクトを第1および第2のキャリブレーション位置まで追跡することによって検出される。測位装置が、シーン内のオブジェクトの位置を検出しているときに、オブジェクトトラックまたは同じオブジェクトの検出された位置に対応する連続した位置のセットが、監視装置内でコンパイルされてもよい。これらのオブジェクトの1つを、キャリブレーション位置まで追跡すべきオブジェクトとして識別することによって、監視装置は、シーン内に1つより多い移動オブジェクトが存在しても、キャリブレーション位置を識別することができる。
まず、キャリブレーション位置まで追跡すべきオブジェクトを識別する必要がある。これは、様々な方法で実施することができ、一実施形態によれば、オブジェクトは、その初期位置によって識別される。例えば、オブジェクトがシーン内の所定の位置に対応する位置に配置されているかどうかに基づいて、追跡すべきオブジェクトを識別するように、キャリブレーション方式を設定することができる。容易に識別可能でもあるこのような所定の位置の例は、監視装置が、ゆえに測位装置もまた、シーン内に配置されている位置の直下の位置、またはこの位置に近接した位置である。例えば、測位装置の精度に関連するオブジェクトの位置における許容される不確実性が存在してもよい。その場合、監視装置は、監視装置の直下の位置からシーン内に移動している移動可能なオブジェクトを、キャリブレーション位置まで追跡すべきオブジェクトとして識別する。キャリブレーション位置まで追跡すべき移動可能なオブジェクトを識別するための所定の位置の代わりに、所定の移動方向が予め決定され、移動可能なオブジェクトを識別するために使用されてもよい。そのような所定の方向の一例は、測位装置から出る首尾一貫した放射状方向であってもよい。
キャリブレーション位置は、識別されたオブジェクトが、例えば停止し、少なくとも所定の時間期間、例えば5秒間など、とどまる位置として、またはそれがたどる位置の軌跡によって、検出することができる。これにより、測位装置を構成しキャリブレートする人が、最初にシーンの中を歩き回り、その間に測位装置からの検出が記録され、その後の時点で、検出された位置または位置のトレースにおいて費やされた時間期間によってキャリブレーション位置を識別し、シーンのグラフィカル表現におけるキャリブレーション位置を表す画像座標を測位装置に受け取らせることが可能になる。
あるいは、キャリブレーション位置は、シーンのグラフィカル表現におけるキャリブレーション位置に対応するロケーションを示す画像座標が監視装置で受け取られたときに、追跡されたオブジェクトが位置する検出された位置として識別される。
代替の実施形態として、キャリブレーション位置まで追跡すべきオブジェクトは、シーン内の移動可能なオブジェクトの軌跡を所定のパターンと比較することによって、識別されてもよい。所定のパターンの例は、円または数字「8」の形を含み、このようにして、測位装置またはその制御ユニットは、追うべきオブジェクトを識別することができる。
シーンのグラフィカル表現における少なくとも2つのロケーションを、またはコンパス方位に加えて少なくとも1つのロケーションを、地理的経度および緯度座標のセットにマッピングすることによって、検出されたロケーションに、地理的座標をさらに与えることができる。これにより、1つのグラフィカル表現内の異なる重なり合わないシーンを結合することも可能になる。1つより多い監視装置または測位装置からの検出を1つのグラフィカル表現内で結合することにより、そのエリアを監視するセキュリティオペレータは、監視エリア全体をよりよく理解することができる。
測位装置からの位置検出の精度および分解能は、種々の理由により制限され、例えば、LIDARおよびレーダ装置の両方について信号強度およびスペクトルの利用可能な部分を制限する規制がある。位置検出の精度および分解能を向上させるために、キャリブレーション位置の1つに位置するオブジェクトの位置検出は、推定された理論的位置と測定または検出された位置との加重平均を用いて計算することができる。理論的位置の推定は、2つ以上の以前に検出された位置と、これらの位置からのオブジェクトの計算された速度と、これらの検出の間の測定された時間期間とに基づいてもよい。推定された理論的位置および検出された位置の平均を計算する場合、例えば、等しい重みが適用されてもよい。最も信頼性の高い成分に最高の重みを与えることによって、計算を最適化することもできる。いくつかの検出された位置に基づく加重平均を使用することにより、位置検出における精度および分解能が向上する。この方法は、カルマンフィルタリングとしても知られている。
測位装置で検出されたシーン内のオブジェクトの位置検出をシーンのグラフィカル表現にマッピングする変換関数を生成する監視装置110を、図4を参照してさらに説明する。監視装置110が、先に説明した方法300を実行するとき、方法300に関して先に説明した特徴および利点もまた、監視装置110に適用される。監視装置110は、シーン内の監視されているオブジェクトの位置を、測位装置250の位置に対する相対位置として検出するように構成された測位装置410を含む。検出された位置は、例えば、シーン内の第1または第2のキャリブレーション位置に位置するオブジェクトの位置に対応してもよい。監視装置110内の受け取りユニット420は、シーンのグラフィカル表現内でのキャリブレーション位置を表す画像座標のセットを受け取るように構成されている。監視装置110内のメモリ430は、キャリブレーション位置に対応する、受け取られた画像座標のセットと、測位装置によって検出された位置とを格納するように構成されている。メモリ430はまた、シーンのグラフィカル表現を含むファイルを格納してもよく、あるいは、このファイルは、別個のメモリに格納されてもよい。監視装置110内のキャリブレーションユニット440は、キャリブレーション位置に対応する、格納された画像座標のセットと、検出された位置とを比較することによって、測位装置からの位置検出をシーンのグラフィカル表現内のロケーションへマッピングする変換関数を生成するように構成される。生成された変換関数は、その後、キャリブレーションユニット440から、例えば、測位装置からの位置検出をシーンのグラフィカル表現上にマッピングするグラフィカルユーザインターフェースを生成する、監視装置110または監視システム100内の他のユニットに送られてもよい。
測位装置で検出されたシーン内のオブジェクトの位置検出をシーンのグラフィカル表現にマッピングする変換関数を生成するシステム500を、図5を参照してさらに説明する。システム500は、前述した監視装置110およびインストール装置510を含む。インストール装置510は、例えば無線ネットワーク接続を介して監視装置110に接続される。インストール装置510は、監視装置のグラフィカルユーザインターフェースを含み、監視システム100を構成または設定する人のためにシーンのグラフィカル表現を表示する。さらに、インストール装置510は、シーンのグラフィカル表現におけるキャリブレーション位置を表す画像座標のセットに対応するユーザ入力を受け取るように構成されたユーザ入力手段を含む。各種のタブレットコンピュータや、タッチディスプレイを備えた携帯電話や、システムを監視する専用のインストールツールを、インストール装置510として用いることができる。
当業者であれば、上述した実施形態を多くの点で変更し、上述の実施形態に示した本発明の利点を依然として使用することができる、ということが理解されよう。したがって、本発明は、示された実施形態に限定されるべきではなく、添付の特許請求の範囲によってのみ規定されるべきである。さらに、当業者が理解するように、示された実施形態を組み合わせることができる。

Claims (15)

  1. 測位装置によって検出されたシーン内のオブジェクトの位置検出を前記シーンのグラフィカル表現にマッピングする変換関数を生成するための監視装置における方法であって、
    前記シーン内の第1のキャリブレーション位置に位置しているオブジェクトの第1の位置であって、前記測位装置の位置に対する位置である第1の位置を、前記測位装置によって検出することと、
    前記シーンの前記グラフィカル表現における前記第1のキャリブレーション位置を表す画像座標の第1のセットを受け取ることと、
    前記第1のキャリブレーション位置に対応する、受け取られた前記画像座標の第1のセットと、前記測位装置によって検出された前記第1の位置とを、メモリに格納することと、
    前記シーン内の第2のキャリブレーション位置に位置しているオブジェクトの第2の位置であって、前記測位装置の位置に対する位置である第2の位置を、前記測位装置によって検出することと、
    前記シーンの前記グラフィカル表現における前記第2のキャリブレーション位置を表す画像座標の第2のセットを受け取ることと、
    前記第2のキャリブレーション位置に対応する、受け取られた前記画像座標の第2のセットと、前記測位装置によって検出された前記第2の位置とを、メモリに格納することと、
    前記第1のキャリブレーション位置に対応する、格納された前記画像座標の第1のセットおよび前記測位装置によって検出された前記第1の位置を、前記第2のキャリブレーション位置に対応する、格納された前記画像座標の第2のセットおよび前記測位装置によって検出された前記第2の位置と比較することによって、前記測位装置からの位置検出を前記シーンの前記グラフィカル表現におけるロケーションにマッピングする変換関数を生成することと
    を含む方法。
  2. 前記シーンの前記グラフィカル表現における前記第1のキャリブレーション位置を表す前記画像座標の第1のセットを受け取ることが、前記グラフィカル表現における前記第1のキャリブレーション位置を表す第1のロケーションを要求することに応答して実行され、前記シーンの前記グラフィカル表現における前記第2のキャリブレーション位置を表す前記画像座標の第2のセットを受け取ることが、前記グラフィカル表現における前記第2のキャリブレーション位置を表す第2のロケーションを要求することに応答して実行される、請求項1に記載の方法。
  3. 前記第1のキャリブレーション位置を表す第1のロケーションを要求することが、ユーザに、前記シーンの前記グラフィカル表現を表示する前記測位装置のグラフィカルユーザインターフェースにおいて前記第1のロケーションをマーキングするように要求することをさらに含み、前記第2のキャリブレーション位置を表す第2のロケーションを要求することが、ユーザに、前記シーンの前記グラフィカル表現を表示する前記測位装置の前記グラフィカルユーザインターフェースにおいて前記第2のロケーションをマーキングするように要求することをさらに含む、請求項2に記載の方法。
  4. 前記第1および前記第2のキャリブレーション位置でそれぞれ検出された前記オブジェクトが、移動可能なオブジェクトであり、前記方法が、前記測位装置を使用して、前記移動可能なオブジェクトを前記シーン内において前記第1および前記第2のキャリブレーション位置までそれぞれ追跡することをさらに含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記測位装置を使用して、前記移動可能なオブジェクトを前記シーン内の所定の位置から前記第1および前記第2のキャリブレーション位置のうちの少なくとも一方まで追跡することをさらに含む、請求項4に記載の方法。
  6. 前記所定の位置が、前記測位装置に近接した位置である、請求項5に記載の方法。
  7. 前記シーン内において前記移動可能なオブジェクトを、それがたどる軌跡を所定のパターンと比較することによって、識別することをさらに含む、請求項4に記載の方法。
  8. 前記測位装置が、レーダ装置とLIDAR(光検出と測距)装置のうちの一方である、請求項1から7のいずれか一項に記載の方法。
  9. 前記シーン内の前記第1のキャリブレーション位置に位置しているオブジェクトの前記第1の位置を検出することが、以前に検出された2つの位置から前記オブジェクトの位置を外挿することによって前記オブジェクトの理論的位置を推定することと、前記オブジェクトの推定された前記理論的位置と前記オブジェクトの検出された位置との加重平均を計算することと、を含む、請求項1から8のいずれか一項に記載の方法。
  10. 前記シーンの前記グラフィカル表現が、図面、技術図面、画像、航空画像、衛星画像、地図、監視カメラからの画像のうちの1つである、請求項1から9のいずれか一項に記載の方法。
  11. 前記シーンの前記グラフィカル表現における2つのロケーションについての地理的経度および緯度座標の2つのセット、または、前記シーンの前記グラフィカル表現における1つのロケーションについての地理的経度および緯度座標の1つのセットならびに前記シーンの前記グラフィカル表現におけるコンパス方位を受け取ることを、さらに含む、請求項1から10のいずれか一項に記載の方法。
  12. 前記シーンの前記グラフィカル表現を含むファイルをアップロードするユーザから前記シーンの前記グラフィカル表現を受け取ることを、さらに含む、請求項1から11のいずれか一項に記載の方法。
  13. 前記シーンの前記グラフィカル表現を、ネットワーク接続された装置内の画像リポジトリに要求することに応答して、前記シーンの前記グラフィカル表現を受け取ることを、さらに含む、請求項1から11のいずれか一項に記載の方法。
  14. 測位装置によって検出されたシーン内のオブジェクトの位置検出を前記シーンのグラフィカル表現にマッピングする変換関数を生成するための監視装置であって、
    前記シーン内の監視されているオブジェクトの位置を測位装置の位置に対する相対位置として検出するように構成された該測位装置であって、検出された前記位置のうちの1つが、前記シーン内の第1のキャリブレーション位置に位置しているオブジェクトに対応し、検出された前記位置のうちの別の1つが、前記シーン内の第2のキャリブレーション位置に位置しているオブジェクトに対応する、測位装置と、
    前記シーンの前記グラフィカル表現における前記第1のキャリブレーション位置を表す画像座標の第1のセットと、前記シーンの前記グラフィカル表現における前記第2のキャリブレーション位置を表す画像座標の第2のセットとを受け取るように構成された受け取りユニットと、
    前記第1のキャリブレーション位置に対応する、受け取られた前記画像座標の第1のセットおよび前記測位装置によって検出された第1の位置、ならびに前記第2のキャリブレーション位置に対応する、受け取られた前記画像座標の第2のセットおよび前記測位装置によって検出された第2の位置を格納するように構成されたメモリと、
    前記第1のキャリブレーション位置に対応する、格納された前記画像座標の第1のセットおよび前記測位装置によって検出された前記第1の位置を、前記第2のキャリブレーション位置に対応する、格納された前記画像座標の第2のセットおよび前記測位装置によって検出された前記第2の位置と比較することによって、前記測位装置からの位置検出を前記シーンの前記グラフィカル表現におけるロケーションにマッピングする変換関数を生成するように構成されたキャリブレーションユニットと
    を備える、監視装置。
  15. 測位装置によって検出されたシーン内のオブジェクトの位置検出を前記シーンのグラフィカル表現にマッピングする変換関数を生成するためのシステムであって、
    請求項14に記載の監視装置と、
    インストール装置と
    を備え、前記インストール装置が、
    前記シーンの前記グラフィカル表現を表示する、前記監視装置のグラフィカルユーザインターフェースと、
    前記シーンの前記グラフィカル表現における前記第1のキャリブレーション位置を表す画像座標の第1のセットおよび前記シーンの前記グラフィカル表現における前記第2のキャリブレーション位置を表す画像座標の第2のセットに対応するユーザ入力を受け取るように構成されたユーザ入力手段と
    を備える、システム。
JP2018057363A 2017-04-05 2018-03-26 位置検出をグラフィカル表現にマッピングするための方法、装置およびシステム Active JP6917936B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17165028.6 2017-04-05
EP17165028.6A EP3385747B1 (en) 2017-04-05 2017-04-05 Method, device and system for mapping position detections to a graphical representation

Publications (3)

Publication Number Publication Date
JP2019007938A true JP2019007938A (ja) 2019-01-17
JP2019007938A5 JP2019007938A5 (ja) 2021-04-22
JP6917936B2 JP6917936B2 (ja) 2021-08-11

Family

ID=58489623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018057363A Active JP6917936B2 (ja) 2017-04-05 2018-03-26 位置検出をグラフィカル表現にマッピングするための方法、装置およびシステム

Country Status (6)

Country Link
US (1) US11016176B2 (ja)
EP (1) EP3385747B1 (ja)
JP (1) JP6917936B2 (ja)
KR (1) KR102221981B1 (ja)
CN (1) CN108802714B (ja)
TW (1) TWI742268B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018023736A1 (en) * 2016-08-05 2018-02-08 SZ DJI Technology Co., Ltd. System and method for positioning a movable object
US10521663B1 (en) * 2017-12-28 2019-12-31 Intel IP Corporation Iterative image position determination
RU2696548C1 (ru) * 2018-08-29 2019-08-02 Александр Владимирович Абрамов Способ построения системы видеонаблюдения для поиска и отслеживания объектов
CN109613920B (zh) * 2018-12-27 2022-02-11 睿驰达新能源汽车科技(北京)有限公司 一种确定车辆位置的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212129A (ja) * 2002-12-27 2004-07-29 Ishikawajima Harima Heavy Ind Co Ltd 環境状況把握装置
JP2006090826A (ja) * 2004-09-24 2006-04-06 Hitachi Ltd レーダの設置情報の確認画面と調整画面の表示方法
JP2007163258A (ja) * 2005-12-13 2007-06-28 Alpine Electronics Inc 車載センサの補正装置および方法
US20080300787A1 (en) * 2006-02-03 2008-12-04 Gm Global Technology Operations, Inc. Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
JP2011123071A (ja) * 2009-12-10 2011-06-23 Honda Motor Co Ltd 撮像装置、オクルージョン領域の探索方法、及びプログラム
US20150264332A1 (en) * 2014-03-11 2015-09-17 GM Global Technology Operations LLC System and method for selecting a two-dimensional region of interest using a range sensor

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19806450A1 (de) 1998-02-17 1999-08-26 Deutsch Zentr Luft & Raumfahrt Verfahren zum Überwachen eines Aktionsbereichs, wie eines Flughafens oder eines Seehafens
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
CA2898390C (en) 2005-04-20 2017-01-24 Timothy J. Nohara Low-cost, high-performance radar networks
US8625854B2 (en) * 2005-09-09 2014-01-07 Industrial Research Limited 3D scene scanner and a position and orientation system
US8942483B2 (en) 2009-09-14 2015-01-27 Trimble Navigation Limited Image-based georeferencing
US8786596B2 (en) * 2008-07-23 2014-07-22 Disney Enterprises, Inc. View point representation for 3-D scenes
EP2164043A1 (en) * 2008-09-12 2010-03-17 March Networks Corporation Video camera calibration and perspective calculation
US8872852B2 (en) * 2011-06-30 2014-10-28 International Business Machines Corporation Positional context determination with multi marker confidence ranking
WO2013059940A1 (en) * 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
US20130128050A1 (en) * 2011-11-22 2013-05-23 Farzin Aghdasi Geographic map based control
US9324190B2 (en) * 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
CN104969029B (zh) * 2012-12-19 2018-11-02 巴斯夫欧洲公司 用于光学检测至少一种物体的检测器
EP2801958B1 (en) * 2013-05-08 2016-09-14 Axis AB Monitoring method and camera
US10762380B2 (en) * 2013-07-23 2020-09-01 Koninklijke Philips N.V. Registration system for registering an imaging device with a tracking device
EP2879371B1 (en) * 2013-11-29 2016-12-21 Axis AB System for following an object marked by a tag device with a camera
EP3077846B1 (en) 2013-12-04 2019-06-26 Groundprobe Pty Ltd Method and system for displaying an area
US10254395B2 (en) 2013-12-04 2019-04-09 Trimble Inc. System and methods for scanning with integrated radar detection and image capture
WO2015132271A1 (en) * 2014-03-03 2015-09-11 Vsk Electronics Nv Intrusion detection with directional sensing
US9641830B2 (en) * 2014-04-08 2017-05-02 Lucasfilm Entertainment Company Ltd. Automated camera calibration methods and systems
WO2015160292A1 (en) 2014-04-14 2015-10-22 Saab Vricon Systems Ab A target determining method and system
IL232853A (en) * 2014-05-28 2015-11-30 Elbit Systems Land & C4I Ltd Imaging Georegistration System and Method
US10366511B2 (en) * 2014-05-28 2019-07-30 Elbit Systems Land And C4I Ltd. Method and system for image georegistration
US11272089B2 (en) * 2015-06-16 2022-03-08 Johnson Controls Tyco IP Holdings LLP System and method for position tracking and image information access
US10074214B2 (en) * 2015-12-31 2018-09-11 Autodesk, Inc. Systems and methods for generating 3D scenes with time element for display
US11039044B2 (en) * 2017-03-06 2021-06-15 Innovative Signal Analysis, Inc. Target detection and mapping using an image acqusition device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212129A (ja) * 2002-12-27 2004-07-29 Ishikawajima Harima Heavy Ind Co Ltd 環境状況把握装置
JP2006090826A (ja) * 2004-09-24 2006-04-06 Hitachi Ltd レーダの設置情報の確認画面と調整画面の表示方法
JP2007163258A (ja) * 2005-12-13 2007-06-28 Alpine Electronics Inc 車載センサの補正装置および方法
US20080300787A1 (en) * 2006-02-03 2008-12-04 Gm Global Technology Operations, Inc. Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
JP2011123071A (ja) * 2009-12-10 2011-06-23 Honda Motor Co Ltd 撮像装置、オクルージョン領域の探索方法、及びプログラム
US20150264332A1 (en) * 2014-03-11 2015-09-17 GM Global Technology Operations LLC System and method for selecting a two-dimensional region of interest using a range sensor

Also Published As

Publication number Publication date
US11016176B2 (en) 2021-05-25
US20180292526A1 (en) 2018-10-11
EP3385747B1 (en) 2021-03-31
KR102221981B1 (ko) 2021-03-02
JP6917936B2 (ja) 2021-08-11
KR20180113158A (ko) 2018-10-15
CN108802714B (zh) 2023-05-30
EP3385747A1 (en) 2018-10-10
CN108802714A (zh) 2018-11-13
TWI742268B (zh) 2021-10-11
TW201842352A (zh) 2018-12-01

Similar Documents

Publication Publication Date Title
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
US10110856B2 (en) Systems and methods for video analysis rules based on map data
JP6917936B2 (ja) 位置検出をグラフィカル表現にマッピングするための方法、装置およびシステム
EP3593324B1 (en) Target detection and mapping
US8577083B2 (en) Geolocating objects of interest in an area of interest with an imaging system
CN106931945B (zh) 机器人导航方法和系统
US20130211718A1 (en) Apparatus and method for providing indoor navigation service
CN104081433A (zh) 图像坐标和地图坐标之间的转换
US10896327B1 (en) Device with a camera for locating hidden object
EP3736610B1 (en) Augmented reality system for electromagnetic buried asset location
JP2019007938A5 (ja)
KR20180126408A (ko) 사용자 단말의 위치를 판단하는 방법
CA2824104C (en) A wearable object locator and imaging system
US10489985B1 (en) Augmented reality system for electromagnetic buried asset location and identification
CN111277791B (zh) 一种案事件监测方法及系统
Sonnessa et al. Indoor Positioning Methods–A Short Review and First Tests Using a Robotic Platform for Tunnel Monitoring
TWM545254U (zh) 影像測距定位裝置
Di Pietra Seamless Positioning and Navigation in Urban Environment
WO2023138747A1 (en) Method for a configuration of a camera, camera arrangement, computer program and storage medium
CN115143959A (zh) 测定室内无线信号发射锚点的位置坐标的方法及装置
TW201825868A (zh) 具有高精確度之定位系統

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210310

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210310

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210720

R150 Certificate of patent or registration of utility model

Ref document number: 6917936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150