JP2016048221A - 演算装置、演算方法、およびプログラム - Google Patents

演算装置、演算方法、およびプログラム Download PDF

Info

Publication number
JP2016048221A
JP2016048221A JP2014173908A JP2014173908A JP2016048221A JP 2016048221 A JP2016048221 A JP 2016048221A JP 2014173908 A JP2014173908 A JP 2014173908A JP 2014173908 A JP2014173908 A JP 2014173908A JP 2016048221 A JP2016048221 A JP 2016048221A
Authority
JP
Japan
Prior art keywords
camera
image
moving body
external orientation
orientation element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014173908A
Other languages
English (en)
Other versions
JP2016048221A5 (ja
JP6433200B2 (ja
Inventor
陽 佐々木
Akira Sasaki
陽 佐々木
忠之 伊藤
Tadayuki Ito
忠之 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2014173908A priority Critical patent/JP6433200B2/ja
Priority to EP15181706.1A priority patent/EP2990762B1/en
Priority to CA2901654A priority patent/CA2901654A1/en
Priority to US14/834,633 priority patent/US9916659B2/en
Publication of JP2016048221A publication Critical patent/JP2016048221A/ja
Publication of JP2016048221A5 publication Critical patent/JP2016048221A5/ja
Application granted granted Critical
Publication of JP6433200B2 publication Critical patent/JP6433200B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】カメラの外部標定要素を簡便に得る。
【解決手段】外部標定要素が取得されたカメラ１１２を用い、車両１００を移動させながらビル１３１を撮影した基準画像、また同時に外部標定要素が取得されていないカメラ１１３を用いビル１１３を撮影した比較画像を得る。基準画像と比較画像における対応点を指定し、相互標定を行い、既知のスケールによる縮尺調整によりカメラ１１３の外部標定要素を算出する。
【選択図】図１

Description

本発明は、光学機器の位置と姿勢を求める技術に関する。
ＩＭＵ（慣性計測装置:Inertial Measurement Unit）、カメラ、レーザスキャナ等の光学機器を搭載した車両を走行させ、その際にＩＭＵで車両の位置を計測し、同時に周囲の状況を光学機器により計測し、地図空間情報等を得る技術が知られている（例えば、特許文献１を参照）。
特開２０１３−４０８８６号公報
上記の技術においては、カメラのシステムに固定された座標系における外部標定要素（位置と姿勢）が予め既知であることが必要である。一般には、予め工場においてＩＭＵ、カメラおよびレーザスキャナ等のセッティングが行われ、その際に外部標定要素を求める作業（キャリブレーション）が行われる。しかしながら、ユーザ側の要望として、カメラの位置や姿勢をユーザの側で設定したい場合や変更したい場合がある。このような場合、カメラの車両への固定が終了した段階でキャリブレーションを行う必要がある。
しかしながら、一般的なキャリブレーションの作業は煩雑であり、ユーザ側で行うのは負担が大きい。このような背景において、本発明は簡素な手順によりカメラの外部標定要素を得ることができる技術を得ることを目的とする。
請求項１に記載の発明は、移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得部と、前記基準画像と前記比較画像における対応点を指定する対応点指定部と、前記基準画像と前記比較画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出部とを備えることを特徴とする演算装置である。
請求項２に記載の発明は、請求項１に記載の発明において、前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、前記複数の時刻に撮影された前記基準画像の複数を重ね合わせた基準重畳画像および前記複数の時刻に撮影された前記比較画像の複数を重ね合わせた比較重畳画像を作成する重畳処理部を更に備え、前記対応点指定部は、前記基準重畳画像と前記比較重畳画像における対応点を指定し、前記外部標定要素算出部は、前記基準重畳画像と前記比較重畳画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出することを特徴とする。
請求項３に記載の発明は、請求項１に記載の発明において、前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、前記対応点指定部は、前記同時に撮影された前記基準画像と前記比較画像における対応点を指定し、前記複数の時刻において得られた前記同時に撮影された前記基準画像と前記比較画像における対応点のデータを重ね合わせた重畳対応点データを得る重畳処理部を更に備え、前記外部標定要素算出部は、前記重畳対応点データに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出することを特徴とする。
請求項４に記載の発明は、請求項２または３に記載の発明において、前記複数の基準画像は異なる対象物を撮影した画像であることを特徴とする。
請求項５に記載の発明は、移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得ステップと、前記基準画像と前記比較画像における対応点を指定する対応点指定ステップと、前記基準画像と前記比較画像とに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出ステップとを備えることを特徴とする演算方法である。
請求項６に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを、移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得部と、前記基準画像と前記比較画像における対応点を指定する対応点指定部と、前記基準画像と前記比較画像とに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出部として動作させることを特徴とするプログラムである。
本発明によれば、簡素な手順によりカメラの外部標定要素を得ることができる。
実施形態の概念図である。 演算部のブロック図である。 撮影した画像のイメージ図である。 処理の手順の一例を示すフローチャートである。 相互標定の原理を示す説明図である。 処理の手順の一例を示すフローチャートである。 指定された対応点を示すイメージ図である。
（構成）
図１には、実施形態の概念図が示されている。図１には、車両１００が示されている。車両１００には、計測システム１１０が取り付けられている。計測システム１１０は、基台（ベース）上にＧＮＳＳユニット１１１、演算部１２０、カメラ１１２、カメラ１１３、およびＩＭＵユニット１１４が取り付けられた構造を有している。
ＧＮＳＳユニット１１１は、ＧＮＳＳ（Global Navigation Satellite System）を構成する航法衛星からの航法信号を受信し、自身の位置情報と校正された高精度の時刻情報を出力する。演算部１２０は、後述する演算機能を有する。
カメラ１１２は、基準カメラであり、特定の方向に向けて固定され、動画撮影を行う。勿論、カメラ１１２は、静止画を撮影することもできる。カメラ１１２は車両１００（ＩＭＵ１１４）に対して固定され、車両１００（ＩＭＵ１１４）に対する外部標定要素は予め取得されている。カメラ１１２としては、周囲３６０°を撮影する全周カメラやより広い角度範囲を撮影する広角カメラを用いることもできる。
ＩＭＵ１１４は、慣性計測装置であり、加速度を検出し、自身の位置の変化、向きの変化を計測する。ＩＭＵ１１４は、車両１００に対して固定され、車両１００に対する位置と姿勢は、予め取得されている。ＩＭＵ１１４は、予め地上座標系上で校正されている。地上座標系というのは、地上に固定された絶対座標系であり、ＧＮＳＳユニットにより測位される地上での位置を記述する３次元直交座標系である。ＩＭＵ１１４は、ＧＮＳＳユニット１１１から得られる位置情報と時刻情報に基づき特定のタイミングで校正される。
カメラ１１３は、外部標定要素の取得対象となるカメラである。カメラ１１３は、動画撮影および静止画の撮影が可能であり、ユーザにより車両１００の任意の位置に取り付けられている。この例において、カメラ１１３は、計測システム１１０の基台上に配置されているが、車両１００上の他の場所に設置することもできる。但し、カメラ１１３は、カメラ１１２と同じ対象物を撮影できる位置と姿勢とする必要がある。
また、後述する既知のスケールによる縮尺調整を行うために、カメラ１１２とカメラ１１３との間の距離は既知である必要がある。よって、ユーザは、カメラ１１２との間の距離が既知の複数の候補位置の中からカメラ１１３の設置位置を選択する、あるいはカメラ１１３を設置後に、カメラ１１２とカメラ１１３との間の距離を測定する必要がある。なお、後述するように、同時刻にカメラ１１２が撮影した画像とカメラ１１３が撮影した画像との間の対応点を複数指定する処理が行われるが、画像中の複数の対応点間の距離の１つ以上が既知である場合（たとえば、距離の判っているスケールの両端を対応点とした場合）、この対応点間の既知の距離を用いて縮尺調整が可能となる。この場合、カメラ１１２とカメラ１１３との間の距離が未知であってもよい。
演算部１２０、カメラ１１２、カメラ１１３およびＩＭＵ１１４には、ＧＮＳＳユニット１１１からＧＮＳＳを利用した同期信号が提供され、各装置は同期して動作することが可能である。なお、同期信号を発生する装置を用意し、そこからの同期信号に基づき各部に同期しての動作を行わせる構成も可能である。また、図示省略されているが、演算部１２０は、画像データ等に基づき、車両１００が走行した周囲環境の３次元データを得る機能を有している。この３次元データを用いることで、車両１００が走行した環境の３次元モデルを作成することができる。
演算部１２０は、コンピュータとして機能するハードウェアであり、ＣＰＵ、メモリ、各種インタフェース、その他必要な電子回路を備えている。演算部１２０は、図２に示す各機能部を備えたハードウェアとして捉えることができる。なお、図２に示す各機能部は、ソフトウェア的に構成されていてもよいし、その一または複数が専用のハードウェアで構成されていてもよい。演算部１２０の機能を実行するためのプログラムは、演算部１２０内のメモリに記憶されている。また、当該メモリには、予め取得したカメラ１１２等の外部標定要素等に係るデータが記憶されている。なお、演算部１２０を動作させるプログラムを外部の記憶媒体に記憶させ、そこから提供する形態も可能である。
演算部１２０は、画像データ取得部１２１、重畳処理部１２２、対応点指定部１２３、外部標定要素算出部１２４を備えている。画像データ取得部１２１は、カメラ１１２およびカメラ１１３からの画像データを取得する。
重畳処理部１２２は、複数の時刻においてカメラ１１２が撮影した複数の画像を重ね、基準重畳画像を得る処理、および複数の時刻においてカメラ１１３が撮影した複数の画像を重ね、比較重畳画像を得る処理を行う。図３には、カメラ１１２が時刻ｔ１、時刻ｔ２、時刻ｔ３において撮影した３枚の基準画像と、これら３枚の基準画像を重ね合わせた基準重畳画像と、カメラ１１３が時刻ｔ１、時刻ｔ２、時刻ｔ３において撮影した３枚の比較画像と、これら３枚の比較画像を重ね合わせた比較重畳画像の一例が示されている。ここで、カメラ１１２とカメラ１１３とはタイミングを合わせて同時に撮影を行っている。また、基準画像（カメラ１１２が撮影）と比較画像（カメラ１１３が撮影）とでは、視点が異なるので、同じ撮影対象物であっても見え方が少し異なっている。
対応点指定部１２３は、カメラ１１２が撮影した画像とカメラ１１３が撮影した画像の中における共通の特徴点（対応点）の指定を行う。この例では、基本重畳画像と比較重畳画像とにおける共通の特徴点が対応点として指定される。共通の特徴点の選択は、ユーザが行う場合と、ソフトウェア処理により自動的に行う場合とが可能である。
外部標定要素算出部１２４は、カメラ１１２とカメラ１１３が撮影した画像に基づく相互標定および既知のスケールによる縮尺調整を用いてカメラ１１３の外部標定要素を算出する。この例では、基準重畳画像と比較重畳画像とに基づく相互標定および既知のスケールによる縮尺調整を行い、カメラ１１３の外部標定要素の算出が行われる。
（処理の一例）
図４は、処理の手順の一例を示すフローチャートである。まず、車両１００を適当な環境下（例えば、路面１３０上）で走行させ、その際の複数の時刻において、カメラ１１２とカメラ１１３を用いてのビル１３１等の撮影対象物の撮影を行う。この撮影は、カメラ１１２とカメラ１１３とで同期して行い、また２つのカメラにおいて同じ撮影対象物が撮影視野内に入る条件で行う。また、異なる時刻では、異なる画像が撮影されるようにする。例えば、２つのカメラを同期させて動画撮影を行い、同期した複数のフレーム画像の画像データを得る。
図３には、一例として時刻ｔ１、時刻ｔ２、時刻ｔ３においてカメラ１１２とカメラ１１３とで同時に撮影が行われた場合が示されている。ここで、カメラ１１２が撮影した画像を基準画像と呼び、カメラ１１３が撮影した画像を比較画像と呼ぶ。
カメラ１１２が撮影した基準画像とカメラ１１３が撮影した比較画像の画像データは、画像データ取得部１２１で取得され、演算部１２０内に取り込まれる（ステップＳ４０１）。画像データを得たら、各時刻に撮影した基準画像を重ね合わせ、基準重畳画像を得る。また、各時刻に撮影した比較画像を重ね合わせ、比較重畳画像を得る（ステップＳ４０２）。すなわち、時刻ｔ１、時刻ｔ２、時刻ｔ３においてカメラ１１２が撮影した基準画像を重ね合わせて基準重畳画像を得る。また、時刻ｔ１、時刻ｔ２、時刻ｔ３においてカメラ１１３が撮影した比較画像を重ね合わせて比較重畳画像を得る。この処理は、重畳処理部１２２において行われる。図３には、基準重畳画像と比較重畳画像の一例が示されている。
基準重畳画像と比較重畳画像を得たら、２つの画像における対応点の指定が行われる（ステップＳ４０３）。この処理は、対応点指定部１２３において行われる。対応点の選択がユーザによって行われる場合は、例えば以下のような処理が行われる、まず、図示しない端末のディスプレイ上の左半分に基準重畳画像が表示され右半分に比較重畳画像が表示される。ユーザは、この左右の画像を比較し、当該端末が備えるＧＵＩ（グラフィカルユーザインターフェース）を操作することで対応する点（共通な特徴点：対応点）を選択する。この場合、ユーザによって選択された対応点が対応点指定部１２３において指定される。ここで、対応点は、６点以上が指定される。
対応点が指定されたら、相互標定および既知のスケールによる縮尺調整によりカメラ１１３の外部標定要素を求める（ステップＳ４０４）。この処理は、外部標定要素算出部１２４において行われる。図５は、相互標定の原理を説明する説明図である。相互標定では、左右２枚の画像において６点以上の対応点を指定し、この６点以上の対応点（標定要素：パスポイント）を一致させることで、ステレオモデルを作成する。このステレオモデルが得られることで、左右２枚の画像を得た２つのカメラの位置と姿勢の相対関係が求まる。
相互標定では、投影中心Ｏ１とＯ２と基準点Ｐを結ぶ２本の光線が同一平面内になければならいという共面条件を用いる。数１に、共面条件式を示す。なお、ここで例えば左画像が基準重畳画像であり、右画像が比較重畳画像である。
Figure 2016048221
図５に示すように、モデル座標系の原点を左側の投影中心Ｏ１にとり、右側の投影中心Ｏ２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長（２つのカメラ間の距離）を単位長さとする。このとき、パラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。このような条件にすると、数１の共面条件式は数２のようになり、この式を解けば各パラメータが求められる。
Figure 2016048221
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｃの間には、次の数３に示すような座標変換の関係式が成り立つ。
Figure 2016048221
これらの式を用いて、次の手順により、未知パラメータ（相互標定要素）を求める。
（１）未知パラメータ（κ１，φ１，κ２，φ２，ω２）の初期近似値は通常０とする。
（２）数１の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数２により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（１）〜（４）までの操作を収束するまで繰り返す。
上記の計算に既知のスケールを適用することにより縮尺調整が行われ、左側のカメラ（カメラ１１２に対応）と右側のカメラ（カメラ１１３に対応）との相対的な外部標定要素の関係が求まる。上述した相互標定の演算では、前提として基線長（２つのカメラ間の距離）を単位長さとしているので、ステレオモデルの縮尺は任意値である。そこで、既知のスケールを与えることで、縮尺を実際の対象物に合わせることができる。この処理が縮尺調整である。この例では、既知のスケールとしては、カメラ１１２と１１３との間の距離（基線長の値）が用いられる。なお、既知のスケールとして、異なる対応点間の距離を用いることもできる。異なる対応点間の距離としては、距離が既知な２点が同一画面中に写るように撮影を行い、この２点を対応点として指定した場合が挙げられる。例えば、長さが既知の物体をカメラ１１２と１１３で撮影し、その両端を対応点として指定することで、この両端の対応点間の距離が既知のスケールとなる。
ここでカメラ１１２に相当する左側のカメラのＩＭＵ１１４に対する外部標定要素は既知であるので、上記の計算により求めたカメラ１１２とカメラ１１３の外部標定要素の関係から、カメラ１１３のＩＭＵ１１４に対する外部標定要素を求めることができる。
以上の技術によれば、車両１００の走行中に時刻を合わせてカメラ１１２とカメラ１１３で共通の対象物を撮影し、得られた画像に基づいて相互標定および既知のスケールによる縮尺調整によりカメラ１１３の外部標定要素の算出が行われる。上記の例では、移動しながら複数の画像を得、それを重ねることで、特徴点を顕著化でき、相互標定の精度を高めることができる。また、移動しながら異なる時刻に異なる画像を得、それを重ねたものから対応点を得ることで、対応点の各カメラからの距離が多様なものとなり、誤差の発生が抑えられる。
また、対応点の指定をソフトウェア処理により行う場合、車両１００を走行させながら上記の処理を行ってキャリブレーションを行い、その後にそのままカメラ１１３を用いた計測に移行することができる。例えば、車両１００にカメラ１１３を設置し、その後に走行を開始してカメラ１１３のキャリブレーションを行うために撮影を行い、そのままの状態で図４の処理を行うことで、特段の作業を行わずにカメラ１１３の外部標定要素を取得することができる。
２．第２の実施形態
重畳処理部１２２で行われる処理の他の例を以下に説明する。図６には、演算部１２０で行われる処理の手順の一例が示されている。まず、車両１００を適当な環境下（例えば、路面１３０上）で走行させ（図１参照）、その際の複数の時刻において、カメラ１１２とカメラ１１３を用いてのビル１３１等の撮影対象物の撮影を行う。この撮影は、カメラ１１２とカメラ１１３とで同期して行い、また２つのカメラにおいて同じ撮影対象物が撮影視野内に入る条件で行う。また、異なる時刻では、異なる画像が撮影されるようにする。例えば、２つのカメラを同期させて動画撮影を行い、同期した複数のフレーム画像の画像データを得る（ステップＳ６０１）。
図７には、一例として時刻ｔ１、時刻ｔ２、時刻ｔ３においてカメラ１１２とカメラ１１３とで同時に撮影が行われた場合が示されている。ここで、カメラ１１２が撮影した画像を基準画像と呼び、カメラ１１３が撮影した画像を比較画像と呼ぶ。ここまでは、第１の実施形態と同じである。
カメラ１１２と１１３を用いて、異なる時刻での画像データを得たら、各時刻におけるカメラ１１２から得た画像とカメラ１１３から得た画像との間における対応点の指定が行われる（ステップＳ６０２）。対応点の指定は、図２の対応点指定部１２３において行われる。対応点の指定の方法は、第１の実施形態の場合と同じである。
図７には、時刻ｔ１における基準画像と比較画像との間において●印で示される対応点の指定が行われ、時刻ｔ２における基準画像と比較画像との間において●印で示される対応点の指定が行われ、更に同様に時刻ｔ３における基準画像と比較画像との間において●印で示される対応点の指定が行われた場合の例が示されている。
各時刻における基準画像と比較画像における対応点の指定を行ったら、指定された対応点のデータを重ね重畳対応点データを作成する（ステップＳ６０３）。本実施形態では、この処理が重畳処理部１２２において行われる。図７（ｄ）には、基準画像と比較画像とで対応が指定された図７（ａ）〜（ｃ）の対応点のデータを重ねたものが示されている。なお、重畳対応点データとした段階で、対応点が６点以上となるように、図７（ａ）〜（ｃ）における対応点の指定が行われている。
図７（ｄ）に示す基準画像側の重畳対応データおよび比較画像側の重畳対応点データを得たら、相互標定および既知のスケールによる縮尺調整によりカメラ１１３の外部標定要素を求める（ステップＳ６０４）。この処理は、外部標定要素算出部１２４において行われる。この処理は、第１の実施形態におけるステップＳ４０４の処理と同じである。
３．第３の実施形態
第１および第２の実施形態において、カメラ１１３のＩＭＵ１１４に対する位置が判っているが、その姿勢が未知である場合に、第１および第２の実施形態の場合と同様な手法によりカメラ１１３のＩＭＵ１１４に対する外部標定要素を求めることができる。
４．その他
外部標定要素の算出の対象となるカメラが複数あってもよい。この場合、各カメラの外部標定要素を得た後でバンドル調整を行うことで誤差の分配を行い、求める外部標定要素の精度を高めることができる。
対応する特徴点として、マーカやターゲットを利用してもよい。カメラ１１２とカメラ１１３との間の距離を計測により求めてもよい。この距離の計測の方法としては、レーザ光を用いる方法や三角測量の原理を用いる方法等が挙げられる。例えば、三角測量の原理を用いる場合、ＩＭＵ座標系における外部標定要素を取得した第３のカメラを用い、この第３のカメラとカメラ１１２とを用いてカメラ１１３を対象としたステレオ写真測量を行うことで、カメラ１１３のＩＵＭ座標系における位置を算出する。
カメラ１１２が撮影した基準画像の１枚とカメラ１１３が撮影した比較画像の１枚とを対象に相互標定を行うことも可能である。なおこの場合、撮影対象物や撮影環境にもよるが、重畳画像や重畳対応点データを用いる場合に比較して標定の精度は低下する可能性がある。
近年、車両から周囲の三次元情報を取得し、車両の自動運転や運転の補助を行う技術が知られている。この技術に利用される車載カメラの外部標定要素の取得に本発明を利用することもできる。
本発明は、カメラの外部標定要素を求める技術に利用可能である。
１００…車両、１１０…計測システム、１１１…ＧＮＳＳユニット、１１２…カメラ、１１３…カメラ、１１４…ＩＭＵユニット、１２０…演算部、１３０…路面。

Claims (6)

  1. 移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得部と、
    前記基準画像と前記比較画像における対応点を指定する対応点指定部と、
    前記基準画像と前記比較画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出部と
    を備えることを特徴とする演算装置。
  2. 前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、
    前記複数の時刻に撮影された前記基準画像の複数を重ね合わせた基準重畳画像および前記複数の時刻に撮影された前記比較画像の複数を重ね合わせた比較重畳画像を作成する重畳処理部を更に備え、
    前記対応点指定部は、前記基準重畳画像と前記比較重畳画像における対応点を指定し、
    前記外部標定要素算出部は、前記基準重畳画像と前記比較重畳画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出することを特徴とする請求項１に記載の演算装置。
  3. 前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、
    前記対応点指定部は、前記同時に撮影された前記基準画像と前記比較画像における対応点を指定し、
    前記複数の時刻において得られた前記同時に撮影された前記基準画像と前記比較画像における対応点のデータを重ね合わせた重畳対応点データを得る重畳処理部を更に備え、
    前記外部標定要素算出部は、前記重畳対応点データに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出することを特徴とする請求項１に記載の演算装置。
  4. 前記複数の基準画像は異なる対象物を撮影した画像であることを特徴とする請求項２または３に記載の演算装置。
  5. 移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得ステップと、
    前記基準画像と前記比較画像における対応点を指定する対応点指定ステップと、
    前記基準画像と前記比較画像とに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出ステップと
    を備えることを特徴とする演算方法。
  6. コンピュータに読み取らせて実行させるプログラムであって、
    コンピュータを
    移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得部と、
    前記基準画像と前記比較画像における対応点を指定する対応点指定部と、
    前記基準画像と前記比較画像とに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出部と
    して動作させることを特徴とするプログラム。
JP2014173908A 2014-08-28 2014-08-28 演算装置、演算方法、およびプログラム Active JP6433200B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014173908A JP6433200B2 (ja) 2014-08-28 2014-08-28 演算装置、演算方法、およびプログラム
EP15181706.1A EP2990762B1 (en) 2014-08-28 2015-08-20 Operating device, operating method, and program therefor
CA2901654A CA2901654A1 (en) 2014-08-28 2015-08-25 Operating device, operating method, and program therefor
US14/834,633 US9916659B2 (en) 2014-08-28 2015-08-25 Operating device, operating method, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014173908A JP6433200B2 (ja) 2014-08-28 2014-08-28 演算装置、演算方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2016048221A true JP2016048221A (ja) 2016-04-07
JP2016048221A5 JP2016048221A5 (ja) 2017-09-07
JP6433200B2 JP6433200B2 (ja) 2018-12-05

Family

ID=54106117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014173908A Active JP6433200B2 (ja) 2014-08-28 2014-08-28 演算装置、演算方法、およびプログラム

Country Status (4)

Country Link
US (1) US9916659B2 (ja)
EP (1) EP2990762B1 (ja)
JP (1) JP6433200B2 (ja)
CA (1) CA2901654A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3358294A4 (en) * 2015-09-30 2019-04-10 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
DE102016100656A1 (de) * 2016-01-15 2017-07-20 Fachhochschule Nordwestschweiz Stereobilderfassungssystem
US10678240B2 (en) * 2016-09-08 2020-06-09 Mentor Graphics Corporation Sensor modification based on an annotated environmental model
JP6840645B2 (ja) * 2017-09-08 2021-03-10 株式会社小松製作所 施工管理装置および施工管理方法
CN108107462B (zh) * 2017-12-12 2022-02-25 中国矿业大学 Rtk与高速相机组合的交通标志杆姿态监测装置及方法
CN109587628B (zh) * 2018-12-14 2021-01-26 深圳力维智联技术有限公司 一种室内实时定位方法和装置
CN109360250A (zh) * 2018-12-27 2019-02-19 爱笔（北京）智能科技有限公司 一种对摄像装置的标定方法、设备及系统
CN110503693B (zh) * 2019-08-07 2021-10-22 Oppo广东移动通信有限公司 参数标定方法、装置、电子设备以及存储介质
US11798192B1 (en) * 2022-06-30 2023-10-24 Plusai, Inc. Methods and apparatus for calibrating stereo imagery using motion of vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002005625A (ja) * 2000-06-27 2002-01-09 Atr Media Integration & Communications Res Lab カメラの自動校正方法
US20090086020A1 (en) * 2007-09-28 2009-04-02 Zoom Information Systems (The Mainz Group Ll) Photogrammetric networks for positional accuracy
JP2012088114A (ja) * 2010-10-18 2012-05-10 Topcon Corp 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP2014101075A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2013040886A (ja) 2011-08-19 2013-02-28 Mitsubishi Electric Corp 三次元点群計測方法、三次元点群計測プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002005625A (ja) * 2000-06-27 2002-01-09 Atr Media Integration & Communications Res Lab カメラの自動校正方法
US20090086020A1 (en) * 2007-09-28 2009-04-02 Zoom Information Systems (The Mainz Group Ll) Photogrammetric networks for positional accuracy
JP2012088114A (ja) * 2010-10-18 2012-05-10 Topcon Corp 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP2014101075A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US9916659B2 (en) 2018-03-13
US20160063703A1 (en) 2016-03-03
EP2990762A1 (en) 2016-03-02
CA2901654A1 (en) 2016-02-28
EP2990762B1 (en) 2019-03-20
JP6433200B2 (ja) 2018-12-05

Similar Documents

Publication Publication Date Title
JP6433200B2 (ja) 演算装置、演算方法、およびプログラム
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
US7782361B2 (en) Method and apparatus for measuring position and orientation
JP4448187B2 (ja) 映像の幾何補正方法およびその装置
JP5362189B2 (ja) 画像処理装置及びその処理方法
JP5027747B2 (ja) 位置測定方法、位置測定装置、およびプログラム
JP5027746B2 (ja) 位置測定方法、位置測定装置、およびプログラム
JP5844454B2 (ja) カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置
JP5134784B2 (ja) 空中写真測量方法
JPWO2004113836A1 (ja) 撮影映像表示方法
JP2016048172A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2018036189A (ja) キャリブレーション装置およびキャリブレーション方法
JP2016170060A (ja) 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法
TW201711011A (zh) 定位定向資料分析之系統及其方法
KR20170094030A (ko) 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법
JP2017026552A (ja) ３次元計測装置、３次元計測方法、及びプログラム
JP5716273B2 (ja) 捜索目標位置特定装置、捜索目標位置特定方法及びプログラム
JP2006234703A (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JP5303613B2 (ja) 移動基準点写真測量装置および方法
KR101183866B1 (ko) Ｇｐｓ／ｉｎｓ／영상ａｔ를 통합한 실시간 위치／자세 결정 장치 및 방법
JP2010020729A (ja) 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム
JP5885974B2 (ja) 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム
JP6305501B2 (ja) キャリブレーション方法、プログラムおよびコンピュータ
JP2018125706A (ja) 撮像装置
Cannelle et al. Off-line vs. on-line calibration of a panoramic-based mobile mapping system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170725

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181106

R150 Certificate of patent or registration of utility model

Ref document number: 6433200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250