JP2015171143A - カラーコード化された構造によるカメラ較正の方法及び装置、並びにコンピュータ可読記憶媒体 - Google Patents

カラーコード化された構造によるカメラ較正の方法及び装置、並びにコンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP2015171143A
JP2015171143A JP2015004785A JP2015004785A JP2015171143A JP 2015171143 A JP2015171143 A JP 2015171143A JP 2015004785 A JP2015004785 A JP 2015004785A JP 2015004785 A JP2015004785 A JP 2015004785A JP 2015171143 A JP2015171143 A JP 2015171143A
Authority
JP
Japan
Prior art keywords
camera calibration
image
color
patterns
coordinate points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015004785A
Other languages
English (en)
Inventor
ソルギ ロレンツォ
Sorgi Lorenzo
ソルギ ロレンツォ
ブッシュネフスキー アンドレイ
Bushnevskiy Andrey
ブッシュネフスキー アンドレイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2015171143A publication Critical patent/JP2015171143A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20156Automatic seed setting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】カラーコード化された構造によるカメラ較正のための方法及び装置(30)が記載される。【解決手段】カメラ較正方法は、カラーコード化された構造が捕捉される画像をカメラから受信するステップ(10)と、画像において複数の座標を決定するステップ(11)と、座標点を用いてカメラ較正を実行するステップ(12)とを有する。カラーコード化された構造は、異なるカラーチャネルにおける少なくとも2組のパターンを含む。【選択図】図1

Description

特に、カラーコード化された構造を用いる、カメラ較正のための方法及び装置が提案される。カメラ較正と呼ばれる技術分野は、カメラの画像形成処理の記述のための数学モデルの特徴付けを目的としたアルゴリズム及びテクノロジを含む。加えて、そのような方法及び装置に適したコンピュータ可読媒体も提案される。
カメラモデル推定、すなわち、カメラ較正(キャリブレーション)、のための1つの必須要件は、現実世界におけるある点の3D座標と、1つの較正画像又はそのような画像の組におけるそれらの投影との間のエラーのない一致の入力データセットである。入力データセットは、一般に、画像上で較正対象を捕捉してそれらから一致を取り出すことで、取得され得る[I]。文献において提案されており且つ市場において入手可能なカメラ較正アルゴリズムの大多数は、メトリック較正(metric calibration)と呼ばれており、表記メトリックは、3D世界シーンの先験的に既知のメトリック情報の明示的な利己的利用をハイライト表示する。そのような実行のために、グリッドのようなパターンが、容易に検出可能であることから通常は利用され、単チャネルグレースケール画像の形で捕捉され得、メトリックカメラ較正に必要とされる所要のメトリック情報、すなわち、グリッド点の組及びそれらの座標、を提供することができる。
前述の主要な動向と並行して、一部の研究者は、較正対象から推測される非メトリック特徴のみを使用するカメラ較正のための異なるアプローチに取り組んでいる。そのようなアプローチの実施の一例は、同じ3Dラインから投影された画像点上の共線性制約の実施である[II,III]。そのような技術は幾つかの利点を提供する。3D世界の点座標の誤ったアライメントの好ましくない可能性は取り除かれる。すなわち、較正グリッドの3D座標の正確な再生が必要とされないほど、ロバスト性は高い。対応する推定問題の複雑性は最小限まで低減され、よって、特に、ゆがんだモデルを容易に生じさせる広角レンズを備えたカメラについて、カメラを較正することがより有効になる。
非メトリック較正アプローチは、基礎を成す推定問題の数式を作成する困難さのために、当該分野においてこれまでのところ大きな成功を手にしていない。加えて、関連するカメラモデル不確定性の完全な理解の欠如がある。[IV]に従って、非メトリック入力データを用いる完全ユークリッド較正は、3D座標点の共線性制約の実施のみならず、3Dライン束の間の直交性及び平行性をも必要とする。
グリッド様パターンのソースとして幅広く使用されている標準のチェッカーボードは、実際に、メトリック較正技術の必要性を満足するが、なお非メトリック較正アプローチのための最適な解決法ではない。それが、ラインの束を検出するようライン推定を目的とした低水準処理に達するとき、チェッカーボードのライン交差は、データ収集の無視できないかく乱をもたらす。
従って、本発明は、グリッド様構造のライン交差による好ましくないかく乱を排除しながら、同時に、点の共線性、ラインの平行性及び直交性といった他の要件を保持することができるカメラ較正のための改善された解決法を提案することを目的とする。具体的に、本発明は、カラーコード化された構造を用いて単一画像内のバイコンポーネント較正パターンの統合のための解決法を提案する。
一実施形態に従って、カメラ較正方法は、
異なるカラーチャネルにおける少なくとも2組のパターンを含むカラーコード化された構造が捕捉される画像をカメラから受信するステップと、
前記画像において前記カラーコード化された構造に関連する複数の座標点を決定するステップと、
前記座標点を用いてカメラ較正を実行するステップと
を有する。
然るに、カメラ較正装置は、
異なるカラーチャネルにおける少なくとも2組のパターンを含むカラーコード化された構造が捕捉される画像をカメラから受信するよう構成される画像受信ユニットと、
前記画像において前記カラーコード化された構造に関連する複数の座標点を決定し、該座標点を用いてカメラ較正を実行するよう構成されるカメラ較正ユニットと
を有する。
また、コンピュータ可読記憶媒体は、カメラ較正のための命令を記憶し、該命令は、コンピュータによって実行される場合に、該コンピュータに、
異なるカラーチャネルにおける少なくとも2組のパターンを含むカラーコード化された構造が捕捉される画像をカメラから受信させ、
前記画像において前記カラーコード化された構造に関連する複数の座標点を決定させ、
前記座標点を用いてカメラ較正を実行させる。
カメラ較正方法の1つの好適な実施形態を説明するフローチャートである。 カメラ較正方法の他の好適な実施形態を説明するフローチャートである。 カメラ較正方法の1つの好適な実施形態において使用されるカラーコード化された構造を例示する。 カメラ較正方法の1つの実例となる実施形態を表すフローチャートである。 図4に示されるカメラ較正方法の実例となる実施形態から得られる結果を示す。 図4に示されるカメラ較正方法の実例となる実施形態から得られる更なる結果を示す。 精緻化プロセスを含むカメラ較正方法の1つの好適な実施形態を説明するフローチャートである。 カラー画像及びグレースケール画像における垂直エッジとして較正データセットの検出結果を示す。 カメラ較正方法の好適な実施形態における精緻化プロセスにおいて使用される2つの実例となるエッジテンプレートを示す。 カメラ較正方法の1つの好適な実施形態における実例となる精緻化プロセスを説明するフローチャートである。 カメラ較正方法の好適な実施形態における精緻化プロセスにおいて利用される幾何学変換及び光度正規化技術を示す。 精緻化プロセスの有無による提案されているカメラ較正方法の実例となる実施形態から得られる結果を示す。 提案されているカメラ較正方法の好適な実施形態を用いる較正プロセスの改善を示す。 カメラ較正方法の実施形態を実行するよう較正される装置の好適な実施形態を説明する概略図である。
より良い理解のために、提案される解決法は、これより、図面を参照して以下の記載において、より詳細に説明されるべきである。解決法は、開示されている実例となる実施形態に制限されず、特定される特徴はまた、添付の特許請求の範囲で定義される提案されている解決法の適用範囲から逸脱することなしに便宜上組み合わされ及び/又は変更され得ることが理解される。
図1は、カメラ較正方法の好適な実施形態を概略的に説明する。カメラ較正方法は、異なるカラーチャネルによる少なくとも2組のパターンを含むカラーコード化された構造が捕捉される画像をカメラから受信するステップ10と、画像においてカラーコード化された構造に関連する複数の座標点を決定するステップ11と、座標点を用いてカメラ較正を実行するステップ12とを有する。カラーコード化された構造は、異なるカラーチャネルによる少なくとも2組のパターンを含むあらゆる種類の構造であることができる。例えば、カラーコード化された構造は、カメラによって捕捉された2次元面に表示されるカラーコード化されたグラフであることができる。同様に、パターンの組は、あらゆる種類のパターン、例えば、平行なライン又は平行なストライプ、であることができる。
望ましくは、図2に示されるように、方法は、カラーコード化された構造の少なくとも2組のパターンを識別するステップ13と、そしてパターンの組ごとに座標点のサブセットを夫々決定するステップ11とを更に有する。この場合に、座標点の各サブセットは、カラーコード化された構造の対応するパターンの組と関連付けられる。
加えて、カメラ較正方法の1つの好適な実施形態は、カラーコード化された構造が捕捉される複数の画像をカメラから受信するステップ10と、それらの画像の夫々について複数の座標点を決定するステップ11とを任意に有することができる。カメラ較正の結果は、改善され得、1よりも多い画像が捕捉され使用されるときにより正確である。
全体として較正データセットとして表される座標点の決定及び収集は、夫々の画像内の較正対象(すなわち、この方法におけるカラーコード化された構造)の識別を目的としている。これは、画像特徴の組の検出と、それらと較正対象におけるソース特徴との間の一致の確立とを暗示する。
以下で、本発明の方法の一例となる好適な実施形態が詳細に記載され説明される。よく知られている機能又は構成の繰り返しの説明及び詳細な説明が本発明の主旨を不必要に不明瞭にする可能性があるとき、そのような詳細な説明は省略されることが留意されるべきである。
図3(a)は、2組のパターンを含むカラーコード化されたグラフである、好適な実施形態において使用される実例となるカラーコード化された構造を示す。2組のパターンの各組は平行なストライプの束であり、2つの束のカラーチャネルは異なる。望ましくは、平行なストライプの2つの束は相互に直交する。例えば、図3(b)及び3(c)に示されるように、平行なストライプの水平な束は赤色であり、垂直な束は青色である。基本的なパターンブロックを構成するためにここで使用される色、例えば、赤、青及び緑は、カメラの自動ホワイトバランスを簡単にするために選択される。提案されているカラーコード化された構造は、グレー階調の平均色を作り出す。これは、それが自動ホワイトバランスアルゴリズムの大部分の灰色仮説(gray-world assumption)を満足し、よって、屋外及び屋内の両方の状況のために良好な較正ビューの成功した収集を可能にする場合に、有利である。この好適な実施形態において使用されるカラーコード化されたグラフに関し、ラインの束の数、各束のカラーチャネル、及びいずれか2つの束の間の相対角度は、当然ながら自由自在であり、異なる要求及び状況に応じて調整され得る。
カラーコード化されたグラフは、簡単に、異なる位置から及び異なる姿勢の下で較正されるべきカメラによって、スクリーン上に示され、捕捉され得る。それらの捕捉された画像は、初期較正画像データセットを提供する。画像データセットを取得することによって、画像における複数の座標点、すなわち、較正データセットは、その後のカメラ較正プロセスのために取り出され得る。
この好適な実施形態において、ユーザが介在する程度が低いアドホックアルゴリズムは、較正データセットの取り出しのために設計される。次数及び角度(1,0)のガウス−ラゲール(Gauss-Laguerre)円調和フィルタ(Circular Harmonic Filters)(GL−CHF)による画像探査に基づく画像探査ツールが使用される。これは、高レベルの画像ノイズの存在下でさえロバストな検出器として試験されている[V]。それは、対応するGL関数から導出される複素数値スティーラブルフィルタ(steerable filter)であり、具体的に、階段状の画像特徴の検出のために合わせられる。この仲間に属するフィルタは、異なる画像特徴についてスケール−ローテーション不変性及び弁別能力を示す[VI,VII,VIII,XI]。このアルゴリズムは、非メトリックカメラ較正のための入力データセットの収集を簡単にする。その代表的なステップは図4において表されている。
異なるカラーチャネルによる2組のパターンは最初に分割され(20)、次に、各画像の赤及び青のチャネルに対してパターン検出が夫々実行される(21,22)。
図5(a)を参照すると、平行なストライプのパターンの各線についてのシード点の最初の取り出し21が実行される。画像探査フィルタに対する最大応答を提供するピクセル位置は、標的ラインに位置するピクセル点であると推定される初期シード点として決定される。対応するライン方向は、ピクセル応答の位相から取り出される。次いで、平行なラインの束の共線シードの組が、図5(b)に示されるようにグラフ上で探索される。検出されたシード点を経由し且つ検出されたライン方向に直交する画像スライスが検査される。フィルタ応答の大きさの全ての極大は、特定のパターンに含まれるラインの潜在的なシード点として選択される。初期シード点と同様に、夫々の選択されたシード点のライン方向は、ピクセル応答の位相から取り出される。
図4を参照すると、対応するラインの組の取り出し22が、次いで、選択されたシード点の拡大によって実行される。各シード点は、当該分野における何らかの既知の技術であることができるエッジ・ウォーキング(edge-walking)技術を用いて拡大される。最後に、エッジの位置決め精度を高めるために、検出されたラインは、[IX]において提案されている面積に基づくエッジ追跡アルゴリズムを用いて、サブピクセル精度まで精緻化される。検出されたラインの夫々の選択されたエッジ点は、較正データセットとして取り出される。
上述され且つ図4で示されるように、較正データセットの取り出しの手順は、平行なストライプの2組のパターンに独立して夫々適用される。ラインの直交する束の2つの較正データセットは、図5(c)及び5(d)に示されるように、最終的に取り出される。図6は、複数の較正画像から得られる較正データセットの取り出しの更なる実例となる結果を提供する。図6(a)において、左の列に示されている較正画像の夫々について、ラインの直交する束の2つの較正データセットが取り出される。このとき、ラインの水平な束は中央に示され、垂直な束は右の列に示されている。図6(b)は、赤−緑−青のパターンにおける検出されたグリッドラインを相応に示す。
この実例となる実施形態において、対象と画像点との間に確立される一致の程度は非メトリックである。言い換えると、同じ線に属する画像点は、1つのグループにまとめられるべきであり、同じパターンに属する画像ラインは同様に同じグループにまとめられるべきである。同じラインに属する点及び同じ束に属するラインのメトリック位置は無関係である。
提案されるカメラ較正方法に従って、新しいカラーコード化された構造が具体的に設計され、この構造は、異なるカラーチャネルの少なくとも2つの別個の組のパターン、例えば、平行なストライプの2つの束を含む。パターンの組は、高度な検出能とともにカメラ較正に必要とされる制約を同時に満足するよう、単一の較正画像において埋め込まれ得る。
平行なストライプの2つの束の例となる場合において、構造は、視覚コンテンツがラインセグメント交差を除くことによって有意に改善されるとして、ラインに基づく非メトリック較正技術によって必要とされる幾何制約を提供することができる。新しいパターンの特定の構造を利用すると、専用の検出器が定義され、この検出器は、局所傾斜駆動型の画像探査を用いて、極めてゆがんだビューからライン束を取り出すことができる。提案されるカメラ較正方法は、従って、エッジ検出器が入力画像データセットから高精度で交差していないラインを取り出すことを可能にし、点の共線性、ラインの平行性及びライン束の直交性の手かがりを暗黙のうちに備えている。
図7を参照すると、カメラ較正方法の他の好適な実施形態は、カラーコード化された構造に関連する複数の座標点の決定を精緻化するステップ(14)を任意に有する。カラーコード化された構造の色特徴は、決定された座標点の何らかの起こり得る位置決めオフセットをもたらすことがあるので、その後のカメラ較正のためにより高い精度を達成するよう、最終の決定された較正データセットを精緻化し改善することが好ましい。
特に、カラーコード化された構造が、平行なストライプの2つの束を含むカラーコード化されたグラフである上記の実例となる実施形態に関し、カラーチャネルから取り出させるライン束は、図8に示されるように、対応するグレースケール画像におけるそれらの位置に対する微小変位の影響を受けることが知られる。図8(a)及び(b)は、青チャネルに対して実行される垂直エッジの検出結果を示し、一方、図8(c)及び(d)は、グレースケール画像にオーバレイされている検出されたエッジ位置である。明らかなように、2つの画像における検出結果の間には、顕著な変位及び相違が存在する。
どちらのエッジ検出の方が信頼できるかを明らかにするために、エッジ検出の位置決め精度は、制御点としてグリッド上に一様に分布した検出可能な黒点を備えている較正対象を使用することによって、評価される。そのような有標パターンの使用によれば、パターンの組の様々な色組み合わせが解析され、検出されたエッジと基準制御点との間の平均正規距離がライン検出精度のインジケータとして測定される。表1は、幾つかの色組み合わせについての試験結果を示し、このとき、グレースケールチャネルは、より正確なエッジ位置決めを伴い、青/緑パッチは、最も位置決め精度が低いものである。
従って、上記の実例となる実施形態に関し、検出された較正データセット、すなわち、平行なストライプの検出された線上の選択されたエッジ点、の精緻化は、望ましくは、対応するグレースケール画像を使用することによって、特に、逆合成アルゴリズム(Inverse Compositional Algorithm)(ICA)に基づき、実行される[X]。
ICAは、画像ステッチング及び特徴追跡のための画像アライメント、例えば、同じシーンの2つの別個の画像をアライメントする射影変換の推定、をそもそも目的としている。数式において、ICAは、次の最小化問題のための解を提供する:
この式で、m=x(x,y)は、画像座標点を表し、T(m)及びI(m)は、アライメントされる2つの画像であり、Ω∈Rは、測光誤差の計算に寄与する画像ピクセルのサブセットであり、W(m;p)は、ベクトルp∈Rによってパラメータ化される2次元の射影変換である。上記の式の反復最小化に関する詳細は、[X]において記載されており、ここでは明りょうさのために省略される。
この好適な実施形態において、検出された較正データセットの精緻化において上記のICAの式を適用するよう、テンプレートT(m)は、画像エッジの外観の良好な近似であると考えられる2次元スムースステップ(smooth step)関数として定義される:
この式で、δは、ステップ勾配を制御するパラメータである。この実施形態の実施において、5ピクセルに等しいδを有する3×15のテンプレートが使用される。図9は、2つの実例となるテンプレートを示す。図9(a)では、δ=0(ピクセル)、図9(b)では、δ=5(ピクセル)。
画像ラインは、カメラのレンズによって導入される歪みがどれほど深刻であるかに関わらず、直線セグメントとして局所近似され得ると考えられる。このことは、2次元剛体運動の部分空間に対する画像ワープの複雑さの低減を可能にする:
この式で、R(δθ)は、角度δθの2次元ローテーションである。ワープ関数(2)の関数行列式は容易に計算され、式(1)とともに、視覚的なエッジテンプレートと局所的な画像パッチとの間の最良のアライメントを提供するパラメータベクトルpを推定するために、ICA最適化フレームワークに当てはめられ得る。
図10は、この実施形態における精緻化プロセスの詳細なステップを示す。精緻化プロセスは、望ましくは、提案される方法の先の実施形態において上記の決定ステップから検出されるエッジ点ごとに実行される。
較正データセットとしてその後に取り出される選択及び取得40されたエッジ点の夫々について、原画像におけるパッチは、初期化されたエッジ位置及び方向ベクトルに従って定義される。幾何変換の初期化41は、画像パッチを仮想テンプレートに関連付けるために実行される。エッジ点の位置及び局所エッジ方向が(m,v)と表される場合に、画像パッチの初期アライメントワープは、mを原点上に至らせ且つvをx軸と平行に回転させる2次元剛体運動によって与えられる。局所エッジ方向は、カラーチャネルプロセッシングから検出されると考えられることに留意されたい。
初期化された幾何変換は、画像パッチを、図11(a)に示されるように、テンプレートのx正領域及びx負領域に対応する2つの領域に分割するために使用される。画像パッチの光度正規化42は、次いで、2つの領域の中間グレースケール値を夫々0及び1に変換する線形変換によって得られる。図11(b)は、光度正規化後の図11(a)の同じ画像パッチを示し、仮想テンプレートの基準フレーム上にワープされる。言い換えると、図11(b)に示される幾何及び光度ワープは、最初のエッジ検出から推定されるエッジ位置決めの認識を表す。
その後、画像パッチは更に、式(2)の形でワープを直接に推定するICA43を用いて定義され、公称のテンプレートとワープされたテンプレートとの間の測光距離を最小化する。精緻化されたエッジ点は、次いで、推定されたワープを公称のテンプレートの中心点に適用して、画像面上の対応する点を計算することで、更新44される。
図12及び13は、カラーコード化された構造に関連する座標点の決定の精緻化の実例となる結果を示す。較正データセットは、異なる姿勢をとるGoPro Hero 3カメラによって撮影されたカラーコード化された構造の26枚の写真から取得される。夫々の画像に埋め込まれているカラーコード化された構造のライン束は、先に提案された方法を用いて検出され、上記の精緻化プロセスによって精緻化される。図12(a)及び(b)は、精緻化プロセスによらないエッジライン検出結果であり、一方、図12(c)は、精緻化プロセス後のより正確なエッジ検出を示す。
較正データセットの検出及びその後の較正プロセスの改善は、更に、図12に示される測定される。カメラモデルパラメータは夫々、カラーチャネルから取り出された原の較正データセットと、グレースケール画像からの精緻化された較正データセットとを用いて推定される。較正グリッドに関連する逆投影誤差は、較正画像ごとに計算される。各ビューにおける平均の逆投影誤差の低減は、精緻化された較正データセットの利用が較正精度の顕著な増大をもたらすことを示す。
本発明に従うカメラ較正方法を実行するよう構成される装置30は、図14において図式的に表されている。装置30は、画像受信ユニット31と、カメラ較正ユニット32とを有する。画像受信ユニット31は、カラーコード化された構造が捕捉される画像をカメラから受信10するよう構成される。カラーコード化された構造は、異なるカラーチャネルによる少なくとも2組のパターンを含む。カメラ較正ユニット32は、画像においてカラーコード化された構造に関連する複数の座標点を決定11し、座標点を用いてカメラ較正を実行12するよう構成される。任意に、カメラ較正ユニット32はまた、カラーコード化された構造の少なくとも2組のパターンを識別13し、カラーコード化された構造のパターンの組ごとに座標点のサブセットを夫々決定11するよう構成される。加えて、カメラ較正ユニット32は、望ましくは、カラーコード化された構造に関連する複数の座標点の決定を精緻化14するよう構成される。
30 カメラ較正装置
31 画像受信ユニット
32 カメラ較正ユニット

Claims (13)

  1. 構造が捕捉される画像をカメラから受信するステップと、
    前記画像において前記構造に関連する複数の座標点を決定するステップと、
    前記座標点を用いてカメラ較正を実行するステップと
    を有し、
    前記捕捉される構造は、異なるカラーチャネルにおける少なくとも2組のパターンを含むカラーコード化された構造である、
    カメラ較正方法。
  2. 前記カラーコード化された構造の前記少なくとも2組のパターンを識別するステップと、
    前記カラーコード化された構造のパターンの組ごとに座標点のサブセットを夫々決定するステップと
    を更に有する、請求項1に記載のカメラ較正方法。
  3. 前記カラーコード化された構造は、異なるカラーチャネルにおける2組のパターンを含み、該2組のパターンの各組は夫々、平行なストライプの束である、
    請求項1に記載のカメラ較正方法。
  4. 前記平行なストライプの2つの束は、直交する、
    請求項3に記載のカメラ較正方法。
  5. 前記カラーコード化された構造の前記2組のパターンを識別するステップと、
    前記カラーコード化された構造のパターンの組ごとに座標点のサブセットを夫々決定するステップと
    を更に有する、請求項3に記載のカメラ較正方法。
  6. パターンの組ごとに、前記座標点のサブセットは、前記平行なストライプの束の両側に沿って位置する、
    請求項5に記載のカメラ較正方法。
  7. 複数の画像を前記カメラから受信するステップと、
    前記複数の画像の夫々について複数の座標点を決定するステップと
    を更に有する、請求項1乃至6のうちいずれか一項に記載のカメラ較正方法。
  8. 前記カラーコード化された構造に関連する前記複数の座標点の決定を精緻化するステップ
    を更に有する、請求項1乃至7のうちいずれか一項に記載のカメラ較正方法。
  9. 前記カラーコード化された構造は、カラーコード化されたグラフである、
    請求項1乃至8のうちいずれか一項に記載のカメラ較正方法。
  10. 構造が捕捉される画像をカメラから受信するよう構成される画像受信ユニットと、
    前記画像において前記構造に関連する複数の座標点を決定し、該座標点を用いてカメラ較正を実行するよう構成されるカメラ較正ユニットと
    を有し、
    前記捕捉される構造は、異なるカラーチャネルにおける少なくとも2組のパターンを含むカラーコード化された構造である、
    カメラ較正装置。
  11. 前記カメラ較正ユニットは、前記カラーコード化された構造の前記少なくとも2組のパターンを識別し、前記カラーコード化された構造のパターンの組ごとに座標点のサブセットを夫々決定するよう構成される、
    請求項10に記載のカメラ較正装置。
  12. 前記カメラ較正ユニットは、前記カラーコード化された構造に関連する前記複数の座標点の決定を精緻化するよう構成される、
    請求項10又は11に記載のカメラ較正装置。
  13. コンピュータによって実行される場合に、該コンピュータに、
    構造が捕捉される画像をカメラから受信させ、
    前記画像において前記構造に関連する複数の座標点を決定させ、
    前記座標点を用いてカメラ較正を実行させる
    カメラ較正のための命令を記憶し、
    前記捕捉される構造は、異なるカラーチャネルにおける少なくとも2組のパターンを含むカラーコード化された構造である、
    コンピュータ可読記憶媒体。
JP2015004785A 2014-03-06 2015-01-14 カラーコード化された構造によるカメラ較正の方法及び装置、並びにコンピュータ可読記憶媒体 Pending JP2015171143A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14305322.1A EP2916286A1 (en) 2014-03-06 2014-03-06 Camera calibration method and apparatus using a color-coded structure
EP14305322.1 2014-03-06

Publications (1)

Publication Number Publication Date
JP2015171143A true JP2015171143A (ja) 2015-09-28

Family

ID=50442449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015004785A Pending JP2015171143A (ja) 2014-03-06 2015-01-14 カラーコード化された構造によるカメラ較正の方法及び装置、並びにコンピュータ可読記憶媒体

Country Status (5)

Country Link
US (1) US20150254854A1 (ja)
EP (2) EP2916286A1 (ja)
JP (1) JP2015171143A (ja)
KR (1) KR20150105190A (ja)
CN (1) CN104899857A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2983131A1 (en) * 2014-08-06 2016-02-10 Thomson Licensing Method and device for camera calibration
CN109118542B (zh) * 2017-06-22 2021-11-23 阿波罗智能技术(北京)有限公司 激光雷达与相机之间的标定方法、装置、设备及存储介质
CN107403447B (zh) * 2017-07-14 2020-11-06 梅卡曼德(北京)机器人科技有限公司 深度图像获取方法
CN110246193B (zh) * 2019-06-20 2021-05-14 南京博蓝奇智能科技有限公司 工业机器人末端相机在线标定方法
CN112070842B (zh) * 2020-07-28 2023-03-21 安徽农业大学 一种基于正交编码条纹的多摄像机全局标定方法
KR102622395B1 (ko) * 2022-06-03 2024-01-08 인제대학교 산학협력단 연합 학습 방법을 활용한 컬러 캘리브레이션 방법 및 그 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094195B2 (en) * 2006-12-28 2012-01-10 Flextronics International Usa, Inc. Digital camera calibration method
JP5339124B2 (ja) * 2008-09-30 2013-11-13 アイシン精機株式会社 車載カメラの校正装置
JP5421624B2 (ja) * 2009-03-16 2014-02-19 株式会社トプコン 三次元計測用画像撮影装置
US8368762B1 (en) * 2010-04-12 2013-02-05 Adobe Systems Incorporated Methods and apparatus for camera calibration based on multiview image geometry
US8687068B2 (en) * 2010-09-19 2014-04-01 Hewlett-Packard Development Company, L.P. Pattern of color codes

Also Published As

Publication number Publication date
EP2916286A1 (en) 2015-09-09
CN104899857A (zh) 2015-09-09
US20150254854A1 (en) 2015-09-10
KR20150105190A (ko) 2015-09-16
EP2916288A1 (en) 2015-09-09

Similar Documents

Publication Publication Date Title
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
CN106875444B (zh) 一种目标物定位方法及装置
JP2015171143A (ja) カラーコード化された構造によるカメラ較正の方法及び装置、並びにコンピュータ可読記憶媒体
JP5538617B2 (ja) 複数カメラのキャリブレーション用の方法および構成
CN107071376B (zh) 一种投影拼接显示校正方法及装置
TWI491849B (zh) 應用複數攝影裝置之物件定位方法
JP2018534698A (ja) Rgbdカメラ姿勢のラージスケール判定のための方法およびシステム
JP2011238228A (ja) スクリーン領域検知方法及びシステム
CN104008542B (zh) 一种针对特定平面图形的快速角点匹配方法
JP5672112B2 (ja) ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
JP6860620B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2011131029A1 (zh) 一种基于轮廓带图的相似单元的检测方法
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2009121824A (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
TWI599987B (zh) 點雲拼接系統及方法
JP6615486B2 (ja) カメラキャリブレーション装置、方法及びプログラム
JP2019220887A (ja) 画像処理装置、画像処理方法およびプログラム
CN110223356A (zh) 一种基于能量生长的单目相机全自动标定方法
CN111681271B (zh) 一种多通道多光谱相机配准方法、系统及介质
TWI462027B (zh) 圖像處理裝置及圖像處理方法
JP4886661B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
CN107680083B (zh) 视差确定方法和视差确定装置