JP2023113980A - 楕円検出方法、カメラ校正方法、楕円検出装置、及びプログラム - Google Patents

楕円検出方法、カメラ校正方法、楕円検出装置、及びプログラム Download PDF

Info

Publication number
JP2023113980A
JP2023113980A JP2020119725A JP2020119725A JP2023113980A JP 2023113980 A JP2023113980 A JP 2023113980A JP 2020119725 A JP2020119725 A JP 2020119725A JP 2020119725 A JP2020119725 A JP 2020119725A JP 2023113980 A JP2023113980 A JP 2023113980A
Authority
JP
Japan
Prior art keywords
ellipse
image
model
pixel
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020119725A
Other languages
English (en)
Inventor
信彦 若井
Nobuhiko Wakai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020119725A priority Critical patent/JP2023113980A/ja
Priority to PCT/JP2021/008206 priority patent/WO2022014085A1/ja
Publication of JP2023113980A publication Critical patent/JP2023113980A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

【課題】画像中の楕円の中心座標の検出精度を向上することが可能な技術を提供する。【解決手段】楕円検出装置は、楕円を含む画像を取得し、前記画像内における前記楕円の位置情報を取得し、前記画像と、前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出する。前記楕円モデルは、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルである。【選択図】図１

Description

本開示は、画像内に含まれている楕円の中心座標を検出する楕円検出方法、楕円検出装置、及びプログラム、並びに、それを用いたカメラ校正方法に関する。
下記特許文献１～３には、カメラによって撮像された画像中の楕円を検出する技術が開示されている。
特開昭５９－１３３４１４号公報 特開２０００－１５５８４１号公報 特開２００６－１０７１１７号公報
上記特許文献１～３に開示された技術では、画像中の楕円の検出精度が不十分であり、さらなる改善が望まれる。
本開示は、画像中の楕円の検出精度を向上することが可能な技術を提供する。
本開示の一態様に係る楕円検出方法は、情報処理装置が、楕円を含む画像を取得し、前記画像内における前記楕円の位置情報を取得し、前記画像と、前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出し、前記楕円モデルは、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルである。
本開示の一態様に係る楕円検出方法は、情報処理装置が、楕円を含む画像を取得し、前記画像内における前記楕円の位置情報を取得し、前記画像と、前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出し、前記楕円モデルは、前記画像の各画素を複数のサブピクセルに分割し、各サブピクセルに高低二値の画素値のいずれかを付与することによって楕円形状を立体的に表現し、一の画素に含まれる複数のサブピクセルに付与された複数の画素値に基づいて当該画素の画素値を算出する数値モデルである。
本開示によれば、画像中の楕円の検出精度を向上することが可能となる。
第１実施形態に係る楕円検出装置の構成を簡略化して示すブロック図である。 カメラによる撮像画像を示す図である。 楕円検出処理の流れを示すフローチャートである。 二次元のロジスティック関数を示す図である。 三次元のロジスティック関数を示す図である。 二次元のａｒｃ－ｔａｎｇｅｎｔ関数を示す図である。 三次元のａｒｃ－ｔａｎｇｅｎｔ関数を示す図である。 二次元の累積標準正規分布関数を示す図である。 三次元の累積標準正規分布関数を示す図である。 関数モデルで表現される楕円形状の一例を示す図である。 第２実施形態に係る楕円検出装置の構成を簡略化して示すブロック図である。 楕円検出処理の流れを示すフローチャートである。 類似度算出ステップにおける処理の流れを具体的に示すフローチャートである。 矩形画像内に描かれた楕円を示す図である。 数値モデルで表現される楕円形状の一例を示す図である。 画素値の算出例を示す図である。 画素の積分効果を説明するための図である。 第１実施形態及び第２実施形態に関して、楕円中心座標の検出精度を比較した図である。 第３実施形態に係る楕円検出装置の構成を簡略化して示すブロック図である。 楕円検出処理の流れを示すフローチャートである。 第４実施形態に係る楕円検出装置の構成を簡略化して示すブロック図である。 カメラ校正処理の流れを示すフローチャートである。
（本開示の基礎となった知見）
ステレオカメラ又は多眼カメラ等のセンシングカメラのカメラパラメータを校正（キャリブレーション）するためには、カメラによって撮像された画像中の二次元座標（画像座標とも呼ばれる）を、三次元空間中の三次元座標（世界座標とも呼ばれる）に対応付ける必要がある。そのために、円の位置及び形状が既知である繰り返し円パターンが内面に描かれた直方体の内部をカメラによって撮像し、各円の中心位置に関して画像座標と世界座標との対応付けが行われる。センシングカメラの小型化によって基線長又はカメラ間隔が短くなると、それに伴って測距精度が低下するため、キャリブレーションの精度を高めることが重要となってくる。
センシングカメラにおいては、対象エリアを広く撮像すべく、魚眼レンズ又は超広角レンズ等の、画像の歪みが大きいレンズが使用されることが多い。そのため、繰り返し円パターンを撮像した撮像画像では、特にその周縁部において、円が歪んで楕円となる。また、エイリアシング（折り返し雑音）の影響によって、楕円のエッジが、滑らかではなく階段状になる。従って、センシングカメラのキャリブレーションの精度を高めるためには、エイリアシングが発生している楕円を対象として、その中心座標を正確に検出することが要求される。
上記特許文献１には、画像中のエッジ画像を抽出し、そのエッジ画像を二次元のベクトル場とみなしてハフ変換を適用することによって、画像中の楕円を検出する技術が開示されている。
上記特許文献２には、画像中のエッジを連続成分に分割し、エッジの各連続成分に優先度をつけ、優先度順に連続成分を選択し、選択された連続成分内のエッジの組から楕円のパラメータを計算することによって、画像中の楕円を検出する技術が開示されている。
上記特許文献３には、入力画像を二値化し、楕円の中心座標の候補を抽出し、抽出した中心座標の候補に対応する長径及び短径を決定し、周回積分を用いて楕円の中心座標を決定することによって、画像中の楕円を検出する技術が開示されている。
しかし、上記特許文献１～３に開示された技術ではいずれも、楕円のエッジに発生するエイリアシングの影響が考慮されていない等の理由により、検出精度が低く、楕円の中心座標を正確に検出することができない。
このような課題を解決するために、本発明者は、任意の楕円形状を立体的に表現できる好適な楕円モデルを構築することによって、撮像画像中の楕円の中心座標を正確に検出できるとの知見を得て、本開示を想到するに至った。
次に、本開示の各態様について説明する。
本開示の一態様に係る楕円検出方法は、情報処理装置が、楕円を含む画像を取得し、前記画像内における前記楕円の位置情報を取得し、前記画像と、前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出し、前記楕円モデルは、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルである。
この態様によれば、情報処理装置は、画像内における楕円の中心座標を検出するための楕円モデルとして、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルを使用する。極限値の一方を楕円の内側領域の画素値に対応させ、極限値の他方を楕円の外側領域の画素値に対応させることにより、撮像画像中の楕円を、当該関数モデルで規定される立体形状によって正確に表現することができる。その結果、撮像画像中の楕円の中心座標を高精度に検出することが可能となる。また、当該関数モデルは微分可能であるため、当該関数モデルに含まれるパラメータを最適化するにあたり、最急降下法等の勾配法を使用することができる。その結果、情報処理装置の処理負荷の軽減及び処理速度の向上を図ることが可能となる。
上記態様において、前記情報処理装置は、取得した前記画像に対して、各画素を複数のサブピクセルに分割し、平滑化フィルタによって各サブピクセルの画素値を周辺の複数のサブピクセルの画素値を用いて平滑化し、これらの処理が実行された前記画像に対して前記楕円モデルを適用する。
この態様によれば、サブピクセル精度で楕円の中心座標を検出できるため、検出精度を向上することが可能となる。また、平滑化フィルタによって各サブピクセルの画素値を平滑化することにより、楕円のエッジの近傍領域において画素値の変化がなだらかとなるため、微分可能な関数モデルの適用が容易となる。
本開示の一態様に係る楕円検出方法は、情報処理装置が、楕円を含む画像を取得し、前記画像内における前記楕円の位置情報を取得し、前記画像と、前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出し、前記楕円モデルは、前記画像の各画素を複数のサブピクセルに分割し、各サブピクセルに高低二値の画素値のいずれかを付与することによって楕円形状を立体的に表現し、一の画素に含まれる複数のサブピクセルに付与された複数の画素値に基づいて当該画素の画素値を算出する数値モデルである。
この態様によれば、情報処理装置は、画像内における楕円の中心座標を検出するための楕円モデルとして、画像の各画素を複数のサブピクセルに分割し、各サブピクセルに高低二値の画素値のいずれかを付与することによって楕円形状を立体的に表現する数値モデルを使用する。これにより、撮像画像中の楕円のエッジに発生しているエイリアシングを当該数値モデルによって再現できるため、撮像画像中の楕円を、当該数値モデルで規定される立体形状によって正確に表現することができる。また、当該数値モデルでは、一の画素に含まれる複数のサブピクセルに付与された複数の画素値に基づいて、当該画素の画素値が算出される。これにより、ステップエッジ（二値エッジ）を撮影した際に当該エッジを含む画素に発生する積分効果を、当該数値モデルによって再現することができる。その結果、撮像画像中の楕円の中心座標を高精度に検出することが可能となる。
上記態様において、前記情報処理装置は、取得した前記画像に含まれる前記楕円と、前記楕円モデルによって表現される前記楕円形状との類似度がより高くなるように、前記楕円モデルに含まれるパラメータを反復的に変更する。
この態様によれば、画像中の楕円と楕円モデルの楕円形状との類似度がより高くなるように楕円モデルに含まれるパラメータを反復的に変更することにより、楕円の中心座標の検出精度をより向上することが可能となる。
上記態様において、前記パラメータは、少なくとも前記楕円形状の中心座標、長軸長さ、短軸長さ、及び傾き角度を含む。
この態様によれば、反復的に変更されるパラメータに、少なくとも楕円形状の中心座標、長軸長さ、短軸長さ、及び傾き角度を含めることにより、撮像画像に含まれている、位置、形状、及び傾きが異なる任意の楕円を、楕円モデルによって適切に表現することが可能となる。
上記態様において、前記情報処理装置は、前記画像内の任意の位置を前記位置情報として取得し、前記任意の位置が前記楕円内に含まれると仮定して前記楕円モデルを適用し、その結果、当該楕円と、前記楕円モデルによって表現される前記楕円形状との類似度が閾値以上となった場合には、前記任意の位置は前記楕円内に含まれていると判定し、当該類似度が当該閾値未満となった場合には、前記任意の位置は前記楕円内に含まれていないと判定する。
この態様によれば、情報処理装置は、撮像画像内の任意の位置に関して楕円を探索し、類似度が閾値以上となった場合にはその位置に楕円が存在するとして処理を続行し、類似度が閾値未満となった場合にはその位置には楕円が存在しないとして次の位置に関する探索を行うことができる。このように、画像内の任意の位置に関して情報処理装置が楕円の探索を行うことにより、画像内の楕円の位置情報をオペレータが情報処理装置に入力するという煩雑な作業を、省略することができる。
上記態様において、前記情報処理装置は、関数モデルを使用する楕円検出方法によって検出された前記中心座標を、前記位置情報として取得することにより、数値モデルを使用する楕円検出方法を実行する。
この態様によれば、まず、処理速度が高速な関数モデルを使用する方法によって粗い探索を行い、次に、検出精度が高い数値モデルを使用する方法によって細密な探索を行うことにより、処理速度の高速化と検出精度の向上とを両立することが可能となる。
本開示の一態様に係るカメラ校正方法（又はカメラパラメータの校正方法）は、校正対象のカメラによって撮像された、三次元の中心座標が既知の円を含む被写体の撮像画像を、楕円を含む画像として情報処理装置に入力し、上記態様に係る楕円検出方法によって、当該楕円に関する、当該画像内の二次元の中心座標を検出し、前記三次元の中心座標と前記二次元の中心座標とに基づいて、前記カメラのパラメータを校正する。
この態様によれば、撮像画像内に含まれる楕円に関する二次元の中心座標を高精度に検出できるため、カメラのパラメータを高精度に校正することが可能となる。
本開示の一態様に係る楕円検出装置は、楕円を含む画像を取得する画像取得部と、前記画像内における前記楕円の位置情報を取得する位置情報取得部と、前記画像取得部が取得した前記画像と、前記位置情報取得部が取得した前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出する中心座標検出部と、を備え、前記楕円モデルは、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルである。
この態様によれば、中心座標検出部は、画像内における楕円の中心座標を検出するための楕円モデルとして、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルを使用する。極限値の一方を楕円の内側領域の画素値に対応させ、極限値の他方を楕円の外側領域の画素値に対応させることにより、撮像画像中の楕円を、当該関数モデルで規定される立体形状によって正確に表現することができる。その結果、撮像画像中の楕円の中心座標を高精度に検出することが可能となる。また、当該関数モデルは微分可能であるため、当該関数モデルに含まれるパラメータを最適化するにあたり、最急降下法等の勾配法を使用することができる。その結果、楕円検出装置の処理負荷の軽減及び処理速度の向上を図ることが可能となる。
本開示の一態様に係る楕円検出装置は、楕円を含む画像を取得する画像取得部と、前記画像内における前記楕円の位置情報を取得する位置情報取得部と、前記画像取得部が取得した前記画像と、前記位置情報取得部が取得した前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出する中心座標検出部と、を備え、前記楕円モデルは、前記画像の各画素を複数のサブピクセルに分割し、各サブピクセルに高低二値の画素値のいずれかを付与することによって楕円形状を立体的に表現し、一の画素に含まれる複数のサブピクセルに付与された複数の画素値に基づいて当該画素の画素値を算出する数値モデルである。
この態様によれば、中心座標検出部は、画像内における楕円の中心座標を検出するための楕円モデルとして、画像の各画素を複数のサブピクセルに分割し、各サブピクセルに高低二値の画素値のいずれかを付与することによって楕円形状を立体的に表現する数値モデルを使用する。これにより、撮像画像中の楕円のエッジに発生しているエイリアシングを当該数値モデルによって再現できるため、撮像画像中の楕円を、当該数値モデルで規定される立体形状によって正確に表現することができる。また、当該数値モデルでは、一の画素に含まれる複数のサブピクセルに付与された複数の画素値に基づいて、当該画素の画素値が算出される。これにより、ステップエッジ（二値エッジ）を撮影した際に当該エッジを含む画素に発生する積分効果を、当該数値モデルによって再現することができる。その結果、撮像画像中の楕円の中心座標を高精度に検出することが可能となる。
本開示一態様に係るプログラムは、楕円検出装置が備える情報処理装置を、楕円を含む画像を取得する画像取得手段と、前記画像内における前記楕円の位置情報を取得する位置情報取得手段と、前記画像取得手段が取得した前記画像と、前記位置情報取得手段が取得した前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出する中心座標検出手段と、前記楕円モデルは、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルである、として機能させる。
この態様によれば、中心座標検出手段は、画像内における楕円の中心座標を検出するための楕円モデルとして、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルを使用する。極限値の一方を楕円の内側領域の画素値に対応させ、極限値の他方を楕円の外側領域の画素値に対応させることにより、撮像画像中の楕円を、当該関数モデルで規定される立体形状によって正確に表現することができる。その結果、撮像画像中の楕円の中心座標を高精度に検出することが可能となる。また、当該関数モデルは微分可能であるため、当該関数モデルに含まれるパラメータを最適化するにあたり、最急降下法等の勾配法を使用することができる。その結果、情報処理装置の処理負荷の軽減及び処理速度の向上を図ることが可能となる。
本開示の一態様に係るプログラムは、楕円検出装置が備える情報処理装置を、楕円を含む画像を取得する画像取得手段と、前記画像内における前記楕円の位置情報を取得する位置情報取得手段と、前記画像取得手段が取得した前記画像と、前記位置情報取得手段が取得した前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出する中心座標検出手段と、前記楕円モデルは、前記画像の各画素を複数のサブピクセルに分割し、各サブピクセルに高低二値の画素値のいずれかを付与することによって楕円形状を立体的に表現し、一の画素に含まれる複数のサブピクセルに付与された複数の画素値に基づいて当該画素の画素値を算出する数値モデルである、として機能させる。
この態様によれば、中心座標検出手段は、画像内における楕円の中心座標を検出するための楕円モデルとして、画像の各画素を複数のサブピクセルに分割し、各サブピクセルに高低二値の画素値のいずれかを付与することによって楕円形状を立体的に表現する数値モデルを使用する。これにより、撮像画像中の楕円のエッジに発生しているエイリアシングを当該数値モデルによって再現できるため、撮像画像中の楕円を、当該数値モデルで規定される立体形状によって正確に表現することができる。また、当該数値モデルでは、一の画素に含まれる複数のサブピクセルに付与された複数の画素値に基づいて、当該画素の画素値が算出される。これにより、ステップエッジ（二値エッジ）を撮影した際に当該エッジを含む画素に発生する積分効果を、当該数値モデルによって再現することができる。その結果、撮像画像中の楕円の中心座標を高精度に検出することが可能となる。
上述した本開示の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又はこれらの任意の組合せとして実現することができる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な不揮発性の記録媒体として流通させ、あるいは、インターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、構成要素、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施形態において、各々の内容を組み合わせることもできる。
以下、本開示の実施形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。
（第１実施形態）
図１は、本開示の第１実施形態に係る楕円検出装置１Ａの構成を簡略化して示すブロック図である。楕円検出装置１Ａは、フレームメモリ１１及び楕円検出部１２Ａを備えている。楕円検出部１２Ａは、画像取得部１２１、位置情報取得部１２２、及び中心座標検出部１２３を有している。フレームメモリ１１は、半導体メモリ等の任意の記憶装置を用いて構成されている。楕円検出部１２Ａは、図示しないＲＯＭ等の記録媒体から読み出したコンピュータプログラムをＣＰＵ等のプロセッサが実行することによってソフトウェア的に実現されてもよいし、ＦＰＧＡ等の専用回路を用いてハードウェアとして実現されてもよい。
楕円検出装置１Ａには、カメラ２、モニタ３、入力部４、及び座標格納部５が接続されている。カメラ２は、所定の対象エリアを撮影するセンシングカメラ等であり、魚眼レンズ又は超広角レンズ等の、画像の歪みが大きいレンズを有する。モニタ３は、液晶ディスプレイ又は有機ＥＬディスプレイ等である。入力部４は、マウス、キーボード、又はタッチパネル等の、オペレータが操作可能な任意の入力装置である。座標格納部５は、半導体メモリ等の任意の記憶装置を用いて構成されている。
画像の歪みが大きいカメラ２を対象として、そのカメラパラメータを校正（キャリブレーション）するためには、カメラ２によって撮像された画像中の二次元座標（画像座標とも称する）を、三次元空間中の三次元座標（世界座標とも称する）に対応付ける必要がある。そのために、円の位置及び形状が既知である繰り返し円パターンが内面に描かれた直方体の内部をカメラ２によって撮像することにより、各円の中心位置に関して画像座標と世界座標との対応付けが行われる。当該直方体は、例えば、幅及び高さがいずれも１００ｃｍ、奥行きが４０ｃｍの中空の箱体であり、直径５ｃｍの複数の真円から成る繰り返し円パターンが箱体の内面に描かれている。円は白色で着色されており、それ以外の領域は黒色で着色されている。箱体の特定の位置に世界座標の原点が定められ、幅（水平方向寸法）、高さ（鉛直方向寸法）、及び奥行きの各方向に沿って直交３軸（Ｘ軸、Ｙ軸、及びＺ軸）が規定される。これにより、着目円と原点との位置関係（原点からどの方向に何番目の円か）によって、着目円の世界座標系の中心座標（Ｘ，Ｙ，Ｚ）を特定することができる。
図２は、上記直方体の内部をカメラ２によって撮像することによって得られた撮像画像２０を示す図である。撮像画像２０の画像データＤ１は、カメラ２から楕円検出装置１Ａに入力され、フレームメモリ１１に格納される。画像データＤ１は、フレームメモリ１１から楕円検出部１２Ａに入力される。また、画像データＤ１は、フレームメモリ１１からモニタ３に入力される。これにより、撮像画像２０がモニタ３上に表示される。上記の通り、カメラ２には画像の歪みが大きいレンズが使用されている。そのため、撮像画像２０では、特にその周縁部において、実際には真円である円が歪んで楕円２１となっている。
オペレータは、モニタ３上に表示された撮像画像２０において、画像の左上角を原点Ｏとした着目円の画像座標系の中心座標（幅方向のｘ座標及び高さ方向のｙ座標）を、ピクセル精度で読み取って入力部４から入力する。着目円は、上記直方体の２面以上に分布する１３個以上の楕円２１であり、望ましくは全ての楕円２１である。各着目円に関する画像座標系の中心座標（ｘ，ｙ）と世界座標系の中心座標（Ｘ，Ｙ，Ｚ）とを示す位置情報Ｄ２が、入力部４から楕円検出部１２Ａに入力される。
図３は、楕円検出部１２Ａによる楕円検出処理の流れを示すフローチャートである。
まずステップＳ１０１において画像取得部１２１は、フレームメモリ１１から画像データＤ１を取得する。画像取得部１２１は、取得した画像データＤ１を中心座標検出部１２３に入力する。
次にステップＳ１０２において位置情報取得部１２２は、撮像画像２０内における楕円位置の初期値を示す情報として、入力部４から位置情報Ｄ２を取得する。位置情報取得部１２２は、取得した位置情報Ｄ２を中心座標検出部１２３に入力する。なお、後述する各パラメータａ，ｄ，Ｗｘ，Ｗｙ，ｂ，ｃ，α，β，σの初期値も、ステップＳ１０２で楕円検出部１２Ａに与えられる。
次にステップＳ１０３において中心座標検出部１２３は、画像データＤ１で示される撮像画像２０のうち、位置情報Ｄ２で示される着目円の中心座標（ｘ，ｙ）を中心とする矩形画像を切り出す。矩形画像の大きさは、一の着目円に相当する一の着目楕円を包含できる大きさに設定されており、例えば、ｘ方向及びｙ方向にそれぞれ１１画素である。中心座標検出部１２３は、切り出した矩形画像をオーバーサンプリングすることにより、矩形画像の各画素を複数のサブピクセルに分割する。矩形画像がｘ方向及びｙ方向のそれぞれに関してＮｘ倍（例えば１０倍）及びＮｙ倍（例えば１０倍）にオーバーサンプリングされることにより、矩形画像の１画素はＮｘ×Ｎｙ個（例えば１００個）のサブピクセルに分割される。Ｎｘ，Ｎｙをそれぞれ「２」以上に設定することによって、楕円のエッジに発生しているエイリアシングを再現することができる。
次にステップＳ１０４において中心座標検出部１２３は、オーバーサンプリングされた矩形画像に対してガウシアンフィルタ等の平滑化フィルタを適用することにより、各サブピクセルの画素値を、周辺の複数のサブピクセルの画素値を用いて平滑化する。ガウシアンフィルタは、画像座標を（ｘ，ｙ）、入力の画素値をＩ（ｘ，ｙ）、フィルタ適用後の画素値をＩ’（ｘ、ｙ）とすると、下記式で表される。
Figure 2023113980000002
ここで、＊はコンボリューション（畳み込み積分）を表し、σＧは像のボケの度合いを表す。なお、本実施形態においてステップＳ１０３，Ｓ１０４の処理はオプションで実行され、省略することもできる。
次にステップＳ１０５Ａにおいて中心座標検出部１２３は、オーバーサンプリング及び平滑化された矩形画像に対して、所定の楕円モデルを適用する。本実施形態において使用される楕円モデルは、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルである。以下、関数モデルの例について説明する。
第１の例では、図４及び下記式で表されるロジスティック関数を使用する。
Figure 2023113980000003
この二次元のロジスティック関数を三次元に拡張する。拡張した三次元のロジスティック関数を、図５及び下記式で表す。図５の例では定数ｒ０＝５である。
Figure 2023113980000004
特徴は以下の通りである。ｘ，ｙの変域は－∞から＋∞である。ｒ＝√（ｘ２＋ｙ２）とすると、ｒの変域は０～∞であり、ｒ＝ｒ０のときｚ＝０．５となる。ｚは画素値に相当する。ｒの＋∞の極限は定数（標準形の場合は１）に収束する。任意の回数で微分可能である。ｚ軸対称である。
第２の例では、図６及び下記式で表されるａｒｃ－ｔａｎｇｅｎｔ関数を使用する。
Figure 2023113980000005
この二次元のａｒｃ－ｔａｎｇｅｎｔ関数を三次元に拡張する。拡張した三次元のａｒｃ－ｔａｎｇｅｎｔ関数を、図７及び下記式で表す。図７の例ではｒ０＝５である。
Figure 2023113980000006
特徴は以下の通りである。ｘ，ｙの変域は－∞から＋∞である。ｒ＝√（ｘ２＋ｙ２）とすると、ｒの変域は０～∞であり、ｒ＝ｒ０のときｚ＝π／２となる。ｒの＋∞の極限は定数（標準形の場合はπ／２）に収束する。任意の回数で微分可能である。ｚ軸対称である。
第３の例では、図８及び下記式で表される累積標準正規分布関数を使用する。
Figure 2023113980000007
この二次元の累積標準正規分布関数を三次元に拡張する。拡張した三次元の累積標準正規分布関数を、図９及び下記式で表す。図９の例ではｒ０＝５である。
Figure 2023113980000008
特徴は以下の通りである。ｘ，ｙの変域は－∞から＋∞である。ｒ＝√（ｘ２＋ｙ２）とすると、ｒの変域は０～∞であり、ｒ＝ｒ０のときｚ＝１となる。ｒの＋∞の極限は定数（標準形の場合は１）に収束する。任意の回数で微分可能である。ｚ軸対称である。
第１～第３の例で示した関数モデルはいずれも、正の無限大（三次元モデルのｒ＝＋∞）及び負の無限大（三次元モデルのｒ＝０）において異なる極限値を持つ微分可能な関数であり、画像内の白色領域及び黒色領域の各画素値に三次元フィッティングするのに適した関数形となっている。
本実施の形態では第１の例を使用する場合について説明する。ロジスティック関数の指数部を、回転した楕円関数に基づいて拡張することにより、任意の楕円形状を立体的に表現可能な関数モデルを得る。この関数モデルによって規定される各画素の画素値Ｍ（ｘ，ｙ）を、下記式で表す。
Figure 2023113980000009
関数モデルのパラメータについて説明する。ａは白レベルの画素値を表し、ｄは黒レベルの画素値を表す。σは像のボケの度合いを表す。ｂは楕円の中心のｘ座標を表し、ｃは楕円の中心のｙ座標を表す。ｅは楕円の基準となる円の半径を表し、θは楕円の傾き角度を表す。αはｘ方向に関する楕円の長さ（長軸及び短軸の一方）を表し、βはｙ方向に関する楕円の長さ（長軸及び短軸の他方）を表す。α＝βのときに楕円は真円となる。
図１０は、関数モデルで表現される楕円形状の一例を示す図である。関数モデルのパラメータを様々に変更することによって、任意の楕円形状を立体的に表現することが可能である。
図３のステップＳ１０５Ａにおいて中心座標検出部１２３は、矩形画像に含まれる楕円と、関数モデルによって表現される楕円形状との類似度を算出する。類似度としては、下記式で表される、二乗誤差の総和である評価値Ｊを用いることができる。
Figure 2023113980000010
ここで、Ｎは比較を行う画素数（サブピクセル数）であり、Ｉはｋ番目に比較する画素座標（ｘｋ，ｙｋ）の入力画像の画素値を表す。ステップＳ１０４でガウシアンフィルタが適用された場合には、画素値Ｉ（ｘｋ，ｙｋ）の代わりに、フィルタ適用後の画素値Ｉ’（ｘｋ，ｙｋ）が使用される。画素値としては、輝度値が使用される。なお、輝度値に代えてＲＧＢ値等の色値が使用されてもよい。評価値Ｊが小さいと類似度は高くなり、評価値Ｊが大きいと類似度は低くなる。
次にステップＳ１０６において中心座標検出部１２３は、所定の終了条件を満たすか否かを判定する。中心座標検出部１２３は、ステップＳ１０５Ａで算出した評価値Ｊが所定値未満となった場合、又は、ステップＳ１０５Ａの繰り返し実行回数が所定回数を超えた場合に、終了条件を満たすと判定する。
終了条件を満たさない場合（ステップＳ１０６：ＮＯ）は、次にステップＳ１０７において中心座標検出部１２３は、関数モデルに含まれるパラメータを変更した後、ステップＳ１０５Ａの処理を実行する。これにより、評価値Ｊがより小さくなるように（つまり類似度がより高くなるように）、関数モデルのパラメータが反復的に変更される。変更対象のパラメータには、少なくとも、楕円の位置に関するｂ，ｃと、形状に関するα，βと、傾きに関するθとが含まれ、望ましくは全てのパラメータが含まれる。
評価値Ｊを最小化するａ及びｄは、下記式で表される連立方程式の解として解析的に求められる。
Figure 2023113980000011
ここで、Ａは下記式で与えられる。
Figure 2023113980000012
パラメータの初期値は、例えば以下のように設定すればよい。画素値が例えば２５６階調である場合、ａの初期値は「２５５」、ｄの初期値は「０」とする。入力された矩形画像のｘ方向の画素数をＷｘ、ｙ方向の画素数をＷｙとすると、ｂの初期値は「Ｗｘ／２」、ｃの初期値は「Ｗｙ／２」とする。θの初期値は「０°」とする。α，β，σの初期値はいずれも「１」とする。なお、パラメータの初期値の設定は、この例に限定されない。
上記の通り、本実施形態において使用される楕円モデルは、微分可能な関数モデルである。従って、ステップＳ１０７でパラメータを変更するにあたり、中心座標検出部１２３は、公知技術である最急降下法等の勾配法を使用することができる。
終了条件を満たす場合（ステップＳ１０６：ＹＥＳ）は、次にステップＳ１０８において中心座標検出部１２３は、評価値Ｊが最小となった関数モデルに含まれるパラメータｂ，ｃとして表されるｘ座標及びｙ座標を、入力された矩形画像に含まれる楕円の中心座標Ｐ（ｘ，ｙ）として検出する。中心座標検出部１２３は、検出した画像座標系の中心座標（ｘ，ｙ）と、入力部４から入力された世界座標系の中心座標（Ｘ，Ｙ，Ｚ）とを関連付けて、キャリブレーション用の座標データＤ３として座標格納部５に格納する。
なお、上記の説明ではロジスティック関数が使用されたが、ａｒｃ－ｔａｎｇｅｎｔ関数を使用する場合の関数モデルは下記式で表される。
Figure 2023113980000013
また、ａｒｃ－ｔａｎｇｅｎｔ関数を使用する場合の評価値Ｊは下記式で表される。
Figure 2023113980000014
累積標準正規分布関数を使用する場合の関数モデルは下記式で表される。
Figure 2023113980000015
また、累積標準正規分布関数を使用する場合の評価値Ｊは下記式で表される。
Figure 2023113980000016
本実施形態によれば、楕円検出装置１Ａ（情報処理装置）は、画像内における楕円の中心座標を検出するための楕円モデルとして、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルを使用する。極限値の一方を楕円の内側の白色領域の画素値に対応させ、極限値の他方を楕円の外側の黒色領域の画素値に対応させることにより、撮像画像２０中の楕円を、当該関数モデルで規定される立体形状によって正確に表現することができる。その結果、撮像画像２０中の楕円の中心座標Ｐ（ｘ，ｙ）を高精度に検出することが可能となる。また、当該関数モデルは微分可能であるため、当該関数モデルに含まれるパラメータを最適化するにあたり、最急降下法等の勾配法を使用することができる。その結果、楕円検出装置１Ａの処理負荷の軽減及び処理速度の向上を図ることが可能となる。
また、本実施形態によれば、サブピクセル精度で楕円の中心座標Ｐ（ｘ，ｙ）を検出できるため、検出精度を向上することが可能となる。また、平滑化フィルタによって各サブピクセルの画素値を平滑化することにより、楕円のエッジの近傍領域において画素値の変化がなだらかとなるため、微分可能な関数モデルの適用が容易となる。
また、本実施形態によれば、撮像画像２０中の楕円と楕円モデルの楕円形状との類似度がより高くなるように、楕円モデルに含まれるパラメータを反復的に変更することによって、楕円の中心座標Ｐ（ｘ，ｙ）の検出精度をより向上することが可能となる。
また、本実施形態によれば、反復的に変更されるパラメータに、少なくとも楕円形状の中心座標（ｂ，ｃ）、長軸長さ（α）、短軸長さ（β）、及び傾き角度（θ）を含めることにより、撮像画像２０に含まれている、位置、形状、及び傾きが異なる任意の楕円を、楕円モデルによって適切に表現することが可能となる。
（第２実施形態）
図１１は、本開示の第２実施形態に係る楕円検出装置１Ｂの構成を簡略化して示すブロック図である。楕円検出装置１Ｂは、図１に示した楕円検出部１２Ａに代えて楕円検出部１２Ｂを備えている。楕円検出部１２Ｂは、楕円検出部１２Ａと同様に、画像取得部１２１、位置情報取得部１２２、及び中心座標検出部１２３を有している。
図１２は、楕円検出部１２Ｂによる楕円検出処理の流れを示すフローチャートである。図３に示したステップＳ１０５Ａが、ステップＳ１０５Ｂに置き換わっている。なお、本実施形態においては、ステップＳ１０３のオーバーサンプリングはオプションではなく必須のステップとなる。
ステップＳ１０５Ｂにおいて中心座標検出部１２３は、オーバーサンプリング及び平滑化された矩形画像に対して、所定の楕円モデルを適用する。本実施形態において使用される楕円モデルは、画像の各画素を複数のサブピクセルに分割し、各サブピクセルに高低二値の画素値のいずれかを付与することによって楕円形状を立体的に表現し、一の画素に含まれる複数のサブピクセルに付与された複数の画素値に基づいて当該画素の画素値を算出する数値モデルである。
図１３は、図１２に示した類似度算出ステップ（Ｓ１０５Ｂ）における処理の流れを具体的に示すフローチャートである。図１３の処理は、図１２に示した処理をメインルーチンとしたときのサブルーチンとして実行される。
まずステップＳ２０１において中心座標検出部１２３は、矩形画像内に下記式で表される楕円Ｑを描く。描かれた楕円Ｑを図１４に示す。
Figure 2023113980000017
次にステップＳ２０２において中心座標検出部１２３は、矩形画像内の各サブピクセルに対して、下記式によって画素値Ｓｋを付与する。以下の説明では、各画素の画素値Ｍ（ｘ，ｙ）と区別するために、各サブピクセルの画素値を「サブピクセル値」と称する。
Figure 2023113980000018
上記式で示されるように、中心座標検出部１２３は、サブピクセルの中心点が楕円Ｑのエッジ上又はエッジよりも内側にあるサブピクセルに対しては、ａ＋ｄなるサブピクセル値Ｓｋを付与し、サブピクセルの中心点が楕円Ｑのエッジよりも外側にあるサブピクセルに対しては、ｄなるサブピクセル値Ｓｋを付与する。ここで、ｋはＮｘ×Ｎｙ個に分割された複数のサブピクセルの各々に付与されたインデックス値を示す。
図１５は、本実施の形態に係る数値モデルで表現される楕円形状の一例を示す図である。関数モデルと同様に数値モデルのパラメータを様々に変更することによって、任意の楕円形状を立体的に表現することが可能である。
次にステップＳ２０３において中心座標検出部１２３は、ガウシアンフィルタ等の平滑化フィルタを適用することにより、各サブピクセルのサブピクセル値Ｓｋを、周辺の複数のサブピクセルのサブピクセル値Ｓｋを用いて平滑化する。平滑化フィルタの適用後の各サブピクセルのサブピクセル値は、Ｓｋ’となる。
次にステップＳ２０４において中心座標検出部１２３は、下記式に示すように、各画素に含まれている複数のサブピクセルのサブピクセル値Ｓｋ’の平均値として、各画素の画素値Ｍ（ｘ，ｙ）を算出する。
Figure 2023113980000019
図１６は、画素値Ｍ（ｘ，ｙ）の算出例を示す図である。１画素が９個（Ｎｘ＝Ｎｙ＝３）のサブピクセルに分割された場合の例が示されている。サブピクセルの中心点（黒丸）が楕円Ｑのエッジよりも内側にある４個のサブピクセルに対しては、ａ＋ｄなるサブピクセル値Ｓｋが付与されている。サブピクセルの中心点が楕円Ｑのエッジよりも外側にある５個のサブピクセルに対しては、ｄなるサブピクセル値Ｓｋが付与されている。これら９個のサブピクセル値Ｓｋの平均値が算出されることにより、この画素の画素値Ｍ（ｘ，ｙ）は（４／９）ａ＋ｄとなる。
次にステップＳ２０５において中心座標検出部１２３は、矩形画像に含まれる楕円と、数値モデルによって表現される楕円形状との類似度を算出する。類似度としては、下記式で表される、二乗誤差の総和である評価値Ｊを用いることができる。
Figure 2023113980000020
中心座標検出部１２３は、算出した評価値Ｊをメインルーチンに返す。
次に図１２のステップＳ１０６において中心座標検出部１２３は、所定の終了条件を満たすか否かを判定する。
終了条件を満たさない場合（ステップＳ１０６：ＮＯ）は、次にステップＳ１０７において中心座標検出部１２３は、数値モデルに含まれるパラメータを変更した後、ステップＳ１０５Ｂの処理を実行する。これにより、評価値Ｊがより小さくなるように（つまり類似度がより高くなるように）、数値モデルのパラメータが反復的に変更される。
上記第１実施形態とは異なり、本実施形態において使用される数値モデルは微分できないため、最急降下法等の勾配法を使用することができない。そのため、中心座標検出部１２３は、グリッドサーチ等の探索法を用いてパラメータを更新することにより、評価値Ｊがより小さくなるパラメータを求める。
本実施形態によれば、楕円検出装置１Ｂ（情報処理装置）は、画像内における楕円の中心座標を検出するための楕円モデルとして、画像の各画素を複数のサブピクセルに分割し、各サブピクセルに高低二値の画素値のいずれかを付与することによって楕円形状を立体的に表現する数値モデルを使用する。これにより、撮像画像２０中の楕円のエッジに発生しているエイリアシングを当該数値モデルによって再現できるため、撮像画像２０中の楕円を、当該数値モデルで規定される立体形状によって正確に表現することができる。また、当該数値モデルでは、一の画素に含まれる複数のサブピクセルに付与された複数のサブピクセル値Ｓｋに基づいて、当該画素の画素値Ｍ（ｘ，ｙ）が算出される。これにより、ステップエッジ（二値エッジ）を撮影した際に当該エッジを含む画素に発生する積分効果を、当該数値モデルによって再現することができる。その結果、撮像画像２０中の楕円の中心座標Ｐ（ｘ，ｙ）を高精度に検出することが可能となる。
図１７は、画素の積分効果を説明するための図である。入力画像のうちステップエッジを含む画素については、画素の積分効果によって画素値が決まる。例として、イメージセンサの１画素の半分の領域に、ａ＋ｄの画素値に相当する光が入射し、残り半分の領域に、ｄの画素値に相当する光が入射した場合を考える。この場合、イメージセンサの当該画素から出力される画素値は、（１／２）ａ＋ｄとなる。つまり、受光光量の面積比率に基づいてその画素の画素値が決まる。本実施形態では上記の通り、各画素に含まれている複数のサブピクセルのサブピクセル値Ｓｋ’の平均値として、各画素の画素値Ｍ（ｘ，ｙ）が求められる。これにより、面積比率に基づいて画素値が決定されるという画素の積分効果が、本実施形態に係る数値モデルによって適切に再現されている。
図１８は、第１実施形態及び第２実施形態に関して、楕円中心座標の検出精度を比較した図である。特性Ｋ１は、ロジスティック関数の関数モデルを使用した第１実施形態に対応し、特性Ｋ２は、数値モデルを使用した第２実施形態に対応する。第２実施形態では、画素の積分効果が適切に再現されることにより、横軸の画素座標（サブピクセル位置）に対して縦軸の画素値が線形比例している。例えば画素値「２００」を与える画素座標は、第２実施形態では「０．２８」であるのに対して、第１実施形態では「０．１３」となっており、この差「０．１５」が第１実施形態の誤差となる。
（第３実施形態）
図１９は、本開示の第３実施形態に係る楕円検出装置１Ｃの構成を簡略化して示すブロック図である。楕円検出装置１Ｃは、図１に示した楕円検出部１２Ａに代えて楕円検出部１２Ｃを備えている。楕円検出部１２Ｃは、楕円検出部１２Ａと同様に、画像取得部１２１、位置情報取得部１２２、及び中心座標検出部１２３を有している。
図２０は、楕円検出部１２Ｃによる楕円検出処理の流れを示すフローチャートである。
まずステップＳ３０１において画像取得部１２１は、フレームメモリ１１から画像データＤ１を取得する。画像取得部１２１は、取得した画像データＤ１を中心座標検出部１２３に入力する。
次にステップＳ３０２において位置情報取得部１２２は、撮像画像２０内における楕円位置の初期値を示す情報として、入力部４から位置情報Ｄ２を取得する。位置情報取得部１２２は、取得した位置情報Ｄ２を中心座標検出部１２３に入力する。また、上述した各パラメータａ，ｄ，Ｗｘ，Ｗｙ，ｂ，ｃ，α，β，σの初期値も、ステップＳ３０２で楕円検出部１２Ｃに与えられる。
次にステップＳ３０３において中心座標検出部１２３は、上記第１実施形態で説明した関数モデルを使用した方法によって、楕円の中心座標を検出する。つまり、計算コストの低い高速な方法によって中心座標の粗探索を行う。
次にステップＳ３０４において中心座標検出部１２３は、ステップＳ３０３で検出された中心座標を位置情報Ｄ２として用いる（つまり楕円検出部１２Ｃが出力した座標データＤ３を自身へ入力する）ことにより、上記第２実施形態で説明した数値モデルを使用した方法によって、楕円の中心座標を検出する。つまり、ステップＳ３０３の粗探索で検出された中心座標の周辺領域のみを対象として、低速ではあるが高精度の方法によって中心座標の細密探索を行う。
本実施形態によれば、まず、処理速度が高速な関数モデルを使用する方法によって粗探索を行い、次に、検出精度が高い数値モデルを使用する方法によって細密探索を行うことにより、処理速度の高速化と検出精度の向上とを両立することが可能となる。
（第４実施形態）
図２１は、本開示の第４実施形態に係る楕円検出装置１Ｄの構成を簡略化して示すブロック図である。楕円検出装置１Ｄは、図１に示したモニタ３及び入力部４に代えて位置情報設定部３１を備えている。また、楕円検出装置１Ｄは、図１に示した楕円検出部１２Ａに代えて楕円検出部１２Ｄを備えている。楕円検出部１２Ｄは、楕円検出部１２Ａと同様に、画像取得部１２１、位置情報取得部１２２、及び中心座標検出部１２３を有している。また、楕円検出部１２Ｄは、判定部３２を有している。
位置情報設定部３１は、適当な所定間隔の複数の縦線及び横線から成る格子を撮像画像２０の全面に描き、格子の複数の交差点の各々の座標（画像座標）を、位置情報Ｄ２として楕円検出部１２Ｄに入力する。これにより、位置情報取得部１２２は、撮像画像２０内の楕円２１の中心座標とは直接的な関係の無い、撮像画像２０内の任意の位置の座標を、位置情報Ｄ２として取得する。
中心座標検出部１２３は、格子の複数の交差点の各々に関して、上記第１実施形態と同様の方法によって、楕円の中心座標の検出処理を実行する。但し、上記第２実施形態又は上記第３実施形態と同様の方法が使用されても良い。その際、中心座標検出部１２３は、上記第１実施形態と同様に、矩形画像に含まれる楕円と関数モデルによって表現される楕円形状との類似度（評価値Ｊ）を算出する。判定部３２は、中心座標検出部１２によって算出された類似度が所定の閾値以上であるか否かを判定する。判定部３２は、類似度が閾値以上である場合には、その交差点は撮像画像２０内のいずれかの楕円内に含まれていると判定する。この場合、中心座標検出部１２３は、その交差点に関して楕円の中心座標の検出処理を続行する。一方、類似度が閾値未満である場合には、判定部３２は、その交差点は撮像画像２０内のいずれの楕円内にも含まれていないと判定する。この場合、中心座標検出部１２３は、その交差点に関しては楕円の中心座標の検出処理を中止し、格子の次の交差点に関する探索を行う。
本実施形態によれば、楕円検出装置１Ｄは、撮像画像２０内の任意の位置に関して楕円を探索し、類似度が閾値以上となった場合にはその位置に楕円が存在するとして処理を続行し、類似度が閾値未満となった場合にはその位置には楕円が存在しないとして次の位置に関する探索を行う。このように、撮像画像２０内の任意の位置に関して楕円検出装置１Ｄが楕円の探索を行うことにより、撮像画像２０内の楕円の位置情報をオペレータが楕円検出装置１Ａに入力するという煩雑な作業を、省略することができる。
本開示に係る楕円検出方法は、センシングカメラ等のカメラ校正（キャリブレーション）において特に有用である。
図２２は、カメラ校正処理の流れを示すフローチャートである。まずステップＳ４０１において校正装置は、校正対象のカメラに関するカメラパラメータを取得する。次にステップＳ４０２において校正装置は、本開示に係る楕円検出方法によって検出されて座標格納部５に格納された座標データＤ３を、校正点データとして取得する。次にステップＳ４０３において校正装置は、取得した校正点データに基づいて、カメラパラメータを校正する。
１Ａ～１Ｄ 楕円検出装置
２ カメラ
５ 座標格納部
１２Ａ～１２Ｄ 楕円検出部
２０ 撮像画像
１２１ 画像取得部
１２２ 位置情報取得部
１２３ 中心座標検出部

Claims (12)

  1. 情報処理装置が、
    楕円を含む画像を取得し、
    前記画像内における前記楕円の位置情報を取得し、
    前記画像と、前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出し、
    前記楕円モデルは、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルである、楕円検出方法。
  2. 前記情報処理装置は、取得した前記画像に対して、各画素を複数のサブピクセルに分割し、平滑化フィルタによって各サブピクセルの画素値を周辺の複数のサブピクセルの画素値を用いて平滑化し、これらの処理が実行された前記画像に対して前記楕円モデルを適用する、請求項１に記載の楕円検出方法。
  3. 情報処理装置が、
    楕円を含む画像を取得し、
    前記画像内における前記楕円の位置情報を取得し、
    前記画像と、前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出し、
    前記楕円モデルは、前記画像の各画素を複数のサブピクセルに分割し、各サブピクセルに高低二値の画素値のいずれかを付与することによって楕円形状を立体的に表現し、一の画素に含まれる複数のサブピクセルに付与された複数の画素値に基づいて当該画素の画素値を算出する数値モデルである、楕円検出方法。
  4. 前記情報処理装置は、取得した前記画像に含まれる前記楕円と、前記楕円モデルによって表現される前記楕円形状との類似度がより高くなるように、前記楕円モデルに含まれるパラメータを反復的に変更する、請求項１～３のいずれか一つに記載の楕円検出方法。
  5. 前記パラメータは、少なくとも前記楕円形状の中心座標、長軸長さ、短軸長さ、及び傾き角度を含む、請求項４に記載の楕円検出方法。
  6. 前記情報処理装置は、
    前記画像内の任意の位置を前記位置情報として取得し、
    前記任意の位置が前記楕円内に含まれると仮定して前記楕円モデルを適用し、
    その結果、当該楕円と、前記楕円モデルによって表現される前記楕円形状との類似度が閾値以上となった場合には、前記任意の位置は前記楕円内に含まれていると判定し、当該類似度が当該閾値未満となった場合には、前記任意の位置は前記楕円内に含まれていないと判定する、請求項１～５のいずれか一つに記載の楕円検出方法。
  7. 前記情報処理装置は、請求項１に記載の楕円検出方法によって検出された前記中心座標を、前記位置情報として取得する、請求項３に記載の楕円検出方法。
  8. 校正対象のカメラによって撮像された、三次元の中心座標が既知の円を含む被写体の撮像画像を、楕円を含む画像として情報処理装置に入力し、
    請求項１～７のいずれか一つに記載の楕円検出方法によって、当該楕円に関する、当該画像内の二次元の中心座標を検出し、
    前記三次元の中心座標と前記二次元の中心座標とに基づいて、前記カメラのパラメータを校正する、カメラ校正方法。
  9. 楕円を含む画像を取得する画像取得部と、
    前記画像内における前記楕円の位置情報を取得する位置情報取得部と、
    前記画像取得部が取得した前記画像と、前記位置情報取得部が取得した前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出する中心座標検出部と、
    を備え、
    前記楕円モデルは、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルである、楕円検出装置。
  10. 楕円を含む画像を取得する画像取得部と、
    前記画像内における前記楕円の位置情報を取得する位置情報取得部と、
    前記画像取得部が取得した前記画像と、前記位置情報取得部が取得した前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出する中心座標検出部と、
    を備え、
    前記楕円モデルは、前記画像の各画素を複数のサブピクセルに分割し、各サブピクセルに高低二値の画素値のいずれかを付与することによって楕円形状を立体的に表現し、一の画素に含まれる複数のサブピクセルに付与された複数の画素値に基づいて当該画素の画素値を算出する数値モデルである、楕円検出装置。
  11. 楕円検出装置が備える情報処理装置を、
    楕円を含む画像を取得する画像取得手段と、
    前記画像内における前記楕円の位置情報を取得する位置情報取得手段と、
    前記画像取得手段が取得した前記画像と、前記位置情報取得手段が取得した前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出する中心座標検出手段と、
    前記楕円モデルは、正の無限大及び負の無限大において異なる極限値を持つ微分可能な関数を用いて楕円形状を立体的に表現する関数モデルである、
    として機能させるためのプログラム。
  12. 楕円検出装置が備える情報処理装置を、
    楕円を含む画像を取得する画像取得手段と、
    前記画像内における前記楕円の位置情報を取得する位置情報取得手段と、
    前記画像取得手段が取得した前記画像と、前記位置情報取得手段が取得した前記位置情報と、所定の楕円モデルとに基づいて、前記画像内における前記楕円の中心座標を検出する中心座標検出手段と、
    前記楕円モデルは、前記画像の各画素を複数のサブピクセルに分割し、各サブピクセルに高低二値の画素値のいずれかを付与することによって楕円形状を立体的に表現し、一の画素に含まれる複数のサブピクセルに付与された複数の画素値に基づいて当該画素の画素値を算出する数値モデルである、
    として機能させるためのプログラム。
JP2020119725A 2020-07-13 2020-07-13 楕円検出方法、カメラ校正方法、楕円検出装置、及びプログラム Pending JP2023113980A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020119725A JP2023113980A (ja) 2020-07-13 2020-07-13 楕円検出方法、カメラ校正方法、楕円検出装置、及びプログラム
PCT/JP2021/008206 WO2022014085A1 (ja) 2020-07-13 2021-03-03 楕円検出方法、カメラ校正方法、楕円検出装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020119725A JP2023113980A (ja) 2020-07-13 2020-07-13 楕円検出方法、カメラ校正方法、楕円検出装置、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023113980A true JP2023113980A (ja) 2023-08-17

Family

ID=79554630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020119725A Pending JP2023113980A (ja) 2020-07-13 2020-07-13 楕円検出方法、カメラ校正方法、楕円検出装置、及びプログラム

Country Status (2)

Country Link
JP (1) JP2023113980A (ja)
WO (1) WO2022014085A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782450B (zh) * 2022-06-23 2022-10-25 北京航空航天大学杭州创新研究院 孔洞填充设备控制方法、装置、设备和计算机可读介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001304819A (ja) * 2000-04-19 2001-10-31 Nec Corp ノズル穴計測方法及びその装置
JP5371685B2 (ja) * 2009-10-20 2013-12-18 キヤノン株式会社 情報処理装置及び制御方法、プログラム
CA2819956C (en) * 2013-07-02 2022-07-12 Guy Martin High accuracy camera modelling and calibration method

Also Published As

Publication number Publication date
WO2022014085A1 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
US11615552B2 (en) Crossing point detector, camera calibration system, crossing point detection method, camera calibration method, and recording medium
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
CN106683068B (zh) 一种三维数字化图像采集方法
US10086955B2 (en) Pattern-based camera pose estimation system
Fuhl et al. Fast camera focus estimation for gaze-based focus control
CN112348815A (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
US20140153816A1 (en) Depth Map Stereo Correspondence Techniques
US10451403B2 (en) Structure-based camera pose estimation system
CN106462949A (zh) 深度传感器校准和逐像素校正
KR101032446B1 (ko) 영상의 정점 검출 장치 및 방법
US9858669B2 (en) Optimized camera pose estimation system
WO2019128495A1 (zh) 图像清晰度检测方法、装置、存储介质及电子设备
US20160232420A1 (en) Method and apparatus for processing signal data
US9319666B1 (en) Detecting control points for camera calibration
WO2022014085A1 (ja) 楕円検出方法、カメラ校正方法、楕円検出装置、及びプログラム
CN114463503A (zh) 三维模型和地理信息系统的融合方法及装置
CN116823639A (zh) 一种图像畸变矫正方法、装置、设备及存储介质
KR101574195B1 (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
JP6906177B2 (ja) 交点検出装置、カメラ校正システム、交点検出方法、カメラ校正方法、プログラムおよび記録媒体
Otero et al. Local iterative DLT soft-computing vs. interval-valued stereo calibration and triangulation with uncertainty bounding in 3D reconstruction
WO2023273158A1 (zh) 车路协同中相机作用距离确定方法、装置和路侧设备
JP2018041169A (ja) 情報処理装置およびその制御方法、プログラム
KR20200058784A (ko) 카메라 캘리브레이션 방법 및 이를 이용하는 캘리브레이션 장치
CN116993803B (zh) 滑坡形变监测方法、装置及电子设备
CN117115488B (zh) 一种基于图像处理的水表检测方法