JP2010530086A - イメージングモデル及び画像処理装置 - Google Patents

イメージングモデル及び画像処理装置 Download PDF

Info

Publication number
JP2010530086A
JP2010530086A JP2009543197A JP2009543197A JP2010530086A JP 2010530086 A JP2010530086 A JP 2010530086A JP 2009543197 A JP2009543197 A JP 2009543197A JP 2009543197 A JP2009543197 A JP 2009543197A JP 2010530086 A JP2010530086 A JP 2010530086A
Authority
JP
Japan
Prior art keywords
image
lens
projection
field
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009543197A
Other languages
English (en)
Inventor
創太 清水
Original Assignee
創太 清水
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 創太 清水 filed Critical 創太 清水
Publication of JP2010530086A publication Critical patent/JP2010530086A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/18—Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Image Processing (AREA)

Abstract

【課題】イメージングモデルとイメージング装置を製造するためのシステム及び手法を提供すること。
【解決手段】画像処理装置は、視野を有する光学的要素と、当該光学的要素に連結され、複数領域に視野を分割可能に構成された画像分割要素と、当該画像分割要素に連結され、複数領域で画像を処理可能に構成された画像演算器とを含む。このような装置を形成する方法も記述される。
【選択図】 図３９

Description

本開示は、一般的に、イメージングモデル及び装置に関し、特に、中心窩イメージングに基づく中心窩イメージングモデル及びシステムに関する。
人間の網膜のような画像センサである中心窩視覚センサは、様々な用途に利用可能である。このような空間変化画像センサは、より少ないデータ数で広い視野（ＦＯＶ）を観察し、視野の他の領域と比べて視野中央でより詳細に観察を行うことが可能となる。画像表現のための典型的なモデルとしてログポーラ（ＬＰ）マッピングが用いられている。このマッピングは、霊長類の視覚系における生物学上の観察に基づく解析的定式化に基づき作成されている。このマッピングは、コンピュータビジョンにソフトウェア的に応用されており、ＣＣＤおよびＣＭＯＳ撮像技術に基づくＬＰ視覚チップの製造に用いられる。ＬＰマッピングは、人間の網膜のように行われ、画像データ量の大幅な削減に効果的であるばかりか、ＬＰマッピングの数学的な性質により、回転・拡大不変の幾何学的特長量を生成することにも適している。
ログポーラ画像を獲得する他の手法としては、光学系を用いる手法が存在する。この手法は、通常、特殊な広角中心窩（ＷＡＦ）レンズと、受光素子がサイズ不変になる市販の二次元デカルト座標系のビジョンチップを組み合わせて実現する。一方、ＬＰチップによる手法は、特殊に製造されたチップと、通常のレンズを有し、対数関数に基づいてサイズが変化する受光素子を組み合わせて実現される。光学系を用いる手法は、特殊に製造されたチップに比べ、様々な種類の座標系の複雑な組み合わせをより容易に実現することができる。ＷＡＦレンズは、光学的な拡大率（Ｍ．Ｆ．）から、視野中心において最も高い空間解像度を与えることができる。
カメラの視線制御は、中心窩視覚システムに必要不可欠である。この中心窩視覚システムは、オバートアテンション（ｏｖｅｒｔ−ａｔｔｅｎｔｉｏｎ）、すなわち、動的にカメラを動かして注視するタイプを考慮して提案されている。他のタイプとしては、コバートアテンション（ｃｏｖｅｒｔ−ａｔｔｅｎｔｉｏｎ）、すなわち、静的にカメラを固定して注視するものがある。回転・拡大縮小・移動に関する不変の性質は、パターン認識に利用できる。フーリエ・メリン変換は、そのような性質を生成するアルゴリズムとして知られている。しかしながら、一般に、デカルト座標系における画像は、回転・拡大縮小不変でなく、ＬＰ画像は移動不変でない。つまり、移動は、ＬＰ座標における投影において幾何学的な変形を引き起こすからである。中心窩視覚センサを使ったオバートビジョンシステム（ｏｖｅｒｔ−ｖｉｓｉｏｎ ｓｙｓｔｅｍ）は、このような２種類の画像を組み合わせて利用することにより、信頼性のあるパターン認識を可能とする。すなわち、デカルト座標系画像を用いて、対象に対して高精度な視線制御を行いながら、ＬＰ画像における変形を低減させる。さらに、視野を球面投影によって表すことにより、カメラの視線制御を容易にする。
空間非一様なデータを獲得する中心窩センサによって得られたＬＰ画像は、デカルト座標系画像に変換される。フーリエ・メリン変換は、回転・拡大縮小・移動不変の特徴を抽出するためにデカルト座標系を必要とする。しかし、このことは、デカルト座標系画像がオリジナル入力画像の表現に必ずしも適していることを意味している訳ではない。なぜなら、空間一様な解像度の入力画像から、逆に再マッピングされたデカルト座標系画像は、デカルト座標系画像からＬＰ画像のように逆のケースの場合よりも、視野中央においてより高い空間解像度を有するからである。
図１には、ＷＡＦレンズからの入力画像が、ピンホールカメラ（ＰＨＣ）画像と比較されて示されている。このＰＨＣ画像は、ＷＡＦ画像に対し、同一の視野角度と同一のピクセル数データとなっている。ＷＡＦレンズは、約１２０度の広い視野と視野中央における十分に高い解像度を同時に実現している。
図２は、ＷＡＦレンズ、ＬＰレンズ、フィッシュアイ（ＦＥ）レンズ、ＰＨＣレンズに関するプロットを表している。図２（ａ）は、物高ｈに対する像高ｒを示している。図２（ｂ）は、物高ｈに対する拡大率Ｍ．Ｆ．（ｄｒ／ｄｈ）を示している。図２（ｃ）は、物高ｈに対する拡大率Ｍ．Ｆ．（ｒ／ｈ）を示している。
図３（ａ）−（ｅ）は、オリジナル画像と、そこからシミュレーションによってマッピングされたＷＡＦレンズ、ＬＰレンズ、ＦＥレンズ、ＰＨＣレンズによる画像を表している。
図４は、従来のＦＥレンズ、ＰＨＣレンズ、Ｋｕｎｉｙｏｓｈｉレンズに関するプロットをそれぞれ表している。図４（ａ）は、物高hに対する像高ｒを示している。図４（ｂ）は、物高ｈに対する拡大率Ｍ．Ｆ．（ｄｒ／ｄｈ）を示している。図４（ｃ）は、物高ｈに対する拡大率Ｍ．Ｆ．（ｒ／ｈ）を示している。
図５（ａ）−（ｃ）は、スケールが１．０、０．７５、１．５となる３つの場合の模範的なテスト画像を表している。図５（ｄ）、（ｆ）は、ＬＰレンズ画像とＫｕｎｉｙｏｓｈｉレンズ（Ｋレンズ）画像であり、このＫレンズ画像は、実際のＫレンズ画像のＭ．Ｆ．分布からシミュレートとされている。各画像は、θｍａｘ＝π／３、ｈｍａｘ＝１、ｈ０＝０．０２６、ｈ１＝０．２１の条件で図５（ａ）から抽出されている。
図６は、θｍａｘ＝π／３、ｈｍａｘ＝１、ｈ０＝０．０２６、ｈ１＝０．２１のときに、スケールが０．７５、１．０、１．５として、ＬＰレンズ（左）とＫレンズから得られたＬＰ画像を表している。
図７は、ＬＰレンズとＫレンズのような従来のレンズによる拡大縮小不変性の精度を表すために、ＬＰレンズとＫレンズの像面上での長さを物高ｈに対してプロットしたものを示している。破線と太実線は、ＬＰレンズとＫレンズをそれぞれ示している。
ＣＣＤカメラのような視覚センサは、他のセンサに比べてより多くの情報を獲得することが可能である。さらに、広い視野は、視覚情報の多機能的利用にとって都合が良く、自動車や移動ロボットのような移動体が様々な環境下を柔軟に行動することを可能にする。代表的な産業応用は、これまで、検査システムや医用応用など、狭い画角しかもたない通常の視覚センサを用いた単機能的利用に限られている。一般に、広い視野と高い空間解像度の間には、トレードオフの関係が存在することが知られている。広い視野と高い空間解像度を同時に実現することは、通常１枚の画像あたりのピクセル数の膨大な増加を引き起こし、データ通信や実時間処理において深刻な問題となる。
人間の視覚特性に基づいた中心窩視覚情報を利用することは、非常に有効な解決手段である。人間の眼は、１２０度の広い視野を有する。視力は、中心窩と呼ばれる網膜の中心領域近傍で最も高く、視野の周辺に行くにしたがって低下する。コンピュータによるログポーラマッピングに基づいて中心窩画像を再構成する方法と、空間で非一様にスキャンする撮像装置（ＣＣＤ）を用いて中心窩画像を獲得する方法とが存在する。カメラの視線は、視野の注目領域で詳細に対象の情報を獲得するために制御される。このようなシステムは、広角中心窩視覚センサ（ＷＡＦＶＳ）システムと呼ばれる。
ＷＡＦＶＳシステムは、画像入力部と、視線制御（ＶＤＣ）部と、画像処理部とにより構成される。画像入力部は、特殊な超広角レンズを装着した２台のＣＣＤカメラと、画像取込装置とを備えている。ＷＡＦレンズと名付けられた特殊レンズ（図８）は、この部分において主要な役割を担っている。本レンズは、市販のＣＣＤカメラに装着され、１２０度の広い視野を有するとともに局所的に高い空間解像度を視野の中心部分に有するＷＡＦ画像を光学的に実現する。このような入力画像を有するステレオ視は、十分な精度を持った３次元情報と、広い視野とを同時に実現する。図９は、ＷＡＦレンズに対する入射角度θＬに対する左カメラのＣＣＤ画像平面上での像高ｒＬの特性を示している。比較のために、同一視野・同一情報量となるＰＨＣレンズの像高ｒｐｅｒ Ｌも示されている。図１は、ＷＡＦレンズとＰＨＣレンズによる画像を示している。それらの曲線は、式（１）（ＷＡＦレンズ）、式（２）（ＰＨＣレンズ）で表される。各曲線の傾きは、視野の半径方向に沿った画像の空間解像度を示している。典型的なＷＡＦレンズは、ＰＨＣレンズと比べ、視野中央での高い空間解像度と視野周辺における低い空間解像度を有する。
ここで、各ｆｋ ｉ（ｋ＝０，１，２）は、カメラキャリブレーションにより決定された係数であり、ｒｍａｘ ｉは、式（１）における６０度に対応する像高である。また、下付き文字「ｉ」は、左カメラ又は右カメラを意味する。
ＷＡＦレンズからの入力画像は、広い視野と局所的な高空間解像度という２種類の異なった特性を有するため、多機能的・多目的利用に適している。図１（ａ）と図１（ｂ）における白色及び黒色の円は、それぞれ入射角度１０度と３０度を示している。ＷＡＦレンズからの入力画像の３０度から６０度の周辺領域は、ＰＨＣレンズからの画像が視野全体の約９０%であるのに対し、約４０%に抑えられている。少ないピクセル数をもつこの領域は、侵入物の検知や自己位置推定等の周辺視野を容易にする。一方、ＷＡＦ画像の中心領域（０から１０度まで）は、ピンホールカメラ画像が約１%であるのに対し，約１０%となる。この領域は、十分に高い空間解像度を有し、例えば、色、形状及びパターンに基づく物体識別や、より高精度な３次元情報を獲得等に用いられる。中間領域（１０から３０度まで）は、中心視と周辺視の双方に用いられる。
ＷＡＦ画像においては、カメラムーバを用いて視野内の注目点を素早く変更するカメラ視線制御（ＶＤＣ）が有効である。ＶＤＣ部は、ＶＤＣ機構と、４台のステッピングモータとを備えている。これらのモータは、人間の眼の２種類の眼球運動、すなわち、（急激な）断続性運動と（高精細な）随従性運動により、首部分のパン回転と、左右の２つのカメラのチルト及び輻輳回転を実現する。
画像処理部は、有線無線ＬＡＮの下でマルチタスクオペレーティングシステム（ＯＳ）を有する複数のコンピュータによって構成されている。この画像処理部は、適宜タスク分散に基づく柔軟な並列画像処理を行う点が特徴である（図１０）。この機能は、並列かつ強調的に様々な画像処理を実行するために研究されている。様々なレベルの数種類の画像処理は、各プロセッサの負荷量に基づいて、並列的、分散的、或いは選択的に実行される。そのうちのメインコンピュータは、ファイルサーバーとしての役割を果たし、複数台のコンピュータ間、及び複数個のタスク間で情報を共有するようになっている。カメラのＶＤＣとの組み合わせは、ＷＡＦＶＳシステムの応用を拡げる。以上は、移動ロボットのナビゲーションの他に、物体への視線追従と対象の同時認識のような多機能的応用に有効である。
図１１（ａ）に示されるように、ＷＡＦ画像の多機能的利用に基づく合理的な移動ロボットナビゲーションが存在する。当該ナビゲーションは、中心視と周辺視の２つのタスクに基づき、ＷＡＦレンズの性質を利用している。中心視は、より高精度な３次元情報から、障害物の回避コースを計画する役割を担っている．一方、周辺視は、オドメトリによる位置姿勢情報を補正する役割を果たす。計画されたコース及び補正された位置姿勢情報は、タスク間で共有され、これらの情報の協調的利用に基づいてナビゲーションの性能を向上させるために周期的に更新される。例えば、補正された位置姿勢情報は、計画されたコース上の目標点を変更し、目標となる移動距離や回転角度が演算される。これらの演算値は、移動ロボットの駆動制御用コンピュータに入力される。図１１（ｂ）は、このナビゲーションのフローチャートを示している。ここで、周辺視の周期は、中心視の周期よりもかなり短くなっている。ここでのセットアップは、人間の視覚情報処理系に類するモデルに基づいている。これは、周辺視は、移動ロボットの制御により密接に結びついているからである。
図１２（ａ）は、カメラの光軸をＹｉとし、原点をＷＡＦレンズの視点とした視点座標系Ｏｉ−ＸｉＹｉＺｉを示している（ｉ＝Ｌ，Ｒ）。入力画像上の座標（ｕ’ｉ，ｖ’ｉ）は、ドットアスペクト比Ｋにより、視野座標系の座標（ｕ’ｉ，ｖ’ｉ）に変換される。当該座標は、視点への入射方向（θｉ，φｉ）に対応する。なお、（Ｉｕ ｉ，Ｉｖ ｉ）は、この座標系における画像中心を意味する。（ｕｐｅｒ ｉ，ｖｐｅｒ ｉ）は、式（２）を用いて視点座標系の座標から変換された透視投影座標系における座標である。
図１２（ｂ）は、左カメラの視点座標系ＯＬ−ＸＬＹＬＺＬ、ロボット座標系ＯＣ−ＸＣＹＣＺＣ、ワールド座標系ＯＷ−ＸＷＹＷＺＷを示している。ここで、路面は、完全な平面であると仮定している。図１２（ｂ）においては、Ψ１ｃとΨ２ｃは、それぞれ、両眼カメラムーバのパン回転及びチルト回転の振れ角である。ロボット座標系の原点Ｏｃは、ロボットの中心であり、そのワールド座標系の座標は、（Ｘｒｏｂｏ，Ｙｒｏｂｏ，０）である。Ｐは、首回転軸からロボット中心までの距離であり、Ｈは、路面からのカメラ視点の高さであり、Ｂは、左右のカメラ間の距離すなわち基線長であり、αは、ＹＣ軸とＹｗ軸の間の角度である。
障害物を回避するコースは、中心視により受動型の平行ステレオ法で得られた３次元情報を用い、ロードマップに基づいて決定される。ロードマップは、ワールド座標系の２次元のＸｗ軸とＹｗ軸を有し、壁、道路境界線、検出された障害物等の環境情報を備えている。このロードマップは、しばしば経路計画の研究に用いられるボロノイグラフとは異なる。図１３（ｉ）は、障害物が存在する領域を推定する手法について示している。ここでは、カメラの視線方向がＹｗ軸と平行であると仮定している。ここでの手順は、以下の通りである。
（ａ）路面が、５（ｃｍ）四方となる小正方形状のブロックに分割される。
（ｂ），（ｃ）各３次元計測点（ｘ，ｙ，ｚ）は、ＣＣＤ素子の離散化によって生じる計測誤差を考慮し、対応するブロックに投票される。Ｙｗ（ＹＬ）軸及びＸｗ（ＸＬ）軸の各方向の計測誤差Δｘ及びΔｙは、式（３）と式（４）を用いてそれぞれ計算される。
ここで、ΔθｉとΔφｉ（ｉ＝Ｌ，Ｒ）は、それぞれ、視野の半径方向及び円周方向の入射角度の誤差であり、これらは、ＣＣＤ素子の離散化誤差によって生じる。図１３（ｉｉ）は、これらの誤差について示している。
（ｄ）前記障害物が、閾値に基づいてハイライトされたブロックに存在すると推定される。
図１４（ｉ）は、ロードマップ上に回避経路を決定する流れを示している。各ステップでハッチングが付された領域は、障害物が存在しないことを示している。障害物情報は、衝突を避けるためのオフセットとともにロードマップに与えられる。白丸は、決定された回避経路上のデータ点列である。道路境界線の情報は、次段落に記述される周辺視のアルゴリズムによって得られる。
図１４（ｉｉ）は、２台のカメラの視線を含む平面上の各点の奥行き誤差Δｙの等高線グラフを示している。ここで、基線長Ｂは３００ｍｍである。前記誤差は、コンピュータシミュレーションにより、式（３）及び（４）に基づいて算出される。各値は、比Δｙ／ｙとして表される。比較として、上式（２）によって表されるＰＨＣレンズの画像の奥行き誤差が示されている。破線は、カメラの視野の境界線であり、これらの内側の領域は、奥行き情報を有する。図１４（ｉｉ）に示されるように、奥行きは、ＰＨＣレンズよりもＷＡＦレンズの方が、左カメラへの小さい入射角度で高精度に計測される可能性がある。ＰＨＣレンズは、前方約０．６ｍの範囲の内側でしか、２%以下の誤差で奥行きを計測することができない。一方、ＷＡＦレンズは、前方約３．２ｍの遠い範囲において同程度の精度で奥行きを計測できる。
図１５（ａ），図１５（ｂ），図１６に表された平行２直線（ＴＰＬ）アルゴリズムのように、視野周辺に投影された２本の道路境界線を用い、１台のＣＣＤカメラからその位置及び姿勢角を得る手法が存在する。本手法は、より高い精度での位置情報の計測を可能にする。これは、前記周辺領域が、少ないピクセル数で表されるものの円周方向により高い解像度を有するためであり、ＷＡＦ画像（図１（ａ））中、入射角度が３０度となる黒色の円の周長は、図１（ｂ）におけるＰＨＣ画像に比べて長いためである。なお、ここでは、平面の路面上に２本の平行な境界線（ｌＡ及びｌＢ）があるとともに、カメラ光軸は回転しないものと仮定する。更に、道路幅Ｗと路面からの視点高さＨは、既知とする。
左カメラの視点ＯＬ（ＸＯ Ｌ，ＺＯ Ｌ）は、図１５（ｂ）に示されるように、原点が共通となる座標系ＯＬ−ＸＬＹＬＺＬ及びこれに関連する座標系ＯＬ−ＸＬ’ＹＬ’ＺＬ’に基づいて、各境界線を含む２つの平面から算出される。座標系ＯＬ−ＸＬ’ＹＬ’ＺＬ’は、２本の境界線に対して平行であるため、ＸＬ’軸は路面に対して水平である。これらの平面は式（５）で表される。
ＯＬ（ＸＯ Ｌ，ＺＯ Ｌ）は、ａｉを用いて算出される。
道路幅Ｗは、視点高さＨ（＝ＺＯ Ｌ）が既知であることから、式（７）で計算できる。このことは、幅が未知の通路環境においても、移動ロボットをナビゲーションできることを意味している。
境界線に対するカメラの視線方向は、パン角ψ１とチルト角ψ２によって表され、透視投影座標系における消失点から算出される。ワールド座標系における移動ロボットの姿勢角αは、カメラムーバがロボット座標系からパン角ψ１Ｃだけ振れると、式（８）で表される。
図１６は、ハフ変換を用いたＴＰＬアルゴリズムのフローチャートを示している。本アルゴリズムは、道路境界線の一部が遮蔽や証明条件により見えないときでも、迅速に位置情報を計測する。
カメラムーバが移動ロボットに固定されているとすると、移動ロボットの姿勢変化が大きくなるに従い、道路前方の位置及び３次元の情報の精度が低下する。この問題は、カメラの視線方向を道路境界線に対して平行になるように維持するカメラの視線制御で解決される。回転角Δψｉは、式（９）により算出される。
上式で、α１は、オドメトリに基づく画像取り込み直後の移動ロボットの姿勢角の推定値であり、α２は、位置情報が前記周辺領域から算出された直後の推定値である。
移動ロボットの位置情報は、
と、
と、により周期的に補正される。ここで、Ｘｒｏｂｏｉは、画像取り込み直後（ｉ＝１）と位置情報の算出直後（ｉ＝２）に、オドメトリによる移動ロボットの位置に関する値である。式（７）から算出された道路幅が、既知の幅Ｗと大きく異なる場合、位置情報は更新されない。
ＴＰＬアルゴリズムを用いた場合、カメラ水平位置ｗを精度良く計測するための最適なカメラ視点高さｈが存在する。カメラの視線方向が道路境界線に平行なとき、ｗとｈの関係は、コンピュータによるシミュレーションによって分析される。図１７は、視野座標系に投影された２本の道路境界線を示している（φｎ（ｎ＝Ａ，Ｂ）で表される）。ＣＣＤの離散化誤差ΔφＡ とΔφＢによって生じる水平位置の計測誤差Δｗは、式（１０）ないし式（１２）により算出される。
図１８は、各位置（ｗ／Ｗ，ｈ／Ｗ）における誤差Δｗの等高線グラフを示している。図１８（ａ）はＷＡＦレンズからのものであり、図１８（ｂ）はＰＨＣレンズからのものである。Δｗの各値は、道路幅Ｗのパーセンテージで表されている。Δｗは、ＷＡＦレンズの場合とＰＨＣレンズの場合でそれぞれ、半径０．８７５の円上と半径０．４０５の円上のΔφＡ とΔφＢから算出される。これらの半径は、約３５度の入射角度に対応する。各水平位置ｗにおいてΔｗを最小にする視点高さが存在する（図１８中破線参照）。ｗが０あるいは１に近づくに従い、最適な高さ値は小さくなる。前記誤差は，ｈが０に近づき、また、ｗが０或いは１に近づくに従い、ｗの変化に対して変化し易くなる。なお、ＷＡＦレンズは、ＰＨＣレンズに比べ、より高い精度でｗを計測可能である。これは、同じ入射角度における円周方向の解像度が高くなるためである。
実験用の移動ロボットが図１９に示されている。そのロボットは、駆動とステアリング両用の１個の前輪と、２個の後輪とを備えたフロントホイールシステム車である。前記ロボットには、画像処理用と移動ロボットの走行制御用の２台のコンピュータが設けられている。これらは、並列に処理を実行し、通信によってロボットの位置情報を共有する。位置情報は、駆動用及びステアリング用のロータリーエンコーダにより計測された回転量から推定され、計画されたコースとナビゲーションの精度を向上させるために、周辺視からの計測値により補正される。
図２０（ｉ）（ａ）と（ｂ）に示されるように、２種類のナビゲーションによる実験が行われた。ここでは、白色ボード（幅２０（ｃｍ）高さ５５（ｃｍ））をカーペット上に障害物（幅１３７．５（ｃｍ））として配置する。左カメラの視線方向のチルト角ψ２を０度とし、カメラ視点の高さＨを６４．５（ｃｍ）とし、ロボット中央とカメラムーバの首回転軸との間の水平距離Ｐを５３（ｃｍ）としている。障害物と前記移動ロボットの間の衝突オフセットを２０ｃｍとし、前記移動ロボットの移動速度を１０（ｃｍ／ｓ）としている。
図２０（ｉｉ）は、実験結果を示している。白色の三角は、計画されたコース上のターゲットポイントであり、黒色の点は、実際の走行経路上の（Ｘｒｏｂｏ，Ｙｒｏｂｏ）で表される点列である。ここで、Ｘｒｏｂｏは、ＴＰＬアルゴリズムによる計測値であり、Ｙｒｏｂｏはオドメトリによる推定値である。×印は障害物である。これらは、それぞれワールド座標系に基づいてプロットされている。当該実験において、ステアリングは、ターゲットポイントに合った３次関数に基づいて軌道追従するように制御される。２つのコースの間のずれは、ステアリング制御の遅れによって引き起こされると思われる。図２０（ｉｉ）（ｂ）中の３００ｍｍ近傍のターゲットポイントは、ＴＰＬアルゴリズムからの位置情報の誤差が影響している。
中心窩センサは、ＦＯＶ（視野）の中心部分でより高く、中心部分から周囲に向かうに従って急激に低下する空間解像度を有する中心窩画像を生成する。つまり，中心窩センサの空間解像度は一様でない。このように、中心窩センサは、大幅に削減されたデータ数で、広視野と、視野中心での詳細さとを実現する。ログポーラマッピングは、しばしば、中心窩画像のモデルとして利用される。ログポーラマッピングは、霊長類の視覚系における生物学上の観察に基づく解析的定式化に基づき作成されている。ログポーラは、コンピュータビジョンにソフトウェア的に応用されており、ＣＣＤおよびＣＭＯＳ撮像技術に基づくＬＰ視覚チップの製造に用いられる。ログポーラマッピングは、人間の網膜のように行われ、画像データ量の大幅な削減に効果的であるばかりか、回転・拡大不変の幾何学的特長量を容易に生成することにも適している。
中心窩画像を得るための他の手法及び広角レンズが存在する。当該広角レンズは、特殊な広角中心窩レンズ（ＷＡＦレンズ）と、均一に並べられた受光素子を有する市販のデカルト座標系のビジョンチップとの組み合わせである。一方、前者の手法は、市販の通常レンズをログポーラチップに組み合わされる。ログポーラチップは、その受光素子のサイズが中心窩において均一で且つ周辺では対数的に変化する。
平面投影と球面投影を組み合わせたモデルの特殊な広角レンズが知られている。このレンズは、「線形な平面投影」と「線形な球面投影」を橋渡しするために、対数カーブを用いて球面投影の一部を歪曲させることで、中心窩特性を実現する。ＦＯＶ（視野）における当該領域、すなわち、球面対数部は、回転、尺度不変（ＲＳ不変）となる。
本発明は、イメージングモデルとイメージング装置を作るためのシステムと手法であり、イメージングモデルとシステムをどのように作るかについて開示する。
簡潔に述べると、構造的に、システム一例及び他の例は、以下の通りに実施可能である。
画像処理装置は、視野を持つ光学的要素と、当該光学的要素に連結し、複数領域に視野を分割するように構成された画像分割要素と、当該画像分割要素に連結し、複数領域で画像を処理可能に構成された画像演算器とを含む。
本開示は、画像をモデリングする方法とみることもできる。当該方法は、光学的要素を提供し、光学的要素の視野を決定し、視野を複数領域に分割し、分割された複数領域で画像処理するという手順を含んでいる。
本発明における他のシステム、方法、特徴、及び効果は、以下の図面と発明の詳細な説明により、本技術分野における通常の技術を有する者に対して明らか、或いは、明らかにされる。本明細書に含まれる全ての付加的システム、方法、特徴及び効果は、本開示の範囲内にあり、付随する請求の範囲により保護される。
本開示の多くの態様は、以下の図面を参照すると容易に理解可能である。図面中の構成要素は、必ずしも本発明の原理をはっきりと図示することや、それを強調するものではない。更に、図面中において言及されている数値は、幾つかの図の至る所で対応部分を指定している。
ＷＡＦレンズとピンホールカメラ（ＰＨＣ）レンズの画像を示している。 物高に関する従来のレンズのプロットの対比を示している。 ＷＡＦレンズ、ＬＰレンズ、ＦＥレンズ、ＰＨＣレンズ（従来技術）の各画像のシミュレーションを示している。 従来の各レンズのプロットの対比を示している。 実際のＫレンズのＭ．Ｆ．分布によるＬＰレンズ画像及びＫレンズ画像のような先行技術において、相互に異なるスケールを有するテスト画像を示している。 ＬＰレンズ（左）とＫレンズ（右）のような従来のレンズからのＬＰ画像を示している。 ＬＰレンズとＫレンズのような従来のレンズによる拡大縮小不変の精度を示している。 従来の組レンズ系とＷＡＦレンズの写真を示している。 図１に示された従来のＷＡＦレンズとピンホールカメラの入力画像の入射角度に対する像高のプロットを示している。 従来のＷＡＦＶＳシステムの構成と適宜タスク分散を示している。 従来のＷＡＦＶＳの多機能的利用に基づくナビゲーションを示している。 従来例における中心視と従来の周辺視の間の協調的ナビゲーションのフローチャートを示している。 従来例における視野座標と視点座標を示している。 従来例における左カメラの視点座標、ロボット座標、及びワールド座標を示している。 障害物が存在する領域を推定する方法を示している。 ＣＣＤの離散化誤差、及び３次元計測における奥行き方向の誤差Δｙと水平方向の誤差Δｘを示している。 障害物回避コースの計画手順を示している。 奥行き誤差の等高線を示している。 ロボットとカメラムーバの位置姿勢に関するパラメータについて示している。 座標系ＯＬ−ＸＬ’ＹＬ’ＺＬ’の略図を示している。 ＴＰＬアルゴリズムのフローチャートを示している。 カメラの視線方向が２本の境界線に平行なときの視野における当該２本の境界線を示している。 水平方向位置誤差Δｗの等高線グラフを示している。 従来のＷＡＦＶＳシステムと移動ロボットを示している。 障害物回避ナビゲーションのための実験環境を示している。 従来例における障害物回避ナビゲーションの実験結果を示している。 平面投影と球面投影の組み合わせに基づく本開示のカメラモデルの実施例を示している。 物高に関するＡｄＷＡＦ画像のプロットを示している。 オリジナル画像と、ＡｄＷＡＦ画像のシミュレーションとを示している。 ＷＡＦレンズからの実画像より抽出されたＡｄＷＡＦ画像を示している。 ＡｄＷＡＦ画像のプロットを示している。 様々なスケールのテスト画像とＡｄＷＡＦ画像を示している。 ＬＰレンズからのＬＰ画像（左）とＡｄＷＡＦ画像（右）を示している。 Ｋレンズ（ＡｄＷＡＦ）とＡｄＷＡＦ画像のプロットを示している。 平面投影と球面投影の組み合わせに基づく本開示のカメラモデルの他の実施例を示している。 ＡｄＷＡＦ画像と線形な座標系の画像との比較を示している。 ＡｄＷＡＦ画像のプロットを示している。 目標画像ともう一つのＡｄＷＡＦモデルによるシミュレーション画像とを示している。 実画像から抽出されたＡｄＷＡＦ画像を示している。 ＬＰレンズとログポーラチップの中心窩モデルを例示している。 物高に関するＡｄＷＡＦ画像のプロットを示している。 ＡｄＷＡＦ画像、ＬＰレンズ画像、Ｋレンズ画像を示している。 異なるスケール（α＝１．０，０．７５，及び１．５）をもつ３つのターゲット画像を示している。 ｒｍａｘ＝６４、θｍａｘ＝π／３、θ０＝２．５８４（°）、θ１＝２０．０（°）、及びθ２＝３４．７１５（°）のときのＡｄＷＡＦ画像、ＬＰレンズ画像、及びＫレンズ画像の極画像を示している。 ＡｄＷＡＦ画像、ＬＰレンズ、及びＫレンズの拡大縮小不変の特性を示している。 ＡｄＷＡＦ画像とＬＰレンズによるスキューの影響を示している。 左から、ψ＝０、５及び１０（°）の場合のＡｄＷＡＦ画像とＬＰレンズモデルの極画像を示している。 本開示の方法のフローチャートを表している。 本開示の装置の代表実施例のブロックダイアグラムを示している。 ３次元のテストパターンを示している。 ＡｄＷＡＦレンズによる３次元のテストパターン画像を示している。 ２本の道路境界線からの消失点の検出を示している。 ２本の道路境界線からの消失点の検出を示している。 視野中央の色情報を用いた顔検出を示している。 ＡｄＷＡＦレンズの多目的利用例として、周辺視野のグレースケール情報を用いた移動物体の検出を示している。
本開示は、イメージングモデルと装置を製作するためのシステムと方法に関する。
当該技術分野における通常の技術を有する者が理解するように、ブロックに入る矢印や記号は入力を示し、ブロックから出る矢印や記号は出力を示す。同様に、以下に記述される接続は、電気、光学、放射線及び磁気等を含むあらゆる電磁的なものを適用できる。
１．ＡｄＷＡＦモデルの実施例
Ａ．モデリング
ＷＡＦレンズによる入力画像による相対的に正確なＬＰ画像は、カメラキャリブレーションに基づいて抽出される。図２１は、カメラモデルの実施例の構成図を示している。このカメラモデルは、平面投影（ＰＰ）すなわちレンズの光学中心への入射角度θの正接による透視投影と、球面投影（ＳＰ）すなわち入射角度θに線形な投影との組み合わせに基づいている。本カメラモデルの投影高ｐは、以下で定義される。
ここでｆ１とｆ２は、それぞれ前記投影平面と前記ＳＰ（球面投影）面への焦点距離である。ｋは、双方の投影の連続性のための補正係数である。
ＷＡＦ画像モデル、すなわち改良ＷＡＦ（ＡｄＷＡＦ）のイメージングは、式（１３）によるＰＰと式（１４）ＳＰの双方を、デカルト座標系と対数座標系の双方に組み合わせることで、以下の式で定義される。
ここで、ｒは、θに対応する像高であり、ｒｍａｘは、θ＝θｍａｘのときの最大像高であり、ｃｉ（ｉ＝１，２，３，４）は、θの各領域から抽出された部分画像の像高を調節するためのスケール調整係数である。更に、ｄｉ（ｉ＝１，２，３）は、
ここで、Ｌ は物体距離、すなわち、光学中心から物面までの距離であり、ｂは以下によって与えられる。
この場合、式（１６）から式（１９）が連続であるのみならず、これらを微分したものも連続である。
図２２は、他タイプのレンズとともに，ＡｄＷＡＦ画像に付随するように、物高ｈに対する各値、すなわち、像高ｒ、視野半径方向及び円周方向のＭ．Ｆ．であるｄｒ／ｄｈ、ｒ／ｈをそれぞれ示している。ｈｍａｘ及びｒｍａｘは、各タイプを容易に比較するために、θｍａｘ＝π／３のとき１に正規化されている。図２２のケースでは、視野の境界線ｈ０、ｈ１、ｈ２は、それぞれ、０．１（＝９．８２６（°））、０．４（＝１９．１０７（°））、及び０．６（＝３４．７１５（°））である。他タイプのレンズ、つまり、ＬＰレンズ、フィッシュアイ（ＦＥ）レンズ、ＰＨＣレンズ及びＷＡＦレンズは、次のように定義される。
式（４７）と式（４８）は、θ＝θ０で連続で、且つ、それらの微分も連続となる。なお、ＬＰレンズは、θ１＝θ２＝θｍａｘ、ｃ０＝ｃ１＝１、及びｃ２＝ｃ３＝０のとき、本ＡｄＷＡＦモデルで表すことができる。その中心窩と周辺視野は、それぞれ、ＡｄＷＡＦモデルの中心窩と傍中心窩に対応する。
太線は、ＷＡＦレンズを表している。その像高とＭ．Ｆ．の分布は、ＷＡＦレンズの設計概念、すなわち、より広いＦＯＶ（視野）を獲得し、視野の中心部分で局所的により高い空間解像度を実現することが特徴である。半径方向のＭ．Ｆは、ＰＨＣレンズ（太破線）及びＦＥレンズ（細破線）に対し、小さな入射角度でかなり高い一方、大きな入射角度では低くなっている。ＬＰレンズ（実線）に比べ、本ＡｄＷＡＦモデル（円付細実線）は、中間及び周辺の領域でより低いＭ．Ｆ．を有するため、同じデータ数で中心領域（０≦ｈ≦ｈ０）でより高いＭ．Ｆ．を獲得できる。調整係数ｃｉは、ＡｄＷＡＦ画像のＭ．Ｆ．として用いられ、ＷＡＦレンズのＭ．Ｆ．を超えないようにされる。加えて、ＡｄＷＡＦモデルにおいてｒｍａｘが０．９３であるならば、調整されたＭ．Ｆ．は、図２２（ｂ）に示されるように、中心領域においてＬＰレンズのＭ．Ｆ．とほぼ等しくなる。よって、このことは、ＡｄＷＡＦモデルが、ＬＰレンズよりも視野の周辺領域で多くのピクセル数が減少可能となることを意味している。
視野全体は、図２１に示されるように、中心領域（０≦θ≦θ０）、中間領域（θ０≦θ≦θ２）、及び周辺領域（θ２≦θ≦θｍａｘ）の３領域に分割される。ＡｄＷＡＦモデルは、ＰＰとＳＰの境界θ２で、前記３領域を更に４領域に分割する。ＰＰとＳＰの対数関数の部分は、それぞれ、傍中心窩と近周辺視野と名付けられる。前記傍中心視は、パターン認識のような中心視に用いられるのが好ましく、前記近周辺視野は、より周辺視に用いられることが好ましい。前記中心領域（中心窩）は、像高ｒが物高ｈに対して線形であるため、平面投影デカルト座標系領域であり、一方、周辺領域（周辺視野）は、ｒが入射角度θに対して線形であるため、球面投影デカルト座標系領域である。
Ｂ．画像抽出
図２３は、ｒｍａｘ＝６４（ｐｉｘｅｌ）、θｍａｘ＝π／３、ｈｍａｘ＝１、ｈ０＝０．１、ｈ１＝０．４及びｈ２＝０．６の条件で、ＡｄＷＡＦ画像の全体像をシミュレートしている。各画像は、５１２×５１２（ｐｉｘｅｌ）のオリジナル画像（図２３（ａ））から抽出されている。ここで、ＡｄＷＡＦ画像は、中央領域において、ＬＰレンズ（図３）よりも高い解像度を有することが明らかである点に注目すべきである。一方、周辺領域の解像度は、ＷＡＦレンズとＬＰレンズの間のレベルである。
図２４は、上記シミュレーションと同一条件下で、ＷＡＦレンズ画像から実際に抽出されたＡｄＷＡＦ画像を示している。図２４（ａ）、（ｂ）、（ｃ）は、それぞれ、抽出されたＡｄＷＡＦ画像の全体視、式（１７）による傍中心窩画像、式（１６）による中心窩画像である。デカルト座標系の中心窩画像は、移動不変の性質のみを有する。
Ｃ．考察
（ｉ）Ｋレンズとの関係
図２５は、前記ＡｄＷＡＦモデルと、当該ＡｄＷＡＦモデルに関連するＫｕｎｉｙｏｓｈｉレンズ（Ｋレンズ）との比較を示している。ここでの条件は、実際のＫレンズのＭ．Ｆ．分布によって決定される条件、すなわち、ｒｍａｘ＝１、θｍａｘ＝π／３、ｈｍａｘ＝１、ｈ０＝０．０２６、ｈ１＝０．２１及びｈ２＝０．６である。ｈ１とｈ２の値は、それぞれ、Ｋレンズの視野の境界線からの入射角度θ０(＝２．５８４（°）)とθ１(＝２０．０（°）)に対応している。ＦＥレンズ、ＰＨＣレンズ、Ｋレンズ、及びＡｄＷＡＦモデルは、それぞれ、細破線、太破線、太実線、円付細実線で示されている。Ｋレンズの像高は、ｈ０≦ｈ≦ｈ１でθに対して対数関数的に変化し、ｈ１≦ｈ≦ｈｍａｘでθに対して線形に変化する。この場合、１本目の境界線ｈ０（＝θ０）が２本目の境界線ｈ１（＝θ１）と等しく、且つ、３本目の境界線ｈ２（＝θ２）がＫレンズモデルの２本目の境界線と等しいとき、これらは一致する。なお、Ｋｕｎｉｙｓｈｉらは、ＰＰとＳＰ面への２つの焦点距離ｆ１ｆ２が同じ値を持つと仮定している。ここで、境界線に関するこの条件は、本ＡｄＷＡＦモデルに、同一のデータ数であるＫレンズよりも前記中心領域でより高いＭ．Ｆ．を与える。その一方、前記中心領域でＫレンズと同じＭ．Ｆ．をもつならば、ｒｍａｘは０．８５tなる。従って、この場合の本ＡｄＷＡＦモデルは、約２８パーセントのデータ数を削減することができる。
（ｉｉ）シミュレーション結果
図２６は、本ＡｄＷＡＦモデルに関する異なるスケール（α＝０．７５，１，１．５）のテスト画像を表している。これらは、θｍａｘ＝π／３、ｈｍａｘ＝１、ｈ０＝０．０２６、ｈ４＝０．２１及びｈ２＝０．６の条件下で図２６（ａ）から抽出されたものである。
本ＡｄＷＡＦモデルとＫｕｎｉｙｏｓｈｉモデルの両者は、回転・拡大縮小不変のＬＰ画像を獲得できる。図２７と図６は、それぞれ、ＬＰレンズ（左）とＡｄＷＡＦモデル（右）の比較、ＬＰレンズ（左）とＫレンズ（右）の比較を示しており、図２６（ａ）、（ｂ）、（ｃ）のテスト画像から抽出された極座標画像である。両比較は、θｍａｘ＝π／３、ｈｍａｘ＝１、ｈ０＝０．０２６、ｈ１＝０．２１及びｈ２＝０．６の同一条件下でシミュレートされている。各画像中の明領域は、傍中心窩と近周辺視野からなる対数領域を示している。一方，各ピクセルの明るさを半分に落とした上下の暗領域は、平面投影デカルト座標系領域（中心窩）と球面投影デカルト座標系（周辺視野）を示している。ここで、本ＡｄＷＡＦモデルは、周辺視野(下部の暗い領域)を有しながら、ＬＰレンズに比べて、移動不変性を備えたより広い中心窩を獲得する。これは、近周辺視野は、対応する領域の画像サイズを低減するためである。この条件において、本ＡｄＷＡＦモデルは、Ｋレンズに比べてより広い中心窩と対数領域を獲得する。
図２８は、Ｋレンズ（ＡｄＷＡＦ）と本ＡｄＷＡＦモデル画像に関し、物高ｈに対する拡大縮小不変性の精度を示すために、像面上の長さの変化を示している。この長さは、ｒｍａｘ＝１としたときにおいて、各ｈに対応する像高とｈの９５％に対応する他の像高との差である。破線、太実線、円付細実線は、それぞれ、ＬＰレンズ、Ｋレンズ、ＡｄＷＡＦモデルを示している。拡大縮小不変性は、各線の傾きが連続的に０であることを意味している。なお、全てのケースが中心窩（０≦ｈ≦ｈ０）で拡大縮小不変とは限らない。また、傍中心窩において、Ｋレンズは、厳密に言えば拡大縮小不変ではない。細実線は、θｍａｘ＝π／３、ｈｍａｘ＝１、ｈ０＝０．０２６、ｈ１＝０．０２６及びｈ２＝０．６の異なる条件下において、本ＡｄＷＡＦモデルにより表現された模擬Ｋレンズを示している。この線は、オリジナルのＫレンズよりも滑らかに変化しているが、傍中心窩が拡大縮小不変にならない。このように、本ＡｄＷＡＦモデルの定義がより正確であるから、本ＡｄＷＡＦモデルは、他のＷＡＦ視覚センサをより柔軟に記述することが可能である。
前述により、以下が明らかである。（ａ）本ＡｄＷＡＦモデルは、ＬＰレンズモデルよりも中心窩で高いＭ．Ｆ．を実現できる。また、（ｂ）本ＡｄＷＡＦモデルは、傍中心窩でより正確に拡大縮小不変性領域を得ることができるともに、中心窩でより広い移動不変領域を確保することができる。更に、（ｃ）本ＡｄＷＡＦモデルは、より正確に定義されているため、他のＷＡＦレンズをより柔軟に記述することができる。
２．ＡｄＷＡＦモデルの他の実施例
Ａ. モデリング
ＷＡＦ画像をより多目的に利用するために、幾何学的モデル、すなわち、他の実施例（ＡｄＷＡＦモデル）が開示される。図２９は、平面投影と球面投影を組み合わせたカメラモデルの他の一実施例を示している。前者は、透視投影、すなわち、レンズの光学中心への入射角θの正接に線形であり、後者はθに線形である。本カメラモデルの投影高ｐは、以下のように表される。
ここで、ｆ１とｆ２は、それぞれ、投影平面と投影球面への焦点距離である。
ここでのＡｄＷＡＦモデルは、（３６）の平面投影と（３７）の球面投影の両者と、線形な座標系と対数座標系の両者とを組み合わせることにより、以下の式で表される。
ここで、ｒはθに対応する像高であり、ｒｍａｘは、θ＝θｍａｘのときの最大像高であり、ｃｉ（ｉ＝１，２，３，４）は、θの各領域から抽出された部分画像の像高を調節するためのスケール調整係数である。更に、ｄｉ（ｉ＝１，２，３）は、
式（３８）から式（４１）が各境界線で連続であるため、ｃ１＝ｃ２＝ｃ３＝ｃ４＝１のときは、それらの微分も連続になる。
ここでのＡｄＷＡＦモデルでは、中心窩（０≦θ≦θ０）、傍中心窩（θ０≦θ≦θ１）、近周辺視野（θ１≦θ≦θ２）及び周辺視野（θ２≦θ≦θｍａｘ）の４領域に分割する。中心窩は平面投影であり、その像高は物高ｈに対して線形である。一方、周辺視野は球面投影であり、その像高は入射角度θに対して線形である。図３０は、本ＡｄＷＡＦモデルによる画像と、ピンホールカメラ（ＰＨＣ）レンズモデルによる線形なデカルト座標系画像とをシミュレートしており、視野の境界線条件は、θ０、θ１、θ２、それぞれ、９．８２６（°）、１９．１０７（°）、３４．７１５（°）となっている。また、各境界線を見やすくするために、輝度が変更されている。
図３１は、ＡｄＷＡＦ画像のプロットのために、物高ｈに対し、像高ｒと本ＡｄＷＡＦモデルの半径方向及び円周方向のＭ．Ｆ．であるｄｒ／ｄｈ、ｒ／ｈとを示している。他のレンズタイプ、すなわち、ログポーラ（ＬＰ）レンズ、フィッシュアイ（ＦＥ）レンズ、ＰＨＣレンズ及びＷＡＦレンズと比較するために、ｈｍａｘ及びｒｍａｘは、１に正規化される（θｍａｘ＝π／３のとき）。本シミュレーションにおいては、視野の境界線ｈ０、ｈ１、ｈ２は、それぞれ、０．１（θ０＝９．８２６（°））、０．４（θ１＝１９．１０７（°））、及び０．６（θ２＝３４．７１５（°））となっている。
太実線は、実際のＷＡＦレンズを示している。像高とＭ．Ｆ．の分布は、ＷＡＦレンズの設計概念、すなわち、広い視野と視野中心部分で局所的に高い空間解像度の情報を獲得することが特徴である。その半径方向のＭ．Ｆ．は、小さな入射角度において、ＰＨＣレンズ（太破線）やＦＥレンズ（細破線）よりもかなり高い一方、大きな入射角度では低くなっている。図３１は、本実施例のＡｄＷＡＦモデル（円付細実線）が、同一視野の場合、０≦ｈ≦ｈ０の中心窩（すなわち０≦θ≦θ０）でＬＰレンズ（実線）より高いＭ．Ｆ．を獲得できることを示している。スケール調整係数ｃｉは、中心窩におけるＭ．Ｆ．がＬＰレンズと等しくなるように、本ＡｄＷＡＦ画像の像高を調整するために適用される。ｃ１＝ｃ２＝ｃ３＝ｃ４＝０、９３であれば、調整されたＭ．Ｆ．は、図３１（ｂ）の場合、中心窩でＬＰレンズとほぼ等しくなる。換言すると、このことは。本ＡｄＷＡＦモデルが、ＬＰレンズに比べ、視野全体で約１３．５パーセントものピクセル数を減らせることを意味する。
Ｂ．実行
図３２は、ｒｍａｘ＝６４（ｐｉｘｅｌ）、θｍａｘ＝π／３、θ０＝９．８２６（°）、θ１＝１９．１０７（°）及びθ２＝３４．７１５（°）の条件で、視野全体による本ＡｄＷＡＦモデル（ＡｄＷＡＦ画像）の画像をシミュレートとしている。各画像は、５１２×５１２（ｐｉｘｅｌ）のターゲット画像（図３２（ａ））からシミュレートされている。ここでは図示しないが、既存のレンズとの比較も図３のように行われている。ＡｄＷＡＦ画像（図３２（ｆ））は、ＬＰレンズ画像（図３２（ｃ））よりも中心部分において高い空間解像度を有する。一方、周辺領域の空間解像度は、ＷＡＦレンズ（図３２（ｂ））とＬＰレンズの間となっている。ここで、特筆すべき点は、これらのシミュレーション画像の全てがＡｄＷＡＦモデルを用いて表せることである。
図３３は、上記シミュレーションと同一条件下で、ＷＡＦレンズ画像から実際に抽出されたＡｄＷＡＦ画像を示している。図３３（ａ）、（ｂ）、（ｃ）、（ｄ）は、それぞれ、ＷＡＦレンズによる実画像、抽出されたＡｄＷＡＦ画像の全体画像、傍中心窩画像、すなわち、式（３９）によるログポーラ画像（平面投影の対数座標系）、式（３８）による中心窩画像（平面投影の線形座標系）である。広い視野に加え、傍中心窩画像の回転・拡大縮小不変の性質と、中心窩画像の移動不偏の性質は、多目的利用に適している。
Ｃ．考察
（ｉ） 他の中心窩モデルについて
ログポーラビジョンチップや視覚システムに用いられている幾つかの中心窩モデルは、θ１＝θ２＝θｍａｘ且つｃ２＝ｃ３＝０のとき、本ＡｄＷＡＦモデルにより表される。このようなモデルの視野は、ＬＰレンズ同様、中心窩と「周辺視野」に分割される。本ＡｄＷＡＦモデルの傍中心窩は、ＰＨＣレンズが使用されるとすると、「周辺視野」にログポーラグリッドを記述する。ログポーラグリッドは、図３４Ａに示されるように、受容野（ＲＦ’ｓ）のために用いられるリングと放射線からなる（図３４Ａ）。一方、中心窩は一様なサイズのＲＦ’ｓを有する。また、このサイズは、中心窩と「周辺視野」の境界線での不連続性を避けるために、「周辺視野」の最初のリングのサイズと等しくなっている。各リングの半径は、以下のように、本ＡｄＷＡＦモデルを用いて正規化された物高ｈとして算出される。
ログポーラセンサに関し、レンズと固体撮像素子チップの違いの一つとして、リングに沿ったＲＦ’ｓの数Ｎがある。ここで、前記レンズのケースでは、各受光素子がＲＦに等しいと仮定する。ＬＰレンズの前記数Ｎは、ｈが増大すると（ｒの中で）増加する。一方では、ログポーラチップが「周辺視野」で一定数Ｎ０を有する。図３４Ａ（ａ）は、Ｎ０＝１２８、θ０＝９．８２６（°）、θｍａｘ＝６０．０（°）及びｃ０＝ｃ１＝１のときに、且つ、ＲＦ’ｓの数が中心窩で等しいときに、ｈに対する両者のＮを比較している。
Ｓａｎｄｉｎｉのモデル（図３４Ａ（ｂ））及びＢｏｌｄｕｃのモデル（図３４Ａ（ｃ））を比較したとき、Ｎ０、θ０、θｍａｘは共通ではあるが、視野の網掛け領域（すなわち「周辺視野」）でこれらの２モデルのＲＦ’ｓのサイズは異なる変化をする。このことは、各ＲＦが複数の受光素子から構成されるため、リング数は必ずしも像高ｒと等しくならないことを意味する。本ＡｄＷＡＦモデルは、スケール調整係数ｃ０とｃ１により、ログポーラグリッドの異なる配置を示す。前記ｃ０は前記ｒ０を調整する（すなわち、中心窩のＲＦ’ｓの数を調整する）。前記ｃ１はリング半径の対数的な変化を調整する。この場合、式（４９）と（５０）の前記ｒは、リング数とみなすことができる。このように、前記ｃ０とｃ１は、同一のＮ０、θ０、θｍａｘであっても、双方のモデルを本ＡｄＷＡＦモデルに適合させる。
前記Ｋｕｎｉｙｏｓｈｉレンズ（Ｋレンズ）モデルは、０≦θ≦θ０の平面投影線形部、θ０≦θ≦θ１）の球面投影対数部、及びθ１≦θ≦θｍａｘの球面投影線形部を有する。しかしながら、平面投影対数部（式（３９）による傍中心窩）は有していない。このように、本ＡｄＷＡＦモデルは、ｆｋ１＝ｆ１且つｆｋ２＝ｆ２の条件で、以下のように、Ｋレンズモデルを表す。
Ｋレンズモデル：
図３４Ｂは、ＡｄＷＡＦモデルにおいて、ＡｄＷＡＦ画像のプロットに関し（これらの値は実際のＫレンズの仕様から決定される）、本ＡｄＷＡＦモデル（円付細実線）とＫレンズ（太実線）の比較を示している。ここでの条件は、ｒｍａｘ＝１、θｍａｘ＝６０（°）、θ０＝２．５８４（°）、θ１＝２０．０（°）及びθ２＝３４．７１５（°）とされる。前記ＦＥレンズ（細破線）とＰＨＣレンズ（太破線）もまた、これらと比較されている。この境界線の条件は、同一視野で、ＡｄＷＡＦ画像が０≦θ≦θ０においてＫレンズより高いＭ．Ｆ．を与えることを示している。一方、中心窩（０≦θ≦θ０）でＫレンズと同一のＭ．Ｆ．を有する場合、前記ｒｍａｘは０．８５である。このことは、ＡｄＷＡＦ画像が約２８パーセントピクセル数を減少させることを意味する。
（ｉｉ）ＡｄＷＡＦレンズ、ＬＰレンズ及びＫレンズの比較
図３５（ｉ）では、輝度を変化させることにより、前記ＡｄＷＡＦ画像、前記ＬＰレンズ画像及び前記Ｋレンズ画像を比較している。これらは、θｍａｘ＝６０（°）、θ０＝２．５８４（°）、θ１＝２０．０（°）及びθ２＝３４．７１５（°）の条件下でシミュレートされた。視野は、４つの領域、すなわち、中心窩（中心部分の暗い部分）、傍中心窩（最も明るい部分）、近周辺視野（２番目に明るい部分）及び周辺視野（外側の暗い部分）に分割される。これによれば、ＬＰレンズ画像は、中心窩と傍中心窩しか有しておらず、Ｋレンズ画像は、傍中心窩を有していないことが分かる。ＡｄＷＡＦ画像は、中心窩においてＫレンズ画像より高いＭ．Ｆ．を示している。
図３５（ｉｉ）は、異なるスケール（α＝０．７５、１、１．５）となる３つのターゲット画像を示している。図３５（ｉｉｉ）では、各スケール（図３５（ｉ）と同一条件下）におけるＡｄＷＡＦ画像（左）、ＬＰレンズ画像（中央）、Ｋレンズ（右）の各極画像を比較している。ここでは、傍中心窩の極画像は、前記半径方向と円周方向に移動不変の性質を有することが分かる。つまり、この部分は、前記ｒが前記物高ｈに線形であるときに、回転・拡大縮小不変（ＲＳ不変）の性質を有することが分かる。一方、近周辺視野は、前記ｒが入射角θに線形であるときに、ＲＳ不変となる。これら２種類のＲＳ不変の性質は、ＡｄＷＡＦ画像に以下のような利点を与える。
１）傍中心窩は、異なるスケールの画像のマッチングに適している。
２）近周辺視野は、物面の回転の影響（すなわちスキューの影響）を低減させる。
つまり、これらの利点は、本ＡｄＷＡＦモデルがより広い入射角度で異なる大きさのパターンを精度良くマッチングさせるとともに、カメラの回転に対してよりロバスト性があることを意味している。
拡大縮小不変の性質を評価するために、像面上の長さΔｒが、物高ｈとその９５パーセントの高さｈ’から算出される（図３６（ａ）参照）。図３６（ｂ）は、ｒｍａｘ＝１、θｍａｘ＝６０．０（°）、θ０＝２．５８４（°）、θ１＝２０．０（°）及びθ２＝３４．７１５（°）の条件で、前記ｈに対する前記Δｒを示している。円付細実線、破線、太実線は、それぞれ、本ＡｄＷＡＦモデル、ＬＰレンズ、Ｋレンズを示している。これらの線の傾きが０で一定であれば、対応する部分（すなわち、平面投影対数部）は、物面の平面投影に対して拡大縮小不変である。このように、ＬＰレンズと本ＡｄＷＡＦモデルによる画像は、それぞれ、θ０≦θ≦θｍａｘ、θ０≦θ≦θ１において、拡大縮小不変である。前記Ｋレンズ画像は、この観点において、厳密には拡大縮小不変ではない。つまり、前記Δｒは、θ０≦θ≦θ１（Ｋレンズの球面投影対数部）で最大７．６パーセントの誤差を有している。
加えて、Ｋレンズカーブの境界線θ１＝２０．０（°）（ｈ１＝０．２１）は、特に、境界線θ１の近傍において、画像のマッチングに適していない。図３６（ｂ）では、θｍａｘ＝６０．０（°）、θ０＝２．５８４（°）、θ１＝３４．７１５（°）の条件で、本ＡｄＷＡＦモデルに基づき、実際のＫレンズのカーブとシミュレートされたＫレンズカーブ（円なしの細実線）を比較している。
物面の回転は、スキューを引き起こす。その影響をテストするために、スキュー係数αｃの余弦を定義する。図３７（ａ）は、回転ψからαｃへの概念図を示している。
ψ が０であれば、光軸は物面に対して垂直である。すなわち，αｃ＝π／２（ｃｏｓ（αｃ）＝０）となる。図３７（ｂ）では、本ＡｄＷＡＦモデルと前記ＬＰレンズを比較している。ここでは、モデルとして、ψ＝０の場合を使い、各極座標の部分（θ０≦θ≦θ２）から算出された平均二乗平方根誤差（ＲＭＳＥ）に関して比較がなされている。０から１５．３×１０−３のｃｏｓ（αｃ）の値は、０から１０0 から（°）の前記ψに対応している。本ＡｄＷＡＦモデルは、ＬＰレンズよりも小さなＲＭＳＥを有する。このことは、θ１≦θ≦θ２の球面投影対数部で変形がより少なくなることから、ＬＰレンズよりスキューに対してよりロバストになることを意味している。
図３８では、本ＡｄＷＡＦモデルと前記ＬＰレンズモデルとをψ＝０、５、１０（°）のときの極座標で比較している。極画像は、ψが大きくなるに従い、白矢印の方向に向かって変形する。図３８は、本ＡｄＷＡＦモデルによる変形が、ＬＰレンズモデルよりも小さくなることも示している。
図３９は、本開示の方法３９００のフローチャートを表している。イメージモデリングの手法３９００は、光学的要素（光学的要素）を提供し（ブロック３９０２）、光学的要素の視野を決定し（ブロック３９０４）、複数領域に視野を分割し（ブロック３９０６）、分割された複数領域に応じて画像処理を行うこと（ブロック３９０８）を含むと良い。前記手法３９００において、前記画像処理は、平面投影、平面対数投影、球面対数投影、球面投影及びログポーラ投影のうち、少なくとも一つの投影による処理を更に含むと良い。前記手法３９００において、前記画像処理は、デカルト座標、球面座標、及び対数座標のうち少なくとも一つの座標による処理を更に含むことが好ましい。
前記手法３９００において、前記画像処理は、回転不変、拡大縮小不変及び移動不変の何れかの特徴を有する画像をレンダリングすることを更に含むと良い。
前記手法３９００において、前記視野を複数領域に分割する手順は、視野を中心窩領域、傍中心窩領域、近周辺視野領域及び周辺視野領域から選択される少なくとも１領域に視野を分割することを更に含むことが好ましい。
前記手法３９００において、前記光学的要素の提供は、レンズを提供することを更に含むと良い。当該レンズの提供は、ログポーラレンズとミラーの提供を更に含むことが好ましい。前記手法３９００において、前記ログポーラレンズの提供は、視野の中心領域に平面投影を適用することを更に含むと良い。前記ログポーラレンズの提供は、視野の周辺領域に球面投影を適用することを更に含んでも良い。
前記手法３９００において、前記レンズの提供は、フィッシュアイレンズ、ピンホールカメラレンズ、及び広角中心窩レンズを提供することを含むと良い。更に、前記手法は、視野内で物体をセンシングすることを含むことが好ましい。このセンシングは、視野の複数領域のうち少なくとも一つに応じて実行される。前記手法３９００において、前記画像処理は、画像を蓄積し、周辺領域でエッジを検出し、透視投影座標に変換し、ハフ変換により直線を検出し、境界線を決定し、注視方向を探索し、カメラを制御することを更に含むと良い。
前述の手法３９００若しくは手法３９００の要素は、これらを実行するためのコンピュータで実行可能な命令として、コンピュータで読込可能な記憶媒体に蓄積することも可能である。
図４０は、本開示の装置４０００の代表実施例のブロックダイアグラムを表している。装置４０００は、視野を有する光学的要素（ブロック４００２）と、当該光学的要素４００２に連結され、複数領域に視野を分割可能に構成された画像分割要素（ブロック４００４）と、前記画像分割要素４００４に連結され、複数領域で画像処理可能に構成された画像演算器（ブロック４００６）とを含むことが好ましい。
前記装置４０００において、前記画像演算器４００６は、更に、平面投影、平面対数投影、球面対数投影、球面投影、及びログポーラ投影のうち少なくとも１つの投影を処理可能に構成されると良い。画像演算器４００６は、更に、デカルト座標、球面座標及び対数座標のうち少なくとも１の座標で処理可能に構成されることが好ましい。
前記装置４０００において、前記画像演算器４００６は、更に、回転不変の特徴、拡大縮小不変の特徴、及び移動不変の特徴のうちの１特徴を有する画像をレンダリング可能にも構成されると良い。
前記画像分割要素４００４は、中心窩領域、傍中心窩領域、近周辺視野領域、及び周辺視野領域のうち少なくとも１の領域で視野を分割可能に構成されることが好ましい。
前記光学的要素４００２は、視野の中心領域での平面投影、及び視野の周辺領域での球面投影のうち少なくとも１つを適用可能に構成されると良い。前記光学的要素４００２は、フィッシュアイレンズ、ピンホールカメラレンズ、ミラー、広角中心窩レンズのうちの１つを含むと良い。
前記装置４０００は、前記画像演算器４００６に連結され、視野の複数分割視野のうち少なくとも１つを計測可能に構成されたセンサを更に含むと良い。前記装置４０００において、前記画像演算器４００６は、画像を蓄積し、周辺領域でエッジを検出し、透視投影座標に変換し、ハフ変換により直線を検出し、境界線を決定し、視線方向を探索し、カメラを制御可能に構成されることが好ましい。
本明細書と添付された請求項で用いられるように、「ａ」、「ａｎ」、「ｔｈｅ」等の単数形で表現される用語は、明細書中に明示しない限り、複数形対象をも含んでいる。「複数（ｐｌｕｒａｌｉｔｙ）」なる用語は、明細書中に明示しない限り、２又はより多くの対象を含んでいる。更に、他に記載されない限り、ここで用いられる全ての技術用語と科学用語は、本発明が関連する技術分野における通常の技術を有する者に共通して理解される意味を有する。
まとめると、本発明の各実施例に従って、イメージングモデルとイメージング装置を形成するためのシステムと方法が記載されている。画像処理装置装置は、視野を有する光学的要素と、当該光学的要素に連結され、視野を複数領域に分割可能に構成された画像分割要素と、当該画像分割要素に連結し、複数領域で画像を処理可能に構成された画像演算器とを含むことが好ましい。前記装置を形成するための手法も記載されている。
当該技術分野における通常の技術を有する者が察するように、前述の手法における要素やブロックは、同時に行うことが可能で、或いは、記載された順序とは異なる順序で行うこともできる。
前述した実施例は、本発明の原理を明確に理解するための単なる実施可能例であることを強調する。本発明の本質から実質的に逸脱しない限り、本発明の前述の実施例に対し、多くの変形や改良が可能である。これらすべての変形や改良は、本開示及び本発明の範囲に含まれるものであり、次の請求の範囲により保護される。

Claims (24)

  1. 光学的要素を提供し、
    前記光学的要素の視野を決定し、
    複数領域に視野を分割し、
    前記複数の分割領域に応じて画像処理することを特徴とする画像モデリング方法。
  2. 前記画像処理は、
    平面投影と、
    平面対数投影と、
    球面対数投影と、
    球面投影と、
    ログポーラ投影と、
    からなる群より選択された少なくとも１の投影で処理することを更に含むことを特徴とする請求項１記載の画像モデリング方法。
  3. 前記画像処理は、
    デカルト座標系と、
    球面座標系と、
    対数座標系と、
    からなる群より選択された少なくとも１の座標系で処理することを更に含むことを特徴とする請求項１記載の画像モデリング方法。
  4. 前記画像処理は、
    回転不変性と、
    拡大縮小不変性と、
    移動不変性と、
    からなる群より選択された１の特徴を有する画像をレンダリングすることを更に含むことを特徴とする請求項１記載の画像モデリング方法。
  5. 前記複数領域への視野の分割は、
    中心窩領域と、
    傍中心窩領域と、
    近周辺視野領域と、
    周辺視野領域と、
    からなる群より選択された少なくとも１の領域に視野を分割することを更に含むことを特徴とする請求項１記載の画像モデリング方法。
  6. 前記光学的要素の提供は、レンズの提供を含むことを特徴とする請求項１記載の画像モデリング方法。
  7. 前記レンズの提供は、１つのログポーラレンズと１つのミラーとを１組提供することを含むことを特徴とする請求項６記載の画像モデリング方法。
  8. 前記ログポーラレンズの提供は、視野中心部分において平面投影を適用することを更に含むことを特徴とする請求項７記載の画像モデリング方法。
  9. 前記ログポーラレンズの提供は、視野周辺部分において球面投影を適用することを更に含むことを特徴とする請求項７記載の画像モデリング方法。
  10. 前記レンズの提供は、フィッシュアイレンズの提供を含むことを特徴とする請求項６記載の画像モデリング方法。
  11. 前記レンズの提供は、ピンホールカメラレンズの提供を含むことを特徴とする請求項６記載の画像モデリング方法。
  12. 前記レンズの提供は、広角中心窩レンズの提供を含むことを特徴とする請求項６記載の画像モデリング方法。
  13. 視野内で物体をセンシングし、分割された複数の視野領域の少なくとも１つに従って実行されるセンシングを行うことを更に含むことを特徴とする請求項１記載の画像モデリング方法。
  14. 前記画像処理は、
    画像を蓄積し、
    周辺視野領域でエッジを検出し、
    透視投影座標に変換し、
    ハフ変換を実行することにより直線を検出し、
    境界線を決定し、
    注視方向を検出し、
    カメラを制御することを更に含むことを特徴とする請求項１記載の画像モデリング方法。
  15. 視野を有する光学的要素と、
    前記光学的要素に連結され、視野を複数領域に分割するように構成された画像分割要素と、
    前記画像分割要素に連結され、前記複数の領域で画像処理を可能に構成された画像演算器とを備えたことを特徴とする画像処理装置。
  16. 前記画像演算器は、
    平面投影、
    平面対数投影、
    球面対数投影、
    球面投影、
    及びログポーラ投影からなる群より選択された少なくとも１の投影を処理可能に構成されていることを特徴とする請求項１５記載の画像処理装置。
  17. 前記画像演算器は、
    デカルト座標、
    球面座標、
    及び対数座標からなる群より選択された少なくとも１の座標系で処理可能に構成されていることを特徴とする請求項１５記載の画像処理装置。
  18. 回転不変性と、
    回転拡大不変性と、
    移動不変性と、
    からなる群より選択された１の特徴を有する画像をレンダリング可能に構成されていることを特徴とする請求項１５記載の画像処理装置。
  19. 前記画像分割要素は、
    中心窩領域と、
    傍中心窩領域と、
    近周辺視野領域と、
    周辺視野領域と、
    からなる群より選択された少なくとも１の領域に視野を分割可能に構成されていることを特徴とする請求項１５記載の画像処理装置。
  20. 前記光学的要素は、視野の中心領域での平面投影と、視野の周辺領域で球面投影との少なくとも一方を適用可能に構成されていることを特徴とする請求項１５記載の画像処理装置。
  21. 前記光学的要素は、フィッシュアイレンズ、ピンホールカメラレンズ、ミラー、及び広角中心窩レンズのうちの一つを含むことを特徴とする請求項１５記載の画像処理装置。
  22. 前記画像演算器に連結するセンサを更に含み、当該センサは、複数の分割視野のうち少なくとも１つを計測可能に構成されていることを特徴とする請求項１５記載の画像処理装置。
  23. 前記画像演算器は、
    画像を蓄積し、
    周辺領域でエッジを検出し、
    透視投影座標に変換し、
    ハフ変換を行うことによって直線を検出し、
    境界線を決定し、
    注視方向を計測し、
    カメラを制御するように構成されていることを特徴とする請求項１５記載の画像処理装置。
  24. 光学的要素を提供し、
    前記光学的要素の視野を決定し、
    複数領域に視野を分割し、
    前記複数の分割領域に応じた画像処理を行うために、コンピュータで実行可能な命令を有することを特徴とするコンピュータで読込可能な記憶媒体。
JP2009543197A 2006-12-19 2007-12-19 イメージングモデル及び画像処理装置 Pending JP2010530086A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US87564906P 2006-12-19 2006-12-19
PCT/US2007/088228 WO2008077132A1 (en) 2006-12-19 2007-12-19 Imaging model and apparatus

Publications (1)

Publication Number Publication Date
JP2010530086A true JP2010530086A (ja) 2010-09-02

Family

ID=39536746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009543197A Pending JP2010530086A (ja) 2006-12-19 2007-12-19 イメージングモデル及び画像処理装置

Country Status (3)

Country Link
US (1) US8094169B2 (ja)
JP (1) JP2010530086A (ja)
WO (1) WO2008077132A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658369B2 (en) 2011-05-12 2017-05-23 Sota Shimizu Geometric transformation lens
JP2019032540A (ja) * 2016-08-12 2019-02-28 パナソニックＩｐマネジメント株式会社 撮像装置
JP2020057149A (ja) * 2018-10-01 2020-04-09 カシオ計算機株式会社 画像処理装置、ロボット、画像処理方法及びプログラム
JP2020150427A (ja) * 2019-03-14 2020-09-17 株式会社リコー 撮像装置、撮像光学系及び移動体

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010530087A (ja) * 2006-12-19 2010-09-02 創太 清水 画像処理プロセッサ
JP5812593B2 (ja) * 2010-10-28 2015-11-17 キヤノン株式会社 映像処理装置、撮像装置、映像処理方法及びプログラム
TWI423659B (zh) * 2010-11-09 2014-01-11 Avisonic Technology Corp 影像校正方法與相關影像校正系統
US9071742B2 (en) * 2011-07-17 2015-06-30 Ziva Corporation Optical imaging with foveation
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
CN105335748B (zh) * 2014-08-07 2018-10-12 株式会社理光 图像特征提取方法和系统
CN105654462A (zh) * 2015-10-13 2016-06-08 湖南优象科技有限公司 一种基于影像配准的建筑物高程提取方法
CN105939445B (zh) * 2016-05-23 2019-04-19 武汉市公安局公共交通分局 一种基于双目摄像机的透雾摄像方法
EP3249928A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US10664049B2 (en) 2016-12-09 2020-05-26 Nvidia Corporation Systems and methods for gaze tracking
US10546364B2 (en) * 2017-06-05 2020-01-28 Google Llc Smoothly varying foveated rendering
DE102017215412A1 (de) 2017-09-04 2019-03-07 Carl Zeiss Industrielle Messtechnik Gmbh Koordinatenmessgerät zur Bestimmung mindestens einer Koordinate mindestens eines Messobjekts
DE102019121434A1 (de) * 2019-08-08 2021-02-11 Karl Storz Imaging, Inc. Beobachtungsvorrichtung und Verfahren zum Betrieb einer Beobachtungsvorrichtung
JP2022154264A (ja) * 2021-03-30 2022-10-13 キヤノン株式会社 撮像装置、画像処理装置、移動装置、制御方法およびコンピュータプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5760826A (en) 1996-05-10 1998-06-02 The Trustees Of Columbia University Omnidirectional imaging apparatus
JPH10188146A (ja) 1996-12-26 1998-07-21 Shigeki Kobayashi アクティブカメラ及び監視装置
JPH114398A (ja) * 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ
EP1141760B1 (en) * 1999-01-04 2004-09-29 Cyclovision Technologies, Inc. Panoramic imaging apparatus
KR100414083B1 (ko) * 1999-12-18 2004-01-07 엘지전자 주식회사 영상왜곡 보정방법 및 이를 이용한 영상표시기기
US6535617B1 (en) * 2000-02-14 2003-03-18 Digimarc Corporation Removal of fixed pattern noise and other fixed patterns from media signals
US6829391B2 (en) * 2000-09-08 2004-12-07 Siemens Corporate Research, Inc. Adaptive resolution system and method for providing efficient low bit rate transmission of image data for distributed applications
JP4046969B2 (ja) * 2000-11-09 2008-02-13 キヤノン株式会社 画像処理装置、及びその方法、並びにプログラム、記憶媒体
DE50107083D1 (de) 2001-03-05 2005-09-15 Siemens Ag Verfahren und vorrichtung zum entzerren eines bildes, insbesondere für insassenschutzsysteme
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
CA2467786C (en) * 2001-12-05 2012-05-15 Sola International Holdings Ltd. Balanced progressive lens
KR20030078235A (ko) 2002-03-28 2003-10-08 엘지전자 주식회사 카메라가 장착된 이동통신단말기의 영상 왜곡 보상방법
US7474799B2 (en) 2002-06-12 2009-01-06 Silicon Optix Inc. System and method for electronic correction of optical anomalies
US7058237B2 (en) * 2002-06-28 2006-06-06 Microsoft Corporation Real-time wide-angle image correction system and method for computer image viewing
US20050089213A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Method and apparatus for three-dimensional modeling via an image mosaic system
KR20060059302A (ko) 2004-11-26 2006-06-01 한국전자통신연구원 파노라믹 영상 생성을 위한 사용자 인터페이스 제공 방법
WO2006062325A1 (en) * 2004-12-06 2006-06-15 Electronics And Telecommunications Research Institute Apparatus for correcting image distortion of stereo-camera and method thereof
JP4371272B2 (ja) * 2005-07-04 2009-11-25 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 携帯端末装置、コンテンツ配信システム、及びコンテンツ再生プログラム
JP2010530087A (ja) * 2006-12-19 2010-09-02 創太 清水 画像処理プロセッサ

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658369B2 (en) 2011-05-12 2017-05-23 Sota Shimizu Geometric transformation lens
JP2019032540A (ja) * 2016-08-12 2019-02-28 パナソニックＩｐマネジメント株式会社 撮像装置
JP2020057149A (ja) * 2018-10-01 2020-04-09 カシオ計算機株式会社 画像処理装置、ロボット、画像処理方法及びプログラム
JP2020150427A (ja) * 2019-03-14 2020-09-17 株式会社リコー 撮像装置、撮像光学系及び移動体
JP7207038B2 (ja) 2019-03-14 2023-01-18 株式会社リコー 撮像装置、撮像光学系及び移動体
US11595631B2 (en) 2019-03-14 2023-02-28 Ricoh Company, Ltd. Imaging device, image capturing optical system, and movable apparatus

Also Published As

Publication number Publication date
US8094169B2 (en) 2012-01-10
US20080158226A1 (en) 2008-07-03
WO2008077132A1 (en) 2008-06-26

Similar Documents

Publication Publication Date Title
JP2010530086A (ja) イメージングモデル及び画像処理装置
Pereira et al. Self calibration of multiple LIDARs and cameras on autonomous vehicles
US10594941B2 (en) Method and device of image processing and camera
Klimentjew et al. Multi sensor fusion of camera and 3D laser range finder for object recognition
JP6067175B2 (ja) 位置測定装置及び位置測定方法
CN109064516B (zh) 一种基于绝对二次曲线像的相机自标定方法
Tarhan et al. A catadioptric and pan-tilt-zoom camera pair object tracking system for UAVs
WO2008114264A2 (en) A method and apparatus for video image stabilization
KR20170139548A (ko) 이미지 라인들로부터의 카메라 외부 파라미터들 추정
Zhang et al. A novel absolute localization estimation of a target with monocular vision
CN107209930B (zh) 环视图像稳定方法和装置
WO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
JP2014092922A (ja) 検出装置、検出方法及び検出プログラム
US10812691B2 (en) Image capturing apparatus and image capturing method
Wu et al. PSNet: LiDAR and camera registration using parallel Subnetworks
Rosebrock et al. Generic camera calibration and modeling using spline surfaces
JP2001194128A (ja) 焦点光源付ステレオカメラによる３次元面形状推定方法
JP2011059009A (ja) 位置計測対象物、位置計測システム、位置計測用演算装置およびプログラム
Cai et al. A target tracking and location robot system based on omnistereo vision
US20200211225A1 (en) Systems and methods for calibrating imaging and spatial orientation sensors
Qidan et al. A rapid and precise self-localization approach of mobile robot based on binocular omni-directional vision
CN111383262A (zh) 遮挡检测方法、系统、电子终端以及存储介质
CN116612459B (zh) 目标检测方法、装置、电子设备及存储介质
KR101436097B1 (ko) 레이저 센서 기반 비접촉식 6-자유도 운동 측정 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120713