JP2017502404A - ボウル形状イメージングシステム - Google Patents

ボウル形状イメージングシステム Download PDF

Info

Publication number
JP2017502404A
JP2017502404A JP2016538099A JP2016538099A JP2017502404A JP 2017502404 A JP2017502404 A JP 2017502404A JP 2016538099 A JP2016538099 A JP 2016538099A JP 2016538099 A JP2016538099 A JP 2016538099A JP 2017502404 A JP2017502404 A JP 2017502404A
Authority
JP
Japan
Prior art keywords
image
fisheye
region
computing system
bowl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016538099A
Other languages
English (en)
Other versions
JP6224251B2 (ja
Inventor
ショル，カイ−ウルリッヒ
ナトロシュフィリ，コーバ
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2017502404A publication Critical patent/JP2017502404A/ja
Application granted granted Critical
Publication of JP6224251B2 publication Critical patent/JP6224251B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

ボウル形状画像を利用するための技術は、第１のシーンが撮影された第１の魚眼画像と、オーバーラップ領域において第１のシーンとオーバーラップする第２のシーンが撮影された第２の魚眼画像と、を受信するコンピューティングデバイスを含む。コンピューティングデバイスは、第１の魚眼画像と第２の魚眼画像との結合画像を生成し、第１の魚眼画像及び第２の魚眼画像のうちの少なくとも１つの魚眼画像の関心領域に対してオブジェクト分類を実行して、関心領域内のオブジェクトを分類し、結合画像に基づいて、ボウル形状画像の一部を生成する。

Description

リアビューカメラ等の車両搭載カメラシステムが、高級車両において、さらにはいくつかのよりローエンドの車両においても、柱になっている。特定の実装に応じて、車両カメラシステムは、ビジョンの向上、自動縦列駐車、及び／又は他の目的のために使用され得る。例えば、車両搭載カメラにより撮影された画像は、車両のナビゲーションシステムディスプレイスクリーン上に表示され得、車両の妨げのない後方ビュー（すなわち、リアビューミラーよりも優れている）又は俯瞰ビュー（すなわち、車両の周囲を表示する）を運転手に提供する。
いくつかのカメラは、車両の周囲の全て（すなわち、３６０度全体）を撮影するために車両に搭載され得る。そのような車両搭載カメラシステムは、車両の周囲を撮影するのに必要なカメラの数を最小限にするために、魚眼レンズを有するカメラ（すなわち、魚眼カメラ）等の広角カメラを利用することがある。車両の周囲の画像は、一般的には、地表面（ground plane）に対する逆投影（inverse projection）として生成及び表示される。したがって、地面の上に位置するオブジェクト（例えば、駐車線）は、通常、正しく投影される。しかしながら、他の車両及び歩行者等の垂直オブジェクトは、歪んだ投影を有する。なぜならば、そのような垂直オブジェクトは、地表面の上に全てが位置するわけではないからである。さらに、近傍カメラ群のオーバーラップ領域は、１つの実世界点の異なる投影を有し、これは、画像曖昧性、二重性（duplicity）、及び／又は不可視オブジェクトを生じさせる。さらに、魚眼画像に関連付けられた歪みは、周囲オブジェクト（例えば、車両、歩行者、建物、道路標識等）を識別及び分類することを難しくする。
本明細書に記載のコンセプトが、限定ではなく例として、添付の図面に示される。図示の単純さ及び明瞭さのために、図面に示される要素は、必ずしも縮尺通りに描かれてはいない。参照ラベルは、適切であると考えられる場合、対応要素又は類似要素を示すために、図面間で繰り返されている。
車両の周囲の物理的環境を表示するための、車両の車両内コンピューティングシステムの少なくとも１つの実施形態の簡略化されたブロック図。 図１の車両の少なくとも１つの実施形態の簡略化された例示図。 図１の車両内コンピューティングシステムにより確立される環境の少なくとも１つの実施形態の簡略化されたブロック図。 仮想的ボウル形状投影面の少なくとも１つの実施形態の例示図。 図４の仮想的ボウル形状投影面の上面図の簡略化された例示図。 図４の仮想的ボウル形状投影面の下面図の簡略化された例示図。 図４の仮想的なボウル形状投影面の垂直横断面の簡略化された例示図。 図１の車両の周囲の物理的環境を表示するための方法の少なくとも１つの実施形態の簡略化されたフロー図。 図４の仮想的ボウル形状投影面へのオブジェクトの投影の少なくとも１つの実施形態の簡略化された例示図。 画像スティッチングを利用して、図１の車両内コンピューティングシステムにより生成された画像を結合するための方法の少なくとも１つの実施形態の簡略化されたフロー図。 ２つの近傍魚眼カメラにより撮影された魚眼画像の簡略化された例示図。 図４の仮想的ボウル形状投影面に投影された、図１の車両のカメラからのスティッチングされた画像の簡略化された例示図。 オプティカルフローを利用して、図１の車両内コンピューティングシステムにより生成された画像を結合するための方法の少なくとも１つの実施形態の簡略化されたフロー図。 オプティカルフローを利用して、図１の車両内コンピューティングシステムにより生成された画像を結合するための方法の少なくとも１つの実施形態の簡略化されたフロー図。 図１の車両内コンピューティングシステムにより撮影された魚眼画像の少なくとも１つの実施形態の図。 図１４Ａの撮影された魚眼画像に基づく、生成されたオプティカルフロー出力の少なくとも１つの実施形態の図。 図１の車両内コンピューティングシステムにより生成された魚眼画像内のオブジェクトを分類するための方法の少なくとも１つの実施形態の簡略化されたフロー図。 図１の車両内コンピューティングシステムの魚眼カメラにより撮影された魚眼画像の少なくとも１つの実施形態の図。 図１６の魚眼画像の投影から生成された歪みのある直線状画像の図。 図１５の方法に基づいて図１６の魚眼画像から生成された直線状画像の図。 図１の車両内コンピューティングシステムによりボウル形状画像を生成するための方法の少なくとも１つの実施形態の簡略化されたフロー図。
本開示のコンセプトは、様々な変更形態及び代替形態を受け入れる余地があるが、その特定の実施形態が、例として、図面に示され本明細書で詳細に説明される。しかしながら、本開示のコンセプトを、開示する特定の形態に限定する意図はなく、反対に、意図は、本開示及び添付の特許請求の範囲と整合する全ての変更形態、均等形態、及び代替形態をカバーすることにあることを理解されたい。
「一実施形態」、「ある実施形態」、「例示的な実施形態」等の本明細書における言及は、説明する実施形態が、特定の特徴、構造、又は特性を含み得るが、全ての実施形態が、そのような特定の特徴、構造、又は特性を含んでもよいし、又は、必ずしもそのような特定の特徴、構造、又は特性を含む必要がなくてもよいことを示す。さらに、このような語句は、必ずしも同じ実施形態を指すわけではない。さらに、特定の特徴、構造、又は特性がある実施形態との関連で記載されている場合には、明示されていようといまいと、他の実施形態との関連でそのような特徴、構造、又は特性を実装することは当業者の知識の範囲内であるとする。さらに、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という形のリストに含まれる項目は、（Ａ）；（Ｂ）；（Ｃ）；（Ａ及びＢ）；（Ａ及びＣ）；（Ｂ及びＣ）；又は（Ａ、Ｂ、及びＣ）を意味し得ることを理解されたい。同様に、「Ａ、Ｂ、又はＣのうちの少なくとも１つ」という形でリストされる項目は、（Ａ）；（Ｂ）；（Ｃ）；（Ａ及びＢ）；（Ａ及びＣ）；（Ｂ及びＣ）；又は（Ａ、Ｂ、及びＣ）を意味し得る。
開示する実施形態は、場合に応じて、ハードウェア、ファームウェア、ソフトウェア、又はこれらの任意の組合せにより実装することができる。開示する実施形態はまた、１以上のプロセッサにより読み出されて実行され得る、一時的又は非一時的な１以上のマシン読み取り可能な記憶媒体（例えば、コンピュータ読み取り可能な記憶媒体）により運ばれる命令又はそのような媒体に記憶される命令として実装することができる。マシン読み取り可能な記憶媒体は、マシンにより読み取ることができる形式で情報を記憶又は伝送する任意の記憶デバイス、メカニズム、又は他の物理的構造（例えば、揮発性メモリ、不揮発性メモリ、メディアディスク、又は他のメディアデバイス）として具現化することができる。
図面において、いくつかの構造的特徴又は方法的特徴が、特定の配置及び／又は順序で示され得る。しかしながら、そのような特定の配置及び／又は順序が必須とされるわけではないことを理解されたい。そうではなく、いくつかの実施形態においては、そのような特徴は、例示する図面に示される態様及び／又は順序と異なる態様及び／又は順序で構成することもできる。さらに、特定の図面内に構造的特徴又は方法的特徴が含まれることは、そのような特徴が全ての実施形態において必要とされることを意味しないし、いくつかの実施形態においては、そのような特徴が含まれないことを意味しない、又はそのような特徴が他の特徴と組み合わされないことを意味しない。
次に図１を参照すると、例示的な実施形態において、車両１００は、車両内コンピューティングシステム１０２を含む。車両内コンピューティングシステム１０２は、本明細書に記載の機能を実行することができる任意のタイプのコンピューティングシステムとして具現化され得る。例示的な実施形態において、車両１００は、車輪付き乗用車両（例えば、自動車、トラック、トラックトラクタ、バス等）として具現化される。しかしながら、他の実施形態においては、車両１００は、別のタイプの車両（例えば、レール駆動式トロリー、無人車両、又は、説明する技術及びメカニズムの適用に適した別の車両）又は他の移動可能な装置として具現化されてもよい。本明細書で説明するように、車両内コンピューティングシステム１０２は、魚眼画像を撮影し、撮影された魚眼画像を結合し、魚眼画像に対してオブジェクト分類を実行し、結合された魚眼画像に基づくボウル形状画像を表示するよう構成される。いくつかの実施形態において、車両内コンピューティングシステム１０２は、車両内インフォテインメントシステム、ナビゲーションシステム、及び／又は他の車両ベースのコンピューティングシステムとして具現化され得る、又は、これらのシステムの一部として具現化され得る。他の実施形態においては、車両内コンピューティングシステム１０２は、代替的に、スタンドアロン型のコンピューティングデバイス又はコンピューティングシステムとして具現化されてもよい。
さらに、いくつかの実施形態において、リモートコンピューティングデバイスが、車両内コンピューティングシステム１０２と通信可能に接続され得、本明細書に記載の機能のうちの１以上を（例えば、リモートで）実行し、ネットワーク（例えば、有線通信ネットワーク又は無線通信ネットワーク）を介してその結果を車両内コンピューティングシステム１０２に通信するよう構成され得る。そのような実施形態において、リモートコンピューティングデバイスは、車両内コンピューティングシステム１０２と通信することができ、本明細書に記載の機能を実行することができる任意のタイプのコンピューティングデバイス（例えば、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ノートブック、ネットブック、ウルトラブック（登録商標）、携帯電話機、スマートフォン、携帯情報端末、モバイルインターネットデバイス、ハイブリッドデバイス、及び／又は、任意の他のコンピューティング／通信デバイス）として具現化され得る。
図１に示されるように、例示的な車両内コンピューティングシステム１０２は、プロセッサ１１０、入力／出力（Ｉ／Ｏ）サブシステム１１２、メモリ１１４、データストレージ１１６、ディスプレイ１１８、カメラシステム１２０、ユーザインタフェース１２２、及び、いくつかの実施形態においては１以上の周辺デバイス１２４を含む。さらに、カメラシステム１２０は、１以上のカメラ１２６を含み、ユーザインタフェース１２２は、仮想カメラコントロール１２８を含む。もちろん、他の実施形態においては、車両内コンピューティングシステム１０２は、一般的なコンピューティングデバイスにおいて通常見つけられるコンポーネント（例えば、通信回路、様々な入力／出力デバイス、及び／又は他のコンポーネント）といった他のコンポーネント又はさらなるコンポーネントを含んでもよい。さらに、いくつかの実施形態において、例示的なコンポーネントのうちの１以上は、別のコンポーネントに組み込まれ得る、又は、別のコンポーネントの一部からのものであり得る。例えば、メモリ１１４又はメモリ１１４の一部は、いくつかの実施形態において、プロセッサ１１０に組み込まれ得る。
プロセッサ１１０は、本明細書に記載の機能を実行することができる任意のタイプのプロセッサとして具現化され得る。例えば、プロセッサは、シングルコアプロセッサ、マルチコアプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、又は他のプロセッサ若しくは処理／制御回路として具現化され得る。同様に、メモリ１１４は、本明細書に記載の機能を実行することができる任意のタイプの揮発性メモリ、不揮発性メモリ、又はデータストレージとして具現化され得る。動作中、メモリ１１４は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、及びドライバ等といった、車両内コンピューティングシステム１０２の動作中に使用される様々なソフトウェア及びデータを記憶することができる。メモリ１１４は、Ｉ／Ｏサブシステム１１２を介してプロセッサ１１０に通信可能に接続される。Ｉ／Ｏサブシステム１１２は、プロセッサ１１０、メモリ１１４、及び車両内コンピューティングシステム１０２の他のコンポーネントによる入力／出力動作を円滑にするための回路及び／又はコンポーネントとして具現化され得る。例えば、Ｉ／Ｏサブシステム１１２は、メモリコントローラハブ、入力／出力制御ハブ、ファームウェアデバイス、通信リンク（すなわち、ポイントツーポイントリンク、バスリンク、ワイヤ、ケーブル、ライトガイド、プリント回路基板トレース等）、並びに／又は、入力／出力動作を円滑にするための他のコンポーネント及びサブシステムとして具現化されて得る、又は、これらを含み得る。いくつかの実施形態において、Ｉ／Ｏサブシステム１１２は、システムオンチップ（ＳｏＣ）の一部を形成し、プロセッサ１１０、メモリ１１４、及び車両内コンピューティングシステム１０２の他のコンポーネントとともに、１つの集積回路チップに組み込むことができる。
データストレージ１１６は、例えば、メモリデバイス及び回路、メモリカード、ハードディスクドライブ、ソリッドステートドライブ、又は他のデータ記憶デバイス等といった、データの短期記憶又は長期記憶のために構成される任意のタイプの１以上のデバイスとして具現化され得る。データストレージ１１６及び／又はメモリ１１４は、例えば、以下で説明するような、撮影及び処理された画像、オブジェクトプロファイル及びオブジェクトモデル、画像フィルタ、コンポーネントパラメータ、並びに／又は、車両内コンピューティングシステム１０２の動作において有用な他のデータ等といった様々なデータを、車両内コンピューティングシステム１０２の動作中に記憶することができる。
車両内コンピューティングシステム１０２のディスプレイ１１８は、車両内コンピューティングシステム１０２のユーザ（例えば、車両１００の運転手又は乗員（同乗者））に対して情報が表示され得る任意の１以上のディスプレイスクリーンとして具現化され得る。ディスプレイ１１８は、例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、プラズマディスプレイ、ホログラフィックディスプレイ若しくは他の３次元（３Ｄ）ディスプレイ、及び／又は他のディスプレイ技術を含む任意の適切なディスプレイ技術として具現化され得る、又は、そのような任意の適切なディスプレイ技術を使用することができる。図１において、１つのディスプレイ１１８が示されているが、車両内コンピューティングシステム１０２は、同じ又は異なるコンテンツが、互いと同時に又は順に表示され得る複数のディスプレイ又はディスプレイスクリーンを含んでもよいことを理解されたい。ディスプレイ１１８は、様々な車両動作パラメータ及び／又は車両インフォテインメント情報（例えば、ラジオ局、温度コントロール等）が表示される汎用ディスプレイとして具現化され得る。代替的に、ディスプレイ１１８は、以下で説明するような、カメラシステム１２０により生成された画像を表示するための特定目的ディスプレイとして具現化されてもよい。
カメラシステム１２０は、１以上のカメラ１２６を含む、１以上のカメラ１２６は、車両１００の周囲の環境、又は、より詳細には、車両内コンピューティングシステム１０２の周囲の環境の画像を撮影するために使用され得る。例示的な実施形態において、カメラシステム１２０のカメラ１２６は、車両１００の周囲３６０度全体又はそのほとんどの部分を撮影するように適切に離間している。いくつかの実施形態において、各カメラ１２６の視野は、１以上の他のカメラとオーバーラップすることがある。さらに、いくつかの実施形態において、他のカメラ１２６及び／又は車両１００に対するカメラ１２６の位置に関連付けられたジオメトリ（geometry）は、既知である、且つ／又は、決定可能である。
カメラ１２６の各々は、スチールカメラ、ビデオカメラ、ウェブカメラ、又は、ビデオ及び／若しくは画像を撮影することができる他のデバイス等といった、画像を撮影するのに適した任意の周辺デバイス又は統合デバイスとして具現化され得る。例示的な実施形態において、カメラ１２６の各々は、車両１００の周囲の全体又はほぼ全体の撮影を容易にする魚眼カメラとして具現化される。もちろん、他の実施形態においては、例えば、車両１００のタイプ、使用される１２６のタイプ、及び／又は他の基準に応じて、他のタイプの広角カメラ又は狭角カメラが使用されてもよい。さらに、カメラシステム１２０は、そのような様々な基準に応じて車両１００の周囲を撮影する２以上のカメラ１２６を含み得る。例示的な実施形態において、カメラシステム１２０は、車両１００の周囲全体を撮影するとともに、車両１００の周囲全体を撮影するのに必要なカメラ１２６の数を最小限にする、車両１００に搭載又は統合された４つの魚眼カメラ１２６（すなわち、魚眼レンズを有するカメラ）を含む。例えば、図２の例示的な実施形態に示されるように、カメラ１２６は、車両１００の４つの側（すなわち、前側、後側、運転手側、及び助手席側）の各々に搭載され得る。もちろん、他の実施形態においては、車両内コンピューティングシステム１０２は、異なる数、タイプ、及び／又は相対位置のカメラ１２６を利用してもよい。例えば、別の実施形態においては、カメラ１２６は、車両１００に関する他の位置（例えば、車両１００のコーナー）に配置されてもよい。
ユーザインタフェース１２２は、車両内コンピューティングシステム１０２のユーザが、車両内コンピューティングシステム１０２とインタラクトすることを可能にする。例えば、以下で説明するように、ユーザは、車両内コンピューティングシステム１０２とインタラクトして、車両１００の周囲をディスプレイ１１８上に表示させることができる。そのようなものとして、いくつかの実施形態において、ユーザインタフェース１２２は、１以上の仮想的な及び／若しくは物理的なボタン、ノブ（knob）、スイッチ、キーパッド、タッチスクリーン、並びに／又は、Ｉ／Ｏ機能を可能にするための他のメカニズムを含む。例えば、いくつかの実施形態において、ユーザインタフェース１２２は、車両１００のナビゲーションシステム又はインフォテインメントシステムと統合され得る。上述したように、ユーザインタフェース１２２は、例示的な実施形態において、仮想カメラコントロール１２８を含む。仮想カメラコントロール１２８は、車両内コンピューティングシステム１０２のユーザが、（例えば、仮想カメラ２０２（図２参照）を移動させることにより）車両内コンピューティングシステム１０２の仮想カメラ２０２の視野を変更することを可能にする。以下で詳細に説明するように、仮想カメラ２０２は、ディスプレイ１１８上にレンダリングされるべき画像を「キャプチャ」する。この画像は、カメラ１２６のうちの１つのカメラにより撮影された１つの画像又は複数のカメラ１２６（例えば、近傍カメラ１２６）により撮影された画像の結合に対応し得る。したがって、仮想カメラ２０２を回転させ又は他の形で移動させ、それにより、仮想カメラ２０２の視野を変更することによって、表示される画像が、車両内コンピューティングシステム１０２のユーザにより調整され得る。以下でより詳細に説明するように、カメラ１２６により撮影され車両内コンピューティングシステム１０２により処理された、車両１００の周囲の画像に基づいて、ボウル形状画像が生成される。そのようなものとして、いくつかの実施形態において、ボウル形状画像は、仮想カメラ２０２の視野に基づいて、ディスプレイ１１８上にレンダリングされ得る。ここで、仮想カメラ２０２の視野は、複数のカメラ１２６からの視野の組合せを含み得る。例えば、ボウル形状画像は、ボウル形状画像が仮想カメラ２０２により「キャプチャ」された視点（perspective）（例えば、上／下から、遠く／近くから、ボウル形状画像の内側／外側から、等）に基づいて表示され得る。
いくつかの実施形態において、車両内コンピューティングシステム１０２は、１以上の周辺デバイス１２４をさらに含み得る。周辺デバイス１２４は、スピーカ、マイクロフォン、追加的な記憶デバイス等といった任意の数の追加的な周辺デバイス又はインタフェースデバイスを含み得る。周辺デバイス１２４に含まれる具体的なデバイスは、例えば、車両内コンピューティングシステム１０２のタイプ及び／又は使用の意図（例えば、車両内コンピューティングシステム１０２が、スタンドアロン型のシステムであるか、又は、より大きな車両内インフォテインメントシステムに組み込まれるか）に依拠し得る。
次に図３を参照すると、使用の際、例示的な車両内コンピューティングシステム１０２は、車両１００の周囲のボウル形状イメージングのための環境３００を確立する、以下で説明するように、車両内コンピューティングシステム１０２は、画像曖昧性、二重性、及び／又は不可視オブジェクトを最小限にする又は低減させるやり方で、カメラ１２６により撮影された魚眼画像を結合する。車両内コンピューティングシステム１０２は、さらに、魚眼画像に対してオブジェクト分類を実行することができ、車両１００の周囲の向上した知覚を車両１００の乗員（例えば、運転手）に提供するために、結合魚眼画像に基づくボウル形状画像を表示する。車両内コンピューティングシステム１０２の例示的な環境３００は、画像撮影モジュール３０２、結合画像生成モジュール３０４、オブジェクト分類モジュール３０６、ボウル生成モジュール３０８、表示モジュール３１０、及びカメラ制御モジュール３１２を含む。さらに、結合画像生成モジュール３０４は、スティッチングモジュール３１４及びオプティカルフローモジュール３１６を含む。例示的な実施形態に示されるように、スティッチングモジュール３１４は、特徴検出モジュール３１８、特徴照合モジュール３２０、継ぎ目決定モジュール３２２、及び画像統合モジュール３２４を含み、オプティカルフローモジュール３１６は、オーバーラップ決定モジュール３２６、動き決定モジュール３２８、及び画像生成モジュー３３０を含む。さらに、オブジェクト分類モジュール３０６は、較正モジュール３３２、関心領域（ＲＯＩ）決定モジュール３３４、直線状（rectilinear）投影モジュール３３６、及びオブジェクト識別モジュール３３８を含み、ボウル生成モジュール３０８は、ボウルジオメトリモジュール３４０、ボウル統合モジュール３４２、及びボウルワーピング（warping）モジュール３４４を含む。環境３００のこれらのモジュールの各々は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組合せとして具現化され得る。さらに、いくつかの実施形態において、これらの例示的なモジュールのうちの１以上は、別のモジュールの一部を形成することができる。
画像撮影モジュール３０２は、カメラ１２６の各々の視野内のシーンの画像／ビデオを撮影するために、カメラシステム１２０のカメラ１２６を制御する。特定の実施形態に応じて、画像撮影モジュール３０２は、連続的に（例えば、ビデオストリームとして）、周期的に、一時的又は条件的な入力に応答して、これらの組合せとして、又は別のスキームに基づいて画像を撮影するように各カメラ１２６に指示することができる。例えば、カメラ１２６は、車両１００のトランスミッションが、リバースモードにあるときに、あるいは、車両１００が、所定の閾速度以下で動いているときに、画像を撮影することができる。
上述したように、カメラシステム１２０は、車両１００の周囲を撮影するために戦略的に配置された複数のカメラ１２６を含む。カメラ１２６の各々は、各カメラの視野内のシーンの独立した画像を生成する。そのようなものとして、結合画像生成モジュール３０４は、カメラ１２６により生成された２以上の画像を結合して、結合画像を生成する。例えば、例示的な実施形態において、結合画像生成モジュール３０４は、近傍カメラ１２６（すなわち、互いと最も近いカメラ１２６）により撮影された２つの画像に基づいて、結合画像を生成する。便宜上、本明細書において、そのような画像は、「近傍画像」と呼ばれることがある。いくつかの実施形態において、結合画像を生成するために結合画像生成モジュール３０４により使用される２以上の画像は、例えば、仮想カメラ２０２の位置に基づき得る（すなわち、ユーザが見たいと望む周囲の領域に基づき得る）。他の実施形態においては、複数の結合画像が、複数のカメラ１２６により生成された画像の各々に基づいて生成されてもよい。
例示的な実施形態において、カメラシステム１２０は、近傍カメラ１２６の視野がオーバーラップ領域を有するように配置される。したがって、それらの近傍カメラ１２６により撮影された画像が、仮想的ボウル形状面に投影されるとき、そのボウル形状面は、しばしば、１つの実世界点の異なる投影を有し、これは、画像曖昧性、二重性、及び／又は車両１００の周囲における不可視オブジェクトを生じさせ得る。近傍カメラ１２６により撮影された画像を結合する際、結合画像生成モジュール３０４は、これらの投影に関する問題を最小限にする又は低減させる。そうするために、結合画像生成モジュール３０４は、以下で説明するように、例えば、画像スティッチング、オプティカルフローメカニズム、画像ブレンディング、及び／又は他の適切な技術を利用することができる。いくつかの実施形態において、結合画像生成モジュール３０４は、画像のペアワイズ組合せ（pairwise combination）に基づいて（すなわち、近傍カメラ１２６により生成された画像を結合することにより）、「パノラマ」画像を生成する。
スティッチングモジュール３１４は、画像スティッチングに基づいて、複数の撮影された画像（例えば、魚眼画像）及び／又は仮想的ボウル形状面へのそれらの投影を結合する。例えば、例示的な実施形態において、スティッチングモジュール３１４は、画像スティッチングを利用して、近傍カメラ１２６により撮影された画像に基づいて、結合画像を生成する。上述したように、カメラシステム１２０のジオメトリは、近傍カメラ１２６の視野のオーバーラップを生じさせ、これが、今度は、近傍カメラ１２６により撮影された画像が、オーバーラップ領域においてオーバーラップするシーンを有することを生じさせる。すなわち、オーバーラップ領域において、撮影された画像は、車両１００の周囲の環境の同じ実世界点の表示を含み、したがって、互いと直接的にオーバーラップすることもあるし互いと直接的にオーバーラップしないこともある同じ画像特徴を含む。画像スティッチングを実行するために、スティッチングモジュール３１４は、特徴検出モジュール３１８、特徴照合モジュール３２０、継ぎ目決定モジュール３２２、及び画像統合モジュール３２４を含む。
スティッチングモジュール３１４の特徴検出モジュール３１８は、近傍カメラ１２６により撮影された画像に対して特徴検出を実行する。特徴検出モジュール３１８は、画像の特徴（例えば、コーナー、エッジ、ブロブ等といった関心点）を検出／識別するために、任意の適切な特徴検出技術、アルゴリズム、及び／又はメカニズムを利用することができることを理解されたい。例えば、特徴検出モジュール３１８は、画像の特徴を検出及び記述するために、ＳＵＲＦ（speeded up robust features）、ＳＩＦＴ（scale-invariant feature transform）、ＭＯＰＳ（multi-scale oriented patches）、Ｃａｎｎｙ、Ｈａｒｒｉｓ、及び／又はＳｏｂｅｌフィルタ等の一般的な特徴検出器／記述子を利用することができる。
特徴照合モジュール３２０は、近傍カメラ１２６により撮影された画像の検出された特徴に対して特徴照合を実行して、オーバーラップ領域内の画像のどの特徴（例えば、特定の画素）が、互いと対応するかを特定する。もちろん、特徴照合モジュール３２０は、互いと対応する、２つの画像（すなわち、ステレオ画像ペア）の特徴を特定するために、任意の適切な特徴照合技術、アルゴリズム、及び／又はメカニズムを利用することができる。例えば、特徴照合モジュール３２０は、差の二乗和（ＳＳＤ）、固定閾値、最短近傍、及び／又はＲＡＮＳＡＣ（random sample consensus）等といった照合アルゴリズム又は技術と組み合わせて、上述した検出器／記述子のうちの１以上を利用することができる。追加的又は代替的に、いくつかの実施形態においては、特徴照合モジュール３２０は、カメラシステム１２０の予め定められたジオメトリを利用して、オーバーラップ領域内の合致する特徴を特定するための決定論的（deterministic）技術を使用することができる。
合致した特徴に基づいて、継ぎ目決定モジュール３２２は、オーバーラップ領域内の、近傍画像の各画像上の継ぎ目（すなわち、第１の画像上の第１の継ぎ目及び第２の画像上の第２の継ぎ目）を特定する。すなわち、継ぎ目決定モジュール３２２は、第１の画像のどの特徴群（例えば、特定の画像位置又は画素）が、第２の画像の対応する特徴に合致するかを判別し、（例えば、「点を結ぶ（connect-the-dots）」方式で、第１の画像内の隣接する合致した特徴群の各特徴の間に線分を引くことにより）それらの特徴を「結びつけて」、第１の画像の仮想的な継ぎ目を決定する。同様に、継ぎ目決定モジュール３２２は、第２の画像の合致した特徴群に基づいて、第２の画像の継ぎ目を決定する。第１の画像の継ぎ目及び第２の画像の継ぎ目に基づいて、継ぎ目決定モジュール３２２は、第１の画像と第２の画像とを結合するための第３の継ぎ目を決定する。継ぎ目決定モジュール３２２は、任意の適切な技術（例えば、継ぎ目平均化）を使用して、第３の継ぎ目の位置を決定することができることを理解されたい。例えば、例示的な実施形態において、継ぎ目決定モジュール３２２は、以下で説明するように、（例えば、ボウル生成モジュール３０８を介して、）第１の画像及び第２の画像を仮想的ボウル形状投影面に投影する。したがって、それらの決定された継ぎ目も、仮想的なボウル形状投影面に投影され、それらの投影された継ぎ目に基づいて、継ぎ目決定モジュール３２２は、第１の画像と第２の画像とを結合するための継ぎ目、又は、より詳細には、第１の画像の投影と第２の画像の投影とを結合するための継ぎ目を決定する。
画像統合モジュール３２４は、継ぎ目決定モジュール３２２により決定された第３の継ぎ目において近傍画像／対応する画像投影を結合することにより、近傍画像／対応する画像投影の結合画像を生成する。さらに、画像統合モジュール３２４は、近傍画像又は画像投影の第１の継ぎ目と第２の継ぎ目との間の画像画素を内挿及び／又は外挿して、「平滑化」画像を生成し、画像アーチファクトを除去することができる、且つ／又は、別の形でこれらの画像のオーバーラップ領域をフィルタリングすることができる。さらに、結合画像を生成する際、画像統合モジュール３２４は、第１の画像又は投影のうち第１の継ぎ目を超えている部分と、第２の画像又は投影のうち第２の継ぎ目を超えている部分と、を破棄する又は強調しないようにする（deemphasize）ことができる（すなわち、これらの部分は、オーバーラップ画像領域内にあるが、第１の継ぎ目と第２の継ぎ目との間に規定される領域の外側である）。スティッチングモジュール３１４の機能については、図９の方法９００に関連して、以下でさらに説明する。
結合画像生成モジュール３０４のオプティカルフローモジュール３１６は、オプティカルフローに基づいて、撮影された画像（例えば、魚眼画像）を結合する。例示的な実施形態において、生成される結合画像は、近傍画像の非オーバーラップ部分と、オーバーラップ画像領域に基づいて生成される画像と、を含む。上述したように、オプティカルフローモジュール３１６は、オーバーラップ決定モジュール３２６、動き決定モジュール３２８、及び画像生成モジュー３３０を含む。特定の実施形態に応じて、車両内コンピューティングシステム１０２は、画像スティッチング、オプティカルフロー、及び／又は他の画像結合メカニズムを利用して、画像を結合することができることを理解されたい。
オーバーラップ決定モジュール３２６は、近傍画像のオーバーラップ領域を決定する。オーバーラップ決定モジュール３２６は、任意の適切な技術、アルゴリズム、又はメカニズムを使用して、オーバーラップ画像領域を特定することができることを理解されたい。例えば、上述したように、カメラシステム１２０のジオメトリは、既知である、且つ／又は、決定可能である。したがって、いくつかの実施形態において、オーバーラップ領域は、そのようなジオメトリに基づいて決定され得る。他の実施形態においては、オーバーラップ領域は、例えば、上述した特徴検出及び特徴照合に基づいて決定されてもよい。
動き決定モジュール３２８は、近傍画像を撮影したカメラ１２６に対する、オーバーラップ画像領域内に位置するオブジェクトの動きを決定する。以下で詳細に説明するように、そうする際、動き決定モジュール３２８は、カメラ１２６により撮影された複数の画像を使用して、近傍カメラ１２６の各々について、オーバーラップ画像領域の強度（intensity）の時間微分係数（derivative）を決定することができる。さらに、動き決定モジュール３２８は、近傍画像について、オーバーラップ画像領域の強度の空間微分係数を決定することができる。近傍カメラ１２６の視野内のオーバーラップ領域内のオブジェクトの決定された相対的な動きに基づいて、動き決定モジュール３２８は、車両１００に対して動いているオブジェクトを特定する。
画像生成モジュール３３０は、特定された動いているオブジェクトに基づいて、オーバーラップ画像領域の画像を生成する。上述したように、この生成された画像が、近傍画像の非オーバーラップ部分と結合されて、近傍画像の結合画像がもたらされ得る。オーバーラップ画像領域の画像を生成する際、画像生成モジュール３３０は、近傍画像の一方又は両方からの特定された動いているオブジェクトを含む画像を生成することができ、オーバーラップ画像領域をブレンド若しくはフィルタリングすることができ、且つ／又は、推定位置において、動いているオブジェクトを位置特定することができる。オプティカルフローモジュール３１６の機能については、図１２及び図１３の方法１２００に関連して、以下でさらに説明する。
オブジェクト分類モジュール３０６は、車両１００のカメラ１２６により撮影された魚眼画像内に存在するオブジェクトを検出及び分類する。例えば、オブジェクト分類モジュール３０６は、オブジェクト分類技術を利用して、車両１００の死角において歩行者が歩行中であると判別することができ、いくつかの実施形態においては、車両１００の運転手にアラートすることができる。本明細書において、オブジェクト分類は、魚眼画像に関連して説明されるが、この説明は、他のタイプの画像（例えば、異なるタイプの広角レンズを有するカメラにより生成された画像）にも適用され得ることを理解されたい。上述したように、オブジェクト分類モジュール３０６は、較正モジュール３３２、関心領域決定モジュール３３４、直線状投影モジュール３３６、及びオブジェクト識別モジュール３３８を含む。
較正モジュール３３２は、正確な画像撮影と、実効的なオブジェクト分類に必要なメトリック（metric）情報（例えば、オブジェクト及び／又は画像特徴間の距離）の抽出のために、魚眼カメラ１２６を較正するよう構成される。較正モジュール３３２は、そうするために、任意の適切な技術、アルゴリズム、及び／又はメカニズムを利用することができることを理解されたい。例えば、特定の実施形態に応じて、較正モジュール３３２は、特定のセンサ／レンズタイプ（例えば、特定のタイプの魚眼レンズ）を対象とする技術を使用して、且つ／又は、より広範なカテゴリのセンサ／レンズ（例えば、全てのセンサ／レンズ）に汎用適用可能な技術を使用して、カメラ１２６を較正することができる。さらに、較正モジュール３３２は、特定の時点において（例えば、車両内コンピューティングシステム１０２のブートプロセス中に）、又は時間にわたって周期的に、そのような較正を実行することができる。
関心領域決定モジュール３３４は、撮影された魚眼レンズ内の、オブジェクト分類がフォーカスされるべき関心領域を決定する。以下で詳細に説明するように、画像全体に対してオブジェクト分類を実行することは、一般に、計算集約的である。さらに、魚眼画像に固有の歪み（例えば、魚眼歪み）は、一般に、魚眼画像に対するオブジェクト分類の実行を極めて難しくする。なぜならば、魚眼レンズ画像の異なる部分に位置する同一のオブジェクトが、（例えば、魚眼画像内での並進、スケール、及び回転の不変性の欠如に起因して）異なる形状を有するように見えることがあり、オブジェクトプロファイルが、一般に、歪みのない直線状空間において定義されるからである。直線状画像への魚眼画像全体の変換は、何らかの歪みを低減させるが、それでも、通常は、変換において利用される画像投影に起因して、著しい画像歪み（例えば、遠近歪み）をもたらす。画像全体のサブセット（すなわち、「関心領域」）にフォーカスすることにより、計算複雑度及び／又は画像歪みを低減させることができる。関心領域決定モジュール３３４は、関心領域を特定するために、任意の適切な技術（例えば、オリジナルの魚眼画像又は中間画像に対するオプティカルフロー又はオブジェクト検出、レーザー走査、レーダー、フォトニックミキシングデバイス等）を使用することができる。
直線状投影モジュール３３６は、画像投影を使用して、魚眼画像の関心領域を直線状画像に変換する。詳細には、直線状投影モジュール３３６は、特定された関心領域を仮想的半球形状表示面に投影して、半球形状画像領域（すなわち、仮想的半球形状面の周りで「くるめられた（wrapped）」画像）を生成する。さらに、直線状投影モジュール３３６は、半球形状画像領域を、半球形状画像領域内の点（例えば、中心点）に垂直な平面に投影して、直線状画像を生成する。結果として得られる直線状画像は、平面への魚眼画像全体の投影から得られる直線状画像よりもはるかに歪みが少ない傾向がある。他の実施形態においては、直線状投影モジュール３３６は、他の技術を使用して、関心領域を直線状画像に変換してもよい。
オブジェクト識別モジュール３３８は、直線状画像に対してオブジェクト分類を実行して、車両１００の周囲近くにあるオブジェクトを検出及び／又は分類する。例えば、以下で説明するように、オブジェクト識別モジュール３３８は、直線状画像内で識別されたオブジェクトを、車両内コンピューティングシステム１０２のメモリ１１４又はデータストレージ１１６に記憶されている（又はリモートに記憶されている）予め定義されたオブジェクトプロファイルと比較して、合致しているかどうかを判定することができる。直線状画像内のオブジェクトを分類した後、オブジェクト分類モジュール３０６は、（例えば、逆投影（back projection）により、）分類されたオブジェクトの投影元の、魚眼画像の位置を決定することができる。さらに、いくつかの実施形態において、オブジェクト分類モジュール３０６は、（例えば、分類されたオブジェクトをハイライトすることにより、又は可聴アラートメッセージを介して）車両内コンピューティングシステム１０２のユーザにその分類をアラートすることができる。オブジェクト分類モジュール３０６の機能については、図１５の方法１５００に関連して、以下でさらに説明する。
次に図３〜図６を参照すると、ボウル生成モジュール３０８は、仮想的ボウル形状投影面４０２（図４参照）を生成する。車両内コンピューティングシステム１０２のユーザ（例えば、車両１００の運転手）が見るために、仮想的ボウル形状投影面４０２には、カメラシステム１２０のカメラ１２６により撮影された画像又はその処理済みバージョン（例えば、結合画像）が、投影され得る。ほとんどの車両内イメージングシステムにおいて、車両搭載カメラにより撮影された画像の視覚化は、車両が置かれている地表面４０４（図４参照）の上に位置していないオブジェクトの著しい歪みをもたらす。本明細書で説明するように、仮想的ボウル形状投影面は、例えば、仮想的ボウル形状投影面４０２の平滑度、仮想的ボウル形状投影面４０２と地表面４０４との間の滑らかな遷移、及び地表面４０４におけるボウル形状投影面４０２の平坦度等といった詳細に定義された幾何学的（geometric）特性を有する。したがって、画像を仮想的ボウル形状投影面４０２に投影することによって、例えば、オブジェクト歪みの低減、及び／又は、地表面４０４よりも高い位置にあるオブジェクトを見ることが可能になること（このようなオブジェクトは、従来の平面的な仮想的投影面を使用すると、隠され得る又は見ることができない）等といった１以上の利点を得ることができる。上述したように、例示的な実施形態において、ボウル生成モジュール３０８は、ボウルジオメトリモジュール３４０、ボウル統合モジュール３４２、及びボウルワーピングモジュール３４４を含む。
ボウルジオメトリモジュール３４０は、様々なパラメータに基づいて、仮想的ボウル形状投影面４０２の所望のジオメトリを決定し、仮想的ボウル形状投影面４０２の各水平スライス（例えば、図４のスライス４０６を参照されたい）を構築する。そうする際、ボウルジオメトリモジュール３４０は、（例えば、検索により）車両１００のサイズ（例えば、長さ、幅、高さ等）に関連する情報を決定し、様々なパラメータ（例えば、ボウル高さ、水平オフセット、適応比（adaptive ratio）等）を取得する。以下で示すように、各水平スライスの幅は、特定の実施形態に応じて変わり得る。さらに、いくつかの実施形態において、水平スライスは、一様でない（すなわち、異なる）幅を有し得る。
例示的な実施形態において、仮想的ボウル形状投影面４０２は、車両１００又は車両１００の仮想的表現が、地表面４０４の上でボウル形状投影面４０２の内側に配置されるように形成される。以下で詳細に説明するように、この情報に基づいて、ボウルジオメトリモジュール３４０は、車両１００の長さに沿った、ボウル形状投影面４０２の垂直スライス４０８（図４参照）の長半軸（major semi-axis）及び短半軸（minor semi-axis）を決定する。さらに、ボウルジオメトリモジュール３４０は、仮想的ボウル形状投影面４０２の各水平スライスについて（例えば、下面４１０から上面４１２まで）、垂直スライス４０８の長半軸及び短半軸に基づいて、対応する水平スライスの長半軸を決定し、対応する水平スライスの長半軸と短半軸との適応比に基づいて、対応する水平スライスの短半軸を決定する。以下で説明するように、例示的な実施形態において、適応比は、直線的に変化し、ボウル形状投影面４０２の上面４１２においては、約単位元（unity）（すなわち、１．０）であり、ボウル形状投影面４０２の下面４１０においては、車両の長さを車両の幅で割った商（すなわち、ｃａｒＬｅｎｇｔｈ／ｃａｒＷｉｄｔｈ）に等しい。図５Ａに示されるように、ボウル形状投影面４０２の軸５０４に沿って見たボウル形状投影面４０２の上面図５０２から、ボウル形状投影面４０２の最上水平スライス５０６は、円形の幾何学形状を有し、ボウル形状投影面４０２の最大スライス５０８は、ボウル形状投影面４０２の垂直方向中央に向かって存在する。さらに、図５Ｂに示されるように、軸５０４に沿って見たボウル形状投影面４０２の下面図５１０から、ボウル形状投影面４０２の最下水平スライス５１２は、円形ではない楕円形の幾何学形状を有する（すなわち、最下水平スライス５１２は、長軸が短軸と等しくない楕円を規定している）。
ボウル統合モジュール３４２は、ボウルジオメトリモジュール３４０により生成された水平スライスの結合に基づいて、仮想的ボウル形状投影面４０２を生成する。例えば、ボウル統合モジュール３４２は、ボウル形状投影面４０２の水平スライスを積み重ね、これらのスライスを一緒に統合して、結果として得られるボウル形状投影面４０２を形成する。さらに、ボウル統合モジュール３４２は、平坦な地表面４０４（又は、より詳細には部分的平面）である、ボウルの下面４１０を生成して統合することができる。ボウル形状投影面４０２の上面４１２は、部分的に開かれており、車両１００より上にある環境の部分は、ボウル形状投影面４０２の上部分に投影され得ることを理解されたい。
ボウルワーピングモジュール３４４は、生成された仮想的ボウル形状投影面４０２のうち地表面４０４に隣接するセクション（特定の実施形態に応じて、例えば、下半分、下３分の１、下４分の１、下８分の１等）をフィルタリング又は平滑化するよう構成される。図６において、ボウル形状投影面４０２の垂直断面６０２（例えば、垂直スライス４０８に垂直である）の一部により示されるように、ボウルワーピングモジュール３４４は、ボウル形状投影面４０２の下側部分６０４が、ボウル形状投影面４０２の上側部分６０６がボウル形状投影面４０２の上面４１２に近づくよりも遅いレートで、ボウル形状投影面４０２の下面４１０（すなわち、地表面）に近づくように、構築されたボウル形状投影面４０２の形状を変更する。したがって、ボウル形状投影面４０２に投影される画像（本明細書において、「ボウル形状画像」と呼ばれる）は、ボウル形状投影面４０２に関連して上述した上記特徴を含むようになる（すなわち、ボウル形状画像は、上側部分の微分係数の絶対値よりも小さい絶対値の微分係数を有する下側部分を含むようになる）。さらに、ボウル形状投影面４０２の下側部分は、任意の場所における投影面４０２の微分係数が画定的である（definite）ように（すなわち、特異点がないように）、ボウル形状投影面４０２の地表面４０４と統合される。ボウルワーピングモジュール３４４は、そうするために、任意の適切な画像フィルタ、アルゴリズム、技術、及び／又はメカニズムを使用することができることを理解されたい。
再度図３を参照すると、表示モジュール３１０は、車両内コンピューティングシステム１０２のユーザが見るために、ディスプレイ１１８上に画像をレンダリングする。例えば、表示モジュール３１０は、ボウル形状画像を生成するためにボウル生成モジュール３０８により生成された仮想的ボウル形状投影面４０２に、１以上の魚眼画像、結合画像、及び／又は他のタイプの画像を「投影」し、ディスプレイ１１８上に、ボウル形状画像又はボウル形状画像の一部を表示することができる。もちろん、いくつかの実施形態においては、生成された画像又は結合画像は、従来のように、ボウル形状投影面４０２に「投影」されず、代わりに、生成された画像又は結合画像は、そのような画像がボウル形状投影面４０２にあたかも投影されるかのように、上述した特徴を含むボウル形状を有するように変更されてもよい。
上述したように、いくつかの実施形態においては、表示モジュール３１０は、ボウル形状画像のうち、車両内コンピューティングシステム１０２の仮想カメラ２０２の視野内にある部分のみをレンダリングしてもよい。したがって、ボウル形状画像は、３次元面に「投影」される画像として具現化され得るが、ディスプレイ１１８は、いくつかの実施形態においては、２次元視点のボウル形状画像をレンダリングし得る。カメラ制御モジュール３１２は、仮想カメラ２０２の視点を決定し、仮想カメラコントロール１２８と組み合されて、車両内コンピューティングシステム１０２のユーザが、車両内コンピューティングシステム１０２の仮想カメラ２０２の視野を変更することを可能にする。
次に図７を参照すると、使用の際、車両内コンピューティングシステム１０２は、車両１００、又は、より詳細には車両内コンピューティングシステム１０２の周囲の物理的環境を表示するための方法７００を実行することができる。上述したように、本明細書に記載の方法は、概して、魚眼カメラと魚眼カメラにより生成される魚眼画像とに関連して説明される。しかしながら、本明細書に記載の方法は、他の適切なタイプのカメラ及び／又は画像にも適用可能である。例示的な方法７００は、ブロック７０２で開始する。ブロック７０２において、車両内コンピューティングシステム１０２は、周囲の物理的環境を表示するかどうかを決定する。周囲の物理的環境を表示する場合、ブロック７０４において、車両内コンピューティングシステム１０２は、カメラ１２６から魚眼画像を受信する。上述したように、例示的な実施形態（図２参照）において、カメラシステム１２０は、４つの魚眼カメラを含む。したがって、そのような実施形態において、車両内コンピューティングシステム１０２は、同じ撮影時間に関連付けられた４つのカメラ１２６の各々から魚眼画像を受信する（すなわち、４つのカメラ１２６は、同じ時間又はほぼ同じ時間に、魚眼画像を撮影する）。もちろん、他の実施形態においては、カメラシステム１２０は、異なる数のカメラ１２６を含んでもよく、したがって、ブロック７０４において、異なる数の魚眼画像が、受信又は取得されてもよい。さらに、いくつかの実施形態において、これらの画像のうちの１以上は、（例えば、以下で説明するオプティカルフローアルゴリズムによる使用のために、）車両内コンピューティングシステム１０２のメモリ１１４又はデータストレージ１１６に記憶され得る。
ブロック７０６において、車両内コンピューティングシステム１０２は、カメラ１２６から受信した画像のうちの２以上の画像を結合して、結合／複合画像を生成する。車両内コンピューティングシステム１０２は、そうするために、任意の適切な技術又はメカニズムを使用することができることを理解されたい。例えば、比較的原始的な実施形態においては、車両内コンピューティングシステム１０２は、単純にこれらの画像を互いに付加して、結合画像を生成し得る。しかしながら、以下で説明するように、例示的な実施形態は、生成される結合画像及び／又は対応する投影における不正確性又は曖昧性を低減させるために、スティッチング及び／又はオプティカルフロー等といったより複雑な技術を利用して、これらの画像を結合することができる。
上述したように、車両内コンピューティングシステム１０２は、車両１００の運転手のビジョンの向上及び利便性のために、撮影された画像及び／又は結合画像が投影され得る仮想的ボウル形状投影面４０２を生成する。さらに、近傍カメラ１２６は、オーバーラップする視野を有し、これは、近傍カメラ１２６により生成された画像が、オーバーラップ画像領域内で合致する（すなわち、重複する）特徴を有することを生じさせる。特徴のそのような重複は、対処されない場合には、結合画像及び／又は対応する投影内でのそのような特徴の曖昧性をもたらし得る。例えば、図８に示されるように、２つの近傍カメラ８０２、８０４は、（例えば、逆投影により、）同じ実世界点８０６を、ボウル形状投影面４０２の２つの異なる点８０８、８１０に投影する（すなわち、実世界点８０６が、ボウル形状投影面４０２と一致しない限り）。詳細には、第１のカメラ８０２により撮影された実世界点８０６は、第１の点８０８において、ボウル形状投影面４０２に投影され、第２のカメラ８０４により撮影された実世界点８０６は、第２の点８１０において、ボウル形状投影面４０２に投影される。したがって、画像を結合するときに、車両内コンピューティングシステム１０２は、オーバーラップ画像領域に起因する、画像曖昧性、二重性、及び／又は不可視オブジェクトに関する問題に対処することができる。例えば、例示的な実施形態において、車両内コンピューティングシステム１０２は、図７の方法７００のブロック７０８において、スティッチングアルゴリズムを利用することにより、又は、図７の方法７００のブロック７１０において、オプティカルフローアルゴリズムを利用することにより、２つの近傍画像を結合することができる。もちろん、いくつかの実施形態においては、技術の組合せを利用して、結合画像を生成してもよい。
スティッチングアルゴリズムを使用して近傍画像を結合するために、車両内コンピューティングシステム１０２は、図９に示される方法９００を実行することができる。例示的な方法９００は、ブロック９０２で開始する。ブロック９０２において、車両内コンピューティングシステム１０２は、近傍魚眼画像をスティッチングするかどうかを決定する。近傍魚眼画像をスティッチングする場合、ブロック９０４において、車両内コンピューティングシステム１０２は、カメラシステム１２０のジオメトリに基づいて、近傍画像のための基本行列を決定する。基本行列は、２つの画像の対応する特徴間のマッピングにより、同じシーンが撮影された２つの画像の画像座標を互いに関連付けることを理解されたい。カメラシステム１２０のジオメトリ及び座標系は、既知であるので、基本行列も既知である又は容易に決定可能である（すなわち、画像特徴検出又は特徴照合を実行しない）。代替的に、基本行列は、２つの画像の照合される特徴に基づいて決定されてもよい。
ブロック９０６において、車両内コンピューティングシステム１０２は、近傍魚眼画像の各々に対して特徴検出を実行して、それらの画像の特徴（すなわち、関心点）を識別する。上述したように、車両内コンピューティングシステム１０２は、そうするために、任意の適切な検出器（例えば、ＳＵＲＦ、ＳＩＦＴ、ＭＯＰＳ等）を使用することができる。ブロック９０８において、車両内コンピューティングシステム１０２は、（例えば、ＲＡＮＳＡＣ又は別の照合アルゴリズムを使用して、）近傍魚眼画像の検出された特徴に対して特徴照合を実行して、それらの画像のどの特徴が互いと対応するかを特定する。いくつかの実施形態において、そうする際、ブロック９１０において、車両内コンピューティングシステム１０２は、（例えば、検出された特徴の比較に関連する計算オーバーヘッドを低減させるために、）決定された基本行列に基づいて、特徴合致候補をフィルタリングする。
追加的又は代替的に、特徴照合を実行する際、ブロック９１２において、車両内コンピューティングシステム１０２は、オーバーラップ画像間の適切な特徴対応関係を特定するために、特徴合致候補のＳａｍｓｏｎの距離（Samson’s distance）を最小にし得る。より詳細には、車両内コンピューティングシステム１０２は、式
Figure 2017502404
 を最小にし得る。ここで、ｘ１及びｘ２は、オーバーラップ画像のうちの第１の魚眼画像の照合される特徴に関連付けられている画素の２次元座標であり、ｘ１’及びｘ２’は、オーバーラップ画像のうちの第２の魚眼画像の照合される特徴に関連付けられている画素の２次元座標であり、Ｆは、基本行列であり、ｉは、照合される特徴に関連付けられている画素のインデックスである。他の実施形態においては、車両内コンピューティングシステム１０２は、他の適切な技術を使用して（例えば、特徴照合アルゴリズムを使用せず決定された基本行列を使用して、カメラシステム１２０のジオメトリからの基本行列の演繹的な（priori）知識を使用せず特徴照合アルゴリズムを使用して等）、特徴照合を実行してもよい。
ブロック９１４において、車両内コンピューティングシステム１０２は、合致した特徴に基づいて、オーバーラップ画像領域内の近傍魚眼画像の継ぎ目を決定する。例えば、次に図１０及び図１１を参照すると、車両内コンピューティングシステム１０２は、各近傍画像について（すなわち、第１の魚眼画像１００２及び第２の魚眼画像１００４の各々について、）関心点としての画像特徴（例えば、画素又は画素のグループ）を特定することができる。第２の画像１００４の対応する特徴群に合致する、第１の画像１００２の検出された特徴群のサブセットを、（例えば、「点を結ぶ」方式で又は別の方式で）仮想的に結んで、第１の画像１００２の合致した特徴群から構成される継ぎ目１００６を生成することができる。同様に、第１の画像１００２の対応する特徴群に合致する、第２の画像１００４の検出された特徴群も、継ぎ目１００８を構成することができる。
再度図９を参照すると、ブロック９１６において、車両内コンピューティングシステム１０２は、近傍魚眼画像の結合画像を生成する。上述したように、そうする際、ブロック９１８において、車両内コンピューティングシステム１０２は、近傍魚眼画像（すなわち、画像１００２、１００４）を、仮想的ボウル形状投影面４０２に投影することができる。ボウル形状投影面４０２へのそのような投影を実行するために、方法９００と（例えば、少なくとも部分的に）組み合わせて、図１９に示され以下で説明される方法１９００が利用又は実行され得ることを理解されたい。ブロック９２０において、車両内コンピューティングシステム１０２は、第１の画像１００２の投影と第２の画像１００４の投影とが接合されるべき第３の継ぎ目１１０２を決定する。車両内コンピューティングシステム１０２は、任意の適切な技術、アルゴリズム、又はメカニズムを使用して、第３の継ぎ目１１０２の位置を決定することができる（例えば図１１参照）ことを理解されたい。例えば、一実施形態において、車両内コンピューティングシステム１０２は、継ぎ目１００６と継ぎ目１００８との平均継ぎ目（例えば、３次元ボウル形状投影面４０２上の継ぎ目１００６及び継ぎ目１００８の対応する合致した特徴群の位置の算術平均）として、第３の継ぎ目１１０２を決定することができる。別の実施形態においては、第３の継ぎ目１１０２の位置は、例えば、画像１００２及び画像１００４又は対応する投影群の最も多くのデータを保つことができる位置として選択されてもよい。ブロック９２２において、車両内コンピューティングシステム１０２は、投影された画像の第１の継ぎ目１００６と第２の継ぎ目１００８との間の画像画素を内挿、外挿、及び／又はフィルタリングして、オーバーラップ画像領域内に画像アーチファクトがほとんどない投影画像を生成することができる。いくつかの実施形態において、車両内コンピューティングシステム１０２は、さらに、投影された画像の諸部分（例えば、対応する画像１００２及び画像１００４内の継ぎ目１００６及び継ぎ目１００８を超えている部分）を強調しないようにすることができる。例えば、車両内コンピューティングシステム１０２は、画像投影のそのような部分をクロップする又は不鮮明にすることができる。別の実施形態において、車両内コンピューティングシステム１０２は、結合画像をボウル形状投影面４０２に投影する前に結合画像を生成するのに先立って、第３の継ぎ目を決定し、２次元空間内の元々の継ぎ目の間の領域をフィルタリングすることができる。さらに、図１１に示されるように、継ぎ目１１０４が、上述したのと同様に、他のペアの近傍カメラ１２６の各々の間に生成され得ることを理解されたい。
オプティカルフローアルゴリズムを使用して近傍画像を結合するために、車両内コンピューティングシステム１０２は、図１２〜図１３に示される方法１２００を実行することができる。例示的な方法１２００は、ブロック１２０２で開始する。ブロック１２０２において、車両内コンピューティングシステム１０２は、オプティカルフローを利用するかどうかを決定する。車両内コンピューティングシステム１０２は、オプティカルフローを利用して、オブジェクトがオーバーラップする視野内で動いているかどうかの判定に基づいて、近傍魚眼画像のオーバーラップ画像領域を、仮想的ボウル形状投影面４０２にどのように投影するかを決定することができる。車両内コンピューティングシステム１０２が、オプティカルフローを利用すると決定した場合、ブロック１２０４において、車両内コンピューティングシステム１０２は、オプティカルフローを適用する、近傍魚眼画像のオーバーラップ領域を決定／特定する。例えば、ブロック１２０６において、車両内コンピューティングシステム１０２は、カメラシステム１２０の予め定められたジオメトリに基づいて、近傍魚眼画像のオーバーラップ領域を決定することができる。すなわち、車両内コンピューティングシステム１０２は、対応する近傍カメラ１２６のオーバーラップする視野と、カメラ１２６間の既知の幾何学的関係と、に基づいて、近傍魚眼画像のオーバーラップ領域を特定するよう構成され得る。追加的又は代替的に、ブロック１２０８において、車両内コンピューティングシステム１０２は、図９に関連して上述したように、近傍魚眼画像に対して特徴検出及び特徴照合を実行して、オーバーラップ領域を決定してもよい。
ブロック１２１０において、車両内コンピューティングシステム１０２は、特定されたオーバーラップ画像領域内のオブジェクトの相対的な動きを決定する。すなわち、車両内コンピューティングシステム１０２は、オーバーラップ画像領域内で撮影されたオブジェクトが、車両１００に対してどの程度動いているかを決定する。そうする際、車両内コンピューティングシステム１０２は、オーバーラップ領域内のオブジェクトの相対的な動きを決定するために、画像フィルタ（例えば、エッジ検出器、勾配フィルタ等）又は他の適切な技術を利用することができる。例えば、ブロック１２１２において、車両内コンピューティングシステム１０２は、勾配制約方程式（gradient constraint equation）を適用することができる。そのようなものとして、ブロック１２１４において、車両内コンピューティングシステム１０２は、（例えば、近傍画像の一方又は両方について、）オーバーラップ画像領域内の画素の強度の空間微分係数を決定することができる。さらに、ブロック１２１６において、車両内コンピューティングシステム１０２は、オーバーラップ画像領域内の画素の強度の時間微分係数を決定することができる。
いくつかの実施形態において、オーバーラップ画像領域内のオブジェクトの動きを確認するために、勾配制約方程式∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０が、オーバーラップ画像領域に適用され得る。ここで、Ｉ（ｘ，ｔ）は、画素強度であり、∇Ｉ（ｘ，ｔ）は、画素強度の空間微分係数であり、ｕは、複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、画素強度の時間微分係数である。より詳細には、ｕは、（例えば、撮影と撮影との間の短い期間で）同じ魚眼カメラにより撮影された２つの魚眼画像を比較することにより決定された、基礎となる画素の２次元速度である。多数のオプティカルフローアルゴリズムが、基礎としてそのような勾配制約方程式を利用し得、本明細書においては、それらのアルゴリズムのうちの任意のアルゴリズムが利用され得ることを理解されたい。さらに、いくつかの実施形態において、異なる物理的制約を有するオプティカルフローアルゴリズムが、車両内コンピューティングシステム１０２により利用され得る。図１４Ａ及び図１５Ｂの例示的な実施形態に示されるように、オプティカルフローアルゴリズムは、入力画像１４０２に基づくオプティカルフロー画像１４０４を出力し、これにより、その画像内にオブジェクトの相対的な動きを示すことができる。図１４Ａに示されるオプティカルフローアルゴリズムの例示的な入力画像１４０２は、動いていない背景と動いている人とを含むシーンを有する魚眼画像である。したがって、オプティカルフロー画像１４０４（すなわち、オプティカルフローアルゴリズムの出力画像）は、さらなる解析のために、動いている人と動いていない背景とを、異なる色を使用して明確に区別する。詳細には、利用されているオプティカルフローアルゴリズムは、より暗い色合いを使用して動いているオブジェクトを識別し、より明るい色合いを使用して動いていないオブジェクトを識別する。例示的な実施形態において、同様の対応するオプティカルフロー出力画像を生成するために、そのようなアルゴリズムが、オーバーラップ画像領域に適用される。
ブロック１２１８（図１３参照）において、車両内コンピューティングシステム１０２は、オーバーラップ画像領域内のオブジェクトの相対的な動きに基づいて（例えば、オプティカルフロー出力画像に基づいて）、車両１００に対して動いているオブジェクトを特定する。そのような特定は、例えば、使用される特定のオプティカルフローアルゴリズムに依拠し得ることを理解されたい。例えば、１つの特定のオプティカルフローアルゴリズムは、処理済み画像のうち、最大量の相対的な動きを有する画素が、白であり、処理済み画像のうち、最小量の相対的な動きを有する画素が、黒であり、最大量（白）と最小量（黒）との間の何らかのレベルの動きを有する画素が、グレーの色合いである、グレースケール画像を出力することができる。
使用される特定のオプティカルフローアルゴリズムにかかわらず、ブロック１２２０において、車両内コンピューティングシステム１０２は、特定された動いているオブジェクトに基づいて、オーバーラップ画像領域の画像を生成する。いくつかの実施形態において、近傍画像を互いに付加することにより、近傍画像の結合画像が生成され得、例えば、オーバーラップ画像領域の生成された画像が、結合画像のオーバーラップ画像領域の上に重ね合わされる。動いているオブジェクトが特定されない場合、車両内コンピューティングシステム１０２は、いくつかの実施形態において、近傍画像を結合するために、別の技術（例えば、画像スティッチング）を利用することができることを理解されたい。しかしながら、動いているオブジェクトが特定された場合、車両内コンピューティングシステム１０２は、近傍画像の結果として得られる結合画像内に動いているオブジェクトを保つよう試みる。そのようにしなければ、仮想的ボウル形状投影面４０２への結合画像の投影は、不可視オブジェクト及び／又は見えない点（blind spot）をもたらし得る。
オーバーラップ画像領域の画像を生成する際、車両内コンピューティングシステム１０２は、近傍画像の一方又は両方からの特定された動いているオブジェクトを含む画像を生成することができる。例えば、ブロック１２２２において、車両内コンピューティングシステム１０２は、近傍魚眼画像の一方からのブレンドされていない動いているオブジェクトを有する画像を生成することができる。すなわち、動いているオブジェクトが、オーバーラップ画像領域内で特定された場合、その動いているオブジェクトは、近傍画像の両方に存在する。したがって、車両内コンピューティングシステム１０２は、特定されてはいるがそれらの画像の一方のみからの動いているオブジェクトを表示することができ、（例えば、オブジェクトの二重性を避けるために、）動いているオブジェクトを不鮮明にすることにより、他方の近傍画像内の動いているオブジェクトを強調しないようにすることができる。ブロック１２２４において、車両内コンピューティングシステム１０２は、近傍魚眼画像の両方からのブレンドされていない動いているオブジェクトを有する画像を生成することができる。例えば、車両内コンピューティングシステム１０２が、動いているオブジェクトのどの位置がより適切であるかを決定できない（すなわち、仮想的ボウル形状投影面４０２への各近傍魚眼画像内のオブジェクトの将来の投影位置に基づいて）場合、車両内コンピューティングシステム１０２は、両方の近傍魚眼画像からの動いているオブジェクトをボウル形状投影面４０２に投影することにより、両方の位置において、動いているオブジェクトを表示することを決定することができる。ブロック１２２６において、車両内コンピューティングシステム１０２は、近傍魚眼画像に基づく推定位置において動いているオブジェクトを有する画像を生成することができる。すなわち、車両内コンピューティングシステム１０２は、適切な解析に基づいて（例えば、両方の近傍画像からのオブジェクトの投影位置を平均化することにより）、動いているオブジェクトの各々を投影する位置を決定することができる。さらに、いくつかの実施形態において、車両内コンピューティングシステム１０２は、画像アーチファクトを低減させるために、オーバーラップ画像領域をブレンド、フィルタリング、及び／又は変更することができる。
再度図７を参照すると、ブロック７１２において、車両内コンピューティングシステム１０２は、１以上の撮影された魚眼画像に対してオブジェクト分類を実行する。例えば、車両内コンピューティングシステム１０２は、車両１００の周囲近くにいる歩行者又は動物の位置を決定することができる。そうするために、車両内コンピューティングシステム１０２は、魚眼画像内のオブジェクトを分類するための図１５に示される方法１５００を実行することができる。魚眼画像に対してオブジェクト分類を実行することは、魚眼画像の固有の特性に起因して、従来の分類アルゴリズムに基づくと、極めて難しいものであり得ることを理解されたい。例えば、魚眼画像は、強い魚眼歪みを有し、魚眼画像内の画素解像度は、魚眼画像の中心から境界まで非直線的に減少し、実世界環境における直線は、魚眼画像内では曲線として見える。したがって、オブジェクトは、魚眼カメラに対するオブジェクトの相対位置に応じて、魚眼画像内では異なる形状を有するように見える。魚眼歪みは補償され得るが、これは、通常は、遠近歪み（perspective distortion）をもたらし、従来の分類を困難にさせる。以下で説明するように、分類は、一般に、画像内のオブジェクトを、一般的には歪みのない直線状空間において定義されている、オブジェクトの特定のクラスに関する予め定義されたオブジェクトモデル又はオブジェクトプロファイルと比較することを伴う。
例示的な方法１５００は、ブロック１５０２で開始する。ブロック１５０２において、車両内コンピューティングシステム１０２は、オブジェクト分類を実行するかどうかを決定する。オブジェクト分類を実行する場合、ブロック１５０４において、車両内コンピューティングシステム１０２は、魚眼カメラ１２６のうちの１以上を較正する。上述したように、カメラ１２６は、正確な画像撮影及びメトリックデータの抽出を確実にするための適切な技術を使用して、（例えば、内発的及び外発的に）較正される。例えば、魚眼画像は、投影
Figure 2017502404
 に関連し得る。ここで、Ｐは、投影行列であり、Ｘは、同種の座標（例えば、ｘ、ｙ、及びｚ）のベクトル記述であり、ｕは、魚眼画像への投影であり、λは、同種の曖昧性に対応するスケーリング係数であり、Ａ及びｔは、ミスアライメント（misalignment）（例えば、カメラ構成、解像度、画素サイズ等）に対応する係数であり、ｆ（ｕ，ｖ）＝ａ０＋ａ１ｐ＋ａ２ｐ２＋・・・＋ａｎｐｎは、魚眼画像の全てのタイプの歪みの多項式近似であり、ここで、ｐは、点（ｕ，ｖ）と光軸との間のメトリック距離である。いくつかの実施形態において、魚眼カメラの較正は、上記で与えられる投影式におけるＡ、ｔ、及びｆ（ｕ，ｖ）の値の決定を含む。もちろん、他の実施形態においては、カメラ１２６を較正するために、他の較正技術が使用されてもよい。
ブロック１５０６において、車両内コンピューティングシステム１０２は、魚眼画像内の、オブジェクト分類を実行する関心領域を決定する（例えば、図１６の魚眼画像１６００を参照されたい）。上述したように、画像全体に対してオブジェクト分類を実行することは、計算集約的であり、直線状画像への魚眼画像全体の投影は、著しい遠近歪みを生じさせる。画像のある領域（すなわち、画像全体よりも小さな部分）に対してオブジェクト分類を実行することは、これらのファクタの両方の影響を低減させる。関心領域の位置、サイズ、及び／又は他の特性は、任意の適切な技術を使用して決定され得ることを理解されたい。例えば、関心領域のサイズは、いくつかの実施形態において、分類が実行されるオブジェクト（例えば、歩行者）のサイズに基づいて選択され得る。
ブロック１５０８において、車両内コンピューティングシステム１０２は、オプティカルフローアルゴリズムを利用して、図１２及び図１３の方法１２００に関連して上述したように、動いているオブジェクトを特定することにより、関心領域を決定することができる。すなわち、車両内コンピューティングシステム１０２は、魚眼画像のうち、車両１００に対して相当の動きがある領域に対してオブジェクト分類を実行することを決定することができる。ブロック１５１０において、車両内コンピューティングシステム１０２は、魚眼画像に対してオブジェクト検出を実行して、関心領域を特定することができる。分類アルゴリズムは、一般的には、魚眼画像に対して非常に不十分に機能するが、車両内コンピューティングシステム１０２は、例えば、魚眼画像に対して様々な画像フィルタ及び／又は特徴検出器を使用して、魚眼画像内のオブジェクトの存在を判別することができ得る（すなわち、車両内コンピューティングシステム１０２が、検出されたオブジェクトを分類できないとしても）。ブロック１５１２において、車両内コンピューティングシステム１０２は、歪みのある直線状画像に対してオブジェクト検出を実行することにより、関心領域を決定することができる。そうする際、ブロック１５１４において、車両内コンピューティングシステム１０２は、魚眼画像を、仮想的半球形状表示面に投影することができ、次いで、そこからのある平面に投影することができる。上述したように、画像全体の投影から結果として生じる直線状画像は、遠近歪みを含む（例えば、図１７の歪みのある直線状画像１７００を参照されたい）。しかしながら、それでも、歪みのある直線状画像に対してオブジェクト検出アルゴリズムを使用して、車両内コンピューティングシステム１０２によるさらなる解析及び分類のために、関心領域を特定することができる。
ブロック１５１６において、車両内コンピューティングシステム１０２は、決定された関心領域を、仮想的半球形状表示面に投影して、半球形状画像領域を生成する。さらに、ブロック１５１８において、車両内コンピューティングシステム１０２は、半球形状画像領域を、半球形状画像領域内の点（例えば、中心点）に垂直な平面に投影して、直線状画像を生成する。上述したように、この平面への半球形状画像領域の投影は、この平面への魚眼画像全体の投影よりも著しく少ない歪み（例えば、遠近歪み）をもたらす。したがって、オブジェクト分類アルゴリズムは、概して、画像全体に基づいて生成された直線状画像（図１７参照）よりも、関心領域に基づいて生成された直線状画像（例えば、図１８の直線状画像１８００を参照されたい）に対して、より良く（例えば、より速く且つ／又はより正確に）機能する。他の実施形態においては、車両内コンピューティングシステム１０２は、最小限の遠近歪みを有する直線状画像を生成するために、投影の異なる組合せを使用して、関心領域を平面に投影してもよい。例えば、車両内コンピューティングシステム１０２は、いくつかの実施形態においては、関心領域を魚眼画像から平面に直接的に投影してもよい（すなわち、半球形状表示面へ／からの投影をバイパスすることにより）。
ブロック１５２０において、車両内コンピューティングシステム１０２は、生成された直線状画像に対してオブジェクト分類を実行する。上述したように、そうする際、車両内コンピューティングシステム１０２は、直線状画像又は直線状画像の一部（例えば、関心点）を、１以上の予め定義されたオブジェクトプロファイル／モデルと比較して、合致しているかどうかを判定する。特定の実施形態に応じて、オブジェクトの広範な異なるタイプ／クラスのためのオブジェクトプロファイルが存在し得る。例えば、いくつかのオブジェクトプロファイルは、大人の歩行者、子供の歩行者、ペット、車両、及びその他を含み得る。オブジェクトプロファイルは、任意の適切なデータ構造として具現化され得、例えば、高さ、幅、向き、平均速度、重要度、識別可能な関心点、及び他の適切な特性等といった特性を含み得ることを理解されたい。車両内コンピューティングシステム１０２が、オブジェクトを成功裡に分類できたかどうかにかかわらず、方法１５００は、ブロック１５０２に戻り、ブロック１５０２において、車両内コンピューティングシステム１０２は、（例えば、別の魚眼画像に対して）オブジェクト分類を実行するかどうかを決定する。
再度図７を参照すると、ブロック７１４において、車両内コンピューティングシステム１０２は、ボウル形状画像を表示する。上述したように、そうするために、車両内コンピューティングシステム１０２は、１以上の画像（例えば、魚眼画像、結合／複合画像、パノラマ画像等）を投影する仮想的ボウル形状投影面４０２を生成又は使用し、それにより、「ボウル形状」画像を生成する。この投影は、例えば、車両１００の周囲の環境の運転手の視認性を向上させる。もちろん、上述したように、いくつかの実施形態において、１以上の画像は、従来のように、ボウル形状投影面４０２に「投影」される以外に、ボウル形状投影面４０２と整合するボウル形状を有するように変更され得る。ブロック７１６において、車両内コンピューティングシステム１０２は、上述したように、結合画像及び仮想カメラ２０２の向きに基づいて、ボウル形状画像を生成することができることを理解されたい。例えば、ボウル形状画像を生成するために、カメラ１２６により撮影された画像を結合して、仮想的ボウル形状投影面４０２に投影され得る１つの結合画像を生成することができる。上述したように、いくつかの実施形態において、投影は、例えば、図９の方法９００に関連して上述した近傍画像のスティッチングと組み合わせて実行され得る。さらに、いくつかの実施形態において、車両内コンピューティングシステム１０２は、ボウル形状画像及び／又はボウル形状投影面４０２のうち、仮想カメラ２０２の視野内にあり仮想カメラ２０２と同じ視点からの部分のみを生成又は表示することができる。さらに、ブロック７１８において、車両内コンピューティングシステム１０２は、上述したように、車両内コンピューティングシステム１０２により検出され分類されたオブジェクトをハイライトすることができる。特定の実施形態に応じて、車両内コンピューティングシステム１０２は、例えば、ユーザの利便性のために、分類されたオブジェクトをディスプレイ１１８上で視覚的にハイライトすることができ、オブジェクトの存在を識別する可聴アラートをユーザに送ることができ、且つ／又は、分類に基づいて、車両１００の１以上の他の電気機械的特徴を利用することができる（例えば、車両１００に自動的にブレーキをかける）。
いくつかの実施形態において、車両内コンピューティングシステム１０２は、図１９に示される方法１９００を実行して、図４に示されるボウル形状画像を生成することができる。例示的な方法１９００は、ブロック１９０２で開始する。ブロック１９０２において、車両内コンピューティングシステム１０２は、ボウル形状画像を生成するかどうかを決定する。ボウル形状画像を生成する場合、車両内コンピューティングシステム１０２は、１以上の画像（例えば、結合画像）を投影する仮想的ボウル形状投影面４０２を生成又は決定し、１以上の画像をボウル形状投影面４０２に投影する。詳細には、ブロック１９０４において、車両内コンピューティングシステム１０２は、車両１００の長さに沿った、仮想的ボウル形状投影面４０２（すなわち、生成されるべきもの）の垂直スライス４０８（図４参照）（例えば、車両１００の長手方向軸に沿ってボウル形状投影面４０２を横切って得られる垂直スライス）の長半軸及び短半軸を決定する。車両内コンピューティングシステム１０２は、任意の適切な技術を使用して（例えば、車両１００のサイズ及び／又は予め定められた値／閾値に基づいて）、垂直スライス４０８の長軸及び短軸の適切なサイズを決定することができることを理解されたい。
ブロック１９０６において、車両内コンピューティングシステム１０２は、生成されるボウル形状投影面４０２の「水平オフセット」を決定する。いくつかの実施形態において、水平オフセットは、仮想的ボウル形状投影面４０２の生成のために車両内コンピューティングシステム１０２のメモリ１１４又はデータストレージ１１６に記憶されている予め定められた値であり得る。例示的な実施形態において、水平オフセットは、車両１００の長さよりも短く車両１００の長さの半分よりも長い長さ（例えば、車両１００の長さの半分よりもわずかに長い長さ）を有する。
上述したように、車両内コンピューティングシステム１０２は、仮想的ボウル形状投影面４０２の各水平スライスを生成し、それらの水平スライスを結合して、仮想的ボウル形状投影面４０２を生成することができる。したがって、ブロック１９０８において、車両内コンピューティングシステム１０２は、生成される仮想的ボウル形状投影面４０２の次の水平スライスを選択する。水平スライスの「厚さ」又は幅は、特定の実施形態に応じて変わり得ることを理解されたい。例えば、いくつかの実施形態において、水平スライスの幅は、無限小（すなわち、仮想的）、又は、車両内コンピューティングシステム１０２のハードウェア、ファームウェア、及び／又はソフトウェアの制限により許容される最大分解能（maximum resolution）であり得る。さらに、水平スライスの選択の順序（例えば、上から下、下から上、ランダムな選択等）も、特定の実施形態に依拠し得る。
ブロック１９１０において、車両内コンピューティングシステム１０２は、選択された水平スライスの第１の半軸（例えば、長半軸の長さ）を決定する。そうする際、ブロック１９１２において、車両内コンピューティングシステム１０２は、いくつかの実施形態では、
Figure 2017502404
 に従って、第１の半軸を決定することができる。ここで、ａＨｏｒｉｚｏｎｔａｌは、選択された水平スライスの第１の半軸（すなわち、長半軸）の長さであり、ａＯｆｆｓｅｔは、上記で決定された水平オフセットであり、ａＶｅｒｔｉｃａｌは、垂直スライスの長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、垂直スライスの短半軸の長さであり、ｚは、ボウル形状投影面４０２の地表面４０４より上の選択された水平スライスの高さである。
ブロック１９１４において、車両内コンピューティングシステム１０２は、選択された水平スライスに関する適応比を決定する。上述したように、例示的な実施形態において、適応比は、予め定義されたものであり、適応比が、ボウル形状投影面４０２の上面４１２（図４参照）においては、約単位元（すなわち、１．０）であり、ボウル形状投影面４０２の下面４１０（図４参照）においては、車両の長さを車両の幅で割った商（すなわち、ｃａｒＬｅｎｇｔｈ／ｃａｒＷｉｄｔｈ）として求められた値におおよそ等しいように、適応比は、水平スライスにわたって直線的に変化する。したがって、仮想的ボウル形状投影面４０２の最上水平スライスは、円形として形成され、仮想的ボウル形状投影面４０２の最下水平スライス（すなわち、仮想的ボウル形状投影面４０２の地表面に隣接する水平スライス）は、円形ではない楕円形として形成される。いくつかの実施形態において、適応比は、１次元線形関数として表現され得、この関数には、水平スライスの識別子が入力され、この関数の出力が、本明細書に記載の計算において使用される。したがって、各水平スライスは、異なる適応比値に関連付けられる。
ブロック１９１６において、車両内コンピューティングシステム１０２は、選択された水平スライスの第２の半軸（例えば、短半軸の長さ）を決定する。そうする際、ブロック１９１８において、車両内コンピューティングシステム１０２は、
Figure 2017502404
 に従って、第２の半軸を決定することができる。ここで、ｂＨｏｒｉｚｏｎｔａｌは、選択された水平スライスの第２の半軸（すなわち、短半軸）の長さであり、ａＨｏｒｉｚｏｎｔａｌは、選択された水平スライスの第１の半軸（すなわち、長半軸）の長さであり、ａｄａｐｔｉｖｅＲａｔｉｏは、上述した、選択された水平スライスに関する適応比である。
ブロック１９２０において、車両内コンピューティングシステム１０２は、仮想的ボウル形状投影面４０２の生成される水平スライスが残っているかどうかを判定する。水平スライスが残っている場合、方法１９００は、ブロック１９０８に戻り、ブロック１９０８において、車両内コンピューティングシステム１０２は、生成される次の水平スライスを選択する。しかしながら、仮想的ボウル形状投影面４０２の全ての水平スライスが生成された場合、ブロック１９２２において、車両内コンピューティングシステム１０２は、適切な技術又はアルゴリズムを使用して、これらの水平スライスを結合してボウル形状投影面４０２を生成する。例えば、車両内コンピューティングシステム１０２は、水平スライスを適切な順序で互いに「積み重ね」、スライスを一緒に統合して１つの仮想面を生成することができる。さらに、いくつかの実施形態において、車両内コンピューティングシステム１０２は、平坦な地表面４０４（すなわち、ボウル形状投影面４０２の最下面）をこの仮想面の下に統合して、仮想的ボウル形状投影面４０２を生成する。
ブロック１９２４において、車両内コンピューティングシステム１０２は、地表面４０４に隣接する、生成された仮想的ボウル形状投影面４０２の下側セクションをフィルタリングして、地表面４０４とボウル形状投影面４０２の下側水平スライス（図６参照）との間の接合を平滑化する。上述したように、車両内コンピューティングシステム１０２は、そうするために、任意の適切な画像フィルタ、アルゴリズム、技術、及び／又はメカニズムを使用することができる。ブロック１９２６において、車両内コンピューティングシステム１０２は、１以上の結合画像を、生成された仮想的ボウル形状投影面４０２に投影して、ボウル形状画像を生成する。上述したように、ボウル形状画像は、車両１００の周囲の環境のユーザの知覚を向上させる。さらに、実世界地表面の撮影された画像は、いくつかの実施形態において、最小限の歪みしかないように、あるいは、歪みがないように、地表面４０４に直接的に逆投影され得ることを理解されたい。さらに、上述したように、生成されたボウル形状画像は、車両内コンピューティングシステム１０２のユーザ（例えば、車両１００の運転手）のために、車両内コンピューティングシステム１０２のディスプレイ１１８上に表示される。
図７に戻ると、ブロック７２０において、車両内コンピューティングシステム１０２は、（例えば、仮想カメラ２０２を並進又は回転させることにより）仮想カメラ２０２の視野を変更するユーザ入力が、（例えば、運転手から）受信されたかどうかを判定する。ユーザ入力が受信された場合、ブロック７２２において、車両内コンピューティングシステム１０２は、ユーザ入力及び仮想カメラ２０２の新たな位置に基づいて、ボウル形状画像の表示を変更する。例えば、ユーザは、（例えば、車両１００の内側の視点と整合する視点から）ボウル形状画像において仮想カメラ２０２を回転させて、ボウル形状画像の異なる部分を表示させることができる。いくつかの実施形態において、車両内コンピューティングシステム１０２は、（例えば、複数の視点のボウル形状画像を同時に表示するために）複数の仮想カメラ２０２を利用することができることを理解されたい。例えば、一実施形態において、車両内コンピューティングシステム１０２は、車両１００の４つの側の各々からのボウル形状画像のビューを表示することができる。他の実施形態においては、上述したように、ボウル形状画像全体又はその一部が、３Ｄディスプレイ上に表示されてもよい。（ブロック７２２における）ボウル形状画像の表示の変更に応じて、又は、（ブロック７２０における）ボウル形状画像を変更するユーザ入力が受信されていないという判定に応じて、方法７００は、ブロック７０２に戻り、ブロック７０２において、車両内コンピューティングシステム１０２は、車両１００の周囲の環境を表示するかどうかを決定する。
例
本明細書で開示した技術の例示的な例が、以下に提供される。本技術の実施形態は、以下に記載の例の任意の１以上及び任意の組合せを含み得る。
例１は、ボウル形状画像を利用するためのコンピューティングシステムであって、第１のシーンを含む第１の魚眼画像を撮影する第１の魚眼カメラと、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンを含む第２の魚眼画像を撮影する第２の魚眼カメラと、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成する結合画像生成モジュールと、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像の関心領域に対してオブジェクト分類を実行して、前記関心領域内のオブジェクトを分類するオブジェクト分類モジュールと、前記結合画像に基づいて、ボウル形状画像の一部を生成するボウル生成モジュールと、を備えているコンピューティングシステムを含む。
例２は、例１の主題を含み、前記結合画像生成モジュールは、前記第１の魚眼画像及び前記第２の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出する特徴検出モジュールと、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定する特徴照合モジュールと、（ｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第１の魚眼画像の第１の継ぎ目を決定し、（ｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第２の魚眼画像の第２の継ぎ目を決定し、（ｉｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像を仮想的ボウル形状投影面に投影して、対応する投影画像を生成し、（ｉｖ）前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影に基づいて、前記対応する投影画像のオーバーラップ領域内の第３の継ぎ目を決定する継ぎ目決定モジュールと、前記の決定された第３の継ぎ目において前記第１の魚眼画像の前記投影と前記第２の魚眼画像の前記投影とを結合することにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成する画像統合モジュールと、を含む。
例３は、例１及び２のうちのいずれかの主題を含み、前記特徴照合モジュールは、さらに、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムの基本行列を決定し、前記基本行列は、前記カメラシステムのジオメトリに基づく。
例４は、例１〜３のうちのいずれかの主題を含み、前記特徴照合を実行することは、前記基本行列に基づいて特徴合致候補をフィルタリングすることを含む。
例５は、例１〜４のうちのいずれかの主題を含み、前記特徴照合を実行することは、特徴合致候補のＳａｍｓｏｎの距離を最小にすることを含む。
例６は、例１〜５のうちのいずれかの主題を含み、前記特徴合致候補の前記Ｓａｍｓｏｎの距離を最小にすることは、式
Figure 2017502404
 を最小にすることを含み、ここで、ｘ１及びｘ２は、前記第１の魚眼画像の照合される特徴に関連付けられている画素の座標であり、ｘ１’及びｘ２’は、前記第２の魚眼画像の照合される特徴に関連付けられている画素の座標であり、Ｆは、前記基本行列であり、ｉは、前記照合される特徴に関連付けられている画素のインデックスである。
例７は、例１〜６のうちのいずれかの主題を含み、前記第３の継ぎ目を決定することは、前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の平均継ぎ目として、第３の継ぎ目を決定することを含む。
例８は、例１〜７のうちのいずれかの主題を含み、前記画像統合モジュールは、さらに、前記オーバーラップ領域内の前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも１つを実行する。
例９は、例１〜８のうちのいずれかの主題を含み、前記画像統合モジュールは、（ｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される領域の外側にある、前記オーバーラップ領域内の前記第１の魚眼画像の前記投影の端部と、（ｉｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される前記領域の外側にある、前記オーバーラップ領域内の前記第２の魚眼画像の前記投影の端部と、を強調しないようにする。
例１０は、例１〜９のうちのいずれかの主題を含み、前記結合画像生成モジュールは、前記第１の魚眼画像と前記第２の魚眼画像とのオーバーラップ画像領域を決定するオーバーラップ決定モジュールと、（ｉ）前記第１の魚眼カメラ及び前記第２の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第１の魚眼カメラ及び前記第２の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定し、（ｉｉ）前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定する動き決定モジュールと、前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成する画像生成モジュールと、を含む。
例１１は、例１〜１０のうちのいずれかの主題を含み、前記オーバーラップ画像領域を決定することは、前記第１の魚眼画像及び前記第２の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出し、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定することを含む。
例１２は、例１〜１１のうちのいずれかの主題を含み、前記オーバーラップ画像領域を決定することは、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、オーバーラップ画像領域を決定することを含む。
例１３は、例１〜１２のうちのいずれかの主題を含み、前記オブジェクトの動きを決定することは、前記複数の魚眼画像に勾配制約方程式を適用することを含む。
例１４は、例１〜１３のうちのいずれかの主題を含み、前記勾配制約方程式を適用することは、前記オーバーラップ画像領域の画素の強度の空間微分係数を決定し、前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定し、∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０を確実にすることを含み、ここで、∇Ｉ（ｘ，ｔ）は、前記空間微分係数であり、ｕは、前記複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、前記時間微分係数である。
例１５は、例１〜１４のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像からの前記の特定された動いているオブジェクトを含む画像を生成することを含む。
例１６は、例１〜１５のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像内の前記の特定された動いているオブジェクトの対応する位置に基づく推定位置において前記の特定された動いているオブジェクトを含む画像を生成することを含む。
例１７は、例１〜１６のうちのいずれかの主題を含み、前記オブジェクト分類モジュールは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの１つの魚眼画像内の前記関心領域を決定する関心領域決定モジュールと、（ｉ）前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、（ｉｉ）前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影して、直線状画像を生成する直線状投影モジュールと、前記直線状画像に対してオブジェクト分類を実行するオブジェクト識別モジュールと、を含む。
例１８は、例１〜１７のうちのいずれかの主題を含み、魚眼画像を撮影するために、前記第１の魚眼カメラ及び前記第２の魚眼カメラのうちの少なくとも１つの魚眼カメラを較正する較正モジュールをさらに備えている。
例１９は、例１〜１８のうちのいずれかの主題を含み、前記関心領域を決定することは、オプティカルフローアルゴリズムを利用して、動いているオブジェクトを特定することを含み、前記関心領域は、前記動いているオブジェクトを含む画像領域に対応する。
例２０は、例１〜１９のうちのいずれかの主題を含み、前記関心領域を決定することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像に対してオブジェクト検出を実行して、関心オブジェクトを特定することを含み、前記関心領域は、前記の特定された関心オブジェクトに対応する。
例２１は、例１〜２０のうちのいずれかの主題を含み、前記関心領域決定モジュールは、さらに、前記第１の魚眼画像及び前記第２の魚眼画像のうちの前記１つの魚眼画像を、仮想的半球形状表示面に投影して、半球形状画像を生成し、前記半球形状画像を平面に投影して、遠近歪みのある直線状画像を生成することを含み、前記関心領域を決定することは、前記遠近歪みのある直線状画像に対してオブジェクト分類を実行することを含む。
例２２は、例１〜２１のうちのいずれかの主題を含み、前記オブジェクト分類を実行することは、前記コンピューティングシステムのメモリからオブジェクトプロファイルを取得し、前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較することを含む。
例２３は、例１〜２２のうちのいずれかの主題を含み、前記ボウル生成モジュールは、（ｉ）生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定し、（ｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定し、（ｉｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する前記適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定するボウルジオメトリモジュールと、前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成するボウル統合モジュールと、を含む。
例２４は、例１〜２３のうちのいずれかの主題を含み、前記仮想的ボウル形状投影面の地表面に隣接する、前記の生成された仮想的ボウル形状投影面のセクションを平滑化するボウルワーピングモジュールをさらに備えている。
例２５は、例１〜２４のうちのいずれかの主題を含み、前記コンピューティングシステムは、車両の車両内コンピューティングシステムを含み、前記ボウルジオメトリモジュールは、さらに、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定し、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、前記水平オフセットに基づいて、対応する該水平スライスの前記第１の半軸を決定することを含む。
例２６は、例１〜２５のうちのいずれかの主題を含み、前記水平オフセットは、前記車両の前記長さの半分よりも長い。
例２７は、例１〜２６のうちのいずれかの主題を含み、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸を、
Figure 2017502404
 として決定することを含み、ここで、ａＨｏｒｉｚｏｎｔａｌは、前記第１の半軸の長さであり、ａＯｆｆｓｅｔは、前記水平オフセットであり、ａＶｅｒｔｉｃａｌは、前記垂直スライスの前記長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、前記垂直スライスの前記短半軸の長さであり、ｚは、前記仮想的ボウル形状投影面の地表面より上の対応する該水平スライスの高さである。
例２８は、例１〜２７のうちのいずれかの主題を含み、前記コンピューティングシステムは、車両の車両内コンピューティングシステムを含み、前記適応比は、隣接水平スライス間で直線的に変化し、最上水平スライスに関する前記適応比は、１に等しく、最下水平スライスに関する前記適応比は、該車両の長さと該車両の幅との比である。
例２９は、例１〜２８のうちのいずれかの主題を含み、前記仮想的ボウル形状投影面の最上水平スライスは、円形の幾何学形状を有し、前記仮想的ボウル形状投影面の最下水平スライスは、円形ではない楕円形の幾何学形状を有する。
例３０は、例１〜２９のうちのいずれかの主題を含み、対応する前記水平スライスの前記第２の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸と対応する該水平スライスに関する前記適応比との比として、対応する該スライスの前記第２の半軸を決定することを含む。
例３１は、例１〜３０のうちのいずれかの主題を含み、画像を、前記の生成された仮想的ボウル形状投影面に投影して、前記ボウル形状画像の前記一部を生成し、前記コンピューティングシステムのディスプレイ上に、前記ボウル形状画像の前記一部を表示する表示モジュールをさらに備えている。
例３２は、例１〜３１のうちのいずれかの主題を含み、前記ボウル形状画像の前記一部を表示することは、前記ボウル形状画像のうち、車両の仮想カメラの視野に対応するセグメントを表示することを含む。
例３３は、例１〜３２のうちのいずれかの主題を含み、前記コンピューティングシステムは、車両内コンピューティングシステムとして具現化される。
例３４は、ボウル形状画像を生成するためのコンピューティングデバイスであって、（ｉ）生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定し、（ｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定し、（ｉｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定するボウルジオメトリモジュールと、前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成するボウル統合モジュールと、を備えているコンピューティングデバイスを含む。
例３５は、例３４の主題を含み、前記仮想的ボウル形状投影面の地表面に隣接する、前記の生成された仮想的ボウル形状投影面のセクションを平滑化するボウルワーピングモジュールをさらに備えている。
例３６は、例３４及び３５のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、前記ボウルジオメトリモジュールは、さらに、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定し、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、前記水平オフセットに基づいて、対応する該水平スライスの前記第１の半軸を決定することを含む。
例３７は、例３４〜３６のうちのいずれかの主題を含み、前記水平オフセットは、前記車両の前記長さの半分よりも長い。
例３８は、例３４〜３７のうちのいずれかの主題を含み、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸を、
Figure 2017502404
 として決定することを含み、ここで、ａＨｏｒｉｚｏｎｔａｌは、前記第１の半軸の長さであり、ａＯｆｆｓｅｔは、前記水平オフセットであり、ａＶｅｒｔｉｃａｌは、前記垂直スライスの前記長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、前記垂直スライスの前記短半軸の長さであり、ｚは、前記仮想的ボウル形状投影面の地表面より上の対応する該水平スライスの高さである。
例３９は、例３４〜３８のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、前記適応比は、隣接水平スライス間で直線的に変化し、最上水平スライスに関する前記適応比は、１に等しく、最下水平スライスに関する前記適応比は、該車両の長さと該車両の幅との比である。
例４０は、例３４〜３９のうちのいずれかの主題を含み、前記仮想的ボウル形状投影面の最上水平スライスは、円形の幾何学形状を有し、前記仮想的ボウル形状投影面の最下水平スライスは、円形ではない楕円形の幾何学形状を有する。
例４１は、例３４〜４０のうちのいずれかの主題を含み、対応する前記水平スライスの前記第２の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸と対応する該水平スライスに関する前記適応比との比として、対応する該スライスの前記第２の半軸を決定することを含む。
例４２は、例３４〜４１のうちのいずれかの主題を含み、画像を、前記の生成された仮想的ボウル形状投影面に投影して、前記ボウル形状画像を生成し、前記コンピューティングデバイスのディスプレイ上に、前記ボウル形状画像を表示する表示モジュールをさらに備えている。
例４３は、例３４〜４２のうちのいずれかの主題を含み、前記ボウル形状画像を表示することは、前記ボウル形状画像のうち、車両の仮想カメラの視野に対応するセグメントを表示することを含む。
例４４は、例３４〜４３のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両内コンピューティングシステムとして具現化される。
例４５は、複数の魚眼カメラにより生成された魚眼画像を結合するためのコンピューティングデバイスであって、第１のシーンが撮影された第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された第２の魚眼画像と、に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出する特徴検出モジュールと、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定する特徴照合モジュールと、（ｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第１の魚眼画像の第１の継ぎ目を決定し、（ｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第２の魚眼画像の第２の継ぎ目を決定し、（ｉｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像を仮想的ボウル形状投影面に投影して、対応する投影画像を生成し、（ｉｖ）前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影に基づいて、前記対応する投影画像のオーバーラップ領域内の第３の継ぎ目を決定する継ぎ目決定モジュールと、前記の決定された第３の継ぎ目において前記第１の魚眼画像の前記投影と前記第２の魚眼画像の前記投影とを結合することにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成する画像統合モジュールと、を備えているコンピューティングデバイスを含む。
例４６は、例４５の主題を含み、前記特徴照合モジュールは、さらに、前記第１の魚眼画像を生成する第１の魚眼カメラ及び前記第２の魚眼画像を生成する第２の魚眼カメラを含むカメラシステムの基本行列を決定し、前記基本行列は、前記カメラシステムのジオメトリに基づく。
例４７は、例４５及び４６のうちのいずれかの主題を含み、前記特徴照合を実行することは、前記基本行列に基づいて特徴合致候補をフィルタリングすることを含む。
例４８は、例４５〜４７のうちのいずれかの主題を含み、前記特徴照合を実行することは、特徴合致候補のＳａｍｓｏｎの距離を最小にすることを含む。
例４９は、例４５〜４８のうちのいずれかの主題を含み、前記特徴合致候補の前記Ｓａｍｓｏｎの距離を最小にすることは、式
Figure 2017502404
 を最小にすることを含み、ここで、ｘ１及びｘ２は、前記第１の魚眼画像の照合される特徴に関連付けられている画素の座標であり、ｘ１’及びｘ２’は、前記第２の魚眼画像の照合される特徴に関連付けられている画素の座標であり、Ｆは、前記基本行列であり、ｉは、前記照合される特徴に関連付けられている画素のインデックスである。
例５０は、例４５〜４９のうちのいずれかの主題を含み、前記第３の継ぎ目を決定することは、前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の平均継ぎ目として、第３の継ぎ目を決定することを含む。
例５１は、例４５〜５０のうちのいずれかの主題を含み、前記画像統合モジュールは、さらに、前記オーバーラップ領域内の前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも１つを実行する。
例５２は、例４５〜５１のうちのいずれかの主題を含み、前記画像統合モジュールは、（ｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される領域の外側にある、前記オーバーラップ領域内の前記第１の魚眼画像の前記投影の端部と、（ｉｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される前記領域の外側にある、前記オーバーラップ領域内の前記第２の魚眼画像の前記投影の端部と、を強調しないようにする。
例５３は、オプティカルフローに基づいて魚眼画像を結合するためのコンピューティングデバイスであって、第１の魚眼カメラにより生成された第１の魚眼画像と第２の魚眼カメラにより生成された第２の魚眼画像とのオーバーラップ画像領域を決定するオーバーラップ決定モジュールと、（ｉ）前記第１の魚眼カメラ及び前記第２の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第１の魚眼カメラ及び前記第２の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定し、（ｉｉ）前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定する動き決定モジュールと、前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成する画像生成モジュールと、を備えているコンピューティングデバイスを含む。
例５４は、例５３の主題を含み、前記オーバーラップ画像領域を決定することは、第１のシーンが撮影された前記第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された前記第２の魚眼画像と、に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出し、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定することを含む。
例５５は、例５３及び５４のうちのいずれかの主題を含み、前記オーバーラップ画像領域を決定することは、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、オーバーラップ画像領域を決定することを含む。
例５６は、例５３〜５５のうちのいずれかの主題を含み、前記オブジェクトの動きを決定することは、前記複数の魚眼画像に勾配制約方程式を適用することを含む。
例５７は、例５３〜５６のうちのいずれかの主題を含み、前記勾配制約方程式を適用することは、前記オーバーラップ画像領域の画素の強度の空間微分係数を決定し、前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定し、∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０を確実にすることを含み、ここで、∇Ｉ（ｘ，ｔ）は、前記空間微分係数であり、ｕは、前記複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、前記時間微分係数である。
例５８は、例５３〜５７のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像からの前記の特定された動いているオブジェクトを含む画像を生成することを含む。
例５９は、例５３〜５８のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像内の前記の特定された動いているオブジェクトの対応する位置に基づく推定位置において前記の特定された動いているオブジェクトを含む画像を生成することを含む。
例６０は、魚眼画像内のオブジェクトを分類するためのコンピューティングデバイスであって、魚眼画像内の関心領域を決定する関心領域決定モジュールと、（ｉ）前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、（ｉｉ）前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影して、直線状画像を生成する直線状投影モジュールと、前記直線状画像に対してオブジェクト分類を実行するオブジェクト識別モジュールと、を備えているコンピューティングデバイスを含む。
例６１は、例６０の主題を含み、前記魚眼画像を撮影するために魚眼カメラを較正する較正モジュールをさらに備えている。
例６２は、例６０及び６１のうちのいずれかの主題を含み、前記関心領域を決定することは、オプティカルフローアルゴリズムを利用して、動いているオブジェクトを特定することを含み、前記関心領域は、前記動いているオブジェクトを含む画像領域に対応する。
例６３は、例６０〜６２のうちのいずれかの主題を含み、前記関心領域を決定することは、前記魚眼画像に対してオブジェクト検出を実行して、関心オブジェクトを特定することを含み、前記関心領域は、前記の特定された関心オブジェクトに対応する。
例６４は、例６０〜６３のうちのいずれかの主題を含み、前記関心領域決定モジュールは、さらに、前記魚眼画像を仮想的半球形状表示面に投影して、半球形状画像を生成し、前記半球形状画像を平面に投影して、遠近歪みのある直線状画像を生成することを含み、前記関心領域を決定することは、前記遠近歪みのある直線状画像に対してオブジェクト分類を実行することを含む。
例６５は、例６０〜６４のうちのいずれかの主題を含み、前記オブジェクト分類を実行することは、前記コンピューティングデバイスのメモリからオブジェクトプロファイルを取得し、前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較することを含む。
例６６は、コンピューティングデバイス上でボウル形状画像を利用するための方法であって、前記コンピューティングデバイスにより、第１のシーンが撮影された第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された第２の魚眼画像と、を受信するステップと、前記コンピューティングデバイスにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成するステップと、前記コンピューティングデバイスにより、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像の関心領域に対してオブジェクト分類を実行して、前記関心領域内のオブジェクトを分類するステップと、前記コンピューティングデバイスにより、前記結合画像に基づいて、ボウル形状画像の一部を生成するステップと、を含む方法を含む。
例６７は、例６６の主題を含み、前記結合画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出することと、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定することと、前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第１の魚眼画像の第１の継ぎ目を決定することと、前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第２の魚眼画像の第２の継ぎ目を決定することと、前記第１の継ぎ目及び前記第２の継ぎ目に基づいて、前記オーバーラップ領域内の第３の継ぎ目を決定することと、前記の決定された第３の継ぎ目において前記第１の魚眼画像と前記第２の魚眼画像とを結合することにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成することと、を含む。
例６８は、例６６及び６７のうちのいずれかの主題を含み、前記結合画像を生成することは、前記第１の魚眼画像を生成する第１の魚眼カメラ及び前記第２の魚眼画像を生成する第２の魚眼カメラを含むカメラシステムの基本行列を決定することを含み、前記基本行列は、前記カメラシステムのジオメトリに基づく。
例６９は、例６６〜６８のうちのいずれかの主題を含み、前記特徴照合を実行することは、前記基本行列に基づいて特徴合致候補をフィルタリングすることを含む。
例７０は、例６６〜６９のうちのいずれかの主題を含み、前記特徴照合を実行することは、特徴合致候補のＳａｍｓｏｎの距離を最小にすることを含む。
例７１は、例６６〜７０のうちのいずれかの主題を含み、前記特徴合致候補の前記Ｓａｍｓｏｎの距離を最小にすることは、式
Figure 2017502404
 を最小にすることを含み、ここで、ｘ１及びｘ２は、前記第１の魚眼画像の照合される特徴に関連付けられている画素の座標であり、ｘ１’及びｘ２’は、前記第２の魚眼画像の照合される特徴に関連付けられている画素の座標であり、Ｆは、前記基本行列であり、ｉは、前記照合される特徴に関連付けられている画素のインデックスである。
例７２は、例６６〜７１のうちのいずれかの主題を含み、前記第３の継ぎ目を決定することは、前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影の平均継ぎ目として、第３の継ぎ目を決定することを含む。
例７３は、例６６〜７２のうちのいずれかの主題を含み、前記結合画像を生成することは、前記オーバーラップ領域内の前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも１つを実行することを含む。
例７４は、例６６〜７３のうちのいずれかの主題を含み、前記結合画像を生成することは、（ｉ）前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影の間に規定される領域の外側にある、前記オーバーラップ領域内の前記第１の魚眼画像の投影の端部と、（ｉｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される前記領域の外側にある、前記オーバーラップ領域内の前記第２の魚眼画像の投影の端部と、を強調しないようにすることを含む。
例７５は、例６６〜７４のうちのいずれかの主題を含み、前記結合画像を生成することは、第１の魚眼カメラにより生成された前記第１の魚眼画像と第２の魚眼カメラにより生成された前記第２の魚眼画像とのオーバーラップ画像領域を決定することと、前記第１の魚眼カメラ及び前記第２の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第１の魚眼カメラ及び前記第２の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定することと、前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定することと、前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成することと、を含む。
例７６は、例６６〜７５のうちのいずれかの主題を含み、前記オーバーラップ画像領域を決定することは、前記第１の魚眼画像及び前記第２の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出することと、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定することと、を含む。
例７７は、例６６〜７６のうちのいずれかの主題を含み、前記オーバーラップ画像領域を決定することは、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、オーバーラップ画像領域を決定することを含む。
例７８は、例６６〜７７のうちのいずれかの主題を含み、前記オブジェクトの動きを決定することは、前記複数の魚眼画像に勾配制約方程式を適用することを含む。
例７９は、例６６〜７８のうちのいずれかの主題を含み、前記オブジェクトの動きを決定することは、前記オーバーラップ画像領域の画素の強度の空間微分係数を決定することと、前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定することと、∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０を確実にすることと、を含み、ここで、∇Ｉ（ｘ，ｔ）は、前記空間微分係数であり、ｕは、前記複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、前記時間微分係数である。
例８０は、例６６〜７９のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像からの前記の特定された動いているオブジェクトを含む画像を生成することを含む。
例８１は、例６６〜８０のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像内の前記の特定された動いているオブジェクトの対応する位置に基づく推定位置において前記の特定された動いているオブジェクトを含む画像を生成することを含む。
例８２は、例６６〜８１のうちのいずれかの主題を含み、前記オブジェクト分類を実行することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの１つの魚眼画像内の前記関心領域を決定することと、（ｉ）前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、（ｉｉ）前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影することにより、直線状画像を生成することと、前記直線状画像内のオブジェクトを分類することと、を含む。
例８３は、例６６〜８２のうちのいずれかの主題を含み、前記オブジェクト分類を実行することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの１つの魚眼画像を撮影するために魚眼カメラを較正することを含む。
例８４は、例６６〜８３のうちのいずれかの主題を含み、前記関心領域を決定することは、オプティカルフローアルゴリズムを利用して、動いているオブジェクトを特定することを含み、前記関心領域は、前記動いているオブジェクトを含む画像領域に対応する。
例８５は、例６６〜８４のうちのいずれかの主題を含み、前記関心領域を決定することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像に対してオブジェクト検出を実行して、関心オブジェクトを特定することを含み、前記関心領域は、前記の特定された関心オブジェクトに対応する。
例８６は、例６６〜８５のうちのいずれかの主題を含み、前記オブジェクト分類を実行することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの前記１つの魚眼画像を、仮想的半球形状表示面に投影して、半球形状画像を生成することと、前記半球形状画像を平面に投影して、遠近歪みのある直線状画像を生成することと、を含み、前記関心領域を決定することは、前記遠近歪みのある直線状画像に対してオブジェクト分類を実行することを含む。
例８７は、例６６〜８６のうちのいずれかの主題を含み、前記オブジェクトを分類することは、前記コンピューティングデバイスのメモリからオブジェクトプロファイルを取得することと、前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較することと、を含む。
例８８は、例６６〜８７のうちのいずれかの主題を含み、前記ボウル形状画像の一部を生成することは、生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定することと、前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定することと、前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する前記適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定することと、前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成することと、を含む。
例８９は、例６６〜８８のうちのいずれかの主題を含み、前記ボウル形状画像の一部を生成することは、前記仮想的ボウル形状投影面の地表面に隣接する、前記の生成された仮想的ボウル形状投影面のセクションを平滑化することを含む。
例９０は、例６６〜８９のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、前記ボウル形状画像の一部を生成することは、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定することを含み、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、前記水平オフセットに基づいて、対応する該水平スライスの前記第１の半軸を決定することを含む。
例９１は、例６６〜９０のうちのいずれかの主題を含み、前記水平オフセットは、前記車両の前記長さの半分よりも長い。
例９２は、例６６〜９１のうちのいずれかの主題を含み、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸を、
Figure 2017502404
 として決定することを含み、ここで、ａＨｏｒｉｚｏｎｔａｌは、前記第１の半軸の長さであり、ａＯｆｆｓｅｔは、前記水平オフセットであり、ａＶｅｒｔｉｃａｌは、前記垂直スライスの前記長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、前記垂直スライスの前記短半軸の長さであり、ｚは、前記仮想的ボウル形状投影面の地表面より上の対応する該水平スライスの高さである。
例９３は、例６６〜９２のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、前記適応比は、隣接水平スライス間で直線的に変化し、最上水平スライスに関する前記適応比は、１に等しく、最下水平スライスに関する前記適応比は、該車両の長さと該車両の幅との比である。
例９４は、例６６〜９３のうちのいずれかの主題を含み、前記仮想的ボウル形状投影面の最上水平スライスは、円形の幾何学形状を有し、前記仮想的ボウル形状投影面の最下水平スライスは、円形ではない楕円形の幾何学形状を有する。
例９５は、例６６〜９４のうちのいずれかの主題を含み、対応する前記水平スライスの前記第２の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸と対応する該水平スライスに関する前記適応比との比として、対応する該スライスの前記第２の半軸を決定することを含む。
例９６は、例６６〜９５のうちのいずれかの主題を含み、前記ボウル形状画像の一部を生成することは、画像を、前記の生成された仮想的ボウル形状投影面に投影して、前記ボウル形状画像の前記一部を生成することを含み、前記方法は、前記コンピューティングデバイスのディスプレイ上に、前記ボウル形状画像の前記一部を表示するステップをさらに含む。
例９７は、例６６〜９６のうちのいずれかの主題を含み、前記ボウル形状画像の前記一部を表示することは、前記ボウル形状画像のうち、車両の仮想カメラの視野に対応するセグメントを表示することを含む。
例９８は、コンピューティングデバイスであって、プロセッサと、複数の命令を記憶しているメモリであって、前記複数の命令は、前記プロセッサにより実行されたときに、前記コンピューティングデバイスに、例６６〜９７のうちのいずれかの方法を実行させる、メモリと、を備えているコンピューティングデバイスを含む。
例９９は、複数の命令を記憶している１以上のマシン読み取り可能な記憶媒体であって、前記複数の命令が実行されたことに応じて、前記複数の命令は、コンピューティングデバイスが、例６６〜９７のうちのいずれかの方法を実行することをもたらす、１以上のマシン読み取り可能な記憶媒体を含む。
例１００は、ボウル形状画像を利用するためのコンピューティングデバイスであって、例６６〜９７のうちのいずれかの方法を実行する手段を備えているコンピューティングデバイスを含む。
例１０１は、コンピューティングデバイス上でボウル形状画像を生成するための方法であって、前記コンピューティングデバイスにより、生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定するステップと、前記コンピューティングデバイスにより、前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定するステップと、前記コンピューティングデバイスにより、前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定するステップと、前記コンピューティングデバイスにより、前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成するステップと、を含む方法を含む。
例１０２は、例１０１の主題を含み、前記コンピューティングデバイスにより、前記仮想的ボウル形状投影面の地表面に隣接する、前記の生成された仮想的ボウル形状投影面のセクションを平滑化するステップをさらに含む。
例１０３は、例１０１及び１０２のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、前記方法は、前記コンピューティングデバイスにより、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定するステップをさらに含み、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、前記水平オフセットに基づいて、対応する該水平スライスの前記第１の半軸を決定することを含む。
例１０４は、例１０１〜１０３のうちのいずれかの主題を含み、前記水平オフセットは、前記車両の前記長さの半分よりも長い。
例１０５は、例１０１〜１０４のうちのいずれかの主題を含み、対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸を、
Figure 2017502404
 として決定することを含み、ここで、ａＨｏｒｉｚｏｎｔａｌは、前記第１の半軸の長さであり、ａＯｆｆｓｅｔは、前記水平オフセットであり、ａＶｅｒｔｉｃａｌは、前記垂直スライスの前記長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、前記垂直スライスの前記短半軸の長さであり、ｚは、前記仮想的ボウル形状投影面の地表面より上の対応する該水平スライスの高さである。
例１０６は、例１０１〜１０５のうちのいずれかの主題を含み、前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、前記適応比は、隣接水平スライス間で直線的に変化し、最上水平スライスに関する前記適応比は、１に等しく、最下水平スライスに関する前記適応比は、該車両の長さと該車両の幅との比である。
例１０７は、例１０１〜１０６のうちのいずれかの主題を含み、前記仮想的ボウル形状投影面の最上水平スライスは、円形の幾何学形状を有し、前記仮想的ボウル形状投影面の最下水平スライスは、円形ではない楕円形の幾何学形状を有する。
例１０８は、例１０１〜１０７のうちのいずれかの主題を含み、対応する前記水平スライスの前記第２の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸と対応する該水平スライスに関する前記適応比との比として、対応する該スライスの前記第２の半軸を決定することを含む。
例１０９は、例１０１〜１０８のうちのいずれかの主題を含み、前記コンピューティングデバイスにより、画像を、前記の生成された仮想的ボウル形状投影面に投影して、前記ボウル形状画像を生成するステップと、前記コンピューティングデバイスにより、前記コンピューティングデバイスのディスプレイ上に、前記ボウル形状画像を表示するステップと、をさらに含む。
例１１０は、例１０１〜１０９のうちのいずれかの主題を含み、前記ボウル形状画像を表示することは、前記ボウル形状画像のうち、車両の仮想カメラの視野に対応するセグメントを表示することを含む。
例１１１は、コンピューティングデバイスであって、プロセッサと、複数の命令を記憶しているメモリであって、前記複数の命令は、前記プロセッサにより実行されたときに、前記コンピューティングデバイスに、例１０１〜１１０のうちのいずれかの方法を実行させる、メモリと、を備えているコンピューティングデバイスを含む。
例１１２は、複数の命令を記憶している１以上のマシン読み取り可能な記憶媒体であって、前記複数の命令が実行されたことに応じて、前記複数の命令は、コンピューティングデバイスが、例１０１〜１１０のうちのいずれかの方法を実行することをもたらす、１以上のマシン読み取り可能な記憶媒体を含む。
例１１３は、ボウル形状画像を生成するためのコンピューティングデバイスであって、例１０１〜１１０のうちのいずれかの方法を実行する手段を備えているコンピューティングデバイスを含む。
例１１４は、コンピューティングデバイス上で、複数の魚眼カメラにより生成された魚眼画像を結合するための方法であって、前記コンピューティングデバイスにより、第１のシーンが撮影された第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された第２の魚眼画像と、に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出するステップと、前記コンピューティングデバイスにより、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定するステップと、前記コンピューティングデバイスにより、前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第１の魚眼画像の第１の継ぎ目を決定するステップと、前記コンピューティングデバイスにより、前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第２の魚眼画像の第２の継ぎ目を決定するステップと、前記コンピューティングデバイスにより、前記第１の魚眼画像及び前記第２の魚眼画像を仮想的ボウル形状投影面に投影して、対応する投影画像を生成するステップと、前記コンピューティングデバイスにより、前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影に基づいて、前記対応する投影画像のオーバーラップ領域内の第３の継ぎ目を決定するステップと、前記コンピューティングデバイスにより、前記の決定された第３の継ぎ目において前記第１の魚眼画像の前記投影と前記第２の魚眼画像の前記投影とを結合することにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成するステップと、を含む方法を含む。
例１１５は、例１１４の主題を含み、前記コンピューティングデバイスにより、前記第１の魚眼画像を生成する第１の魚眼カメラ及び前記第２の魚眼画像を生成する第２の魚眼カメラを含むカメラシステムの基本行列を決定するステップをさらに含み、前記基本行列は、前記カメラシステムのジオメトリに基づく。
例１１６は、例１１４及び１１５のうちのいずれかの主題を含み、前記特徴照合を実行することは、前記基本行列に基づいて特徴合致候補をフィルタリングすることを含む。
例１１７は、例１１４〜１１６のうちのいずれかの主題を含み、前記特徴照合を実行することは、特徴合致候補のＳａｍｓｏｎの距離を最小にすることを含む。
例１１８は、例１１４〜１１７のうちのいずれかの主題を含み、前記特徴合致候補の前記Ｓａｍｓｏｎの距離を最小にすることは、式
Figure 2017502404
 を最小にすることを含み、ここで、ｘ１及びｘ２は、前記第１の魚眼画像の照合される特徴に関連付けられている画素の座標であり、ｘ１’及びｘ２’は、前記第２の魚眼画像の照合される特徴に関連付けられている画素の座標であり、Ｆは、前記基本行列であり、ｉは、前記照合される特徴に関連付けられている画素のインデックスである。
例１１９は、例１１４〜１１８のうちのいずれかの主題を含み、前記第３の継ぎ目を決定することは、前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の平均継ぎ目として、第３の継ぎ目を決定することを含む。
例１２０は、例１１４〜１１９のうちのいずれかの主題を含み、前記コンピューティングデバイスにより、前記オーバーラップ領域内の前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも１つを実行するステップをさらに含む。
例１２１は、例１１４〜１２０のうちのいずれかの主題を含み、前記コンピューティングデバイスにより、（ｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される領域の外側にある、前記オーバーラップ領域内の前記第１の魚眼画像の前記投影の端部と、（ｉｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される前記領域の外側にある、前記オーバーラップ領域内の前記第２の魚眼画像の前記投影の端部と、を強調しないようにするステップをさらに含む。
例１２２は、コンピューティングデバイスであって、プロセッサと、複数の命令を記憶しているメモリであって、前記複数の命令は、前記プロセッサにより実行されたときに、前記コンピューティングデバイスに、例１１４〜１２１のうちのいずれかの方法を実行させる、メモリと、を備えているコンピューティングデバイスを含む。
例１２３は、複数の命令を記憶している１以上のマシン読み取り可能な記憶媒体であって、前記複数の命令が実行されたことに応じて、前記複数の命令は、コンピューティングデバイスが、例１１４〜１２１のうちのいずれかの方法を実行することをもたらす、１以上のマシン読み取り可能な記憶媒体を含む。
例１２４は、画像スティッチングに基づいて魚眼画像を結合するためのコンピューティングデバイスであって、例１１４〜１２１のうちのいずれかの方法を実行する手段を備えているコンピューティングデバイスを含む。
例１２５は、オプティカルフローに基づいて、コンピューティングデバイス上で魚眼画像を結合するための方法であって、前記コンピューティングデバイスにより、第１の魚眼カメラにより生成された第１の魚眼画像と第２の魚眼カメラにより生成された第２の魚眼画像とのオーバーラップ画像領域を決定するステップと、前記コンピューティングデバイスにより、前記第１の魚眼カメラ及び前記第２の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第１の魚眼カメラ及び前記第２の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定するステップと、前記コンピューティングデバイスにより、前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定するステップと、前記コンピューティングデバイスにより、前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成するステップと、を含む方法を含む。
例１２６は、例１２５の主題を含み、前記オーバーラップ画像領域を決定するステップは、前記コンピューティングデバイスにより、第１のシーンが撮影された前記第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された前記第２の魚眼画像と、に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出するステップと、前記コンピューティングデバイスにより、前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定するステップと、を含む。
例１２７は、例１２５及び１２６のうちのいずれかの主題を含み、前記オーバーラップ画像領域を決定することは、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、オーバーラップ画像領域を決定することを含む。
例１２８は、例１２５〜１２７のうちのいずれかの主題を含み、前記オブジェクトの動きを決定することは、前記複数の魚眼画像に勾配制約方程式を適用することを含む。
例１２９は、例１２５〜１２８のうちのいずれかの主題を含み、前記オブジェクトの動きを決定することは、前記オーバーラップ画像領域の画素の強度の空間微分係数を決定することと、前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定することと、∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０を確実にすることと、を含み、ここで、∇Ｉ（ｘ，ｔ）は、前記空間微分係数であり、ｕは、前記複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、前記時間微分係数である。
例１３０は、例１２５〜１２９のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像からの前記の特定された動いているオブジェクトを含む画像を生成することを含む。
例１３１は、例１２５〜１３０のうちのいずれかの主題を含み、前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像内の前記の特定された動いているオブジェクトの対応する位置に基づく推定位置において前記の特定された動いているオブジェクトを含む画像を生成することを含む。
例１３２は、コンピューティングデバイスであって、プロセッサと、複数の命令を記憶しているメモリであって、前記複数の命令は、前記プロセッサにより実行されたときに、前記コンピューティングデバイスに、例１２５〜１３１のうちのいずれかの方法を実行させる、メモリと、を備えているコンピューティングデバイスを含む。
例１３３は、複数の命令を記憶している１以上のマシン読み取り可能な記憶媒体であって、前記複数の命令が実行されたことに応じて、前記複数の命令は、コンピューティングデバイスが、例１２５〜１３１のうちのいずれかの方法を実行することをもたらす、１以上のマシン読み取り可能な記憶媒体を含む。
例１３４は、オプティカルフローに基づいて魚眼画像を結合するためのコンピューティングデバイスであって、例１２５〜１３１のうちのいずれかの方法を実行する手段を備えているコンピューティングデバイスを含む。
例１３５は、コンピューティングデバイス上で魚眼画像内のオブジェクトを分類するための方法であって、前記コンピューティングデバイスにより、魚眼画像内の関心領域を決定するステップと、前記コンピューティングデバイスにより、（ｉ）前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、（ｉｉ）前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影することにより、直線状画像を生成するステップと、前記コンピューティングデバイスにより、前記直線状画像に対してオブジェクト分類を実行するステップと、を含む方法を含む。
例１３６は、例１３５の主題を含み、前記コンピューティングデバイスにより、前記魚眼画像を撮影するために魚眼カメラを較正するステップをさらに含む。
例１３７は、例１３５及び１３６のうちのいずれかの主題を含み、前記関心領域を決定することは、オプティカルフローアルゴリズムを利用して、動いているオブジェクトを特定することを含み、前記関心領域は、前記動いているオブジェクトを含む画像領域に対応する。
例１３８は、例１３５〜１３７のうちのいずれかの主題を含み、前記関心領域を決定することは、前記魚眼画像に対してオブジェクト検出を実行して、関心オブジェクトを特定することを含み、前記関心領域は、前記の特定された関心オブジェクトに対応する。
例１３９は、例１３５〜１３８のうちのいずれかの主題を含み、前記コンピューティングデバイスにより、前記魚眼画像を仮想的半球形状表示面に投影して、半球形状画像を生成するステップと、前記コンピューティングデバイスにより、前記半球形状画像を平面に投影して、遠近歪みのある直線状画像を生成するステップと、をさらに含み、前記関心領域を決定することは、前記遠近歪みのある直線状画像に対してオブジェクト分類を実行することを含む。
例１４０は、例１３５〜１３９のうちのいずれかの主題を含み、前記オブジェクト分類を実行することは、前記コンピューティングデバイスのメモリからオブジェクトプロファイルを取得することと、前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較することと、を含む。
例１４１は、コンピューティングデバイスであって、プロセッサと、複数の命令を記憶しているメモリであって、前記複数の命令は、前記プロセッサにより実行されたときに、前記コンピューティングデバイスに、例１３５〜１４０のうちのいずれかの方法を実行させる、メモリと、を備えているコンピューティングデバイスを含む。
例１４２は、複数の命令を記憶している１以上のマシン読み取り可能な記憶媒体であって、前記複数の命令が実行されたことに応じて、前記複数の命令は、コンピューティングデバイスが、例１３５〜１４０のうちのいずれかの方法を実行することをもたらす、１以上のマシン読み取り可能な記憶媒体を含む。
例１４３は、魚眼画像内のオブジェクトを分類するためのコンピューティングデバイスであって、例１３５〜１４０のうちのいずれかの方法を実行する手段を備えているコンピューティングデバイスを含む。

Claims (40)

  1. ボウル形状画像を利用するためのコンピューティングシステムであって、
    第１のシーンを含む第１の魚眼画像を撮影する第１の魚眼カメラと、
    オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンを含む第２の魚眼画像を撮影する第２の魚眼カメラと、
    前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成する結合画像生成モジュールと、
    前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像の関心領域に対してオブジェクト分類を実行して、前記関心領域内のオブジェクトを分類するオブジェクト分類モジュールと、
    前記結合画像に基づいて、ボウル形状画像の一部を生成するボウル生成モジュールと、
    を備えたコンピューティングシステム。
  2. 前記結合画像生成モジュールは、
    前記第１の魚眼画像及び前記第２の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出する特徴検出モジュールと、
    前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定する特徴照合モジュールと、
    （ｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第１の魚眼画像の第１の継ぎ目を決定し、（ｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第２の魚眼画像の第２の継ぎ目を決定し、（ｉｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像を仮想的ボウル形状投影面に投影して、対応する投影画像を生成し、（ｉｖ）前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影に基づいて、前記対応する投影画像のオーバーラップ領域内の第３の継ぎ目を決定する継ぎ目決定モジュールと、
    前記の決定された第３の継ぎ目において前記第１の魚眼画像の前記投影と前記第２の魚眼画像の前記投影とを結合することにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成する画像統合モジュールと、
    を含む、請求項１記載のコンピューティングシステム。
  3. 前記特徴照合モジュールは、さらに、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムの基本行列を決定し、前記基本行列は、前記カメラシステムのジオメトリに基づく、請求項２記載のコンピューティングシステム。
  4. 前記特徴照合を実行することは、前記基本行列に基づいて特徴合致候補をフィルタリングすることを含む、請求項３記載のコンピューティングシステム。
  5. 前記特徴照合を実行することは、式
    Figure 2017502404
     を最小にすることを含み、ここで、ｘ１及びｘ２は、前記第１の魚眼画像の照合される特徴に関連付けられている画素の座標であり、ｘ１’及びｘ２’は、前記第２の魚眼画像の照合される特徴に関連付けられている画素の座標であり、Ｆは、基本行列であり、ｉは、前記照合される特徴に関連付けられている画素のインデックスである、請求項２記載のコンピューティングシステム。
  6. 前記第３の継ぎ目を決定することは、前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の平均継ぎ目として、第３の継ぎ目を決定することを含む、請求項２乃至５いずれか一項記載のコンピューティングシステム。
  7. 前記画像統合モジュールは、さらに、前記オーバーラップ領域内の前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも１つを実行する、請求項２乃至５いずれか一項記載のコンピューティングシステム。
  8. 前記画像統合モジュールは、（ｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される領域の外側にある、前記オーバーラップ領域内の前記第１の魚眼画像の前記投影の端部と、（ｉｉ）前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に規定される前記領域の外側にある、前記オーバーラップ領域内の前記第２の魚眼画像の前記投影の端部と、を強調しないようにする、請求項２乃至５いずれか一項記載のコンピューティングシステム。
  9. 前記結合画像生成モジュールは、
    前記第１の魚眼画像と前記第２の魚眼画像とのオーバーラップ画像領域を決定するオーバーラップ決定モジュールと、
    （ｉ）前記第１の魚眼カメラ及び前記第２の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第１の魚眼カメラ及び前記第２の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定し、（ｉｉ）前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定する動き決定モジュールと、
    前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成する画像生成モジュールと、
    を含む、請求項１記載のコンピューティングシステム。
  10. 前記オーバーラップ画像領域を決定することは、
    前記第１の魚眼画像及び前記第２の魚眼画像に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出し、
    前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定する
    ことを含む、請求項９記載のコンピューティングシステム。
  11. 前記オーバーラップ画像領域を決定することは、前記第１の魚眼カメラ及び前記第２の魚眼カメラを含むカメラシステムのジオメトリに基づいて、オーバーラップ画像領域を決定することを含む、請求項９記載のコンピューティングシステム。
  12. 前記オブジェクトの動きを決定することは、前記複数の魚眼画像に勾配制約方程式を適用することを含む、請求項９記載のコンピューティングシステム。
  13. 前記勾配制約方程式を適用することは、
    前記オーバーラップ画像領域の画素の強度の空間微分係数を決定し、
    前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定し、
    ∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０を確実にする
    ことを含み、ここで、∇Ｉ（ｘ，ｔ）は、前記空間微分係数であり、ｕは、前記複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、前記時間微分係数である、請求項１２記載のコンピューティングシステム。
  14. 前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像からの前記の特定された動いているオブジェクトを含む画像を生成することを含む、請求項９乃至１３いずれか一項記載のコンピューティングシステム。
  15. 前記オーバーラップ画像領域の画像を生成することは、前記第１の魚眼画像及び前記第２の魚眼画像内の前記の特定された動いているオブジェクトの対応する位置に基づく推定位置において前記の特定された動いているオブジェクトを含む画像を生成することを含む、請求項９乃至１３いずれか一項記載のコンピューティングシステム。
  16. 前記オブジェクト分類モジュールは、
    前記第１の魚眼画像及び前記第２の魚眼画像のうちの１つの魚眼画像内の前記関心領域を決定する関心領域決定モジュールと、
    （ｉ）前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、（ｉｉ）前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影して、直線状画像を生成する直線状投影モジュールと、
    前記直線状画像に対してオブジェクト分類を実行するオブジェクト識別モジュールと、
    を含む、請求項１記載のコンピューティングシステム。
  17. 前記関心領域を決定することは、オプティカルフローアルゴリズムを利用して、動いているオブジェクトを特定することを含み、前記関心領域は、前記動いているオブジェクトを含む画像領域に対応する、請求項１６記載のコンピューティングシステム。
  18. 前記関心領域を決定することは、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像に対してオブジェクト検出を実行して、関心オブジェクトを特定することを含み、前記関心領域は、前記の特定された関心オブジェクトに対応する、請求項１６記載のコンピューティングシステム。
  19. 前記関心領域決定モジュールは、さらに、
    前記第１の魚眼画像及び前記第２の魚眼画像のうちの前記１つの魚眼画像を、仮想的半球形状表示面に投影して、半球形状画像を生成し、
    前記半球形状画像を平面に投影して、遠近歪みのある直線状画像を生成する
    ことを含み、
    前記関心領域を決定することは、前記遠近歪みのある直線状画像に対してオブジェクト分類を実行することを含む、請求項１６乃至１８いずれか一項記載のコンピューティングシステム。
  20. 前記オブジェクト分類を実行することは、
    前記コンピューティングシステムのメモリからオブジェクトプロファイルを取得し、
    前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較する
    ことを含む、請求項１６乃至１８いずれか一項記載のコンピューティングシステム。
  21. 前記ボウル生成モジュールは、
    （ｉ）生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定し、（ｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定し、（ｉｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する前記適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定するボウルジオメトリモジュールと、
    前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成するボウル統合モジュールと、
    を含む、請求項１記載のコンピューティングシステム。
  22. 前記仮想的ボウル形状投影面の地表面に隣接する、前記の生成された仮想的ボウル形状投影面のセクションを平滑化するボウルワーピングモジュール
    をさらに備えた請求項２１記載のコンピューティングシステム。
  23. 前記コンピューティングシステムは、車両の車両内コンピューティングシステムを含み、
    前記ボウルジオメトリモジュールは、さらに、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定し、
    対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、前記水平オフセットに基づいて、対応する該水平スライスの前記第１の半軸を決定することを含む、請求項２１記載のコンピューティングシステム。
  24. 前記水平オフセットは、前記車両の前記長さの半分よりも長い、請求項２３記載のコンピューティングシステム。
  25. 対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸を、
    Figure 2017502404
     として決定することを含み、ここで、ａＨｏｒｉｚｏｎｔａｌは、前記第１の半軸の長さであり、ａＯｆｆｓｅｔは、前記水平オフセットであり、ａＶｅｒｔｉｃａｌは、前記垂直スライスの前記長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、前記垂直スライスの前記短半軸の長さであり、ｚは、前記仮想的ボウル形状投影面の地表面より上の対応する該水平スライスの高さである、請求項２３記載のコンピューティングシステム。
  26. 前記コンピューティングシステムは、車両の車両内コンピューティングシステムを含み、
    前記適応比は、隣接水平スライス間で直線的に変化し、最上水平スライスに関する前記適応比は、１に等しく、最下水平スライスに関する前記適応比は、該車両の長さと該車両の幅との比である、請求項２１乃至２５いずれか一項記載のコンピューティングシステム。
  27. 前記仮想的ボウル形状投影面の最上水平スライスは、円形の幾何学形状を有し、前記仮想的ボウル形状投影面の最下水平スライスは、円形ではない楕円形の幾何学形状を有する、請求項２１乃至２５いずれか一項記載のコンピューティングシステム。
  28. 対応する前記水平スライスの前記第２の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸と対応する該水平スライスに関する前記適応比との比として、対応する該水平スライスの前記第２の半軸を決定することを含む、請求項２１乃至２５いずれか一項記載のコンピューティングシステム。
  29. 画像を、前記の生成された仮想的ボウル形状投影面に投影して、前記ボウル形状画像の前記一部を生成し、
    前記コンピューティングシステムのディスプレイ上に、前記ボウル形状画像の前記一部を表示する
    表示モジュール
    をさらに備えた請求項２１記載のコンピューティングシステム。
  30. 前記ボウル形状画像の前記一部を表示することは、前記ボウル形状画像のうち、車両の仮想カメラの視野に対応するセグメントを表示することを含む、請求項２９記載のコンピューティングシステム。
  31. コンピューティングデバイス上でボウル形状画像を利用するための方法であって、
    前記コンピューティングデバイスにより、第１のシーンが撮影された第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された第２の魚眼画像と、を受信するステップと、
    前記コンピューティングデバイスにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成するステップと、
    前記コンピューティングデバイスにより、前記第１の魚眼画像及び前記第２の魚眼画像のうちの少なくとも１つの魚眼画像の関心領域に対してオブジェクト分類を実行して、前記関心領域内のオブジェクトを分類するステップと、
    前記コンピューティングデバイスにより、前記結合画像に基づいて、ボウル形状画像の一部を生成するステップと、
    を含む方法。
  32. 前記ボウル形状画像の一部を生成することは、
    生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定することと、
    前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定することと、
    前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する前記適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定することと、
    前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成することと、
    を含む、請求項３１記載の方法。
  33. ボウル形状画像を生成するためのコンピューティングデバイスであって、
    （ｉ）生成される仮想的ボウル形状投影面の垂直スライスの長短軸及び短半軸を決定し、（ｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、前記垂直スライスの前記長半軸及び前記短半軸に基づいて、対応する該水平スライスの第１の半軸を決定し、（ｉｉｉ）前記仮想的ボウル形状投影面の各水平スライスについて、対応する該水平スライスの前記第１の半軸と前記第１の半軸に垂直な第２の半軸との適応比であって、対応する該水平スライスに関する適応比は、他の水平スライスに関連付けられている各適応比とは異なる、適応比に基づいて、対応する該水平スライスの前記第２の半軸を決定するボウルジオメトリモジュールと、
    前記水平スライスの結合に基づいて、前記仮想的ボウル形状投影面を生成するボウル統合モジュールと、
    を備えたコンピューティングデバイス。
  34. 前記コンピューティングデバイスは、車両の車両内コンピューティングシステムを含み、
    前記ボウルジオメトリモジュールは、さらに、対応する前記水平スライスの、前記車両の長さよりも短い水平オフセットを決定し、
    対応する前記水平スライスの前記第１の半軸を決定することは、各水平スライスについて、対応する該水平スライスの前記第１の半軸を、
    Figure 2017502404
     として決定することを含み、ここで、ａＨｏｒｉｚｏｎｔａｌは、前記第１の半軸の長さであり、ａＯｆｆｓｅｔは、前記水平オフセットであり、ａＶｅｒｔｉｃａｌは、前記垂直スライスの前記長半軸の長さであり、ｂＶｅｒｔｉｃａｌは、前記垂直スライスの前記短半軸の長さであり、ｚは、前記仮想的ボウル形状投影面の地表面より上の対応する該水平スライスの高さである、請求項３３記載のコンピューティングデバイス。
  35. 複数の魚眼カメラにより生成された魚眼画像を結合するためのコンピューティングデバイスであって、
    第１のシーンが撮影された第１の魚眼画像と、オーバーラップ領域において前記第１のシーンとオーバーラップする第２のシーンが撮影された第２の魚眼画像と、に対して特徴検出を実行して、前記オーバーラップ領域内に位置する１以上の特徴を検出する特徴検出モジュールと、
    前記の検出された１以上の特徴に対して特徴照合を実行して、前記第１の魚眼画像及び前記第２の魚眼画像の１以上の合致した特徴を決定する特徴照合モジュールと、
    （ｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第１の魚眼画像の第１の継ぎ目を決定し、（ｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像の前記１以上の合致した特徴に基づいて、前記オーバーラップ領域内の前記第２の魚眼画像の第２の継ぎ目を決定し、（ｉｉｉ）前記第１の魚眼画像及び前記第２の魚眼画像を仮想的ボウル形状投影面に投影して、対応する投影画像を生成し、（ｉｖ）前記第１の継ぎ目及び前記第２の継ぎ目の対応する投影に基づいて、前記対応する投影画像のオーバーラップ領域内の第３の継ぎ目を決定する継ぎ目決定モジュールと、
    前記の決定された第３の継ぎ目において前記第１の魚眼画像の前記投影と前記第２の魚眼画像の前記投影とを結合することにより、前記第１の魚眼画像と前記第２の魚眼画像との結合画像を生成する画像統合モジュールと、
    を備えたコンピューティングデバイス。
  36. 前記第３の継ぎ目を決定することは、前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の平均継ぎ目として、第３の継ぎ目を決定することを含み、
    前記画像統合モジュールは、さらに、前記オーバーラップ領域内の前記第１の継ぎ目及び前記第２の継ぎ目の前記対応する投影の間に配置される画像画素の内挿及び外挿のうちの少なくとも１つを実行する、請求項３５記載のコンピューティングデバイス。
  37. オプティカルフローに基づいて魚眼画像を結合するためのコンピューティングデバイスであって、
    第１の魚眼カメラにより生成された第１の魚眼画像と第２の魚眼カメラにより生成された第２の魚眼画像とのオーバーラップ画像領域を決定するオーバーラップ決定モジュールと、
    （ｉ）前記第１の魚眼カメラ及び前記第２の魚眼カメラにより生成された複数の魚眼画像に基づいて、前記第１の魚眼カメラ及び前記第２の魚眼カメラに対する、前記オーバーラップ画像領域内に位置するオブジェクトの動きを決定し、（ｉｉ）前記オブジェクトの対応する前記の相対的な動きに基づいて、前記オーバーラップ画像領域内の動いているオブジェクトを特定する動き決定モジュールと、
    前記の特定された動いているオブジェクトに基づいて、前記オーバーラップ画像領域の画像を生成する画像生成モジュールと、
    を備えたコンピューティングデバイス。
  38. 前記オブジェクトの動きを決定することは、
    前記オーバーラップ画像領域の画素の強度の空間微分係数を決定し、
    前記複数の魚眼画像について、前記オーバーラップ画像領域の画素の強度の時間微分係数を決定し、
    ∇Ｉ（ｘ，ｔ）ｕ＋Ｉｔ（ｘ，ｔ）＝０を確実にする
    ことを含み、ここで、∇Ｉ（ｘ，ｔ）は、前記空間微分係数であり、ｕは、前記複数の魚眼画像の２次元速度であり、Ｉｔ（ｘ，ｔ）は、前記時間微分係数である、請求項３７記載のコンピューティングデバイス。
  39. 魚眼画像内のオブジェクトを分類するためのコンピューティングデバイスであって、
    魚眼画像内の関心領域を決定する関心領域決定モジュールと、
    （ｉ）前記関心領域を仮想的半球形状表示面に投影して、半球形状画像領域を生成し、（ｉｉ）前記半球形状画像領域を、前記半球形状画像領域内の点に垂直な平面に投影して、直線状画像を生成する直線状投影モジュールと、
    前記直線状画像に対してオブジェクト分類を実行するオブジェクト識別モジュールと、
    を備えたコンピューティングデバイス。
  40. 前記オブジェクト分類を実行することは、
    前記コンピューティングデバイスのメモリからオブジェクトプロファイルを取得し、
    前記直線状画像内で検出されたオブジェクトを、前記の取得されたオブジェクトプロファイルと比較する
    ことを含む、請求項３９記載のコンピューティングデバイス。
JP2016538099A 2013-12-19 2013-12-19 ボウル形状イメージングシステム Expired - Fee Related JP6224251B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/076644 WO2015094298A1 (en) 2013-12-19 2013-12-19 Bowl-shaped imaging system

Publications (2)

Publication Number Publication Date
JP2017502404A true JP2017502404A (ja) 2017-01-19
JP6224251B2 JP6224251B2 (ja) 2017-11-01

Family

ID=53400552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016538099A Expired - Fee Related JP6224251B2 (ja) 2013-12-19 2013-12-19 ボウル形状イメージングシステム

Country Status (6)

Country Link
US (2) US10210597B2 (ja)
EP (1) EP3085074B1 (ja)
JP (1) JP6224251B2 (ja)
KR (1) KR101811157B1 (ja)
CN (1) CN105765966B (ja)
WO (1) WO2015094298A1 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6371553B2 (ja) * 2014-03-27 2018-08-08 クラリオン株式会社 映像表示装置および映像表示システム
JP6374695B2 (ja) * 2014-04-28 2018-08-15 日立建機株式会社 路肩検出システムおよび鉱山用運搬車両
JP6386794B2 (ja) * 2014-06-04 2018-09-05 日立建機株式会社 運搬車両
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
US9437001B2 (en) 2014-09-18 2016-09-06 Intel Corporation Tracking objects in bowl-shaped imaging systems
US9990550B2 (en) * 2014-09-19 2018-06-05 Bendix Commercial Vehicle Systems Llc Wide baseline object detection stereo system
JP6554280B2 (ja) * 2014-11-28 2019-07-31 株式会社デンソーテン データ処理装置、画像処理方法、及び、プログラム
US20160191795A1 (en) * 2014-12-30 2016-06-30 Alpine Electronics, Inc. Method and system for presenting panoramic surround view in vehicle
US10026450B2 (en) * 2015-03-31 2018-07-17 Jaguar Land Rover Limited Content processing and distribution system and method
US10810444B2 (en) * 2015-09-25 2020-10-20 Apple Inc. Automated capture of image data for points of interest
CN105894549A (zh) * 2015-10-21 2016-08-24 乐卡汽车智能科技（北京）有限公司 一种全景辅助泊车系统、装置及全景图像显示方法
TWI543611B (zh) * 2015-11-20 2016-07-21 晶睿通訊股份有限公司 影像接合方法及具有影像接合功能的攝影系統
KR20180101165A (ko) * 2016-01-03 2018-09-12 휴먼아이즈 테크놀로지즈 리미티드 파노라마 프레임으로의 프레임 스티칭
DE102016202948A1 (de) * 2016-02-25 2017-08-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Bildes einer Umgebung eines Fahrzeugs
CN105702060B (zh) * 2016-03-04 2018-06-12 重庆交通大学 基于全息投影技术的城市信号交叉口安全导向方法及系统
US10102668B2 (en) * 2016-05-05 2018-10-16 Nvidia Corporation System, method, and computer program product for rendering at variable sampling rates using projective geometric distortion
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
CN107967665B (zh) * 2016-10-20 2021-07-13 株式会社理光 图像处理方法和图像处理装置
US20180150703A1 (en) * 2016-11-29 2018-05-31 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof
CN109964245A (zh) * 2016-12-06 2019-07-02 深圳市大疆创新科技有限公司 用于校正广角图像的系统和方法
US10733697B2 (en) * 2016-12-27 2020-08-04 Intel IP Corporation Convolutional neural network for wide-angle camera images
WO2018131813A1 (en) 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
KR102329061B1 (ko) * 2017-01-10 2021-11-19 삼성전자주식회사 3차원 이미지에 대한 메타데이터를 생성하기 위한 방법 및 장치
US10518702B2 (en) * 2017-01-13 2019-12-31 Denso International America, Inc. System and method for image adjustment and stitching for tractor-trailer panoramic displays
FR3062224B1 (fr) * 2017-01-25 2020-08-28 Valeo Schalter & Sensoren Gmbh Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images
JP6708154B2 (ja) * 2017-03-28 2020-06-10 カシオ計算機株式会社 対象物検出装置、対象物検出方法、及びプログラム
DE102017206175A1 (de) * 2017-04-11 2018-10-11 Conti Temic Microelectronic Gmbh Surround-View-System für ein Fahrzeug
CN106991415A (zh) * 2017-06-05 2017-07-28 北京汽车集团有限公司 用于车载鱼眼相机的图像处理方法和装置
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
DE102017114611A1 (de) * 2017-06-30 2019-01-03 Connaught Electronics Ltd. Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
US10475154B2 (en) * 2017-08-11 2019-11-12 Caterpillar Inc. Machine surround view system and method for generating 3-dimensional composite surround view using same
JP6962372B2 (ja) * 2017-08-25 2021-11-05 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
CN109509231A (zh) * 2017-09-14 2019-03-22 宝沃汽车（中国）有限公司 全景系统标定设备
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
US10380714B2 (en) * 2017-09-26 2019-08-13 Denso International America, Inc. Systems and methods for ambient animation and projecting ambient animation on an interface
US10618471B2 (en) * 2017-11-30 2020-04-14 Robert Bosch Gmbh Virtual camera panning and tilting
DE102018102047A1 (de) 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
DE102018203405A1 (de) * 2018-03-07 2019-09-12 Zf Friedrichshafen Ag Visuelles Surround-View-System zur Überwachung des Fahrzeuginneren
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
CN108833911A (zh) * 2018-08-21 2018-11-16 安徽江淮汽车集团股份有限公司 一种车辆360全景功能的测试方法及系统
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
GB2581191B (en) 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
WO2020164744A1 (en) * 2019-02-15 2020-08-20 Toyota Motor Europe Systems and methods for image normalization
US11153481B2 (en) * 2019-03-15 2021-10-19 STX Financing, LLC Capturing and transforming wide-angle video information
US11037000B2 (en) 2019-09-27 2021-06-15 Gm Cruise Holdings Llc Intent-based dynamic change of resolution and region of interest of vehicle perception system
US11070721B2 (en) * 2019-09-27 2021-07-20 Gm Cruise Holdings Llc Intent-based dynamic change of compute resources of vehicle perception system
KR102076113B1 (ko) * 2019-10-14 2020-02-11 (주)비에스아이시스템 쓰레기 무단 투기 영상 감시 장치
US11418773B2 (en) * 2020-04-21 2022-08-16 Plato Systems, Inc. Method and apparatus for camera calibration
US11288553B1 (en) 2020-10-16 2022-03-29 GM Global Technology Operations LLC Methods and systems for bowl view stitching of images
KR102535136B1 (ko) 2021-08-05 2023-05-26 현대모비스 주식회사 영상정합장치 및 방법
US20230350412A1 (en) 2022-04-28 2023-11-02 Caterpillar Inc. Digital panning of panoramic video to follow machine worktool movement

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059202A (ja) * 2004-08-20 2006-03-02 Iwate Univ 撮像装置及び画像補正方法
JP2013127739A (ja) * 2011-12-19 2013-06-27 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
JP2013207637A (ja) * 2012-03-29 2013-10-07 Mitsubishi Electric Corp 画像処理装置及び方法、並びにコンピュータプログラム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559695A (en) * 1994-12-27 1996-09-24 Hughes Aircraft Company Apparatus and method for self-calibrating visual time-to-contact sensor
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
CN1160210C (zh) * 1999-09-20 2004-08-04 松下电器产业株式会社 驾驶提醒装置
WO2002007443A1 (fr) * 2000-07-19 2002-01-24 Matsushita Electric Industrial Co., Ltd. Systeme de controle
US6781594B2 (en) 2001-08-21 2004-08-24 Sony Computer Entertainment America Inc. Method for computing the intensity of specularly reflected light
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
US7139432B2 (en) * 2002-04-10 2006-11-21 National Instruments Corporation Image pattern matching utilizing discrete curve matching with a mapping operator
WO2003093857A2 (en) * 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
AU2003264481A1 (en) 2002-09-24 2004-04-19 Nikon Corporation Image display unit and projection optical system
JP3962676B2 (ja) * 2002-11-29 2007-08-22 キヤノン株式会社 画像処理方法及び装置
KR100526817B1 (ko) * 2003-04-22 2005-11-08 학교법인 중앙대학교 스테레오 영상 구현 시 기본행렬을 구하는 방법
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
JP2006311272A (ja) 2005-04-28 2006-11-09 Denso Corp 車両用映像表示装置
JP4934308B2 (ja) 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
CN101443814A (zh) * 2005-11-08 2009-05-27 皇家飞利浦电子股份有限公司 用于对伸长特征进行滤波的方法和系统
JP2007183877A (ja) 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法
US7576639B2 (en) 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
KR100966875B1 (ko) * 2006-09-26 2010-06-29 삼성전자주식회사 전방위 영상을 이용한 로봇의 위치 결정방법
US8189959B2 (en) * 2008-04-17 2012-05-29 Microsoft Corporation Image blending using multi-splines
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5271154B2 (ja) * 2009-05-29 2013-08-21 富士通テン株式会社 画像生成装置及び画像表示システム
CN101626513A (zh) 2009-07-23 2010-01-13 深圳大学 全景视频生成方法及系统
JP5299513B2 (ja) * 2009-08-12 2013-09-25 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
JP2011086111A (ja) * 2009-10-15 2011-04-28 Mitsubishi Electric Corp 撮像装置校正方法及び画像合成装置
US9041807B2 (en) * 2010-01-29 2015-05-26 Fujitsu Ten Limited Image processing device and image processing method
JPWO2012002046A1 (ja) * 2010-06-30 2013-08-22 富士フイルム株式会社 立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法
US8454147B2 (en) 2010-07-31 2013-06-04 Xerox Corporation Method and system for delivering solid-ink pellets
JP2011155651A (ja) * 2011-02-10 2011-08-11 Toshiba Corp 車両周辺画像表示装置および車両周辺画像表示方法
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
EP2523163B1 (en) * 2011-05-10 2019-10-16 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
EP2530647A1 (en) * 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
EP2541498B1 (en) * 2011-06-30 2017-09-06 Harman Becker Automotive Systems GmbH Method of determining extrinsic parameters of a vehicle vision system and vehicle vision system
US8447116B2 (en) * 2011-07-22 2013-05-21 Honeywell International Inc. Identifying true feature matches for vision based navigation
EP2554434B1 (en) 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
KR101913837B1 (ko) 2011-11-29 2018-11-01 삼성전자주식회사 파노라마 영상 생성 방법 및 이를 적용한 영상기기
TW201333896A (zh) * 2012-02-14 2013-08-16 yan-hong Jiang 使用視訊雷達的遠距交通管理系統
US9275485B2 (en) * 2012-06-28 2016-03-01 The University Of Utah Research Foundation Seam network processing for panorama weaving
CN102930601B (zh) * 2012-10-10 2015-09-30 中国人民解放军信息工程大学 一种双模三维地形立体环境的构建方法
WO2014100985A1 (en) * 2012-12-26 2014-07-03 Harman International Industries, Incorporated Method and system for generating a surround view
US9762889B2 (en) * 2013-05-08 2017-09-12 Sony Corporation Subtitle detection for stereoscopic video contents
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059202A (ja) * 2004-08-20 2006-03-02 Iwate Univ 撮像装置及び画像補正方法
JP2013127739A (ja) * 2011-12-19 2013-06-27 Dainippon Printing Co Ltd 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
JP2013207637A (ja) * 2012-03-29 2013-10-07 Mitsubishi Electric Corp 画像処理装置及び方法、並びにコンピュータプログラム

Also Published As

Publication number Publication date
US20180232851A1 (en) 2018-08-16
WO2015094298A1 (en) 2015-06-25
US10692173B2 (en) 2020-06-23
KR20160072190A (ko) 2016-06-22
US20150178884A1 (en) 2015-06-25
CN105765966B (zh) 2020-07-10
US10210597B2 (en) 2019-02-19
EP3085074A1 (en) 2016-10-26
KR101811157B1 (ko) 2018-01-25
EP3085074A4 (en) 2017-08-30
CN105765966A (zh) 2016-07-13
EP3085074B1 (en) 2020-02-26
JP6224251B2 (ja) 2017-11-01

Similar Documents

Publication Publication Date Title
JP6224251B2 (ja) ボウル形状イメージングシステム
EP3195584B1 (en) Object visualization in bowl-shaped imaging systems
US11727587B2 (en) Method and system for scene image modification
US11635767B2 (en) System and method of using multi-resolution camera clusters input data for controlling autonomous vehicles
JP6371553B2 (ja) 映像表示装置および映像表示システム
JP6453449B2 (ja) ボウル型イメージングシステムにおけるオブジェクト追跡
WO2015180659A1 (zh) 图像处理方法和图像处理装置
KR20120130788A (ko) 멀티-카메라 교정을 위한 방법 및 장치
CN110166680B (zh) 设备成像方法、装置、存储介质及电子设备
JP7013144B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20240112301A1 (en) Vehicle undercarriage imaging
JP2020140497A (ja) 演算装置、視差算出方法
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
WO2021254107A1 (zh) 电子装置以及在显示设备上显示图像的方法
WO2023056199A1 (en) A system and method to improve object detection accuracy by focus bracketing
Aslan et al. Depth image super resolution via multi-hypothesis estimation

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171004

R150 Certificate of patent or registration of utility model

Ref document number: 6224251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees