JP2005268847A - 画像生成装置、画像生成方法、および画像生成プログラム - Google Patents
画像生成装置、画像生成方法、および画像生成プログラム Download PDFInfo
- Publication number
- JP2005268847A JP2005268847A JP2004073887A JP2004073887A JP2005268847A JP 2005268847 A JP2005268847 A JP 2005268847A JP 2004073887 A JP2004073887 A JP 2004073887A JP 2004073887 A JP2004073887 A JP 2004073887A JP 2005268847 A JP2005268847 A JP 2005268847A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- data
- viewpoint
- blind spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims abstract description 160
- 238000006243 chemical reaction Methods 0.000 claims abstract description 74
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 240000004050 Pentaglottis sempervirens Species 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】 車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象を、３次元空間における任意の仮想視点から見た画像として表示する際、車両等と撮影した監視対象の画像との関係が直感的に分かるように表示することが可能な画像生成装置、画像生成方法、および画像生成プログラムを提供すること。
【解決手段】 視点変換手段によって生成された視点変換画像データ、撮像画像を表わす撮像画像データ、空間モデル、およびマッピングされた空間データの何れかに基づいて、撮像手段配置物体の移動に関連する移動情報を算出する移動情報算出手段をさらに備え、表示手段が、撮像手段配置物体に対応した撮像手段配置物体モデルの画像とともに移動情報算出手段によって算出された移動情報を表示する。
【選択図】 図３
【解決手段】 視点変換手段によって生成された視点変換画像データ、撮像画像を表わす撮像画像データ、空間モデル、およびマッピングされた空間データの何れかに基づいて、撮像手段配置物体の移動に関連する移動情報を算出する移動情報算出手段をさらに備え、表示手段が、撮像手段配置物体に対応した撮像手段配置物体モデルの画像とともに移動情報算出手段によって算出された移動情報を表示する。
【選択図】 図３
Description
本発明は、車両等の物体に取り付けられた１台または複数台のカメラで撮影した複数枚の画像に基づいて、上記物体が移動する場合にその移動に関する情報が直感的に分かるように表示するための画像データを生成する画像生成装置、画像生成方法、および画像生成プログラムに関する。
従来、車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象を監視する監視カメラ装置は、１台または複数台のカメラで監視対象を撮影し、その画像をモニタ装置に表示していた。このような監視カメラ装置において、カメラが複数台あるにも関わらずモニタ装置がカメラ台数よりも少ない場合、例えば、カメラが２台あるにも関わらずモニタ装置が１台の場合、撮影した複数のカメラ画像を統合して１台のモニタ装置に表示したり、順次切り替えて表示したりしていた。しかし、このような監視カメラ装置では、それぞれのカメラからの画像を監視するには、独立に表示されている画像の連続性を管理者が考慮する必要があるなどの問題があった。
この問題を解決する方法として、車両等に取り付けられた１台もしくは複数台のカメラからの入力画像を、３次元空間の予め定められた空間モデルにマッピングし、そのマッピングされた空間データを参照して、上記３次元空間における任意の仮想視点から見た画像を作成して表示することにより、あたかも仮想視点から実際に見ているような感覚を持つ合成画像を表示する監視カメラ装置に関する技術が開示されている（例えば、特許文献１参照。）。
特許第３２８６３０６号公報
しかしながら、上記のような従来の監視カメラ装置においては、カメラを取り付けた車両等の撮像手段配置物体とそのカメラが撮影した監視対象との関係が分かり難いという問題点があった。
本発明は、上記従来技術の欠点に鑑みてなされたもので、車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象の画像を表示する際、上記車両等の撮像手段配置物体と撮影した監視対象の画像との関係が直感的に分かるように表示することが可能な画像生成装置、画像生成方法、および画像生成プログラムを提供することを目的とする。
本発明は、上記従来技術の欠点に鑑みてなされたもので、車両、店舗、あるいは住宅の周辺、若しくは街中等の監視対象の画像を表示する際、上記車両等の撮像手段配置物体と撮影した監視対象の画像との関係が直感的に分かるように表示することが可能な画像生成装置、画像生成方法、および画像生成プログラムを提供することを目的とする。
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像手段と、上記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、上記空間再構成手段によってマッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、上記視点変換手段によって生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する表示手段とを備えた画像生成装置であって、上記視点変換手段によって生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体の移動に関連する移動情報を算出する移動情報算出手段をさらに備え、上記表示手段が、上記撮像手段配置物体に対応した撮像手段配置物体モデルの画像とともに上記移動情報算出手段によって算出された移動情報を表示することを特徴とする。
すなわち、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像手段と、上記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、上記空間再構成手段によってマッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、上記視点変換手段によって生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する表示手段とを備えた画像生成装置であって、上記視点変換手段によって生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体の移動に関連する移動情報を算出する移動情報算出手段をさらに備え、上記表示手段が、上記撮像手段配置物体に対応した撮像手段配置物体モデルの画像とともに上記移動情報算出手段によって算出された移動情報を表示することを特徴とする。
また、本発明の画像生成装置は、上記移動情報が、移動する方向を示す移動方向情報、予測される移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報の何れかであることが望ましい。
また、本発明の画像生成装置は、夫々異なる時刻に対応した、上記視点変換手段によって生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体モデルと上記空間モデルとが衝突する可能性を算出する衝突可能性算出手段をさらに備え、上記表示手段が、上記視点変換手段によって生成された上記視点変換画像データによる画像に重畳して表示する撮像手段配置物体モデルの画像のうち、上記衝突可能性算出手段によって算出された衝突可能性を有する部分の表示形態を異ならせて表示することが望ましい。
また、本発明の画像生成装置は、上記表示形態が、色、縁取り、警告アイコンの少なくともいずれか１つであることが望ましい。
また、本発明の画像生成装置は、上記撮像手段配置物体に対応したデータによって表わされる撮像手段配置物体モデルに基づいて、上記撮像手段配置物体の所定の場所にとっての死角となる領域を示す死角情報を算出する死角算出手段をさらに備え、上記表示手段が、上記撮像手段配置物体モデルとともに上記死角算出手段によって算出された死角情報を表示するが望ましい。
また、本発明の画像生成装置は、上記撮像手段配置物体に対応したデータによって表わされる撮像手段配置物体モデルに基づいて、上記撮像手段配置物体の所定の場所にとっての死角となる領域を示す死角情報を算出する死角算出手段をさらに備え、上記表示手段が、上記撮像手段配置物体モデルとともに上記死角算出手段によって算出された死角情報を表示するが望ましい。
また、本発明の画像生成装置は、上記視点変換手段によって変換された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体とは異なる他物体を認識する他物体認識手段と、所定の他物体に関するデータを示す他物体データに基づいて、上記他物体認識手段によって認識され他物体の死角となる領域を示す他物体死角情報を算出する他物体死角算出手段をさらに備え、上記表示手段が、上記撮像手段配置物体モデルとともに上記他物体死角算出手段によって算出された当該他物体に係る死角情報を表示することが望ましい。
また、本発明の画像生成装置は、上記撮像手段配置物体、または他物体が、車両、歩行者、建築物、道路構造物などの少なくとも１つであることが望ましい。
また、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられた、画像を撮像する１または複数の撮像手段と、上記撮像手段によって撮像された撮像データに基づいて、上記撮像手段配置物体と異なる他物体を認識する他物体認識手段と、所定の他物体に関するデータを示す他物体データに基づいて、上記他物体認識手段によって認識された他物体の死角となる領域を示す他物体死角情報を算出する他物体死角算出手段と、上記撮像手段配置物体モデルとともに上記他物体死角算出手段によって算出された他物体死角情報を表示する表示手段とを備えたことを特徴とする。
また、本発明の一態様によれば、本発明の画像生成装置は、撮像手段配置物体に取り付けられた、画像を撮像する１または複数の撮像手段と、上記撮像手段によって撮像された撮像データに基づいて、上記撮像手段配置物体と異なる他物体を認識する他物体認識手段と、所定の他物体に関するデータを示す他物体データに基づいて、上記他物体認識手段によって認識された他物体の死角となる領域を示す他物体死角情報を算出する他物体死角算出手段と、上記撮像手段配置物体モデルとともに上記他物体死角算出手段によって算出された他物体死角情報を表示する表示手段とを備えたことを特徴とする。
また、本発明の画像生成装置は、上記撮像手段配置物体、または他物体が、車両、歩行者、建築物、道路構造物などの少なくとも１つであることが望ましい。
また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられた、１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、上記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成し、上記生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、上記生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体の移動に関連する移動情報をさらに算出し、上記表示が、上記視点変換画像に上記撮像手段配置物体モデルの画像とともに上記移動情報を表示することを特徴とする。
また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられた、１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、上記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成し、上記生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、上記生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体の移動に関連する移動情報をさらに算出し、上記表示が、上記視点変換画像に上記撮像手段配置物体モデルの画像とともに上記移動情報を表示することを特徴とする。
また、本発明の一態様によれば、本発明の画像生成プログラムは、コンピュータに対して、撮像手段配置物体に取り付けられた、１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、上記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、上記生成された視点変換画像データに基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する手順とを実行させるための画像生成プログラムであって、上記生成された視点変換画像データ、上記撮像画像を表わす撮像画像データ、上記空間モデル、および上記マッピングされた空間データの何れかに基づいて、上記撮像手段配置物体の移動に関連する移動情報を算出する手順をさらに備え、上記表示が、上記視点変換画像に上記撮像手段配置物体モデルの画像とともに上記移動情報を表示することを特徴とする。
また、本発明の一態様によれば、本発明の画像生成方法は、撮像手段配置物体に取り付けられた、１または複数の撮像装置によって画像を撮像し、上記撮像された撮像データに基づいて、上記撮像手段配置物体と異なる他物体を認識し、所定の他物体に関するデータを示す他物体データに基づいて、上記認識された他物体の死角となる領域を示す他物体死角情報を算出し、上記撮像手段配置物体モデルとともに上記算出された他物体死角情報を表示する、コンピュータが実行する画像生成方法である。
また、本発明の一態様によれば、本発明の画像生成プログラムは、コンピュータに対して、撮像手段配置物体に取り付けられた、１または複数の撮像装置によって画像を撮像する手順と、上記撮像された撮像データに基づいて、上記撮像手段配置物体と異なる他物体を認識する手順と、所定の他物体に関するデータを示す他物体データに基づいて、上記認識された他物体の死角となる領域を示す他物体死角情報を算出する手順と、上記撮像手段配置物体モデルとともに上記算出された他物体死角情報を表示する手順とを実行させるための画像生成プログラムである。
本発明によれば、車両等の撮像手段配置物体に取り付けられた１台または複数台のカメラで撮影した複数枚の画像に基づく画像を表示するに際し、上記物体と撮影した画像との関係が直感的に分かるように表示することができる。
以下、図面を参照しながら本発明の実施の形態について述べる。
まず、図１および図２を用いて、複数台のカメラで撮影した画像データに基づいて仮想的な視点から見る画像を生成し、その仮想視点からの画像を表示する画像生成装置について説明する。なお、図示の例では複数台のカメラを用いているが、１台のカメラの設置位置を順次移動して複数台のカメラが備えられた場合と同様の撮像データを得るようにしてもよい。また、この乃至これらのカメラは、撮像装置配置物体としての車両、部屋（その特定の部位等）、歩行者、建築物、道路構造物等に設置される。この点は、以下に述べる各実施の形態について同様である。
まず、図１および図２を用いて、複数台のカメラで撮影した画像データに基づいて仮想的な視点から見る画像を生成し、その仮想視点からの画像を表示する画像生成装置について説明する。なお、図示の例では複数台のカメラを用いているが、１台のカメラの設置位置を順次移動して複数台のカメラが備えられた場合と同様の撮像データを得るようにしてもよい。また、この乃至これらのカメラは、撮像装置配置物体としての車両、部屋（その特定の部位等）、歩行者、建築物、道路構造物等に設置される。この点は、以下に述べる各実施の形態について同様である。
図１は、測距装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。
図１において、画像生成装置１００は、測距装置１０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、および表示装置１１４を備える。
図１において、画像生成装置１００は、測距装置１０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、および表示装置１１４を備える。
測距装置１０１は、距離を計測する距離センサを用いて目標物体（障害物）までの距離を計測する。例えば、車両に取り付けられた場合は、車両周囲の状況として、少なくとも車両周囲に存在する障害物までの距離を、上記距離センサを用いて計測する。
空間モデル生成装置１０３は、上記測距装置１０１が計測した距離画像データ１０２に基づいて、３次元空間の空間モデル１０４を生成し、それをデータベース（概念を実体の如く図示。以下同様。）に格納する。なお、空間モデル１０４は、上述のように別途のセンサによる計測データに基づいて生成されたもの、あるいは、予め決められた所定のもの、乃至は、その場で複数の入力画像から生成されたものであり、それらのデータがデータベースに格納される。
空間モデル生成装置１０３は、上記測距装置１０１が計測した距離画像データ１０２に基づいて、３次元空間の空間モデル１０４を生成し、それをデータベース（概念を実体の如く図示。以下同様。）に格納する。なお、空間モデル１０４は、上述のように別途のセンサによる計測データに基づいて生成されたもの、あるいは、予め決められた所定のもの、乃至は、その場で複数の入力画像から生成されたものであり、それらのデータがデータベースに格納される。
撮像装置１０７は、例えば、カメラであり、撮像装置配置物体に取り付けられ画像を撮像し、撮影画像データ１０８としてデータベースに格納する。撮像装置配置物体が車両であれば、撮像装置１０７は、車両周囲の画像を撮影する。
空間再構成装置１０９は、上記撮像装置１０７によって撮像された撮像画像データ１０８を、上記空間モデル生成装置１０３で生成した空間モデル１０４にマッピングする。そして、空間モデル１０４に撮影画像データ１０８をマッピングしたデータは、空間データ１１１としてデータベースに格納する。
空間再構成装置１０９は、上記撮像装置１０７によって撮像された撮像画像データ１０８を、上記空間モデル生成装置１０３で生成した空間モデル１０４にマッピングする。そして、空間モデル１０４に撮影画像データ１０８をマッピングしたデータは、空間データ１１１としてデータベースに格納する。
キャリブレーション装置１０５は、例えば、温度によるレンズ歪みの補正を行うために、撮像装置１０７の取り付け位置、取り付け角度、レンズ歪み補正値、レンズの焦点距離などといったパラメータを、入力することによって、あるいは計算することによって得る。すなわち、撮像装置１０７がカメラであれば、カメラキャリブレーションを行う。カメラキャリブレーションとは、３次元実世界に配置されたカメラについての、その３次元実世界における、カメラの取り付け位置、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといった、上記カメラ特性を表すカメラパラメータを決定、補正することである。
視点変換装置１１２は、上記空間再構成装置１０９によってマッピングされた空間データ１１１に基づいて、３次元空間における任意の仮想視点から見た視点変換画像データ１１３を生成し、それをデータベースに格納する。
表示装置１１４は、上記視点変換装置１１２によって生成された視点変換画像データ１１３に基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する。
表示装置１１４は、上記視点変換装置１１２によって生成された視点変換画像データ１１３に基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する。
図２は、撮像装置により空間モデルを生成し、視点変換画像を生成する画像生成装置のブロック図である。
図２において、画像生成装置２００は、測距装置２０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、および表示装置１１４を備える。
図２において、画像生成装置２００は、測距装置２０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、および表示装置１１４を備える。
画像生成装置２００が、図１を用いて説明した画像生成装置１００と異なるのは、測距装置１０１の代わりに測距装置２０１を備えている点である。以下、測距装置２０１を中心とした説明をし、その他の構成要素については図１を用いた説明と同様であるので省略する。
測距装置２０１は、撮影装置１０７で撮影した撮影画像データ１０８に基づいて、障害物までの距離を計測する。これは、同一視野を撮影した複数台のカメラの画像の対応点を探索し、画像間の視差を算出し、三角測量の原理により距離を算出するステレオ測距を用いる方法が一般的である。また、測距装置１０１と同様、距離を計測する距離センサを用いて障害物までの距離を計測したデータと合わせて距離画像データ２０２としても良い。
そして、空間モデル生成装置１０３は、上記測距装置２０１が計測した距離画像データ２０２に基づいて、３次元空間の空間モデル１０４を生成し、それをデータベースに格納する。
次に、図３乃至図１３を用いて、車両等の物体に取り付けられた１台または複数台のカメラで撮影した複数枚の画像に基づいて仮想視点からの画像を表示する際に、上記物体が移動する場合にその移動に関する情報が直感的に分かるように表示するための画像データを生成することができる画像生成装置について説明する。この画像生成装置は、図１または図２を用いて説明した画像生成装置に適用することができる。
次に、図３乃至図１３を用いて、車両等の物体に取り付けられた１台または複数台のカメラで撮影した複数枚の画像に基づいて仮想視点からの画像を表示する際に、上記物体が移動する場合にその移動に関する情報が直感的に分かるように表示するための画像データを生成することができる画像生成装置について説明する。この画像生成装置は、図１または図２を用いて説明した画像生成装置に適用することができる。
図３は、測距装置により空間モデルを生成し、視点変換画像において移動情報を表示するための画像生成装置のブロック図である。
図３において、画像生成装置３００は、測距装置１０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、表示装置３１４、移動情報算出装置３１５、衝突可能性算出装置３１６、死角算出装置３１７、他物体認識装置３１８、および他物体死角算出装置３１９を備える。
図３において、画像生成装置３００は、測距装置１０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、表示装置３１４、移動情報算出装置３１５、衝突可能性算出装置３１６、死角算出装置３１７、他物体認識装置３１８、および他物体死角算出装置３１９を備える。
画像生成装置３００が、図１を用いて説明した画像生成装置１００と異なるのは、さらに移動情報算出装置３１５、衝突可能性算出装置３１６、死角算出装置３１７、他物体認識装置３１８、および他物体死角算出装置３１９を備えている点、および表示装置１１４の代わりに表示装置３１４を備えている点である。以下、移動情報算出装置３１５、衝突可能性算出装置３１６、死角算出装置３１７、他物体認識装置３１８、他物体死角算出装置３１９および表示装置３１４を中心とした説明をし、その他の構成要素については図１を用いた説明と同様であるので省略する。
移動情報算出装置３１５は、上記視点変換装置１１２によって生成された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体の移動に関連する移動情報を算出する。上記撮像装置配置物体の移動に関連する移動情報としては、例えば移動する方向を示す移動方向情報、予測される移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報等がある。
そして、表示装置３１４は、上記撮像装置配置物体に対応した撮像装置配置物体モデルの画像とともに上記移動情報算出装置３１５によって算出された移動情報を表示する。
ここで、図４乃至図８を用いて、画像生成装置３００を車両の周辺を監視するシステムとして適用した場合について説明する。
ここで、図４乃至図８を用いて、画像生成装置３００を車両の周辺を監視するシステムとして適用した場合について説明する。
図４は、車両を運転するドライバーから観察され得る視野の様子を示す図である。
ドライバーからは、道路上に車両Ａ、車両Ｂ、および車両Ｃの３台の車両が見えている。
車両には、車両周囲に存在する障害物までの距離を計測する距離センサ（測距装置１０１）と、車両周囲の画像を撮影する複数台のカメラ（撮像装置１０７）とが取り付けられている。
ドライバーからは、道路上に車両Ａ、車両Ｂ、および車両Ｃの３台の車両が見えている。
車両には、車両周囲に存在する障害物までの距離を計測する距離センサ（測距装置１０１）と、車両周囲の画像を撮影する複数台のカメラ（撮像装置１０７）とが取り付けられている。
空間モデル生成装置１０３は、距離センサが計測した距離画像データ１０２に基づいて、３次元空間の空間モデル１０４を生成し、それをデータベースに格納する。そして、カメラは、車両周辺の画像を撮像し、撮影画像データ１０８としてデータベースに格納する。
空間再構成装置１０９は、カメラによって撮像された撮像画像データ１０８を、上記空間モデル生成装置１０３で生成した空間モデル１０４にマッピングし、空間データ１１１としてデータベースに格納する。
視点変換装置１１２は、上記空間再構成装置１０９によってマッピングされた空間データ１１１に基づいて、例えば、車両後方上空を仮想視点とし、その仮想視点から見た視点変換画像データ１１３を生成し、それをデータベースに格納する。
視点変換装置１１２は、上記空間再構成装置１０９によってマッピングされた空間データ１１１に基づいて、例えば、車両後方上空を仮想視点とし、その仮想視点から見た視点変換画像データ１１３を生成し、それをデータベースに格納する。
移動情報算出装置３１５は、上記視点変換装置１１２によって生成された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体の移動に関連する移動情報、例えば移動する方向を示す移動方向情報、予測される移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報等を算出する。
そして、表示装置３１４は、通常車両内に設置され、例えば、カーナビゲーションシステムのモニタと共用して、上記視点変換装置１１２によって生成された視点変換画像データ１１３に基づいて、上記３次元空間における任意の仮想視点から見た画像を表示する際に、上記撮像装置配置物体に対応した撮像装置配置物体モデル１１０の画像とともに上記移動情報算出装置３１５によって算出された移動方向情報等の移動情報を表示する。
図５は、移動方向情報を表示した表示例を示す図である。
図５において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。そして、自車両の移動方向を示す移動方向情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示されている。
図５において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。そして、自車両の移動方向を示す移動方向情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示されている。
図６は、移動軌跡情報を表示した表示例を示す図である。
図６も視点変換画像の表示例であるが、図５とは異なる仮想視点の例である。すなわち、図５の表示例は、仮想視点が自車両の後方上空にありそこから前方を見る俯瞰図となっているのに対して、図６の表示例は、仮想視点が自車両上空にありそこから真下を見た図となっている。
図６も視点変換画像の表示例であるが、図５とは異なる仮想視点の例である。すなわち、図５の表示例は、仮想視点が自車両の後方上空にありそこから前方を見る俯瞰図となっているのに対して、図６の表示例は、仮想視点が自車両上空にありそこから真下を見た図となっている。
図６において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂの視点変換画像であるが、車両Ｃに相当する物体は表示されていない。そして、自車両の予測される移動軌跡を示す移動軌跡情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示されている。
図７は、移動速度情報を表示した表示例を示す図である。
図７は、図５と同様、自車両の後方上空にある仮想視点から前方を見る俯瞰図となっており、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。そして、自車両の移動する速度を示す移動速度情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示されている。
図７は、図５と同様、自車両の後方上空にある仮想視点から前方を見る俯瞰図となっており、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。そして、自車両の移動する速度を示す移動速度情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示されている。
図８は、移動先情報を表示した表示例を示す図である。
図８も、図５と同様、自車両の後方上空にある仮想視点から前方を見る俯瞰図となっており、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。そして、自車両の予測される移動先の方位、地名、ランドマーク等に関する移動先情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示されている。
図８も、図５と同様、自車両の後方上空にある仮想視点から前方を見る俯瞰図となっており、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。そして、自車両の予測される移動先の方位、地名、ランドマーク等に関する移動先情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示されている。
なお、図５乃至図８に示した移動情報は、同時に表示されるようにしてもよい。
図３の説明に戻る。
衝突可能性算出装置３１６は、夫々異なる時刻に対応した、上記視点変換装置１１２によって生成された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体モデル１１０と上記空間モデル１０４とが衝突する可能性を算出する。衝突する可能性は、例えば、２つの物体のそれぞれの移動方向および移動速度から容易に求めることができる。
図３の説明に戻る。
衝突可能性算出装置３１６は、夫々異なる時刻に対応した、上記視点変換装置１１２によって生成された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体モデル１１０と上記空間モデル１０４とが衝突する可能性を算出する。衝突する可能性は、例えば、２つの物体のそれぞれの移動方向および移動速度から容易に求めることができる。
そして、表示装置３１４は、上述の移動情報の表示に加え、上記視点変換装置１１２によって生成された上記視点変換画像データ１１３による画像に重畳して表示する撮像装置配置物体モデル１１０の画像のうち、上記衝突可能性算出装置３１６によって算出された衝突可能性を有する部分の表示形態を、衝突可能性に応じて異ならせて表示する。例えば、色、縁取りの有無や太さ等、警告アイコンの有無や形態等を異ならせて表示する。
なお、上記表示装置３１４は、上記衝突可能性算出装置３１６によって算出した衝突可能性が所定値以下の場合、その画像を一体化した背景モデルとして表示してもよいし、その画像をぼかして表示してもよい。また、当該表示形態として色によって表示情報の意味が認識されるような形態をとりうるようにしてもよい。
図９は、移動情報の表示とともに、２物体が衝突する可能性に応じて画像の表示形態を異ならせて表示した表示例を示す図である。
図９も、図５と同様、自車両の後方上空にある仮想視点から前方を見る俯瞰図となっており、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。
図９も、図５と同様、自車両の後方上空にある仮想視点から前方を見る俯瞰図となっており、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂ、物体Ｃは車両Ｃの視点変換画像である。
そして、自車両の移動情報のうち、移動する方向を示す移動方向情報、移動する速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルとともに表示され、さらに、自車両と、車両Ａ、車両Ｂおよび車両Ｃのそれぞれとが衝突する可能性に応じて、物体Ａ、物体Ｂ、物体Ｃの表示形態が異なって表示されている。例えば、自車両と衝突する可能性が３台の他の車両の中で最も高い車両Ｃの視点変換画像である物体Ｃは赤色で表示され、車両Ｃに比べて衝突の可能性がそれほど高くない車両Ａの視点変換画像である物体Ａ、および車両Ｂの視点変換画像である物体Ｂは黄色で表示される。なお、表示色を異ならせて表示する場合、当該表示に係る色の色相又は彩度若しくは明度のうちの少なくとも一のものを異ならせて表示するような形態を採り得る。
図３の説明に戻る。
死角算出装置３１７は、上記撮像装置配置物体に対応したデータによって表わされる撮像装置配置物体モデル１１０に基づいて、上記撮像装置配置物体の所定の場所にとっての死角となる領域を示す死角情報を算出する。例えば、撮像装置配置物体が車両であれば、車両の運転者にとっての死角となる領域を算出する。
死角算出装置３１７は、上記撮像装置配置物体に対応したデータによって表わされる撮像装置配置物体モデル１１０に基づいて、上記撮像装置配置物体の所定の場所にとっての死角となる領域を示す死角情報を算出する。例えば、撮像装置配置物体が車両であれば、車両の運転者にとっての死角となる領域を算出する。
図１０は、死角を説明するための図である。
図１０において、撮像装置配置物体は車両であり、（ａ）は車両を上方から見た図であり、（ｂ）は車両を横方向から見た図である。そして、車両の所定の場所としての運転者（より厳密には運転者の視点）にとっての死角となる領域（ピラーなどによる死角および車体による死角）を、網掛けで示している。
図１０において、撮像装置配置物体は車両であり、（ａ）は車両を上方から見た図であり、（ｂ）は車両を横方向から見た図である。そして、車両の所定の場所としての運転者（より厳密には運転者の視点）にとっての死角となる領域（ピラーなどによる死角および車体による死角）を、網掛けで示している。
そして、表示装置３１４は、上記撮像装置配置物体モデル１１０とともに上記死角算出装置３１７によって算出された死角情報を表示する。ここでの死角情報は、前記運転者の視点にとって死角となる領域のことを示す。
図１１は、死角情報を表示した表示例を示す図である。
図１１は、死角情報を表示した表示例を示す図である。
図１１において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂの視点変換画像であるが、車両Ｃに相当する物体は表示されていない。そして、死角情報として自車両の死角となる領域が、撮像装置配置物体モデル１１０に格納されているデータに基づいた自車両対応モデルおよび移動情報の１つである移動軌跡情報とともに表示されている。
図３の説明に戻る。
他物体認識装置３１８は、上記視点変換装置１１２によって変換された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体とは異なる他物体を認識する。例えば、撮像装置配置物体が車両であれば、先行する車両、対向する車両、歩行者等を認識する。
他物体認識装置３１８は、上記視点変換装置１１２によって変換された視点変換画像データ１１３、上記撮像画像を表わす撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体とは異なる他物体を認識する。例えば、撮像装置配置物体が車両であれば、先行する車両、対向する車両、歩行者等を認識する。
さらに、他物体死角算出装置３１９は、所定の他物体に関するデータを示す他物体データに基づいて、上記他物体認識装置３１８によって認識され他物体の死角となる領域を示す他物体死角情報を算出する。例えば、撮像装置配置物体が車両であり、撮像装置配置物体とは異なる他物体も車両であれば、算出される死角領域は、他物体である車両の運転者にとっての死角となる領域である。また、領域他物体データは、撮像装置配置物体モデル１１０が格納されたデータベースを用いることもできる。
そして、上記表示装置３１４は、上記撮像装置配置物体モデル１１０とともに上記他物体死角算出装置３１９によって算出された当該他物体に係る死角情報を表示する。
図１２は、他物体死角情報を表示した表示例を示す図である。
図１２において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂの視点変換画像であるが、車両Ｃに相当する物体は表示されていない。そして、物体Ａが他物体認識装置３１８によって認識された他物体であり、他物体の死角情報として物体Ａの死角となる領域が、自車両対応モデルおよび移動情報の１つである移動軌跡情報とともに表示されている。これにより、自車両は物体Ａの死角に入っていることが認識できる。
図１２は、他物体死角情報を表示した表示例を示す図である。
図１２において、物体Ａは、図４の車両Ａの視点変換画像であり、同様に物体Ｂは車両Ｂの視点変換画像であるが、車両Ｃに相当する物体は表示されていない。そして、物体Ａが他物体認識装置３１８によって認識された他物体であり、他物体の死角情報として物体Ａの死角となる領域が、自車両対応モデルおよび移動情報の１つである移動軌跡情報とともに表示されている。これにより、自車両は物体Ａの死角に入っていることが認識できる。
図１３は、撮像装置により空間モデルを生成し、視点変換画像において移動情報を表示するための画像生成装置のブロック図である。
図１３において、画像生成装置１３００は、測距装置２０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、表示装置３１４、移動情報算出装置３１５、衝突可能性算出装置３１６、死角算出装置３１７、他物体認識装置３１８、および他物体死角算出装置３１９を備える。
図１３において、画像生成装置１３００は、測距装置２０１、空間モデル生成装置１０３、キャリブレーション装置１０５、１つまたは複数の撮像装置１０７、空間再構成装置１０９、視点変換装置１１２、表示装置３１４、移動情報算出装置３１５、衝突可能性算出装置３１６、死角算出装置３１７、他物体認識装置３１８、および他物体死角算出装置３１９を備える。
画像生成装置１３００が、図３を用いて説明した画像生成装置３００と異なるのは、測距装置１０１の代わりに測距装置２０１を備えている点である。なお、測距装置２０１については、図２を用いているので説明は省略する。
次に、車両等の物体に取り付けられた１台または複数台のカメラで撮影した複数枚の画像に基づいて仮想視点からの画像を表示する際に、上記物体が移動する場合にその移動に関する情報が直感的に分かるように表示するための画像データを生成するための画像生成処理の流れを説明する。
次に、車両等の物体に取り付けられた１台または複数台のカメラで撮影した複数枚の画像に基づいて仮想視点からの画像を表示する際に、上記物体が移動する場合にその移動に関する情報が直感的に分かるように表示するための画像データを生成するための画像生成処理の流れを説明する。
図１４は、視点変換画像において移動情報、衝突可能性、死角情報、他物体死角情報を表示するための画像生成処理の流れを示すフローチャートである。
まず、ステップＳ１４０１において、車両等に物体に取り付けられているカメラを用いて、当該車両の周囲の画像を撮像する。
まず、ステップＳ１４０１において、車両等に物体に取り付けられているカメラを用いて、当該車両の周囲の画像を撮像する。
ステップＳ１４０２において、ステップＳ１４０１で撮像した画像のデータである撮像画像データ１０８を、空間モデル１０４にマッピングして、空間データ１１１を生成する。
ステップＳ１４０３において、ステップＳ１４０２でマッピングされた空間データ１１１に基づいて、３次元空間における任意の仮想視点から見た視点変換画像データ１１３を生成する。
ステップＳ１４０３において、ステップＳ１４０２でマッピングされた空間データ１１１に基づいて、３次元空間における任意の仮想視点から見た視点変換画像データ１１３を生成する。
次に、ステップＳ１４０４において、上記生成された視点変換画像データ１１３、上記撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体の移動に関連する移動情報を算出する。
そして、ステップＳ１４０５において、３次元空間における任意の仮想視点から見た画像を表示する際に、ステップＳ１４０４で算出した移動情報、例えば、移動する方向を示す移動方向情報、予測される移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報等を表示する。
次に、ステップＳ１４０６において、撮像装置配置物体モデル１１０と空間モデル１０４とが衝突する可能性を表示するか否かを判断する。例えば、車両の運転者等のユーザーから指示があるか否かにより、表示するか否かを判断する。
ステップＳ１４０６で表示すると判断された場合（ＹＥＳ）は、ステップＳ１４０７において、夫々異なる時刻に対応した、生成された視点変換画像データ１１３、上記撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体モデル１１０と上記空間モデル１０４とが衝突する可能性を算出する。
ステップＳ１４０６で表示すると判断された場合（ＹＥＳ）は、ステップＳ１４０７において、夫々異なる時刻に対応した、生成された視点変換画像データ１１３、上記撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体モデル１１０と上記空間モデル１０４とが衝突する可能性を算出する。
そして、ステップＳ１４０８において、ステップＳ１４０５での移動情報の表示に加え、上記視点変換装置１１２によって生成された上記視点変換画像データ１１３による画像に重畳して表示する撮像装置配置物体モデル１１０の画像のうち、上記衝突可能性算出装置３１６によって算出された衝突可能性を有する部分の表示形態を、衝突可能性に応じて異ならせて表示する。例えば、色、縁取り、警告アイコン等を異ならせて表示する。
ステップＳ１４０８での衝突可能性の表示の後、あるいはステップＳ１４０６で衝突可能性を表示しないと判断された場合（ステップＳ１４０６：ＮＯ）、ステップＳ１４０９において、撮像装置配置物体の所定の場所にとっての死角となる領域を示す死角情報を表示するか否かを判断する。例えば、車両の運転者等のユーザーから指示があるか否かにより、表示するか否かを判断する。
ステップＳ１４０９で表示すると判断された場合（ＹＥＳ）は、ステップＳ１４１０において、撮像装置配置物体に対応したデータによって表わされる撮像装置配置物体モデル１１０に基づいて、上記撮像装置配置物体の所定の場所にとっての死角となる領域を示す死角情報、例えば、撮像装置配置物体が車両であれば、車両の運転者にとっての死角となる領域を算出する。
そして、ステップＳ１４１１において、ステップＳ１４０５での移動情報の表示に加え、さらに場合によっては、ステップＳ１４０８での衝突可能性の表示も加え、撮像装置配置物体モデルとともに上記死角算出装置３１７によって算出された死角情報を表示する。
ステップＳ１４１１での死角情報の表示の後、あるいはステップＳ１４０９で死角情報を表示しないと判断された場合（ステップＳ１４０９：ＮＯ）、ステップＳ１４１２において、他物体の死角となる領域を示す他物体死角情報を表示するか否かを判断する。例えば、車両の運転者等のユーザーから指示があるか否かにより、表示するか否かを判断する。
ステップＳ１４１１での死角情報の表示の後、あるいはステップＳ１４０９で死角情報を表示しないと判断された場合（ステップＳ１４０９：ＮＯ）、ステップＳ１４１２において、他物体の死角となる領域を示す他物体死角情報を表示するか否かを判断する。例えば、車両の運転者等のユーザーから指示があるか否かにより、表示するか否かを判断する。
ステップＳ１４１２で表示すると判断された場合（ＹＥＳ）は、ステップＳ１４１３において、生成された視点変換画像データ１１３、上記撮像画像データ１０８、上記空間モデル１０４、および上記マッピングされた空間データ１１１の何れかに基づいて、上記撮像装置配置物体とは異なる他物体、例えば、先行する車両等を認識し、ステップＳ１４１４において、他物体に関するデータを示す他物体データに基づいて、上記他物体認識装置３１８によって認識され他物体の死角となる領域を示す他物体死角情報を算出する。例えば、撮像装置配置物体が車両であり、撮像装置配置物体とは異なる他物体も車両であれば、算出される死角領域は、他物体である車両の運転者にとっての死角となる領域である。また、領域他物体データは、撮像装置配置物体モデル１１０が格納されたデータベースを用いることもできる。
そして、ステップＳ１４１５において、ステップＳ１４０５での移動情報の表示に加え、さらに場合によっては、ステップＳ１４０８での衝突可能性、あるいはステップＳ１４１１での死角情報の表示も加え、撮像装置配置物体モデルとともに上記他物体死角算出装置３１９によって算出された当該他物体に係る死角情報を表示する。
このような画像生成処理の流れにより、視点変換画像において移動方向情報等の移動情報を表示することができ、さらには衝突可能性、死角情報、あるいは他物体死角情報も併せて表示することができる。
次に、図１５乃至図１７を用いて、車両等の物体に取り付けられた１台または複数台のカメラで撮影した画像に基づいて、その画像中の物体にとっての死角が直感的に分かるように表示するための画像データを生成することができる画像生成装置について説明する。
次に、図１５乃至図１７を用いて、車両等の物体に取り付けられた１台または複数台のカメラで撮影した画像に基づいて、その画像中の物体にとっての死角が直感的に分かるように表示するための画像データを生成することができる画像生成装置について説明する。
図１５は、他物体死角情報を表示するための画像生成装置のブロック図である。
図１５において、画像生成装置１５００は、１つまたは複数の撮像装置１５０１、他物体認識装置１５０３、他物体死角算出装置１５０５、および表示装置１５０６を備える。
撮像装置１５０１は、例えば、カメラであり、撮像装置配置物体に取り付けられ画像を撮像し、撮影画像データ１５０２としてデータベースに格納する。撮像装置配置物体が車両であれば、撮像装置１５０１は、車両周囲の画像を撮影する。
図１５において、画像生成装置１５００は、１つまたは複数の撮像装置１５０１、他物体認識装置１５０３、他物体死角算出装置１５０５、および表示装置１５０６を備える。
撮像装置１５０１は、例えば、カメラであり、撮像装置配置物体に取り付けられ画像を撮像し、撮影画像データ１５０２としてデータベースに格納する。撮像装置配置物体が車両であれば、撮像装置１５０１は、車両周囲の画像を撮影する。
他物体認識装置１５０３は、上記撮像装置１５０１によって撮像された撮像データに基づいて、上記撮像装置配置物体と異なる他物体を認識する。例えば、撮像装置配置物体が車両であれば、先行する車両、対向する車両、歩行者等を認識する。
さらに、他物体死角算出装置１５０５は、所定の他物体に関するデータを示す他物体データ１５０４に基づいて、上記他物体認識装置１５０３によって認識された他物体の死角となる領域を示す他物体死角情報を算出する。例えば、撮像装置配置物体が車両であり、撮像装置配置物体とは異なる他物体も車両であれば、算出される死角領域は、他物体である車両の運転者にとっての死角となる領域である。また、領域他物体データ１５０４は、撮像装置配置物体モデル１５０４が格納されたデータベースを用いることが望ましい。
さらに、他物体死角算出装置１５０５は、所定の他物体に関するデータを示す他物体データ１５０４に基づいて、上記他物体認識装置１５０３によって認識された他物体の死角となる領域を示す他物体死角情報を算出する。例えば、撮像装置配置物体が車両であり、撮像装置配置物体とは異なる他物体も車両であれば、算出される死角領域は、他物体である車両の運転者にとっての死角となる領域である。また、領域他物体データ１５０４は、撮像装置配置物体モデル１５０４が格納されたデータベースを用いることが望ましい。
そして、表示装置１５０６は、他物体である上記撮像装置配置物体モデル１５０４とともに上記他物体死角算出装置１５０５によって算出された他物体死角情報を表示する。
図１６は、他物体死角情報を表示した表示例を示す図である。
図１６において、他物体は、カメラで撮像した画像に基づき認識し、他物体データ１５０４に基づいて、先行する車両であると認識したものである。そして、他物体データ１５０４に基づいて算出された他物体死角情報が表示されている。これにより、自車両が他物体の死角に入ってしまうことが認識できる。
図１６は、他物体死角情報を表示した表示例を示す図である。
図１６において、他物体は、カメラで撮像した画像に基づき認識し、他物体データ１５０４に基づいて、先行する車両であると認識したものである。そして、他物体データ１５０４に基づいて算出された他物体死角情報が表示されている。これにより、自車両が他物体の死角に入ってしまうことが認識できる。
図１７は、他物体死角情報を表示するための画像生成処理の流れを示すフローチャートである。
まず、ステップＳ１７０１において、車両等に物体に取り付けられているカメラを用いて、当該車両の周囲の画像を撮像する。
まず、ステップＳ１７０１において、車両等に物体に取り付けられているカメラを用いて、当該車両の周囲の画像を撮像する。
そして、ステップＳ１７０２において、撮像された撮像データに基づいて、上記撮像装置配置物体と異なる他物体、例えば、先行する車両、対向する車両、歩行者等を認識する。
次に、ステップＳ１７０３において、所定の他物体に関するデータを示す他物体データ１５０４に基づいて、上記認識された他物体である車両等の死角となる領域を示す他物体死角情報を算出する。
次に、ステップＳ１７０３において、所定の他物体に関するデータを示す他物体データ１５０４に基づいて、上記認識された他物体である車両等の死角となる領域を示す他物体死角情報を算出する。
そして、他物体である上記撮像装置配置物体モデル１５０４とともに上記他物体死角算出装置１５０５によって算出された他物体死角情報を表示する。また、前記衝突危険度を自車両が、他物体の死角に入っている場合にはより危険な状態としてその衝突可能性の表示形態をさらに変化させても良い。
また、これらの実施の形態は、次に述べるように拡張することが可能である。
これまで述べてきた実施の形態においては、車両を撮像装置配置物体とし、これに搭載された撮像装置１０７、１５０１による画像を用いていたが、これは、カメラパラメータが既知、もしくは算出、計測可能である場合において、道路に面した構造物や、店舗内等に設置された監視カメラの画像を含めても同様に扱うことができる。測距装置１０１、１０２についてもカメラと同様に配置し、その位置、姿勢が既知もしくは算出、計測可能である場合において、道路に面した構造物や、店舗内等に設置された測距装置１０１、１０２からの距離情報（距離画像データ２０２）を用いることができる。
これまで述べてきた実施の形態においては、車両を撮像装置配置物体とし、これに搭載された撮像装置１０７、１５０１による画像を用いていたが、これは、カメラパラメータが既知、もしくは算出、計測可能である場合において、道路に面した構造物や、店舗内等に設置された監視カメラの画像を含めても同様に扱うことができる。測距装置１０１、１０２についてもカメラと同様に配置し、その位置、姿勢が既知もしくは算出、計測可能である場合において、道路に面した構造物や、店舗内等に設置された測距装置１０１、１０２からの距離情報（距離画像データ２０２）を用いることができる。
すなわち、視点変換画像を表示する表示装置１１４、３１４、１５０６と、撮像装置１０７、１５０１が必ずしも同一の撮像装置配置物体上に設置されている必要はなく、相対的に移動している障害物が存在すればよい。
また、装置構成上、複数の画像生成装置１００、２００、３００、１３００、１５００（同種の画像生成装置が複数で構成されていてもよいし、異種の画像生成装置が複数で構成されていてもよい。例えば画像生成装置１００が複数であってもよいし、画像生成装置１００と画像生成装置２００とにより構成されていてもよい。以下、同様。）が相互にデータのやり取りを実施するようにしてもよい。
また、装置構成上、複数の画像生成装置１００、２００、３００、１３００、１５００（同種の画像生成装置が複数で構成されていてもよいし、異種の画像生成装置が複数で構成されていてもよい。例えば画像生成装置１００が複数であってもよいし、画像生成装置１００と画像生成装置２００とにより構成されていてもよい。以下、同様。）が相互にデータのやり取りを実施するようにしてもよい。
これらの場合は、上述の実施形態の各データ、モデルを、各々の視点を利用する形態に応じて座標変換を実施する座標変換装置を備えた通信装置によりそれぞれの画像生成装置１００、２００、３００、１３００、１５００との間を通信すると共に、その基準座標を算出する座標姿勢算出装置を有する。
座標姿勢算出装置は、視点変換画像を生成する位置姿勢を算出する装置であり、これは、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などによる緯度経度高度方位のデータを用いて仮想視点の座標を設定しても良く、他の画像生成装置１００、２００、３００、１３００、１５００との相対位置座標を算出することにより、本画像生成装置１００、２００、３００、１３００、１５００群内での相対位置座標を求めることにより、座標変換を実施し、所定の視点変換画像を生成するようにしても良い。それらの座標系内で、所望の仮想視点を設定することに相当する。
また、観察者が人物である場合は、例えばＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などを装着しており視点変換画像を観察できると共に、撮像装置配置物体のカメラによって捉えられた観察者自らの位置、姿勢、方向が計測され得るようにしても良い。観察者である人物に装着するＧＰＳやジャイロセンサー、カメラ装置、人物の視線検出装置などで計測した座標姿勢情報を併用しても良い。
この観察者の視点を仮想視点として設定することにより、観察者にとっての移動情報、衝突可能性、死角等を算出できる。これにより人物は、自らにとっての障害物をＨＭＤなどに表示された仮想視点画像上で把握することが出来、自らに対する脅威、例えば物陰に隠れていたり、観察者の後方に潜んでいたりする不審者、犬、車両などを認知することができ、さらには、遠方の物体であってもそれに近接した撮像装置配置物体や画像生成装置の画像と空間モデルを用いることによりより正確に、精度良く生成された多視点変換画像を用いることができる。
また、上述した各実施の形態において、上述のように２眼のステレオカメラである場合に加え、複数の撮像装置は、それらによって、いわゆる３眼ステレオカメラを構成するように用いても、あるいは４眼ステレオカメラを構成するように用いてもよい。このように３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等）。特に複数カメラを２方向の基線長を持つように配置すると、より複雑なシーンで３次元再構成が可能になることが知られている。また１つの基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ計測が可能となる。
当然ながら、人物ではなくこれが車両などの移動物体の場合でも適応可能である。
上述のように、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用される画像生成装置は、その機能が実行されるのであれば、上述の各実施の形態に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
上述のように、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用される画像生成装置は、その機能が実行されるのであれば、上述の各実施の形態に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記録媒体、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフトェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記録媒体を、画像生成装置に供給し、その画像生成装置のコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、可搬記録媒体等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記録媒体等は本発明を構成することになる。
プログラムコードを供給するための可搬記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記録媒体などを用いることができる。
プログラムコードを供給するための可搬記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記録媒体などを用いることができる。
また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によっても前述した各実施の形態の機能が実現される。
さらに、可搬型記録媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した各実施の形態の機能が実現され得る。
すなわち、本発明は、以上に述べた各実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。
１００ 画像生成装置
１０１ 測距装置
１０２ 距離画像データ
１０３ 空間モデル生成装置
１０４ 空間モデル
１０５ キャリブレーション装置
１０６ キャリブレーションデータ
１０７ 撮像装置
１０８ 撮像画像データ
１０９ 空間再構成装置
１１０ 撮像装置配置物体モデル
１１１ 空間データ
１１２ 視点変換装置
１１３ 視点変換画像データ
１１４ 表示装置
２００ 画像生成装置
２０１ 測距装置
２０２ 距離画像データ
３００ 画像生成装置
３１４ 表示装置
３１５ 移動情報算出装置
３１６ 衝突可能性算出装置
３１７ 死角算出装置
３１８ 他物体認識装置
３１９ 他物体死角算出装置
１３００ 画像生成装置
１５００ 画像生成装置
１５０１ 撮像装置
１５０２ 撮像画像データ
１５０３ 他物体認識装置
１５０４ 他物体データ
１５０５ 他物体死角算出装置
１５０６ 表示装置
１０１ 測距装置
１０２ 距離画像データ
１０３ 空間モデル生成装置
１０４ 空間モデル
１０５ キャリブレーション装置
１０６ キャリブレーションデータ
１０７ 撮像装置
１０８ 撮像画像データ
１０９ 空間再構成装置
１１０ 撮像装置配置物体モデル
１１１ 空間データ
１１２ 視点変換装置
１１３ 視点変換画像データ
１１４ 表示装置
２００ 画像生成装置
２０１ 測距装置
２０２ 距離画像データ
３００ 画像生成装置
３１４ 表示装置
３１５ 移動情報算出装置
３１６ 衝突可能性算出装置
３１７ 死角算出装置
３１８ 他物体認識装置
３１９ 他物体死角算出装置
１３００ 画像生成装置
１５００ 画像生成装置
１５０１ 撮像装置
１５０２ 撮像画像データ
１５０３ 他物体認識装置
１５０４ 他物体データ
１５０５ 他物体死角算出装置
１５０６ 表示装置
Claims (12)
- 撮像手段配置物体に取り付けられ画像を撮像する１または複数の撮像手段と、
前記撮像手段によって撮像された撮像画像を空間モデルにマッピングする空間再構成手段と、
前記空間再構成手段によってマッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する視点変換手段と、
前記視点変換手段によって生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する表示手段と、
を備えた画像生成装置において、
前記視点変換手段によって生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、前記撮像手段配置物体の移動に関連する移動情報を算出する移動情報算出手段をさらに備え、
前記表示手段は、前記撮像手段配置物体に対応した撮像手段配置物体モデルの画像とともに前記移動情報算出手段によって算出された移動情報を表示することを特徴とする画像生成装置。 - 前記移動情報は、移動する方向を示す移動方向情報、予測される移動軌跡を示す移動軌跡情報、移動する速度を示す移動速度情報、予測される移動先の方位、地名、ランドマーク等に関する移動先情報の何れかであることを特徴とする請求項１に記載の画像生成装置。
- 夫々異なる時刻に対応した、前記視点変換手段によって生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、前記撮像手段配置物体モデルと前記空間モデルとが衝突する可能性を算出する衝突可能性算出手段をさらに備え、
前記表示手段は、前記視点変換手段によって生成された前記視点変換画像データによる画像に重畳して表示する撮像手段配置物体モデルの画像のうち、前記衝突可能性算出手段によって算出された衝突可能性を有する部分の表示形態を異ならせて表示することを特徴とする請求項１または２に記載の画像生成装置。 - 前記表示形態は、色、縁取り、警告アイコンの少なくともいずれか１つであることを特徴とする請求項３に記載の画像生成装置。
- 前記撮像手段配置物体に対応したデータによって表わされる撮像手段配置物体モデルに基づいて、前記撮像手段配置物体の所定の場所にとっての死角となる領域を示す死角情報を算出する死角算出手段をさらに備え、
前記表示手段は、前記撮像手段配置物体モデルとともに前記死角算出手段によって算出された死角情報を表示することを特徴とする請求項１乃至４の何れか１項に記載の画像生成装置。 - 前記視点変換手段によって変換された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、前記撮像手段配置物体とは異なる他物体を認識する他物体認識手段と、
所定の他物体に関するデータを示す他物体データに基づいて、前記他物体認識手段によって認識され他物体の死角となる領域を示す他物体死角情報を算出する他物体死角算出手段をさらに備え、
前記表示手段は、前記撮像手段配置物体モデルとともに前記他物体死角算出手段によって算出された当該他物体に係る死角情報を表示することを特徴とする請求項１乃至５の何れか１項に記載の画像生成装置。 - 撮像手段配置物体に取り付けられた、画像を撮像する１または複数の撮像手段と、
前記撮像手段によって撮像された撮像データに基づいて、前記撮像手段配置物体と異なる他物体を認識する他物体認識手段と、
所定の他物体に関するデータを示す他物体データに基づいて、前記他物体認識手段によって認識された他物体の死角となる領域を示す他物体死角情報を算出する他物体死角算出手段と、
前記撮像手段配置物体モデルとともに前記他物体死角算出手段によって算出された他物体死角情報を表示する表示手段と、
を備えたことを特徴とする画像生成装置。 - 前記撮像手段配置物体、または、他物体は、車両、歩行者、建築物、道路構造物などの少なくとも１つであることを特徴とする請求項１乃至７何れか１項に記載の画像生成装置。
- 撮像手段配置物体に取り付けられた、１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングし、
前記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成し、
前記生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する、コンピュータが実行する画像生成方法であって、
前記生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、前記撮像手段配置物体の移動に関連する移動情報をさらに算出し、
前記表示は、前記視点変換画像に前記撮像手段配置物体モデルの画像とともに前記移動情報を表示することを特徴とする画像生成方法。 - コンピュータに対して、
撮像手段配置物体に取り付けられた、１または複数の撮像装置によって撮像された撮像画像を空間モデルにマッピングする手順と、
前記マッピングされた空間データに基づいて、３次元空間における任意の仮想視点から見た視点変換画像データを生成する手順と、
前記生成された視点変換画像データに基づいて、前記３次元空間における任意の仮想視点から見た画像を表示する手順と、
を実行させるための画像生成プログラムであって、
前記生成された視点変換画像データ、前記撮像画像を表わす撮像画像データ、前記空間モデル、および前記マッピングされた空間データの何れかに基づいて、前記撮像手段配置物体の移動に関連する移動情報を算出する手順をさらに備え、
前記表示は、前記視点変換画像に前記撮像手段配置物体モデルの画像とともに前記移動情報を表示することを特徴とする画像生成プログラム。 - 撮像手段配置物体に取り付けられた、１または複数の撮像装置によって画像を撮像し、
前記撮像された撮像データに基づいて、前記撮像手段配置物体と異なる他物体を認識し、
所定の他物体に関するデータを示す他物体データに基づいて、前記認識された他物体の死角となる領域を示す他物体死角情報を算出し、
前記撮像手段配置物体モデルとともに前記算出された他物体死角情報を表示する、
コンピュータが実行する画像生成方法。 - コンピュータに対して、
撮像手段配置物体に取り付けられた、１または複数の撮像装置によって画像を撮像する手順と、
前記撮像された撮像データに基づいて、前記撮像手段配置物体と異なる他物体を認識する手順と、
所定の他物体に関するデータを示す他物体データに基づいて、前記認識された他物体の死角となる領域を示す他物体死角情報を算出する手順と、
前記撮像手段配置物体モデルとともに前記算出された他物体死角情報を表示する手順と、
を実行させるための画像生成プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004073887A JP2005268847A (ja) | 2004-03-16 | 2004-03-16 | 画像生成装置、画像生成方法、および画像生成プログラム |
| PCT/JP2005/002977 WO2005088971A1 (ja) | 2004-03-16 | 2005-02-24 | 画像生成装置、画像生成方法、および画像生成プログラム |
| US11/519,333 US20070009137A1 (en) | 2004-03-16 | 2006-09-12 | Image generation apparatus, image generation method and image generation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004073887A JP2005268847A (ja) | 2004-03-16 | 2004-03-16 | 画像生成装置、画像生成方法、および画像生成プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005268847A true JP2005268847A (ja) | 2005-09-29 |
Family
ID=34975976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004073887A Pending JP2005268847A (ja) | 2004-03-16 | 2004-03-16 | 画像生成装置、画像生成方法、および画像生成プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20070009137A1 (ja) |
| JP (1) | JP2005268847A (ja) |
| WO (1) | WO2005088971A1 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007153307A (ja) * | 2005-11-09 | 2007-06-21 | Nissan Motor Co Ltd | 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 |
| JP2007233770A (ja) * | 2006-03-01 | 2007-09-13 | Alpine Electronics Inc | 車載周辺状況提示装置 |
| JP2009231928A (ja) * | 2008-03-19 | 2009-10-08 | Alpine Electronics Inc | 音声改善装置および音声改善方法 |
| JP2010288060A (ja) * | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | 周辺表示装置 |
| JP2013025528A (ja) * | 2011-07-20 | 2013-02-04 | Nissan Motor Co Ltd | 車両用画像生成装置及び車両用画像生成方法 |
| CN103042972A (zh) * | 2011-10-13 | 2013-04-17 | 哈曼贝克自动系统股份有限公司 | 控制显示车辆环景的光学输出装置的方法及车辆环景系统 |
| WO2014148394A1 (ja) * | 2013-03-19 | 2014-09-25 | 株式会社日立国際電気 | 画像表示装置および画像表示方法 |
| JP2014532324A (ja) * | 2011-09-12 | 2014-12-04 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | 衝突に関連する状況においてドライバを支援するための運転支援システム |
| WO2017085857A1 (ja) * | 2015-11-20 | 2017-05-26 | 三菱電機株式会社 | 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム |
| JP2019032600A (ja) * | 2017-08-04 | 2019-02-28 | 日本電気株式会社 | 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム |
| JP2019129383A (ja) * | 2018-01-23 | 2019-08-01 | アルパイン株式会社 | 映像処理装置 |
| CN111213185A (zh) * | 2017-10-11 | 2020-05-29 | 罗伯特·博世有限公司 | 用于呈现车辆的摄像机系统的图像的方法 |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4596978B2 (ja) * | 2005-03-09 | 2010-12-15 | 三洋電機株式会社 | 運転支援システム |
| JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
| US8190355B2 (en) * | 2007-10-10 | 2012-05-29 | International Business Machines Corporation | Driving assistance and monitoring |
| US8170787B2 (en) * | 2008-04-15 | 2012-05-01 | Caterpillar Inc. | Vehicle collision avoidance system |
| EP2181880B1 (en) * | 2008-11-04 | 2012-01-04 | Volvo Car Corporation | Electronic arrangement for controlling a signal from an instrument |
| JP5109952B2 (ja) * | 2008-12-08 | 2012-12-26 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| FR2942342B1 (fr) * | 2009-02-13 | 2011-03-18 | Peugeot Citroen Automobiles Sa | Dispositif de fourniture d'images representatives de la zone avant situee devant un vehicule et de la position de ce dernier dans la zone situee en aval de cette zone avant, et procede associe |
| JP2010258691A (ja) * | 2009-04-23 | 2010-11-11 | Sanyo Electric Co Ltd | 操縦支援装置 |
| JP2011080845A (ja) * | 2009-10-06 | 2011-04-21 | Topcon Corp | ３次元データ作成方法及び３次元データ作成装置 |
| US9076045B2 (en) | 2009-10-07 | 2015-07-07 | Alon Atsmon | Automatic content analysis method and system |
| JP5135380B2 (ja) * | 2010-04-12 | 2013-02-06 | 住友重機械工業株式会社 | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム |
| JP5444139B2 (ja) * | 2010-06-29 | 2014-03-19 | クラリオン株式会社 | 画像のキャリブレーション方法および装置 |
| US20130286163A1 (en) * | 2010-11-08 | 2013-10-31 | X6D Limited | 3d glasses |
| US9443152B2 (en) | 2011-05-03 | 2016-09-13 | Ionroad Technologies Ltd. | Automatic image content analysis method and system |
| FR2979311B1 (fr) * | 2011-08-31 | 2014-08-15 | Peugeot Citroen Automobiles Sa | Dispositif de traitement pour associer a un element graphique une couleur en fonction d'un niveau de risque de collision d'un obstacle avec une trajectoire future d'un vehicule, pour un systeme d'aide a la conduite |
| DE102011083770A1 (de) * | 2011-09-29 | 2013-04-04 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur rechnergestützten Verarbeitung des Nahfeldes eines Fahrzeugs |
| JP5811804B2 (ja) * | 2011-11-24 | 2015-11-11 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
| TWI474173B (zh) * | 2012-02-21 | 2015-02-21 | Hon Hai Prec Ind Co Ltd | 行走輔助系統及行走輔助方法 |
| US9598836B2 (en) | 2012-03-29 | 2017-03-21 | Harnischfeger Technologies, Inc. | Overhead view system for a shovel |
| KR101896715B1 (ko) * | 2012-10-31 | 2018-09-07 | 현대자동차주식회사 | 주변차량 위치 추적 장치 및 방법 |
| DE102013107578A1 (de) | 2013-07-17 | 2015-01-22 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren und System zum Simulieren von Kameraeigenschaften |
| EP3343535A4 (en) * | 2015-08-28 | 2019-08-21 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM |
| JP6555195B2 (ja) * | 2016-06-13 | 2019-08-07 | 株式会社デンソー | 画像生成装置 |
| KR102462502B1 (ko) * | 2016-08-16 | 2022-11-02 | 삼성전자주식회사 | 스테레오 카메라 기반의 자율 주행 방법 및 그 장치 |
| US10315649B2 (en) * | 2016-11-29 | 2019-06-11 | Ford Global Technologies, Llc | Multi-sensor probabilistic object detection and automated braking |
| FR3098620B1 (fr) * | 2019-07-12 | 2021-06-11 | Psa Automobiles Sa | Procédé de génération d’une représentation visuelle de l’environnement de conduite d’un véhicule |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000064175A1 (fr) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et systeme de surveillance |
| JP2002029346A (ja) * | 2000-07-14 | 2002-01-29 | Hiroyuki Yokozawa | 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体 |
| JP2002314991A (ja) * | 2001-02-09 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| JP2002362270A (ja) * | 2001-06-11 | 2002-12-18 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI109436B (fi) * | 1999-04-16 | 2002-07-31 | Ericsson Telefon Ab L M | Tietojenkäsittely yhteydenottosolmussa |
-
2004
- 2004-03-16 JP JP2004073887A patent/JP2005268847A/ja active Pending
-
2005
- 2005-02-24 WO PCT/JP2005/002977 patent/WO2005088971A1/ja active Application Filing
-
2006
- 2006-09-12 US US11/519,333 patent/US20070009137A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000064175A1 (fr) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et systeme de surveillance |
| JP2002029346A (ja) * | 2000-07-14 | 2002-01-29 | Hiroyuki Yokozawa | 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体 |
| JP2002314991A (ja) * | 2001-02-09 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| JP2002362270A (ja) * | 2001-06-11 | 2002-12-18 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007153307A (ja) * | 2005-11-09 | 2007-06-21 | Nissan Motor Co Ltd | 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 |
| JP2007233770A (ja) * | 2006-03-01 | 2007-09-13 | Alpine Electronics Inc | 車載周辺状況提示装置 |
| JP4719590B2 (ja) * | 2006-03-01 | 2011-07-06 | アルパイン株式会社 | 車載周辺状況提示装置 |
| JP2009231928A (ja) * | 2008-03-19 | 2009-10-08 | Alpine Electronics Inc | 音声改善装置および音声改善方法 |
| JP2010288060A (ja) * | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | 周辺表示装置 |
| JP2013025528A (ja) * | 2011-07-20 | 2013-02-04 | Nissan Motor Co Ltd | 車両用画像生成装置及び車両用画像生成方法 |
| JP2014532324A (ja) * | 2011-09-12 | 2014-12-04 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | 衝突に関連する状況においてドライバを支援するための運転支援システム |
| CN103042972A (zh) * | 2011-10-13 | 2013-04-17 | 哈曼贝克自动系统股份有限公司 | 控制显示车辆环景的光学输出装置的方法及车辆环景系统 |
| JPWO2014148394A1 (ja) * | 2013-03-19 | 2017-02-16 | 株式会社日立国際電気 | 画像表示装置および画像表示方法 |
| JP5865547B2 (ja) * | 2013-03-19 | 2016-02-17 | 株式会社日立国際電気 | 画像表示装置および画像表示方法 |
| WO2014148394A1 (ja) * | 2013-03-19 | 2014-09-25 | 株式会社日立国際電気 | 画像表示装置および画像表示方法 |
| US9877011B2 (en) | 2013-03-19 | 2018-01-23 | Hitachi Kokusai Electric Inc. | Image display apparatus and image display method |
| WO2017085857A1 (ja) * | 2015-11-20 | 2017-05-26 | 三菱電機株式会社 | 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム |
| JP6150950B1 (ja) * | 2015-11-20 | 2017-06-21 | 三菱電機株式会社 | 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム |
| JP2019032600A (ja) * | 2017-08-04 | 2019-02-28 | 日本電気株式会社 | 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム |
| JP7157409B2 (ja) | 2017-08-04 | 2022-10-20 | 日本電気株式会社 | 三次元画像生成装置、三次元画像生成方法、および三次元画像生成プログラム |
| CN111213185A (zh) * | 2017-10-11 | 2020-05-29 | 罗伯特·博世有限公司 | 用于呈现车辆的摄像机系统的图像的方法 |
| JP2020537422A (ja) * | 2017-10-11 | 2020-12-17 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | 車両のカメラシステムの画像を描写する方法 |
| JP7105879B2 (ja) | 2017-10-11 | 2022-07-25 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | 車両のカメラシステムの画像を描写する方法 |
| JP2019129383A (ja) * | 2018-01-23 | 2019-08-01 | アルパイン株式会社 | 映像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20070009137A1 (en) | 2007-01-11 |
| WO2005088971A1 (ja) | 2005-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005268847A (ja) | 画像生成装置、画像生成方法、および画像生成プログラム | |
| CN110174093B (zh) | 定位方法、装置、设备和计算机可读存储介质 | |
| US11604076B2 (en) | Vision augmented navigation | |
| US20210058608A1 (en) | Method and apparatus for generating three-dimensional (3d) road model | |
| JP5208203B2 (ja) | 死角表示装置 | |
| US20140285523A1 (en) | Method for Integrating Virtual Object into Vehicle Displays | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| JP6950832B2 (ja) | 位置座標推定装置、位置座標推定方法およびプログラム | |
| JP2006279752A (ja) | 車両直下画像表示制御装置および車両直下画像表示制御プログラム | |
| JP6820561B2 (ja) | 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム | |
| JP2011170599A (ja) | 屋外構造物計測装置及び屋外構造物計測方法 | |
| KR20150041334A (ko) | Avm 시스템의 이미지 처리 방법 | |
| KR20200043252A (ko) | 차량의 부감 영상 생성 시스템 및 그 방법 | |
| CN207860066U (zh) | 一种全景记录辅助控制系统 | |
| JP6345381B2 (ja) | 拡張現実システム | |
| KR100550430B1 (ko) | 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법 | |
| JP2005258792A (ja) | 画像生成装置、画像生成方法、および画像生成プログラム | |
| KR102298047B1 (ko) | 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치 | |
| JP5196426B2 (ja) | ナビゲーション装置 | |
| US20240236281A9 (en) | Method and apparatus for generating 3d image by recording digital content | |
| KR20180054219A (ko) | 전방위 영상의 좌표 맵핑 방법 및 장치 | |
| JPWO2017199347A1 (ja) | 画像表示装置、画像表示方法及び画像表示プログラム | |
| CN113945220A (zh) | 导航方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100309 |