JP2017220923A - 画像生成装置、画像生成方法、およびプログラム - Google Patents
画像生成装置、画像生成方法、およびプログラム Download PDFInfo
- Publication number
- JP2017220923A JP2017220923A JP2017051901A JP2017051901A JP2017220923A JP 2017220923 A JP2017220923 A JP 2017220923A JP 2017051901 A JP2017051901 A JP 2017051901A JP 2017051901 A JP2017051901 A JP 2017051901A JP 2017220923 A JP2017220923 A JP 2017220923A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- reflection
- distance
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 59
- 230000005540 biological transmission Effects 0.000 claims description 117
- 230000010287 polarization Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 239000011521 glass Substances 0.000 description 138
- 238000004364 calculation method Methods 0.000 description 38
- 238000001514 detection method Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 33
- 230000002093 peripheral effect Effects 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 240000004050 Pentaglottis sempervirens Species 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
- B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
Description
先述したように、従来の技術によれば、例えばガラス面などの透過物体または反射物体を、ドライバーが容易に認識できる態様で車両周辺画像中に表示することが考慮されていない。
以下、実施の形態1に係る画像生成装置について、車両に搭載され、搭乗者(特にはドライバー)に呈示される車両周辺画像を生成する画像生成装置の例を用いて説明する。
画像取得部101は、カメラ120からカメラ画像を取得する。カメラ画像は、例えば、ステレオ画像である。より具体的には、画像取得部101は、複数のカメラで撮像された複数のカメラ画像を取得する。
距離算出部102は、取得したカメラ画像とカメラパラメータ(後述)に基づき、カメラ画像に射影される車両周辺の空間内の点とカメラとの距離を算出する。
透過物体検出部103は、カメラ画像における透過物体または反射物体の位置を検出する。つまり、カメラ画像のどの部分に透過物体または反射物体が写っているかを検出する。
画像生成部104は、少なくとも1つのカメラ画像と、算出された距離とを用いて、カメラ画像と異なる視点を有する生成画像である車両周辺画像を生成する。カメラ画像と異なる視点の例は、車両を上方から見た視点、または車両を後方から見た視点である。
(非特許文献2)M. Werlberger, T. Pock, H. Bischof, "Motion estimation with non-local total variation regularization," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.2464-2471, 13-18 June 2010
Y. Liu, "Entrance detection from street-view images," Scene Understanding Workshop (SUNw), 2014
ータグラフィックス 理論と実践," オーム社, pp.231-279
実施の形態1では車両後部に設けたカメラ120により、車両後方の画像および周辺環境の3次元位置を取得する例について説明した。これは、カメラの設置場所、および撮影向き及び/または撮影範囲を限定するものではなく、車両周辺を撮影できれば、他の位置及び/または、他の撮影方向となるよう設置してもよい。
実施の形態1で説明した画像生成装置100では、ガラス領域に、複数カメラで撮影した画像をそのまま合成して、生成画像を生成する。
実施の形態1で説明した画像生成装置100では、図5A、図5Bに示すような、カメラ画像におけるガラス領域の画像をそのまま合成して、生成画像を生成するため、映りこみ成分と透過成分とが混在し、生成画像が煩雑で見づらくなることがある。
SIGGRAPH) 34(4), 2015
本開示に係る画像生成装置の目的は、安全運転の支援であり、ドライバーにとって危険なガラス面を知らせることである。したがって、必ずしも車両周辺にある全てのガラス面を検出し、距離を補正する必要はない。例えば、衝突の危険性が低いガラス面については、検出、距離推定、距離補正のうちの1つ以上の処理を省略し、従来法に従って視点変換して生成画像を生成してもよい。これにより、より少ない計算コストで、安全運転の支援に有用な生成画像を得ることができる。
なお、変形例に係る画像生成装置は、生成した車両周辺画像を表示するための表示部を有していてもよい。
101 画像取得部
102 距離算出部
103、103b 透過物体検出部
104、104a 画像生成部
105 車載センサ情報取得部
106 表示部
107 カメラ画像
108 車両周辺画像
109 車載センサ情報
120、120a〜120d、1201、1202 カメラ
130 ディスプレイ
200 コンピュータ
201 I/F
202 CPU
203 ROM
204 RAM
205 HDD
206 ビデオカード
300、301、302 ガラス面
310 自車
311 木
320 室内照明
340 窓枠
350 建物
360 着目点
361 実像
362 虚像
370 進行方向
371、372 領域
1041 反射成分分離部
1042 反射成分合成部
Claims (19)
- ディスプレイに表示される画像を生成する画像生成装置であって、
少なくとも1つのメモリと、制御回路とを備え、
前記制御回路は、
(a)車両に設置される複数のカメラで撮像された複数のカメラ画像を取得し、
(b)前記複数のカメラ画像を用いて、3次元空間における、前記カメラ画像に含まれる対象物と前記カメラとの距離を算出し、
(c)前記カメラ画像における透過物体または反射物体の位置を検出し、
(d)前記複数のカメラ画像の少なくとも1つと、前記距離とを用いて、前記複数のカメラ画像と異なる視点を有する生成画像を生成し、前記生成画像における前記透過物体または反射物体の位置に、所定の画像が表示されている、
画像生成装置。 - 前記制御回路は、
さらに、
(e)前記透過物体または反射物体と前記カメラとの距離を推定し、
(f)前記カメラ画像の前記透過物体または反射物体の位置の前記対象物と前記カメラとの距離を、前記推定された距離に補正し、
前記(d)において、前記複数のカメラ画像と、前記補正された距離とを用いて、前記生成画像を生成する、
請求項1に記載の画像生成装置。 - 前記(a)において、偏光板を通して撮像を行う偏光カメラで撮像された偏光カメラ画像を取得し、
前記(c)において、前記偏光カメラ画像の輝度が周期的に変動する位置を、前記透過物体または反射物体の位置として検出する、
請求項1に記載の画像生成装置。 - 前記制御回路は、
さらに、
(g)複数の遠赤外線カメラで撮像された複数の赤外線カメラ画像を取得し、
(h)前記複数の赤外線カメラ画像を用いて、3次元空間における、前記赤外線カメラ画像に含まれる対象物と前記赤外線カメラとの距離を算出し、
前記(c)において、前記カメラ画像を用いて算出された距離と前記赤外線カメラ画像を用いて算出された距離との差が、予め定めた閾値よりも大きい位置を、前記透過物体または反射物体の位置として検出する、
請求項1に記載の画像生成装置。 - 前記(c)において、前記カメラ画像に含まれる枠状物を認識し、認識された枠状物の内部領域を前記透過物体または反射物体の位置として検出する、
請求項1に記載の画像生成装置。 - 前記(d)において、前記生成画像における前記透過物体または反射物体の位置に、前記複数のカメラ画像のうち何れか1つのカメラ画像の一部を表示する、
請求項1に記載の画像生成装置。 - 前記(d)において、前記生成画像における前記透過物体または反射物体の位置に、前記複数のカメラ画像のうち、前記透過物体または反射物体をより広い面積で含むカメラ画像を優先的に表示する、 請求項1に記載の画像生成装置。
- 前記(d)において、前記生成画像における複数の透過物体または反射物体のそれぞれの位置に、前記複数のカメラ画像のうち、当該透過物体または反射物体をより広い面積で含むカメラ画像を優先的に表示する、
請求項7に記載の画像生成装置。 - 前記制御回路は、さらに、
(i)前記カメラ画像の前記透過物体の位置に含まれる透過成分と反射成分とを分離し、
前記(d)において、前記生成画像における前記透過物体の位置に、前記透過成分と前記反射成分とを所定の比率で重み付けをして表示する、
請求項1に記載の画像生成装置。 - 前記(i)において、偏光板を通して撮像を行う偏光カメラで撮像された偏光カメラ画像を取得し、前記偏光カメラ画像を用いて前記透過成分と前記反射成分とを分離する、
請求項9に記載の画像生成装置。 - 前記(d)において、前記所定の比率をユーザから受け付け、前記生成画像における前記透過物体の位置に、前記透過成分と前記反射成分とを前記ユーザから受け付けた比率で重み付けをして表示する、
請求項9に記載の画像生成装置。 - 前記(d)において、前記生成画像における前記透過物体の位置に、前記透過成分と前記反射成分とを、外光が明るいほど前記反射成分の重みが前記透過成分の重みに対して小さくなる重み付けをして表示する、
請求項9に記載の画像生成装置。 - 前記(d)において、前記カメラ画像が適正な露出状態を表す所定の条件を満たさない場合、前記生成画像に、ドライバーに車両の周囲を目視するよう促すメッセージを表示する、
請求項1に記載の画像生成装置。 - 前記複数のカメラは、前記車両の前方を撮像する第1のカメラと、前記車両の後方を撮像する第2のカメラとを含み、
前記処理回路は、
さらに、
(j)前記車両の進行方向を取得し、
前記(c)において、前記第1のカメラ及び前記第2のカメラのうち、前記車両の進行方向と同じ方向を撮像するカメラのカメラ画像を用いて、前記透過物体または反射物体の位置を検出する、
請求項1に記載の画像生成装置。 - 前記(c)において、前記推定された前記透過物体または反射物体と前記カメラとの距離が所定の閾値よりも大きければ、前記透過物体または反射物体の位置の前記対象物と前記カメラとの距離を補正しない、
請求項2に記載の画像生成装置。 - 前記(c)において、検出された前記透過物体または反射物体の最下端が路面から所定の閾値以上の高さであれば、前記透過物体または反射物体と前記カメラとの距離を推定せず、前記透過物体または反射物体の位置に射影される空間内の点と前記カメラとの距離を補正しない、
請求項2に記載の画像生成装置。 - 前記(c)において、検出された前記透過物体または反射物体のサイズが所定の閾値よりも小さければ、前記透過物体または反射物体と前記カメラとの距離を推定せず、前記透過物体または反射物体の位置に射影される空間内の点と前記カメラとの距離を補正しない、
請求項2に記載の画像生成装置。 - 車両に設置されるディスプレイに表示される画像を生成する画像生成方法であって、
(a)前記車両に設置される複数のカメラで撮像された複数のカメラ画像を取得し、
(b)前記複数のカメラ画像を用いて、前記カメラ画像に射影される空間内の点と前記カメラとの距離を算出し、
(c)前記カメラ画像における透過物体または反射物体の位置を検出し、
(d)前記複数のカメラ画像と、前記距離とを用いて、前記複数のカメラ画像と異なる視点を有する生成画像を生成し、前記生成画像における前記透過物体または反射物体の位置に、所定の画像が表示されている、
画像生成方法。 - 請求項18に記載の画像生成方法をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016113886 | 2016-06-07 | ||
JP2016113886 | 2016-06-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017220923A true JP2017220923A (ja) | 2017-12-14 |
JP6868805B2 JP6868805B2 (ja) | 2021-05-12 |
Family
ID=59061777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017051901A Active JP6868805B2 (ja) | 2016-06-07 | 2017-03-16 | 画像生成装置、画像生成方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (4) | US11056001B2 (ja) |
EP (1) | EP3264367A3 (ja) |
JP (1) | JP6868805B2 (ja) |
CN (1) | CN107472135B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020174623A1 (ja) * | 2019-02-27 | 2020-09-03 | オリンパス株式会社 | 情報処理装置、移動体及び学習装置 |
WO2023112971A1 (ja) * | 2021-12-14 | 2023-06-22 | 株式会社Jvcケンウッド | 三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018131165A1 (ja) * | 2017-01-16 | 2018-07-19 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
GB2558661B (en) * | 2017-01-16 | 2019-06-12 | Jaguar Land Rover Ltd | Vehicle lighting system |
KR20180084496A (ko) * | 2017-01-17 | 2018-07-25 | 엘지전자 주식회사 | 차량 및 차량의 디스플레이 제어 방법 |
US10861359B2 (en) * | 2017-05-16 | 2020-12-08 | Texas Instruments Incorporated | Surround-view with seamless transition to 3D view system and method |
US10664962B1 (en) * | 2017-12-13 | 2020-05-26 | Amazon Technologies, Inc. | Determining direction of illumination |
US10699152B1 (en) | 2017-12-13 | 2020-06-30 | Amazon Technologies, Inc. | Image data illumination detection |
JP7353747B2 (ja) * | 2018-01-12 | 2023-10-02 | キヤノン株式会社 | 情報処理装置、システム、方法、およびプログラム |
US10890758B1 (en) * | 2018-03-23 | 2021-01-12 | Amazon Technologies, Inc. | Moisture deflection apparatus for aerial vehicle cameras |
CN108416321A (zh) * | 2018-03-23 | 2018-08-17 | 北京市商汤科技开发有限公司 | 用于预测目标对象运动朝向的方法、车辆控制方法及装置 |
WO2019186863A1 (ja) * | 2018-03-29 | 2019-10-03 | 三菱電機株式会社 | 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム |
CN108665541B (zh) | 2018-04-09 | 2019-06-07 | 北京三快在线科技有限公司 | 一种基于激光传感器的地图生成方法及装置和机器人 |
WO2019202628A1 (ja) * | 2018-04-16 | 2019-10-24 | 三菱電機株式会社 | 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法 |
CN108995592B (zh) * | 2018-08-02 | 2021-06-15 | 张士文 | 汽车影像系统 |
CN112930557A (zh) * | 2018-09-26 | 2021-06-08 | 相干逻辑公司 | 任何世界视图生成 |
US10949685B2 (en) | 2019-07-22 | 2021-03-16 | Caterpillar Inc. | Excluding a component of a work machine from a video frame based on motion information |
US20210263513A1 (en) * | 2020-02-26 | 2021-08-26 | Polaris Industries Inc. | Environment monitoring system and method for a towed recreational vehicle |
US11722705B2 (en) * | 2020-03-26 | 2023-08-08 | Toyota Motor Engineering & Manufacturing North America, Inc. | Camera support by a vehicular micro cloud for remote driving |
US11651602B1 (en) * | 2020-09-30 | 2023-05-16 | X Development Llc | Machine learning classification based on separate processing of multiple views |
CN113103833A (zh) * | 2021-03-11 | 2021-07-13 | 上海交通大学 | 一种基于tof相机的自动倒车上挂系统及方法 |
CN113467450A (zh) * | 2021-07-01 | 2021-10-01 | 北京小狗吸尘器集团股份有限公司 | 无人机器控制方法、装置、计算机设备及存储介质 |
US20230138779A1 (en) * | 2021-11-03 | 2023-05-04 | Apple Inc. | Linear transform of undistorted image for fusion |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000067342A (ja) * | 1998-08-25 | 2000-03-03 | Hochiki Corp | 火災検出装置 |
JP2002098650A (ja) * | 2000-09-26 | 2002-04-05 | Matsushita Electric Works Ltd | 透明体検出方法およびそのシステム |
JP2010122821A (ja) * | 2008-11-18 | 2010-06-03 | Fujitsu Ten Ltd | 車両運転支援装置 |
JP2010146094A (ja) * | 2008-12-16 | 2010-07-01 | Nec Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
WO2012073722A1 (ja) * | 2010-12-01 | 2012-06-07 | コニカミノルタホールディングス株式会社 | 画像合成装置 |
US20120300075A1 (en) * | 2011-05-24 | 2012-11-29 | Fujitsu Ten Limited | Image display system, image processing apparatus, and image display method |
JP2013025544A (ja) * | 2011-07-20 | 2013-02-04 | Nissan Motor Co Ltd | 周囲環境認識装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5497824A (en) * | 1990-01-18 | 1996-03-12 | Rouf; Mohammad A. | Method of improved heat transfer |
JP3658036B2 (ja) * | 1994-06-03 | 2005-06-08 | キヤノン株式会社 | 画像入力システム及び画像入力システムの制御方法 |
US6891563B2 (en) * | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
JP3286306B2 (ja) * | 1998-07-31 | 2002-05-27 | 松下電器産業株式会社 | 画像生成装置、画像生成方法 |
US6184781B1 (en) * | 1999-02-02 | 2001-02-06 | Intel Corporation | Rear looking vision system |
US7366595B1 (en) * | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
JP2002049403A (ja) * | 2000-08-07 | 2002-02-15 | Shin Caterpillar Mitsubishi Ltd | 建設機械における音声機体制御装置 |
KR100892269B1 (ko) * | 2001-06-15 | 2009-04-09 | 가부시키가이샤 고마쓰 세이사쿠쇼 | 건설기계 |
JP4342146B2 (ja) * | 2002-04-08 | 2009-10-14 | アイシン精機株式会社 | 駐車補助装置 |
JP2007240314A (ja) * | 2006-03-08 | 2007-09-20 | Omron Corp | 物体検出装置 |
KR100966288B1 (ko) * | 2009-01-06 | 2010-06-28 | 주식회사 이미지넥스트 | 주변 영상 생성 방법 및 장치 |
JP5344227B2 (ja) * | 2009-03-25 | 2013-11-20 | アイシン精機株式会社 | 車両用周辺監視装置 |
WO2010137265A1 (ja) * | 2009-05-25 | 2010-12-02 | パナソニック株式会社 | 車両周囲監視装置 |
JP5299101B2 (ja) * | 2009-06-11 | 2013-09-25 | コニカミノルタ株式会社 | 周辺表示装置 |
US9332229B2 (en) * | 2010-06-18 | 2016-05-03 | Hitachi Construction Machinery Co., Ltd. | Surrounding area monitoring device for monitoring area around work machine |
KR101803973B1 (ko) * | 2011-05-09 | 2017-12-01 | 엘지이노텍 주식회사 | 주차용 카메라 시스템과 그의 구동 방법 |
JP6014442B2 (ja) * | 2012-09-27 | 2016-10-25 | 富士通テン株式会社 | 画像生成装置、画像表示システム、および、画像生成方法 |
EP2884460B1 (en) * | 2013-12-13 | 2020-01-01 | Panasonic Intellectual Property Management Co., Ltd. | Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium |
EP3627360A1 (en) * | 2018-09-21 | 2020-03-25 | Bricsys NV | Improved annotation positioning in a cad drawing |
-
2017
- 2017-03-16 JP JP2017051901A patent/JP6868805B2/ja active Active
- 2017-05-09 CN CN201710321538.6A patent/CN107472135B/zh active Active
- 2017-05-22 EP EP17172169.9A patent/EP3264367A3/en active Pending
- 2017-05-30 US US15/608,021 patent/US11056001B2/en active Active
-
2020
- 2020-02-20 US US16/795,740 patent/US11183067B2/en active Active
-
2021
- 2021-08-31 US US17/462,310 patent/US11615709B2/en active Active
-
2023
- 2023-02-16 US US18/110,462 patent/US11948462B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000067342A (ja) * | 1998-08-25 | 2000-03-03 | Hochiki Corp | 火災検出装置 |
JP2002098650A (ja) * | 2000-09-26 | 2002-04-05 | Matsushita Electric Works Ltd | 透明体検出方法およびそのシステム |
JP2010122821A (ja) * | 2008-11-18 | 2010-06-03 | Fujitsu Ten Ltd | 車両運転支援装置 |
JP2010146094A (ja) * | 2008-12-16 | 2010-07-01 | Nec Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
WO2012073722A1 (ja) * | 2010-12-01 | 2012-06-07 | コニカミノルタホールディングス株式会社 | 画像合成装置 |
US20130250070A1 (en) * | 2010-12-01 | 2013-09-26 | Konica Minolta, Inc. | Image synthesis device |
US20120300075A1 (en) * | 2011-05-24 | 2012-11-29 | Fujitsu Ten Limited | Image display system, image processing apparatus, and image display method |
JP2012244600A (ja) * | 2011-05-24 | 2012-12-10 | Fujitsu Ten Ltd | 画像表示システム、画像処理装置、及び、画像表示方法 |
JP2013025544A (ja) * | 2011-07-20 | 2013-02-04 | Nissan Motor Co Ltd | 周囲環境認識装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020174623A1 (ja) * | 2019-02-27 | 2020-09-03 | オリンパス株式会社 | 情報処理装置、移動体及び学習装置 |
JPWO2020174623A1 (ja) * | 2019-02-27 | 2021-09-30 | オリンパス株式会社 | 情報処理装置、移動体及び学習装置 |
JP7142851B2 (ja) | 2019-02-27 | 2022-09-28 | オリンパス株式会社 | 情報処理装置、移動体及び学習装置 |
WO2023112971A1 (ja) * | 2021-12-14 | 2023-06-22 | 株式会社Jvcケンウッド | 三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230196921A1 (en) | 2023-06-22 |
US11615709B2 (en) | 2023-03-28 |
EP3264367A2 (en) | 2018-01-03 |
US20170352275A1 (en) | 2017-12-07 |
EP3264367A3 (en) | 2018-03-14 |
JP6868805B2 (ja) | 2021-05-12 |
US11056001B2 (en) | 2021-07-06 |
US20210398430A1 (en) | 2021-12-23 |
US11183067B2 (en) | 2021-11-23 |
CN107472135B (zh) | 2022-03-25 |
CN107472135A (zh) | 2017-12-15 |
US11948462B2 (en) | 2024-04-02 |
US20200193832A1 (en) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6868805B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
US11616919B2 (en) | Three-dimensional stabilized 360-degree composite image capture | |
CN108140235B (zh) | 用于产生图像视觉显示的系统和方法 | |
EP2992508B1 (en) | Diminished and mediated reality effects from reconstruction | |
US10523865B2 (en) | Three dimensional rendering for surround view using predetermined viewpoint lookup tables | |
EP3195584B1 (en) | Object visualization in bowl-shaped imaging systems | |
JP5208203B2 (ja) | 死角表示装置 | |
CN108801209A (zh) | 拍摄装置、图像处理方法以及程序 | |
CN109754363B (zh) | 基于鱼眼相机的环视图像合成方法和装置 | |
WO2021237471A1 (en) | Depth-guided video inpainting for autonomous driving | |
US11528453B2 (en) | Sensor fusion based perceptually enhanced surround view | |
JP7263731B2 (ja) | 画像処理装置 | |
CN112912895B (zh) | 一种检测方法、装置和车辆 | |
JP2016224610A (ja) | 描画装置、描画方法および描画プログラム | |
JP2009077022A (ja) | 運転支援システム及び車両 | |
US20240075876A1 (en) | Below vehicle rendering for surround view systems | |
JPWO2020164671A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210309 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210325 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6868805 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |