JP2022101979A - 画像生成装置、画像生成方法 - Google Patents
画像生成装置、画像生成方法 Download PDFInfo
- Publication number
- JP2022101979A JP2022101979A JP2020216417A JP2020216417A JP2022101979A JP 2022101979 A JP2022101979 A JP 2022101979A JP 2020216417 A JP2020216417 A JP 2020216417A JP 2020216417 A JP2020216417 A JP 2020216417A JP 2022101979 A JP2022101979 A JP 2022101979A
- Authority
- JP
- Japan
- Prior art keywords
- image
- road
- vehicle
- region
- projection surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 17
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 14
- 239000002131 composite material Substances 0.000 claims description 96
- 239000011435 rock Substances 0.000 claims description 40
- 230000002194 synthesizing effect Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 5
- 239000013256 coordination polymer Substances 0.000 description 60
- 239000000203 mixture Substances 0.000 description 25
- 238000012545 processing Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 16
- 230000002093 peripheral effect Effects 0.000 description 15
- 240000004050 Pentaglottis sempervirens Species 0.000 description 14
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
- B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
- B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
本実施形態の自車両は一例として、整備された道路上(つまりオンロード)だけでなく、オフロードを走行することも想定された四輪駆動車であって、走行モードとして、オンロードの走行に適した通常モードと、オフロードモードを備える。また、自車両はオフロードモードとして、泥ねい路や砂地路などの滑りやすい路面の走行に適した第1オフロードモードと、モーグル路や岩石路などの凹凸の大きい路面の走行に適した第2オフロードモードとを備えうる。各走行モードは、各車輪への駆動力の分配制御の方式が異なる。なお、ここでのオフロードとは、主として岩石路などの凹凸が大きい地面を指すものとする。もちろん、オフロードは、オンロード以外の地面、すなわち整備されていない地面全般と解することもできる。
図1は、本開示に係る周辺表示システムSysの概略的な構成の一例を示す図である。図1に示すように、周辺表示システムSysは、画像生成ECU1、複数のカメラ2、ディスプレイ3、タッチパネル4、操作ボタン5、車両状態センサ6、ソナーECU7、複数のソナー8、及び統合ECU9を備える。なお、部材名称中のECUは、Electronic Control Unitの略であり、電子制御装置を意味する。
画像生成ECU1は、図4に示すように機能部として画像取得部F1、操作受付部F2、車両状態取得部F3、障害物情報取得部F4、画像認識部F5、表示制御部F6、画像合成部F7、表示画像生成部F8、及び画像出力部F9を備えている。
ここでは合成画像CPを生成するために使用される通常投影面TS1について説明する。通常投影面TS1は、下に凸の曲面を有するお椀形状をしている。図8は、自車両の左右方向に沿った通常投影面TS1の断面を示す図であり、図9は、自車両の前後方向に沿った通常投影面TS1の断面を示す図である。図に示すように、通常投影面TS1は、概略的には、車両領域R0の近傍では車両水平方向に沿った平面として形成されており、かつ、車両領域R0から離れるほど傾き(勾配)が大きくなる形状を有している。本明細書において、投影面TSの「傾き」とは、車両水平方向の単位長さに対する垂直方向の長さを表す。投影面TSの各位置の「傾き」は、当該位置に対する接線の傾きであるともいえる。
係数a1は、曲面領域R2の傾き度合いを規定するパラメータであって、傾き係数と呼ぶこともできる。a1の大きさは適宜設計されうる。すなわち、係数a1が大きいほど、曲面領域R2の傾きは大きくなる。もちろん、曲面領域R2のモデルは、2次曲線に限らず、円弧や、対数関数、指数関数であってもよい。
次に図10、図11を用いてオフロード用投影面TS2について説明する。オフロード用投影面TS2も通常投影面TS1と同様、合成画像CPを生成するための投影面TSであって、各カメラ画像が投影(換言すればテクスチャマッピング)される3次元モデルの表面に相当する。
a2は係数であり、曲面領域R2aの傾きの大きさを規定する。係数a2もまた、傾き係数と呼ぶことができる。係数a2が大きいほど、曲面領域R2aの傾きは大きくなる。係数a2は、上述した係数a1よりも大きい値に設定されている。つまり、オフロード用投影面TS2が備える曲面領域R2aは、通常投影面TS1を構成する曲面領域R2よりも傾きが急峻に形成されている。例えば、オフロード用投影面TS2が備える曲面領域R2aの傾きは、通常投影面TS1を構成する曲面領域R2の傾きの1.5倍以上に設定されている。例えばa2≧1.5・a1の関係を充足するように設定されている。
ここでは、画像合成部F7が、仮想視点VPからみた自車両の周辺の様子を示す合成画像CPを生成する手法について説明する。なお、ここでは投影面TSとして通常投影面TS1が適用される場合を例にとって合成画像CPの生成方法について説明する。投影面TSとしてオフロード用投影面TS2が適用される場合も同様とすることができる。
画像生成ECU1が合成画像CPを表示する際に実行する一連の処理である合成画像表示処理の流れについて、図14に示すフローチャートを用いて説明する。図14に示すフローチャートは、所定の表示開始条件が充足した場合に開始される。表示開始条件は、合成画像CPを表示するための条件、換言すれば、本フローを開始するための条件と解することができる。例えば画像生成ECU1は、ユーザによって表示切替スイッチ51が押下された場合に、表示開始条件が充足されたと判定する。その他、画像生成ECU1は、タッチパネル4を介して合成画像CPを表示させるための所定のユーザ操作が行われたことを検出した場合に、表示開始条件が充足したと判定するように構成されていても良い。つまり、操作受付部F2が合成画像CPを表示するための操作が行われたことを示す信号を取得したことに基づいて、本フローは開始されうる。
ここでは走行環境がオフロードである場合に、合成画像の生成に使用する投影面TSを、通常投影面TS1からオフロード用投影面TS2に切り替えることの効果について説明する。なお、前提としてオフロードにおいては、自車両がオンロードに存在する場合に比較して、岩や地形の段差などの立体物が車両周辺に連続的に複数存在する。また、オフロードでは、地面自体が平坦ではないことが多い。故に、走行環境がオフロードである場合においては、これらの岩石や地形についての立体感、及び臨場感を損なわずに表示することが重要となる。
以上ではドライバ視点画像CPdとして、不透明なフロア画像Pvfを含む合成画像CPを表示する態様を開示したが、これに限らない。例えば車両前進時に車両前端の直下から3m先までの地面を移したフロントカメラ画像SFをRAM12等に保存しておき、自車両の進行に伴って当該保存済みの画像データを用いて、車体底部を透過させた合成画像CPを生成するように構成されていても良い。床下部分に投影する画像データは、車両Vの走行に伴って随時更新されれば良い。また、当該表示制御は、車両前進時のみならず、車両後退時にも適用可能である。後退時には、リアカメラ画像SBを用いて床下の画像を生成すればよい。
以上では、オフロード用投影面TS2は、平面領域を備えないものとしたが、これに限らない。オフロード用投影面TS2は、図20及び図21に示すように車両領域R0と曲面領域R2aとの間に、幅が0.3m未満の平面領域R1aを含んでいても良い。平面領域R1aがオフロード用平面領域に相当する。平面領域R1aの幅が0.3m未満であれば、ドライバ視点画像等における表示範囲としても小さい。加えて、車体から0.3m以内に存在する領域は、概ね真上にカメラ2が位置するため、概ね真上から撮像されることとなる。その結果、当該領域の撮像画像を平坦な投影面に投影したとしても、画像は歪みにくい。故に、平面領域R1aが微小であれば、車両近傍の立体物が潰れているような印象をドライバには与えにくい。つまり、オフロード用投影面TS2が、曲面領域R2aの手前側に微小な平面領域R1aを含んでいる場合であっても、上記の実施形態と同様の効果を得ることができる。
走行環境判定部F62によって走行環境はオフロードであると判定されている状況において、オフロード用投影面TS2の傾きや形状は、ソナー8の検出結果に応じて動的に調整されても良い。例えばオフロード環境と判定されている場合であっても、周囲に障害物が検出されていない場合には、曲面領域R2aの傾きをデフォルト値よりも小さくしてもよい。また、オフロード環境と判定されている場合において、所定の閾値以上の高さを有する立体物が複数、自車両から所定距離以内に存在することを検出している場合には、曲面領域R2aの傾き(実体的には係数a2)をデフォルト値よりも大きくしてもよい。検出された立体物の数が所定値以上である場合など、車両周辺の地面の凹凸度合いが所定値以上である場合にも、同様に、曲面領域R2aの傾き(実体的には係数a2)をデフォルト値よりも大きくしてもよい。曲面領域R2aの傾きは、実体的には係数a2によって調整可能である。
以上では車両周辺に存在する物体を検出するセンサ(いわゆる障害物センサ)として、ソナー8を用いる構成を例示したが、障害物センサは、ミリ波レーダやLiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)であってもよい。画像生成ECU1は、多様な障害物センサと接続されて使用されうる。
走行環境判定部F62は、上述した多様な判断材料を組み合わせることによって、オフロードの種別を判定するように構成されていてもよい。オフロードは、例えば、岩石路やモーグル路などの凹凸が多い立体路と、泥ねい路や砂地路、草原、雪原などのスリップ路とに大別されうる。スリップ路は相対的に地面の勾配変化や凹凸が緩やかな地面を指す。例えば、走行環境判定部F62は、画像認識結果やソナーの検出結果、及び、設定されている走行モードの少なくとも何れか1つに基づいて、オフロードの種別として立体路とスリップ路と判別するように構成されていても良い。
表示画像生成部F8は、オフロード表示モードである場合、すなわち、投影面TSとしてオフロード用投影面TS2が適用されている場合、図23に示すように表示画像DPの隅部等にオフロード表示モードとなっていることを示す通知画像NPを配置しても良い。当該構成によれば、地面の見え方が通常時と異なることに対してドライバが戸惑いを覚える恐れを低減できる。
以上では仮想視点VPとして、鳥瞰視点VPbや、ドライバ視点VPdを例示したが、仮想視点VPとして設定可能な位置及び方向の組み合わせは上記の例に限定されない。仮想視点VPとしては、視点位置を自車両の左後方、視野方向を自車両の前方に設定したパターンなどを採用可能である。仮想視点VPは、車室外の多様な位置に配置可能である。また、仮想視点VPは車室内の任意の位置に配置可能に構成されていても良い。
本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ又は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。つまり、処理部11等が提供する手段および/または機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供できる。例えば処理部11が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、1つ又は複数のICなどを用いて実現する態様が含まれる。処理部11は、CPUの代わりに、MPUやGPU、DFP(Data Flow Processor)を用いて実現されていてもよい。処理部11は、CPUや、MPU、GPUなど、複数種類の演算処理装置を組み合せて実現されていてもよい。処理部11は、システムオンチップ(SoC:System-on-Chip)として実現されていても良い。さらに、各種処理部は、FPGA(Field-Programmable Gate Array)や、ASIC(Application Specific Integrated Circuit)を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体(non- transitory tangible storage medium)に格納されていればよい。プログラムの保存媒体としては、HDD(Hard-disk Drive)やSSD(Solid State Drive)、フラッシュメモリ、SD(Secure Digital)カード等、多様な記憶媒体を採用可能である。
本開示の範囲には、上述した画像生成装置の他、当該画像生成装置を構成要素とするシステムなど、種々の形態も含まれる。例えば、コンピュータを画像生成装置として機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体等の形態も本開示の範囲に含まれる。
Claims (13)
- 車両で用いられる画像生成装置であって、
前記車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得する画像取得部(F1)と、
前記車両の周辺に相当する仮想の投影面に複数の前記カメラ画像のデータを投影し、当該投影面上の前記データを用いて仮想視点からみた前記車両の周辺を示す合成画像を生成する画像合成部(F7)と、
前記車両に搭載された他の装置からの信号に基づいて、前記車両の走行環境がオフロードであるかオンロードであるかを判定する走行環境判定部(F62)と、を備え、
前記画像合成部は、前記走行環境判定部によって前記走行環境がオフロードであると判定されているか否かに応じて前記合成画像の生成に使用する前記投影面の形状を変更するように構成されている画像生成装置。 - 請求項1に記載の画像生成装置であって、
前記画像合成部は、
前記走行環境判定部によって前記走行環境がオンロードであると判定されている場合には、前記投影面として、所定の形状を有するオンロード用投影面を用いて前記合成画像を生成する一方、
前記走行環境判定部によって前記走行環境がオフロードであると判定されている場合には、前記投影面として、前記オンロード用投影面とは異なる形状を有するオフロード用投影面を用いて前記合成画像を生成するように構成されている画像生成装置。 - 請求項2に記載の画像生成装置であって、
前記オンロード用投影面は、前記車両が位置する領域である車両領域(R0)の周りに配置された平面状のオンロード用平面領域(R1)を有する一方、
前記オンロード用投影面は、前記車両領域の縁部には曲面状のオフロード用曲面領域(R2a)が接続されている画像生成装置。 - 請求項2に記載の画像生成装置であって、
前記オンロード用投影面は、前記車両が位置する領域である車両領域(R0)の周りに配置された平面状のオンロード用平面領域(R1)と、前記オンロード用平面領域の外側に配置された曲面状のオンロード用曲面領域(R2)と、を有し、
前記オンロード用投影面は、前記車両領域(R0)の周りに配置された平面状のオフロード用平面領域(R1a)と、前記オフロード用平面領域の外側に配置された曲面状のオフロード用曲面領域(R2a)を有し、
前記オフロード用平面領域は、前記オンロード用平面領域よりも小さく設定されている画像生成装置。 - 請求項4に記載の画像生成装置であって、
前記オンロード用平面領域は、前記車両領域から前後左右方向に所定の最小平面距離(Dmin)以上離れたところまで形成されている一方、
前記オフロード用投影面において、前記車両領域から前記オフロード用曲面領域までの間に形成されている前記オフロード用平面領域の幅は、前記最小平面距離未満に設定されている画像生成装置。 - 請求項2に記載の画像生成装置であって、
前記オンロード用投影面は、前記車両が位置する領域である車両領域(R0)の外側に、下に凸の曲面状のオンロード用曲面領域(R2)を有し、
前記オフロード用投影面は、前記車両領域(R0)の外側に、下に凸の曲面状のオフロード用曲面領域(R2a)を有し、
前記オフロード用曲面領域は、前記オンロード用曲面領域よりも前記車両領域の近くに配置されている画像生成装置。 - 請求項4から6の何れか1項に記載の画像生成装置であって、
前記オフロード用曲面領域及び前記オンロード用曲面領域は何れも下に凸の曲面形状であって、
前記オフロード用曲面領域の傾きは、前記オンロード用曲面領域の傾きよりも大きく設定されている画像生成装置。 - 請求項1から7の何れか1項に記載の、前記車両の周辺に存在する立体物を検出する障害物センサ(8)と接続されて使用される画像生成装置であって、
前記障害物センサの検出結果を示す信号を取得する障害物情報取得部(F4)を備え、
前記走行環境判定部は、前記障害物センサが前記車両の周辺に複数の立体物を検出していることに基づいて前記走行環境はオフロードであると判定するように構成されている画像生成装置。 - 請求項1から8の何れか1項に記載の画像生成装置であって、
前記カメラ画像を解析することで所定の検出対象物を検出する画像認識部(F5)を備え、
前記走行環境判定部は、前記画像認識部によって複数の岩石が検出されていること、前記画像認識部によって車線区画線が検出されていないこと、及び、前記画像認識部によって道路端が検出されていないことの少なくとも何れか1つに基づいて、前記走行環境はオフロードであると判定するように構成されている画像生成装置。 - 請求項1から9の何れか1項に記載の、走行モードとして、オフロードを走行するためのモードであるオフロードモードを備える車両で使用される画像生成装置であって、
前記走行環境判定部は、前記車両に搭載された、前記走行モードを前記オフロードモードに切り替えるための入力装置からの信号に基づいて、前記走行環境がオフロードであるか否かを判定するように構成されている画像生成装置。 - 請求項1から10の何れか1項に記載の画像生成装置であって、
前記画像合成部は、オフロード用の前記投影面として、それぞれ形状が異なる複数の前記投影面を選択的に使用可能に構成されており
前記走行環境判定部は、前記走行環境はオフロードであると判定している場合、前記他の装置からの信号に基づいてオフロードの種別を判別するように構成されており、
前記画像合成部は、前記走行環境判定部が判定したオフロードの種別に応じて、前記合成画像の生成に使用する前記投影面を変更するように構成されている画像生成装置。 - 請求項1から11の何れか1項に記載の画像生成装置であって、
前記画像合成部がオフロード用の前記投影面を用いて前記合成画像を生成している場合には、オフロード用の設定で生成した画像を表示していることを示す通知画像(NP)を表示装置に表示させるように構成されている画像生成装置。 - 車両の運転操作を支援するための画像を生成する画像生成方法であって、
前記車両の周辺を撮影する複数のカメラで得られた複数のカメラ画像を取得すること(S1)と、
前記車両の周辺に相当する仮想の投影面に、複数の前記カメラ画像のデータを投影し、当該投影面上の前記データを用いて仮想視点からみた前記車両の周辺を示す合成画像を生成すること(S8)と、
前記車両に搭載された他の装置からの信号に基づいて、前記車両の走行環境がオフロードであるかオンロードであるかを判定すること(S3)と、
前記走行環境はオンロードであると判定されているか否かに応じて、前記合成画像を生成するための前記投影面の形状を変更すること(S5,S6)と、を含む画像生成方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020216417A JP2022101979A (ja) | 2020-12-25 | 2020-12-25 | 画像生成装置、画像生成方法 |
DE102021133856.5A DE102021133856A1 (de) | 2020-12-25 | 2021-12-20 | Bilderzeugungsvorrichtung und Bilderzeugungsverfahren |
CN202111573105.2A CN114693572A (zh) | 2020-12-25 | 2021-12-21 | 图像形成设备和图像形成方法 |
US17/645,548 US11634074B2 (en) | 2020-12-25 | 2021-12-22 | Image forming device and image forming method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020216417A JP2022101979A (ja) | 2020-12-25 | 2020-12-25 | 画像生成装置、画像生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022101979A true JP2022101979A (ja) | 2022-07-07 |
Family
ID=81972484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020216417A Pending JP2022101979A (ja) | 2020-12-25 | 2020-12-25 | 画像生成装置、画像生成方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11634074B2 (ja) |
JP (1) | JP2022101979A (ja) |
CN (1) | CN114693572A (ja) |
DE (1) | DE102021133856A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022124085A1 (de) * | 2022-09-20 | 2024-03-21 | Connaught Electronics Ltd. | Darstellung von Bilddaten in einem Fahrzeug abhängig von Sensordaten |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5911775B2 (ja) | 1978-01-17 | 1984-03-17 | 本田技研工業株式会社 | デイスクブレ−キの製造方法 |
JPS5727246A (en) | 1980-07-25 | 1982-02-13 | Canon Inc | Information mark indicator |
JP5075152B2 (ja) * | 2009-03-24 | 2012-11-14 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
JP5813439B2 (ja) | 2011-09-27 | 2015-11-17 | クラリオン株式会社 | 俯瞰画像表示装置 |
KR101265711B1 (ko) * | 2011-11-30 | 2013-05-20 | 주식회사 이미지넥스트 | 3d 차량 주변 영상 생성 방법 및 장치 |
JP5911775B2 (ja) * | 2012-08-21 | 2016-04-27 | 富士通テン株式会社 | 画像生成装置、画像表示システム及び画像生成方法 |
DE112014004305B4 (de) | 2013-09-19 | 2020-09-10 | Fujitsu Ten Limited | Bildgenerierungsvorrichtung; Bildanzeigesystem; Bildgenerierungsverfahren und Bildanzeigeverfahren |
JP2016225865A (ja) | 2015-06-01 | 2016-12-28 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 俯瞰画像生成装置 |
JP6876236B2 (ja) * | 2016-09-30 | 2021-05-26 | 株式会社アイシン | 表示制御装置 |
-
2020
- 2020-12-25 JP JP2020216417A patent/JP2022101979A/ja active Pending
-
2021
- 2021-12-20 DE DE102021133856.5A patent/DE102021133856A1/de active Pending
- 2021-12-21 CN CN202111573105.2A patent/CN114693572A/zh active Pending
- 2021-12-22 US US17/645,548 patent/US11634074B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN114693572A (zh) | 2022-07-01 |
DE102021133856A1 (de) | 2022-06-30 |
US20220203895A1 (en) | 2022-06-30 |
US11634074B2 (en) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10488218B2 (en) | Vehicle user interface apparatus and vehicle | |
JP6380410B2 (ja) | 画像表示制御装置および画像表示システム | |
JP5911775B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
JP7222254B2 (ja) | 周辺表示制御装置 | |
JP7106846B2 (ja) | 周辺監視装置 | |
US20120314072A1 (en) | Image generation apparatus | |
JP7283059B2 (ja) | 周辺監視装置 | |
JP2022095303A (ja) | 周辺画像表示装置、表示制御方法 | |
US11383642B2 (en) | Display control apparatus | |
WO2019008764A1 (ja) | 駐車支援方法及び駐車支援装置 | |
JP6958163B2 (ja) | 表示制御装置 | |
JP6876236B2 (ja) | 表示制御装置 | |
JP6413477B2 (ja) | 画像表示制御装置および画像表示システム | |
WO2019053922A1 (ja) | 画像処理装置 | |
JP7013751B2 (ja) | 画像処理装置 | |
US11634074B2 (en) | Image forming device and image forming method | |
CN109314770B (zh) | 周边监控装置 | |
US11938863B2 (en) | Peripheral image generation device and display control method | |
WO2022224754A1 (ja) | 車両用表示システム、車両用表示方法、及び車両用表示プログラム | |
JP2020127171A (ja) | 周辺監視装置 | |
US11830409B2 (en) | Peripheral image display device | |
JP7007438B2 (ja) | 撮像装置、画像処理装置、表示装置、表示システム、および車両 | |
US20200133293A1 (en) | Method and apparatus for viewing underneath a vehicle and a trailer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20211101 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240611 |