JP2018117320A - 電子ミラーの映像合成装置及び映像合成方法 - Google Patents
電子ミラーの映像合成装置及び映像合成方法 Download PDFInfo
- Publication number
- JP2018117320A JP2018117320A JP2017008584A JP2017008584A JP2018117320A JP 2018117320 A JP2018117320 A JP 2018117320A JP 2017008584 A JP2017008584 A JP 2017008584A JP 2017008584 A JP2017008584 A JP 2017008584A JP 2018117320 A JP2018117320 A JP 2018117320A
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- camera
- translucent
- landscape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 230000009466 transformation Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 22
- 230000000153 supplemental effect Effects 0.000 claims description 21
- 238000012935 Averaging Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 239000000203 mixture Substances 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims 8
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 239000013589 supplement Substances 0.000 abstract 4
- 238000010586 diagram Methods 0.000 description 14
- 239000002131 composite material Substances 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007664 blowing Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
Abstract
【課題】本実施形態は、視野の一部を遮断する遮断物が存在したとしても、遮断物の映像を半透明化して、有効映像（補足映像）に置き換える処理を行う電子ミラーを提供する。
【解決手段】一実施形態によれば、第１位置から、第１視野により第１風景の第１映像を取得する第１カメラと、前記第１位置とは異なる第２位置から、前記第１風景の方向に向かって風景遮断物を一部に配置させた第２視野により、第２映像を取得する第２カメラとを有する。そして映像処理装置が、前記第２映像の一部に前記第１映像の一部を補足映像として接続する場合、前記第２映像に含まれる前記風景遮断物の映像を半透明化映像にし、前記半透明化映像に前記補足映像を重ね表示し、前記半透明化映像の輪郭の部分で前記第１映像と前記補足映像の境界を設けて前記第１映像に接続して第３映像を得る。
【選択図】図３
【解決手段】一実施形態によれば、第１位置から、第１視野により第１風景の第１映像を取得する第１カメラと、前記第１位置とは異なる第２位置から、前記第１風景の方向に向かって風景遮断物を一部に配置させた第２視野により、第２映像を取得する第２カメラとを有する。そして映像処理装置が、前記第２映像の一部に前記第１映像の一部を補足映像として接続する場合、前記第２映像に含まれる前記風景遮断物の映像を半透明化映像にし、前記半透明化映像に前記補足映像を重ね表示し、前記半透明化映像の輪郭の部分で前記第１映像と前記補足映像の境界を設けて前記第１映像に接続して第３映像を得る。
【選択図】図３
Description
実施形態は、電子ミラーの映像合成装置及び映像合成方法に関する。
例えば、車に複数のカメラを搭載し、従来のバックミラー、サイドミラーの像の代わりに、前記カメラからの映像を表示器に表示することができる、いわゆる電子ミラーがある。
電子ミラーシステムにおいては、複数のカメラはそれぞれ１台の車に対する取り付け位置が異なる。そのために、複数のカメラがそれぞれ車の後方の風景を撮影した場合、一方のカメラの視野によれば撮影可能な有効領域であっても、他方のカメラの視野によれば撮影不可能な死角領域（無効領域）がある。
上記したように、電子ミラーにおいては、複数のカメラがそれぞれ車の後方の風景を撮影した場合、カメラによって有効領域の映像、無効領域の映像が生じる。
そこで、本実施形態では、視野の一部を遮断する遮断物が存在したとしても、遮断物の映像を半透明化して、有効映像（補足映像）に置き換える処理を行うことができる、電子ミラーの映像合成装置及び映像合成方法を提供することを目的とする。
一実施形態によれば、第１位置から、第１視野により第１風景の第１映像を取得する第１カメラと、
前記第１位置とは異なる第２位置から、前記第１風景の方向に向かって風景遮断物を一部に配置させた第２視野により、第２映像を取得する第２カメラと、
前記第２映像の一部に前記第１映像の一部を補足映像として接続する場合、前記第２映像に含まれる前記風景遮断物の映像を半透明化映像にし、前記半透明化映像に前記補足映像を重ね表示し、前記半透明化映像の輪郭の部分で前記第１映像と前記補足映像の境界を設けて前記第１映像に接続して第３映像を得る映像処理装置と、を備える。
前記第１位置とは異なる第２位置から、前記第１風景の方向に向かって風景遮断物を一部に配置させた第２視野により、第２映像を取得する第２カメラと、
前記第２映像の一部に前記第１映像の一部を補足映像として接続する場合、前記第２映像に含まれる前記風景遮断物の映像を半透明化映像にし、前記半透明化映像に前記補足映像を重ね表示し、前記半透明化映像の輪郭の部分で前記第１映像と前記補足映像の境界を設けて前記第１映像に接続して第３映像を得る映像処理装置と、を備える。
以下、実施の形態について図面を参照して説明する。図１は車１００を平面的に示している。図２は図１の車を側面から示している。
車１００は、後方のトランクルームの上、或はナンバープレートの近くに第１カメラ１０１が配置されて、後方の風景を撮影可能である。また車１００は、サイドミラーの場所に、それぞれ第２カメラ１０２Ｒ，第３カメラ１０２Ｌが配置されて、これらも後方の風景を撮影可能である。
上記したように、複数のカメラ１０１、１０２Ｒ、１０２Ｌはそれぞれ１台の車１００に対する取り付け位置が異なる。よって複数のカメラがそれぞれ車の後方の風景を撮影した場合、一方のカメラ１０１の視野Ｗ１によれば撮影可能な有効領域であっても、他方のカメラ１０２Ｒや１０２Ｌの視野（例えばＷ２）によれば撮影不可能な死角領域（無効領域＝視野Ｗ３）がある。
つまり、本電子ミラーの映像合成装置の一実施形態によると、第１カメラ１０１は、第１位置（例えばトランクルーム位置）から、第１視野Ｗ１により第１風景の第１映像（リア映像）を取得する。第２カメラ１０２Ｒは、前記第１位置（トランクルーム位置）とは異なる第２位置（運転席の横方向のサイド位置、サイドドア位置）から、前記第１風景の方向に風景遮断物（自車側面）を一部に配置させた第２視野Ｗ２により、第２映像を取得する。このために第２映像の一部には、自車側面の映像が含まれている。
ここで後述する映像処理装置２００は、第２映像の一部に第１映像の一部を補足映像として接続する。この場合、第２映像に含まれる風景遮断物（自車側部）の映像を半透明化映像に処理し、この半透明化映像に補足映像を重ねて表示する。また、半透明化映像の輪郭（つまり車のサイドの輪郭）の部分で第１映像と補足映像の境界を設けて、補足映像を第１映像に接続して第３映像を得る。
上記した半透明化映像の領域に重ね表示される補足映像は、遠方平面位置に基づいて射影変換されたもと、前記遠方平面よりも撮影位置に近づいた地面位置に基づいて射影変換されたものが接続（或いは合成、或は繋ぎ合わせ）された映像である。
さらに第１及び第２カメラの水平ライン方向が左右方向であり、垂直ライン方向が上下方向とする場合、補足映像の上側領域が遠方平面位置に基づいて射影変換された映像であり、補足映像の下側領域が前記地面位置に基づいて射影変換された映像である。
さらにまた、風景遮断物の映像は、複数フレームの輝度の平均化処理がなされて半透明化される。これにより、車のドア（ミラー効果を有する）に、隣を並走する車や、すれ違う車、ランプの光などが映り、画像化されるのを防止できる。
また補足映像の下側領域には、周囲映像の色から近似された色の塗り込み映像が存在する。これにより、車の下側の部分（道路）が推定により表示され、画面全体としての安定感が得られる。
図３は、上記した処理を行うための電気的処理ブロックを示している。図３において、
１０１、１０２Ｒ、１０２Ｌは、それぞれ第１カメラ（リアカメラと称してもよい）、第２カメラ１０２Ｒ（右サイドカメラと称してもよい）、第３カメラ１０Ｌ（左サイドカメラと称してもよい）であり、各カメラ１０１、１０２Ｒ、１０２Ｌの撮影信号は、映像処理装置２００に入力される。
１０１、１０２Ｒ、１０２Ｌは、それぞれ第１カメラ（リアカメラと称してもよい）、第２カメラ１０２Ｒ（右サイドカメラと称してもよい）、第３カメラ１０Ｌ（左サイドカメラと称してもよい）であり、各カメラ１０１、１０２Ｒ、１０２Ｌの撮影信号は、映像処理装置２００に入力される。
即ち、第１カメラ１０１の撮影信号は、第１映像処理部２２１の映像切出し部２２１ａに入力する。第２カメラ１０２Ｒ（右サイドカメラと称してもよい）の撮影信号は、第２映像処理部２２２の映像切出し部２２２ａに入力し、第３カメラ１０２Ｌ（左サイドカメラと称してもよい）の撮影信号は、第３映像処理部２２３の映像切出し部２２３ａに入力する。
上記の第１カメラ１０１、第２カメラ１０２Ｒ、第３カメラ１０２Ｌは、使用する映像領域よりも広い領域を含む広角領域映像を取得している。それぞれの切出し部２２１ａ、２２２ａ、２２２ｂは、それぞれ広角領域映像から、使用する使用映像領域を切出している。この切出し位置及び切出し領域は、車の速度、車の振動、ハンドル操作方向に応じて可変される場合もある。またユーザ操作により、その切出し位置及び又は切出し領域は、その通常設定位置を可変可能である。これは、映像の監視実験やテストを行う場合にも有効である。
第１映像処理部２２１において、映像切出し部２２１ａが切出した映像信号は、射影変換部２２１ｂ、２２１ｃにおいて、射影変換された後、合成部２３０に入力される。射影変換部２２１ｂ、２２１ｃは、それぞれ射影のための基準位置が異なるが、第１カメラ１０１の視点位置を、第２カメラ１０２の視点位置に変換する。
即ち、射影変換部２２１ｂ、２２１ｃは、遠方平面位置に基づいて射影変換された映像と、前記遠方平面よりも撮影位置に近づいた地面位置に基づいて射影変換された映像を得ることができ、この映像を補足映像として合成部２３０に出力する。
一方、第２映像処理部２２２において、映像切出し部２２２ａが切出した映像信号は、射影変換部２２２ｂにおいて射影変換される。なおこの射影変換部２２２ｂの処理は、省略されることもある。また第３映像処理部２２３においても、映像切出し部２２３ａが切出した映像信号は、射影変換部２２３ｂにおいて射影変換される。この射影変換部２２３ｂの処理も、省略されることもある。射影変換部２２２ｂ、２２３ｂで変換される変換程度は、先の射影変換部２２１ｂ、２２１ｃで変換される変換程度よりも小さいことは明らかである。
射影変換は、平面射影変換技術或いはホモグラフィ変換技術とも称され、ある視点（第１視点）から見た仮想平面の平面図形を、別の視点（第２視点）からみた仮想平面の平面図形に変換する技術である。
上記した第２映像処理部２２２が取得した映像信号には、自車側面の映像（右側ドアの側面を後方向に向かって撮影した映像、つまり風景遮断物映像）が含まれる。同様に、第３映像処理部２２３が取得した映像信号には、自車側面の映像（左側ドアの側面を後方向に向かって撮影した映像、つまり風景遮断物映像）が含まれる。
車に対する第２カメラ（サイドカメラ）１０２Ｒの取り付け位置は、決まっているので、第２映像内において風景遮断物映像の領域が、画角のどの領域に存在するかは予めわかっている。同様に、車に対する第３カメラ（サイドカメラ）１０２Ｌの取り付け位置は、決まっているので、第３映像内において風景遮断物映像の領域が、画角のどの領域に存在するかも予めわかっている。
そこで、第２映像の一部に含まれる風景遮断物映像（自車右側面の映像）は、輝度平均化処理部２２２ｃにおいて、輝度の平均化処理が行われる。この平均化の理由は、車のドア（ミラー効果を有する）に、隣を並走する車や、すれ違う車、ランプの光などが映り、画像化されるのを防止するためである。同様に、第３映像の一部に含まれる風景遮断物映像（自車左側面の映像）は、輝度平均化処理部２２３ｃにおいて、輝度の平均化処理が行われる。
次に、輝度平均化された第２映像の一部に含まれる風景遮断物映像（自車右側面の映像）は、半透明化処理部２２２ｄにおいて、半透明化処理される。また、輝度平均化された第３映像の一部に含まれる風景遮断物映像（自車左側面の映像）も、半透明化処理部２２３ｄにおいて、半透明化処理される。半透明化の程度は、電子コントローラ２５０からの情報で任意に制御可能であってもよい。
さらに、半透明化処理部２２２ｄから出力された第２映像は、エッジ処理部２２２ｅに入力され、風景遮断物映像のエッジ（輪郭）処理を受けることができる。同様に半透明化処理部２２３ｅから出力された第３映像も、エッジ処理部２２３ｅに入力され、風景遮断物映像のエッジ（輪郭）処理を受けることができる。エッジ処理は、例えば、輪郭にラインを付ける、或は点線を付ける、などの処理（エッジラインの付加処理）である。
なおエッジラインは、車の運転状況及び又は外部環境に応じて、その色、太さ、濃さなどの要素が種々変更される場合があるし、またユーザ操作により、これらの要素が調整される場合がある。
例えば、車が後退運転されているときは、エッジをクリアにし、障害物と車側面或いは車進行方向との間隔を分かり易くすることができる。
第１映像処理部２２１において上記処理を受けた第１映像信号と、第２映像処理部２２２において上記処理を受けた第２映像信号と、第３映像処理部２２３において上記処理を受けた第３映像信号とは、合成部２３０において合成される。
電子コントローラ２５０は、車の速度情報Ｊ１、各種マニュアル操作情報Ｊ２、右折・左折・直進・後退の状態を示す方向情報Ｊ３、時間帯情報Ｊ４、ライト点灯情報、外気温度情報、室内温度情報、その他を把握している。
速度情報Ｊ１は、例えば射影変換部２２１ｂ、２２１ｃ、２２２ｂ、２２３ｂにおいて、例えば、カメラの視点位置を変更するための基準となる基準平面（基準画像）とカメラとの間隔を自動調整するための調整情報として利用することができる。
マニュアル操作情報Ｊ２は、例えば、画像の切出しエリアの基準位置を調整するための情報、射影変換を行うための基準平面を初期設定或いは調整するための情報などがある。
また、方向情報Ｊ３は、例えば、映像の切出しエリアの拡張処理、拡大処理、切出しエリアの位置修正処理、半透明化処理、エッジの太さ、色、及び濃度などの変更処理、などを行うときの制御情報として利用可能である。例えば、車が前進しているときは、半透明化の透明度が高く（薄く）する。また車が左旋回、或は右旋回しているときはエッジが太く濃くなり、車の横に位置する障害物との距離をドライバーが認識しやすくする。
また時間帯情報Ｊ４は、カメラの感度調整を行う場合に利用可能である。周囲が暗いときはカメラの撮影信号の検出感度を高くし、周囲が明るいときは、該検出感度を抑えるなどすることができる。
さらにまたセンサ情報としては、各種の情報がある。外の湿度情報、外気温度情報などもある。これらのセンサ情報を利用することにより、よりカメラから適切な映像を得ることができる。例えば、外が雨であれば、カメラの横に設けた圧縮空気クリーナでレンズ周りの水やほこりを除去してもよい。このために、カメラのレンズ前に圧縮空気を吹き付ける吹出し口があってもよい。さらには、雪などがカメラの前方に付着すると氷結することがあるので、カメラのレンズ前にヒータをさらに設けてもよい。
本システムでは、表示器２２６は、車の室内であって、ドライバーが見やすい位置に配置される。なお後部座席の前や助手席の前にドライバー以外の人が見れるように表示器が増設されていてもよい。
また図３の映像処理装置２００の内部或いはその一部は、ソフトウエアにより実現されることが可能である。また前記内部或いはその一部は、記憶媒体に記録されたソフトウエアにより動作する処理装置であってもよい。さらには、当該ソフトウエアは、外部から通信手段により伝送されるものであり、前記内部或いはその一部は、該ソフトウエアを受信して実行する装置であってもよい。また上記映像処理装置２００には、記録再生装置が接続されていてもよく、例えば特別に設定された走行スピード、振動、音などに応答して映像信号が記録再生装置に記録されてもよい。
図４は、映像合成の基本的処理を説明するための説明図である。リア映像４１０は、リアカメラ１０１が撮像した映像から切出されたリア映像である。サイド映像４２０は、右サイドカメラ１０２Ｒが撮像した映像から切り出されたサイド映像である。
図４は、リア映像４１０と右サイドカメラ１０２Ｒからのサイド映像４２０を示しているが、実際の装置は、左側の左サイドカメラ１０２Ｌからのサイド映像も使用される。ここでは、説明を簡単化するために、リア映像４１０とサイド映像４２０との関係で、実施形態を説明する。
上記のサイド映像４２０の一部（左側）には、車の側面の映像Ａ０（自車側面映像或いは風景遮断物の映像と称してもよい）が映り込んでいる。この移り込み領域（映像Ａ０の領域）は、右サイドカメラ１０２Ｒにとっては、車の後方風景に対する死角領域である。
そこで、この映像Ａ０の領域を透かし処理（半透明化処理部２２２ｄによる半透明化処理）して、リア映像４１０の一部の映像（映像Ａ０に対応する領域の映像）を重ね、合成部２３０にて合成する。
すると合成映像４３０に示すように、半透明化された風景遮断物映像に対して、リア映像の一部が重ねて表示される。合成映像４３０において、エッジライン４３５は、半透明化された映像Ａ０と、右サイドカメラ１０２Ｒが撮影した映像との境界（繋ぎ位置、接続位置、輪郭などと称してもよい）を表している。このエッジライン４３５は、エッジ処理部２２２ｅにおいて、付加される。
このエッジライン４３５は、前進運転或いは後退運転するときに、自車の車幅をドライバーが認識するときに有用である。このエッジライン４３５は、例えば屋外が暗いとき、明るいときなど周囲状況に応じて、そのライン幅、ライン色、輝度（濃さ）などが可変されてもよい。これにより、ドライバーの注意を促すことも可能となる。
さらに合成映像４３０において、半透明化された映像Ａ０の上部領域Ａ１と下部領域Ａ２との間に非表示ライン４３２が示されている。このライン４３２は、映像として表示されるものではなく、説明の都合で示している。
尚、図４或いは後で説明する図面においてもそうであるが、多数のひし形の図形が示されているが、この図形は実際の映像には表示されない。このひし形の図形は、視点変換が行われた結果、四角形が、ひし形に変形したことを理解させるために示したものである。実際の映像には、この多数のひし形は、表示されない。
先の上部領域Ａ１と下部領域Ａ２の各映像は、リアカメラ１０１の視点によるリア映像４１０が、右サイドカメラ１０２Ｒの視点の映像に視点変換された映像である。この場合、上部領域Ａ１の変換基準位置は、遠方平面位置４１２であり、下部領域Ａ２の変換基準位置は、遠方平面位置４１２よりも、カメラ位置に近づいた地面位置４１３である。この遠方平面位置４１２と地面位置４１３は、右サイドカメラ１０２Ｒのサイド映像４２０では、図示の４２２、４２３に対応する。
図５は、リアカメラ１０１の視点によるリア映像４１０が、先の遠方平面位置に基づいて右サイドカメラ１０２Ｒの視点の映像に射影変換された第１射影変換映像４１０Ｈを示している（図４の射影変換部２２１ｂにおいて変換処理される）。またリアカメラ１０１の視点によるリア映像４１０が、先の遠方平面位置に基づいて右サイドカメラ１０２Ｒの視点の映像に射影変換された第２射影変換映像４２０Ｈを示している（図４の射影変換部２２１ｃにおいて変換処理される）。
なお上記の遠方平面位置、遠方平面位置は、運転者が、運転する前にマニュアルにより、位置調整してもよい。また後述するように、予め設定された位置に車の速度に応じて自動的に変化する方式が採用されてもよい。
上記第１射影変換映像４１０Ｈの一部（Ｐ１を含む周辺）及び第２射影変換映像４２０Ｈの一部（Ｐ２を含む周辺）が切り取られて、それぞれ半透明化された映像Ａ０の上部領域Ａ１と下部領域Ａ２とに合成される。この場合、射影変換映像４１０Ｈと射影変換映像４２０Ｈから上部領域Ａ１と下部領域Ａ２が切り取られる場合、各領域の映像及び、これらの映像と第２カメラのサイド映像に映像が自然に繋がるように上部領域Ａ１と下部領域Ａ２が切り取られる。
さらに右サイドカメラ１０２Ｒのサイド映像４２０において風景遮断物の映像の領域には、リアカメラ１０１の死角領域も存在する。つまり両カメラの死角領域が存在する。
この死角領域は、完全死角領域４３３である。この領域は、車の後部の下の領域（通常は道路面）に相当する。図５では、合成映像４２０の左下に示されている。この完全死角領域４３３は、映像が無いために、何らかの処理を行わない場合、真っ暗、或は真っ白の映像となる可能性がある。
そこで、本システムでは、この領域に対しては、例えば、完全死角領域４３３の周囲の映像の色或いは類似する色の映像データを充填して補間している。
つまり本システムは、リアカメラ１０１、右サイドカメラ１０２Ｒ、左サイドカメラ１０２Ｌが撮像した映像をできるだけ有効に活用している。
図６は、視点を変換するときの考え方を示している。例えば、視点Ｃ１が第１カメラの視点であり、視点Ｃ２が第２カメラの視点であるとする。まず、視点Ｃ１の基準平面Ｐ１の画素Ａ１―Ｄ１を、仮想平面Ｐの画素Ａ−Ｄに一旦置き換える。次に、仮想平面Ｐの画素Ａ−Ｄを、視点Ｃ２の第２カメラの仮想平面Ｐ２の画素Ａ２−Ｄ２に変換する。
ここで、仮想平面Ｐ１，Ｐ２が同じ位置（先の地面位置）であれば、第１カメラで撮影した地面の映像を、第２カメラで撮像した映像の如く変換することができる。
例えば、平面Ｐ上に、ある４つの点Ａ-Ｄがあるとき、これらの各点は、視点Ｃ１から撮影した映像では仮想平面Ｐ１上のＡ１-Ｄ１に、視点Ｃ２から撮影した映像では仮想平面Ｃ２上のＡ２ーＤ２にそれぞれ対応する。
ここで、Ａ１-Ｄ１とＡ２-Ｄ２の対応関係が決定されれば、第１カメラで撮影した映像を第２カメラで撮影した映像の如く変換することができる。この対応関係は射影変換（またはホモグラフィ変換）と呼ばれ、行列で表現することができる。
図７はその変換行列Ｈを示したものである。いま、仮想平面Ｐ１上でのＡ１−Ｄ１の座標を(ｘｉ, ｙｉ, １)としたとき、この変換行列Ｈにより仮想平面Ｐ２での座標(ｕｉ, ｖｉ, １)に変換されることを示している。ここで、ｉは０, １, ２, ３を意味し、座標は２次元平面に１成分を加えた３次元の同次座標系で表現している。
すなわち、Ａ１-Ｄ１とＡ２-Ｄ２の各座標はそれぞれ以下のように対応する。
Ａ１: (ｘ０, ｙ０, １)、Ｂ１: (ｘ１, ｙ１, １)、Ｃ１: (ｘ２, ｙ２, １)、
Ｄ１: (ｘ３, ｙ３, １)
Ａ２: (ｕ０, ｖ０, １)、Ｂ２: (ｕ１, ｖ１, １)、Ｃ２: (ｕ２, ｖ２, １)
Ｄ２: (ｕ３, ｖ３, １),
図７において、
(ｘｉ, ｙｉ, １)と(ｕｉ, ｖｉ, １)が既知であれば、行列成分ｈ０−ｈ７を求めることができる。
Ｄ１: (ｘ３, ｙ３, １)
Ａ２: (ｕ０, ｖ０, １)、Ｂ２: (ｕ１, ｖ１, １)、Ｃ２: (ｕ２, ｖ２, １)
Ｄ２: (ｕ３, ｖ３, １),
図７において、
(ｘｉ, ｙｉ, １)と(ｕｉ, ｖｉ, １)が既知であれば、行列成分ｈ０−ｈ７を求めることができる。
変換行列Ｈの成分は８であるので、４つの点の対応関係がわかればｈ０−ｈ７が求まることになる。ｉ＝０，１，２，３に対して式を展開し、ｈ０−ｈ７を括りだしたものを図７(図７の下の方の行列式)に示す。この式によりｈ０−ｈ７を求めることができる。
この変換行列Ｈにより、視点ｃ１からみた仮想平面Ｐ１の任意の点を視点ｃ２から見た仮想平面Ｐ２上の点に変換することが可能となる。
図８は、図３で示した輝度平均化部２２２ｃ、２２３ｃによりの輝度平均化された映像の例を示している。例えば映像５１０に示すように、車の右側をバスが通過するものとする。この場合、自車側面がミラーのように機能しバスが映る。この状態が、そのまま右サイドカメラ１０２Ｒにより、撮像されると、右サイドカメラ１０２Ｒが撮影した映像にもバスの映像Ｂ１が存在する（映像５１０、５１１参照）。
車は、走行しているので映り込む映像は種々（バス、風景、家屋等）である。そこで、本システムでは、車の側面の映像Ｂ１の輝度を平均化した映像Ｂ１２とする（映像５１２を参照）。輝度を平均化した映像Ｂ１２を半透明化処理した場合は、映像５１３に示すように、映り込んだ映像は、半透明化映像に対して大きな影響がなくなる。映像５１１の場合は、輝度平均化処理を行わない場合の映像であり、半透明化映像の部分に邪魔となる映像が映り込む。しかし本システムによると、半透明化部分の映像を見やすくすることができる。
図９は、完全死角領域４３３を埋める（或いは塗りつぶす）場合の、他の実施形態を示す説明図である。車に前方を撮影する第４カメラが存在した場合、その撮影した映像の一部映像４６６を合成映像４３０の一部に埋め込むことができる。この場合、前方カメラが撮影した映像を切出す切出し部と、切出した映像の前後方向を変換する変換部と、時間調整部とが用いられる。そして時間調整された一部映像４６６が疑似映像として、合成部２３０に送られ、完全死角領域４３３の映像として用いられる。
図１０は、標準のカメラを用いた電子ミラーにおいて、合成映像４３０が表示部２６６に表示された例である。図１０では、右半分側の映像を示しているが、表示部２６６には、左半分側の映像も表示される。左半分側の映像においても半透明化映像に補足映像が重ねて表示され、半透明化映像の輪郭の部分でリアカメラからの映像と補足映像との境界を示すラインが表示される。
図１１は、視野角が標準よりも広いパノラマ撮影が可能な第１、第２、第３カメラを用いた場合に得られる合成映像４３０Ａの例を示している。この合成映像４３０Ａにおいても完全死角領域４３１Ａが生じるので、この部分が周囲の色或いは模様と同様な色、或いは模様により埋められる。
図１２は、道路を走行する車５０２、５０２を平面的に示している。車５０２は、速度に応じて、車から基準平面位置（例えば、図４で示した遠方平面位置と、地面位置）までの距離が自動調整される場合がある。速度が遅いときは（例えば０Ｋｍ／Ｈ−３５Ｋｍ／Ｈ）、比較的近い後続車（例えば車５０３）に注意し、速度が中速のときは（例えば３５Ｋｍ／Ｈ―６５Ｋｍ／Ｈ上）のときはさらに遠い後続車に注意し、それ以上の高速のときは（例えば６５Ｋｍ／Ｈ以上）のときはさらに遠い後続車に注意したい場合がある。
このような場合、ユーザの設定により、車から基準平面位置（例えば、図４で示した遠方平面位置と、地面位置）までの距離が自動調整されてもよい。
図１３は、基準平面位置（仮想平面位置）が遠い場合の合成映像４３０の一例であり、図１４は、基準平面位置が近い場合の合成映像４３０の一例である。図１３の例では、基準平面位置が遠い場合、遠方後方のビルディングの縦方向のラインは、第１映像と第２映像とで一致している。しかし、近くの車の映像に関しては、第１映像と第２映像との接続部で、段差が生じる。
これに対して、図１４に示すように、基準平面位置（仮想平面位置）が近い場合、遠方後方のビルディングの縦方向のラインは、第１映像と第２映像とでずれ（段差）が生じる。しかし、近くの車の映像に関しては、第１映像と第２映像との接続部ではスムーズな接続となる。
したがって、車の速度に応じて、仮想平面位置を調整することにより、運転者が注目したい距離の後方物体を明確にすることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また特許請求の範囲に記載された各要素を分離、或は結合することも本発明に含まれる。
１００・・・車、１０１・・・第１カメラ、１０２・・・第２カメラ・・・１０２Ｒ、第３カメラ・・・１０２Ｌ、２００・・・映像処理装置、２２１ａ，２２２ａ，２２３ａ・・・映像切出し部、２２１ｂ、２２１ｃ，２２２ｂ，２２３ｂ・・・射影変換部、２２２ｃ，２２３ｃ・・・輝度平均化部、２２２ｄ，２２３ｄ・・・半透明化処理部、２２２e，２２３e・・・エッジ処理部、２３０・・・合成部、２２６・・・表示部、２５０・・・電子コントローラ。
Claims (10)
- 第１位置から、第１視野により第１風景の第１映像を取得する第１カメラと、
前記第１位置とは異なる第２位置から、前記第１風景の方向に向かって風景遮断物を一部に配置させた第２視野により、第２映像を取得する第２カメラと、
前記第２映像の一部に前記第１映像の一部を補足映像として接続する場合、前記第２映像に含まれる前記風景遮断物の映像を半透明化映像にし、前記半透明化映像に前記補足映像を重ね表示し、前記半透明化映像の輪郭の部分で前記第１映像と前記補足映像の境界を設けて前記第１映像に接続して第３映像を得る映像処理装置と、を備える電子ミラーの映像合成装置。 - 前記映像処理装置は、
前記第１カメラの視点の映像が、遠方平面位置に基づいて前記第２カメラの視点の映像に射影変換された第１射影変換映像を得る第１射影変換部と、
前記第１カメラの視点の映像が、前記遠方平面位置よりも撮影位置に近づいた地面位置に基づいて前記第２カメラの視点の映像に射影変換された第２射影変換映像を得る第２射影変換部と、
前記第１射影変換映像と前記第２射影変換映像との一部を接続して、前記半透明化映像の領域に重ね表示される前記補足映像を生成する合成部と、を備える、
請求項１記載の電子ミラーの映像合成装置。 - 前記第１及び第２カメラの水平ライン方向が左右方向であり、垂直ライン方向が上下方向とする場合、
前記第１射影変換部が、前記補足映像の上側領域を前記遠方平面位置に基づいて射影変換した映像を生成し、
前記第２射影変換部が、前記補足映像の下側領域を前記地面位置に基づいて射影変換さした映像を生成する、請求項２記載の電子ミラーの映像合成装置。 - 前記映像処理装置は、輝度平均化部と半透明化処理部を有し、前記風景遮断物の映像を、複数フレームの輝度の平均化処理を行い、半透明化する、請求項２記載の電子ミラーの映像合成装置。
- 前記合成部は、前記補足映像に追加さする映像として、周囲映像の色から近似された色の塗り込み映像を生成する、請求項２記載の電子ミラーの映像合成装置。
- 第１位置から、第１視野により第１風景の第１映像を取得する第１カメラと、
前記第１位置とは異なる第２位置から、前記第１風景の方向に向かって風景遮断物を一部に配置させた第２視野により、第２映像を取得する第２カメラと、前記第１カメラ及び第２カメラからの第１映像及び第２映像を処理する映像処理装置を用いる電子ミラーの映像合成方法において、
前記第２映像の一部に前記第１映像の一部を補足映像として接続する場合、前記第２映像に含まれる前記風景遮断物の映像を半透明化映像にし、前記半透明化映像に前記補足映像を重ね表示し、前記半透明化映像の輪郭の部分で前記第１映像と前記補足映像の境界を設けて前記第１映像に接続して第３映像を得る、電子ミラーの映像合成方法。 - 前記半透明化映像の領域に重ね表示する前記補足映像を生成する場合、
前記第１カメラの視点の映像を遠方平面位置に基づいて前記第２カメラの視点の映像に射影変換した第１射影変換映像を生成し、
前記第１カメラの視点の映像を前記遠方平面位置よりも撮影位置に近づいた地面位置に基づいて前記第２カメラの視点の映像に射影変換した第２射影変換映像を生成し、
前記第１射影変換映像と前記第２射影変換映像の一部を接続して、前記補足映像を生成する、
請求項６記載の電子ミラーの映像合成方法。 - 前記第１及び第２カメラの水平ライン方向が左右方向であり、垂直ライン方向が上下方向とする場合、前記補足映像の上側領域が前記遠方平面位置に基づいて射影変換された映像であり、前記補足映像の下側領域が前記地面位置に基づいて射影変換された映像である、請求項７記載の電子ミラーの映像合成方法。
- 前記風景遮断物の映像は、複数フレームの輝度の平均化処理がなされて前記半透明化映像にされることを特徴とする、請求項７記載の電子ミラーの映像合成方法。
- 前記補足映像の下側領域には、周囲映像の色から近似された色の塗り込み映像が存在する、請求項７記載の電子ミラーの映像合成方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017008584A JP2018117320A (ja) | 2017-01-20 | 2017-01-20 | 電子ミラーの映像合成装置及び映像合成方法 |
| US15/659,725 US10506178B2 (en) | 2017-01-20 | 2017-07-26 | Image synthesis device for electronic mirror and method thereof |
| US16/661,439 US11044421B2 (en) | 2017-01-20 | 2019-10-23 | Image synthesis device for electronic mirror and method thereof |
| US17/323,033 US11356618B2 (en) | 2017-01-20 | 2021-05-18 | Image synthesis device for electronic mirror and method thereof |
| US17/729,080 US11800045B2 (en) | 2017-01-20 | 2022-04-26 | Image synthesis device for electronic mirror and method thereof |
| US18/459,788 US20230412756A1 (en) | 2017-01-20 | 2023-09-01 | Image synthesis device for electronic mirror and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017008584A JP2018117320A (ja) | 2017-01-20 | 2017-01-20 | 電子ミラーの映像合成装置及び映像合成方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020068461A Division JP7027476B2 (ja) | 2020-04-06 | 2020-04-06 | 電子ミラーの映像合成装置及び映像合成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018117320A true JP2018117320A (ja) | 2018-07-26 |
Family
ID=62907294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017008584A Pending JP2018117320A (ja) | 2017-01-20 | 2017-01-20 | 電子ミラーの映像合成装置及び映像合成方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (5) | US10506178B2 (ja) |
| JP (1) | JP2018117320A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019207453A (ja) * | 2018-05-28 | 2019-12-05 | アルパイン株式会社 | 画像処理装置および画像処理方法 |
| JP2021027469A (ja) * | 2019-08-06 | 2021-02-22 | アルパイン株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10757375B2 (en) * | 2016-06-02 | 2020-08-25 | Sony Corporation | Display control device and display control method, display device, and moving body device |
| JP6601690B2 (ja) * | 2017-08-25 | 2019-11-06 | パナソニックＩｐマネジメント株式会社 | 表示制御装置 |
| GB2586389B (en) * | 2018-03-29 | 2022-03-30 | Mitsubishi Electric Corp | Image processing device, image processing method, and monitoring system |
| JP6857695B2 (ja) * | 2018-09-14 | 2021-04-14 | シャープ株式会社 | 後方表示装置、後方表示方法、およびプログラム |
| US10949706B2 (en) * | 2019-01-16 | 2021-03-16 | Microsoft Technology Licensing, Llc | Finding complementary digital images using a conditional generative adversarial network |
| GB2582323B (en) * | 2019-03-19 | 2022-02-09 | Jaguar Land Rover Ltd | Image processing system and method |
| KR102281609B1 (ko) | 2020-01-16 | 2021-07-29 | 현대모비스 주식회사 | 어라운드뷰 합성 시스템 및 방법 |
| US11161456B1 (en) * | 2020-03-17 | 2021-11-02 | Ambarella International Lp | Using the image from a rear view camera in a three-camera electronic mirror system to provide early detection of on-coming cyclists in a bike lane |
| WO2022204854A1 (zh) * | 2021-03-29 | 2022-10-06 | 华为技术有限公司 | 一种盲区图像获取方法及相关终端装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013183298A (ja) * | 2012-03-02 | 2013-09-12 | Nissan Motor Co Ltd | 車両用後方視界支援装置及び車両用後方視界支援方法 |
| JP2014116756A (ja) * | 2012-12-07 | 2014-06-26 | Toyota Motor Corp | 周辺監視システム |
| JP2015074436A (ja) * | 2013-10-11 | 2015-04-20 | 富士通株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
| JP2016175586A (ja) * | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | 車両周辺監視装置、車両周辺監視方法、及びプログラム |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS4883977U (ja) | 1972-01-13 | 1973-10-12 | ||
| US3753445A (en) | 1972-02-02 | 1973-08-21 | M Johnston | Washing, filling and tapping valve assembly |
| JPS51102376A (ja) | 1975-01-31 | 1976-09-09 | Tokyo Shibaura Electric Co | Shomeisochi |
| JPS55877A (en) | 1978-07-22 | 1980-01-07 | Hirofumi Onodera | Cooler |
| JPS6016096Y2 (ja) | 1979-06-13 | 1985-05-20 | 株式会社日立製作所 | Ｖｈｆチュ−ナの局部発振回路 |
| US20160345260A1 (en) * | 2005-05-30 | 2016-11-24 | Invent.ly LLC | Self Powered Device and Methods Conserving Energy in Communication |
| JP5009577B2 (ja) * | 2005-09-30 | 2012-08-22 | 富士フイルム株式会社 | 画像検索装置および方法並びにプログラム |
| JP4883977B2 (ja) | 2005-10-05 | 2012-02-22 | アルパイン株式会社 | 車両用画像表示装置 |
| JP4257356B2 (ja) | 2006-09-26 | 2009-04-22 | 株式会社日立製作所 | 画像生成装置および画像生成方法 |
| JP2009225322A (ja) | 2008-03-18 | 2009-10-01 | Hyundai Motor Co Ltd | 車両用情報表示システム |
| JP5500877B2 (ja) | 2009-06-15 | 2014-05-21 | アルパイン株式会社 | 車載用画像表示装置および画像のトリミング方法 |
| JP4927933B2 (ja) | 2009-12-25 | 2012-05-09 | 富士通テン株式会社 | 運転支援装置 |
| JP2011213186A (ja) | 2010-03-31 | 2011-10-27 | Equos Research Co Ltd | 電子サイドミラー装置 |
| JP5888956B2 (ja) | 2011-12-13 | 2016-03-22 | 住友建機株式会社 | ショベル及び該ショベルの周囲画像表示方法 |
| JP6148887B2 (ja) | 2013-03-29 | 2017-06-14 | 富士通テン株式会社 | 画像処理装置、画像処理方法、及び、画像処理システム |
| DE102013018022A1 (de) * | 2013-11-27 | 2015-05-28 | Huf Hülsbeck & Fürst Gmbh & Co. Kg | Kraftfahrzeugkamerasystem |
| US10475242B2 (en) * | 2014-01-10 | 2019-11-12 | Aisin Seiki Kabushiki Kaisha | Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image |
| US9693023B2 (en) * | 2014-02-05 | 2017-06-27 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring apparatus, monitoring system, and monitoring method |
| EP3709635A1 (en) * | 2014-08-18 | 2020-09-16 | Jaguar Land Rover Limited | Display system and method |
| JP2016111509A (ja) | 2014-12-05 | 2016-06-20 | 富士通テン株式会社 | 車両用画像処理装置、車両用画像処理方法およびプログラム |
| WO2016131022A1 (en) * | 2015-02-12 | 2016-08-18 | Glowforge Inc. | Cloud controlled laser fabrication |
| US9539988B2 (en) * | 2015-03-16 | 2017-01-10 | Thunder Power Hong Kong Ltd. | Vehicle camera cleaning system |
| US9898865B2 (en) * | 2015-06-22 | 2018-02-20 | Microsoft Technology Licensing, Llc | System and method for spawning drawing surfaces |
| JP5957744B1 (ja) * | 2015-07-31 | 2016-07-27 | パナソニックＩｐマネジメント株式会社 | 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両 |
| US10229653B2 (en) * | 2015-08-19 | 2019-03-12 | Telenav, Inc. | Navigation system with providing display area mechanism and method of operation thereof |
| US10334154B2 (en) * | 2015-08-31 | 2019-06-25 | Snap Inc. | Automated adjustment of digital image capture parameters |
| GB2541906A (en) * | 2015-09-02 | 2017-03-08 | Jaguar Land Rover Ltd | Display system and method |
| EP3142066A1 (en) * | 2015-09-10 | 2017-03-15 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | Image synthesizer for a surround monitoring system |
| DE112015006822T5 (de) * | 2015-09-29 | 2018-05-09 | Hitachi High-Technologies Corporation | Ladungsträgerstrahlvorrichtung |
| US9902322B2 (en) * | 2015-10-30 | 2018-02-27 | Bendix Commercial Vehicle Systems Llc | Filling in surround view areas blocked by mirrors or other vehicle parts |
| DE102017100004A1 (de) * | 2017-01-02 | 2018-07-05 | Connaught Electronics Ltd. | Verfahren zum Bereitstellen von zumindest einer Information aus einem Umgebungsbereich eines Kraftfahrzeugs, Anzeigesystem für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug |
| US11615566B2 (en) * | 2017-05-10 | 2023-03-28 | Fotonation Limited | Multi-camera vehicle vision system and method |
| US10498971B2 (en) * | 2017-11-03 | 2019-12-03 | Qualcomm Incorporated | Systems and methods for high-dynamic range imaging |
| US10555192B2 (en) * | 2017-11-15 | 2020-02-04 | Futurewei Technologies, Inc. | Predicting received signal strength in a telecommunication network using deep neural networks |
-
2017
- 2017-01-20 JP JP2017008584A patent/JP2018117320A/ja active Pending
- 2017-07-26 US US15/659,725 patent/US10506178B2/en active Active
-
2019
- 2019-10-23 US US16/661,439 patent/US11044421B2/en active Active
-
2021
- 2021-05-18 US US17/323,033 patent/US11356618B2/en active Active
-
2022
- 2022-04-26 US US17/729,080 patent/US11800045B2/en active Active
-
2023
- 2023-09-01 US US18/459,788 patent/US20230412756A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013183298A (ja) * | 2012-03-02 | 2013-09-12 | Nissan Motor Co Ltd | 車両用後方視界支援装置及び車両用後方視界支援方法 |
| JP2014116756A (ja) * | 2012-12-07 | 2014-06-26 | Toyota Motor Corp | 周辺監視システム |
| JP2015074436A (ja) * | 2013-10-11 | 2015-04-20 | 富士通株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
| JP2016175586A (ja) * | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | 車両周辺監視装置、車両周辺監視方法、及びプログラム |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019207453A (ja) * | 2018-05-28 | 2019-12-05 | アルパイン株式会社 | 画像処理装置および画像処理方法 |
| JP6999239B2 (ja) | 2018-05-28 | 2022-02-04 | アルパイン株式会社 | 画像処理装置および画像処理方法 |
| JP2021027469A (ja) * | 2019-08-06 | 2021-02-22 | アルパイン株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP7280006B2 (ja) | 2019-08-06 | 2023-05-23 | アルパイン株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230412756A1 (en) | 2023-12-21 |
| US11800045B2 (en) | 2023-10-24 |
| US11356618B2 (en) | 2022-06-07 |
| US10506178B2 (en) | 2019-12-10 |
| US11044421B2 (en) | 2021-06-22 |
| US20220256100A1 (en) | 2022-08-11 |
| US20180213162A1 (en) | 2018-07-26 |
| US20210274105A1 (en) | 2021-09-02 |
| US20200059609A1 (en) | 2020-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2018117320A (ja) | 電子ミラーの映像合成装置及び映像合成方法 | |
| US11303806B2 (en) | Three dimensional rendering for surround view using predetermined viewpoint lookup tables | |
| JP3300341B2 (ja) | 監視システムおよびカメラ調整方法 | |
| JP5347257B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
| JP4642723B2 (ja) | 画像生成装置および画像生成方法 | |
| JP4195966B2 (ja) | 画像表示制御装置 | |
| WO2012169355A1 (ja) | 画像生成装置 | |
| JP5953824B2 (ja) | 車両用後方視界支援装置及び車両用後方視界支援方法 | |
| US20150042799A1 (en) | Object highlighting and sensing in vehicle image display systems | |
| JP4606322B2 (ja) | 車両運転支援装置 | |
| JP2009524171A (ja) | 複数の画像を結合して鳥瞰図画像にする方法 | |
| JP5516998B2 (ja) | 画像生成装置 | |
| JP2010095086A (ja) | 車両用表示装置および表示方法 | |
| TWI533694B (zh) | 車用障礙物偵測顯示系統 | |
| JP2011030078A (ja) | 車両用画像表示装置 | |
| JP5516997B2 (ja) | 画像生成装置 | |
| JP2023164507A (ja) | 電子ミラーの映像合成装置及び映像合成方法 | |
| JP5271186B2 (ja) | 車両用画像表示装置 | |
| JP7029350B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2003346189A (ja) | 車両用映像表示装置 | |
| JP2012065228A (ja) | 画像処理装置、画像表示システム及び画像表示方法 | |
| JP6785480B2 (ja) | 画像合成装置、及び、制御方法 | |
| WO2023095340A1 (ja) | 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置 | |
| JP2005223568A (ja) | 画像合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180914 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190813 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200107 |