JP2002374523A - 監視システム - Google Patents

監視システム

Info

Publication number
JP2002374523A
JP2002374523A JP2001182741A JP2001182741A JP2002374523A JP 2002374523 A JP2002374523 A JP 2002374523A JP 2001182741 A JP2001182741 A JP 2001182741A JP 2001182741 A JP2001182741 A JP 2001182741A JP 2002374523 A JP2002374523 A JP 2002374523A
Authority
JP
Japan
Prior art keywords
image
vehicle
camera
center
center line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001182741A
Other languages
English (en)
Other versions
JP4512293B2 (ja
JP2002374523A5 (ja
Inventor
Shusaku Okamoto
修作 岡本
Masamichi Nakagawa
雅通 中川
Takashi Yoshida
崇 吉田
Atsushi Iizaka
篤 飯阪
Atsushi Morimura
森村　　淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=19022775&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2002374523(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001182741A priority Critical patent/JP4512293B2/ja
Priority to US10/173,316 priority patent/US20020191078A1/en
Priority to EP02013340.1A priority patent/EP1270329B2/en
Priority to DE60233705T priority patent/DE60233705D1/de
Priority to AT02013340T priority patent/ATE442976T1/de
Publication of JP2002374523A publication Critical patent/JP2002374523A/ja
Publication of JP2002374523A5 publication Critical patent/JP2002374523A5/ja
Priority to US12/369,979 priority patent/US8201199B2/en
Publication of JP4512293B2 publication Critical patent/JP4512293B2/ja
Application granted granted Critical
Priority to US13/468,661 priority patent/US20120218413A1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Iron Core Of Rotating Electric Machines (AREA)

Abstract

(57)【要約】 【課題】 車両の監視システムとして、後方を撮影する
カメラが車両後部の中央からずらして設置されていて
も、利用者に違和感を与えないような後方画像を提示す
る。 【解決手段】 画像処理部は、カメラ画像（ａ）に対し
て、矩形領域ＲＣ１のみを左にシフトさせて、後方画像
を生成する（ｂ）。矩形領域ＲＣ１は、矩形の縦の中央
線が車両の長手方向の中心線ＣＬ１に概ね一致するよう
に設定する。これにより、後方画像では、車両の長手方
向の中心線ＣＬ１が、縦の中心線にほぼ一致し、車両が
直進後退した場合に、車両の中心線ＣＬ１上にある物体
は、ほぼ画面の中央を垂直方向に移動するので、利用者
に違和感を与えない。さらに、レンズ歪みを補正する処
理を施してもよい（ｃ）。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、車両に設置したカ
メラによって撮影した車両周囲の画像を、画像処理して
表示することによって、安全な運転操作環境を提供する
監視システムに関する技術に属する。
【０００２】
【従来の技術】従来、車両の周囲をカメラを用いて監視
する装置として、カメラを車のリアトランク部などに後
ろ向きに設置し、それから得られた画像をドライバーに
提示することにより、車両後方の様子を知ることができ
るシステムが知られている。最近では、単にカメラ画像
を提示するだけでなく、カメラ画像にタイヤの予想移動
軌跡を重ねて提示することによって車両の進む先をドラ
イバーに知らせることにより、駐車を支援システムも知
られつつある。
【０００３】図８を用いて従来例を説明する。同図中、
（ａ）はカメラ設置態様を示す模式図、（ｂ）は（ａ）
のカメラ設置態様に従ったカメラの画像の例、（ｃ）は
（ｂ）の画像から車両が２５ｃｍだけ直進後退した場合
の画像である。図８（ｂ）の画像では、自車両の真後ろ
に他の車両が停車しており、真ん中の一点鎖線Ａは、自
車が直進後退することによって後の車両の中心が画面上
でどのように近づくかを示し、また左右の実線Ｂ１，Ｂ
２は、自車が直進後退することによって後の車両の左右
の角が画面上でどのように近づくかを示している。
【０００４】図８の例では、自車が直進後退することよ
って、自車の真後ろにある物体（この例では車両）が画
面上で縦方向に上から下に向かって近づいてくるため、
自車の中心が後の物体の中心と合っているか否かが一目
でわかる。
【０００５】
【発明が解決しようとする課題】上述した従来の監視シ
ステムでは、カメラの設置態様として、向きが車両の直
進後退方向とほぼ一致しており、かつ、位置が車両後部
の概ね中央である場合には、利用者にとって非常に有用
なシステムとなる。なぜなら、車両が直進後退したと
き、画面上で垂直方向に動く物体が車両の中心線上にあ
る物体であると認識できるため、後退時に自車が動いて
いく方向が直感的に分かるからである。
【０００６】しかしながら、この従来方式では、カメラ
が車両後部の概ね中央に設置されていない場合に、問題
が生じる。
【０００７】例えば、車両の後部中央には、ナンバープ
レート、リアワイパー、トランク等のロック機構、また
は補助タイヤなどが設置されており、カメラを設置する
場所を確保することが困難な場合がある。また運転席か
ら見えにくい助手席側をより大きく撮影するために、カ
メラを助手席側にずらすなど、特定の方向や領域を撮影
しやすくするためにカメラの位置をずらす場合などがあ
る。
【０００８】図２はカメラ設置態様として、カメラの向
きが直進後退方向であるが、設置位置が車両後部の中央
から横に約５０ｃｍずれている場合を示したものであ
る。また図９（ａ）は図２のカメラ設置態様に従ったカ
メラ画像の例、図９（ｂ）は図９（ａ）から車両が約２
５ｃｍだけ直進後退したときの画像である。図９（ａ）
でも、一点鎖線Ａおよび実線Ｂ１，Ｂ２が、図８（ｂ）
と同じ意味合いで描かれている。
【０００９】この場合、自車両の真後ろにある他の車両
は、画面の端の方に映されるので、自車両と他の車両と
の位置関係が画面上で把握しにくい。また、自車両が直
進後退した場合、自車両の真後ろにある他の車両が、画
面上で垂直方向ではなく斜め方向に近づいてくる。
【００１０】図６は他のカメラ設置態様として、カメラ
の向きが直進後退方向に対して少し中央側に向けられ、
設置位置が車後部の中央から横に約５０ｃｍずれている
場合を示したものである。また図１０（ａ）は図６に示
すカメラ設置態様に従ったカメラ画像の例、図１０
（ｂ）は図１０（ａ）から車両が約２５ｃｍだけ直進後
退したときの画像である。図１０（ａ）でも、一点鎖線
Ａおよび実線Ｂ１，Ｂ２が、図８（ｂ）および図９
（ａ）と同じ意味合いで描かれている。
【００１１】カメラを車両後部の中央からずらして設置
した場合、図２のようにカメラの向きを車両の直進後退
方向に一致させると、図９（ａ）からも判るよう、カメ
ラの取り付け位置と反対側の車両後側方の視野範囲が狭
くなる。車両の左右の状況がバランス良く見えるように
するためには、カメラの向きを車両の中央方向に向けた
方が良い。図１０（ａ）と図９（ａ）とを比べると、図
１０（ａ）では、車両左後方の領域がより大きく見えて
いることが判る。
【００１２】この場合、自車両が直進後退した場合、自
車両の真後ろにある他の車両が、画面上で、図９（ａ）
に比べても、より斜め方向にに近づいてくることが判
る。
【００１３】このように従来の方式では、実際には自車
両の真後ろにある物体が、画面の端の方に映されたり、
自車両の直進後退時に画面上で斜め方向に移動したりす
る。このため、利用者に違和感を与えることになり、自
車両が直進後退しているか否かの判断や、目標物に自車
両の中心が合っているか否かの判断が困難になる。ひい
ては、運転の誤操作を招くおそれが生じる。
【００１４】前記の問題に鑑み、本発明は、監視システ
ムとして、車両後方を撮影するカメラが車両後部の中央
からずらして設置されていても、利用者に違和感を与え
ないような後方画像を提示可能にすることを課題とす
る。
【００１５】
【課題を解決するための手段】前記課題を解決するため
に、請求項１の発明が講じた解決手段は、監視システム
として、車両の後部にその長手方向の中心線からずらし
て設置されており、車両の後方を撮影するカメラと、前
記カメラの撮影画像を入力とし、入力したカメラ画像か
ら車両の後方を映す後方画像を生成し、表示装置に表示
させる画像処理部を備え、前記画像処理部は、車両の長
手方向の中心線が、前記後方画像における縦の中心にほ
ぼ一致するように画像処理を行うものである。
【００１６】請求項１の発明によると、表示装置に表示
された後方画像では、車両の長手方向の中心線が縦の中
心線にほぼ一致する。このため、車両が直進後退した場
合に、車両の中心線上にある物体は、ほぼ画面の中央を
垂直方向に移動するので、利用者に違和感を与えない。
すなわち、カメラが車両後部の中央から横にずらして設
置されていても、あたかも車両後部中央に真後ろ方向に
向いて設置されたカメラによって撮影されたかのような
後方画像を、利用者に提示することできる。この結果、
監視システム用カメラの設置位置や向きの制約条件が緩
和され、カメラ設置の自由度が高くなる。
【００１７】そして、請求項２の発明では、前記請求項
１の監視システムにおける画像処理部は、少なくとも、
カメラ画像に対して、平行移動の処理を行うものとす
る。
【００１８】さらに、請求項３の発明では、前記請求項
２の監視システムにおける画像処理部は、カメラ画像に
対して、レンズ歪みの補正処理を行うものとする。
【００１９】また、請求項４の発明では、前記請求項１
の監視システムにおける画像処理部は、カメラ画像を、
前記車両の後部中央の上方に設定した仮想視点から見た
画像に変換する処理を行うものとする。
【００２０】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。まずそれぞれの実施
形態を実現するために必要な、本発明に係る監視システ
ムの全体構成について説明し、つづいて、各種表示画面
態様例について詳細を説明する。
【００２１】図１は本発明に係る監視システムの構成を
示すブロック図である。図１に示す監視システムにおい
て、画像処理部２０は、カメラ１１を有する撮影手段１
０から出力された複数のカメラ画像を入力とし、これら
を変形・合成して新たな画像を生成する。この合成画像
は表示手段３０によって表示される。画像処理部２０に
よって、本発明に係る画像処理装置が構成される。
【００２２】本発明の表示手段３０は、典型的には液晶
ディスプレイであるが、プラズマディスプレイ等の他の
表示デバイスを用いることもできる。また、本発明のデ
ィスプレイは、車両搭載型のＧＰＳ端末ディスプレイ
（いわゆるカーナビゲーションシステムのディスプレ
イ）と共用したものであってもよいし、これとは別に準
備されたものであってもよい。
【００２３】撮影手段１０は、典型的にはＣＣＤ，ＣＭ
ＯＳデバイス等の固体撮像素子をもつ、カラーまたはモ
ノクロのデジタルカメラである。また、撮影手段１０
は、たとえばレンズと、プリズムまたはミラーとの組み
合わせにより構成され、レンズ、プリズムまたはミラー
への入射光が、所定光路を通って撮影手段１０から離れ
た位置にある撮像素子に伝達されるように構成されてい
てもよい。
【００２４】画像処理部２０は、少なくとも１台のカメ
ラ画像を変形・合成し、例えば入力画像を左右方向にシ
フトした画像や、車両上方から鉛直下方、斜め下方に見
下ろしたような合成画像を生成する。合成画像の生成の
ためには、画像変形処理や変形された画像の必要な部分
を切り取った部分画像の合成処理（複数台のカメラ画像
を使う場合は、それぞれの部分画像が重なり合う境界部
分のスムージングなどの処理（以下、境界処理）を含
む）が必要になるが、図１の構成では、マッピングテー
ブル参照部２１を備え、撮像画像の加工を一つの工程で
行うために、マッピングテーブルを利用する。
【００２５】画像合成部２２はカメラ１〜Ｎからの撮影
画像を入力し、これら撮影画像を加工する。ここでの加
工は、画像変形切り出し処理、切り出された部分画
像の合成処理（境界処理を含む）である。これらのと
の処理は、それぞれ別々になされてもよいし、全部ま
たは一部が１つの工程によりなされてもよい。図１で
は、撮影画像の加工を一つの工程で行うために、マッピ
ングテーブルを備えた構成をなしている。
【００２６】マッピングテーブルとは、合成画像の画素
と、各カメラ画像の画素データとの対応関係が記述され
たテーブルのことをいい、合成画像の生成処理を高速に
行うために用いられる。このようなマッピングテーブル
を、幾何変換などを用いた計算や手作業などによってあ
らかじめ作成しておくことによって、所望の合成画像を
高速に生成することができる。
【００２７】マッピングテーブルは具体的には、例えば
ＲＯＭ（ＥＥＰＲＯＭなどの書きこみ・消去可能なＲＯ
Ｍを含む）、またはＲＡＭに格納されている。マッピン
グテーブルの格納は、例えば、画像処理部内のプロセッ
サが計算で求めたマッピングデータをＲＯＭまたはＲＡ
Ｍに書きこむことによって実現してもよいし、ファーム
ウェアとして提供されるマッピングテーブルデータを、
通信回線やディスクドライブなどのデータ転送手段を用
いて、ＲＡＭまたはＲＯＭに書きこむようにしてもよ
い。
【００２８】次に、本発明に係る各種表示画面態様例に
ついて詳細を説明する。
【００２９】（第１の実施形態）第１の実施形態では、
カメラ設置態様として、図２に示すような、カメラ２の
向きが車両１の直進後退方向であり、設置位置が車両１
後部の中央から横にずれている場合における処理の一例
を示すものである。この処理の内容を、カメラ画像と処
理後の表示画面態様とを用いて説明する。
【００３０】図３（ａ）は図２に示すカメラ設置態様で
撮影したカメラ画像、図３（ｂ）の画像は、横ずれによ
る画面の見にくさを解消するために、図３（ａ）の画像
に対して、点線で囲んだ矩形領域ＲＣ１のみを左にシフ
トさせた後方画像である。矩形領域ＲＣ１は、矩形の縦
の中央線が、実際の車両１の長手方向の中心線ＣＬ１
（太一点鎖線で表示）に概ね一致するように設定する。
【００３１】この場合は、カメラ２の位置が車両１の中
心から少しずれているだけなので、自車の中心線ＣＬ１
上の真後ろにある物体は、車両１の直進後退時に、画面
上で上からほぼ垂直方向に移動する。しかしながら、カ
メラ２の設置位置のずれによって、路面上での自車両の
中心線ＣＬ１がモニタ画面上ではかなり右にずれている
ため、その分を、元の画像の矩形切り出しとシフトによ
って補正している。
【００３２】図３（ｂ）の画像から分かるように、カメ
ラ画像を横にシフトさせるだけでも、モニタ画面の後方
画像の縦の中心線と車両の中心線ＣＬ２とを概ね一致さ
せることができる。これにより、車両１が直進後退した
場合に、少なくとも車両１のの中心線ＣＬ１上にある物
体は、ほぼ画面の中央を上から下へと流れるように移動
するので、ドライバーは、ある目標をねらって自車を後
退させる時に、その目標に向かっているか否かを画面中
央における画像の動きによって簡単に確認することがで
きる。
【００３３】次に適切なシフト量を見積もる最も簡単な
方法の一例を説明する。まず、車の真後ろの路面上に車
の中心線を引く。線の長さはカメラの後方視野範囲にも
よるが５ｍもあれば十分である。次に、その中心線を引
いた状態の画像をカメラで撮影し、中心線の左右の平均
位置と画像の中心とのずれ量を計算する。そのずれ量が
シフト量となる。
【００３４】一方、カメラが車中央に設置されている場
合は、車中央の移動軌跡は直線となるが（図８（ｂ）参
照）、カメラ取付位置が中央からずれると、レンズ歪み
のため、曲線となってしまう。レンズ歪みは撮影された
画像の中心から離れるほど大きくなるので、取付位置が
ずれるほど、曲がりが大きくなる。この曲がりは、画像
の平行移動だけでは解決できない。
【００３５】レンズ歪みは、カメラのレンズの特性に基
づき画像の各画素の位置を移動する２次元画像変形によ
り補正できる。たとえば予め正方格子の模様をカメラで
撮影し、各格子点がレンズ歪みでどのように変形するか
を計測し、その変形量を逆向きに補正することにより補
正できる。
【００３６】図３（ａ）の画像に対し、レンズ歪みを補
正し、カメラの位置ずれを平行移動により補正した画像
を図３（ｃ）に示す。図３（ｃ）に示すような画像によ
ると、自車の後退にしたがって、車両の中心線上にある
物体が、画面中央を縦方向に真っ直ぐに移動するため、
自車の動きの方向、周囲との位置関係が、より簡単に確
認できる。
【００３７】（第２の実施形態）上述の画像シフトおよ
び歪み補正処理では、カメラ設置態様として、カメラの
位置が車両の中心線から大きくずれている場合や、カメ
ラの向きが直進後退方向を向いていない場合、またはそ
の両方の場合に、利用者にとって見やすい画像を作るこ
とが困難になる場合がある。
【００３８】第２の実施形態は、上述したようなカメラ
設置態様の場合でも、利用者にとって見やすい画像を作
ることを可能にするものである。以下、処理の内容をカ
メラ画像と処理後の表示画面態様とを用いて説明する。
【００３９】まず、第１のカメラ設置態様として、図２
に示すような、カメラの取り付け位置だけが車両中心に
対して大きくずれた場合を示す。
【００４０】図４（ａ）は図２に示すカメラ設置態様で
撮影したカメラ画像、図４（ｂ）〜（ｄ）の画像は、横
ずれによる画面の見にくさを解消するために、図４
（ａ）の画像に対して視点変換処理を施すことによりあ
たかも仮想的な場所から見たような画像に変換したもの
である。図５（ａ）〜（ｃ）はそれぞれ、図４（ｂ）〜
（ｄ）の後方画像に係る仮想視点を示す図である。すな
わち、 図５（ａ）…仮想視点位置：車両後部中央の上方 向
き：車の真後ろ向きで路面に対して３０度の角度をな
す。
【００４１】図５（ｂ）…仮想視点位置：車両後部中央
の上方 向き：車の真後ろ向きで路面に対して６０度の
角度をなす。
【００４２】図５（ｃ）…仮想視点位置：車両後部中央
の上方 向き：真下見下ろし。
【００４３】図４（ｂ）〜（ｄ）はいずれも仮想視点変
換処理によって、路面上での自車の長手方向の中心線Ｃ
Ｌ１が画面上で縦の中心線に一致するように変換されて
いる。しかも２５ｃｍの直進後退によって、自車の中心
線ＣＬ１上にある物体が、画面上で上から真っ直ぐ垂直
方向に移動する様子が分かる。
【００４４】さらに、図５（ａ）〜（ｃ）に示すよう
に、実際のカメラの俯角とは独立に、仮想視点の俯角を
与えることができるので、より上方から見下ろしたよう
な画像を生成することによって、路面上の特徴（白線な
ど）との位置関係を把握しやすい画像を提示できる。
【００４５】次に、第２のカメラ設置態様として、図６
に示した場合、すなわち取り付け位置が車中心に対して
大きくずれ、さらにカメラの向きが車の真後ろ方向に対
して少し斜めになった場合を示す。
【００４６】図７（ａ）は図６に示すカメラ設置態様で
撮影したカメラ画像、図７（ｂ）〜（ｄ）の画像は、横
ずれによる画面の見にくさを解消するために、図７
（ａ）の画像に対して視点変換処理を施すことによっ
て、あたかも仮想的な位置から見たような画像に変換し
たものである。図７（ｂ）〜（ｄ）の画像の仮想視点
も、図５（ａ）〜（ｃ）に示したものにそれぞれ対応し
ている。
【００４７】第１のカメラ設置態様と比較すると、そも
そものカメラの撮影範囲が異なるため、変換画像におけ
る死角部分の領域や立体物の歪み方に相違はあるもの
の、白線など路面部分に関しては、第１のカメラ設置態
様で撮影し仮想視点変換した画像とほぼ同様の画像が得
られていることが分かる。
【００４８】なお、各実施形態に係る後方画像を実現す
るための装置構成としては、表示する画像の分に相当す
るマッピングテーブルを備えておくようにしても良い
し、状況に応じて、マッピングテーブルを自動で作成し
てもかまわない。
【００４９】また、各実施例では１台のカメラ画像に対
して処理を行う例のみを示したが、もちろん複数の画像
を入力とし、それに処理を施して一枚の画像に変換して
も構わない。
【００５０】なお、本発明において車両とは、普通自動
車、軽自動車、貨物自動車、バス等を含む。特に、車両
後面部にスペアタイヤ等を置くため、またはデザイン上
の都合などにより、車両後部の中央にカメラを設置する
ことができない車両に対して本発明は非常に有効であ
る。なお、本発明の技術思想が適用されうるものであれ
ば、クレーン車、シャベルカー等の特殊車両も、本発明
の車両とすることができる。
【００５１】
【発明の効果】以上のように本発明によると、カメラが
車両後部の中央から横にずらして設置されていても、あ
たかも車両後部中央に真後ろ方向に向いて設置されたカ
メラによって撮影されたかのような後方画像を、利用者
に提示することできる。この結果、監視システム用カメ
ラの設置位置や向きの制約条件が緩和され、カメラ設置
の自由度が高くなる。
【図面の簡単な説明】
【図１】本発明に係る監視システムの構成例を示すブロ
ック図である。
【図２】カメラの設置態様の一例を示す図である。
【図３】本発明の第１の実施形態に係る画像処理を表す
画像例である。
【図４】本発明の第２の実施形態に係る画像処理を表す
画像例である。
【図５】図４および図７の画像における仮想視点の設定
を示す図である。
【図６】カメラの設置態様の他の例を示す図である。
【図７】本発明の第２の実施形態に係る画像処理を表す
画像例である。
【図８】（ａ）は従来例におけるカメラの設置態様を表
す図、（ｂ）および（ｃ）は（ａ）のカメラ設置態様に
よる画像例である。
【図９】図２のカメラ設置態様による従来の画像例であ
る。
【図１０】図６のカメラ設置態様による従来の画像例で
ある。
【符号の説明】
１ 車両 ２，３ カメラ １１ カメラ ２０ 画像処理部 ３０ 表示装置 ＣＬ１ 車両の長手方向の中央線
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｓ Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ｂ 3/00 ２００ 3/00 ２００ 17/40 17/40 Ｅ (72)発明者 吉田 崇 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 飯阪 篤 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 森村 淳 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B050 AA10 BA09 BA11 EA13 EA27 FA02 5B057 AA16 AA19 CA12 CB13 CC01 CD12 CD14 CH01 CH07 CH11 DA16 5C054 AA01 CC02 CE01 FD00 HA30

Claims (4)

    【特許請求の範囲】
  1. 【請求項１】 車両の後部に、その長手方向の中心線か
    らずらして設置されており、車両の後方を撮影するカメ
    ラと、 前記カメラの撮影画像を入力とし、入力したカメラ画像
    から、車両の後方を映す後方画像を生成し、表示装置に
    表示させる画像処理部とを備え、 前記画像処理部は、 前記後方画像における縦の中心が、車両の長手方向の中
    心線とほぼ一致するように、画像処理を行うものである
    ことを特徴とする監視システム。
  2. 【請求項２】 請求項１において、 前記画像処理部は、 少なくとも、カメラ画像に対して、平行移動の処理を行
    うものであることを特徴とする監視システム。
  3. 【請求項３】 請求項２において、 前記画像処理部は、 カメラ画像に対して、レンズ歪みの補正処理を行うもの
    であることを特徴とする監視システム。
  4. 【請求項４】 請求項１において、 前記画像処理部は、 カメラ画像を、前記車両の後部中央の上方に設定した仮
    想視点から見た画像に、変換する処理を行うものである
    ことを特徴とする監視システム。
JP2001182741A 2001-06-18 2001-06-18 監視システムおよび監視方法 Expired - Lifetime JP4512293B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2001182741A JP4512293B2 (ja) 2001-06-18 2001-06-18 監視システムおよび監視方法
US10/173,316 US20020191078A1 (en) 2001-06-18 2002-06-17 Monitoring system
AT02013340T ATE442976T1 (de) 2001-06-18 2002-06-18 Überwachungssystem
DE60233705T DE60233705D1 (de) 2001-06-18 2002-06-18 Überwachungssystem
EP02013340.1A EP1270329B2 (en) 2001-06-18 2002-06-18 Monitoring system
US12/369,979 US8201199B2 (en) 2001-06-18 2009-02-12 Monitoring system
US13/468,661 US20120218413A1 (en) 2001-06-18 2012-05-10 Monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001182741A JP4512293B2 (ja) 2001-06-18 2001-06-18 監視システムおよび監視方法

Publications (3)

Publication Number Publication Date
JP2002374523A true JP2002374523A (ja) 2002-12-26
JP2002374523A5 JP2002374523A5 (ja) 2008-02-21
JP4512293B2 JP4512293B2 (ja) 2010-07-28

Family

ID=19022775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001182741A Expired - Lifetime JP4512293B2 (ja) 2001-06-18 2001-06-18 監視システムおよび監視方法

Country Status (5)

Country Link
US (3) US20020191078A1 (ja)
EP (1) EP1270329B2 (ja)
JP (1) JP4512293B2 (ja)
AT (1) ATE442976T1 (ja)
DE (1) DE60233705D1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111070A (ja) * 2001-09-27 2003-04-11 Aisin Seiki Co Ltd 車両用監視装置
JP2006129149A (ja) * 2004-10-29 2006-05-18 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2006318388A (ja) * 2005-05-16 2006-11-24 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2006318195A (ja) * 2005-05-12 2006-11-24 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
WO2008117386A1 (ja) * 2007-03-23 2008-10-02 Pioneer Corporation 車両用画像処理装置及び車両用画像処理プログラム
KR100882875B1 (ko) 2007-12-18 2009-02-10 주식회사 현대오토넷 영상 위치 변환을 위한 차량 후방 영상 표시 장치 및 방법
US7953292B2 (en) 2006-10-11 2011-05-31 Renesas Electronics Corporation Semiconductor integrated circuit device and rendering processing display system
JP2012075157A (ja) * 2011-11-18 2012-04-12 Aisin Seiki Co Ltd 車両用監視装置
WO2015011897A1 (ja) * 2013-07-26 2015-01-29 株式会社デンソー 車両周辺監視装置およびプログラム
US10127687B2 (en) 2014-11-13 2018-11-13 Olympus Corporation Calibration device, calibration method, optical device, image-capturing device, projection device, measuring system, and measuring method
US10659677B2 (en) 2017-07-21 2020-05-19 Panasonic Intellectual Property Managment Co., Ltd. Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110021B2 (en) * 2002-05-31 2006-09-19 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring device, and image production method/program
US7272482B2 (en) * 2002-09-30 2007-09-18 Nissan Motor Co., Ltd. Preceding-vehicle following control system
JP4332028B2 (ja) * 2003-12-25 2009-09-16 キャタピラージャパン株式会社 表示器制御システム
JP4380550B2 (ja) * 2004-03-31 2009-12-09 株式会社デンソー 車載用撮影装置
EP1662440A1 (en) 2004-11-30 2006-05-31 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Method for determining the position of an object from a digital image
WO2006087993A1 (ja) * 2005-02-15 2006-08-24 Matsushita Electric Industrial Co., Ltd. 周辺監視装置および周辺監視方法
EP1916846B1 (en) * 2005-08-02 2016-09-14 Nissan Motor Company Limited Device and method for monitoring vehicle surroundings
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP4853712B2 (ja) * 2006-12-28 2012-01-11 アイシン精機株式会社 駐車支援装置
JP4874280B2 (ja) * 2008-03-19 2012-02-15 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
KR20120053713A (ko) * 2010-11-18 2012-05-29 에스엘 주식회사 차량용 카메라의 제어 장치 및 방법
CN103847638A (zh) * 2012-11-28 2014-06-11 德尔福电子(苏州)有限公司 车轮方向显示装置
US9167214B2 (en) 2013-01-18 2015-10-20 Caterpillar Inc. Image processing system using unified images
US9052393B2 (en) 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
US9065985B2 (en) * 2013-03-15 2015-06-23 Tolo, Inc. Diagonal collection of oblique imagery
JP6036601B2 (ja) * 2013-08-09 2016-11-30 株式会社デンソー 画像処理装置及び画像処理方法
US20150175088A1 (en) * 2013-12-23 2015-06-25 Teddy Chang Extendable Surround Image Capture System for Vehicles
JP6958117B2 (ja) * 2017-08-29 2021-11-02 株式会社アイシン 駐車支援装置
EP3462550B1 (en) * 2017-10-02 2021-01-27 Hosiden Corporation Connector module and onboard camera using the same
CN112019816A (zh) * 2020-09-03 2020-12-01 中车青岛四方车辆研究所有限公司 列车流媒体传输装置及视频监控系统
JP2022168699A (ja) * 2021-04-26 2022-11-08 キヤノン株式会社 移動体、撮像システム、および撮像装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08147497A (ja) * 1994-11-25 1996-06-07 Canon Inc 画像処理方法及びその装置
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JPH03201110A (ja) * 1989-12-28 1991-09-03 Toyota Central Res & Dev Lab Inc 自律走行車の位置方位検出装置
FR2673499B1 (fr) * 1991-03-01 1995-08-04 Renault Dispositif de retrovision par camera pour vehicule automobile.
US5329310A (en) * 1992-06-30 1994-07-12 The Walt Disney Company Method and apparatus for controlling distortion of a projected image
JP3374570B2 (ja) * 1995-01-31 2003-02-04 いすゞ自動車株式会社 車線逸脱警報装置
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5883739A (en) * 1993-10-04 1999-03-16 Honda Giken Kogyo Kabushiki Kaisha Information display device for vehicle
DE4336288C1 (de) * 1993-10-25 1995-03-30 Daimler Benz Ag Einrichtung zur Überwachung des Rück- bzw. Frontraumes eines einparkenden Kraftfahrzeugs
JPH08234701A (ja) * 1995-02-28 1996-09-13 Sony Corp 映像表示装置
JPH1166488A (ja) * 1997-08-21 1999-03-09 Honda Motor Co Ltd 白線認識装置
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
US6529640B1 (en) * 1998-06-09 2003-03-04 Nikon Corporation Image processing apparatus
FR2780230B1 (fr) * 1998-06-18 2000-08-25 Renault Dispositif de retrovision principale pour vehicule automobile
EP2309453A3 (en) 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
EP1004916A1 (en) * 1998-11-25 2000-05-31 Donnelly Corporation Wide angle imaging system for vehicle
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
US6184781B1 (en) * 1999-02-02 2001-02-06 Intel Corporation Rear looking vision system
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP3624769B2 (ja) 1999-09-30 2005-03-02 株式会社豊田自動織機 車両後方監視装置用画像変換装置
US6813371B2 (en) * 1999-12-24 2004-11-02 Aisin Seiki Kabushiki Kaisha On-vehicle camera calibration device
EP1148461B1 (en) * 2000-04-05 2004-09-22 Matsushita Electric Industrial Co., Ltd. Driving operation assisting method and system
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
JP3599639B2 (ja) * 2000-05-26 2004-12-08 松下電器産業株式会社 画像処理装置
JP2002359839A (ja) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
EP3388784B1 (en) * 2001-05-04 2019-07-17 Vexcel Imaging GmbH Method and large format camera for acquiring a large format image of a large area object
EP1916846B1 (en) * 2005-08-02 2016-09-14 Nissan Motor Company Limited Device and method for monitoring vehicle surroundings
EP3480057B1 (en) * 2007-04-30 2022-07-06 Mobileye Vision Technologies Ltd. Rear obstruction detection
JP4595976B2 (ja) * 2007-08-28 2010-12-08 株式会社デンソー 映像処理装置及びカメラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08147497A (ja) * 1994-11-25 1996-06-07 Canon Inc 画像処理方法及びその装置
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111070A (ja) * 2001-09-27 2003-04-11 Aisin Seiki Co Ltd 車両用監視装置
JP2006129149A (ja) * 2004-10-29 2006-05-18 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
US7825952B2 (en) 2004-10-29 2010-11-02 Autonetworks Technologies, Ltd. Vehicle's peripheral visible apparatus
JP2006318195A (ja) * 2005-05-12 2006-11-24 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP4680670B2 (ja) * 2005-05-12 2011-05-11 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
JP2006318388A (ja) * 2005-05-16 2006-11-24 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US7953292B2 (en) 2006-10-11 2011-05-31 Renesas Electronics Corporation Semiconductor integrated circuit device and rendering processing display system
WO2008117386A1 (ja) * 2007-03-23 2008-10-02 Pioneer Corporation 車両用画像処理装置及び車両用画像処理プログラム
KR100882875B1 (ko) 2007-12-18 2009-02-10 주식회사 현대오토넷 영상 위치 변환을 위한 차량 후방 영상 표시 장치 및 방법
JP2012075157A (ja) * 2011-11-18 2012-04-12 Aisin Seiki Co Ltd 車両用監視装置
WO2015011897A1 (ja) * 2013-07-26 2015-01-29 株式会社デンソー 車両周辺監視装置およびプログラム
JP2015026989A (ja) * 2013-07-26 2015-02-05 株式会社デンソー 車両周辺監視装置およびプログラム
US10127687B2 (en) 2014-11-13 2018-11-13 Olympus Corporation Calibration device, calibration method, optical device, image-capturing device, projection device, measuring system, and measuring method
US10659677B2 (en) 2017-07-21 2020-05-19 Panasonic Intellectual Property Managment Co., Ltd. Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium

Also Published As

Publication number Publication date
ATE442976T1 (de) 2009-10-15
US20120218413A1 (en) 2012-08-30
US20020191078A1 (en) 2002-12-19
JP4512293B2 (ja) 2010-07-28
EP1270329B2 (en) 2016-11-23
US20090174775A1 (en) 2009-07-09
EP1270329B1 (en) 2009-09-16
EP1270329A2 (en) 2003-01-02
US8201199B2 (en) 2012-06-12
EP1270329A3 (en) 2003-12-17
DE60233705D1 (de) 2009-10-29

Similar Documents

Publication Publication Date Title
JP2002374523A (ja) 監視システム
JP4596978B2 (ja) 運転支援システム
JP5347257B2 (ja) 車両用周辺監視装置および映像表示方法
US7317813B2 (en) Vehicle vicinity image-processing apparatus and recording medium
JP5729158B2 (ja) 駐車支援装置および駐車支援方法
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2007274377A (ja) 周辺監視装置、プログラム
JP4606322B2 (ja) 車両運転支援装置
JP2009081664A (ja) 車両用周辺監視装置および映像表示方法
JP2009105656A (ja) 車載用撮像装置
US11528453B2 (en) Sensor fusion based perceptually enhanced surround view
JP3778849B2 (ja) 車両周辺画像処理装置及び記録媒体
EP3772719B1 (en) Image processing apparatus, image processing method, and image processing program
KR20100005971A (ko) 차량 전방위 감시 시스템
WO2013157184A1 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
WO2017217422A1 (ja) 画像生成装置及びプログラム
JP2019202584A (ja) 画像処理装置および画像処理方法
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP2009077022A (ja) 運転支援システム及び車両
JP7301476B2 (ja) 画像処理装置
JP2017220163A (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2019114965A (ja) 画像処理装置
JP2020119492A (ja) 画像合成装置、及び、制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4512293

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

EXPY Cancellation because of completion of term