JP2001334870A - 画像処理装置および監視システム - Google Patents

画像処理装置および監視システム

Info

Publication number
JP2001334870A
JP2001334870A JP2000155898A JP2000155898A JP2001334870A JP 2001334870 A JP2001334870 A JP 2001334870A JP 2000155898 A JP2000155898 A JP 2000155898A JP 2000155898 A JP2000155898 A JP 2000155898A JP 2001334870 A JP2001334870 A JP 2001334870A
Authority
JP
Japan
Prior art keywords
image
image processing
camera
vehicle
composite image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000155898A
Other languages
English (en)
Other versions
JP3599639B2 (ja
Inventor
Shusaku Okamoto
修作 岡本
Masamichi Nakagawa
雅通 中川
Hiroshi Ishii
浩史 石井
Kazuo Nobori
一生 登
Atsushi Morimura
森村　　淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=18660766&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2001334870(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000155898A priority Critical patent/JP3599639B2/ja
Priority to DE60100525T priority patent/DE60100525T2/de
Priority to EP01112598A priority patent/EP1157890B1/en
Priority to CNB011182458A priority patent/CN1224539C/zh
Priority to US09/866,082 priority patent/US6912001B2/en
Priority to KR1020010029228A priority patent/KR20010107775A/ko
Publication of JP2001334870A publication Critical patent/JP2001334870A/ja
Publication of JP3599639B2 publication Critical patent/JP3599639B2/ja
Application granted granted Critical
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

(57)【要約】 【課題】 車両に設置された複数のカメラの撮像画像を
合成する画像処理装置において、車両の可動部分の状態
が変化しても、表示画像上で違和感が生じないようにす
る。 【解決課題】 画素合成部２１は撮像部１から出力され
たカメラ画像を受け、マッピングテーブルＭＰＴを参照
して、合成画像を生成する。表示切替部２３は、ドアや
ボンネットなどの可動部分の状態を示す信号Ｓ１を受
け、可動部分の状態変化がカメラ画像に影響を与えると
き、合成画像にそのカメラ画像が用いられないように、
マッピングデータの書き換えを行う。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、車両に設置した複
数のカメラの撮像画像を用いて合成画像を生成する画像
処理技術に関するものであり、特に、車両運転の際の安
全確認の補助などに利用される監視システムに有効な技
術に属する。
【０００２】
【従来の技術】従来、車両の周囲をカメラを用いて監視
する装置として、特開平１１−７８６９２号公報に記載
の車両用映像提供装置が知られている。この装置では、
車両用映像提供のための複数のカメラを車両の周囲に取
り付け、各カメラによって撮影された画像を変形し、境
界の連続性を保ちながら合成して新たな画像を作成し、
モニタに表示している。
【０００３】
【発明が解決しようとする課題】上述したような車両周
囲監視システムでは、一旦設置したカメラは、通常、そ
の設置位置や向きは変化しない、ということを前提にし
て、画像処理が実行されている、と考えられる。なぜな
ら、合成画像を生成する画像処理を、カメラの設置位置
や向きをその都度考慮しながらリアルタイムで行うこと
は、処理時間や装置規模の面からみて、実用上極めて困
難であるからである。
【０００４】一方、車両の空力面やデザイン面などを考
慮すると、このような監視システムに用いられるカメラ
が、ドアミラー取り付け部付近や、トランク、ボンネッ
トなどのような可動部分に設置される可能性は、十分に
あり得る。
【０００５】このとき、次のような問題が生じる。
【０００６】すなわち、カメラが取り付けられた可動部
分の状態変化が、カメラの撮像画像に影響を与え、合成
画像にずれなどを生じさせる可能性がある。例えば、カ
メラがドアミラー付近に取り付けらた場合、ドアを開け
たとき、カメラの向きが変わるので、合成画像上でその
カメラ画像を用いた部分のみにずれが生じる。この結
果、表示画面上、利用者に違和感を与えることになる。
【０００７】また、カメラが固定部分にとりつけられた
場合でも、同様の問題が生じる。例えばドアが開いたこ
とによって、特定のカメラの撮像画像にそのドアが映り
込んだ場合には、合成画像上でそのカメラ画像を用いた
部分のみにずれが生じる。合成画像上のずれは、結果と
して、利用者に違和感を与えることになり、好ましくな
い。
【０００８】前記の問題に鑑み、本発明は、車両に設置
された複数のカメラの撮像画像を用いて合成画像を生成
する画像処理装置として、車両の可動部分の状態変化に
よってカメラの撮像画像が影響を受けた場合でも、表示
画像上、利用者に違和感を与えないようにすることを課
題とする。
【０００９】
【課題を解決するための手段】前記の課題を解決するた
めに、請求項１の発明が講じた解決手段は、画像処理装
置として、車両に設置され、当該車両の周囲を撮影する
複数のカメラの撮像画像を入力とし、これらの撮像画像
から合成画像を生成し、表示装置に出力する画像処理部
を備え、前記画像処理部は、前記車両の可動部分の状態
に応じて、前記合成画像の表示態様を切り替えるもので
ある。
【００１０】請求項１の発明によると、車両の可動部分
の状態に応じて合成画像の表示態様が切り替わるので、
車両の可動部分の状態変化に起因して合成画像に異常が
生じた場合であっても、利用者に違和感を与えるような
画像が表示されることを回避することができる。また、
合成画像の表示態様の切替によって、可動部分の状態
が、例えば車両の走行に望ましくない状態であること
を、利用者に素早く的確に知らしめることも可能にな
る。
【００１１】そして、請求項２の発明では、前記請求項
１の画像処理装置における画像処理部は、前記可動部分
の状態変化に起因して前記複数のカメラのうちの少なく
とも１つの設置位置または向きが変化し、前記合成画像
が正常でなくなるとき、前記合成画像の表示態様を通常
モードから異常モードに切り替えるものとする。
【００１２】さらに、請求項３の発明では、前記請求項
２の画像処理装置における画像処理部は、異常モードに
おいて、設置位置または向きが変化したカメラの撮像画
像を用いないで合成画像を生成するものとする。
【００１３】また、請求項４の発明では、前記請求項１
の画像処理装置における画像処理部は、前記可動部分の
状態変化に起因して前記複数のカメラのうちの少なくと
も１つの撮像画像において前記可動部分が占める領域が
変化し、前記合成画像が正常でなくなるとき、前記合成
画像の表示態様を通常モードから異常モードに切り替え
るものとする。
【００１４】そして、請求項５の発明では、前記請求項
４の画像処理装置における画像処理部は、異常モードに
おいて、撮像画像において前記可動部分が占める領域が
変化したカメラの撮像画像を用いないで合成画像を生成
するものとする。
【００１５】また、請求項６の発明では、前記請求項２
または４の画像処理装置における画像処理部は、異常モ
ードにおいて、合成画像を出力しないものとする。
【００１６】さらに、請求項７の発明では、前記請求項
２または４の画像処理装置における画像処理部は、異常
モードにおいて、合成画像に代えてまたは合成画像とと
もにメッセージを出力するものとする。
【００１７】請求項７の発明によると、利用者は合成画
像の異常をメッセージによって知ることができる。ま
た、可動部分の具体的な状態変化を示すメッセージを出
力する場合には、利用者は、車両の状況も素早く的確に
知ることができる。
【００１８】また、請求項８の発明では、前記請求項１
の画像処理装置において、前記可動部分はドア、ボンネ
ットまたはトランクを少なくとも含むものとし、前記画
像処理部は、前記ドア、ボンネットまたはトランクの開
閉状態に応じて前記合成画像の表示態様の切替を行うも
のとする。
【００１９】また、請求項９の発明では、前記請求項１
の画像処理装置において、前記可動部分はタイヤを少な
くとも含むものとし、前記画像処理部は、前記タイヤの
舵角に応じて前記合成画像の表示態様の切替を行うもの
とする。
【００２０】また、請求項１０の発明は、請求項１の画
像処理装置を備えた監視システムであり、車両に設置さ
れ、当該車両の周囲を撮影する複数のカメラと、表示装
置と、前記複数のカメラの撮像画像を入力とし、これら
の撮像画像から合成画像を生成し、前記表示装置に出力
する画像処理部とを備え、前記画像処理部は、前記車両
の可動部分の状態に応じて、前記合成画像の表示態様を
切り替えるものである。
【００２１】
【発明の実施の形態】以下、本発明の一実施形態につい
て、図面を参照して説明する。
【００２２】（第１の実施形態）図１は本発明の第１の
実施形態に係る監視システムの構成を示すブロック図で
ある。図１に示す監視システムにおいて、画像処理部２
は、撮像部１から出力された複数のカメラ画像を入力と
し、これらを合成して新たな画像を生成する。この合成
画像は、表示装置３によって表示される。画像処理部２
によって、本発明に係る画像処理装置が構成される。
【００２３】図２は本実施形態におけるカメラ配置の
例、図３は各カメラの撮像画像の例を示す図である。こ
こでは、８台のカメラが、図２および図３のように配置
されているものとする。なお、図２および図３のカメラ
配置においては、周囲の死角をなるべくなくすために、
互いに隣り合うカメラの画像においてオーバーラップす
る領域ができるように、各カメラの位置・向きを決める
のが好ましい。
【００２４】画像処理部２は、図３に示す８枚のカメラ
画像を変形・合成し、例えば、車両上方から鉛直下方に
見下ろしたような合成画像を生成する。合成画像の生成
のためには、画像変形処理や、変形された部分画像の合
成処理（境界処理を含む）が必要になるが、図１の構成
では、マッピングテーブル参照部２２を備え、撮像画像
の加工を一つの工程で行うために、マッピングテーブル
ＭＰＴを利用する。マッピングテーブルについては後述
する。
【００２５】マッピングテーブル選択部４１は、合成画
像の表示内容を選択し、選択した表示内容に応じたマッ
ピングテーブルＭＰＴを指示する。この選択は、人為的
に行ってもよいし、ギア位置、ハンドル舵角またはウィ
ンカーなどの車両の状態に応じて自動的に行うようにし
てもよい。マッピングテーブルＭＰＴを選択する信号
は、マッピングテーブル参照部２２とともに、メッセー
ジ出力部２６におくられる。
【００２６】表示切替部２３は、車両の可動部分の状態
を示す状態信号Ｓ１を受けて、合成画像の表示態様を切
り替える。例えば、可動部分の状態変化に起因して複数
のカメラのいずれかの設置位置または向きが変化し、合
成画像が正常でなくなるときは、合成画像の表示態様
を、通常モードから異常モードに切り替える。異常モー
ドにおいては、例えば、設置位置または向きが変化した
カメラの撮像画像を用いないで、合成画像を生成する。
【００２７】図４は車両の可動部分の状態変化に起因し
て正常でなくなった合成画像の一例である。図４の合成
画像を見ると分かるように、車両の右ドアが開状態にな
ったことに起因してカメラ１およびカメラ２の撮像画像
が変化したため、カメラ１およびカメラ２の撮像画像を
用いた部分にずれが生じている。
【００２８】そこで、本実施形態では、車両の可動部分
の状態として、カメラが設置された右ドア、左ドア、ト
ランクおよびボンネットの開閉状態を用いる。すなわ
ち、表示切替部２３には、状態信号Ｓ１によって、例え
ば「右ドアが開いている」「ボンネットが閉じている」
などの情報が入力される。表示切替部２３は、図５に示
すような車両の可動部分とカメラ番号との対応関係を示
すデータを予め有しており、この対応関係と状態信号Ｓ
１が示す情報とを用いて、合成画像の表示態様の切替を
行う。
【００２９】図６は本発明に係る合成画像の表示態様の
切替の例を示す図である。同図中、（ａ）は通常モード
における合成画像である。車両の可動部分が全て閉状態
であるときは、合成画像は正常になるので図６（ａ）の
ように表示する。図６（ｂ）は異常モードにおける合成
画像の例であり、車両の右ドアが開状態になったときを
想定している。図６（ｂ）の合成画像では、右ドアに設
置されたカメラ１およびカメラ２の撮像画像を画像合成
に用いず、代わりに、所定の色で塗りつぶしている。な
お、所定の色で塗りつぶす代わりに、他の模様を用いた
り、また、適当な時間間隔で色を切り換えたりしてもか
まわない。
【００３０】本実施形態では、このような合成画像の表
示態様の切替を、マッピングテーブルＭＰＴのマッピン
グデータを書き換えることによって、実現する。
【００３１】また、異常モードでは、合成画像の出力自
体を中止したり、メッセージ出力部２６がメッセージを
出力したりしてもよい。
【００３２】図６（ｃ）では、異常モードにおいて、合
成画像を出力せずに、右ドアが開状態であることを示す
メッセージのみを出力している。さらに、図６（ｄ）で
は、図６（ｂ）に示す合成画像を表示し、かつ、図６
（ｃ）と同じメッセージを併せて出力している。図６
（ｄ）のように、可動部分の状態変化の影響を受けたカ
メラ画像を合成画像の生成に用いないだけでなく、その
原因となる可動部分の状態変化（例えばドアが開いてい
るなど）を利用者に知らせるメッセージを併せて出力す
ることによって、運転者など自車の状態をより素早く的
確に知ることが可能となる。
【００３３】メッセージ出力部２６は、表示すべきメッ
セージを例えば画像の形式で予め蓄えておき、車両の可
動部分の状態を示す状態信号Ｓ１と、マッピッングテー
ブル選択部４１から出力されたマッピングテーブルＭＰ
Ｔを選択する信号とを受けて、合成画像に表示すべきメ
ッセージ画像を選択し、映像信号生成部２４に送る。
【００３４】図７はメッセージ出力部２６が蓄えている
メッセージ画像の例を示す図である。図７の例では、メ
ッセージの部分が白色（ＲＧＢ各２５６階調で表現した
ときは（２５５，２５５，２５５））、それ以外の部分
が黒色（０，０，０）で表されている。メッセージ画像
のサイズは合成画像のサイズと同一にしておく。
【００３５】メッセージ画像におけるメッセージの内容
および表示位置は、合成画像の生成に用いられるマッピ
ングテーブルや、状態変化が生じた可動部分の種類によ
って、異なる。このため、想定される各条件に対してそ
れぞれメッセージ画像を準備しておき、状況に応じてメ
ッセージ画像を選択して利用できることが望ましい。
【００３６】図８は合成画像に用いるマッピングテーブ
ルおよび車両の可動部分の状態と、表示すべきメッセー
ジ画像との対応関係を示す図である。例えば、図８の２
行目は、現在選択されているマッピングテーブルが「見
下ろし」画像生成用のものであり、かつ、車両の可動部
分のうち「右ドア」が開いている場合には、メッセージ
画像として、１番の画像を選択することを意味してい
る。図７（ａ）は１番のメッセージ画像の例である。マ
ッピングテーブルが「見下ろし」であり、「右ドア」が
開状態のときは、右ドア部に設置されたカメラの撮像画
像は画像合成に用いられないので、合成画像上で右ドア
部に設置されたカメラ画像が用いられるはずの位置に、
「右ドアが開いている」旨のメッセージが表示される。
【００３７】メッセージ出力部２６は、図８に示すよう
な情報を予め記憶しておき、車両の可動部分の状態を示
す状態信号Ｓ１と、マッピングテーブルＭＰＴを選択す
る信号とを受けて、表示すべきメッセージ画像を選択
し、出力する。映像信号生成部２４は、メッセージ出力
部２６から出力されたメッセージ画像を受け取り、画素
合成部２１から出力された合成画像に重ねて表示する。
【００３８】メッセージ画像の重ね合わせには、例え
ば、各画素について、合成画像およびメッセージ画像に
おけるＲＧＢ値をそれぞれ取り出し、値の大きい方を出
力する、などの方法を用いればよい。例えばこの方法を
図７（ａ）のメッセージ画像に適用すると、メッセージ
画像の黒画素の部分については合成画像のＲＧＢ値が用
いられる一方、メッセージ画像の白画素の部分について
は必ずメッセージ画像のＲＧＢ値が用いられることにな
り、この結果、メッセージの部分だけが合成画像に重ね
合わさった画像を得ることができる。この場合、白色の
メッセージが重ね合わせた結果見づらくならないよう
に、合成画像上でカメラ画像を用いない部分は、暗い色
で塗りつぶすことが望ましい。
【００３９】また、この重ね合わせ方法を用いて、いず
れの可動部分も閉じている状態（すなわち通常モード）
の合成画像を表示する場合には、メッセージ画像とし
て、図７（ｂ）に示すような全体を黒（０，０，０）で
塗りつぶした画像を準備すればよい。すなわち、図８の
最下行に示した７番目のメッセージ画像として、図７
（ｂ）に示すような画像を準備すればよい。もちろん、
通常モードにおいては、メッセージ出力部２６がメッセ
ージ画像を出力しないようにしてもかまわない。
【００４０】さらに、複数箇所の可動部分が開状態であ
る場合には、次のように対応することができる。例え
ば、マッピングテーブルとして「見下ろし」が選択され
ており、かつ、右ドアと左ドアの両方が開いている場合
には、メッセージ出力部２６は、まず、それぞれの条件
に対応したメッセージ画像として１番（例えば図７
（ａ））および２番（例えば図７（ｃ））の画像を選択
する。そして、各画素について、１番の画像および２番
の画像におけるＲＧＢ値をそれぞれ取り出し、値の大き
い方を選択することによって、新たなメッセージ画像
（例えば図７（ｄ））を生成し、これを映像信号生成部
２４に送ればよい。
【００４１】なおここでは、メッセージとして文字を利
用するものとしたが、文字に限らず、例えば簡略図やイ
ラストなどをメッセージとして用いてもかまわない。ま
た、異常モードにおいてメッセージ出力を行わない場合
には、メッセージ出力部２６を省いて良いことはいうま
でもない。
【００４２】以下、マッピングデータの書き換えについ
て、詳細に説明する。
【００４３】「マッピングテーブル」とは、合成画像の
画素と、各カメラ画像の画素データとの対応関係が記述
されたテーブルのことをいい、合成画像の生成処理を高
速に行うために用いられる。
【００４４】カメラ画像の画素と合成画像の画素とは、
１対１に対応する場合もあるし、複数対１に対応する場
合もある。１対１に対応するか、または複数対１に対応
するかは、カメラの設置位置や、生成する合成画像の種
類などに依存する。例えば、カメラ画像の境界部におい
て境界処理が行われる場合には、カメラ画像の画素と合
成画像の画素とは複数対１に対応することが多い。
【００４５】図９はマッピングテーブルの一例を示す模
式図である。図９に示すマッピングテーブルでは、合成
画像の各画素座標（ｉ，ｊ）に対応して、マッピングデ
ータがそれぞれ設けられている。
【００４６】例えば、画素座標（ｉ１，ｊ１）に対応し
て、マッピングデータＭＰ１が設けられている。このマ
ッピングデータＭＰ１は、合成画像の座標（ｉ１，ｊ
１）の画素の生成のために、カメラ１の撮像画像の座標
（１２，４５）の画素データのみが用いられることを表
している。また、必要度が「１」であるので、この場合
は、合成画像の座標（ｉ１，ｊ１）の画素値として、カ
メラ１の撮影画像の座標（１２，４５）の画素データが
そのまま用いられる。
【００４７】また、画素座標（ｉ２，ｊ２）に対応し
て、マッピングデータＭＰ２が設けられている。このマ
ッピングデータＭＰ２は、合成画像の座標（ｉ２，ｊ
２）の画素の生成のために、カメラ１の撮影画像の座標
（１０，１０）の画素データと、カメラ０の撮影画像の
座標（５６，８０）の画素データとが用いられることを
表している。この場合、合成画像の座標（ｉ２，ｊ２）
の画素値は、必要度に応じて、例えば、画素値＝｛（カ
メラ１の座標（５６，８０）の画素値）×０．５＋（カ
メラ０の座標（１０，１０）の画素値）×０．３｝／
（０．５＋０．３） のように決めることができる。
【００４８】このようなマッピングテーブルを、予め幾
何変換等を用いた計算または手作業などによって予め作
成しておくことによって、所望の合成画像、例えば車両
の周囲の全体や後方または側方を表すような合成画像
を、高速に生成することができる。そして、合成画像生
成に用いるマッピングテーブルを切り替えることによっ
て、合成画像の表示モードを容易に切り替えることがで
きる。この表示モードの切替は、手動によっても可能で
あり、また車両の走行状態に応じて自動的に行うことも
可能である。
【００４９】マッピングテーブルは具体的には、例えば
ＲＯＭ（ＥＥＰＲＯＭ等の書き込み・消去可能なＲＯＭ
を含む）またはＲＡＭに格納されている。マッピングテ
ーブルの格納は、例えば、画像処理部内のプロセッサが
計算で求めたマッピングデータをＲＯＭまたはＲＡＭに
書き込むことによって実現してもよいし、ファームウェ
アとして提供されるマッピングテーブルデータを、通信
回線やディスクドライブ等のデータ転送手段を用いてＲ
ＡＭまたはＲＯＭに書き込むようにしてもよい。
【００５０】次に、マッピングテーブルＭＰＴおよび表
示切替部２３を用いて、合成画像を生成する動作につい
て、説明する。
【００５１】図１０は本実施形態に係る画像合成動作の
全体の流れを示すフローチャートである。まず、ステッ
プＳ１１において、撮像部１のフレームメモリ１２ａ，
１２ｂの切替を行う。タイミング生成部２５は、合成画
像の動画系列を生成するためのタイミング信号を生成す
る。タイミング生成部２５から出力されたフレーム開始
のタイミング信号によって、撮像部１は、各カメラ１１
の撮像画像を書き込むフレームメモリと、画像処理部２
から参照されるフレームメモリとを切り替える。これ
は、後述するように、画像処理部２から参照されるカメ
ラ画像の画素の位置が、カメラ１１からの書き込みの順
序とは無関係に飛び飛びになるので、書き込みと参照と
が干渉しないようにするためである。
【００５２】次に、ステップＳ１２において、タイミン
グ生成部２５は、合成出力のタイミングに合わせて、出
力すべき合成画像の画素を設定する。
【００５３】そして、ステップＳ１３において、マッピ
ングテーブル参照部２２は、タイミング生成部２５によ
って設定された画素に対応するマッピングデータを、設
定されたマッピングテーブルＭＰＴから読み出し、表示
切替部２３に出力する。ステップＳ２０において、表示
切換部２３は、状態信号Ｓ１を受けて、必要に応じて、
マッピングテーブル参照部２２から読み出されたマッピ
ングデータを書き換える。そして、画素合成部２１に出
力する。ステップＳ２０の詳細については後述する。
【００５４】ステップＳ３０において、画素合成部２１
は、入力されたマッピングデータに応じて、タイミング
生成部２５によって設定された画素の値を合成し、映像
信号生成部２４に出力する。そして、ステップＳ１４に
おいて、映像信号生成部２４は、タイミング生成部２５
からのタイミング信号に応じて、入力された合成画像の
画素の値を映像信号に変換し、表示装置３に出力する。
【００５５】タイミング生成部２５は、ステップＳ１２
以下の処理を、フレームの全画素について実行し（Ｓ１
５，Ｓ１６）、フレームの最終画素の処理が終われば、
次のフレームの処理を開始する。
【００５６】もちろん、フィールド単位の処理を実行し
てもかまわない。
【００５７】図１１は図１０に示すフローのステップＳ
２０における表示切替部２３の動作を示すフローチャー
トである。
【００５８】まずステップＳ２１において、入力した状
態信号Ｓ１から、車両の可動部分のいずれか、すなわち
右ドア、左ドア、トランクまたはボンネットのうちのい
ずれかの開閉状態を読み出す。そして、可動部分が開状
態のとき（Ｓ２２でＹＥＳ）はステップＳ２３にすす
み、図５に示すような予め有しているデータから、その
可動部分に設置されているカメラの番号を得る。一方、
閉状態のとき（Ｓ２２でＮＯ）は、他の可動部分の開閉
状態の読み出しを行う（Ｓ２７，Ｓ２１）。
【００５９】ステップＳ２５では、ステップＳ２３で得
たカメラ番号と、マッピングデータに書かれたカメラ番
号とが一致するか否かを調べる。一致するとき（Ｓ２５
でＹＥＳ）はステップＳ２６にすすみ、マッピングデー
タにおけるそのカメラ番号に関するデータを、カメラ使
用不可状態を表す内容に書き換える。図１１の例では、
カメラ番号、Ｘ座標およびＹ座標の値を全て「−１」に
書き換えている。一方、カメラ番号が一致しないとき
（Ｓ２５でＮＯ）は、他の可動部分の開閉状態の読み出
しを行う（Ｓ２７，Ｓ２１）。
【００６０】全ての可動部分について、上述の処理が終
了したとき（Ｓ２７でＹＥＳ）はステップＳ２８にすす
み、マッピングデータの必要度を再計算し、処理を終了
する。
【００６１】ステップＳ２０における表示切替部２３の
動作を、図９に示すマッピングデータＭＰ２が表示切換
部２３に入力された場合を例にとって、具体的に説明す
る。なおここでは、説明のために、車両の右ドアのみ
が、開状態であるものとする。
【００６２】まず、車両の右ドアが開状態であると分か
るので（Ｓ２１，Ｓ２２）、図５に示す対応関係を参照
し、右ドアに設置されたカメラのカメラ番号として
「１」および「２」を得る（Ｓ２３）。
【００６３】次に、カメラ番号「１」および「２」が、
マッピングデータＭＰ２に記述されたカメラ番号と一致
するか否かを調べる（Ｓ２５）。カメラ番号「１」はマ
ッピングデータＭＰ２に記述されているので、カメラ１
に関するデータをカメラ使用不可状態を表す内容に書き
換える（Ｓ２６）。一方、カメラ番号「２」について
は、マッピングデータＭＰ２に記述されていないので、
書き換えは行わない。
【００６４】他の可動部分については全て閉状態である
ので、ステップＳ２８に進み、必要度の再計算を行う。
ここでは、使用不可になったカメラ１についてその必要
度を「０」にするとともに、カメラ０についての必要度
を「１」にする。
【００６５】図１２は図１０に示すフローにおけるステ
ップＳ３０における画素合成処理の詳細を示すフローチ
ャートである。
【００６６】まず、ステップＳ３１において、合成する
画素の値を「０」に初期化する。
【００６７】そしてステップＳ３２において、対応する
マッピングデータからカメラ番号、画素のＸ，Ｙ座標お
よび必要度を読み出す。読み出したカメラ番号が使用可
能であるときは、該当するカメラ画像が格納されたフレ
ームメモリから、Ｘ，Ｙ座標に対応する画素値を読み出
し保持する（Ｓ３４）。一方、読み出したカメラ番号が
使用不可であるときは、カメラ使用不可を示す所定の画
素値（例えば黒）を保持し、出力する（Ｓ３５，Ｓ３
９）。
【００６８】ステップＳ３６において、保持した画素値
に必要度で重み付けし、合成する画素の値に加算する。
【００６９】上述した処理を、マッピングデータに記述
された全てのカメラ番号について、繰り返し実行し（Ｓ
３７，Ｓ３８）、処理が終了すると（Ｓ３７でＹＥ
Ｓ）、合成する画素の値を出力する（Ｓ３９）。
【００７０】以上のように、合成画像の表示態様を切り
替えることによって、車両の可動部分の状態が変化し、
合成画像が正常でなくなるときでも、利用者に違和感を
与えることを回避することができる。
【００７１】（第２の実施形態）図１３は本発明の第２
の実施形態に係る監視システムの構成を示すブロック図
である。図１３では、図１と共通の構成要素には図１と
同一の符号を付しており、ここではその詳細な説明を省
略する。
【００７２】図１３の構成は、表示切換部２３Ａが、撮
像部１１から画素合成部２１Ａへのカメラ画像の入力の
有無を、状態信号Ｓ１に応じて切り替えることによっ
て、合成画像の表示態様の切替を実現することを特徴と
する。すなわち、画素合成部２１のカメラ画像入力側に
スイッチ３１が設けられており、表示切替部２３Ａは、
状態信号Ｓ１によって可動部分のいずれかが開状態であ
ることを認識すると、図５に示すような情報から、合成
画像生成に使用できないカメラを特定し、そのカメラの
撮像画像が画素合成部２１Ａに入力されないように、ス
イッチ３１を切替制御する。
【００７３】このため、本実施形態では、第１の実施形
態と同様にマッピングテーブルを用いて画像合成を行う
が、図１０に示すフローにおいてマッピングデータを変
更する処理Ｓ２０が省略される点が、第１の実施の形態
と異なる。すなわち、カメラの撮像画像の入力を物理的
に中止するので、可動部分の状態に応じてマッピングデ
ータを変更する処理Ｓ２０は、当然のことながら不要に
なる。そして、これに伴い、図１２のフローにおけるス
テップＳ３３，Ｓ３５も省略される。
【００７４】なお、この第２の実施形態の構成は、マッ
ピングテーブルを用いない構成の画像処理部について
も、容易に適用することができる。
【００７５】なお、上述した各実施形態において、表示
装置３は、典型的には液晶ディスプレイであるが、プラ
ズマディスプレイ等の他の表示デバイスを用いてもかま
わない。また、車両搭載型のＧＰＳ端末ディスプレイ、
いわゆるカーナビゲーションシステムのディスプレイと
共用してもかまわない。また、撮像部１に用いるカメラ
１１は、典型的にはＣＣＤ，ＣＭＯＳデバイス等の固体
撮像素子を有するカラーまたはモノクロのデジタルカメ
ラであるが、他の撮像デバイスを用いてもかまわない。
【００７６】なお、上述した各実施形態では、ドアやボ
ンネットのような可動部分の状態変化に起因してカメラ
の設置位置や向きが変化し、これによって合成画像が正
常でなくなる場合を想定している。ところがこれ以外で
も、可動部分の状態変化に起因してカメラの撮像画像に
おいて可動部分が占める領域が変化し、これによって合
成画像が正常でなくなるような場合もあり得る。例え
ば、ドアを開けたときに、その開けたドアがあるカメラ
の撮像画像内に映り込むような場合である。
【００７７】このような場合でも、図５に示すようなデ
ータの代わりに、可動部分と、その可動部分の状態変化
が撮像画像に影響を与えるカメラとの対応関係を示すデ
ータを予め表示切替部に準備しておけば、上述した各実
施形態と同様の処理によって同様の効果を得ることがで
きる。
【００７８】なお、開閉状態という二値情報の代わり
に、例えば、開き具合のような情報を利用することも可
能である。例えば、ドアの開き具合が微小なときは通常
モードを保ち、開き具合が所定のしきい値を超えたとき
に、通常モードから異常モードに切り替えるようにして
もよい。また、可動部分は、ドア、ボンネットおよびト
ランクに限られるものではなく、タイヤ、アンテナ、可
動式ミラーやライトなどが考えられる。例えば、タイヤ
が合成画像に影響を与える場合には、タイヤの舵角に応
じて、表示態様を切り替えるようにしても良い。
【００７９】また、本発明において、車両とは、普通自
動車、軽自動車、貨物自動車、バス等を含む。また、本
発明の技術思想が適用されうるものであれば、クレーン
車、シャベルカー等の特殊車両も本発明の車両とするこ
とができる。
【００８０】なお、以上の説明では、本発明に係る監視
システムや画像処理装置は、車両に適用するものとした
が、車両以外の移動体、例えば飛行機や船舶などであっ
ても、同様に適用することができる。また、移動体以外
の監視対象、例えば店舗、住居、ショールームなどにカ
メラを設置してもよい。
【００８１】また、複数のカメラの設置位置や台数は、
ここで示したものに限られるものではない。
【００８２】また、本発明に係る画像処理装置の機能
は、その全部または一部を、専用のハードウェアを用い
て実現してもかまわないし、ソフトウェアによって実現
してもかまわない。また、本発明に係る画像処理装置の
機能の全部または一部をコンピュータに実行させるため
のプログラムを格納した記録媒体や伝送媒体を、利用す
ることも可能である。
【００８３】
【発明の効果】以上のように本発明によると、車両の可
動部分の状態変化に起因して合成画像に異常が生じた場
合であっても、利用者に違和感を与えるような画像が表
示されることを回避することができる。また、合成画像
の表示態様の切替によって、可動部分が例えば車両の走
行に望ましくない状態であることを、利用者に素早く的
確に知らしめることも可能になる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る監視システムの
構成を示すブロック図である。
【図２】本発明の第１の実施形態におけるカメラ配置の
例である。
【図３】本発明の第１の実施形態におけるカメラ配置と
各カメラの撮像画像の例を示す図である。
【図４】車両可動部分の状態変化に起因して正常でなく
なった合成画像の一例である。
【図５】表示切替部が有する，車両可動部分とカメラと
の対応関係を示すデータである。
【図６】本発明に係る合成画像の表示態様の切替の例を
示す図である。
【図７】メッセージ画像の例を示す図である。
【図８】マッピングテーブルおよび車両の可動部分の状
態と、表示すべきメッセージ画像との対応関係を示す図
である。
【図９】マッピングテーブルの一例を示す模式図であ
る。
【図１０】画像合成動作の全体の流れを示すフローチャ
ートである。
【図１１】図１０に示すフローにおけるステップＳ２０
の詳細を示すフローチャートである。
【図１２】図１０に示すフローにおけるステップＳ３０
の詳細を示すフローチャートである。
【図１３】本発明の第２の実施形態に係る監視システム
の構成を示すブロック図である。
【符号の説明】
２ 画像処理部 ３ 表示装置 １１ カメラ
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１３年８月１０日（２００１．８．１
０）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正内容】
【００７２】図１３の構成は、表示切換部２３Ａが、撮
像部１から画素合成部２１Ａへのカメラ画像の入力の有
無を、状態信号Ｓ１に応じて切り替えることによって、
合成画像の表示態様の切替を実現することを特徴とす
る。すなわち、画素合成部２１Ａのカメラ画像入力側に
スイッチ３１が設けられており、表示切替部２３Ａは、
状態信号Ｓ１によって可動部分のいずれかが開状態であ
ることを認識すると、図５に示すような情報から、合成
画像生成に使用できないカメラを特定し、そのカメラの
撮像画像が画素合成部２１Ａに入力されないように、ス
イッチ３１を切替制御する。
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２２ Ｂ６０Ｒ 21/00 ６２２Ｆ ６２４ ６２４Ｃ ６２６ ６２６Ｇ Ｇ０６Ｔ 3/00 ３００ Ｇ０６Ｔ 3/00 ３００ Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｄ Ｈ０４Ｎ 1/387 Ｈ０４Ｎ 1/387 7/18 7/18 Ｊ (72)発明者 石井 浩史 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 登 一生 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 森村 淳 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B057 AA16 BA02 BA17 CA08 CA12 CB08 CB12 CE08 5C054 AA02 CA04 CC02 CE11 CF05 CG02 CH01 EA01 EA05 FC11 FC13 FE21 FE22 FF02 FF03 HA30 5C076 AA16 AA19 BA01 BA06 CA02 5H180 AA01 CC04 LL01 LL02 LL04

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 車両に設置され、当該車両の周囲を撮影
    する複数のカメラの撮像画像を入力とし、これらの撮像
    画像から合成画像を生成し、表示装置に出力する画像処
    理部を備え、 前記画像処理部は、 前記車両の可動部分の状態に応じて、前記合成画像の表
    示態様を、切り替えることを特徴とする画像処理装置。
  2. 【請求項２】 請求項１記載の画像処理装置において、 前記画像処理部は、 前記可動部分の状態変化に起因して、前記複数のカメラ
    のうちの少なくとも１つの設置位置または向きが変化
    し、前記合成画像が正常でなくなるとき、前記合成画像
    の表示態様を、通常モードから異常モードに切り替える
    ことを特徴とする画像処理装置。
  3. 【請求項３】 請求項２記載の画像処理装置において、 前記画像処理部は、 異常モードにおいて、設置位置または向きが変化したカ
    メラの撮像画像を用いないで、合成画像を生成すること
    を特徴とする画像処理装置。
  4. 【請求項４】 請求項１記載の画像処理装置において、 前記画像処理部は、 前記可動部分の状態変化に起因して、前記複数のカメラ
    のうちの少なくとも１つの撮像画像において前記可動部
    分が占める領域が変化し、前記合成画像が正常でなくな
    るとき、前記合成画像の表示態様を、通常モードから異
    常モードに切り替えることを特徴とする画像処理装置。
  5. 【請求項５】 請求項４記載の画像処理装置において、 前記画像処理部は、 異常モードにおいて、撮像画像において前記可動部分が
    占める領域が変化したカメラの撮像画像を用いないで、
    合成画像を生成することを特徴とする画像処理装置。
  6. 【請求項６】 請求項２または４記載の画像処理装置に
    おいて、 前記画像処理部は、 異常モードにおいて、合成画像を出力しないことを特徴
    とする画像処理装置。
  7. 【請求項７】 請求項２または４記載の画像処理装置に
    おいて、 前記画像処理部は、 異常モードにおいて、合成画像に代えて、または、合成
    画像とともに、メッセージを出力することを特徴とする
    画像処理装置。
  8. 【請求項８】 請求項１記載の画像処理装置において、 前記可動部分は、ドア、ボンネットまたはトランクを少
    なくとも含むものであり、 前記画像処理部は、 前記ドア、ボンネットまたはトランクの開閉状態に応じ
    て、前記合成画像の表示態様の切替を行うことを特徴と
    する画像処理装置。
  9. 【請求項９】 請求項１記載の画像処理装置において、 前記可動部分は、タイヤを少なくとも含むものであり、 前記画像処理部は、 前記タイヤの舵角に応じて、前記合成画像の表示態様の
    切替を行うことを特徴とする画像処理装置。
  10. 【請求項１０】 車両に設置され、当該車両の周囲を撮
    影する複数のカメラと、 表示装置と、 前記複数のカメラの撮像画像を入力とし、これらの撮像
    画像から合成画像を生成し、前記表示装置に出力する画
    像処理部とを備え、 前記画像処理部は、 前記車両の可動部分の状態に応じて、前記合成画像の表
    示態様を、切り替えることを特徴とする監視システム。
JP2000155898A 2000-05-26 2000-05-26 画像処理装置 Expired - Lifetime JP3599639B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2000155898A JP3599639B2 (ja) 2000-05-26 2000-05-26 画像処理装置
DE60100525T DE60100525T2 (de) 2000-05-26 2001-05-23 Bildverarbeitung und Überwachungsgerät
EP01112598A EP1157890B1 (en) 2000-05-26 2001-05-23 Image processor and monitoring system
CNB011182458A CN1224539C (zh) 2000-05-26 2001-05-24 图像处理装置及监视系统
US09/866,082 US6912001B2 (en) 2000-05-26 2001-05-25 Image processor and monitoring system
KR1020010029228A KR20010107775A (ko) 2000-05-26 2001-05-26 화상처리장치 및 감시시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000155898A JP3599639B2 (ja) 2000-05-26 2000-05-26 画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003006257A Division JP3670647B2 (ja) 2003-01-14 2003-01-14 画像処理装置

Publications (2)

Publication Number Publication Date
JP2001334870A true JP2001334870A (ja) 2001-12-04
JP3599639B2 JP3599639B2 (ja) 2004-12-08

Family

ID=18660766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000155898A Expired - Lifetime JP3599639B2 (ja) 2000-05-26 2000-05-26 画像処理装置

Country Status (6)

Country Link
US (1) US6912001B2 (ja)
EP (1) EP1157890B1 (ja)
JP (1) JP3599639B2 (ja)
KR (1) KR20010107775A (ja)
CN (1) CN1224539C (ja)
DE (1) DE60100525T2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006224873A (ja) * 2005-02-18 2006-08-31 Denso Corp 車両周辺監視装置
JP2007001440A (ja) * 2005-06-24 2007-01-11 Alpine Electronics Inc 車両運転支援装置
JP2009080724A (ja) * 2007-09-27 2009-04-16 Panasonic Corp 画像処理装置
JP2011040825A (ja) * 2009-08-06 2011-02-24 Nippon Soken Inc 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
US10037595B2 (en) 2015-06-10 2018-07-31 Fujitsu Ten Limited Image processing device and image processing method

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
JP3269056B2 (ja) * 2000-07-04 2002-03-25 松下電器産業株式会社 監視システム
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
JP4512293B2 (ja) * 2001-06-18 2010-07-28 パナソニック株式会社 監視システムおよび監視方法
JP3607994B2 (ja) * 2001-11-12 2005-01-05 トヨタ自動車株式会社 車両用周辺監視装置
US10031885B2 (en) * 2010-02-01 2018-07-24 Netmotion Wireless, Inc. Public wireless network performance management system with mobile device data collection agents
KR200277875Y1 (ko) * 2002-03-11 2002-06-14 이스턴 마스텍 주식회사 자동차의 후방용 감시카메라의 좌우반전 스위칭 장치
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
US7110021B2 (en) 2002-05-31 2006-09-19 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings monitoring device, and image production method/program
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
US20060061008A1 (en) 2004-09-14 2006-03-23 Lee Karner Mounting assembly for vehicle interior mirror
WO2003105099A1 (en) 2002-06-06 2003-12-18 Donnelly Corporation Interior rearview mirror system with compass
WO2004026633A2 (en) 2002-09-20 2004-04-01 Donnelly Corporation Mirror reflective element assembly
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
US20040119822A1 (en) * 2002-12-20 2004-06-24 Custer Robert J. Multiple camera system on single monitor display
JP3800172B2 (ja) 2002-12-24 2006-07-26 トヨタ自動車株式会社 車両用周辺監視装置
JP3728508B2 (ja) * 2003-02-17 2005-12-21 国立大学法人 東京大学 画像生成装置及び方法
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
JP2005124010A (ja) * 2003-10-20 2005-05-12 Nissan Motor Co Ltd 撮像装置
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
US7594177B2 (en) * 2004-12-08 2009-09-22 Microsoft Corporation System and method for video browsing using a cluster index
US7782374B2 (en) * 2005-03-03 2010-08-24 Nissan Motor Co., Ltd. Processor and processing method for generating a panoramic image for a vehicle
ATE517368T1 (de) 2005-05-16 2011-08-15 Donnelly Corp Fahrzeugspiegelanordnung mit zeichen am reflektierenden teil
EP1916846B1 (en) * 2005-08-02 2016-09-14 Nissan Motor Company Limited Device and method for monitoring vehicle surroundings
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
CN101535087B (zh) 2005-11-01 2013-05-15 唐纳利公司 具有显示装置的内部后视镜
US8698894B2 (en) 2006-02-07 2014-04-15 Magna Electronics Inc. Camera mounted at rear of vehicle
US7995048B2 (en) 2006-03-31 2011-08-09 Sharp Kabushiki Kaisha Instrument panel display system for mounting on automobile, and image data output device
JP4656005B2 (ja) * 2006-06-02 2011-03-23 日産自動車株式会社 画像処理システム及び画像処理方法
JP4820221B2 (ja) * 2006-06-29 2011-11-24 日立オートモティブシステムズ株式会社 車載カメラのキャリブレーション装置およびプログラム
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
JPWO2009141846A1 (ja) * 2008-05-19 2011-09-22 パナソニック株式会社 車両周囲監視装置および車両周囲監視方法
DE102009050368A1 (de) * 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
US8237909B2 (en) * 2009-02-06 2012-08-07 Gentex Corporation Vehicular rearview mirror assembly including integrated backlighting for a liquid crystal display (LCD)
US8411245B2 (en) * 2009-02-06 2013-04-02 Gentex Corporation Multi-display mirror system and method for expanded view around a vehicle
DE102010020203A1 (de) * 2010-05-12 2011-11-17 Volkswagen Ag Verfahren zum Einparken oder Ausparken und zur Vermeidung einer Kollision eines Fahrzeugs sowie entsprechende Assistenzsysteme und Fahrzeug
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
JP5877376B2 (ja) * 2011-06-02 2016-03-08 パナソニックＩｐマネジメント株式会社 物体検出装置、物体検出方法および物体検出プログラム
DE102011112578A1 (de) 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeug zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
KR101384332B1 (ko) * 2012-09-06 2014-04-10 현대모비스 주식회사 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템
CN102854897A (zh) * 2012-09-28 2013-01-02 上海元朔信息科技有限公司 一种异常目标发现与跟踪系统及方法
DE102013012808B4 (de) * 2013-08-01 2023-11-23 Connaught Electronics Ltd. Verfahren zum Erzeugen einer Look-Up-Tabelle im Betrieb eines Kamerasystems, Kamerasystem und Kraftfahrzeug
DE202014010751U1 (de) 2013-09-24 2016-07-18 Gentex Corporation Anzeigespiegelbaugruppe
JP6347934B2 (ja) 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
US9511715B2 (en) 2014-01-31 2016-12-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
US10705332B2 (en) 2014-03-21 2020-07-07 Gentex Corporation Tri-modal display mirror assembly
EP3126195B1 (en) 2014-04-01 2019-06-05 Gentex Corporation Automatic display mirror assembly
WO2016044746A1 (en) 2014-09-19 2016-03-24 Gentex Corporation Rearview assembly
KR101932547B1 (ko) 2014-10-23 2018-12-27 한화테크윈 주식회사 카메라 시스템 및 이의 영상 정합 방법
CN107000642B (zh) 2014-11-07 2020-03-27 金泰克斯公司 全显示镜致动器
CN107000649B (zh) 2014-11-13 2020-04-14 金泰克斯公司 具有显示装置的后视镜系统
US10131279B2 (en) 2014-12-03 2018-11-20 Gentex Corporation Display mirror assembly with an RF shield bezel
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
CN107531183B (zh) 2015-04-20 2021-09-03 金泰克斯公司 具有贴花的后视总成
CN107614324B (zh) 2015-05-18 2020-11-27 金泰克斯公司 完整显示后视装置
KR102135427B1 (ko) 2015-06-22 2020-07-17 젠텍스 코포레이션 진폭-변조된 광의 깜박임을 보정하기 위해 스트리밍된 비디오 이미지를 처리하는 시스템 및 방법
WO2017075473A1 (en) 2015-10-30 2017-05-04 Gentex Corporation Rearview device
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
US10685623B2 (en) 2015-10-30 2020-06-16 Gentex Corporation Toggle paddle
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
JP6752093B2 (ja) * 2016-09-15 2020-09-09 株式会社小糸製作所 カメラモニターシステム
IT201600093818A1 (it) * 2016-09-19 2018-03-19 Iveco Spa Cabina per veicolo industriale provvista di sensori di visione
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly
WO2018125898A1 (en) 2016-12-30 2018-07-05 Gentex Corporation Full display mirror with on-demand spotter view
JP6807771B2 (ja) * 2017-02-20 2021-01-06 株式会社アルファ 車両用監視装置
CN110312641A (zh) 2017-03-17 2019-10-08 金泰克斯公司 双显示倒车摄像系统
JP6939368B2 (ja) * 2017-10-04 2021-09-22 トヨタ自動車株式会社 画像表示装置
KR102441079B1 (ko) * 2017-11-30 2022-09-06 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법
CN110379206B (zh) * 2019-07-26 2020-11-17 中国标准化研究院 一种车辆行驶异常的预警系统及预警方法
FR3120030A1 (fr) * 2021-02-25 2022-08-26 Psa Automobiles Sa Procédé et dispositif de rétro-vision numérique utilisé par un véhicule pour remplacer des rétroviseurs extérieurs du véhicule
US11994272B2 (en) 2021-08-20 2024-05-28 Gentex Corporation Lighting assembly and illumination system having a lighting assembly

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63146710U (ja) * 1987-03-17 1988-09-28
JPH01123587A (ja) * 1987-11-09 1989-05-16 Mitsubishi Motors Corp 車輌の安全監視装置
JPH0848198A (ja) * 1994-08-08 1996-02-20 Nissan Motor Co Ltd 車両用周囲モニタ装置
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63146710A (ja) 1986-12-10 1988-06-18 株式会社　ホクエイ 移植機及び播種機等の植付装置
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5430431A (en) * 1994-01-19 1995-07-04 Nelson; Louis J. Vehicle protection system and method
JPH07274161A (ja) * 1994-03-29 1995-10-20 Toshiba Corp 車両後方確認装置
US5680123A (en) * 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP3284917B2 (ja) * 1997-03-17 2002-05-27 三菱自動車工業株式会社 車両用周辺視認装置
JPH1155656A (ja) * 1997-08-06 1999-02-26 Matsushita Electric Ind Co Ltd 車両側方監視装置
JPH1178692A (ja) * 1997-09-03 1999-03-23 Nissan Motor Co Ltd 車両用映像提示装置
US6693524B1 (en) * 1998-06-02 2004-02-17 George R. Payne Vehicle backup monitoring and alarm system
US6396535B1 (en) * 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63146710U (ja) * 1987-03-17 1988-09-28
JPH01123587A (ja) * 1987-11-09 1989-05-16 Mitsubishi Motors Corp 車輌の安全監視装置
JPH0848198A (ja) * 1994-08-08 1996-02-20 Nissan Motor Co Ltd 車両用周囲モニタ装置
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006224873A (ja) * 2005-02-18 2006-08-31 Denso Corp 車両周辺監視装置
JP2007001440A (ja) * 2005-06-24 2007-01-11 Alpine Electronics Inc 車両運転支援装置
JP4679260B2 (ja) * 2005-06-24 2011-04-27 アルパイン株式会社 車両運転支援装置
JP2009080724A (ja) * 2007-09-27 2009-04-16 Panasonic Corp 画像処理装置
JP2011040825A (ja) * 2009-08-06 2011-02-24 Nippon Soken Inc 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
US10037595B2 (en) 2015-06-10 2018-07-31 Fujitsu Ten Limited Image processing device and image processing method

Also Published As

Publication number Publication date
EP1157890A1 (en) 2001-11-28
US20020039136A1 (en) 2002-04-04
US6912001B2 (en) 2005-06-28
DE60100525D1 (de) 2003-09-04
DE60100525T2 (de) 2004-03-04
KR20010107775A (ko) 2001-12-07
CN1325802A (zh) 2001-12-12
CN1224539C (zh) 2005-10-26
EP1157890B1 (en) 2003-07-30
JP3599639B2 (ja) 2004-12-08

Similar Documents

Publication Publication Date Title
JP3599639B2 (ja) 画像処理装置
JP4254887B2 (ja) 車両用画像表示システム
US6798924B2 (en) System and method for displaying an image indicating a positional relation between partially overlapping images
JP4458138B2 (ja) 車両周辺監視装置
CN102387344B (zh) 成像装置、成像系统和成像方法
JP2002019556A (ja) 監視システム
JP4462036B2 (ja) 液晶表示装置
JP4606322B2 (ja) 車両運転支援装置
JP4718347B2 (ja) 車両運転支援装置
JP2007141098A (ja) 画像処理装置及び画像処理方法
JP2008056080A (ja) 車両周辺画像表示装置及び表示方法
JPH1178692A (ja) 車両用映像提示装置
JP2006245793A (ja) 撮像システム
JP4823938B2 (ja) 画面切り替え判定装置、車両周辺監視装置および画面切り替え判定方法
JP2003149711A (ja) 車両用モニタ装置
JP4853434B2 (ja) 画像処理装置
JP3670647B2 (ja) 画像処理装置
JP2000280822A (ja) 車両用バックモニタ装置
JP2020135206A (ja) 画像処理装置、車載用カメラシステム及び画像処理方法
JP7113348B2 (ja) 車両周辺表示システム、表示制御装置およびコンピュータプログラム
JP2004015233A (ja) 画像処理システム及び画像処理装置
JP2021150838A (ja) 画像処理装置
CN115297230A (zh) 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
JPH11261998A (ja) 車両用周辺表示装置
JP2006273308A (ja) 視覚情報提供システム

Legal Events

Date Code Title Description
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040914

R150 Certificate of patent or registration of utility model

Ref document number: 3599639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080924

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080924

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090924

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090924

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100924

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110924

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120924

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 9

EXPY Cancellation because of completion of term