JP2003219413A - Vehicle rearward monitoring system and monitoring apparatus - Google Patents

Vehicle rearward monitoring system and monitoring apparatus

Info

Publication number
JP2003219413A
JP2003219413A JP2002015696A JP2002015696A JP2003219413A JP 2003219413 A JP2003219413 A JP 2003219413A JP 2002015696 A JP2002015696 A JP 2002015696A JP 2002015696 A JP2002015696 A JP 2002015696A JP 2003219413 A JP2003219413 A JP 2003219413A
Authority
JP
Japan
Prior art keywords
vehicle
image
displayed
view
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002015696A
Other languages
Japanese (ja)
Other versions
JP3916958B2 (en
Inventor
Noriyuki Sato
徳行 佐藤
Toru Oki
透 大木
Hirotaka Iwano
博隆 岩野
Ryota Kawachi
亮太 河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2002015696A priority Critical patent/JP3916958B2/en
Publication of JP2003219413A publication Critical patent/JP2003219413A/en
Application granted granted Critical
Publication of JP3916958B2 publication Critical patent/JP3916958B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle rearward monitoring system capable of easily and accurately grasping the state of a rearward of an own vehicle and driving by a driver to drive easily. <P>SOLUTION: The vehicle rearward monitoring system comprises one rearward camera 11 carried in the vehicle for imaging the rearward of the vehicle, an image processing unit 20 for capturing and processing the imaged image from the camera 11 and generating an overhead image when the circumference of the vehicle is observed from different viewpoint directions from each other, and a monitoring system 23 for displaying the overhead image on a monitor screen so that side cameras 12, 13 carried at right and left door mirrors of the vehicle or in the vicinity for imaging the rearward of the vehicle, and the images imaged by the cameras 12, 13 are simultaneously displayed together with the overhead image on the monitor screen. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、車両後方の状況を
モニタ画面上に表示することができる車両後方モニタシ
ステムおよびモニタ装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle rear monitor system and a monitor device capable of displaying a situation behind a vehicle on a monitor screen.

【0002】[0002]

【従来の技術】従来から、車両後部に搭載されたカメラ
で車両後方を撮影し、その撮影画像を処理して互いに異
なる視点方向から車両周囲を見たときの俯瞰画像を生成
するとともに、その俯瞰画像を車室内のモニタ画面上に
表示する車両後方モニタシステムが知られている。
2. Description of the Related Art Conventionally, a rear view of a vehicle is photographed by a camera mounted on the rear of the vehicle, and the photographed images are processed to generate a bird's-eye view image when the vehicle surroundings are viewed from different viewpoint directions. There is known a vehicle rear monitor system that displays an image on a monitor screen in a vehicle compartment.

【0003】俯瞰画像は、カメラの実映像に対しデジタ
ル画像処理を施すことで仮想的に車両上方にカメラを設
置した場合の画像を提供するもので、車両周囲の状況が
一目瞭然に判別可能であるので、車庫入れ・縦列駐車・
車両発進時等の安全確認や操作補助などに大変有用であ
る。
The bird's-eye view image provides an image when the camera is virtually installed above the vehicle by subjecting the actual image of the camera to digital image processing, and the situation around the vehicle can be discriminated at a glance. So, garage parking, parallel parking,
It is very useful for safety confirmation and operation assistance when the vehicle starts.

【0004】このような俯瞰画像に関しては、1つのカ
メラのみを用いる単眼俯瞰システムと、2つ以上のカメ
ラを用いる多眼俯瞰システムとがあり、用途やコストそ
の他の要因にて使い分けがなされている。そして、俯瞰
画像は、一つのモニタ画面上に一つの仮想カメラの映像
として表示されるのが一般的である。
As for such a bird's-eye view image, there are a single-eye bird's-eye view system using only one camera and a multi-eye bird's-eye view system using two or more cameras, and they are used properly depending on the application, cost and other factors. . Then, the bird's-eye view image is generally displayed as an image of one virtual camera on one monitor screen.

【0005】また、左右のドアミラー部にカメラを搭載
し、これらのカメラで車両後方を撮影するとともに、撮
影画像をモニタ画面上に左右分割画像として表示するこ
とが提案されている。ドアミラー部はその容積や車体か
ら突起する形状であるため、死角解消カメラの設置位置
として大変有効である。
It has also been proposed that cameras be mounted on the left and right door mirrors to photograph the rear of the vehicle with these cameras and to display the photographed images as left and right divided images on a monitor screen. Since the door mirror portion has a volume and a shape protruding from the vehicle body, it is very effective as an installation position of the blind spot elimination camera.

【0006】[0006]

【発明が解決しようとする課題】ところで、多眼俯瞰シ
ステムは、視界が広く運転操作を行う際の安心感は高い
が、2つ以上のカメラ画像によって1枚の俯瞰図の画像
が構成されるので、それらのカメラ間の整合性を取る必
要がある。そのために、各カメラの取付精度はかなり高
いものが要求され、コストアップの要因となっている。
By the way, the multi-view bird's-eye view system has a wide field of view and provides a high sense of security when driving, but one bird's-eye view image is composed of two or more camera images. So it is necessary to take consistency between those cameras. Therefore, the mounting accuracy of each camera is required to be considerably high, which causes a cost increase.

【0007】一方、単眼俯瞰システムは、1つのカメラ
画像によって1枚の俯瞰図の画像が構成されるので、カ
メラの取付精度はそれほど高いものは要求されていな
い。
On the other hand, in the monocular bird's-eye view system, one camera image constitutes one bird's-eye view image, so that the camera mounting accuracy is not so high.

【0008】しかし、単眼俯瞰システムでは、カメラを
通常よりやや地面方向に傾けて撮影したモニタ映像を用
いて俯瞰図を構成しているために、その特性上立体物の
判別が困難であり、表面上はかなり歪んだ形として表現
されている。また、単一カメラの映像を用いているた
め、視界が実カメラでの視界に制限され、モニタ画面に
は一部の映像しか表示されず、残りの部分はブルーバッ
クなど非表示エリアになっているため、運転中に表示エ
リア内に車や障害物が入ってくると、運転者はそれらが
いきなり飛び出してくる印象を受け、不安感が増大す
る。実際に死角付近に障害物が存在する場合、単眼俯瞰
システムではその一部しか表示されないため、車両の動
き如何によっては、障害物が死角に完全に入ってしまう
事態も想定され、安全支援の情報提供システムとしては
不十分である。
However, in the monocular bird's-eye view system, since the bird's-eye view is constructed by using the monitor image photographed with the camera tilted slightly toward the ground than usual, it is difficult to discriminate a three-dimensional object due to its characteristics, The top is represented as a rather distorted shape. Also, since the image from a single camera is used, the field of view is limited to that of the real camera, only a part of the image is displayed on the monitor screen, and the remaining part is a non-display area such as blue background. Therefore, when a car or an obstacle comes into the display area while driving, the driver receives the impression that they suddenly pop out, and the anxiety increases. If there is an obstacle near the blind spot, only a part of it is displayed by the monocular bird's-eye view system, so it is possible that the obstacle may completely enter the blind spot depending on the movement of the vehicle. It is insufficient as a providing system.

【0009】また、単眼俯瞰システムでは、上述したよ
うに、カメラを地面方向へ傾けて撮影したモニタ映像を
利用しているため、どうしても近距離に比べ遠距離の情
報量は少なくなり、さらにモニタ画面に表示する上でも
限られたエリアを一枚の俯瞰画像として表現することか
ら、遠方の表示には限界がある。このため、運転者が運
転操作を行う際、より遠方に車庫入れ等の目標を置くと
どうしても目標を見失うことが多くなる。
Further, in the monocular bird's-eye view system, as described above, since the monitor image taken by tilting the camera toward the ground is used, the amount of information at a long distance is inevitably smaller than that at a short distance. Since the limited area is displayed as a single bird's-eye view image even when it is displayed on the screen, there is a limit to the display in the distance. For this reason, when the driver performs a driving operation, if he / she sets a target such as garage parking farther away, the target will often be lost.

【0010】一方、ドアミラーの中や、又はその付近に
カメラを搭載した場合、その視界はドアミラーによる視
界に比べ広く多くを見渡せ、さらに遠方に対しても視認
性は良好である。しかし、この場合は、左右同時に視界
全体を画面表示すると画像が歪み、直感的な判別が困難
となる。また、自車の真後ろは影に入るため、車両後方
の部分に死角が存在し、さらには画像の中の正確な距離
認識がしがたいといった欠点もある。
On the other hand, when a camera is mounted in or near the door mirror, the field of view is wider and wider than that of the door mirror, and the visibility is good even from a distance. However, in this case, when the entire field of view is displayed on the left and right simultaneously, the image is distorted, and intuitive discrimination becomes difficult. Further, since there is a shadow directly behind the vehicle, there is a blind spot in the rear part of the vehicle, and it is difficult to accurately recognize the distance in the image.

【0011】本発明の課題は、自車両後方の状況を容易
かつ正確に把握することができ、運転者にゆとりのある
運転を行わせることが可能な車両後方モニタシステム、
およびモニタ装置を提供することにある。
An object of the present invention is to provide a vehicle rear monitor system capable of easily and accurately grasping the situation behind the vehicle and allowing the driver to drive in a comfortable manner.
And to provide a monitor device.

【0012】[0012]

【課題を解決するための手段】上記課題を解決するため
に、本発明は、簡単な取付方法にて実施可能な単眼俯瞰
システムをメインに、その弱点である後側方視界の確保
をドアミラー付近に設置された側方カメラをサブとして
用いることで、総合的な後方安全認識装置を構成しよう
とするものである。
In order to solve the above-mentioned problems, the present invention mainly focuses on a monocular bird's-eye view system that can be implemented by a simple mounting method, and secures a rear side field of view which is its weak point near the door mirror. By using the side camera installed in the sub as a sub, an attempt is made to construct a comprehensive rear safety recognition device.

【0013】すなわち、請求項1に記載の発明は、車両
に搭載され該車両の後方を撮影する1台の後方カメラ
と、前記後方カメラからの撮影画像を取り込んで処理
し、互いに異なる視点方向から前記車両周囲を見たとき
の俯瞰画像を生成する画像処理手段と、前記俯瞰画像を
モニタ画面上に表示する表示手段とを備えた車両後方モ
ニタシステムにおいて、前記車両の左右ドアミラー又は
それらの近傍に該車両の後方を撮影する側方カメラをそ
れぞれ1台ずつ搭載し、前記側方カメラで撮影した画像
を、前記俯瞰画像とともに前記モニタ画面上に一括して
表示することを特徴としている。
That is, according to the first aspect of the present invention, one rear camera mounted on a vehicle for photographing the rear of the vehicle and a captured image from the rear camera are captured and processed, and the captured images are processed from different viewpoint directions. In a vehicle rear monitor system including image processing means for generating an overhead view image when looking around the vehicle, and display means for displaying the overhead view image on a monitor screen, in the left and right door mirrors of the vehicle or in the vicinity thereof. It is characterized in that one side camera for photographing the rear of the vehicle is mounted, and the images photographed by the side cameras are collectively displayed on the monitor screen together with the bird's-eye view image.

【0014】上記構成によれば、車両左右の側方カメラ
で撮影した画像が俯瞰画像とともに一つのモニタ画面上
に表示されるので、車両の後方や側方に危険物又は障害
物が存在するときは、運転者はその危険物や障害物を容
易に発見し、余裕を持って回避することができる。ま
た、側方カメラを略水平方向に向けておけば、この側方
カメラで撮影した画像には歪みがあまり生じておらず、
立体物の判別も容易である。
According to the above construction, the images taken by the left and right side cameras of the vehicle are displayed together with the bird's-eye view image on one monitor screen. Therefore, when a dangerous object or an obstacle exists behind or on the side of the vehicle. The driver can easily find the dangerous objects and obstacles and avoid them with sufficient time. Also, if the side camera is oriented in a substantially horizontal direction, there is not much distortion in the images taken with this side camera,
It is also easy to identify a three-dimensional object.

【0015】請求項2に記載の発明は、請求項1におい
て、前記側方カメラで撮影した画像は、前記後方カメラ
で撮影したときの死角に対応するモニタ画面上のエリア
に表示されることを特徴としている。
According to a second aspect of the present invention, in the first aspect, the image photographed by the side camera is displayed in an area on the monitor screen corresponding to a blind spot when the rear camera photographs. It has a feature.

【0016】後方カメラで車両の後方を撮影したときに
は、車両側方に死角が当然に生じており、この死角に対
応するモニタ画面上のエリアには何も表示されていない
ので、上記構成では、側方カメラで撮影した画像を前記
エリアに表示するようにしている。
When the rear camera photographs the rear of the vehicle, a blind spot naturally occurs on the side of the vehicle, and nothing is displayed in the area on the monitor screen corresponding to this blind spot. An image taken by a side camera is displayed in the area.

【0017】請求項3に記載の発明は、請求項2におい
て、前記エリアには枠形状をなしたアイコンが表示さ
れ、前記側方カメラで撮影した画像は、前記アイコンの
中に縮小して表示されるか、または切り取られた一部の
画像が前記アイコンの中に表示されることを特徴として
いる。
According to a third aspect of the present invention, in the second aspect, a frame-shaped icon is displayed in the area, and an image taken by the side camera is reduced and displayed in the icon. It is characterized in that a part of the image that is cut or cut is displayed in the icon.

【0018】このようにすれば、側方カメラで撮影した
画像と俯瞰画像とを容易に見分けることができる。
With this configuration, the image taken by the side camera and the bird's-eye view image can be easily distinguished.

【0019】請求項4に記載の発明は、請求項3におい
て、前記アイコンは、ドアミラーを模した形状に表示さ
れることを特徴としている。ドアミラーを模した形状の
アイコンであれば、運転者にとって違和感がない。
According to a fourth aspect of the present invention, in the third aspect, the icon is displayed in a shape simulating a door mirror. If the icon is shaped like a door mirror, the driver does not feel uncomfortable.

【0020】請求項5に記載の発明は、請求項3又は4
において、前記側方カメラで撮影した画像を前記アイコ
ンの中に縮小して表示する縮小画像表示モードと、前記
切り取られた一部の画像を前記アイコンの中に表示する
切取画像表示モードとが設定され、前記両モードを互い
に切換えるためのモード切換スイッチが設けられている
ことを特徴としている。
The invention according to claim 5 is the invention according to claim 3 or 4.
In, a reduced image display mode in which an image captured by the side camera is reduced and displayed in the icon, and a cut image display mode in which a part of the clipped image is displayed in the icon are set. In addition, a mode selector switch for switching between the two modes is provided.

【0021】このようにすれば、モード切換スイッチを
切換えるだけで、縮小画像表示モードと切取画像表示モ
ードとをワンタッチで切換えることができ、運転者はそ
の時々の状況に応じて必要性の高い表示モードを選択で
きる。
With this configuration, the reduced image display mode and the cut image display mode can be switched with one touch by simply switching the mode changeover switch, and the driver has a highly necessary display depending on the situation at that time. You can select the mode.

【0022】請求項6に記載の発明は、請求項5におい
て、前記切取画像表示モードに切換えられたときは、前
記側方カメラで撮影した画像のうち車両から離れた外側
の視界、車両に近い内側の視界、および前記外側と内側
の中間の領域の視界が切り出されるとともに、切り出さ
れた視界の一つが視界角度切換スイッチの切換操作に応
じて選択され、その選択された視界の画像が表示される
ことを特徴としている。
According to a sixth aspect of the present invention, in the fifth aspect, when the cut-out image display mode is switched to, the field of view outside the vehicle out of the image captured by the side camera is close to the vehicle. The inside field of view and the field of view of the middle region between the outside and the inside are cut out, and one of the cut out views is selected according to the switching operation of the view angle changeover switch, and the image of the selected view field is displayed. It is characterized by that.

【0023】このようにすれば、視界角度切換スイッチ
を切換操作するだけで、車両から離れた外側の視界、車
両に近い内側の視界、および外側と内側の中間の領域の
視界のいずれか一つを選択し、その選択した視界の画像
をアイコンの中に表示させることができる。
According to this structure, one of the visual field outside the vehicle, the visual field inside the vehicle and the visual field in the intermediate region between the outer side and the inner side can be obtained only by switching the visual field angle changeover switch. Can be selected to display an image of the selected field of view in the icon.

【0024】請求項7に記載の発明は、請求項6におい
て、前記アイコンは、切り出された視界が前記外側の視
界か、前記内側の視界か、もしくは前記外側と内側の中
間の領域の視界かに応じて枠が変形して表示されること
を特徴としている。
According to a seventh aspect of the invention, in the sixth aspect, whether the icon is a field of view cut out is the field of view of the outside, the field of view of the inside, or the field of view between the outside and the inside. It is characterized in that the frame is deformed and displayed according to.

【0025】例えば、側方カメラで撮影した画像のう
ち、車両から離れた外側部分の画像を切り取って表示す
る場合は、ドアミラー形状のアイコンの両先端が若干上
方に位置するようにアイコンの枠全体を変形させ、車両
に近い内側部分の画像を切り取って表示する場合は、ド
アミラー形状のアイコンの両先端が若干下方に位置する
ようにアイコンの枠全体を変形させ、前記外側部分と前
記内側部分の中間の領域を切り取って表示する場合は、
ドアミラー形状のアイコンを変形させないようにする。
このようにすることによって、運転者は、どの部分が切
り取られて表示されているのかを容易に判別することが
できる。
For example, in the case of displaying an image of an outer part away from the vehicle among the images taken by the side cameras, the entire frame of the icon is arranged so that both ends of the icon in the shape of a door mirror are located slightly above. When the image of the inner part close to the vehicle is cut out and displayed, the entire frame of the icon is deformed so that both ends of the icon of the door mirror shape are located slightly downward, and the outer part and the inner part of the icon are deformed. To cut and display the middle area,
Do not change the shape of the door mirror icon.
By doing so, the driver can easily determine which part is cut and displayed.

【0026】請求項1乃至7に記載の発明はモニタシス
テムとしての発明であったが、運転席に設置されるモニ
タ装置にも適用できる。すなわち、請求項8に記載の発
明は、車両に搭載された後方カメラに接続され、該後方
カメラで前記車両の後方を撮影したときの画像を取り込
んで処理し、互いに異なる視点方向から前記車両周囲を
見たときの俯瞰画像を生成する画像処理手段と、前記俯
瞰画像をモニタ画面上に表示する表示手段とを備えた車
両後方モニタ装置において、前記画像処理手段は、前記
車両の左右ドアミラー又はそれらの近傍にそれぞれ1台
ずつ搭載された側方カメラに接続され、前記側方カメラ
で前記車両後方を撮影したときの画像を取り込んで、そ
の画像を前記俯瞰画像とともに前記モニタ画面上に一括
して表示させることを特徴としている。
The invention described in claims 1 to 7 is an invention as a monitor system, but can be applied to a monitor device installed in a driver's seat. That is, the invention according to claim 8 is connected to a rear camera mounted on a vehicle, captures and processes an image when the rear of the vehicle is photographed by the rear camera, and processes the surroundings of the vehicle from different viewpoint directions. In a vehicle rear monitor device including image processing means for generating a bird's-eye view image and a display means for displaying the bird's-eye view image on a monitor screen, the image processing means includes left and right door mirrors of the vehicle or those. Connected to side cameras mounted one by one in the vicinity of the vehicle, captures an image of the rear of the vehicle captured by the side cameras, and collectively captures the image together with the bird's-eye view image on the monitor screen. The feature is that it is displayed.

【0027】[0027]

【発明の実施の形態】以下、本発明の実施の形態を図面
に従って説明する。 (実施の形態1)図1は、本実施の形態1に係る車両後
方モニタシステムの全体構成を示している。本車両後方
モニタシステムには、図に示すように、後方カメラ1
1、左側方カメラ12および右側方カメラ13が設けら
れている。後方カメラ11は、図2に示すように、車両
1後部のトランク2の上部またはその周辺に取り付けら
れ、また左側方カメラ12は車両左側のドアミラー3の
先端部に、右側方カメラ13は車両右側のドアミラー4
の先端部にそれぞれ取り付けられている。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings. (Embodiment 1) FIG. 1 shows the overall configuration of a vehicle rear monitor system according to the first embodiment. The vehicle rear monitor system includes a rear camera 1 as shown in the figure.
1, a left side camera 12 and a right side camera 13 are provided. As shown in FIG. 2, the rear camera 11 is mounted on or near the upper portion of the trunk 2 at the rear of the vehicle 1, the left side camera 12 is at the tip of the door mirror 3 on the left side of the vehicle, and the right side camera 13 is at the right side of the vehicle. Door mirror 4
It is attached to the tip of each.

【0028】後方カメラ11は、図1に示すように、デ
コーダ部14を介して画像メモリ15に、左側方カメラ
12はデコーダ部16を介して画像メモリ17に、右側
方カメラ13はデコーダ部18を介して画像メモリ19
にそれぞれ接続され、さらに各画像メモリ15,17,
19は、RAM1,2を有する画像処理部20に接続さ
れている。また、画像処理部20には画像処理メモリ
(表示画像メモリ)21が接続され、この画像処理メモ
リ21はエンコーダ部22を介してモニタシステム23
に接続されている。
As shown in FIG. 1, the rear camera 11 is in the image memory 15 via the decoder unit 14, the left camera 12 is in the image memory 17 via the decoder unit 16, and the right camera 13 is in the decoder unit 18. Via the image memory 19
To each of the image memories 15, 17,
Reference numeral 19 is connected to an image processing unit 20 having RAMs 1 and 2. An image processing memory (display image memory) 21 is connected to the image processing unit 20, and the image processing memory 21 is connected to a monitor system 23 via an encoder unit 22.
It is connected to the.

【0029】ここで、左右の側方カメラ12,13、デ
コーダ部16,18、および画像メモリ17,19は側
方カメラシステム(図1の破線で囲った部分)を構成し
ている。本実施の形態では、この側方カメラシステムを
従来の単眼俯瞰システムに追加したところに特徴があ
る。
Here, the left and right side cameras 12, 13, the decoder sections 16, 18 and the image memories 17, 19 constitute a side camera system (a portion surrounded by a broken line in FIG. 1). The present embodiment is characterized in that this side camera system is added to the conventional monocular bird's eye view system.

【0030】また、本車両後方モニタシステムには制御
部24が設けられ、この制御部24はデコーダ部14,
16,18および画像メモリ15,17,19に接続さ
れている。そして、制御部24と画像メモリ15,1
7,19には同期分離信号が入力され、各カメラ11,
12,13間の時間的遅れを吸収している。このように
本実施の形態では、画像メモリ15,17,19を用い
て、各カメラ11,12,13間の時間的遅れを吸収し
同期化を図っているが、仕様によっては各カメラ11,
12,13間を外部同期信号によって同期化させるよう
構成することもできる。
Further, the vehicle rear monitor system is provided with a control unit 24, which controls the decoder unit 14,
16, 18 and the image memories 15, 17, 19. Then, the control unit 24 and the image memories 15 and 1
A sync separation signal is input to each of the cameras 7 and 19.
It absorbs the time delay between 12 and 13. As described above, in the present embodiment, the image memories 15, 17, and 19 are used to absorb the time delay between the cameras 11, 12, and 13 to achieve synchronization.
It is also possible to synchronize 12 and 13 with an external synchronizing signal.

【0031】さらに、制御部24は、画像処理部20、
画像処理メモリ21およびエンコーダ部22にそれぞれ
接続され、画像処理部20と画像処理メモリ21に制御
信号を出力するとともに、エンコーダ部22との間で制
御信号のやり取りをする。
Further, the control section 24 includes an image processing section 20,
It is connected to the image processing memory 21 and the encoder unit 22, respectively, and outputs a control signal to the image processing unit 20 and the image processing memory 21 and exchanges a control signal with the encoder unit 22.

【0032】また、画像処理用のデータを多数格納する
画像処理用データROM25が設けられ、表示仕様に合
わせた画像処理用のデータを制御部24に出力すること
により、様々なバリエーションを持った画像表示が可能
となっている。
Further, an image processing data ROM 25 for storing a large number of image processing data is provided, and by outputting the image processing data according to the display specifications to the control section 24, images having various variations can be obtained. It is possible to display.

【0033】なお、上記構成において、本発明に係る車
両後方モニタ装置は、後方カメラ11、左右の側方カメ
ラ12,13、およびモニタシステム23を除いたもの
である。
In the above structure, the vehicle rear monitor device according to the present invention does not include the rear camera 11, the left and right side cameras 12, 13, and the monitor system 23.

【0034】上記構成の車両後方モニタシステムにおい
て、まず、後方カメラ11のみで撮影した場合について
述べる。後方カメラ11で車両1の後方を撮影すると、
その画像信号はデコード部14でデコードされてRGB
信号となり、画像メモリ15に記憶される。画像処理部
20は、画像メモリ15に記憶された画像信号を取り込
んで、デジタル画像処理を行い単眼俯瞰画像を生成す
る。生成された単眼俯瞰画像は、画像処理メモリ21内
のRAM1又はRAM2に一旦記憶され、その後、エン
コード部22でNTSC等、モニタシステム23に合わ
せた画像信号にエンコードされてから、モニタシステム
23に出力されモニタ画面上に表示される。
In the vehicle rear monitor system having the above structure, first, a case where only the rear camera 11 is used for photographing will be described. When the rear of the vehicle 1 is photographed by the rear camera 11,
The image signal is decoded by the decoding unit 14 to obtain RGB signals.
It becomes a signal and is stored in the image memory 15. The image processing unit 20 takes in the image signal stored in the image memory 15 and performs digital image processing to generate a monocular bird's-eye view image. The generated monocular bird's-eye view image is temporarily stored in the RAM 1 or the RAM 2 in the image processing memory 21, and then encoded by the encoding unit 22 into an image signal suitable for the monitor system 23 such as NTSC, and then output to the monitor system 23. Displayed on the monitor screen.

【0035】モニタシステム23は図3のようなモニタ
画面30を有し、単眼俯瞰画像はモニタ画面30上の俯
瞰表示エリア31に表示される。モニタ画面30には、
自車両の映像1’も表示されており、俯瞰表示エリア3
1は自車両の映像1’の後方に表示される。なお、図3
において、符号32は後方カメラ11で車両1の後方を
撮影したときの死角に対応する非表示エリアである。
The monitor system 23 has a monitor screen 30 as shown in FIG. 3, and the monocular bird's-eye view image is displayed in a bird's-eye view display area 31 on the monitor screen 30. On the monitor screen 30,
The video 1'of the vehicle is also displayed, and the bird's eye view display area 3
1 is displayed behind the image 1'of the vehicle. Note that FIG.
In the figure, reference numeral 32 is a non-display area corresponding to a blind spot when the rear camera 11 photographs the rear of the vehicle 1.

【0036】ここで、単眼俯瞰画像について説明する。
例えば、図4のように、車両1の後方にある車庫入れ用
の白線33を後方カメラ11で撮影した場合、その撮影
結果から得られる単眼俯瞰画像は互いに異なる視点方向
から車両1周囲を見たときの画像で、図5のようにモニ
タ画面30上の俯瞰表示エリア31に表示される。この
場合、俯瞰表示エリア31には白線33の一部が俯瞰画
像33’として表示され、後方カメラ11の死角に対応
するエリア(非表示エリア32)には何も表示されな
い。
Here, the monocular bird's-eye view image will be described.
For example, as shown in FIG. 4, when the rear camera 11 captures an image of the white line 33 for garage entry in the rear of the vehicle 1, the single-eye bird's-eye view images obtained from the results of the image look around the vehicle 1 from different viewpoint directions. The image at that time is displayed in the overhead view display area 31 on the monitor screen 30 as shown in FIG. In this case, a part of the white line 33 is displayed as the bird's-eye view image 33 ′ in the bird's-eye view display area 31, and nothing is displayed in the area (non-display area 32) corresponding to the blind spot of the rear camera 11.

【0037】次に、左側方カメラ12および右側方カメ
ラ13で車両1の後方を撮影すると、その画像信号はデ
コード部16,18でデコードされてRGB信号とな
り、画像メモリ17,19にそれぞれ記憶される。画像
処理部20は、画像メモリ17,19に記憶された画像
信号を取り込んでデジタル画像処理を行う。この場合、
画像処理部20は画像メモリ15に記憶された画像信号
も取り込んで、左右の側方カメラ12,13で撮影した
画像を、後方カメラ11での撮影による単眼俯瞰画像と
ともに一括してモニタ画面30上に表示させるように画
像処理を行う。その処理結果は画像処理メモリ21内の
RAM1,2に一旦記憶され、その後、エンコード部2
2でNTSC等、モニタシステム23に合わせた画像信
号にエンコードしてから、モニタシステム23に出力す
る。
Next, when the rear side of the vehicle 1 is photographed by the left side camera 12 and the right side camera 13, the image signals thereof are decoded by the decoding units 16 and 18 to become RGB signals, which are stored in the image memories 17 and 19, respectively. It The image processing unit 20 takes in the image signals stored in the image memories 17 and 19 and performs digital image processing. in this case,
The image processing unit 20 also captures the image signals stored in the image memory 15, and collectively displays the images captured by the left and right side cameras 12 and 13 together with the monocular bird's-eye view image captured by the rear camera 11 on the monitor screen 30. Image processing is performed so that it is displayed on. The processing result is temporarily stored in the RAMs 1 and 2 in the image processing memory 21, and then the encoding unit 2
In step 2, the video signal is encoded into an image signal suitable for the monitor system 23 such as NTSC and then output to the monitor system 23.

【0038】モニタシステム23のモニタ画面30上に
は、図6に示すように、俯瞰表示エリア31に車庫入れ
用の白線33の俯瞰画像33’が表示され、また自車両
の映像1’の左側の非表示エリア32Aおよび右側の非
表示エリア32Bには、ドアミラーの枠形状を模したア
イコン34A,34Bがそれぞれ表示される。そして、
アイコン34Aの中には左側方カメラ12で撮影した画
像が、アイコン34Bの中には右側方カメラ13で撮影
した画像がそれぞれ表示される。アイコン34A,34
Bの中には画像が縮小して表示されるか、もしくは切り
取られた一部の画像が縮小されずに表示される。
On the monitor screen 30 of the monitor system 23, as shown in FIG. 6, a bird's-eye view image 33 'of a white line 33 for garage entry is displayed in the bird's-eye view display area 31, and the left side of the image 1'of the vehicle. In the non-display area 32A and the non-display area 32B on the right side, icons 34A and 34B imitating the frame shape of the door mirror are displayed, respectively. And
The image captured by the left camera 12 is displayed in the icon 34A, and the image captured by the right camera 13 is displayed in the icon 34B. Icon 34A, 34
In B, an image is displayed in a reduced size, or a part of the clipped image is displayed without being reduced in size.

【0039】本実施の形態においては、後方カメラ11
による撮影画像の表示可能エリアと、左右の側方カメラ
12,13による撮影画像の表示可能エリアは、図7の
ように設定されている。すなわち、後方カメラ11によ
る撮影画像の表示可能エリアは図の範囲Aであり、これ
は前述の俯瞰表示エリア31に相当している。左右の側
方カメラ12,13による撮影画像の表示可能エリア
は、目の細かい斜線の範囲Bであるが、目の粗い斜線の
範囲Cも含まれている。したがって、本実施の形態では
車両1の後方全域が表示可能な範囲となっている。
In the present embodiment, the rear camera 11
The displayable area of the captured image by and the displayable area of the captured image by the left and right side cameras 12 and 13 are set as shown in FIG. That is, the displayable area of the image captured by the rear camera 11 is the range A in the figure, which corresponds to the above-mentioned overhead view display area 31. The displayable area of the images taken by the left and right side cameras 12 and 13 is the range B of the finely shaded lines, but also the range C of the coarsely shaded lines. Therefore, in the present embodiment, the entire rear area of the vehicle 1 is the displayable range.

【0040】次に、道路走行中に、後方カメラ11およ
び左右の側方カメラ12,13で車両後方を撮影し、そ
の撮影画像をモニタ画面30上に表示する場合の一例に
ついて説明する。
Next, an example will be described in which the rear camera 11 and the left and right side cameras 12, 13 photograph the rear of the vehicle while the vehicle is traveling on the road and the photographed image is displayed on the monitor screen 30.

【0041】例えば、図8に示すように、自車両1の真
後ろに乗用車41が、自車両1の右斜め後方に乗用車4
2が、自車両1の左斜め後方に自動二輪車43が各々走
行している場合について述べる。乗用車41の前面側、
乗用車42の左側後部および自動二輪車43の右側後部
は後方カメラ11の死角には入らないので、後方カメラ
11で撮影されて、モニタ画面30上には、図9に示す
ように、俯瞰表示エリア31に俯瞰画像41’,4
2’,43’としてそれぞれ表示される。
For example, as shown in FIG. 8, a passenger car 41 is located directly behind the own vehicle 1 and a passenger car 4 is located diagonally to the right rear of the own vehicle 1.
2 describes a case in which the motorcycles 43 are traveling to the left and diagonally rearward of the host vehicle 1, respectively. The front side of the passenger car 41,
Since the left rear part of the passenger car 42 and the right rear part of the motorcycle 43 do not enter the blind spot of the rear camera 11, they are photographed by the rear camera 11 and, on the monitor screen 30, as shown in FIG. Overhead image 41 ', 4
They are displayed as 2'and 43 ', respectively.

【0042】また、乗用車41の左側と自動二輪車43
の前面側は左側方カメラ12で、乗用車41の右側と乗
用車42の前面側は右側方カメラ13でそれぞれ撮影さ
れ、その撮影画像は、左右の非表示エリア32A,32
Bに表示されたドアミラー形状のアイコン34A,34
Bの中にそれぞれ表示される。アイコン34Aの中には
左側方カメラ12で撮影した乗用車41と自動二輪車4
3のそれぞれの画像が、アイコン34Bの中には右側方
カメラ13で撮影した乗用車41と乗用車42のそれぞ
れの画像が表示される。アイコン34A,34Bの中に
は画像が縮小して表示されるか、もしくは切り取られた
一部の画像が縮小されずに表示される。
The left side of the passenger car 41 and the motorcycle 43
Is photographed by the left side camera 12 and the right side of the passenger car 41 and the front side of the passenger car 42 are photographed by the right side camera 13, respectively, and the photographed images are taken in the left and right non-display areas 32A, 32.
Door mirror icon 34A, 34 displayed on B
Displayed in B respectively. Among the icons 34A are the passenger car 41 and the motorcycle 4 photographed by the left camera 12.
The respective images of the passenger car 41 and the passenger car 42 captured by the right camera 13 are displayed in the icon 34B. In the icons 34A and 34B, an image is displayed in a reduced size, or a part of the clipped image is displayed without being reduced in size.

【0043】本実施の形態によれば、左右の側方カメラ
12,13で撮影した画像が、俯瞰画像とともに一括し
てモニタ画面30上に表示されるので、運転者は、車庫
入れ等で車両を後進させているときに車両後方の障害物
を容易に発見でき、また道路走行時には自車両後方の状
況を瞬時に知ることができる。
According to the present embodiment, the images taken by the left and right side cameras 12 and 13 are displayed together on the monitor screen 30 together with the bird's-eye view image, so that the driver can put the vehicle in the garage or the like. The obstacle behind the vehicle can be easily found when the vehicle is moving backward, and the situation behind the vehicle can be instantly known when the vehicle is traveling on the road.

【0044】また、本実施の形態によれば、走行中に、
アイコン34A,34Bの中に表示される画像を見なが
ら運転し、ドアミラーの代わりとして活用することも可
能である。側方カメラ12,13はドアミラーよりも視
界が広いので、車両後方の安全確認を確認するには側方
カメラ12,13の方が適している。
Further, according to the present embodiment, while traveling,
It is also possible to drive while looking at the images displayed in the icons 34A and 34B and to utilize as a substitute for the door mirror. Since the side cameras 12 and 13 have a wider field of view than the door mirrors, the side cameras 12 and 13 are more suitable for confirming safety confirmation behind the vehicle.

【0045】なお、側方カメラ12,13はドアミラー
先端部だけでなく、ドアミラー近傍のフェンダパネルや
ドアパネルに取り付けることもできる。また、側方カメ
ラは3つ以上あっても良い。
The side cameras 12 and 13 can be attached not only to the front end of the door mirror but also to the fender panel or door panel near the door mirror. Also, there may be three or more side cameras.

【0046】また、本実施の形態では、アイコン34
A,34Bはドアミラー形状をなしているが、他の形状
(例えば、四角形や長円形)であっても良い。
Further, in the present embodiment, the icon 34
Although A and 34B have a door mirror shape, they may have another shape (for example, a quadrangle or an oval shape).

【0047】(実施の形態2)次に、本発明の実施の形
態2について説明する。本実施の形態では、図10に示
すように、外部制御スイッチ50が設けられている。こ
の外部制御スイッチ50はモード切換スイッチ51およ
び視界角度切換スイッチ52からなり、これら切換スイ
ッチ51,52は運転席に設けられ、運転者が自在に操
作できる。運転者が切換スイッチ51,52を操作する
と、外部制御スイッチ50は制御部24に対して外部制
御信号を出力する。また、スーパーインポーズ用データ
ROM53が設けられ、このスーパーインポーズ用デー
タROM53は制御部24にスーパーインポーズ用のデ
ータを出力する。他の構成は、実施の形態1の場合と同
様である。
(Second Embodiment) Next, a second embodiment of the present invention will be described. In this embodiment, as shown in FIG. 10, an external control switch 50 is provided. The external control switch 50 comprises a mode changeover switch 51 and a view angle changeover switch 52. These changeover switches 51, 52 are provided in the driver's seat and can be operated freely by the driver. When the driver operates the changeover switches 51 and 52, the external control switch 50 outputs an external control signal to the control unit 24. A superimposing data ROM 53 is provided, and the superimposing data ROM 53 outputs superimposing data to the control unit 24. Other configurations are similar to those in the first embodiment.

【0048】本実施の形態では、アイコン34A,34
B(図6又は図9参照)の中に、画像縮小して表示する
縮小画像表示モードと、アイコン34A,34Bの中
に、切り取られた一部の画像を表示する切取画像表示モ
ードとが設定されている。モード切換スイッチ51は、
縮小画像表示モードと切取画像表示モードとの切換を行
う。
In the present embodiment, the icons 34A and 34A
B (see FIG. 6 or 9), a reduced image display mode for reducing and displaying the image and a cut image display mode for displaying a part of the cut image in the icons 34A and 34B are set. Has been done. The mode switch 51 is
The reduced image display mode and the cut image display mode are switched.

【0049】ここで、運転者がモード切換スイッチ51
を操作して縮小画像表示モードを選択すると、アイコン
34A,34Bの中には、側方カメラ12,13で撮影
した画像が縮小されて表示される。このように縮小表示
モードは画像が縮小されて表示されると、車両後方の全
体像を容易に把握でき、障害物の有無の確認に適してい
る。
Here, the driver selects the mode changeover switch 51.
When the reduced image display mode is selected by operating, the images captured by the side cameras 12 and 13 are reduced and displayed in the icons 34A and 34B. As described above, in the reduced display mode, when the image is reduced and displayed, the entire image of the rear of the vehicle can be easily grasped, and it is suitable for checking the presence or absence of an obstacle.

【0050】また、運転者が切換スイッチ51を操作し
て切取画像表示モードを選択すると、アイコン34A,
34Bの中には、側方カメラ12,13で撮影した画像
のうち切り取られた一部の画像が表示される。本実施の
形態では、3種類の視界が得られるように画像が切り取
られる。すなわち、図11(b)のように車両から離れ
た外側の視界Dを切り出す場合と、図12(b)のよう
に車両に近い内側の視界Eを切り出す場合と、図13
(b)のように外側と内側の中間の領域の視界Fを切り
出す場合とが予め設定されており、どの視界を切り出す
かは、視界角度切換スイッチ52の切換操作によって選
択される。
When the driver operates the changeover switch 51 to select the cut image display mode, the icon 34A,
A part of the image cut out of the images captured by the side cameras 12 and 13 is displayed in 34B. In the present embodiment, the image is cut out so that three types of fields of view can be obtained. That is, the case of cutting out the outside view D away from the vehicle as shown in FIG. 11B, the case of cutting out the inside view E close to the vehicle as shown in FIG. 12B, and FIG.
The case of cutting out the visual field F in the intermediate region between the outer side and the inner side as in (b) is set in advance, and which visual field is cut out is selected by the switching operation of the visual field angle switching switch 52.

【0051】図11(b)の視界Dが選択された場合、
モニタ画面30上には、図11(a)のように、側方カ
メラ12,13で撮影した画像のうち視界D内の画像が
ドアミラー形状をなしたアイコン34A,34Bの中に
表示される。自車両1の後方には、図8と同様に、乗用
車41,42、自動二輪車43が走行しているが、視界
Dが自車両1から離れた外側の視界であるから、アイコ
ン34Aの中には自動二輪車43の映像だけが、アイコ
ン34Bの中には乗用車42の映像だけがそれぞれ中央
に表示されている。なお、俯瞰表示エリア31には、自
車両1の真後ろを走行している乗用車41の映像が表示
されているが、図11(a)では省略されている。図1
2(a)と図13(a)も同様である。
When the field of view D in FIG. 11B is selected,
On the monitor screen 30, as shown in FIG. 11A, the images in the field of view D among the images captured by the side cameras 12 and 13 are displayed in the door mirror-shaped icons 34A and 34B. As in FIG. 8, the passenger cars 41 and 42 and the motorcycle 43 are running behind the host vehicle 1, but the field of view D is the field of view outside the host vehicle 1, so that the icon 34A appears in the icon 34A. Shows only the image of the motorcycle 43 and only the image of the passenger car 42 in the center of the icon 34B. Note that the overhead view display area 31 displays an image of the passenger vehicle 41 traveling directly behind the host vehicle 1, but is omitted in FIG. 11 (a). Figure 1
The same applies to 2 (a) and FIG. 13 (a).

【0052】また視界D内の画像が表示されている場
合、アイコン34A,34Bはその両端側が上方になる
よう枠全体が変形して表示される。
When the image within the field of view D is displayed, the entire frame of the icons 34A and 34B is deformed and displayed so that both ends thereof are upward.

【0053】次に、図12(b)の視界Eが選択された
場合、モニタ画面30上には、図12(a)のように、
側方カメラ12,13で撮影した画像のうち視界E内の
画像がアイコン34A,34Bの中に表示される。視界
Eが自車両1に近い内側の視界であるから、アイコン3
4Aの中には自動二輪車43と乗用車41の映像および
自車両1の左側面の映像も表示され、アイコン34Bの
中には乗用車41と乗用車42の映像および自車両1の
右側面の映像も表示されている。
Next, when the field of view E in FIG. 12 (b) is selected, on the monitor screen 30, as shown in FIG. 12 (a),
Of the images taken by the side cameras 12, 13, the images in the field of view E are displayed in the icons 34A, 34B. Since the field of view E is the field of view inside the vehicle 1 close to the host vehicle 1, the icon 3
An image of the motorcycle 43 and the passenger car 41 and an image of the left side of the host vehicle 1 are also displayed in 4A, and an image of the passenger car 41 and the passenger car 42 and an image of the right side of the host vehicle 1 are also displayed in the icon 34B. Has been done.

【0054】また視界E内の画像が表示されている場
合、アイコン34A,34Bはその両端側が下方になる
よう枠全体が変形して表示される。
When an image within the field of view E is displayed, the entire frame of the icons 34A and 34B is deformed and displayed so that both ends thereof are located downward.

【0055】さらに、図13(b)の視界Fが選択され
た場合、モニタ画面30上には、図13(a)のよう
に、側方カメラ12,13で撮影した画像のうち視界F
内の画像がアイコン34A,34Bの中に表示される。
視界Fが外側と内側の中間の領域の視界であるから、ア
イコン34Aの中には自動二輪車43と乗用車41の映
像が表示され、アイコン34Bの中には乗用車41と乗
用車42の映像が表示されている。
Further, when the field of view F of FIG. 13 (b) is selected, the field of view F of the images taken by the side cameras 12, 13 is displayed on the monitor screen 30 as shown in FIG. 13 (a).
The image inside is displayed in the icons 34A and 34B.
Since the field of view F is the field of view between the outer side and the inner side, images of the motorcycle 43 and the passenger car 41 are displayed in the icon 34A, and images of the passenger car 41 and the passenger car 42 are displayed in the icon 34B. ing.

【0056】また視界F内の画像が表示されている場合
は、アイコン34A,34Bの枠は変形しない。
When an image within the field of view F is displayed, the frames of the icons 34A and 34B are not deformed.

【0057】本実施の形態によれば、視界D,E,Fに
応じてアイコン34A,34Bの枠形状が変形するの
で、現在アイコン34A,34Bの中に表示されている
画像がどの視界の画像であるかを、運転者が直感的にか
つ瞬時に判断することができる。
According to the present embodiment, since the frame shapes of the icons 34A and 34B are deformed according to the visual fields D, E, and F, the image currently displayed in the icons 34A and 34B is an image of which visual field. The driver can intuitively and instantly determine whether

【0058】なお、本実施の形態では、視界はD,E,
Fの3種類であったが、アイコン用データROMのデー
タ数と側方カメラ画像の切り出しパターンのデータ数を
増やすことにより、連続的な操作が可能であり、実際の
ドアミラーを操作して視界を変化させているかのような
アニメーション表示も可能である。
In the present embodiment, the visibility is D, E,
Although there were three types of F, continuous operation is possible by increasing the number of data in the icon data ROM and the number of data of the cutout pattern of the side camera image. It is also possible to display an animation as if changing.

【0059】[0059]

【発明の効果】以上説明したように、本発明によれば、
運転者は自車両後方の状況を容易かつ正確に把握するこ
とができるので、ゆとりのある運転を行うことが可能と
なる。
As described above, according to the present invention,
Since the driver can easily and accurately grasp the situation behind the host vehicle, it is possible to drive in a comfortable manner.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の実施の形態1による車両後方モニタシ
ステムの全体構成図である。
FIG. 1 is an overall configuration diagram of a vehicle rear monitor system according to a first embodiment of the present invention.

【図2】後方カメラと側方カメラの配置位置を示した図
である。
FIG. 2 is a diagram showing arrangement positions of a rear camera and a side camera.

【図3】単眼俯瞰表示の一例を示した図である。FIG. 3 is a diagram showing an example of a monocular overhead view display.

【図4】車庫入れをする車両を示した図である。FIG. 4 is a diagram showing a vehicle that is put into a garage.

【図5】車庫入れをする車両を単眼俯瞰でモニタ画面上
に表示した図である。
FIG. 5 is a view showing a vehicle to be put into a garage on a monitor screen in a monocular overhead view.

【図6】図5のモニタ画面に、側方カメラで撮影した画
像を一括して表示した図である。
FIG. 6 is a diagram in which images taken by a side camera are collectively displayed on the monitor screen of FIG.

【図7】後方カメラと側方カメラの表示可能エリアを示
した図である。
FIG. 7 is a diagram showing displayable areas of a rear camera and side cameras.

【図8】道路走行中の各車両の位置関係を示した図であ
る。
FIG. 8 is a diagram showing a positional relationship between vehicles during road traveling.

【図9】図8の場合に、後方カメラと側方カメラで撮影
した画像を一括して表示した図である。
FIG. 9 is a diagram collectively showing images taken by a rear camera and side cameras in the case of FIG.

【図10】本発明の実施の形態2による車両後方モニタ
システムの全体構成図である。
FIG. 10 is an overall configuration diagram of a vehicle rear monitor system according to a second embodiment of the present invention.

【図11】車両から離れた外側の視界を切り出す場合
で、(a)は切り出した視界の画像が表示されたモニタ
画面の図、(b)は切り出した視界の範囲を示した図で
ある。
FIG. 11A is a diagram showing a monitor screen on which an image of the clipped field of view is displayed, and FIG. 11B is a diagram showing a range of the clipped field of view when the field of view outside the vehicle is clipped.

【図12】車両に近い内側の視界を切り出す場合で、
(a)は切り出した視界の画像が表示されたモニタ画面
の図、(b)は切り出した視界の範囲を示した図であ
る。
FIG. 12 shows a case of cutting out an inside view close to a vehicle,
FIG. 6A is a diagram of a monitor screen on which an image of the cut-out view is displayed, and FIG. 6B is a diagram showing a range of the cut-out view.

【図13】外側と内側の中間の領域の視界を切り出す場
合で、(a)は切り出した視界の画像が表示されたモニ
タ画面の図、(b)は切り出した視界の範囲を示した図
である。
13A and 13B are diagrams showing a case where a field of view in an intermediate region between the outer side and the inner side is cut out, FIG. 13A is a diagram of a monitor screen on which an image of the cut out field of view is displayed, and FIG. is there.

【符号の説明】[Explanation of symbols]

1 車両 11 後方カメラ 12 左側方カメラ 13 右側方カメラ 20 画像処理部 23 モニタシステム 24 制御部 30 モニタ画面 31 俯瞰表示エリア 32,32A,32B 非表示エリア 34A,34B アイコン 51 モード切換スイッチ 52 視界角度切換スイッチ 1 vehicle 11 rear camera 12 Left camera 13 Right side camera 20 Image processing unit 23 Monitor system 24 Control unit 30 monitor screen 31 bird's eye view display area 32, 32A, 32B non-display area 34A, 34B icons 51 Mode selector switch 52 View angle selector switch

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) B60R 21/00 B60R 21/00 621R 628 628D G03B 15/00 G03B 15/00 V (72)発明者 岩野 博隆 東京都文京区白山5丁目35番2号 クラリ オン株式会社内 (72)発明者 河内 亮太 東京都文京区白山5丁目35番2号 クラリ オン株式会社内 Fターム(参考) 5C054 FD07 FE17 GA04 GB01 HA30─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 7 Identification symbol FI Theme Coat (reference) B60R 21/00 B60R 21/00 621R 628 628D G03B 15/00 G03B 15/00 V (72) Inventor Hirotaka Iwano 5-35-2, Hakusan, Bunkyo-ku, Tokyo Clarion Co., Ltd. (72) Inventor Ryota Kawauchi 5-35-2, Hakusan, Bunkyo-ku, Tokyo Clarion Co., Ltd. F-term (reference) 5C054 FD07 FE17 GA04 GB01 HA30

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 車両に搭載され該車両の後方を撮影する
1台の後方カメラと、前記後方カメラからの撮影画像を
取り込んで処理し、互いに異なる視点方向から前記車両
周囲を見たときの俯瞰画像を生成する画像処理手段と、
前記俯瞰画像をモニタ画面上に表示する表示手段とを備
えた車両後方モニタシステムにおいて、 前記車両の左右ドアミラー又はそれらの近傍に該車両の
後方を撮影する側方カメラをそれぞれ1台ずつ搭載し、
前記側方カメラで撮影した画像を、前記俯瞰画像ととも
に前記モニタ画面上に一括して表示することを特徴とす
る車両後方モニタシステム。
1. A bird's-eye view of a rear camera mounted on a vehicle and photographing the rear of the vehicle, and a captured image from the rear camera is captured and processed to look around the vehicle from different viewpoint directions. Image processing means for generating an image,
In a vehicle rear monitor system including display means for displaying the bird's-eye view image on a monitor screen, one side camera for photographing the rear of the vehicle is mounted on each of the left and right door mirrors of the vehicle or in the vicinity thereof,
A vehicle rear monitor system, wherein images taken by the side cameras are collectively displayed on the monitor screen together with the bird's-eye view image.
【請求項2】 請求項1に記載の車両後方モニタシステ
ムにおいて、 前記側方カメラで撮影した画像は、前記後方カメラで撮
影したときの死角に対応するモニタ画面上のエリアに表
示されることを特徴とする車両後方モニタシステム。
2. The vehicle rear monitor system according to claim 1, wherein an image taken by the side camera is displayed in an area on a monitor screen corresponding to a blind spot when the rear camera takes an image. A characteristic vehicle rear monitor system.
【請求項3】 請求項2に記載の車両後方モニタシステ
ムにおいて、 前記エリアには枠形状をなしたアイコンが表示され、前
記側方カメラで撮影した画像は、前記アイコンの中に縮
小して表示されるか、または切り取られた一部の画像が
前記アイコンの中に表示されることを特徴とする車両後
方モニタシステム。
3. The vehicle rear monitor system according to claim 2, wherein a frame-shaped icon is displayed in the area, and an image captured by the side camera is reduced and displayed in the icon. A rear vehicle monitoring system, characterized in that a part of the image that has been cut or clipped is displayed in the icon.
【請求項4】 請求項3に記載の車両後方モニタシステ
ムにおいて、 前記アイコンは、ドアミラーを模した形状に表示される
ことを特徴とする車両後方モニタシステム。
4. The vehicle rear monitor system according to claim 3, wherein the icon is displayed in a shape simulating a door mirror.
【請求項5】 請求項3又は4に記載の車両後方モニタ
システムにおいて、 前記側方カメラで撮影した画像を前記アイコンの中に縮
小して表示する縮小画像表示モードと、前記切り取られ
た一部の画像を前記アイコンの中に表示する切取画像表
示モードとが設定され、前記両モードを互いに切換える
ためのモード切換スイッチが設けられていることを特徴
とする車両後方モニタシステム。
5. The vehicle rear monitor system according to claim 3 or 4, wherein a reduced image display mode in which an image captured by the side camera is reduced and displayed in the icon, and the clipped part The cut-out image display mode for displaying the image in the icon is set, and a mode rear switch for switching between the both modes is provided.
【請求項6】 請求項5に記載の車両後方モニタシステ
ムにおいて、 前記切取画像表示モードに切換えられたときは、前記側
方カメラで撮影した画像のうち車両から離れた外側の視
界、車両に近い内側の視界、および前記外側と内側の中
間の領域の視界が切り出されるとともに、切り出された
視界の一つが視界角度切換スイッチの切換操作に応じて
選択され、その選択された視界の画像が表示されること
を特徴とする車両後方モニタシステム。
6. The vehicle rear monitor system according to claim 5, wherein when switched to the cut-out image display mode, the outside field of view of the image taken by the side camera, which is far from the vehicle, is close to the vehicle. The inside field of view and the field of view of the middle region between the outside and the inside are cut out, and one of the cut out views is selected according to the switching operation of the view angle changeover switch, and the image of the selected view field is displayed. A vehicle rear monitor system characterized in that
【請求項7】 請求項6に記載の車両後方モニタシステ
ムにおいて、 前記アイコンは、切り出された視界が前記外側の視界
か、前記内側の視界か、もしくは前記外側と内側の中間
の領域の視界かに応じて枠が変形して表示されることを
特徴とする車両後方モニタシステム。
7. The vehicle rear monitor system according to claim 6, wherein the icon is a field of view cut out from the outer field of view, the inner field of view, or a field of view between the outer and inner regions. A vehicle rear monitor system characterized in that a frame is deformed and displayed according to.
【請求項8】 車両に搭載された後方カメラに接続さ
れ、該後方カメラで前記車両の後方を撮影したときの画
像を取り込んで処理し、互いに異なる視点方向から前記
車両周囲を見たときの俯瞰画像を生成する画像処理手段
と、前記俯瞰画像をモニタ画面上に表示する表示手段と
を備えた車両後方モニタ装置において、 前記画像処理手段は、前記車両の左右ドアミラー又はそ
れらの近傍にそれぞれ1台ずつ搭載された側方カメラに
接続され、前記側方カメラで前記車両後方を撮影したと
きの画像を取り込んで、その画像を前記俯瞰画像ととも
に前記モニタ画面上に一括して表示させることを特徴と
する車両後方モニタ装置。
8. A bird's-eye view of the surroundings of the vehicle, which is connected to a rear camera mounted on the vehicle, captures and processes an image of the rear of the vehicle captured by the rear camera, and views the surroundings of the vehicle from different viewpoint directions. In a vehicle rear monitor device comprising image processing means for generating an image and display means for displaying the bird's-eye view image on a monitor screen, the image processing means includes one left and right door mirror of the vehicle or one in the vicinity thereof. Each of them is connected to a side camera mounted therein, captures an image when the rear side of the vehicle is photographed by the side camera, and displays the image together with the bird's-eye view image on the monitor screen. Vehicle rear monitor device.
JP2002015696A 2002-01-24 2002-01-24 Vehicle rear monitoring system and monitoring device Expired - Lifetime JP3916958B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002015696A JP3916958B2 (en) 2002-01-24 2002-01-24 Vehicle rear monitoring system and monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002015696A JP3916958B2 (en) 2002-01-24 2002-01-24 Vehicle rear monitoring system and monitoring device

Publications (2)

Publication Number Publication Date
JP2003219413A true JP2003219413A (en) 2003-07-31
JP3916958B2 JP3916958B2 (en) 2007-05-23

Family

ID=27652003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002015696A Expired - Lifetime JP3916958B2 (en) 2002-01-24 2002-01-24 Vehicle rear monitoring system and monitoring device

Country Status (1)

Country Link
JP (1) JP3916958B2 (en)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005079784A (en) * 2003-08-29 2005-03-24 Clarion Co Ltd Image processor
JP2005311868A (en) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk Vehicle periphery visually recognizing apparatus
JP2006027556A (en) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd Periphery monitor for vehicle
JP2006131213A (en) * 2004-10-07 2006-05-25 Yamaha Motor Co Ltd Rear view recognition device for motorcycle
JP2006131166A (en) * 2004-11-09 2006-05-25 Alpine Electronics Inc Drive supporting device
JP2006253872A (en) * 2005-03-09 2006-09-21 Toshiba Corp Apparatus and method for displaying vehicle perimeter image
JP2007286873A (en) * 2006-04-17 2007-11-01 Alpine Electronics Inc On-vehicle surrounding vehicle detector
JP2008114691A (en) * 2006-11-02 2008-05-22 Mitsubishi Electric Corp Vehicular periphery monitoring device, and vehicular periphery monitoring image display method
JP2008137535A (en) * 2006-12-04 2008-06-19 Aisin Aw Co Ltd Image display method of parking assist device, and parking assist device
JP2008141574A (en) * 2006-12-04 2008-06-19 Denso Corp Viewing aid for vehicle
JP2008230558A (en) * 2007-03-23 2008-10-02 Denso Corp Vehicle periphery monitoring device
JP2008265636A (en) * 2007-04-24 2008-11-06 Aisin Seiki Co Ltd Peripheral view confirmation device for vehicle
JP2010183170A (en) * 2009-02-03 2010-08-19 Denso Corp Display apparatus for vehicle
DE102011083184A1 (en) 2010-09-24 2012-03-29 Denso Corporation Rear parking assistance device for vehicle, has display control unit controlling display device and producing right and left side view images in correspondence with respective right and left side recording images
JP2012116357A (en) * 2010-12-01 2012-06-21 Denso Corp Electronic mirror
JP2012119755A (en) * 2010-11-29 2012-06-21 Panasonic Corp Drive support display device
JP2013078151A (en) * 2013-01-18 2013-04-25 Denso Corp Display device for vehicle
WO2014017055A1 (en) 2012-07-24 2014-01-30 株式会社デンソー Visibility support device for vehicle
WO2016088151A1 (en) * 2014-12-01 2016-06-09 日産自動車株式会社 Vehicle-mounted display device, vehicle, and display method
CN106853798A (en) * 2015-12-08 2017-06-16 现代自动车株式会社 System and method for providing vehicle periphery image information
JP2017163345A (en) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド Vehicle display controller, vehicle display system, vehicle display control method, and program
JP2017163399A (en) * 2016-03-10 2017-09-14 株式会社Jvcケンウッド Vehicle display controller, vehicle display system, vehicle display control method, and program
JP2017163337A (en) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド Vehicle display controller, vehicle display system, vehicle display control method, and program
WO2017154316A1 (en) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド Vehicle display control device, vehicle display system, vehicle display control method, and program
JP2017165218A (en) * 2016-03-15 2017-09-21 株式会社Jvcケンウッド Display control device for vehicle, display system for vehicle, display control method for vehicle, and program
WO2018159017A1 (en) * 2017-02-28 2018-09-07 株式会社Jvcケンウッド Vehicle display control device, vehicle display system, vehicle display control method and program
JP2018171953A (en) * 2017-03-31 2018-11-08 株式会社Subaru Image display device
KR20180123314A (en) * 2017-05-08 2018-11-16 현대자동차주식회사 Image changing device
DE102018102051A1 (en) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft As an as display system
KR20200105591A (en) * 2019-02-28 2020-09-08 삼성디스플레이 주식회사 Vehicle display device and driving method of the same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5344227B2 (en) 2009-03-25 2013-11-20 アイシン精機株式会社 Vehicle periphery monitoring device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP2001006097A (en) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd Device for supporting driving for vehicle
JP2001334869A (en) * 2000-05-25 2001-12-04 Matsushita Electric Ind Co Ltd Driving support system
JP2002125224A (en) * 2000-07-19 2002-04-26 Matsushita Electric Ind Co Ltd Supervisory system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP2001006097A (en) * 1999-06-25 2001-01-12 Fujitsu Ten Ltd Device for supporting driving for vehicle
JP2001334869A (en) * 2000-05-25 2001-12-04 Matsushita Electric Ind Co Ltd Driving support system
JP2002125224A (en) * 2000-07-19 2002-04-26 Matsushita Electric Ind Co Ltd Supervisory system

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005079784A (en) * 2003-08-29 2005-03-24 Clarion Co Ltd Image processor
JP2005311868A (en) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk Vehicle periphery visually recognizing apparatus
JP2006027556A (en) * 2004-07-21 2006-02-02 Nissan Motor Co Ltd Periphery monitor for vehicle
JP4590962B2 (en) * 2004-07-21 2010-12-01 日産自動車株式会社 Vehicle periphery monitoring device
JP2006131213A (en) * 2004-10-07 2006-05-25 Yamaha Motor Co Ltd Rear view recognition device for motorcycle
JP2006131166A (en) * 2004-11-09 2006-05-25 Alpine Electronics Inc Drive supporting device
JP4573242B2 (en) * 2004-11-09 2010-11-04 アルパイン株式会社 Driving assistance device
JP2006253872A (en) * 2005-03-09 2006-09-21 Toshiba Corp Apparatus and method for displaying vehicle perimeter image
JP2007286873A (en) * 2006-04-17 2007-11-01 Alpine Electronics Inc On-vehicle surrounding vehicle detector
JP2008114691A (en) * 2006-11-02 2008-05-22 Mitsubishi Electric Corp Vehicular periphery monitoring device, and vehicular periphery monitoring image display method
JP2008141574A (en) * 2006-12-04 2008-06-19 Denso Corp Viewing aid for vehicle
JP2008137535A (en) * 2006-12-04 2008-06-19 Aisin Aw Co Ltd Image display method of parking assist device, and parking assist device
JP2008230558A (en) * 2007-03-23 2008-10-02 Denso Corp Vehicle periphery monitoring device
JP2008265636A (en) * 2007-04-24 2008-11-06 Aisin Seiki Co Ltd Peripheral view confirmation device for vehicle
US8717196B2 (en) 2009-02-03 2014-05-06 Denso Corporation Display apparatus for vehicle
JP2010183170A (en) * 2009-02-03 2010-08-19 Denso Corp Display apparatus for vehicle
DE102010001441B4 (en) * 2009-02-03 2021-01-28 Denso Corporation Display device for a vehicle
DE102011083184A1 (en) 2010-09-24 2012-03-29 Denso Corporation Rear parking assistance device for vehicle, has display control unit controlling display device and producing right and left side view images in correspondence with respective right and left side recording images
DE102011083184B4 (en) 2010-09-24 2022-03-17 Denso Corporation Parking assistance device for backing a vehicle into a parking space and method therefor
JP2012119755A (en) * 2010-11-29 2012-06-21 Panasonic Corp Drive support display device
JP2012116357A (en) * 2010-12-01 2012-06-21 Denso Corp Electronic mirror
US8704892B2 (en) 2010-12-01 2014-04-22 Denso Corporation Electronic mirror
WO2014017055A1 (en) 2012-07-24 2014-01-30 株式会社デンソー Visibility support device for vehicle
JP2014027353A (en) * 2012-07-24 2014-02-06 Denso Corp Visual field support device for vehicle
US9725039B2 (en) 2012-07-24 2017-08-08 Denso Corporation Vehicular visibility support apparatus
JP2013078151A (en) * 2013-01-18 2013-04-25 Denso Corp Display device for vehicle
WO2016088151A1 (en) * 2014-12-01 2016-06-09 日産自動車株式会社 Vehicle-mounted display device, vehicle, and display method
US10198639B2 (en) 2015-12-08 2019-02-05 Hyundai Motor Company System and method for providing image information around vehicle
KR101766077B1 (en) * 2015-12-08 2017-08-07 현대자동차주식회사 System and Method for Providing Vehicle Around View
CN106853798A (en) * 2015-12-08 2017-06-16 现代自动车株式会社 System and method for providing vehicle periphery image information
CN106853798B (en) * 2015-12-08 2021-02-09 现代自动车株式会社 System and method for providing image information around vehicle
JP2017163345A (en) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド Vehicle display controller, vehicle display system, vehicle display control method, and program
JP2017163337A (en) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド Vehicle display controller, vehicle display system, vehicle display control method, and program
WO2017154316A1 (en) * 2016-03-09 2017-09-14 株式会社Jvcケンウッド Vehicle display control device, vehicle display system, vehicle display control method, and program
JP2017163399A (en) * 2016-03-10 2017-09-14 株式会社Jvcケンウッド Vehicle display controller, vehicle display system, vehicle display control method, and program
JP2017165218A (en) * 2016-03-15 2017-09-21 株式会社Jvcケンウッド Display control device for vehicle, display system for vehicle, display control method for vehicle, and program
US10723266B2 (en) 2017-02-28 2020-07-28 JVC Kenwood Corporation On-vehicle display controller, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
WO2018159017A1 (en) * 2017-02-28 2018-09-07 株式会社Jvcケンウッド Vehicle display control device, vehicle display system, vehicle display control method and program
JP2018142885A (en) * 2017-02-28 2018-09-13 株式会社Jvcケンウッド Vehicular display control apparatus, vehicular display system, vehicular display control method, and program
JP2018171953A (en) * 2017-03-31 2018-11-08 株式会社Subaru Image display device
KR20180123314A (en) * 2017-05-08 2018-11-16 현대자동차주식회사 Image changing device
KR102395287B1 (en) * 2017-05-08 2022-05-09 현대자동차주식회사 Image changing device
DE102018102051A1 (en) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft As an as display system
DE102018102051B4 (en) 2018-01-30 2021-09-02 Bayerische Motoren Werke Aktiengesellschaft Method for displaying an area around a motor vehicle with an image window in an image, computer program product and display system
KR20200105591A (en) * 2019-02-28 2020-09-08 삼성디스플레이 주식회사 Vehicle display device and driving method of the same
KR102625960B1 (en) 2019-02-28 2024-01-18 삼성디스플레이 주식회사 Vehicle display device and driving method of the same

Also Published As

Publication number Publication date
JP3916958B2 (en) 2007-05-23

Similar Documents

Publication Publication Date Title
JP2003219413A (en) Vehicle rearward monitoring system and monitoring apparatus
JP3298851B2 (en) Multi-function vehicle camera system and image display method of multi-function vehicle camera
KR101354068B1 (en) Vehicle peripheral image generation device
JP4907883B2 (en) Vehicle periphery image display device and vehicle periphery image display method
EP1916846B1 (en) Device and method for monitoring vehicle surroundings
US8294563B2 (en) Vehicle-surrounding image display apparatus and vehicle-surrounding image display method
US8115810B2 (en) Vehicle-periphery viewing apparatus
JP4254887B2 (en) Image display system for vehicles
JP5099451B2 (en) Vehicle periphery confirmation device
EP2042374B1 (en) Vehicle periphery monitoring apparatus and image displaying method
JP5158051B2 (en) Driving assistance device
WO2012172923A1 (en) Vehicle periphery monitoring device
JP4765649B2 (en) VEHICLE VIDEO PROCESSING DEVICE, VEHICLE PERIPHERAL MONITORING SYSTEM, AND VIDEO PROCESSING METHOD
JP4910425B2 (en) Parking assistance device and parking assistance method
US20110063444A1 (en) Vehicle surroundings monitoring device and vehicle surroundings monitoring method
WO2002007443A1 (en) Monitoring system
JP5251804B2 (en) Driving assistance device
WO2000064175A1 (en) Image processing device and monitoring system
WO2002089485A1 (en) Method and apparatus for displaying pickup image of camera installed in vehicle
JP2007235529A (en) Vehicle surroundings monitoring system and image display method
JP2003255925A (en) Image display controller
JP2003158736A (en) Monitoring system
JP2000242896A (en) Monitor device
JP2020028027A (en) Periphery display device for vehicle
WO2019039347A1 (en) Vehicle visual confirmation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070207

R150 Certificate of patent or registration of utility model

Ref document number: 3916958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130216

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140216

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term