JP2002019556A - Monitoring system - Google Patents

Monitoring system

Info

Publication number
JP2002019556A
JP2002019556A JP2000201942A JP2000201942A JP2002019556A JP 2002019556 A JP2002019556 A JP 2002019556A JP 2000201942 A JP2000201942 A JP 2000201942A JP 2000201942 A JP2000201942 A JP 2000201942A JP 2002019556 A JP2002019556 A JP 2002019556A
Authority
JP
Japan
Prior art keywords
image
vehicle
camera
monitoring
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000201942A
Other languages
Japanese (ja)
Inventor
Hiroshi Ishii
Atsushi Morimura
Masamichi Nakagawa
Kazuo Nobori
Shusaku Okamoto
雅通 中川
修作 岡本
森村  淳
一生 登
浩史 石井
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Ind Co Ltd, 松下電器産業株式会社 filed Critical Matsushita Electric Ind Co Ltd
Priority to JP2000201942A priority Critical patent/JP2002019556A/en
Publication of JP2002019556A publication Critical patent/JP2002019556A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a monitoring system around a vehicle, capable of certainly grasping the kind of an article around the vehicle. SOLUTION: In a normal mode, a composite image indicating a relationship between the vehicle and the surroundings is produced by plural camera images. In a range OLa to OLd superimposed by a camera view range, as a result of composing the image, the image of an article existing in the range OLa to OLd (for example, pole P3) has a possibility to be unclear. In an exceptional mode, the camera images related to the superposing range OLa to OLd are individually indicated without blending.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【0001】[0001]
【発明の属する技術分野】本発明は、車両に設置した複
数のカメラの撮像画像を用いて合成画像を生成する画像
処理技術に関するものであり、特に、車両運転の際の安
全確認の補助などに利用される監視システムに有効な技
術に属する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing technique for generating a composite image using images picked up by a plurality of cameras installed in a vehicle, and more particularly to assisting safety confirmation when driving a vehicle. It belongs to the technology effective for the monitoring system used.
【0002】[0002]
【従来の技術】従来、車両の周囲をカメラを用いて監視
する装置として、特開平11−78692号公報(文献
1)に記載の車両用映像提供装置や、米国特許公報59
49331号公報(文献2)に記載の“Display Enhanc
ements for Vehicle Vision System”などが知られてい
る。
2. Description of the Related Art Conventionally, as a device for monitoring the periphery of a vehicle by using a camera, a vehicle image providing device described in Japanese Patent Application Laid-Open No. H11-78692 (Document 1) and a US Pat.
No. 49331 (Reference 2), “Display Enhanc
ements for Vehicle Vision System ”is known.
【0003】文献1では、複数台の車両用映像提供のた
めのカメラを車両の周囲に取り付け、各カメラによって
撮影された画像を変形・合成して新たな画像を作成しモ
ニタに表示する構成が開示されている。特に、複数台の
カメラの撮影画像を変形して配置する際に、変形された
画像同士が互いに隣接する境界部分で連続性を保つこと
によって、より的確な画像を運転者に提供できる、と記
載されている。
[0003] In Document 1, a plurality of cameras for providing vehicle images are mounted around the vehicle, and images taken by each camera are deformed and combined to create a new image and display it on a monitor. It has been disclosed. In particular, when deforming images arranged by a plurality of cameras and arranging the images, it is possible to provide a more accurate image to the driver by maintaining continuity between the deformed images at a boundary portion adjacent to each other. Have been.
【0004】文献2では、車のリア部中央に1台、左右
のドアミラー付近に各1台ずつ、後向きに取り付けられ
たカメラを用いて、広視野のリアビュー画像をドライバ
ーに提示する構成が開示されている。また、それぞれの
カメラ画像をシームレスに繋ぎ合わせることが特徴であ
る、と記載されている。
[0004] Document 2 discloses a configuration in which a wide-view rear-view image is presented to a driver using a camera mounted rearward, one at the center of the rear part of the car and one near each of the left and right door mirrors. ing. Further, it is described that each camera image is seamlessly connected.
【0005】[0005]
【発明が解決しようとする課題】ところが、従来では、
次のような問題がある。
However, in the prior art,
There are the following problems.
【0006】画像合成において、元のカメラ画像同士を
精度良く連続させるために、原理的には、カメラ画像に
映っている全ての物体の形状や距離を正確に求め、この
結果を用いて、画像の変形・合成処理を行う必要があ
る。ところが、カメラ画像に映っている物体全ての形状
や距離を正確に求めるためには、複雑な測定装置が必要
になり、コストが非常に高くなる。またこの場合、画像
合成のための計算処理も相当複雑になるので、リアルタ
イムで実行するのは困難である。
In image synthesis, in order to accurately connect the original camera images with each other with high accuracy, in principle, the shapes and distances of all objects shown in the camera images are accurately obtained, and the results are used to calculate the image. It is necessary to perform the transformation / synthesis processing. However, in order to accurately obtain the shapes and distances of all the objects shown in the camera image, a complicated measuring device is required, and the cost becomes extremely high. Further, in this case, the calculation process for image synthesis becomes considerably complicated, and it is difficult to execute the calculation in real time.
【0007】そこで、通常は、カメラ視野範囲内の特定
部分に着目し、この特定部分に関して画像の連続性を保
証するという手法がとられる。例えば、車両上方から車
両周囲の状況を見下ろしたような合成画像を生成する場
合には、少なくとも路面に相当する部分は連続的につな
がるように、画像合成を行う。このような手法を用いる
ことによって、低コストで、車両と周囲の状況との関係
を利用者に的確に認識させることができる。
Therefore, usually, a method is employed in which attention is paid to a specific portion within the camera field of view, and continuity of an image is guaranteed for the specific portion. For example, when generating a composite image that looks down on the situation around the vehicle from above the vehicle, image synthesis is performed so that at least a portion corresponding to the road surface is continuously connected. By using such a method, it is possible to make the user accurately recognize the relationship between the vehicle and the surrounding situation at low cost.
【0008】ところがこの場合、当然のことながら、連
続性を保証した特定部分以外については画像の連続性は
保証されない。このことは、時と場合によっては、あま
り好ましくない問題を引き起こす。
However, in this case, naturally, the continuity of the image is not guaranteed except for the specific portion where the continuity is guaranteed. This causes problems that are sometimes less favorable.
【0009】上述した見下ろし画像の場合を例にとる
と、合成画像上で路面に関しては連続性が保証されるも
のの、これ以外の部分例えば路面上にある物体について
は、連続性が保証されない。したがって、撮影範囲が重
複する複数のカメラがある場合に、変形後の各カメラ画
像において、その重複範囲に存在する物体の画像は通
常、一致しない。このため、各カメラ画像をブレンド、
すなわち重み付けして混合した場合には、その物体の形
状が合成画像上必ずしも鮮明には表示されない。このた
め、運転者は、その物体が何であるのかを把握すること
が困難になる。
In the case of the above-mentioned overlooking image, for example, continuity is guaranteed for the road surface on the composite image, but continuity is not guaranteed for other parts, for example, objects on the road surface. Therefore, when there are a plurality of cameras having overlapping shooting ranges, the images of the objects existing in the overlapping ranges usually do not match in each of the camera images after the deformation. For this reason, blend each camera image,
That is, when weighted and mixed, the shape of the object is not always clearly displayed on the composite image. For this reason, it becomes difficult for the driver to grasp what the object is.
【0010】たしかに、運転者は、見下ろし画像のよう
な合成画像によって、路面上における車両の周囲の状況
を的確に把握することができる。しかしながら、周囲に
存在する物体を、確実に把握できることの方が優先する
場合もある。
Certainly, the driver can accurately grasp the situation around the vehicle on the road surface by using a composite image such as a top-down image. However, there is a case where priority is given to being able to reliably grasp the objects existing in the surroundings.
【0011】前記の問題に鑑み、本発明は、複数のカメ
ラと、カメラ画像から合成画像を生成する画像処理部と
を備えた監視システムとして、周囲の物体の種類を確実
に把握できるようにすることを課題とする。
In view of the above problems, the present invention provides a surveillance system including a plurality of cameras and an image processing unit that generates a composite image from camera images, so that the type of a surrounding object can be reliably grasped. That is the task.
【0012】[0012]
【課題を解決するための手段】前記の課題を解決するた
めに、請求項1の発明が講じた解決手段は、監視システ
ムとして、車両の周囲を撮影する複数のカメラと、前記
各カメラの撮影画像を入力とし、これらのカメラ画像か
ら仮想視点から見た合成画像を生成し、表示装置に表示
させる画像処理部とを備え、前記画像処理部は、撮影範
囲が重複する複数個のカメラの当該重複範囲の少なくと
も一部の画像をブレンドせずに個別に表示する例外モー
ドを有しているものである。
Means for Solving the Problems To solve the above-mentioned problems, a solution taken by the invention of claim 1 is a monitoring system, comprising: a plurality of cameras for photographing the periphery of a vehicle; An image processing unit that generates a composite image viewed from a virtual viewpoint from these camera images and displays the synthesized image on a display device, wherein the image processing unit includes a plurality of cameras having overlapping shooting ranges. This has an exception mode in which at least a part of the images in the overlapping range are individually displayed without blending.
【0013】請求項1の発明によると、例外モードにお
いて、撮影範囲が重複する複数個のカメラの当該重複範
囲の画像が、ブレンドされずに、個別に表示される。こ
のため、利用者は、この重複範囲に存在する物体を、個
別に表示された画像によって、確実に把握することがで
きる。
According to the first aspect of the present invention, in the exceptional mode, images in the overlapping range of a plurality of cameras having overlapping shooting ranges are individually displayed without blending. For this reason, the user can surely grasp the objects existing in the overlapping range from the individually displayed images.
【0014】請求項2の発明では、前記請求項1の監視
システムにおける画像処理部は、合成画像を表示する通
常モードと例外モードとを当該車両の走行状態に応じて
切り替えるものとする。
According to a second aspect of the present invention, the image processing unit in the monitoring system according to the first aspect switches between a normal mode for displaying a composite image and an exceptional mode according to the traveling state of the vehicle.
【0015】請求項3の発明では、前記請求項1の監視
システムにおける画像処理部は例外モードにおいて、当
該車両を表す車両画像を表示し、かつ当該車両の周囲の
状況を示す複数の部分画像を、その位置関係を保つよう
に表示するものとする。
According to a third aspect of the present invention, the image processing unit in the monitoring system according to the first aspect displays a vehicle image representing the vehicle and displays a plurality of partial images showing a situation around the vehicle in the exceptional mode. Are displayed so as to maintain the positional relationship.
【0016】請求項4の発明では、前記請求項3の監視
システムにおける画像処理部は、前記複数の部分画像の
少なくともいずれかのサイズを当該車両の走行状態に応
じて切り替えるものとする。
According to a fourth aspect of the present invention, the image processing section in the monitoring system according to the third aspect switches at least one of the sizes of the plurality of partial images in accordance with a running state of the vehicle.
【0017】請求項5の発明では、前記請求項3の監視
システムにおける複数の部分画像は、当該車両の前方の
画像、後方の画像、右方の画像および左方の画像であ
る。
According to a fifth aspect of the present invention, the plurality of partial images in the monitoring system according to the third aspect are a front image, a rear image, a right image, and a left image of the vehicle.
【0018】請求項6の発明では、前記請求項1の監視
システムにおいて、前記車両は、当該重複範囲における
物体の有無を検出する物体検出センサを備えており、前
記画像処理部は、前記物体検出センサが物体を検出した
とき、通常モードから例外モードに切り替え当該重複範
囲のカメラ画像をブレンドせずに個別に表示するものと
する。
According to a sixth aspect of the present invention, in the monitoring system according to the first aspect, the vehicle includes an object detection sensor for detecting the presence or absence of an object in the overlapping range, and the image processing unit includes the object detection sensor. When the sensor detects an object, the mode is switched from the normal mode to the exception mode, and the camera images in the overlapping range are individually displayed without blending.
【0019】[0019]
【発明の実施の形態】以下、本発明の実施形態につい
て、図面を参照しながら説明する。
Embodiments of the present invention will be described below with reference to the drawings.
【0020】(第1の実施形態)図1は本発明の第1の
実施形態に係る監視システムの構成を示すブロック図で
ある。図1において、画像処理部2は、撮像部1から出
力された複数のカメラ画像を入力とし、これらを合成し
て新たな画像を生成する。この合成画像は、表示装置3
によって表示される。
(First Embodiment) FIG. 1 is a block diagram showing a configuration of a monitoring system according to a first embodiment of the present invention. In FIG. 1, an image processing unit 2 receives a plurality of camera images output from an imaging unit 1 and combines them to generate a new image. This composite image is displayed on the display 3
Displayed by
【0021】撮像部1は複数のカメラ11を有し、各カ
メラ11には、一対のフレームメモリ12が設けられて
いる。ここでは各カメラ11はCCDタイプであるもの
とする。カメラがCMOSタイプの場合には、カメラに
フレームメモリの機能を持たせることも可能であり、こ
の場合はフレームメモリを省くことができる。
The image pickup section 1 has a plurality of cameras 11, and each camera 11 is provided with a pair of frame memories 12. Here, each camera 11 is assumed to be a CCD type. When the camera is a CMOS type, the camera can have a function of a frame memory. In this case, the frame memory can be omitted.
【0022】画素合成部21は、マッピングテーブル参
照部22に設定されたマッピングテーブルMPTに従っ
て、撮像部1から出力されたカメラ画像を用いて、合成
画像を生成する。タイミング生成部24は、合成画像の
動画系列を生成するためのタイミング信号を生成する。
The pixel synthesizing unit 21 generates a synthesized image using the camera image output from the imaging unit 1 according to the mapping table MPT set in the mapping table reference unit 22. The timing generation unit 24 generates a timing signal for generating a moving image sequence of a composite image.
【0023】図2はカメラ配置の一例を示す図であり、
図3は図2のように配置された各カメラの画像の例を示
す図である。図2の例では、2台のペアカメラが、車両
のフロントグリル、左右ドアミラーおよびリアトランク
の計4箇所にそれぞれ設置されている。このカメラ配置
によって、車両の前後左右について180度視野の画像
をそれぞれ得ることができ、運転における安全性を高め
るために、車両周囲の状況をもれなく見せることが可能
になる。なお、WL1〜WL5は路面に引かれた白線、
P1〜P4はポールである。
FIG. 2 is a diagram showing an example of the camera arrangement.
FIG. 3 is a diagram showing an example of an image of each camera arranged as shown in FIG. In the example shown in FIG. 2, two paired cameras are installed at a total of four locations: a front grill, left and right door mirrors, and a rear trunk of the vehicle. With this camera arrangement, images in a 180-degree field of view can be obtained for the front, rear, left and right of the vehicle, and it is possible to show the situation around the vehicle without fail in order to enhance driving safety. WL1 to WL5 are white lines drawn on the road surface,
P1 to P4 are poles.
【0024】画像処理部2は、図3に示すような8枚の
カメラ画像を変形・合成し、例えば、車両上方から鉛直
下方に見下ろしたような合成画像を生成する。合成画像
の生成のためには、画像変形処理や、変形された部分画
像の合成処理(境界処理を含む)が必要になるが、図1
の構成では、マッピングテーブル参照部22を備え、撮
像画像の加工を一つの工程で行うために、マッピングテ
ーブルMPTを利用する。
The image processing unit 2 transforms and synthesizes the eight camera images as shown in FIG. 3 to generate a synthesized image as if looking down vertically from above the vehicle. In order to generate a synthesized image, image deformation processing and synthesis processing (including boundary processing) of the deformed partial image are required.
Has a mapping table reference unit 22, and uses a mapping table MPT in order to process a captured image in one step.
【0025】「マッピングテーブル」とは、合成画像の
画素と、各カメラ画像の画素データとの対応関係が記述
されたテーブルのことをいい、合成画像の生成処理を高
速に行うために用いられる。このようなマッピングテー
ブルを、幾何変換等を用いた計算や手作業などによって
予め作成しておくことによって、所望の合成画像を高速
に生成することができる。
The "mapping table" refers to a table in which the correspondence between the pixels of the composite image and the pixel data of each camera image is described, and is used for performing the process of generating the composite image at high speed. By creating such a mapping table in advance by calculation using a geometric transformation or the like or by manual operation, a desired composite image can be generated at high speed.
【0026】マッピングテーブルは具体的には、例えば
ROM(EEPROM等の書き込み・消去可能なROM
を含む)またはRAMに格納されている。マッピングテ
ーブルの格納は、例えば、画像処理部内のプロセッサが
計算で求めたマッピングデータをROMまたはRAMに
書き込むことによって実現してもよいし、ファームウェ
アとして提供されるマッピングテーブルデータを、通信
回線やディスクドライブ等のデータ転送手段を用いて、
RAMまたはROMに書き込むようにしてもよい。
Specifically, the mapping table is, for example, a ROM (writable / erasable ROM such as an EEPROM).
) Or stored in RAM. The storage of the mapping table may be realized, for example, by writing mapping data calculated by a processor in the image processing unit into a ROM or a RAM, or storing mapping table data provided as firmware in a communication line or a disk drive. Using data transfer means such as
You may make it write in RAM or ROM.
【0027】そして、合成画像生成に用いるマッピング
テーブルを切り替えることによって、合成画像の表示モ
ードを容易に切り替えることができる。この表示モード
の切替は、手動によっても可能であり、また車両の走行
状態に応じて自動的に行うことも可能である。マッピン
グテーブル選択部41は、合成画像の表示モードを選択
し、選択した表示モードに応じたマッピングテーブルM
PTを選択するよう、マッピングテーブル参照部22に
指示する。
By switching the mapping table used to generate the composite image, the display mode of the composite image can be easily switched. The display mode can be switched manually or automatically according to the running state of the vehicle. The mapping table selection unit 41 selects a display mode of the composite image, and sets a mapping table M according to the selected display mode.
It instructs the mapping table reference unit 22 to select a PT.
【0028】図4は図2に示すカメラ配置における各カ
メラの撮影範囲を示す図である。図4に示すように、各
ペアカメラの撮影範囲は互いに重複している。そして、
画像合成の際には、この重複範囲OLa〜OLdについ
ては、各カメラ画像の画素データをブレンド、すなわち
重み付けして混合することによって、合成画像を生成す
る。
FIG. 4 is a view showing the photographing range of each camera in the camera arrangement shown in FIG. As shown in FIG. 4, the shooting ranges of the paired cameras overlap each other. And
At the time of image synthesis, a composite image is generated for the overlapping ranges OLa to OLd by blending, that is, weighting and mixing pixel data of each camera image.
【0029】ところがこの場合、ある物体が重複範囲O
La〜OLdに存在するとき、その物体が合成画像上必
ずしも鮮明には表示されない可能性がある。例えば、車
両上方の仮想視点から見下ろした合成画像を生成する場
合には、路面に相当する部分が連続的につながるよう
に、各カメラ画像を加工して合成する。言い換えると、
カメラ画像に路面が映っているという仮定の下で、カメ
ラ画像と合成画像との対応関係を求めている。このと
き、路面上に存在する物体については、合成画像に鮮明
には表示されない。
In this case, however, a certain object has an overlapping range O
When the object exists in La to OLd, the object may not always be clearly displayed on the composite image. For example, when generating a combined image looking down from a virtual viewpoint above the vehicle, the camera images are processed and combined so that portions corresponding to the road surface are continuously connected. In other words,
Under the assumption that the road surface is reflected in the camera image, the correspondence between the camera image and the composite image is obtained. At this time, an object existing on the road surface is not clearly displayed on the composite image.
【0030】重複範囲OLaにあるポールP3を例にと
って説明する。図3のカメラ画像の例から分かるよう
に、カメラ4では、ポールP3は白線WL1とWL2と
にまたがるように撮される。このため、カメラ4の画像
が変換されたとき、ポールP3の画像は図4のP3Aの
ように投影される。一方、カメラ5では、ポールP3は
白線WL2に沿うように撮される。このため、カメラ5
の画像が変換されたとき、ポールP3の画像は図4のP
3Bのように投影される。したがって、重複範囲OLa
においてカメラ4,5の画像の画素データをブレンドし
た場合、合成画像上、ポールP3は、その全体は鮮明に
は表示されず、鮮明に表示されるのは、画像P3A,P
3Bが重なり合う根元部分付近のみになる。
A description will be given by taking the pole P3 in the overlapping range OLa as an example. As can be seen from the example of the camera image in FIG. 3, in the camera 4, the pole P3 is photographed so as to straddle the white lines WL1 and WL2. Therefore, when the image of the camera 4 is converted, the image of the pole P3 is projected as shown by P3A in FIG. On the other hand, in the camera 5, the pole P3 is photographed along the white line WL2. For this reason, the camera 5
When the image of FIG. 4 is converted, the image of the pole P3 is represented by P in FIG.
It is projected like 3B. Therefore, the overlapping range OLa
When the pixel data of the images of the cameras 4 and 5 are blended in the above, on the composite image, the pole P3 is not entirely displayed clearly, but the images P3A and P3 are displayed clearly.
3B is only near the root portion where the 3B overlaps.
【0031】もちろん、物体の根元部分が合成画像上に
表示されるので、合成画像を見て、物体の存在を認識し
たり、その存在位置を確認することは可能である。しか
しながら、実際の物体の形状は合成画像に鮮明には表示
されないので、利用者は、その物体がポールであること
を確実に把握することが困難である。また、合成画像を
見た運転者に、違和感を与えることも否めない。
Of course, since the root portion of the object is displayed on the composite image, it is possible to recognize the presence of the object and confirm the position of the object by looking at the composite image. However, since the shape of the actual object is not clearly displayed in the composite image, it is difficult for the user to surely grasp that the object is a pole. In addition, it is undeniable that the driver who sees the composite image feels strange.
【0032】そこで、本実施形態では、撮影範囲が重複
する複数個のカメラの当該重複範囲の画像を、ブレンド
せずに、個別に表示する例外モードを設けるものとす
る。各カメラ画像をブレンドせずに個別に表示すること
によって、当該重複範囲における物体は、2重に表示さ
れることになるものの、画像上不鮮明になることはな
く、その種類が明確に認識できる。
Therefore, in the present embodiment, an exception mode is provided in which images in the overlapping range of a plurality of cameras having overlapping shooting ranges are individually displayed without blending. By displaying each camera image individually without blending, the objects in the overlapping range will be displayed twice, but will not be unclear on the image, and the type thereof can be clearly recognized.
【0033】図5は各ペアカメラの180度視野パノラ
マ画像を示す図である。例えば車両前方を示すパノラマ
画像(カメラ0,4)では、その画像の両端に車両前方
両角に置かれたポールP1,P3が映っていることか
ら、車前端から前方にほぼ180度の視野が得られてい
ることが分かる。車両後方、左方および右方画像も同様
である。すなわち、車両の周囲は、図4に示す4枚の部
分画像としてのパノラマ画像のいずれかに若しくは重複
して、くまなく撮影されている。
FIG. 5 is a diagram showing a 180-degree field-of-view panoramic image of each paired camera. For example, in a panoramic image (cameras 0 and 4) showing the front of the vehicle, the poles P1 and P3 placed at both front corners of the vehicle are reflected at both ends of the image, so that a field of view of approximately 180 degrees is obtained from the front end of the vehicle. You can see that it is done. The same applies to the rear, left and right images of the vehicle. That is, the surroundings of the vehicle are photographed all over or overlapping with one of the four panoramic images as the partial images shown in FIG.
【0034】本実施形態では、例外モードにおいて、図
5に示すようなパノラマ画像を個別に表示するものとす
る。図5に示すようなパノラマ画像は、図6に示すよう
に、ペアカメラの画像を円筒モデルにそれぞれ投影し、
その投影画像を投影面に対して垂直な方向から見ること
によって、得ることができる。
In this embodiment, in the exception mode, panoramic images as shown in FIG. 5 are individually displayed. The panoramic image as shown in FIG. 5 projects the image of the paired camera onto the cylindrical model as shown in FIG.
The projection image can be obtained by viewing the projection image from a direction perpendicular to the projection plane.
【0035】そして、ここでは、図5に示すようなパノ
ラマ画像を、車両と周囲との位置関係を損なわなず、そ
の位置関係を保つように、画面上に配置する。すなわ
ち、例外モードにおいて、当該車両を表す車両画像を表
示し、かつ、当該車両の前方、後方、右方および左方の
パノラマ画像を、車両画像の前、後、右および左に表示
する。また、表示の際には、図5において破線で示す矩
形領域I1〜I4の画像を切り出すものとする。領域I
1〜I4以外の部分は、車両の周囲の確認のためには不
要な部分、例えば空などが映った部分である。もちろ
ん、切り出す領域は矩形でなくてもかまわない。
Here, the panoramic image as shown in FIG. 5 is arranged on the screen so as to maintain the positional relationship between the vehicle and the surroundings without impairing the positional relationship. That is, in the exception mode, a vehicle image representing the vehicle is displayed, and panoramic images ahead, behind, right, and left of the vehicle are displayed before, after, right, and left of the vehicle image. Further, at the time of display, images of rectangular areas I1 to I4 indicated by broken lines in FIG. 5 are cut out. Region I
Portions other than 1 to I4 are portions that are unnecessary for checking the surroundings of the vehicle, for example, portions where the sky or the like is reflected. Of course, the region to be cut out need not be a rectangle.
【0036】図7は例外モードにおける各パノラマ画像
の配置の例である。図7に示す配置では、前方画像の領
域I1が四角形領域(D2,D3,D7,D6)に貼り
付けられており、同様に、後方画像の領域I2が四角形
領域(D1,D4,D8,D5)に、右方画像の領域I
3が四角形領域(D3,D4,D8,D7)に、そして
左方画像の領域I4が四角形領域(D1,D2,D6,
D5)に、それぞれ貼り付けられている。この画面表示
では、4個の重複領域OLa〜OLd全てについて、カ
メラ画像がブレンドされずに表示されている、といえ
る。
FIG. 7 shows an example of the arrangement of each panoramic image in the exception mode. In the arrangement shown in FIG. 7, the area I1 of the front image is pasted on the square area (D2, D3, D7, D6), and similarly, the area I2 of the rear image is square area (D1, D4, D8, D5). ), The region I of the right image
3 is a square area (D3, D4, D8, D7), and the area I4 of the left image is a square area (D1, D2, D6).
D5). In this screen display, it can be said that the camera images are displayed without blending in all of the four overlapping regions OLa to OLd.
【0037】図7において、線分(D1−D5),(D
2−D6),(D3−D7),(D4−D8)では、そ
こを境界として隣り合うパノラマ画像同士には連続性が
ない。ところが、各ポールP1〜P4の形状は、明確に
表示される。
In FIG. 7, the line segments (D1-D5), (D
In (2-D6), (D3-D7), and (D4-D8), there is no continuity between panoramic images adjacent to each other at the boundary. However, the shapes of the poles P1 to P4 are clearly displayed.
【0038】また、各パノラマ画像を、必要に応じて整
えてもかまわない。例えば、車両画像に対してポールが
それなりに確からしい位置に表示されるようにしたり、
車両画像に隣接する部分について車両の各部との位置関
係が整合するようにしたり、画面のサイズに合わせて変
形したりしてもよい。ただし、パノラマ画像の変形は、
これによって生じる歪みがあまり目立たない程度にとど
めておく必要がある。
Further, each panoramic image may be prepared as required. For example, make sure that the pole is displayed in a reasonably accurate position with respect to the vehicle image,
The position adjacent to the vehicle image may be matched with the position of each part of the vehicle, or may be deformed according to the size of the screen. However, the transformation of the panorama image is
It is necessary to keep the distortion caused by this inconspicuous.
【0039】図8,図9および図10は各パノラマ画像
の配置の他の例である。図8では、切り出した各領域I
1〜I4を単に縦横に拡縮して配置している。図9で
は、連続性のない境界に意図的に空白部分SPを設けて
いる。図9のように表示することによって、各パノラマ
画像の境界における画像の非連続性が一目で分かるよう
になる。
FIGS. 8, 9 and 10 show other examples of the arrangement of each panoramic image. In FIG. 8, each of the extracted regions I
1 to I4 are simply enlarged and reduced horizontally and vertically. In FIG. 9, a blank portion SP is intentionally provided at a boundary having no continuity. By displaying the image as shown in FIG. 9, the discontinuity of the image at the boundary of each panoramic image can be understood at a glance.
【0040】また、各領域I1〜I4を四角形領域に変
形する代わりに、図10に示すように、任意形状の領域
に変形してもよい。この場合は、元のパノラマ画像の画
素と変形後の画像の画素の座標の対応付けをいくつか決
めておき、それ以外の画素については、適当な補間によ
って決めるようにすればよい。例えば図10の配置で
は、図5に示す領域I4の各頂点を点D1,D2,D
6,D5にそれぞれ対応させ、領域I3の各頂点を点D
3,D4,D8,D7にそれぞれ対応させている。
Further, instead of transforming each of the regions I1 to I4 into a square region, as shown in FIG. 10, it may be transformed into a region having an arbitrary shape. In this case, some correspondence between the coordinates of the pixels of the original panoramic image and the pixels of the transformed image may be determined, and the other pixels may be determined by appropriate interpolation. For example, in the arrangement of FIG. 10, each vertex of the area I4 shown in FIG.
6 and D5, respectively, and each vertex of the area I3 is set to the point D
3, D4, D8, and D7.
【0041】なお、上記の説明では、パノラマ画像を円
筒モデルを用いて作成するものとしたが、円筒モデル以
外のモデル、例えば図11に示すようなお椀モデルを用
いて作成してもよい。また、モデルに投影した画像を見
る方向を、変更してもかまわない。また本例では、2台
のペアカメラを用いて180度の視野を得るようにした
が、魚眼レンズが付いたカメラのような、1台で180
度の視野を得られるカメラを設置してもかまわない。
In the above description, the panoramic image is created using a cylindrical model. However, the panoramic image may be created using a model other than the cylindrical model, for example, a bowl model as shown in FIG. Further, the direction in which the image projected on the model is viewed may be changed. In this example, two pairs of cameras are used to obtain a field of view of 180 degrees. However, one camera, such as a camera with a fisheye lens, has a 180-degree view.
A camera that can obtain a good degree of view may be installed.
【0042】なお、表示する画像の全ての種類に応じ
て、マッピングテーブルを設けておいてもよいし、基本
的な表示についてのみマッピングテーブルを予め設けて
おいて、適宜、マッピングテーブルを加工して画像合成
を行ってもかまわない。
A mapping table may be provided according to all types of images to be displayed, or a mapping table may be provided in advance only for basic display, and the mapping table may be appropriately processed. Image composition may be performed.
【0043】(第2の実施形態)図12は本発明の第2
の実施形態に係る監視システムの構成を示すブロック図
である。図12において、マッピングテーブル選択部4
1には、車両の運転状況を示す状態信号S1が入力され
る。マッピングテーブル選択部41は、状態信号S1が
示す車両の運転状況に応じて、適切な表示モードに応じ
たマッピングテーブルMPTをマッピングテーブル参照
部22に選択させる。図12の構成において、画像処理
部2は、例外モードのとき、各パノラマ画像のサイズ
を、状態信号S1が示す車両の走行状態に応じて適宜変
更することが可能になる。
(Second Embodiment) FIG. 12 shows a second embodiment of the present invention.
It is a block diagram showing the composition of the monitoring system concerning an embodiment. In FIG. 12, the mapping table selection unit 4
1, a state signal S1 indicating the driving state of the vehicle is input. The mapping table selection unit 41 causes the mapping table reference unit 22 to select a mapping table MPT corresponding to an appropriate display mode according to the driving condition of the vehicle indicated by the state signal S1. In the configuration of FIG. 12, the image processing unit 2 can appropriately change the size of each panoramic image according to the running state of the vehicle indicated by the state signal S1 in the exception mode.
【0044】図13は本実施形態に係る例外モードの画
面表示の一例である。同図中、(a)と(b)では、各
パノラマ画像のサイズが異なっている。図13(a)で
は車両の前後方向がより良く見えるので、例えば車両が
通常走行または高速走行しているときに表示し、一方、
図13(b)では車両周囲が満遍なく見えるので、例え
ば車両が低速走行しているときに表示する。このような
パノラマ画像のサイズの切替は、マッピングテーブルの
切替によって実現できる。
FIG. 13 is an example of a screen display in the exception mode according to the present embodiment. In the figure, the size of each panoramic image is different between (a) and (b). In FIG. 13A, since the front-rear direction of the vehicle can be seen better, for example, it is displayed when the vehicle is traveling normally or at high speed.
In FIG. 13B, since the surroundings of the vehicle can be seen evenly, it is displayed, for example, when the vehicle is running at low speed. Such switching of the size of the panoramic image can be realized by switching the mapping table.
【0045】また、合成画像を表示する通常モードと例
外モードとの切替を、状態信号S1が示す車両の走行状
態に応じて行ってもよい。例えば、車両が通常走行また
は高速走行しているときは、通常モードでその状況に応
じた仮想視点から見た合成画像を表示し、一方、車両が
低速走行しているときは、車両周囲の物体が明確に認識
できるように、例外モードで表示すればよい。
The switching between the normal mode for displaying the composite image and the exceptional mode may be performed according to the running state of the vehicle indicated by the state signal S1. For example, when the vehicle is traveling normally or at high speed, a composite image viewed from a virtual viewpoint corresponding to the situation is displayed in the normal mode, while an object around the vehicle is displayed when the vehicle is traveling at low speed. May be displayed in the exception mode so that can be clearly recognized.
【0046】もちろん、各パノラマ画像のサイズの切替
や、通常モードと例外モードとの切替は、車両の走行速
度以外の情報を利用して行ってもよい。他の情報として
は、ギア、ハンドル舵角、ウィンカー、ブレーキなどの
状態情報や、外部からのスイッチ入力などが考えられ
る。
Of course, the switching of the size of each panoramic image and the switching between the normal mode and the exception mode may be performed using information other than the traveling speed of the vehicle. Other information may include state information on gears, steering angles, turn signals, brakes, etc., and external switch inputs.
【0047】(第3の実施形態)図14は本発明の第3
の実施形態に係る監視システムの構成を示すブロック図
である。図14において、マッピングテーブル選択部4
1には、車両に設けられ、車両の周囲における物体の有
無を検出する物体検出センサ50から出力された検知信
号が入力される。マッピングテーブル選択部41は、検
知信号に応じて、適切な表示モードに応じたマッピング
テーブルMPTをマッピングテーブル参照部22に選択
させる。
(Third Embodiment) FIG. 14 shows a third embodiment of the present invention.
It is a block diagram showing the composition of the monitoring system concerning an embodiment. In FIG. 14, the mapping table selection unit 4
1, a detection signal output from an object detection sensor 50 provided in the vehicle and detecting the presence or absence of an object around the vehicle is input. The mapping table selection unit 41 causes the mapping table reference unit 22 to select a mapping table MPT corresponding to an appropriate display mode according to the detection signal.
【0048】図15は物体検出センサによる物体検知の
例を示す図である。図15では、車両には図2に示すよ
うにカメラが設置されているものとする。そして、4個
の物体検出センサ50a,50b,50c,50dが車
両の四隅に配置されており、図4に示す重複範囲OLa
〜OLdにおける物体の有無がそれぞれ検出可能になっ
ている。
FIG. 15 is a diagram showing an example of object detection by the object detection sensor. In FIG. 15, it is assumed that a camera is installed in the vehicle as shown in FIG. Four object detection sensors 50a, 50b, 50c, and 50d are arranged at the four corners of the vehicle, and the overlapping range OLa shown in FIG.
The presence / absence of an object at ~ OLd can be detected.
【0049】図15(a)のとき、車両の周囲には障害
物はなく、各物体検出センサ50a,50b,50c,
50dは何の物体も検出しない。この場合は、通常モー
ドにおいて、上方から見下ろした合成画像が表示され
る。車両が少し後退すると、図15(b)に示すよう
に、左後方の障害物(ポールPA)を、車両の左後隅に
設置された物体検出センサ50cが検知する。このと
き、マッピングテーブル選択部41は検知信号を受け
て、表示モードが例外モードに切り替わるよう、マッピ
ングテーブルの変更を指示する。
In the case of FIG. 15A, there are no obstacles around the vehicle, and each of the object detection sensors 50a, 50b, 50c,
50d does not detect any object. In this case, in the normal mode, a composite image viewed from above is displayed. When the vehicle retreats a little, as shown in FIG. 15B, an obstacle (pole PA) at the rear left is detected by the object detection sensor 50c installed at the rear left corner of the vehicle. At this time, the mapping table selection unit 41 receives the detection signal and instructs to change the mapping table so that the display mode is switched to the exception mode.
【0050】図16は本実施形態に係る例外モードにお
ける画面表示の例である。図16では、物体検出センサ
50cの設置位置に対応する重複範囲OLcに係るカメ
ラ6,7の画像が、ブレンドされずに、個別に表示され
ている。すなわち、4個の重複範囲OLa〜OLdのう
ちの1個の重複範囲OLcについて、カメラ画像をブレ
ンドせずに個別に表示している。また(a)では、画面
中央に車両周囲近傍の見下ろし画像を配置しており、
(b)では画面全体に見下ろし画像を配置し、その上に
カメラ6,7の画像を貼り付けている。
FIG. 16 shows an example of a screen display in the exception mode according to this embodiment. In FIG. 16, the images of the cameras 6 and 7 related to the overlapping range OLc corresponding to the installation position of the object detection sensor 50c are individually displayed without blending. That is, camera images are individually displayed without blending camera images in one of the four overlapping ranges OLa to OLd. In (a), a top-down image near the periphery of the vehicle is arranged at the center of the screen,
In (b), an overlooked image is arranged on the entire screen, and the images of the cameras 6 and 7 are pasted thereon.
【0051】このように本実施形態では、例外モードに
おいて、物体が検出された重複範囲についてはこれに係
るカメラ画像が個別に表示される一方、物体が検出され
なかった重複範囲については、カメラ画像をブレンドし
た合成画像をそのまま表示する。これにより、運転者
は、車両と周囲の状況との関係を的確に認識でき、か
つ、周囲に存在する物体の種類も確実に認識することが
できる。
As described above, in the present embodiment, in the exception mode, the camera image relating to the overlapping range where an object is detected is individually displayed, while the overlapping image range where no object is detected is displayed in the camera image. Is displayed as it is. Thus, the driver can accurately recognize the relationship between the vehicle and the surrounding situation, and can also reliably recognize the type of the object existing around.
【0052】なお、本実施形態では、物体検出センサ5
0が物体を検出したとき、カメラ画像をブレンドせずに
個別に表示するものとしたが、その代わりに、合成画像
上に、物体があると想定される領域を、例えば色や輝度
を変えたりグラフィックスを重ねたりして、表示しても
よい。
In this embodiment, the object detection sensor 5
When 0 detects an object, the camera image is displayed individually without blending, but instead, the area where the object is assumed to be on the composite image is changed, for example, by changing the color or brightness. Graphics may be superimposed or displayed.
【0053】なお、物体検出センサの設置位置は、本実
施形態で示したものに限られるものではなく、カメラの
設置位置に応じて、適宜定めればよい。
The installation position of the object detection sensor is not limited to the position shown in the present embodiment, but may be determined appropriately according to the installation position of the camera.
【0054】なお、上述した各実施形態において、表示
装置3は、典型的には液晶ディスプレイであるが、プラ
ズマディスプレイ等の他の表示デバイスを用いてもかま
わない。また、車両搭載型のGPS端末ディスプレイ、
いわゆるカーナビゲーションシステムのディスプレイと
共用してもかまわない。また、撮像部1に用いるカメラ
11は、典型的にはCCD,CMOSデバイス等の固体
撮像素子を有するカラーまたはモノクロのデジタルカメ
ラであるが、他の撮像デバイスを用いてもかまわない。
In each of the above embodiments, the display device 3 is typically a liquid crystal display, but other display devices such as a plasma display may be used. In addition, a vehicle-mounted GPS terminal display,
It may be shared with the display of a so-called car navigation system. In addition, the camera 11 used for the imaging unit 1 is typically a color or monochrome digital camera having a solid-state imaging device such as a CCD or a CMOS device, but other imaging devices may be used.
【0055】なお、以上の説明では、本発明に係る監視
システムは、車両に適用するものとしたが、車両以外の
移動体、例えば飛行機や船舶などであっても、同様に適
用することができる。また、移動体以外の監視対象、例
えば店舗、住居、ショールームなどにカメラを設置して
もよい。
In the above description, the monitoring system according to the present invention is applied to a vehicle. However, the monitoring system can be similarly applied to a moving object other than a vehicle, such as an airplane or a ship. . In addition, a camera may be installed in a monitoring target other than a mobile object, for example, a store, a residence, a show room, and the like.
【0056】また、複数のカメラの設置位置や台数は、
ここで示したものに限られるものではない。例えば、各
ペアカメラを、車両の四隅にそれぞれ配置してもかまわ
ない。この場合には、図5に示すような部分画像とし
て、車両の右斜め前方、左斜め前方、右斜め後方および
左斜め後方を示す画像が得られる。したがって、例外モ
ードの画面表示としては、各部分画像を、車両画像の周
囲の右斜め前、左斜め前、右斜め後および左斜め後にそ
れぞれ貼り付けるのが好ましい。
The installation positions and the number of the cameras are as follows.
It is not limited to the one shown here. For example, each paired camera may be arranged at each of the four corners of the vehicle. In this case, as the partial image as shown in FIG. 5, an image indicating the diagonally right front, the diagonally left front, the diagonally right rear, and the diagonally left rear of the vehicle is obtained. Therefore, as the screen display in the exception mode, it is preferable that the partial images are pasted diagonally to the right, diagonally to the left, diagonally to the right and diagonally to the left around the vehicle image.
【0057】また、本発明に係る画像処理部の機能は、
その全部または一部を、専用のハードウェアを用いて実
現してもかまわないし、ソフトウェアによって実現して
もかまわない。また、本発明に係る画像処理部の機能の
全部または一部をコンピュータに実行させるためのプロ
グラムを格納した記録媒体や伝送媒体を、利用すること
も可能である。例えば、コンピュータを用いた構成にお
いて、画像合成部などの各処理手段を、CPUによって
実行されるソフトウェアによって実現し、ROMまたは
RAMに格納しておいてもかまわない。
The function of the image processing unit according to the present invention is as follows.
All or a part thereof may be realized using dedicated hardware, or may be realized by software. It is also possible to use a recording medium or a transmission medium storing a program for causing a computer to execute all or a part of the functions of the image processing unit according to the present invention. For example, in a configuration using a computer, each processing unit such as an image combining unit may be realized by software executed by a CPU and stored in a ROM or a RAM.
【0058】[0058]
【発明の効果】以上のように本発明によると、例外モー
ドにおいて、撮影範囲が重複する複数個のカメラの当該
重複範囲の画像が、ブレンドされずに個別に表示される
ので、利用者は、この重複範囲に存在する物体の種類を
確実に把握することができる。
As described above, according to the present invention, in the exception mode, the images in the overlapping range of a plurality of cameras having overlapping shooting ranges are individually displayed without blending, so that the user can The type of the object existing in the overlapping range can be surely grasped.
【図面の簡単な説明】[Brief description of the drawings]
【図1】本発明の第1の実施形態に係る監視システムの
構成を示すブロック図である。
FIG. 1 is a block diagram illustrating a configuration of a monitoring system according to a first embodiment of the present invention.
【図2】カメラ配置の一例を示す図である。FIG. 2 is a diagram illustrating an example of a camera arrangement.
【図3】図2のように配置された各カメラの画像の例を
示す図である。
FIG. 3 is a diagram showing an example of an image of each camera arranged as shown in FIG. 2;
【図4】図2のように配置された各カメラの撮影範囲を
示す図である。
FIG. 4 is a diagram showing a shooting range of each camera arranged as shown in FIG. 2;
【図5】各ペアカメラのパノラマ画像を示す図である。FIG. 5 is a diagram showing a panoramic image of each paired camera.
【図6】円筒モデルを用いたパノラマ画像の生成を示す
図である。
FIG. 6 is a diagram illustrating generation of a panoramic image using a cylindrical model.
【図7】例外モードにおける各パノラマ画像の配置の例
である。
FIG. 7 is an example of an arrangement of each panoramic image in an exception mode.
【図8】例外モードにおける各パノラマ画像の配置の例
である。
FIG. 8 is an example of an arrangement of each panoramic image in an exception mode.
【図9】例外モードにおける各パノラマ画像の配置の例
である。
FIG. 9 is an example of an arrangement of each panoramic image in an exception mode.
【図10】例外モードにおける各パノラマ画像の配置の
例である。
FIG. 10 is an example of an arrangement of each panoramic image in an exception mode.
【図11】お椀モデルを用いたパノラマ画像の生成を示
す図である。
FIG. 11 is a diagram illustrating generation of a panoramic image using a bowl model.
【図12】本発明の第2の実施形態に係る監視システム
の構成を示すブロック図である。
FIG. 12 is a block diagram illustrating a configuration of a monitoring system according to a second embodiment of the present invention.
【図13】本発明の第2の実施形態に係る例外モードの
画面表示の一例である。
FIG. 13 is an example of a screen display in an exception mode according to the second embodiment of the present invention.
【図14】本発明の第3の実施形態に係る監視システム
の構成を示すブロック図である。
FIG. 14 is a block diagram illustrating a configuration of a monitoring system according to a third embodiment of the present invention.
【図15】物体検出センサによる物体検知を示す図であ
る。
FIG. 15 is a diagram showing object detection by an object detection sensor.
【図16】本発明の第3の実施形態に係る例外モードの
画面表示の一例である。
FIG. 16 is an example of a screen display in an exception mode according to the third embodiment of the present invention.
【符号の説明】[Explanation of symbols]
2 画像処理部 3 表示装置 11 カメラ 50,50a〜50b 物体検出センサ 2 Image processing unit 3 Display device 11 Camera 50, 50a to 50b Object detection sensor
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) B60R 21/00 621 B60R 21/00 621N 621P 622 622F 622J 622K 622L 622N 622Q 622T 624 624C 624E 1/00 1/00 A 1/08 1/08 B C H04N 7/18 H04N 7/18 J V (72)発明者 石井 浩史 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 登 一生 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 森村 淳 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Fターム(参考) 5C054 AA01 AA05 CA04 CC03 CE11 CH01 EA01 EA05 FA00 FE11 HA26 ──────────────────────────────────────────────────続 き Continuation of the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) B60R 21/00 621 B60R 21/00 621N 621P 622 622F 622J 622K 622L 622N 622Q 622T 624 624C 624E 1/00 1 / 00 A 1/08 1/08 BC H04N 7/18 H04N 7/18 JV (72) Inventor Hiroshi Ishii 1006 Odakadoma, Kadoma City, Osaka Prefecture Matsushita Electric Industrial Co., Ltd. (72) Inventor Issei Noboru Osaka 1006, Kadoma, Kadoma Matsushita Electric Industrial Co., Ltd.

Claims (6)

    【特許請求の範囲】[Claims]
  1. 【請求項1】 車両の周囲を撮影する複数のカメラと、 前記各カメラの撮影画像を入力とし、これらのカメラ画
    像から、仮想視点から見た合成画像を生成し、表示装置
    に表示させる画像処理部とを備え、 前記画像処理部は、 撮影範囲が重複する複数個のカメラの,当該重複範囲の
    少なくとも一部の画像を、ブレンドせずに個別に表示す
    る例外モードを有していることを特徴とする監視システ
    ム。
    1. A plurality of cameras for photographing the periphery of a vehicle, and image processing in which a photographed image of each camera is input, a synthetic image viewed from a virtual viewpoint is generated from these camera images, and displayed on a display device. Wherein the image processing unit has an exceptional mode of individually displaying, without blending, at least a part of the images of the plurality of cameras having overlapping shooting ranges without blending. Characteristic monitoring system.
  2. 【請求項2】 請求項1記載の監視システムにおいて、 前記画像処理部は、 合成画像を表示する通常モードと、例外モードとを、当
    該車両の走行状態に応じて、切り替えることを特徴とす
    る監視システム。
    2. The monitoring system according to claim 1, wherein the image processing unit switches between a normal mode for displaying a composite image and an exceptional mode according to a traveling state of the vehicle. system.
  3. 【請求項3】 請求項1記載の監視システムにおいて、 前記画像処理部は、例外モードにおいて、 当該車両を表す車両画像を表示し、かつ、当該車両の周
    囲の状況を示す複数の部分画像を、その位置関係を保つ
    ように、表示することを特徴とする監視システム。
    3. The monitoring system according to claim 1, wherein the image processing unit displays a vehicle image representing the vehicle in an exceptional mode and displays a plurality of partial images indicating a situation around the vehicle. A surveillance system that displays information so as to maintain the positional relationship.
  4. 【請求項4】 請求項3記載の監視システムにおいて、 前記画像処理部は、 前記複数の部分画像の少なくともいずれかのサイズを、
    当該車両の走行状態に応じて、切り替えることを特徴と
    する監視システム。
    4. The monitoring system according to claim 3, wherein the image processing unit determines a size of at least one of the plurality of partial images,
    A monitoring system that switches according to the running state of the vehicle.
  5. 【請求項5】 請求項3記載の監視システムにおいて、 前記複数の部分画像は、当該車両の前方の画像、後方の
    画像、右方の画像および左方の画像であることを特徴と
    する監視システム。
    5. The monitoring system according to claim 3, wherein the plurality of partial images are a front image, a rear image, a right image, and a left image of the vehicle. .
  6. 【請求項6】 請求項1記載の監視システムにおいて、 前記車両は、当該重複範囲における物体の有無を検出す
    る物体検出センサを備えており、 前記画像処理部は、 前記物体検出センサが物体を検出したとき、通常モード
    から例外モードに切り替え、当該重複範囲のカメラ画像
    をブレンドせずに個別に表示することを特徴とする監視
    システム。
    6. The monitoring system according to claim 1, wherein the vehicle includes an object detection sensor that detects the presence or absence of an object in the overlapping range, and wherein the image processing unit detects the object by the object detection sensor. A surveillance system characterized by switching from a normal mode to an exceptional mode and individually displaying camera images in the overlapping range without blending.
JP2000201942A 2000-07-04 2000-07-04 Monitoring system Pending JP2002019556A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000201942A JP2002019556A (en) 2000-07-04 2000-07-04 Monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000201942A JP2002019556A (en) 2000-07-04 2000-07-04 Monitoring system

Publications (1)

Publication Number Publication Date
JP2002019556A true JP2002019556A (en) 2002-01-23

Family

ID=18699540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000201942A Pending JP2002019556A (en) 2000-07-04 2000-07-04 Monitoring system

Country Status (1)

Country Link
JP (1) JP2002019556A (en)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002166802A (en) * 2000-11-30 2002-06-11 Toyota Motor Corp Device for monitoring around vehicle
JP2005324593A (en) * 2004-05-12 2005-11-24 Alpine Electronics Inc Top view image generating device and top view image display method
WO2006095689A1 (en) * 2005-03-11 2006-09-14 Pioneer Corporation Drive assistance device, drive assistance method, and drive assistance program
JP2006253872A (en) * 2005-03-09 2006-09-21 Toshiba Corp Apparatus and method for displaying vehicle perimeter image
WO2006100884A1 (en) * 2005-03-18 2006-09-28 Pioneer Corporation Video display device, video display method, video display program, and computer-readable recording medium having the program recorded thereon
JP2006321419A (en) * 2005-05-20 2006-11-30 Nissan Motor Co Ltd Image display device and image display method
JP2006341641A (en) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd Image display apparatus and image display method
JP2007104373A (en) * 2005-10-05 2007-04-19 Alpine Electronics Inc On-vehicle image displaying device
JP2007235529A (en) * 2006-03-01 2007-09-13 Nissan Motor Co Ltd Vehicle surroundings monitoring system and image display method
JP2009100095A (en) * 2007-10-15 2009-05-07 Alpine Electronics Inc Image processing apparatus and image processing method
KR101000438B1 (en) 2009-02-27 2010-12-13 기아자동차주식회사 Overlooking display apparatus around vehicles and method thereof
WO2011118260A1 (en) * 2010-03-26 2011-09-29 アイシン精機株式会社 Vehicle periphery monitoring device
WO2011118261A1 (en) * 2010-03-26 2011-09-29 アイシン精機株式会社 Vehicle periphery monitoring device
JP2011251681A (en) * 2011-08-01 2011-12-15 Nissan Motor Co Ltd Image display device and image display method
US8134595B2 (en) 2006-06-02 2012-03-13 Nissan Motor Co., Ltd. Image processing system and method with high resolution view-point conversion images
WO2012043522A1 (en) * 2010-09-29 2012-04-05 日立建機株式会社 Perimeter surveillance device for work machine
EP2442549A1 (en) 2010-10-14 2012-04-18 Sony Corporation Image capturing device, system and method
EP2442550A1 (en) 2010-10-14 2012-04-18 Sony Corporation Image capturing device, system and method
US8330816B2 (en) 2007-02-21 2012-12-11 Alpine Electronics, Inc. Image processing device
WO2013015130A1 (en) * 2011-07-26 2013-01-31 アイシン精機株式会社 Vehicle surroundings monitoring system
US8503729B2 (en) 2011-02-24 2013-08-06 Fujitsu Semiconductor Limited Image processing apparatus, image processing system, and image processing method
US8717196B2 (en) 2009-02-03 2014-05-06 Denso Corporation Display apparatus for vehicle
JP2014123955A (en) * 2014-01-17 2014-07-03 Sumitomo Heavy Ind Ltd Shovel
JP2014183499A (en) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd Periphery monitoring apparatus for working machine
US8872919B2 (en) 2005-02-24 2014-10-28 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
US9088702B2 (en) 2010-08-27 2015-07-21 Sony Corporation Imaging device, imaging system, and imaging method
WO2015169316A3 (en) * 2014-05-08 2015-12-30 Conti Temic Microelectronic Gmbh Method and device for the distortion-free display of an area surrounding a vehicle
US9432634B2 (en) 2010-11-16 2016-08-30 Sumitomo Heavy Industries, Ltd. Image generation device and operation support system
WO2016157667A1 (en) * 2015-03-27 2016-10-06 パナソニックIpマネジメント株式会社 Image processing device, operation supporting system and image processing method
US9467679B2 (en) 2011-09-27 2016-10-11 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
CN107079089A (en) * 2015-03-31 2017-08-18 株式会社小松制作所 The periphery monitoring apparatus of Work machine

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002166802A (en) * 2000-11-30 2002-06-11 Toyota Motor Corp Device for monitoring around vehicle
JP4526868B2 (en) * 2004-05-12 2010-08-18 アルパイン株式会社 Top-view image generation apparatus and top-view image display method
JP2005324593A (en) * 2004-05-12 2005-11-24 Alpine Electronics Inc Top view image generating device and top view image display method
US8872919B2 (en) 2005-02-24 2014-10-28 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP2006253872A (en) * 2005-03-09 2006-09-21 Toshiba Corp Apparatus and method for displaying vehicle perimeter image
WO2006095689A1 (en) * 2005-03-11 2006-09-14 Pioneer Corporation Drive assistance device, drive assistance method, and drive assistance program
WO2006100884A1 (en) * 2005-03-18 2006-09-28 Pioneer Corporation Video display device, video display method, video display program, and computer-readable recording medium having the program recorded thereon
JP2006321419A (en) * 2005-05-20 2006-11-30 Nissan Motor Co Ltd Image display device and image display method
CN101489117B (en) * 2005-06-07 2015-04-29 日产自动车株式会社 Apparatus and method for displaying images
JP2006341641A (en) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd Image display apparatus and image display method
CN101489117A (en) * 2005-06-07 2009-07-22 日产自动车株式会社 Apparatus and method for displaying images
JP2007104373A (en) * 2005-10-05 2007-04-19 Alpine Electronics Inc On-vehicle image displaying device
JP2007235529A (en) * 2006-03-01 2007-09-13 Nissan Motor Co Ltd Vehicle surroundings monitoring system and image display method
US8134595B2 (en) 2006-06-02 2012-03-13 Nissan Motor Co., Ltd. Image processing system and method with high resolution view-point conversion images
US8330816B2 (en) 2007-02-21 2012-12-11 Alpine Electronics, Inc. Image processing device
JP2009100095A (en) * 2007-10-15 2009-05-07 Alpine Electronics Inc Image processing apparatus and image processing method
US8717196B2 (en) 2009-02-03 2014-05-06 Denso Corporation Display apparatus for vehicle
KR101000438B1 (en) 2009-02-27 2010-12-13 기아자동차주식회사 Overlooking display apparatus around vehicles and method thereof
WO2011118261A1 (en) * 2010-03-26 2011-09-29 アイシン精機株式会社 Vehicle periphery monitoring device
US9919650B2 (en) 2010-03-26 2018-03-20 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device
US9862319B2 (en) 2010-03-26 2018-01-09 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device using cameras and an emphasized frame
US9308863B2 (en) 2010-03-26 2016-04-12 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device
WO2011118260A1 (en) * 2010-03-26 2011-09-29 アイシン精機株式会社 Vehicle periphery monitoring device
CN102804763A (en) * 2010-03-26 2012-11-28 爱信精机株式会社 Vehicle periphery monitoring device
JP2011205514A (en) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd Vehicle periphery monitoring device
JP2011205513A (en) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd Vehicle periphery monitoring device
KR101446897B1 (en) 2010-03-26 2014-10-06 아이신세이끼가부시끼가이샤 Vehicle periphery monitoring device
US10479275B2 (en) 2010-03-26 2019-11-19 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device
CN102812704A (en) * 2010-03-26 2012-12-05 爱信精机株式会社 Vehicle periphery monitoring device
US9403481B2 (en) 2010-03-26 2016-08-02 Aisin Seiki Kabushiki Kaisha Vehicle peripheral observation device using multiple cameras and enlarging an image
US10462372B2 (en) 2010-08-27 2019-10-29 Sony Corporation Imaging device, imaging system, and imaging method
US10110820B2 (en) 2010-08-27 2018-10-23 Sony Corporation Imaging device, imaging system, and imaging method
EP3654632A1 (en) 2010-08-27 2020-05-20 Sony Corporation Imaging device, imaging system, and imaging method
US9088702B2 (en) 2010-08-27 2015-07-21 Sony Corporation Imaging device, imaging system, and imaging method
WO2012043522A1 (en) * 2010-09-29 2012-04-05 日立建機株式会社 Perimeter surveillance device for work machine
JP2012074929A (en) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd Circumference monitor of work machine
US9215376B2 (en) 2010-10-14 2015-12-15 Sony Corporation Capturing device, capturing system and capturing method
US9643539B2 (en) 2010-10-14 2017-05-09 Sony Corporation Capturing device, capturing system and capturing method
US8970735B2 (en) 2010-10-14 2015-03-03 Sony Corporation Capturing device, capturing system, and capturing method
US8947561B2 (en) 2010-10-14 2015-02-03 Sony Corporation Capturing device, capturing system and capturing method
US10178339B2 (en) 2010-10-14 2019-01-08 Sony Corporation Capturing device, capturing system and capturing method
EP2442549A1 (en) 2010-10-14 2012-04-18 Sony Corporation Image capturing device, system and method
EP2442550A1 (en) 2010-10-14 2012-04-18 Sony Corporation Image capturing device, system and method
US9485429B2 (en) 2010-10-14 2016-11-01 Sony Corporation Capturing device, capturing system and capturing method
US10142580B2 (en) 2010-10-14 2018-11-27 Sony Corporation Capturing device, capturing system and capturing method
US9432634B2 (en) 2010-11-16 2016-08-30 Sumitomo Heavy Industries, Ltd. Image generation device and operation support system
US8503729B2 (en) 2011-02-24 2013-08-06 Fujitsu Semiconductor Limited Image processing apparatus, image processing system, and image processing method
WO2013015130A1 (en) * 2011-07-26 2013-01-31 アイシン精機株式会社 Vehicle surroundings monitoring system
JP2013030833A (en) * 2011-07-26 2013-02-07 Aisin Seiki Co Ltd Vehicle periphery monitoring system
US9050931B2 (en) 2011-07-26 2015-06-09 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring system
JP2011251681A (en) * 2011-08-01 2011-12-15 Nissan Motor Co Ltd Image display device and image display method
US9467679B2 (en) 2011-09-27 2016-10-11 Aisin Seiki Kabushiki Kaisha Vehicle periphery monitoring device
JP2014183499A (en) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd Periphery monitoring apparatus for working machine
JP2014123955A (en) * 2014-01-17 2014-07-03 Sumitomo Heavy Ind Ltd Shovel
WO2015169316A3 (en) * 2014-05-08 2015-12-30 Conti Temic Microelectronic Gmbh Method and device for the distortion-free display of an area surrounding a vehicle
EP3140813B1 (en) * 2014-05-08 2019-07-10 Conti Temic microelectronic GmbH Method and device for the distortion-free display of an area surrounding a vehicle
CN106462996A (en) * 2014-05-08 2017-02-22 康蒂-特米克微电子有限公司 Method and device for distortion-free display of area surrounding vehicle
CN106462996B (en) * 2014-05-08 2020-06-09 康蒂-特米克微电子有限公司 Method and device for displaying vehicle surrounding environment without distortion
WO2016157667A1 (en) * 2015-03-27 2016-10-06 パナソニックIpマネジメント株式会社 Image processing device, operation supporting system and image processing method
CN107079089A (en) * 2015-03-31 2017-08-18 株式会社小松制作所 The periphery monitoring apparatus of Work machine

Similar Documents

Publication Publication Date Title
US10479275B2 (en) Vehicle peripheral observation device
US9862319B2 (en) Vehicle peripheral observation device using cameras and an emphasized frame
US20210146838A1 (en) Method for displaying reduced distortion video images via a vehicular vision system
JP2019503007A (en) 3D rendering for surround views using predefined viewpoint lookup tables
US10793067B2 (en) Imaging system for vehicle
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
US8780202B2 (en) Image generation apparatus
US8305204B2 (en) Vehicle surrounding confirmation apparatus
EP2045133B1 (en) Vehicle periphery monitoring apparatus and image displaying method
US8854466B2 (en) Rearward view assistance apparatus displaying cropped vehicle rearward image
US9098928B2 (en) Image-processing system and image-processing method
US7266219B2 (en) Monitoring system
EP2724896B1 (en) Parking assistance device
US8446268B2 (en) System for displaying views of vehicle and its surroundings
US8330816B2 (en) Image processing device
US8009868B2 (en) Method of processing images photographed by plural cameras and apparatus for the same
JP3297040B1 (en) Image composing and displaying method of vehicle-mounted camera and apparatus therefor
US7605856B2 (en) Camera unit and apparatus for monitoring vehicle periphery
JP4389173B2 (en) Vehicle display device
JP4744823B2 (en) Perimeter monitoring apparatus and overhead image display method
US8212872B2 (en) Transformable privacy mask for video camera images
US7728879B2 (en) Image processor and visual field support device
US6917693B1 (en) Vehicle data acquisition and display assembly
EP2192552B1 (en) Image processing apparatus, image processing method, and recording medium
US7161616B1 (en) Image processing device and monitoring system