JP2009147627A - In-vehicle image processing apparatus and in-vehicle image display device - Google Patents

In-vehicle image processing apparatus and in-vehicle image display device Download PDF

Info

Publication number
JP2009147627A
JP2009147627A JP2007322236A JP2007322236A JP2009147627A JP 2009147627 A JP2009147627 A JP 2009147627A JP 2007322236 A JP2007322236 A JP 2007322236A JP 2007322236 A JP2007322236 A JP 2007322236A JP 2009147627 A JP2009147627 A JP 2009147627A
Authority
JP
Japan
Prior art keywords
image
vehicle
energy
speed
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007322236A
Other languages
Japanese (ja)
Other versions
JP5115171B2 (en
Inventor
Naoteru Kawasaki
直輝 川崎
Yukimasa Tamatsu
玉津  幸政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2007322236A priority Critical patent/JP5115171B2/en
Publication of JP2009147627A publication Critical patent/JP2009147627A/en
Application granted granted Critical
Publication of JP5115171B2 publication Critical patent/JP5115171B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide an in-vehicle image processing apparatus capable of emphasizing an important body in an image in a reduced image and obtaining a less-distorted reduced image, and an in-vehicle image display device that displays the image. <P>SOLUTION: The in-vehicle image processing apparatus acquires images of rear parts of both sides of this vehicle from side rear cameras (S100), acquires the position, direction and speed of the other vehicle from a millimeter wave radar (S105), and acquires the speed of this vehicle from a vehicle speed sensor (S110). When it is determined from the acquired speed of the other vehicle and the speed of this vehicle that the other vehicle is approaching this vehicle and the absolute speed of the other vehicle is equal to or larger than a predetermined value, image energy of the part of the other vehicle is set higher than image energy of a part other than the other vehicle (S115). Then Seam obtained connecting parts where image energy in the image is equal to or smaller than a predetermined value is calculated, and the Seam is deleted to generate the reduced image (S120). Then the obtained reduced image is displayed on a display device (S125). <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、車両周辺の重要部分を見やすさを保った状態で画像を縮小して表示するための車載用画像処理装置及び車載用画像表示装置に関する。   The present invention relates to an in-vehicle image processing apparatus and an in-vehicle image display apparatus for reducing and displaying an image while maintaining visibility of important parts around a vehicle.

従来、車載カメラを用い、車両の側後方の画像を取得し、オプティカルフローなどで検出した相対速度を持つ物を強調表示して、運転者がより理解しやすい画像を生成することで車両運転時の安全向上を狙っている技術がある(例えば、特許文献1参照)。   Conventionally, when driving a vehicle, an on-board camera is used to acquire an image of the rear side of the vehicle, highlight an object with a relative speed detected by optical flow, etc., and generate an image that is easier for the driver to understand There is a technology that aims to improve safety (see, for example, Patent Document 1).

一方で、画像の重要度を解析して重要度の高い箇所を切り貼りすることで重要箇所を残したまま画像を縮小する技術もある(例えば、特許文献2参照)。さらに、これを改良し、重要度を示す画像エネルギ画像をまず算出し、それに対してSeamと呼ばれる重要度が低い箇所を通って画像エネルギ画像を縦断するラインを算出し、その箇所を削除していく方法が提案されている(例えば、非特許文献1参照)。   On the other hand, there is also a technique for reducing the image while leaving the important part by analyzing the importance of the image and cutting and pasting the part having the high importance (see, for example, Patent Document 2). Furthermore, to improve this, first calculate the image energy image showing the importance, and calculate the line that cuts through the image energy image through the less important part called Seam, and delete that part Have been proposed (see, for example, Non-Patent Document 1).

これらの縮小画像生成技術により、小さなモニタに効率よく周辺状況を表示することができる。これを車載カメラに適用した場合、例えば側後方カメラにおいては、追越し車両がより拡大強調されることになり、一目で車線変更の可否が分かりやすい。
特開2003−274393 US2007/0025637 ”Seam Carving for Content-Aware Image Resizing”, S.Avidan (Mitsubishi Electric Research Labs), SIGGRAPH’07
With these reduced image generation techniques, the surrounding situation can be efficiently displayed on a small monitor. When this is applied to an in-vehicle camera, for example, in the side rear camera, the overtaking vehicle is more emphasized and it is easy to understand whether or not the lane can be changed at a glance.
JP2003-274393 US2007 / 0025637 “Seam Carving for Content-Aware Image Resizing”, S. Avidan (Mitsubishi Electric Research Labs), SIGGRAPH'07

しかし、非特許文献1に記載されている手法では、画像エネルギ画像の算出方法によっては、重要物体が十分に強調されなかったり、縮小画像がひずんだりするという問題がある。例えば、一般的な手法として、画像エネルギ画像にエッジ画像を用いた場合、路側構造物は強いエッジを持つ場合が多く、車線変更の可否を判定するには余り重要でないにもかかわらず重要度が高くなる。したがって、真に重要な周辺車両の重要度が相対的に低くなり、十分車両が強調されない。また、車両の凹凸が少ない、いわゆるのっぺりした形状の車両も同様に画像エネルギが相対的に低くなり、車両の形状がひずむ。   However, the method described in Non-Patent Document 1 has a problem that an important object is not sufficiently emphasized or a reduced image is distorted depending on a method of calculating an image energy image. For example, as a general method, when an edge image is used as an image energy image, roadside structures often have strong edges, which are not so important for determining whether or not to change lanes. Get higher. Therefore, the importance of the truly important surrounding vehicles becomes relatively low, and the vehicles are not sufficiently emphasized. In addition, a so-called “smooth-shaped” vehicle having less unevenness of the vehicle also has a relatively low image energy, and the shape of the vehicle is distorted.

さらに、車両が非常に多い状況や路面に模様がある状況などの画像全体が複雑すぎる場合も、削除にふさわしい箇所がないにも拘わらず削除処理がされてしまうので、車両がひずんでしまう。   Furthermore, even when the entire image is too complicated, such as when there are a large number of vehicles or when there is a pattern on the road surface, the deletion process is performed even though there is no portion suitable for deletion, so that the vehicle is distorted.

本発明は、こうした問題に鑑みなされたもので、画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができる車載用画像処理装置及びその画像を表示する車載用画像表示装置を提供することを目的とする。   The present invention has been made in view of such a problem, and displays an in-vehicle image processing apparatus capable of enhancing an important object in an image in a reduced image and obtaining a reduced image with less distortion, and the image. An object is to provide an in-vehicle image display device.

かかる問題を解決するためになされた請求項1に記載の車載用画像処理装置(5:この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。)は、画像取得手段(10)、速度検出手段(20)、画像エネルギ算出手段(30)及び画像縮小手段(30)を備えている。   The in-vehicle image processing apparatus according to claim 1, which has been made to solve such a problem (5: In this section, in order to facilitate understanding of the invention, the “best mode for carrying out the invention is described as necessary. The reference numeral used in the “form” column is attached but does not mean that the scope of claims is limited by the reference numeral). The image acquisition means (10), the speed detection means (20), the image energy calculation means ( 30) and image reduction means (30).

画像取得手段(10)は、自車両周辺の画像を取得するためのものであり、速度検出手段(20)は、画像中の物体を抽出し、抽出した物体の速度を検出する。また、画像エネルギ算出手段(30)は、画像取得手段(10)で取得した画像中の画像エネルギを算出する。   The image acquisition means (10) is for acquiring an image around the host vehicle, and the speed detection means (20) extracts an object in the image and detects the speed of the extracted object. The image energy calculating means (30) calculates the image energy in the image acquired by the image acquiring means (10).

画像縮小手段(30)は、画像エネルギ算出手段(30)で算出した画像中の画像エネルギが所定の値より低い領域を抽出して削除することにより画像を縮小する。さらに、画像エネルギ算出手段(30)は、速度検出手段(20)で検出した物体の速度に応じて物体の占める画像領域の画像エネルギを変化させる。   The image reduction means (30) reduces the image by extracting and deleting a region having an image energy lower than a predetermined value in the image calculated by the image energy calculation means (30). Further, the image energy calculating means (30) changes the image energy of the image area occupied by the object according to the speed of the object detected by the speed detecting means (20).

以上のような車載用画像処理装置(5)は、車両走行中に、画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができる画像処理装置となる。以下説明する。   The on-vehicle image processing apparatus (5) as described above is an image processing apparatus that can emphasize important objects in an image in a reduced image and obtain a reduced image with less distortion while the vehicle is traveling. . This will be described below.

まず、「画像中の画像エネルギ」について説明する。これは、画像中の重要な箇所がどこかを示す指標で、画像中の各位置ごとに算出され、画像全体のエネルギ分布を作成した物をエネルギ画像と呼ぶ。   First, “image energy in an image” will be described. This is an index indicating where an important part in an image is. An object that is calculated for each position in the image and creates an energy distribution of the entire image is called an energy image.

この算出方法、すなわちエネルギの定義の方法はさまざまな方法が考えられ、例えばエッジ画像、すなわち線の粗密が色の変化が大きい箇所と考えることが出来る。例えば、晴天の空など重要でないと思われる箇所では、線の粗密や画面の色の変化がほとんどできない。一方、都市の道路を撮影した画像で重要と思われる箇所は、道路面に車線などのペイントが施されていたり、道路上には車両が多数存在していたり、道路脇に建物が立ち並んでいたり、また、道路脇や建物には広告用の看板などが立ち並んでいたりするので、線の粗密や色の変化が大きい。   Various methods can be considered for this calculation method, that is, a method for defining energy. For example, an edge image, that is, a line density, can be considered as a place where a color change is large. For example, in places that are not important, such as clear sky, line density and screen color change can hardly be made. On the other hand, in places that are considered important in images of urban roads, lanes and other paint are applied to the road surface, there are many vehicles on the road, and buildings are lined up on the side of the road. In addition, because there are advertising billboards lined up on the side of the road and buildings, the line density and color change are large.

このように、エッジ抽出処理を画像中の画像エネルギとした場合、エッジが強い部分が「画像中の画像エネルギが高い」となる一方で、模様が無い重要なもの、例えばのっぺりとしたデザインの車両は重要でないとされてしまうことになる。このため、車両が削除されたり、車両内部ののっぺりした箇所が削除され車両の見た目がひずんだりする。そのため、この画像エネルギの算出方法は非常に重要である。   As described above, when the edge extraction processing is set to the image energy in the image, the portion with a strong edge becomes “high image energy in the image”, while the important thing without a pattern, for example, a vehicle with a soft design. Will be considered unimportant. For this reason, the vehicle is deleted, or the part inside the vehicle is deleted and the appearance of the vehicle is distorted. Therefore, this image energy calculation method is very important.

このように定義した「画像中の画像エネルギ」によれば、請求項1に記載の車載用画像処理装置(5)では、画像エネルギ算出手段(30)で画像中の画像エネルギが算出され、算出された画像エネルギが所定の値より低い部分が削除されて画像が縮小される。   According to the “image energy in the image” defined as described above, in the in-vehicle image processing device (5) according to claim 1, the image energy calculation means (30) calculates the image energy in the image and calculates A portion where the image energy is lower than a predetermined value is deleted to reduce the image.

その際、速度検出手段(20)で画像中の物体の速度を検出し、検出した物体の速度に応じて物体の占める画像領域の画像エネルギを変化させるようになっている。したがって、画像中で速度を有する物体、例えば、他車両や自転車あるいは人などについては、その部分の画像エネルギを高くして画像中から削除されないようにしたり、縮小画像中で強調したりするようなことができる。   At that time, the speed detection means (20) detects the speed of the object in the image, and changes the image energy of the image area occupied by the object according to the detected speed of the object. Therefore, for objects having speed in the image, such as other vehicles, bicycles, or people, the image energy of the part is increased so as not to be deleted from the image or emphasized in the reduced image. be able to.

つまり、請求項1に記載の車両用画像装置(5)によれば、画像中の重要な物体を縮小画像中で強調し、かつ、ひずみの少ない縮小画像を得ることができるのである。
ここで、画像中で速度を有する物体は、他車両や自転車あるいは人のように、運転者が自車両を運転する際に危険性があると認識すべきものであるので、画像縮小の際、それらが削除されないで画像中に残っていたり、縮小画像中で強調されたりすれば、運転者は、それらを画像中から容易に認識することができるので運転時の安全性を向上することができる。
That is, according to the vehicular image device (5) of the first aspect, it is possible to emphasize important objects in the image in the reduced image and obtain a reduced image with less distortion.
Here, objects having speed in the image, such as other vehicles, bicycles or people, should be recognized as dangerous when the driver drives the own vehicle. If they remain in the image without being deleted or are emphasized in the reduced image, the driver can easily recognize them from the image, so that safety during driving can be improved.

ところで、静止画像の縮小とは異なり、車載用画像処理装置(5)においては、自車両に対し衝突などの危険性のあるものは、縮小画像中で強調した状態で画像の縮小を行うことが重要である。   By the way, unlike the reduction of a still image, in the in-vehicle image processing device (5), if there is a danger such as a collision with the own vehicle, the image may be reduced in an emphasized state in the reduced image. is important.

そこで、請求項2に記載のように、速度検出手段(20)を自車両に対する画像中の物体の相対速度を検出可能に構成し、画像エネルギ算出手段(30)は、速度検出手段(20)で検出した画像中の物体の自車両に対する相対速度から物体と自車両とが接近しているか否かを判定し、物体と自車両とが接近していると判定した場合には、物体の占める画像領域の画像エネルギを物体の占める画像領域以外の領域の画像エネルギよりも高く設定するようにするとよい。   Therefore, as described in claim 2, the speed detection means (20) is configured to be able to detect the relative speed of the object in the image with respect to the host vehicle, and the image energy calculation means (30) is the speed detection means (20). It is determined whether or not the object and the host vehicle are approaching from the relative speed of the object in the image detected in step 1 to the host vehicle, and if it is determined that the object and the host vehicle are approaching, the object occupies The image energy of the image area may be set higher than the image energy of the area other than the image area occupied by the object.

このようにすると、自車両に接近してくる物体の占める画像領域の画像エネルギが高く設定されるので、他の部分が縮小されても、接近してくる物体は縮小されることがない。つまり、自車両に接近してくる物体は縮小画像中で強調されて表示されることになる。換言すれば、自車両に衝突する危険性のある物体が縮小画像中で強調されることになるので、運転時の安全性を向上させることができる。   In this way, since the image energy of the image area occupied by the object approaching the host vehicle is set high, the approaching object is not reduced even if the other part is reduced. That is, an object approaching the host vehicle is displayed with being emphasized in the reduced image. In other words, an object that has a risk of colliding with the host vehicle is emphasized in the reduced image, so that safety during driving can be improved.

また、物体と自車両の相対速度が大きくなくとも、物体の絶対速度が速い場合には、その物体は自車両にとって危険である可能性が高い。例えば、物体が他車両であり、他車両と自車両とが高速で併走しているような場合である。   Even if the relative speed between the object and the host vehicle is not large, if the absolute speed of the object is high, the object is likely to be dangerous for the host vehicle. For example, this is a case where the object is another vehicle and the other vehicle and the host vehicle are running at high speed.

そこで、請求項3に記載のように、速度検出手段(20,40)を画像中の物体の絶対速度を検出可能に構成し、画像エネルギ算出手段(30)は、速度検出手段(20,40)で検出した画像中の物体の絶対速度が所定の値よりも大きい場合に、物体の占める画像領域の画像エネルギを物体の占める画像領域以外の領域の画像エネルギよりも高く設定するようにするとよい。   Therefore, as described in claim 3, the speed detection means (20, 40) is configured to be able to detect the absolute speed of the object in the image, and the image energy calculation means (30) is configured to detect the speed detection means (20, 40). When the absolute velocity of the object in the image detected in (1) is larger than a predetermined value, the image energy of the image area occupied by the object may be set higher than the image energy of the area other than the image area occupied by the object. .

このようにすると、速度検出手段(20,40)で検出した画像中の物体の絶対速度が所定の値よりも大きい場合には、物体の占める画像領域の画像エネルギが高く設定されるので、他の部分が縮小されても、絶対速度が大きい物体は縮小されることがない。   In this case, when the absolute speed of the object in the image detected by the speed detection means (20, 40) is larger than a predetermined value, the image energy of the image area occupied by the object is set high. Even if this portion is reduced, an object having a large absolute velocity is not reduced.

つまり、絶対速度が高い物体は縮小画像中で強調されて表示されることになる。換言すれば、自車両に危険を及ぼすおそれがある物体が縮小画像中で強調されることになるので、運転時の安全性を向上させることができる。   That is, an object having a high absolute speed is displayed with being emphasized in the reduced image. In other words, since an object that may cause danger to the host vehicle is emphasized in the reduced image, safety during driving can be improved.

ところで、速度検出手段(20)には種々のものが考えられるが、請求項4に記載のように、速度検出手段(20)は、車載レーダ(20)であるとよい。つまり、レーダでは、物体の距離及び方位が計測でき、また、物体の距離及び方位の変化率あるいはドップラシフトから物体の自車両に対する相対速度が計測できる。したがって、物体の方位に相当する画像の箇所の画像エネルギをその相対速度に応じて変化させることができる。   By the way, although various things can be considered for a speed detection means (20), as described in claim 4, the speed detection means (20) may be an in-vehicle radar (20). In other words, the radar can measure the distance and direction of the object, and can measure the relative speed of the object with respect to the host vehicle from the rate of change of the distance and direction of the object or the Doppler shift. Therefore, the image energy at the location of the image corresponding to the azimuth of the object can be changed according to the relative speed.

また、請求項5に記載のように、速度検出手段(20)は、画像取得手段(10)により取得した画像を画像処理することにより物体の速度を検出するようにしてもよい。
このようにすると、画像取得手段(10)として、例えば、ステレオカメラ、単眼などを用い、それらによる移動ステレオ視、オプティカルフロー、画像の拡大率計算、物体トラッキングなど、カメラで取得した画像から画像処理により物体を抽出し、抽出した物体の位置の変化率から物体の速度を検出することができる。
In addition, as described in claim 5, the speed detection means (20) may detect the speed of the object by performing image processing on the image acquired by the image acquisition means (10).
In this case, for example, a stereo camera or a single eye is used as the image acquisition means (10), and image processing is performed from the image acquired by the camera, such as moving stereo vision, optical flow, image enlargement ratio calculation, object tracking, and the like. The object can be extracted by the above, and the speed of the object can be detected from the rate of change of the position of the extracted object.

請求項6に記載の画像表示装置(1)は、車載用の表示手段(50)と、請求項1〜請求項5の何れかに記載の車載用画像処理装置(5)と、車載用画像処理装置(5)で縮小した画像を表示手段(50)で表示する表示制御手段(30)を備えたことを特徴とする。   An image display device (1) according to claim 6 includes an in-vehicle display means (50), an in-vehicle image processing device (5) according to any one of claims 1 to 5, and an in-vehicle image. A display control means (30) for displaying an image reduced by the processing device (5) on the display means (50) is provided.

このような車載用画像表示装置(1)によれば、請求項1〜請求項5の何れかに記載の車載用画像処理装置の特徴を有する縮小画像を表示することができる車載用画像表示装置(1)とすることができる。   According to such an in-vehicle image display device (1), the in-vehicle image display device capable of displaying a reduced image having the characteristics of the in-vehicle image processing device according to any one of claims 1 to 5. (1).

ところで、表示手段(50)を自車両に装着する際、装着する位置や表示の方向には種々の方法が考えられる。例えば、車室内の前部に装着されているカーナビゲーション装置の表示画面を表示手段(50)として用い、車両内に対して表示を行うようにしてもよいが、請求項7に記載のように、自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられるようにしてもよい。   By the way, when the display means (50) is mounted on the host vehicle, various methods are conceivable for the mounting position and the display direction. For example, the display screen of the car navigation device mounted in the front part of the passenger compartment may be used as the display means (50) to display the inside of the vehicle. The driver may be attached to the rear-viewing mirror portion of the host vehicle so that the driver can visually recognize the display screen.

このようにすると、運転者は、後方確認用ミラーを介しての自車両後方確認動作と同じ動作によって、縮小画像中で強調表示された物体を視認することができるので、物体の存在を確認しやすく、ひいては運転時の安全性を向上させることができる。   In this way, the driver can visually confirm the object highlighted in the reduced image by the same operation as the own vehicle rear confirmation operation via the rear confirmation mirror. As a result, safety during driving can be improved.

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[第1実施形態]
図1は、本発明が適用された車載用画像表示装置1の概略の構成を示すブロック図である。車載用画像表示装置1は、図1に示すように、車載用画像処理装置5及び表示装置50を備えている。
Embodiments to which the present invention is applied will be described below with reference to the drawings. The embodiment of the present invention is not limited to the following embodiment, and can take various forms as long as they belong to the technical scope of the present invention.
[First Embodiment]
FIG. 1 is a block diagram showing a schematic configuration of an in-vehicle image display device 1 to which the present invention is applied. The vehicle-mounted image display device 1 includes a vehicle-mounted image processing device 5 and a display device 50 as shown in FIG.

車載用画像処理装置5は、側後方カメラ10、ミリ波レーダ20、車速センサ40及び画像処理部30を備えている。
側後方カメラ10は、図示しない自車両周辺の画像を取得するための可視光画像を取得可能な小型広角CCDカメラであり、車両の側後方の画像を取得できるように自車両のバックミラーなどに取り付けられている。
The in-vehicle image processing device 5 includes a side rear camera 10, a millimeter wave radar 20, a vehicle speed sensor 40, and an image processing unit 30.
The side rear camera 10 is a small wide-angle CCD camera that can acquire a visible light image for acquiring an image of the surroundings of the host vehicle (not shown), and can be used as a rear-view mirror of the host vehicle so that an image of the rear side of the vehicle can be acquired. It is attached.

ミリ波レーダ20は、画像中の物体(本実施形態では他車両)の相対速度を検出するためのものであり、ミリ波電波を自車両の側後方に送信できるように自車両に取り付けられている。ミリ波レーダ20は、ミリ波電波を送信し、送信した電波の反射波を受信し、受信した反射波の受信強度、受信方位及び反射波のドップラシフトから車両側後方の他車両のまでの距離と方位及び相対速度を検出する。   The millimeter wave radar 20 is for detecting the relative speed of an object in the image (in the present embodiment, another vehicle), and is attached to the host vehicle so that millimeter wave radio waves can be transmitted to the rear side of the host vehicle. Yes. The millimeter wave radar 20 transmits a millimeter wave radio wave, receives a reflected wave of the transmitted radio wave, and receives the reflected wave reception intensity, reception azimuth, and the distance from the Doppler shift of the reflected wave to the other vehicle behind the vehicle side. And detect azimuth and relative speed.

車速センサ40は、自車両の速度を検出するものであり、車軸の回転数から速度を検出するものであってもよいし、GPS車載機で自車両の現在位置を検出し、その変化量から速度を検出するものであってもよい。   The vehicle speed sensor 40 detects the speed of the host vehicle, and may detect the speed from the number of rotations of the axle, or detects the current position of the host vehicle with a GPS onboard device, and based on the amount of change. It may be one that detects speed.

画像処理部30は、図示しないCPU、ROM、RAM及びI/Oなどから構成されており、以下の(ア)〜(オ)の処理を実行する。
(ア)側後方カメラ10で取得した画像中の画像エネルギを算出する。
The image processing unit 30 includes a CPU, a ROM, a RAM, an I / O, and the like (not shown), and executes the following processes (a) to (e).
(A) The image energy in the image acquired by the side rear camera 10 is calculated.

(イ)ミリ波レーダ20で検出した画像中の他車両の自車両に対する相対速度から他車両と自車両とが接近しているか否かを判定する。そして、他車両と自車両とが接近していると判定した場合には、他車両の占める画像領域の画像エネルギを他車両の占める画像領域以外の領域の画像エネルギよりも高く設定する。   (A) It is determined whether the other vehicle is approaching from the relative speed of the other vehicle in the image detected by the millimeter wave radar 20 with respect to the own vehicle. And when it determines with the other vehicle and the own vehicle approaching, the image energy of the image area which an other vehicle occupies is set higher than the image energy of areas other than the image area which an other vehicle occupies.

(ウ)ミリ波レーダ20で検出した画像中の他車両の自車両に対する相対速度と車速センサ40で検出した自車両の速度から他車両の絶対速度を算出する。
(エ)他車両の絶対速度が所定の値よりも大きい場合に、他車両の占める画像領域の画像エネルギを他車両の占める画像領域の画像エネルギよりも高く設定する。
(C) The absolute speed of the other vehicle is calculated from the relative speed of the other vehicle in the image detected by the millimeter wave radar 20 and the speed of the own vehicle detected by the vehicle speed sensor 40.
(D) When the absolute speed of the other vehicle is larger than a predetermined value, the image energy of the image area occupied by the other vehicle is set higher than the image energy of the image area occupied by the other vehicle.

(オ)(ア)〜(エ)の処理で得られた画像エネルギが所定の値より低い領域を抽出して削除することにより画像を縮小する。
(カ)(オ)の処理で縮小した画像を表示装置50で表示させる。
(E) The image is reduced by extracting and deleting a region where the image energy obtained by the processes (a) to (d) is lower than a predetermined value.
(F) The image reduced by the process (e) is displayed on the display device 50.

表示装置50は、車載用画像処理装置5で縮小した画像を表示するものであり、液晶ディスプレイや有機ELディスプレイを有している。表示装置50は、自車両のバックミラー部分のミラーの代わりに、運転者が表示画面を視認可能となるように取り付けられている。   The display device 50 displays an image reduced by the in-vehicle image processing device 5 and includes a liquid crystal display and an organic EL display. The display device 50 is attached so that the driver can visually recognize the display screen instead of the mirror at the rearview mirror portion of the host vehicle.

(画像処理部30における処理)
次に図2〜図4に基づき画像処理部30で実行される処理について説明する。図2は、画像処理部30で実行される画像処理のメインルーチンの処理の流れを示すフローチャートであり、図3は、サブルーチンである画像エネルギ画像生成処理のフローチャートであり、図4は、サブルーチンである低画像エネルギ箇所削除処理のフローチャートである。
(Processing in the image processing unit 30)
Next, processing executed by the image processing unit 30 will be described with reference to FIGS. FIG. 2 is a flowchart showing the flow of the main routine of image processing executed by the image processing unit 30, FIG. 3 is a flowchart of image energy image generation processing which is a subroutine, and FIG. 4 is a subroutine. It is a flowchart of a certain low image energy location deletion process.

画像処理では、図2に示すように、S100において側後方カメラ10から自車両の側後方の画像が取得され、続くS105においてミリ波レーダ20から他車両の位置、方位及び自車両に対する相対速度が取得され、続くS110において車速センサ40から自車両の速度が取得される。   In the image processing, as shown in FIG. 2, an image of the rear side of the own vehicle is acquired from the side rear camera 10 in S100, and the position, direction, and relative speed with respect to the own vehicle of the other vehicle are obtained from the millimeter wave radar 20 in the subsequent S105. Acquired, and in S110, the speed of the host vehicle is acquired from the vehicle speed sensor 40.

続くS115では、S100において取得された画像の画像エネルギ画像が生成される。画像エネルギ画像生成処理の詳細については後述する。
続くS120では、S115において生成された画像エネルギ画像に対して、低画像エネルギ箇所が削除され、縮小画像が得られる。低画像エネルギ箇所削除処理については後述する。
In subsequent S115, an image energy image of the image acquired in S100 is generated. Details of the image energy image generation processing will be described later.
In subsequent S120, the low image energy location is deleted from the image energy image generated in S115, and a reduced image is obtained. The low image energy location deletion process will be described later.

S125では、S120において得られた縮小画像が表示装置50に表示され、処理がS100に戻されて、画像処理が繰り返される。
(画像エネルギ画像生成処理)
次に、図3に基づき、画像エネルギ画像生成処理について説明する。画像エネルギ画像生成処理では、S200においてベース画像エネルギパターン画像が生成される。例えば全領域で一律一定値の値を持つ画像や、格子模様などの一定パターンなど、エネルギ画像のベースとなる基本画像(ベース画像エネルギパターン画像)が生成される。
In S125, the reduced image obtained in S120 is displayed on the display device 50, the process is returned to S100, and the image processing is repeated.
(Image energy image generation processing)
Next, the image energy image generation process will be described with reference to FIG. In the image energy image generation process, a base image energy pattern image is generated in S200. For example, a basic image (base image energy pattern image) serving as a base of the energy image, such as an image having a uniform constant value in all regions or a constant pattern such as a lattice pattern, is generated.

S205では、S200において生成されたベース画像エネルギパターン画像に対しエッジ画像が作成される。つまり、画像中の角や縁の部分が抽出され画像(エッジ画像)が生成される。原画像の例を図5(a)及びエッジ画像の例を図5(b)に示す。   In S205, an edge image is created for the base image energy pattern image generated in S200. That is, corners and edge portions in the image are extracted to generate an image (edge image). An example of the original image is shown in FIG. 5A and an example of the edge image is shown in FIG.

S210では、S205において生成されたエッジ画像がS200において生成されたベース画像エネルギパターン画像に加算される。つまり、ベース画像エネルギパターン画像にエッジ画像が重畳される。   In S210, the edge image generated in S205 is added to the base image energy pattern image generated in S200. That is, the edge image is superimposed on the base image energy pattern image.

S215では、S105(図2参照)でミリ波レーダ20から得られた、他車両の自車両に対する相対速度から他車両が自車両に接近しているか否かが判定される。そして、他車両に自車両が接近していると判定された場合(S215:Yes)、処理がS235へ移行され、他車両に自車両が接近していないと判定された場合(S215:No)、処理がS220へ移行される。   In S215, it is determined whether or not the other vehicle is approaching the host vehicle from the relative speed of the other vehicle with respect to the host vehicle obtained from the millimeter wave radar 20 in S105 (see FIG. 2). And when it determines with the own vehicle approaching another vehicle (S215: Yes), a process transfers to S235, and when it determines with the own vehicle not approaching another vehicle (S215: No) The process proceeds to S220.

S220では、S105(図2参照)においてミリ波レーダ20から取得された自車両に対する他車両の相対速度に、S110(図2参照)において車速センサ40から取得された自車両の速度が加算され、他車両の絶対速度が算出される。   In S220, the speed of the host vehicle acquired from the vehicle speed sensor 40 in S110 (see FIG. 2) is added to the relative speed of the other vehicle with respect to the host vehicle acquired from the millimeter wave radar 20 in S105 (see FIG. 2). The absolute speed of the other vehicle is calculated.

S225では、S220において算出された他車両の絶対速度が所定の値以上であるか否かが判定される。そして、所定の値以上であると判定された場合(S225:Yes)、処理がS235へ移行され、所定の値以上でないと判定された場合(S225:No)、処理がS230へ移行される。   In S225, it is determined whether or not the absolute speed of the other vehicle calculated in S220 is equal to or greater than a predetermined value. If it is determined that the value is equal to or greater than the predetermined value (S225: Yes), the process proceeds to S235. If it is determined that the value is not equal to or greater than the predetermined value (S225: No), the process proceeds to S230.

S230では、他車両部分の画像エネルギが低く設定され、処理がS240へ移行される。また、S235では、他車両部分の画像エネルギが高く設定され、処理がS240へ移行される。   In S230, the image energy of the other vehicle portion is set low, and the process proceeds to S240. In S235, the image energy of the other vehicle portion is set high, and the process proceeds to S240.

S240では、S230又はS235において他車両部分の画像エネルギが設定されたものがS210で得られた画像エネルギ画像へ加算され、処理が終了される。
(低画像エネルギ箇所削除処理)
次に、図4に基づき、低画像エネルギ箇所削除処理について説明する。低画像エネルギ箇所削除処理では、S115(図2参照)の画像エネルギ画像生成処理で得られた画像エネルギ画像に対してまず、削減すべきライン(以下、このラインを「Seam」と呼ぶ。)の本数が算出される。
In S240, the image energy set for the other vehicle portion in S230 or S235 is added to the image energy image obtained in S210, and the process is terminated.
(Low image energy location deletion processing)
Next, the low image energy location deletion process will be described with reference to FIG. In the low image energy location deletion process, a line to be reduced (hereinafter, this line is referred to as “Seam”) is first obtained with respect to the image energy image obtained by the image energy image generation process of S115 (see FIG. 2). The number is calculated.

具体的には、S100(図2参照)で取得された画像の大きさと縮小画像との縦横の長さの比率及びSeam1本を画面から削除した場合に画面から削除されるSeamの幅から削除すべきSeamの本数が算出される。   Specifically, the ratio of the vertical and horizontal lengths of the image size acquired in S100 (see FIG. 2) and the length of the reduced image and the width of the Seam that is deleted from the screen when one Seam is deleted from the screen are deleted. The number of power seams is calculated.

続くS305では、Seamが算出される。Seamは画像上端から下端まで最小のエネルギで通過できる筋のことであり、最短経路問題を解くことにより求められる。具体的にはSeamの算出は、S240(図3参照)において得られた画像エネルギ画像と同サイズの経路合計値を保存するメモリ空間(以下経路画像と呼ぶ)を確保し、元画像上辺の2行目から下の行に向かって以下のように全ピクセルに対して計算する。   In subsequent S305, Seam is calculated. Seam is a line that can pass with the minimum energy from the upper end to the lower end of the image, and is obtained by solving the shortest path problem. Specifically, the calculation of Seam secures a memory space (hereinafter referred to as a path image) for storing a path total value having the same size as the image energy image obtained in S240 (see FIG. 3), and 2 of the upper side of the original image. From the line to the bottom line, calculate for all pixels as follows:

ある画像中の1点のピクセルに対し、その上3ピクセルの経路画像エネルギ値のうち最も小さい値と、元画像の自身のピクセル位置のエネルギ値の合算値を、経路画像に保存する。これにより、経路画像には画像上端からそのピクセルへの最短経路値が保存され、経路画像の最下辺の値のうち最小の物が、求めるSeamの合計エネルギ値、その箇所から逆に経路画像を上端に向かってさかのぼることで、Seamの形状が得られる。Seamの例を図6(a)に示す。図6(a)中で、画像の上辺から下辺へ描かれている多数の線がSeamである。   For one pixel in an image, the sum of the smallest value of the path image energy values of the top three pixels and the energy value of the original pixel position of the original image is stored in the path image. As a result, the shortest path value from the upper end of the image to the pixel is stored in the path image, and the smallest thing among the values on the lowest side of the path image is the total energy value of the Seam to be obtained, and the path image is reversed from that point By going back toward the upper end, the shape of the Seam is obtained. An example of Seam is shown in FIG. In FIG. 6A, many lines drawn from the upper side to the lower side of the image are Seam.

続く、S310では、S305で算出されたSeamの画像エネルギ値から、削除したSeamの画像エネルギの合計値が所定の値以上であるか否かが判定される。そして、削除したSeamの画像エネルギの合計値が所定の値以上の場合(S310:Yes)、処理が終了される。また、削除したSeamの画像エネルギの合計値が所定の値よりも小さい場合(S310:No)、処理がS315へ移行される。   In S310, it is determined from the image energy value of the seam calculated in step S305 whether or not the total value of the deleted image energy of the seam is equal to or greater than a predetermined value. Then, when the total value of the deleted image energy of the Seam is equal to or larger than a predetermined value (S310: Yes), the process is terminated. When the total value of the deleted image energy of the Seam is smaller than a predetermined value (S310: No), the process proceeds to S315.

S315では、S305において算出されたSeam部分が画像エネルギ画像から削除され、続くS320では、S315において削除されたSeamの総本数がS300において算出された削除すべきSeamの本数以下か否かが判定される。   In S315, the Seam portion calculated in S305 is deleted from the image energy image, and in subsequent S320, it is determined whether or not the total number of Seams deleted in S315 is less than or equal to the number of Seams to be deleted calculated in S300. The

そして、削除されたSeamの総本数が削除すべきSeamの本数以下の場合(S320:Yes)、処理がS305へ移行され処理が繰り返される。また、削除されたSeamの総本数が削除すべきSeamの本数よりも多い場合(S320:No)、処理が終了される。本低画像エネルギ箇所削除処理がなされた画像の例を図6(b)に示す。   If the total number of deleted Seams is equal to or less than the number of Seams to be deleted (S320: Yes), the process proceeds to S305 and the process is repeated. Further, when the total number of deleted seams is larger than the number of seams to be deleted (S320: No), the process is terminated. An example of an image that has been subjected to the low image energy location deletion process is shown in FIG.

(車載用画像表示装置1の特徴)
以上のような車載用画像表示装置1では、側後方カメラ10で取得された自車両後方の画像中の画像エネルギが算出され、算出された画像エネルギが所定の値より低い部分が削除されて画像が縮小される。
(Characteristics of in-vehicle image display device 1)
In the vehicle-mounted image display device 1 as described above, the image energy in the image behind the host vehicle acquired by the side rear camera 10 is calculated, and the portion where the calculated image energy is lower than a predetermined value is deleted. Is reduced.

その際、ミリ波レーダ20で画像中の他車両の速度を検出し、検出した他車両の速度に応じて他車両の占める画像領域の画像エネルギを変化させるようになっている。つまり、自車両に対する他車両の相対速度から他車両と自車両とが接近しているか否かを判定している。   At this time, the millimeter wave radar 20 detects the speed of the other vehicle in the image, and changes the image energy of the image area occupied by the other vehicle in accordance with the detected speed of the other vehicle. That is, it is determined whether or not the other vehicle is approaching from the relative speed of the other vehicle with respect to the own vehicle.

そして、他車両と自車両とが接近していると判定した場合には、他車両の占める画像領域の画像エネルギを他車両の占める画像領域の画像エネルギよりも高く設定し、他車両と自車両とが離間していると判定した場合には、他車両の占める画像領域の画像エネルギを他車両の占める画像領域の画像エネルギよりも低く設定している。   And when it determines with the other vehicle and the own vehicle approaching, the image energy of the image area which an other vehicle occupies is set higher than the image energy of the image area which an other vehicle occupies, and the other vehicle and the own vehicle Are determined to be separated from each other, the image energy of the image area occupied by the other vehicle is set lower than the image energy of the image area occupied by the other vehicle.

したがって、自車両に接近してくる他車両の占める画像領域の画像エネルギが高く設定されるので、他の部分が縮小されても、接近してくる他車両は縮小されることがない。つまり、自車両に接近してくる他車両は縮小画像中で強調されて表示されることになる。換言すれば、自車両に衝突する危険性のある他車両が縮小画像中で強調されることになるので、運転時の安全性を向上させることができる。   Therefore, since the image energy of the image area occupied by the other vehicle approaching the host vehicle is set high, even if the other portion is reduced, the approaching other vehicle is not reduced. That is, the other vehicle approaching the host vehicle is displayed with being emphasized in the reduced image. In other words, other vehicles that are likely to collide with the host vehicle are emphasized in the reduced image, so that safety during driving can be improved.

また、他車両の代わりに自転車あるいは人などについては、その部分の画像エネルギを高くして画像中から削除されないようにしたり、縮小画像中で強調したりするようなこともできる。   In addition, for a bicycle or a person instead of another vehicle, the image energy of that portion can be increased so that it is not deleted from the image, or it can be emphasized in the reduced image.

ところで、他車両と自車両の相対速度が大きくなくとも、他車両の速度が速い場合には、その他車両は自車両にとって危険である可能性が高い。ところが、車載用画像表示装置1では、ミリ波レーダ20で検出した画像中の他車両と車速センサ40で検出した自車両の速度から他車両の絶対速度を算出し、他車両の絶対速度が所定の値よりも大きい場合に、他車両の占める画像領域の画像エネルギを他車両の占める以外の画像領域の画像エネルギよりも高く設定している。   By the way, even if the relative speed between the other vehicle and the host vehicle is not large, if the speed of the other vehicle is high, the other vehicle is likely to be dangerous to the host vehicle. However, the in-vehicle image display device 1 calculates the absolute speed of the other vehicle from the speed of the other vehicle in the image detected by the millimeter wave radar 20 and the speed of the own vehicle detected by the vehicle speed sensor 40, and the absolute speed of the other vehicle is predetermined. Is larger than the image energy of the image area other than that occupied by the other vehicle.

このようにしているので、算出した絶対速度が所定の値よりも大きい場合には、他車両の占める画像領域の画像エネルギが高く設定される。したがって、他の部分が縮小されても、絶対速度が大きい他車両は縮小されることがない。   In this way, when the calculated absolute speed is larger than a predetermined value, the image energy of the image area occupied by the other vehicle is set high. Therefore, even if other portions are reduced, other vehicles having a high absolute speed are not reduced.

つまり、絶対速度が高い他車両は縮小画像中で強調されて表示されることになる。換言すれば、自車両に危険を及ぼすおそれがある他車両が縮小画像中で強調されることになるので、運転時の安全性を向上させることができる。   That is, the other vehicle having a high absolute speed is displayed highlighted in the reduced image. In other words, since other vehicles that may cause danger to the host vehicle are emphasized in the reduced image, safety during driving can be improved.

また、表示装置50を自車両の後方視認用ミラーの代わりに、運転者が表示画面を視認可能となるように取り付けられている。したがって、運転者は、後方確認用ミラーを介しての自車両後方確認動作と同じ動作によって、縮小画像中で強調表示された他車両を視認することができるので、他車両の存在を確認しやすく、ひいては運転時の安全性を向上させることができる。
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
Further, the display device 50 is attached so that the driver can visually recognize the display screen instead of the rear viewing mirror of the host vehicle. Therefore, the driver can visually recognize the other vehicle highlighted in the reduced image by the same operation as the own vehicle rear confirmation operation via the rear confirmation mirror, so that it is easy to confirm the presence of the other vehicle. As a result, safety during driving can be improved.
[Other Embodiments]
As mentioned above, although embodiment of this invention was described, this invention is not limited to this embodiment, A various aspect can be taken.

(1)上記実施形態では、ミリ波レーダ20を用いて他車両の相対速度を検出していたが、ミリ波レーダ20の代わりに、側後方カメラ10で取得した画像から公知の画像処理方法により他車両の位置を抽出し、抽出した他車両の位置の変化率から他車両の相対速度を検出するようにしてもよい。   (1) In the above embodiment, the relative speed of the other vehicle is detected using the millimeter wave radar 20, but instead of the millimeter wave radar 20, a known image processing method is used from an image acquired by the side rear camera 10. The position of the other vehicle may be extracted, and the relative speed of the other vehicle may be detected from the extracted rate of change of the position of the other vehicle.

このようにすると、ミリ波レーダ20によらずに他車両の速度を検出できるので、車載用画像表示装置1を簡易に構成することができる。
(2)上記実施形態では、表示装置50は、自車両のバックミラー部分に、運転者が表示画面を視認可能となるように取り付けられているが、自車両の車室内の前部に装着されているカーナビゲーション装置の表示画面を用い、車両内に対して表示を行うようにしてもよい。
(3)上記実施形態では、画像エネルギ画像を生成するためにエッジ画像を生成していた(図3のS205参照)が、エッジに代わりに、縮小対象画像の特定にあわせて、他の関数を用いてもよい。具体的には、エッジ2乗関数、顕著性関数、ハリスコーナ関数、視線認識結果関数、顔認識結果関数、エントロピ関数、セグメンテーション関数あるいはHoG(Histogram of Gradientsの略)関数などの関数を用いてもよい。
(4)また側後方カメラ10は、可視光カメラの代わりに赤外線カメラであってもよい。赤外線カメラであれば、夜間など自車両の周囲が暗いときに人や自転車などを縮小画像中で強調表示する場合に有効である。
(5)上記実施形態では、画像の左右幅を縮小するよう、Seam方向は上下を想定したが、上下幅を縮小する場合は、Seam方向を左右に置き換えて適用できる。
In this way, since the speed of the other vehicle can be detected without using the millimeter wave radar 20, the vehicle-mounted image display device 1 can be simply configured.
(2) In the above embodiment, the display device 50 is mounted on the rearview mirror portion of the host vehicle so that the driver can visually recognize the display screen. However, the display device 50 is mounted on the front part of the passenger compartment of the host vehicle. Display may be performed on the inside of the vehicle using the display screen of the car navigation device.
(3) In the above embodiment, an edge image is generated to generate an image energy image (see S205 in FIG. 3). However, instead of using an edge, another function is used in accordance with the specification of the reduction target image. It may be used. Specifically, a function such as an edge square function, a saliency function, a Harris corner function, a gaze recognition result function, a face recognition result function, an entropy function, a segmentation function, or a HoG (abbreviation of Histogram of Gradients) function may be used. .
(4) The side rear camera 10 may be an infrared camera instead of the visible light camera. An infrared camera is effective for highlighting people or bicycles in a reduced image when the surroundings of the host vehicle are dark, such as at night.
(5) In the above embodiment, the Seam direction is assumed to be up and down so as to reduce the horizontal width of the image, but when the vertical width is reduced, the Seam direction can be replaced with the left and right.

車載用画像表示装置1の概略の構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an in-vehicle image display device 1. FIG. 画像処理のメインルーチンの処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of the main routine of an image process. サブルーチンである画像エネルギ画像生成処理のフローチャートである。It is a flowchart of the image energy image generation process which is a subroutine. サブルーチンである低画像エネルギ箇所削除処理のフローチャートである。It is a flowchart of the low image energy location deletion process which is a subroutine. 画像エネルギ画像生成処理中で生成されるエッジ画像の例を示す図である。It is a figure which shows the example of the edge image produced | generated in an image energy image production | generation process. 低画像エネルギ箇所削除処理がなされた画像の例を示す図である。It is a figure which shows the example of the image in which the low image energy location deletion process was made.

符号の説明Explanation of symbols

1…車載用画像表示装置、5…車載用画像処理装置、10…側後方カメラ、20…ミリ波レーダ、30…画像処理部、40…車速センサ、50…表示装置。   DESCRIPTION OF SYMBOLS 1 ... Car-mounted image display apparatus, 5 ... Car-mounted image processing apparatus, 10 ... Side rear camera, 20 ... Millimeter wave radar, 30 ... Image processing part, 40 ... Vehicle speed sensor, 50 ... Display apparatus.

Claims (7)

自車両周辺の画像を取得するための画像取得手段と、
前記画像取得手段で取得した前記画像中の物体の速度を検出する速度検出手段と、
前記画像取得手段で取得した前記画像中の画像エネルギを算出する画像エネルギ算出手段と、
前記画像エネルギ算出手段で算出した前記画像中の画像エネルギが所定の値より低い領域を抽出して削除することにより前記画像を縮小する画像縮小手段と、
を備え、
前記画像エネルギ算出手段は、
前記速度検出手段で検出した前記物体の速度に応じて前記物体の占める画像領域の画像エネルギを変化させることを特徴とする車載用画像処理装置。
Image acquisition means for acquiring an image around the host vehicle;
Speed detecting means for detecting the speed of an object in the image acquired by the image acquiring means;
Image energy calculating means for calculating image energy in the image acquired by the image acquiring means;
Image reduction means for reducing the image by extracting and deleting a region where the image energy in the image calculated by the image energy calculation means is lower than a predetermined value;
With
The image energy calculating means includes
An in-vehicle image processing apparatus that changes image energy of an image area occupied by the object in accordance with the speed of the object detected by the speed detection unit.
請求項1に記載の車載用画像処理装置において、
前記速度検出手段は、前記自車両に対する前記画像中の物体の相対速度を検出可能に構成され、
前記画像エネルギ算出手段は、
前記速度検出手段で検出した前記画像中の物体の前記自車両に対する相対速度から前記物体と前記自車両とが接近しているか否かを判定し、前記物体と前記自車両とが接近していると判定した場合には、前記物体の占める画像領域の画像エネルギを前記物体の占める画像領域以外の領域の画像エネルギよりも高く設定することを特徴とする車載用画像処理装置。
The in-vehicle image processing apparatus according to claim 1,
The speed detection unit is configured to be able to detect a relative speed of an object in the image with respect to the host vehicle,
The image energy calculating means includes
It is determined whether or not the object and the host vehicle are approaching from the relative speed of the object in the image detected by the speed detection means with respect to the host vehicle, and the object and the host vehicle are approaching. If it is determined that the image energy of the image area occupied by the object is set to be higher than the image energy of the area other than the image area occupied by the object.
請求項1又は請求項2に記載の車載用画像処理装置において、
前記速度検出手段は、前記画像中の物体の絶対速度を検出可能に構成され
前記画像エネルギ算出手段は、
前記速度検出手段で検出した前記画像中の物体の絶対速度が所定の値よりも大きい場合に、前記物体の占める画像領域の画像エネルギを前記物体の占める画像領域以外の領域の画像エネルギよりも高く設定することを特徴とする車載用画像処理装置。
The in-vehicle image processing apparatus according to claim 1 or 2,
The speed detection means is configured to be able to detect an absolute speed of an object in the image, and the image energy calculation means is
When the absolute velocity of the object in the image detected by the velocity detection unit is larger than a predetermined value, the image energy occupied by the object is higher than the image energy of the region other than the image region occupied by the object. An in-vehicle image processing apparatus characterized by setting.
請求項2又は請求項3に記載の車載用画像処理装置において、
前記速度検出手段は、車載レーダであることを特徴とする車載要画像処理装置。
In the in-vehicle image processing apparatus according to claim 2 or 3,
The on-vehicle image processing apparatus according to claim 1, wherein the speed detecting means is an on-vehicle radar.
請求項2又は請求項3に記載の車載用画像処理装置において、
前記速度検出手段は、
前記画像取得手段により取得した前記画像を画像処理することにより前記物体の速度を検出することを特徴とする車載用画像処理装置。
In the in-vehicle image processing apparatus according to claim 2 or 3,
The speed detection means includes
A vehicle-mounted image processing apparatus that detects the speed of the object by performing image processing on the image acquired by the image acquisition means.
車載用の表示手段と、
請求項1〜請求項5の何れかに記載の車載用画像処理装置と、
前記車載用画像処理装置で縮小した画像を前記表示手段で表示させる表示制御手段と、
を備えたことを特徴とする車載用画像表示装置。
In-vehicle display means;
The in-vehicle image processing device according to any one of claims 1 to 5,
Display control means for displaying on the display means an image reduced by the in-vehicle image processing apparatus;
An in-vehicle image display device comprising:
請求項6に記載の車載用画像表示装置において、
前記表示手段は、
前記自車両の後方視認用ミラー部分に、運転者が表示画面を視認可能となるように取り付けられていることを特徴とする車載用画像表示装置。
The in-vehicle image display device according to claim 6,
The display means includes
An in-vehicle image display device, wherein the driver is attached to a mirror portion for visually recognizing the rear of the host vehicle so that a driver can visually recognize a display screen.
JP2007322236A 2007-12-13 2007-12-13 In-vehicle image processing apparatus and in-vehicle image display apparatus Expired - Fee Related JP5115171B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007322236A JP5115171B2 (en) 2007-12-13 2007-12-13 In-vehicle image processing apparatus and in-vehicle image display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007322236A JP5115171B2 (en) 2007-12-13 2007-12-13 In-vehicle image processing apparatus and in-vehicle image display apparatus

Publications (2)

Publication Number Publication Date
JP2009147627A true JP2009147627A (en) 2009-07-02
JP5115171B2 JP5115171B2 (en) 2013-01-09

Family

ID=40917742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007322236A Expired - Fee Related JP5115171B2 (en) 2007-12-13 2007-12-13 In-vehicle image processing apparatus and in-vehicle image display apparatus

Country Status (1)

Country Link
JP (1) JP5115171B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102572707B1 (en) 2016-06-14 2023-08-30 주식회사 에이치엘클레무브 Vehicle control apparatus and vehicle control method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194997A (en) * 1998-12-24 2000-07-14 Mazda Motor Corp Obstacle alarm device for vehicle
JP2003274393A (en) * 2002-03-12 2003-09-26 Matsushita Electric Ind Co Ltd Vehicle periphery monitor device
JP2004260460A (en) * 2003-02-25 2004-09-16 Nippon Seiki Co Ltd Road surface display method and its device
JP2005056128A (en) * 2003-08-04 2005-03-03 Denso Corp Road position detection method, road position detection device and program
JP2006051850A (en) * 2004-08-10 2006-02-23 Matsushita Electric Ind Co Ltd Drive assisting device and drive assisting method
JP2006295599A (en) * 2005-04-12 2006-10-26 Victor Co Of Japan Ltd Spatial resolution converting method and spatial resolution converting program
JP2007028363A (en) * 2005-07-20 2007-02-01 Alpine Electronics Inc Top view image generating apparatus and top view image display method
US20070025637A1 (en) * 2005-08-01 2007-02-01 Vidya Setlur Retargeting images for small displays
JP2008217765A (en) * 2007-03-06 2008-09-18 Mitsubishi Electric Research Laboratories Inc Method for retargeting content-aware image

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194997A (en) * 1998-12-24 2000-07-14 Mazda Motor Corp Obstacle alarm device for vehicle
JP2003274393A (en) * 2002-03-12 2003-09-26 Matsushita Electric Ind Co Ltd Vehicle periphery monitor device
JP2004260460A (en) * 2003-02-25 2004-09-16 Nippon Seiki Co Ltd Road surface display method and its device
JP2005056128A (en) * 2003-08-04 2005-03-03 Denso Corp Road position detection method, road position detection device and program
JP2006051850A (en) * 2004-08-10 2006-02-23 Matsushita Electric Ind Co Ltd Drive assisting device and drive assisting method
JP2006295599A (en) * 2005-04-12 2006-10-26 Victor Co Of Japan Ltd Spatial resolution converting method and spatial resolution converting program
JP2007028363A (en) * 2005-07-20 2007-02-01 Alpine Electronics Inc Top view image generating apparatus and top view image display method
US20070025637A1 (en) * 2005-08-01 2007-02-01 Vidya Setlur Retargeting images for small displays
JP2008217765A (en) * 2007-03-06 2008-09-18 Mitsubishi Electric Research Laboratories Inc Method for retargeting content-aware image

Also Published As

Publication number Publication date
JP5115171B2 (en) 2013-01-09

Similar Documents

Publication Publication Date Title
EP3554062B1 (en) Imaging apparatus
CN111247575B (en) Vehicle driving assistance system, method, and computer-readable storage medium
EP3487172A1 (en) Image generation device, image generation method, and program
EP3367366B1 (en) Display control method and display control device
JP6311646B2 (en) Image processing apparatus, electronic mirror system, and image processing method
US8988525B2 (en) System and method for providing guidance information to a driver of a vehicle
CN107848465A (en) Shown and the vehicle vision system of caution system with blind area
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP6460019B2 (en) Vehicle control device
JP2006338594A (en) Pedestrian recognition system
JP5966513B2 (en) Rear side photographing device for vehicle
JP3988551B2 (en) Vehicle perimeter monitoring device
JP5115171B2 (en) In-vehicle image processing apparatus and in-vehicle image display apparatus
JP4952561B2 (en) In-vehicle image processing apparatus and in-vehicle image display apparatus
JP2009147628A (en) In-vehicle image processing apparatus and in-vehicle image display device
KR102023863B1 (en) Display method around moving object and display device around moving object
JP5831331B2 (en) Rear side photographing device for vehicle
JP6658358B2 (en) Vehicle control device
JP4962291B2 (en) In-vehicle image processing apparatus and in-vehicle image display apparatus
JP2018101850A (en) Imaging device, image processing apparatus, display system, and vehicle
JP2018098567A (en) Imaging apparatus, image processing apparatus, display system, and vehicle
JP2009146134A (en) Vehicle image processing onboard apparatus, and onboard image display apparatus
EP3544293B1 (en) Image processing device, imaging device, and display system
JP6566067B2 (en) Image processing device
JP2022154208A (en) Image processing device, image processing system and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121001

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees