JP2017005718A - Image processing device, imaging apparatus, vehicle drive support device, and image processing method - Google Patents
Image processing device, imaging apparatus, vehicle drive support device, and image processing method Download PDFInfo
- Publication number
- JP2017005718A JP2017005718A JP2016124990A JP2016124990A JP2017005718A JP 2017005718 A JP2017005718 A JP 2017005718A JP 2016124990 A JP2016124990 A JP 2016124990A JP 2016124990 A JP2016124990 A JP 2016124990A JP 2017005718 A JP2017005718 A JP 2017005718A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- overlay
- overlay image
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両周辺を撮像して生成される連続したフレームの撮像画像データにオーバレイ画像データを重畳させる画像処理装置、撮像装置、車両の運転支援装置、及び画像処理方法に関する。 The present invention relates to an image processing apparatus, an imaging apparatus, a vehicle driving support apparatus, and an image processing method for superimposing overlay image data on captured image data of continuous frames generated by imaging a vehicle periphery.
車両の走行時に、車両に搭載した撮像装置で撮像した車両周辺の撮像画像を車内に設置された表示装置に表示する運転支援装置が知られている。運転者は表示装置に表示される撮像画像を確認することで、車両周辺の障害物を認識しながら走行でき、また、駐車時には駐車区画内へ的確にかつ容易に駐車することができる。さらに、かかる運転支援装置の一例では、車両周辺の撮像画像だけでなく、運転を支援するための指標となる画像が撮像画像に重畳して表示される(たとえば、特許文献1、2)。撮像画像に重畳される画像(以下、オーバレイ画像という)は、たとえば、車両の進路予測ガイド線である。かかるオーバレイ画像を撮像画像に重畳して表示することで、運転者は、車両と対象物との距離や横幅をより的確かつ容易に把握できる。
2. Description of the Related Art A driving support device that displays a captured image around a vehicle captured by an imaging device mounted on the vehicle on a display device installed in the vehicle when the vehicle is traveling is known. By checking the captured image displayed on the display device, the driver can travel while recognizing obstacles around the vehicle, and can park in the parking area accurately and easily during parking. Furthermore, in an example of such a driving support device, not only a captured image around the vehicle but also an image serving as an index for supporting driving is displayed superimposed on the captured image (for example,
オーバレイ画像は、その目的から、背景の撮像画像に対しできるだけ目立つ態様であることが望ましい。そこで、一般的に、オーバレイ画像には運転者が視認し易い色、たとえば、黄色や赤色などが付される。しかしながら、オーバレイ画像が重畳される箇所の背景色がオーバレイ画像の色と近似していると、オーバレイ画像が視認し難くなるおそれがある。特に、運転者が色覚異常を有し、視認が困難な色がオーバレイ画像に用いられている場合には、オーバレイ画像の視認が一層困難になる。 For the purpose, the overlay image is desirably as conspicuous as possible with respect to the background captured image. Therefore, in general, the overlay image is given a color that is easy for the driver to visually recognize, such as yellow or red. However, if the background color of the place where the overlay image is superimposed approximates the color of the overlay image, the overlay image may be difficult to visually recognize. In particular, when the driver has color vision abnormality and a color that is difficult to visually recognize is used in the overlay image, the overlay image is more difficult to visually recognize.
そこで、上記問題点に鑑みてなされた本発明の目的は、背景色や運転者の色覚の如何によらず視認が容易なオーバレイ画像を撮像画像に重畳させる、画像処理装置、撮像装置、運転支援装置、及び画像処理方法を提供することにある。 Accordingly, an object of the present invention made in view of the above problems is to provide an image processing apparatus, an imaging apparatus, and driving assistance that superimpose an overlay image that can be easily recognized on a captured image regardless of the background color or the color vision of the driver. An apparatus and an image processing method are provided.
本発明の一態様に係る画像処理装置は、車両周辺を撮像して生成される複数のフレームの撮像画像に重畳させるオーバレイ画像の第1の色と第2の色とを決定する画像色決定部と、前記第1の色の前記オーバレイ画像の第1の残像と前記第2の色の前記オーバレイ画像の第2の残像とが互いに重複するように、撮像画像上の所定の位置に前記オーバレイ画像を重畳させた前記複数のフレームの撮像画像を表示装置に出力する画像合成部とを有する。 An image processing apparatus according to an aspect of the present invention includes an image color determination unit that determines a first color and a second color of an overlay image to be superimposed on a captured image of a plurality of frames generated by imaging a vehicle periphery. The overlay image at a predetermined position on the captured image so that the first afterimage of the overlay image of the first color and the second afterimage of the overlay image of the second color overlap each other. And an image composition unit that outputs captured images of the plurality of frames on which the image is superimposed to a display device.
前記第1、及び第2の色は、色相、明度、及び彩度のいずれか一つ以上が異なるように決定される。 The first and second colors are determined such that one or more of hue, brightness, and saturation are different.
さらに別の好ましい態様によれば、前記第1、及び第2の色が互いの補色になるように決定される。 According to still another preferred aspect, the first and second colors are determined to be complementary colors.
さらに別の好ましい態様によれば、前記画像色決定部は、選択可能な前記第1、及び第2の色の複数の組合せを有する。 According to still another preferred aspect, the image color determination unit has a plurality of combinations of the first and second colors that can be selected.
本発明の別の態様に係る撮像装置は、上記の画像処理装置と、車両周辺を撮像し、前記画像処理装置に入力する前記複数のフレームの撮像画像を生成する撮像部とを有する。 An imaging apparatus according to another aspect of the present invention includes the above-described image processing apparatus, and an imaging unit that captures an image of the periphery of the vehicle and generates captured images of the plurality of frames that are input to the image processing apparatus.
本発明のさらに別の態様に係る運転支援装置は、上記の撮像装置と、前記撮像装置とともに車両に搭載され、前記撮像装置から出力される前記複数のフレームの撮像画像を表示する表示装置とを有する。 A driving support apparatus according to still another aspect of the present invention includes the above-described imaging device, and a display device that is mounted on a vehicle together with the imaging device and displays captured images of the plurality of frames output from the imaging device. Have.
本発明は、上述したような装置に実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。なお、方法やプログラムの各ステップは、データの処理においては必要に応じて、CPU(Central Processing Unit)、DSP(Digital Signal Processor)などの演算処理装置を使用するものであり、入力したデータや加工・生成したデータなどをHDD(Hard Disk Drive)、メモリなどの記憶装置に格納するものである。 The present invention can be realized as a method, a program, and a storage medium storing the program substantially corresponding to the above-described apparatus, and it should be understood that these are also included in the scope of the present invention. . Note that each step of the method or program uses an arithmetic processing unit such as a CPU (Central Processing Unit) or DSP (Digital Signal Processor) as necessary in the processing of data. The generated data and the like are stored in a storage device such as an HDD (Hard Disk Drive) or a memory.
たとえば、本発明を方法として実現した画像処理方法は、車両周辺を撮像して生成される複数のフレームの撮像画像に重畳させるオーバレイ画像の第1の色と第2の色とを決定する工程と、前記第1の色の前記オーバレイ画像の第1の残像と前記第2の色の前記オーバレイ画像の第2の残像とが互いに重複するように、撮像画像上の所定の位置に前記オーバレイ画像を重畳させた前記複数のフレームの撮像画像を表示装置に出力する工程とを有する。 For example, an image processing method that implements the present invention as a method includes a step of determining a first color and a second color of an overlay image to be superimposed on a plurality of frames of captured images generated by imaging the periphery of the vehicle. The overlay image is placed at a predetermined position on the captured image so that the first afterimage of the overlay image of the first color and the second afterimage of the overlay image of the second color overlap each other. And outputting the captured images of the plurality of superimposed frames to a display device.
本発明によれば、背景色や運転者の色覚の如何によらず視認が容易なオーバレイ画像を撮像画像に重畳させることができる。 According to the present invention, it is possible to superimpose an overlay image that can be easily recognized on the captured image regardless of the background color or the color vision of the driver.
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings.
図1は本実施形態における車両の運転支援装置の構成を示す図である。車両に搭載される運転支援装置1は、車両周辺を撮像する撮像装置10と、撮像画像を表示する表示装置9とを有する。また、運転支援装置1は、運転者の操作入力を受け付ける入力装置7を備えてもよい。そして、撮像装置10は、撮像光学系2と、撮像部3と、メモリ(記憶部)4と、画像処理部5と、コントローラ部6とを有する。撮像装置10は、たとえば、車両の後部に設置され、車両後方の周辺画像を撮像する。
FIG. 1 is a diagram illustrating a configuration of a vehicle driving support apparatus according to the present embodiment. The
撮像光学系2は、光(すなわち、車両周辺の光学像)を撮像部3へ入射させる光学部材である。たとえば、撮像光学系2は、一または複数のレンズを含む。また、撮像光学系2は、レンズのほかにフィルタ等の他の光学部材を含んでいてもよく、これらの複数の光学部材は互いに光軸が一致するように配置されている。
The imaging
撮像部3は、車両に搭載され、撮像光学系2を介して車両周辺の撮像画像を撮像するものであり、たとえば、撮像光学系2で結像された光学像を電気信号に変換する2次元状に配置された撮像素子、たとえばCCD(Charge Coupled Device)センサ、CMOS(Complementary Metal Oxide Semiconductor)センサを有する。撮像部3は、たとえば、たとえば数十ミリ秒ごとに連続して撮像を行い、各撮像動作ごとに2次元状の画素に対応する画素信号を出力する。ここで、1回の撮像により、1フレームの撮像画像が撮像される。そして、連続した撮像動作により、一連のフレームの撮像画像からなる動画像が撮像される。撮像部3と画像処理部5との間には、撮像部3のアナログ出力をデジタル信号に変換するA/D変換器(図示略)が設けられる。そして、デジタル信号に変換された撮像画像データは、フレームごとの画素データ群である。よって、連続したフレームの撮像画像データが、画像処理部5に入力される。
The imaging unit 3 is mounted on a vehicle and captures a captured image around the vehicle via the imaging
画像処理部5は、撮像画像データにオーバレイ画像データを重畳させ、表示装置9に出力する「画像処理装置」に対応する。画像処理部5は、たとえばMPU(Micro Processor Unit)やLSI(Large Scale Integration)により構成される。 The image processing unit 5 corresponds to an “image processing device” that overlays overlay image data on captured image data and outputs the superimposed image data to the display device 9. The image processing unit 5 is configured by, for example, an MPU (Micro Processor Unit) or an LSI (Large Scale Integration).
メモリ4は、撮像画像データに重畳させるオーバレイ画像データを記憶する。オーバレイ画像データは、たとえば、車両の進路予測ガイド線に対応する画像データである。ここで、ガイド線とは、車両の走行を支援するために撮像画像に重畳表示されるもので、たとえば車両の進路予測軌跡を示すガイド線、車両からの距離を示すガイド線、車幅を示すガイド線等である。なお、ガイド線は直線状であっても曲線状であってもよい。また、ガイド線は、複数のパターンがメモリ4に予め記憶されていてもよいし、車両の操舵角、左右輪回転速度差、車両の速度等の車両の挙動によって変化させるようにしてもよい。
The
コントローラ部6は、入力装置7からの命令信号や、車両に備えられる各種センサからのセンサ信号を取得し、これに応答して撮像部3や画像処理部5の動作を制御するための制御信号を、撮像部3や画像処理部5に出力する。入力装置7からの命令信号は、たとえば、ガイド線画像の表示命令や、ガイド線画像(すなわちオーバレイ画像)の色の設定信号などである。コントローラ部6は、たとえばMPU(Micro Processor Unit)やLSI(Large Scale Integration)により構成される。
The
入力装置7は、運転席近傍に設置されて運転者の各種操作入力を受け付け、これに対応する命令信号を生成するものであり、たとえばキーボードやタッチパネル等が用いられる。なお、入力装置7からの命令信号は回線8を介してコントローラ部6に送信される。回線8は、CAN(Controller Area Network)等の車内ネットワークを用いてもよいし、専用回線を用いてもよい。
The
表示装置9は、運転席近傍に設置されて撮像画像を運転者に表示する。表示装置9は、たとえば、液晶ディスプレイとその駆動回路とを有し、画像処理部5が出力するオーバレイ画像データが重畳された撮像画像データに対応する撮像画像を表示する。表示装置9は、連続したフレームの撮像画像データを連続して表示することで、動画像を表示する。 The display device 9 is installed near the driver's seat and displays a captured image to the driver. The display device 9 includes, for example, a liquid crystal display and a driving circuit thereof, and displays a captured image corresponding to captured image data on which overlay image data output from the image processing unit 5 is superimposed. The display device 9 displays moving images by continuously displaying captured image data of consecutive frames.
図2は、撮像画像に重畳されるオーバレイ画像の例を示す図である。ここでは車両後方の撮像画像20にオーバレイ画像21としてガイド線が重畳された例が示される。オーバレイ画像21は、撮像画像20における所定の位置に重畳される。所定の位置は、たとえば、撮像画像20内での車両の進行方向に対応する位置である。運転者は、オーバレイ画像21すなわちガイド線により、撮像画像20における車両の進行方向を認識することができる。
FIG. 2 is a diagram illustrating an example of an overlay image superimposed on a captured image. Here, an example is shown in which a guide line is superimposed as an overlay image 21 on the captured
図3は、オーバレイ画像データの色について説明する図である。本実施形態では、画像処理部5は、オーバレイ画像データの色を、第1のフレームのときの第1の色とこれに続く第2のフレームのときの第2の色とが異なるように決定する。たとえば、撮像部3から入力される撮像画像データのフレームに順番を割り当てたとき、奇数フレームの撮像画像データ20aに重畳させるオーバレイ画像データ21aを第1の色3a、偶数フレームの撮像画像データ20bに重畳させるオーバレイ画像データ21bを第2の色3bというように決定する。色3a、3bは、たとえば、表示装置9が表示する画像の色空間、たとえば、RGB(Red、Green、Blue)色空間における階調値である。なお、ここでは、色3a、3bの違いをハッチングパターンの違いで示す。
FIG. 3 is a diagram illustrating the color of overlay image data. In the present embodiment, the image processing unit 5 determines the color of the overlay image data so that the first color in the first frame is different from the second color in the second frame that follows. To do. For example, when an order is assigned to the frames of the captured image data input from the imaging unit 3, the
撮像画像データ20a、20bに対応する画像を交互に表示することで、運転者は、奇数フレームのときのオーバレイ画像と偶数フレームのときのオーバレイ画像の残像が互いに重複した画像を視認する。よって、このとき、奇数フレームのときのオーバレイ画像と偶数フレームのときのオーバレイ画像の中間色(たとえば、RGB階調値の中間値の色)が視認される。よって、たとえば、一方の色が撮像画像における背景色と近似する視認し難い色の場合であっても、反対色が背景色と異なる視認しやすい色であれば、運転者は、中間色のオーバレイ画像を視認でき、背景色の如何によらず、運転者は本来のガイド線を認識することができる。
By alternately displaying the images corresponding to the captured
また、運転者が色弱などの色覚異常を有し、色相の違いを明度とて視認する場合であっても、運転者は視認し易い方の色を認識できるので、視認し難い方の色のときには視認した色の残像により、本来のオーバレイ画像を認識できる。 Even if the driver has color vision abnormalities such as color weakness and the difference in hue is visually recognized as lightness, the driver can recognize the color that is easier to visually recognize, so the color of the color that is difficult to visually recognize Sometimes, the original overlay image can be recognized by the afterimage of the visually recognized color.
上述の説明では、1フレームごとにオーバレイ画像データ21a、21bの色を切り替える例を示したが、複数フレームごとにオーバレイ画像データ21a、21bの色を切り替えてもよい。すなわち、m個(mは2以上の整数)の第1のフレームにオーバレイ画像データ21aを重畳させ、続くm個の第2のフレームにオーバレイ画像データ21bを重畳させることが可能である。または、第1、及び第2のフレームの個数が異なってもよい。オーバレイ画像データ21a、21bの色3a、3bを交互に切り替えることで、運転者は中間色または視認し易い方の色のオーバレイ画像を視認でき、本来のオーバレイ画像を認識できる。
In the above description, an example in which the colors of the
さらに、上記のように残像を利用することで色の視認を可能にすることで、フレーム内では同じ位置にオーバレイ画像データを重畳させることができる。換言すれば、オーバレイ画像が重畳される撮像画像の面積を最小限とすることができ、撮像画像の視認可能な面積を最大化できる。 Furthermore, overlay image data can be superimposed at the same position in the frame by making it possible to visually recognize the color by using the afterimage as described above. In other words, the area of the captured image on which the overlay image is superimposed can be minimized, and the visible area of the captured image can be maximized.
本実施形態の好ましい態様では、オーバレイ画像データ21a、21bの色3a、3bは、色相、明度、及び彩度のいずれか一つ以上が異なるように決定される。たとえば、オーバレイ画像データ21aの色3aを基準色としたとき、撮像画像の背景色が灰色で基準色3aが赤色であり、かつその背景色と基準色3aの明度が一致する場合、基準色3aと対をなす反対色3bを、図4(A)に示すように、色相および明度は基準色3aと同一のまま彩度のみ変更することが可能である。または、図4(B)に示すように、反対色3bを、色相および彩度は基準色3aと同一のまま明度のみ変更することが可能である。さらに、図4(C)に示すように、反対色3bを、色相が基準色3aと同一のまま、彩度及び明度を変更することが可能である。さらに、色相、彩度、及び明度のすべてを変更してもよい。
In a preferred aspect of the present embodiment, the
そうすることで、運転者は基準色3aと反対色3bの中間色、または視認し易い方の色を視認でき、本来のオーバレイ画像を認識できる。
By doing so, the driver can visually recognize the intermediate color of the reference color 3a and the
本実施形態のさらに好ましい態様では、オーバレイ画像データ21a、21bの色3a、3bは互いの補色である。補色とは、色相環で反対に位置する色の関係をいう。補色関係を有する色相の選択には、たとえば図5に示すマンセル色相環を用いることができる。マンセル色相環は、5色の基本色(赤、黄、緑、青、紫)とそれらの中間色(黄赤、黄緑、青緑、青紫、赤紫)との計10色で分割し、それらの色の間もさらに分割して円形に並べたものである。この色相環を用いて、赤と青緑の組み合わせ、黄赤と青の組み合わせ、黄と青紫の組み合わせ等のように正反対に位置する色相を選択することができる。なお、本実施形態では、色相環にて正反対に位置しなくても正反対に近い位置の色も補色に含まれる。たとえば、赤と緑の組み合わせ、赤と青の組み合わせ等としてもよい。また、補色関係を有する色の選択においては、他の色相データを用いてもよいことはもちろんである。
In a further preferred aspect of the present embodiment, the
オーバレイ画像データ21a、21bの色3a、3bが互いの補色であることにより、たとえば、運転者が色弱などの色覚異常を有し補色関係を明度とて視認する場合であっても、運転者は視認し易い方の色を認識でき、本来のオーバレイ画像を認識できる。
Because the
図6は、上述した画像処理を行う画像処理部5の詳細な構成を示す図である。画像処理部5は、オーバレイ画像データ21a、21bの色を決定する画像色決定部60と、撮像画像データ20a、20bの所定の位置にそれぞれ決定された色のオーバレイ画像データ21a、21bを重畳させて表示装置9に出力する画像合成部62とを有する。画像色決定部60、画像合成部62は、たとえば、メモリ4に格納される処理プログラムを実行するプロセッサにより構成される。
FIG. 6 is a diagram illustrating a detailed configuration of the image processing unit 5 that performs the above-described image processing. The image processing unit 5 superimposes the image
画像色決定部60は、たとえば、奇数フレームの撮像画像データ20aが入力されるとオーバレイ画像データ21aを、偶数フレームの撮像画像データ20bが入力されるとオーバレイ画像データ21bを、メモリ4から読み出す。ここで、メモリ4には、予め、異なる色を有するオーバレイ画像データ21a、21bが格納されている。
The image
画像合成部62は、撮像画像データのフレームの順番に応じた切替信号をセレクタ64に出力し、セレクタ64に、メモリ4から読み出されたオーバレイ画像データ21a、21bのいずれかを選択して画像合成部62に入力させる。たとえば、セレクタ64は、奇数フレームのときにはオーバレイ画像データ21aを、偶数フレームのときにはオーバレイ画像データ21bを画像合成部62に入力する。そして、画像合成部62は、撮像画像データ20a、20bの所定の位置にそれぞれオーバレイ画像データ21a、21bを重畳させて、表示装置9に順次出力する。
The
または、次のような構成とすることも可能である。たとえば、画像色決定部60は、撮像画像データのフレームの順番に基づき重畳させるオーバレイ画像データの色を決定する。このとき、たとえば、メモリ4に予め色の組合せのマップデータを格納しておき、これを読み出すようにしてもよい。そして、画像色決定部60は、メモリ4から色が特定されないオーバレイ画像データを読み出して、決定した色情報とともに画像合成部62に渡す。そして、画像合成部62は、撮像画像データにオーバレイ画像データを重畳させるときに、決定された色を設定する。
Alternatively, the following configuration is also possible. For example, the image
さらに、画像色決定部60は、撮像画像データにおけるオーバレイ画像データが重畳される箇所周辺の背景色に基づいて、オーバレイ画像データの色を決定してもよい。たとえば、画像色決定部60は、撮像画像データにおけるオーバレイ画像データの重畳箇所周辺の画素の色を取得する。そして、画像色決定部60は、たとえば、背景色とオーバレイ画像データの色の組合せのマップデータから、背景色に対応する色を読み出して、オーバレイ画像データの色を決定する。かかるマップデータは、メモリ4に予め格納される。マップデータでは、たとえば、背景色の補色に対応するオーバレイ画像データの基準色が対応付けられ、さらに、その基準色と色相、明度、及び彩度のいずれか1つ以上が異なる対の色が対応付けられる。
Further, the image
図7は、本実施形態における画像処理部5の動作手順を説明するためのフローチャート図である。図7に示す手順は、たとえば、1フレームの撮像画像データが入力されるごとに実行される。 FIG. 7 is a flowchart for explaining the operation procedure of the image processing unit 5 in the present embodiment. The procedure shown in FIG. 7 is executed every time one frame of captured image data is input, for example.
画像色決定部60は、撮像画像データが入力され(S702)、フレームが奇数か偶数かを判断する(S704)。奇数フレームのとき、画像色決定部60は、奇数フレーム用の色3aを有するオーバレイ画像データ21aをメモリ4から読み出す(S706)。または、画像色決定部60は、画像合成部62に奇数フレーム用の色3aを設定してもよい。そして、画像合成部62は、奇数フレームの撮像画像データ20aに、色3aを有するオーバレイ画像データ21aを合成して出力する(S708)。一方、偶数フレームのとき、画像色決定部60は、偶数フレーム用の色3bを有するオーバレイ画像データ21bをメモリ4から読み出す(S710)。そして、画像合成部62は、偶数フレームの撮像画像データ20bに、色3bを有するオーバレイ画像データ21bを合成して出力する(S712)。
The image
なお、上述した手順において、手順S702とS704の間に、画像色決定部60が撮像画像データの背景色に基づいてオーバレイ画像データ21a、21bの色を決定する手順を挿入してもよい。その場合、手順S706、710では、画像色決定部60は、オーバレイ画像データをメモリ4から読み出す代わりに、画像合成部62に奇数または偶数フレーム用の、決定した色を設定する。
In the above-described procedure, a procedure in which the image
上述のように、本実施形態によれば、背景色や運転者の色覚の如何によらず視認が容易なオーバレイ画像を撮像画像に重畳させることができる。 As described above, according to the present embodiment, it is possible to superimpose an overlay image that is easily visible on the captured image regardless of the background color or the color vision of the driver.
[変形例]
本実施形態の変形例では、画像色決定部60は、運転者が選択可能な、オーバレイ画像データ21a、21b複数の組合せを有する。かかる組合せは、予めメモリ4に格納される。かかる変形例によれば、運転者が自らの好みや色覚に応じて、視認し易い色の組合せを選択できる。よって、より視認が容易なオーバレイ画像を撮像画像に重畳させることができる。
[Modification]
In the modification of the present embodiment, the image
図8は、色選択の手順を示すフローチャート図である。図8の手順は、たとえば、運転者が入力装置7から、色設定を指示入力したときに実行される。画像色決定部60は、メモリ4から読み出した組合せを表示装置9に表示させる(S80)。
FIG. 8 is a flowchart showing a color selection procedure. The procedure of FIG. 8 is executed, for example, when the driver inputs a color setting instruction from the
図9は、表示される色の組合せの例である。パターン番号ごとに、基準色(たとえば奇数フレーム用の色)とその対となる反対色(偶数フレーム用の色)の例が示される。 FIG. 9 is an example of combinations of displayed colors. For each pattern number, an example of a reference color (for example, a color for odd frames) and an opposite color (a color for even frames) as a pair is shown.
図8に戻り、運転者が入力装置7により任意の組合せを選択する(たとえば、図9のパターン番号を選択する)と、画像色決定部60は、選択に対応する信号が入力される(S82)。すると、画像色決定部60は、選択された組合せを、オーバレイ画像データ21a、21bの色として決定する(S84)。
Returning to FIG. 8, when the driver selects an arbitrary combination with the input device 7 (for example, selects the pattern number in FIG. 9), the image
かかる変形例によれば、運転者が自らの好みや色覚に応じて、視認し易い色の組合せを選択できる。よって、より視認が容易なオーバレイ画像を撮像画像に重畳させることができる。 According to such a modification, the driver can select a color combination that is easy to visually recognize according to his / her preference and color vision. Therefore, an overlay image that is easier to visually recognize can be superimposed on the captured image.
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を1つに組み合わせたり、或いは分割したりすることが可能である Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and corrections based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, the functions included in each means, each step, etc. can be rearranged so that there is no logical contradiction, and a plurality of means, steps, etc. can be combined or divided into one.
以上、説明したとおり、本実施形態によれば、背景色や運転者の色覚の如何によらず視認が容易なオーバレイ画像を撮像画像に重畳させることができる。 As described above, according to the present embodiment, it is possible to superimpose an easily visible overlay image on the captured image regardless of the background color or the color vision of the driver.
1:運転支援装置
10:撮像装置
5:画像処理部
60:画像色決定部
62:画像合成部
20a、20b:撮像画像データ、
21a、21b:オーバレイ画像データ
1: driving support device 10: imaging device 5: image processing unit 60: image color determination unit 62:
21a, 21b: overlay image data
Claims (8)
前記第1の色の前記オーバレイ画像の第1の残像と前記第2の色の前記オーバレイ画像の第2の残像とが互いに重複するように、撮像画像上の所定の位置に前記オーバレイ画像を重畳させた前記複数のフレームの撮像画像を表示装置に出力する画像合成部とを有する画像処理装置。 An image color determination unit that determines a first color and a second color of an overlay image to be superimposed on captured images of a plurality of frames generated by imaging a vehicle periphery;
The overlay image is superimposed at a predetermined position on the captured image so that the first afterimage of the overlay image of the first color and the second afterimage of the overlay image of the second color overlap each other. And an image composition unit that outputs the captured images of the plurality of frames to a display device.
前記第1、及び第2の色は、色相、明度、及び彩度のいずれか一つ以上が異なるように決定される
画像処理装置。 In claim 1,
The image processing apparatus, wherein the first and second colors are determined so that at least one of hue, brightness, and saturation is different.
前記第1、及び第2の色が互いの補色になるように決定される
画像処理装置。 In claim 2,
An image processing apparatus in which the first and second colors are determined to be complementary to each other.
前記画像色決定部は、選択可能な前記第1、及び第2の色の複数の組合せを有する画像処理装置。 In any one of Claims 1 thru | or 3,
The image color determination unit is an image processing apparatus having a plurality of combinations of the first and second colors that can be selected.
前記画像色決定部は、前記撮像画像の色に基づいて、前記第1の色を決定する画像処理装置。 In any one of Claims 1 thru | or 3,
The image color determination unit is an image processing device that determines the first color based on a color of the captured image.
車両周辺を撮像し、前記画像処理装置に入力する前記複数のフレームの撮像画像を生成する撮像部とを有する撮像装置。 An image processing apparatus according to any one of claims 1 to 5,
An imaging apparatus comprising: an imaging unit that images a vehicle periphery and generates captured images of the plurality of frames that are input to the image processing apparatus.
前記撮像装置とともに車両に搭載され、前記撮像装置から出力される前記複数のフレームの撮像画像を表示する表示装置と
を有する車両の運転支援装置。 An imaging device according to claim 6;
A driving support device for a vehicle, comprising: a display device mounted on the vehicle together with the imaging device and displaying the captured images of the plurality of frames output from the imaging device.
前記第1の色の前記オーバレイ画像の第1の残像と前記第2の色の前記オーバレイ画像の第2の残像とが互いに重複するように、撮像画像上の所定の位置に前記オーバレイ画像を重畳させた前記複数のフレームの撮像画像を表示装置に出力する工程とを有する画像処理方法。 Determining a first color and a second color of an overlay image to be superimposed on captured images of a plurality of frames generated by imaging the periphery of the vehicle;
The overlay image is superimposed at a predetermined position on the captured image so that the first afterimage of the overlay image of the first color and the second afterimage of the overlay image of the second color overlap each other. And outputting the captured images of the plurality of frames to a display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016124990A JP6297630B2 (en) | 2016-06-23 | 2016-06-23 | Image processing apparatus, imaging apparatus, vehicle driving support apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016124990A JP6297630B2 (en) | 2016-06-23 | 2016-06-23 | Image processing apparatus, imaging apparatus, vehicle driving support apparatus, and image processing method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012075043A Division JP5960466B2 (en) | 2012-03-28 | 2012-03-28 | Image processing apparatus, imaging apparatus, vehicle driving support apparatus, and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017005718A true JP2017005718A (en) | 2017-01-05 |
JP6297630B2 JP6297630B2 (en) | 2018-03-20 |
Family
ID=57754757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016124990A Active JP6297630B2 (en) | 2016-06-23 | 2016-06-23 | Image processing apparatus, imaging apparatus, vehicle driving support apparatus, and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6297630B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2608362A (en) * | 2021-06-24 | 2023-01-04 | Continental Automotive Gmbh | A method for adapting color of an overlay displayed in a display unit of a vehicle and a system thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001006097A (en) * | 1999-06-25 | 2001-01-12 | Fujitsu Ten Ltd | Device for supporting driving for vehicle |
JP2001331168A (en) * | 2000-05-24 | 2001-11-30 | Matsushita Electric Ind Co Ltd | Image display device |
JP2002010163A (en) * | 2000-06-22 | 2002-01-11 | Mitsubishi Electric Corp | Osd circuit |
-
2016
- 2016-06-23 JP JP2016124990A patent/JP6297630B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001006097A (en) * | 1999-06-25 | 2001-01-12 | Fujitsu Ten Ltd | Device for supporting driving for vehicle |
JP2001331168A (en) * | 2000-05-24 | 2001-11-30 | Matsushita Electric Ind Co Ltd | Image display device |
JP2002010163A (en) * | 2000-06-22 | 2002-01-11 | Mitsubishi Electric Corp | Osd circuit |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2608362A (en) * | 2021-06-24 | 2023-01-04 | Continental Automotive Gmbh | A method for adapting color of an overlay displayed in a display unit of a vehicle and a system thereof |
Also Published As
Publication number | Publication date |
---|---|
JP6297630B2 (en) | 2018-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5960466B2 (en) | Image processing apparatus, imaging apparatus, vehicle driving support apparatus, and image processing method | |
US8854466B2 (en) | Rearward view assistance apparatus displaying cropped vehicle rearward image | |
JP5643344B2 (en) | Vehicle travel support device | |
EP2555519B1 (en) | Vehicle periphery monitoring device | |
EP2739050B1 (en) | Vehicle surroundings monitoring system | |
KR20120118073A (en) | Vehicle periphery monitoring device | |
US10450003B2 (en) | Parking assist device and parking assist system | |
US20120050309A1 (en) | Display control apparatus and display control method | |
JP2008024138A (en) | Image display device and program | |
JP4801654B2 (en) | Composite image generator | |
JP2016177274A (en) | Display system for vehicle | |
JP2016063390A (en) | Image processing system and image display system | |
JP5020792B2 (en) | Composite image generation apparatus and composite image generation method | |
JP6297630B2 (en) | Image processing apparatus, imaging apparatus, vehicle driving support apparatus, and image processing method | |
JP3961969B2 (en) | Vehicle periphery image processing system | |
WO2019026747A1 (en) | Augmented real image display device for vehicle | |
JP2006238339A (en) | Digital camera | |
JP2007149011A (en) | Vehicle circumference viewing device | |
JP2012166689A (en) | Driving assistance apparatus | |
JP4814752B2 (en) | Display control device | |
JP4846627B2 (en) | Display control device | |
JP4053280B2 (en) | Image processing apparatus and image processing method | |
WO2020179103A1 (en) | Image processing device | |
JP5089875B2 (en) | Image information superimposing method and image information display device | |
JP2007156807A (en) | Vehicle operation support device and operation support method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6297630 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |