JP2012121527A - Image display device - Google Patents
Image display device Download PDFInfo
- Publication number
- JP2012121527A JP2012121527A JP2010276028A JP2010276028A JP2012121527A JP 2012121527 A JP2012121527 A JP 2012121527A JP 2010276028 A JP2010276028 A JP 2010276028A JP 2010276028 A JP2010276028 A JP 2010276028A JP 2012121527 A JP2012121527 A JP 2012121527A
- Authority
- JP
- Japan
- Prior art keywords
- color
- driver
- image
- image display
- color vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004456 color vision Effects 0.000 claims abstract description 92
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Landscapes
- Instrument Panels (AREA)
Abstract
Description
本発明は、車両のフロントガラスに画像を表示する画像表示装置に関する。 The present invention relates to an image display device that displays an image on a windshield of a vehicle.
従来、運転者による視認を容易にするための技術として、例えば特許文献１に記載のインジケータ装置が知られている。このインジケータ装置では、色覚が正常色覚の範囲と異なる色覚特性者が運転者の場合であっても、運転者の色覚に応じた視認しやすい色でインジケータパネルの表示部を発光させることで、運転者によるインジケータ表示の視認を容易にすることができる。 Conventionally, for example, an indicator device described in Patent Document 1 is known as a technique for facilitating visual recognition by a driver. In this indicator device, even if the driver is a color vision characteristic person whose color vision is different from the range of normal color vision, the display unit of the indicator panel emits light with a color that is easy to see according to the color vision of the driver. The indicator display by the person can be easily recognized.
ところで、色覚が正常色覚の範囲と異なる色覚特性者の運転者が場合には、インジケータよりも信号機や道路標識の視認しにくさが運転時における大きな障害となっている。このような運転者の負担軽減を図るため、信号機や道路標識などの視認を容易にする技術が強く求められていた。 By the way, in the case of a driver of a color vision characteristic person whose color vision is different from the range of normal color vision, the difficulty in visually recognizing traffic lights and road signs is a greater obstacle during driving. In order to reduce such a burden on the driver, there has been a strong demand for a technology that facilitates visual recognition of traffic lights and road signs.
そこで、本発明は、運転者による道路標識や信号機などの認識対象物の視認を容易にすることができる画像表示装置を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image display device that makes it easy for a driver to visually recognize recognition objects such as road signs and traffic lights.
上記課題を解決するため、本発明は、車両のフロントガラスに画像を表示する画像表示装置であって、車両の前方の画像を撮像する画像撮像手段と、車両の前方で運転者が認識すべき認識対象物を検出する認識対象検出手段と、認識対象検出手段の検出した認識対象物と画像撮像手段の撮像した画像とに基づいて、運転者から見た認識対象物の背景色を検出する背景色検出手段と、運転者の色覚特性情報に応じて、運転者から見た認識対象物の色彩を調整する色調整画像をフロントガラスに重畳表示する色調整画像表示手段と、を備えることを特徴とする。 In order to solve the above-described problems, the present invention is an image display device that displays an image on a windshield of a vehicle, and an image capturing unit that captures an image in front of the vehicle, and a driver should recognize in front of the vehicle A background for detecting a background color of the recognition object viewed from the driver based on the recognition object detection means for detecting the recognition object and the recognition object detected by the recognition object detection means and the image captured by the image imaging means; Color detection means, and color adjustment image display means for superimposing and displaying on the windshield a color adjustment image for adjusting the color of the recognition object seen by the driver according to the driver's color vision characteristic information. And
本発明に係る画像表示装置によれば、信号機や道路標識などの認識対象物の視認しにくさは、運転者の色覚と車両の走行に伴って変化する認識対象物の背景色の影響が大きいことから、認識対象物が検出された場合に運転者の色覚特性情報と認識対象物の背景色とに基づいて認識対象物の色彩を調整する色調整画像を車両のフロントガラスに重畳表示することで、運転者による道路標識や信号機などの認識対象物の視認を容易にすることができる。 According to the image display device of the present invention, the difficulty of visually recognizing recognition objects such as traffic lights and road signs is greatly influenced by the color vision of the driver and the background color of the recognition object that changes as the vehicle travels. Therefore, when a recognition target is detected, a color adjustment image for adjusting the color of the recognition target based on the driver's color vision characteristic information and the background color of the recognition target is superimposed on the vehicle windshield. Thus, the driver can easily recognize the recognition target object such as a road sign or a traffic light.
本発明に係る画像表示装置においては、色調整画像表示手段は、運転者から見た認識対象物の背景色の色彩を調整する背景色調整画像をフロントガラスに重畳表示することが好ましい。
本発明に係る画像表示装置によれば、認識対象物と背景との区別が明確になるように背景色を調整する背景色調整画像をフロントガラスに重畳表示することで、運転者による認識対象物の視認を一層容易にすることができる。
In the image display apparatus according to the present invention, it is preferable that the color adjustment image display means superimposes and displays a background color adjustment image for adjusting the color of the background color of the recognition object viewed from the driver on the windshield.
According to the image display device of the present invention, the recognition target object by the driver is displayed by superimposing the background color adjustment image for adjusting the background color on the windshield so that the distinction between the recognition object and the background becomes clear. Can be more easily recognized.
本発明によれば、運転者による道路標識や信号機などの認識対象物の視認を容易にすることができる。 ADVANTAGE OF THE INVENTION According to this invention, the visual recognition of recognition objects, such as a road sign and a traffic signal, by a driver | operator can be made easy.
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
図１及び図２に示されるように、本実施形態に係る画像表示装置１は、車両前方の信号機Ｌや道路標識Ｍの色彩（明度や彩度、色相）を調整する色調整画像を車両のフロントガラスＦに重畳表示することで、運転者による信号機Ｌや道路標識Ｍの視認を容易にするものである。画像表示装置１は、色調整画像をフロントガラスＦに重畳表示することで、色彩調整された車両前方の景色のＡＲ［Augmented Reality］表示を実現する。 As shown in FIGS. 1 and 2, the image display apparatus 1 according to the present embodiment displays a color adjustment image for adjusting the color (lightness, saturation, hue) of the traffic light L and the road sign M in front of the vehicle. By superimposing and displaying on the windshield F, it is easy for the driver to visually recognize the traffic light L and the road sign M. The image display device 1 realizes AR [Augmented Reality] display of the scenery in front of the vehicle whose color has been adjusted by superimposing and displaying the color adjustment image on the windshield F.
ここで、図２（ａ）は、色調整画像を表示しない場合に運転者から見たフロントガラスＦ越しの景色を示す図である。図２（ｂ）は、色調整画像を表示した場合に運転者から見たフロントガラスＦ越しの景色を示す図である。 Here, Fig.2 (a) is a figure which shows the scenery over the windshield F seen from the driver | operator, when not displaying a color adjustment image. FIG. 2B is a diagram illustrating a scenery over the windshield F viewed from the driver when the color adjustment image is displayed.
画像表示装置１は、図２（ａ）の景色に対して色調整画像を重畳表示することで、図２（ｂ）に示すように信号機Ｌや道路標識Ｍなどの運転者が認識すべき認識対象物を視認しやすくする。また、画像表示装置１は、運転者から見た認識対象物の背景色を調整する背景色調整画像の重畳表示を行うことで、認識対象物と背景との区別を明確にして、認識対象物を更に視認しやすくする。 The image display apparatus 1 recognizes that a driver such as a traffic light L or a road sign M should recognize as shown in FIG. Make the object easier to see. In addition, the image display device 1 performs a superimposed display of a background color adjustment image that adjusts the background color of the recognition object viewed from the driver, thereby clarifying the distinction between the recognition object and the background, thereby recognizing the recognition object. Make it easier to see.
画像表示装置１は、運転者の色覚特性情報に応じた色調整画像及び背景色調整画像を生成する。色覚特性情報とは、色覚が正常色覚の範囲と異なる色覚特性者であるか否かの情報、色覚が正常色覚の範囲と異なる色覚特性者である場合の色覚特性分類の情報などである。 The image display device 1 generates a color adjustment image and a background color adjustment image corresponding to the driver's color vision characteristic information. The color vision characteristic information includes information as to whether or not the color vision is different from the normal color vision range, information about color vision characteristic classification when the color vision is different from the normal color vision range, and the like.
画像表示装置１は、車両の走行により瞬間的に変化する認識対象物及び背景に対応する色調整画像及び背景色調整画像を生成する。画像表示装置１は、生成した色調整画像及び背景色調整画像を車両のフロントガラスＦに重畳表示する。画像表示装置１は、瞬間的に変化する認識対象物の色彩及び背景色に対応した色調整画像及び背景色調整画像をフロントガラスＦに重畳表示することで、動的に色彩調整された車両前方の景色のＡＲ表示を実現する。 The image display device 1 generates a color adjustment image and a background color adjustment image corresponding to a recognition object and a background that change instantaneously as the vehicle travels. The image display device 1 superimposes and displays the generated color adjustment image and background color adjustment image on the windshield F of the vehicle. The image display device 1 displays the color adjustment image and the background color adjustment image corresponding to the color and background color of the recognition object that change instantaneously on the windshield F, thereby dynamically adjusting the front of the vehicle. Realize the AR display of the scenery.
以下、本実施形態に係る画像表示装置１の構成について説明する。 Hereinafter, the configuration of the image display apparatus 1 according to the present embodiment will be described.
図１に示されるように、画像表示装置１は、装置１を統括的に制御するＥＣＵ［Electronic Control Unit］２を備えている。ＥＣＵ２は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなる電子制御ユニットである。ＥＣＵ２では、ＲＯＭに記憶されているアプリケーションプログラムをＲＡＭにロードし、ＣＰＵで実行することで、画像生成などの演算処理を実行する。 As shown in FIG. 1, the image display device 1 includes an ECU [Electronic Control Unit] 2 that controls the device 1 in an integrated manner. The ECU 2 is an electronic control unit including a CPU [Central Processing Unit], a ROM [Read Only Memory], a RAM [Random Access Memory], and the like. In the ECU 2, an application program stored in the ROM is loaded into the RAM and executed by the CPU, thereby executing arithmetic processing such as image generation.
ＥＣＵ２は、運転者認証部３、画像撮像部４、ＨＭＩ［Human Machine Interface］６、及びＨＵＤ［Head Up Display］７と接続されている。 The ECU 2 is connected to a driver authentication unit 3, an image capturing unit 4, an HMI [Human Machine Interface] 6, and a HUD [Head Up Display] 7.
運転者認証部３は、車両の運転者の個人認証を行う装置である。運転者認証部３は、例えば運転者の撮像画像や音声、指紋などから運転者の個人認証を行う。運転者認証部３は、運転者に対応する認証信号をＥＣＵ２に送信する。 The driver authentication unit 3 is a device that performs personal authentication of the driver of the vehicle. The driver authentication unit 3 performs personal authentication of the driver based on, for example, the driver's captured image, voice, and fingerprint. The driver authentication unit 3 transmits an authentication signal corresponding to the driver to the ECU 2.
画像撮像部４は、車両前方を撮像するステレオカメラを有している。画像撮像部４は、ステレオカメラにより立体認識可能に撮像した車両前方の画像を画像信号としてＥＣＵ２に送信する。 The image capturing unit 4 includes a stereo camera that captures the front of the vehicle. The image capturing unit 4 transmits, to the ECU 2, an image in front of the vehicle that is captured by a stereo camera so as to be stereoscopically recognized as an image signal.
ＨＭＩ５は、装置１と運転者との間で情報の入力及び出力を行うためのインターフェイスである。ＨＭＩ５は、運転者に画像情報を表示するディスプレイパネル、運転者が入力操作を行うための操作ボタンやタッチパネルなどを備えている。 The HMI 5 is an interface for inputting and outputting information between the device 1 and the driver. The HMI 5 includes a display panel that displays image information to the driver, an operation button for the driver to perform an input operation, a touch panel, and the like.
また、ＨＭＩ５は、運転者に対する色覚特性検査に利用される。色覚特性検査では、色覚が正常色覚の範囲と異なる色覚特性者であるか否か、色覚が正常色覚の範囲と異なる色覚特性者である場合にどの分類の色覚異常に該当するかを検査する。 The HMI 5 is used for color vision characteristic inspection for the driver. In the color vision characteristic test, whether or not the color vision is a person with a color vision characteristic different from the range of the normal color vision, and which classification of the color vision abnormality falls when the color vision is a person with a color vision characteristic different from the range of the normal color vision.
ここで、図３は画像表示装置１の行う色覚特性検査を説明するための図である。図３のＡは、ＨＭＩ５のディスプレイパネルＤに表示される石原式色覚特性検査表のテストパターンを示している。テストパターンＡを構成する一つ一つの粒子には色が付けられており、所定色の粒子で描かれた数字や仮名がテストパターンＡ内に紛れている。図３のＴはＨＭＩ５のタッチパネルを示しており、タッチパネルＴにはテストパターンＡに紛れた数字を運転者に入力させるための数字キーが表示されている。 Here, FIG. 3 is a diagram for explaining the color vision characteristic inspection performed by the image display apparatus 1. FIG. 3A shows a test pattern of the Ishihara style color vision characteristic inspection table displayed on the display panel D of the HMI 5. Each particle constituting the test pattern A is colored, and numbers and pseudonyms drawn with particles of a predetermined color are mixed in the test pattern A. T in FIG. 3 indicates a touch panel of HMI5, and the touch panel T displays a number key for allowing the driver to input a number mixed in the test pattern A.
運転者の色覚特性検査は、図３に示すテストパターンＡに紛れた数字や仮名を運転者に視認させ、タッチパネルＴに入力させることにより行われる。色覚特性検査の結果は、ＨＭＩ５のディスプレイパネルＤに表示される。なお、色覚特性検査は上述した検査方法に限られない。 The driver's color vision characteristic test is performed by causing the driver to visually recognize the numbers and pseudonyms confused in the test pattern A shown in FIG. The result of the color vision characteristic test is displayed on the display panel D of the HMI 5. The color vision characteristic inspection is not limited to the inspection method described above.
ＨＵＤ６は、車両のフロントガラスＦに画像を表示する装置である。ＨＵＤ６は、ＥＣＵ２からの出力信号に応じた画像を生成してフロントガラスＦに表示する。ＨＵＤ６の表示する画像の明度や彩度は、運転者がＨＭＩ５を操作することで自在に調整することができる。また、ＨＵＤ６は、天候などに応じて画像の明度や彩度、色相の最適化を行う。 The HUD 6 is a device that displays an image on the windshield F of the vehicle. The HUD 6 generates an image corresponding to the output signal from the ECU 2 and displays it on the windshield F. The brightness and saturation of the image displayed by the HUD 6 can be freely adjusted by the driver operating the HMI 5. The HUD 6 optimizes the brightness, saturation, and hue of the image according to the weather and the like.
ＥＣＵ２は、色覚特性情報取得部１０、認識対象検出部１１、背景色検出部１２、及び色調整画像表示部１３を有している。 The ECU 2 includes a color vision characteristic information acquisition unit 10, a recognition target detection unit 11, a background color detection unit 12, and a color adjustment image display unit 13.
色覚特性情報取得部１０は、運転者の色覚特性情報を取得する。色覚特性情報取得部１０は、過去に登録された運転者の色覚特性情報を記憶した色覚特性データベースを有している。色覚特性情報取得部１０は、運転者認証部３の認証信号に基づいて、運転者の色覚特性情報が色覚特性データベースに未登録であるか否かを判定する。色覚特性情報取得部１０は、運転者の色覚特性情報が色覚特性データベースに登録されていると判定した場合、色覚特性データベースから運転者の色覚特性情報を取得する。 The color vision characteristic information acquisition unit 10 acquires the color vision characteristic information of the driver. The color vision characteristic information acquisition unit 10 includes a color vision characteristic database that stores driver's color vision characteristic information registered in the past. The color vision characteristic information acquisition unit 10 determines whether or not the driver's color vision characteristic information is unregistered in the color vision characteristic database based on the authentication signal of the driver authentication unit 3. When it is determined that the driver's color vision characteristic information is registered in the color vision characteristic database, the color vision characteristic information acquisition unit 10 acquires the driver's color vision characteristic information from the color vision characteristic database.
また、色覚特性情報取得部１０は、運転者の色覚特性情報が色覚特性データベースに未登録であると判定した場合、運転者に対する色覚特性検査を実施する。色覚特性情報取得部１０は、運転者にテストパターンＡを視認させ、テストパターンＡに紛れた数字や仮名をタッチパネルＴに入力させることで色覚特性検査を行う。色覚特性情報取得部１０は、色覚特性検査の検査結果に基づいて運転者の色覚特性情報を取得する。 Further, when it is determined that the driver's color vision characteristic information is not registered in the color vision characteristic database, the color vision characteristic information acquisition unit 10 performs a color vision characteristic test on the driver. The color vision characteristic information acquisition unit 10 makes the driver visually recognize the test pattern A, and performs a color vision characteristic test by causing the touch panel T to input numbers and pseudonyms confused with the test pattern A. The color vision characteristic information acquisition unit 10 acquires the color vision characteristic information of the driver based on the test result of the color vision characteristic test.
色覚特性情報取得部１０は、取得した運転者の色覚特性情報に基づいて、色調整画像の重畳表示が必要であるか否かを判定する。色覚特性情報取得部１０は、色覚が正常色覚の範囲と異なる色覚特性者が運転者である場合、色調整画像の重畳表示が必要であると判定する。 The color vision characteristic information acquisition unit 10 determines whether or not the superimposed display of the color adjustment image is necessary based on the acquired color vision characteristic information of the driver. The color vision characteristic information acquisition unit 10 determines that the color adjustment image needs to be superimposed when a color vision characteristic person whose color vision is different from the normal color vision range is a driver.
認識対象検出部１１は、色覚特性情報取得部１０が色調整画像の重畳表示が必要であると判定した場合、車両前方で運転者が認識すべき認識対象物を検出する。認識対象検出部１１は、画像撮像部４の画像信号に基づいて、信号機、道路標識、道路標示などの認識対象物を検出する。 When the color vision characteristic information acquisition unit 10 determines that the color adjustment image needs to be superimposed and displayed, the recognition target detection unit 11 detects a recognition target that the driver should recognize in front of the vehicle. The recognition target detection unit 11 detects a recognition target object such as a traffic light, a road sign, or a road marking based on the image signal of the image capturing unit 4.
認識対象検出部１１による車両前方の画像からの認識対象物の検出は、周知の画像処理技術を利用して行われる。認識対象検出部１１は、信号機や道路標識など認識対象物の分類、及び認識対象物の色彩を検出する。 Detection of the recognition target object from the image ahead of the vehicle by the recognition target detection unit 11 is performed using a known image processing technique. The recognition target detection unit 11 detects the classification of recognition objects such as traffic lights and road signs, and the color of the recognition objects.
背景色検出部１２は、画像撮像部４の画像信号に基づいて、運転者から見た認識対象物の背景色を検出する。背景色検出部１２は、フロントガラスＦに映る認識対象物以外全ての背景色を検出する。なお、背景色検出部１２は、認識対象物を中心とした所定範囲の背景色のみを検出する態様であっても良い。 The background color detection unit 12 detects the background color of the recognition target viewed from the driver based on the image signal from the image capturing unit 4. The background color detection unit 12 detects all background colors other than the recognition target object reflected on the windshield F. The background color detection unit 12 may be configured to detect only a background color within a predetermined range centered on the recognition target object.
色調整画像表示部１３は、画像撮像部４の画像信号と色覚特性情報取得部１０の取得した運転者の色覚特性情報とに基づいて、認識対象検出部１１の検出した認識対象物の色彩を調整する色調整画像を生成する。また、色調整画像表示部１３は、画像撮像部４の画像信号と色覚特性情報取得部１０の取得した運転者の色覚特性情報とに基づいて、背景色検出部１２の検出した背景色を調整する背景色調整画像を生成する。 The color adjustment image display unit 13 displays the color of the recognition target detected by the recognition target detection unit 11 based on the image signal of the image pickup unit 4 and the driver's color vision characteristic information acquired by the color vision characteristic information acquisition unit 10. A color adjustment image to be adjusted is generated. The color adjustment image display unit 13 adjusts the background color detected by the background color detection unit 12 based on the image signal of the image pickup unit 4 and the driver's color vision characteristic information acquired by the color vision characteristic information acquisition unit 10. A background color adjusted image is generated.
色調整画像表示部１３は、認識対象物が運転者に視認容易となるように、色調整画像及び背景色調整画像を生成する。色調整画像表示部１３は、生成した色調整画像及び背景色調整画像に応じた出力信号をＨＵＤ６に送信することで、フロントガラスＦに対する色調整画像及び背景色調整画像の重畳表示を行う。 The color adjustment image display unit 13 generates a color adjustment image and a background color adjustment image so that the recognition target is easily visible to the driver. The color adjustment image display unit 13 transmits an output signal corresponding to the generated color adjustment image and the background color adjustment image to the HUD 6 so that the color adjustment image and the background color adjustment image are superimposed on the windshield F.
次に、上述した画像表示装置１の動作について説明する。 Next, the operation of the image display device 1 described above will be described.
図４に示されるように、画像表示装置１では、まず運転者認証部３が車両の運転者の個人認証をする運転者認証処理を行う（Ｓ１）。運転者認証部３が運転者を認証した場合、色覚特性情報取得部１０は、運転者認証部３の認証信号に基づいて、運転者の色覚特性情報が色覚特性データベースに未登録であるか否かを判定する（Ｓ２）。色覚特性情報取得部１０は、運転者の色覚特性情報が色覚特性データベースに登録済みであると判定した場合、ステップＳ４に移行する。 As shown in FIG. 4, in the image display apparatus 1, first, the driver authentication unit 3 performs a driver authentication process for personal authentication of the driver of the vehicle (S1). When the driver authentication unit 3 authenticates the driver, the color vision characteristic information acquisition unit 10 determines whether the driver's color vision characteristic information is not registered in the color vision characteristic database based on the authentication signal from the driver authentication unit 3. Is determined (S2). If the color vision characteristic information acquisition unit 10 determines that the driver's color vision characteristic information has been registered in the color vision characteristic database, the process proceeds to step S4.
一方、色覚特性情報取得部１０は、運転者の色覚特性情報が色覚特性データベースに未登録であると判定した場合、色覚特性情報の取得処理を行う（Ｓ３）。色覚特性情報の取得処理では、運転者に対する色覚特性検査の実施や運転者による情報入力により、色覚特性情報を取得する。 On the other hand, when it is determined that the driver's color vision characteristic information has not been registered in the color vision characteristic database, the color vision characteristic information acquisition unit 10 performs a color vision characteristic information acquisition process (S3). In the color vision characteristic information acquisition process, the color vision characteristic information is acquired by performing a color vision characteristic test on the driver or inputting information by the driver.
ステップＳ４において、色覚特性情報取得部１０は、運転者の色覚特性情報に基づいて色調整画像の重畳表示が必要であるか否かを判定する。色覚特性情報取得部１０は、色調整画像の重畳表示が必要ではないと判定した場合、動作を終了する。画像表示装置１は、色覚特性情報取得部１０が運転者の色覚特性情報に基づいて色調整画像の重畳表示が必要であると判定した場合、色調整画像表示制御を行う（Ｓ５）。 In step S4, the color vision characteristic information acquisition unit 10 determines whether or not the superimposed display of the color adjustment image is necessary based on the driver's color vision characteristic information. If the color vision characteristic information acquisition unit 10 determines that the superimposed display of the color adjustment image is not necessary, the operation ends. When the color vision characteristic information acquisition unit 10 determines that the color adjustment image needs to be superimposed and displayed based on the color vision characteristic information of the driver, the image display device 1 performs color adjustment image display control (S5).
ステップＳ５の色調整画像表示制御では、認識対象検出部１１が車両前方の認識対象物を検出すると共に、背景色検出部１２が運転者から見た認識対象物の背景色を検出する。色調整画像表示部１３は、画像撮像部４の画像信号と運転者の色覚特性情報とに基づいて、認識対象物の色彩を調整する色調整画像と背景色を調整する背景色調整画像とを生成する。 In the color adjustment image display control in step S5, the recognition target detection unit 11 detects the recognition target in front of the vehicle, and the background color detection unit 12 detects the background color of the recognition target viewed from the driver. The color adjustment image display unit 13 generates a color adjustment image for adjusting the color of the recognition object and a background color adjustment image for adjusting the background color based on the image signal of the image pickup unit 4 and the color vision characteristic information of the driver. Generate.
色調整画像表示部１３は、生成した色調整画像及び背景色調整画像に応じた出力信号をＨＵＤ６に送信することで、フロントガラスＦに対する色調整画像及び背景色調整画像の重畳表示を行う。画像表示装置１は、車両の運転が終了するまで色調整画像表示制御を行う。 The color adjustment image display unit 13 transmits an output signal corresponding to the generated color adjustment image and the background color adjustment image to the HUD 6 so that the color adjustment image and the background color adjustment image are superimposed on the windshield F. The image display device 1 performs color adjustment image display control until driving of the vehicle is completed.
以上説明した画像表示装置１によれば、信号機や道路標識などの認識対象物の視認しにくさは、運転者の色覚と車両の走行に伴って変化する認識対象物の背景色の影響が大きいことから、認識対象物が検出された場合に運転者の色覚特性情報と認識対象物の背景色とに基づいて認識対象物の色彩を調整する色調整画像を車両のフロントガラスＦに重畳表示することで、運転者による認識対象物の視認を容易にすることができる。従って、この画像表示装置１によれば、運転車が色覚特性者である場合であっても、運転者の色覚特性情報に基づいて認識対象物の色彩を調整することで、運転者の大幅な負担軽減を図ることができる。 According to the image display device 1 described above, the difficulty of visually recognizing recognition objects such as traffic lights and road signs is greatly affected by the color vision of the driver and the background color of the recognition object that changes as the vehicle travels. Therefore, when a recognition object is detected, a color adjustment image for adjusting the color of the recognition object based on the driver's color vision characteristic information and the background color of the recognition object is superimposed on the windshield F of the vehicle. Thus, the driver can easily recognize the recognition target object. Therefore, according to this image display device 1, even if the driver's vehicle is a color vision characteristic person, the driver's significant color is adjusted by adjusting the color of the recognition target object based on the driver's color vision characteristic information. The burden can be reduced.
また、この画像表示装置１では、認識対象物と背景との区別が明確になるように、認識対象物の背景色を調整する背景色調整画像をフロントガラスＦに重畳表示することで、運転者による認識対象物の視認を一層容易にすることができる。従って、この画像表示装置１によれば、フロントガラスＦに映る外界全てに対してＡＲ表示で色やコントラストを調整することができ、全体として運転者に最も見やすくなるような色彩調整を行うことができる。 Further, in this image display device 1, the driver can display the background color adjustment image for adjusting the background color of the recognition target object on the windshield F so that the distinction between the recognition target object and the background becomes clear. This makes it easier to visually recognize the recognition object. Therefore, according to this image display device 1, it is possible to adjust the color and contrast by AR display for all the external worlds reflected on the windshield F, and to perform color adjustment that makes it easy for the driver to see as a whole. it can.
本発明は、上述した実施形態に限定されるものではない。例えば、認識対象物の背景色を調整する背景色調整画像は必ずしも重畳表示する必要はない。また、信号機や道路標識などの認識対象物に対して、色彩の調整の他、枠で囲むなどの強調表示を行っても良い。 The present invention is not limited to the embodiment described above. For example, the background color adjustment image for adjusting the background color of the recognition target object does not necessarily need to be superimposed and displayed. In addition to the color adjustment, highlighting such as surrounding the object to be recognized such as a traffic light or a road sign may be performed.
更に、信号機や道路標識などの認識対象物の検出は、画像処理による検出の他、レーザセンサなどを組み合わせて検出する態様であっても良い。また、地図情報に含まれる信号機の位置情報などを利用して認識対象物を検出する態様であっても良い。 Further, the recognition target object such as a traffic light or a road sign may be detected by combining a laser sensor or the like in addition to detection by image processing. Moreover, the aspect which detects a recognition target object using the positional information on the traffic signal etc. which are contained in map information may be sufficient.
１…画像表示装置 ２…ＥＣＵ ３…運転者認証部 ４…画像撮像部 １０…色覚特性情報取得部 １１…認識対象検出部 １２…背景色検出部 １３…色調整画像表示部 Ａ…テストパターン Ｄ…ディスプレイパネル Ｆ…フロントガラス Ｌ…信号機 Ｍ…道路標識 Ｔ…タッチパネル
DESCRIPTION OF SYMBOLS 1 ... Image display apparatus 2 ... ECU 3 ... Driver authentication part 4 ... Image imaging part 10 ... Color vision characteristic information acquisition part 11 ... Recognition target detection part 12 ... Background color detection part 13 ... Color adjustment image display part A ... Test pattern D ... Display panel F ... Windshield L ... Traffic light M ... Road sign T ... Touch panel
Claims (2)
前記車両の前方の画像を撮像する画像撮像手段と、
前記車両の前方で前記運転者が認識すべき認識対象物を検出する認識対象検出手段と、
前記認識対象検出手段の検出した前記認識対象物と前記画像撮像手段の撮像した前記画像とに基づいて、前記運転者から見た前記認識対象物の背景色を検出する背景色検出手段と、
前記運転者の色覚特性情報と前記背景色検出手段の検出した前記背景色とに基づいて、前記運転者から見た前記認識対象物の色彩を調整する色調整画像を前記フロントガラスに重畳表示する色調整画像表示手段と、
を備えることを特徴とする画像表示装置。 An image display device for displaying an image on a windshield of a vehicle,
Image capturing means for capturing an image in front of the vehicle;
Recognition object detection means for detecting a recognition object to be recognized by the driver in front of the vehicle;
Background color detection means for detecting a background color of the recognition object viewed from the driver based on the recognition object detected by the recognition object detection means and the image picked up by the image pickup means;
Based on the color vision characteristic information of the driver and the background color detected by the background color detection means, a color adjustment image for adjusting the color of the recognition object viewed from the driver is superimposed and displayed on the windshield. Color adjustment image display means;
An image display device comprising:
The image display device according to claim 1, wherein the color adjustment image display unit superimposes and displays a background color adjustment image for adjusting a color of the background color viewed from the driver on the windshield.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010276028A JP2012121527A (en) | 2010-12-10 | 2010-12-10 | Image display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010276028A JP2012121527A (en) | 2010-12-10 | 2010-12-10 | Image display device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012121527A true JP2012121527A (en) | 2012-06-28 |
Family
ID=46503452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010276028A Pending JP2012121527A (en) | 2010-12-10 | 2010-12-10 | Image display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012121527A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014085723A (en) * | 2012-10-19 | 2014-05-12 | Toyota Motor Corp | Information providing device and information providing method |
| WO2016056162A1 (en) | 2014-10-06 | 2016-04-14 | Toyota Jidosha Kabushiki Kaisha | Safety system for augmenting roadway objects on a heads-up display |
| JP2016058092A (en) * | 2014-09-10 | 2016-04-21 | コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． | Discrimination device for color blind drivers |
| WO2016185563A1 (en) * | 2015-05-19 | 2016-11-24 | 日立マクセル株式会社 | Head-mounted display, head-up display, and picture display method |
| WO2017203964A1 (en) * | 2016-05-23 | 2017-11-30 | Ricoh Company, Ltd. | Information display device |
| CN108158063A (en) * | 2017-12-12 | 2018-06-15 | 北京小米移动软件有限公司 | Raincoat control method and device |
| JP2018173755A (en) * | 2017-03-31 | 2018-11-08 | パナソニックＩｐマネジメント株式会社 | Driving assistance device, driving assistance method, and driving assistance program |
| JP2019021306A (en) * | 2017-07-18 | 2019-02-07 | トヨタ自動車株式会社 | Augmented reality vehicle support for color blind person |
-
2010
- 2010-12-10 JP JP2010276028A patent/JP2012121527A/en active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014085723A (en) * | 2012-10-19 | 2014-05-12 | Toyota Motor Corp | Information providing device and information providing method |
| JP2016058092A (en) * | 2014-09-10 | 2016-04-21 | コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． | Discrimination device for color blind drivers |
| WO2016056162A1 (en) | 2014-10-06 | 2016-04-14 | Toyota Jidosha Kabushiki Kaisha | Safety system for augmenting roadway objects on a heads-up display |
| US9472023B2 (en) | 2014-10-06 | 2016-10-18 | Toyota Jidosha Kabushiki Kaisha | Safety system for augmenting roadway objects on a heads-up display |
| JPWO2016185563A1 (en) * | 2015-05-19 | 2018-05-24 | マクセル株式会社 | Head-mounted display, head-up display, and video display method |
| WO2016185563A1 (en) * | 2015-05-19 | 2016-11-24 | 日立マクセル株式会社 | Head-mounted display, head-up display, and picture display method |
| US10365490B2 (en) | 2015-05-19 | 2019-07-30 | Maxell, Ltd. | Head-mounted display, head-up display and picture displaying method |
| WO2017203964A1 (en) * | 2016-05-23 | 2017-11-30 | Ricoh Company, Ltd. | Information display device |
| US10831022B2 (en) | 2016-05-23 | 2020-11-10 | Ricoh Company, Ltd. | Information display device |
| JP2018173755A (en) * | 2017-03-31 | 2018-11-08 | パナソニックＩｐマネジメント株式会社 | Driving assistance device, driving assistance method, and driving assistance program |
| JP2019021306A (en) * | 2017-07-18 | 2019-02-07 | トヨタ自動車株式会社 | Augmented reality vehicle support for color blind person |
| US10527849B2 (en) | 2017-07-18 | 2020-01-07 | Toyota Jidosha Kabushiki Kaisha | Augmented reality vehicular assistance for color blindness |
| CN108158063A (en) * | 2017-12-12 | 2018-06-15 | 北京小米移动软件有限公司 | Raincoat control method and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012121527A (en) | Image display device | |
| US11205348B2 (en) | Drive assist device | |
| JP5689872B2 (en) | Vehicle periphery monitoring device | |
| JP5143235B2 (en) | Control device and vehicle surrounding monitoring device | |
| CN107615755B (en) | Head-mounted display, head-up display and image display method | |
| KR20190000860A (en) | Method for Providing Adaptive Augmented Reality | |
| JP2012148710A (en) | Image display apparatus | |
| EP2720458A1 (en) | Image generation device | |
| US20190016256A1 (en) | Projection of a Pre-Definable Light Pattern | |
| US11516451B2 (en) | Imaging apparatus, imaging processing method, image processing device and imaging processing system | |
| JP5533766B2 (en) | Vehicle display device | |
| US20150062341A1 (en) | Image processing apparatus, imaging apparatus, vehicle drive assisting apparatus, and image processing method | |
| JP5171723B2 (en) | Obstacle detection device and vehicle equipped with the device | |
| JPWO2016067574A1 (en) | Display control apparatus and display control program | |
| JP5516998B2 (en) | Image generation device | |
| JP2010111260A (en) | Vehicle speed control device | |
| JP2012027773A (en) | Pseudo grayscale image generation device and program | |
| US20160012307A1 (en) | Road sign recognition device | |
| JP2016111509A (en) | Image processing device for vehicle, image processing method for vehicle and program | |
| JP5192007B2 (en) | Vehicle periphery monitoring device | |
| JP2016025394A (en) | Display device for vehicle | |
| JP2006157728A (en) | System, method, and program for processing image information, and automobile | |
| CN111241946B (en) | Method and system for increasing FOV (field of view) based on single DLP (digital light processing) optical machine | |
| JP5617678B2 (en) | Vehicle display device | |
| KR101767433B1 (en) | Apparatus for matching image of head-up display |