JP2016161767A - Image display device - Google Patents
Image display device Download PDFInfo
- Publication number
- JP2016161767A JP2016161767A JP2015040384A JP2015040384A JP2016161767A JP 2016161767 A JP2016161767 A JP 2016161767A JP 2015040384 A JP2015040384 A JP 2015040384A JP 2015040384 A JP2015040384 A JP 2015040384A JP 2016161767 A JP2016161767 A JP 2016161767A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- user
- unit
- chromatic aberration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 230000004075 alteration Effects 0.000 claims abstract description 92
- 238000012937 correction Methods 0.000 claims abstract description 52
- 238000004364 calculation method Methods 0.000 claims description 27
- 239000011521 glass Substances 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 8
- 238000003702 image correction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 238000000034 method Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
Abstract
Description
本発明は、表示面にカラー画像を表示する画像表示装置に関するものである。 The present invention relates to an image display device that displays a color image on a display surface.
表示面にカラー画像を表示させるヘッドアップディスプレイなどの画像表示装置では、一般に、Ｒ，Ｇ，Ｂの光の三原色からなる光源（レーザー等）を用いて、それぞれの色を混ぜ合わせることにより多種多様な色が作成される。 In general, image display devices such as a head-up display that displays a color image on a display surface use a light source (laser, etc.) composed of three primary colors of R, G, and B, and mix various colors. Colors are created.
例えば下記の特許文献１に記載されるヘッドアップディスプレイ装置では、Ｒ，Ｇ，Ｂの三原色のレーザーダイオードによるレーザー光に基づいてＤＭＤにより表示光が生成され、この表示光が透過型スクリーンにより拡散され、反射器からウィンドシールドに出射される。 For example, in the head-up display device described in Patent Document 1 below, display light is generated by DMD based on laser light from laser diodes of three primary colors of R, G, and B, and this display light is diffused by a transmissive screen. The light is emitted from the reflector to the windshield.
しかしながら、画像表示装置の表示画像の観察者が度の強い眼鏡を装着している場合、眼鏡レンズを介して目に届く光が、色波長ごとの屈折率の違いによる色収差を発生し易くなる。すなわち、観察者から見た画像は、色収差の発生により、眼鏡レンズの縁に近いほど色ずれを生じてしまい、視認性が低下するという不利益がある。 However, when a viewer of a display image of the image display device wears strong spectacles, light that reaches the eyes through the spectacle lens tends to generate chromatic aberration due to a difference in refractive index for each color wavelength. That is, the image viewed from the observer has a disadvantage that due to the occurrence of chromatic aberration, the closer to the edge of the spectacle lens, the color shift occurs and the visibility decreases.
本発明はかかる事情に鑑みてなされたものであり、その目的は、色収差の発生による表示画像の色ずれを低減し、視認性を向上させることができる画像表示装置を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image display device capable of reducing color shift of a display image due to occurrence of chromatic aberration and improving visibility.
本発明に係る画像表示装置は、入力される画像データに基づいて表示面に画像を表示する表示部と、前記表示面の前に位置する使用者の頭部を撮像する撮像部と、前記撮像部による撮像画像に基づいて、前記表示面に対する前記使用者の顔の方向を検出する画像処理部と、前記使用者が着用する眼鏡のレンズの色収差により、前記眼鏡を介した前記使用者の視界の各位置において前記表示部の表示画像に生じ得る色ずれに関する色収差情報と、前記画像処理部が検出した前記顔の方向とに基づいて、前記色ずれを補正するために前記表示画像の各画素が色ごとに移動するべき距離及び方向を示す補正データを算出する算出部と、前記補正データに基づいて前記表示画像の各画素を色ごと補正した前記画像データを生成し、前記表示部に入力する画像補正部とを有する。
上記の構成によれば、前記画像処理部が検出した前記顔の方向により、前記眼鏡を介した前記使用者の視界の中における前記表示部の表示画像の配置が分かるため、当該視界の各位置において前記表示部の表示画像に生じ得る色ずれに関する前記色収差情報に基づいて、前記色ずれを補正するために前記表示画像の各画素が色ごとに移動するべき距離及び方向を示す前記補正データが算出される。この補正データに基づいて、前記表示画像の各画素が色ごとに補正された画像データが生成され、当該補正された画像データが前記表示部に入力されることにより、前記使用者の視界から見た前記表示画像の前記色ずれが補正される。
An image display device according to the present invention includes a display unit that displays an image on a display surface based on input image data, an imaging unit that images a user's head located in front of the display surface, and the imaging An image processing unit for detecting a direction of the user's face with respect to the display surface based on a captured image by the unit; and a visual field of the user through the glasses due to chromatic aberration of a lens of the glasses worn by the user Each pixel of the display image to correct the color shift based on the chromatic aberration information relating to the color shift that may occur in the display image of the display unit at each position of the image and the face direction detected by the image processing unit. Calculates correction data indicating the distance and direction to be moved for each color, and generates the image data obtained by correcting each pixel of the display image for each color based on the correction data, and inputs the generated image data to the display unit You And an image correcting unit.
According to the above configuration, since the arrangement of the display image of the display unit in the user's field of view through the glasses is known from the face direction detected by the image processing unit, each position of the field of view The correction data indicating the distance and direction in which each pixel of the display image should move for each color in order to correct the color shift based on the chromatic aberration information relating to the color shift that may occur in the display image of the display unit in FIG. Calculated. Based on this correction data, image data in which each pixel of the display image is corrected for each color is generated, and the corrected image data is input to the display unit, so that it can be viewed from the user's field of view. The color shift of the display image is corrected.
好適に、上記画像表示装置は、前記使用者を識別するための識別情報を入力する入力部と、前記識別情報と前記色収差情報とを対応付けて記憶する記憶部とを有してよい。前記算出部は、前記入力部において入力された前記識別情報に一致する識別情報と対応付けて前記記憶部に記憶された前記色収差情報を用いて前記補正データを算出してよい。
上記の構成によれば、前記使用者ごとに準備された前記色収差情報が前記補正データの算出に用いられるため、前記使用者個人に合わせた適切な前記色ずれの補正が行われる。
Preferably, the image display device may include an input unit that inputs identification information for identifying the user, and a storage unit that stores the identification information and the chromatic aberration information in association with each other. The calculation unit may calculate the correction data using the chromatic aberration information stored in the storage unit in association with identification information that matches the identification information input in the input unit.
According to said structure, since the said chromatic aberration information prepared for every said user is used for calculation of the said correction data, the correction | amendment of the said color shift suitable for the said user's individual is performed.
好適に、上記画像表示装置は、前記使用者の顔の特徴を識別するための識別情報と前記色収差情報とを対応付けて記憶する記憶部を有してよい。前記画像処理部は、前記撮像部による撮像画像に基づいて前記使用者の顔の特徴を抽出し、当該抽出した顔の特徴に基づいて前記識別情報を取得してよい。前記算出部は、前記画像処理部において取得された前記識別情報に一致する識別情報と対応付けて前記記憶部に記憶された前記色収差情報を用いて前記補正データを算出してよい。
上記の構成においても、前記使用者ごとに準備された前記色収差情報が前記補正データの算出に用いられるため、前記使用者個人に合わせた適切な前記色ずれの補正が行われる。また、前記撮像部による撮像画像から前記識別情報が自動的に取得されるため、操作が簡易になり利用性が向上する。
Suitably, the said image display apparatus may have a memory | storage part which matches and memorize | stores the identification information for identifying the feature of the said user's face, and the said chromatic aberration information. The image processing unit may extract a facial feature of the user based on an image captured by the imaging unit, and acquire the identification information based on the extracted facial feature. The calculation unit may calculate the correction data using the chromatic aberration information stored in the storage unit in association with identification information that matches the identification information acquired in the image processing unit.
Also in the above configuration, since the chromatic aberration information prepared for each user is used for the calculation of the correction data, the color misregistration appropriate for the individual user is corrected. In addition, since the identification information is automatically acquired from the image captured by the imaging unit, the operation is simplified and the usability is improved.
好適に、前記色収差情報は、前記眼鏡を介した前記使用者の視界の中で縦方向に伸びる複数の帯状領域に属した前記表示画像の画素群に生じ得る前記視界の横方向への色ずれに関する情報であってよい。前記算出部は、前記色収差情報と前記画像処理部が検出した前記顔の方向とに基づいて、前記視界中のそれぞれの前記帯状領域に属した前記表示画像の画素群が色ごとに移動するべき距離及び方向を示す補正データを算出してよい。
上記の構成によれば、前記視界の縦方向への色ずれが無視できる場合に、前記補正データの簡易的な算出が可能である。
Preferably, the chromatic aberration information includes a lateral color shift of the visual field that may occur in a pixel group of the display image belonging to a plurality of strip-like regions extending in a vertical direction in the visual field of the user through the glasses. It may be information about. Based on the chromatic aberration information and the face direction detected by the image processing unit, the calculation unit should move a pixel group of the display image belonging to each band-like region in the field of view for each color. Correction data indicating the distance and direction may be calculated.
According to said structure, when the color shift to the vertical direction of the said visual field can be disregarded, the calculation of the said correction data is possible.
好適に、前記色収差情報は、前記眼鏡を介した前記使用者の視界の中で前記視界の中心に対し円環をなす複数の円環状領域に属した前記表示画像の画素群に生じ得る前記円環の径方向への色ずれに関する情報であってよい。前記算出部は、前記色収差情報と前記画像処理部が検出した前記顔の方向とに基づいて、前記視界中のそれぞれの前記円環状領域に属した前記表示画像の画素群が色ごとに移動するべき距離及び方向を示す補正データを算出してよい。
上記の構成によれば、前記眼鏡のレンズに起因する色収差が前記視界における前記円環の径方向への色ずれを生じ易い場合に、前記補正データの簡易的な算出が可能である。
Preferably, the chromatic aberration information may be generated in a pixel group of the display image belonging to a plurality of annular regions that form a ring with respect to a center of the field of view of the user through the glasses. It may be information regarding color misregistration in the radial direction of the ring. Based on the chromatic aberration information and the face direction detected by the image processing unit, the calculation unit moves a pixel group of the display image belonging to each annular region in the field of view for each color. Correction data indicating the power distance and direction may be calculated.
According to the above configuration, the correction data can be simply calculated when chromatic aberration caused by the lens of the glasses tends to cause a color shift in the radial direction of the ring in the field of view.
好適に、前記画像処理部は、前記撮像部による撮像画像に基づいて前記使用者の視線方向を更に検出してよい。前記画像補正部は、前記視線方向を中心とする前記視界の所定の範囲に含まれた前記表示画像の画素に限定して前記補正を行ってよい。
上記の構成によれば、前記視線方向の中心から離れており、人の視覚における色の弁別能力が低い範囲において前記色ずれの補正が省略されるため、前記補正に要する処理の負担が軽減される。
Suitably, the said image process part may further detect the said user's gaze direction based on the captured image by the said imaging part. The image correction unit may perform the correction only for pixels of the display image included in a predetermined range of the field of view centered on the line-of-sight direction.
According to the above configuration, since the color misregistration correction is omitted in a range that is far from the center of the line-of-sight direction and has a low color discrimination ability in human vision, the burden of processing required for the correction is reduced. The
好適に、上記画像表示装置は、情報を入力する入力部と色収差情報取得部とを有してよい。前記色収差情報取得部は、前記使用者の顔が前記表示面に対して所定の方向を向くように前記使用者に注視させるための注視画像を前記表示部によって前記表示面に表示し、複数色の画素で構成されたテスト画像を前記表示部によって前記表示面の前記注視画像から離れた位置に表示し、前記使用者が視認した前記テスト画像の色ずれに関する情報を前記入力部において入力し、前記入力した色ずれに関する情報と、前記画像処理部が検出した前記顔の方向とに基づいて前記色収差情報を取得してよい。
上記の構成によれば、前記使用者の眼鏡のレンズに特有の前記色収差識別情報が取得される。
Preferably, the image display device may include an input unit for inputting information and a chromatic aberration information acquisition unit. The chromatic aberration information acquisition unit displays on the display surface a gaze image for causing the user to gaze so that the user's face faces a predetermined direction with respect to the display surface. A test image constituted by the pixels is displayed at a position away from the gaze image on the display surface by the display unit, and information on the color shift of the test image visually recognized by the user is input in the input unit, The chromatic aberration information may be acquired based on the input information regarding color misregistration and the face direction detected by the image processing unit.
According to said structure, the said chromatic aberration identification information peculiar to the lens of the said user's spectacles is acquired.
本発明によれば、色収差の発生による表示画像の色ずれを低減し、視視認性を向上させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the color shift of the display image by generation | occurrence | production of chromatic aberration can be reduced, and visual visibility can be improved.
以下、図面を参照して、本発明の一実施形態に係る画像表示装置を説明する。図１は本発明の一実施形態に係る画像表示装置の構成の一例を示す図である。
本実施形態に係る画像表示装置は、例えば、自動車のフロントガラスにおいて画像を表示するヘッドアップディスプレイ装置として構成される。図１に示す画像表示装置は、表示部１０と、視線検知装置２０と、処理部３０と、記憶部４０と、入力部５０を備える。
Hereinafter, an image display apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an example of the configuration of an image display apparatus according to an embodiment of the present invention.
The image display device according to the present embodiment is configured as a head-up display device that displays an image on a windshield of an automobile, for example. The image display apparatus illustrated in FIG. 1 includes a display unit 10, a line-of-sight detection device 20, a processing unit 30, a storage unit 40, and an input unit 50.
表示部１０は、処理部３０から入力される画像データに基づいて表示面１にカラー画像を表示する。例えば表示部１０は、複数色のレーザー光源による表示光をフロントガラス上の表示面１に当ててカラー画像を表示する投影装置である。この投影装置は、自動車の運転者（使用者２）から見て、あたかもフロントガラスの先に仮想の表示面が存在するように画像を投影表示する。表示部１０は、例示した投影装置に限定されず、他方式の表示装置であっても構わない。 The display unit 10 displays a color image on the display surface 1 based on the image data input from the processing unit 30. For example, the display unit 10 is a projection device that displays a color image by applying display light from a plurality of colors of laser light sources to the display surface 1 on the windshield. This projection device projects and displays an image as if a virtual display surface is present at the tip of the windshield as viewed from the driver (user 2) of the car. The display unit 10 is not limited to the exemplified projection apparatus, and may be a display apparatus of another type.
視線検知装置２０は、画像処理によって使用者２の視線や表示面１に対する顔の方向を検知する装置であり、図１の例では、撮像部２１と画像処理部２２を有する。撮像部２１は、表示面１の前に位置する使用者２の頭部を撮像する。画像処理部２２は、撮像部２１による使用者２の頭部の撮像画像に基づいて、使用者２の視線方向や表示面１に対する顔の方向を検出する。画像処理部２２は、例えば撮像部２１の撮像画像のデータを処理するコンピュータや専用ハードウェア（ＡＳＩＣ等）を含んで構成される。 The line-of-sight detection device 20 is a device that detects the line of sight of the user 2 and the direction of the face with respect to the display surface 1 by image processing, and includes an imaging unit 21 and an image processing unit 22 in the example of FIG. The imaging unit 21 images the head of the user 2 located in front of the display surface 1. The image processing unit 22 detects the line-of-sight direction of the user 2 and the direction of the face with respect to the display surface 1 based on the captured image of the head of the user 2 by the imaging unit 21. The image processing unit 22 includes, for example, a computer that processes data of a captured image of the imaging unit 21 and dedicated hardware (such as an ASIC).
画像処理部２２は、例えば図１において示すように、使用者２の頭部に規定される前額面Ｐｃに垂直なベクトルＶｆと、表示面１の中央部に垂直かつ鉛直線と平行な仮想平面Ｐｓとのなす角度αを顔の向きとして検出する。この場合、使用者２の頭部の中心が仮想平面Ｐｓと交わる位置にあると仮定される。なお、画像処理部２２は、顔の左右の向きを表す角度αのみでなく、顔の上下の向きも含んだベクトルＶｆのより正確な方向を検出してもよい。 For example, as shown in FIG. 1, the image processing unit 22 includes a vector Vf perpendicular to the frontal plane Pc defined on the head of the user 2 and a virtual plane perpendicular to the center of the display surface 1 and parallel to the vertical line. The angle α formed with Ps is detected as the face orientation. In this case, it is assumed that the center of the head of the user 2 is at a position that intersects the virtual plane Ps. Note that the image processing unit 22 may detect a more accurate direction of the vector Vf including not only the angle α representing the right and left direction of the face but also the vertical direction of the face.
処理部３０は、画像表示装置の全体的な動作を統括する装置であり、例えばプログラムの命令コードに従って処理を実行するコンピュータを含んで構成される。なお、測位演算装置５０の機能の少なくとも一部は、専用のロジック回路（ＡＳＩＣ等）によって実現することも可能である。 The processing unit 30 is a device that controls the overall operation of the image display device, and includes, for example, a computer that executes processing in accordance with an instruction code of a program. It should be noted that at least a part of the functions of the positioning calculation device 50 can be realized by a dedicated logic circuit (ASIC or the like).
処理部３０は、図１の例において、色収差情報取得部３１と、算出部３２と、画像補正部３３を有する。 In the example of FIG. 1, the processing unit 30 includes a chromatic aberration information acquisition unit 31, a calculation unit 32, and an image correction unit 33.
色収差情報取得部３１は、後述する算出部３２において、使用者２の顔の向きに応じて表示部１０の表示画像に色ずれの補正を施すために用いられる色収差情報を取得するための処理を行う。色収差情報は、使用者２が着用する眼鏡３のレンズの色収差により、眼鏡３を介した使用者２の視界の各位置において表示部１０の表示画像に生じ得る色ずれに関する情報である。この色収差情報は、色収差情報取得部３１によって一旦取得された後は、使用者２に固有の識別情報と関連付けて記憶部４０に格納され、表示面１に画像を表示する都度、表示画像の色ずれ補正に用いられる。 The chromatic aberration information acquisition unit 31 performs processing for acquiring chromatic aberration information used for correcting a color shift on the display image of the display unit 10 according to the orientation of the face of the user 2 in the calculation unit 32 described later. Do. The chromatic aberration information is information regarding a color shift that may occur in the display image of the display unit 10 at each position in the field of view of the user 2 through the glasses 3 due to the chromatic aberration of the lens of the glasses 3 worn by the user 2. After the chromatic aberration information is once acquired by the chromatic aberration information acquisition unit 31, it is stored in the storage unit 40 in association with identification information unique to the user 2, and each time an image is displayed on the display surface 1, the color of the display image Used for deviation correction.
まず、色収差情報取得部３１は、使用者２の顔が表示面１に対して所定の方向（例えばベクトルＶｆが仮想平面Ｐｓと平行になる方向）を向くように使用者２に注視させるための注視画像を、表示部１０によって表示面１に表示する。次に、色収差情報取得部３１は、複数色の画素で構成されたテスト画像を表示部１０によって表示面１の注視画像から離れた位置に表示する。使用者２が顔の向きを保ったまま視線を注視画像からテスト画像へ移動すると、色収差情報取得部３１は、このとき使用者２が視認したテスト画像の色ずれに関する情報を入力部５０において入力する。 First, the chromatic aberration information acquisition unit 31 causes the user 2 to gaze so that the face of the user 2 faces a predetermined direction with respect to the display surface 1 (for example, a direction in which the vector Vf is parallel to the virtual plane Ps). The gaze image is displayed on the display surface 1 by the display unit 10. Next, the chromatic aberration information acquisition unit 31 displays a test image composed of pixels of a plurality of colors at a position away from the gaze image on the display surface 1 by the display unit 10. When the user 2 moves the line of sight from the gaze image to the test image while maintaining the face orientation, the chromatic aberration information acquisition unit 31 inputs information on the color shift of the test image visually recognized by the user 2 at this time in the input unit 50. To do.
例えば色収差情報取得部３１は、元の画像に対してそれぞれ異なる色ずれの補正が施された複数パターンのテスト画像を表示面１の同じ位置に順次表示する。使用者２は、その複数パターンのテスト画像を比較し、その中で最も色ずれが小さく見えるテスト画像を選択する。色収差情報取得部３１は、この使用者２の選択結果を入力部５０において入力する。色収差情報取得部３１は、入力部５０により入力した使用者２の判定結果（使用者２が視認した色ずれに関する情報）と、画像処理部２２が検出した顔の方向とに基づいて色収差情報を取得する。 For example, the chromatic aberration information acquisition unit 31 sequentially displays a plurality of patterns of test images obtained by correcting different color shifts on the original image at the same position on the display surface 1. The user 2 compares the test images of the plurality of patterns, and selects the test image that appears to have the smallest color shift among them. The chromatic aberration information acquisition unit 31 inputs the selection result of the user 2 through the input unit 50. The chromatic aberration information acquisition unit 31 obtains chromatic aberration information based on the determination result of the user 2 (information regarding color misregistration visually recognized by the user 2) input by the input unit 50 and the face direction detected by the image processing unit 22. get.
算出部３２は、上述の色収差情報と、画像処理部２２が検出した使用者２の顔の方向とに基づいて、眼鏡レンズの色収差による色ずれを補正するために表示画像の各画素が色ごとに移動するべき距離及び方向を示す補正データを算出する。 Based on the chromatic aberration information described above and the direction of the face of the user 2 detected by the image processing unit 22, the calculation unit 32 corrects the color shift due to the chromatic aberration of the spectacle lens for each pixel of the display image. The correction data indicating the distance and direction to be moved to is calculated.
例えば、色収差情報は、眼鏡３を介した使用者２の視界の中で縦方向に伸びる複数の帯状（短冊状）領域に属した表示画像の画素群に生じ得る視界の横方向への色ずれに関する情報である。このような色収差情報は、自動車用のヘッドアップディスプレイ装置などのように画像が比較的横方向に長く、視界の横方向への色ずれは生じ易いが、縦方向への色ずれがあまり生じない場合に有効である。この場合、算出部３２は、上述の色収差情報と画像処理部２２が検出した顔の方向とに基づいて、使用者２の視界中のそれぞれの帯状領域（特に眼鏡レンズの縁に近い領域）に属した表示画像の画素群が色ごとに移動するべき距離及び方向を示す補正データを算出する。 For example, the chromatic aberration information is a color shift in the horizontal direction of the visual field that may occur in a pixel group of a display image belonging to a plurality of strip-shaped (strip-shaped) regions extending in the vertical direction in the visual field of the user 2 through the glasses 3. It is information about. Such chromatic aberration information is such that the image is relatively long in the horizontal direction as in a head-up display device for automobiles and the like, and color shift in the horizontal direction of the field of view tends to occur, but color shift in the vertical direction does not occur much. It is effective in the case. In this case, based on the above-described chromatic aberration information and the face direction detected by the image processing unit 22, the calculation unit 32 applies each band-like region in the field of view of the user 2 (particularly, a region close to the edge of the spectacle lens). Correction data indicating the distance and direction in which the pixel group of the display image to which it belongs should move for each color is calculated.
なお、算出部３２は、補正データを算出する場合、記憶部４０から色収差情報を取得する。すなわち、算出部３２は、入力部５０において使用者２により識別情報が入力されると、当該入力された識別情報に一致する識別情報と対応付けられた色収差情報を記憶部４０において検索し、この検索により記憶部４０から読み出された色収差情報を用いて補正データの算出を行う。 The calculation unit 32 acquires chromatic aberration information from the storage unit 40 when calculating correction data. That is, when the identification information is input by the user 2 at the input unit 50, the calculation unit 32 searches the storage unit 40 for chromatic aberration information associated with the identification information that matches the input identification information. Correction data is calculated using the chromatic aberration information read from the storage unit 40 by the search.
画像補正部３３は、算出部３２において算出された補正データに基づいて、表示画像の各画素を色ごとに補正した画像データを生成し、表示部１０に入力する。 The image correction unit 33 generates image data obtained by correcting each pixel of the display image for each color based on the correction data calculated by the calculation unit 32 and inputs the image data to the display unit 10.
記憶部４０は、処理部３０において処理に使用される定数データ（色収差情報、識別情報等）や変数データを記憶する装置であり、ＤＲＡＭやＳＲＡＭなどの揮発性メモリ、フラッシュメモリなどの不揮発性メモリ、ハードディスク、記録ディスク、ＵＳＢメモリ、ＳＤカードなどを含んで構成される。処理部３０がコンピュータを含む場合、記憶部４０は、そのコンピュータにおいて実行されるプログラムを記憶してもよい。プログラムの実行時には、ＤＲＡＭ等の記憶装置にプログラムが適宜ロードされ、コンピュータのマイクロプロセッサによってプログラム中の命令コードが順次に読み出されて実行される。 The storage unit 40 is a device that stores constant data (chromatic aberration information, identification information, etc.) and variable data used for processing in the processing unit 30, and is a volatile memory such as a DRAM or SRAM, or a nonvolatile memory such as a flash memory. , Hard disk, recording disk, USB memory, SD card and the like. When the processing unit 30 includes a computer, the storage unit 40 may store a program executed on the computer. When the program is executed, the program is appropriately loaded into a storage device such as a DRAM, and the instruction codes in the program are sequentially read and executed by the microprocessor of the computer.
入力装置５０は、使用者２（本実施形態では、運転者）の情報を入力するための装置である。本実施形態の入力装置５０としては、例えば、運転席において、タッチパネルディスプレイ（図示せず）をタッチ操作して使用者２の識別情報を入力する装置が挙げられる。例えば、タッチパネルディスプレイに表示された質問項目に応じて、必要項目を選択入力することが考えられる。入力装置５０は、例示したタッチパネルディスプレイに限定されず、例えば、ダイヤルやスイッチ、ボタン、キーボード、マウス、音声入力装置等の他方式の入力装置であっても構わない。 The input device 50 is a device for inputting information on the user 2 (in this embodiment, a driver). Examples of the input device 50 according to this embodiment include a device that inputs identification information of the user 2 by touching a touch panel display (not shown) in the driver's seat. For example, it is conceivable to select and input necessary items according to the question items displayed on the touch panel display. The input device 50 is not limited to the illustrated touch panel display, and may be another type of input device such as a dial, a switch, a button, a keyboard, a mouse, and a voice input device.
使用者２の識別情報には、眼鏡装着の有無や眼鏡に関する情報（近視・乱視等の眼鏡レンズの種類、度の強さ等）がパーソナルデータとして紐付けられて記憶部４０に記憶される。 The identification information of the user 2 is stored in the storage unit 40 as personal data associated with the presence / absence of spectacles and information on spectacles (types of spectacle lenses such as myopia and astigmatism, intensity of strength, etc.).
次に、上述した構成を有する本実施形態に係る画像表示装置の動作を説明する。 Next, the operation of the image display apparatus according to this embodiment having the above-described configuration will be described.
近年、ハイグレード自動車には、ヘッドアップディスプレイなどの画像表示装置を装備したものがある。ヘッドアップディスプレイは、自動車のフロントガラスの前方に仮想表示面を設定し、当該表示面にカラー画像を表示する。しかし、運転者が度の強い眼鏡を着用している場合には、眼鏡レンズの縁部において、光源の色波長の違いによる色収差が発生する。従って、運転者が度の強い眼鏡を着用している場合には、色収差の発生により、視界中の端部に近いところで表示画像に色ずれが生じ、視認性が低下する。特に、自動車のフロントガラスの前方に表示する画像は横に長い場合が多いため、画像の両端部において視認性が低下する。そこで、本実施形態に係る画像表示装置では、眼鏡レンズの色収差により使用者２の視界中の表示画像に生じた色ずれを、表示面１に対する使用者２の顔の方向に応じて補正する処理を行う。 In recent years, some high-grade automobiles are equipped with an image display device such as a head-up display. The head-up display sets a virtual display surface in front of the windshield of an automobile and displays a color image on the display surface. However, when the driver wears strong spectacles, chromatic aberration due to the difference in the color wavelength of the light source occurs at the edge of the spectacle lens. Therefore, when the driver wears strong glasses, the color deviation occurs in the display image near the end in the field of view due to the occurrence of chromatic aberration, and the visibility is lowered. In particular, since an image displayed in front of a windshield of an automobile is often long in the horizontal direction, visibility is deteriorated at both ends of the image. Therefore, in the image display apparatus according to the present embodiment, a process for correcting a color shift caused in the display image in the field of view of the user 2 due to the chromatic aberration of the spectacle lens according to the direction of the face of the user 2 with respect to the display surface 1. I do.
まず、図２を参照して、使用者２に固有の色収差情報を取得する手順について説明する。色収差情報の取得は、使用者２が自身の眼鏡３のレンズによる表示画像の色ずれを補正するために必要な手順であり、少なくとも最初に１度だけ行えばよい。 First, a procedure for acquiring chromatic aberration information specific to the user 2 will be described with reference to FIG. Acquiring the chromatic aberration information is a procedure necessary for the user 2 to correct the color shift of the display image by the lens of his / her own glasses 3, and may be performed at least once at the beginning.
色収差情報の取得を指示する所定の操作が入力部５０に入力されると、色収差情報取得部３１は、表示部１０によって表示面１の所定の位置（例えば中央部）に所定の注視画像（例えば光点）を表示する（ＳＴ１００）。この注視画像は、使用者２の顔が表示面１に対して所定の方向を向くように促すためのものである。 When a predetermined operation for instructing acquisition of chromatic aberration information is input to the input unit 50, the chromatic aberration information acquisition unit 31 causes the display unit 10 to display a predetermined gaze image (for example, a central portion) at a predetermined position (for example, the center). (Light spot) is displayed (ST100). This gaze image is for urging the user 2 to face the display surface 1 in a predetermined direction.
なおこのとき、実際の顔の方向を視線検知装置２０（撮像部２１，画像処理部２２）によって検出してもよい。この場合、色収差情報取得部３１は、画像処理部２２において検出した顔の方向を用いて、後述する色収差情報の生成を行う。 At this time, the direction of the actual face may be detected by the line-of-sight detection device 20 (the imaging unit 21 and the image processing unit 22). In this case, the chromatic aberration information acquisition unit 31 uses the face direction detected by the image processing unit 22 to generate chromatic aberration information described later.
次に色収差情報取得部３１は、注視画像から離れた位置に、複数色の画素で構成されたテスト画像を表示部１０により表示する。例えば色収差情報取得部３１は、色ずれを比較的視認し易い白色の画像をテスト画像として表示する。このとき使用者２には、顔の方向を保ったまま視線を注視画像からテスト画像へ移動させる。色収差情報取得部３１は、異なる色ずれ補正が施された複数パターンのテスト画像を表示面１の同じ位置に順次表示する。このテスト画像は、例えば縦方向に伸びる帯状の画像であり、各色の横方向へのずれ量がそれぞれ異なっている。色収差情報取得部３１は、この複数パターンのテスト画像の中で最も色ずれの少ないテスト画像を使用者２に選択させ、その選択結果を入力部５０において入力する（ＳＴ１１０）。色収差情報取得部３１は、表示面１の異なる位置において、同様なテスト画像の表示と使用者２の選択結果の入力を繰り返す（ＳＴ１２０）。全てのテスト画像について使用者２の選択結果が得られると、色収差情報取得部３１は、この選択結果に基づいて色収差情報を生成する（ＳＴ１３０）。 Next, the chromatic aberration information acquisition unit 31 causes the display unit 10 to display a test image composed of pixels of a plurality of colors at a position away from the gaze image. For example, the chromatic aberration information acquisition unit 31 displays, as a test image, a white image in which color misregistration is relatively easy to visually recognize. At this time, the user 2 moves the line of sight from the gaze image to the test image while maintaining the face direction. The chromatic aberration information acquisition unit 31 sequentially displays a plurality of patterns of test images subjected to different color shift corrections at the same position on the display surface 1. This test image is, for example, a belt-like image extending in the vertical direction, and the amount of shift of each color in the horizontal direction is different. The chromatic aberration information acquisition unit 31 causes the user 2 to select the test image with the least color misregistration among the test images of the plurality of patterns, and inputs the selection result at the input unit 50 (ST110). The chromatic aberration information acquisition unit 31 repeats the display of the same test image and the input of the selection result of the user 2 at different positions on the display surface 1 (ST120). When the selection results of user 2 are obtained for all test images, chromatic aberration information acquisition unit 31 generates chromatic aberration information based on the selection results (ST130).
なお、上述のステップＳＴ１１０では、複数パターンのテスト画像から最も色ずれの少ないテスト画像を使用者２に選択させる例を挙げているが、例えば入力部５０（タッチパネル等）の入力操作によって使用者２が表示画像の各色の移動量と方向を任意に調整できるようにしてもよい。すなわち、表示面１の各位置において最も色ずれが小さく見える各色の画素の移動量と方向を、使用者２が直接入力できるようにしてもよい。 In step ST110 described above, an example is given in which the user 2 selects the test image with the least color misregistration from a plurality of patterns of test images. However, for example, the user 2 can perform an input operation of the input unit 50 (touch panel or the like). However, the movement amount and direction of each color of the display image may be arbitrarily adjusted. In other words, the user 2 may directly input the movement amount and direction of each color pixel that appears to have the smallest color shift at each position on the display surface 1.
図３は、画像の表示を行う前に使用者２を識別する手順について説明するためのフローチャートである。 FIG. 3 is a flowchart for explaining a procedure for identifying the user 2 before displaying an image.
例えば使用者２が運転席に座って車両の電気系統がオンすると、画像表示装置の処理部３０は、使用者２の識別情報を入力する（ＳＴ２００）。この識別情報は、例えば入力部５０（タッチパネル等）から使用者２がマニュアルで入力してもよいし、キーレスエントリーシステムを有する場合、電子キーから取得されたＩＤに基づいて、既に記憶部４０に登録されているデータテーブル等から識別情報を自動的に取得してもよい。 For example, when the user 2 sits in the driver's seat and the vehicle's electrical system is turned on, the processing unit 30 of the image display device inputs the identification information of the user 2 (ST200). This identification information may be manually input by the user 2 from the input unit 50 (touch panel or the like), for example. If the user 2 has a keyless entry system, the identification information is already stored in the storage unit 40 based on the ID acquired from the electronic key. The identification information may be automatically acquired from a registered data table or the like.
処理部３０は、入力した識別情報に紐付けられたパーソナルデータを記憶部４０から読み出し、パーソナルデータに基づいて使用者２が眼鏡を着用しているか否か判定する（ＳＴ２１０）。なお、処理部３０は、撮像部２１が撮像した使用者２の撮像画像から眼鏡の着用の有無を画像処理部２２により解析し、その解析結果に基づいて眼鏡の着用の有無を判定してもよい。 The processing unit 30 reads personal data associated with the input identification information from the storage unit 40 and determines whether the user 2 is wearing glasses based on the personal data (ST210). Note that the processing unit 30 analyzes the presence / absence of wearing glasses from the captured image of the user 2 captured by the imaging unit 21, and determines whether the glasses are worn based on the analysis result. Good.
使用者２が眼鏡を着用している場合、処理部３０は、記憶部４０から色収差情報を取得して、算出部３２による補正データの算出に用いる（ＳＴ２２０）。 When the user 2 is wearing glasses, the processing unit 30 acquires chromatic aberration information from the storage unit 40 and uses it for calculation of correction data by the calculation unit 32 (ST220).
図４は、色ずれ補正を行う場合の画像表示の手順について説明するためのフローチャートである。図４の手順は、例えば画像の表示を更新する度に繰り返し実行される。 FIG. 4 is a flowchart for explaining the procedure of image display when color misregistration correction is performed. The procedure of FIG. 4 is repeatedly executed every time the display of an image is updated, for example.
まず画像処理部２２は、撮像部２１において撮像された撮像画像から使用者２の顔を検出する（ＳＴ３００）。 First, the image processing unit 22 detects the face of the user 2 from the captured image captured by the imaging unit 21 (ST300).
次に画像処理部２２は、ステップＳＴ３００において検出された顔の表示面１に対する方向を検出する（ＳＴ３１０）。例えば画像処理部２２は、図１に示すような顔の横方向への角度αを検出する。 Next, the image processing unit 22 detects the direction of the face detected in step ST300 with respect to the display surface 1 (ST310). For example, the image processing unit 22 detects an angle α in the lateral direction of the face as shown in FIG.
画像処理部２２において顔の方向が検出されると、算出部３２は、ステップＳＴ３１０において検出された顔の方向と、ステップＳＴ２２０（図３）において取得された色収差情報とに基づいて、色ずれを補正するために表示画像の各画素が色ごとに移動するべき距離及び方向を示す補正データを算出する（ＳＴ３２０）。 When the image processing unit 22 detects the face direction, the calculation unit 32 performs color misregistration based on the face direction detected in step ST310 and the chromatic aberration information acquired in step ST220 (FIG. 3). Correction data indicating the distance and direction in which each pixel of the display image should move for each color is calculated (ST320).
画像補正部３３は、算出部３２によって算出された補正データに基づいて、表示画像の各画素を色ごとに補正（例えば横方向へ移動）した画像データを生成し、表示部１０に入力する（ＳＴ３３０）。 Based on the correction data calculated by the calculation unit 32, the image correction unit 33 generates image data in which each pixel of the display image is corrected for each color (for example, moved in the horizontal direction), and is input to the display unit 10 ( ST330).
表示部１０は、処理部３０から入力される画像データに基づいて、色ずれの補正がなされた画像を表示面１に表示する（ＳＴ３４０）。 Based on the image data input from processing unit 30, display unit 10 displays an image on which color misregistration has been corrected on display surface 1 (ST340).
以上説明したように、本実施形態に係る画像表示装置によれば、画像処理部２２が検出した使用者２の顔の方向により、眼鏡３のレンズを介した使用者２の視界の中における表示画像の配置が分かる。従って、視界中における表示画像の配置と、使用者２の視界の各位置において表示画像に生じ得る色ずれに関する色収差情報とに基づいて、色ずれを補正するために表示画像の各画素が色ごとに移動するべき距離及び方向を示す補正データが算出される。そして、この補正データに基づいて、表示画像の各画素が色ごとに補正された画像データが生成され、当該補正された画像データが表示部１０に入力されることにより、使用者２から見た表示画像の色ずれを補正できる。従って、使用者２が眼鏡を着用している場合でも、色ずれの低減した視認性の高い画像を表示できる。 As described above, according to the image display apparatus according to the present embodiment, the display in the field of view of the user 2 through the lens of the glasses 3 is performed according to the face direction of the user 2 detected by the image processing unit 22. You can see the image layout. Accordingly, each pixel of the display image is corrected for each color in order to correct the color shift based on the arrangement of the display image in the field of view and the chromatic aberration information regarding the color shift that can occur in the display image at each position in the field of view of the user 2. Correction data indicating the distance and direction to be moved to is calculated. Based on the correction data, image data in which each pixel of the display image is corrected for each color is generated, and the corrected image data is input to the display unit 10 to be viewed from the user 2. The color shift of the display image can be corrected. Therefore, even when the user 2 is wearing glasses, an image with high visibility with reduced color shift can be displayed.
また、本実施形態に係る画像表示装置によれば、使用者２の識別情報と色収差情報とが対応付けて記憶部４０に記憶されており、使用者２の個人ごとに準備された色収差情報が補正データの算出に用いられるため、使用者個人に合わせた適切な色ずれの補正を行うことができる。 Further, according to the image display device according to the present embodiment, the identification information of the user 2 and the chromatic aberration information are stored in the storage unit 40 in association with each other, and the chromatic aberration information prepared for each individual of the user 2 is stored. Since it is used for calculating correction data, it is possible to correct color misregistration suitable for the individual user.
また、本実施形態に係る画像表示装置によれば、色収差情報は、眼鏡３のレンズを介した使用者２の視界の中で縦方向に伸びる複数の帯状（短冊状）領域に属した表示画像の画素群に生じ得る視界の横方向への色ずれに関する情報を表しており、この色収差情報と画像処理部２２が検出した使用者２の顔の方向とに基づいて、視界中のそれぞれの帯状領域に属した表示画像の画素群が色ごとに移動するべき距離及び方向を示す補正データが算出される。
従って、例えば自動車のフロントグラスに画像を表示する場合など、視界の横方向への色ずれが比較的大きく縦方向への色ずれが無視できる場合に、縦方向への色ずれの補正を省略することによって、補正データを簡易な処理で算出できる。これにより、処理部３０の負担を軽減し、処理速度を高めることができる。
Further, according to the image display device according to the present embodiment, the chromatic aberration information is a display image belonging to a plurality of strip-shaped (strip-shaped) regions extending in the vertical direction in the field of view of the user 2 through the lens of the glasses 3. The information on the color shift in the lateral direction of the field of view that can occur in the pixel group of each pixel is represented, and based on this chromatic aberration information and the direction of the face of the user 2 detected by the image processing unit 22, each band shape in the field of view Correction data indicating the distance and direction in which the pixel group of the display image belonging to the region should move for each color is calculated.
Therefore, when the color shift in the horizontal direction of the field of view is relatively large and the color shift in the vertical direction can be ignored, for example, when an image is displayed on the windshield of an automobile, the correction of the color shift in the vertical direction is omitted. Thus, the correction data can be calculated by a simple process. Thereby, the burden on the processing unit 30 can be reduced and the processing speed can be increased.
また、本実施形態に係る画像表示装置によれば、使用者２が視認したテスト画像の色ずれに関する情報と画像処理部２２が検出した使用者２の顔の方向とに基づいて色収差情報が取得されるため、使用者２の眼鏡３のレンズに特有の色収差情報を用いてより精度良く表示画像の色ずれを補正できる。 In addition, according to the image display apparatus according to the present embodiment, chromatic aberration information is acquired based on the information regarding the color shift of the test image visually recognized by the user 2 and the direction of the face of the user 2 detected by the image processing unit 22. Therefore, the color shift of the display image can be corrected with higher accuracy by using chromatic aberration information peculiar to the lens of the glasses 3 of the user 2.
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲又はその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
The present invention is not limited to the embodiment described above.
That is, those skilled in the art may make various changes, combinations, sub-combinations, and alternatives regarding the components of the above-described embodiments within the technical scope of the present invention or an equivalent scope thereof.
上述した実施形態では、使用者２の視界の中で縦方向に伸びる複数の帯状（短冊状）領域に属した表示画像の画素群に生じ得る視界の横方向への色ずれに関する情報を色収差情報として用いる例を挙げたが、本発明はこの例に限定されない。本発明の他の実施形態では、より眼鏡レンズの形状に近い円環状の領域の色ずれに関する情報を色収差情報として用いてもよい。 In the above-described embodiment, the information about the color shift in the horizontal direction of the visual field that may occur in the pixel group of the display image belonging to the plurality of strip-shaped (strip-shaped) regions extending in the vertical direction in the visual field of the user 2 is the chromatic aberration information. However, the present invention is not limited to this example. In another embodiment of the present invention, information regarding color shift in an annular region closer to the shape of a spectacle lens may be used as chromatic aberration information.
例えば、色収差情報は、眼鏡３のレンズを介した使用者２の視界の中で、その視界の中心に対し円環をなす複数の円環状領域に属した表示画像の画素群に生じ得る、円環の径方向への色ずれに関する情報を表す。この場合、算出部３２は、色収差情報と画像処理部２２出した顔の方向とに基づいて、視界中のそれぞれの円環状領域に属した表示画像の画素群が色ごとに移動するべき距離及び方向を示す補正データを算出する。
これにより、視界の縦方向への色ずれが無視できない場合でも、表示画像の色ずれを効果的に低減できる。また、画素ごとに色ずれの補正データを算出する場合に比べて、補正データを簡易な処理で算出できる。
For example, the chromatic aberration information may occur in a pixel group of a display image belonging to a plurality of annular regions that form a ring with respect to the center of the field of view of the user 2 through the lens of the glasses 3. Represents information on color misregistration in the radial direction of the ring. In this case, based on the chromatic aberration information and the face direction output from the image processing unit 22, the calculation unit 32 determines the distance that the pixel group of the display image belonging to each annular region in the field of view should move for each color and Correction data indicating the direction is calculated.
Thereby, even when the color shift in the vertical direction of the field of view cannot be ignored, the color shift of the display image can be effectively reduced. Further, the correction data can be calculated by a simple process as compared with the case of calculating the color misregistration correction data for each pixel.
また、本発明による表示画像の色ずれの補正は、使用者２の視界の全体に渡って行ってもよいし、一部分に限って行ってもよい。例えば、画像補正部３３は、画像処理部２２において撮像部２１による撮像画像に基づいて検出された使用者２の視線方向を中心とする視界の所定の範囲に含まれた表示画像の画素に限定して、補正データに基づいた補正を行ってもよい。一般に、人間の色の弁別能力は、視線が見込む角度が２０度程度の範囲を超えると低下することが知られている。従って、視線方向の中心から離れており、人の視覚における色の弁別能力が低い範囲において色ずれの補正を省略することによって、視認性を低下させることなく補正処理の負担を軽減できる。 In addition, the correction of the color shift of the display image according to the present invention may be performed over the entire field of view of the user 2 or may be performed only in a part. For example, the image correcting unit 33 is limited to pixels of a display image included in a predetermined range of the visual field centered on the user's 2 line-of-sight direction detected based on the image captured by the image capturing unit 21 in the image processing unit 22. Then, correction based on the correction data may be performed. In general, it is known that human color discrimination ability decreases when the angle at which the line of sight is viewed exceeds a range of about 20 degrees. Accordingly, by omitting correction of color misregistration in a range that is far from the center of the line-of-sight direction and has a low color discrimination capability in human vision, the burden of correction processing can be reduced without reducing visibility.
また、上述した実施形態では、識別情報の入力を使用者２がマニュアルで行う例を挙げたが、本発明はこの例に限定されない。本発明の他の実施形態では、例えば、使用者２の顔の特徴を識別するための識別情報と色収差情報とを対応付けて記憶部４０に記憶する。画像処理部２２は、撮像部２１による撮像画像に基づいて、使用者２の顔の特徴を抽出し、抽出した顔の特徴に基づいて識別情報を取得する。算出部３２は、画像処理部２２において取得された顔の特徴の識別情報に一致する識別情報と対応付けて記憶された色収差情報を記憶部４０から読み出して、補正データの算出に用いる。このような構成により、撮像部２１による撮像画像から使用者２の識別情報が自動的に取得されるため、使用者２の操作が更に簡易になり、利用性を向上することができる。 In the above-described embodiment, the example in which the user 2 manually inputs identification information has been described. However, the present invention is not limited to this example. In another embodiment of the present invention, for example, identification information for identifying the facial features of the user 2 and chromatic aberration information are stored in the storage unit 40 in association with each other. The image processing unit 22 extracts the facial features of the user 2 based on the image captured by the imaging unit 21 and acquires identification information based on the extracted facial features. The calculation unit 32 reads the chromatic aberration information stored in association with the identification information that matches the identification information of the facial feature acquired by the image processing unit 22 from the storage unit 40 and uses it for calculating correction data. With such a configuration, since the identification information of the user 2 is automatically acquired from the captured image by the imaging unit 21, the operation of the user 2 is further simplified and the usability can be improved.
図１に示す画像表示装置では、画像処理部２２と処理部３０を別のブロックで表しているが、これらの処理は共通のコンピュータ上で実行してもよい。 In the image display apparatus shown in FIG. 1, the image processing unit 22 and the processing unit 30 are represented by separate blocks, but these processes may be executed on a common computer.
１…表示面、２…使用者、３…眼鏡、１０…表示部、２０…視線検知装置、２１…撮像部、２２…画像処理部、３０…処理部、３１…色収差情報取得部、３２…算出部、３３…画像補正部、４０…記憶部、５０…入力部。 DESCRIPTION OF SYMBOLS 1 ... Display surface, 2 ... User, 3 ... Glasses, 10 ... Display part, 20 ... Eye-gaze detection apparatus, 21 ... Imaging part, 22 ... Image processing part, 30 ... Processing part, 31 ... Chromatic aberration information acquisition part, 32 ... Calculation part, 33 ... Image correction part, 40 ... Storage part, 50 ... Input part.
Claims (7)
前記表示面の前に位置する使用者の頭部を撮像する撮像部と、
前記撮像部による撮像画像に基づいて、前記表示面に対する前記使用者の顔の方向を検出する画像処理部と、
前記使用者が着用する眼鏡のレンズの色収差により、前記眼鏡を介した前記使用者の視界の各位置において前記表示部の表示画像に生じ得る色ずれに関する色収差情報と、前記画像処理部が検出した前記顔の方向とに基づいて、前記色ずれを補正するために前記表示画像の各画素が色ごとに移動するべき距離及び方向を示す補正データを算出する算出部と、
前記補正データに基づいて前記表示画像の各画素を色ごとに補正した前記画像データを生成し、前記表示部に入力する画像補正部と
を有することを特徴とする画像表示装置。 A display unit that displays an image on a display surface based on input image data;
An imaging unit that images a user's head located in front of the display surface;
An image processing unit for detecting a direction of the user's face relative to the display surface based on an image captured by the imaging unit;
The chromatic aberration information relating to the color shift that may occur in the display image of the display unit at each position in the user's field of view through the glasses, and the image processing unit detected by the chromatic aberration of the lens of the glasses worn by the user A calculation unit that calculates correction data indicating a distance and a direction in which each pixel of the display image should move for each color in order to correct the color shift based on the direction of the face;
An image display device comprising: an image correction unit that generates the image data obtained by correcting each pixel of the display image for each color based on the correction data, and inputs the generated image data to the display unit.
前記識別情報と前記色収差情報とを対応付けて記憶する記憶部とを有し、
前記算出部は、前記入力部において入力された前記識別情報に一致する識別情報と対応付けて前記記憶部に記憶された前記色収差情報を用いて前記補正データを算出する
ことを特徴とする請求項１に記載の画像表示装置。 An input unit for inputting identification information for identifying the user;
A storage unit that stores the identification information and the chromatic aberration information in association with each other;
The calculation unit calculates the correction data by using the chromatic aberration information stored in the storage unit in association with identification information that matches the identification information input in the input unit. 2. The image display device according to 1.
前記画像処理部は、前記撮像部による撮像画像に基づいて前記使用者の顔の特徴を抽出し、当該抽出した顔の特徴に基づいて前記識別情報を取得し、
前記算出部は、前記画像処理部において取得された前記識別情報に一致する識別情報と対応付けて前記記憶部に記憶された前記色収差情報を用いて前記補正データを算出する
ことを特徴とする請求項１に記載の画像表示装置。 A storage unit that associates and stores identification information for identifying features of the user's face and the chromatic aberration information;
The image processing unit extracts a facial feature of the user based on a captured image by the imaging unit, acquires the identification information based on the extracted facial feature,
The calculation unit calculates the correction data using the chromatic aberration information stored in the storage unit in association with identification information that matches the identification information acquired in the image processing unit. Item 4. The image display device according to Item 1.
前記算出部は、前記色収差情報と前記画像処理部が検出した前記顔の方向とに基づいて、前記視界中のそれぞれの前記帯状領域に属した前記表示画像の画素群が色ごとに移動するべき距離及び方向を示す補正データを算出する
ことを特徴とする請求項１乃至３の何れか一項に記載の画像表示装置。 The chromatic aberration information is information on a lateral color shift of the visual field that may occur in a pixel group of the display image belonging to a plurality of band-like regions extending in the vertical direction in the visual field of the user through the glasses. Yes,
Based on the chromatic aberration information and the face direction detected by the image processing unit, the calculation unit should move a pixel group of the display image belonging to each band-like region in the field of view for each color. The image display device according to claim 1, wherein correction data indicating a distance and a direction is calculated.
前記算出部は、前記色収差情報と前記画像処理部が検出した前記顔の方向とに基づいて、前記視界中のそれぞれの前記円環状領域に属した前記表示画像の画素群が色ごとに移動するべき距離及び方向を示す補正データを算出する
ことを特徴とする請求項１乃至３の何れか一項に記載の画像表示装置。 The chromatic aberration information may be generated in a pixel group of the display image belonging to a plurality of annular regions that form an annulus with respect to the center of the field of view of the user through the glasses. Information about color misregistration in the direction,
Based on the chromatic aberration information and the face direction detected by the image processing unit, the calculation unit moves a pixel group of the display image belonging to each annular region in the field of view for each color. The correction data indicating the power distance and direction is calculated. The image display device according to any one of claims 1 to 3.
前記画像補正部は、前記視線方向を中心とする前記視界の所定の範囲に含まれた前記表示画像の画素に限定して前記補正を行う
ことを特徴とする請求項１乃至５の何れか一項に記載の画像表示装置。 The image processing unit further detects the user's line-of-sight direction based on an image captured by the imaging unit,
The image correction unit performs the correction only on pixels of the display image included in a predetermined range of the field of view centered on the line-of-sight direction. The image display device according to item.
前記使用者の顔が前記表示面に対して所定の方向を向くように前記使用者に注視させるための注視画像を前記表示部によって前記表示面に表示し、複数色の画素で構成されたテスト画像を前記表示部によって前記表示面の前記注視画像から離れた位置に表示し、前記使用者が視認した前記テスト画像の色ずれに関する情報を前記入力部において入力し、前記入力した色ずれに関する情報と、前記画像処理部が検出した前記顔の方向とに基づいて前記色収差情報を取得する色収差情報取得部とを有する
ことを特徴とする請求項１乃至６の何れか一項に記載の画像表示装置。
An input unit for inputting information;
A test composed of pixels of a plurality of colors, wherein the display unit displays a gaze image for causing the user to gaze so that the user's face faces a predetermined direction with respect to the display surface. An image is displayed at a position away from the gaze image on the display surface by the display unit, information on the color shift of the test image visually recognized by the user is input in the input unit, and the information on the input color shift And a chromatic aberration information acquisition unit that acquires the chromatic aberration information based on the face direction detected by the image processing unit. 7. The image display according to claim 1, further comprising: apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015040384A JP2016161767A (en) | 2015-03-02 | 2015-03-02 | Image display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015040384A JP2016161767A (en) | 2015-03-02 | 2015-03-02 | Image display device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016161767A true JP2016161767A (en) | 2016-09-05 |
Family
ID=56846840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015040384A Ceased JP2016161767A (en) | 2015-03-02 | 2015-03-02 | Image display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016161767A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019195619A (en) * | 2018-04-13 | 2019-11-14 | シャネル パフュームズ ビューテ | Method for selecting cosmetic product for intended user |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010096864A (en) * | 2008-10-14 | 2010-04-30 | Canon Inc | Aberration correction method, image processing apparatus and image processing system |
| JP2010125910A (en) * | 2008-11-26 | 2010-06-10 | Calsonic Kansei Corp | Head-up display device |
| JP2011239029A (en) * | 2010-05-06 | 2011-11-24 | Hitachi Consumer Electronics Co Ltd | Image display unit, power saving control unit and power saving method |
| WO2013140697A1 (en) * | 2012-03-22 | 2013-09-26 | ソニー株式会社 | Display device, image processing device, and image processing method, as well as computer program |
| JP2014199385A (en) * | 2013-03-15 | 2014-10-23 | 日本精機株式会社 | Display device and display method thereof |
-
2015
- 2015-03-02 JP JP2015040384A patent/JP2016161767A/en not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010096864A (en) * | 2008-10-14 | 2010-04-30 | Canon Inc | Aberration correction method, image processing apparatus and image processing system |
| JP2010125910A (en) * | 2008-11-26 | 2010-06-10 | Calsonic Kansei Corp | Head-up display device |
| JP2011239029A (en) * | 2010-05-06 | 2011-11-24 | Hitachi Consumer Electronics Co Ltd | Image display unit, power saving control unit and power saving method |
| WO2013140697A1 (en) * | 2012-03-22 | 2013-09-26 | ソニー株式会社 | Display device, image processing device, and image processing method, as well as computer program |
| JP2014199385A (en) * | 2013-03-15 | 2014-10-23 | 日本精機株式会社 | Display device and display method thereof |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019195619A (en) * | 2018-04-13 | 2019-11-14 | シャネル パフュームズ ビューテ | Method for selecting cosmetic product for intended user |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9952665B2 (en) | Eye vergence detection on a display | |
| US10409146B2 (en) | Image projection system, image projection device, image projection method, image projection program, and server device | |
| EP2978218B1 (en) | Computer display device mounted on eyeglasses | |
| US20170344110A1 (en) | Line-of-sight detector and line-of-sight detection method | |
| US20130113685A1 (en) | Display device, display method, integrated circuit, program | |
| US9870048B2 (en) | Head-mounted display device, method of controlling the same, and computer program | |
| JP2009254525A (en) | Pupil detecting method and apparatus | |
| JP2018205819A (en) | Gazing position detection computer program, gazing position detection device, and gazing position detection method | |
| JP2015179254A (en) | Spectacle wearing image analysis device, spectacle wearing image analysis method and spectacle wearing image analysis program | |
| JP2015095161A (en) | Line-of-sight direction detection device | |
| US11754856B2 (en) | Method for designing eyeglass lens, method for manufacturing eyeglass lens, eyeglass lens, eyeglass lens ordering device, eyeglass lens order receiving device, and eyeglass lens ordering and order receiving system | |
| US20160116740A1 (en) | Display device, control method for display device, display system, and computer program | |
| JP2016161767A (en) | Image display device | |
| WO2018220963A1 (en) | Information processing device, information processing method, and program | |
| JP2017138645A (en) | Sight-line detection device | |
| JP6504382B2 (en) | Display control apparatus, display system, display control method, display control program, and projection apparatus | |
| JP6390260B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6539981B2 (en) | Display device, control method of display device, display system, and program | |
| JP2012198608A (en) | Input device and input method | |
| WO2017090318A1 (en) | Display correction device | |
| JP2017126009A (en) | Display control device, display control method, and program | |
| JP6789377B2 (en) | Image display system | |
| JP6572841B2 (en) | Information processing apparatus and program | |
| US20230417627A1 (en) | Prescription lens enrollment and switching for optical sensing systems | |
| US20230176401A1 (en) | Device and method for correcting user's vision and performing calibration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180725 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180731 |
|
| A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20181127 |