JP2019045630A

JP2019045630A - 画像表示装置

Info

Publication number: JP2019045630A
Application number: JP2017167281A
Authority: JP
Inventors: 正和東原; Masakazu Higashihara; 光内舘; Hikaru Uchidate
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-08-31
Filing date: 2017-08-31
Publication date: 2019-03-22
Anticipated expiration: 2037-08-31
Also published as: JP6656213B2

Abstract

【課題】広画角で歪みの小さい画像を、装置に多大な負荷をかけることなく提示することが可能な画像表示装置を提供する。【解決手段】原画像を表示する画像表示素子と、互いに垂直な２断面内における焦点距離が互いに異なるように構成されており、前記原画像からの光を観察者の眼に導く接眼光学系とを備える画像表示装置であって、更に、入力画像に対して、前記接眼光学系の光学収差に基づく第１の補正と、前記２断面内における焦点距離の違いに基づく第２の補正とを、同時に行うことによって、前記原画像を生成する画像処理手段と、を備える。【選択図】図１

Description

本発明は、画像表示素子上の画像を、接眼光学系を介して拡大して観察するヘッドマウントディスプレイ（ＨＭＤ）等の画像表示装置に関するものである。

バーチャルリアリティ（ＶＲ）用、あるいは、一人で大画面の観察像を楽しむことなどを目的として、ヘッドマウントディスプレイの開発が進められている。

ヘッドマウントディスプレイ等に用いる画像表示装置としては、臨場感を増すために、広画角の画像提示が望まれている。また、接眼光学系の歪曲収差や倍率色収差などの光学収差がないことが望ましい。接眼光学系の歪曲収差が発生していると観察者は歪んだ画像を観察することになるため、観察時に違和感が生じてしまう。また、接眼光学系の倍率色収差が発生していると観察者は色が分離した画像を観察することになるため、歪曲収差と同様に、違和感が生じてしまう。

接眼光学系の画角を広げる技術として、水平方向の焦点距離を垂直方向よりも短くしたアナモルフィック光学を用いて、水平方向の画角を広げた画像表示装置が提案されている。

また、接眼光学系の歪曲収差や倍率色収差などの光学収差を低減する技術として、接眼光学系の歪曲収差や倍率色収差を相殺するように画像処理を施す方法がある。この方法によれば、接眼光学系を通して画像処理を施した歪んだ画像を観察することで歪曲収差や倍率色収差が低減された画像が観察できる。

特許文献１では、接眼光学系で発生する歪曲収差と逆特性をもつように画像表示素子にあらかじめ歪曲した画像を表示している。また、赤、緑、青の原色成分別にそれぞれ歪曲補正することで、接眼光学系で発生する倍率色収差も低減している。

特許文献２では、撮影画像と表示パネルのアスペクト比が異なるビデオシースルー型ＨＭＤで、撮影画像のアスペクト変換を実施した後に、電子歪補正をおこないアナモルフィック光学系を通して画像を観察している。

特開平１０−３２７３７３号公報特開２００８−２１６３４３号公報

しかしながら、特許文献１では、歪曲収差の補正方法の記載はあるが、接眼光学系の画角を広げるためにアナモルフィックレンズを用いる旨の記載が無いため、アスペクト比の変換については一切開示が無い。

また、特許文献２に記載の画像表示装置では、接眼光学系がアナモルフィック光学系の場合に、画像のアスペクト変換と歪曲収差補正を行う旨の記載があるが、その際のハードウェアの負荷低減、処理時間削減という課題についての記載は無い。

本願発明の画像表示装置は、原画像を表示する画像表示素子と、光軸に平行で互いに垂直な２断面内における焦点距離が互いに異なるように構成されており、前記原画像からの光を観察者の眼に導く接眼光学系と、入力画像に対して、前記接眼光学系の光学収差に基づく第１の補正と、前記２断面内における焦点距離の違いに基づく第２の補正とを、同時に行うことによって、前記原画像を生成する画像処理手段と、を備えることを特徴としている。

本発明によれば、接眼光学系がアナモルフィック光学系で歪曲収差を有する場合に、画像のアスペクト変換と歪曲収差補正を同時に行うことでハードウェアの負荷を低減し、処理速度を短くすることができる。

第１実施形態に係る画像表示装置の説明図。第１実施形態の接眼光学系の上面図。第１実施形態の入力画像のアスペクト変換の説明図。第１実施形態の歪曲収差補正の説明図。第１実施形態の歪曲収差補正とアスペクト変換の説明図。第１実施形態の黒画像重畳の説明図。第２実施形態に係る画像表示装置の説明図。第２実施形態の撮像部と接眼光学系の上面図。第２実施形態の撮像画像と表示画像の説明図。第２実施形態のシフトと拡大の説明図。第２実施形態のシフト、拡大、歪曲収差補正、アスペクト変換の説明図。第２実施形態のシフト、拡大、歪曲収差補正、アスペクト変換の説明図。第２実施形態の黒画像重畳の説明図。第２実施形態の接眼光学系の断面図。

（第１実施形態）
図１の画像表示装置の装置構成図を参照して、第１実施形態に係る画像表示装置の構成を説明する。図中、１０１はＨＭＤ、１０２は画像処理装置である。本実施例では画像処理装置１０２内の画像処理回路で、接眼光学系の水平方向と垂直方向（鉛直方向）の焦点距離に応じた画像のアスペクト変換と、接眼光学系の光学収差に応じた収差補正処理とを入力画像に対して同時に実施する。そして、画像処理装置１０２内の画像処理回路で生成した画像を原画像として出力してＨＭＤ１０１に画像を表示している。尚、ここで、水平方向を含む水平断面と垂直方向（鉛直方向）を含む垂直断面（鉛直断面）とは、画像表示素子の中心から接眼光学系の射出瞳の中心に導かれる光線が通る軸（光軸）の中で、射出瞳に入射する部分と平行である。その上で、観察者から見て、横方向が水平断面（水平方向）であり、縦方向が鉛直断面（鉛直方向）である。この水平断面と鉛直断面の２断面内における接眼光学系の焦点距離は互いに異なる（水平断面の方が焦点距離が短いことが望ましい）ように構成されている。また、ここでの画像表示素子の中心から接眼光学系の射出瞳の中心に導かれる光線が通る軸（光軸）は、無限遠を観察した際の視軸と置き換えても構わない。

図２にＨＭＤ１０１の接眼光学系を示す。図中、１０３は観察者の右眼、１０４は観察者の左眼、１０５は右眼用接眼光学系（右眼光学系）、１０６は左眼用接眼光学系（左眼光学系）、１０７は右眼用画像表示素子（右眼パネル）、１０８は左眼用画像表示素子（左眼パネル）である。

右眼用接眼光学系１０５は、右眼用画像表示素子１０７に表示された原画像を拡大投影して観察者の右眼１０３に導き、左眼用接眼光学系１０６は、左眼用画像表示素子１０８に表示された原画像を拡大投影して観察者の左眼１０４に導く。右眼用画像表示素子１０７、左眼用画像表示素子１０８は水平と垂直の長さのアスペクト比は４：３であり、右眼用接眼光学系１０５、左眼用接眼光学系１０６の水平方向の焦点距離は２１ｍｍ、垂直方向の焦点距離は２５ｍｍである。右眼用接眼光学系１０５、左眼用接眼光学系１０６共に水平方向と垂直方向の焦点距離が異なるアナモルフィック光学系であり、水平方向の焦点距離を短くすることで、拡大投影した画像は水平方向に広い画像となり、観察者はより臨場感のある画像を観察できる。このとき、水平方向の画角は８０°、垂直方向の画角は５５°で、拡大画像のアスペクト比は１６：１０である。

画像表示素子のアスペクト比と拡大画像のアスペクト比が異なるため、画像処理装置１０２内の画像処理回路で入力画像のアスペクト変換を行う必要がある。図３（ａ）のように画像処理装置１０２への入力画像は、画像表示素子と同じアスペクト比の４：３の画像である。この入力画像に対してアスペクト変換を行い、図３（ｂ）のように垂直方向にのみ画像を拡大した原画像を作成する。そして、原画像を画像表示素子に表示して、アナモルフィック光学系である接眼光学系を通して観察すると、図３（ｃ）のようにアスペクト比１６：１０の画像を観察することができる。

次に、接眼光学系の光学収差の収差補正処理について説明する。右眼用画像表示素子１０７に図４（ａ）のような画像を表示すると、観察者が右眼用接眼光学系１０５を通して見る画像は図４（ｂ）のように糸巻き型に歪んだ画像となる。これは右眼用接眼光学系１０５が歪曲収差を有するからである。また、右眼用画像表示素子１０７に白色の線を表示すると、観察者が右眼用接眼光学系１０５を通して見る画像は、白色の線が右眼用接眼光学系１０５の倍率色収差により赤・緑・青に分離した線となる。

そのため、画像処理装置１０２にてＨＭＤ１０１の画像表示素子に表示する原画像を、図４（ｃ）のように接眼光学系で発生する歪曲収差と逆の形状になるように画像処理することで、観察者が接眼光学系を通して見る画像は歪みが低減された画像となる。さらに、赤・緑・青で異なる補正形状になるように画像処理することで、接眼光学系の倍率色収差を低減することも可能となる。接眼光学系の歪曲収差が少ない場合には倍率色収差のみの補正を実施しても良いし、倍率色収差が少ない場合には歪曲収差のみの補正を実施しても良い。左眼についても同様である。

本実施例では、画像処理装置１０２のハードウェアの負荷を低減し処理速度を短くするために、アスペクト変換処理と収差補正処理を同時に実施する。このとき、図５（ａ）の入力画像に対して、アスペクト変換処理と収差補正処理を同時に実施すると、図５（ｂ）のような原画像となる。この原画像を画像表示素子に表示して接眼光学系を通して観察すると図５（ｃ）のような画像を観察することになり、観察画像が矩形にならず不要な画像が観察されてしまう。これは、図３（ｂ）のようにアスペクト変換を実施する際には原画像に表示されないはずの画像が、アスペクト変換処理と収差補正処理を同時にすることで、原画像に表示されてしまうためである。入力画像が矩形であるのに対して、観察画像の外枠の形状が矩形にならず歪んだ形状では、観察した際に違和感があり自然な観察ができない。

そのため、図６（ａ）の入力画像に対して、アスペクト変換と収差補正を同時に実施する前に、図６（ｂ）のように上下に黒画像を重畳し、原画像に表示する必要のない画像をマスクする。その後、アスペクト変換と収差補正を同時に実施して図６（ｃ）のような原画像として、画像表示素子に表示して接眼光学系を通して観察する。その結果、観察画像は図６（ｄ）のようになり、観察画像の外枠が矩形の画像を観察することができる。

このように、接眼光学系がアナモルフィック光学系かつ糸巻き型の歪曲収差を有する場合、アスペクト変換と収差補正を同時に処理する前に原画像に表示する必要のない画像に黒画像を重畳する。そうすることで、原画像にはない不要な画像が観察されることなく、外枠が矩形となり、自然な観察が可能となる。入力画像に黒画像を重畳する処理は、固定パターンを追加する処理であり、座標変換を伴うアスペクト変換や収差補正に比べて、ハードウェアへの負荷は小さい。そのため、アスペクト変換と収差補正を同時におこなうことで得られるハードウェアの負荷を低減し処理速度を短くする効果は得られる。

このように、接眼光学系の歪曲収差が糸巻き型の場合には、接眼光学系を通した観察画像が入力画像のように矩形にすることができるが、接眼光学系の歪曲収差が樽型の場合には黒画像を重畳しなくても良い。すなわち、接眼光学系の歪曲収差の種類（糸巻き型なのか樽型なのか）に応じて、黒画像の重畳の有無を切り替えても良い。

但し、観察者によっては観察画像の外枠の形状が矩形にならなくても、観察画像の画角が少しでも広い方が良い場合があるため、黒画像を重畳するかどうかを選択できるようにしても良い。

また、本実施の接眼光学系は水平方向の焦点距離が垂直方向よりも短く、観察画像は水平方向に広い画像だったが、垂直方向の焦点距離が水平方向よりも短く、観察画像が垂直方向に広い画像としても良い。その場合には、原画像に表示する必要のない画像は左右にあるため、左右に黒画像を重畳する。

本実施例の接眼光学系は球面形状の単レンズで構成されているが、非球面形状を用いたり、複数のレンズを用いることでより高い光学性能のレンズとしても良い。また、本実施例の画像表示素子は自発光の有機ＥＬを用いているが、透過型液晶、反射型液晶、ＤＭＤなどを画像表示素子として用いても良い。その場合、別途光源と照明光学系が必要となる。

（第２実施形態）
図７の画像表示装置の装置構成図を参照して、第２実施形態に係る画像表示装置の構成を説明する。図中、２０１はＨＭＤ、２０２は画像処理装置である。ＨＭＤ２０１はビデオシースルー型のＨＭＤであり、ＨＭＤ２０１内のカメラで撮影した画像に対して画像処理装置２０２でＣＧ画像の重畳等を行い、ＨＭＤ２０１内の画像表示素子に表示する。本実施例では画像処理装置２０２内の画像処理回路で、接眼光学系の水平方向と垂直方向の焦点距離に応じた画像のアスペクト変換と、接眼光学系の光学収差に応じた収差補正処理を入力画像に対して同時に実施する。そして、画像処理装置２０２内の画像処理回路で生成した画像を原画像として出力してＨＭＤ２０１に画像を表示している。

図８にＨＭＤ２０１の構成を示す。図中、２０３は観察者の右眼、２０４は観察者の左眼、２０５は右眼用接眼光学系、２０６は左眼用接眼光学系、２０７は右眼用画像表示素子、２０８は左眼用画像表示素子、２０９は右眼用撮像部、２１０は左眼用撮像部である。２１１は観察者の右眼２０３が無限遠を観察した際の視軸、２１２は観察者の左眼２０４が無限遠を観察した際の視軸である。

ＨＭＤ２０１はビデオシースルー型ＨＭＤであるため、現実世界の右眼用撮像画像を右眼用撮像部２０９で撮影し、画像処理装置２０２で画像処理を行う。その後に、右眼用画像表示素子２０７に原画像を表示して、右眼用接眼光学系２０５で拡大投影してＨＭＤ２０１の観察者の右眼２０３に画像を導く。同様に、現実世界の左眼用撮像画像を左眼用撮像部２１０で撮影し、画像処理装置２０２で画像処理をした後に、左眼用画像表示素子２０８に原画像を表示して左眼用接眼光学系２０６で拡大投影してＨＭＤ２０１の観察者の左眼２０４に画像を導く。

右眼用撮像部２０９、左眼用撮像部２１０の水平撮像画角は８０°、垂直撮像画角は６８°で水平と垂直の長さのアスペクト比は５：４である。右眼用画像表示素子２０７、左眼用画像表示素子２０８は水平と垂直の長さのアスペクト比は１６：１０であり、右眼用接眼光学系２０５、左眼用接眼光学系２０６の水平方向の焦点距離は１８ｍｍ、垂直方向の焦点距離は２２ｍｍである。右眼用接眼光学系２０５、左眼用接眼光学系２０６共に水平方向と垂直方向の焦点距離が異なるアナモルフィック光学系であり、水平方向の焦点距離を短くすることで、拡大投影した画像は水平方向に広い画像となり、観察者はより臨場感のある画像を観察できる。このとき、水平方向の画角は７０°、垂直方向の画角は３９°で、拡大画像のアスペクト比は１６：８である。

本実施例では、撮像部の撮像画角が接眼光学系の表示画角よりも広い。このような構成にすることで、撮像部で撮影した画像から切り出す位置を調整して表示部で表示する画像を生成できるため、撮像部と表示部との位置合わせを容易に行うことができる。また、撮影した画像を元に現実世界の距離測定をしたり、ＣＧの重畳のための特徴点検出をする際に、表示部の表示画角の端にある対象物であっても精度良く測定や検出ができる。

また、ＨＭＤ２０１は１．４ｍ先で左右の観察画像が重なるように接眼光学系に輻輳角１．３°をつけて観察者に表示している。そのため、観察者が無限遠を観察した際の視軸と一致する接眼光学系の光軸は、画像表示素子の中心から接眼光学系の射出瞳の中心に導かれる光線とは一致しない。画像表示素子の中心から接眼光学系の射出瞳の中心に導かれる光線は、鼻側に１．３°ずれた光線である。そのとき、右眼用接眼光学系２０５、左眼用接眼光学系２０６の鼻側の水平画角は３５．９°、耳側の水平画角は３４．１°となり、輻輳がついているため、鼻側の水平画角の方が大きくなる。

撮像部の撮像画像から表示部で表示する画像を切り出す際、画像表示素子のアスペクト比が１６：１０であり、画像表示素子の入力画像信号もアスペクト比が１６：１０である必要があるため、切り出す画像のアスペクト比は１６：１０とする。右眼用撮像部２０９と左眼用撮像部２１０の光軸は観察者が無限遠を観察した際の視軸と一致しており、撮像画像から切り出した画像の中心も光軸と一致している。接眼光学系で観察する水平画角は、鼻側が３５．９°、耳側が３４．１°であり、左右非対称の画角になっているため、撮像部から切り出す画像の水平画角は７１．８°（３５．９°×２）にすることが望ましい。このようにすることで、表示する画角すべての画角を撮像することができる。

このとき、撮像部から切り出す画像の中心と、画像表示素子に表示する画像の中心は輻輳角だけずれている。右眼用撮像部２０９、左眼用撮像部２１０の撮像画像から切り出した画像は図９（ａ）のように水平画角が中心に対して左右３５．９°ずつの７１．８°であり、垂直画角は４９°である。

一方、画像処理装置２０２への入力画像は右眼用画像表示素子２０７に対しては図９（ｂ）のように、左眼用画像表示素子２０８に対しては図９（ｃ）のように水平画角が鼻側３５．９°、耳側３４．１°、垂直画角が４７°である。

撮像部から切り出す画像の画角と画像表示素子に表示する画像の画角が異なるため、撮像部から切り出す画像から画像表示素子に表示する画像を作成するために、画像処理装置２０２内の画像処理回路で、画像のシフトと拡大処理を行う必要がある。図１０（ａ）のような右眼用撮像部２０９の撮像画像から切り出した画像から、画像を全体に右側にシフトして、図１０（ｂ）のような耳側の水平画角が３４．１°の画像を作成する。シフトするだけでは左側に画像がない領域ができてしまうため、画像を拡大して図１０（ｃ）のような画像を作成する。この画像を右眼用画像表示素子２０７に表示することで、輻輳角がついた画像を適切に観察することができる。左眼用撮像部２１０の撮像画像から切り出した画像は、画像を全体に左側にシフトして画像を拡大すれば良い。

また、画像表示素子のアスペクト比と拡大画像のアスペクト比が異なるため、画像処理装置２０２内の画像処理回路で入力画像のアスペクト変換を行う必要がある。画像処理装置２０２への入力画像は、画像表示素子と同じアスペクト比の１６：１０の画像である。この入力画像に対してアスペクト変換を行い、垂直方向にのみ画像を拡大した原画像を作成する。そして、原画像を画像表示素子に表示して、アナモルフィック光学系である接眼光学系を通して観察すると、アスペクト比１６：８の画像を観察することができる。

次に、接眼光学系の光学収差の収差補正処理について説明する。右眼用画像表示素子２０７に図４（ａ）のような画像を表示すると、観察者が右眼用接眼光学系２０５を通して見る画像は図４（ｂ）のように糸巻き型に歪んだ画像となる。これは右眼用接眼光学系２０５が歪曲収差を有するからである。また、右眼用画像表示素子２０７に白色の線を表示すると、観察者が右眼用接眼光学系２０５を通して見る画像は、白色の線が右眼用接眼光学系２０５の倍率色収差により赤・緑・青に分離した線となる。

そのため、画像処理装置２０２にてＨＭＤ２０１の画像表示素子に表示する原画像を、図４（ｃ）のように接眼光学系で発生する歪曲収差と逆の形状になるように画像処理することで、観察者が接眼光学系を通して見る画像は歪みが低減された画像となる。さらに、赤・緑・青で異なる補正形状になるように画像処理することで、接眼光学系の倍率色収差を低減することも可能となる。接眼光学系の歪曲収差が少ない場合には倍率色収差のみの補正を実施しても良いし、倍率色収差が少ない場合には歪曲収差のみの補正を実施しても良い。左眼についても同様である。

以上の画像の流れについて図１１を用いて説明する。左眼用撮像部２１０の撮像画像から切り出した画像は図１１（ａ）のように水平画角は７１．８°（３５．９°×２）、垂直画角は４９°である。ここから、表示画像の輻輳角を考慮して画像を全体に左側にシフトすると図１１（ｂ）のようになる。そして、右側に画像がない領域ができるため、画像を拡大して図１１（ｃ）とする。その後、アスペクト変換をおこなって垂直方向にのみ画像を拡大して図１１（ｄ）とし、左眼用接眼光学系２０６の歪曲収差の収差補正処理を実施して図１１（ｅ）の画像を生成し、左眼用接眼光学系２０６を通すと図１１（ｆ）のような画像が観察できる。

本実施例では、画像処理装置２０２のハードウェアの負荷を低減し処理速度を短くするために、撮像画像のシフト処理、拡大処理、アスペクト変換処理と収差補正処理を同時に実施する。このとき、左眼用画像表示素子２０８に表示する図１２（ａ）の入力画像に対して、撮像画像のシフト処理、拡大処理、アスペクト変換処理と収差補正処理を同時に実施すると、図１２（ｂ）のような原画像となる。この原画像を画像表示素子に表示して接眼光学系を通して観察すると図１２（ｃ）のような画像を観察することになり、観察画像が矩形にならず不要な画像が観察されてしまう。これは、図１１（ｂ）、（ｃ）、（ｄ）のように撮像画像のシフト処理、拡大処理、アスペクト変換を順番に実施した後には原画像に表示されない画像が、前記の複数の処理を同時にすることで、原画像に表示されてしまうためである。入力画像が矩形であるのに対して、観察画像の外枠の形状が矩形にならず歪んだ形状かつ左右非対称の形状では、観察した際に違和感があり自然な観察ができない。

そのため、図１３（ａ）の入力画像に対して、撮像画像のシフト処理、拡大処理、アスペクト変換と収差補正を同時に実施する前に、図１３（ｂ）のように上下と左に黒画像を重畳し、原画像に表示する必要のない画像をマスクする。その後、撮像画像のシフト処理、拡大処理、アスペクト変換と収差補正を同時に実施して図１３（ｃ）のような原画像として、画像表示素子に表示して接眼光学系を通して観察する。その結果、観察画像は図１３（ｄ）のようになり、観察画像の外枠が矩形の画像を観察することができる。右眼用画像表示素子２０７に表示する画像については上下と右に黒画像を重畳し、原画像に表示する必要のない画像をマスクしてから撮像画像のシフト処理、拡大処理、アスペクト変換と収差補正を同時に実施すればよい。

このように、撮像部で撮像された画像の中心と画像表示素子に表示する画像の中心がずれていて、接眼光学系がアナモルフィック光学系かつ糸巻き型の歪曲収差を有する場合が想定される。このような場合、撮像画像のシフト処理、拡大処理、アスペクト変換と収差補正を入力画像に対して同時に処理する前に原画像に表示する必要のない画像に黒画像を重畳する。そうすることで、原画像にはない不要な画像が観察されることなく、外枠が矩形となり自然な観察が可能となる。入力画像に黒画像を重畳する処理は、撮像画像のシフト処理、拡大処理、アスペクト変換や収差補正に比べて、ハードウェアへの負荷は小さい。そのため、撮像画像のシフト処理、拡大処理、アスペクト変換と収差補正を同時におこなうことで得られるハードウェアの負荷を低減し処理速度を短くする効果は得られる。

本実施例のように有限距離で左右の観察画像が重なるように接眼光学系に輻輳角をつけて観察者に表示する場合、撮像部で撮像した画像を切り出す際に画像の中心を光軸にするのではなく、有限距離で左右の観察画像が重なるときの画像の中心としても良い。その場合には、撮像部で撮像した画像が輻輳角分シフトした画像となるため、画像処理装置で撮像画像のシフトと拡大を行う必要はない。

また、接眼光学系の歪曲収差の形状によっては画像表示素子の中心を輻輳角に合わせた場合に、接眼光学系の画角が想定していた画角よりも増減する場合がある。例えば本実施例では右眼用接眼光学系２０５の水平画角は鼻側が３５．９°、耳側が３４．１°だが、耳側の水平画角が３５°まで表示できる場合がある。そのとき、撮像部の画角は表示部よりも大きく、耳側の水平画角を３５°まで広げることができるため、撮像部から撮像した画像を切り出す際に、鼻側３５．９°、耳側３５°とすることができる。但し、その場合には撮像した画像の中心が、画像表示素子の中心の輻輳角の位置と異なるため、画像処理装置で撮像画像のシフト、アスペクト変換、光学収差補正を実施する必要がある。この場合、撮像した画像の水平画角と接眼光学系の水平画角が一致しているため、上下にのみ黒画像を重畳すればよい。

本実施例では撮像部で撮像した画像を入力画像としたが、実施例１のように撮像部で撮像した画像を入力画像とした場合でも、入力画像の中心と画像表示素子に表示する画像の中心がずれている場合がある。そのときには、入力画像のアスペクト変換と収差補正に加えて入力画像のシフトや拡大を必要に応じて同時に行い、観察画像の外枠が矩形になるように黒画像を適切に重畳する。

本実施例の接眼光学系は図１４の断面図のように偏心反射面を用いて光路を折りたたんだことによって、光学系の厚さを薄型化した光学素子である。右眼用接眼光学系２０５は、屈折率が１より大きいガラスやプラスチック等の光学媒質で満たされた透明体により構成される。左眼用接眼光学系も同様である。

右眼用画像表示素子２０７からの光線は右眼用接眼光学系２０５内で２回反射し、右眼２０３に導かれる。なお、右眼用接眼光学系２０５内の眼球への出射面は反射作用と透過作用を持つ光学面であるため、反射は光量のロスをなくすために内部全反射であることが望ましい。また、右眼用接眼光学系２０５を構成する面を自由曲面形状とすることで、偏心収差補正の自由度が増し、良好な画質での画像表示が可能となる。左眼用接眼光学系２０６についても同様である。

本実施例のように接眼光学系に偏心した自由曲面形状のプリズムを用いることで、歪曲収差や倍率色収差は回転対称形状ではなくなる。そのため、画像処理装置で画像処理する際の収差補正値は画像表示素子の画素毎に収差補正値を持つような補正テーブルとすることが望ましい。

また、本実施例の接眼光学系の自由曲面プリズムは、中間結像面を有さない光学系だが、中間結像面を有する光学系としても良い。

１０１、２０１ＨＭＤ
１０２、２０２画像処理装置
２０９右眼用撮像部
２１０左眼用撮像部
２１１観察者の右眼が無限遠を観察した際の視軸
２１２観察者の左眼が無限遠を観察した際の視軸

Claims

原画像を表示する画像表示素子と、
互いに垂直な２断面内における焦点距離が互いに異なるように構成されており、前記原画像からの光を観察者の眼に導く接眼光学系と、
入力画像に対して、前記接眼光学系の光学収差に基づく第１の補正と、前記２断面内における焦点距離の違いに基づく第２の補正とを、同時に行うことによって、前記原画像を生成する画像処理手段と、
を備えることを特徴とする画像表示装置。
前記接眼光学系が糸巻き型の歪曲収差を有しており、前記画像処理手段は、該糸巻き型の歪曲収差を補正することを特徴とする請求項１に記載の画像表示装置。
前記第１の補正は、前記接眼光学系の歪曲収差、又は倍率色収差による前記入力画像の歪の補正であることを特徴とする請求項１又は２に記載の画像表示装置。
前記第２の補正は、前記入力画像のアスペクト比を変換することによって前記原画像を生成する補正であることを特徴とする請求項１乃至３いずれか１項に記載の画像表示装置。
前記画像処理手段は、
前記接眼光学系の水平方向の焦点距離が鉛直方向の焦点距離よりも短い場合には、前記入力画像の少なくとも上下に黒画像を重畳し、前記接眼光学系の水平方向の焦点距離が鉛直方向の焦点距離よりも長い場合には、前記入力画像の少なくとも左右に黒画像を重畳した上で、前記アスペクト比の変換を行うことを特徴とする請求項４に記載の画像表示装置。
前記画像処理手段は前記黒画像の重畳の有無を切り替える手段を有していることを特徴とする請求項５に記載の画像表示装置。
前記画像表示装置が前記入力画像を撮像する撮像手段を有していることを特徴とする請求項１乃至６のいずれか１項に記載の画像表示装置。
前記撮像手段の撮像画角が前記接眼光学系の表示画角よりも広いことを特徴とする請求項７に記載の画像表示装置。
前記接眼光学系の水平方向の焦点距離が垂直方向の焦点距離よりも短い場合には、前記撮像手段の撮像画像から前記接眼光学系の水平画角と等しい水平画角の画像を切り出して前記入力画像とし、
前記接眼光学系の水平方向の焦点距離が垂直方向の焦点距離よりも長い場合には、前記撮像手段の撮像画像から前記接眼光学系の垂直画角と等しい垂直画角の画像を切り出して前記入力画像とすることを特徴とする請求項８に記載の画像表示装置。
前記接眼光学系の水平方向の焦点距離が垂直方向の焦点距離よりも短い場合、前記撮像手段の撮像画像から前記接眼光学系の水平画角よりも大きい水平画角の画像を切り出して前記入力画像としたときに、前記入力画像の水平画角と前記原画像の水平画角が等しくなるような拡大処理を、
前記接眼光学系の水平方向の焦点距離が垂直方向の焦点距離よりも長い場合、前記撮像手段の撮像画像から前記接眼光学系の垂直画角よりも大きい垂直画角の画像を切り出して前記入力画像としたときに、前記入力画像の垂直画角と前記原画像の垂直画角が等しくなるような拡大処理を、
前記画像処理手段が前記収差補正処理と前記アスペクト変換と同時に行うことを特徴とする請求項８に記載の画像表示装置。
前記入力画像の中心の画像と前記原画像の中心の画像とが異なり、前記画像処理手段が前記入力画像の中心の画像と前記原画像の中心の画像とが一致するようなシフト処理を、前記収差補正処理と前記アスペクト変換と同時に行うことを特徴とする請求項１乃至１０いずれか１項に記載の画像表示装置。
前記接眼光学系として、前記原画像からの光を前記観察者の右眼と左眼のそれぞれが位置する射出瞳に導く右眼光学系および左眼光学系を有し、
前記右眼光学系および左眼光学系はそれぞれ、前記光を反射および透過する光学面と、少なくとも１つの反射面とを有する光学素子を含むことを特徴とする請求項１から１１のいずれかに記載の画像表示装置。