JP2016197145A - 画像処理装置および画像表示装置 - Google Patents

画像処理装置および画像表示装置 Download PDF

Info

Publication number
JP2016197145A
JP2016197145A JP2015076102A JP2015076102A JP2016197145A JP 2016197145 A JP2016197145 A JP 2016197145A JP 2015076102 A JP2015076102 A JP 2015076102A JP 2015076102 A JP2015076102 A JP 2015076102A JP 2016197145 A JP2016197145 A JP 2016197145A
Authority
JP
Japan
Prior art keywords
image data
image
unit
filter
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015076102A
Other languages
English (en)
Inventor
山口　潤
Jun Yamaguchi
潤 山口
馬場　雅裕
Masahiro Baba
雅裕 馬場
快行 爰島
Yasuyuki Kokojima
快行 爰島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2015076102A priority Critical patent/JP2016197145A/ja
Priority to US15/010,677 priority patent/US9762870B2/en
Publication of JP2016197145A publication Critical patent/JP2016197145A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】良好な画像を表示できる画像処理装置および画像表示装置を提供する。【解決手段】画像処理装置は、画像を投影する投影部に用いられる画像処理装置であって、背景輝度に関する背景輝度情報を入力する背景輝度入力部２１０と、入力される入力画像データに対して前記背景輝度情報に応じたボケ補正を行って画素値を含むボケ補正画像データを生成し、前記画素値が取りえる範囲内に収まるように前記ボケ補正画像データのコントラストを変調して表示画像データとコントラスト変調情報を生成し出力する処理部２２０と、前記コントラスト変調情報に基づき、投影部の輝度を設定するための輝度設定情報を出力する輝度設定部と、を有する。【選択図】図２

Description

本発明の実施形態は、画像処理装置および画像表示装置に関する。
使用者の前方に画像を表示するための画像表示装置が知られている。この画像表示装置は、光源から出射された光が入射され表示画像データを画像光として出射する表示部と、光学系部品を通じて画像光を構成する少なくとも一部の光線の方向を補正した補正光を出射する投影部と、補正光を構成する少なくとも一部の光線を使用者の眼球へ向けて反射させる反射部を備える。例えば、このような画像表示装置は頭部に装着するヘッドマウントディスプレイである。
光学系部品や反射部を構成するレンズやハーフミラーなどの光学素子ごとに収差が発生するために、使用者が視る画像、すなわち観測画像にボケ、色ずれや歪みが生じる場合がある。このような場合、収差による劣化の逆特性を与える処理を画像表示装置の入力である入力画像データに対して予め適用しておくことで、収差による劣化を補正する画像処理技術がある。特にボケを補正するために、観測画像にボケを発生させる劣化過程を空間フィルタあるいは周波数フィルタとして表現し、これらのフィルタの逆特性を持つ逆フィルタを表示画像データに適用する。これにより、使用者はボケが補正された観測画像を視ることができる。
小山田他、"投影面上に生じる焦点ボケ補正のための投影画像の事前補正法"、 画像の認識・理解シンポジウム(MIRU2007) 、 2007
良好な画像を表示できる画像処理装置および画像表示装置を提供する。
本実施形態に係る画像処理装置は、画像を投影する投影部に用いられる画像処理装置であって、背景輝度に関する背景輝度情報を入力する背景輝度入力部と、入力される入力画像データに対して前記背景輝度情報に応じたボケ補正を行って画素値を含むボケ補正画像データを生成し、前記画素値が取りえる範囲内に収まるように前記ボケ補正画像データのコントラストを変調して表示画像データとコントラスト変調情報を生成し出力する処理部と、前記コントラスト変調情報に基づき、投影部の輝度を設定するための輝度設定情報を出力する輝度設定部と、を有する。
第１の実施形態に係る画像表示装置の模式図。 第１の実施形態に係る画像表示装置のブロック図。 第１の実施形態に係るボケ補正部のブロック図。 図２のブロック図に対応するフローチャート。 図３のブロック図に対応するフローチャート。 第２の実施形態に係る画像表示装置のブロック図。 図６のブロック図に対応するフローチャート。 実施形態に係る画像表示装置のハードウェア構成の模式図。
以下、本発明の実施形態について図面を参照しつつ説明する。図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
（第１の実施の形態）
図１は、第１の実施形態に係る画像表示装置を例示する模式図である。
図１に表したように、画像表示装置１００は、回路部（画像処理装置）１１０、投影部１２０、反射部１３０を備える。
回路部１１０は、外部の記憶媒体やネットワークなどに有線あるいは無線で接続され、入力画像データを受け取る。回路部１１０は、屈曲可能なケーブル１１５によって投影部１２０と電気的に接続され、投影部１２０に含まれる表示部１２１に表示画像データを出力する。
投影部１２０は、光源１２１、表示部１２２と光学系１２３とを備える。光源１２１には、例えば、白色LED（Light Emitting Diode）またはRGB3色のLEDなどが用いられる。表示部１２２は、平面上に並べられた複数の画素から構成され、前記表示画像データを表示することができるディスプレイである。また、表示部１２２は、光原１２１から出射される光Ｌ１を透過させる。表示部１２２は、これにより、前記表示画像データを画像光Ｌ２として光学系１２３へ向けて出射する。ただし、表示部１２２を構成する画素が自発光するディスプレイの場合、光源１２１は必ずしも必要ではない。表示部１２２には、例えば、液晶、有機ＥＬ（Electro Luminescence）またはLCOS（Liquid Crystal On Silicon）などが用いられる。ただし、実施形態は、これらに限定されない。光学系１２３は、前記画像光Ｌ２の光路上において、表示部１２２と反射部１３０との間に設けられ、入射した画像光Ｌ２を構成する少なくとも一部の光線の進行方向を補正した補正光Ｌ３を反射部１３０へ向けて出射する。光学系１２３は、少なくとも１つ以上の光学素子を含む。前記光学素子には、レンズ、プリズムまたはミラーなどを用いる。ただし、複数の光学素子を用いる場合、それらは直線上に配置されていなくてもよい。
反射部１３０は、補正光Ｌ３の少なくとも一部の光線を眼球１６１の方向に反射する。反射部１３０によって反射される補正光Ｌ３の少なくとも一部の光線が瞳孔１６２に入り、角膜および水晶体によるレンズ機能により網膜１６３上に集光する。反射部１３０から瞳孔１６２に入る補正光Ｌ３の少なくとも一部の光線を進行方向とは逆の方向に延長することにより、使用者１６０の視界前方（眼球１６１の前方）に虚像が形成される。このようにして、使用者１６０は、観測画像１７０を視ることができる。
この例では、投影部１２０内において、表示部１２２と光学系１２３との相対的配置は固定されている。ただし、表示部１２２と光学系１２３との相対的配置は、前記表示画像を投影する機能を損なわない程度に可変であってもよい。例えば、投影部１２０内において表示部１２２と光学系１２３とがネジで取り付けられている。ネジの締め具合を調整することで、表示部１２２と光学系１２３との相対的な距離や姿勢を調整することができる構成であってもよい。例えば、表示部１２２と光学系１２３との間の距離を調整することで、瞳孔１６２から観測画像１７０までの距離や、観測画像１７０の大きさを変化させることができる。
反射部１３０は、外界から反射部１３０へ入射する光の一部を透過させる。これにより、使用者１６０は、反射部１３０を通して外界を視ることができる。反射部１３０は、第１面１３１に沿って設けられている。反射部１３０は、例えば、第１面１３１に沿って複数の微細な反射面が並列に配置される。第１面１３１は、平面であっても曲面であってもよい。反射面のそれぞれは、例えばハーフミラーであり、入射した光の少なくとも一部を反射させる。反射面のそれぞれは、第１面１３１に対して傾斜しており、反射面同士の間には、段差が形成される。反射面と第１面１３１とのなす角は、投影部１２０の光軸、眼球１６１と観測画像１７０との位置関係によって定まる。これにより、例えば、光の反射角度を調整することができる。反射部１３０は、複数の反射面及び複数の段差によって形成されたフレネル形状を有する。ただし、実施形態においては、反射部１３０は、このようなハーフミラーに限られない。反射部１３０として、通常のハーフミラーを用いてもよいし、同様に反射角度を調整できる他の部材を用いてもよい。反射面に用いられる材料は、一部の光を透過し、一部の光を反射する材料であれば、どのようなものでも構わない。
この例では、使用者１６０の前方に観測画像１７０を表示している。ただし、観測画像１７１のように、使用者１６０の視界の端に表示してもよい。これにより、使用者１６０の視界が遮られない。
画像表示装置１００は、例えば、眼鏡型画像表示装置である。
保持部１４０は、例えば、眼鏡フレームである。画像表示装置１００は、保持部１４０によって、使用者１６０の頭部に装着できる。
画像表示装置１００は、眼鏡レンズ１５０をさらに含む。この例では、保持部１４０は、ノーズパッド１４１、ブリッジ１４２とテンプル１４３とをさらに含む。ブリッジ１４２は、一方の眼鏡レンズ１５０と他方の眼鏡レンズ１５０とを接続する。必要に応じて眼鏡レンズ１５０のリム（眼鏡レンズ１５０を保持する枠）等が設けられてもよい。なお、本願では通常の矯正用眼鏡と同様の構成について述べるが、左右のレンズが一体化したような構成であってもよい。例えば、ノーズパッド１４１と眼鏡レンズ１５０との相対的配置は、固定されている。反射部１３０は、眼鏡レンズ１５０に内包されている（眼鏡レンズ１５０と一体に設けられている）。このような場合、反射部１３０と眼鏡レンズ１５０との相対的位置関係は、固定されている。
眼鏡レンズ１５０は、第１表面１５１と第２表面１５２とを有する。第２表面１５２は、第１表面１５１と離間する。反射部１３０は、第１表面１５１と第２表面１５２との間に設けられる。なお、反射部１３０の位置は、上記に限定されず、例えば、第２表面１５２上に反射部１３０を配す構成であっても良い。
眼鏡レンズ１５０は、保持部１４０に保持される。例えば、通常の眼鏡フレームと同様に、保持部１４０と眼鏡レンズ１５０との間の角度は、可変であってもよい。投影部１２０は、保持部１４０に保持される。投影部１２０の位置と姿勢を可変にできる機構があっても良い。
使用者１６０は、画像表示装置１００の使用時において、ノーズパッド１４１を鼻１６５に載せ、テンプル１４３を耳１６４に載せる。このようにして、観視者１６０の鼻１６５及び耳１６４の位置に応じて、保持部１４０の位置と眼鏡レンズ１５０及び反射部１３０の相対的位置が規定される。画像表示装置１００の使用時において、保持部１４０に対する反射部１３０の相対的配置は、実質的に固定されている。
なお、図１において示した画像表示装置は、一例であり、必ずしも実際のモジュールとは一致しない場合がある。例えば、各ブロックの一部が表示装置とは別に設けられてもよい。
なお、本発明は、図１のような画像表示装置に限定されない。回路部１１０と投影部１２０と反射部１３０を含み、使用者１６０の視界前方に虚像を形成させる画像表示装置であれば実現可能である。例えば、ヘッドアップディスプレイへの応用も可能である。
画像表示装置１００で発生するボケの原理について説明する。
光学系１２３と反射部１３０を構成するレンズやハーフミラーなどの光学素子に光線を通過あるいは反射させるごとに収差が発生するために、観測画像１７０にボケ、色ずれや歪みなどの劣化が生じる。
表示部１２２から出射される画像光は、表示部１２２を構成する画素から出射される光線の集合である。表示部１２２を構成する任意の１画素から出射される光線の集合である光線束は広がりを持つ。例えば、円錐状に光線が出射される。前記光線束に含まれる少なくとも一部の光線が、光学系１２３を通過し反射部１３０で反射した後に使用者の眼に入射し、網膜上の一点で集光することが理想である。このような場合、使用者１６０はボケのない観測画像１７０を視ることができる。しかしながら、前記光線束に含まれる少なくとも一部の光線が、光学系１２３と反射部１３０で発生する収差のために理想とは異なる方向に曲がってしまい、網膜１６３上で拡がりを持った範囲に集光する場合がある。このような場合、表示部１２２を構成する隣の画素の情報が網膜１６３上で混ざり合ってしまい、使用者は想定される観測画像１７０よりもボケのある観測画像１７０を視ることになる。
観測画像のボケを補正するために、観測画像にボケに発生させる劣化過程を空間フィルタあるいは周波数フィルタとして表現し、これらのフィルタの逆特性を持つ逆フィルタを予め画像に適用しておく画像処理技術がある。
しかしながら、逆フィルタ適用後の画素値が画像の取りえる範囲外となる場合がある。画素値の取りえる範囲は、画像あるいは画像データ毎に定められている。また、回路部110によって、入力画像データ、ボケ補正画像データ、表示画像データの画素値の取りえる範囲は定められている。特に画素値が取りえる範囲端付近であるエッジ周辺でボケが発生する。プロジェクタにおけるスクリーン上の焦点ボケを補正するために、ウィーナ・フィルタをプロジェクタの入力画像データに予め適用する画像処理技術が知られている。ウィーナ・フィルタ適用後の画素値が取りえる範囲外となった場合に、(a)取りえる範囲外をクリッピング処理する方法と、(b)取りえる範囲内に収まるように画像のコントラストを変調する方法が記載されている。(a)を使った場合、ボケ補正効果が低減するだけでなく、周辺に歪みが発生するという問題が発生する。また、(b)を使った場合、ボケは補正されるが、観測画像のコントラストが低下し、さらに、背景輝度コントラストが低下する場合があるため、観測画像の視認性が低下するという問題が発生する。なお、背景輝度コントラストは、観測画像１７０が重畳される背景の輝度に対する観測画像１６０の最大輝度である。背景輝度コントラストが高いほど、観測画像１７０の視認性が向上する。
そのため、これらの問題を発生させずに、使用者にボケのない観測画像を表示することが望まれる。
図２は、第１の実施形態に係る回路部を例示するブロック図である。図３は、ボケ補正部２１１を例示するブロック図である。
図２に表したように、回路部（画像処理装置）１１０は、背景輝度入力部２１０、処理部２２０、輝度補正部（輝度設定部）２３０を備える。例えば、背景輝度入力部２１０、処理部２２０と輝度補正部２３０は、回路部１１０に含まれる。
背景輝度入力部２１０は、例えば、観測画像１７０が重畳される背景の輝度（使用者の視界の先の背景輝度）に関する情報を取得し、背景輝度情報として処理部２２０へ出力する。
処理部２２０は、ボケ補正部２２１とコントラスト変調部２２２とを備える。ボケ補正部２２１は、回路部（画像処理装置）１１０へ入力される入力画像データに対してボケ補正を行い、ボケ補正画像データをコントラスト変調部へ出力する。入力画像データとボケ補正画像データは画素値を含む。コントラスト変調部２２２は、画素値が取りえる範囲内に収まるように前記ボケ補正画像データに含まれる画素値のコントラストを変調して得た表示画像データを投影部１２０の表示部１２２へ出力し、またコントラスト変調情報を輝度補正部２３０へ出力する。
輝度補正部２３０は、コントラスト変調情報に基づき、投影部１２０の輝度を設定するための輝度設定情報を出力する。具体的には、輝度補正部230は、前記ボケ補正画像データに含まれる画素値のコントラストを変調したことにより低下する前記観測画像の輝度を計算し、計算結果を輝度補正情報として投影部１２０の光源１２１へ出力する。
表示部１２２は、処理部２２０から入力される表示画像データに基づいて表示画像を表示し、前記輝度補正情報に基づき設定された光源１２１からの光を透過させることで、画像光を光学系１２３に向けて出射する。光学系１２３は、入射される画像光を構成する少なくとも一部の光線の進行方向を補正した補正光を反射部１３０へ向けて出射する。
図３に表したように、ボケ補正部２２１は、前記背景輝度情報に基づいて、２つのフィルタから構成されるフィルタセットから１つのフィルタを選択するためのフィルタ情報を出力するフィルタ選択部３１０と、前記フィルタ情報に基づいて、前記入力画像データに適用するフィルタを切り替えるフィルタ切替え部３２０と、前記入力画像データに対して前記フィルタ選択部で選択されたフィルタを適用し、前記ボケ補正画像データを出力するフィルタ処理部（３３０と３４０）とを備える。
なお、当該実施形態では、２つのフィルタから構成されるフィルタセットから１つのフィルタを選択する場合に限定して説明を進めるが、３つ以上のフィルタから構成されるフィルタセットから１つを選択しても良い。
なお、図２と図３において示したブロック図は、一例であり、必ずしも実際のモジュールとは一致しない場合がある。例えば、各ブロックの一部が表示装置とは別に設けられてもよい。
図４は、第１の実施形態に係る画像表示装置１００を例示するフローチャートである。図５は図３に対応するボケ補正を例示するフローチャートである。以下、図２、図３、図４、図５を用いて、画像表示装置１００を構成する各ブロックにおける処理を順に説明する。
Ｓ４１０では、背景輝度入力部２１０において、観測画像が重畳される背景の輝度（使用者１６０の視界前方の背景輝度）を入力し、背景輝度情報として処理部２２０に出力する。背景輝度は、例えば、分光放射輝度計、カメラなどのセンサを用いることで測定することができる。画像表示装置の使用環境が時々刻々変化する場合、例えば、背景輝度が変化する度に背景輝度を測定し、測定結果を背景輝度入力部２１０に入力する。また、使用環境が限定されており、背景輝度の変化が小さい場合、例えば、背景輝度を予め測定しておき、測定結果を背景輝度入力部２１０に入力しておいてもよい。また、使用環境が数パターンに限定されている場合、パターン毎に背景輝度を予め測定しておき、パターン毎に切替えて、背景輝度入力部２１０へ入力してもよい。背景輝度は、手動で入力されても良いし、自動で入力されてもよい。例えば、使用者１６０は、外部から背景輝度の入力を可能とするソフトウェアやハードウェアなどを介して、背景輝度を背景輝度入力部２１０に入力することができる。
Ｓ４２０では、ボケ補正部２２１において、画像表示装置１００への入力である入力画像データに対して背景輝度に応じたボケ補正を行い、ボケ補正画像データをコントラスト変調部２２２へ出力する。前述したとおり、光学系１２３と反射部１３０において収差が発生するために、使用者１６０が視る観測画像にボケ、色ずれや歪みなどの劣化が生じる。観測画像のボケを補正するために、例えば、観測画像にボケを発生させる劣化過程を空間フィルタあるいは周波数フィルタとして表現し、これらのフィルタの逆特性を持つ逆フィルタを入力画像データに適用する。このような逆フィルタは、使用者１６０に観測させたいボケのない画像と観測画像１７０との差分を表すエネルギー関数を小さくすることができるため、使用者はボケが補正された観測画像を視ることができる。
上述した通り、ボケ補正画像データの画素値が取りえる範囲外となる場合がある。特に、ボケ補正の効果がより強い逆フィルタを適用すればするほど、エッジ周辺でより大きなオーバーシュートやアンダーシュートが発生するため、ボケ補正画像データの画素値がより取りえる範囲外となる。このような場合、取りえる範囲内に収まるようにボケ補正画像データのコントラストを変調すると、観測画像のコントラストが低下するという問題がある。しかしながら、外界に観測画像を重畳させる画像表示装置１００の場合、背景輝度が高いほど、観測画像のコントラストがボケ補正画像データのコントラスト変調の影響を受けにくいという特性がある。例えば、背景輝度が高い場合、ボケ補正画像データのコントラストを狭くなるように変調したとしても、観測画像のコントラストの低下は小さくて済む。この特性を考慮して、例えば、背景輝度が高い場合、ボケ補正効果の強い逆フィルタを適用する。
以下に、逆フィルタの計算方法の一例について説明する。
観測画像１７０にボケを発生させる劣化過程を空間フィルタとして表現する。例えば、表示部１２２を構成する１画素から出射される光線のうち瞳孔１６２に入射する光線だけを追跡し、反射部１３０から瞳孔１６２に向かう光線を進行方向とは逆の方向に延長した線と観測画像１７０とが交わる点をプロットしていくことにより、スポットダイアグラムが得られる。このスポットダイアグラムは、前記劣化過程を空間フィルタとして表現したものである。また、カメラで観測画像１７０を撮影することにより、前記劣化過程を空間フィルタとして推定してもよい。
前記劣化過程は下記のように表現される。
Figure 2016197145
ただし、yは観測画像170をベクトル表現したもの、xは使用者に観測させたいボケのない観測画像をベクトル表現したもの、Bは前記劣化過程を空間フィルタとして表現したものを適切に並べた行列をそれぞれ表す。
逆フィルタは、例えば、下記のエネルギー関数Ｊを小さくするようなボケ補正画像データを求めることにより、計算される。
Figure 2016197145
Ｃは、例えば、ラプラシアンオペレータや微分オペレータである。式（２）の第一項は、使用者１６０に観測させたいボケのない画像と観測画像１７０との差分を表すエネルギーである。式（２）の第一項を最小化するボケ補正画像データを求める問題は劣決定であるため、適切な正則化を行う必要がある。そのために式（２）の第二項がある。式（２）の第二項は、ボケ補正画像データを安定的に求めるための正則化項である。εが小さいほど観測画像１７０のボケが強く補正されるが、ボケ補正画像データのエッジ周辺でより大きなオーバーシュートやアンダーシュートが発生する。そのため、ボケ補正画像データの画素値が取りえる範囲を大きく超える場合がある。εは、例えば、逆フィルタを適用する画像のエッジ強度に応じて決定される。この場合、エッジ強度が弱いほどεの値を小さくする。
前記フィルタは、例えば、観測画像にボケを発生させる劣化過程を表す空間フィルタを補正画像データに畳み込むことで生成される画像データと、所定の画像データとの差分を表すエネルギー関数を小さくする。
式（２）のエネルギー関数Ｊを小さくするようなボケ補正画像データを求めることにより、逆フィルタは次のように計算される。
Figure 2016197145
ただし、Ｉは逆フィルタを表す行列である。
なお、前記劣化過程が、使用者１６０に観測させたいボケのない画像の高域を減衰させるものである場合、逆フィルタは、例えば、高域強調フィルタや鮮鋭化フィルタでもよい。高域強調フィルタや鮮鋭化フィルタは、例えば、アンシャープマスクである。
Ｓ４２０におけるボケ補正に関して、図３と図５を用いてより詳しく説明する。
Ｓ５１０では、フィルタ選択部３１０において、前記背景輝度情報に基づいて２つのフィルタから構成されるフィルタセットから１つのフィルタを選択し、選択したフィルタをフィルタ情報としてフィルタ切替え部３２０へ出力する。前記フィルタセットは、例えば、式（１）に基づいて小さいεを使って算出されたボケ補正効果の強い逆フィルタＡと大きなεを使って算出されたボケ補正効果の弱い逆フィルタＢから構成される。例えば、背景輝度が高い場合、ボケ補正効果の強い逆フィルタＡを選択し、背景輝度が低い場合、ボケ補正効果の弱い逆フィルタＢを選択する。ただし、前記フィルタセットは、例えば、程度の異なる高域強調フィルタや鮮鋭化フィルタから構成されてもよい。
Ｓ５２０では、フィルタ切替え部３２０において、前記フィルタ情報に基づいて、入力画像データに適用するフィルタを切り替える。
Ｓ５３０では、フィルタ切替え部３２０において、入力画像データに対して前記フィルタ選択部で選択されたフィルタを適用する。ただし、入力画像データに対する逆フィルタの適用方法は、逆フィルタが空間フィルタか周波数フィルタかによって異なる。例えば、空間フィルタの場合、入力画像データを構成する画素に直接適用しても良いし、周波数フィルタの場合、入力画像データをフーリエ変換等により周波数領域に変換してから適用してもよい。例えば、空間フィルタの場合、入力画像データを構成する少なくとも１つの画素の値と、逆フィルタを表す重み係数との加重和が計算されることで、ボケ補正画像データが生成される。例えば、周波数フィルタの場合、入力画像データをフーリエ変換したものと逆フィルタとの積を計算し、計算結果を逆フーリエ変換することで、ボケ補正画像データが生成される。
また、逆フィルタは、観測画像１７０の輝度に対して線形な色空間において適用される。例えば、前記色空間は、CIE-RGB表色系、CIE-XYZ表色系である。入力画像データの画素値と観測画像１７０の輝度値との間に線形な関係がない場合、入力画像データの画素値を観測画像１７０の輝度に対して線形な色空間に変換してから逆フィルタを適用し、逆フィルタ適用後にもとの色空間に変換する。ただし、ボケ補正の効果が損なわれない限りは、線形でない色空間において、逆フィルタを適用してもかまわない。
Ｓ４３０では、コントラスト変調部２２２において、前記ボケ補正画像データの画素値が取りえる範囲内に収まるように前記ボケ補正画像データのコントラストが変調された表示画像データを投影部１２０へ出力し、コントラスト変調情報を輝度補正部１３０へそれぞれ出力する。処理部は、ボケ補正画像データを構成する画素の最大値と最小値に基づいてコントラストを変調する。例えば、前記ボケ補正画像データを構成する画素の最大値と最小値が取りえる範囲外であった場合、前記ボケ補正画像データに対して、下記のようなコントラスト変調を行う。
Figure 2016197145
ただし、f(x、 y)は前記ボケ補正画像データにおける座標(x、 y)の画素値、g(x、 y)は前記表示画像データにおける座標(x、 y)の画素値、fmaxはf(x、 y)の最大値、fminはf(x、 y)の最小値、MAXは取り得る画素値の最大値をそれぞれ表す。例えば、N-ビット画像の場合、画素値の取りえる範囲は0から2N-1であるから、MAXは2N-1である。
例えば、前記ボケ補正画像データの画素値の最大値が取りえる範囲外であり、前記ボケ補正画像データの画素値の最小値が取りえる範囲内であった場合、前記ボケ補正画像データに対して、下記のようなコントラスト変調を行ってもよい。
Figure 2016197145
例えば、前記ボケ補正画像データの画素値の最大値が取りえる範囲内であり、前記ボケ補正画像データの画素値の最小値が取りえる範囲外であった場合、前記ボケ補正画像データに対して、下記のようなコントラスト変調を行ってもよい。
Figure 2016197145
ただし、前記ボケ補正画像データの画素値が取りえる範囲内に収まるのであれば、コントラスト変調は、上述した方法以外の方法で実現してもかまわない。例えば、コントラスト変調前後の画素値を対応付けたＬＵＴ（Lock Up Table）に基づき、コントラスト変調してもかまわない。
なお、観測画像の視認性が低下しない限りは、必ずしも前記ボケ補正画像データの画素値を取りえる範囲内に収める必要はなく、取りえる範囲外をクリッピングしてもよい。例えば、前記ボケ補正画像データの画素値の最小値が-100、最大値が500であった場合、最小値が-５、最大値が260となるようにコントラスト変調し、取りえる範囲外をクリッピングする。クリッピングされる画素の数が少ない場合や、クリッピングによる画素値の変化が小さい場合、クリッピングによるボケ補正効果の低下や発生する歪みは視覚上、問題とならない。
なお、前記ボケ補正画像データの画素値が取りえる範囲内であった場合にも、式（４）のようなコントラスト変調を行ってもかまわない。この場合、観測画像のコントラストが向上するため、視認性の向上が期待される。
前記コントラスト変調情報は、どのようなコントラスト変調を行ったかを示す情報である。例えば、式（４）や式（５）のようなコントラスト変調を行った場合、ボケ補正画像データの最大画素値を含む。例えば、前記コントラスト変調情報は、ボケ補正画像データの最大画素がどの程度変化したかを示す情報を含む。
Ｓ４４０では、Ｓ４３０において前記ボケ補正画像データのコントラストを変調したことにより前記観測画像の輝度が低下しないように、輝度補正部２３０において、前記投影部の光源の輝度を補正するための輝度補正量を計算し、計算結果を輝度補正情報として投影部１２０へ出力する。例えば、式（４）や式（５）のようなコントラスト変調を行った場合、輝度補正量は下記のように計算される。
ただし、Ｌは光源の基準輝度値、ΔLは輝度補正量をそれぞれ表す。
Figure 2016197145
ボケ補正画像データの画素値と表示部１２２から出射される画像光の輝度値との関係が非線形である場合がある。例えば、ボケ補正画像データの画素値と表示部から出射される画像光の輝度値との間に下記のようなガンマ特性があるとする。
Figure 2016197145
ただし、lは画像光の輝度値、fはボケ補正画像データの画素値、γはガンマ特性を表すパラメータをそれぞれ表す。このような場合、輝度補正量は下記のように計算されてもよい。
Figure 2016197145
Ｓ４５０では、光源１２１において、前記輝度補正情報に基づき輝度を補正した光を表示部１２２に向けて出射する。例えば、前記輝度補正情報が、式（７）や式（９）で表されるような輝度補正量である場合、光源１２１から出射される光の輝度は次のように補正される。
Figure 2016197145
ただし、Lcは、補正後の光源１２１から出射される光の輝度値を表す。これにより、前記観測画像の輝度は低下しない。これにより、背景輝度コントラストが低下することなく、また観測画像のコントラストは、補正前と比較して高くなることにより観測画像１７０の視認性が向上する。
Ｓ４６０では、表示部１２２に処理部２２０から入力される表示画像データを表示し、前記輝度補正情報に基づき光源１２１の輝度を補正した光を透過させることで、画像光を光学系１２３に向けて出射する。
Ｓ４７０では、光学系１２３において、入射される画像光を構成する少なくとも一部の光線の進行方向を補正した補正光を反射部１３０へ向けて出射する。
Ｓ４８０では、反射部１３０において、入射される補正光の少なくとも一部の光線を眼球１６１の方向に反射する。反射部１３０によって反射された補正光Ｌ３の少なくとも一部の光線が瞳孔１６２に入り、角膜および水晶体によるレンズ機能により網膜１６３上で集光することにより使用者１６０の前方に虚像を形成させる。また、反射部１３０は、外界から反射部１３０へ入射した光の一部を透過させる。これにより、使用者１６０は、反射部１３０を通して、視界前方に観測画像と外界とを視ることができる。
以上の第１の実施形態によれば、光学系１２３と反射部１３０などで発生する収差によるボケが補正された観測画像１７０を使用者１６０に表示することができる。さらに、前記逆フィルタ適用後の画素値が取りえる範囲外となった場合でも、背景輝度コントラストを低下させることなく、また観測画像のコントラストの低下を抑えつつボケが補正された観測画像を使用者１６０に表示することができる。
（第２の実施形態）
画像表示装置１００で発生する歪みと色ずれの原理について説明する。
前述したとおり、光学系１２３と反射部１３０を構成するレンズやハーフミラーなどの光学素子に光線を通過あるいは反射させるごとに収差が発生するために、前記観測画像にボケ、色ずれや歪みなどの劣化が生じる。このような場合、使用者１６０は想定される観測画像よりもボケ、色ずれや歪みがある観測画像を視ることになる。
収差による色ずれや歪みとは逆の方向に画像を予め歪ませておくことで、観測画像の色ずれや歪みを補正することができる。
図６は、第２の実施形態に係る画像表示装置を例示するブロック図である。
図６に表したように、画像表示装置１００は、処理部２２０において、歪み補正部７１０をさらに備える。
処理部２２０は、画像表示装置１００への入力である入力画像データに対してボケ補正を行い、ボケ補正画像データをコントラスト変調部へ出力するボケ補正部２２１と、前記ボケ補正画像データに対して歪み補正を行い、歪み補正画像をコントラスト変調部へ出力する歪み補正部７１０と、前記歪み補正画像に対してコントラストを変調した表示画像データを投影部１２０へ出力し、またコントラスト変調情報を輝度補正部２３０へ出力するコントラスト変調部２２２をさらに備える。
なお、図７において示したブロック図は、一例であり、必ずしも実際のモジュールとは一致しない場合がある。例えば、各ブロックの一部が表示装置とは別に設けられてもよい。また、ボケ補正部２２１と歪み補正部７１０の配置を交換してもよい。この場合、歪み補正部２２１は入力画像データに対して歪み補正を行い、歪み補正画像データをボケ補正部へ出力する。ボケ補正部２２１は、前記歪み補正画像データに対してボケ補正を行い、ボケ補正画像データをコントラスト変調部２２２へ出力する。コントラスト変調部２２２は、前記ボケ補正画像データに対してコントラスト変調を行った表示画像データを投影部１２０へ出力する。また、ボケ補正部２２１と歪み補正部７１０は、ボケ補正と歪み補正の両方の処理を同時に行うブロックで置き換えてもよい。この場合、前記ブロックは、入力画像データに対してボケ補正と歪み補正を行い、コントラスト変調部２２２へ補正画像データを出力する。コントラスト変調部２２２は、前記補正画像に対してコントラスト変調を行った表示画像データを投影部２１０へ出力する。
図７は、第２の実施形態に係る画像表示装置１００を例示するフローチャートである。以下、図６と図７を用いて、処理部２２０における処理を説明する。
Ｓ８１０では、ボケ補正部２２１において、画像表示装置１００への入力である入力画像データに対して背景輝度に応じたボケ補正を行い、ボケ補正画像データを歪み補正部７１０へ出力する。ボケ補正は、例えば、第１の実施形態と同様である。
Ｓ８２０では、歪み補正部７１０において、入力されるボケ補正画像データに対して歪み補正を行い、歪み補正画像データをコントラスト変調部２２２へ出力する。例えば、収差による色ずれや歪みは、表示部１２２を構成する任意の画素が、観測画像のどこに対応しているかという対応関係をＬＵＴで表現することができる。前記ＬＵＴに基づき、収差による色ずれや歪みとは逆の方向に前記ボケ補正画像データを予め歪ませる。これにより、使用者１６０は、色ずれや歪みのない観測画像を視ることができる。
Ｓ８３０では、コントラスト変調部２２２において、前記歪み補正画像の画素値が取りえる範囲内に収まるように前記ボケ補正画像データのコントラストが変調された表示画像データを投影部１２０へ出力し、コントラスト変調情報を輝度補正部１３０へそれぞれ出力する。前記ボケ補正画像データのコントラスト変調の方法は、例えば、第１の実施形態と同様である。
以上の第２の実施形態によれば、光学系１２３と反射部１３０で発生するボケに関する劣化過程、歪みと色ずれが補正された観測画像１７０を使用者１６０に表示することができる。さらに、前記逆フィルタ適用後の画素値が取りえる範囲外となった場合でも、背景輝度コントラストを低下させることなく、また観測画像のコントラストの低下を抑えつつボケ、歪みと色ずれが補正された観測画像を使用者に表示することができる。
図８は、実施形態に係る画像表示装置のシステム構成の一例を例示している。
図８に表したように、回路部１１０は、例えば、インターフェース６１０、処理回路６２０、及びメモリ６３０を含む。
回路部１１０は、例えば、インターフェース６１０を介して、外部の記憶媒体、ネットワークや画像再生装置などと接続され、入力画像データを取得する。外部との接続には、有線及び無線のいずれの方法を用いてもよい。
処理回路６２０は、例えば、入力画像データやセンサ６５０から得られる情報や画像情報などをプログラム６４０に基づいて処理する。例えば、処理部２２０や輝度補正部２３０における処理は、プログラム６４０に基づいて、処理回路６２０において行われる。
メモリ６３０には、例えば、取得した入力画像データを処理するプログラム６４０が記憶されている。メモリ６３０は、例えば、磁気的または光学的に記録可能な記憶媒体を有し、取得された入力画像データや、センサ６５０から得られる情報や画像情報などを記録することができる。例えば、メモリ６３０に、画像表示装置１００の制御に係るプログラム６４０や各種設定情報等を記憶する。プログラム６４０に基づいて入力画像データを適宜変換し、表示画像データを生成する。メモリ６３０において、入力画像データや表示画像データなどの画像情報が保持されてもよい。プログラム６４０は、予めメモリ６３０に記憶された状態で提供されてもよいし、ＣＤ−ＲＯＭ等の記憶媒体やネットワークを介して提供され、適宜インストールされてもよい。
回路部１１０は、センサ６５０を含んでもよい。センサ６５０には、例えば、分光放射輝度計、分光放射照度計、カメラ、マイク、位置センサや加速度センサなどの任意のセンサを用いることができる。例えば、使用者の視界前方の背景輝度は、カメラによって測定される。例えば、センサ６５０から得られる情報に基づいて、表示部１１０に表示される画像を適宜変換する。これにより、画像表示装置の利便性や見易さを向上させることができる。
回路部１１０の各ブロックの一部、または全部には、ＬＳＩ（Large Scale Integration）等の集積回路またはＩＣ（Integrated Circuit）チップセットを用いることができる。各ブロックに個別の回路を用いてもよいし、一部または全部を集積した回路を用いてもよい。各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
なお、図６に表した例は、実施形態に係る表示装置の一例であり、必ずしも実際のモジュールとは一致しない場合がある。
上述の実施形態の画像表示装置において、回路部１１０や処理部２２０や輝度補正部２３０は、汎用のコンピュータ装置に搭載されたCPUなどのプロセッサにプログラムを実行させることにより実現することができる。このとき、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを提供して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
コンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。また、コンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。
以上、実施例を参照しつつ、本発明の実施の形態について説明した。しかしながら、本発明の実施形態は、これらの実施例に限定されるものではない。例えば、背景輝度入力部、ボケ補正部、コントラスト変調部、輝度補正部、光源、表示部、光学系、反射部などの各ブロックの具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。また、各実施例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
その他、本発明の実施の形態として上述した画像表示装置を基にして、当業者が適宜設計変更して実施し得る全ての表示装置も、本発明の要旨を包含する限り、本発明の範囲に属する。
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１００ 画像表示装置
１１０ 回路部
１２０ 投影部
１２１ 光源
１２２ 表示部
１２３ 光学系
１３０ 反射部
１３１ 第１面
１４０ 保持部
１４１ ノーズパッド
１４２ ブリッジ
１４３ テンプル
１５０ 眼鏡レンズ
１５１ 第１表面
１５２ 第2表面
１６０ 使用者
１６１ 眼球
１６２ 瞳孔
１６３ 網膜
１６４ 耳
１６５ 鼻
１７０ 観測画像Ａ
１７１ 観測画像Ｂ
Ｌ１ 光
Ｌ２ 画像光
Ｌ３ 補正光
２１０ 背景輝度入力部
２２０ 処理部
２２１ ボケ補正部
２２２ コントラスト変調部
２３０ 輝度補正部
３１０ フィルタ選択部
３２０ フィルタ切替え部
３３０ フィルタ処理部Ａ
３４０ フィルタ処理部Ｂ
Ｓ４１０ 背景輝度の入力
Ｓ４２０ ボケ補正
Ｓ４３０ コントラスト変調
Ｓ４４０ 輝度補正
Ｓ４５０ 光出射
Ｓ４６０ 画像表示
Ｓ４７０ 光学補正
Ｓ４８０ 反射
Ｓ５１０ フィルタ選択
Ｓ５２０ フィルタ切替え
Ｓ５３０ フィルタ処理
６１０ インターフェース
６２０ 処理回路
６３０ メモリ
６４０ プログラム
６５０ センサ
７１０ 歪み補正部
Ｓ８１０ ボケ補正
Ｓ８２０ 歪み補正
Ｓ８３０ コントラスト変調

Claims (10)

  1. 画像を投影する投影部に用いられる画像処理装置であって、
    背景輝度に関する背景輝度情報を入力する背景輝度入力部と、
    入力される入力画像データに対して前記背景輝度情報に応じたボケ補正を行って画素値を含むボケ補正画像データを生成し、前記画素値が取りえる範囲内に収まるように前記ボケ補正画像データのコントラストを変調して表示画像データとコントラスト変調情報を生成し出力する処理部と、
    前記コントラスト変調情報に基づき、投影部の輝度を設定するための輝度設定情報を出力する輝度設定部と、
    を有する画像処理装置。
  2. 前記ボケ補正部は、少なくとも２つ以上のフィルタから構成されるフィルタセットを有し、該フィルタセットから１つのフィルタを選択するためのフィルタ情報を出力するフィルタ選択部と、前記フィルタ情報に基づいて入力画像データに適用するフィルタを切り替えるフィルタ切り替え部と、前記入力画像データに対して前記フィルタ選択部で選択されたフィルタを適用してボケ補正画像データを出力するフィルタ処理部とを備える請求項１に記載の画像処理装置。
  3. 前記フィルタ選択部は、前記背景輝度が高いほど、ボケ補正効果の強いフィルタを選択する請求項２に記載の画像処理装置。
  4. 前記フィルタは、観測画像にボケを発生させる劣化過程を表す空間フィルタを補正画像データに畳み込むことで生成される画像データと、所定の画像データとの差分を表すエネルギー関数を小さくする、請求項２または３に記載の画像処理装置。
  5. 前記フィルタは、投影部の輝度に対して線形な色空間で適用される請求項２乃至４のいずれか一項に記載の画像処理装置。
  6. 前記処理部は、前記ボケ補正画像データを構成する画素の最大値と最小値に基づいてコントラストを変調する請求項１乃至３のいずれか一項に記載の画像処理装置。
  7. 前記輝度設定量は、前記ボケ補正画像データのコントラスト変調により低下する輝度の変化量に基づいて定められる、請求項１乃至６のいずれか一項に記載の画像処理装置。
  8. 前記処理部は、前記ボケ補正画像データに対して歪み補正を行ったあとにコントラストを変調する請求項１乃至７のいずれか一項に記載の画像処理装置。
  9. 請求項１乃至８のいずれか一項に記載の画像処理装置と、
    前記輝度設定情報に基づいて光を出射する光源と、前記光が入射し前記表示画像データに基づく画像光を出射する表示部と、を備える投影部と、
    画像光の少なくとも一部を反射させる反射部と、
    を備える画像表示装置。
  10. 背景輝度を検出するセンサをさらに備え、
    前記センサは検出した背景輝度を前記背景輝度入力部に入力する、請求項６に記載の画像表示装置。
JP2015076102A 2015-04-02 2015-04-02 画像処理装置および画像表示装置 Pending JP2016197145A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015076102A JP2016197145A (ja) 2015-04-02 2015-04-02 画像処理装置および画像表示装置
US15/010,677 US9762870B2 (en) 2015-04-02 2016-01-29 Image processing device and image display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015076102A JP2016197145A (ja) 2015-04-02 2015-04-02 画像処理装置および画像表示装置

Publications (1)

Publication Number Publication Date
JP2016197145A true JP2016197145A (ja) 2016-11-24

Family

ID=57015431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015076102A Pending JP2016197145A (ja) 2015-04-02 2015-04-02 画像処理装置および画像表示装置

Country Status (2)

Country Link
US (1) US9762870B2 (ja)
JP (1) JP2016197145A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180530A1 (ja) * 2017-03-28 2018-10-04 ソニー株式会社 画像処理装置および方法
WO2019230108A1 (ja) * 2018-05-28 2019-12-05 ソニー株式会社 画像処理装置、画像処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019102586A1 (de) * 2019-02-01 2020-08-06 tooz technologies GmbH Lichtleitanordnung, Abbildungsoptik, Head Mounted Display und Verfahren zum Verbessern der Abbildungsqualität einer Abbildungsoptik

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233867A (ja) * 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
JP2006133439A (ja) * 2004-11-05 2006-05-25 Nikon Corp ヘッドマウントディスプレイ
JP2008258802A (ja) * 2007-04-03 2008-10-23 Canon Inc 画像表示システム
JP2009282083A (ja) * 2008-05-20 2009-12-03 Ricoh Co Ltd プロジェクタ及び投影画像形成方法及び車両用ヘッドアップディスプレイ装置
US20120147163A1 (en) * 2010-11-08 2012-06-14 DAN KAMINSKY HOLDINGS LLC, a corporation of the State of Delaware Methods and systems for creating augmented reality for color blindness
WO2014138751A1 (en) * 2013-03-05 2014-09-12 Microsoft Corporation Controlling brightness of a displayed image
WO2016075744A1 (ja) * 2014-11-10 2016-05-19 日立マクセル株式会社 プロジェクタ及び映像表示方法
JP2016519322A (ja) * 2014-04-10 2016-06-30 マイクロソフト テクノロジー ライセンシング，エルエルシー 表示画像の明るさの制御

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2149565C (en) * 1994-06-17 2000-02-01 David A. Ansley A color helmet mountable display
US20020154214A1 (en) * 2000-11-02 2002-10-24 Laurent Scallie Virtual reality game system using pseudo 3D display driver
US6497649B2 (en) * 2001-01-21 2002-12-24 University Of Washington Alleviating motion, simulator, and virtual environmental sickness by presenting visual scene components matched to inner ear vestibular sensations
US20060007056A1 (en) * 2004-07-09 2006-01-12 Shu-Fong Ou Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same
JP4958497B2 (ja) * 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
US8269692B2 (en) * 2007-11-20 2012-09-18 Panasonic Corporation Image display apparatus, display method thereof, program, integrated circuit, goggle-type head-mounted display, vehicle, binoculars, and desktop display
CN101583898B (zh) * 2007-11-20 2011-12-07 松下电器产业株式会社 光束扫描式显示装置、显示方法以及汽车
WO2010042880A2 (en) * 2008-10-10 2010-04-15 Neoflect, Inc. Mobile computing device with a virtual keyboard
JP5341462B2 (ja) * 2008-10-14 2013-11-13 キヤノン株式会社 収差補正方法、画像処理装置および画像処理システム
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8839121B2 (en) * 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
US20110057862A1 (en) * 2009-09-07 2011-03-10 Hsin-Liang Chen Image display device
JP5402597B2 (ja) * 2009-12-10 2014-01-29 富士ゼロックス株式会社 媒体挟み付け装置および画像形成装置
WO2012050203A1 (ja) * 2010-10-15 2012-04-19 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、記録媒体
JP5644444B2 (ja) * 2010-12-03 2014-12-24 富士通株式会社 画像表示装置、画像表示方法、および画像処理装置
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US8223024B1 (en) * 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
CN108364623B (zh) * 2012-02-22 2021-09-07 索尼公司 信息处理设备、信息处理方法和计算机可读介质
US9001005B2 (en) * 2012-02-29 2015-04-07 Recon Instruments Inc. Modular heads-up display systems
JP2014126753A (ja) * 2012-12-27 2014-07-07 Seiko Epson Corp ヘッドマウントディスプレイ
JP6264734B2 (ja) * 2013-03-13 2018-01-24 セイコーエプソン株式会社 虚像表示装置
JP6086975B2 (ja) * 2013-03-27 2017-03-01 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US9360672B2 (en) * 2013-07-11 2016-06-07 Seiko Epson Corporation Head mounted display device and control method for head mounted display device
KR102087010B1 (ko) * 2013-08-16 2020-03-10 삼성전자 주식회사 무선 통신에 기반한 데이터 송수신 방법 및 장치
US20150312468A1 (en) * 2014-04-23 2015-10-29 Narvaro Inc. Multi-camera system controlled by head rotation
KR102310798B1 (ko) * 2014-05-08 2021-10-12 삼성전자주식회사 Pa 바이어스를 제어하는 장치 및 그 방법
JP5886896B2 (ja) 2014-05-20 2016-03-16 株式会社東芝 表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233867A (ja) * 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
JP2006133439A (ja) * 2004-11-05 2006-05-25 Nikon Corp ヘッドマウントディスプレイ
JP2008258802A (ja) * 2007-04-03 2008-10-23 Canon Inc 画像表示システム
JP2009282083A (ja) * 2008-05-20 2009-12-03 Ricoh Co Ltd プロジェクタ及び投影画像形成方法及び車両用ヘッドアップディスプレイ装置
US20120147163A1 (en) * 2010-11-08 2012-06-14 DAN KAMINSKY HOLDINGS LLC, a corporation of the State of Delaware Methods and systems for creating augmented reality for color blindness
WO2014138751A1 (en) * 2013-03-05 2014-09-12 Microsoft Corporation Controlling brightness of a displayed image
JP2016519322A (ja) * 2014-04-10 2016-06-30 マイクロソフト テクノロジー ライセンシング，エルエルシー 表示画像の明るさの制御
WO2016075744A1 (ja) * 2014-11-10 2016-05-19 日立マクセル株式会社 プロジェクタ及び映像表示方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180530A1 (ja) * 2017-03-28 2018-10-04 ソニー株式会社 画像処理装置および方法
CN110431840A (zh) * 2017-03-28 2019-11-08 索尼公司 图像处理装置和方法
JPWO2018180530A1 (ja) * 2017-03-28 2020-02-06 ソニー株式会社 画像処理装置および方法
US11151698B2 (en) 2017-03-28 2021-10-19 Sony Corporation Image processing apparatus and method for suppressing overlap blur and individual blur from projection images using an inverted filter
CN110431840B (zh) * 2017-03-28 2021-12-21 索尼公司 图像处理装置、方法以及存储介质
JP7218721B2 (ja) 2017-03-28 2023-02-07 ソニーグループ株式会社 画像処理装置および方法
WO2019230108A1 (ja) * 2018-05-28 2019-12-05 ソニー株式会社 画像処理装置、画像処理方法
US11575862B2 (en) 2018-05-28 2023-02-07 Sony Corporation Image processing device and image processing method

Also Published As

Publication number Publication date
US9762870B2 (en) 2017-09-12
US20160295183A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
US8670000B2 (en) Optical display system and method with virtual image contrast control
JP5140869B2 (ja) 画像投影方法および画像投影装置
JP5341462B2 (ja) 収差補正方法、画像処理装置および画像処理システム
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP6469130B2 (ja) プロジェクタ及び映像表示方法
JP2015097350A (ja) 画像処理装置およびマルチプロジェクションシステム
CN104956661B (zh) 图像拾取装置、图像处理装置、图像处理方法
EP2947499A1 (en) Display device
Wetzstein et al. Optical image processing using light modulation displays
KR20210005555A (ko) 디지털 가능하게 보정된 수차가 있는 혼합 현실 광학 시스템
US20170116950A1 (en) Liquid crystal display with variable drive voltage
JP2019158959A (ja) 表示装置およびその制御方法
JP2016197145A (ja) 画像処理装置および画像表示装置
US20140266985A1 (en) System and method for chromatic aberration correction for an image projection system
US10373293B2 (en) Image processing apparatus, image processing method, and storage medium
US20200004115A1 (en) Projection device, projection method, and program recording medium
JP6561606B2 (ja) 表示装置、及び、表示装置の制御方法
US11790498B1 (en) Augmented reality local tone mapping for light-transmissive display panel systems and methods
JP2023531492A (ja) ディスプレイデバイスの色均一性補正
JP2014150423A (ja) 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2009192583A (ja) 頭部装着式映像表示装置
TWI694271B (zh) 操作方法、頭戴式裝置及追蹤系統
JP2010087859A (ja) 画像処理パラメータ算出装置、画像処理パラメータ算出方法、製造方法、撮像装置、撮像方法、およびプログラム
US20200033595A1 (en) Method and system for calibrating a wearable heads-up display having multiple exit pupils
WO2020084894A1 (ja) マルチカメラシステム、制御値算出方法及び制御装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20170220

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190528