JP2014013968A - 画像信号処理装置、および画像信号処理方法、並びにプログラム - Google Patents

画像信号処理装置、および画像信号処理方法、並びにプログラム Download PDF

Info

Publication number
JP2014013968A
JP2014013968A JP2012149849A JP2012149849A JP2014013968A JP 2014013968 A JP2014013968 A JP 2014013968A JP 2012149849 A JP2012149849 A JP 2012149849A JP 2012149849 A JP2012149849 A JP 2012149849A JP 2014013968 A JP2014013968 A JP 2014013968A
Authority
JP
Japan
Prior art keywords
image
color
reference signal
signal
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012149849A
Other languages
English (en)
Other versions
JP5929567B2 (ja
JP2014013968A5 (ja
Inventor
Yoichi Hirota
洋一 廣田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012149849A priority Critical patent/JP5929567B2/ja
Priority to US13/920,409 priority patent/US9489723B2/en
Priority to CN201310276298.4A priority patent/CN103533213B/zh
Priority to CN201810486585.0A priority patent/CN108717688B/zh
Publication of JP2014013968A publication Critical patent/JP2014013968A/ja
Publication of JP2014013968A5 publication Critical patent/JP2014013968A5/ja
Application granted granted Critical
Publication of JP5929567B2 publication Critical patent/JP5929567B2/ja
Priority to US15/332,013 priority patent/US10319078B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Geometry (AREA)

Abstract

【課題】レンズ歪みに起因する各色対応の画像歪みと、表示パネルの白色光散乱に起因する偽光による色ずれを抑制可能とした構成を提供する。
【解決手段】補正対象画像の各色信号を入力し、レンズ歪み特性に起因する各色の画像歪み補正を実行して各色対応の補正画像を生成する複数の色対応歪み補正部を有する。複数の色対応歪み補正部の各々は、出力補正画像の各画素値の算出に適用する入力画像中の画素位置を示す参照信号を入力し、参照信号の示す入力画像の画素位置の画素値を出力画素値として設定する。複数の色対応歪み補正部の少なくとも1つの色対応歪み補正部は、他色の参照信号との差分を小さく設定した補正参照信号を適用し、該補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定し、さらに高域削減処理としての帯域制御を施した補正画像を生成して出力する。
【選択図】図17

Description

本開示は、画像信号処理装置、および画像信号処理方法、並びにプログラムに関する。特に表示部に発生する色ずれなどを抑制する処理を行なう画像信号処理装置、および画像信号処理方法、並びにプログラムに関する。
頭部に装着して映像を視聴する表示装置、すなわちヘッド・マウント・ディスプレイ(HMD)が広く知られている。ヘッド・マウント・ディスプレイは、左右の眼毎に光学ユニットを持ち、また、ヘッドフォンと併用し、視覚および聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば3D画像を提示することができる。
ヘッド・マウント・ディスプレイの左右の眼の表示部には、例えば液晶や有機EL(Electro− Luminescence)素子などからなる高解像度の表示パネルを用いることができる。また、光学系で適当な画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる。
表示部は映像に対応する様々な色の波長光を出力し、ユーザ(観察者)は左右の眼で、表示部の出力映像を観察することになる。
なお、ヘッド・マウント・ディスプレイの構造と原理について世界時した従来技術として、例えば特許文献1(特開2011−145488号公報)がある。
ヘッド・マウント・ディスプレイの左右の眼の表示部は、表示パネルとレンズを組み合わせた構成となっている。このような映像表示デバイスにおいては、レンズの持つ歪み等に起因して観察画像に色ずれが発生することがある。具体的には、例えば本来RGBの各色が均等に混じりあって白(W)色として観察されるべき画素がRGBの各色が少しずつ、ずれて並んだように観察される色ずれが発生することがある。
特開2011−145488号公報
本開示は、例えば上記問題点に鑑みてなされたものであり、特にレンズ歪み等によって発生する色ずれを抑制し、品質の高いカラー画像を表示可能とした画像信号処理装置、および画像信号処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
補正対象画像の各色信号を入力し、レンズ歪み特性に起因する各色の画像歪み補正を実行して各色対応の補正画像を生成する複数の色対応歪み補正部を有し、
前記複数の色対応歪み補正部の各々は、出力する補正画像の各画素値の算出に適用する入力画像中の画素位置を示す参照信号を入力し、該参照信号の示す入力画像の画素位置の画素値を出力画素値として設定する処理を行ない、
前記複数の色対応歪み補正部の少なくとも1つの色対応歪み補正部は、
他色の参照信号との差分を小さく設定した補正参照信号を適用し、該補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する処理を行なう画像信号処理装置にある。
さらに、本開示の画像信号処理装置の一実施態様において、前記画像処理装置は、2つの異なる色の参照信号の差分絶対値を算出し、算出した差分絶対値に応じて決定する補正量を適用して、前記2つの異なる色の一方の色対応の補正参照信号を生成する歪み差分抑制参照信号生成部を有し、前記補正参照信号を適用する色対応歪み補正部は、前記歪み差分抑制参照信号生成部の生成した補正参照信号を適用した処理を実行する。
さらに、本開示の画像信号処理装置の一実施態様において、前記歪み差分抑制参照信号生成部は、前記2つの異なる色の参照信号との差分を小さく設定した補正参照信号を生成する。
さらに、本開示の画像信号処理装置の一実施態様において、前記歪み差分抑制参照信号生成部は、前記2つの異なる色の参照信号の差分絶対値が大であるほど、前記2つの異なる色の参照信号との差分削減量をより大きく設定した補正参照信号を生成する。
さらに、本開示の画像信号処理装置の一実施態様において、前記補正参照信号を適用する色対応歪み補正部は、さらに、補正参照信号を適用して算出した画素値からなる画像信号に対して、高域削減処理を施して前記補正画像を生成する。
さらに、本開示の画像信号処理装置の一実施態様において、前記画像処理装置は、2つの異なる色の参照信号の差分絶対値を算出し、算出した差分絶対値に応じて、前記高域削減処理を実行するためのフィルタ帯域制御信号を生成するフィルタ帯域算出部を有し、前記補正参照信号を適用する色対応歪み補正部は、前記フィルタ帯域算出部の算出したフィルタ帯域制御信号に従った高域削減処理を施して前記補正画像を生成する。
さらに、本開示の画像信号処理装置の一実施態様において、前記フィルタ帯域算出部は、前記2つの異なる色の参照信号の差分絶対値が大であるほど、高域削減率を大きく設定したフィルタ帯域制御信号を生成する。
さらに、本開示の画像信号処理装置の一実施態様において、前記色対応歪み補正部は、リニア補間処理によって、参照信号または補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する。
さらに、本開示の画像信号処理装置の一実施態様において、前記複数の色対応歪み補正部は、前記補正対象画像のR信号を入力し、R信号対応の補正画像を生成して出力するR歪み補正部と、前記補正対象画像のG信号を入力し、G信号対応の補正画像を生成して出力するG歪み補正部と、前記補正対象画像のB信号を入力し、B信号対応の補正画像を生成して出力するB歪み補正部によって構成される。
さらに、本開示の画像信号処理装置の一実施態様において、前記R歪み補正部と、前記B歪み補正部のみが、前記補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する。
さらに、本開示の画像信号処理装置の一実施態様において、前記R歪み補正部と、前記B歪み補正部のみが、補正参照信号を適用して算出した画素値からなる画像信号に対して、高域削減処理を施して前記補正画像を生成する。
さらに、本開示の第2の側面は、
前記請求項1〜11いずれかに記載の画像信号処理を実行する画像信号処理部を備えたヘッド・マウント・ディスプレイ装置にある。
さらに、本開示の第3の側面は、
画像信号処理装置において実行する画像信号処理方法であり、
前記画像処理装置は、補正対象画像の各色信号を入力し、レンズ歪み特性に起因する各色の画像歪み補正を実行して各色対応の補正画像を生成する複数の色対応歪み補正部を有し、
前記複数の色対応歪み補正部の各々において、
出力する補正画像の各画素値の算出に適用する入力画像中の画素位置を示す参照信号を入力し、該参照信号の示す入力画像の画素位置の画素値を出力画素値として設定する処理を行ない、
前記複数の色対応歪み補正部の少なくとも1つの色対応歪み補正部が、
他色の参照信号との差分を小さく設定した補正参照信号を適用し、該補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する処理を行なう画像信号処理方法にある。
さらに、本開示の第4の側面は、
画像信号処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、補正対象画像の各色信号を入力し、レンズ歪み特性に起因する各色の画像歪み補正を実行して各色対応の補正画像を生成する複数の色対応歪み補正部を有し、
前記プログラムは、前記複数の色対応歪み補正部の各々において、
出力する補正画像の各画素値の算出に適用する入力画像中の画素位置を示す参照信号を入力し、該参照信号の示す入力画像の画素位置の画素値を出力画素値として設定する処理を実行させ、
前記複数の色対応歪み補正部の少なくとも1つの色対応歪み補正部において、
他色の参照信号との差分を小さく設定した補正参照信号を適用し、該補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する処理を行なわせるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、レンズ歪みに起因する各色対応の画像歪みと、表示パネルの白色光散乱に起因する偽光による色ずれを抑制可能とした構成が実現される。
具体的には、補正対象画像の各色信号を入力し、レンズ歪み特性に起因する各色の画像歪み補正を実行して各色対応の補正画像を生成する複数の色対応歪み補正部を有する。複数の色対応歪み補正部の各々は、出力補正画像の各画素値の算出に適用する入力画像中の画素位置を示す参照信号を入力し、参照信号の示す入力画像の画素位置の画素値を出力画素値として設定する。複数の色対応歪み補正部の少なくとも1つの色対応歪み補正部は、他色の参照信号との差分を小さく設定した補正参照信号を適用し、該補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定し、さらに高域削減処理としての帯域制御を施した補正画像を生成して出力する。
本構成により、レンズ歪みに起因する各色対応の画像歪みと、表示パネルの白色光散乱に起因する偽光による色ずれを抑制可能とした構成が実現される。
本開示の画像信号処理装置を利用したシステム構成例について説明する図である。 本開示の画像信号処理装置の一例としてのヘッド・マウント・ディスプレイの外観構成例について説明する図である。 本開示の画像信号処理装置の一例としてのヘッド・マウント・ディスプレイの構成例について説明する図である。 レンズによって生じる画像歪みについて説明する図である。 レンズによって生じる画像歪みを補正する処理例について説明する図である。 レンズによって生じるRGB各色の画像歪みについて説明する図である。 レンズによって生じるRGB各色の画像歪みに起因する観察画像における色ずれについて説明する図である。 レンズによって生じるRGB各色の画像歪みを補正する処理例について説明する図である。 レンズによって生じるRGB各色の画像歪みを補正する処理例について説明する図である。 レンズによって生じるRGB各色の画像歪みを補正する信号処理構成について説明する図である。 レンズによって生じるRGB各色の画像歪みを補正する信号処理部の各色対応歪み補正部の構成例について説明する図である。 レンズによって生じるRGB各色の画像歪みを補正する信号処理部の各色対応歪み補正部内のリニア補間部の処理について説明する図である。 偽光の発生について説明する図である。 偽光によって生じる観察画像の問題点について説明する図である。 偽光によって生じる観察画像の問題点について説明する図である。 本開示の画像信号処理装置の一例であるヘッド・マウント・ディスプレイの構成例について説明する図である。 本開示の画像信号処理装置の画像信号処理部の一構成例について説明する図である。 本開示の画像信号処理装置の画像信号処理部の歪み差分抑制参照信号生成部の処理について説明する図である。 本開示の画像信号処理装置の画像信号処理部の歪み差分ベースフィルタ帯域算出部の処理について説明する図である。 本開示の画像信号処理装置の画像信号処理部の帯域調整およびR歪み補正部の構成と処理について説明する図である。 本開示の画像信号処理装置の画像信号処理部の帯域調整およびR歪み補正部のローパスフィルタ適用処理について説明する図である。 本開示の画像信号処理装置の画像信号処理部の帯域調整およびR歪み補正部の実行する処理の効果について説明する図である。 本開示の画像信号処理装置の画像信号処理部の帯域調整およびR歪み補正部の実行する処理の効果について説明する図である。 本開示の画像信号処理装置の画像信号処理部の帯域調整およびR歪み補正部の実行する処理の効果について説明する図である。 本開示の画像信号処理装置の画像信号処理部の帯域調整およびR歪み補正部の実行する処理の効果について説明する図である。
以下、図面を参照しながら本開示の画像信号処理装置、および画像信号処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.ヘッド・マウント・ディスプレイの構成と色ずれの発生について
2.偽光による色ずれの発生を抑制した処理について
2−1.ヘッド・マウント・ディスプレイの全体構成について
2−2.画像信号処理部の実行する処理の詳細について
2−3.補正参照信号の適用とローパスフィルタの適用に基づく効果について
3.本開示の構成のまとめ
[1.ヘッド・マウント・ディスプレイの構成と色ずれの発生について]
まず、ヘッド・マウント・ディスプレイの構成と色ずれの発生についての概要を説明する。
図1は、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示している。図1に示すシステムは、ヘッド・マウント・ディスプレイ10本体と、視聴コンテンツのソースとなるブルーレイ・ディスク再生装置20と、ブルーレイ・ディスク再生装置20の再生コンテンツの他の出力先となるハイビジョン・ディスプレイ(例えば、HDMI(High−Definition Mutlimedia Interface)対応テレビ)30と、ブルーレイ・ディスク再生装置20から出力されるAV信号の処理を行なうフロント・エンド・ボックス40で構成される。
フロント・エンド・ボックス40は、ブルーレイ・ディスク再生装置20から出力されるAV信号をHDMI入力すると、例えば信号処理して、HDMI出力するHDMIリピーターに相当する。また、フロント・エンド・ボックス40は、ブルーレイ・ディスク再生装置20の出力先をヘッド・マウント・ディスプレイ10又はハイビジョン・ディスプレイ30のいずれかに切り替える2出力スイッチャーでもある。図示の例では、フロント・エンド・ボックス40は2出力であるが、3以上の出力を有していてもよい。但し、フロント・エンド・ボックス40は、AV信号の出力先を排他的とし、且つ、ヘッド・マウント・ディスプレイ10への出力を最優先とする。
ブルーレイ・ディスク再生装置20とフロント・エンド・ボックス40間、並びに、フロント・エンド・ボックス40とハイビジョン・ディスプレイ30間は、それぞれHDMIケーブルで接続されている。フロント・エンド・ボックス40とヘッド・マウント・ディスプレイ10間も、HDMIケーブルで接続するように構成することも可能であるが、その他の仕様のケーブルを用いてAV信号をシリアル転送するようにしてもよい。但し、フロント・エンド・ボックス40とヘッド・マウント・ディスプレイ10間を接続するケーブル1本で、AV信号と電力を供給するものとし、ヘッド・マウント・ディスプレイ10はこのケーブルを介して駆動電力も得ることができる。
ヘッド・マウント・ディスプレイ10は、左眼用及び右眼用の独立した表示部を備えている。各表示部は、例えば有機EL素子を用いている。また、左右の各表示部は、低歪みで且つ高解像度の広視野角光学系からなるレンズ・ブロックを装備している。
図2には、ヘッド・マウント・ディスプレイ10の外観構成例を示している。ヘッド・マウント・ディスプレイのフレームには、左眼用表示部50並びに右眼用表示部60がレンズ・ブロック(前述)とともに支持されている。また、左右のテンプルには、左側イヤホン並びに右側イヤホンがそれぞれ取り付けられている。図示の例では、鼻パッド(鼻当て)が装着センサを兼用しており、鼻パッドにユーザ(鑑賞者)の鼻頭が当接することにより装着を検出する仕組みとなっている。装着センサは、鼻当てにユーザの鼻頭が当接するとオンになり、鼻頭から離れるとオフになる。
図2に示すように、左眼用表示部50並びに右眼用表示部60の上方には、遮光フードがそれぞれ取り付けられている。ユーザがヘッド・マウント・ディスプレイ10を装着した状態では、左右の眼は遮光フードで環境光から遮られており、鑑賞環境をほぼ一定に保つことが可能である。すなわち、ヘッド・マウント・ディスプレイ10はユーザの眼を直接覆うデバイスとして構成される。
図3は、ヘッド・マウント・ディスプレイ10を上面から見た図である。
左眼用表示部50並びに右眼用表示部60は、同様の構成を有している。
左眼用表示部50の構成例について説明する。図に示すように、左眼用表示部50は、白色光源81、カラーフィルタ82から構成される表示パネル80と、レンズ83を有する。フロント・エンド・ボックス40から出力される例えば映画などのコンテンツに対応するHDMI出力が画像信号処理部70に入力される。なお、この画像信号処理部70は、ヘッド・マウント・ディスプレイ10に備わった構成である。
画像信号処理部70から画像信号に応じた制御信号が出力され、白色光源81が制御される。白色光源81の出力する光は、カラーフィルタ82、レンズ83を介してユーザ(観察者)の眼に到達する。
しかし、このように、表示パネル80とレンズ83を組み合わせた構成を持つ表示デバイスにおいては、レンズ83の持つ歪み等に起因して観察画像に色ずれが発生することがある。
例えば、表示パネル上の1つの画素に対してW(白色)を表示する場合、RGB各波長光を1つの画素に重ねて出力することで、白色の表示が可能となる。
しかし、レンズの持つ歪みに起因してRGBの出力位置にずれが発生し、RGB各色が少しずつずれた位置に出力されるといった色ずれが発生することがある。
このような問題を解決する一つの手法として、表示パネルの領域ごとに部分的に画像をシフトさせることによって、歪みを打ち消す方法がある。
レンズの歪みによって発生する観察画像の例を図4に示す。
図4は、
(A)元画像(表示パネル上の画像)
(B)レンズを通した画像(観察画像)
これらの2つの画像の例を示している。
図3に示す画像信号処理部の出力する画像信号によって表示パネル80、すなわち、白色光源81とカラーフィルタ82によって構成される表示パネル80上には、元のコンテンツに対応する図4(A)に示す正しい画像が表示される。図4(A)に示す四角形は、ある1つの表示オブジェクトの輪郭を示す。
しかし、この画像をユーザ(観察者)の眼の直前に配置したレンズを介して観察すると、レンズ歪みに起因するゆがみが発生し、図4(B)に示すように、本来、四角形であるオブジェクトが変形したように観察される。
このような元画像と観察画像の差異は、レンズの特性、いわゆる歪み特性に起因するものである。
レンズの歪み特性は、予め測定可能であり、例えば、図4のような歪み特性を有するレンズを使用する場合、その歪み特性の逆特性の画像を補正画像として生成して出力する処理が有効である。
すなわち、図5に示すように、画像信号処理部70に対する入力画像(A1)に対して、画像信号処理部70において、(A2)に示すような、レンズ歪み特性の逆特性の画像を補正画像として生成する。
この補正画像を表示パネル80上に表示すれば、図5(B)に示すように、レンズを通した観察画像は、ゆがみのない画像となり、ユーザ(観察者)は正常な画像を観察することが可能となる。
しかし、レンズの持つ歪み特性は、光の波長に依存して若干変化する。
例えばRGB各信号を用いた表示部では、図6に示すようにR,G,Bの各波長光に応じて異なる歪みを発生させる。
このような波長に応じた歪み特性の差異によって、先に説明した本来、白(W)として観察されるべき画素値が白ではなくRGB各色がずれて観察されるといった現象が発生する。
図7は、この色ずれの現象を説明する図である。
図7には、以下の2つの観察画像の例を示している。
(a)理想的な観察画像、
(b)現実の観察画像、
それぞれ、観察画像に含まれるRGB各信号の出力信号の位置と観察される画像の例を示している。
いずれもレンズを介した出力画像の場合の例である。
図7(a)に示す理想的な観察画像では、RGB各色の信号の出力位置が揃っており、ユーザの観察する画素値は白(W)となる。
しかし、図7(b)に示す現実の観察画像では、RGB各色の信号の出力位置がずれており、ユーザの観察する画素値は白(W)ではなくRGBの3色が並んだ画像となる。
このように、レンズの持つ歪み特性は、光の波長に依存して変化するため、RGBで同一の歪み補正を行うと相対的なRGBの位置ははずれたままの状態となる。この問題を解決するためには、補正画像の生成時にRGB各色単位の独立した補正処理を行う必要がある。
すなわち、図8に示すような処理を実行することが有効である。図8に示すように、画像信号処理部70に対する入力画像(A1)に対して、画像信号処理部70において、(A2)に示すように、RGBの各波長光固有のレンズ歪み特性の逆特性の画像を補正画像として生成する。
この図8(A2)に示す補正画像は、先に説明した図6(B)のRGB各色の歪み特性の逆特性をRGB個別に設定した画像である。
この補正画像を表示パネル80上に表示すれば、図8(B)に示すように、レンズを通した観察画像は、ゆがみのない画像となり、ユーザ(観察者)は正常な色ずれのない正常な画像を観察することが可能となる。
例えば図9(b)に示すように、白(W)画素を出力する元画像と同じ白(W)画素を観察画像として観察させるためには、表示パネル80に出力する補正画像は、図9(a)に示すようにRGB各々のずれ量を少しずつ異ならせて設定した補正画像を生成することが必要となる。
このような各色単位の補正処理による補正画像を生成する信号処理構成の例について図10を参照して説明する。
信号処理部は、図10に示すように、R信号対応の歪み補正を行うR歪み補正部101、G信号対応の歪み補正を行うG歪み補正部102、B信号対応の歪み補正を行うB歪み補正部103を有する。
各RGB歪み補正部101〜103にそれぞれに、各色RGB個別の入力信号:dinR,dinG,dinBと、参照信号refR,refG,refBを入力する。
入力信号:dinは、表示画像を構成する各画素の画素信号である。例えば図1、図3等に示すフロント・エンド・ボックス40からの入力コンテンツを構成する各画像フレームの各色対応の画素信号を各補正部に順次入力する。
参照信号:refは、RGB歪み補正部101〜103の出力信号:doutを生成する際に参照すべき入力画像の画素位置を示す信号である。
この参照信号は、ヘッド・マウント・ディスプレイ10のレンズの歪み特性に応じたパラメータであり、ヘッド・マウント・ディスプレイ10の画像信号処理部内のメモリに予め格納されている。
例えば、R参照信号:refRは、R歪み補正部101の出力するk番目のR画素:doutR(k)に対応する入力画像中の画素位置を示す。R歪み補正部101の出力するk番目のR画素:doutR(k)の画素位置と、入力画像中の画素位置の距離が歪み量、すなわちレンズ歪みによって発生する観察画像の画素位置のずれ量に相当する。
なお、R歪み補正部101にはR画素値のみ、G歪み補正部102にはG画素値のみ、B歪み補正部103にはB画素値のみに対応する入力信号と参照信号を入力する。
各RGB歪み補正部101〜103は、補正対象とする入力信号:dinの画素値と、各色対応の歪み特性に従った画素ずれ量に従って決定される参照画素位置を示す参照信号:refを適用して出力信号:doutを生成して出力する。
各RGB歪み補正部101〜103では、順次入力する入力画素値信号:dinを適用して、これらの入力画素位置からずれた位置、すなわち各色対応のレンズ歪み特性に応じてずらした画素位置の画素値を算出する画素補間処理を実行する。この補間画素値からなる画像信号を出力信号:doutとして出力する。
RGB歪み補正部101〜103の各々において実行する画素値補間処理の具体的処理について、図11を参照して説明する。
以下、説明を分かり易くするため、RGB歪み補正部101〜103は、入力画素の画素値に基づいて、水平方向のみにずらした位置の画素値を算出する補間処理を行なうものとして説明する。また、補間方法はリニア補間を適用するものとして説明する。なお、水平と垂直の二次元補正処理や、キュービック補間などのマルチタップ補間処理を行なう場合もあるが、これらの処理は、以下に説明する一次元方向の処理を2次元方向に拡張すれば実現可能であり、基本的な処理は、以下の説明に従った処理となる。
図11は、図10に示すRGB歪み補正部101〜103の1つの歪み補正部であるR歪み補正部101の詳細構成を示している。図10に示すRGB歪み補正部101〜103はいずれも図11に示す歪み補正部101と同様の構成を有する。
R歪み補正部101に入力する参照信号refR(k)は、R歪み補正部101が出力するk番目の出力信号doutR(k)を算出するために参照する入力画像信号の画素位置を表す。
すなわち、R歪み補正部101の出力するk番目のR画素:doutR(k)の画素位置と、参照信号refR(k)によって指定される入力画像中の画素位置との距離が歪み量、すなわちレンズ歪みによって発生する観察画像の画素位置のずれ量に相当する。
ただし、このずれ量は、画素間隔に一致する整数とは限らない。そのため、参照信号refR(k)の整数部をmk、小数部をskと表す。
例えば、この例では、水平方向の画素のみを利用した例であり、mkは、ある水平画素ラインの左側の画素から順次設定された画素番号:mk=1,2,3,4,5・・・に相当する。
例えば、R歪み補正部101は、出力するk番目のR画素の画素値:doutR(k)を、参照信号:refR(k)=mk+skによって決定される入力画像の画素位置の画素値に設定する処理を行なう。
図11において、R入力画像dinRは、順次、メモリ111に格納される。
メモリ111からは、参照信号refR(k)=mk+sk中の、mkの値に応じて、R歪み補正部101が出力するk番目の出力信号doutR(k)を算出するために参照する入力画像の画素値:dinR(mk)、dinR(mk+1)を取得する。
リニア補間部112は、これらの入力画像の画素値:din(mk)、din(mk+1)を、参照信号refR(k)=mk+sk中の小数部skの値によってリニア補間することにより、出力画像信号doutR(k)の画素値として設定すべき、本来の入力画像中の画素位置、すなわち、参照信号refR(k)=mk+skの示す画素位置の画素値を算出する。
図12を参照して、R歪み補正部101の実行する出力信号doutR(k)の算出処理例について説明する。
図12には、
(A)R歪み補正部101に対する入力画像の各画素位置対応の画素値(din)、
(B)R歪み補正部101からの出力画像の各画素位置対応の画素値(dout)、
これらを示している。
横軸が画素位置であり、(A),(B)とも同じスケールで示している。
縦軸がそれぞれ入力画像と出力画像の画素値を示している。
例えば、図12(B)に示す出力画像のk番めの画素の画素値doutR(k)は、図12(B)に示す画素120に対応する画素値である。
この画素値を算出するための入力画像中の画素位置が参照信号refR(k)=mk+skによって決定される。
この参照信号refR(k)=mk+skによって指定される画素位置は、図12(A)に示す画素121である。
しかし、この画素121は、入力画像中には存在しない画素位置である。
その両サイド、すなわち、画素位置=mkのR画素122と、画素位置:mk+1のR画素123は存在する。
リニア補間部112は、これらの入力画像のR画素値:dinR(mk)、dinR(mk+1)を利用した補間処理によって、参照信号refR(k)=mk+skの示す画素位置、すなわち、図12(A)に示す画素121の画素位置に対応する画素値を算出する。この算出画素値を図12(B)に示す出力画像のk番めの画素の画素値doutR(k)とする。
リニア補間部112は、出力画素値doutR(k)を、以下の算出式で算出する。
doutR(k)=(1−sk)×dinR(mk)+(sk)×dinR(mk)
リニア補間部112は、上記式に従って、出力画素値doutR(k)を算出する。
図11、図12を参照してR歪み補正部101における補正画像のR画素値の算出処理例を説明したが、G歪み補正部102、B歪み補正部103も、処理画素をそれぞれG,Bとする点が異なるのみであり、処理シーケンスは同様の処理として出力画像のG,B画素の画素値を算出して出力する。
この処理によって、例えば先に図8を参照して説明した図8(A2)に示す補正画像、すなわち、RGB各波長光に応じたレンズ歪み特性の逆特性を反映した補正画像を生成することが可能となる。
以上が波長依存性に対応した歪み補正処理の一般的な処理となる。
表示パネルのほとんどは、有機EL方式でも液晶方式でも、先に図3を参照して説明したとおり、白色光源の前面にカラーフィルタを配置した構成となっている。
このような構成を持つ表示部におけるもう1つの問題点として、白色光源の出射光が本来の出力色と異なる色のカラーフィルタの構成部に漏れてしまうという問題がある。この問題について、図13を参照して説明する。
図13は、先に説明した図3と同様のヘッド・マウント・ディスプレイの断面構成を示している。
先に図3を参照して説明したとおり、白色光源の前面にカラーフィルタを配置した構成となっている。
図13に示す例では、カラーフィルタのB(青)画素位置の背面の白色光源のみをONとして、その周囲はOFFとしている設定であり、青色の画素出力を生成する処理である。
しかし、白色光源からの光は、周囲に拡散し、斜め方向に照射された光が、本来通るべきカラーフィルタ(B)に隣接したカラーフィルタ(R,G)を通り、レンズによって集光されることになる。
この結果、ユーザ(観察者)は、本来の画像と違う色の画像を観察してしまうことになる。
この偽の光成分を、以下「偽光」と呼ぶ。また、この偽光に起因して観察画像に発生する本来の画像に含まれない色を「偽光による色ずれ」と呼ぶことにする。
図13に示す例では、
Rb,Gbが偽光成分に相当する。
なお、偽光信号「Rb」、「Gb」に示す先行文字「R」、「G」は、偽光として発生する色信号、後続文字「b」は、出力予定の色信号である本来のフィルタ色=Bを示す。
信号「Bb」は出力色成分=出力予定信号=Bであり正常な信号である。
ヘッド・マウント・ディスプレイで利用される小型のディスプレイではカラーフィルタと白色光源の距離が相対的に大きくなるため、この偽光現象がより顕著になる。
この偽光現象は、図7〜図12を参照して説明したRGB各色対応の歪み特性に対応するための補正画像を生成して出力した場合にも解消されない現象である。
図14は、先に図8を参照して説明したRGB各色対応の歪み特性に対応するための補正画像を生成して出力した場合の偽光による色ずれの発生態様を説明する図である。
図14に示すように、例えば、図3に示すヘッド・マウント・ディスプレイ10の画像信号処理部70に対する入力画像(A1)に対して、画像信号処理部70において、(A2)に示すように、RGBの各波長光固有のレンズ歪み特性の逆特性の画像を補正画像として生成する。
この図14(A2)に示す補正画像は、先に説明した図6(B)のRGB各色の歪み特性の逆特性をRGB個別に設定した画像である。
この補正画像を表示パネル上に出力し、レンズを介して観察した観察画像は、図14(B)に示すように、本来の白(W)以外に、青色、空色、黄色、赤色などが出力される。すなわち、偽光による色ずれが発生した画像が観察されることになる。
図15は、RGB対応の補正画像信号に基づく偽光の発生態様と観察画像の対応を説明する図である。
図15(a)は、偽光のない理想的な補正画像信号を示している。
なお、図15に示す例は、RGB各出力が同一の出力によって生成されるW画素の出力例である。
図15(b)は、偽光の発生した補正画像信号を示している。実際は、図13を参照して説明したように、本来の発光対象とするカラーフィルタの色の近辺の色を介した出力光が発生し、図15(b)に示すように、様々な偽光対応の信号が発生する。
すなわち、
R信号には偽光信号Rg,Rb、
G信号には偽光信号Gr,Gb、
B信号には偽光信号Br,Bg、
これらの偽光信号が含まれる。
この結果、図15(c)に示すように、白(W)画素の出力処理において、白(W)色の近傍に、青色、空色、黄色、赤色などが出力される。すなわち、偽光による色ずれが発生した画像が観察されることになる。
[2.偽光による色ずれの発生を抑制した処理について]
以下、図13〜図15を参照して説明した偽光に起因した色ずれの発生を抑制する処理を実行する画像信号処理装置について説明する。
[2−1.ヘッド・マウント・ディスプレイの全体構成について]
まず、図16を参照して、本開示の画像信号処理装置の一実施例であるヘッド・マウント・ディスプレイ10の全体構成について説明する。
制御部201は、例えばマイクロプロセッサーで構成され、RAM(Random AccessMemory)203を作業領域に用いながら、ROM(Read Only Memory)202に格納された制御プログラムを実行して、装置全体の動作を制御する。
装着センサ204は、ヘッド・マウント・ディスプレイ10がユーザ(鑑賞者)に装着されたことやユーザがヘッド・マウント・ディスプレイ10を外したことを検出する。装着センサ204は、ヘッド・マウント・ディスプレイ10の装着や取り外しを検出したときには、制御部201に検出信号を発生する。
制御部201は、検出信号に応じて、画像信号処理部206に対する処理開始または処理停止の制御命令の発行などを行う。
画像信号処理部206は、HDMI信号入力部205でフロント・エンド・ボックス40から受信した映像信号に対し、復号、スケーリング、ノイズ・リダクションなどの信号処理を行なう。さらに、レンズ歪みや偽光に基づく色ずれの発生を抑制するための補正画像の生成処理などを行う。、
処理後の映像信号は、VRAM(Video RAM)210に一時記録される。
表示制御部207は、VRAM210に一時記録されている映像信号を左眼用表示部208並びに右眼用表示部209に表示出力する。左眼用表示部208並びに右眼用表示部209は、先に図3や図13を参照して説明した構成、すなわち、白色光源とカラーフィルタによって構成される表示パネルとレンズを有する構成である。
[2−2.画像信号処理部の実行する処理の詳細について]
次に、図17以下を参照して図16に示すヘッド・マウント・ディスプレイ10内の画像信号処理部206の実行する処理の詳細について説明する。
前述したように、画像信号処理部206は、HDMI信号入力部205でフロント・エンド・ボックス40から受信した映像信号に対し、復号、スケーリング、ノイズ・リダクションなどの信号処理を行なう。さらに、レンズ歪みや偽光に基づく色ずれの発生を抑制するための補正画像の生成処理などを行う。
復号、スケーリング、ノイズ・リダクションなどの信号処理は、従来と同様の処理であり、以下では、レンズ歪みや偽光に基づく色ずれの発生を抑制するための補正画像の生成処理の詳細について説明する。
図17は、画像信号処理部206において実行するレンズ歪みや偽光に基づく色ずれの発生を抑制するための補正画像の生成処理構成を示す図である。
図17に示す画像処理部の構成は、先に図10を参照して説明した画像処理構成と同様、RGB各波長光のレンズ歪み特性に対応する各色対応の補正を実行して補正画像を生成する各色対応の歪み補正部421〜423を備えている。
ただし、図17に示す構成では、R信号の歪み補正を実行するR歪み補正部は、図10の構成とは異なる処理を実行する帯域調整およびR歪み補正部421として構成されている。
同様に、B信号の歪み補正を実行するB歪み補正部も、図10の構成とは異なる処理を実行する帯域調整およびB歪み補正部423として構成されている。
G信号の歪み補正を実行するG歪み補正部は、図10の構成と同様の処理を実行するG歪み補正部422として構成されている。
さらに、図17に示す構成では、偽光に基づく色ずれの発生を抑制するために以下の構成を追加している。
R−G歪み差分抑制R参照信号生成部401、
B−G歪み差分抑制B参照信号生成部402、
R−G歪み差分ベースR対応フィルタ帯域算出部411、
B−G歪み差分ベースB対応フィルタ帯域算出部412、
これらの構成を追加している。
R−G歪み差分抑制R参照信号生成部401は、R信号対応のレンズ歪み特性に基づくパラメータR参照信号refR311と、G信号対応のレンズ歪み特性に基づくパラメータG参照信号refG312をメモリから入力し、補正R参照信号ref'R321を生成し、生成した補正R参照信号ref'R321を帯域調整およびR歪み補正部421に入力する。
B−G歪み差分抑制R参照信号生成部402は、B信号対応のレンズ歪み特性に基づくパラメータB参照信号refR313と、G信号対応のレンズ歪み特性に基づくパラメータG参照信号refG312をメモリから入力し、補正B参照信号ref'B322を生成し、生成した補正R参照信号ref'R322を帯域調整およびB歪み補正部423に入力する。
R−G歪み差分ベースR対応フィルタ帯域算出部411は、R信号対応のレンズ歪み特性に基づくパラメータR参照信号refR311と、G信号対応のレンズ歪み特性に基づくパラメータG参照信号refG312をメモリから入力し、R対応フィルタ帯域制御信号ΔfR331を生成し、生成したR対応フィルタ帯域制御信号ΔfR331を帯域調整およびR歪み補正部421に入力する。
B−G歪み差分ベースB対応フィルタ帯域算出部412は、B信号対応のレンズ歪み特性に基づくパラメータB参照信号refR313と、G信号対応のレンズ歪み特性に基づくパラメータG参照信号refG312をメモリから入力し、B対応フィルタ帯域制御信号ΔfB332を生成し、生成したB対応フィルタ帯域制御信号ΔfB332を帯域調整およびB歪み補正部423に入力する。
図17に示す画像信号処理部206の構成に従った処理について説明する。
R信号の歪み補正を実行する帯域調整およびR歪み補正部421には、R入力信号dinR301が入力される。
G信号の歪み補正を実行するG歪み補正部422には、G入力信号dinG302が入力される。
B信号の歪み補正を実行する帯域調整およびB歪み補正部423には、B入力信号dinB303が入力される。
これらの入力信号:dinは、表示画像を構成する各画素の画素信号である。図16に示すHDMI信号入力部205から入力する画像信号であり、例えば図1、図3等に示すフロント・エンド・ボックス40からの入力コンテンツを構成する各画像フレームの各色対応の画素信号である。
さらに、
帯域調整およびR歪み補正部421には、
R−G歪み差分抑制R参照信号生成部401の生成した補正R参照信号ref'R321と、
R−G歪み差分ベースR対応フィルタ帯域算出部411の生成したR対応フィルタ帯域制御信号ΔfR331を入力する。
また、G歪み補正部422には、G信号対応の参照信号であるG参照信号refG312を入力する。
また、帯域調整およびB歪み補正部423には、
B−G歪み差分抑制R参照信号生成部402の生成した補正B参照信号ref'B322と、
B−G歪み差分ベースB対応フィルタ帯域算出部412の生成したB対応フィルタ帯域制御信号ΔfB332入力する。
R参照信号refR311,G参照信号refG312,B参照信号refB313は、先に図10を参照して説明した参照信号と同様の信号であり、ヘッド・マウント・ディスプレイ10のレンズの各色の歪み特性に応じたパラメータである。ヘッド・マウント・ディスプレイ10のメモリに予め格納されている。
図10を参照して説明した構成では、RGB歪み補正部101〜103において、出力信号:doutを生成する際の参照すべき入力画像の画素位置を示す信号として用いていた。
図17に示す構成では、G歪み補正部422は、図10、図11を参照して説明した処理と同様の処理を実行する。すなわち、G参照信号refG312に従って、参照する入力画像の画素位置を決定して、出力信号doutGを生成する。
G歪み補正部422は、図10、図11を参照して説明した処理と同様の処理を実行する。
しかし、R信号の歪み補正を実行する帯域調整およびR歪み補正部421と、B信号の歪み補正を実行する帯域調整およびB歪み補正部423は、図10、図11を参照して説明した処理とは異なる処理を実行する。
図17に示すRGB各色対応の歪み補正部421〜423は、補正対象画像の各色信号を入力し、レンズ歪み特性に起因する各色の画像歪み補正を実行して各色対応の補正画像を生成する。これらの複数の色対応歪み補正部421〜423の各々は、先に図10〜図12を参照して説明したと同様、出力する補正画像の各画素値の算出に適用する入力画像中の画素位置を示す参照信号を入力し、該参照信号の示す入力画像の画素位置の画素値を出力画素値として設定する処理を行なう。
ただし、図17の構成において、R,B各色対応の歪み補正部は、G参照信号refGとの差分を小さく設定した補正参照信号を入力してこの補正参照信号を適用し、該補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する処理を行なう。
この補正参照信号は、R−G歪み差分抑制R参照信号生成部401と、B−G歪み差分抑制R参照信号生成部402において生成される。
R−G歪み差分抑制R参照信号生成部401と、B−G歪み差分抑制R参照信号生成部402の実行する処理について図18を参照して説明する。
前述したように、R−G歪み差分抑制R参照信号生成部401は、R信号対応のレンズ歪み特性に基づくパラメータR参照信号refR311と、G信号対応のレンズ歪み特性に基づくパラメータG参照信号refG312をメモリから入力し、補正R参照信号ref'R321を生成し、生成した補正R参照信号ref'R321を帯域調整およびR歪み補正部421に入力する。
また、B−G歪み差分抑制R参照信号生成部402は、B信号対応のレンズ歪み特性に基づくパラメータB参照信号refR313と、G信号対応のレンズ歪み特性に基づくパラメータG参照信号refG312をメモリから入力し、補正B参照信号ref'B322を生成し、生成した補正R参照信号ref'R322を帯域調整およびB歪み補正部423に入力する。
図18は、R−G歪み差分抑制R参照信号生成部401と、B−G歪み差分抑制R参照信号生成部402の実行する処理を説明する図である。
まず、R−G歪み差分抑制R参照信号生成部401の処理例について説明する。
R−G歪み差分抑制R参照信号生成部401は、R信号対応のレンズ歪み特性に基づくパラメータR参照信号refR311と、G信号対応のレンズ歪み特性に基づくパラメータG参照信号refG312をメモリから入力し、その差分絶対値を算出する。すなわち、
abs(refR−refG)
上記式に従って、R参照信号refR311と、G参照信号refG312との差分絶対値を算出する。
この差分絶対値abs(refR−refG)が、図18に示すグラフの横軸に対応する。
R−G歪み差分抑制R参照信号生成部401は、図18に示すグラフに従って、算出した差分絶対値abs(refR−refG)に対応するゲイン(gain)を算出する。
図18に示すグラフは、差分絶対値abs(refR−refG)とゲインの対応データであり、R−G歪み差分抑制R参照信号生成部401内のメモリ、あるいは、図16に示すROM202等の記憶部に格納されている。
R−G歪み差分抑制R参照信号生成部401は、メモリに格納された差分絶対値abs(refR−refG)とゲインの対応データを参照して、算出した差分絶対値abs(refR−refG)に対応するゲイン(gain)を算出する。
さらに、算出したゲイン(gain)に従って、補正R参照信号ref'R321を生成する。補正R参照信号ref'R321は、以下の(式1)に従って算出する。
ref'R=refG+gain(refR−refG)・・・・(式1)
上記(式1)において、
refGは、図17に示すG参照信号refG312、
gain(refR−refG)は、算出した差分絶対値abs(refR−refG)に基づいて、図18に示すグラフに従って取得するゲインの値である。
R−G歪み差分抑制R参照信号生成部401は、このようにして生成した補正R参照信号ref'R321を帯域調整およびR歪み補正部421に入力する。
図18に示すグラフは、G参照信号refGと、R参照信号refRの差分が大きくなるほど、R参照信号refRの値をG参照信号refGの示す位置に近づける設定となっている。この図18に示す例では参照信号の差分絶対値abs(refR−refG)が10pixelになると、70%のゲインが取得される。
例えば、R−G歪み差分抑制R参照信号生成部401は、abs(refR−refG)が10pixelの場合、その差分を7pixelになるようにR参照信号refRの値を書き換えた補正R参照信号ref'R321を生成して帯域調整およびR歪み補正部421に入力する。
次に、B−G歪み差分抑制B参照信号生成部402の処理例について説明する。
B−G歪み差分抑制B参照信号生成部402は、B信号対応のレンズ歪み特性に基づくパラメータB参照信号refB313と、G信号対応のレンズ歪み特性に基づくパラメータG参照信号refG312をメモリから入力し、その差分絶対値を算出する。すなわち、
abs(refB−refG)
上記式に従って、B参照信号refB313と、G参照信号refG312との差分絶対値を算出する。
この差分絶対値abs(refB−refG)が、図18に示すグラフの横軸に対応する。
B−G歪み差分抑制B参照信号生成部402は、図18に示すグラフに従って、算出した差分絶対値abs(refB−refG)に対応するゲイン(gain)を算出する。
図18に示すグラフは、差分絶対値abs(refB−refG)とゲインの対応データであり、B−G歪み差分抑制B参照信号生成部402内のメモリ、あるいは、図16に示すROM202等の記憶部に格納されている。
B−G歪み差分抑制B参照信号生成部402は、メモリに格納された差分絶対値abs(refB−refG)とゲインの対応データを参照して、算出した差分絶対値abs(refB−refG)に対応するゲイン(gain)を算出する。
さらに、算出したゲイン(gain)に従って、補正B参照信号ref'B322を生成する。補正B参照信号ref'B322は、以下の(式2)に従って算出する。
ref'B=refG+gain(refB−refG)・・・・(式2)
上記(式2)において、
refGは、図17に示すG参照信号refG312、
gain(refB−refG)は、算出した差分絶対値abs(refB−refG)に基づいて、図18に示すグラフに従って取得するゲインの値である。
B−G歪み差分抑制B参照信号生成部402は、このようにして生成した補正B参照信号ref'B322を帯域調整およびB歪み補正部423に入力する。
図18に示すグラフは、G参照信号refGと、B参照信号refBの差分が大きくなるほど、B参照信号refBの値をG参照信号refGの示す位置に近づける設定となっている。この図18に示す例では参照信号の差分絶対値abs(refB−refG)が10pixelになると、70%のゲインが取得される。
例えば、B−G歪み差分抑制B参照信号生成部402は、abs(refB−refG)が10pixelの場合、その差分を7pixelになるようにB参照信号refBの値を書き換えた補正B参照信号ref'B322を生成して帯域調整およびB歪み補正部423に入力する。
次に、R−G歪み差分ベースR対応フィルタ帯域算出部411と、B−G歪み差分ベースB対応フィルタ帯域算出部412の処理について、図19を参照して説明する。
前述したように、R−G歪み差分ベースR対応フィルタ帯域算出部411は、R信号対応のレンズ歪み特性に基づくパラメータR参照信号refR311と、G信号対応のレンズ歪み特性に基づくパラメータG参照信号refG312をメモリから入力し、R対応フィルタ帯域制御信号ΔfR331を生成し、生成したR対応フィルタ帯域制御信号ΔfR331を帯域調整およびR歪み補正部421に入力する。
また、B−G歪み差分ベースB対応フィルタ帯域算出部412は、B信号対応のレンズ歪み特性に基づくパラメータB参照信号refR313と、G信号対応のレンズ歪み特性に基づくパラメータG参照信号refG312をメモリから入力し、B対応フィルタ帯域制御信号ΔfB332を生成し、生成したB対応フィルタ帯域制御信号ΔfB332を帯域調整およびB歪み補正部423に入力する。
図19は、R−G歪み差分ベースR対応フィルタ帯域算出部411と、B−G歪み差分ベースB対応フィルタ帯域算出部412の実行する処理を説明する図である。
まず、R−G歪み差分ベースR対応フィルタ帯域算出部411の処理例について説明する。
R−G歪み差分ベースR対応フィルタ帯域算出部411は、R信号対応のレンズ歪み特性に基づくパラメータR参照信号refR311と、G信号対応のレンズ歪み特性に基づくパラメータG参照信号refG312をメモリから入力し、その差分絶対値を算出する。すなわち、
abs(refR−refG)
上記式に従って、R参照信号refR311と、G参照信号refG312との差分絶対値を算出する。
この差分絶対値abs(refR−refG)が、図19に示すグラフの横軸に対応する。
R−G歪み差分ベースR対応フィルタ帯域算出部411は、図19に示すグラフに従って、算出した差分絶対値abs(refR−refG)に対応するフィルタ帯域(ΔfR)を算出する。
図19に示すグラフは、差分絶対値abs(refR−refG)とフィルタ帯域(ΔfR)の対応データであり、R−G歪み差分ベースR対応フィルタ帯域算出部411内のメモリ、あるいは、図16に示すROM202等の記憶部に格納されている。
R−G歪み差分ベースR対応フィルタ帯域算出部411は、メモリに格納された差分絶対値abs(refR−refG)とフィルタ帯域(ΔfR)の対応データを参照して、算出した差分絶対値abs(refR−refG)に対応するフィルタ帯域(ΔfR)を算出する。
R−G歪み差分ベースR対応フィルタ帯域算出部411は、このようにして生成したフィルタ帯域制御信号(ΔfR)331を帯域調整およびR歪み補正部421に入力する。
図19に示すグラフは、G参照信号refGとR参照信号refRの差分が大きくなるほど、Rのフィルタ帯域を減少させる設定である。この図19に示す例では参照信号の差分が10pixelになると、フィルタ帯域を50%とする設定である。
R−G歪み差分ベースR対応フィルタ帯域算出部411は、例えば、G参照信号refGとR参照信号refRの差分が10pixelであった場合、50%の値を持つフィルタ帯域制御信号(ΔfR)331を生成して帯域調整およびR歪み補正部421に入力する。
次に、B−G歪み差分ベースB対応フィルタ帯域算出部412の処理例について説明する。
B−G歪み差分ベースB対応フィルタ帯域算出部412は、B信号対応のレンズ歪み特性に基づくパラメータB参照信号refB313と、G信号対応のレンズ歪み特性に基づくパラメータG参照信号refG312をメモリから入力し、その差分絶対値を算出する。すなわち、
abs(refB−refG)
上記式に従って、B参照信号refB313と、G参照信号refG312との差分絶対値を算出する。
この差分絶対値abs(refB−refG)が、図19に示すグラフの横軸に対応する。
B−G歪み差分ベースB対応フィルタ帯域算出部413は、図19に示すグラフに従って、算出した差分絶対値abs(refB−refG)に対応するフィルタ帯域(ΔfB)を算出する。
図19に示すグラフは、差分絶対値abs(refB−refG)とフィルタ帯域(ΔfB)の対応データであり、B−G歪み差分ベースR対応フィルタ帯域算出部413内のメモリ、あるいは、図16に示すROM202等の記憶部に格納されている。
B−G歪み差分ベースB対応フィルタ帯域算出部413は、メモリに格納された差分絶対値abs(refB−refG)とフィルタ帯域(ΔfB)の対応データを参照して、算出した差分絶対値abs(refB−refG)に対応するフィルタ帯域(ΔfB)を算出する。
B−G歪み差分ベースB対応フィルタ帯域算出部413は、このようにして生成したフィルタ帯域制御信号(ΔfB)331を帯域調整およびB歪み補正部423に入力する。
図19に示すグラフは、G参照信号refGとB参照信号refBの差分が大きくなるほど、Bのフィルタ帯域を減少させる設定である。この図19に示す例では参照信号の差分が10pixelになると、フィルタ帯域を50%とする設定である。
B−G歪み差分ベースR対応フィルタ帯域算出部412は、例えば、G参照信号refGとB参照信号refBの差分が10pixelであった場合、50%の値を持つフィルタ帯域制御信号(ΔfB)332を生成して帯域調整およびB歪み補正部423に入力する。
次に、帯域調整およびR歪み補正部421と、帯域調整およびB歪み補正部423の構成と処理について図20を参照して説明する。
これら2つの処理部は、入力パラメータが異なるのみで実行する処理はほぼ同様であるので、帯域調整およびR歪み補正部421の構成と処理例を代表例として説明する。
図20は、帯域調整およびR歪み補正部421の構成を示している。この構成は、先に図11を参照して説明したR歪み補正部101の構成に、ローパスフィルタ(LPF:低域通過フィルタ)453を追加した構成となっている。
ローパスフィルタ(LPF)453は、フィルタ帯域制御信号ΔfR331を受け取ってリニア補間部452の生成信号に対する帯域制限、具体的には高域信号を低下させる帯域制限処理を実行して出力画像信号doutR351を生成する。
図21はローパスフィルタ(LPF)453の帯域制限の例を示したグラフである。
例えば、帯域調整およびR歪み補正部421に入力する帯域制御信号ΔfR=100%であれば全周波数のゲインが100%に設定されるが、入力する帯域制御信号Δfが50%、25%と減少するほど、高域のゲインを低下させる処理が実行され、高域ゲインの低下した出力画像信号doutR351が出力される。
図20に示す帯域調整およびR歪み補正部421の構成を参照して、帯域調整およびR歪み補正部421の実行する処理について説明する。
以下、説明を分かり易くするため、帯域調整およびR歪み補正部421は、入力画素の画素値に基づいて、水平方向のみにずらした位置の画素値を算出する補間処理を行なうものとして説明する。また、補間方法はリニア補間を適用するものとして説明する。なお、水平と垂直の二次元補正処理や、キュービック補間などのマルチタップ補間処理を行なう場合もあるが、これらの処理は、以下に説明する一次元方向の処理を2次元方向に拡張すれば実現可能であり、基本的な処理は、以下の説明に従った処理となる。
帯域調整およびR歪み補正部421には、以下の各信号が入力される。
(1)表示予定のコンテンツ対応の画像のR画素値に相当するR入力信号dinR301、
(2)R−G歪み差分抑制R参照信号生成部401の生成した補正R参照信号ref'R321、
(3)R−G歪み差分ベースR対応フィルタ帯域算出部411の生成したR対応フィルタ帯域制御信号ΔfR331、
これらの各信号を入力する。
R−G歪み差分抑制R参照信号生成部401の生成した補正R参照信号ref'R321は、オリジナルの参照信号refRに対して、例えば、図18に示すグラフ特性に従って補正した補正参照信号である。
補正R参照信号ref'R(k)321は、帯域調整およびR歪み補正部421の出力するk番目の出力信号dout(k)に対応して選択されるオリジナルの参照信号refR(k)に基づいて、図18に示すグラフ特性に従って補正した補正参照信号である。
帯域調整およびR歪み補正部421のリニア補間部452は、この補正参照信号ref'R(k)321を適用して出力信号に対応する参照画素位置を決定する。
補正R参照信号ref'R(k)321もオリジナルの参照信号refR(k)と同様、画素間隔に一致する整数とは限らない。そのため、補正R参照信号ref'R(k)321の整数部をmk、小数部をskと表す。
例えば、この例では、水平方向の画素のみを利用した例であり、mkは、ある水平画素ラインの左側の画素から順次設定された画素番号:mk=1,2,3,4,5・・・に相当する。
図20において、R入力画像dinRは、順次、メモリ451に格納される。
メモリ451からは、補正R参照信号ref'R(k)=mk+sk中の、mkの値に応じて、帯域調整およびR歪み補正部421が出力するk番目の出力信号doutR(k)を算出するために参照する入力画像の画素値:dinR(mk)、dinR(mk+1)を取得する。
リニア補間部452は、これらの入力画像の画素値:din(mk)、din(mk+1)を、補正R参照信号ref'R(k)=mk+sk中の小数部skの値によってリニア補間することにより、出力画像信号doutR(k)の画素値として設定すべき、本来の入力画像中の画素位置、すなわち、補正R参照信号ref'R(k)=mk+skの示す画素位置の画素値を算出する。
この処理は、先に図12を参照して説明した処理と同様の処理である。
リニア補間部452は、これらの入力画像のR画素値:dinR(mk)、dinR(mk+1)を利用した補間処理によって、補正R参照信号ref'R(k)=mk+skの示す画素位置、例えば、図12(A)に示す画素121の画素位置に対応する画素値X(k)を算出する。この算出画素値をローパスフィルタ(LPF)453に出力する。
リニア補間部452は、出力画素値X(k)を、以下の算出式で算出する。
X(k)=(1−sk)×dinR(mk)+(sk)×dinR(mk)
リニア補間部452は、上記式に従って、ローパスフィルタ(LPF)453に出力する出力画素値X(k)を算出する。
ローパスフィルタ(LPF)453は、リニア補間部452から出力される画素値X(k)に対して、R−G歪み差分ベースR対応フィルタ帯域算出部411の生成したR対応フィルタ帯域制御信号ΔfR331に基づく帯域制限処理、具体的には高域信号を削減する処理を実行して、出力信号doutR(k)351を生成して出力する。
先に説明したように、ローパスフィルタ(LPF)453の帯域制限は、R対応フィルタ帯域制御信号ΔfR331に基づいて、例えば、図21に示すグラフに従って実行される。例えば、帯域調整およびR歪み補正部421に入力する帯域制御信号ΔfR=100%であれば全周波数のゲインが100%に設定されるが、入力する帯域制御信号Δfが50%、25%と減少するほど、高域のゲインを低下させる処理が実行され、高域ゲインの低下した出力画像信号doutR(k)351が出力される。
図20を参照して、R信号対応の処理を実行する帯域調整およびR歪み補正部421の処理について説明した。
B信号対応の処理を実行する帯域調整およびB歪み補正部423は、
(1)表示予定のコンテンツ対応の画像のB画素値に相当するB入力信号dinB303、
(2)B−G歪み差分抑制B参照信号生成部402の生成した補正B参照信号ref'B322、
(3)B−G歪み差分ベースB対応フィルタ帯域算出部412の生成したB対応フィルタ帯域制御信号ΔfB332、
これらの各信号を入力し、図20を参照して説明した処理と同様の処理を実行して出力画像信号doutB(k)353を出力する。
[2−3.補正参照信号の適用とローパスフィルタの適用に基づく効果について]
次に、帯域調整およびR歪み補正部421と、帯域調整およびB歪み補正部423において実行する以下の処理の効果について説明する。すなわち、
(1)補正参照信号ref'R、ref'Bを適用した効果、
(2)フィルタ帯域制御信号ΔfR、ΔfBを適用した帯域制限処理の効果、
図22は、R−G歪み差分抑制R参照信号生成部401と、B−G歪み差分抑制B参照信号生成部402の生成する補正参照信号ref'R、ref'Bを適用した効果、
について説明する図である。
図22には、以下の図を示している。
(1)補正参照信号を適用した補正画像信号(偽光成分なし=(表示パネルに対する入力信号に対応)
図22(1)には、補正参照信号ref'R,ref'Bを適用した場合のRBの信号波形に加え、補正前のオリジナルの参照信号refR,refBを適用した場合の信号波形を示している。
なお、以下に説明するRGB信号の信号波形は出力画素値をW(白)として設定した画素信号の例である。
図22(1)に示すように、R信号は、補正参照信号ref'Rを適用した場合、オリジナルの参照信号refRを適用した場合より、G信号に対するR信号のシフト量が減少した設定となる。
同様に、B信号は、補正参照信号ref'Bを適用した場合、オリジナルの参照信号refBを適用した場合より、G信号に対するB信号のシフト量が減少した設定となる。
なお、図に示す例は、図18に示すグラフによって算出したゲイン(gain)=50%の場合の例であり、G信号に対するRB信号のシフト量がオリジナルの参照信号を適用した場合に比較し、1/2に削減されている。
図23は、このような補正参照信号を適用した補正画像信号を適用して表示部に出力した画像を、レンズを介して観察した画像の例について説明する図である。
図23には以下の各図を示している。
(2)補正参照信号を適用した補正画像信号(偽光成分あり=(表示パネルの出力信号に対応))
(3)観察画像信号
先に図13等を参照して説明したように、表示パネルの照射光が目的とするカラーフィルタの画素の周囲の画素に拡散して発生する偽光によって、不要な信号光が観察される。
図23(2)は、この偽光を含む観察光に対応する信号光の例を示している。
この図23(2)は、先に説明した図15(b)に対応する図である。
この図23(2)に示す信号は、先に説明した図15(b)に比較して、R信号の出力信号領域は右側に移動し、B信号の出力信号領域は左側に移動している。
これは、図22(1)に示す補正参照信号を適用したシフと量の調整に起因する。
この処理によって、図23(3)に示すように、観察画像信号は、先に図15(c)を参照して説明した観察画像信号、すなわち図23(3)の参考として示す観察画像信号に比較して、偽光の発光領域が狭くなり、偽光同士の混ざり方も少なくなる。
さらに、本開示の構成では、この補正参照信号の適用処理後に、R,B信号に対してローパスフィルタを適用して出力信号を生成している。
このローパスフィルタの適用処理についての効果について、図24、図25を参照して説明する。
図24(1)は、図22を参照して説明した補正参照信号を適用したリニア補間処理によって生成ししたRGB信号に対して、ローパスフィルタ(LPF)を適用した後の信号の例を示している。すなわち、以下の信号を示している。
(1)補正参照信号とLPFを適用した補正画像信号(偽光成分なし=(表示パネルに対する入力信号に対応))
この図に示す例は、フィルタ帯域制御信号Δf=50%とした例である。このLPF適用処理によって、R,B各信号は、信号の変化がなだらかになり、鈍った信号波形となる。この結果、R、B各信号に基づいて発生する偽光GR、GB、RB、BRも鈍ってほぼ消失する。さらに、G信号に起因する偽光RG、BGも、R、Bの鈍った光に吸収されてしまう。人間の視覚感度はB、R信号に対しては低いため、結果として、目視ではほんのわずかにRGBが分離している程度にしか認知されなくなる。
図25は、補正参照信号を適用し、かつフィルタ帯域制御信号を適用した帯域制御を実行して生成した補正画像信号を表示部に出力し、レンズを介して観察した画像の例について説明する図である。
図25には以下の各図を示している。
(2)補正参照信号とLPFを適用した補正画像信号(偽光成分あり=(表示パネルの出力信号に対応))
(3)観察画像信号
補正参照信号の適用により、偽色発生領域がせばまり、さらに、LPF適用処理によって、R,B各信号は、信号の変化がなだらかになり、偽光のレベルも低下し、図25(3)の(参考)として示す偽光対策のない図15(c)に示すオリジナルの参照信号を用いて生成される観察画像に比較して、偽光の領域、レベルが低下した画像を観察することが可能となる。
[3.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 補正対象画像の各色信号を入力し、レンズ歪み特性に起因する各色の画像歪み補正を実行して各色対応の補正画像を生成する複数の色対応歪み補正部を有し、
前記複数の色対応歪み補正部の各々は、出力する補正画像の各画素値の算出に適用する入力画像中の画素位置を示す参照信号を入力し、該参照信号の示す入力画像の画素位置の画素値を出力画素値として設定する処理を行ない、
前記複数の色対応歪み補正部の少なくとも1つの色対応歪み補正部は、
他色の参照信号との差分を小さく設定した補正参照信号を適用し、該補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する処理を行なう画像信号処理装置。
(2)前記画像処理装置は、2つの異なる色の参照信号の差分絶対値を算出し、算出した差分絶対値に応じて決定する補正量を適用して、前記2つの異なる色の一方の色対応の補正参照信号を生成する歪み差分抑制参照信号生成部を有し、前記補正参照信号を適用する色対応歪み補正部は、前記歪み差分抑制参照信号生成部の生成した補正参照信号を適用した処理を実行する前記(1)に記載の画像信号処理装置。
(3)前記歪み差分抑制参照信号生成部は、前記2つの異なる色の参照信号との差分を小さく設定した補正参照信号を生成する前記(2)に記載の画像信号処理装置。
(4)前記歪み差分抑制参照信号生成部は、前記2つの異なる色の参照信号の差分絶対値が大であるほど、前記2つの異なる色の参照信号との差分削減量をより大きく設定した補正参照信号を生成する前記(2)または(3)に記載の画像信号処理装置。
(5)前記補正参照信号を適用する色対応歪み補正部は、さらに、補正参照信号を適用して算出した画素値からなる画像信号に対して、高域削減処理を施して前記補正画像を生成する前記(1)〜(4)いずれかに記載の画像信号処理装置。
(6)前記画像処理装置は、2つの異なる色の参照信号の差分絶対値を算出し、算出した差分絶対値に応じて、前記高域削減処理を実行するためのフィルタ帯域制御信号を生成するフィルタ帯域算出部を有し、前記補正参照信号を適用する色対応歪み補正部は、前記フィルタ帯域算出部の算出したフィルタ帯域制御信号に従った高域削減処理を施して前記補正画像を生成する前記(5)に記載の画像信号処理装置。
(7)前記フィルタ帯域算出部は、前記2つの異なる色の参照信号の差分絶対値が大であるほど、高域削減率を大きく設定したフィルタ帯域制御信号を生成する前記(6)に記載の画像信号処理装置。
(8)前記色対応歪み補正部は、リニア補間処理によって、参照信号または補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する前記(1)〜(7)いずれかに記載の画像信号処理装置。
(9)前記複数の色対応歪み補正部は、前記補正対象画像のR信号を入力し、R信号対応の補正画像を生成して出力するR歪み補正部と、前記補正対象画像のG信号を入力し、G信号対応の補正画像を生成して出力するG歪み補正部と、前記補正対象画像のB信号を入力し、B信号対応の補正画像を生成して出力するB歪み補正部によって構成される前記(1)〜(8)いずれかに記載の画像信号処理装置。
(10)前記R歪み補正部と、前記B歪み補正部のみが、前記補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する前記(9)に記載の画像信号処理装置。
(11)前記R歪み補正部と、前記B歪み補正部のみが、補正参照信号を適用して算出した画素値からなる画像信号に対して、高域削減処理を施して前記補正画像を生成する前記(9)または(10)に記載の画像信号処理装置。
(12)前記(1)〜(11)いずれかに記載の画像信号処理を実行する画像信号処理部を備えたヘッド・マウント・ディスプレイ装置。
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、レンズ歪みに起因する各色対応の画像歪みと、表示パネルの白色光散乱に起因する偽光による色ずれを抑制可能とした構成が実現される。
具体的には、補正対象画像の各色信号を入力し、レンズ歪み特性に起因する各色の画像歪み補正を実行して各色対応の補正画像を生成する複数の色対応歪み補正部を有する。複数の色対応歪み補正部の各々は、出力補正画像の各画素値の算出に適用する入力画像中の画素位置を示す参照信号を入力し、参照信号の示す入力画像の画素位置の画素値を出力画素値として設定する。複数の色対応歪み補正部の少なくとも1つの色対応歪み補正部は、他色の参照信号との差分を小さく設定した補正参照信号を適用し、該補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定し、さらに高域削減処理としての帯域制御を施した補正画像を生成して出力する。
本構成により、レンズ歪みに起因する各色対応の画像歪みと、表示パネルの白色光散乱に起因する偽光による色ずれを抑制可能とした構成が実現される。
10 ヘッド・マウント・ディスプレイ
20 ブルーレイ・ディスク再生装置
30 ハイビジョン・ディスプレイ
40 フロント・エンド・ボックス
50 左眼用表示部
60 右眼用表示部
70 画像信号処理部
80 表示パネル
81 白色光源
82 カラーフィルタ
83 レンズ
101 R歪み補正部
102 G歪み補正部
103 B歪み補正部
111 メモリ
112 リニア補間部
201 制御部
202 ROM
203 RAM
204 装着センサ
205 HDMI信号入力部
206 画像信号処理部
207 表示制御部
208 左眼用表示部
209 右眼用表示部
210 VRAM
401 R−G歪み差分抑制R参照信号生成部
402 B−G歪み差分抑制B参照信号生成部
411 R−G歪み差分ベースR対応フィルタ帯域算出部
412 B−G歪み差分ベースB対応フィルタ帯域算出部
421 帯域調整およびR歪み補正部
422 G歪み補正部
423 帯域調整およびB歪み補正部
451 メモリ
452 リニア補間部
453 ローパスフィルタ(LPF)

Claims (14)

  1. 補正対象画像の各色信号を入力し、レンズ歪み特性に起因する各色の画像歪み補正を実行して各色対応の補正画像を生成する複数の色対応歪み補正部を有し、
    前記複数の色対応歪み補正部の各々は、出力する補正画像の各画素値の算出に適用する入力画像中の画素位置を示す参照信号を入力し、該参照信号の示す入力画像の画素位置の画素値を出力画素値として設定する処理を行ない、
    前記複数の色対応歪み補正部の少なくとも1つの色対応歪み補正部は、
    他色の参照信号との差分を小さく設定した補正参照信号を適用し、該補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する処理を行なう画像信号処理装置。
  2. 前記画像処理装置は、
    2つの異なる色の参照信号の差分絶対値を算出し、算出した差分絶対値に応じて決定する補正量を適用して、前記2つの異なる色の一方の色対応の補正参照信号を生成する歪み差分抑制参照信号生成部を有し、
    前記補正参照信号を適用する色対応歪み補正部は、
    前記歪み差分抑制参照信号生成部の生成した補正参照信号を適用した処理を実行する請求項1に記載の画像信号処理装置。
  3. 前記歪み差分抑制参照信号生成部は、
    前記2つの異なる色の参照信号との差分を小さく設定した補正参照信号を生成する請求項2に記載の画像信号処理装置。
  4. 前記歪み差分抑制参照信号生成部は、
    前記2つの異なる色の参照信号の差分絶対値が大であるほど、前記2つの異なる色の参照信号との差分削減量をより大きく設定した補正参照信号を生成する請求項2に記載の画像信号処理装置。
  5. 前記補正参照信号を適用する色対応歪み補正部は、
    さらに、補正参照信号を適用して算出した画素値からなる画像信号に対して、高域削減処理を施して前記補正画像を生成する請求項1に記載の画像信号処理装置。
  6. 前記画像処理装置は、
    2つの異なる色の参照信号の差分絶対値を算出し、算出した差分絶対値に応じて、前記高域削減処理を実行するためのフィルタ帯域制御信号を生成するフィルタ帯域算出部を有し、
    前記補正参照信号を適用する色対応歪み補正部は、
    前記フィルタ帯域算出部の算出したフィルタ帯域制御信号に従った高域削減処理を施して前記補正画像を生成する請求項5に記載の画像信号処理装置。
  7. 前記フィルタ帯域算出部は、
    前記2つの異なる色の参照信号の差分絶対値が大であるほど、高域削減率を大きく設定したフィルタ帯域制御信号を生成する請求項6に記載の画像信号処理装置。
  8. 前記色対応歪み補正部は、リニア補間処理によって、参照信号または補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する請求項1に記載の画像信号処理装置。
  9. 前記複数の色対応歪み補正部は、
    前記補正対象画像のR信号を入力し、R信号対応の補正画像を生成して出力するR歪み補正部と、
    前記補正対象画像のG信号を入力し、G信号対応の補正画像を生成して出力するG歪み補正部と、
    前記補正対象画像のB信号を入力し、B信号対応の補正画像を生成して出力するB歪み補正部によって構成される請求項1に記載の画像信号処理装置。
  10. 前記R歪み補正部と、前記B歪み補正部のみが、前記補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する請求項9に記載の画像信号処理装置。
  11. 前記R歪み補正部と、前記B歪み補正部のみが、補正参照信号を適用して算出した画素値からなる画像信号に対して、高域削減処理を施して前記補正画像を生成する請求項10に記載の画像信号処理装置。
  12. 前記請求項1〜11いずれかに記載の画像信号処理を実行する画像信号処理部を備えたヘッド・マウント・ディスプレイ装置。
  13. 画像信号処理装置において実行する画像信号処理方法であり、
    前記画像処理装置は、補正対象画像の各色信号を入力し、レンズ歪み特性に起因する各色の画像歪み補正を実行して各色対応の補正画像を生成する複数の色対応歪み補正部を有し、
    前記複数の色対応歪み補正部の各々において、
    出力する補正画像の各画素値の算出に適用する入力画像中の画素位置を示す参照信号を入力し、該参照信号の示す入力画像の画素位置の画素値を出力画素値として設定する処理を行ない、
    前記複数の色対応歪み補正部の少なくとも1つの色対応歪み補正部が、
    他色の参照信号との差分を小さく設定した補正参照信号を適用し、該補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する処理を行なう画像信号処理方法。
  14. 画像信号処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、補正対象画像の各色信号を入力し、レンズ歪み特性に起因する各色の画像歪み補正を実行して各色対応の補正画像を生成する複数の色対応歪み補正部を有し、
    前記プログラムは、前記複数の色対応歪み補正部の各々において、
    出力する補正画像の各画素値の算出に適用する入力画像中の画素位置を示す参照信号を入力し、該参照信号の示す入力画像の画素位置の画素値を出力画素値として設定する処理を実行させ、
    前記複数の色対応歪み補正部の少なくとも1つの色対応歪み補正部において、
    他色の参照信号との差分を小さく設定した補正参照信号を適用し、該補正参照信号の示す入力画像の画素位置の画素値を出力画素値として設定した補正画像を生成する処理を行なわせるプログラム。
JP2012149849A 2012-07-03 2012-07-03 画像信号処理装置、および画像信号処理方法、並びにプログラム Expired - Fee Related JP5929567B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012149849A JP5929567B2 (ja) 2012-07-03 2012-07-03 画像信号処理装置、および画像信号処理方法、並びにプログラム
US13/920,409 US9489723B2 (en) 2012-07-03 2013-06-18 Image signal processing apparatus, image signal processing method and program to suppress color shift caused by lens distortion
CN201310276298.4A CN103533213B (zh) 2012-07-03 2013-07-03 图像信号处理装置和方法
CN201810486585.0A CN108717688B (zh) 2012-07-03 2013-07-03 图像信号处理装置、图像信号处理方法和程序
US15/332,013 US10319078B2 (en) 2012-07-03 2016-10-24 Image signal processing apparatus and image signal processing method to suppress color shift caused by lens distortion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012149849A JP5929567B2 (ja) 2012-07-03 2012-07-03 画像信号処理装置、および画像信号処理方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2014013968A true JP2014013968A (ja) 2014-01-23
JP2014013968A5 JP2014013968A5 (ja) 2015-02-26
JP5929567B2 JP5929567B2 (ja) 2016-06-08

Family

ID=49878130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012149849A Expired - Fee Related JP5929567B2 (ja) 2012-07-03 2012-07-03 画像信号処理装置、および画像信号処理方法、並びにプログラム

Country Status (3)

Country Link
US (2) US9489723B2 (ja)
JP (1) JP5929567B2 (ja)
CN (2) CN103533213B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015145963A1 (ja) * 2014-03-27 2015-10-01 オリンパス株式会社 画像表示装置
CN106254721A (zh) * 2015-06-10 2016-12-21 株式会社东芝 图像数据接收装置
JP2017022752A (ja) * 2010-03-19 2017-01-26 バートラン ネプー ビデオ信号のデジタル的処理のための方法、デジタル画像処理プロセッサ、及びビデオ表示システム
JP2018501498A (ja) * 2014-09-30 2018-01-18 株式会社ソニー・インタラクティブエンタテインメント 眼追跡によるリアルタイムレンズ収差補正
US10477174B2 (en) 2014-02-10 2019-11-12 Sony Corporation Image display device and display apparatus
JP2019535156A (ja) * 2016-08-22 2019-12-05 マジック リープ, インコーポレイテッドMagic Leap,Inc. 仮想現実、拡張現実、および複合現実システムおよび方法
WO2020170455A1 (ja) * 2019-02-22 2020-08-27 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
WO2020170454A1 (ja) * 2019-02-22 2020-08-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5929567B2 (ja) * 2012-07-03 2016-06-08 ソニー株式会社 画像信号処理装置、および画像信号処理方法、並びにプログラム
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
US20170186236A1 (en) * 2014-07-22 2017-06-29 Sony Corporation Image display device, image display method, and computer program
CN104902139B (zh) * 2015-04-30 2018-10-26 北京小鸟看看科技有限公司 一种头戴显示器和头戴显示器的视频数据处理方法
JP6662599B2 (ja) * 2015-10-05 2020-03-11 ミツミ電機株式会社 表示装置
JP6790384B2 (ja) * 2016-03-10 2020-11-25 富士ゼロックス株式会社 画像処理装置及びプログラム
CN107219629B (zh) * 2017-07-14 2021-01-08 惠州Tcl移动通信有限公司 采用rgb叠加防vr设备色散的方法、存储介质及设备
GB201713051D0 (en) * 2017-08-15 2017-09-27 Imagination Tech Ltd Low latency distortion unit for head mounted displays
CN108399606B (zh) * 2018-02-02 2020-06-26 北京奇艺世纪科技有限公司 一种图像调整的方法及装置
CN110554511B (zh) * 2018-05-30 2022-05-03 托比股份公司 用于校准头戴式显示器的方法和装置
CN109557669B (zh) * 2018-11-26 2021-10-12 歌尔光学科技有限公司 头戴显示设备的图像漂移量的确定方法及头戴显示设备
CN109324417A (zh) * 2018-12-13 2019-02-12 宜视智能科技(苏州)有限公司 助视器及其控制方法、计算机存储介质
CN111061058A (zh) * 2019-12-27 2020-04-24 Oppo广东移动通信有限公司 穿戴式眼镜
CN113676753B (zh) * 2021-10-21 2022-02-15 北京拾音科技文化有限公司 Vr场景中展示视频的方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0240613A (ja) * 1988-07-30 1990-02-09 Canon Inc カラー画像表示方法
JPH11113029A (ja) * 1997-10-03 1999-04-23 Yaku Tsutsumi 立体画像表示装置及び立体画像撮影表示装置
JP2002365589A (ja) * 2001-06-06 2002-12-18 Olympus Optical Co Ltd 立体表示装置
JP2003035869A (ja) * 2001-07-24 2003-02-07 Dainippon Printing Co Ltd 光学系及びそれを用いた装置
JP2009170970A (ja) * 2008-01-10 2009-07-30 Canon Inc 画像処理方法、画像処理装置、システム
JP2010091870A (ja) * 2008-10-09 2010-04-22 Canon Inc 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10348567A1 (de) * 2002-10-22 2004-05-13 Fuji Photo Optical Co. Ltd. Bildunschärfekorrektureinrichtung
JP4378994B2 (ja) * 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
JP2005210441A (ja) * 2004-01-23 2005-08-04 Sanyo Electric Co Ltd 画像信号処理装置
US7656564B2 (en) * 2004-06-24 2010-02-02 Daewoo Electronics Corporation Apparatus and method for compensating for pixel distortion in reproduction of hologram data
JP2007060457A (ja) * 2005-08-26 2007-03-08 Hitachi Ltd 画像信号処理装置および画像信号処理方法
JP2007148500A (ja) * 2005-11-24 2007-06-14 Olympus Corp 画像処理装置および画像処理方法
JP4192985B2 (ja) * 2006-10-17 2008-12-10 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
KR101336240B1 (ko) * 2007-05-07 2013-12-03 삼성전자주식회사 저장된 영상을 이용한 영상 처리 방법 및 장치
JP5008139B2 (ja) * 2007-11-26 2012-08-22 株式会社リコー 画像撮像装置
JP5008578B2 (ja) * 2008-01-28 2012-08-22 株式会社リコー 画像処理方法、画像処理装置及び画像撮像装置
US9380284B2 (en) * 2008-04-03 2016-06-28 Nlt Technologies, Ltd. Image processing method, image processing device and recording medium
JP5010533B2 (ja) * 2008-05-21 2012-08-29 株式会社リコー 撮像装置
JP2010092360A (ja) * 2008-10-09 2010-04-22 Canon Inc 画像処理システム、画像処理装置、収差補正方法及びプログラム
KR101000623B1 (ko) * 2008-12-31 2010-12-10 포항공과대학교 산학협력단 색수차 검출 및 보정 방법, 이를 이용한 영상 처리 장치 및그 방법
WO2010150519A1 (ja) * 2009-06-24 2010-12-29 パナソニック株式会社 映像信号処理装置、映像表示装置及び、映像信号処理方法
JP5241823B2 (ja) * 2009-07-21 2013-07-17 キヤノン株式会社 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体
JP2011134204A (ja) * 2009-12-25 2011-07-07 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2011145488A (ja) 2010-01-14 2011-07-28 Sony Corp ヘッドマウントディスプレイ
CN101930603B (zh) * 2010-08-06 2012-08-22 华南理工大学 中高速传感器网络图像数据融合的方法
JP5655543B2 (ja) * 2010-12-20 2015-01-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム。
JP5929567B2 (ja) * 2012-07-03 2016-06-08 ソニー株式会社 画像信号処理装置、および画像信号処理方法、並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0240613A (ja) * 1988-07-30 1990-02-09 Canon Inc カラー画像表示方法
JPH11113029A (ja) * 1997-10-03 1999-04-23 Yaku Tsutsumi 立体画像表示装置及び立体画像撮影表示装置
JP2002365589A (ja) * 2001-06-06 2002-12-18 Olympus Optical Co Ltd 立体表示装置
JP2003035869A (ja) * 2001-07-24 2003-02-07 Dainippon Printing Co Ltd 光学系及びそれを用いた装置
JP2009170970A (ja) * 2008-01-10 2009-07-30 Canon Inc 画像処理方法、画像処理装置、システム
JP2010091870A (ja) * 2008-10-09 2010-04-22 Canon Inc 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017022752A (ja) * 2010-03-19 2017-01-26 バートラン ネプー ビデオ信号のデジタル的処理のための方法、デジタル画像処理プロセッサ、及びビデオ表示システム
US10477174B2 (en) 2014-02-10 2019-11-12 Sony Corporation Image display device and display apparatus
JP2015191032A (ja) * 2014-03-27 2015-11-02 オリンパス株式会社 画像表示装置
WO2015145963A1 (ja) * 2014-03-27 2015-10-01 オリンパス株式会社 画像表示装置
JP2018501498A (ja) * 2014-09-30 2018-01-18 株式会社ソニー・インタラクティブエンタテインメント 眼追跡によるリアルタイムレンズ収差補正
CN106254721B (zh) * 2015-06-10 2020-04-17 株式会社东芝 图像数据接收装置
CN106254721A (zh) * 2015-06-10 2016-12-21 株式会社东芝 图像数据接收装置
JP2019535156A (ja) * 2016-08-22 2019-12-05 マジック リープ, インコーポレイテッドMagic Leap,Inc. 仮想現実、拡張現実、および複合現実システムおよび方法
US11151699B2 (en) 2016-08-22 2021-10-19 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
US11823360B2 (en) 2016-08-22 2023-11-21 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
WO2020170455A1 (ja) * 2019-02-22 2020-08-27 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
WO2020170454A1 (ja) * 2019-02-22 2020-08-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法
US11960086B2 (en) 2019-02-22 2024-04-16 Sony Interactive Entertainment Inc. Image generation device, head-mounted display, and image generation method

Also Published As

Publication number Publication date
JP5929567B2 (ja) 2016-06-08
CN103533213A (zh) 2014-01-22
US10319078B2 (en) 2019-06-11
CN103533213B (zh) 2018-07-13
US20140009368A1 (en) 2014-01-09
CN108717688B (zh) 2022-04-08
US20170039687A1 (en) 2017-02-09
CN108717688A (zh) 2018-10-30
US9489723B2 (en) 2016-11-08

Similar Documents

Publication Publication Date Title
JP5929567B2 (ja) 画像信号処理装置、および画像信号処理方法、並びにプログラム
US10356375B2 (en) Display device, image processing device and image processing method, and computer program
US10831027B2 (en) Display device, image processing device and image processing method
JP5062674B2 (ja) ステレオコンテンツの表示の際にクロストークを補償するためのシステム、方法、及びコンピュータプログラム製品
US20130241947A1 (en) Display device, image processing device, image processing method, and computer program
WO2009123066A1 (ja) 画像処理方法、画像処理装置及び記録媒体
US10547832B2 (en) Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images
US8922622B2 (en) Image processing device, image processing method, and program
WO2014203366A1 (ja) 画像処理装置、方法、及びプログラム、並びに画像表示装置
US20140292825A1 (en) Multi-layer display apparatus and display method using it
JP2013044913A (ja) 表示装置及び表示制御方法
WO2019131160A1 (ja) 情報処理装置、情報処理方法、および記録媒体
JP5647741B2 (ja) 画像信号処理装置および画像信号処理方法
US9330487B2 (en) Apparatus and method for processing 3D images through adjustment of depth and viewing angle
US20120268452A1 (en) Stereoscopic image generation method and stereoscopic image generation system
JP5561081B2 (ja) 画像表示装置
JP5780214B2 (ja) 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
JP2004151508A (ja) 表示装置及び方法
WO2023140033A1 (ja) 表示制御装置、ヘッドマウントディスプレイ、および表示制御方法
WO2014013804A1 (ja) 画像処理装置及び画像処理方法、並びに画像表示装置
US9609312B2 (en) Anaglyph ghost cancellation
WO2014013805A1 (ja) 画像処理装置及び画像処理方法、並びに画像表示装置
TW201320718A (zh) 三維影像處理方法與應用其之三維影像顯示裝置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160418

R151 Written notification of patent or utility model registration

Ref document number: 5929567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees