JP2016105153A - 画像処理装置及び画像表示装置 - Google Patents

画像処理装置及び画像表示装置 Download PDF

Info

Publication number
JP2016105153A
JP2016105153A JP2015160633A JP2015160633A JP2016105153A JP 2016105153 A JP2016105153 A JP 2016105153A JP 2015160633 A JP2015160633 A JP 2015160633A JP 2015160633 A JP2015160633 A JP 2015160633A JP 2016105153 A JP2016105153 A JP 2016105153A
Authority
JP
Japan
Prior art keywords
color gamut
image
color
gamut
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015160633A
Other languages
English (en)
Inventor
尚 小曳
Nao Kobiki
尚 小曳
未希子 柄沢
Mikiko Karasawa
未希子 柄沢
泰豊 武山
Yasutoyo Takeyama
泰豊 武山
馬場 雅裕
Masahiro Baba
雅裕 馬場
三島 直
Sunao Mishima
直 三島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to US14/944,612 priority Critical patent/US9794450B2/en
Publication of JP2016105153A publication Critical patent/JP2016105153A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】高品位な投影画像を提供可能な画像処理装置及び画像表示装置を提供する。【解決手段】実施形態によれば、画像処理装置は、入力部と、処理部と、を含む。前記入力部は、第1画像と第1情報とが入力される。前記第1情報は、第1投影面に関する。前記処理部は、第1色域設定処理と、第1色度変換処理と、第1補正処理と、を実施する。前記第1色域設定処理では、前記入力部に入力された前記第1情報から得た第1色域に応じて第2色域を設定する。前記第1色度変換処理では、前記入力部に入力された前記第1画像の色度を変換して前記第2色域の中に含まれる色からなる第2画像を導出する。前記第1補正処理では、前記第1色域に基づいて前記第2画像を補正して第1変換画像を導出する。【選択図】図1

Description

本発明の実施形態は、画像処理装置及び画像表示装置に関する。
プロジェクタ装置などの画像表示装置を用いて、スクリーン、壁あるいは床等の投影面に画像を投影する技術がある。投影面の色は様々である。このため、入力画像をそのまま投影面に投影すると、入力画像の色と、投影画像の色とが異なる場合がある。この差を小さくすることを目指して、入力画像を補正する技術がある。このような画像処理装置において、より高品位な画像を投影できることが望まれている。
特開2012−233979号公報
本発明の実施形態は、高品位な画像を投影可能な画像処理装置及び画像表示装置を提供する。
実施形態に係る画像処理装置は、入力部と、処理部と、を含む。前記入力部は、第1画像と、第1情報と、が入力される。前記第1情報は、第1投影面に関する。前記処理部は、第1色域設定処理と、第1色度変換処理と、第1補正処理と、を実施する。前記第1色域設定処理では、前記入力部に入力された前記第1情報から得た第1色域に応じて第2色域を設定する。前記第1色度変換処理では、前記入力部に入力された前記第1画像の色度を変換して前記第2色域の中に含まれる色からなる第2画像を導出する。前記第1補正処理では、前記第1色域に基づいて前記第2画像を補正して第1変換画像を導出する。
第1の実施形態に係る画像処理装置及び画像表示装置を例示するブロック図である。 第1の実施形態に係る画像処理方法を例示するフローチャート図である。 図3(a)及び図3(b)は、第1の実施形態に係る画像処理装置及び画像表示装置の色域を例示するグラフ図である。 第1の実施形態に係る色域設定部の処理を例示するグラフ図である。 第2の実施形態に係る画像処理装置及び画像表示装置を例示するブロック図である。 図6(a)及び図6(b)は、第2の実施形態に係る画像処理装置及び画像表示装置の色域を例示するグラフ図である。 第2の実施形態に係る色域設定部の処理を例示するグラフ図である。 第3の実施形態に係る画像処理装置及び画像表示装置を例示するブロック図である。 図9(a)及び図9(b)は、第3の実施形態に係る輝度マッピング部の処理を例示するグラフ図である。 第4の実施形態に係る画像処理装置及び画像表示装置を例示するブロック図である。 図11(a)〜図11(c)は、色域を例示するグラフ図である。 図12(a)及び図12(b)は、第4の実施形態に係る修正部の処理を例示するグラフ図である。 第5の実施形態に係る画像処理装置及び画像表示装置を例示するブロック図である。 図14(a)及び図14(b)は、第5の実施形態に係るレンジ圧縮部の処理を例示するグラフ図である。
以下に、本発明の各実施の形態について図面を参照しつつ説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
(第1の実施形態)
図1は、第1の実施形態に係る画像処理装置及び画像表示装置を例示するブロック図である。
実施形態の画像処理装置110は、入力部10と、処理部20と、を含む。入力部10には、例えば、入出力端子が用いられる。入力部10は、有線または無線を介して外部と通信する入出力インターフェイスを含む。処理部20には、例えば、CPU(Central Processing Unit)やメモリなどを含む演算装置が用いられる。処理部20の各ブロックの一部、又は全部には、LSI(Large Scale Integration)等の集積回路またはIC(Integrated Circuit)チップセットを用いることができる。各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。集積化には、LSIに限らず、専用回路又は汎用プロセッサを用いてもよい。
処理部20には、色域検出部21と、色域設定部22と、色度変換部23と、補正部24と、が設けられる。これらの各部は、例えば、画像処理プログラムとして実現される。すなわち、画像処理装置110は、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現される。画像処理装置110に含まれる各部の機能は、上記のコンピュータ装置に搭載されたプロセッサに画像処理プログラムを実行させることにより実現することができる。このとき、画像処理装置110は、上記の画像処理プログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あるいはネットワークを介して上記の画像処理プログラムを配布して、この画像処理プログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、処理部20は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはCD−R、CD−RW、DVD−RAM、DVD−Rなどの記憶媒体などを適宜利用して実現することができる。
画像表示装置210は、画像処理装置110と、さらに、投影部30と、撮影部40と、を含む。画像表示装置210は、画像表示装置210の外側の投影面(実空間に存在する面)に画像を投影して表示する。ここで、投影面は、一般的な投影用スクリーンに限らない。投影面は、例えば、屋内外の壁面、床あるいは天井等のように模様や色がついた様々な面を含む。
入力部10は、第1画像51が入力される。入力画像信号の形式は、様々に想定され得る。実施形態においては、各画素は画素値として赤成分、緑成分、青成分の3チャンネルの輝度を有する。画像内の位置(u、v)の各チャンネルの輝度は、輝度値I(u、v)で表される。このとき、各チャンネルの信号は、非線形な階調値から線形変換して算出してもかまわない。例えば、International Telecommunication UnionのYCbCr伝送規格等による入力画像信号から算出してもよい。
また、第1画像51は、あらゆる機器または媒体から入力される画像信号でもよい。例えば、HDD(Hard Disk Drive)などの記録媒体から入力された画像信号でもよい。ネットワークを介して接続された外部装置から入力された画像信号でもよい。TVなどの放送波から入力された画像信号でもよい。
投影部30としては、例えば、液晶プロジェクタやレーザープロジェクタ等の一般的な投影装置であれば、どのような投影装置でもかまわない。また、投影部30は、画像処理装置110とは独立な外部装置として接続されていても構わない。
撮影部40としては、例えば、可視カメラが用いられる。撮影部40は、第1投影面31の少なくとも一部を含む撮影像を取得する。第1投影面31に、入力された第1画像51が変換された第1変換画像53xが、投影される。ここで、撮影像とは、投影部30から出力された画像(例えば、第1画像51)を第1投影面31に投影したときの投影画像を撮影したものである。撮影部40は、画像処理装置110とは独立な外部装置として接続されていても構わない。
入力部10は、第1投影面に関する第1情報31aが入力される。第1情報31aは、例えば、撮影部40で取得される、第1投影面31の少なくとも一部を含む撮影像である。すなわち、第1情報31aは、撮影部40から入力部10に入力される。
色域検出部21は、第1色域検出処理を実施する。第1色域検出処理では、第1情報31aに基づいて、第1投影面31の第1色域Cg1を検出する。
色域設定部22は、第1色域設定処理を実施する。第1色域設定処理では、第1色域Cg1に応じて、第1色域Cg1と異なる第2色域Cg2を設定する。
色度変換部23は、第1色度変換処理を実施する。第1色度変換処理では、第1画像51の色度を変換した第2画像52を導出する。第2画像52は、第2色域Cg2の中に含まれる色を有する。
補正部24は、第1補正処理を実施する。第1補正処理では、第1色域Cg1に基づき第2画像52を補正した第3画像53を導出する。第3画像53が、上記の「第1画像51が変換された第1変換画像53x」に対応する。第3画像53は、第1投影面31に第2画像52を再現する。第3画像53は、投影部30により第1投影面31に投影される。第2画像52は、第3画像53が第1投影面31に投影されることで再現される。
ここで、投影面の色と、予め定められた基準投影面の色と、を用いて、入力画像を補正する参考例がある。この参考例によれば、投影面の色を検出する。基準投影面上の色を目標色とする。投影面上の色が目標色に近づくように入力画像の色を補正する。
参考例においては、1つの基準投影面の色域が予め定められている。このため、投影面の色域と基準投影面の色域との差分が大きい場合、投影面に再現できない色が生じることがある。このため、補正画像(投影画像)の色飛びや色潰れが起こる可能性がある。
一方、実施形態においては、第1投影面31の第1色域Cg1に応じて、第1色域Cg1と異なる第2色域Cg2が設定される。具体的には、第2色域Cg2は、第1色域Cg1と重ならない第1領域と、第1色域Cg1と重なる第2領域と、を含む。第1領域の面積が第2領域の面積よりも小さくなるように、第2色域Cg2を設定する(後述の図4参照)。これにより、第1色域Cg1と第2色域Cg2との差分を小さくできる。第2色域Cg2を目標色域として、第1画像51の色度を変換した第2画像52が生成される。つまり、第2画像52は、第1画像51の色が第2色域Cg2の中に収まるように変換された画像である。第2画像52を補正した第3画像53が生成される。第3画像53を第1投影面31に投影すると、第1投影面31上に第2画像52が再現される。
実施形態によれば、第1投影面31の第1色域Cg1に応じて、目標色域となる第2色域Cg2が適応的に設定される。入力画像である第1画像51の色は、第2色域Cg2に収まるように色度変換され、第2画像52とされる。第2画像52は、目標画像である。第2画像52を補正した第3画像53が生成される。第3画像53は、第1投影面31に投影されたときに第2画像52を再現する。第3画像53は、補正画像である。これにより、補正画像(投影画像)の色飛びや色潰れを抑制することができる。これにより、高品位な投影画像を提供できる。
図2は、第1の実施形態に係る画像処理方法を例示するフローチャート図である。
色域検出部21は、撮影部40(例えば、可視カメラ)を用いて、第1投影面31の少なくとも一部を含む撮影像(第1情報31a)を入力する(ステップS1)。
ここで、撮影像とは、例えば、投影部30から出力されて投影された画像を撮影したものである。投影部30から出力された投影像は、第1投影面31の素材や形などの影響で明るさや色が変化する。そのため、撮影部40を用いて投影部30から投影された画像を撮影することにより、色域検出部21において、第1投影面31の素材や形などを推定することができる。なお、撮影部40としては、予め絞りやシャッタースピードなどのパラメータが既知で校正された状態であることが望ましい。撮影部40は、校正されていなくても良い。
色域検出部21は、ステップS1で入力された撮影像を用いて、第1投影面31の色情報を算出する(ステップS2)。色域検出部21は、第1投影面31の色情報を用いて、第1投影面31の第1色域Cg1を算出し、算出した第1色域Cg1を、色域設定部22と補正部24とに出力する(ステップS3)。
第1投影面31の色情報は、撮影像の色情報を用いて算出する。ここで、第1投影面31の色情報とは、室内等の照明光を反射することで生じる反射光の成分RB(以下、オフセットRBと称する)と、投影部30からの光を反射する強さを表す反射率RWと、で表される。例えば、撮影像の色情報と、予め定められた基準投影面を撮影した際の色情報と、を比較することにより、オフセットRBと反射率RWとが算出できる。また、撮影像のうち投影部30から出力された投影光が生む投影像の領域を検出し、予め定められた基準投影面に投影した場合の投影像を撮影した撮影像と比較することにより、オフセットRBと反射率RWとを算出してもよい。また、投影、撮影及び解析を複数回繰り返すことにより、オフセットRBと反射率RWとを算出してもよい。
続いて、ステップS3においては、第1投影面31の第1色域Cg1は、第1投影面31の色情報を用いて算出される。ここで、第1投影面31の第1色域Cg1とは、第1投影面31上に投影部30から投影光を投影した際に表現可能な色の範囲を表す情報である。表現可能な色を定義する色空間は、明るさ(明度)、鮮やかさ(彩度)及び色相といった属性によって表される3次元情報によって示される空間である。色空間は、どのような空間であっても構わない。以下、実施形態においては、一例として、CIE XYZ色空間とその表色系を変形したYxy色空間上で色を表現する。実施形態においては、RGB、CIE LUV、CIE LAB、CIE LCH、CIECAM02などの色空間を用いても構わない。
XYZ色空間は、投影面が反射する光の色をX(赤成分)、Y(緑成分)、Z(青成分)の3つの値であるXYZ値で表現する。また、Yxy色空間は、XYZ空間内のXYZ値を用いて次式によって導かれる。
Y=Y
x=X/(X+Y+Z) …(1)
y=Y/(X+Y+Z)
すなわち、Yxy色空間は、XYZ値のうち、輝度を示すY値と、X成分・Y成分の相対的な強さを表すx、y値(以下、xy色度と称す)と、によって表される色空間である。
実施形態に係るステップS2においては、次式によって対象とする第1投影面31上に表現可能な色を算出する。
C=IN・RW+RB …(2)
ここで、Cは第1投影面31上でのXYZ値、INは第1画像51を基準投影面に投影した際の反射光のXYZ値、RWは第1投影面31での反射率、RBは第1投影面31でのオフセットを表す。このとき、第1画像51の階調値から、第1画像51を基準投影面に投影した際の反射光のXYZ値であるINへの変換は、予め設定された変換関数によって実施されることが望ましい。
第1投影面31の第1色域Cg1とは、第1投影面31上に投影部30から投影光を投影した際に表現可能な色の範囲を表す情報である。そのため、第1画像51に存在する各色のINについて、式(2)を用いてCを算出することにより、第1投影面31の第1色域Cg1を算出することが可能となる。また、第1画像51に存在する複数色のうちの少なくとも3色以上を含む複数個の代表色についてのCを、第1投影面31の第1色域Cg1として算出しても構わない。実施形態においては、一例として、INが赤(RED)、緑(GREEN)、青(BLUE)、白(WHITE)及び黒(BLACK)を代表色とする場合を想定する。
図3(a)及び図3(b)は、第1の実施形態に係る画像処理装置及び画像表示装置の色域を例示するグラフ図である。
図3(a)は、赤、緑、青、白及び黒のINを代表色として、式(2)を用いて各々のXYZ値であるCを算出し、式(1)を用いてYxy値に変換した結果のxy色度をプロットしたグラフである。縦軸はy値、横軸はx値を表す。
xy1(RED)、xy1(BLUE)及びxy1(GREEN)は、第1投影面31の色情報が反射率RW1、オフセットRB1の場合の赤、青、緑の色度である。同じく、xy2(RED)、xy2(BLUE)及びxy2(GREEN)は、第1投影面31の色情報が反射率RW2、オフセットRB2の場合の赤、青、緑の色度である。
このとき、xy1(RED)、xy1(BLUE)及びxy1(GREEN)によって形成される三角形の色域R1は、第1投影面31の色情報が反射率RW1、オフセットRB1の場合のxy色度方向の色域となる。同様に、xy2(RED)、xy2(BLUE)及びxy2(GREEN)によって形成される三角形の色域R2は、第1投影面31の色情報が反射率RW2、オフセットRB2の場合のxy色度方向の色域となる。反射率RW2は反射率RW1と異なり、オフセットRB2はオフセットRB1と異なる。このように、ステップS2によれば、xy色度方向の色域を算出できる。
なお、色域R1、R2は、対象とする第1投影面31上に投影部30から投影光を投影した際に表現可能な色の範囲を表す情報である。このため、原理的に三角形の外側の色を再現することができない。言い換えれば、ステップS2によって算出した色域の内側へ目標色の色度を変換することで、対象とする第1投影面31上に目標色を再現することが可能となる。
図3(b)は、赤、緑、青、白及び黒のINを代表色として、式(2)を用いて各々のXYZ値であるCを算出し、式(1)を用いてYxy値に変換した結果をY-x(またはy)軸にプロットしたグラフである。縦軸はY値、横軸はx値(またはy値)を表す。
xy1(WHITE)、xy1(RED)及びxy1(BLACK)は、第1投影面31の色情報が反射率RW1、オフセットRB1の場合の白、赤、黒の色度である。同じく、xy2(WHITE)、xy2(RED)及びxy2(BLACK)は、第1投影面31の色情報が反射率RW2、オフセットRB2の場合の白、赤、黒の色度である。反射率RW2は反射率RW1と異なり、オフセットRB2はオフセットRB1と異なる。
このとき、xy1(WHITE)、xy1(RED)及びxy1(BLACK)によって形成される三角形の色域R3は、第1投影面31の色情報が反射率RW1、オフセットRB1の場合の輝度(Y)−色度(xまたはy)方向の色域となる。同様に、xy2(WHITE)、xy2(RED)及びxy2(BLACK)によって形成される三角形の色域R4は、第1投影面31の色情報が反射率RW2、オフセットRB2の場合の輝度(Y)−色度(xまたはy)方向の色域となる。このように、ステップS2によれば、輝度(Y)−色度(xまたはy)方向の色域を算出できる。
なお、色域R3、R4は、対象とする第1投影面31上に投影部30から投影光を投影した際に表現可能な色の範囲を表す情報である。このため、原理的に三角形の外側の色を再現することができない。言い換えれば、ステップS2によって算出した色域の内側へ目標色を変換することで、対象とする第1投影面31上に目標色の輝度を再現することが可能となる。
以上のように、実施形態に係るステップS2〜S3によれば、xy色度方向の色域、及び、色度(xまたはy)−輝度(Y)方向の色域を、第1投影面31の第1色域Cg1として算出することが可能となる。これを用いることで、後段の色域設定部22において、目標色域を設定することが可能となる。
色域設定部22は、第1投影面31の第1色域Cg1に応じて、第1色域Cg1とは異なる第2色域Cg2を算出し、色度変換部23に出力する(ステップS4)。第2色域Cg2は、目標色域である。
図4は、第1の実施形態に係る色域設定部22の処理を例示するグラフ図である。
縦軸はy値、横軸はx値を表す。例えば、色域検出部21から入力された第1投影面31の第1色域Cg1が実色域R1であった場合について想定する。このとき、対象とする第1投影面31上では実色域R1の色が再現される。これに対して、第2色域Cg2を目標色域T1のように設定する。これにより、対象とする第1投影面31上において目標色域T1の色を再現するよう投影像を補正することが可能となる。具体的には、目標色域T1(第2色域Cg2)は、実色域R1(第1色域Cg1)と重ならない第1領域ra1と、実領域R1と重なる第2領域ra2と、を含む。第1領域ra1の面積が第2領域ra2の面積よりも小さくなるように、目標色域T1を設定する。これにより、実色域R1と目標色域T1との差分を小さくできる。
実色域R1と目標色域T1とが逆になってもよい。つまり、第1投影面31の第1色域Cg1が実色域T1であった場合に、第2色域Cg2を、目標色域R1のように設定するようにしてもよい。これにより、対象とする第1投影面31上において目標色域R1の色を再現するよう投影像を補正することが可能となる。
このような適応的に目標色域を設定するために、実施形態に係るステップS4においては、目標色域T1における投影面の反射率TWと、目標色域T1における投影面のオフセットTBとを設定する。このとき、反射率TWとオフセットTBとは、第1投影面31の実色域R1(第1色域Cg1)に応じて設定されることが望ましい。また、反射率TWとオフセットTBとは、予め定めておいてもよい。
以上のように、ステップS4によれば、投影面の色が様々に変わって投影面の色域が様々となった場合でも、投影面上で任意の目標色を再現するよう目標色域が設定される。
色度変換部23は、第1画像51の色度を変換した第2画像52を生成し、第2画像52を補正部24に出力する(ステップS5)。すなわち、第2画像52は、第2色域Cg2の中に収まる色を有している。第2画像52の色Tは、次式によって算出できる。
T=IN・TW+TB …(3)
ここで、INは第1画像51を基準投影面に投影した際の反射光のXYZ値、TWは目標色域T1における投影面の反射率、TBは目標色域T1における投影面のオフセットを表す。ステップS5においては、目標色域T1の情報として、反射率TW及びオフセットTBを用いる。第2画像52は、第1画像51の色を第2色域Cg2の中に収まるように色度変換した色を有する。この第2画像52を目標画像とすることができる。
補正部24は、第1投影面31の第1色域Cg1に基づき第2画像52を補正した第3画像53を生成し、第3画像53を投影部30に出力する(ステップS6)。このとき、第2画像52を補正した第3画像53の色Oは、次式によって算出できる。
O=(T−RB)/RW …(4)
ここで、Tは色度変換部23によって算出された第2画像52の色、RBは第1投影面31が室内等の照明光を反射することで生じる反射光の色(オフセット)、RWは第1投影面31が投影部30からの光を反射する強さを表す反射率を表す。すなわち、式(4)では、第1投影面31上で第2画像52の色Tを再現するために、オフセットRBと反射率RWとによる色の変化を相殺するように、投影像を予め補正することが可能となる。これによって補正された補正画像(第3画像53)を用いることで、後段の投影部30から出力された第3画像53が第1投影面31に反射して、色Tを有する目標画像(第2画像52)が再現される。
上記の式(4)によれば、第2画像52の第1色と第1投影面31の第2色との差分に基づく第3色が算出される。例えば、第3色をそのまま第3画像53の色としてもよい。または、第3色との間の色差ΔEabが、6.0以下となるように、第3画像53の第4色を決定してもよい。第3色との色差がゼロであれば、第3色と第4色とは等しくなる。なお、色差は、例えば、色度図上での色差を算出する一般的な色差式(例えば、CIE 1976,Lab色差式など)を用いて算出すればよい。ΔEabは、Lab表色系における座標L*、a*、b*の差であるΔL*、Δa*、Δb*によって定義される二つの色の間の色差を表す。このように、第3色と第4色とは必ずしも一致していなくてもよい。第2画像52の色再現性の観点からは、第3色と第4色とが一致したほうがより望ましい。
以上のように、実施形態によれば、投影面の色が様々に変わって投影面の色域が様々となった場合でも、投影面上で任意の目標色を再現するよう目標色域を設定することが可能となる。このため、対象とする投影面上において目標色を再現するように投影像を補正することが可能となる。
実施形態によれば、第1投影面31の第1色域Cg1に応じて、目標色域となる第2色域Cg2が適応的に設定される。入力画像である第1画像51の色は、第2色域Cg2に収まるように色度変換され、第2画像52とされる。第2画像52は、目標画像である。第2画像52を補正した第3画像53が生成される。第3画像53は、第1投影面31に投影されたときに第2画像52を再現する。第3画像53は、補正画像である。これにより、補正画像(投影画像)の色飛びや色潰れを抑制することができる。高品位な投影画像を提供することができる。
(第2の実施形態)
図5は、第2の実施形態に係る画像処理装置及び画像表示装置を例示するブロック図である。
実施形態の画像処理装置111は、処理部20を含む。処理部20には、色域検出部21と、色域設定部22と、色度変換部23と、補正部24と、さらに、記憶部25と、が設けられている。画像表示装置211は、画像処理装置111と、投影部30と、撮影部40と、を含む。
記憶部25は、基準投影面の第3色域Cg3を記憶する。記憶部25は、第3色域Cg3を色域設定部22に出力する。色域設定部22は、第1色域Cg1と第3色域Cg3とに基づいて、第2色域Cg2を設定する。また、色域設定部22は、基準投影面の第3色域Cg3を算出してもよい。第3色域Cg3は、予め定めた基準投影面の色情報を用いて算出することができる。この場合、記憶部25には基準投影面の色情報が予め記憶されていることが望ましい。基準投影面の色情報は、基準投影面が室内等の照明光を反射することで生じる反射光の成分BB(オフセットBB)と、基準投影面が投影部30からの光を反射する強さを表す反射率BWと、で表される。オフセットBB及び反射率BWは、工場出荷時に予め設定されることが望ましい。オフセットBB及び反射率BWは、ユーザによる入力などの外部入力に基づき設定されてもよい。オフセットBB及び反射率BWは、撮影部40からの出力に基づき設定されてもよい。
基準投影面の第3色域Cg3は、基準投影面の色情報を用いて算出される。ここで、基準投影面の第3色域Cg3とは、基準投影面上に、投影部30から投影光を投影した際に表現可能な色の範囲を表す情報である。この例においては、次式によって基準投影面上に表現可能な色を算出することができる。
BC=IN・BW+BB …(5)
ここで、BCは基準投影面上でのXYZ値、INは第1画像51を基準投影面に投影した際の反射光のXYZ値、BWは基準投影面での反射率、BBは基準投影面でのオフセットを表す。このとき、第1画像51の階調値から反射光のXYZ値であるINへの変換は、予め設定された変換関数によって実施されることが望ましい。
基準投影面の第3色域Cg3とは、対象とする基準投影面上に投影部30から投影光を投影した際に表現可能な色の範囲を表す情報である。そのため、第1画像51に存在する各色のINについて、式(5)を用いてBCを算出する。これにより、基準投影面の第3色域Cg3を算出することが可能となる。また、第1画像51に存在する複数色のうちの少なくとも3色以上を含む複数個の代表色についてのBCを、基準投影面の第3色域Cg3として算出しても構わない。実施形態においては、一例として、INが赤、緑、青、白及び黒を代表色とする場合を想定する。
図6(a)及び図6(b)は、第2の実施形態に係る画像処理装置及び画像表示装置の色域を例示するグラフ図である。
図6(a)は、赤、緑、青、白及び黒のINを代表色として、式(5)を用いて各々のXYZ値であるBCを算出し、式(1)を用いてYxy値に変換した結果のxy色度をプロットしたグラフである。縦軸はy値、横軸はx値を表す。
xy3(RED)、xy3(BLUE)及びxy3(GREEN)は、基準投影面の色情報が反射率BW1、オフセットBB1の場合の赤、青、緑の色度である。同じく、xy4(RED)、xy4(BLUE)及びxy4(GREEN)は、基準投影面の色情報が反射率BW2、オフセットBB2の場合の赤、青、緑の色度である。
このとき、xy3(RED)、xy3(BLUE)及びxy3(GREEN)によって形成される三角形の色域B1は、基準投影面の色情報が反射率BW1、オフセットBB1の場合のxy色度方向の色域となる。同様に、xy4(RED)、xy4(BLUE)及びxy4(GREEN)によって形成される三角形の色域B2は、基準投影面の色情報が反射率BW2、オフセットBB2の場合のxy色度方向の色域となる。反射率BW2は反射率BW1と異なり、オフセットBB2はオフセットBB1と異なる。このように、xy色度方向の色域を算出できる。
なお、色域B1、B2は、対象とする基準投影面上に投影部30から投影光を投影した際に表現可能な色の範囲を表す情報である。このため、原理的に三角形の外側の色を再現することができない。言い換えれば、算出した色域の内側へ目標色の色度を変換することで、対象とする基準投影面上に目標色を再現することが可能となる。
図6(b)は、赤、緑、青、白及び黒のINを代表色として、式(5)を用いて各々のXYZ値であるBCを算出し、式(1)を用いてYxy値に変換した結果をY-x(またはy)軸にプロットしたグラフである。縦軸はY値、横軸はx値(またはy値)を表す。
xy3(WHITE)、xy3(RED)及びxy3(BLACK)は、基準投影面の色情報が反射率BW1、オフセットBB1の場合の白、赤、黒の色度である。同じく、xy4(WHITE)、xy4(RED)及びxy4(BLACK)は、基準投影面の色情報が反射率BW2、オフセットBB2の場合の白、赤、黒の色度である。反射率BW2は反射率BW1と異なり、オフセットBB2はオフセットBB1と異なる。
このとき、xy3(WHITE)、xy3(RED)及びxy3(BLACK)によって形成される三角形の色域B3は、基準投影面の色情報が反射率BW1、オフセットBB1の場合の輝度(Y)−色度(xまたはy)方向の色域となる。同様に、xy4(WHITE)、xy4(RED)及びxy4(BLACK)によって形成される三角形の色域B4は、基準投影面の色情報が反射率BW2、オフセットBB2の場合の輝度(Y)−色度(xまたはy)方向の色域となる。このように、輝度(Y)−色度(xまたはy)方向の色域を算出できる。
なお、色域B3、B4は、対象とする基準投影面上に投影部30から投影光を投影した際に表現可能な色の範囲を表す情報である。このため、原理的に三角形の外側の色を再現することができない。言い換えれば、算出した色域の内側へ目標色を変換することで、対象とする基準投影面上に目標色の輝度を再現することが可能となる。
以上のように、xy色度方向の色域、及び、色度(xまたはy)−輝度(Y)方向の色域を、基準投影面の第3色域Cg3として算出することが可能となる。これを用いることで、後段の色域設定部22において、目標色域を設定することが可能となる。
色域設定部22は、第1投影面31の第1色域Cg1と、基準投影面の第3色域Cg3とを用いて、第2色域Cg2を設定し、色度変換部23に出力する。第2色域Cg2は、目標色域である。より具体的には、色域設定部22は、第1色域Cg1と第3色域Cg3との差分が大きいほど、第1色域Cg1と第2色域Cg2とが重なる領域を大きく設定する。つまり、色域設定部22は、第1色域Cg1と第3色域Cg3との差分が大きいほど、第2色域Cg2を、第1色域Cg1に近づけて設定することが望ましい。
図7は、第2の実施形態に係る色域設定部22の処理を例示するグラフ図である。
縦軸はy値、横軸はx値を表す。例えば、色域検出部21から入力された第1投影面31の第1色域Cg1が実色域R2であり、基準投影面の第3色域Cg3が基準色域B2である場合について想定する。
一般に、投影面に色がついている場合、ある基準投影面の色域内の色を目標色として投影像の色が補正される。しかしながら、既に述べたように、投影面の色域は、投影面上に投影部30から投影光を投影した際に表現可能な色の範囲を表している。このため、実色域R2と基準色域B2とが図7のように大きくかい離している場合は、再現できない色が多くなり、色飛びや色つぶれが多発する。
これに対して、目標色域T2(第2色域Cg2)の少なくとも一部は、実色域R2(第1色域Cg1)に含まれる。基準色域B2(第3色域Cg3)の少なくとも一部は、目標色域T2に含まれる。つまり、実施形態に係る色域設定部22は、例えば、図7に表すように、実色域R2と基準色域B2との間に、目標色域T2を設定する。実色域R2と基準色域B2とが重なる領域rb2は、実色域R2と目標色域T2とが重なる領域rb1に含まれる。こうして設定した目標色域T2内の色を目標色とする。これにより、実色域R2上において基準色域B2を再現しようとする場合に比べて、再現可能な色が増える。これにより、色飛びや色つぶれが少なくなる。
ここで、目標色域T2は、実色域R2と基準色域B2との間に設定されることが望ましい。一例として、次式のように設定する。
T2=IN・(αRW2+(1−α)BW2)+RB2 …(6)
ここで、RW2は実色域R2における反射率、BW2は基準色域B2における反射率、RB2は実色域R2におけるオフセットを表す。式(6)においては、αを0.0〜1.0の範囲で設定する。これによって、実色域R2と基準色域B2との間に目標色域T2を設定することが可能となる。
このとき、式(6)においてαは様々に設定されて構わない。この例では、反射率BW2での色と反射率RW2での色との差が大きい場合にαを大きく、反射率BW2での色と反射率RW2での色との差が小さい場合にαを小さく設定することが望ましい。他にも、第1画像51の色分布を用いたり、ユーザの好みに合わせた外部入力によって設定されても構わない。
以上のように、実施形態の色域設定部22によれば、設定した目標色域T2内の色を目標色とする。これにより、実色域R2上において基準色域B2を再現した場合に比べて、再現可能な色が増えると共に、色飛びや色つぶれが少なくなる。
ここで、入力部10は、さらに、第2投影面32に係る第2情報32aが入力される。第2情報32aは、例えば、撮影部40で取得される、撮影部40は、第2投影面32の少なくとも一部を含む撮影像を取得する。第2投影面32に、入力された第1画像51が変換された第2変換画像55xが、投影される。すなわち、第2情報32aは、撮影部40から入力部10に入力される。
色域検出部21は、第2色域検出処理を実施する。第2色域検出処理では、第2情報32aに基づいて、第2投影面32の第4色域Cg4を検出する。
色域設定部22は、第2色域設定処理を実施する。第2色域設定処理では、第4色域Cg4に応じて第5色域Cg5を設定する。
色度変換部23は、第2色度変換処理を実施する。第2色度変換処理では、第1画像51の色度を変換した第4画像54を導出する。第4画像54は、第2色域Cg2の中に含まれる色を有する。
補正部24は、第2補正処理を実施する。第2補正処理では、第4色域Cg4に基づき第4画像54を補正した第5画像55を導出する。第5画像55が、上記の「第1画像51が変換された第2変換画像55x」に対応する。第5画像55は、第2投影面32に第4画像54を再現する。第5画像55は、投影部30により第2投影面32に投影される。第4画像54は、第5画像55が第2投影面32に投影されることで再現される。
第1投影面31の色相は、第2投影面32の色相と異なる。第2画像52の色相と第1投影面31の色相との差分は、第2画像52の色相と第2投影面32の色相との差分よりも小さい。第4画像54の色相と第2投影面32の色相との差分は、第4画像54の色相と第1投影面31の色相との差分よりも小さい。
前述の参考例においては、例えば、基準投影面の色が薄青で、投影面の色が青である場合、青の投影面に投影される画像の色が、薄青の基準投影面に投影される画像の色に近づくように、入力画像が補正される。また、投影面の色が緑である場合、緑の投影面に投影される画像の色が、薄青の基準投影面に投影される画像の色に近づくように、入力画像が補正される。つまり、2つの投影面の色相が異なっていても、2つの投影画像のそれぞれは薄青に近い色相となる。
これに対して、実施形態の場合、第1投影面31の色相は、第2投影面32の色相と異なる。第2画像52の色相は、第4画像54の色相と異なる。つまり、投影面の色相が異なっている場合、異なる目標色域が設定される。このため、2つの投影画像(第2画像52と第4画像54)は異なる色相となる。例えば、投影面の色が青であれば、投影画像は緑よりも青に近い色相となる。投影面の色が緑であれば、投影画像は青よりも緑に近い色相となる。
(第3の実施形態)
図8は、第3の実施形態に係る画像処理装置及び画像表示装置を例示するブロック図である。
実施形態の画像処理装置112は、処理部20を含む。処理部20には、色域検出部21と、色域設定部22と、色度変換部23と、補正部24と、記憶部25と、さらに、輝度マッピング部26が設けられている。輝度マッピング部26は、色度変換部23と補正部24との間に設けられる。画像表示装置212は、画像処理装置112と、投影部30と、撮影部40と、を含む。
輝度マッピング部26は、輝度マッピング処理を実施する。輝度マッピング処理では、第1色域Cg1と、第2色域Cg2と、第2画像52の少なくとも一部の領域内の輝度分布H0(図9(b)を参照)と、に基づいて、第2画像52の色度を維持しつつ第2画像52の輝度を変換する。輝度マッピング部26は、第2画像52(すなわち、色度変換画像)の輝度を変換した後の第2輝度変換画像52aを、補正部24に出力する。
図9(a)及び図9(b)は、第3の実施形態に係る輝度マッピング部26の処理を例示するグラフ図である。
図9(a)は、第2画像52内の色p1、第1投影面31の実色域Dst及び目標色域Tarを、色度−輝度グラフ上に示した図である。縦軸は輝度(Y)、横軸は色度(xまたはy)を表す。この例では、第1色域Cg1が実色域Dstであり、第2色域Cg2が目標色域Tarである。
図9(b)は、輝度マッピング部26の処理前後における第2画像52の輝度ヒストグラム(輝度分布H0)を示した図である。縦軸は輝度(Y)、横軸は頻度(F)を表す。
輝度マッピング部26においては、図9(a)に表すように、実色域Dst内の色p1について、次式によって輝度のレンジを変換する。
p2={((p1−s2)/(s1−s2))・(t1−t2)}+t2 …(7)
ここで、p2は、p1のレンジ変換後の輝度値である。s1は、実色域Dstに基づいて算出されるp1と同じ色度が再現できる輝度の上限値である。s2は、実色域Dstに基づいて算出されるp1と同じ色度が再現できる輝度の下限値である。t1は、目標色域Tarに基づいて算出されるp1と同じ色度が再現できる輝度の上限値である。t2は、目標色域Tarに基づいて算出されるp1と同じ色度が再現できる輝度の下限値である。
図9(b)のH1は、輝度のレンジ変換前の第2画像52の輝度分布を表す。図9(b)のH2は、輝度のレンジ変換後の輝度分布を表す。すなわち、輝度分布H1は、式(7)により、輝度分布H2に変換される。
このように、目標色域Tarで示される第2画像52内の色p1の輝度値を、実色域Dstの中に収めることが可能となる。一般に、実色域Dstの中に無い(色域外の)目標色を投影面上で再現することはできない。しかしながら、実施形態によれば、後段の補正部24において投影面上に目標色を再現する補正画像を生成することが可能となる。
次に、輝度のレンジ変換後の輝度分布H2に基づき、コントラスト変換を行う。コントラスト変換は、ヒストグラム平滑化法や、Contrast Limited Adaptive Histogram Equalization法などの一般的な手法を用いても良い。
このとき、図9(b)に表すように、輝度のレンジ変換後の輝度分布H2のうち、頻度が高い輝度値の周辺の輝度コントラストを高めるように変換を実施する。これにより、輝度のレンジ変換後の輝度分布H2は、コントラスト変換によってコントラスト変換後の輝度分布H3のように変換される。その結果、レンジ変換後の輝度値p2は、コントラスト変換後の輝度値p3のように変換される。
このように、目標色域Tarで示される第2画像52内の色p1の輝度値を、実色域Dstの中に収めつつ、さらに、輝度コントラストを向上させる変換を行うことが可能となる。これにより、最終的な投影像の画質を向上させることができる。
最後に、輝度マッピング部26は、第2画像52の全ての画素値に対する輝度値p3を算出した結果を用いて、第2画像52の輝度を変換した第2輝度変換画像52a(目標画像)を生成し、この第2輝度変換画像52aを補正部24に出力する。
以上、実施形態における輝度マッピング部26によれば、第2画像52と、実色域Dstと、目標色域Tarと、を用いて、第2画像52の少なくとも一部を含む領域内の明るさ分布に基づき、第2画像52の色度を保持しつつ輝度を変換した第2輝度変換画像52a(目標画像)を出力することができる。これにより、目標色域Tarで示される第2画像52内の色p1の輝度値を、実色域Dstの中に収めつつ、さらに、輝度コントラストを向上させた目標画像を生成することが可能となる。
(第4の実施形態)
図10は、第4の実施形態に係る画像処理装置及び画像表示装置を例示するブロック図である。
実施形態の画像処理装置113は、処理部20を含む。処理部20には、色域検出部21と、色域設定部22と、色度変換部23と、補正部24と、記憶部25と、さらに修正部27と、が設けられている。画像表示装置213は、画像処理装置113と、投影部30と、撮影部40と、を含む。
色域検出部21は、第1投影面31の第1色域Cg1を検出する。第1色域Cgは、例えば、第1色域部分Cg11と、第2色域部分Cg12と、を含む。第1色域部分Cg11の色域は、第2色域部分Cg12の色域と異なる。色域検出部21は、第1色域部分Cg11及び第2色域部分Cg12を検出し、これら第1色域部分Cg11及び第2色域部分Cg12を修正部27に出力する。
記憶部25は、基準投影面の第3色域Cg3を記憶する。第3色域Cg3は、記憶部25から修正部27に出力される。
修正部27は、色域修正処理を実施する。色域修正処理では、第1色域部分Cg11と、第2色域部分Cg12と、第3色域Cg3と、に基づいて、第1色域部分Cg11を第3色域部分Cg13に修正し、第2色域部分Cg12を第4色域部分Cg14に修正する。これら第3色域部分Cg13及び第4色域部分Cg14は、色域設定部22及び補正部24のそれぞれに出力される。
色域設定部22は、第1色域設定処理を実施する。第1色域設定処理では、第3色域部分Cg13と第4色域部分Cg14とに応じて、第2色域Cg2を設定する。前述したように、第2色域Cg2は、目標色域である。第2色域Cg2は、色度変換部23に出力される。
色度変換部23は、第1画像51の色度を変換して第2色域Cg2に含まれる色からなる第2画像52を導出する。第2画像52は、補正部24に出力される。
補正部24は、第1補正処理を実施する。第1補正処理では、第3色域部分Cg13と第4色域部分Cg14とに基づいて、第2画像52を補正した第3画像53を導出する。第3画像53は、前述の「第1画像51が変換された第1変換画像53x」に対応する。第3画像53は、第1投影面31に第2画像52を再現する。第3画像53は、投影部30により第1投影面31に投影される。第2画像52は、第3画像53が第1投影面31に投影されることで再現される。
図11(a)〜図11(c)は、色域を例示するグラフ図である。
図中、縦軸はY値(輝度)、横軸はx値またはy値(色度)を示す。
実施形態においては、第1投影面31が非一様な模様を有する場合を想定する。第1色域Cg1のうち、より明るい模様を有する部分の色域を第1色域部分Cg11とし、より暗い模様を有する部分の色域を第2色域部分Cg12とする。第1色域Cg1は、部分ごとに異なる色域を有する。
図11(a)に表すように、目標色域TT1を、第2色域部分Cg12に近づけて設定すると、目標色域TT1と第1色域部分Cg11とが重ならない領域rr1の面積が大きくなる。この場合、第1色域部分Cg11を有する投影面上の補正画像において色つぶれなどの破たんが多発する。
図11(b)に表すように、目標色域TT2を、第1色域部分Cg11に近づけて設定すると、目標色域TT2と第2色域部分Cg12とが重ならない領域rr2の面積が大きくなる。この場合、第2色域部分Cg12を有する投影面上の補正画像において色飛びなどの破たんが多発する。
図11(c)に表すように、目標色域TT3を、第1色域部分Cg11と第2色域部分Cg12との中間に設定すると、目標色域TT3と第1色域部分Cg11とが重ならない領域rr31と、目標色域TT3と第2色域部分Cg12とが重ならない領域rr32と、がそれぞれ生じる。この場合、第1色域部分Cg11の投影面上の補正画像において、色つぶれ、色飛びなどの破たんが発生し、第2色域部分Cg12の投影面上の補正画像において、色つぶれ、色飛びなどの破たんが発生する。
図12(a)及び図12(b)は、第4の実施形態に係る修正部の処理を例示するグラフ図である。
図中、縦軸はY値(輝度)、横軸はx値またはy値(色度)を示す。
本実施形態に係る修正部27は、第1色域部分Cg11と、第2色域部分Cg12と、第3色域Cg3と、に基づいて、第1色域部分Cg11を第3色域部分Cg13に修正し、第2色域部分Cg12を第4色域部分Cg14に修正する。
図12(a)に表すように、第3色域Cg3と、第3色域部分Cg13と、第4色域部分Cg14と、が重なる領域Ebの面積は、第3色域Cg3と、第1色域部分Cg11と、第2色域部分Cg12と、が重なる領域Eaの面積よりも大きい。例えば、領域Eaの面積が最大となるように、第3色域部分Cg13と、第4色域部分Cg14と、を導出する。具体的には、第1色域部分Cg11と、第2色域部分Cg12とを、Y軸に沿って互いに近づく方向に動かしていくと、領域Eaの面積が変化する。領域Eaの面積は、ある位置において最大となる。面積が最大となるときの領域Eaを、領域Ebとして求めることができる。
つまり、領域Ebにおける第1色域部分Cg11が、第3色域部分Cg13として導出される。第3色域部分Cg13と第3色域Cg3との差分は、第1色域部分Cg11と第3色域Cg3との差分よりも小さい。同様に、領域Ebにおける第2色域部分Cg12が、第4色域部分Cg14として導出される。第4色域部分Cg14と第3色域Cg3との差分は、第2色域部分Cg12と第3色域Cg3との差分よりも小さい。
このように、基準の第3色域Cg3と修正後の第3色域部分Cg13との差分と、基準の第3色域Cg3と修正後の第4色域部分Cg14との差分と、を小さくすることができる。このため、後段の補正部24の処理において、補正画像の色つぶれ、色飛びなどの破たんを少なくすることができる。
特に、投影面の柄の色差が大きい場合には、投影像の色つぶれや色飛びなどを少なくすることができる。このため、例えば、小売店内の壁面やイベント会場内の壁面などのように色差が大きい柄を有する投影面であっても、破たんが無く、良好な投影像を視認することが可能となる。
ここで、第1投影面31の第1色域Cg1は、実際の第1色域部分Cg11と、実際の第2色域部分Cg12と、を含む。これに対して、第3色域部分Cg13は、第1色域部分Cg11を修正したもので、実際の色域とは異なる。第4色域部分Cg14は、第2色域部分Cg12を修正したもので、実際の色域とは異なる。このため、第1色域部分Cg11と第3色域部分Cg13との間の乖離、及び、第2色域部分Cg12と第4色域部分Cg14との間の乖離が大きいと、補正部24の処理において補正強度のずれが増え、補正色が正しく再現できない可能性がある。
これに対して、本実施形態では、図12(b)に表すように、第1色域部分Cg11と、第3色域部分Cg13と、が重なる領域Ecの面積は、第1色域部分Cg11と、第3色域部分Cg13と、が重ならない領域Ecnの面積よりも大きい。第2色域部分Cg12と、第4色域部分Cg14と、が重なる領域Edの面積は、第2色域部分Cg12と、第4色域部分Cg14と、が重ならない領域Ednの面積よりも大きい。例えば、領域Ecの面積が最大になるように、第3色域部分Cg13を導出してもよい。同様に、領域Edの面積が最大になるように、第4色域部分Cg14を導出してもよい。
これにより、第1色域部分Cg11と第3色域部分Cg13との間の乖離、及び、第2色域部分Cg12と第4色域部分Cg14との間の乖離を小さくすることができる。このため、後段の補正部24の処理において補正色を正しく再現することが可能となる。
特に、投影面の柄の色差が小さい場合に、領域Ecの面積が最大または略最大になるように、第3色域部分Cg13を算出し、領域Edの面積が最大または略最大になるように、第4色域部分Cg14を算出する。これにより、投影像の柄を相殺した正しい補正画像が生成できる。このため、例えば、オフィス内の壁面や一般家庭内の壁面などのように色差が小さい柄を有する投影面において、柄を相殺した良好な投影像を視認することができる。
さらに、本実施形態においては、領域Ebの面積と、領域Ecの面積と、領域Edの面積と、の和は、領域Eaの面積と、領域Ecnの面積と、領域Ednの面積と、の和よりも大きいことが望ましい。例えば、領域Ebの面積と、領域Ecの面積と、領域Edの面積と、の重み付け線形和が、最大となるように、第3色域部分Cg13と、第4色域部分Cg14と、を導出してもよい。
そしてさらに、本実施形態に係る色域修正処理においては、第1色域部分Cg11と、第2色域部分Cg12と、第3色域Cg3と、に加え、さらに、第1画像51を用いてもよい。この場合、領域Ebの面積は、第3色域Cg3の中で再現される第1画像51の色を全て含む色域と、第1色域部分Cg11の中で再現される第1画像51の色を全て含む色域と、第2色域部分Cg12の中で再現される第1画像51の色を全て含む色域と、が重なる領域の面積とされる。領域Ecの面積は、第1色域部分Cg11の中で再現される第1画像51の色を全て含む色域と、第3色域部分Cg13の中で再現される第1画像51の色を全て含む色域と、が重なる領域の面積とされる。領域Edの面積は、第2色域部分Cg12の中で再現される第1画像51の色を全て含む色域と、第4色域部分Cg14の中で再現される第1画像51の色を全て含む色域と、が重なる領域の面積とされる。これらの領域Ebの面積、領域Ecの面積及び領域Edの面積の重み付け線形和が、最大となるように、第3色域部分Cg13と、第4色域部分Cg14と、を導出してもよい。
これにより、基準の第3色域Cg3と修正後の第3色域部分Cg13との差分と、基準の第3色域Cg3と修正後の第4色域部分Cg14との差分と、を小さくすることができる。さらに、第1色域部分Cg11と第3色域部分Cg13との間の乖離、及び、第2色域部分Cg12と第4色域部分Cg14との間の乖離を小さくすることができる。このため、後段の補正部24の処理において、補正画像の色つぶれ、色飛びなどの破たんを少なくし、さらに、補正色を正しく再現することが可能となる。
投影面の柄の色差が小さいか大きいかに係わらず、補正画像の色つぶれ、色飛びなどの破たんを少なくし、正しい補正色を再現することができる。これにより、様々な柄を有する壁などの投影面における画質をロバストに向上することができる。
以上の例では、第1色域Cg1に含まれる複数の色域部分が、第1色域部分Cg11と第2色域部分Cg12との少なくとも二種類である場合について説明した。実施形態においては、第1色域Cg1がN(N≧3)種類の色域部分に分かれている場合であっても同様に適用できる。この場合、各色域部分のそれぞれについて、同様の手順で修正した色域部分を算出すればよい。
なお、修正部27は、色度変換部23から出力された第2画像52と、第1色域部分Cg11と、第2色域部分Cg12と、を用いて、第3色域部分Cg13と、第4色域部分Cg14と、を算出しても良い。このとき、第3色域部分Cg13及び第4色域部分Cg14は、第2画像52を考慮し、色つぶれ、色飛びなどが最も少なくなるように算出される。
このように、第1色域部分Cg11及び第2色域部分Cg12に加え、第2画像52を用いることで、後段の補正部24の処理において、補正画像の色つぶれ、色飛びなどの破たんを生じさせず、良好な投影像を視認することができる。
さらに、修正部27は、領域Ebと、領域Ecと、領域Edと、の重みづけ線形和の各々の重みを、投影するコンテンツ情報や、外部からのユーザ入力によって様々に変化させても良い。例えば、コンテンツ情報が文字である場合は、領域Ebの重みを上げることで、文字の視認性を向上させることができる。また、ユーザ入力によって領域Ec及び領域Edの重みを上げることで、補正色を正しく再現することができる。
さらに、修正部27は、上述した全ての処理を、少なくとも投影面の一部を含む局所領域ごとに処理しても構わない。そのような局所領域ごとの処理を行うことで、投影面の柄が細かい周期で変化する場合であっても、補正画像の色つぶれ、色飛びなどの破たんを少なくし、補正色を正しく再現することができる。
(第5の実施形態)
図13は、第5の実施形態に係る画像処理装置及び画像表示装置を例示するブロック図である。
実施形態の画像処理装置114は、処理部20を含む。処理部20には、色域検出部21と、色域設定部22と、色度変換部23と、補正部24と、記憶部25と、輝度マッピング部26と、修正部27と、さらにレンジ圧縮部28と、が設けられている。画像表示装置214は、画像処理装置114と、投影部30と、撮影部40と、を含む。
色域検出部21は、第1投影面31の第1色域Cg1を検出する。第1色域Cgは、例えば、第1色域部分Cg11と、第2色域部分Cg12と、を含む。第1色域部分Cg11の色域は、第2色域部分Cg12の色域と異なる。色域検出部21は、第1色域部分Cg11及び第2色域部分Cg12を検出し、これら第1色域部分Cg11及び第2色域部分Cg12を修正部27に出力する。
記憶部25は、基準投影面の第3色域Cg3を記憶する。第3色域Cg3は、記憶部25から修正部27に出力される。
修正部27は、色域修正処理を実施する。色域修正処理では、第1色域部分Cg11と、第2色域部分Cg12と、第3色域Cg3と、に基づいて、第1色域部分Cg11を第3色域部分Cg13に修正し、第2色域部分Cg12を第4色域部分Cg14に修正する。これら第3色域部分Cg13及び第4色域部分Cg14は、レンジ圧縮部28、色域設定部22、及び補正部24のそれぞれに出力される。
色域設定部22は、第1色域設定処理を実施する。第1色域設定処理では、第3色域部分Cg13と第4色域部分Cg14とに応じて、第2色域Cg2を設定する。前述したように、第2色域Cg2は、目標色域である。第2色域Cg2は、色度変換部23に出力される。
色度変換部23は、第1画像51の色度を変換して第2色域Cg2に含まれる色からなる第2画像52を導出する。第2画像52は、輝度マッピング部26に出力される。
輝度マッピング部26は、輝度マッピング処理を実施する。輝度マッピング処理では、第3色域部分Cg13と、第4色域部分Cg14と、第2色域Cg2と、第2画像52の少なくとも一部の領域内の輝度分布と、に基づいて、第2画像52の色度を維持しつつ第2画像52の輝度を変換する。輝度マッピング部26は、第2画像52(すなわち、色度変換画像)の輝度を変換した後の第2輝度変換画像52aを、補正部24とレンジ圧縮部28とに出力する。
レンジ圧縮部28は、レンジ圧縮処理を実施する。レンジ圧縮処理では、第2色域Cg2と、第3色域部分Cg13と、第4色域部分Cg14と、第2輝度変換画像52aと、に基づいて、第2色域Cg2の輝度レンジを圧縮した第6色域Cg6を算出する。第6色域Cg6は、色域設定部22に出力される。
色域設定部22は、第2色域Cg2に代えて、第6色域Cg6を設定する。第6色域Cg6は、色度変換部23に出力される。
図14(a)及び図14(b)は、第5の実施形態に係るレンジ圧縮部の処理を例示するグラフ図である。
図中、縦軸はY値(輝度)、横軸はx値またはy値(色度)を示す。
図14(a)及び図14(b)は、第2色域Cg2と、第2色域Cg2内に変換された第2輝度変換画像52a(図中の丸印)と、第3色域部分Cg13と、第4色域部分Cg14と、を色度図上にプロットしたものである。
図14(a)に表すように、第2輝度変換画像52aは、第1輝度マッピング画像52a1と、第2輝度マッピング画像52a2と、を含む。第1輝度マッピング画像52a1は、第3色域部分Cg13の範囲から飛び出しており、補正部24における補正画像生成時に、色つぶれなどが生じる可能性がある。また、第2輝度マッピング画像52a2は、第4色域部分Cg14の範囲から飛び出しており、補正部24における補正画像生成時に、色飛びなどが生じる可能性がある。このとき、第1輝度マッピング画像52a1側での飛び出し量を、第1飛び出し量d1とし、第2輝度マッピング画像52a2側での飛び出し量を、第2飛び出し量d2とする。
本実施形態においては、第1飛び出し量d1と、第2飛び出し量d2と、を用いて、図14(b)に表すように、輝度のレンジを圧縮した第6色域Cg6を算出する。具体的には、第1飛び出し量d1の最大値を用いて、第2色域Cg2の黒側の色域を持ち上げる。このとき、第1輝度マッピング画像52a1は、第3色域部分Cg13内に変換される。第2飛び出し量d2の最大値を用いて、第2色域Cg2の白側の色域を下げる。このとき、第2輝度マッピング画像52a2は、第4色域部分Cg14内に変換される。このようにして、第2色域Cg2を変換することで第6色域Cg6を算出する。第6色域Cg6においては、第2色域Cg2で再現される色度は維持されたまま、輝度の範囲は第2色域Cg2で再現される輝度の範囲よりも狭くなる。
すなわち、レンジ圧縮部28は、第3色域部分Cg13と、第4色域部分Cg14と、第2輝度変換画像52aと、第2色域Cg2と、に基づいて、第2色域Cg2内で再現される第2輝度変換画像52aと同じ色度が維持できる、最高輝度Tと、最低輝度Bと、を算出する。そして、これら最高輝度T及び最低輝度Bに基づいて、第2色域Cg2を第6色域Cg6に変換する。
上記により算出した第6色域Cg6を用いることで、第1輝度マッピング画像52a1及び第2輝度マッピング画像52a2の両側において、第3色域部分Cg13及び第4色域部分Cg14のそれぞれからの飛び出しがなくなる。このため、補正部24における補正画像生成時に、色つぶれや色飛びなどの無い補正画像を生成することが可能となる。
なお、レンジ圧縮部28は、第2輝度変換画像52aに対して内部でバッファリング処理を行うことで、時間的に平滑化された第2輝度変換画像52aを用いて、第6色域Cg6を算出しても構わない。また、第2輝度変換画像52aに対して内部でバッファリング処理を行うことで、少なくとも画像情報の一部を含む領域の第2輝度変換画像52aの時間方向の変化が色域値を検出した場合は、過去に算出した第6色域Cg6を出力してもよい。このようなバッファリング処理と組み合わせることで、動画再生時のシーン変化によって生じるちらつきなどのアーチファクトを低減することが可能となる。
なお、各実施形態においては、色度図(色域グラフ)を用いて、各色域が重複する領域の面積を例示して説明したが、各色域が重複する領域の体積に置き換えても同様に適用可能である。この場合、色度図上のZ方向にY値(輝度)、X方向にx値またはy値(色度)、Y方向にy値またはx値(色度)を設定すればよい。
以上、実施形態として画像処理装置、画像表示装置及び画像処理方法を例示して説明したが、実施形態は、この画像処理方法をコンピュータに実行させるための画像処理プログラムの形態、あるいは、この画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体の形態としてもよい。
記録媒体としては、具体的には、CD-ROM(-R/-RW)、光磁気ディスク、HD(ハードディスク)、DVD-ROM(-R/-RW/-RAM)、FD(フレキシブルディスク)、フラッシュメモリ、メモリカードや、メモリスティック及びその他各種ROMやRAM等が想定でき、これら記録媒体に上述した実施形態の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録して流通させることにより、当該方法の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置により画像処理プログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該画像処理プログラムを記憶させておき、必要に応じて読み出すことにより、実施形態の画像処理方法を実行することができる。
実施形態によれば、高品位な投影画像を提供可能な画像処理装置及び画像表示装置が提供できる。
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、入力部及び処理部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
また、各具体例のいずれか2つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
その他、本発明の実施の形態として上述した画像処理装置及び画像表示装置を基にして、当業者が適宜設計変更して実施し得る全ての画像処理装置及び画像表示装置も、本発明の要旨を包含する限り、本発明の範囲に属する。
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10…入力部、 20…処理部、 21…色域検出部、 22…色域設定部、 23…色度変換部、 24…補正部、 25…記憶部、 26…輝度マッピング部、27…修正部、28…レンジ圧縮部、 30…投影部、 31…第1投影面、 31a…第1情報、 32…第2投影面、 32a…第2情報、 40…撮影部、 51…第1画像、 52…第2画像、 52a…第2輝度変換画像、52a1、52a2…第1、第2輝度マッピング画像、 53…第3画像、 53x…第1変換画像、 54…第4画像、 55…第5画像、 55x…第2変換画像、 110〜112…画像処理装置、 210〜212…画像表示装置、 B1、B3、B4…色域、 B2…色域、基準色域、 Cg1〜Cg5…第1色域〜第5色域、 Cg…第6色域、 Cg11〜Cg14…第1〜第4色域部分、 Dst…実色域、 Ea〜Ed…領域、 H0〜H3…輝度分布、 R1…色域、実色域、目標色域、 R2…色域、実色域、 R3、R4…色域、 ra1…第1領域、 ra2…第2領域、 T1…実色域、目標色域、 T2…目標色域、 Tar…目標色域、 p1…色、 p2、p3…輝度値、 rb1、rb2…領域、 s1、t1…上限値、 s2、t2…下限値

Claims (11)

  1. 第1画像と、第1投影面に関する第1情報と、が入力される入力部と、
    処理部であって、
    前記入力部に入力された前記第1情報から得た第1色域に応じて第2色域を設定する第1色域設定処理と、
    前記入力部に入力された前記第1画像の色度を変換して前記第2色域の中に含まれる色からなる第2画像を導出する第1色度変換処理と、
    前記第1色域に基づいて前記第2画像を補正して第1変換画像を導出する第1補正処理と、
    を実施する前記処理部と、
    を備えた画像処理装置。
  2. 前記第2画像の第1色と前記第1投影面の第2色との差分に基づく第3色と、前記第1変換画像の第4色と、の間の色差ΔEabは、6.0以下である請求項1記載の画像処理装置。
  3. 前記第2色域は、前記第1色域と重ならない第1領域と、前記第1色域と重なる第2領域と、を含み、
    前記第1領域の面積は、前記第2領域の面積よりも小さい請求項1または2に記載の画像処理装置。
  4. 第3色域を記憶する記憶部をさらに備え、
    前記第1色域設定処理は、前記第1色域と前記第3色域とに基づいて、前記第2色域を設定することを含む請求項1〜3のいずれか1つに記載の画像処理装置。
  5. 前記第2色域の少なくとも一部は、前記第1色域に含まれ、
    前記第3色域の少なくとも一部は、前記第2色域に含まれる請求項4記載の画像処理装置。
  6. 前記第1色域設定処理は、前記第1色域と前記第3色域との間の差分が大きいほど、前記第1色域と前記第2色域とが重なる領域を大きく設定することを含む請求項4または5に記載の画像処理装置。
  7. 前記処理部は、輝度マッピング処理をさらに実施し、
    前記輝度マッピング処理は、前記第1色域と、前記第2色域と、前記第2画像の少なくとも一部の領域内の輝度分布と、に基づいて、前記第2画像の色度を維持しつつ前記第2画像の輝度を変換することを含む請求項1〜6のいずれか1つに記載の画像処理装置。
  8. 前記入力部は、第2投影面に関する第2情報がさらに入力され、
    前記処理部は、
    前記入力部に入力された前記第2情報から得た第4色域に応じて第5色域を設定する第2色域設定処理と、
    前記入力部に入力された前記第1画像の色度を変換して前記第4色域の中に含まれる色からなる第4画像を導出する第2色度変換処理と、
    前記第4色域に基づいて前記第4画像を補正して第2変換画像を導出する第2補正処理と、
    をさらに実施し、
    前記第1投影面の色相は、前記第2投影面の色相と異なり、
    前記第2画像の色相と前記第1投影面の前記色相との差分は、前記第2画像の前記色相と前記第2投影面の前記色相との差分よりも小さく、
    前記第4画像の色相と前記第2投影面の前記色相との差分は、前記第4画像の前記色相と前記第1投影面の前記色相との差分よりも小さい請求項1〜7のいずれか1つに記載の画像処理装置。
  9. 請求項1〜8のいずれか1つに記載の画像処理装置と、
    前記第1変換画像を前記第1投影面に投影して表示する投影部と、
    を備えた画像表示装置。
  10. 前記第1投影面を撮影する撮影部をさらに備えた請求項9記載の画像表示装置。
  11. 前記第1色域は、第1色域部分と、第2色域部分と、を含み、
    前記処理部は、
    前記第1色域部分と、前記第2色域部分と、前記第3色域と、に基づいて、前記第1色域部分を第3色域部分に修正し、前記第2色域部分を第4色域部分に修正する色域修正処理をさらに実施し、
    前記第1色域設定処理は、前記第3色域部分と前記第4色域部分とに応じて、前記第2色域を設定し、
    前記第1色度変換処理は、前記第1画像の色度を変換して前記第2色域に含まれる色からなる前記第2画像を導出し、
    前記第1補正処理は、前記第3色域部分と前記第4色域部分とに基づいて、前記第2画像を補正して前記第1変換画像を導出する請求項4記載の画像処理装置。
JP2015160633A 2014-11-19 2015-08-17 画像処理装置及び画像表示装置 Pending JP2016105153A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/944,612 US9794450B2 (en) 2014-11-19 2015-11-18 Image processor, image display device, and image processing method for correcting input image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014234227 2014-11-19
JP2014234227 2014-11-19

Publications (1)

Publication Number Publication Date
JP2016105153A true JP2016105153A (ja) 2016-06-09

Family

ID=56102768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015160633A Pending JP2016105153A (ja) 2014-11-19 2015-08-17 画像処理装置及び画像表示装置

Country Status (1)

Country Link
JP (1) JP2016105153A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209229A (ja) * 2000-11-13 2002-07-26 Seiko Epson Corp 環境適応型の画像表示システム、画像処理方法、プログラムおよび情報記憶媒体
WO2003001499A1 (fr) * 2001-06-26 2003-01-03 Seiko Epson Corporation Systeme d'affichage d'images, projecteur, procede de traitement d'images et support d'enregistrement de donnees
US20130314550A1 (en) * 2010-11-24 2013-11-28 Echostar Ukraine L.L.C. Television receiver - projector compensating optical properties of projection surface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209229A (ja) * 2000-11-13 2002-07-26 Seiko Epson Corp 環境適応型の画像表示システム、画像処理方法、プログラムおよび情報記憶媒体
WO2003001499A1 (fr) * 2001-06-26 2003-01-03 Seiko Epson Corporation Systeme d'affichage d'images, projecteur, procede de traitement d'images et support d'enregistrement de donnees
US20130314550A1 (en) * 2010-11-24 2013-11-28 Echostar Ukraine L.L.C. Television receiver - projector compensating optical properties of projection surface

Similar Documents

Publication Publication Date Title
JP6663214B2 (ja) 表示方法および表示装置
US9936141B2 (en) Image processing apparatus for performing correction processing for effecting virtual light source and method executed by image processing apparatus
US9501842B2 (en) Image processing apparatus and image processing method with color correction of observation target
JP4666050B2 (ja) 色変換装置、画像出力装置及び色変換方法
US8417032B2 (en) Adjustment of image luminance values using combined histogram
US20150116536A1 (en) Image processing apparatus, image processing method, and program
KR101927968B1 (ko) 메타 데이터에 기초하여 영상을 디스플레이하는 방법 및 디바이스, 그에 따른 기록매체
US20090060326A1 (en) Image processing apparatus and method
US9794450B2 (en) Image processor, image display device, and image processing method for correcting input image
JP2003333611A (ja) プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム
KR20080015101A (ko) 색 변환 휘도 보정 방법 및 장치
KR101144265B1 (ko) 밝기 보상 변환 기능을 구비한 색 온도 변환 방법 및 장치
JP2015097350A (ja) 画像処理装置およびマルチプロジェクションシステム
US20150015597A1 (en) Image processing apparatus and method therefor
US7336822B2 (en) Enhanced color correction circuitry capable of employing negative RGB values
JP2018092007A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP2006270336A (ja) 表示装置および表示方法
JP2010217645A (ja) 画像表示装置の補正値作成方法、画像表示装置の補正値作成装置、及び画像表示装置の補正値作成プログラム
JP5156423B2 (ja) 色処理装置および色処理方法
JP6611543B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5664261B2 (ja) 画像処理装置、および画像処理プログラム
JP2020118783A (ja) 外光補正方法
JP2010217644A (ja) 画像表示装置の補正値作成方法、画像表示装置の補正値作成装置、及び画像表示装置の補正値作成プログラム
US20140314317A1 (en) Method and apparatus for converting gray level of color image
JP2007259472A (ja) プロジェクタの投射面色補正方法、プロジェクタの投射面色補正システムおよびプロジェクタの投射面色補正用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190612