JP2022015209A - 画像処理方法、画像処理プログラム、及び表示装置 - Google Patents
画像処理方法、画像処理プログラム、及び表示装置 Download PDFInfo
- Publication number
- JP2022015209A JP2022015209A JP2020117905A JP2020117905A JP2022015209A JP 2022015209 A JP2022015209 A JP 2022015209A JP 2020117905 A JP2020117905 A JP 2020117905A JP 2020117905 A JP2020117905 A JP 2020117905A JP 2022015209 A JP2022015209 A JP 2022015209A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- color
- pixel
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims abstract description 124
- 238000011156 evaluation Methods 0.000 claims abstract description 107
- 238000012545 processing Methods 0.000 claims abstract description 80
- 239000003086 colorant Substances 0.000 claims abstract description 30
- 238000005457 optimization Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 21
- 238000000034 method Methods 0.000 abstract description 58
- 230000006870 function Effects 0.000 description 58
- 230000005540 biological transmission Effects 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 14
- 238000004321 preservation Methods 0.000 description 14
- 208000006992 Color Vision Defects Diseases 0.000 description 9
- SOCTUWSJJQCPFX-UHFFFAOYSA-N dichromate(2-) Chemical compound [O-][Cr](=O)(=O)O[Cr]([O-])(=O)=O SOCTUWSJJQCPFX-UHFFFAOYSA-N 0.000 description 9
- 230000001953 sensory effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 201000007254 color blindness Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 208000036693 Color-vision disease Diseases 0.000 description 4
- 230000008094 contradictory effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000004456 color vision Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002763 pyramidal cell Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
【課題】従来の色覚障がい者用支援画像生成技術は、複数の特徴色それぞれについて変換後の色を求め、それを画像の全ての色に伝搬することが必要なため、一枚の画像を処理するのに多大な時間がかかるという問題がある。【解決手段】入力画像の画素の色を変換する画像処理方法であって、評価関数に基いて統一線形変換式を決定する統一線形変換式決定ステップと、前記決定した統一線形変換式を用いて前記入力画像の全ての画素の色を変換する色変換ステップと、を備える画像処理方法が提供される。【選択図】図５
Description
本発明は、画像処理方法、画像処理プログラム、及び表示装置に関する。
世界中の色覚障がいを持つ人口は約二億人で、男性はその九割以上を占める。日本では男性の２０人に１人、女性の５００人に１人が色覚障がいを有するとされている。人間の目の網膜にあるＬ錐体、Ｍ錐体、Ｓ錐体と呼ばれる三種類の錐体細胞がそれぞれ長波長，中波長，短波長の光にもっとも反応し、色の知覚を可能にしている。三種類のうち一種類が正常に機能しない場合、異常三色覚あるいは二色覚という。また、異常が発生する錐体細胞の種類によって、色覚障がいはＰｒｏｔａｎ（Ｌ錐体欠損）、Ｄｅｕｔａｎ（Ｍ錐体欠損）、Ｔｒｉｔａｎ（Ｓ錐体欠損）と分類される。色覚障がい者が知覚できる色の範囲は健常者より小さいため、色の違い（コントラスト）を判別する能力が低下する。そのため日常生活における不便も多い。
このような背景の下、画像処理分野において、色覚障がい者が視認し易い支援画像の生成が求められている。例えば、非特許文献１には、二色覚を持つ人が知覚できる色の範囲は三次元の色空間内にある二次元平面であると仮定し、三次元色空間内の色を二次元平面に投影することで障がいのシミュレーション画像を得る方法が開示されている。非特許文献２には、色覚障がい者にとって区別のつかない２色の色空間における距離が可能な限り離れるように変換することで色の違いを強調する方法が開示されている。しかし、障がい者が本来認識できる色を保存することが考慮されていないため、変換後の画像は障がい者に強い違和感を与える。非特許文献３には、赤緑色覚障がい者にとって青は認識できることを利用し、元画像の認識できない色に対して青成分を増やすことで周囲との差分を強調させる方法が開示されている。しかし、もともと青成分が高いところでは飽和となり，コントラストが失われる。特許文献１には、上述した問題を解決するために、本来見える色をできるだけ保ち、区別が困難な色の違いを強調する色変換技術が開示されている。
H. Brettel, F. Vienot, and J.D. Mollon, "Computerizedsimulation of color appearance for dichromats," JOSA A, vol. 14, no. 10,pp. 2647-2655, 1997.
G.M.Machado and M.M.Oliveira,"Real‐time temporal‐coherent color contrastenhancement for dichromats", Computer Graphics Forum,pp.933-942,2010.
M.F. Hassan, and R. Paramesran, "Naturalness preserving imagerecoloring method for people with red-green deficiency," SignalProcessing: Image Communication, vol. 57, pp. 126-133, 2017.
特許文献１に開示された色変換技術は、複数の特徴色それぞれについて変換後の色を求め、それを画像の全ての色に伝搬することが必要なため、一枚の画像を処理するのに多大な時間がかかるという問題がある。
本発明の一観点によれば、入力画像の画素の色を変換する画像処理方法であって、評価関数に基いて統一線形変換式を決定する統一線形変換式決定ステップと、前記決定した統一線形変換式を用いて前記入力画像の全ての画素の色を変換する色変換ステップと、を備える画像処理方法が提供される。
本発明に係る画像処理方法では、評価関数に基いた統一線形変換式により入力画像の全ての画素の色を変換するので、障がい者が本来見える色をできるだけ保ち、区別が困難な色の違いを強調する技術でありながら、高速処理を可能とするものである。
好ましくは、前記評価関数は、コントラスト強調の度合いを評価するコントラスト評価項と、 自然さを評価する自然さ評価項とを含むので、コントラスト強調と自然さという相反する指標のバランスをとった色変換が可能となる。
好ましくは、前記コントラスト評価項は、前記入力画像の任意の画素ペア間の距離と、当該任意の画素ペアを前記統一線形変換式により変換した変換後画素ペア間の距離との差が大きいほど評価が高くなり、前記自然さ評価項は、前記入力画像の任意の画素の色と当該画素を前記統一線形変換式により変換した変換後画素の色との差が少ないほど評価が高くなる。
好ましくは、前記統一線形変換式確定ステップは、前記評価関数に基いて前記統一線形変換式のパラメータを決定する最適化ステップを更に含む。
好ましくは、前記入力画像の表色系を、Ｌ＊ａ＊ｂ＊表色系に変換する表色系変換ステップを更に含む。
好ましくは、前記入力画像が動画の場合、前記評価関数は相関制約項を更に含み、前記相関制約項は、前記動画のフレーム内の画素と、その直前のフレーム内の関連画素との色の差に基いて計算される。
好ましくは、前記コントラスト評価項は、前記入力画像の任意の画素ペア間の距離と、当該任意の画素ペアを前記統一線形変換式により変換した変換後画素ペア間の距離との差が大きいほど評価が高くなり、前記自然さ評価項は、前記入力画像の任意の画素の色と当該画素を前記統一線形変換式により変換した変換後画素の色との差が少ないほど評価が高くなる。
好ましくは、前記統一線形変換式確定ステップは、前記評価関数に基いて前記統一線形変換式のパラメータを決定する最適化ステップを更に含む。
好ましくは、前記入力画像の表色系を、Ｌ＊ａ＊ｂ＊表色系に変換する表色系変換ステップを更に含む。
好ましくは、前記入力画像が動画の場合、前記評価関数は相関制約項を更に含み、前記相関制約項は、前記動画のフレーム内の画素と、その直前のフレーム内の関連画素との色の差に基いて計算される。
また、本発明の別の観点によれば、コンピューターに、評価関数に基いて統一線形変換式を決定する統一線形変換式決定ステップと、前記確定した統一線形変換式を用いて前記入力画像の全ての画素の色を変換する色変換ステップと、を実行させる画像処理プログラムが提供される。
本発明に係る画像処理プログラムでは、評価関数に基いた統一線形変換式により入力画像の全ての画素の色を変換するので、障がい者が本来見える色をできるだけ保ち、区別が困難な色の違いを強調する技術でありながら、高速処理を可能とするものである。
また、本発明の別の観点によれば、入力画像を出力する入力画像源と、評価関数に基いて統一線形変換式を決定する最適化処理部と、前記決定した統一線形変換式を用いて前記入力画像の全ての画素の色を変換した支援画像を生成する支援画像生成部と、前記支援画像を表示する表示部とを備える、画像処理装置が提供される。
本発明に係る画像処理装置では、評価関数に基いた統一線形変換式により入力画像の全ての画素の色を変換するので、障がい者が本来見える色をできるだけ保ち、区別が困難な色の違いを強調する技術でありながら、高速処理を可能とするものである。
以下、本発明の実施形態について図面を参照しながら詳細に説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴について独立して発明が成立する。また、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものを指しうる。
［１．原理］
［１．１ 色覚障がいシミュレーション技術］
代表的な色覚障がいシミュレーション技術として、非特許文献１の方法が知られている。本来、健常者が知覚できる色の範囲は三次元の空間となるが、非特許文献１の方法は、二色覚を持つ人が知覚できる色の範囲は三次元の色空間内にある二次元平面（以下二色覚平面ともいう）であると仮定し、三次元色空間内の色を二色覚平面に投影し、障がいのシミュレーション画像を得る方法である。
［１．１ 色覚障がいシミュレーション技術］
代表的な色覚障がいシミュレーション技術として、非特許文献１の方法が知られている。本来、健常者が知覚できる色の範囲は三次元の空間となるが、非特許文献１の方法は、二色覚を持つ人が知覚できる色の範囲は三次元の色空間内にある二次元平面（以下二色覚平面ともいう）であると仮定し、三次元色空間内の色を二色覚平面に投影し、障がいのシミュレーション画像を得る方法である。
一般的に、画像はＲＧＢ色空間で表されることが多い。ＲＧＢ色空間とは、赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）の３つの原色を混ぜて幅広い色を再現する加法混合の一種である。一方、明度を意味する次元Ｌ＊と補色次元のａ＊及びｂ＊を持ち、ＣＩＥＸＹＺ色空間の座標を非線形に圧縮したＬ＊ａ＊ｂ＊色空間も多く用いられる。なお、ａ＊は赤緑系の次元であり、ｂ＊は青黄色系の次元である。ＲＧＢ色空間とＬ＊ａ＊ｂ＊色空間の相互変換は公知の手法により簡単に実現できる。なお、本明細書、図面においては、Ｌ＊ａ＊ｂ＊色空間をＬａｂ色空間、各軸をＬ軸、ａ軸、ｂ軸のように＊を省略して記載することがある。
本実施形態では、入力画像Ｉ内の全ての画素に対して統一線形変換式を用いて色変換を行うことにより、色覚障がい者が視認し易い支援画像Ｒの生成を行う。そのために、まずは、「コントラスト強調」と「自然さ保存」の二つの項をもつ評価関数を用いて最適化を行うことにより、統一線形変換式のパラメータを決定する。そして得られた統一線形変換式を用いて色変換を行い、支援画像Ｒを得る。以下、上述した処理について詳述する。
図１Ａ及び図１ＢはＬ＊ａ＊ｂ＊色空間における二色覚平面πの例である（非特許文献［Kuhn, G. R., et al. (2008). "An efficient
naturalness-preserving image-recoloring method for dichromats." IEEE
transactions on visualization and computer graphics 14(6): 1747-1754.］参照）。図１ＡはＤｅｕｔａｎの場合であり、図１ＢはＰｒｏｔａｎの場合である。二色覚平面πとＬ－ｂ平面（Ｌ＊軸とｂ＊軸を含む平面）との角度θはそれぞれ、Ｄｅｕｔａｎ：θｄ＝－８．１１°、Ｐｒｏｔａｎ：θｐ＝－１１．４８°である。Ｔｒｉｔａｎについては省略したが同様に表すことができる。
naturalness-preserving image-recoloring method for dichromats." IEEE
transactions on visualization and computer graphics 14(6): 1747-1754.］参照）。図１ＡはＤｅｕｔａｎの場合であり、図１ＢはＰｒｏｔａｎの場合である。二色覚平面πとＬ－ｂ平面（Ｌ＊軸とｂ＊軸を含む平面）との角度θはそれぞれ、Ｄｅｕｔａｎ：θｄ＝－８．１１°、Ｐｒｏｔａｎ：θｐ＝－１１．４８°である。Ｔｒｉｔａｎについては省略したが同様に表すことができる。
［１．２ 処理手順］
［１．２．ａ Ｌａｂ色空間への変換］
まず最初に、入力画像Ｉ内の全ての画素をＲＧＢ色空間からＬａｂ色空間へ変換し画像ＩＬａｂを得る。ＩＬａｂ内の任意の画素をｐｉとする。
［１．２．ａ Ｌａｂ色空間への変換］
まず最初に、入力画像Ｉ内の全ての画素をＲＧＢ色空間からＬａｂ色空間へ変換し画像ＩＬａｂを得る。ＩＬａｂ内の任意の画素をｐｉとする。
［１．２．ｂ 回転］
次に、以後の計算を簡略化するため、画像ＩＬａｂ内の全ての画素をＬ軸を中心に角度θ回転させ、新な画像ＩｒＬａｂを得る。画像ＩｒＬａｂ内の任意の画素をｑｉとする（図２（ａ）参照）。ｐｉからｑｉへ変換する式は以下である
前述した二色覚平面πの回転後の二色覚平面をπ’とすると、二色覚平面π’はＬ－ｂ平面と重なる。従ってｑｉのａ＊成分を０にすることで、ｑｉを二色覚平面π’へ投影した画素ｑｉ－が得られる（図２（ｂ）参照）。
次に、以後の計算を簡略化するため、画像ＩＬａｂ内の全ての画素をＬ軸を中心に角度θ回転させ、新な画像ＩｒＬａｂを得る。画像ＩｒＬａｂ内の任意の画素をｑｉとする（図２（ａ）参照）。ｐｉからｑｉへ変換する式は以下である
前述した二色覚平面πの回転後の二色覚平面をπ’とすると、二色覚平面π’はＬ－ｂ平面と重なる。従ってｑｉのａ＊成分を０にすることで、ｑｉを二色覚平面π’へ投影した画素ｑｉ－が得られる（図２（ｂ）参照）。
［１．２．ｃ 統一線形変換式による色変換及び二色覚平面π’への投影］
次に、画像ＩｒＬａｂ内の任意の画素をｑｉに対し統一線形変換式を用いて色変換を行い、二色覚平面π’上の画素ｑｉ＋を得る（図２（ｃ）参照）。統一線形変換式を式（２）に示す。この統一線形変換式により、二色覚平面π’への投影も行っている。
二色覚平面π’はＬ－ｂ平面と重なっているので、Ｌ＊成分は保存され、ａ＊成分は０である。ｂ＊成分のみ式（２）によって変換すればよい。従って、色変換の計算が高速に実行できる。なお、式（２）において、ｂｉ＋は、角度θ回転した後の画素ｑｉのａ＊成分とｂ＊成分に対しパラメータｗ及び１－ｗをかけて足し合わせたものである。このパラメータｗの値は、「コントラスト強調」と「自然さ保存」の二つの項をもつ評価関数を用いて最適化を行うことにより決定する。具体的な決定方法は後述する。上記評価関数により最適化されたパラメータｗを用いて色変換を行うので、本来見える色をできるだけ保ち、また区別が困難な色の違いを強調する色変換を実現することができる。
次に、画像ＩｒＬａｂ内の任意の画素をｑｉに対し統一線形変換式を用いて色変換を行い、二色覚平面π’上の画素ｑｉ＋を得る（図２（ｃ）参照）。統一線形変換式を式（２）に示す。この統一線形変換式により、二色覚平面π’への投影も行っている。
二色覚平面π’はＬ－ｂ平面と重なっているので、Ｌ＊成分は保存され、ａ＊成分は０である。ｂ＊成分のみ式（２）によって変換すればよい。従って、色変換の計算が高速に実行できる。なお、式（２）において、ｂｉ＋は、角度θ回転した後の画素ｑｉのａ＊成分とｂ＊成分に対しパラメータｗ及び１－ｗをかけて足し合わせたものである。このパラメータｗの値は、「コントラスト強調」と「自然さ保存」の二つの項をもつ評価関数を用いて最適化を行うことにより決定する。具体的な決定方法は後述する。上記評価関数により最適化されたパラメータｗを用いて色変換を行うので、本来見える色をできるだけ保ち、また区別が困難な色の違いを強調する色変換を実現することができる。
［１．２．ｄ 逆回転及びＲＧＢ色空間への逆変換］
式（２）に示す統一線形変換式を用いて二色覚平面π’上に投影された全ての画素に対し色変換が終了した後、Ｌ＊軸を中心に角度-θ回転する（図２（ｄ）参照）ことにより、支援画像ＲＬａｂを得る。その後、支援画像ＲＬａｂ内の全ての画素をＬａｂ色空間からＲＧＢ色空間へ変換し，支援画像Ｒを得る。上述したように、入力画像Ｉの全ての画素に対し統一線形変換式を用いて変換するので、支援画像Ｒを高速に得ることができる。また、「コントラスト強調」と「自然さ保存」の二つの項をもつ評価関数を用いて統一線形変換式の最適化を行うため、本来見える色をできるだけ保ち、また区別が困難な色の違いを強調する色変換を実現することができる。
式（２）に示す統一線形変換式を用いて二色覚平面π’上に投影された全ての画素に対し色変換が終了した後、Ｌ＊軸を中心に角度-θ回転する（図２（ｄ）参照）ことにより、支援画像ＲＬａｂを得る。その後、支援画像ＲＬａｂ内の全ての画素をＬａｂ色空間からＲＧＢ色空間へ変換し，支援画像Ｒを得る。上述したように、入力画像Ｉの全ての画素に対し統一線形変換式を用いて変換するので、支援画像Ｒを高速に得ることができる。また、「コントラスト強調」と「自然さ保存」の二つの項をもつ評価関数を用いて統一線形変換式の最適化を行うため、本来見える色をできるだけ保ち、また区別が困難な色の違いを強調する色変換を実現することができる。
［１．３ 評価関数］
上述したように、式（２）のパラメータｗの値は「コントラスト強調」と「自然さ保存」の二つの項をもつ評価関数を用いて最適化を行うことにより決定する。以下に評価関数Ｅｓｔｉｌｌを示す。
ここで、Ｅｃｏｎｔが「コントラスト強調」の項（特許請求の範囲における「コントラスト評価項」の一例）であり、Ｅｎａｔが「自然さ保存」の項（特許請求の範囲における「自然さ評価項」の一例）である。βは両者のバランスをとるための係数である。評価関数を用いて最適化するとは、評価関数Ｅｓｔｉｌｌが最大となるパラメータｗと係数βを決定することである。後述するようにＥｃｏｎｔとＥｎａｔは、パラメータｗの関数となっている。また係数βは、障がいのタイプ及び入力画像Ｉに応じて「コントラスト強調」と「自然さ保存」という相反する指標のバランスをとるための係数である。パラメータｗと係数βの決定方法の例は後述する。
上述したように、式（２）のパラメータｗの値は「コントラスト強調」と「自然さ保存」の二つの項をもつ評価関数を用いて最適化を行うことにより決定する。以下に評価関数Ｅｓｔｉｌｌを示す。
ここで、Ｅｃｏｎｔが「コントラスト強調」の項（特許請求の範囲における「コントラスト評価項」の一例）であり、Ｅｎａｔが「自然さ保存」の項（特許請求の範囲における「自然さ評価項」の一例）である。βは両者のバランスをとるための係数である。評価関数を用いて最適化するとは、評価関数Ｅｓｔｉｌｌが最大となるパラメータｗと係数βを決定することである。後述するようにＥｃｏｎｔとＥｎａｔは、パラメータｗの関数となっている。また係数βは、障がいのタイプ及び入力画像Ｉに応じて「コントラスト強調」と「自然さ保存」という相反する指標のバランスをとるための係数である。パラメータｗと係数βの決定方法の例は後述する。
［１．３．１ コントラスト強調の項］
コントラスト強調の項Ｅｃｏｎｔは、画像ＩｒＬａｂ内の任意の画素ペア（ｑｉ，ｑｊ）の変換後の画素ペア（ｑｉ＋，ｑｊ＋）（特許請求の範囲における「変換後画素ペア」の一例）を用いて以下の式（４）のように定義される。
ここでδｉ，ｊは、色変換前画像である画像ＩＬａｂにおける画素ｐｉとｐｊの色の差（距離）である。画素ペア集合Ｐの決め方としては、任意の画素ｑｉに対して、画像から二つの画素を選んで、ｑｉとペアにする。うち一つは、ｑｉと隣接している画素で、もう一つは画像からランダムに選んだ画素である。
コントラスト強調の項Ｅｃｏｎｔは、画像ＩｒＬａｂ内の任意の画素ペア（ｑｉ，ｑｊ）の変換後の画素ペア（ｑｉ＋，ｑｊ＋）（特許請求の範囲における「変換後画素ペア」の一例）を用いて以下の式（４）のように定義される。
ここでδｉ，ｊは、色変換前画像である画像ＩＬａｂにおける画素ｐｉとｐｊの色の差（距離）である。画素ペア集合Ｐの決め方としては、任意の画素ｑｉに対して、画像から二つの画素を選んで、ｑｉとペアにする。うち一つは、ｑｉと隣接している画素で、もう一つは画像からランダムに選んだ画素である。
コントラスト強調の項Ｅｃｏｎｔ（式（４））は、入力画像Ｉを構成する２つの画素の全ての組合わせに対し、色変換後と色変換前の色の差（距離）の比を足し合わせたものに相当する。すなわちＥｃｏｎｔが大きいほど、画像全体として色変換後のコントラストが強くなっていることを示す。言い換えると、Ｅｃｏｎｔが大きいほど区別が困難な色の違いを強調していることになる。本実施形態では色変換後と色変換前の色の差に対し、対数ユークリッド距離（Ｌｏｇ－Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ）を用いることで，画像内の細かい変化も強調できるようにしている。なお、回転後の画像である画像ＩｒＬａｂからをδｉ，ｊを算出することも可能である。その場合は、ｐｉとｐｊのａ＊、ｂ＊成分をそれぞれｑｉとｑｊのａ＊、ｂ＊成分で置き換えればよい。
［１．３．２ 自然さ保存の項］
自然さ保存の項Ｅｎａｔは、任意の画素ｑｉの色変換後の画素ｑｉ＋（特許請求の範囲における「変換後画素」の一例）と、色変換前の投影画素ｑｉ－との差を全ての画素について評価したものであり、式（５）のように定義される。
ｑｉ＋とｑｉ－との差が少ないほどＥｎａｔが大きくなり、自然さが保存されていることを示している。
自然さ保存の項Ｅｎａｔは、任意の画素ｑｉの色変換後の画素ｑｉ＋（特許請求の範囲における「変換後画素」の一例）と、色変換前の投影画素ｑｉ－との差を全ての画素について評価したものであり、式（５）のように定義される。
ｑｉ＋とｑｉ－との差が少ないほどＥｎａｔが大きくなり、自然さが保存されていることを示している。
［１．３．２ 評価関数を用いたパラメータｗの最適化］
上述したように、評価関数を用いて最適化するとは、式（２）に示す評価関数Ｅｓｔｉｌｌの値が最大となるパラメータｗと係数βを決定することである。
係数βは自然さ保存とコントラスト強調のバランスを制御する係数である。自然さ保存とコントラスト強調は相反する項目であり係数βを調整することで障がい者ごとの障がい度及び好みに応じた支援画像Ｒを得ることができる。一般的に、障がいによるコントラスト損失が大きい程、コントラスト強調をより重視するのがよい。このβの候補値を自動的に提案する方法については後述する。
上述したように、評価関数を用いて最適化するとは、式（２）に示す評価関数Ｅｓｔｉｌｌの値が最大となるパラメータｗと係数βを決定することである。
係数βは自然さ保存とコントラスト強調のバランスを制御する係数である。自然さ保存とコントラスト強調は相反する項目であり係数βを調整することで障がい者ごとの障がい度及び好みに応じた支援画像Ｒを得ることができる。一般的に、障がいによるコントラスト損失が大きい程、コントラスト強調をより重視するのがよい。このβの候補値を自動的に提案する方法については後述する。
まず、ユーザーインターフェース等を活用して、または後述する自動提案の方法により、係数βを確定する。その後にパラメータｗの値を決定する。式（４）及び式（５）の計算にはｂｉ＋（またはｂｊ＋）が必要になるが、これらは式（２）によって計算される。つまり、ＥｃｏｎｔとＥｎａｔはパラメータｗの関数である。すなわち、評価関数Ｅｓｔｉｌｌが最大となるパラメータｗを決定するには評価関数Ｅｓｔｉｌｌをｗで微分した微分方程式を解けばよいことがわかる。ここでは微分法定式を解く代わりに、ｗの値の範囲［０，１］を０．１間隔で離散化した１１個のパラメタｗ （ｗ＝０，０．１，０．２，…，１．０）をそれぞれ式（２）に代入し，評価関数Ｅｓｔｉｌｌが最大となるパラメータｗの値を最適解とする（以下、離散探索法という）。この方法で求めたパラメータｗを用いて変換した支援画像Ｒと微分方程式を解いて求めた支援画像Ｒと比べたが、ほとんど差はなかった。離散探索法は微分方程式を解くのに比べて圧倒的に処理のスピードが速いという顕著な効果を有する。
［１．３．３ 係数βについて］
上述したように係数βを調整することにより好みの支援画像Ｒを得ることができる。ここではこのβの候補値を自動的に提案する方法について述べる。一般的に、障がいによるコントラスト損失が大きい程コントラスト強調をより重視する必要があるため、本発明ではコントラスト損失をもとにβを自動決定する方法を提案する。そこで、画像の絶対的なコントラストを評価する尺度として、公知のＡｖｅｒａｇｅ Ｇｒａｄｉｅｎｔ Ｎｏｒｍ（ＡＧＮ）を採用する。入力画像ＩのＡＧＮを式（６）のように定義する。
ここで、Ｇｈ（ｉ）とＧｖ（ｉ）は、入力画像Ｉの画素ｉについて、公知のＳｏｂｅｌフィルタをそれぞれ横方向と縦方向に適用した値である。すなわちＡＧＮ（Ｉ）は、入力画像Ｉの各画素の輝度値について隣の画素との輝度差を縦方向及び横方向について計算し、その絶対値和をとることに相当する。従ってＡＧＮの値が大きいほど、入力画像Ｉの絶対的なコントラストが強いと言える。
上述したように係数βを調整することにより好みの支援画像Ｒを得ることができる。ここではこのβの候補値を自動的に提案する方法について述べる。一般的に、障がいによるコントラスト損失が大きい程コントラスト強調をより重視する必要があるため、本発明ではコントラスト損失をもとにβを自動決定する方法を提案する。そこで、画像の絶対的なコントラストを評価する尺度として、公知のＡｖｅｒａｇｅ Ｇｒａｄｉｅｎｔ Ｎｏｒｍ（ＡＧＮ）を採用する。入力画像ＩのＡＧＮを式（６）のように定義する。
ここで、Ｇｈ（ｉ）とＧｖ（ｉ）は、入力画像Ｉの画素ｉについて、公知のＳｏｂｅｌフィルタをそれぞれ横方向と縦方向に適用した値である。すなわちＡＧＮ（Ｉ）は、入力画像Ｉの各画素の輝度値について隣の画素との輝度差を縦方向及び横方向について計算し、その絶対値和をとることに相当する。従ってＡＧＮの値が大きいほど、入力画像Ｉの絶対的なコントラストが強いと言える。
式（６）により、入力画像Ｉのコントラスト評価値（ＡＧＮ（Ｉ））が計算できたので、次に入力画像Ｉを障がいシミュレーション画像に変換した画像Ｉｃｖｄのコントラスト評価値（ＡＧＮ（Ｉｃｖｄ））を求め、両者のコントラスト評価値の差（コントラスト損失）を評価し、係数βを決定する。ここで、障がいシミュレーション画像Ｉｃｖｄについては、非特許文献１に記載の方法で変換した画像を採用する。両者のコントラスト差を係数βに対応させるために、式（７）を定義する。
ここで、ｋはコントラスト評価値にどれだけ敏感に反応するかを調整するための係数である。これは画像の性質に依存せず決定できるため，ユーザーにとって調整しやすい。ここでは一例としてｋ＝１０として計算を行ったがこの値に限定されるものではない。適切なβが求まる値にすればよい。式（７）によると、入力画像Ｉと障がいシミュレーション画像Ｉｃｖｄのコントラスト評価値の差が大きいほどβは小さくなり、自然さ保存よりもコントラスト強調が重視されることがわかる。
ここで、ｋはコントラスト評価値にどれだけ敏感に反応するかを調整するための係数である。これは画像の性質に依存せず決定できるため，ユーザーにとって調整しやすい。ここでは一例としてｋ＝１０として計算を行ったがこの値に限定されるものではない。適切なβが求まる値にすればよい。式（７）によると、入力画像Ｉと障がいシミュレーション画像Ｉｃｖｄのコントラスト評価値の差が大きいほどβは小さくなり、自然さ保存よりもコントラスト強調が重視されることがわかる。
上述した処理により、パラメータｗ及び係数βが確定する。すなわち統一線形変換式が確定するので、入力画像Ｉに対応する支援画像Ｒを得ることができる。入力画像Ｉの全ての画素に対し統一線形変換式を適用するので、計算を高速に実行することができる。更に、評価関数により最適な統一線形変換式を決定する際にも離散探索法により、計算を高速で実行することができる。また、統一線形変換式を決定する際は、「コントラスト強調」と「自然さ保存」の二つの項をもつ評価関数を用いるので、本来見える色をできるだけ保ち、また区別が困難な色の違いを強調する色変換を実現することができる。
［１．４ 動画への適用について］
これまで静止画について、支援画像Ｒを求める方法を説明してきた。この方法は動画に対しても有効である。一般的な動画は１秒間に３０フレーム（３０ｆｐｓ）の静止画を連続的に表示している。すなわち各フレームを構成する静止画に対し、基本的には上述した方法を適用し、逐次各フレーム毎に色変換を行えばよい。ただし、各フレーム間の時間的連続性を保つ必要があるという動画特有の特徴を加味することにより、より自然な支援動画ＲＶを作成することができる。以下支援動画ＲＶの作成方法の原理について説明する。
これまで静止画について、支援画像Ｒを求める方法を説明してきた。この方法は動画に対しても有効である。一般的な動画は１秒間に３０フレーム（３０ｆｐｓ）の静止画を連続的に表示している。すなわち各フレームを構成する静止画に対し、基本的には上述した方法を適用し、逐次各フレーム毎に色変換を行えばよい。ただし、各フレーム間の時間的連続性を保つ必要があるという動画特有の特徴を加味することにより、より自然な支援動画ＲＶを作成することができる。以下支援動画ＲＶの作成方法の原理について説明する。
Ｍ個のフレームから構成されている入力動画ＩＶ｛ＩＶｔ｜ｔ＝１，・・・，Ｍ｝において、同一のオブジェクトが連続する複数のフレームに含まれる場合、前後のフレームにおいて、同一オブジェクトの色は時間の経過や位置の変化によっては変化しない方が自然である。すなわち、前後のフレームにおいて同一オブジェクトを表す画素の色を変化させない必要がある。そのために動画に対応した評価関数には、関連性を持つ画素間の相関制約Ｅｔｅｍｐを加えることとした。なおここでは、連続したフレーム間においてオブジェクト（画素）の動きを特定するために、公知のオプティカルフロー技術を用いている。
図３にオプティカルフローの計算例を示す。（ａ）は時刻ｔ－１のフレーム画像、（ｂ）は時刻ｔのフレーム画像の例である。（ｃ）に示す線が両図間のオプティカルフローのベクトルである。ベクトルの長さは前後フレームにおける画像の移動量を表している。オプティカルフローはすべての画素に対して動きベクトルを算出する。
［１．４．１ 動画の評価関数について］
オプティカルフローにより時刻ｔの画素ｐｔ，ｉと関連付けされている時刻ｔ－１の画素をｐ＊ｔ－１，ｉとする。オブジェクトの色は時間の経過や位置の変化によっては変化しないと仮定すると，二つの画素間に関連性があるかどうかは色の差で判断することが可能である。なお、直前のフレームと関連性が持たない画素も存在するが、それらの画素に対する相関制約は不要である。画素ｐｔ，ｉに対する相関制約の有無のマスクをｚｔ，ｉとすると、ｚｔ，ｉは下記の式で計算される。
ここで、Ｔは関連性の有無を判断するための色の差の閾値であり、縦二重線で囲まれた部分はベクトルのＬ２ノルムである。すなわち、関連画素のフレーム間の色の差が少ない場合、ｚｔ，ｉ＝１となり相関制約のマスク有となる。そして相関制約Ｅｔｅｍｐ（特許請求の範囲における「相関制約項」の一例）は以下の式で計算される。
上述したように、前後のフレームにおいて色を変化させたくない画素については，色変換を行った後もできるだけ変化させない。式（９）をみればわかるように、フレーム間で色の差が小さい関連画素の数が多いほどマスクｚｔ，ｉが１となる画素が多くなるので、Ｅｔｅｍｐは小さくなり０に近づく。
オプティカルフローにより時刻ｔの画素ｐｔ，ｉと関連付けされている時刻ｔ－１の画素をｐ＊ｔ－１，ｉとする。オブジェクトの色は時間の経過や位置の変化によっては変化しないと仮定すると，二つの画素間に関連性があるかどうかは色の差で判断することが可能である。なお、直前のフレームと関連性が持たない画素も存在するが、それらの画素に対する相関制約は不要である。画素ｐｔ，ｉに対する相関制約の有無のマスクをｚｔ，ｉとすると、ｚｔ，ｉは下記の式で計算される。
ここで、Ｔは関連性の有無を判断するための色の差の閾値であり、縦二重線で囲まれた部分はベクトルのＬ２ノルムである。すなわち、関連画素のフレーム間の色の差が少ない場合、ｚｔ，ｉ＝１となり相関制約のマスク有となる。そして相関制約Ｅｔｅｍｐ（特許請求の範囲における「相関制約項」の一例）は以下の式で計算される。
上述したように、前後のフレームにおいて色を変化させたくない画素については，色変換を行った後もできるだけ変化させない。式（９）をみればわかるように、フレーム間で色の差が小さい関連画素の数が多いほどマスクｚｔ，ｉが１となる画素が多くなるので、Ｅｔｅｍｐは小さくなり０に近づく。
式（９）の相関制約Ｅｔｅｍｐを考慮した動画用評価関数Ｅｖｉｄｅｏを以下に示す。
動画の色変換における最適化とは、式（１０）に示す動画用評価関数Ｅｖｉｄｅｏを最大にするパラメータｗを求めることである。Ｅｔｅｍｐについては、式（８）及び式（９）から、ｚｔ，ｉ＝０となる画素は式（９）のｅｘｐ項が固定値”１”となるのでパラメータｗには無関係である。ｚｔ，ｉ＝１となる画素では、｜ｑ＋ｔ、ｉ―ｑ＊ｔ－１，ｉ｜の項、すなわち前フレームと後フレームとで関連画素の色の変化が少ないほど式（９）のｅｘｐ項が１に近づくので相関制約Ｅｔｅｍｐが大きな値をとることがわかる。つまり、相関制約Ｅｔｅｍｐが大きな値をとるパラメータｗを求めることで、前フレームと後フレームとで関連画素の色の変化が少なくなる。
ここで、係数βは、入力動画ＩＶに応じて「コントラスト強調」と「自然さ保存」という相反する指標のバランスをとるための係数であり、係数γは相関制約とのバランスをとるための係数である。なお、動画の最初のフレーム画像の変換のみ、相関制約Ｅｔｅｍｐを０とした、または、係数γを０とした評価関数Ｅｖｉｄｅｏを用いる。
動画の色変換における最適化とは、式（１０）に示す動画用評価関数Ｅｖｉｄｅｏを最大にするパラメータｗを求めることである。Ｅｔｅｍｐについては、式（８）及び式（９）から、ｚｔ，ｉ＝０となる画素は式（９）のｅｘｐ項が固定値”１”となるのでパラメータｗには無関係である。ｚｔ，ｉ＝１となる画素では、｜ｑ＋ｔ、ｉ―ｑ＊ｔ－１，ｉ｜の項、すなわち前フレームと後フレームとで関連画素の色の変化が少ないほど式（９）のｅｘｐ項が１に近づくので相関制約Ｅｔｅｍｐが大きな値をとることがわかる。つまり、相関制約Ｅｔｅｍｐが大きな値をとるパラメータｗを求めることで、前フレームと後フレームとで関連画素の色の変化が少なくなる。
ここで、係数βは、入力動画ＩＶに応じて「コントラスト強調」と「自然さ保存」という相反する指標のバランスをとるための係数であり、係数γは相関制約とのバランスをとるための係数である。なお、動画の最初のフレーム画像の変換のみ、相関制約Ｅｔｅｍｐを０とした、または、係数γを０とした評価関数Ｅｖｉｄｅｏを用いる。
［２．第一実施形態］
図４は、本発明の一実施形態に係る表示装置１のブロック図である。表示装置１は、静止画である入力画像Ｉの支援画像Ｒを表示する装置であり、入力画像源２と、画像処理部３と、表示部４と、入力部５とを備える。
図４は、本発明の一実施形態に係る表示装置１のブロック図である。表示装置１は、静止画である入力画像Ｉの支援画像Ｒを表示する装置であり、入力画像源２と、画像処理部３と、表示部４と、入力部５とを備える。
入力画像源２は支援画像Ｒの元となる入力画像Ｉを出力し、表示装置１の画像処理部３における送受信部３３（詳細は後述）に送信する。入力画像源２は、例えば、撮像装置（カメラ等）のように外界の状況を画像化するものでもよいし、メモリや光学ディスク等に記録された画像を再生する再生装置であってもよい。また、放送電波やインターネットなどから静止画や画像を取得する装置でもよい。この入力画像は、２次元の画素の集合体であり、様々な公知のフォーマットでコーディングされていてかまわない。また、図４では入力画像源２が表示装置１に含まれるように図示されているが、これに限らず入力画像源２が表示装置１とは別体の、一般的なコンピュータや携帯型端末、再生装置であってもよい。
画像処理部３は、入力画像源２により入力された入力画像Ｉに対して所定の画像処理を実行する。画像処理部３は、制御部３１と、記憶部３２と、送受信部３３と、Ｌａｂ変換部３４と、最適化処理部３７と、回転部３８、支援画像生成部３９とを備え、これらが通信バス３００を介して接続されている。
制御部３１は、表示装置１及び画像処理部３に関連する全体動作の処理・制御を行う。制御部３１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成されている。制御部３１は、記憶部３２に記憶された所定のプログラムを読み出すことによって、画像処理部３ないしは表示装置１に係る種々の機能を実現する。例えば、所定のプログラムを読み出して、出力画像を視覚障がい者のための支援画像に切り替えるか否かのグラフィカルユーザーインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）に係る画面を表示部４に表示させることが含まれる。なお、図４においては、単一の制御部３１として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３１を有するように実施してもよい。またそれらの組合せであってもよい。
記憶部３２は、制御部３１が実行する種々のプログラム等を記憶する。これは、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）またはソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等である。また記憶部３２は、プログラムの演算に係る一時的に必要な情報（引数、配列等）、及び、画像処理部３の各構成要素が実行する画像処理における一時的な保持データや各構成要素間の引き渡しデータ等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）も含んでいる。
送受信部３３は、画像処理部３と、画像処理部３以外の構成要素（表示装置１の外部の機器も含む）との通信のためのユニットである。送受信部３３は、入力画像源２より入力画像Ｉの画像データを受信する。画像データがコーディングされている場合、デコードを行う。また、送受信部３３は、画像処理した結果の出力画像を表示部４に送信する。また、送受信部３３は、入力部５から入力された所定の指令信号を受信し、制御部３１へ出力する。なお、送受信部３３による画像処理部３の外部との通信は、図示しないバスを介して実行してもよいし、有線ＬＡＮネットワーク通信、無線ＬＡＮネットワーク通信、近距離無線通信等の適切な通信規格により実行してもよい。
Ｌａｂ変換部３４は、入力画像源２が出力する入力画像Ｉを送受信部３３を経由して取得し、入力画像Ｉ内のすべての画素をＲＧＢ色空間からＬａｂ色空間へ変換し画像ＩＬａｂを出力する。回転部３８は、式（１）に基いて、画像ＩＬａｂ内のすべての画素をＬ軸を中心に角度θ回転させ、新たな画像ＩｒＬａｂを出力する（図２（ａ）参照）。最適化処理部３７は、式（３）に示す評価関数Ｅｓｔｉｌｌを用いて最適化を行うことにより、統一線形変換式（式（２））を決定する。支援画像生成部３９は、統一線形変換式を用いて画像ＩｒＬａｂ上の全ての画素に対し色変換を行い、二色覚平面π’に投影する。色変換を行った後、回転部３８は二色覚平面π’上の画素を角度－θ回転を行う（図２（ｄ）参照）。最後にＬａｂ変換部３４により、Ｌａｂ色空間からＲＧＢ色空間へ変換し、支援画像Ｒを出力する。送受信部３３は、支援画像Ｒを表示部４へ出力する。
表示部４は、画像処理部３によって画像処理された画像データが入力されると、各ピクセルデータ（各ピクセルが有する輝度等の情報）に基づいてこれを映像として表示する媒体であり、例えばＬＣＤモニタ、ＣＲＴモニタ、有機ＥＬモニタ、プロジェクター、ヘッドマウントディスプレー等であってよい。具体的には、画像処理部３における支援画像生成部３９から出力された支援画像Ｒが通信バス３００及び送受信部３３を介して表示部４に送信され、表示部４が当該支援画像Ｒを表示する。なお、図４に示されるように表示装置１として画像処理部３と表示部４とが一体的に実施されてもよいが別体であってもよい。
入力部５は、例えば、表示装置１自体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部５は、タッチパネルとして実装されうる。或いは、スイッチボタン、マウス、キーボード等のユーザーインターフェースを採用してもよい。表示装置１は入力部５を介して、操作者の指示（コマンド）を受け付ける。当該指示は、通信バス３００を介して制御部３１に転送され、制御部３１が必要に応じて所定の制御や演算を実行しうる。当該指示の一例として、操作者は、入力部５を介して、表示部４に表示させる画像を支援画像とするか否かを選択することができる。また、支援画像を生成する際のパラメータを指定することもできる。
図５は、第一実施形態の画像処理部３の色変換処理を表すフローチャートである。
まず、Ｌａｂ変換部３４が入力画像源２から取得した入力画像Ｉの全ての画素をＲＧＢ色空間からＬａｂ色空間へ変換する（Ｓ１００）。Ｓ１００ステップが特許請求の範囲における「表色系変換ステップ」の一例である。次に、回転部３８が全ての画素をＬ軸を中心に角度θ回転する（Ｓ１０５）。次に、最適化処理部３７が、式（３）に示す評価関数Ｅｓｔｉｌｌを用いて式（２）に示す統一線形変換式を決定する（Ｓ１１５）。Ｓ１１５ステップが特許請求の範囲における「統一線形変換式決定ステップ」の一例である。図６にこの統一線形変換式の決定処理のフローチャートを示す。その詳細は後述する。次に、支援画像生成部３９がＳ１１５ステップにて決定した統一線形変換式を用いて全ての画素の色を変換し、二色覚平面π’へ投影する（Ｓ１２０）。Ｓ１２０ステップが特許請求の範囲における「色変換ステップ」の一例である。次に、回転部３８が全ての画素をＬ軸を中心に角度θ逆回転する（Ｓ１２５）。最後に、Ｌａｂ変換部３４が全ての画素をＬａｂ色空間からＲＧＢ色空間へ変換して支援画像Ｒを得る（Ｓ１３０）。なお、「色変換ステップ」はＳ１２５ステップ、Ｓ１３０ステップを含んでも良い。
まず、Ｌａｂ変換部３４が入力画像源２から取得した入力画像Ｉの全ての画素をＲＧＢ色空間からＬａｂ色空間へ変換する（Ｓ１００）。Ｓ１００ステップが特許請求の範囲における「表色系変換ステップ」の一例である。次に、回転部３８が全ての画素をＬ軸を中心に角度θ回転する（Ｓ１０５）。次に、最適化処理部３７が、式（３）に示す評価関数Ｅｓｔｉｌｌを用いて式（２）に示す統一線形変換式を決定する（Ｓ１１５）。Ｓ１１５ステップが特許請求の範囲における「統一線形変換式決定ステップ」の一例である。図６にこの統一線形変換式の決定処理のフローチャートを示す。その詳細は後述する。次に、支援画像生成部３９がＳ１１５ステップにて決定した統一線形変換式を用いて全ての画素の色を変換し、二色覚平面π’へ投影する（Ｓ１２０）。Ｓ１２０ステップが特許請求の範囲における「色変換ステップ」の一例である。次に、回転部３８が全ての画素をＬ軸を中心に角度θ逆回転する（Ｓ１２５）。最後に、Ｌａｂ変換部３４が全ての画素をＬａｂ色空間からＲＧＢ色空間へ変換して支援画像Ｒを得る（Ｓ１３０）。なお、「色変換ステップ」はＳ１２５ステップ、Ｓ１３０ステップを含んでも良い。
図６は最適化処理部３７がＳ１１０にて実行する統一線形変換式の決定処理のフローチャートである。まず、係数βを決定する（Ｓ２００）。係数βを決定するには式（６）及び式（７）により自動的に求めてもよいし、本実施形態の表示装置１のユーザーがあらかじめ入力しておいてもかまわない。ユーザーは支援画像Ｒを見てから係数βの値を再設定することにより支援画像Ｒの画質を再調整することもできる。Ｓ２０５、Ｓ２１０、Ｓ２１５、Ｓ２２０の一連の処理は、評価関数Ｅｓｔｉｌｌを最大にするパラメータｗを求めるための処理（離散探索法。特許請求の範囲における「最適化ステップ」の一例。）である。パラメータｗの値を、０から１まで０．１刻みで式（２）に代入し色変換を行い評価関数Ｅｓｔｉｌｌを計算する。次に、順次計算した評価関数Ｅｓｔｉｌｌの値を比較し、評価関数Ｅｓｔｉｌｌが最大となるパラメータｗの値を決定する（Ｓ２３０）。最後に、Ｓ２００で決定した係数βとＳ２３０で決定したパラメータｗにより統一線形変換式を決定する（Ｓ２３５）。
本第一実施形態によれば、入力画像Ｉの全ての画素に対し、統一線形変換式を適用するので、計算を高速に実行することができる。更に、評価関数により最適な統一線形変換式を決定する際にも離散探索法を用いることにより、計算を高速で実行することができる。また、統一線形変換式を決定する際は、「コントラスト強調」と「自然さ保存」の二つの項をもつ評価関数を用いるので、本来見える色をできるだけ保ち、また区別が困難な色の違いを強調する色変換を実現することができる。
［３．第二実施形態］
図７は第二実施形態に係る表示装置１０のブロック図である。第一実施形態が静止画の色変換により支援画像を得るのに対し、第二実施形態は動画の色変換により支援動画を得る。なお、以下では、第二実施形態に係る表示装置１０における第一実施形態に係る表示装置１と同様の部分については同一の符号を付してある。また、その説明を省略することがある。
図７は第二実施形態に係る表示装置１０のブロック図である。第一実施形態が静止画の色変換により支援画像を得るのに対し、第二実施形態は動画の色変換により支援動画を得る。なお、以下では、第二実施形態に係る表示装置１０における第一実施形態に係る表示装置１と同様の部分については同一の符号を付してある。また、その説明を省略することがある。
表示装置１０は、動画である入力動画ＩＶの支援動画ＲＶを表示する装置であり、入力画像源２０と、画像処理部３０と、表示部４と、入力部５とを備える。入力画像源２０は支援動画ＲＶの元となる入力動画ＩＶを出力し、表示装置１０の画像処理部３０における送受信部３３０（詳細は後述）に送信する。入力画像源２０は、例えば、撮像装置（カメラ等）のように外界の状況を動画化するものでもよいし、メモリや光学ディスク等に記録された動画を再生する再生装置であってもよい。また、放送電波やインターネットなどから動画を取得する装置でもよい。この入力動画ＩＶは複数のフレーム画像（２次元の画素の集合体であり、例えばＲＧＢ色空間で表されている）で構成されている。入力動画ＩＶは様々な公知のフォーマットでコーディングされていてかまわない。また、図７では入力画像源２０が表示装置１に含まれるように図示されているが、これに限らず入力画像源２０が表示装置１０とは別体の、一般的なコンピュータや携帯型端末であってもよい。
画像処理部３０は、入力画像源２０により入力された入力動画ＩＶに対して所定の画像処理を実行する。画像処理部３０は、制御部３１０と、記憶部３２０と、送受信部３３０と、Ｌａｂ変換部３４と、最適化処理部３７と、回転部３８、支援画像生成部３９と、オプティカルフロー計算部３５０とを備え、これらが通信バス３００を介して接続されている。
制御部３１０は、表示装置１０及び画像処理部３０に関連する全体動作の処理・制御を行う。制御部３１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成されている。制御部３１０は、記憶部３２０に記憶された所定のプログラムを読み出すことによって、画像処理部３０ないしは表示装置１０に係る種々の機能を実現する。例えば、所定のプログラムを読み出して、出力動画を視覚障がい者のための支援動画に切り替えるか否かのグラフィカルユーザーインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）に係る画面を表示部４に表示させることが含まれる。なお、図７においては、単一の制御部３１０として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３１０を有するように実施してもよい。またそれらの組合せであってもよい。
記憶部３２０は、制御部３１０が実行する種々のプログラム等を記憶する。これは、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）またはソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等である。また記憶部３２０は、プログラムの演算に係る一時的に必要な情報（引数、配列等）、及び、画像処理部３０の各構成要素が実行する画像処理における一時的な保持データや各構成要素間の引き渡しデータ等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）も含んでいる。このＲＡＭには入力動画ＩＶのフレーム画像が保存され、以下で詳述する各構成要素の画像処理に使用される。また、支援動画ＲＶのフレーム画像も保存される。なお、入力動画ＩＶまたは支援動画ＲＶのフレーム画像は、ＨＤＤやＳＳＤなどに保存されてもかまわない。
送受信部３３０は、画像処理部３０と、画像処理部３０以外の構成要素（表示装置１０の外部の機器も含む）との通信のためのユニットである。送受信部３３０は、入力画像源２０より入力動画ＩＶを受信し、当該入力動画ＩＶのフレーム画像を画像処理部３０の各構成要素からの要求に応じて出力する。その際必要に応じて、フレーム画像の圧縮等を解除し、色空間をＲＧＢ色空間に変換して出力する。また、送受信部３３０は、画像処理した結果のフレーム画像を出力動画ＲＭのフレーム画像として表示部４に送信する。また、送受信部３３０は、入力部５から入力された所定の指令信号を受信し、制御部３１０へ出力する。なお、送受信部３３０による画像処理部３０の外部との通信は、図示しないバスを介して実行してもよいし、有線ＬＡＮネットワーク通信、無線ＬＡＮネットワーク通信、近距離無線通信等の適切な通信規格により実行してもよい。
Ｌａｂ変換部３４は、送受信部３３０が出力する入力動画ＩＶのフレーム画像を取得し、当該フレーム画像内のすべての画素をＲＧＢ色空間からＬａｂ色空間へ変換しフレーム画像ＩＬａｂを出力する。回転部３８は、式（１）に基いて、フレーム画像ＩＬａｂ内のすべての画素をＬ軸を中心に角度θ回転させ、新たな画像ＩｒＬａｂを出力する（図２（ａ）参照）。オプティカルフロー計算部３５０は、時刻ｔのフレーム画像の画素ｐｔ，ｉと関連付けされている時刻ｔ－１の画素ｐ＊ｔ－１，ｉとの間の移動ベクトル（オプティカルフロー）を計算し、マスクｚｔ，ｉを求める。最適化処理部３７は、式（１０）に示す評価関数Ｅｖｉｄｅｏを用いて最適化を行うことにより、式（２）に示す統一線形変換式を決定する。なお、動画の最初のフレーム画像の場合は、式（１０）の係数γ、または、相関制約Ｅｔｅｍｐを０とした評価関数Ｅｖｉｄｅｏを用いる。支援画像生成部３９は、統一線形変換式を用いて全ての画素に対し色変換を行い、二色覚平面π’上に投影する。色変換を行った後、回転部３８は二色覚平面π’上の画素を角度－θ回転を行う（図２（ｄ）参照）。最後にＬａｂ変換部３４により、Ｌａｂ色空間からＲＧＢ色空間へ変換し、支援動画ＲＶのフレーム画像を出力する。表示部４は、送受信部３３０を経由して取得した支援動画ＲＶを表示する。なお、上述した一連のフレーム画像の処理は、一般的な動画のフレームレートである３０ｆｐｓのタイミングに合わせて実行すれば、支援動画ＲＶは自然な動画として表示装置４に表示される。または、上述した一連のフレーム画像の処理をフレームレートとは非同期で実行し、全てまたは一部のフレーム画像を記憶部３２０に保存した後、順次送受信部３３０を介して表示部４に表示してもよい。
表示部４は、画像処理部３０によって画像処理された画像データが入力されると、各ピクセルデータ（各ピクセルが有する輝度等の情報）に基づいてこれを映像として表示する媒体であり、例えばＬＣＤモニタ、ＣＲＴモニタ、有機ＥＬモニタ、プロジェクター、ヘッドマウントディスプレー等であってよい。具体的には、画像処理部３０における支援画像生成部３９から出力された支援動画が通信バス３００及び送受信部３３０を介して表示部４に送信され、表示部４が当該支援動画を表示する。なお、図７に示されるように表示装置１０として画像処理部３０と表示部４とが一体的に実装されてもよいが別体であってもよい。
入力部５は、例えば、表示装置１０自体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部５は、タッチパネルとして実装されうる。或いは、スイッチボタン、マウス、キーボード等のユーザーインターフェースを採用してもよい。入力部５を介して、操作者の指示（コマンド）を受け付ける。当該指示は、通信バス３００を介して制御部３１０に転送され、制御部３１０が必要に応じて所定の制御や演算を実行しうる。当該指示の一例として、操作者は、入力部５を介して、表示部４に表示させる動画を支援動画とするか否かを選択することができる。また、支援動画を生成する際のパラメータを指定することもできる。
図８は、第二実施形態の画像処理部３０の動画処理を表すフローチャートである。まず、送受信部３３０から入力動画ＩＶの最初のフレーム画像を取得する（Ｓ５００）。次に画像処理部３０が取得したフレーム画像に動画用色変換処理（詳細については後述する）を実行し、支援動画ＲＶとしての色変換後のフレーム画像を得る（Ｓ５０５）。次に当該色変換後のフレーム画像を表示装置に出力する（Ｓ５１０）。次に当該フレームが最後のフレームかどうかを判断し（Ｓ５１５）、最後のフレームであれば処理を終了する。最後のフレームでなければ次のフレーム画像を取得し、Ｓ５０５の処理を実行する（Ｓ５２０）。なお、一連の処理は、一般的な動画のフレームレートである３０ｆｐｓのタイミングに合わせて実行されてもよいし、フレームレートとは非同期に実行されてもよい。
図９は、第二実施形態の画像処理部３０の動画用色変換処理を表すフローチャートである。 まず、Ｌａｂ変換部３４が、取得した入力動画ＩＶのフレーム画像の全ての画素をＲＧＢ色空間からＬａｂ色空間へ変換する（Ｓ６００）。次に、回転部３８が全ての画素をＬ軸を中心に角度θ回転する（Ｓ６０５）。次に、オプティカルフロー計算部３５０が、現在のフレームと直前のフレーム間の関連画素に対するオプティカルフローを計算しマスクｚｔ，ｉを求める（Ｓ６１５）。次に、最適化処理部３７が、式（３）に示す評価関数Ｅｖｉｄｅｏを用いて式（２）に示す動画用統一線形変換式を決定する（Ｓ６２０）。Ｓ６２０ステップが特許請求の範囲における「統一線形変換式決定ステップ」の一例である。図１０にこの動画用統一線形変換式の決定処理のフローチャートを示す。その詳細は後述する。次に、支援画像生成部３９がＳ６２０ステップにて決定した動画用統一線形変換式を用いて全ての画素の色を変換し、二色覚平面π’へ投影する（Ｓ６２５）。Ｓ６２５ステップが特許請求の範囲における「色変換ステップ」の一例である。次に、回転部３８が全ての画素をＬ軸を中心に角度θ逆回転する（Ｓ６３０）。最後に、Ｌａｂ変換部３４が全ての画素をＬａｂ色空間からＲＧＢ色空間へ変換して支援画像ＲＶのフレーム画像を得る（Ｓ６３５）。なお、「色変換ステップ」はＳ６３０ステップ、Ｓ６３５ステップを含んでも良い。
図１０は最適化処理部３７がＳ６２０ステップにて実行する動画用統一線形変換式の決定処理のフローチャートである。まず、係数βとγを決定する（Ｓ７００）。係数βを決定するには式（６）及び式（７）により自動的に求めてもよいし、本実施形態の表示装置１０のユーザーがあらかじめ入力しておいてもかまわない。ユーザーは支援動画ＲＶを見てから係数βとγの値を再設定することにより支援画像ＲＶの画質を再調整することもできる。Ｓ７０５、Ｓ７１０、Ｓ７１５、Ｓ７２０の一連の各ステップの処理は、評価関数Ｅｖｉｄｅｏを最大にするパラメータｗを求めるための処理である。パラメータｗの値を、０から１まで０．１刻みで式（２）に代入し色変換を行い評価関数Ｅｖｉｄｅｏを計算する（離散探索法）。次に、順次計算した評価関数Ｅｖｉｄｅｏの値を比較し、評価関数Ｅｖｉｄｅｏが最大となるパラメータｗの値を決定する（Ｓ７３０）。なお、動画の最初のフレーム画像の変換は、係数γ、または、相関制約Ｅｔｅｍｐを０とした評価関数Ｅｖｉｄｅｏを用いる。最後に、Ｓ７００で決定した係数β、γとＳ７３０で決定したパラメータｗにより動画用統一線形変換式を決定する（Ｓ７３５）。
本第二実施形態によれば、入力動画ＩＶのフレーム画像の全ての画素に対し、動画用統一線形変換式を適用するので、計算を高速に実行することができる。更に、動画用評価関数により最適な動画用統一線形変換式を決定する際にも離散探索法を用いることにより、計算を高速で実行することができる。また、動画用統一線形変換式を決定する際は、「コントラスト強調」と、「自然さ保存」と、「相関制約」の三つの項をもつ動画用評価関数を用いるので、本来見える色をできるだけ保ち、また区別が困難な色の違いを強調でき、かつフレーム間のつながりに違和感のない自然な支援動画を実現することができる。
［４．評価］
［４．１ 官能評価］
本発明の色変換の官能評価を実施した。非特許文献２、非特許文献３及び特許文献１に記載の方法で色変換した支援画像と、本発明の方法で色変換した支援画像を、色覚障がいを持つ被験者７人（Ｐｒｏｔａｎ：４名、Ｄｅｕｔａｎ：３名）に比較してもらい、区別が困難な色の違いを強調できているか（コントラスト強調官能評価）、自然な画像であるか（自然さ官能評価）について官能評価を実施した。具体的には、Ｐｒｏｔａｎ用とＤｅｕｔａｎ用それぞれ１０枚（うち数枚ＰｒｏｔａｎとＤｅｕｔａｎの両方に使用）の画像に対し、上記４つの方法で色変換した支援画像を被験者に評価してもらった。コントラスト強調官能評価では、１枚の画像に対して元画像と比べ、次のような評価点数をつけてもらった。
「＋１」：元画像よりコントラストが強調された。
「 ０」：元画像と変わらない。
「－１」：元画像よりコントラストが弱まった。
その結果を表１に示す。表の数値は各被験者の評価点数の平均値である。表１の値が高いほど画像のコントラストがより強く、区別が困難な色の違いを強調できていることを示している。
本評価の結果より本発明の色変換方法は、Protanに対しては特許文献１の方法より劣るが他の方法に比べてよい結果となっていることがわかる。
［４．１ 官能評価］
本発明の色変換の官能評価を実施した。非特許文献２、非特許文献３及び特許文献１に記載の方法で色変換した支援画像と、本発明の方法で色変換した支援画像を、色覚障がいを持つ被験者７人（Ｐｒｏｔａｎ：４名、Ｄｅｕｔａｎ：３名）に比較してもらい、区別が困難な色の違いを強調できているか（コントラスト強調官能評価）、自然な画像であるか（自然さ官能評価）について官能評価を実施した。具体的には、Ｐｒｏｔａｎ用とＤｅｕｔａｎ用それぞれ１０枚（うち数枚ＰｒｏｔａｎとＤｅｕｔａｎの両方に使用）の画像に対し、上記４つの方法で色変換した支援画像を被験者に評価してもらった。コントラスト強調官能評価では、１枚の画像に対して元画像と比べ、次のような評価点数をつけてもらった。
「＋１」：元画像よりコントラストが強調された。
「 ０」：元画像と変わらない。
「－１」：元画像よりコントラストが弱まった。
その結果を表１に示す。表の数値は各被験者の評価点数の平均値である。表１の値が高いほど画像のコントラストがより強く、区別が困難な色の違いを強調できていることを示している。
本評価の結果より本発明の色変換方法は、Protanに対しては特許文献１の方法より劣るが他の方法に比べてよい結果となっていることがわかる。
自然さ官能評価では、１枚の画像に対して、次のような評価点数をつけてもらった。
「１」：自然に見える
「０」：違和感を感じる（自然に見えない）
その結果を表２に示す。表の数値は各被験者の評価点数の平均値である。表２の値が高いほど画像がより自然に見えることを示している。
本評価の結果より本発明の色変換の方法は、他の方法に比べてより自然に見えることが分かる。
「１」：自然に見える
「０」：違和感を感じる（自然に見えない）
その結果を表２に示す。表の数値は各被験者の評価点数の平均値である。表２の値が高いほど画像がより自然に見えることを示している。
本評価の結果より本発明の色変換の方法は、他の方法に比べてより自然に見えることが分かる。
［４．１ 自然さ客観評価］
図１１ａ、図１１ｂ、図１１ｃ、図１１ｄに示す入力画像に対し、公知のＳｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ（ＳＳＩＭ）評価尺度による自然さ客観評価を行った。前述の自然さ官能評価とは異なり、客観的な評価である。その結果を表３に示す。ＳＳＩＭ値が高いほど，画像がより自然であることを示している。
本評価の結果より本発明の色変換は従来技術に比べてより自然であることがわかる。
図１１ａ、図１１ｂ、図１１ｃ、図１１ｄに示す入力画像に対し、公知のＳｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ（ＳＳＩＭ）評価尺度による自然さ客観評価を行った。前述の自然さ官能評価とは異なり、客観的な評価である。その結果を表３に示す。ＳＳＩＭ値が高いほど，画像がより自然であることを示している。
本評価の結果より本発明の色変換は従来技術に比べてより自然であることがわかる。
以上の評価結果から、本来見える色をできるだけ保つことで自然でかつ区別が困難な色の違いを強調した支援画像を得ることができるという効果を有することがわかる。また、動画に対しても色変換が可能であり、しかもフレーム間の不自然さが少ない。また、本発明の色変換は、入力画像の全ての画素に対し、統一線形変換式を適用するので、計算を高速に実行することができる。更に本発明は、スマートフォンやテレビなどに実装可能な技術であるので、色覚障がい者のクオリティ・オブ・ライフを向上させることができる。
［５．変形例］
上述した実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、支援画像Ｒまたは支援動画ＲＶは、表示部４に表示するだけでなく、外部の記憶媒体に保存したり、ネットワークを通じて外部に送信したりしてもよい。また、支援画像Ｒまたは支援動画ＲＶは、記憶部３２または記憶部３２０に保存しておき、入力部５を介した操作者の指示により、当該保存した支援画像Ｒまたは支援動画ＲＶを表示部４に表示することもできる。
上述した実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、支援画像Ｒまたは支援動画ＲＶは、表示部４に表示するだけでなく、外部の記憶媒体に保存したり、ネットワークを通じて外部に送信したりしてもよい。また、支援画像Ｒまたは支援動画ＲＶは、記憶部３２または記憶部３２０に保存しておき、入力部５を介した操作者の指示により、当該保存した支援画像Ｒまたは支援動画ＲＶを表示部４に表示することもできる。
上述した評価関数や統一線形変換式、またはそれらのパラメータや係数の決め方は、一例であり目的を達成するものであれば他の式や決定方法を採用してもかまわない。例えば、評価関数は上述した評価項以外の評価項を備えていてもかまわない。
上述した実施形態において、入力画像Ｉ、入力動画ＩＶ、支援画像Ｒ及び支援動画ＲＶ（それぞれのフレーム画像も含む）はＲＧＢ色空間で表されるとしたが、他の色空間を採用してもかまわない。
１…表示装置、２…入力画像源、３…画像処理部、４…表示部、５…入力部、１０…表示装置、３１…制御部、３２…記憶部、３３…送受信部、３４…Ｌａｂ変換部、３７…最適化処理部、３８…回転部、３９…支援画像生成部、３００…バス、３１０…制御部、３２０…記憶部、３３０…送受信部、３５０・・・オプティカルフロー計算部
Claims (17)
- 入力画像の画素の色を変換する画像処理方法であって、
評価関数に基いて統一線形変換式を決定する統一線形変換式決定ステップと、
前記決定した統一線形変換式を用いて前記入力画像の全ての画素の色を変換する色変換ステップと、
を備える画像処理方法。 - 前記評価関数は、コントラスト強調の度合いを評価するコントラスト評価項と、
自然さを評価する自然さ評価項とを含む、請求項１に記載の画像処理方法。 - 前記コントラスト評価項は、前記入力画像の任意の画素ペア間の距離と、当該任意の画素ペアを前記統一線形変換式により変換した変換後画素ペア間の距離との差が大きいほど評価が高くなる、請求項２に記載の画像処理方法。
- 前記自然さ評価項は、前記入力画像の任意の画素の色と当該画素を前記統一線形変換式により変換した変換後画素の色との差が少ないほど評価が高くなる、請求項２または請求項３に記載の画像処理方法。
- 前記統一線形変換式確定ステップは、前記評価関数に基いて前記統一線形変換式のパラメータを決定する最適化ステップを更に含む、請求項１乃至請求項４のいずれか一項に記載の画像処理方法。
- 前記入力画像の表色系を、Ｌ＊ａ＊ｂ＊表色系に変換する表色系変換ステップを更に含む、請求項１乃至請求項５のいずれか一項に記載の画像処理方法。
- 前記入力画像が動画の場合、前記評価関数は相関制約項を更に含む、請求項２乃至請求項６のいずれか一項に記載の画像処理方法。
- 前記相関制約項は、前記動画のフレーム内の画素と、その直前のフレーム内の関連画素との色の差に基いて計算される、請求項７に記載の画像処理方法。
- コンピューターに、
評価関数に基いて統一線形変換式を決定する統一線形変換式決定ステップと、
前記決定した統一線形変換式を用いて前記入力画像の全ての画素の色を変換する色変換ステップと、
を実行させる画像処理プログラム。 - 入力画像を出力する入力画像源と、
評価関数に基いて統一線形変換式を決定する最適化処理部と、
前記決定した統一線形変換式を用いて前記入力画像の全ての画素の色を変換した支援画像を生成する支援画像生成部と、
前記支援画像を表示する表示部と、
を備える、画像処理装置。 - 前記評価関数は、コントラスト強調の度合いを評価するコントラスト評価項と、
自然さを評価する自然さ評価項とを含む、請求項１０に記載の画像処理装置。 - 前記コントラスト評価項は、前記入力画像の任意の画素ペア間の距離と、当該任意の画素ペアを前記統一線形変換式により変換した変換後画素ペア間の距離との差が大きいほど評価が高くなる、請求項１１に記載の画像処理装置。
- 前記自然さ評価項は、前記入力画像の任意の画素の色と当該画素を前記統一線形変換式により変換した変換後画素の色との差が少ないほど評価が高くなる、請求項１０または請求項１１に記載の画像処理装置。
- 前記最適化処理部は、前記評価関数に基いて前記統一線形変換式のパラメータを決定する、請求項１０乃至請求項１３のいずれか一項に記載の画像処理装置。
- 前記入力画像の表色系を、Ｌ＊ａ＊ｂ＊表色系に変換するＬａｂ変換部を更に含む、請求項１０乃至請求項１４のいずれか一項に記載の画像処理装置。
- 前記入力画像が動画の場合、前記評価関数は相関制約項を更に含む、請求項１１乃至請求項１５のいずれか一項に記載の画像処理装置。
- 前記相関制約項は、前記動画のフレーム内の画素と、その直前のフレーム内の関連画素との色の差に基いて計算される、請求項１６に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020117905A JP2022015209A (ja) | 2020-07-08 | 2020-07-08 | 画像処理方法、画像処理プログラム、及び表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020117905A JP2022015209A (ja) | 2020-07-08 | 2020-07-08 | 画像処理方法、画像処理プログラム、及び表示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022015209A true JP2022015209A (ja) | 2022-01-21 |
Family
ID=80120625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020117905A Pending JP2022015209A (ja) | 2020-07-08 | 2020-07-08 | 画像処理方法、画像処理プログラム、及び表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022015209A (ja) |
-
2020
- 2020-07-08 JP JP2020117905A patent/JP2022015209A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Duan et al. | Perceptual quality assessment of omnidirectional images | |
| US9934575B2 (en) | Image processing apparatus, method and computer program to adjust 3D information based on human visual characteristics | |
| RU2668408C2 (ru) | Устройства, системы и способы виртуализации зеркала | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| Dong et al. | Human visual system-based saliency detection for high dynamic range content | |
| CN110248242B (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
| JP5086711B2 (ja) | 映像表示装置 | |
| CN114979689B (zh) | 多机位直播导播方法、设备以及介质 | |
| CN112967193A (zh) | 图像校准方法及装置、计算机可读介质和电子设备 | |
| Li | (Retracted) Infrared image filtering and enhancement processing method based upon image processing technology | |
| Poreddy et al. | BVRIQE: A completely blind no reference virtual reality image quality evaluator | |
| JP2022015209A (ja) | 画像処理方法、画像処理プログラム、及び表示装置 | |
| Li et al. | State-of-the-art in 360 {\deg} Video/Image Processing: Perception, Assessment and Compression | |
| CN104036459A (zh) | 一种具有图像真实感再现的局部色调映射方法 | |
| CN110728630A (zh) | 基于增强现实的互联网图像处理方法及增强现实眼镜 | |
| WO2022230253A1 (ja) | 情報処理装置及び情報処理方法 | |
| JP5303399B2 (ja) | 動画像ビット深度削減装置及びプログラム | |
| Tai et al. | Underwater image enhancement through depth estimation based on random forest | |
| WO2020233536A1 (zh) | Vr视频质量评估方法及装置 | |
| CN110060291B (zh) | 一种考虑人因的立体视在距离解算方法 | |
| Chen et al. | Subjective and Objective Quality Assessment of Rendered Human Avatar Videos in Virtual Reality | |
| Feng et al. | Visual Perception Based Blind Stereoscopic Omnidirectional Video Quality Assessment | |
| Cyriac et al. | Perceptual dynamic range for in-camera image processing. | |
| Hu et al. | Spatio-Temporal Feature Integration for Quality Assessment of Stitched Omnidirectional Images | |
| Gu et al. | Quality Assessment of Virtual Reality Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230609 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240828 |