JP2008129162A - 映像変換処理方法および映像変換システム - Google Patents

Abstract

【課題】 利用者の視環境、利用者の視覚特性および表示装置の表示特性に応じて、表示するコンテンツを、適切にディスプレイ装置に表示できるように表示色を変換し、状況や利用者にとって適切な映像情報を表示する。
【解決手段】 映像変換システムは、表示出力デバイスの特性評価の結果に基づいて出力デバイスモデルを生成する出力デバイスモデル生成器と、使用者の視覚特性を判定した視覚特性評価の結果に基づいて使用者の視覚モデルを生成する視覚モデル生成器と、前記表示出力デバイスの設置された環境における視環境特性評価の結果に基づいて環境モデルを生成する環境モデル生成器と、前記出力デバイスモデル、前記視覚モデルおよび前記環境モデルに基づいて色空間変換の設定を行い、映像入力を映像変換して出力する映像変換装置を備える。
【選択図】 図１

Description

本発明は、利用者の視環境、利用者の視覚特性、利用するディスプレイ装置の表示特性に応じて、表示するコンテンツに対して、適切にディスプレイ装置に表示できるように表示色を変換し、状況や利用者にとって適切な映像情報として表示するための映像変換処理方法および映像変換システムに関するものである。

国内外の調査によると、男性の５〜８％、女性の約０．５％が色盲であると言われている。つまり、学術講演会など、男女構成比が一対一の４０人規模の集会には必ず一人以上の色盲者が含まれる計算になる。そこで、ディスプレイ装置に表示される映像を、色覚障害者が識別しやすいように変換するための多くの手法が、これまでに提案されてきた。

例えば、特許文献１には、映像情報を人間の色覚特性に適するように変換する方法についての提案が記載されている。ここでは、色覚特性（色覚障害タイプと色覚障害程度）を数値化する方法と、コンテンツの色相から認知可能な情報を色覚特性が正常な人と同一に得ることができるようにするための変換方式が開示されている。

色覚特性を数値化する方法としては、人の視細胞の円錐細胞の反応関数の移動現象や反応値強度の減少現象を考慮して決定する方法、ファルンスワース・マンセル色度検査の結果として出てきた総合エラー点数を用いて決定する方法、アノマロスコープのミックスチャーフィールドの赤緑色の割合区間の広さを用いて決定する方法の３種類が示されている。

コンテンツの変換方式については、色弱者のための変換方式と色盲者のための変換方式の２種類が示されている。色弱者のための変換方式では、例えば、非特許文献１において提案されている２色型色覚モデルのアルゴリズムを利用して、コンテンツのＲＧＢ色相を変化させ、色弱者が正常者と同様に見られるようにするためのコンテンツ変換行列を用いている。また、色盲者のための変換方式では、色盲者が区別不可能な色相を補色色相に置換し、さらには、色相の変化を彩度に変化として表現することにより区別できるようにしている。

このような色変換方式により、映像コンテンツの中で、いわゆる色弱者や色盲者が区別しにくい色遣いを自動的に変換することが可能になる。しかしながら、特許文献１に記載の発明には、次に説明するような幾つかの重大な問題がある。

第一に、色覚特性を計測し数値化するための手続きが複雑である。このため、病院や専門家による精密な検査を事前に受けておく必要があることである。第二に、色弱者のための変換方式として使用している色覚モデルは、実は２色型色覚モデルである。このため、色弱者が正常者と同様にコンテンツを見られるようにはならないという問題がある。さらに、２色型色覚モデルを表現する３次正方行列の逆行列を求める際、逆行列が存在しないケースについて言及されていないという問題もある。第三に、ここでコンテンツ変換方式は、色盲者あるいは色弱者によって区別しやすくすることだけを考慮しているため、この処理を施された後の映像コンテンツは、色覚正常者にとっては非常に不自然な色遣いがなされているように認識されてしまうという問題がある。

特許文献２には、デジタルカラー画像を、改善された色識別を有するデジタルカラー画像に変換する方法の発明が記載されている。ここでは、画像を構成する画素を、ＣＩＥＹｕｖ空間において似ている色同士でクラスタリングし、隣接クラスタがｘｙ色度図において同一の混同色線に乗っている場合に、一方の色を変更する手法についての提案が記載されている。この手法では、画素をクラスタリングするための計算コストや、隣接クラスタ同士が同一混同色線上にあるかどうかの確認に要する計算コストが大きいため、リアルタイム処理を要する動画像変換には向かないという問題がある。

また、特許文献３には、カラーデザインやカラー信号の中に、ある色覚異常者が識別しにくい配色を検出し、それらを色覚正常者と同程度に、色覚異常者にも区別できるように色を変換する色変換装置が提案されている。この色変換装置は、配色の組み合わせを検索し、混同しやすい色群を決定し、色覚異常者の色の混同度と色の変更度との和による評価関数を最小とすることにより、色群を変換する。これにより、色覚正常者への違和感を最小限に抑えつつ、色覚異常者にも見やすい色遣いが実現できる。しかし、隣接画素間で混同しやすい色が使われているかどうかを検索するための計算コスト、色覚異常者の色の混同度と色の変更度との和により評価関数を最小とするための計算コストが、大きいため、動画像コンテンツのリアルタイム処理は事実上不可能である。

特許文献４には、テレビジョン受像器にレンダリングエンジンを組み込み、レンダリングエンジンにより受信した映像を拡大／縮小／回転／変形／反転／色変換する発明が記載されている。この発明において「色変換に関しては、色彩工学に基づいたプリセット値を数パターン用意しておき、これから選択することで色変換された映像を表示する」との記載があるのみで、色変換についての具体的な方法は記載されていない。

また、特許文献５には、特定の色波長領域に関して感度の低い色覚異常の視聴者にも良好に映像視聴できるようにするための映像表示装置および撮影装置に関する発明が記載されている。この発明では、映像コンテンツ中で使用されるＲＧＢ空間の各色をＬＭＳ色空間に変換し、第一色弱者、第二色弱者のそれぞれに対応して、各画素のＬ値、Ｍ値を修正する方式について記載されている。この方法は単純であるために非常に高速であるが、柔軟性に欠けるため、使用者の色覚障害の程度に対応することができない。
H.Brettle, etal.: Computerized simulation of color appearance of color appearance fordichromates, Journal of Optical Society of America.A, vol.15, no.10,pp.2647-2655, 1997. 特表２００５−５２４１５４号公報 特開２００４−２６６８２１号公報 特開２００５−１７３６３４号公報 特開２００６−４１９７９号公報 特開２００３−２２３６５号公報

上述したような従来における色覚異常者に対する色変換技術を、液晶プロジェクタや電光掲示板など、不特定多数が同時に利用する映像表示機器へ適用しようとするとき、利用者の視覚特性を事前に調べておくことは不可欠である。また、色覚障害者にとって見やすくするためにコンテンツを色変換する際、色覚正常者が違和感を覚えるような方法を採用することはできない。さらに、野外に設置される映像表示機器や（電光掲示板、街頭テレビ、自動販売機、ＡＴＭなど）、モバイル機器において色変換技術を利用するためには、表示装置や利用者の周囲の照明条件などの視環境を観測し、その結果に応じて色変換処理を適切に変更する必要がある。

本発明は、このような課題を解決するためになされたものであり、本発明の目的は、利用者の視環境、利用者の視覚特性および表示装置の表示特性に応じて、表示するコンテンツを、適切に表示装置に表示できるように表示色を変換し、状況や利用者にとって適切な映像情報を表示する映像変換処理方法および映像変換システムを提供することにある。

上記のような目的を達成するため、本発明による映像変換処理方法は、基本的な構成として、利用者が色覚テストを行って利用者の色覚モデルを生成し、利用者や映像表示装置の置かれた環境に基づいて環境モデルを生成し、表示出力装置として用いる表示出力デバイスの表示特性に基づいて出力デバイスモデルを生成し、これらのモデルを用いて、最適な色空間変換の設定を行って映像変換を行い、映像コンテンツの色をリアルタイムに補正して表示できるようにする表示システムを構成する。これらの各モデルのデータには表示する色の色空間変換のためのパラメータが含まれる。

具体的に、本発明は第１の態様として、本発明による映像変換処理方法が、表示出力デバイスの特性評価の結果に基づいて出力デバイスモデルを生成するステップと、使用者の視覚特性を判定した視覚特性評価の結果に基づいて使用者の視覚モデルを生成するステップと、前記表示出力デバイスの設置された環境における視環境特性評価の結果に基づいて環境モデルを生成するステップと、前記出力デバイスモデル、前記視覚モデルおよび前記環境モデルに基づいて色空間変換の設定を行い、映像入力を映像変換して出力するステップとを備えるように構成される。

この場合に、前記出力デバイスモデルを生成するステップは、光学センサにより所定のパターン映像が表示システムに表示されるパターン映像の色特性を測定し、前記色特性に基づき出力デバイスモデルを生成するように構成され、前記使用者の視覚モデルを生成するステップは、利用者に提示された視覚特性パターンの１つの選択指示を受け付けて利用者の視覚特性を判定し、判定した視覚特性に基づき利用者の視覚モデルを生成するように構成され、また、前記環境モデルを生成するステップは、光学センサにより表示出力デバイスが設置された環境の照明状態の色特性を測定し、前記色特性に基づき環境モデルを生成するように構成される。

また、本発明は第２の態様として、本発明による映像変換システムが、表示出力デバイスの特性評価の結果に基づいて出力デバイスモデルを生成する出力デバイスモデル生成器と、使用者の視覚特性を判定した視覚特性評価の結果に基づいて使用者の視覚モデルを生成する視覚モデル生成器と、前記表示出力デバイスの設置された環境における視環境特性評価の結果に基づいて環境モデルを生成する環境モデル生成器と、前記出力デバイスモデル、前記視覚モデルおよび前記環境モデルに基づいて色空間変換の設定を行い、映像入力を映像変換して出力する映像変換装置とを備えるように構成される。

この場合に、本発明による映像変換システムにおいて、前記出力デバイスモデル生成器は、光学センサにより所定のパターン映像が表示システムに表示されるパターン映像の色特性を測定し、前記色特性に基づき出力デバイスモデルを生成するように構成されており、前記視覚モデル生成器は、利用者に提示された視覚特性パターンの１つの選択指示を受け付けて利用者の視覚特性を判定し、判定した視覚特性に基づき利用者の視覚モデルを生成するように構成されており、前記環境モデル生成器は、光学センサにより表示出力デバイスが設置された環境の照明状態の色特性を測定し、前記色特性に基づき環境モデルを生成するように構成される。

本発明による映像変換処理方法および映像変換システムを用いることにより、利用者が居る環境の照明状態などの視環境によらず、利用者にとって見やすい映像を表示できる映像表示システムを構成できる。また、液晶プロジェクタや電光掲示板などの、不特定多数による同時利用を前提とした映像表示機器に適用することにより、色覚正常者への違和感を最低限にとどめつつ、色覚障害者への見やすさを向上する映像表示機器を構成することができる。

また、野外に設置される映像表示機器（電光掲示板、街頭テレビ、自動販売機、ＡＴＭなど）、モバイル機器、カーナビゲーションシステムなどに適用すると、あらゆる種類の照明や、変動する照明など、映像表示にとって必ずしも適切ではない視環境においても、常に見やすい映像を表示する表示システムを構成することができる。例えば、照明条件が変わっても常に正確な色再現を行える表示装置が実現できる。

また、大画面の表示装置において問題になることが多い照明ムラの影響も解消できる。映像情報を出力する装置として通信装置や情報圧縮装置に適用する場合には、それらの処理の前に画質補正を加えておき、通信および圧縮処理によるデータ品質劣化に伴う色の変化を最低限に抑制できる。映像コンテンツの使用目的に応じて重要色や不要色があらかじめ判明している場合には、不要色に割り当てる情報量を削減する処理を行うことで、ビットレートの抑制も可能になる。

以下、図面を参照して、本発明の実施の形態に係わる映像変換処理方法を実施する映像変換システムについて説明する。

図１は本発明を実施するための映像変換システムのシステム構成を説明するブロック図である。図１において、１は映像入力、３は映像変換装置、５は表示出力装置、７は利用者、８は映像変換システム、１０は環境モデル生成器、１２は出力デバイスモデル生成器、１４は視覚モデル生成器、１８は視覚検査器である。

映像変換システム８は、図１に示されるように、表示出力デバイス（表示出力装置５）の特性評価の結果に基づいて出力デバイスモデルを生成する出力デバイスモデル生成器１２と、使用者の視覚特性を判定した視覚特性評価の結果に基づいて使用者の視覚モデルを生成する視覚モデル生成器１４と、表示出力デバイス（表示出力装置５）の設置された環境における視環境特性評価の結果に基づいて環境モデルを生成する環境モデル生成器１０と、出力デバイスモデル、視覚モデルおよび前記環境モデルに基づいて色空間変換の設定を行い、映像入力を映像変換して出力する映像変換装置３とを備えている。

映像変換システム８は、映像変換装置３、環境モデル生成器１０、出力デバイスモデル生成器１２、色覚モデル生成器１４を、色空間変換の設定を行うパラメータ決定するためのシステム構成の要素として有しており、それぞれから信号線を経て、必要な情報を受け取る。また、表示出力装置５と利用者７が存在する視環境９を視環境センサ１６が観測し、その結果を用いて映像変換装置３における映像変換の処理内容が調整される。すなわち、色空間変換の設定を行い、それに基づいて映像入力１を映像変換する。視覚検査器１８は、使用者の色覚特性などを計測するために用いられる。

出力デバイスモデル生成器１２は、例えば、光学センサにより所定のパターン映像が表表示出力デバイス（表示出力装置５）に表示されるパターン映像の色特性を測定し、この色特性に基づき出力デバイスモデルを生成するように構成される。視覚モデル生成器１４は、例えば、利用者に提示された視覚特性パターンの１つの選択指示を受け付けて利用者の視覚特性を判定し、判定した視覚特性に基づき利用者の視覚モデルを生成するように構成される。また、環境モデル生成器１０は、例えば、光学センサにより表示出力デバイスが設置された環境の照明状態の色特性を測定し、色特性に基づき環境モデルを生成するように構成される。環境モデルのデータには色空間変換のためのパラメータが含まれる。

出力デバイスモデル生成器１２は、出力デバイスの機種差、機体差、経時変化などを吸収する出力デバイスモデルを生成する。その際、ガンマ値やホワイトバランスなど色特性の表示パラメータが考慮される。装置の出力特性は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイなどの表示方式の種類により、また、表示装置の構成により大きく異なる。そのため、表示出力装置の機種ごとに出力デバイスの色表示特性のモデルを生成する必要がある。また、屋外に設置された表示出力装置のように、表示出力特性の経時変化が激しい場合には、定期的に出力特性を計測し直すことで、出力デバイスモデルとして利用する特性モデルの精度を高く維持することができる。

具体例により説明する。映像入力１が信号線２を経て映像変換システム８に入力され、色空間変換の設定が行われた映像変換装置３により映像変換それた映像データが信号線４を経て表示出力装置５に送られる。表示出力装置５において表示された映像を利用者７が見る。

出力デバイスモデルについて、表示出力装置がパーソナルコンピュータに接続された液晶ディスプレイの場合を例に、説明する。液晶ディスプレイは、電気信号により光の透過率を自由に変えられる液晶パネルを用いて、バックライトから発せられる光量を調整し、カラーフィルタを通して利用者に見せることで、任意の映像を表示する装置構造となっている。このとき、カラーフィルタとして一般に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に着色されたフィルムが用いられるが、分光透過率はフィルムや着色料によって大きく異なる。また、光源であるバックライトから発せられる光のスペクトル分布によっても、色の見え方は異なる。さらに、バックライトや着色フィルムの劣化に伴い、映像出力結果も経時変化する。これらのような現象が原因となり、表示したい色に対応する信号をパーソナルコンピュータから送信し、液晶ディスプレイの側でその通りの色を発生することは、非常に難しい問題である。

このような問題を解消するための方法として、ＩＣＣプロファイルを利用する方法がある。この方法では、表示装置に依存しない理想的な色空間において、個々の表示装置の発色特性を管理することで、正確な色再現を実現する。本発明における出力デバイスモデルとして、例えば、ＩＣＣプロファイルを使用するように構成されても良い。

また、ＩＣＣプロファイルではＬ＊ａ＊ｂ＊表色系を使用しているが、これは平均的な健常色者の色覚を基礎として構築された色空間であるため、色覚障害者の見え方を表現するものではない。そこで、人間の目の錐体の分光感度を表現するＬＭＳ色空間を基礎とした表色系を利用することより、色覚障害者への見え方に与える影響を容易に求めることが可能になる。本発明に関係して説明すると、これについては、使用者の視覚モデルに反映される。

視覚検査器１８は、図示しないが、利用者に対して複数の視覚特性パターンを表示する表示部と、その表示された視覚特性パターンの１つの選択指示を受け付ける入力部を有しており、利用者の視覚特性を判定する。視覚検査器１８が、表示部において利用者に提示された視覚特性パターンの１つの選択指示を受け付けて、利用者の視覚検査を行う。この場合の表示部として、表示出力装置５が用いられる構成となっていてもよい。視覚検査器１８からの検査の結果は視覚モデル生成器１４に送られる。視覚モデル生成器１４は、送られた検査の結果に基づいて、利用者の視覚特性を判定し、判定した視覚特性に基づき利用者の視覚モデルを生成する。

このように、視覚検査器１８は、表示出力装置５を使った簡単なテストを行い、利用者５の色覚特性を判定する。例えば、色盲者が混同しやすい色を並べて表示して、区別できるか否かのテストを行い、利用者から選択の指示を受け付けてその検査結果を得るように構成される。また、石原式色覚検査表と同等の機能を持つチャートを表示して、利用者７からの選択指示を受け付けて、これを検査結果としても良い。また、微小パターンを組み合わせて併置混色が生じる図形を表示し、微小パターンの大きさを変えたときに等色される色の変化を観測してもよい。この場合にも、同様に、利用者７からの選択指示を受け付けて、これを検査結果とする。

使用者が、自らの色覚特性をよく承知している場合には、あらかじめ、正常３色型色覚、異常３色型の第１色弱から第３色弱、２色型の第１色盲から第３色盲、全色盲などの典型的な視覚特性をプリセットしておき、それらのプリセット情報を選択する指示を受け付けるだけで良い。このため、視覚テストに要する手間を省くことができる。

視覚モデル生成器１４は、視覚検査器１８からの入力を受け取り、利用者７についての個別の色覚モデルを生成する。人間の網膜には桿体および錐体と呼ばれる視細胞が存在している。桿体は明暗に鋭敏で、特に薄暗いときの視覚を司り、これを暗所視という。明るいときの視覚、すなわち明所視では錐体が主に機能する。錐体に含まれる視物質は３種類存在し、それぞれ吸収波長が異なる。波長の長い視物質を含む順から、Ｌ錐体、Ｍ錐体、Ｓ錐体と呼ばれる。３色型色覚では、これら３種類の錐体が全て機能し、脳において各錐体の興奮の割合の違いを利用して色を区別している。

３種類の視細胞のうち、いずれかの吸収極大波長がずれたり、分光吸収特性が変化したりすると、錐体の興奮状態が変化し、脳における処理結果も変わってくるため、色の区別のされ方も異なってくる。このような状態を異常３色型色覚という。また、いずれかの錐体が欠損している状態の色覚を２色型色覚という。異常３色型色覚および２色型色覚において、Ｌ錐体、Ｍ錐体、Ｓ錐体に変異が発生した状態をそれぞれ、第１色覚異常、第２色覚異常、第３色覚異常という。

ＲＧＢ空間で表現された色を、人間の目の分光視感効率を考慮して３種類の錐体（Ｌ錐体、Ｍ錐体、Ｓ錐体）への刺激強度に変換することで、３値の組からなる別の座標系への写像を得られる。この座標系のことをＬＭＳ空間と呼ぶ。２色型色覚は、ＬＭＳ空間に分布するあらゆる点（すなわち色情報）が、変異した錐体に対応する軸に沿った方向で、特定の平面上に強制的に射影された状態であると見なすことができるため、その射影された点をＲＧＢ空間へと変換することで、２色型色覚の見え方を再現することができる。

そこで、本発明において、利用者の視覚特性を最高精度で表現するための視覚モデルとして、ＬＭＳ各錐体の分光吸収特性を用いる。この視覚モデルのデータには色空間変換のためのパラメータが含まれる。

ＲＧＢ空間で表現された色は、国際照明委員会（ＣＩＥ）が標準化した表色系の一つであるＸＹＺ表色系に変換され、ｘｙ色度図で表現することもできる。このとき、色覚異常を有する観測者が区別できない色を表すｘｙ色度図上の点を線で結んでゆくと、１点で交わる複数の直線で表現される。この直線のことを混同色線といい、混同色線の交点の位置は第１、第２、第３色覚異常によって異なる。すなわち、使用者の色覚異常のタイプや程度が分かれば混同色線が判明するため、使用者の区別やすい色や区別しにくい色を知ることができる。逆に、混同しやすい色と混同しにくい色のテストを行うことにより混同色線を推算し、使用者の色覚特性を推測することもできる。

そこで、本発明において、利用者の視覚特性を比較的簡易に表現するためのモデルとして、混同色線の交点位置による表現方法を用いる視覚モデルが構成されても良い。

人間の色覚を説明するため、人間の生理学的な見地からヤング−ヘルムホルツの三原色説、また心理学的な見地からヘリングによる反対色説が提案され、現在ではどちらも正しいことが分かってきている。すなわち、錐体視細胞レベルでは錐体細胞による三原色説的な情報処理が行われ、その後、脳に情報が伝達されるまでの過程において反対色説的な信号へ変換されるという段階説が広く受け入れられている。しかし、各錐体からの信号が赤緑、青黄、明暗という３種類の信号へと変換されるまでのモデルは、いまだ明らかになっていない。仮説レベルで様々な基本モデルが提案されているが、個人差のことまでは考慮されていない。そこで、本発明では、視覚モデル生成器１４において、使用者の色覚テスト結果を最もよく表現できるように、基本モデルに含まれる重みパラメータを最適化アルゴリズムで調整することで、高い精度の色覚モデルを生成する。

これまでの色覚研究により、見分けやすい色や区別しにくい色が明らかになっているため、それらをルックアップテーブル化することにより、簡易な色覚モデルを構築することもできる。実装したときの処理速度が速いという利点がある。この場合には、ルックアップテーブルに登録された色覚モデルを選択することにより、色覚モデルを生成する。

視環境センサ１６は、視環境９に設けられた光学センサにより色特性を測定し、表示出力装置５および利用者７のおかれた視環境９における照明状態などを測定する。測定結果は環境モデル生成器１０に伝達され、視環境条件のモデリング処理によって環境モデルを生成する際に使用される。ここで使用する光学センサのタイプとして理想的には、最大の観測精度を得られるために分光放射計などを使用して分光スペクトルを測定する光学センサを用いることが望ましいが、ＸＹＺ三刺激値や、照度（放射照度）を測定する光学センサを用いることでも良い。ここに設置する光学センサの数もできるだけ多い方が観測精度を向上できるため望ましいが、表示出力装置５の周辺に一つだけを設置することでも構わない。

環境モデル生成器１０は、視環境センサ１６による視環境９の観測の結果を受け取り、表示出力装置５や利用者７のおかれた視環境９における照明状態などが、コンテンツの表示結果に与える影響を考慮するための視環境モデルを生成する。

本発明において、視条件を最高精度で表現するための環境モデルとして、分光スペクトル分布を用いる。

映像変換装置３は、環境モデル生成器１０、出力デバイスモデル生成器１２、視覚モデル生成器１４からの入力に基づき、使用者にとって識別困難な配色情報などを総合的に判断する処理を行って、色空間の非線形変換やカラーパレットの修正を行い、使用者にとって見やすくなるように、色空間変換の設定を行い、映像入力１の映像情報を変換して、表示出力装置５に出力する。

例えば、環境モデル生成器１０から視環境９における照度が強すぎることが分かれば、映像コンテンツのコントラストを上げるように補正が行われる。また、夕日の色や、色付きの照明、白色から大きく外れた色の照明が強い場合、映像コンテンツで使用されている全ての色を、その色調の方向へと補正する。ただし、人間の目には色順応機能が備わっているため、照明光による影響を完全に打ち消すような補正を行うと、不自然になりすぎる場合がある。さらに、最近の研究により、色順応機能によりホワイトバランスが完全に補正されるわけではないことが明らかになっているので、この色順応の不完全性を考慮することにより、よりよい補正が可能になる。

人間による色の見えモデルとして国際照明委員会が標準化したＣＩＥＣＡＭ０２(文献「Ａ Ｃｏｌｏｕｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ ｆｏｒ Ｃｏｌｏｕｒ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍｓ：ＣＩＥＣＡＭ０２，ＣＩＥ ＴＥＣＨＮＩＣＡＬ ＲＥＰＯＲＴ，ＣＩＥ １５９：２００４」を参照）があり、照明光源やその明るさ等の観察条件によって、観察対象の色がどのように変化するかを推定するための枠組みとして利用できる。しかし、これは色覚正常者の色覚特性を基礎にしているため、障害者の色覚特性を得ることはできない。

そこで、本発明では、映像変換装置１４において、色空間変換の設定を行う場合に、ＣＩＥＣＡＭ０２モデルに、２色型色覚モデルの原理を導入する。具体的には、ＣＩＥＣＡＭ０２モデルにおいて色の見えが計算される過程で、ＲＧＢ空間からＸＹＺ空間へと直接変換する前に、視覚特性モデルから得られる分光感度を利用した錐体の分光感度に基づくＬＭＳ空間への変換を介してから、ＸＹＺ空間へと変換する。これにより、色覚異常を考慮した、色の見えモデルを用いた計算が可能となる。

利用者の視覚モデルにより、色覚異常が示された場合、映像コンテンツをＬＭＳ空間に変換し、第１色覚異常であればＬ値を増加あるいはＭ値やＳ値を減少させ、第２色覚異常であればＭ値を増加あるいはＬ値やＳ値を減少させ、第３色覚異常であればＳ値を増加あるいはＬ値やＭ値を減少させる。精度の高い分光視感効率が得られない場合や、できるだけ簡易な視覚検査ですませたい場合、複雑な補正を行わず処理を高速に完了させたい場合などにおいて有効である。

画像中の区別すべき図柄どうしの混同を避けるためには、出力デバイスモデルと環境モデルと視覚モデルとを用いて予測される画像の見え（これをＪとする）に補正（この処理をＣ（ｘ）とする。ここでｘは任意の画像である）を加えた画像から任意の手法で輪郭抽出処理（この処理をＯ（ｘ）とする。ここでｘは任意の画像である）した画像と、原画像（これをＩとする）から輪郭抽出処理して得られる画像とを比較し、その結果として得られる輪郭成分の誤差量とを最小化するような補正方法を最適化手法で求めればよい。すなわちこれは、Ｏ（Ｃ（Ｊ））とＯ（Ｉ）の誤差（これをＥ（ｘ，ｙ）とする。ここで、ｘとｙは任意の画像である）を最小化するような補正方法Ｃを求めるという探索問題に帰着される。

このとき、画像の見えを推定する方法として非特許文献１やＣＩＥＣＡＭ０２を使用できる。輪郭成分の抽出については、これまでに開発され、提案されてきた数多くの手法のどれを使用しても構わない。２つの輪郭画像を比較するときの指標は、差の大きさを定量的に示すものであれば何でも良いが、たとえばＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ Ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ；ピーク信号対雑音比）、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ；平均二乗誤差）、ＭＡＥ（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ；平均絶対誤差）を使用できる。最適化手法についても、遺伝的アルゴリズム、分散推定アルゴリズム、最急降下法、山登り方、焼き鈍し法、滑降シンプレックス法、Ｐｏｗｅｌｌ法など、これまでに研究開発され、提案されてきた方式のいずれを使用してもよい。

さらに、色覚正常者による見え方の違和感を抑制するため、最適化手法の評価関数として、輪郭成分の誤差であるＥ（Ｏ（Ｃ（Ｊ）），Ｏ（Ｉ））だけでなく、Ｃ（Ｊ）とＩとを直接比較したときの誤差（これをＤ（ｘ，ｙ）とする。ここで、ｘとｙは任意の画像である）も、重み付き和や積やべき乗などの算術計算の形式で、最適化手法の評価関数に組み込むことができる。直接比較して誤差Ｄを計算するときは、ＲＧＢ空間やＬＭＳ空間ではなく、色覚正常者の視覚特性を基礎として構築されているＣＩＥＬＡＢやＣＩＥＬＵＶ空間における色差を計算してもよい。

補正方法Ｃを求めるための別の評価関数について説明する。第１のステップとして、原画像Ｉを構成する画素の色を示す値を分析し、値の近さや色の見え方の近さに基づき、クラスタリング処理を行う。値の近さを計算するためにはＲＧＢ空間におけるユークリッド距離を用いればよい。色の見え方の近さを計算するためには、ＲＧＢ空間から、ＣＩＥＬＡＢ空間やＣＩＥＬＵＶ空間、ＬＭＳ空間などに変換してから距離を測定するか、ＣＩＥＣＡＭ０２をモデルとして使用することも可能である。第２のステップとして、出力デバイスモデルと環境モデルと視覚モデルとを用いて予測される画像の見えＪでもクラスタリング処理を行う。このとき、原画像Ｉに対して行ったクラスタリング処理の結果として生成されたクラスタと、それを構成する画素との関係を、そのまま適用する。そうすることで、ＩとＪにおける、クラスタ単位での見え方の変化を観測することが可能になる。第3のステップでは、クラスタ間の相対距離がＩとＪとで近いほど大きな値を返すような計算手続きにより、補正方法Ｃを評価する。これにより、最適化手法の探索目的が、クラスタどうしが混同されにくい補正方法を求めることとして設定される。

補正方法Ｃを求めるための、さらに別の評価関数について説明する。上記のようにクラスタリングを行う前に、画像をあらかじめブロック分割しておく。そして、ブロック単位でのクラスタリングを行うことにより、画像の局所的な特徴を評価関数に反映させやすくする。なお、ブロックの大きさは画像全体で均一である必要はないが、ＩとＪでは共通の分割にしておく。

色覚異常により混同しやすい色をあらかじめルックアップテーブル化しておき、これを利用して、映像コンテンツの近接画素同士が混同しやすい関係にあるか否かを判定し、一方の色を変更してもよい。この補正方法の特徴は、処理の高速性にある。変更後の色の決め方については、明度や彩度を変化させる方法、ｘｙ色度図上で混同色線に対して垂直方向に一定量だけ移動させる方法、ＬＭＳ空間に変換下後に、色覚異常のタイプに応じて適切な軸に沿って色座標を移動し、再び元の色空間へと逆変換すればよい。

図２は映像変換処理方法の動作手順を説明するブロック図である。各ブロックにより信号の流れおよびデータ処理の流れを示すフローチャートになっている。

図２を参照して、映像変換処理方法の動作の流れを説明する。まず、ステップｓ１０１においてシステム全体の初期化が行われる。次に、ステップｓ１０２において表示出力装置５などの表示出力デバイスの特性評価が行われ、その結果を用いて、次のステップｓ１０３において、出力デバイスモデルを生成する。

出力デバイス特性は、利用者が利用する表示出力装置が決定した時点で確定し、その後の経時変化も一般的には緩やかである。そのため、この出力デバイスモデル生成は、システムの製造時に行うだけでもよい。また、数日、数週間、数ヶ月おきなど、一定期間ごとに微調整するだけでも高い精度を維持することもできる。

次に、ステップｓ１０４において、使用者の視覚特性を簡単なテストなどにより判定する。そして、その結果を用いて、ステップｓ１０５において、使用者の視覚モデルを生成する。本発明による映像変換システムが、個人用パーソナルコンピュータのように、決まった使用者が使用するシステムに搭載される場合には、使用者の視覚特性を毎回測定する必要はない。そこで、システム起動時に、視覚テストをキャンセルする機能を持たせることで、不必要な視覚特性評価を行わずに済むようにできる。

次に、ステップｓ１０６において表示装置や使用者おかれた環境における照明条件などの視環境が測定され、その結果を用いて、次のステップｓ１０７において、環境モデルが生成される。表示装置や使用者のおかれる環境の照明条件などの視環境が、常に一定ならば、視環境特性評価を毎回行う必要はない。そのような場合、本発明による映像変換システムを搭載したシステムは、設置時に一度だけ視環境特性評価を行い、その後は環境モデル生成をスキップしてもよい。

次のステップｓ１０９においては、出力デバイスモデル、視覚モデル、環境モデルを利用して、出力デバイスモデル、視覚モデルおよび環境モデルに基づく色空間変換の設定を行い、映像入力を映像変換して出力できるようにして、ステップｓ１０８において入力された映像入力に対して、映像変換を行う。そして、ステップｓ１１０において、映像情報を表示出力デバイスに出力する処理を行う。すなわち、各モデルのデータには表示する色の色空間変換のためのパラメータが含まれており、このパラメータにしたがって、色空間変換の設定を行い、映像入力を映像変換して出力する。

本発明を実施するための映像変換システムのシステム構成を説明するブロック図である。 映像変換処理方法の動作手順を説明するブロック図である。

符号の説明

１ 映像入力
２ 信号線
３ 映像変換装置
４ 信号線
５ 表示出力装置
７ 利用者
８ 映像変換システム
９ 視環境
１０ 環境モデル生成器
１２ 出力デバイスモデル生成器
１４ 視覚モデル生成器
１６ 視環境センサ
１８ 視覚検査器

Claims (8)

1. 表示出力デバイスの特性評価の結果に基づいて出力デバイスモデルを生成するステップと、
   使用者の視覚特性を判定した視覚特性評価の結果に基づいて使用者の視覚モデルを生成するステップと、
   前記表示出力デバイスの設置された環境における視環境特性評価の結果に基づいて環境モデルを生成するステップと、
   前記出力デバイスモデル、前記視覚モデルおよび前記環境モデルに基づいて色空間変換の設定を行い、映像入力を映像変換して出力するステップと
   を備えることを特徴とする映像変換処理方法。
2. 請求項１に記載の映像変換処理方法において、
   前記出力デバイスモデルを生成するステップは、光学センサにより所定のパターン映像が表示システムに表示されるパターン映像の色特性を測定し、前記色特性に基づき出力デバイスモデルを生成する
   ことを特徴とする映像変換処理方法。
3. 請求項１に記載の映像変換処理方法において、
   前記使用者の視覚モデルを生成するステップは、利用者に提示された視覚特性パターンの１つの選択指示を受け付けて利用者の視覚特性を判定し、判定した視覚特性に基づき利用者の視覚モデルを生成する
   ことを特徴とする映像変換処理方法。
4. 請求項１に記載の映像変換処理方法において、
   前記環境モデルを生成するステップは、光学センサにより表示出力デバイスが設置された環境の照明状態の色特性を測定し、前記色特性に基づき環境モデルを生成する
   ことを特徴とする映像変換処理方法。
5. 表示出力デバイスの特性評価の結果に基づいて出力デバイスモデルを生成する出力デバイスモデル生成器と、
   使用者の視覚特性を判定した視覚特性評価の結果に基づいて使用者の視覚モデルを生成する視覚モデル生成器と、
   前記表示出力デバイスの設置された環境における視環境特性評価の結果に基づいて環境モデルを生成する環境モデル生成器と、
   前記出力デバイスモデル、前記視覚モデルおよび前記環境モデルに基づいて色空間変換の設定を行い、映像入力を映像変換して出力する映像変換装置と
   を備えることを特徴とする映像変換システム。
6. 請求項５に記載の映像変換システムにおいて、
   前記出力デバイスモデル生成器は、光学センサにより所定のパターン映像が表示システムに表示されるパターン映像の色特性を測定し、前記色特性に基づき出力デバイスモデルを生成する
   ことを特徴とする映像変換システム。
7. 請求項５に記載の映像変換システムにおいて、
   前記視覚モデル生成器は、利用者に提示された視覚特性パターンの１つの選択指示を受け付けて利用者の視覚特性を判定し、判定した視覚特性に基づき利用者の視覚モデルを生成することを特徴とする映像変換システム。
8. 請求項５に記載の映像変換システムにおいて、
   前記環境モデル生成器は、光学センサにより表示出力デバイスが設置された環境の照明状態の色特性を測定し、前記色特性に基づき環境モデルを生成する
   ことを特徴とする映像変換システム。
   

Images