JP2016527528A

JP2016527528A - 誤差拡散を使用したプライバシーおよび広視野角のための画像データ処理装置および方法

Info

Publication number: JP2016527528A
Application number: JP2016506715A
Authority: JP
Inventors: ベンジャミンジョンブロートン; 健次前田; 辰雄渡辺; ロンスデールエドワードデイビッドヘイウッド
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2013-08-08
Filing date: 2014-08-07
Publication date: 2016-09-08
Anticipated expiration: 2034-08-07
Also published as: JP6134858B2; WO2015019617A1; US20150042769A1; US9402073B2

Abstract

表示装置は制御電子回路および画素で構成された液晶（ＬＣ）パネルを備える。上記制御電子回路は、メイン画像用のメイン画像データおよびサブ画像用のサブ画像データを受信する。上記制御電子回路は、軸上観察者が合成画像から上記メイン画像を認識し、軸外観察者が当該合成画像から上記サブ画像を認識するように上記メイン画像およびサブ画像を合成した合成画像データを出力する。当該出力画像データは、少なくとも上記サブ画像データに応じて多数組の利用可能なデータ値から選択された１組の利用可能な出力データ値からさらに上記画素用に選ばれたデータ値を含む。現在処理の対象となっている対象画素には、得られる輝度が当該対象画素の目標輝度に最も近くなるように上記出力データ値は上記選択された１組の利用可能な出力データ値から選ばれる。

Description

発明の詳細な説明

［技術分野］
本発明は、アクティブマトリックス液晶表示装置のような、パブリック表示モードおよびプライベート表示モードの間で切り替え可能な表示装置に関する。
［背景技術］
パブリック表示モードとプライベート表示モードとの間で切り替え可能ないくつかのタイプの表示装置が知られている。それらの表示装置は、標準的なディスプレイよりも様々な程度で追加のコストがかかるが、使いやすさと強化されたプライバシー性能とを備えている。

その様なディスプレイを備えた装置としては、例えば、携帯電話、タブレット、ノートパソコン、デスクトップモニタ、現金自動預け払い機（ＡＴＭ）、および電子式販売時点情報管理システム（ＥＰＯＳ）機器が挙げられる。そのような装置の有用な点として、気が散って危険な状況にある特定の観察者（例えば、運転手や重機械の操縦者）が、特定の画像を特定のタイミング（例えば、移動中の車の車載テレビ画面）で見ることもできる。

液晶ディスプレイ（ＬＣＤ）においてプライバシー効果を生成する画像処理方法が存在しており、プライベートモードにおいて第２のマスキング画像に依存する形で画像データを操作し、それによって、修正された画像が表示された時にマスキング画像が軸外観察者にも見られるようになる。その様な画像処理方法としては、例えば、Ｐｏｗｅｌｌｅｔａｌ、ＧＢ２４２８１５２Ａ１、ｐｕｂｌｉｓｈｅｄｏｎ２００７年１月１７日発行；Ｂｒｏｕｇｈｔｏｎｅｔａｌ、国際公開ＷＯ２００９１１０１２８Ａ１、２００９年９月１１日発行；Ｂｒｏｕｇｈｔｏｎｅｔａｌ、国際公開ＷＯ２０１１０３４２０９、２０１１年３月２４日発行；およびＢｒｏｕｇｈｔｏｎｅｔａｌ、国際公開ＷＯ２０１１３４２０８、２０１１年３月２４日発行、が挙げられる。これらの方法によれば、満足できるプライバシー性能を備え、パブリック／プライベートを電子的に切り替え可能なディスプレイを、追加の光学素子を必要とせずに最小限の追加コストで実現できる。これらの方法は全て、人間視覚システムにおける解像限界を利用しており、全体としてグループによって生成された全体輝度を保ちながら、隣接した画素のグループによって生成された輝度を軸上観察者に再分配している。

国際公開ＷＯ２０１１０３４２０９および国際公開ＷＯ２０１１０３４２０８の両方において、輝度が再分配される画素グループのサイズの増加が、軸外観察者によって見られるマスキング画像の最大コントラストをどのように増加させるかが記載されている。この事は、本願の図３および図４にも示されており、当該図面は、２画素および４画素のそれぞれのグループを使用する方法において軸上輝度の関数として利用できる軸外輝度を示している。国際公開ＷＯ２０１１０３４２０９には、特定の画像コンテンツのプライバシー強度を向上させる為に、メイン画像をそのコンテンツに合わせて圧縮する方法が記載されている。

しかしながら、これらの方法によって軸外画像の画質が向上し、それによってプライバシー強度が増す一方、全ての軸上輝度に対して最大化される軸外輝度の範囲についてはどの方法にも記載されていない。また、元の表示解像度に関連して得られるプライベートモード画像においてこれらの方法によって生成される明るい画素と暗い画素の固定パターンの為に、画素損失の出現を最小限に抑えるためにメイン入力画像の前処理が必要となる。この追加の工程によって、複雑さおよび全体としての処理に必要なメモリが増加する。

Ｔｈｏｍｐｓｏｎｅｔａｌ（ＵＳ６８７０６４３、２００２年３月１０日発行）には、誤差拡散に基づく画像処理方法を使用した標準ＬＣＤに対する多視点エフェクトの生成方法が記載されており、当該方法において、満足できる２以上の画像および２以上の異なる視角に関して画素データ値が同時に最適化される。しかしながら、ＵＳ６８７０６４３の方法では、多数の画像に対する２つ以上の加重誤差値を用い、それら両方を同時に最適化するより複雑な誤差拡散計算が必要である。異なる画像用の表示画素の空間的多重化および各組用のデータ値の縮小したコントラスト範囲を用いて同様のエフェクトを生成する別の方法が、Ｋｉｍｅｔａｌ、‘Proceedings of the 2012 ACM annual conference on Human Factors in Computing Systems’の“Enabling concurrent dual views on common LCD screens”（ＣＨＩ'１２）ｐｐ２１７５−２１８４、２０１２年５月５−１０日、に記載されている。しかしながら、各画像の情報が表示画素の半分のみによって表されるので、画像の定義済み多重化による固定画素損失がこの方法によって起こる。
［発明の概要］
本発明の態様は、多視点液晶ディスプレイ（ＬＣＤ）装置における画像データ処理方法を含む。当該方法は、メイン画像用のメイン画像データを制御電子回路に入力する工程と、サブ画像用のサブ画像データを上記制御電子回路に入力する工程と、上記メイン画像および上記サブ画像の合成画像用の出力画像データを上記制御電子回路から出力する工程であって、当該出力画像データは液晶（ＬＣ）パネルにおける画素用の出力データ値を含む工程と含む。上記出力データ値は、多数組の利用可能な出力データ値から１組の利用可能な出力データ値を選択し、さらに当該選択された１組の利用可能な出力データ値から上記出力データ値を選ぶことによって決定され、軸上観察者は上記合成画像から上記メイン画像を認識し、軸外観察者は上記合成画像から上記サブ画像を認識する。現在処理の対象となっている対象画素には、当該対象画素の得られる輝度が当該対象画素の目標輝度を生成するために最も近い値となるように、又は上記入力値と閾値マップとの比較から決定される値となるように上記選択された１組の利用可能な出力データ値から上記出力データ値が選ばれる。

本発明の態様は、多視点液晶ディスプレイ（ＬＣＤ）装置を含む。当該ＬＣＤ装置は、画像データを表示するための画素を含む液晶パネル、およびメイン画像用の入力メイン画像データおよびサブ画像用の入力サブ画像データを受信する制御電子回路、を備える。上記制御電子回路は、上記メイン画像およびサブ画像の合成画像用の出力画像データを当該制御電子回路から出力してもよく、当該出力画像データは液晶（ＬＣ）パネルにおける画素用の出力データ値を含む。さらに、上記制御電子回路は、多数組の利用可能な出力データ値から１組の利用可能な出力データ値を選択し、さらに当該選択された１組の利用可能な出力データ値から出力データ値を選ぶことによって当該出力データ値を決定してもよく、軸上観察者は上記合成画像から上記メイン画像を認識し、軸外観察者は上記合成画像から上記サブ画像を認識する。

本発明は、パブリックおよびプライベートモード機能を有し、かつＬＣ層や画素電極配列に対する標準的なディスプレイからの変形を必要としない高品質ＬＣＤ表示装置を提供するという効果を奏する。上記装置は、上記パブリックモードにおいて実質的に変わらない性能（明るさ、コントラスト、を解像度等）を有しており、上記プライベートモードにおいては、全ての軸上輝度に対して実現可能な軸外輝度の最大範囲を有する強固なプライバシー効果、および簡素化された画像合成処理を有する。本発明は、多視点液晶ディスプレイ（ＬＣＤ）において画像データの処理を改善することにより、このような効果を実現する画像データ処理方法および表示装置を提供する。

上記目的および関連する目的を実現するために、本発明は以下に全て記載されている構成、特に請求項の範囲に示される構成を備える。以下の記載および添付の図面において、本発明の例示的実施形態が詳細に説明される。しかしながら、これらの実施形態は本発明の原理を採用できる様々な様式のうちの少数を示すものである。本発明の他の目的、効果、および新規の構成は、図面と共に考慮された上で以下の本発明の詳細な説明から明らかになるであろう。
［図面の簡単な説明］
添付の図面において、同様の参照記号は同様の部材または特徴を示す。

［図１］標準的なＬＣＤディスプレイパネルおよび対応する制御電子回路の例を概略的に示す図である。

［図２］本発明の一実施形態に係る、パブリック／プライベート視聴モードを切り替え可能なディスプレイを概略的に示す図である。

［図３］２つの画素の組み合わせを使用する際に従来のディスプレイによって生成可能な、軸上輝度空間に対する、利用可能な軸外輝度空間のプロットである。

［図４］４つの画素の組み合わせを使用する際に従来のディスプレイによって生成可能な、軸上輝度空間に対する、利用可能な軸外輝度空間のプロットである。

［図５］従来の誤差拡散画像処理方法を概略的に示す図である。

［図６］本発明の一実施形態に係る画像処理方法を示すプロセスフロー図である。

［図７］本発明の処理から生成された、例示的な一対の入力メインおよびサブ画像のための画像の外観図である。

［図８］異なるサブ画像値に対応する図７の処理によって生成される出力画像の領域のための軸外輝度の相違を軸上輝度の関数として示すグラフである。

［図９］本発明の別の実施形態に係る画像処理方法を示すプロセスフロー図である。

［図１０］異なるサブ画像値に対応する図９の処理によって生成される出力画像の領域のための軸外輝度の相違を軸上輝度の関数として示すグラフである。

［図１１］本発明のさらに別の実施形態に係る画像処理方法を示すプロセスフロー図である。
［発明を実施するための形態］
第１の例示的実施形態においては、表示装置は、制御電子回路を変更した、標準的な（１つの広視野（パブリック）モード専用の）ＬＣＤディスプレイを有している。一般的に、ＬＣＤディスプレイは、以下のものを少なくとも部分的に含む、いくつかの構成部材を有している。

１．パネルに対して均一かつ広角の照明を行うバックライトユニット。

２．デジタル画像データおよび画素毎の出力アナログ信号電圧、ならびにタイミングパルスおよび全ての画素の対向電極用の共通電圧を受信する制御電子回路。図１にＬＣＤ制御電子回路の標準的な配置を概略的に示す（ＥｒｎｓｔＬｕｅｄｅｒ，ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙｓ，ＷｉｌｅｙａｎｄｓｏｎｓＬｔｄ，２００１参照）。

３．空間光変調によって画像を表示する液晶（ＬＣ）パネルは、２つの対向するガラス基板を含み、そのうちの一方には、画素電極アレイおよびアクティブマトリックスアレイが配置されており、制御電子回路から受信した電子信号が画素電極へ送信される。他方の基板には、通常、不変の共通電極およびカラーフィルターアレイフィルムが配置されている。上記ガラス基板の間には、通常約２〜６ｕｍである所定の厚みの液晶層が含まれており、当該液晶層は、上記ガラス基板の内壁の配向層の存在によって位置合わせをしてもよい。上記ガラス基板は、交差した偏向フィルムおよび他の光学的補償フィルムの間に配置されることになり、ＬＣ層の各画素領域内における電気的に誘発された配向変化によって、上記バックライトユニットおよび周囲環境からの光に所望の光変調がかかり、これによって画像が生成される。

図２に本発明の表示装置の例示的実施形態を概略的に示す。一般的に、ＬＣＤ制御電子回路１（本明細書では制御電子回路とも称する）は、具体的にはＬＣパネル２の電気光学的特性のために構成されることになり、これにより、表示面に対して法線方向から観察する主観察者３（軸上）にとって表示画像の知覚品質、すなわち解像度、コントラスト、明るさ、応答時間等が最善の状態になるような形で入力画像データに依存する信号電圧が出力される。所定の画素の入力画像データ値とディスプレイに起因する観察輝度との関係は、従来技術では「ガンマ曲線」と称されるが、ディスプレイドライバの信号電圧マッピングに対するデータ値およびＬＣパネルの輝度応答に対する信号電圧の複合効果によって決定される。

一般的に、ＬＣパネル２は、表示ガンマ曲線を全ての視野角に対する軸上応答にできる限り近づけて維持するために、サブ画素毎の多数のＬＣ領域および／または受動の光学的補償フィルムと共に構成されることになり、これにより、広い視野領域４に対して、ほぼ同一の高品質の画像を提供する。しかしながら、液晶ディスプレイの電気光学的応答が角度的に依存するのは該液晶ディスプレイの自明の事項であり、軸外ガンマ曲線は、軸上ガンマ曲線とは必然的に異なることになる。このことによってコントラスト反転や大きな色ずれまたはコントラスト減少が引き起こされない限り、一般的に、このことが軸外観察者５にとっての観察画像における明らかな知覚欠陥につながるということにはならない。

本実施形態の装置がパブリックモードで作動しているとき、１つの画像を構成している１つの入力メイン画像データ７は、各フレーム期間に制御電子回路１に入力される。その後、上記制御電子回路は、１つのデジタル出力データ値またはアナログ出力信号データ電圧をＬＣパネル２に出力する（前者の場合では、上記デジタル出力データ値は、ＬＣパネル２に含まれる電子機器によってアナログ信号電圧に変換される）。これらの信号電圧のそれぞれが上記ＬＣパネルのアクティブマトリックスアレイによって対応する画素電極へ送信され、結果として生じる上記ＬＣ層における画素の集団電気光学応答によって画像が生成される。

上記制御電子回路は、全ての画素に対する処理に適用する、画素データまたは信号電圧（ルックアップテーブル）を出力するための、入力画素データ値の１つのマッピングを有している。場合によっては、ディスプレイの赤、緑、青のサブ画素に対して異なるルックアップテーブルを使用してもよいが、画像内の画素データの空間位置、またはディスプレイ内の画素電極に基づいて電圧を出力するための入力データのマッピングにばらつきはない。その結果、実質同一の画像が軸上観察者３および軸外観察者５によって知覚され、ディスプレイは広視野またはパブリック視野モードで作動していると言える。

上記装置がプライベートモードで作動しているとき、以下の２つの画像データがフレーム期間毎に制御電子回路１に入力される。上記２つの画像データとは、メイン画像を構成する入力メイン画像データ７およびサブ画像を構成する入力サブ画像データ８である。

その後、上記制御電子回路によって、先述のような信号データ電圧の組、上記ＬＣパネルにおける各画素の１つのデータ電圧を含む出力画像が生成される。しかしながら、現在、上記制御電子回路（ディスプレイ制御装置）は、誤差拡散または空間ディザリング処理を利用しており、合成画像を構成する、上記ＬＣパネルにおける各画素の出力データ値または信号データ電圧は、以下の１つ以上に基づいて、利用可能な出力データ電圧の組から選択される。

ａ．）メイン画像において（画像の空間位置の点で）対応する画素のデータ値。

ｂ．）画像における隣接した画素の出力データ値または信号電圧における相違または誤差、およびメイン画像によってそれらの画素に特定されるデータ値または信号電圧。

ｃ．）各画素のサブ画像データ値８または当該サブ画像データ値８および各画素のメイン画像データ値７のいずれかによって決定される、各画素の出力を選択する利用可能な出力データまたは信号電圧の組。

このように、標準的なＬＣＤ制御電子回路は、フレーム期間毎に１つの画像というよりむしろ２つの画像を受信、バッファに保存するように、また少なくとも第２の（サブ）画像データの組に依存する利用可能な出力値の組から画素毎に１つの出力データまたは信号電圧を選択するように、変更される。上記制御電子回路は、選択された出力データまたは信号電圧の間に結果として生じる相違または誤差、およびメイン画像のみに基づいて出力された当該相違または誤差を記憶装置に保存する。

その後、制御電子回路１からの出力電圧によって、ＬＣパネル２は、メイン観察者３が観察する際のメイン画像であり、同時に、軸外観察者５に対するＬＣパネルに特有の異なるガンマ曲線のためにこれらの軸外観察者５によって最も顕著にサブ画像として知覚される合成画像を表示する。知覚されたサブ画像は、メイン画像をぼやけさせ、および／または劣化させ、これにより、表示法線を中心とする円錐状に広がる制限された領域６内の観察者にメイン画像情報が結びつけられる。

上記の構成によれば、本発明の態様には、多視点液晶ディスプレイ（ＬＣＤ）における画像データ処理方法が含まれる。例示的実施形態では、当該方法には、メイン画像のメイン画像データを制御電子回路に入力するステップ、サブ画像のサブ画像データを上記制御電子回路に入力するステップ、および上記メイン画像およびサブ画像の合成画像の制御電子回路出力画像データから液晶（ＬＣ）パネル内の画素の出力データ値を有する出力画像データを出力するステップを含む。出力データ値は、多数の利用可能な出力データ値の組から１組の利用可能な出力データ値を選択し、選択した利用可能な出力データ値の組から出力データ値を選択することによって決定される。軸上観察者は、合成画像からメイン画像を知覚し、軸上観察者は、サブ画像として合成画像を知覚する。対象画素には、対象画素の得られる輝度が対象画素の目標輝度に最も近い、選択した利用可能な出力データ値の組から出力データ値が選択される。本発明の別の態様は、画像データを表示する画素を含む液晶パネル、および上記の画像処理を行う制御電子回路を含む多視点液晶ディスプレイ（ＬＣＤ）装置である。

例示的実施形態では、利用する誤差拡散方法は、周知のフロイド―スタインバーグ空間ディザリング法であり、各画素の利用可能な出力値の組は、明るい、入力サブ画像８内の空間的に対応する画素を有する画素の全ての出力値（典型的にはデータ値では０〜２５５、または同等の信号電圧）、および暗い、入力サブ画像８内の空間的に対応する画素を有する画素の最大値および最小値である０および２５５のみである。入力サブ画像８は、１ビットの色チャンネル画素データのみを含んでいてもよく、または、制御電子回路は、より高いビット深度のサブ画像を減少させ、この減少したビット深度によってサブ画像データを「明」および「暗」画素に簡単に分類することができるような追加の要素を備えていてもよい。

図５にフロイド―スタインバーグディザリング法の工程を示す。この図では、画像の画素上で、各列で順次左右に、１回に１列上下に、上記工程が行われることが示されている。画像の左上から始まり、対象出力値に最も近い利用可能な出力値の組が選択され、対象と出力との間の誤差を１６分の１に分割され、同図に示されている関係における対象画素の右および下に隣接した画素の現存する対象値に追加される。したがって、少なくとも２つの画素に加えて１列の対象データ値を保存できるぐらい大きなバッファメモリが必要とされる。本例示的実施形態では、対象データ値は、線形の輝度増加を表すようにガンマ補正されており、誤差拡散によって画像領域の全体の輝度がより正確に維持されている。そして、出力データ値には、ＬＣパネルに送信される前に再度ガンマ関数が適用される。しかしながら、これによって、さらに入力メイン画像データを輝度線形値に変換し、その後出力値を再変換しなければならなくなるため、初期の対象値として変更されていないデータ値を使用し、データ値の点のみで誤差を計算し、拡散させる、より簡便な方法を使用してもよい。このような処理では、誤差および目標輝度は、輝度に変換されるのではなく画像データ値として保持される。

図６に上述の例示的実施形態の全部の工程を示す。図６には、出力画像の各画素がどのようにフロイド―スタインバーグ法と同じ順番で順次生成されるかが示されている。一般的に、出力データ値は、対象画素の得られる輝度が対象画素の目標輝度に最も近い、選択された利用可能な出力データ値の組から、対象画素に対して選択される。各画素が順番に処理されるにつれて、対応するメイン画像の画素データ値が入力され、対象出力輝度がある程度決定される。また、対象画素に拡散された画像内の前に処理された画素からの輝度誤差がバッファメモリから呼び出され、対象出力輝度を完全なものとするためにメイン画像データによって特定される画素輝度と組み合わせられる。そして、利用可能な出力画像値は、サブ画像に依存して決定される。続いて、その画素の対象出力輝度に最も近い輝度を生じさせる出力値がその画素の出力値として選択される。その後、得られた出力輝度と目標輝度との誤差が計算され、フロイド-スタインバーグ法によってこれから処理される画素の目標輝度に拡散される。そして、上記工程は、画像内の全ての画素が処理されるまで順番に次の画素に対して繰り返され、画像データの次のフレームが入力される。

この方法から、メイン画像についてのみ誤差を最小化するために出力画像値が選択されるので、軸上観察者に対するメイン画像の外観の保存状態がよいということがわかる。米国特許ＵＳ６８７０６４３にあるように、メイン画像のみならず第２の画像の誤差を最小化することを選択することによって出力値が低下しないので、空間解像度損失は最小化される。いくつかのサブ画像領域に与えられている利用可能な出力値の限られた組によって招かれた効果的な空間解像度損失が直ちに隣接した画素に拡散されるため、国際公開ＷＯ２００９１１０１２８Ａ１、さらには国際公開ＷＯ２０１００４７３７９Ａ１にも記載されているように、表示画素の半分だけがメイン画像情報を含み、空間解像度損失を軽減するための画像の前ボケが必要とされない、Ｋｉｍｅｔａｌ（ＣＨＩ'１２）の方法とは異なり、ディスプレイの全ての画素にメイン画像を表す情報が含まれている。さらに、国際公開ＷＯ２００９１１０１２８にあるように、入力サブ画像データは利用可能な出力値の組を選択するためだけに使用されるので、メイン画像およびサブ画像データのあらゆる組み合わせへの２つ以上の要素を有する拡張ルックアップテーブルは必要とされない。したがって、本発明は、従来の画像処理に比べて重要な利点を有している。

図７にこの方法によって例示的な一対の入力メインおよびサブ画像から生成された出力画像の外観を示す。サブ画像の暗領域に対応する出力画像の領域がフロイド―スタインバーグディザリング法の明暗画素の特徴的な任意に配列されたパターンを有している一方、サブ画像の明領域に対応する出力画像の領域はメイン画像から実質変更されていないように見えることがわかる。十分に高い解像度を有するパネル上で表示され、暗サブ画像領域のディザーパターニングは、細かすぎて典型的な視距離で観察者に知覚されず、軸上方向において画像は実質メイン画像として現れる。しかしながら、軸外では、表示ガンマ曲線の固有の視野角ばらつきのために、サブ画像は、しっかりと視覚に感じられ、メイン画像コンテンツを見えにくくする。

図８に、この方法によって生成された明暗サブ画像領域の軸上および軸外輝度を、軸上輝度の関数として表す。この図は、図３および４に示す国際公開ＷＯ２００９１１０１２８の先行技術の方法によって生成されたものと同等であり、暗サブ画像領域の正規化された軸外輝度が全ての画素の軸上輝度と同一であるため、本実施形態の方法によってもたらされるたいていの軸上輝度に対して改善された利用可能な軸外コントラストを明確に示す。

フロイド―スタインバーグディザリング処理の不要な結果は、最大および最小輝度に近接した一様な輝度を有するメイン画像領域、ならびに最大および最小輝度のみの利用可能な出力値について、累積誤差が５０％輝度を超え、周囲の出力値とは異なる出力値の画素が生成される前に処理を行うのに多数の画素を要する可能性があるということである。この結果、暗メイン画像領域における明画素の非常に乏しいパターン、同様にまばらにパターン形成された明メイン画像領域における暗画素が生じることになる。したがって、大きな画像領域は、目標輝度に一致した平均輝度をもたらすことが求められており、まばらなパターン形成は軸上観察者に見えすぎる可能性がある。しかしながら、このことは、利用可能な出力値のより大きな組を最小または最大輝度に近接したメイン画像の輝度を有する画素に対して割り当てることによって回避される可能性がある。これにより、このような画像領域の累積輝度誤差を隣接した画素のより小さな領域内で補正することができる。

図９にこの方法を使用し、対応画素のメイン画像およびサブ画像の両方の入力値に基づいて利用可能な出力値の組が選択される、さらに別の実施形態のプロセスフローを示す。図１０にこのような方法について得られる軸外対軸上輝度プロットを示す。この図には、まばらにパターン形成された対向画素の問題が、明暗メイン画素領域におけるあるプライバシー強度の少ない損失で解決することができることが示されている。実際には、この減少したプライバシー強度がたいていの典型的な画像コンテンツにとって重要ではないということがわかっている。

この問題に対する別の解決方法として、全誤差を隣接した画素に拡散させない誤差拡散ディザリング法が考えられる。周知の例として、誤差の８分の１を特定の画素から６つの周囲画素に均一に伝搬するアトキンソンディザリングが挙げられる。これは、ビットシフティングを使用した処理が非常に容易であるという利点があり、大部分が黒色または大部分が白色である画素に存在する問題を回避する。つまり、ある領域の輝度が一定の割合の最大値より小さい、または一定の割合の最大値より大きい場合、拡散誤差は、小さすぎて隣接した画素を反対側の輝度になる閾値まで全く到達させることができない。したがって、明パッチにおける黒点の一見ランダムな分布、または暗パッチにおける一連の白画素がなくなる。この種の利用可能な多数のさまざまなパターン、特に同一の誤差を均一に拡散させるものがあり、一方でさまざまな割合の全体の誤差をさまざまな画素に伝搬するものもある。誤差が伝搬される画素の数も重要である。すなわち、多数が所望されることが多いが、これにより、さらに大きなメモリの使用が求められる可能性がある。

さらに別の実施形態では、この同じ問題は、利用可能な出力値の拡張または増加した組を所定の割合の画像内の画素に対して割り当てることによって回避される。図１１に処理された各ｔ番目の画素にその画素のサブ画像データ値に関係なく利用可能な出力値の増加した組が提供される本実施形態の例のプロセスフローを示す。本実施形態では、暗サブ画像領域については、利用可能な出力値は、全ての画素が利用可能な、処理されるｔ番目の画素を除いて、最大値および最小値のみであってもよい。カウンタ値ｎは、処理された画素毎に増加し、ｔがｎより大きくなると１に戻され、１つの画素に任意の出力値が割り当てられてもよい画素群の所定の大きさである。したがって、この工程によって、設定されるｎがプライバシー強度と軸上解像度外観との間に所望の妥協をもたらすことが可能となる。同様に、増加したカウンタ値を使用するのではなく、空間位置座標（図６、９、および１１におけるｘおよびｙ）を使用し、画素に利用可能な出力値の増加した組を割り当てられるのかどうかを決定してもよい。

又は、さらに別の実施形態においては、誤差拡散ディザリングよりも有利な点が数点ある規則ディザリングアルゴリズムを利用してもよい。いくつかの周知の変形例が存在する規則ディザリング処理においては、上記メイン画像データは整数値の行列マスクに対して比較される。そして、当該メイン画像データ値が当該行列マスクにおける対応要素よりも高い画素については、当該画素は最大に設定され、当該メイン画像データ値が対応要素よりも低い画素については、当該画素は最小に設定される。この行列は、様々な輝度レベルにわたって視認可能なアーチファクトを低減するように配置された１６または６４の要素の正方行列であることが多い。そして、上記行列は１フレーム全体にわたって繰り返される。１６の要素の行列の場合、つまり上記表示電子回路の１列をスキャンする時、上記行列の当該行における４つの要素が、各画素が当該４つの要素の１つと比較されるように繰り返される。そして、次の行において、上記行列の次の行が使用され、それが続く。このようなディザリングの実行のために必要なメモリの重要性は非常に低いことは明らかである。上記行列の大きさを決定する際には、特に、ディザリングされて得られた画像の見かけのビット深度と、上記ディスプレイの画素密度に大きく依存するアーチファクトの視認性との妥協が考慮される。メモリおよび必要処理リソースの低減と共に、規則ディザーには以下のような利点がある。つまり、上記出力画像における明るい画素および暗い画素の関係はどの入力画素値においても常に一定である。したがって、映像入力については、類似した内容の連続したフレームのディザーパターンは、静止状態を保ち、また誤差拡散ディザリングの場合に起こり得る“ちらつき”が起こらない。

全ての種類のディザリングについて、プライバシーモード時のように、画像処理形式がディザリングデータから標準データへ切り替わるどの境界線にもアーチファクトが存在する。特に、実際はディザリング領域内ではない画素に向かってアルゴリズムによって誤差が伝搬される場合、当該領域の認識上の外観は不正確になる。これは、規則ディザリングおよび誤差拡散ディザリングに対して等しく同様である。誤差拡散ディザリングにおいては、この問題を補正するための２つの方法がある。１つ目の方法においては、誤差が伝搬される先の非ディザリング領域におけるどの画素についても、それらのデータ値を適宜調節することができる。しかし、最大または最少という２つの選択肢の代わりに、それらのデータ値はどのような値でもよい。２つ目の方法においては、誤差が非ディザリング画素に伝搬されないように、誤差伝搬カーネル（つまり、各画素から誤差が伝搬される方向および各対象画素に付与される重み付けの方向）を調節することができる。規則ディザリングにおいては、上記不正確さを補正するための主な方法として、以前のように非ディザリング領域上にはマスクが存在しないように、また行列マスクにおける適用された要素に均一のディザリング効果が付与されるように、上記行列マスクを調節する。これは、非一様なパターンのサブ画像、つまり行列マスクの不規則な部位に重複するサブ画像の場合に特に重要である。

なお、上記の実施形態で説明された処理方法の詳細について、本発明の範囲内で多くの変形が可能である。例えば、結果における誤差や対象出力輝度における誤差を拡散するために、上記フロイド−スタインバーグ法以外のいかなる既知のまたは今後開発される処理も使用できる。第２の画像が、処理された各画素または画素群の利用される組の選択の少なくとも一部に使用される限りは、本発明の範囲内において、いかなる数の組の利用可能な出力値および当該組内における出力値のいかなる組み合わせも利用できる。本発明はモノクロまたはカラーのコンポジットディスプレイに適用可能である。後者の場合、画素のデータ値、目標輝度値などが上述されているが、上記方法のそれぞれはカラーサブ画素に対して等しく適用可能である。また、上述の処理は、隣接する合成画素内における同種のカラーサブ画素に誤差値が拡散された状態で、各色チャンネルに別々に適用されてもよい。別の実施形態においては、上記サブ画像データは、当該サブ画像データが含むデータ値の数を各カラーチャンネルに対して２つまで低減するために上記出力データ値を決定する前に前処理される。

上記によれば、本発明の一態様は多視点液晶ディスプレイ（ＬＣＤ）装置における画像データ処理方法である。上記画像データ処理方法の実施形態は、メイン画像用のメイン画像データを制御電子回路に入力する工程と、サブ画像用のサブ画像データを上記制御電子回路に入力する工程と、上記メイン画像および上記サブ画像の合成画像用の出力画像データを上記制御電子回路から出力する工程であって、当該出力画像データは液晶（ＬＣ）パネルにおける画素用の出力データ値を含む工程と含む。上記出力データ値は、多数組の利用可能な出力データ値から１組の利用可能な出力データ値を選択し、さらに当該選択された１組の利用可能な出力データ値から上記出力データ値を選ぶことによって決定される。対象画素には、当該対象画素の得られる輝度が当該対象画素の目標輝度に最も近い値となるように、上記選択された１組の利用可能な出力データ値から上記出力データ値が選ばれる。

軸上観察者は上記合成画像から上記メイン画像を認識し、軸外観察者は上記合成画像から上記サブ画像を認識する。

上記画像データ処理方法の例示的実施形態において、上記出力データ値は上記ＬＣパネルの各画素用の出力信号データ電圧を含み、上記選択された１組の利用可能な出力データ値は、少なくとも上記サブ画像データに応じて上記多数組の利用可能な出力データ値から選択される。

上記画像データ処理方法の例示的実施形態において、上記対象画素の上記目標輝度は、当該対象画素の上記メイン画像データに基づき、および以前処理された画素における輝度誤差に基づく。

上記画像データ処理方法の例示的実施形態において、上記以前処理された画素における上記輝度誤差は、上記対象画素の上記目標輝度を決定するために、上記制御電子回路によってバッファに記憶され、また、当該バッファから読み出される。

上記画像データ処理方法の例示的実施形態において、上記誤差および目標輝度は、輝度に変換されるのではなく、画像データ値として保持される。

上記画像データ処理方法の例示的実施形態において、上記対象画素の上記得られた輝度と上記対象画素の上記目標輝度の誤差は、これから処理される画素用の目標輝度に拡散される。

上記画像データ処理方法の例示的実施形態において、上記選択された１組の利用可能な出力データ値は、上記サブ画像データおよび上記メイン画像データの両方に応じて上記多数組の利用可能な出力データ値から選択される。

上記画像データ処理方法の例示的実施形態において、上記選択された１組の利用可能な出力データ値は、上記サブ画像データ値ならびに画素列における画素の番号または上記メイン画像における当該画素の位置に応じて上記多数組の利用可能な出力データ値から選択される。

上記画像データ処理方法の例示的実施形態において、各画素用の上記選択された１組の利用可能な出力データ値は、上記入力サブ画像における明るい画素に空間的に対応する画素用の全ての出力値であり、上記入力サブ画像における暗い画素に空間的に対応する画素用の最大値および最小値のみである。

上記画像データ処理方法の例示的実施形態において、上記多数の利用可能な出力データ値は、（ｉ）上記メイン画像の画素に対応するデータ値、（ｉｉ）上記メイン画像における隣接した画素の出力データ値の相違または誤差および当該隣接した画素用に上記メイン画像によって特定される上記データ値または信号電圧の相違または誤差、および（ｉｉｉ）上記画素用のサブ画像データ値のみまたは当該サブ画像データ値および上記画素用の上記メイン画像データ値の両方、の少なくとも１つに基づく。

上記画像データ処理方法の例示的実施形態において、上記画素の一部に対して、増加した数の組の利用可能な出力データ値を付与する。

上記画像データ処理方法の例示的実施形態において、カウンタ値に基づいて決定されるｔ番目の画素のそれぞれに対して、増加した数の組の利用可能な出力データ値を付与する。

上記画像データ処理方法の例示的実施形態において、上記ＬＣパネルの空間座標によって、画素に対して増加した数の組の利用可能な出力データ値を付与するか否かを決定する。

上記画像データ処理方法の例示的実施形態において、上記サブ画像データは、当該サブ画像データが含むデータ値の数を各カラーチャンネルに対して２つまで低減するために上記出力データ値を決定する前に前処理される。

本発明の別の態様は、多視点液晶ディスプレイ（ＬＣＤ）装置である。当該ＬＣＤ装置は、画像データを表示するための画素を含む液晶パネル、およびメイン画像用の入力メイン画像データおよびサブ画像用の入力サブ画像データを受信する制御電子回路、を備える。上記制御電子回路は、上記メイン画像およびサブ画像の合成画像用の出力画像データを当該制御電子回路から出力し、当該出力画像データは液晶（ＬＣ）パネルにおける画素用の出力データ値を含む。上記制御電子回路は、多数組の利用可能な出力データ値から１組の利用可能な出力データ値を選択し、さらに当該選択された１組の利用可能な出力データ値から出力データ値を選ぶことによって当該出力データ値を決定する。軸上観察者は上記合成画像から上記メイン画像を認識し、軸外観察者は上記合成画像から上記サブ画像を認識する。

ＬＣＤ装置の例示的実施形態において、ＬＣＤ装置は、上記ＬＣパネルにおける上記画素用の目標輝度を記憶するためのバッファをさらに備え、対象画素には、当該対象画素の得られる輝度が当該対象画素の目標輝度に最も近い値となるように、上記選択された１組の利用可能な出力データ値から上記出力データ値が選ばれる。

ＬＣＤ装置の例示的実施形態において、上記対象画素の上記目標輝度は、当該対象画素の上記メイン画像データに基づき、および以前処理された画素における輝度誤差に基づき、上記以前処理された画素における上記輝度誤差は、上記対象画素の上記目標輝度を決定するために、上記制御電子回路によって上記バッファに記憶され、また、当該バッファから読み出される。

ＬＣＤ装置の例示的実施形態において、上記対象画素の上記得られた輝度と上記対象画素の上記目標輝度の誤差は、これから処理される画素用の目標輝度に拡散される。
〔付記事項〕
合成画像用の出力画像データは液晶（ＬＣ）パネルにおける画素用の出力データ値を含む。上記出力データ値は、多数組の利用可能な出力データ値から１組の利用可能な出力データ値を選択し、さらに当該選択された１組の利用可能な出力データ値から上記出力データ値を選ぶことによって決定される。上記選択された１組の利用可能な出力データ値は、少なくともサブ画像データに応じて多数組の利用可能な出力データ値から選択される。上記出力データ値は上記ＬＣパネルの画素用の信号データ電圧を含む。現在処理されているある画素用には、当該対象画素の得られる輝度が当該対象画素の目標輝度に最も近くなるように、上記選択された１組の利用可能な出力データ値から上記出力データ値が選ばれる。上記対象画素の上記目標輝度は、当該対象画素の上記メイン画像データに基づき、および以前処理された画素における輝度誤差に基づく。上記輝度誤差は、上記制御電子回路によってバッファに記憶されると共に当該バッファから読み出される。
［産業上の利用可能性］
本発明の実施形態は多数の表示装置に適用可能であり、ユーザにとって有益な点として、プライバシーが望まれる公衆のある場面で、通常は広視野なディスプレイにおいてプライバシー機能を選択することができる。そのような装置の例としては、携帯電話、携帯情報端末（ＰＤＡ）、タブレット、ノートパソコン、デスクトップモニタ、現金自動預け払い機（ＡＴＭ）、および電子式販売時点情報管理システム（ＥＰＯＳ）機器が挙げられる。そのような装置の有用な点として、気が散って危険な状況にある特定の観察者（例えば、運転手や重機械の操縦者）が、特定の画像を特定のタイミング（例えば、移動中の車の車載テレビ画面）で見ることができる。
［符号の説明］
１ＬＣＤ制御電子回路
２液晶パネル
３主観察者
４パブリックモードにおけるメイン画像の視認角度範囲
５軸外観察者
６プライベートモードにおけるメイン画像の視認角度範囲
７入力メイン画像データ
８入力サブ画像データ

標準的なＬＣＤディスプレイパネルおよび対応する制御電子回路の例を概略的に示す図である。本発明の一実施形態に係る、パブリック／プライベート視聴モードを切り替え可能なディスプレイを概略的に示す図である。２つの画素の組み合わせを使用する際に従来のディスプレイによって生成可能な、軸上輝度空間に対する、利用可能な軸外輝度空間のプロットである。４つの画素の組み合わせを使用する際に従来のディスプレイによって生成可能な、軸上輝度空間に対する、利用可能な軸外輝度空間のプロットである。従来の誤差拡散画像処理方法を概略的に示す図である。本発明の一実施形態に係る画像処理方法を示すプロセスフロー図である。本発明の処理から生成された、例示的な一対の入力メインおよびサブ画像のための画像の外観図である。異なるサブ画像値に対応する図７の処理によって生成される出力画像の領域のための軸外輝度の相違を軸上輝度の関数として示すグラフである。本発明の別の実施形態に係る画像処理方法を示すプロセスフロー図である。異なるサブ画像値に対応する図９の処理によって生成される出力画像の領域のための軸外輝度の相違を軸上輝度の関数として示すグラフである。本発明のさらに別の実施形態に係る画像処理方法を示すプロセスフロー図である。

Claims

多視点液晶ディスプレイ（ＬＣＤ）装置における画像データ処理方法であって、
メイン画像用のメイン画像データを制御電子回路に入力する工程と、
サブ画像用のサブ画像データを上記制御電子回路に入力する工程と、
上記メイン画像および上記サブ画像の合成画像用の出力画像データを上記制御電子回路から出力する工程であって、当該出力画像データは液晶（ＬＣ）パネルにおける画素用の出力データ値を含む工程と含み、
上記出力データ値は、多数組の利用可能な出力データ値から１組の利用可能な出力データ値を選択し、さらに当該選択された１組の利用可能な出力データ値から上記出力データ値を選ぶことによって決定され、
軸上観察者は上記合成画像から上記メイン画像を認識し、軸外観察者は上記合成画像から上記サブ画像を認識し、
現在処理の対象となっている対象画素には、当該対象画素の得られる輝度が当該対象画素の目標輝度を生成するために最も近い値となるように、又は上記入力値と閾値マップとの比較から決定される値となるように上記選択された１組の利用可能な出力データ値から上記出力データ値が選ばれることを特徴とする画像データ処理方法。
上記出力データ値は上記ＬＣパネルの各画素用の出力信号データ電圧を含み、上記選択された１組の利用可能な出力データ値は、少なくとも上記サブ画像データに応じて上記多数組の利用可能な出力データ値から選択されることを特徴とする請求項１に記載の画像データ処理方法。
上記対象画素の上記目標輝度は、当該対象画素の上記メイン画像データおよび以前処理された画素における輝度誤差に基づくことを特徴とする請求項１に記載の画像データ処理方法。
上記以前処理された画素における上記輝度誤差は、上記対象画素の上記目標輝度を決定するために、上記制御電子回路によってバッファに記憶され、また、当該バッファから読み出されることを特徴とする請求項３に記載の画像データ処理方法。
上記誤差および目標輝度は、輝度に変換されるのではなく、画像データ値として保持されることを特徴とする請求項４に記載の画像データ処理方法。
上記対象画素の上記得られた輝度と上記対象画素の上記目標輝度の誤差を、これから処理される画素用の目標輝度に拡散することを特徴とする請求項４に記載の画像データ処理方法。
上記１組の利用可能な出力データ値は上記サブ画像の少なくとも１つの値のための全てのデータ値であり、また、少なくとも１つの異なるサブ画像データ値用に、上記メイン画像入力データ値に適応された閾値マップを使用する規則ディザリング処理によって上記出力データ値は縮小された組の利用可能な値から選択されることを特徴とする請求項２に記載の画像データ処理方法。
上記選択された１組の利用可能な出力データ値は、上記サブ画像データおよび上記メイン画像データの両方に応じて上記多数組の利用可能な出力データ値から選択されることを特徴とする請求項２から７までの何れか１項に記載の画像データ処理方法。
上記選択された１組の利用可能な出力データ値は、上記サブ画像データ値ならびに画素列における画素の番号または上記メイン画像における当該画素の位置に応じて上記多数組の利用可能な出力データ値から選択されることを特徴とする請求項２から７までの何れか１項に記載の画像データ処理方法。
各画素用の上記選択された１組の利用可能な出力データ値は、上記入力サブ画像における明るい画素に空間的に対応する画素用の全ての出力値であり、上記入力サブ画像における暗い画素に空間的に対応する画素用の最大値および最小値のみであることを特徴とする請求項１から９までの何れか１項に記載の画像データ処理方法。
上記多数の利用可能な出力データ値は、（ｉ）上記メイン画像の対応する画素のデータ値、（ｉｉ）上記メイン画像における隣接した画素の出力データ値と、当該隣接した画素用に上記メイン画像によって特定される上記データ値または信号電圧との相違または誤差、および（ｉｉｉ）上記画素用のサブ画像データ値のみまたは当該サブ画像データ値および上記画素用の上記メイン画像データ値の両方、の少なくとも１つに基づくことを特徴とする請求項１から１０までの何れか１項に記載の画像データ処理方法。
上記画素の一部に対して、増加した数の組の利用可能な出力データ値を付与することを特徴とする請求項１から１１までの何れか１項に記載の画像データ処理方法。
カウンタ値に基づいて決定されるｔ番目の画素のそれぞれに対して、増加した数の組の利用可能な出力データ値を付与することを特徴とする請求項１２に記載の画像データ処理方法。
上記ＬＣパネルの空間座標によって、画素に対して増加した数の組の利用可能な出力データ値を付与するか否かを決定することを特徴とする請求項１２に記載の画像データ処理方法。
上記サブ画像データは、当該サブ画像データが含むデータ値の数を各カラーチャンネルに対して２つまで低減するために上記出力データ値を決定する前に前処理されることを特徴とする請求項１から１４までの何れか１項に記載の画像データ処理方法。
画像データを表示するための画素を含む液晶パネル、および
メイン画像用の入力メイン画像データおよびサブ画像用の入力サブ画像データを受信する制御電子回路、を備える多視点液晶ディスプレイ（ＬＣＤ）装置であって、
上記制御電子回路は、上記メイン画像およびサブ画像の合成画像用の出力画像データを当該制御電子回路から出力し、当該出力画像データは液晶（ＬＣ）パネルにおける画素用の出力データ値を含み、
上記制御電子回路は、多数組の利用可能な出力データ値から１組の利用可能な出力データ値を選択し、さらに当該選択された１組の利用可能な出力データ値から出力データ値を選ぶことによって当該出力データ値を決定し、
軸上観察者は上記合成画像から上記メイン画像を認識し、軸外観察者は上記合成画像から上記サブ画像を認識することを特徴とする多視点液晶ディスプレイ（ＬＣＤ）装置。
上記ＬＣパネルにおける上記画素用の目標輝度を記憶するためのバッファをさらに備え、
現在処理の対象となっている対象画素には、当該対象画素の得られる輝度が当該対象画素の目標輝度に最も近い値となるように、上記選択された１組の利用可能な出力データ値から上記出力データ値が選ばれることを特徴とする請求項１６に記載のＬＣＤ装置。
上記対象画素の上記目標輝度は、当該対象画素の上記メイン画像データに基づき、および以前処理された画素における輝度誤差に基づき、
上記以前処理された画素における上記輝度誤差は、上記対象画素の上記目標輝度を決定するために、上記制御電子回路によって上記バッファに記憶され、また、当該バッファから読み出されることを特徴とする請求項１７に記載のＬＣＤ装置。
上記対象画素の上記得られた輝度と上記対象画素の上記目標輝度の誤差は、これから処理される画素用の目標輝度に拡散されることを特徴とする請求項１８に記載のＬＣＤ装置。