JP2013254358A

JP2013254358A - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP2013254358A
Application number: JP2012129680A
Authority: JP
Inventors: Tomoya Narita; 智也成田; Soichi Konami; 宗一小波
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-06-07
Filing date: 2012-06-07
Publication date: 2013-12-19
Anticipated expiration: 2032-06-07
Also published as: US20150116203A1; JP6007600B2; WO2013183206A1

Abstract

【課題】人間の目の特性を考慮した効果的な画像処理を行うことが可能な画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】表示されている画像コンテンツにおけるユーザの注視点を特定する特定部と、前記特定された注視点に応じ、輝度が異なる複数の画像コンテンツを用いて前記表示されている画像コンテンツの輝度調整を行う画像処理部と、を備える、画像処理装置。
【選択図】図３

Description

本開示は、画像処理装置、画像処理方法およびプログラムに関する。

近年、写真や、映画、録画番組等の画像コンテンツを、家庭用テレビジョンやパーソナルコンピュータ、フォトスタンド、スマートフォン、携帯端末、ゲーム機、タブレット端末等で再生し、手軽に楽しむことができる。

また、近日、表示部を見ているユーザの視線を検出するセンサを用いて、ユーザの視線に応じた表示制御が行われている。例えば、下記特許文献１では、複数の画像（オブジェクト）を同時に並べて表示する場合に、ユーザの視線に基づいて、複数のオブジェクトを一目で確認できるよう各オブジェクトの表示位置を制御する技術が提案されている。

特開２００９−２５１３０３号公報

ここで、人間の視野には、「中心視」と「周辺視」という二つの視野領域がある。このうち「中心視」は、中心窩で受ける視野領域であって、高精細でかつ色覚が優れている。一方、「周辺視」は、中心視の周囲の領域であって、中心視に比べて明るさの感度は高いが、色覚の再現性は劣る。なお、ユーザの視野の中心点に近い領域を「中心視領域」、ユーザの周辺視で認識可能な視野領域を「周辺視領域」と称す。

このように、人間の目の中心視は周辺視より色覚が優れ、明るさの感度が低いといった特性を有するが、写真や動画等の画像コンテンツを表示する際、このような人間の目の特性を補う画像処理を行うことについては、特許文献１では何ら記載されていない。

そこで、本開示では、人間の目の特性を考慮した効果的な画像処理を行うことが可能な、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。

本開示によれば、表示されている画像コンテンツにおけるユーザの注視点を特定する特定部と、前記特定された注視点に応じ、輝度が異なる複数の画像コンテンツを用いて前記表示されている画像コンテンツの輝度調整を行う画像処理部と、を備える、画像処理装置が提供される。

また、本開示によれば、表示されている画像コンテンツにおけるユーザの注視点を特定するステップと、前記特定された注視点に応じ、輝度が異なる複数の画像コンテンツを用いて前記表示されている画像コンテンツの輝度調整を行うステップと、を含む、画像処理方法が提供される。

また、本開示によれば、表示されている画像コンテンツにおけるユーザの注視点を特定する処理と、前記特定された注視点に応じ、輝度が異なる複数の画像コンテンツを用いて前記表示されている画像コンテンツの輝度調整を行う処理と、をコンピュータに実行させる、プログラムが提供される。

以上説明したように本開示によれば、人間の目の特性を考慮した効果的な画像処理を行うことができる。

本開示の一実施形態による画像処理システムの概要を説明するための図である。本開示の一実施形態による表示装置の構成を示すブロック図である。本開示の一実施形態による画像処理システムの動作処理を示すフローチャートである。第１の実施形態による画像処理を説明するための図である。ＨＤＲの輝度調整において用いられる輝度が異なる複数の画像コンテンツの一例を示す図である。第２の実施形態による白とび領域注視時のＨＤＲの輝度調整を説明するための図である。第２の実施形態による黒潰れ領域注視時のＨＤＲの輝度調整を説明するための図である。第３の実施形態による明順応の再現を説明するための図である。第４の実施形態による視線検出による輪郭調整について説明するための図である。第５の実施形態による視線検出による字幕表示について説明するための図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って本開示を説明する。
１．画像処理システムの基本事項
１−１．概要
１−２．表示装置の構成
１−３．動作処理
２．各実施形態
２−１．第１の実施形態
２−２．第２の実施形態
２−３．第３の実施形態
２−４．第４の実施形態
２−５．第５の実施形態
３．むすび

また、本開示による技術は、一例として「２−１．第１の実施形態」〜「２−５．第５の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、画像処理装置としての機能を含む各実施形態による表示装置１は、
Ａ．表示されている画像コンテンツにおけるユーザの注視点を特定する特定部（１１）と、
Ｂ．前記特定された注視点に応じ、輝度が異なる複数の画像コンテンツを用いて前記表示されている画像コンテンツの輝度調整を行う画像処理部（１３）と、
を備える。

以下では、まず、このような各実施形態において共通する画像処理システムの基本事項について図１〜図３を参照して説明する。

＜１．画像処理システムの基本事項＞
［１−１．概要］
図１は、本開示の一実施形態による画像処理システムの概要を説明するための図である。図１に示したように、本開示の一実施形態による画像処理システムは、表示装置１および視線検出用のセンサ２を備える。

図１に示したように、表示装置１は、静止画または動画といった画像コンテンツが表示される表示部１９を備える。表示装置１は、表示部１９を見ているユーザの注視点Ｍを、センサ２による検出結果に基づいて特定する。また、表示装置１は、注視点Ｍに応じて、より効果的に画像コンテンツを表現するよう画像処理を行う。

視線検出用のセンサ２は、ユーザの瞳孔の向きや動き等を検出するためのカメラと、ユーザまでの距離を測定するための装置などから成る。表示装置１は、これらのセンサ２からの情報（検出結果）を基に、表示部１９を見ているユーザの視線の中心点（以下、注視点と称す）Ｍを特定する。

ここで、上述したように、人間の目の中心視は周辺視より色覚が優れ、明るさの感度が低いといった特性を有する。

そこで、上記事情を一着眼点にして本開示の各実施形態による表示装置１を創作するに至った。本開示の各実施形態による表示装置１は、ユーザの注視点に応じて画像処理することで、人間の目の特性を考慮した効果的な画像処理を行うことが可能である。以下、このような本開示の各実施形態に共通する表示装置１の構成について説明する。

なお、図１では、本開示による画像処理装置の一例として表示装置１を示したが、本開示による画像処理装置はかかる例に限定されない。例えば、本開示による画像処理装置は、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）、ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）、家庭用ゲーム機器、携帯電話、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。また、本開示による画像処理装置は、映画館や公共の場に設置されているディスプレイであってもよい。

［１−２．表示装置の構成］
図２は、本開示の一実施形態による表示装置１の構成を示すブロック図である。図２に示したように、第１の実施形態による表示装置１は、特定部１１、画像処理部１３、画像メモリ１５、表示制御部１７、および表示部１９を備える。

（特定部）
特定部１１は、センサ２からの情報（検出結果）を基に、表示部１９を見ているユーザの視線の注視点Ｍを特定する。特定部１１は、特定した注視点Ｍの位置情報を、画像処理部１３に出力する。

（画像処理部）
画像処理部１３は、特定部１１により特定された注視点Ｍの位置に応じて、表示部１９に表示する画像コンテンツに対して輝度調整等の画像処理を行う。この際、画像処理部１３は、画像メモリ１５に予め記憶されている画像コンテンツ、または表示している画像コンテンツを基に生成した画像コンテンツを用いて画像処理を行ってもよい。なお、画像処理部１３による具体的な画像処理の内容については、「２．各実施形態」において詳細に説明する。

（画像メモリ）
画像メモリ１５は、写真や映像（録画番組、映画、ビデオ）等の画像コンテンツを記憶する記憶部である。また、画像メモリ１５には、画像処理部１３による画像処理に用いられる画像コンテンツ（例えば、元画像コンテンツと輝度が異なる画像コンテンツ）が予め記憶されていてもよい。

（表示制御部）
表示制御部１７は、画像処理部１３により輝度調整等が行われた画像コンテンツを表示部１９に表示するよう制御する。

（表示部）
表示部１９は、表示制御部１７の制御に従って、画像コンテンツを表示する。また、表示部１９は、例えばＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、またはＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔ−ＥｍｉｔｔｉｎｇＤｉｏｄｅ）等により実現される。

［１−３．動作処理］
次に、本開示の一実施形態による画像処理システムの動作処理について図３を参照して説明する。

図３は、本開示の一実施形態による画像処理システムの動作処理を示すフローチャートである。図３に示すように、まず、ステップＳ１０３において、表示部１９は、表示制御部１７の制御に従って、画像メモリ１５に記憶されている画像コンテンツを表示する。

次いで、ステップＳ１０６において、特定部１１は、センサ２により検出された情報に基づいて、表示部１９を見ているユーザの注視点Ｍを特定する。

次に、ステップＳ１０９において、画像処理部１３は、特定部１１により特定された注視点に応じて、表示している画像コンテンツの画像処理を実施する。ここで、画像処理部１３は、画像メモリ１５に予め記憶されている画像コンテンツを用いて画像処理を行ってもよいし、表示している画像コンテンツに基づいて生成した画像コンテンツを用いて画像処理を行ってもよい。例えば、画像処理部１３は、画像コンテンツにおいて、ユーザの注視点Ｍに対応する部分の輝度を周囲の輝度より高く調整したり、ユーザの注視点Ｍに対応する部分のコントラストを最適化したり等の画像処理を行う。

次いで、ステップＳ１１２において、表示制御部１７は、画像処理した画像コンテンツを表示部１９に表示するよう制御する。これにより、本実施形態による表示装置１は、ユーザの注視点Ｍに応じて輝度調整等を行い、より効果的な画像コンテンツを表現することができる。

次に、ステップＳ１１５において、画像処理部１３は、特定部１１により継続的に特定される注視点Ｍの位置が、移動したか否かを判断する。

次いで、注視点Ｍが移動している場合（Ｓ１１５／Ｙｅｓ）、ステップＳ１１８において、画像処理部１３は、注視点Ｍの移動量が閾値ｔｈを上回ったか否かを判断する。

続いて、注視点Ｍの移動量が閾値ｔｈを上回った場合（Ｓ１１８／Ｙｅｓ）、ステップＳ１０９において、画像処理部１３は、再度注視点Ｍに応じて画像処理を行う。

そして、表示装置１は、ステップＳ１２１において、画像コンテンツの表示を終了するか否かを判断し、終了するまで上述したＳ１０９〜Ｓ１１８の処理を繰り返す。

以上、本開示の一実施形態による基本事項について詳細に説明した。続いて、上記ステップＳ１０９に示す画像処理部１３の注視点Ｍに応じた画像処理について、以下複数の実施形態を用いて具体的に説明する。

＜２．各実施形態＞
［２−１．第１の実施形態］
上述したように、人間の目の中心視は周辺視より色覚が優れ、明るさの感度が低く、また、周辺視は中心視より明るさの感度が高く、色覚が劣るといった特性を有する。この特性を補うために、第１の実施形態による画像処理部１３は、画像コンテンツにおいて、ユーザの注視点Ｍを中心とする中心視領域に対応する部分の輝度を上げ、かつ、周辺視領域の彩度を上げる画像処理を行う。これにより、本実施形態による表示装置１は、ユーザの視野中心部分（中心視領域）の明度を確保しながら、画像コンテンツ全体の鮮やかさを確保した画像を提示することができる。

このような第１の実施形態による画像処理の実現方法は特に限定しないが、例えば画像処理部１３は、図４に示すような方法で実現してもよい。

図４は、第１の実施形態による画像処理を説明するための図である。図４に示すように、元画像コンテンツ２０（例えば写真データ）がある場合に、まず、画像処理部１３は、元画像コンテンツ２０より輝度を上げた画像コンテンツ２２、および元画像コンテンツ２０より彩度を上げた画像コンテンツ２４を生成する。なお、画像処理部１３は、画像処理に用いる各画像コンテンツ２２、２４を予め生成して画像メモリ１５に記憶しておいてもよいし、画像処理時に生成してもよい。

次に、画像処理部１３は、円形で輪郭をぼかしたクリッピングマスクを、輝度を上げた画像コンテンツ２２におけるユーザの注視点Ｍに対応する位置を中心に配置し、画像コンテンツ２２を切り抜き、図４に示すように、切り抜き画像２６を取得する。なお、クリッピングマスクの半径は、ユーザから表示部１９までの距離（視認距離）に比例し、視認距離が短い程、半径が長くされてもよい。なお、クリッピングマスクの形は円形に限定されない。また、クリッピングマスクの大きさはユーザの中心視領域と略同じ大きさであってもよい。

次いで、画像処理部１３は、図４に示すように、切り抜き画像２６を、彩度を上げた画像コンテンツ２４のユーザの注視点Ｍに対応する位置を中心に重畳して画像コンテンツ２８を生成する。このように生成（輝度・彩度調整）された画像コンテンツ２８は、ユーザの注視点Ｍを中心とした中心視領域に対応する部分が元画像コンテンツ２０より高輝度であって、また、周辺視領域に対応する部分が元画像コンテンツ２０より高彩度となる。

これにより、本実施形態による表示装置１は、中心視が周辺視より明るさの感度が低く、また、周辺視は中心視より色覚が劣るといった人間の目の特性を補うことができる。すなわち、表示装置１は、中心視領域の明度、および周辺視領域の彩度を確保した画像コンテンツ２８をユーザに提示することができる。

なお、上述したように、図３に示すステップＳ１０９〜Ｓ１１８の処理は継続的に行われるので、画像処理部１３は、画像コンテンツ２８において明度が確保される部分をユーザの視線移動（注視点Ｍの移動）に応じてリアルタイムに更新することが可能である。

［２−２．第２の実施形態］
次に、ハイダイナミック合成画像における、ユーザの注視点に応じたコントラストの最適化について説明する。通常、ハイダイナミック合成画像を生成する際には、図５に示すように、適正露出の画像コンテンツ３２、適正より低い露出アンダーの画像コンテンツ３０、および適正より高い露出オーバーの画像コンテンツ３４が用いられる。なお、このような画像コンテンツ３０〜３４は、撮影時に露光感度を変えて連写されたものである（ハイダイナミックレンジ撮影）。

通常のハイダイナミック合成では、適正露出の画像コンテンツ３２の中で白とび領域および黒潰れ領域が算出され、白飛び領域には露出アンダーの画像コンテンツ３０、黒潰れ領域には露出オーバーの画像コンテンツ３４がそれぞれ適用される。このようにして、ハイダイナミック合成では、画像コンテンツ全体のダイナミックレンジ（以下、ＨＤＲとも称す）が一定の範囲内に収まるよう処理される。

しかしながら、通常のハイダイナミック合成では、画像コンテンツ全体のＨＤＲを一定の範囲内に抑え込むために全体のコントラストが低くなり、また、部分ごとにコントラストを上げた特殊な表現となるので、本物の状態に劣り、不自然であった。

そこで、第２の実施形態による画像処理部１３は、ユーザの注視点に応じて、中心視領域のコントラストを確保するよう画像コンテンツ全体の輝度調整を行うことで、ダイナミックレンジを確保しながら、より自然に表現できる。以下、第２の実施形態によるユーザの注視点に応じたＨＤＲの輝度調整について図６〜７を参照して具体的に説明する。

まず、本実施形態によるＨＤＲの輝度調整においても、図５に示すような輝度が異なる複数の画像コンテンツ３０〜３４が用いられ、これらは予め画像メモリ１５に記憶されていてもよい。

（白とび領域注視時）
図６は、第２の実施形態による白とび領域注視時のＨＤＲの輝度調整を説明するための図である。

図６の上に示すように、特定部１１により特定されたユーザの注視点Ｍに対応する位置が、適正露出の画像コンテンツ３２における白とび領域４０の範囲内である場合、画像処理部１３は、露出アンダーの画像コンテンツ３０を用いて輝度調整を行う。

より具体的には、画像処理部１３は、適正露出の画像コンテンツ３２より輝度が低い画像コンテンツ３０に基づいて、画像コンテンツのコントラストを最適化する。これにより、図６の下に示す画像コンテンツ３６のように、ユーザの注視点Ｍの周辺（中心視領域）が、より自然な表現となる。

なお、画像コンテンツ３６上の注視点Ｍは、説明の便宜上示したものであり、実際に画像コンテンツ３６が表示部１９に表示される場合には示されない。

また、輝度が低い画像コンテンツ３０に基づいて画像コンテンツのコントラストが最適化された場合、図６の画像コンテンツ３６に示すように、暗い部分がさらに黒潰れする可能性もあるが、ユーザが注視している部分ではないので、特に影響はない。

また、画像処理部１３は、輝度が低い画像コンテンツ３０に基づいてコントラスト最適化を行った画像コンテンツ３６の他、輝度が低い画像コンテンツ３０自体に表示を切り替えるよう表示制御部１７に指示してもよい。

（黒潰れ領域注視時）
図７は、第２の実施形態による黒潰れ領域注視時のＨＤＲの輝度調整を説明するための図である。

図７の上に示すように、特定部１１により特定されたユーザの注視点Ｍに対応する位置が、適正露出の画像コンテンツ３２における黒潰れ領域４２の範囲内である場合、画像処理部１３は、露出オーバーの画像コンテンツ３４を用いて輝度調整を行う。

より具体的には、画像処理部１３は、適正露出の画像コンテンツ３２より輝度が高い画像コンテンツ３４に基づいて、画像コンテンツのコントラストを最適化する。これにより、図７の下に示す画像コンテンツ３８のように、ユーザの注視点Ｍの周辺（中心視領域）が、より自然な表現となる。

なお、画像コンテンツ３８上の注視点Ｍは、説明の便宜上示したものであり、実際に画像コンテンツ３８が表示部１９に表示される場合には示されない。

また、輝度が高い画像コンテンツ３４に基づいて画像コンテンツのコントラストが最適化された場合、図７の画像コンテンツ３６に示すように、明るい部分がさらに白とびする可能性もあるが、ユーザが注視している部分ではないので、特に影響はない。

また、画像処理部１３は、輝度が高い画像コンテンツ３４に基づいてコントラスト最適化を行った画像コンテンツ３８の他、輝度が高い画像コンテンツ３４自体に表示を切り替えるよう表示制御部１７に指示してもよい。

以上説明したように、本実施形態による画像処理部１３は、ユーザの注視点Ｍが、適正露出の画像コンテンツ３２における白とび／黒潰れのいずれの領域に位置するかに応じて、各々適切な輝度調整が行われる。また、本実施形態による画像処理部１３は、注視点Ｍ周辺のコントラストが最適になるようヒストグラム調整を行えばよく、全体を一定のダイナミックレンジに抑え込むための不自然な合成は不要となる。

なお、上述したように、図３に示すステップＳ１０９〜Ｓ１１８の処理は継続的に行われるので、画像処理部１３は、ユーザの視線移動（注視点Ｍの移動）に応じてリアルタイムにＨＤＲの輝度調整を行うことが可能である。

［２−３．第３の実施形態］
次に、本開示の第３の実施形態では、動画像において、明順応／暗順応を表現するよう輝度調整を行うことで、より効果的な画像コンテンツを提示する。

例えば、暗いトンネルの中から明るい外に出る様子を撮影した場合、通常、図８の上に示す映像５０のように、トンネル内は暗く、外は明るく表示される。しかしながら、実際撮影時には外光が非常に眩しく感じられ、徐々に視界が回復する明順応が生じる場合があるところ、映像５０では眩しさが感じられない。

そこで、本実施形態による表示装置１は、撮影時に所定値以上の照度あるいは急激な外光の明転が感知されていた場合、再生時に明順応を再現することで、より本物の状態に近い自然な表現を実現することができる。

なお、動画中のどのフレームにおいて明順応を再現するか否かについて、画像処理部１３は、例えば所定値以上の照度あるいは急激な外光の明転が感知されたことを示す明転情報が動画中のフレームに対応付けられているか否かにより判断してもよい。

具体的には、画像処理部１３は、明転情報が対応付けられているフレームを再生する場合、図８の下に示す映像５２のように、特定された注視点Ｍの周囲（中心視領域）は元の画像のまま、周辺視領域の輝度を著しく（所定値以上）上げるよう輝度調整する。

これにより、映像５２を見ているユーザは、周辺視領域で非常に明るい刺激を感じ、表示部１９に表示された映像５２の限られた輝度の範囲内で高照度を感じながら、中心視領域では視聴を継続することができる。

このように、本実施形態による画像処理部１３は、ユーザの注視点Ｍに基づいて、周辺視領域に対応する画像コンテンツの領域の輝度を著しく上げることで、眩しさを表現することができる。また、画像処理部１３は、著しく上げた輝度を徐々に元に戻すよう処理することで、明順応を再現することができる。

なお、図８では明順応を再現について説明したが、本実施形態による表示装置１は、同様に暗順応を再現することも可能である。具体的には、動画中のフレームに暗転情報が対応付けられている場合、当該フレームを再生する際に、画像処理部１３は、ユーザの注視点Ｍに基づいて、周辺視領域に対応する画像コンテンツの領域の輝度を著しく下げることで、暗さを表現することができる。また、画像処理部１３は、著しく下げた輝度を徐々に元に戻すよう処理することで、暗順応を再現することができる。

［２−４．第４の実施形態］
次に、第４の実施形態として、視線検出による輪郭調整について図９を参照して説明する。図９は、第４の実施形態による視線検出による輪郭調整について説明するための図である。

通常、ユーザの中心視領域の画像の輪郭がくっきりと（明度差が大きく）表示されると見やすくなるが、周辺視領域の画像の輪郭もくっきりと表示されると、ユーザは疲労を感じてしまう。例えば、図９の上に示す画像５４のように、画像中の大部分の輪郭がくっきりと表示されている場合、視聴者は疲労を感じやすい。

そこで、本実施形態による画像処理部１３は、図９の下に示す画像５６のように、特定された注視点Ｍに応じて、中心視領域の画像にはシャープネスフィルタを、周辺視領域にはぼかしフィルタをかけて輪郭調整を行う。これにより、中心視領域の輪郭がはっきり表示され、周辺視領域の輪郭をぼかした画像５６を提示できるので、ユーザにおける視聴時の疲労を防止することができる。

なお、上述したように、図３に示すステップＳ１０９〜Ｓ１１８の処理は継続的に行われるので、画像処理部１３は、ユーザの視線移動（注視点Ｍの移動）に応じてリアルタイムに輪郭調整を行うことが可能である。

また、画像処理部１３は、元画像コンテンツ（例えば図９に示す画像５４）に基づいて、予めぼかしフィルタを全体にかけた画像コンテンツと、シャープネスフィルタを全体にかけた画像コンテンツを用意し、画像メモリ１５に記憶しておいてもよい。この場合、画像処理部１３は、図４に示す手順と同様に、シャープネスフィルタをかけた画像コンテンツからユーザの注視点Ｍを中心とする中心視領域の画像をクリッピングし、クリッピングした画像をぼかしフィルタをかけた画像コンテンツに重畳表示してもよい。

［２−５．第５の実施形態］
次に、本開示による第５の実施形態として、視線検出による字幕表示について説明する。

通常、字幕等の付加情報は、外国語のコンテンツ等を視聴する際に表示されるが、本来のコンテンツを注視しているときには、視野の周辺でチラついてしまい、視聴の弊害になってしまう場合もあった。

これに対し、本実施形態による画像処理部１３は、ユーザの注視点Ｍに応じて、字幕等の付加情報の表示を切り替えるよう処理することで、本来のコンテンツを注視している場合に字幕等の表示が弊害になることを防止することができる。以下、図１０を参照して本実施形態による字幕表示切り替えについて具体的に説明する。

図１０の上に示す画像５８のように、ユーザの注視点Ｍが字幕領域５９に含まれる場合、画像処理部１３は、通常の字幕表示を行う。次いで、図１０の下に示す画像６０のように、ユーザの注視点Ｍがコンテンツ領域６１に含まれる場合、画像処理部１３は、字幕を暗い／ぼかし表示に切り替えるよう処理する。また、画像処理部１３は、通常の字幕表示と、暗い／ぼかし表示との切り替えを行う際にフェードイン／アウト表示を用いてもよい。

これにより、ユーザがコンテンツを注視している際に、視野周辺で字幕表示等がチラつくことを防止することができる。

＜３．むすび＞
以上説明したように、本開示の実施形態によれば、人間の目の特性を考慮した効果的な画像処理を行うことができる。

具体的には、例えば第１の実施形態によれば、ユーザの注視点に応じて、ユーザの視野中心部分（中心視領域）の明度を確保しながら、画像コンテンツ全体の鮮やかさを確保した画像を提示することができる。

また、第２の実施形態によれば、ユーザの注視点に応じて、中心視領域のコントラストを確保するよう画像コンテンツ全体の輝度調整を行うことで、ダイナミックレンジを確保しながら、より自然に表現できる。

また、第３の実施形態によれば、動画像における所定のフレームを表示する際に、ユーザの注視点に応じて、周辺視領域の輝度を著しく（所定値以上）上げる／下げるよう輝度調整することで、明順応／暗順応を再現することができる。

また、第４の実施形態によれば、ユーザの注視点に応じて、周辺視領域に表示される画像の輪郭をぼかすことで、視聴時の疲労軽減を実現できる、より効果的な画像コンテンツを提示することができる。

また、第５の実施形態によれば、コンテンツ領域を注視している場合、字幕等の付加情報の表示を暗く／ぼかし表示することで、視野周辺で字幕表示等がチラつくことを防止することができる。

なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、３Ｄ表示を行う表示装置において、ユーザの注視点Ｍに応じて、全体の飛び出し量／奥行き量を制御してもよい。具体的には、本実施形態による画像処理部１３が、注視点Ｍに対応する位置に表示されるオブジェクトＳが基準面（表示面）に位置するよう（オブジェクトＳの右目用画像および左目用画像の視差が０になるよう）、全体の奥行き量／飛び出し量を制御する。

これにより、注視点Ｍに対応する（ユーザが注視している）オブジェクトＳの飛び出し量が０になることでユーザの目への負担を軽減することができ、また、ユーザの周辺視領域では、他のオブジェクトの飛び出し／奥行き感を提示することができる。

また、表示装置１に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した表示装置１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

また、以下のような構成も本開示の技術的範囲に属する。
（１）
表示されている画像コンテンツにおけるユーザの注視点を特定する特定部と、
前記特定された注視点に応じ、輝度が異なる複数の画像コンテンツを用いて前記表示されている画像コンテンツの輝度調整を行う画像処理部と、
を備える、画像処理装置。
（２）
前記画像処理部は、前記特定された注視点が変化した場合、変化の大きさに応じて再度前記輝度調整を行う、前記（１）に記載の画像処理装置。
（３）
前記画像処理部は、前記注視点が所定値以上の距離を移動した場合、再度前記輝度調整を行う、前記（１）または（２）に記載の画像処理装置。
（４）
前記画像処理部は、前記特定された注視点を中心とする中心視領域の輝度が周辺視領域の輝度より高く、かつ、周辺視領域の彩度が中心視領域の彩度より高くなるよう調整する、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（５）
前記画像処理部は、元画像コンテンツより輝度が高い第１の画像コンテンツから、輪郭をぼかしたクリッピングマスクを用いて前記注視点の周辺の画像を切り出し、当該切り出した画像を、前記元画像コンテンツより彩度が高い第２の画像コンテンツにおける前記注視点に重畳表示することで、前記表示されている画像コンテンツの輝度および彩度を調整する、前記（４）に記載の画像処理装置。
（６）
前記画像処理部は、前記注視点に対応する画像領域の状態に基づいて、前記画像コンテンツの輝度を調整する、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（７）
前記画像処理部は、前記注視点が白飛び領域内に位置する場合、前記画像コンテンツより輝度が低い画像コンテンツに基づいて、前記画像コンテンツの輝度を調整する、前記（６）に記載の画像処理装置。
（８）
前記画像処理部は、前記注視点が黒潰れ領域内に位置する場合、前記画像コンテンツより輝度が高い画像コンテンツに基づいて、前記画像コンテンツの輝度を調整する、前記（６）に記載の画像処理装置。
（９）
前記表示されている画像コンテンツは動画であって、
前記画像処理部は、動画中の所定フレームに明転情報が付与されている場合、前記注視点を中心とする視野周辺の輝度が所定値より高くなるよう調整する、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（１０）
前記表示されている画像コンテンツは動画であって、
前記画像処理部は、動画中の所定フレームに暗転情報が付与されている場合、前記注視点を中心とする視野周辺の輝度が所定値より低くなるよう調整する、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（１１）
前記画像処理装置は、
表示部と、
前記画像処理部により輝度調整された前記画像コンテンツを前記表示部に表示するよう制御する表示制御部と、
をさらに備える、前記（１）〜（１０）のいずれか１項に記載の画像処理装置。
（１２）
前記表示部は、ヘッドマウントディスプレイである、前記（１１）に記載の画像処理装置。
（１３）
表示されている画像コンテンツにおけるユーザの注視点を特定するステップと、
前記特定された注視点に応じ、輝度が異なる複数の画像コンテンツを用いて前記表示されている画像コンテンツの輝度調整を行うステップと、
を含む、画像処理方法。
（１４）
表示されている画像コンテンツにおけるユーザの注視点を特定する処理と、
前記特定された注視点に応じ、輝度が異なる複数の画像コンテンツを用いて前記表示されている画像コンテンツの輝度調整を行う処理と、
をコンピュータに実行させる、プログラム。

１表示装置
２センサ
１１特定部
１３画像処理部
１５画像メモリ
１７表示制御部
１９表示部
２０元画像コンテンツ
２２輝度を上げた画像コンテンツ
２４彩度を上げた画像コンテンツ
２６切り抜き画像
２８輝度・彩度調整された画像コンテンツ
３０露出アンダーの画像コンテンツ
３２適正露出の画像コンテンツ
３４露出オーバーの画像コンテンツ
３６、３８画像コンテンツ
５０通常の映像
５２明順応を再現した映像
５４通常の画像
５６周辺視領域の輪郭をぼかした画像
５９字幕領域
６１コンテンツ領域

Claims

表示されている画像コンテンツにおけるユーザの注視点を特定する特定部と、
前記特定された注視点に応じ、輝度が異なる複数の画像コンテンツを用いて前記表示されている画像コンテンツの輝度調整を行う画像処理部と、
を備える、画像処理装置。
前記画像処理部は、前記特定された注視点が変化した場合、変化の大きさに応じて再度前記輝度調整を行う、請求項１に記載の画像処理装置。
前記画像処理部は、前記注視点が所定値以上の距離を移動した場合、再度前記輝度調整を行う、請求項１に記載の画像処理装置。
前記画像処理部は、前記特定された注視点を中心とする中心視領域の輝度が周辺視領域の輝度より高く、かつ、周辺視領域の彩度が中心視領域の彩度より高くなるよう調整する、請求項１に記載の画像処理装置。
前記画像処理部は、元画像コンテンツより輝度が高い第１の画像コンテンツから、輪郭をぼかしたクリッピングマスクを用いて前記注視点の周辺の画像を切り出し、当該切り出した画像を、前記元画像コンテンツより彩度が高い第２の画像コンテンツにおける前記注視点に重畳表示することで、前記表示されている画像コンテンツの輝度および彩度を調整する、請求項４に記載の画像処理装置。
前記画像処理部は、前記注視点に対応する画像領域の状態に基づいて、前記画像コンテンツの輝度を調整する、請求項１に記載の画像処理装置。
前記画像処理部は、前記注視点が白飛び領域内に位置する場合、前記画像コンテンツより輝度が低い画像コンテンツに基づいて、前記画像コンテンツの輝度を調整する、請求項６に記載の画像処理装置。
前記画像処理部は、前記注視点が黒潰れ領域内に位置する場合、前記画像コンテンツより輝度が高い画像コンテンツに基づいて、前記画像コンテンツの輝度を調整する、請求項６に記載の画像処理装置。
前記表示されている画像コンテンツは動画であって、
前記画像処理部は、動画中の所定フレームに明転情報が付与されている場合、前記注視点を中心とする視野周辺の輝度が所定値より高くなるよう調整する、請求項１に記載の画像処理装置。
前記表示されている画像コンテンツは動画であって、
前記画像処理部は、動画中の所定フレームに暗転情報が付与されている場合、前記注視点を中心とする視野周辺の輝度が所定値より低くなるよう調整する、請求項１に記載の画像処理装置。
前記画像処理装置は、
表示部と、
前記画像処理部により輝度調整された前記画像コンテンツを前記表示部に表示するよう制御する表示制御部と、
をさらに備える、請求項１に記載の画像処理装置。
前記表示部は、ヘッドマウントディスプレイである、請求項１１に記載の画像処理装置。
表示されている画像コンテンツにおけるユーザの注視点を特定するステップと、
前記特定された注視点に応じ、輝度が異なる複数の画像コンテンツを用いて前記表示されている画像コンテンツの輝度調整を行うステップと、
を含む、画像処理方法。
表示されている画像コンテンツにおけるユーザの注視点を特定する処理と、
前記特定された注視点に応じ、輝度が異なる複数の画像コンテンツを用いて前記表示されている画像コンテンツの輝度調整を行う処理と、
をコンピュータに実行させる、プログラム。