JP2010014836A - 表示装置及び表示方法 - Google Patents

Abstract

【課題】、ユーザの視線に応じて遠近感のある映像を表示することが可能な技術を提供する。
【解決手段】表示装置１０は、ユーザ映像情報を解析してユーザの視線を検出する視線検出部１２０と、視線検出部１２０が検出したユーザの視線とモニタ１９の映像表示面との交点をユーザが注目している点である注目点として検出し、注目点との距離が大きい位置から小さい位置に向けて段階的に高いゲイン量を設定することでモニタ１９に対するエンハンス処理を行うエンハンス処理部１６０と、エンハンス処理部１６０が設定したゲイン量と表示映像情報入力部１５０が入力を受け付けた表示映像情報とに基づいて、モニタ１９を介して映像を出力する表示映像出力制御部１７０と、を備える。
【選択図】図３

Description

本発明は、表示装置及び表示方法に関する。詳しくは、ユーザの視線に応じて遠近感のある映像を表示することが可能な表示装置及び表示方法に関する。

従来、モニタに出力する映像自体に適応したエンハンス処理が行われている。ここで、エンハンス処理とは、ユーザに対して鮮明な映像を見せるために、映像の鮮鋭度を向上する処理のことをいう。しかし、モニタに出力する映像自体に適応したエンハンス処理は、映像自体に３次元情報が付加されていない場合がほとんどであるため、処理後の映像が、ユーザの嗜好するものと異なる場合があった。

また、例えば、特許文献１には、カメラでユーザを撮影して、撮影した映像を用いてユーザの視線を検出し、検出した結果に応じて画像処理を行う技術が開示されている。

特開２０００−２２１９５３号公報

しかしながら、前記した特許文献１に開示された技術によれば、ユーザの視線に応じた画像処理を行うことは可能であるが、ユーザの視線に応じて遠近感のある映像を表示することができないという問題があった。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの視線に応じて遠近感のある映像を表示することが可能な技術を提供することにある。

上記目的を達成するために、本発明のある観点によれば、モニタに表示される映像のもとになる表示映像情報の入力を受け付ける表示映像情報入力部と、カメラによって取得された、モニタに表示される映像を見るユーザの映像情報であるユーザ映像情報の入力を受け付けるユーザ映像情報入力部と、ユーザ映像情報入力部が入力を受け付けたユーザ映像情報を解析してユーザの視線を検出する視線検出部と、視線検出部が検出したユーザの視線とモニタの映像表示面との交点をユーザが注目している点である注目点として検出し、注目点との距離が大きい位置から小さい位置に向けて段階的に高いゲイン量を設定することでモニタに対するエンハンス処理を行うエンハンス処理部と、エンハンス処理部が設定したゲイン量と表示映像情報入力部が入力を受け付けた表示映像情報とに基づいて、モニタを介して映像を出力する表示映像出力制御部と、を備える表示装置が提供される。

かかる構成によれば、ユーザによる注目度合いの高い部分に表示される映像の先鋭度を向上することができる。そのため、ユーザの視線に応じて遠近感のある映像を表示することが可能となる。

本発明によれば、ユーザの視線に応じて遠近感のある映像を表示することが可能となる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

《本実施形態の概要について》
先ず、本実施形態に対する理解を容易とするために、本実施形態の概要について説明する。

図１は、本実施形態の概要を説明するための図（その１）である。図１に示すように、ユーザ３０は、テレビなどの表示装置（不図示）が備えるモニタ１９に表示される映像を見る者である。本実施形態は、ユーザ３０の視線に応じてエンハンス処理を行うことで、遠近感のある映像を表示することを可能とするものである。ここでエンハンス処理とは、映像をより鮮鋭にユーザ３０に見せるように映像処理を行うことを示している。あるいは、前記したように、ユーザ３０に対して鮮明な映像を見せるために、映像の鮮鋭度を向上する処理のことをいう。モニタ１９にはカメラ１１が具備されており、カメラ１１は、ユーザ３０を撮影する機能を有するものとする。モニタ１９を備える表示装置（不図示）の内部には、映像処理を行う機能があり、エンハンス処理は、例えば、その機能で実現できるものとする。

図２は、本実施形態の概要を説明するための図（その２）である。図２は、図１に示したモニタ１９を上方から俯瞰した様子を示した図となっている。

図２に示すように、ユーザ３０がモニタ１９上で注目している点を注目点４１とする。注目点４１は、ユーザ３０の視線４３とモニタ１９の映像表示面１９Ａとの交点である。また、視線４３の映像表示面１９Ａに対する入射角４７、ユーザ３０と注目点４１との最短距離である距離４０が規定されている。本実施形態では、入射角４７、距離４０のそれぞれに応じたエンハンス処理についても説明する。

本実施形態では、表示装置（不図示）が、カメラ１１（図１参照）を用いて、ユーザ３０の視線４３の方向を検出し、その方向に基づいて、モニタ１９に出力する映像のエンハンス処理を行う。エンハンス処理では、注目点４１に近い位置にあるモニタ１９上の画素に高いゲイン量を設定する。これによって、ユーザ３０にとって見やすく、かつ、遠近感がある映像をユーザ３０に提供することができる。ここで、ゲイン量は、モニタ１９を構成する各画素の明るさを示す値であり、色を構成する赤色、緑色、青色のそれぞれの輝度をいうものとする。

《表示装置１０の機能構成について》
図３は、本実施形態に係る表示装置の機能構成を示す機能構成図である。図３を参照して（適宜図１及び図２参照）、本実施形態に係る表示装置の機能構成について説明する。

図３に示すように、映像を表示する装置（テレビなど）である表示装置１０は、少なくとも、カメラ１１と、チューナ１２と、ユーザ映像情報入力部１１０と、視線検出部１２０と、表示映像情報入力部１５０と、エンハンス処理部１６０と、表示映像出力制御部１７０と、モニタ１９とを備える。また、図３に示すように、表示装置１０は、ユーザ位置検出部１３０をさらに備えてもよいし、距離算出部１４０をさらに備えてもよい。

カメラ１１は、ユーザ３０を撮影して、ユーザ３０の映像情報を取得するものである。カメラ１１は、図３に示したように、表示装置１０に内蔵されているものでるとしてもよいし、表示装置１０に外付けで接続できるものであってもよい。

ユーザ映像情報入力部１１０は、カメラ１１によって取得された、モニタ１９に表示される映像を見るユーザ３０の映像情報であるユーザ映像情報の入力を受け付けるものである。ユーザ映像情報入力部１１０は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェース等によって構成される。

視線検出部１２０は、ユーザ映像情報入力部１１０が入力を受け付けたユーザ映像情報を解析してユーザ３０の視線を検出するものである。ユーザ３０の視線を検出する技術については、特に限定されるものではない。この技術は、例えば、「栗原謙三教授、[ｏｎｌｉｎｅ]、[平成２０年６月１１日検索]、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｊｏｉｎｔ．ｉｄｅｃ．ｏｒ．ｊｐ／ｋｏｒｙｕ／０２０４２６＿２．ｐｈｐ＞」等に記載されている。視線検出部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成される。この場合には、ＣＰＵがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に記憶されたプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等に展開し、展開したＲＡＭ上のプログラムを実行することによって視線検出部１２０の機能が実現される。視線検出部１２０は、例えば、専用のハードウェア等によって構成されることとしてもよい。

チューナ１２は、受信した電波から目的とする周波数の電波を選択して、選択した電波から、モニタ１９に表示される映像を再生するものである。なお、チューナ１２の代わりにＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）プレーヤ等を用いて、映像を再生することとしてもよい。

表示映像情報入力部１５０は、モニタ１９に表示される映像のもとになる表示映像情報の入力を受け付けるものである。表示映像情報入力部１５０は、例えば、専用のハードウェア等によって構成される。

エンハンス処理部１６０は、視線検出部１２０が検出したユーザ３０の視線４３とモニタ１９の映像表示面１９Ａとの交点をユーザ３０が注目している点である注目点４１として検出するものである。また、エンハンス処理部１６０は、検出した注目点４１との距離が大きい位置から小さい位置に向けて段階的に高いゲイン量を設定することでモニタ１９に対するエンハンス処理を行うものである。

また、エンハンス処理部１６０は、ゲイン量を設定する際に、注目点４１を中心とした１または複数の同心円によって区分けされる複数の領域のうち、注目点４１との距離が大きい領域から小さい領域に向けて段階的に高いゲイン量を設定することとしてもよい。

さらに、エンハンス処理部１６０は、ゲイン量を設定する際に、１または複数の同心円のそれぞれの半径が、所定の長さを増分として注目点４１との距離を順次に増加させたものであるとしてもよい（図４参照）。所定の長さは、例えば、エンハンス処理部１６０が保持するものとする。

また、エンハンス処理部１６０は、ゲイン量を設定する際に、所定の長さがモニタ１９を構成する隣り合う画素間の距離以下であるとしてもよい（図５参照）。これよって、注目点４１を中心とした１または複数の同心円によって区分けされる複数の領域を狭くすることが可能となり、ユーザ３０から見て連続的にゲイン量が変化するようになる。したがって、モニタ１９に表示される映像に対してさらに自然に遠近感を生じさせることができる。

さらに、エンハンス処理部１６０は、ゲイン量を設定する際に、注目点４１を中心とした１または複数の同心円が、モニタ１９の縦横比と一致する比率を長軸短軸比（短軸の長さに対する長軸の長さの比）とする楕円であるとしてもよい（図６参照）。これよって、モニタ１９の形状に合わせて、モニタ１９に表示される映像に対して遠近感を生じさせることができる。モニタ１９の縦横比については、例えば、縦：横＝１６：９等とすることができるが、特に限定されるものではない。

エンハンス処理部１６０は、ＣＰＵ等によって構成される。この場合には、ＣＰＵがＲＯＭ等に記憶されたプログラムをＲＡＭ等に展開し、展開したＲＡＭ上のプログラムを実行することによってエンハンス処理部１６０の機能が実現される。エンハンス処理部１６０は、例えば、専用のハードウェア等によって構成されることとしてもよい。

表示映像出力制御部１７０は、エンハンス処理部１６０が設定したゲイン量と表示映像情報入力部１５０が入力を受け付けた表示映像情報とに基づいて、モニタ１９を介して映像を出力するものである。例えば、専用のハードウェア等によって構成される。

モニタ１９は、映像を表示するものである。モニタ１９は、図１に示したように、表示装置１０に含まれるものであるとしてもよいし、表示装置１０に外付けで接続できるものであってもよい。

ユーザ位置検出部１３０は、ユーザ３０の位置を検出するものである。ユーザ３０の位置を検出する技術については、図８を参照して後述するが、これに限定されるものではない。

ユーザ位置検出部１３０は、ＣＰＵ等によって構成される。この場合には、ＣＰＵがＲＯＭ等に記憶されたプログラムをＲＡＭ等に展開し、展開したＲＡＭ上のプログラムを実行することによってユーザ位置検出部１３０の機能が実現される。ユーザ位置検出部１３０は、例えば、専用のハードウェア等によって構成されることとしてもよい。

表示装置１０がユーザ位置検出部１３０をさらに備えることとした場合には、エンハンス処理部１６０は、前記した技術とは異なる技術によって、ゲイン量を設定することが可能となる。この技術については、図７を参照して後述する。

距離算出部１４０は、モニタ１９とユーザ３０との距離を算出するものである。モニタ１９とユーザ３０との距離を算出する技術の一例については、図９を参照して後述するが、これに限定されるものではない。

表示装置１０が距離算出部１４０をさらに備えることとした場合には、エンハンス処理部１６０は、前記した技術とは異なる技術によって、ゲイン量を設定することが可能となる。すなわち、距離算出部１４０が算出したモニタ１９とユーザ３０との距離が大きくなるにしたがって、段階的に高いゲイン量を設定することが可能となる。これによって、比較的近くから見ている場合には、弱めのエンハンス処理を、比較的遠くから見ている場合には、強めのエンハンス処理をそれぞれ行うことで、どちらの場合でも、ユーザ３０から見て、大差ない見栄えの映像を表示することができる。

なお、ユーザ映像情報入力部１１０、視線検出部１２０、ユーザ位置検出部１３０、距離算出部１４０、表示映像情報入力部１５０、エンハンス処理部１６０、表示映像出力制御部１７０等は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等によって構成され、表示装置１０の中心デバイスである。

《エンハンス処理部１６０が行うエンハンス処理について》
図４は、本実施形態に係るエンハンス処理部が行うエンハンス処理の一例（その１）を模式的に示す図である。図４を参照して、本実施形態に係るエンハンス処理部が行うエンハンス処理の一例について説明する。

図４を参照すると、基準線５０の上側にはモニタ１９を正面から見た場合の様子が模式的に示され、基準線５０の下側にはモニタ１９を上から見た場合の様子が模式的に示されている（図６及び図７についても同様）。

視線検出部１２０は、ユーザ３０の視線４３を検出する。また、エンハンス処理部１６０は、視線検出部１２０が検出したユーザ３０の視線４３とモニタ１９の映像表示面１９Ａとの交点をユーザ３０が注目している点である注目点４１として検出する。また、エンハンス処理部１６０は、検出した注目点４１との距離が大きい位置から小さい位置に向けて段階的に高いゲイン量を設定することでモニタ１９に対するエンハンス処理を行う。ここで、図４に示した一例では、エンハンス処理部１６０は、ゲイン量を設定する際に、２つの同心円のそれぞれの半径が、所定の長さを増分として注目点４１との距離を順次に増加させたものであるとしている。

図５は、本実施形態に係るエンハンス処理部が行うエンハンス処理の一例（その２）を模式的に示す図である。図５を参照して、本実施形態に係るエンハンス処理部が行うエンハンス処理の一例について説明する。

図５を参照すると、モニタ１９を正面から見た場合の様子が示され、その下側には「不連続なゲインの掛け方」「連続なゲインの掛け方」のそれぞれについて表すグラフが示されている。

モニタ１９には、注目点４１を中心とした２つの同心円が示され、これらの同心円によって映像表示面１９Ａが３つの領域に区分けされている。注目点４１との距離が大きい領域から小さい領域に向けて段階的に高いゲイン量を設定すると、図５に示したグラフ「不連続なゲインの掛け方」のように、エンハンス処理部１６０によって、不連続なゲイン量が設定される。なお、ここで、モニタ１９に示された２つの同心円のそれぞれの半径は、所定の長さを増分として注目点４１との距離を順次に増加させたものである。

エンハンス処理部１６０は、この所定の長さを小さくすることによって、ユーザ３０から見て連続的に変化するようにゲイン量を設定することができる。例えば、この所定の長さを、モニタ１９を構成する隣り合う画素間の距離以下とすればよい。そうすれば、図５に示したグラフ「連続なゲインの掛け方」のように、エンハンス処理部１６０によって、連続なゲイン量が設定される。

図６は、本実施形態に係るエンハンス処理部が行うエンハンス処理の一例（その３）を模式的に示す図である。図６を参照して、本実施形態に係るエンハンス処理部が行うエンハンス処理の一例について説明する。

図６に示した一例では、エンハンス処理部１６０は、ゲイン量を設定する際に、注目点４１を中心とした２つの同心円が、モニタ１９の縦横比と一致する比率を長軸短軸比とする楕円であるとしている。

図７は、本実施形態に係るエンハンス処理部が行うエンハンス処理の一例（その４）を模式的に示す図である。図７を参照して、本実施形態に係るエンハンス処理部が行うエンハンス処理の一例について説明する。

図７に示した一例では、ユーザ位置検出部１３０によってユーザ３０の位置が検出されている。このような場合には、エンハンス処理部１６０は、ゲイン量を設定する際に、ユーザ３０の位置を基準点としてユーザ３０の視線４３と所定の角度をなす直線群とモニタ１９の映像表示面１９Ａとの交点の集合を境界とする。図７に示した一例では、４本の補助線４４のそれぞれが直線群に相当する。

エンハンス処理部１６０は、この角度を１または複数設定することで、境界によってモニタ１９を複数の領域に区分けする。図７に示した一例では、この角度を２つ設定している。エンハンス処理部１６０は、この複数の領域のうち、注目点４１との距離が大きい領域から小さい領域に向けて段階的に高いゲイン量を設定する。所定の角度は、例えば、エンハンス処理部１６０が保持するものとし、モニタ１９の縦方向及び横方向において異なる角度を保持するものとしてもよい。

これによれば、ユーザ３０がモニタ１９から遠ざかると、モニタ１９と補助線４４との交点は変化し、それに伴って同心円も変化する。ユーザ３０とモニタ１９との距離が大きくなることで、同心円のサイズも大きくなる。例えば、最も内側の同心円領域におけるエンハンス処理の強さを同じにした場合、ユーザ３０とモニタ１９との距離が大きいと、相対的にエンハンス処理を強く行う領域のサイズも大きくなる。結果として、ユーザ３０が見た見栄えを、ユーザ３０とモニタ１９との距離の大小に関わらず、ある程度一定にすることが可能となる。

また、ユーザ３０がモニタ１９を斜めから見ている場合に、入射角４７が大きくなるにつれて、前記した境界の形状は、長軸比が大きい楕円になる。したがって、ユーザ３０がモニタ１９を斜めから見ている場合であっても、モニタ１９に表示される映像に対してさらに自然に遠近感を生じさせることができる。

《ユーザ位置検出部１３０が行うユーザ位置検出処理について》
図８は、本実施形態に係るユーザ位置検出部が行うユーザ位置検出処理の一例を模式的に示す図である。図８を参照して（適宜他の図参照）、本実施形態に係るユーザ位置検出部が行うユーザ位置検出処理の一例について説明する。

図８は、カメラ１１のレンズから見たユーザ３０の様子を示すものである。図８には、さらに等距離線が追加されており、ズームなども一定とすると、モニタ１９とユーザ３０などのオブジェクトの距離は等距離線で表現される。図８に示すような映像をカメラ１１が撮影し、その情報を、ユーザ映像情報入力部１１０を介してユーザ位置検出部１３０が取得し、解析する。ユーザ位置検出部１３０は、例えば、ユーザ映像情報入力部１１０が入力を受け付けたユーザ３０の映像情報を解析することによって、検出したユーザ３０の足元の位置を、ユーザ３０の位置とすることができる。

エンハンス処理部１６０は、１または複数の角度のそれぞれが、所定の角度を増分として視線４３となす角度を順次に増加させたものであるとして、ゲイン量を設定することとしてもよい。

《距離算出部１４０が行う距離算出処理について》
図９は、本実施形態に係る距離算出部が行う距離算出処理の一例を模式的に示す図である。図９を参照して、本実施形態に係る距離算出部が行う距離算出処理の一例について説明する。

図９に示すように、モニタ１９に対するカメラ１１の相対位置は確定している。したがって、この相対位置とユーザ位置検出部１３０が検出したカメラ１１を基準位置としたユーザ３０の相対位置とを用いて、モニタ１９を基準位置としたユーザ３０の位置を算出でき、距離４０が算出できる。

エンハンス処理部１６０は、表示装置１０が距離算出部１４０をさらに備える場合には、モニタ１９とユーザ３０との距離を考慮することで、その距離に応じた適切なエンハンス処理を行うことができる。例えば、モニタ１９とユーザ３０との距離が大きくなるにしたがって、段階的に高いゲイン量を設定することでモニタ１９に対するエンハンス処理を行うことができる。このようにすれば、ユーザ３０がモニタ１９と離れていても鮮明な映像を見ることができる。

《ユーザ３０が複数存在する場合について》
図１０は、ユーザが複数存在する場合について説明するための図である。図１０を参照して、ユーザが複数存在する場合について説明する。

図１０には、ユーザ３０が複数存在する場合の一例として、ユーザ３０が２人存在する場合を示している。この場合には、ユーザ３０が１人の場合の既存の処理を、２人分行うことで、より精度の高いエンハンス処理を行うことができる。

例えば、２人のユーザ３０が同一の領域に視線を向けている場合には、その領域を中心により強いエンハンス処理を行うことができる。また、２人のユーザ３０が別の領域に視線４３を向けている場合には、それぞれの情報から異なる領域をエンハンス処理することも可能となる。この処理は三人以上のユーザ３０が存在する場合にも同様に適用できる。

詳細には、視線検出部１２０は、複数の視線を複数のユーザ３０それぞれの視線として検出することで、ユーザ３０の視線を検出する。エンハンス処理部１６０は、視線検出部１２０が検出した複数のユーザ３０それぞれの視線とモニタ１９の映像表示面１９Ａとの交点を複数のユーザ３０それぞれが注目している点である各注目点として検出する。エンハンス処理部１６０は、この各注目点から遠い位置から近い位置に向けて段階的に高いゲイン量をそれぞれ設定して、ゲイン量を各注目点について重ね合わせることで、エンハンス処理を行う。

図１１は、ユーザが複数存在する場合におけるゲインの掛け方について説明するための図である。図１１を参照して、ユーザが複数存在する場合におけるゲインの掛け方について説明する。

図１１を参照すると、２つの注目点４１のそれぞれを中心とした同心円が重なっている。このような場合には、エンハンス処理部１６０が複数のユーザ３０に対するゲイン量を別々に算出すると、それぞれのゲイン量は、図１１の「重畳前のゲイン量」に示す通りになる。

その後、エンハンス処理部１６０は、別々に算出した各ゲイン量を加算する。すなわち、各ゲイン量を重畳する。重畳した結果は、例えば、図１１の「重畳後のゲイン量」に示す通りになる。但し、重畳した結果、重畳後のゲイン量が所定の範囲を超えたり、設定した閾値より大きくなったりした場合等には、重畳後のゲイン量に対して固定値の減算や1未満の値の乗算等の計算を施すことで、ゲイン量の調整を行うことができる。

《表示装置１０が実行する処理の流れについて》
図１２は、本実施形態に係る表示装置が実行する処理の流れを示すフローチャートである。図１２を参照して（適宜他の図参照）、本実施形態に係る表示装置が実行する処理の流れについて説明する。なお、ここでは、ユーザ３０がｎ人存在する場合を想定している。

ユーザ映像情報入力部１１０は、カメラ１１によって取得された、モニタ１９に表示される映像を見るユーザ３０の映像情報であるユーザ映像情報の入力を受け付ける。続いて、視線検出部１２０は、ユーザ映像情報入力部１１０が入力を受け付けたユーザ映像情報を解析してユーザ３０の人数を検出する（ステップＳ１０１）。表示装置１０は、視線検出部１２０が検出したユーザ３０の人数（ｎ人）分繰り返す処理（ステップＳ１０２〜ステップＳ１０６）を実行する。

繰り返し処理において、視線検出部１２０は、ユーザ３０の視線４３を検出する（ステップＳ１０３）。その後、距離算出部１４０は、ユーザ３０とモニタ１９との距離４０を算出する（ステップＳ１０４）。エンハンス処理部１６０は、視線４３と距離４０とからモニタ１９における各画素のゲイン量を算出する（ステップＳ１０５）。

繰り返し処理が終わると、エンハンス処理部１６０は、ユーザ３０の人数ｎが１より大きいか否かを判定する（ステップＳ１０７）。エンハンス処理部１６０は、ユーザ３０の人数ｎが１より大きいと判定した場合には（ステップＳ１０７で「ＹＥＳ」）、算出したゲイン量を重畳し（ステップＳ１０８）、ステップＳ１０９に進む。エンハンス処理部１６０は、ユーザ３０の人数ｎが１以下であると判定した場合には（ステップＳ１０７で「ＮＯ」）、ステップＳ１０９に進む。

エンハンス処理部１６０は、ゲイン量を設定し（ステップＳ１０９）、所定時間が経過したか否かを判定する（ステップＳ１１０）。エンハンス処理部１６０は、所定時間が経過していないと判定した場合には（ステップＳ１１０で「ＮＯ」）、所定時間が経過するまで待機する。エンハンス処理部１６０は、所定時間が経過したと判定した場合には（ステップＳ１１０で「ＹＥＳ」）、ステップＳ１０１に戻って処理を繰り返す。

《カメラ１１が複数存在する場合について》
図１３は、カメラが複数存在する場合について説明するための図である。図１３を参照して、カメラが複数存在する場合について説明する。

図１３に示すように、カメラ１１が複数存在する場合には、複数のカメラ１１でユーザ３０を撮影することで、ユーザ３０の位置検出や視線４３の検出において、より精度の高い検出を行うことが可能となることが期待できる。

《既存方式と組み合わせる場合について》
図１４は、既存方式と本実施形態による方式とを組み合わせる場合について説明するための図である。図１４を参照して、既存方式と本実施形態による方式とを組み合わせる場合について説明する。

ここで、既存方式は、映像の内容に応じてゲイン量を設定する方式であるとする。図１４に示すように、例えば、映像にビル１９Ｂが含まれており、そのエッジについて既存方式でエンハンス処理が行われている。このような場合に、各方式でゲイン量を別々に算出すると、それぞれのゲイン量は、図１４の「重畳前のゲイン量」に示す通りになる。

エンハンス処理部１６０は、既存方式によって設定されたゲイン量と本実施形態による方式によって設定されたゲイン量とを重畳する。重畳した結果は、例えば、図１４の「重畳後のゲイン量」に示す通りになる。但し、重畳した結果、重畳後のゲイン量が所定の範囲を超えたり、設定した閾値より大きくなったりした場合等には、重畳後のゲイン量に対して固定値の減算や1未満の値の乗算等の計算を施すことで、ゲイン量の調整を行うことができる。

また、これに限らず、複数種類のエンハンス処理を複合して処理をすることが可能である。例えば、本実施形態による方式により、注目領域に対してエンハンス処理を行う方式を方式１する。また、映像自体の適応処理により顔の部分を検出し、その部分を、より好ましい映像にするために、エンハンス処理を弱くする処理を方式２とする。方式１と方式２との両方を考慮して、統合したエンハンス処理を行うことで、それぞれ別々にエンハンス処理を行うよりも、ユーザ３０は、より好ましい映像を見ることができる。

このように、映像自体に適応したエンハンス処理を行う既存方式と組み合わせることで、既存の方式の長所を確保したままエンハンス処理を行うことができる。

本実施形態によれば、ユーザ３０自身が注目している注目点４１を中心に、エンハンス処理の強弱を制御することで、映像自体の情報からエンハンス処理を行う場合と比較して、ユーザ３０が嗜好するエンハンス処理を行うことができる。また、ユーザの視線に応じて遠近感のある映像を表示することが可能となる。

また、ユーザ３０の位置や視線４３を検出することで、正面から見ている場合と斜めから見ている場合など、異なる位置関係でも適切なエンハンス処理が可能となる。

上記では、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本実施形態の概要を説明するための図（その１）である。 本実施形態の概要を説明するための図（その２）である。 本実施形態に係る表示装置の機能構成を示す機能構成図である。 本実施形態に係るエンハンス処理部が行うエンハンス処理の一例（その１）を模式的に示す図である。 本実施形態に係るエンハンス処理部が行うエンハンス処理の一例（その２）を模式的に示す図である。 本実施形態に係るエンハンス処理部が行うエンハンス処理の一例（その３）を模式的に示す図である。 本実施形態に係るエンハンス処理部が行うエンハンス処理の一例（その４）を模式的に示す図である。 本実施形態に係るユーザ位置検出部が行うユーザ位置検出処理の一例を模式的に示す図である。 本実施形態に係る距離算出部が行う距離算出処理の一例を模式的に示す図である。 ユーザが複数存在する場合について説明するための図である。 ユーザが複数存在する場合におけるゲインの掛け方について説明するための図である。 本実施形態に係る表示装置が実行する処理の流れを示すフローチャートである。 カメラが複数存在する場合について説明するための図である。 既存方式と本実施形態による方式とを組み合わせる場合について説明するための図である。

符号の説明

１０ 表示装置
１１ カメラ
１２ チューナ
１９ モニタ
１９Ａ 映像表示面
１９Ｂ ビル
３０ ユーザ
４０ 距離
４１ 注目点
４３ 視線
４４ 補助線
４７ 入射角
５０ 基準線
１１０ ユーザ映像情報入力部
１２０ 視線検出部
１３０ ユーザ位置検出部
１４０ 距離算出部
１５０ 表示映像情報入力部
１６０ エンハンス処理部
１７０ 表示映像出力制御部

Claims (10)

1. モニタに表示される映像のもとになる表示映像情報の入力を受け付ける表示映像情報入力部と、
   カメラによって取得された、前記モニタに表示される映像を見るユーザの映像情報であるユーザ映像情報の入力を受け付けるユーザ映像情報入力部と、
   前記ユーザ映像情報入力部が入力を受け付けた前記ユーザ映像情報を解析して当該ユーザの視線を検出する視線検出部と、
   前記視線検出部が検出した前記ユーザの視線と前記モニタの映像表示面との交点を前記ユーザが注目している点である注目点として検出し、当該注目点との距離が大きい位置から小さい位置に向けて段階的に高いゲイン量を設定することで前記モニタに対するエンハンス処理を行うエンハンス処理部と、
   前記エンハンス処理部が設定した前記ゲイン量と前記表示映像情報入力部が入力を受け付けた前記表示映像情報とに基づいて、前記モニタを介して映像を出力する表示映像出力制御部と、
   を備える、表示装置。
2. 前記エンハンス処理部は、
   前記注目点を中心とした１または複数の同心円によって区分けされる複数の領域のうち、前記注目点との距離が大きい領域から小さい領域に向けて段階的に高いゲイン量を設定することで、前記注目点との距離が大きい位置から小さい位置に向けて段階的に高いゲイン量を設定する、
   請求項１に記載の表示装置。
3. 前記エンハンス処理部は、
   前記１または複数の同心円のそれぞれの半径が、所定の長さを増分として前記注目点との距離を順次に増加させたものであるとして、前記ゲイン量を設定する、
   請求項２に記載の表示装置。
4. 前記エンハンス処理部は、
   前記所定の長さが前記モニタを構成する隣り合う画素間の距離以下であるとして、前記ゲイン量を設定する、
   請求項３に記載の表示装置。
5. 前記エンハンス処理部は、
   前記注目点を中心とした１または複数の同心円が、前記モニタの縦横比と一致する比率を長軸短軸比とする楕円であるとして、前記ゲイン量を設定する、
   請求項２に記載の表示装置。
6. 前記ユーザの位置を検出するユーザ位置検出部をさらに備え、
   前記エンハンス処理部は、
   前記ユーザ位置検出部が検出した前記ユーザの位置を基準点として前記ユーザの視線と所定の角度をなす直線群と前記モニタの映像表示面との交点の集合を境界とし、前記角度を１または複数設定することで、前記境界によって前記モニタを複数の領域に区分けし、当該複数の領域のうち、前記注目点との距離が大きい領域から小さい領域に向けて段階的に高いゲイン量を設定することで、前記注目点との距離が大きい位置から小さい位置に向けて段階的に高いゲイン量を設定する、
   請求項１に記載の表示装置。
7. 前記エンハンス処理部は、
   前記１または複数の角度のそれぞれが、所定の角度を増分として前記視線となす角度を順次に増加させたものであるとして、前記ゲイン量を設定する
   請求項６に記載の表示装置。
8. 前記モニタと前記ユーザとの距離を算出する距離算出部をさらに備え、
   前記エンハンス処理部は、
   前記距離算出部が算出した前記モニタと前記ユーザとの距離が大きくなるにしたがって、段階的に高いゲイン量を設定することで前記モニタに対するエンハンス処理を行う、
   請求項１乃至請求項７のいずれか１項に記載の表示装置。
9. 前記視線検出部は、
   複数の視線を複数のユーザそれぞれの視線として検出することで、前記ユーザの視線を検出し、
   前記エンハンス処理部は、
   前記視線検出部が検出した前記複数のユーザそれぞれの視線と前記モニタの映像表示面との交点を前記複数のユーザそれぞれが注目している点である各注目点として検出し、当該各注目点から遠い位置から近い位置に向けて段階的に高いゲイン量をそれぞれ設定し、当該ゲイン量を各注目点について重ね合わせることで、前記エンハンス処理を行う、
   請求項１乃至請求項７のいずれか１項に記載の表示装置。
10. 表示映像情報入力部が、モニタに表示される映像のもとになる表示映像情報の入力を受け付けるステップと、
    ユーザ映像情報入力部が、カメラによって取得された、前記モニタに表示される映像を見るユーザの映像情報であるユーザ映像情報の入力を受け付けるステップと、
    視線検出部が、前記ユーザ映像情報入力部が入力を受け付けた前記ユーザ映像情報を解析して当該ユーザの視線を検出するステップと、
    エンハンス処理部が、前記視線検出部が検出した前記ユーザの視線と前記モニタの映像表示面との交点を前記ユーザが注目している点である注目点として検出し、当該注目点との距離が大きい位置から小さい位置に向けて段階的に高いゲイン量を設定することで前記モニタに対するエンハンス処理を行うステップと、
    表示映像出力制御部が、前記エンハンス処理部が設定した前記ゲイン量と前記表示映像情報入力部が入力を受け付けた前記表示映像情報とに基づいて、前記モニタを介して映像を出力するステップと、
    を含む、表示方法。

Images