JP2008139600A - 表示装置 - Google Patents

Abstract

【課題】揺れに対する補正方法を選択することができる表示装置を実現する。
【解決手段】携帯電話１は、LCD１６と、LCD１６の揺れを検出するセンサ装置１３と、センサ装置１３によって検出された記３次元方向における揺れに対して、LCD１６の表示面を正面視したときに、表示画像の位置及び大きさが見掛け上変わらないように、３次元方向の揺れの量に応じて、表示画像を補正しあるいはLCD１６を移動して３次元方向の補正を行うか、２次元方向の揺れの量に応じて、表示画像を補正しあるいはLCD１６を移動して２次元方向の補正を行うかを設定可能な設定部１２とを有する。
【選択図】図１

Description

本発明は、表示装置に関し、特に、揺れがあっても画像が見やすい表示装置に関する。

従来より、表示装置が広く、様々な分野で種々の目的で利用されている。最近では、携帯電話、携帯情報端末（PDA：personal digital assistance）等のいわゆる小型端末装置にも、液晶表示装置（以下、LCDと略す）等の表示装置が搭載されている。最近では、表示装置自体の小型化が進み、自動車内、航空機内等の種々の場所に設置されるようになってきている。また、携帯電話にテレビ電話の機能が設けられ、ユーザは、携帯電話の表示装置に表示される相手の顔を見ながら会話をすることができる製品もある。
従って、ユーザは、交通手段を利用しているときにも、そのような表示装置に表示された画像を見ることができる。

ところが、ユーザが移動しているとき、例えば自転車、自動車で移動しているときは、振動があるため、ユーザにとって表示装置の画面が鑑賞し難いという問題がある。あるいは、そのような交通手段を利用していない場合でも、ユーザ自身の手揺れ等により、画像が揺れて見難い場合もある。
そのような問題を解決するため、自転車等に取り付けられた表示装置において、揺動を検知すると、表示状態を消灯する技術が提案されている（例えば、特許文献１参照）。
また、揺れを検知して、その揺れ量に基づいて、表示画像を画像記憶部の記憶領域の範囲内で水平及び垂直方向の移動を行い、水平及び垂直方向の揺れによる表示画像の揺れを補正することによって、鑑賞し易い画像を得る技術も提案されている（例えば、特許文献２参照）。

上述した提案に係る表示装置は、揺れの状態に応じた補正方法を考慮していないという問題があった。例えば、電車、車等の乗り物に乗っているときに、携帯電話をTV機能にして、地上波デジタル放送などのTV番組を見る場合、乗り物の微妙な動きによりユーザの視線方向に対して、LCDのTV画像が縦方向と横方向だけでなく、深さ方向にも常時揺れてしまい、ユーザは、正確な動画情報を見ることができない、あるいはまた、静止状態でも、手触れにより、視線方向に対して、LCDのTV画像が縦方向と横方向だけでなく、深さ方向にも常時揺れてしまう場合、ユーザは、正確な動画情報を見ることはできない。

しかし、揺れに対する補正を行うか否かは、ユーザの個人差もあるため、その設定された補正を常に行うようにすると、気分が悪くなったりする等の問題もある。
特開平8-94389号公報 特開平9-9179号公報

そこで、本発明は、上述した問題に鑑みてなされたものであり、揺れに対する補正方法の選択をすることができる表示装置を提供することを目的とする。

本発明の一態様によれば、表示すべき表示画像を表示する表示部と、該表示部の表示面に対して平行でかつ互いに直交する２次元方向と、該２次元方向に直交する方向と、を含む３次元方向における前記表示部の揺れ、又は撮像装置によって撮像された所定の対象画像の撮像画像内の位置の変化を検出する検出部と、該検出部によって検出された前記３次元方向における前記表示部の前記揺れ、又は前記対象画像の前記位置の変化に対して、前記表示部の前記表示面を正面視したときに、前記表示画像の位置及び大きさが見掛け上変わらないように、前記３次元方向の前記揺れの量、又は前記対象画像の前記位置の変化の量に応じて、前記表示画像を補正しあるいは前記表示部を移動して前記３次元方向の補正を行う第１の補正部と、前記検出部によって検出された前記２次元方向における前記表示部の前記揺れ、又は前記対象画像の前記位置の変化に対して、前記表示部の前記表示面を正面視したときに、前記表示画像の位置が見掛け上変わらないように、前記２次元方向の前記揺れの量、又は前記対象画像の前記位置の変化の量に応じて、前記表示画像を補正しあるいは前記表示部を移動して前記２次元方向の補正を行う第２の補正部と、前記３次元方向の補正と、前記２次元方向の補正のいずれかを設定可能な設定部と、を有することを特徴とする表示装置を提供することができる。

本発明によれば、揺れに対する補正方法を選択することができる表示装置を実現することができる。

以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
（ハードウエア構成）
まず、図１に基づき、本実施の形態に係わる表示装置の構成を説明する。図１は、本実施の形態に係わる携帯電話の構成を示すブロック図である。図２は、携帯電話の外観を示す斜視図である。

表示装置としての携帯電話１は、折りたたみ型であり、各種キーを含む操作部が設けられた本体部１ａと、その本体部１ａに対して開閉可能に取り付けられ、本体部１ａに対向する面にLCDの表示器が搭載された蓋部１ｂとからなる。

本体部１ａは、ホストコンピュータとしての中央処理装置（CPU）１１と、記憶装置としてのROM及びRAMを含むメモリ１１ａと、各種キーを含む入力部（図示せず）とを含む。入力部は、各種キーを含み、ユーザ毎に、後述する補正方法の設定がそれらのキーを用いて設定できるようになっている。従って、入力部は、後述する補正方法の設定部１２を構成する。さらに、携帯電話１の揺れを検知するセンサ装置１３が、本体部１ａに設けられている。センサ装置１３は、例えば、ジャイロ装置、加速度センサ等であり、蓋部１ｂを開いたときのLCDの表示面に対して、所定のXYZの３軸方向の移動量の情報を、CPU１１へ出力する。

蓋部１ｂには、画像処理LSI等の画像処理部１４と、監視用カメラとしてのCCD１５と、LCD１６とが含まれている。画像処理部１４は、眼位置検出部２１と、制御無し回路２２と、縦・横制御回路２３と、奥行き制御回路２４と、縦・横・奥行き制御回路２５と、選択回路２６と、出力インターフェース回路（以下、出力I/Fと略す）２７とを含む。制御無し回路２２、縦・横制御回路２３、奥行き制御回路２４、及び縦・横・奥行き制御回路２５は、それぞれ、CPU１１からの画像信号に対して所定の画像処理を行って、LCD１６に表示すべき表示画像を表示できるようにする画像処理部を含んでいる。

各部の処理内容を、携帯電話１の機能と関連して説明する。
CPU１１は、ユーザのキー操作に対応して各種の機能を実行する複数のプログラムを内蔵している。その複数のプログラムは、メモリ１１ａに記憶されており、CPU１１は、機能に応じたプログラムを呼び出して実行することによって、各機能を実現できるように構成されている。CPU１１は、LCD１６に表示すべき表示画像の画像信号を生成し、画像処理部１４を介してLCD１６に供給する。

検出部であるセンサ装置１３は、所定の３次元方向（XYZ方向）の変化量、例えば加速度、の出力信号を、CPU１１に供給している。２次元のXY方向は、図２に示すように、LCD１６の表示面１６ａに対して平行な平面において互いに直交する方向である。図２では、矩形の表面に対して、ユーザにとって通常使用時の横方向がX方向であり、その方向に直交する方向である、縦方向がY方向である。Z方向は、LCD１６の表示面１６ａに直交する法線方向である。センサ装置１３は、携帯電話１すなわちLCD１６の揺れを検出し、XYZ方向において揺れた方向と量を示す揺れ信号を、CPU１１に供給する。

設定部１２は、後述する縦及び横方向の補正制御を行うのか、奥行き方向だけの補正制御を行うのか、縦、横及び奥行き方向の補正制御を行うのか、あるいは何の補正も行わない、をユーザが設定するための入力部である。設定部１２による設定の入力は、ユーザが、特定のキーを操作して行ってもよいし、あるいはその補正制御の方法、すなわち補正方法の設定をするための表示画面をLCD１６に表示させて画面上で選択することによって行うようにしてもよい。

一方、蓋部１ｂには、蓋部１ｂを開いたときに、ユーザがLCD１６の表示面１６ａを見ることができるように、LCD１６は設けられている。
CCD１５は、監視用カメラであり、LCD１６の表示面１６ａと同じ側に、ユーザがLCD１６の表示面１６ａを見ているときに、ユーザの顔を撮像できるように設けられている。

眼位置検出部２１は、CCD１５からの撮像信号を受信して、撮像して得られた画像信号から、ユーザの眼の位置を検出し、検出した眼の位置情報をCPU１１へ出力する。CPU１１は、ユーザの眼の位置情報から、ユーザの眼（言い換えると視点）の動き、すなわち揺れを検出することもできる。その検出方法については、後述する。

制御無し回路２２は、CPU１１からの画像信号に対して、LCD１６に画像を表示するための画像処理を行うと共に、揺れの状態に応じた補正を何ら行うことなく、その画像処理した画像信号をLCD１６に供給するための回路である。

縦・横制御回路２３は、CPU１１からの画像信号に対して、LCD１６に画像を表示するための画像処理を行うと共に、XY方向の揺れの状態に応じた補正を行って、その補正され画像信号をLCD１６に供給するための、２次元方向の補正を行う補正部である。

奥行き制御回路２４は、CPU１１からの画像信号に対して、LCD１６に画像を表示するための画像処理を行うと共に、Z方向の揺れの状態に応じた補正を行って、その補正され画像信号をLCD１６に供給するための、XY方向に直交する方向の補正を行う補正部である。

縦・横・奥行き制御回路２５は、CPU１１からの画像信号に対して、LCD１６に画像を表示するための画像処理を行うと共に、XYZ方向の揺れの状態に応じた補正を行って、その補正され画像信号をLCD１６に供給するための、３次元方向の補正を行う補正部である。

制御無し回路２２、縦・横制御回路２３、奥行き制御回路２４、及び縦・横・奥行き制御回路２５には、CPU１１からの画像信号が入力される。また、縦・横制御回路２３、奥行き制御回路２４、及び縦・横・奥行き制御回路２５には、CPU１１からの揺れ情報も入力される。

選択回路２６は、設定部１２からの設定情報に応じて、制御無し回路２２、縦・横制御回路２３、奥行き制御回路２４、及び縦・横・奥行き制御回路２５のいずれの回路を有効とするか、すなわち使用するかを選択する。例えば、制御無し回路２２を使用する場合は、選択回路２６は、制御無し回路２２を動作させる制御信号を、制御無し回路２２だけに供給し、他の縦・横制御回路２３、奥行き制御回路２４、及び縦・横・奥行き制御回路２５には制御信号を供給しない。同様に、縦・横・奥行き制御回路２５を使用する場合は、選択回路２６は、縦・横・奥行き制御回路２５を動作させる制御信号を、縦・横・奥行き制御回路２５だけに供給し、他の制御無し回路２２、縦・横制御回路２３及び奥行き制御回路２４には制御信号を供給しない。制御信号を受信しない回路は、動作しない。

出力I/F２７は、制御無し回路２２、縦・横制御回路２３、奥行き制御回路２４、及び縦・横・奥行き制御回路２５からの画像信号が入力されている。
よって、出力I/F２７は、選択回路２６によって選択されて動作している回路からの画像信号を入力して、LCD１６へ出力する。
以上の画像処理部１４は、いわゆる１チップの半導体集積回路として実現されてもよいし、複数のチップで実現されてもよい。

（揺れの検知）
揺れには、電車等の振動に起因する携帯電話１自体の揺れと、ユーザの動きに応じた揺れがある。
図３は、揺れを説明するための図である。携帯電話１を使用しているユーザが、電車等に乗っているとき、携帯電話１自体がXYZ方向の少なくともいずれか１つの方向において揺れれば、ユーザの眼Eに対して、画像はその揺れた方向に移動する。

携帯電話１自体が揺れなくても、ユーザの眼Eの位置がXYZ方向の少なくともいずれか１つの方向において揺れれば、ユーザにとっては、見掛け上、表示画像はその揺れた方向とは反対方向に移動したことになる。
さらに、携帯電話１と眼Eが共に同じ方向に揺れれば、両者は相対的には動いていないということができるので、ユーザの眼Ｅにとって、画像は移動していないということができる。

センサ装置１３は、携帯電話１のXYZ方向における揺れを検出し、CPU１１にその揺れに関する方向と大きさの情報を供給する。CPU１１は、その情報に基づいて、携帯電話１の移動量、すなわち揺れ量を計算する。
一方、CCD１５は、撮像して得られた画像の画像信号を眼位置検出部２１に供給する。眼位置検出部２１は、受信した画像信号に基づいて人の顔を認識し、さらにその顔の眼の位置を検出する。CPU１１は、検出された眼の位置情報に基づいて、眼の位置の移動、すなわち揺れを検出し、その移動量、すなわち揺れ量を計算する。その移動量の計算は、次のようにして行われる。

なお、以下の説明では、センサ装置１３からの揺れ情報、又は、CCD１５からの画像情報に基づいて、眼Eの位置とLCD１６の相対的な位置の変化を検出する例を説明する。CCD１５からの画像情報を用いる場合、CCD１５の撮像画像の中の、所定の対象（以下の説明ではユーザの顔あるいは眼）の画像の位置及び大きさの変化から、眼Eの位置とLCD１６の相対的な位置の変化を検出する。

センサ装置１３からの揺れ情報であれば、CPU１１は、その揺れ情報を縦・横制御回路２３等に供給する。
CCD１５からの画像情報を用いて揺れを検出する場合は、CPU１１は、以下に述べるような演算を行って、XYZ方向の揺れを検出し、その検出した揺れ情報を縦・横制御回路２３等に供給する。

１）XY方向の揺れの検出
図４を用いて、眼のXY方向の揺れの検出方法を説明する。図４は、眼のXY方向の揺れの検出方法を説明するための図である。事前に、ユーザは、携帯電話１のLCD１６の画像をみているときに、所定の操作、例えば特定のキーを押すというような操作によって、眼Ｅの基準位置を設定する。

基準位置は、その設定のための操作された時における、CCD１５により撮像して得られた画像G１中の２つの眼の位置である。顔画像の認識処理によって眼が認識されて、その時の眼の位置が基準位置とされ、その位置データがメモリ１１ａに記憶される。

電車等が揺れることによって、X方向における、眼Eと携帯電話１間の相対的な位置が変化すると、CCD１５の撮像した画像の眼、例えば、２つの眼のうちの一方の眼e1の位置の位置は、図４の画面G2のように移動する。同様に、Y方向における、眼Eと携帯電話１間の相対的な位置が変化すると、CCD１５の撮像した画像の眼e1の位置は、図４の画面G3のように移動する。また、X方向とY方向の２つの方向に眼の位置が変化する場合もある。

眼の位置情報は、常に眼位置検出部２１からCPU１１へ供給されている。従って、CPU１１は、メモリ１１ａに記憶された基準位置と供給されてきた眼の位置情報との差を計算することによって、XとY方向の移動量LX,LYを計算して得ることができる。
２）Z方向の揺れの検出
図５を用いて、眼のZ方向の揺れの検出方法を説明する。図５は、眼のZ方向の揺れの検出方法を説明するための図である。基準位置の設定は、上述したような方法が行われるときに、同時に行われる。基準位置における２つの眼の間隔データEW0は、基準長さデータとしてメモリ１１ａに記憶される。

電車等が揺れることによって、Z方向における、眼Eと携帯電話１間の相対的な位置が変化すると、CCD１５の撮像した画像は、図５の画面G4あるいは画面G5のように変化する。図５に示すように、CCD１５によって撮像して得られた顔の画像の大きさが変化する。上述したように、眼位置検出部２１は、２つの眼の位置情報をCPU１１へ供給するので、撮像された画像における２つの眼Eの間の量も変化する。

なお、以下の説明では、眼Eの間の距離に基づいて、Z方向の変化を検出しているが、眼E自体の大きさの変化によっても、Z方向の変化を検出できる。その場合も、大きさの変化は、顔の画像と周囲の画像の境界の位置を検出することになるので、Z方向の変化は、対象画像の眼あるいは顔の画像の位置情報から検出される。

CPU１１は、受信した２つの眼の位置情報から２つの眼の中心点の間隔を計算して、２つの眼の間隔データEWを得る。CPU１１には、２つの眼の間隔データEWと、携帯電話１のLCD１６の表示面１６ａと眼との間の距離の関係が、予めメモリ１１ａにデータとして記憶されている。よって、CPU１１は、２つの眼の間隔データEWに基づいて、LCD１６の表示面１６ａと眼の間の距離を求めることができる。

例えば、CCD１５に対してユーザの顔が近づいて、画面G4のように、基準位置における間隔データEW0よりも、２つの眼の間隔が大きい場合、あるいはCCD１５からユーザの顔が遠ざかって、画面G5のように、基準位置における間隔データEW0よりも、２つの眼の間隔が小さい場合、CPU１１は、Z方向の距離の移動量LZを計算して得ることができる。

図６は、両眼の間隔と移動量との関係を示す図である。両眼の間隔が基準位置における間隔データEW0よりも大きい場合（EW1）、表示面に眼が近づいて移動量LZは負となり、眼と表示面間の距離は、基準位置における距離よりも短い距離（LZ1）となる。両眼の間隔が基準位置における間隔EW0よりも小さい場合（EW2）、表示面から眼が遠ざかり移動量LZは正となり、眼と表示面間の距離は、基準位置における距離よりも長い距離（LZ2）となる。従って、CPU１１は、図６のような関係を、例えばテーブルデータで予め保持しておき、眼の位置情報から計算して得られた間隔データEWに基づいて、テーブルデータから移動量LZを得ることができる。
CPU１１は、以上のようにして得られた、携帯電話１と眼EのそれぞれのXYZ方向の移動量から、相対的な移動量、すなわち相対的な揺れ量を計算して出力する。

図７は、CPU１１が、その相対的な揺れ量の情報を出力する処理の流れの例を示すフローチャートである。まず、CPU１１は、センサ装置１３から、携帯電話１のXYZ方向の移動量の情報であるセンサ情報、又は眼位置検出部２１から眼の位置情報を取得する（ステップS1）。そして、CPU１１は、そのセンサ情報に基づいて、携帯電話１と眼Eの、XYZ方向における相対的な移動量を計算する（ステップS2）。

続いて、その計算して得られた相対的な移動量の情報を、縦・横制御回路２３等に出力する（ステップS3）。

（揺れに対する補正方法）
上述したように、携帯電話１の揺れ、あるいは撮像画像におけるユーザの眼Eの画像の位置の変化に基づいて、３次元方向における相対的な移動量として得られると、CPU１１は、携帯電話１とユーザの眼Eの相対的な３次元方向における移動量を、縦・横制御回路２３等に出力する。
このとき、CPU１１は、計算して得られたXYZ方向の相対的な移動量の情報を、揺れ情報として、縦・横制御回路２３、奥行き制御回路２４、及び縦・横・奥行き制御回路２５に供給する。また、上述したように、CPU１１は、LCD１６に表示する画像の画像信号を、制御無し回路２２、縦・横制御回路２３、奥行き制御回路２４、及び縦・横・奥行き制御回路２５に供給している。

縦・横制御回路２３は、受信した揺れ情報に基づいて、画像信号に対して、画像処理により、縦方向と横方向の揺れに対する２次元方向の補正を行う。奥行き制御回路２４は、受信した揺れ情報に基づいて、画像信号に対して、画像処理により、奥行き方向の揺れに対する１次元方向の補正を行う。縦・横・奥行き制御回路２５は、受信した揺れ情報に基づいて、画像信号に対して、画像処理により、縦方向、横方向及び奥行き方向の揺れに対する３次元方向の補正を行う。制御無し回路２２は、画像信号に対して補正を行わない。

１）原理
ここで、揺れに対する補正の原理を説明する。図８から図１０は、揺れに対する補正の原理を説明するための図である。図８は、補正が無い場合の画像の表示状態を説明するための図である。

LCD１６の表示面１６ａの表示領域に表示される画像は、画像データの中の所定の有効範囲の画像である。全画像データが元々有している全画像領域AA中の、所定の範囲である有効表示領域EDAが、LCD１６の表示面の表示領域に表示される。

補正が無い場合は、図８のように、全画像領域AAの中で中央部の有効表示領域EDAが表示されて、ユーザは観ることができる。全画像領域AAの中で、有効表示領域EDAの周囲の領域は、ブランキングモード領域と同様にマスクされて表示されず、ユーザには見えないブランク領域BAである。図８において、ブランク領域BAは、斜線で示してある。
従って、CPU１１から画像データを受信すると、制御無し回路２２は、図８のように、全画像領域AAの中央部の有効表示領域EDAの画像を表示するように、LCD１６に画像信号と各種制御信号を出力する。

しかし、上述したように、携帯電話１と眼Eと間にXY方向において相対的な揺れがあったときは、その揺れによる画像の移動を相殺する方向に有効表示領域EDAが移動する。図９は、XY方向における揺れがあった場合の補正画像の表示状態を説明するための図である。
例えば、眼Eの視点位置から見て、携帯電話１がXY方向においてそれぞれ-LX1,-LY1だけ相対的に移動した場合、有効表示領域EDAは、全画像領域AAの中で、そのXY方向における移動量-LX1,-LY1を相殺するような逆方向A1に、移動する。このように揺れによる画像の移動を相殺する方向に有効表示領域EDAの位置を移動させることによって、ユーザは、画面の揺れを感じないで、画像を見ることができる。

また、携帯電話１と眼Eと間にZ方向において相対的な揺れがあったときは、その揺れによる画像の移動を相殺するように、画像が拡大あるいは縮小される。図１０は、Z方向における揺れがあった場合の補正画像の表示状態を説明するための図である。
例えば、眼Eの視点位置が、携帯電話１のLCD１６に対して、Z方向において-LZ1だけ相対的に移動した、例えば近づいた場合、画像は、そのZ方向における移動量-LZ1により、画像が大きくみえるようになる分だけ縮小して、ユーザには画像の大きさが変わらないようにする。このようにZ方向における揺れによる画像の大きさが変化する分を、ユーザにとって見かけ上、画像の大きさが変わらないように、相殺する方向に、画像を拡大あるいは縮小させて有効表示領域EDAに表示される画像の大きさを変更することによって、ユーザは、画面の揺れを感じないで、画像を見ることができる。

携帯電話１と眼Eと間にXY方向だけ、あるいはZ方向だけにおいて相対的な揺れがあったときではなく、XYZ方向において相対的な揺れがあれば、上述した図９及び図１０の移動と拡大／縮小が共に行われることによって、ユーザは、３次元方向における画面の揺れを感じないで、画像を見ることができる。

なお、XY方向におけるプラス方向及びマイナス方向における画像の移動量には、上限値が予め決められており、その上限値以上は、画像はXY方向には移動しないようになっている。同様に、Z方向においても、画像の拡大率及び縮小率にも最大値及び最小値が予め決められており、その最大値及び最小値以上には拡大及び縮小されないようになっている。

２）補正方法
上述した補正は、上述した縦・横制御回路２３、奥行き制御回路２４、及び縦・横・奥行き制御回路２５において実現される。XYZ方向の補正は、縦・横制御回路２３、奥行き制御回路２４、及び縦・横・奥行き制御回路２５のそれぞれにおいて、画像信号をLCD１６へ出力するタイミングを制御することによって実現している。

まず、XY方向の補正について説明する。図１１は、LCD１６への制御信号である駆動信号の出力のタイミングを説明するための図である。LCD１６には、制御無し回路２２、縦・横制御回路２３等から、制御信号として、水平同期信号HSYNCと垂直同期信号VSYNCが供給される。水平同期信号HSYNCの出力タイミングによって、全画像領域AA の水平方向の範囲が決定される。水平同期信号HSYNCの立ち下がりのタイミングが、全画像領域AAの水平方向の出力幅の始点と終点を決定する。垂直同期信号VSYNCの出力タイミングによって、全画像領域AAの垂直方向の範囲が決定される。垂直同期信号VSYNCの立ち下がりのタイミングが、全画像領域AAの垂直方向の出力幅の始点と終点を決定する。

さらに、LCD１６には、制御無し回路２２、縦・横制御回路２３等から、制御信号として、水平有効信号HENと垂直有効信号VENが供給される。水平有効信号HENの出力タイミングによって、水平同期信号HSYNCにより決定された全画像領域AAの水平方向の出力幅内における有効表示領域EDAの水平方向の範囲が決定される。水平有効信号HENの立ち上がりのタイミングが、有効表示領域EDAの水平方向の出力幅の始点と終点を決定する。垂直有効信号VENの出力タイミングによって、垂直同期信号VSYNCにより決定された全画像領域AAの垂直方向の出力幅内における有効表示領域EDAの垂直方向の範囲が決定される。垂直有効信号VENの立ち上がりのタイミングが、有効表示領域EDAの垂直方向の出力幅の始点と終点を決定する。
水平有効信号HENと垂直有効信号VENによって決定された有効表示領域EDAの画像が、LCD１６の表示領域に表示される。

図１２は、XY方向の補正をする場合における、水平有効信号HENと垂直有効信号VENの出力タイミングの変化を説明するための図である。図１２に示すように、水平有効信号HENと垂直有効信号VENは、揺れによる画像の移動量に対応する時間TX1,TY1だけずれて出力される。
以上のようにして、XY方向における揺れによる画像の補正が実現される。

次に、Z方向の補正について説明する。Z方向の補正は、有効表示領域の範囲を制御することによって実現される。すなわち、全画像領域AA中の有効表示領域EDAとして、LCD１６の表示領域に表示される画像の範囲を変更することによって、Z方向の揺れに対して表示画像の拡大あるいは縮小が行われる。

図１３は、Z方向の補正をする場合における、水平有効信号HENと垂直有効信号VENの出力タイミングの変化を説明するための図である。図１３は、上述した図１０の場合に対応し、眼Eの視点位置が、携帯電話１のLCD１６に対して、Z方向において-LZ1だけ相対的に移動した、例えば近づいた場合を示す。その場合、画像は、そのZ方向における移動量-LZ1に応じて画像を縮小して、ユーザには画像の大きさが変わらないようにする。従って、図１３に示すように、水平有効信号HENのHIGHの期間が、揺れのないときの期間aよりも長い期間ｂとなるように、水平有効信号HEN の出力タイミングが制御される。同様に、垂直有効信号VENのHIGHの期間が、揺れのないときの期間cよりも長い期間dとなるように、垂直有効信号VEN の出力タイミングが制御される。比率b/a及びd/cは、ユーザにとっての見かけ上の画像の大きさが変わらないように、Z方向における揺れによる画像の大きさの変化分を相殺するだけの縮小率である。

眼Eの視点位置が、携帯電話１のLCD１６に対して、Z方向においてLZ1だけ相対的に移動した、例えば遠ざかる場合は、縮小率でなく、拡大率となる。その場合も、比率b/a及びd/cは、ユーザにとっての見かけ上の画像の大きさが変わらないように、Z方向における揺れによる画像の大きさの変化分を相殺するだけの拡大率である。

（作用）
上述したように、LCD１６の表示面１６ａの表示領域に表示される画像は、有効表示領域EDAの画像である。よって、制御無し回路２２、縦・横制御回路２３、奥行き制御回路２４、及び縦・横・奥行き制御回路２５は、有効表示領域EDAの画像を表示するための画像信号と制御信号を、出力IF２７を介して、LCD１６へ出力する。

制御無し回路２２は、図８の有効画像領域EDAのように、全画像領域AA中の予め決められた位置、例えば真ん中の位置、の画像信号（有効表示領域EDAの画像信号）を表示させるように、画像信号と制御信号を、LCD１６へ出力する。
縦・横制御回路２３は、LCD１６の表示面をユーザが正面視したときに、表示画像の位置が見掛け上変わらないように、センサ装置１３からの揺れ情報に応じて、表示画像を補正する。具体的には、縦・横制御回路２３は、図９の有効画像領域EDAのように、揺れ情報の中のXY方向の揺れ情報に基づいて、揺れによる画像の移動をXY方向において相殺する方向に移動した有効表示領域EDAの画像を、LCD１６へ出力する。
奥行き制御回路２４は、LCD１６の表示面をユーザが正面視したときに、表示画像の大きさが見掛け上変わらないように、センサ装置１３からの揺れ情報に応じて、表示画像を補正する。具体的には、奥行き制御回路２４は、図１０の有効画像領域EDAのように、揺れ情報の中のZ方向の揺れ情報に基づいて、揺れによる画像の移動をZ方向において相殺するように拡大あるいは縮小した表示画像を表示させるように、画像信号と制御信号を、LCD１６へ出力する。
縦・横・奥行き制御回路２５は、LCD１６の表示面をユーザが正面視したときに、表示画像の位置及び大きさが見掛け上変わらないように、センサ装置１３からの揺れ情報に応じて、表示画像を補正する。具体的には、縦・横・奥行き制御回路２５は、揺れ情報の中のXY方向の揺れ情報に基づいて、揺れによる画像の移動をXY方向において相殺する方向に有効表示領域EDAを移動し、かつZ方向の揺れ情報に基づいて、揺れによる画像の移動をZ方向において相殺するように拡大あるいは縮小した表示画像を表示させるように、画像信号と制御信号を、LCD１６へ出力する。
あるユーザは、電車に乗っていて、揺れるために携帯電話１のLCD１６の画面が見難いと感じたときは、例えば、所定のキー操作により、縦及び横方向（すなわちXY方向）の補正を行うように設定すると、その設定指示は、設定部１２から選択回路２６に入力される。選択回路２６は、ユーザの設定に応じて、縦・横制御回路２３にだけ制御信号を出力し、縦・横制御回路２３を動作させる。

縦・横制御回路２３は、上述したXY方向の揺れ情報に基づいて、図１２で説明したように、水平有効信号HENと垂直有効信号VENの出力タイミングを制御する。その結果、XY方向の揺れがあると、図９に示すように有効表示領域EDAが移動する。これにより、ユーザは、XY方向に揺れがあっても、携帯電話１のLCD１６の画像は見やすくなる。

ところが、別な状況において、Z方向の揺れがあるために、ユーザには、画面が見難い場合もある。そのような場合は、ユーザは、所定のキー操作により、奥行き方向（すなわちZ方向）の補正を行うように設定すると、その設定指示は、設定部１２から選択回路２６に入力され、結果として、奥行き制御回路２４を動作させることができる。

奥行き制御回路２４は、上述したZ方向の揺れ情報に基づいて、図１３で説明したように、水平有効信号HENと垂直有効信号VENの出力タイミングを制御する。その結果、Z方向の揺れがあると、図１０に示すように表示画像が拡大あるいは縮小する。これにより、ユーザは、Z方向に揺れがあっても、携帯電話１のLCD１６の画像は見やすくなる。

また、さらに別な状況において、XYZ方向の揺れがあるために、ユーザには、画面が見難い場合もある。そのような場合は、ユーザは、所定のキー操作により、縦、横及び奥行き方向（すなわちXYZ方向）の補正を行うように設定すると、その設定指示は、設定部１２から選択回路２６に入力され、結果として、縦・横・奥行き制御回路２５を動作させることができる。

縦・横・奥行き制御回路２５は、上述したXYZ方向の揺れ情報に基づいて、図１２と図１３で説明したように、水平有効信号HENと垂直有効信号VENの出力タイミングを制御する。その結果、XYZ方向の揺れがあると、図９及び図１０に示すように有効表示領域EDAが移動、及び表示画像の拡大あるいは縮小する。これにより、ユーザは、XYZ方向に揺れがあっても、携帯電話１のLCD１６の画像は見やすくなる。

ユーザは、揺れの方向が分からない場合がある。そのような場合には、設定部１２により、縦・横制御回路２３、奥行き制御回路２４、及び縦・横・奥行き制御回路２５を順次動作させて最も画面が見やすい補正方法を選択することができる。

さらに、揺れ方によっては、ユーザ毎に見やすいと感じる補正方法が異なる場合もある。例えば、同じ状況にある２人のユーザがあるとき、一方のユーザは、XYZ方向の補正が行われる縦・横・奥行き制御回路２５を動作させたときに、画面が最も見やすいと感じるが、他方のユーザにとっては、XY方向だけの補正を行う縦・横制御回路２３を動作させたときに、画面が最も見やすいと感じる場合がある。いわゆる個人差がある場合がある。このような場合においても、上述した携帯電話１によれば、ユーザは、自分にとって画面が見やすいと思う補正方法を選択することができる。

また、ユーザによっては、電車に乗っているときは、XYZ方向あるいはZ方向の揺れを補正する補正方法を選択し、電車に乗っていなときは、XY方向の揺れを補正する補正方法を選択する、というような選択ができる。

さらに、ユーザによっては、いずれの補正方法利用しない表示方法を選択したい場合もある。通常は、携帯電話１の使用中に、一度、補正方法の変更があれば、別の補正方法への変更の設定がされるまで、その補正方法による補正が行われた画像が表示される。また、電源ON時は、前回使用時の補正方法を有効としてもよいし、あるいは補正無し回路２２が動作して、XYZ方向のいずれの方向の補正も行われない画像が表示されるようにしてもよい。

すなわち、ユーザは、なんら揺れに対する補正をしない画像を選択することもできるし、自分にとって画像が見やすいような補正方法により補正された画像を選択することができる。

（第２の実施の形態）
第１の実施の形態では、LCD１６に表示される画像の有効表示領域EDAを移動、又は表示画像を拡大あるいは縮小することによって、揺れに対する画像の補正を行っていたが、第２の実施の形態では、LCD１６自体を機械的にXYZ方向に移動することによって、揺れに対して画像の補正を行うようにした点が、第１の実施の形態と異なる。

（ハードウエア構成）
まず、図１４に基づき、本実施の形態に係わる表示装置の構成を説明する。図１４は、第２の実施の形態に係わる携帯電話の構成を示すブロック図である。図１４の携帯電話１Aの外観は、図２に示す携帯電話１と同様である。なお、本実施の形態において、第１の実施の形態と同じ構成要素については、同一の符号を付し、説明は省略する。
図１４に示すように、画像処理部１４Aは、画像処理回路１２２と、モーションコントローラ部１２３と、X軸ドライバ１２４と、Y軸ドライバ１２５と、Z軸ドライバ１２６と、出力I/F１２７，１２８とを含む。さらに、蓋部１ｂには、X軸方向駆動モータ１３０と、Y軸方向駆動モータ１３１と、Z軸方向駆動モータ１３２とが設けられている。

CPU１１は、画像信号を画像処理回路１２２に供給し、さらに、第１の実施の形態で説明した、携帯電話１Aと眼Eの相対的な位置の移動量の情報を含む揺れ情報をモーションコントローラ部１２３に供給する。

画像処理回路１２２は、画像処理して、LCD１６で表示する画像信号を生成して、出力I/F１２７を介して、LCD１６に供給する。その結果、LCD１６は、供給された画像信号に基づいて画像を表示する。

モーションコントローラ部１２３には、設定部１２から、補正方法の設定情報が入力される。モーションコントローラ部１２３は、入力された補正方法に対応して、LCD１６を動かすための駆動制御信号を、X軸ドライバ１２４、Y軸ドライバ１２５及びZ軸ドライバ１２６に供給する。

X軸ドライバ１２４、Y軸ドライバ１２５及びZ軸ドライバ１２６は、それぞれ、入力された駆動制御信号に基づく駆動信号を、出力I/F１２８を介して、X軸方向駆動モータ１３０、Y軸方向駆動モータ１３１及びZ軸方向駆動モータ１３２に出力する。X軸方向駆動モータ１３０と、Y軸方向駆動モータ１３１と、Z軸方向駆動モータ１３２は、例えば、入力されたパルス数に応じて回転軸を回転させるモータであり、例えばステッピングモータである。

従って、モーションコントローラ部１２３と、X軸ドライバ１２４と、Y軸ドライバ１２５が、２次元方向の補正を行う補正部を構成する。モーションコントローラ部１２３と、X軸ドライバ１２４と、Y軸ドライバ１２５と、Z軸ドライバ１２６が、３次元方向の補正を行う補正部を構成する。モーションコントローラ部１２３と、Z軸ドライバ１２６が、２次元方向に直交する方向の補正を行う補正部を構成する。

（機械的構成）
図１５及び図１６は、LCD１６をXYZ方向に移動させるための、蓋部１ｂ内の機械的な構造を説明するための模式的な構成図である。図１５は、３つのモータを利用してLCD１６が、機械的にXYZ方向に動かされる場合の構成を示す図である。

蓋部１ｂ内には、LCD１６が固定されたステージ４１を、XYZ方向に移動できるように、３つのモータが設けられている。X軸方向の移動を行うためのX軸方向駆動モータ１３０の回転軸には、ローラ１３０ａが固定されて接続されている。ローラ１３０ａは、ステージ４１の下面に密着して設けられ、X軸方向駆動モータ１３０の回転軸の回転に応じて、X軸方向にステージ４１を移動するように回転されるように配置されている。Y軸方向の移動を行うためのY軸方向駆動モータ１３１の回転軸には、ローラ（図示せず）が固定されて接続されている。そのローラは、ステージ４１の下面に密着して設けられ、Y軸方向駆動モータ１３１の回転軸の回転に応じて、Y軸方向にステージ４１を移動するように回転されるように配置されている。Z軸方向の移動を行うためのZ軸方向駆動モータ１３２の回転軸には、ローラ１３２ａが固定されて接続されている。ローラ１３２ａは、ステージ４１の側面に密着して設けられ、Z軸方向駆動モータ１３２の回転軸の回転に応じて、Z軸方向にステージ４１を移動するように回転されるように配置されている。

モーションコントローラ部１２３には、第１の実施の形態で説明した揺れ情報が入力される。揺れ情報はXYZ方向における画像の相対的な移動量であるため、モーションコントローラ部１２３は、その画像の移動量をXYZ方向において相殺する方向に、相殺する量だけ、LCD１６自体を移動させるように、X軸ドライバ１２４、Y軸ドライバ１２５及びZ軸ドライバ１２６のそれぞれに駆動制御信号を出力する。X軸ドライバ１２４、Y軸ドライバ１２５及びZ軸ドライバ１２６は、それぞれ、X軸方向駆動モータ１３０、Y軸方向駆動モータ１３１及びZ軸方向駆動モータ１３２に駆動信号を出力するので、LCD１６は指定されたXYZ方向に移動量だけ動く。

X軸方向駆動モータ１３０、Y軸方向駆動モータ１３１及びZ軸方向駆動モータ１３２のそれぞれの回転軸の回転量は、モーションコントローラ部１２３において、揺れ情報に基づいてXYZ方向にLCD１６を動かす量に応じて一意に決定される。モーションコントローラ部１２３は、その決定されたXYZ方向におけるLCD１６を動かす量に対応する駆動制御信号をX軸ドライバ１２４、Y軸ドライバ１２５及びZ軸ドライバ１２６に出力するように構成されている。X軸ドライバ１２４、Y軸ドライバ１２５及びZ軸ドライバ１２６は、その入力された駆動制御信号に応じたパルス出力を、X軸方向駆動モータ１３０、Y軸方向駆動モータ１３１及びZ軸方向駆動モータ１３２に出力する。その結果XYZ方向に揺れがあっても、携帯電話１のLCD１６が動くので、ユーザにとって、LCD１６の画像は見やすくなる。

図１６は、３つの電磁石を利用して、LCD１６が機械的にXYZ方向に動かされる場合の構成を示す図である。

蓋部１ｂ内には、LCD１６が固定されたステージ１４１を、XYZ方向に移動できるように、３つの制御プレートが設けられている。X軸方向の移動を行うためのX軸制御プレート１５１が、LCD１６の一側面に配置されている。X軸制御プレート１５１にはX軸方向制御用電磁石１５２が接続されており、X軸制御用電磁石１５２に供給する電流Ixの値を制御することによって、ステージ１４１とX軸制御プレート１５１間の距離を制御することができる。Y軸方向の移動を行うためのY軸制御プレート１５３が、LCD１６の他の一側面に配置されている。Y軸制御プレート１５３にはY軸方向制御用電磁石１５４が接続されており、Y軸制御用電磁石１５４に供給する電流Iyの値を制御することによって、ステージ１４１とY軸制御プレート１５３間の距離を制御することができる。同様に、Z軸方向の移動を行うためのZ軸制御プレート１５５が、LCD１６の背面に配置されている。Z軸制御プレート１５５にはZ軸方向制御用電磁石１５６が接続されており、Z軸制御用電磁石１５６に供給する電流Izの値を制御することによって、ステージ１４１とZ軸制御プレート１５５間の距離を制御することができる。電流信号Ix,Iy,Izは、それぞれXYZ方向における移動量と比例する。

図１６の構成の場合の回路構成は、図１４において、X軸ドライバ１２４の出力が、X軸方向の移動量に応じた電流信号Ixとなり、Y軸ドライバ１２５の出力が、Y軸方向の移動量に応じた電流信号Iyとなり、Z軸ドライバ１２６の出力が、Z軸方向の移動量に応じた電流信号Izとなるような構成である。

従って、図１６のような構成によっても、XYZ方向に揺れに対して、携帯電話１のLCD１６が動くので、ユーザにとって、LCD１６の画像は見やすくなる。

以上のように、図１４から図１６の構成によっても、揺れ情報に基づいて、LCD１６に表示される表示画像の大きさが見掛け上変わらないように、LCD１６自体を機械的に３次元方向、２次元方向又は１次元方向に移動させることによって、ユーザにとって、LCD１６の画像は見やすくなり、かつ、３次元方向、２次元方向、１次元方向のいずれかの補正あるいはいずれの補正も行わないという設定ができる。よって、ユーザは、なんら揺れに対する補正をしない画像を選択することもできるし、自分にとって画像が見やすいような補正方法により補正された画像を選択することができる。

（変形例）
以下、上述した実施の形態の変形例を説明する。
（眼の移動量の検出と表示画像の補正方法についての変形例）
眼の位置による眼の移動量の検出と表示画像の補正方法についての変形例を説明する。図４と図５では、眼の位置を検出し、検出した眼の位置の変化により、ＸＹ方向の移動量を決定し、２つの眼の間の距離の変化により、Ｚ方向の移動量を決定していた。

本変形例では、３次元方向に移動したときの眼の画像あるいは顔の画像の変化に対応する複数の画像を、参照画像として、それぞれの移動量及び拡大率等とリンクして予め設定しておき、その設定された複数の参照画像の中から、CCDで撮像して顔の認識処理により検出された顔の画像の位置と一致する参照画像を判別して、その判別された参照画像に対応する移動量及び拡大率（あるいは縮小率）（以下、移動量及び拡大率（あるいは縮小率）を、マッチング係数という）を用いて、表示する画像を生成する。

まず、図１７を用いて、XYZ方向における移動量と表示画像の倍率の関係を説明する。図１７は、ユーザの視線方向LSから見たときに、画像がXY方向において基準位置Oに対して相対的に移動するときの画像の移動と、Z方向において基準位置Oに対して相対的に移動するときの画像の表示倍率の変化を説明するための図である。

ユーザの視線方向LSから基準位置Oの画像を見ると、画像はXY方向においては中心位置である基準位置にあり、かつZ方向においては倍率が１．０倍となる。

しかし、ユーザの眼EとLCD１６との相対的な位置が変化すると、表示すべき画像は、XY方向においては、XY平面内での画像の位置を変化させ、Z方向においては、画像の倍率を変化させたものとなる。図１８は、ユーザの眼EとLCD１６のZ方向における相対的な位置は変化しないで、XY方向における相対的な移動があった場合の表示画像のXY方向の変化範囲を示す図である。図１８において、Z方向における位置は変化しないので、画像の倍率は１．０倍であり、XY方向における位置の変化に応じて、表示する画像の位置あるいは範囲（すなわち図８の有効表示領域EDA）は、斜線で示す平面P1内で変化すなわち移動する。平面P1は、基準位置Oを含む平面である。

また、図１９は、ユーザの眼EとLCD１６のXY方向における相対的な位置は変化しないで、Z方向における相対的な移動があった場合の表示画像のZ方向の変化範囲を説明するための図である。図１９において、XY方向における位置は変化しないので、画像の中心位置は変化しないが、Z方向における位置の変化に応じて、表示する画像（すなわち図８の有効表示領域EDA）の倍率は、線L1上に沿って変化する。線L1は、基準位置Oを含む線である。

なお、図１７から図１９で示す例は、Z方向のおける位置の変化に応じて、画像の倍率は０．８から１．２倍の範囲内で変化する場合を示す。

まず、眼の移動量の検出方法について説明する。
図２０から図２２は、眼EとLCD１６の位置がXYZ方向において相対的に移動した結果、CCD１６において撮像して得られる眼Eの位置の画像を説明するための図である。

図２０は、基準位置として設定される画像G00における眼Eの位置に対して、Z方向における位置は変化しない場合において、CCD１６からの画像における眼Eの位置がXY方向において変化した場合の画像の状態を示す図である。図２０において、中心の画像G00は、図１７の基準位置Oの参照画像として設定された画像である。

中心の画像G00を用いて、Z方向における眼Eの位置は変化せず、XY方向における位置だけが変化した場合の、CCD１６から得られる、複数の眼の画像あるいは複数の顔の画像を生成して、メモリ１６ａ等の記憶装置に予め記憶しておく。図２０は、その記憶される複数の参照画像の例を示し、XY方向に所定量だけ移動したときの画像を、その移動毎に、参照画像として記憶されることを示している。言い換えると、図２０は、眼EがXY方向にそれぞれ所定量だけ移動した位置における複数の参照画像が生成されることを、XY方向のマトリックス状に示している。その複数の参照画像の生成及び設定は、例えば、眼Ｅの基準位置の画像を参照画像として設定をしたときに、その基準位置の画像（画像G00）から、画像処理により行われる。その設定された複数の参照画像は、メモリ１６ａ等の記憶装置に予め記憶される。
また、複数の参照画像のそれぞれに対応してすなわちリンク付けされて、XY方向における表示画像の移動量の情報も、メモリ１６ａ等の記憶装置に予め記憶される。すなわち、複数の参照画像は、それぞれに対応するXY方向の移動量の情報とリンクされて、関係付けられている。

CPU１１は、CCD１６からの画像信号から眼の画像あるいは顔の画像を抽出する。CPU１１は、その抽出した眼の画像あるいは顔の画像と、複数の参照画像とのマッチングをとり、眼の位置が最も一致する参照画像を特定する。

参照画像が特定されると、CPU１１は、その参照画像に対応する移動量の情報を、メモリ１６ａから読み出す。CPU１１は、読み出された移動量の情報を、図１の縦・横制御回路２３等に出力し、あるいは図１４のモーションコントローラ部１２３に出力する。

図２０は、Z方向における眼EとLCD１６との相対的な位置が変化しない場合に対応する参照画像の例であるが、さらに、Z方向における眼EとLCD１６との相対的な位置の変化に対応して、同様に複数の参照画像もメモリ１６ａ等の記憶装置に予め記憶される。

図２１及び図２２は、基準位置の参照画像として設定される画像G00における眼の位置に対して、Z方向における位置は変化した場合において、CCD１６からの画像における眼の位置がXY方向において変化した場合の画像の状態を示す図である。

図２１は、眼EとLCD１６の間の距離が、互いに近づく方向にある量だけ変化した状態において、CCD１６からの画像における眼Eの位置がXY方向において変化した場合の画像の状態を示す図である。図２１において、中心の画像G01は、例えば、図１９の位置P11における画像である。

CPU１１は、Z方向における眼Eの位置がある量だけ変化して、かつそのZ方向の位置毎にXY方向における位置だけが変化した場合の、CCD１６から得られる、複数の眼Eの画像あるいは複数の顔の画像を、中心画像G00を用いて参照画像として生成して、メモリ１６ａ等の記憶装置に予め記憶する。図２１は、その記憶される複数の参照画像の例を示し、そのZ方向における位置において、XY方向に所定量だけ移動したときの画像を、その移動毎に、参照画像として記憶されることを示している。言い換えると、図２１は、眼EがZ方向において在る位置にある場合、XY方向にそれぞれ所定量だけ移動した位置における複数の参照画像が生成されることを、XY方向のマトリックス状に示している。その複数の参照画像の生成及び設定も、例えば、眼Ｅの基準位置の設定をしたときに、その基準位置の画像（画像G00）から、画像処理により行われる。その設定された複数の参照画像も、それぞれ、XY方向における表示画像の移動量の情報と共に、メモリ１６ａ等の記憶装置に予め記憶される。すなわち、複数の参照画像は、Z方向における位置の情報と、それぞれに対応するXY方向の移動量の情報とリンクされて、関係付けられている。

図２１では、図２０の画像に比べて、顔の大きさは大きくなっている。図２１において、Z方向における位置は眼Eの位置は変化しない。そして、画像の倍率は１．２倍であり、XY方向における位置の変化に応じて、表示する画像の位置あるいは範囲は、図１９において斜線で示す平面P3内で変化する。平面P2は、位置P11を含む平面である。

同様に、図２２は、眼EとLCD１６の間の距離が、互いに遠ざかる方向に在る量だけ変化した状態において、CCD１６からの画像における眼Eの位置がXY方向において変化した場合の画像の状態を示す図である。図２２において、中心の画像G02は、例えば、図１９の位置P12における画像である。

図２２の場合も、CPU１１は、Z方向における眼の位置がある量だけ変化して、かつそのZ方向の位置毎にXY方向における位置だけが変化した場合の、CCD１６から得られる、複数の眼Eの画像あるいは複数の顔の画像を、中心画像G00を用いて生成して、メモリ１６ａ等の記憶装置に予め記憶する。図２２は、その記憶される複数の参照画像の例を示し、そのZ方向における位置において、XY方向に所定量だけ移動したときの画像を、その移動毎に、参照画像として記憶されることを示している。言い換えると、図２２も、眼EがZ方向において在る位置にある場合、XY方向にそれぞれ所定量だけ移動した位置における複数の参照画像が生成されることを、XY方向のマトリックス状に示している。図２１の場合と同様に、その複数の参照画像の生成及び設定も、例えば、眼Ｅの基準位置の設定をしたときに、その基準位置の画像（画像G00）から、画像処理により行われる。その設定された複数の参照画像も、それぞれ、XY方向における表示画像の移動量の情報と共に、メモリ１６ａ等の記憶装置に予め記憶される。すなわち、複数の参照画像は、Z方向における位置の情報と、それぞれに対応するXY方向の移動量の情報とリンクされて、関係付けられている。

図２２では、図２０の画像に比べて、顔の大きさは小さくなっている。図２２において、Z方向における位置は眼Eの位置は変化しない。そして、画像の倍率は０．８倍であり、XY方向における位置の変化に応じて、表示する画像の位置あるいは範囲は、図１９において斜線で示す平面P2内で変化する。平面P3は、位置P12を含む平面である。

図２１と図２２は、それぞれ、図１９の平面P2とP3内における眼Eの位置の変化に対応する複数の画像を示すが、図２１と図２２以外にも、基準位置Oから位置P11までの間、及び基準位置Ｏから位置P12までの間における、Z方向における複数の位置のそれぞれについて、図２１と図２２のような複数の参照画像と、XYZ方向における位置情報とが生成されて、記憶装置に予め記憶される。

すなわち、Z方向における複数の位置のそれぞれについて、基準画像である中心画像G00を用いて、CPU１１は、眼Eの位置がZ方向に所定量ずつ移動し、かつその位置におけるXY平面内における所定量ずつ移動したときの参照画像を、生成して、記憶装置に記憶する。

このようにして生成された複数の参照画像と眼Eの画像あるいは顔の画像とのマッチングにより、合致する参照画像を特定し、その参照画像にリンクする、眼Eの位置のXYZ方向の移動量を含む揺れ情報を、CPU１１は、図１の縦・横制御回路２３等、あるいは図１４のモーションコントローラ部１２３に出力することによって、表示画像の補正を行うことができる。マッチング処理は、XY方向においては、例えば、動きベクトルの検出において用いられているブロックマッチング法、勾配法を利用して行うことができる。動きベクトルの検出は、一般に画像圧縮技術において広く利用されている。そして、眼の画像あるいは顔の画像のフレーム画像から、動きベクトルを検出して、その動きベクトルの検出値を用いて、眼Eの２次元方向の移動量を検出する。

図２３から図２６は、以上のように生成された複数の参照画像とのマッチングにより、XYZ方向の移動量が決定されて、表示画像がどのように変化するかを説明するための図である。図２３は、１．０倍の表示画像が、XY方向の揺れに対して、表示される画像の変化を説明するための図である。図２４は、０．８倍の表示画像が、XY方向の揺れに対して、表示される画像の変化を説明するための図である。図２５及び図２６は、ユーザの視線方向LSから見たときに、画像がXY方向において基準位置Oに対して相対的に移動するときの画像の移動と、Z方向において基準位置Oに対して相対的に移動するときの画像の表示倍率の変化を説明するための図である。なお、図２５では、表示画像が、位置P21からP22へ、さらにP23へと変化する例であり、図２６は、表示画像が、位置P31からP32へ、さらにP33,P34,P35へと変化する例である。

例えば、図２５に示すように、Z方向における眼EとLCD１６間の距離が変化しないで、XY方向の平面P4内において、Y方向の揺れがあった場合、LCD１６に表示される画像は、矢印A21で示すように、位置P21の画像G21から位置P22の画像G22に徐々に変化する。

さらに、Z方向における眼EとLCD１６間の距離が変化しないで、平面P4内において、XY方向の揺れがあった場合、LCD１６に表示される画像は、矢印A22で示すように、位置P22の画像G22から位置P23の画像G23に徐々に変化する。

さらに、Z方向における眼EとLCD１６間の距離が変化しないで、平面P4内において、X方向の揺れがあった場合、LCD１６に表示される画像は、矢印A23で示すように、位置P23の画像G23から位置P21の画像G21に徐々に変化する。

このように、例えば、Z方向における眼EとLCD１６間の距離が変化しないで、あるXY方向において揺れがあった場合、表示される画像は、揺れ情報に基づいて、倍率は一定で、XY方向の表示位置が変化する。

また、例えば、図２６に示すように、XYZ方向の揺れがあった場合、LCD１６に表示される画像は、大きさと位置が変化する。図２６に示すように、Z方向における眼EとLCD１６間の距離が変化しないで、あるXY方向の平面P5内において、XY方向の揺れがあった場合、LCD１６に表示される画像は、矢印A31で示すように、位置P31の画像G31から位置P32の画像G32に徐々に変化する。

さらに、Z方向における眼EとLCD１６間の距離が変化しないで、平面P5内において、XY方向の揺れがあった場合、LCD１６に表示される画像は、矢印A32で示すように、位置P32の画像G32から位置P33の画像G33に徐々に変化する。

次に、YZ方向における眼EとLCD１６間の距離だけが変化するような揺れがあった場合、LCD１６に表示される画像は、矢印A33で示すように、平面P5内の位置P33の画像G33から、平面P4内の位置P34の画像G34に徐々に変化する。

さらに、Z方向における眼EとLCD１６間の距離が変化しないで、平面P4内において、XY方向の揺れがあった場合、LCD１６に表示される画像は、矢印A34で示すように、位置P34の画像G34から位置P35の画像G35に徐々に変化する。

以上のように、眼Eの位置のマッチング処理によって得られたマッチング係数を用いて、表示画像を補正することによっても、揺れに応じた画像の補正を実現することができる。

以上のように、本実施の形態及び変形例によれば、表示部に表示する表示画像に対し、２次元方向の補正、３次元方向の補正、奥行き方向である１次元方向の補正、あるいは補正をしないを、切り替えることが可能な表示装置を実現することができる。例えば、ユーザが電車に乗っている時には、電車揺れを補正するために３次元方向あるいは奥行き方向の補正方法を選択したり、乗り物の乗っていない時は、手触れ補正のため２次元方向の補正方法を選択したり、あるいは補正を行なわない表示方法を選択することもできる。よって、ユーザは、用途に応じて、揺れに対する補正方法の選択をして、見易い画像に調整することができる表示装置を実現することができる。

なお、携帯電話１の中には、図２に示すように、２つのLCDを有するものもあり、その場合は、それぞれについて画像が表示されて方のLCDの表示面１６ａ又は１６Ａについて、上述した補正方法の選択ができるようにしてもよい。

さらに、上述した実施の形態及び変形例では、揺れに応じて参照画像とのマッチングをとり、マッチングのとれた参照画像に対応する移動量及び倍率に表示画像を補正しているが、揺れの周期性を検出する処理をCPU１１の処理に追加し、一定の揺れが周期的に生じていることが検出された場合は、その一定の揺れが生じている間は、その揺れに応じた表示を繰り返すようにして、その間のマッチング処理を行わないようにしてもよい。そのようにすれば、CPU１１のデータ処理量を減少でき、結果として応用装置である携帯電話の消費電力を低減することができる。

さらになお、CPU１１は、CCD１６の撮像画像中にユーザの顔が認識されなくなると、３次元方向の補正、２次元方向の補正及び１次元方向の補正を行わないように制御してもよい。ユーザの顔が認識されないことを、上記の実施の形態によれば、眼位置検出部２１の出力が無いことによって、CPU１１は判定することができる。ユーザの顔が認識されていないときは、いずれの補正をしても意味が無いので、いずれの補正処理を行わないようにして省電力化になる。

また、上述した実施の形態では、表示画像の補正には、３次元方向の補正、２次元方向の補正、１次元方向の補正及び補正無しの４つがあり、設定部１２によっていずれか１つを選択可能であるが、これらの４つ全てを選択の対象になっていないような場合においても、本実施の形態の設定部１２による設定ができるようにしてもよい。

図２７は、補正方法の組合せの例を説明するための図である。図２７は、上述した４つ（補正無しと、３つの補正方法とを合わせた）の表示画像の表示方法と、それらの組合せの場合を表形式で表している。
表示装置が、上述した２つの実施の形態と同様に、４つの表示方法を実現可能である場合（ケースC1）は、ユーザは、設定部１２によってその４つの中の１つを選択することができる。
しかし、表示装置が、３次元方向の補正と２次元方向の補正を実現可能である場合（ケースC2）は、ユーザは、設定部１２によってその２つの中の１つを選択することができるようにしてもよい。
さらに、表示装置が、補正無しと３次元方向の補正と２次元方向の補正を実現可能である場合（ケースC3）は、ユーザは、設定部１２によってその３つの中の１つを選択することができるようにしてもよい。
そして、表示装置が、３次元方向の補正と２次元方向の補正と１次元方向の補正を実現可能である場合（ケースC4）は、ユーザは、設定部１２によってその３つの中の１つを選択することができるようにしてもよい。
なお、表示装置が、補正無しと、２次元方向の補正と、１次元方向の補正を実現可能である場合（ケースC5）は、ユーザは、設定部１２によってその３つの中の１つを選択することができるようにしてもよい。
また、表示装置が、補正無しと、３次元方向の補正と、１次元方向の補正を実現可能である場合（ケースC6）は、ユーザは、設定部１２によってその３つの中の１つを選択することができるようにしてもよい。
さらにまた、表示装置が、補正無しと、３次元方向の補正とを実現可能である場合（ケースC8）は、ユーザは、設定部１２によってその２つの中の１つを選択することができるようにしてもよい。
また、上述した２つの実施の形態では、携帯電話の例で説明したが、携帯電話以外の表示装置においても、上述した本実施の形態の補正方法の選択あるいは設定ができるようにする構成は適用可能である。図２８から図３１は、その表示装置としての他の例を示す図である。

図２８は、上述したようなセンサ装置を含む装置としてのテレビ受像器の例を示す図である。図２８では、テレビ受像器６１は、表示器として液晶装置を有している。テレビ画面６１ａと同じ面に、監視用カメラ６２が設けられている。従って、監視用カメラ６２は、図１のCCD１５に対応するもので、テレビ画面６１ａを観るユーザの顔を認識するためのカメラである。

図２９は、上述したようなセンサ装置を含む装置としてのデジタルカメラの例を示す図である。図２９では、デジタルカメラ７１は、表示器として液晶装置が背面側に配置されている。液晶装置の表示部７２と同じ面に、監視用カメラ７３が設けられている。デジタルカメラ７１は、表示部７２とは反対側に、撮影用のレンズ７４が配置されている。ユーザが写真を撮るときに、表示部７２に表示された画像を観ながら、レリーズボタン７５を押す。従って、監視用カメラ７３は、図１のCCD１５に対応するもので、表示部７２を観るユーザの顔を認識するためのカメラである。

図３０は、上述したようなセンサ装置を含む装置としてのテレビ受像器と共に使用される画像記録装置の例を示す図である。図３０では、画像記録装置としてのハードディスクレコーダ８１は、フロントパネル部８２に操作ボタン、表示器などが配置されているが、ここでは、監視用カメラ８３も設けられている。図視しないテレビ受像器は、表示器として液晶装置を有している。従って、監視用カメラ８３は、図１のCCD１５に対応するもので、テレビ受像器を観るユーザの顔を認識するためのカメラである。

図３１は、上述したようなセンサ装置を含む装置としてのデジタルムービーカメラの例を示す図である。図３１では、デジタルムービーカメラ９１は、表示器として液晶装置が背面側に向けることが可能なように配置されている。液晶装置の表示部９２と同じ面に、監視用カメラ９３が設けられている。デジタルムービーカメラ９１は、表示部９２とは反対側に、撮影用のレンズ９４が配置されている。ユーザが写真を撮るときに、表示部９２に表示された画像を観ながら、各種操作ボタンを押す。従って、監視用カメラ９３は、図１のCCD１５に対応するもので、表示部９２を観るユーザの顔を認識するためのカメラである。
以上のような図２８から図３１の各種表示装置において、揺れに応じて表示画像の補正をすることができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の第１の実施の形態に係わる携帯電話の構成を示すブロック図である。 本発明の第１の実施の形態に係わる携帯電話の外観を示す斜視図である。 本発明の第１の実施の形態に係わる、揺れを説明するための図である。 本発明の第１の実施の形態に係わる、眼のXY方向の揺れの検出方法を説明するための図である。 本発明の第１の実施の形態に係わる、眼のZ方向の揺れの検出方法を説明するための図である。 本発明の第１の実施の形態に係わる、両眼の間隔と移動量との関係を示す図である。 相対的な揺れ量の情報を出力する処理の流れの例を示すフローチャートである。 本発明の第１の実施の形態に係わる、補正が無い場合の画像の表示状態を説明するための図である。 本発明の第１の実施の形態に係わる、XY方向における揺れがあった場合の補正画像の表示状態を説明するための図である。 本発明の第１の実施の形態に係わる、Z方向における揺れがあった場合の補正画像の表示状態を説明するための図である。 本発明の第１の実施の形態に係わる、制御信号である駆動信号の出力のタイミングを説明するための図である。 本発明の第１の実施の形態に係わる、水平有効信号と垂直有効信号の出力タイミングの変化を説明するための図である。 本発明の第１の実施の形態に係わる、水平有効信号と垂直有効信号の出力タイミングの変化を説明するための図である。 本発明の第２の実施の形態に係わる携帯電話の構成を示すブロック図である。 第２の実施の形態に係わる、３つのモータを利用してLCDが、機械的にXYZ方向に動かされる場合の構成を示す図である。 第２の実施の形態に係わる、３つの電磁石を利用して、LCDが機械的にXYZ方向に動かされる場合の構成を示す図である。 変形例に係わる、画像が基準位置に対して相対的に移動するときの画像の表示倍率の変化を説明するための図である。 変形例に係わる、画像がユーザの眼とLCDのZ方向における相対的な位置は変化しないで、XY方向における相対的な移動があった場合の表示画像のXY方向の変化範囲を示す図である。 変形例に係わる、ユーザの眼とLCDのXY方向における相対的な位置は変化しないで、Z方向における相対的な移動があった場合の表示画像のZ方向の変化範囲を説明するための図である。 変形例に係わる、基準位置として設定される画像における眼の位置に対して、Z方向における位置は変化しない場合において、CCDからの画像における眼の位置がXY方向において変化した場合の画像の状態を示す図である。 変形例に係わる、眼とLCDの間の距離が、互いに近づく方向にある量だけ変化した状態において、CCDからの画像における眼の位置がXY方向において変化した場合の画像の状態を示す図である。 変形例に係わる、眼とLCDの間の距離が、互いに遠ざかる方向に在る量だけ変化した状態において、CCDからの画像における眼の位置がXY方向において変化した場合の画像の状態を示す図である。 変形例に係わる、１．０倍の表示画像が、XY方向の揺れに対して、表示される画像の変化を説明するための図である。 変形例に係わる、０．８倍の表示画像が、XY方向の揺れに対して、表示される画像の変化を説明するための図である。 変形例に係わる、ユーザの視線方向から見たときに、画像がXY方向において基準位置に対して相対的に移動するときの画像の移動と、Z方向において基準位置に対して相対的に移動するときの画像の表示倍率の変化を説明するための図である。 変形例に係わる、ユーザの視線方向から見たときに、画像がXY方向において基準位置に対して相対的に移動するときの画像の移動と、Z方向において基準位置に対して相対的に移動するときの画像の表示倍率の変化を説明するための図である。 補正方法の組合せの例を説明するための図である。 表示装置としての他の例を示す図である。 表示装置としての他の例を示す図である。 表示装置としての他の例を示す図である。 表示装置としての他の例を示す図である。

符号の説明

１、１Ａ 携帯電話、１ａ 本体部、１ｂ 蓋部、１４，１４Ａ 画像処理部

Claims (5)

1. 表示すべき表示画像を表示する表示部と、
   該表示部の表示面に対して平行でかつ互いに直交する２次元方向と、該２次元方向に直交する方向と、を含む３次元方向における前記表示部の揺れ、又は撮像装置によって撮像された所定の対象画像の撮像画像内の位置の変化を検出する検出部と、
   該検出部によって検出された前記３次元方向における前記表示部の前記揺れ、又は前記対象画像の前記位置の変化に対して、前記表示部の前記表示面を正面視したときに、前記表示画像の位置及び大きさが見掛け上変わらないように、前記３次元方向の前記揺れの量、又は前記対象画像の前記位置の変化の量に応じて、前記表示画像を補正しあるいは前記表示部を移動して前記３次元方向の補正を行う第１の補正部と、
   前記検出部によって検出された前記２次元方向における前記表示部の前記揺れ、又は前記対象画像の前記位置の変化に対して、前記表示部の前記表示面を正面視したときに、前記表示画像の位置が見掛け上変わらないように、前記２次元方向の前記揺れの量、又は前記対象画像の前記位置の変化の量に応じて、前記表示画像を補正しあるいは前記表示部を移動して前記２次元方向の補正を行う第２の補正部と、
   前記３次元方向の補正と、前記２次元方向の補正のいずれかを設定可能な設定部と、
   を有することを特徴とする表示装置。
2. 前記検出部によって検出された前記２次元方向に直交する方向における前記表示部の前記揺れ、又は前記対象画像の前記位置の変化に対して、前記表示部の前記表示面を正面視したときに、前記表示画像の大きさが見掛け上変わらないように、前記２次元方向に直交する方向の前記揺れの量、又は前記対象画像の前記位置の変化の量に応じて、前記表示画像を補正しあるいは前記表示部を移動して前記２次元方向に直交する方向の補正を行う第３の補正部を有し、
   前記設定部は、前記３次元方向の補正と、前記２次元方向の補正に加えて、前記２次元方向に直交する方向の補正の中からいずれかを設定可能であることを特徴とする請求項１に記載の表示装置。
3. 前記設定部は、前記３次元方向の補正、前記２次元方向の補正及び前記２次元方向に直交する方向の補正のいずれによっても補正されていない前記画像信号を、前記表示部に出力するようにも設定可能であることを特徴とする請求項２に記載の表示装置。
4. 前記３次元方向の補正及び前記２次元方向の補正における前記表示画像の補正は、画像処理により行われることを特徴とする請求項１から３のいずれか１つに記載の表示装置。
5. 前記３次元方向の補正及び前記２次元方向の補正における前記表示部の移動は、前記表示部を機械的に移動させることにより行われることを特徴とする請求項１から３のいずれか１つに記載の表示装置。

Images