JP2012216883A

JP2012216883A - 表示制御装置、表示制御方法、及びプログラム

Info

Publication number: JP2012216883A
Application number: JP2011078822A
Authority: JP
Inventors: Takuro Noda; 卓郎野田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-03-31
Filing date: 2011-03-31
Publication date: 2012-11-08
Anticipated expiration: 2031-03-31
Also published as: US20120249527A1; JP5712737B2; CN102740100A

Abstract

【課題】３次元画像を見る方向に拘らず、３次元画像上の物体を実空間上で視認しているかのように表示させる。
【解決手段】角度算出部は、予め決められた第１の方向と、ユーザが３次元画像を視認する第２の方向とのずれを表す差分情報を算出し、変形部は、角度算出部により算出された差分情報に基づいて、３次元画像を変形し、表示制御部は、変形後の３次元画像をディスプレイに表示させる。本開示は、例えば、３次元画像を表示させる表示制御装置に適用できる。
【選択図】図５

Description

本開示は、表示制御装置、表示制御方法、及びプログラムに関し、特に、例えば、視認する方向に拘らず、３次元画像上の物体が実空間上に存在するかのように表示できるようにした表示制御装置、表示制御方法、及びプログラムに関する。

３次元画像をディスプレイに表示する立体表示技術が存在する（例えば、特許文献１参照）。

ここで、３次元画像とは、左眼用２次元画像、及び右眼用２次元画像により構成されており、左眼用２次元画像と右眼用２次元画像との間には、鑑賞者により視認される３次元画像上の物体が立体的に見えるように視差が設けられている。

また、３次元画像を鑑賞者に提示する場合には、例えば、左眼用２次元画像を鑑賞者の左眼のみで視認できるように提示し、右眼用２次元画像を鑑賞者の右眼のみで視認できるように提示するようにする。

鑑賞者は、左眼用２次元画像と右眼用２次元画像に設けられた視差に応じて、３次元画像上の物体が、実空間上に存在するかのように視認することができる。

特開平１１−１６４３２８号公報

ところで、上述の立体表示技術では、鑑賞者がディスプレイを正面から見る場合を想定して、右眼用２次元画像上に表示される物体の形状、及び左眼用２次元画像上に表示される物体の形状が決定される。

したがって、例えば、鑑賞者がディスプレイを斜めの方向から見た場合、３次元画像上の物体が歪んで見えてしまい、実空間上で視認される物体とは異なるものとなる。

本開示は、このような状況に鑑みてなされたものであり、視認する方向に拘らず、３次元画像上の物体が実空間上に存在するかのように表示できるようにするものである。

本開示の一側面の表示制御装置は、予め決められた第１の方向と、ユーザが３次元画像を視認する第２の方向とのずれを表す差分情報を算出する算出部と、前記差分情報に基づいて、前記３次元画像を変形する変形部と、変形後の前記３次元画像を表示部に表示させる表示制御部とを含む表示制御装置である。

前記変形部には、前記３次元画像を、前記差分情報に基づくアフィン変換により変形させるようにすることができる。

前記算出部には、前記第１の方向と前記第２の方向との成す角度を表す前記差分情報を算出させ、前記変形部には、前記差分情報に基づいて、前記３次元画像上の物体の奥行きを表す座標軸を傾斜させる前記アフィン変換により、前記３次元画像を変形させるようにすることができる。

前記ユーザを撮像する撮像部と、前記撮像部により得られる撮像画像上の前記ユーザの位置を表すユーザ位置を検出する検出部とをさらに設けることができ、前記算出部には、前記ユーザ位置に基づいて、前記差分情報を算出させるようにすることができる。

前記算出部には、前記表示部の表示画面の法線を表す前記第１の方向と、前記第２の方向とのずれを表す前記差分情報を算出させるようにすることができる。

前記３次元画像は、前記ユーザの左眼に視認させる左眼用２次元画像、及び前記ユーザの右眼に視認させる右眼用２次元画像から構成されており、前記変形部には、前記左眼用２次元画像及び前記右眼用２次元画像をそれぞれ変形させるようにすることができる。

本開示の一側面の表示制御方法は、３次元画像を表示させる表示制御装置の表示制御方法であって、前記表示制御装置による、予め決められた第１の方向と、ユーザが３次元画像を視認する第２の方向とのずれを表す差分情報を算出する算出部と、前記差分情報に基づいて、前記３次元画像を変形する変形部と、変形後の前記３次元画像を表示部に表示させる表示制御部とを含む表示制御方法である。

本開示の一側面のプログラムは、コンピュータを、予め決められた第１の方向と、ユーザが３次元画像を視認する第２の方向とのずれを表す差分情報を算出する算出部と、前記差分情報に基づいて、前記３次元画像を変形する変形部と、変形後の前記３次元画像を表示部に表示させる表示制御部として機能させるためのプログラムである。

本開示の一側面によれば、予め決められた第１の方向と、ユーザが前記３次元画像を視認する第２の方向とのずれを表す差分情報が算出され、算出された前記差分情報に基づいて、前記３次元画像が変形され、変形後の前記３次元画像が表示部に表示される。

本開示によれば、視認する方向に拘らず、３次元画像上の物体が実空間上に存在するかのように表示することが可能となる。

本実施の形態であるパーソナルコンピュータの構成例を示す図である。パーソナルコンピュータが行う処理の概要を説明するための第１の図である。パーソナルコンピュータが行う処理の概要を説明するための第２の図である。パーソナルコンピュータが行う処理の概要を説明するための第３の図である。本体の構成例を示すブロック図である。顔検出部及び角度算出部が行う処理の詳細を説明するための図である。変形部が行う処理の詳細を説明するための図である。パーソナルコンピュータが行うせん断変形処理を説明するためのフローチャートである。変形部が行う処理の詳細を説明するための他の図である。コンピュータの構成例を示すブロック図である。

以下、本開示における実施の形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本実施の形態（視認する方向に拘らず、３次元画像上の物体を実空間上で視認しているかのように表示する場合の一例）
２．変形例

<１．本実施の形態>
[パーソナルコンピュータ２１の構成例]
図１は、本実施の形態であるパーソナルコンピュータ２１の構成例を示している。

このパーソナルコンピュータ２１は、カメラ４１、本体４２、及びディスプレイ４３から構成される。

カメラ４１は、ディスプレイ４３の前でディスプレイ４３上の３次元画像を視認するユーザを撮像し、その撮像により得られる撮像画像を、本体４２に供給する。

本体４２は、カメラ４１からの撮像画像に基づいて、その撮像画像上に表示されるユーザの位置（例えば、ユーザの顔の位置等）を検出する。そして、本体４２は、内蔵する記憶部に記憶されている３次元画像を、検出したユーザの位置に応じてせん断変形し、せん断変形後の３次元画像を、ディスプレイ４３に供給して表示させる。

なお、本実施の形態では、３次元画像を変形する際に、せん断変形を行うものとして説明するが、３次元画像を変形する際の変形方法は、これに限定されない。

ディスプレイ４３は、本体４２からの３次元画像を表示する。なお、本実施の形態では、説明の便宜のため、図１に示されるようなXYZ座標空間を定義する。このXYZ座標空間は、例えば、ディスプレイ４３の表示画面の中心（重心）を原点Oとし、ディスプレイ４３の水平方向、垂直方向、及び正面方向(奥行き方向)をそれぞれ表すX軸、Y軸、及びZ軸により定義される。

なお、カメラ４１の光軸は、X軸方向においてZ軸と一致し、Y軸方向において、所定の距離D_yだけ上にZ軸とずれているものとする。

[パーソナルコンピュータ２１が行う処理の概要]
次に、図２乃至図４を参照して、パーソナルコンピュータ２１が行う処理の概要を説明する。

このパーソナルコンピュータ２１は、ディスプレイ４３に３次元画像を表示させるようにして、図２に示されるように、視認される方向に拘らず、３次元画像上の物体５１が、あたかも実空間上に存在するかのように視認できるようにするものである。

すなわち、例えば、ユーザが正面方向から物体５１を見る場合、本体４２は、物体５１の下部分がユーザに向かって飛び出して見えるとともに、物体５１の上部分が引っ込んで見えるような３次元画像を、ディスプレイ４３に表示させる。

具体的には、例えば、本体４２は、図３Aに示されるような形状の物体５１Lが表示される左眼用２次元画像、及び図３Bに示されるような形状の物体５１Rが表示される右眼用２次元画像から構成される３次元画像を、ディスプレイ４３に表示させる。

この場合、ユーザは、物体５１を正面方向から見た場合、実空間上に物体５１が存在する場合と同様にして、図４Aに示したような物体５１を視認することができる。しかしながら、例えば右斜め方向（図２）から物体５１を見た場合、実空間上に物体５１が存在する場合とは異なり、図４Bに示したように、歪んだ物体５１が視認されてしまう。

本開示は、例えば、右斜め方向から物体５１を見た場合や、左斜め方向から物体５１を見た場合等でも、実空間上に物体５１が存在する場合と同様にして、物体５１を視認できるようにするものである。

[本体４２の構成例]
図５は、本体４２の構成例を示している。

この本体４２は、顔検出部６１、角度算出部６２、変形部６３、記憶部６４、及び表示制御部６５から構成される。

顔検出部６１には、カメラ４１から撮像画像が供給される。顔検出部６１は、カメラ４１からの撮像画像に基づいて、撮像画像上に表示されたユーザの顔を検出する。具体的には、例えば、顔検出部６１は、撮像画像上の全領域のうち、肌色部分の領域を、ユーザの顔を表す顔領域として検出する。

そして、顔検出部６１は、検出した顔領域に基づいて、撮像画像上の、ユーザの顔の位置を表す顔位置(Ax,Ay)を検出し、角度算出部６２に供給する。なお、顔位置(Ax,Ay)は、例えば顔領域の重心とされる。また、顔位置(Ax,Ay)は、例えば撮像画像上の中心を原点（0,0）とし、原点(0,0)で直交するX軸及びY軸により定義される。

なお、撮像画像上に定義されるX軸及びY軸を、図１に示されるX軸及びY軸と区別するために、以下、X'軸及びY'軸という。

角度算出部６２は、顔検出部６１からの顔位置(Ax,Ay)に基づいて、XYZ座標空間上のユーザの顔の位置を表す顔位置(x,y)と、予め決められたZ軸（図１）とのずれを表す角度θを算出し、変形部６３に供給する。

すなわち、例えば、角度算出部６２は、角度θとして、X軸方向における、顔位置(x,y)とZ軸とのずれを表す角度θ_x、及びY軸方向における、顔位置(x,y)とZ軸とのずれを表す角度θ_yを算出し、変形部６３に供給する。なお、顔検出部６１及び角度算出部６２が行う処理は、図６を参照して詳述する。

変形部６３は、記憶部６４に記憶されている３次元画像を、記憶部６４から読み出す。そして、変形部６３は、角度算出部６２からの角度θ_x及び角度θ_yに基づいて、記憶部６４から読み出した３次元画像をせん断変形し、せん断変形後の３次元画像を表示制御部６５に供給する。なお、変形部６３が行う処理は、図７を参照して詳述する。

記憶部６４は、ディスプレイ４３に表示させるための３次元画像を記憶している。

表示制御部６５は、変形部６３からの３次元画像を、ディスプレイ４３に供給して表示させる。

[顔検出部６１及び角度算出部６２の詳細]
次に、図６を参照して、顔検出部６１及び角度算出部６２が行う処理の詳細を説明する。

顔検出部６１は、カメラ４１から供給される、図６右側に示されるような撮像画像７１から、顔領域７１aを検出する。そして、顔検出部６１は、撮像画像７１上の顔位置(Ax,Ay)として、例えば、顔領域７１aの重心を検出し、角度算出部６２に供給する。なお、顔位置(Ax,Ay)は、例えば撮像画像７１上の中心を原点（0,0）とし、原点(0,0)で直交するX'軸及びY'軸により定義される。

角度算出部６２は、図６右側に示されるように、顔検出部６１からの顔位置(Ax,Ay)のAxを、撮像画像７１の横幅で正規化（除算）して値dに変換する。なお、撮像画像７１の右端部分を示すX'軸上の位置Axを、撮像画像７１の横幅で正規化すると0.5に変換される。

また、角度算出部６２は、図６左側に示されるように、正規化により得られる値dと、カメラ４１における水平方向（X軸方向）の半画角αとに基づいて、次式（１）により角度θ_xを算出し、変形部６３に供給する。なお、角度算出部６２は、内蔵するメモリ（図示せず）に、角度αを予め保持しているものとする。
θ_x = arctan{d/(0.5/tanα)} ・・・（１）

なお、角度θ_xは、X軸方向における、顔位置（x,y）とカメラ４１の光軸（撮像方向）とのずれを表す。

ここで、カメラ４１の光軸とZ軸とはX軸方向において一致している。したがって、角度θ_xは、X軸方向における、顔位置（x,y）とZ軸とのずれを表すものであるとも言える。

ところで、式（１）は、次のようにして求められる。すなわち、Z軸上における、ユーザの顔の位置zに応じて変化する値をf(z)とすれば、次式（２）及び（３）が導出される。
tanθ_x = d/f(z) ・・・（２）
tanα = 0.5/f(z) ・・・（３）

式（３）からf(z) = 0.5/tanαが導出され、これを、式（２）に代入すると、次式（４）が導出される。
tanθ_x = d/(0.5/tanα) ・・・（４）

そして、式（４）において、tanθ_xの逆関数をとると、上述の式（１）が導出される。

また、例えば、角度算出部６２は、顔検出部６１からの顔位置(Ax,Ay)のAyを、撮像画像７１の縦幅で正規化（除算）し、その結果得られる値d''に、距離D_yに対応するオフセット値を加算する。そして、角度算出部６２は、その加算により得られる値d'と、カメラ４１の垂直方向（Y軸方向）の半画角βに基づいて、次式（５）により角度θ_yを算出し、変形部６３に供給する。
θ_y = arctan{d’/(0.5/tanβ)}・・・（５）

なお、値d''に、距離D_yに対応するオフセット値を加算して値d'を算出するのは、カメラ４１の光軸が、Y軸方向において、距離D_yだけZ軸とずれていることによる。すなわち、角度算出部６２は、角度θ_xを算出した場合と同様にして、角度θ_yを算出する場合、角度θ_yは、Y軸方向における、顔位置（x,y）とZ軸とのずれを表すものにはならない。

したがって、角度算出部６２は、Y軸方向における、カメラ４１の光軸とZ軸とのずれを考慮して、値d''にオフセット値を加算するようにして値d'を算出し、式（５）により角度θ_yを算出するようにしている。なお、撮像画像７１において、XYZ座標空間上の３次元位置（0,0,z）に対応する位置(0,y)（y<0）から原点(0,0)までの距離が、距離D_yに対応する距離となり、オフセット値は、撮像画像７１における位置(0,y)から原点(0,0)までの距離を、撮像画像７１の縦幅で正規化して得られる値とされる。

[変形部６３の詳細]
次に、図７を参照して、変形部６３が行う処理の詳細を説明する。

変形部６３は、記憶部６４に記憶されている３次元画像を読み出し、読み出した３次元画像を、角度算出部６２からの角度θ_x及びθ_yに基づいてせん断変形する。

すなわち、例えば、変形部６３は、図７に示されるように、３次元画像上の物体５１の位置zを定義するZ軸において、Z軸を、角度算出部６２からの角度θ_xだけX軸に対して傾斜させる。これにより、物体５１の３次元位置p(x,y,z)におけるxは、x+ztanθ_xとされる。

また、例えば、変形部６３は、同様にして、Z軸を、角度算出部６２からの角度θ_yだけY軸に対して傾斜させる。これにより、物体５１の３次元位置p(x,y,z)におけるyは、y+ztanθ_yとされる。

このようにして、変形部６３は、物体５１の３次元位置p(x,y,z)を、物体５１の３次元位置p’(x+ztanθ_x,y+ztanθ_y,z)にアフィン変換するようにして、物体５１の形状をせん断変形する。

なお、実際には、変形部６３は、左眼用２次元画像上の物体５１L、及び右眼用２次元画像上の物体５１Rを、それぞれ、アフィン変換するようにして、物体５１の形状をせん断変形する。

変形部６３は、せん断変形後の物体５１が表示された３次元画像を、表示制御部６５に供給する。そして、表示制御部６５は、変形部６３からの３次元画像を、ディスプレイ４３に表示させる。

[パーソナルコンピュータ２１の動作説明]
次に、図８のフローチャートを参照して、パーソナルコンピュータ２１が行うせん断変形処理について説明する。

なお、このせん断変形処理は、例えば、ディスプレイ４３に３次元画像を表示させるように、図示せぬ操作部が操作されたときに開始される。このとき、カメラ４１は、撮像を行い、その撮像により得られる撮像画像７１を、顔検出部６１に供給する。

ステップＳ２１において、顔検出部６１は、カメラ４１からの撮像画像７１に基づいて、撮像画像７１上に表示されたユーザの顔を検出する。具体的には、例えば、顔検出部６１は、撮像画像７１上の全領域のうち、肌色部分の領域を、ユーザの顔を表す顔領域７１aとして検出する。

そして、顔検出部６１は、検出した顔領域７１aに基づいて、撮像画像７１上の顔位置(Ax,Ay)を検出し、角度算出部６２に供給する。

ステップＳ２２において、角度算出部６２は、顔検出部６１からの顔位置(Ax,Ay)のAxを、撮像画像７１の横幅で正規化して値dに変換する。そして、角度算出部６２は、正規化により得られる値dと、カメラ４１における水平方向（X軸方向）の半画角αとに基づいて、式（１）により角度θ_xを算出し、変形部６３に供給する。

ステップＳ２３において、角度算出部６２は、顔検出部６１からの顔位置(Ax,Ay)のAyを、撮像画像７１の縦幅で正規化して値d''に変換する。そして、角度算出部６２は、正規化により得られる値d''にオフセット値を加算して得られる値d'と、カメラ４１における垂直方向（Y軸方向）の半画角βとに基づいて、式（５）により角度θ_yを算出し、変形部６３に供給する。

ステップＳ２４において、変形部６３は、記憶部６４に記憶されている３次元画像を、記憶部６４から読み出す。そして、変形部６３は、角度算出部６２からの角度θ_x及びθ_yに基づいて、読み出した３次元画像上の物体５１をせん断変形し、せん断変形後の３次元画像を表示制御部６５に供給する。

すなわち、例えば、変形部６３は、３次元画像上の物体５１の３次元位置を定義するXYZ座標空間上のZ軸を、角度算出部６２からの角度θ_xだけX軸に対して傾斜させる。また、変形部６３は、Z軸を、角度算出部６２からの角度θ_yだけY軸に対して傾斜させる。これにより、XYZ座標空間が変形され、XYZ座標空間が変形されることにより、３次元画像上の物体５１も変形される。

ステップＳ２５において、表示制御部６５は、変形部６３からの３次元画像を、ディスプレイ４３に供給して表示させる。以上でせん断変形処理は終了される。

以上説明したように、せん断変形処理によれば、ディスプレイ４３の表示画面の法線であるＺ軸と、ユーザが表示画面を視認する方向との成す角度θとして、角度θ_x及びθ_yを算出した。そして、Z軸を水平方向（X軸方向）に角度θ_xだけ傾斜させ、垂直方向（Y軸方向）に角度θ_yだけ傾斜させるアフィン変換により、３次元画像上の物体５１を変形するようにした。

このため、ユーザが表示画面を視認する方向に拘らず、３次元画像上の物体５１を実空間上で視認しているかのように表示することが可能となる。

また、例えば、せん断変形処理によれば、XYZ座標空間上のZ軸を変更するようにして、XYZ座標空間上の物体５１をせん断変形するようにした。このため、XYZ座標空間上に存在する物体を個別にせん断変形する場合と比較して、変形部６３による処理をより迅速に行うことが可能となる。

＜２．変形例＞
本実施の形態では、図７に示されたように、Z軸を傾斜させるようにして物体５１の座標を変換するようにしたが、その他、例えば、Z軸を傾斜させることなく、物体５１の座標を変換することができる。

すなわち、例えば、変形部６３は、図９に示されるように、物体５１の３次元位置p(x,y,z)の位置x(=ztanθ_p)を、角度算出部６２からの角度θ_xに基づいて、位置x’(=ztan(θ_p+θ_x))に変換する。なお、角度θ_pは、図９に示されるように、X軸及びZ軸により定義されるXZ平面上において、３次元位置p(x,y,z)の(x,z)及び原点Oを結ぶ線分とZ軸との成す角度を表す。

また、例えば、変形部６３は、同様にして、物体５１の３次元位置p(x,y,z)の位置y(=ztanθ_q)を、角度算出部６２からの角度θ_yに基づいて、位置y’(=ztan(θ_q+θ_y))に変換する。なお、角度θ_qは、Y軸及びZ軸により定義されるYZ平面上において、３次元位置p(x,y,z)の(y,z)及び原点Oを結ぶ線分とZ軸との成す角度を表す。

これにより、変形部６３は、物体５１の３次元位置p（x,y,z）を３次元位置p’（x’,y’,z）に変換するようにして、物体５１をせん断変形することができる。

本実施の形態では、Z軸が延びる方向を、ディスプレイ４３の表示画面の法線方向と一致させるようにしたが、Z軸が延びる方向は、これに限定されず、XYZ座標空間の定義によって異なるものとなる。

本実施の形態では、物体５１の３次元位置p(x,y,z)が既知である場合について説明したが、３次元位置p(x,y,z)が既知でない場合（例えば立体写真等の場合）でも、３次元位置p(x,y,z)を算出できるときには、本技術を適用することができる。

また、変形部６３は、例えば、２視点用の２次元画像（左眼用２次元画像及び右眼用２次元画像）から構成される３次元画像を対象として、せん断変形するようにした。しかしながら、その他、例えば、変形部６３は、３視点以上の２次元画像から構成される３次元画像を対象としてせん断変形することができる。

本実施の形態では、１台のカメラ４１を用いるようにしたが、ユーザの顔を検出可能な範囲を広げるために、カメラ４１の画角を広くするようにしたり、複数台のカメラを用いるようにしてもよい。

また、例えば、本実施の形態では、カメラ４１から得られた撮像画像７１上の顔位置（Ax,Ay）から値d及びd'を算出するようにして、式（１）及び（５）により角度θ_x及びθ_yを算出するようにした。

しかしながら、その他、例えば、XYZ座標空間上の３次元位置としての顔位置（x,y,z）を検出し、検出した顔位置（x,y,z）とカメラ４１の半画角α及びβに基づいて、角度θ_x及びθ_yを算出してもよい。すなわち、例えば、検出した顔位置（x,y,z）のx及びzから、tanθ_x = x/z・・・（２'）とtanα = g(z)/z・・・（３'）が導出される。そして、式（２'）及び（３'）からtanθ_x = x/(g(z)/tanα)・・・（４'）が導出され、式（４'）においてtanθ_xの逆関数をとると、θ_x = arctan(x/(g(z)/tanα))・・・（１'）が導出される。よって、角度θ_xは、式（１'）を用いて算出される。また、角度θ_yは、同様にして、θ_y = arctan(y/(g(z)/tanβ))・・・（５'）により算出される。

なお、３次元位置としての顔位置（x,y,z）の検出には、例えば、２台のカメラの視差を用いて顔位置（x,y,z）を検出するステレオカメラや、ユーザの顔等に赤外線等を照射するようにして顔位置（x,y,z）を検出する赤外線センサ等が用いられる。

また、本実施の形態では、パーソナルコンピュータ２１について説明したが、３次元画像を表示させる電子機器であればどのようなものでも、本技術を適用できる。すなわち、例えば、本技術は、３次元画像を放送電波により受信して表示させるテレビジョン受像機や、録画した動画を３次元画像として表示させるハードディスクレコーダ等に適用することができる。

なお、本技術は以下のような構成もとることができる。
（１）予め決められた第１の方向と、ユーザが３次元画像を視認する第２の方向とのずれを表す差分情報を算出する算出部と、前記差分情報に基づいて、前記３次元画像を変形する変形部と、変形後の前記３次元画像を表示部に表示させる表示制御部とを含む表示制御装置。
（２）前記変形部は、前記３次元画像を、前記差分情報に基づくアフィン変換により変形する前記（１）に記載の表示制御装置。
（３）前記算出部は、前記第１の方向と前記第２の方向との成す角度を表す前記差分情報を算出し、前記変形部は、前記差分情報に基づいて、前記３次元画像上の物体の奥行きを表す座標軸を傾斜させる前記アフィン変換により、前記３次元画像を変形する前記（２）に記載の表示制御装置。
（４）前記ユーザを撮像する撮像部と、前記撮像部により得られる撮像画像上の前記ユーザの位置を表すユーザ位置を検出する検出部とをさらに含み、前記算出部は、前記ユーザ位置に基づいて、前記差分情報を算出する前記（１）乃至（３）に記載の表示制御装置。
（５）前記算出部は、前記表示部の表示画面の法線を表す前記第１の方向と、前記第２の方向とのずれを表す前記差分情報を算出する前記（４）に記載の表示制御装置。
（６）前記３次元画像は、前記ユーザの左眼に視認させる左眼用２次元画像、及び前記ユーザの右眼に視認させる右眼用２次元画像から構成されており、前記変形部は、前記左眼用２次元画像及び前記右眼用２次元画像をそれぞれ変形する前記（５）に記載の表示制御装置。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。

[コンピュータの構成例]
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。

CPU（Central Processing Unit）８１は、ROM（Read Only Memory）８２、又は記憶部８８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）８３には、CPU８１が実行するプログラムやデータ等が適宜記憶される。これらのCPU８１、ROM８２、及びRAM８３は、バス８４により相互に接続されている。

CPU８１にはまた、バス８４を介して入出力インタフェース８５が接続されている。入出力インタフェース８５には、キーボード、マウス、マイクロホン等よりなる入力部８６、ディスプレイ、スピーカ等よりなる出力部８７が接続されている。CPU８１は、入力部８６から入力される指令に対応して各種の処理を実行する。そして、CPU８１は、処理の結果を出力部８７に出力する。

入出力インタフェース８５に接続されている記憶部８８は、例えばハードディスクからなり、CPU８１が実行するプログラムや各種のデータを記憶する。通信部８９は、ネットワークやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。

また、通信部８９を介してプログラムを取得し、記憶部８８に記憶してもよい。

入出力インタフェース８５に接続されているドライブ９０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部８８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１、又は、プログラムが一時的もしくは永続的に格納されるROM８２や、記憶部８８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部８９を介して、ローカルエリアネットワーク、ネットワーク、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。

なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本開示の実施の形態は、上述した本実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

２１パーソナルコンピュータ, ４１カメラ, ４２本体, ４３ディスプレイ, ６１顔検出部, ６２角度算出部, ６３変形部, ６４記憶部, ６５表示制御部

Claims

予め決められた第１の方向と、ユーザが３次元画像を視認する第２の方向とのずれを表す差分情報を算出する算出部と、
前記差分情報に基づいて、前記３次元画像を変形する変形部と、
変形後の前記３次元画像を表示部に表示させる表示制御部と
を含む表示制御装置。
前記変形部は、前記３次元画像を、前記差分情報に基づくアフィン変換により変形する
請求項１に記載の表示制御装置。
前記算出部は、前記第１の方向と前記第２の方向との成す角度を表す前記差分情報を算出し、
前記変形部は、前記差分情報に基づいて、前記３次元画像上の物体の奥行きを表す座標軸を傾斜させる前記アフィン変換により、前記３次元画像を変形する
請求項２に記載の表示制御装置。
前記ユーザを撮像する撮像部と、
前記撮像部により得られる撮像画像上の前記ユーザの位置を表すユーザ位置を検出する検出部と
をさらに含み、
前記算出部は、前記ユーザ位置に基づいて、前記差分情報を算出する
請求項３に記載の表示制御装置。
前記算出部は、前記表示部の表示画面の法線を表す前記第１の方向と、前記第２の方向とのずれを表す前記差分情報を算出する
請求項４に記載の表示制御装置。
前記３次元画像は、前記ユーザの左眼に視認させる左眼用２次元画像、及び前記ユーザの右眼に視認させる右眼用２次元画像から構成されており、
前記変形部は、前記左眼用２次元画像及び前記右眼用２次元画像をそれぞれ変形する
請求項５に記載の表示制御装置。
３次元画像を表示させる表示制御装置の表示制御方法において、
前記表示制御装置による、
予め決められた第１の方向と、ユーザが３次元画像を視認する第２の方向とのずれを表す差分情報を算出する算出部と、
前記差分情報に基づいて、前記３次元画像を変形する変形部と、
変形後の前記３次元画像を表示部に表示させる表示制御部と
を含む表示制御方法。
コンピュータを、
予め決められた第１の方向と、ユーザが３次元画像を視認する第２の方向とのずれを表す差分情報を算出する算出部と、
前記差分情報に基づいて、前記３次元画像を変形する変形部と、
変形後の前記３次元画像を表示部に表示させる表示制御部と
して機能させるためのプログラム。