JP2001103517A - 画像表示装置および画像表示方法 - Google Patents

画像表示装置および画像表示方法

Info

Publication number
JP2001103517A
JP2001103517A JP2000218800A JP2000218800A JP2001103517A JP 2001103517 A JP2001103517 A JP 2001103517A JP 2000218800 A JP2000218800 A JP 2000218800A JP 2000218800 A JP2000218800 A JP 2000218800A JP 2001103517 A JP2001103517 A JP 2001103517A
Authority
JP
Japan
Prior art keywords
user
image
screen
change
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000218800A
Other languages
English (en)
Inventor
Etienne Pierre Philiponet
ピエール フィリポネ エティエンヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JP2001103517A publication Critical patent/JP2001103517A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】 利用者の外部環境に影響されず、かつ利用者
が着用する必要のない三次元像の表示装置および方法を
提供する。 【解決手段】 対象物の像を見ている利用者をデジタル
カメラ等の記録システム31で記録し、記録された利用
者の像から、その特徴点を抽出して利用者の位置を手段
32により決定する。特徴点の移動、変化に基づき利用
者の位置の変化を手段32により決定する。利用者の位
置が変化するのに合わせて、利用者が実体のある対象物
に対して移動した場合に認識される対象物の見え方、眺
望の変化と同様に、対象物の像を手段40により変化さ
せる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、利用者の位置に基
づく眺望に従って対象物を表す像を画面上に三次元で表
示する装置と方法に関する。
【0002】
【従来の技術】米国特許第5,367,614号に、変
化する眺望を用いて三次元で像を表示するシステムが記
載されている。この眺望は利用者の頭の動きに応じて変
化する。この装置によって映し出された対象物は、利用
者には画面に映されたものでなく真の対象物を見ている
ように感じられる。該使用されるシステムは、利用者の
頭に着用される音波発振用超音波送信機と、画面上に設
置された上記音波の受信用の一つ以上の受信機とを含
む。この送信機と受信機は、信号の解析、特に音波が発
振される瞬間と受信される瞬間との間の時間計算を行う
ためのインタフェースに接続されている。
【0003】
【発明が解決しようとする課題】この装置の欠点は利用
者の外部環境に影響されやすいことである。つまり前記
受信機は前記送信機以外の音源からの音波も受信してし
まう。加えて、この装置はユーザが着用する必要があ
り、実用的でない。
【0004】
【課題を解決するための手段】本発明の目的は、上記従
来技術の欠点を有さない装置と方法を提供することであ
る。本発明の装置と方法は、画面上で三次元の対象物を
見ている利用者に、真の対象物を見ているような印象を
与えることを目的としたものである。
【0005】本発明は、像を見ている利用者の位置に基
づく眺望に従って対象物の像を表示する装置に関し、こ
の装置は、対象物の像を表示する画面と、利用者の像を
記録する少なくとも一つの記録システムと、記録された
情報を処理して画面に対する利用者の位置の変化を決定
するプロセッサと、利用者の位置に基づく射影にしたが
って対象物の像を作成して、利用者が画面の前で動くと
対象物の像が修正されるようにする装置と、を含む。
【0006】また本発明は、像を見ている利用者の位置
に基づく眺望に従って対象物の像を表示する装置に関
し、この装置は、対象物の像を表示する画面と、利用者
の位置を検出する手段、利用者の位置に基づく射影にし
たがって対象物の像を作成して、利用者が画面の前で動
くと対象物の像が修正されるようにする手段と、を含
み、前記の利用者の位置を検出する手段は、利用者の像
を記録する少なくとも一つの記録システムと、記録され
た情報を処理して画面に対する利用者の位置の変化を決
定する手段と、を含む。
【0007】また、本発明は、像を見ている利用者の位
置に基づく眺望に従って対象物の像を表示する方法に関
する。この方法は、画面上に対象物の像を表示し、記録
システムを用いて少なくとも一つの利用者の像を記録
し、画面に対する利用者の位置の変化を決定し、アルゴ
リズムを用いて画面に対する利用者の位置の変化に従っ
て画面上に表示される対象物の像を修正する、各ステッ
プを含む。
【0008】本発明のその他の特徴は図面を参照した以
下の説明により明らかにされる。
【0009】
【発明の実施の形態】本発明は、像を見ている利用者の
位置に基づく眺望に従って画面上に対象物の像を表示す
ることを目的とする。
【0010】図1および5に概略的に示すように、本装
置は対象物を表示する画面20を含む。装置の利用者1
0は、対象物が見えるように画面20に向き合って位置
する(図4)。真の対象物を見ているような印象を利用
者に与えるために、本発明の装置では、画面20に対す
る利用者10の位置に従って眺望を修正することを提案
しており、対象物はこの修正された眺望に基づいて画面
20上に表示される。このために、本装置は利用者10
の位置、特に利用者10の顔の位置を検出する手段30
を含む。利用者10の位置検出手段30は少なくとも一
つの記録システム31を含み、この記録システムによっ
て利用者10の顔の像は連続して、デジタル記録され
る。この記録システムとして、例えばKODAC DV
C323(商品名)カメラなどのデジタルカメラがあ
る。また本装置は、記録システム31によって記録され
たデータを処理して画面20に対する利用者10の位置
を決定する手段32を含む。利用者10の像は連続して
記録されるので、記録されたデータの処理手段32は基
準位置に対する利用者10の位置を随時決定することが
できる。利用者の位置が決定されると、この位置につい
てのデータが作成され、このデータに基づいて対象物の
像を作成する手段40が対象物の像を修正する。
【0011】本発明の方法は以下のステップを含む。シ
ステムを初期化すると直ぐに、対象物の像が画面20に
表示される。少なくとも一つの記録システム31によっ
て、利用者10の像が記録される。次に画面20に対す
る利用者10の位置の変化が決定される。この後アルゴ
リズムを用いて、画面20に表示された対象物の像を、
画面20に対する利用者10の位置の変化に基づいて修
正する。画面20に対する利用者10の位置の変化を決
定するために、本発明においていくつかの実施形態が提
案されている。一つは、水平面垂直面の少なくとも一方
での位置の角度変化を決定することである。さらに、こ
れとは別にあるいはこれに加えて、利用者10と画面2
0間の距離の変化を決定することが行われる。
【0012】図1に概略的に示した第一の実施形態によ
れば、本装置は一台の記録システム31を含む。この記
録システムは、例えば表示画面20の上面中央に設置さ
れたデジタルカメラからなる。明らかに、このカメラは
利用者10の顔の像を記録できる位置であれば他のいず
れの場所に設置してもよい。顔は所定の一方向から記録
される。画面20に対する利用者10の角度変化を決定
するために、データ処理手段32は利用者10の(好適
には顔の)特徴点を登録する手段で構成される。例え
ば、鼻、両眼の間の中心、あるいは顔の肌の色合い(こ
の肌の色合い表示における各画素の値は1と扱われる)
の重心が選択される。従来技術で周知のあらゆる認識方
法をこの目的に対して使用できる。ある実施形態では、
両眼に相当する二つの点の位置が決定される。使用開始
の時点で、記録システム31によって記録された利用者
10の顔の像が画面20に表示される。この時に、利用
者10は、例えば一つ以上のパルスを発生することによ
ってシステムの初期化を行うことを促される。これに応
じて、例えば利用者10は両眼に相当する二つの点をク
リックする。同時にシステムは初期化され、図3に示す
ように前記二つの点は記録システム31による記録像に
添付された座標系に登録される。このようにして、二つ
の点対(couple)すなわち座標点(point
s)(X1,Y1)および(X2,Y2)が得られる。点対
の座標を計算する[(X1+X2)/2;(Y1+Y2)/
2]ことによって、両眼間の中心の座標が決定される。
これを基に利用者10の顔の特徴点と記録システム31
の中心との間の軸d1が決定される。図2に示すよう
に、値αが、水平面における、この軸d1とカメラ(記
録システム31)の光学軸との間の角度となる。図4に
示すように、値βが、垂直面における、この軸d1とカ
メラ(記録システム31)の光学軸との間の角度となる
ようにすることが効果的である。例えば、利用者が水平
面内および垂直面内の少なくとも一方で頭を動かすと、
点対[(X1+X2)/2;(Y1+Y2)/2]の座標が
変化して、その結果角度α,βが変化する。この後アル
ゴリズムを用いて、見られている画面20上の対象物の
像を角度α,βの変化に従って、対象物が所定の角度だ
け回転するように、すなわち所定の射影に基づいて対象
物が表されるように修正する。実際の像を近似的にシミ
ュレートするためには、既知の平均距離(例えば両眼間
の距離)だけ離れた二点を登録することが効果的であ
る。この平均距離を用いて、軸d1上の利用者の位置が
決定される。また画面の中心に対するカメラ(記録シス
テム31)の位置を知ることで、画面に対する利用者の
実際の角度変化が近似的に求まる。これに基づき、求め
た実際の角度変化の量だけ対象物を回転させて実際の像
がシミュレートされるようにする。実際の2倍または他
の倍率の角度で対象物を回転させてもよい。
【0013】本実施形態によれば、利用者10と画面2
0との間の距離の変化を決定することがさらに効果的で
ある。このために、利用者10の像の二つの特徴点を決
定し、該二つの点(例えば両眼)間の距離の変化を記録
する。例えば利用者10がシステムを初期化すると、あ
る任意値Aが利用者10と画面20間の距離であるとさ
れる。実際には、この基準値は、図3に示した例での両
眼間の距離(X2−X1,Y2−Y1)である。したがっ
て、例えば利用者10が画面20に接近または遠ざかる
と、二点間の測定距離は上記基準値に対して増加または
減少する。この距離の変化に基づいて、アルゴリズムを
用いて表示される対象物を拡大または縮小表示されるよ
うに修正する。任意の顔の二つの特徴点間の距離を用い
て画面20と利用者10との間の距離の変化を記録でき
ることは明らかである。
【0014】本実施形態では、利用者10が画面に平行
な平面内でのみ頭を回転させた場合は、対象物は修正さ
れない。実際に、両眼間の距離(X2−X1,Y2−Y1
は修正されない。また、頭全体の動きではないため角度
α,βは事実上修正されない。
【0015】図5に概略的に示した第二の実施形態によ
れば、本装置は二つの記録システム31を含む。このシ
ステムは例えば画面20の上面に設置された二つのデジ
タルカメラからなり、この二つのカメラはそれぞれ別々
の角度を向いて別々の利用者10の像を記録するように
なっている。像を記録する前に、利用者10は、例えば
1パルスを発生することによって装置の初期化を行うこ
とを促される。この瞬間、図7および図8に示すよう
に、各記録システム31は利用者10の顔の別々の像を
記録する。
【0016】利用者10の位置の変化を登録するため
に、データ処理手段32は例えば利用者10の(好適に
は前記二つの記録システムに記録された顔の)特徴点を
登録する手段で構成される。例えば顔の肌の色合いが記
録されて、顔の重心が計算される。このために、肌の色
合いを表す各画素の値は1として扱われる。これら画素
の座標は相互に加算された後、肌の色合いを表す画素の
数で割算される。この結果図7および図8に示すよう
に、重心の座標(X3,Y3)および(X4,Y4)が各像
に伴う座標系で得られる。次いで図6に示すように各記
録システム31と利用者の顔10の肌の色合いの重心と
の間の軸d2,d3が決定される。各記録システム31の
相互の位置および画面20に対する位置を知ることによ
って、軸d2とd3の交点Iの画面中心に対する正確な空
間的位置が求まる。利用者10が水平面内および垂直面
内の少なくとも一方で頭を動かすと、重心の座標
(X3,Y3)、(X4,Y4)が変化して、軸d2と軸d3
の交点Iの位置の変化をもたらす。この後アルゴリズム
を用いて、画面に対する利用者の実際の角度変化に相当
する所定の角度(または二倍あるいはその他の倍率の角
度)だけ対象物が回転するように対象物の像を修正し
て、真の像がシミュレートされるようにする。
【0017】本実施形態によれば、利用者と画面との間
の距離の変化は二つの軸d2と軸d3の交点Iの位置の変
化によって直接的に決定される。つまり、利用者10が
画面20に接近または遠ざかると、重心の座標(X3
3),(X4,Y4)は、交点Iと画面20との距離が
一定ではなくなるように修正される。この距離の変化に
したがって、利用者10に対して対象物が拡大または縮
小して見えるように新しい対象物の像が作成される。あ
らゆる顔の特徴点を本実施形態で使用可能なことは明ら
かである。
【0018】前述と同様に、利用者10が画面に平行な
平面でのみ頭を回転させた場合は、対象物は修正されな
い。事実、肌の色合いの重心は変化しない。
【0019】以上説明した装置は、例えば実際には画面
に表示された対象物を見ている利用者に真の対象物を見
ているような錯覚を与える対話式端末で用いられる。ま
た本装置は、例えば飛行その他の行動のシミュレーショ
ンなどのシミュレーション用としても用いることができ
る。
【図面の簡単な説明】
【図1】 本発明による装置の第一の実施形態を示す概
略図である。
【図2】 本発明の第一の実施形態を示す上面図であ
る。
【図3】 本発明の第一の実施形態によって記録された
利用者の像を示す図である。
【図4】 本発明の第一の実施形態を示す斜視図であ
る。
【図5】 本発明の第二の実施形態を示す概略図であ
る。
【図6】 本発明の第二の実施形態を示す上面図であ
る。
【図7】 本発明の第二の実施形態によって記録された
利用者の像を示す図である。
【図8】 本発明の第二の実施形態によって記録された
利用者の像を示す図である。
【符号の説明】
10 利用者、20 画面、30 利用者の位置の検出
手段、31 デジタルカメラ(記録システム)、32
記録されたデータの処理手段、40 対象物の像の作成
手段。

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 対象物の像を見ている利用者の位置に基
    づく眺望に従って前記対象物の像を表示する装置であっ
    て、 前記装置は、 対象物の像を表示する画面と、 利用者の像を記録する少なくとも一つの記録システム
    と、 記録された情報を処理して前記画面に対する前記利用者
    の位置の変化を決定するプロセッサと、 利用者の位置に基づく眺望に従って対象物の像を作成し
    て、利用者が前記画面の前で動くと前記対象物の像が修
    正されるようにする装置と、を含む画像表示装置。
  2. 【請求項2】 対象物の像を見ている利用者の位置に基
    づく眺望に従って前記対象物の像を表示する装置であっ
    て、 前記装置は、 対象物の像を表示する画面と、 利用者の位置を検出する手段と、 利用者の位置に基づく眺望に従って前記対象物の像を作
    成して、前記利用者が前記画面の前で動くと前記対象物
    の像が修正されるようにする装置と、を含み、 前記の、利用者の位置を検出する手段は、 利用者の像を記録する少なくとも一つの記録システム
    と、 記録された情報を処理して前記画面に対する利用者の位
    置の変化を決定する手段とを含む画像表示装置。
  3. 【請求項3】 対象物の像を見ている利用者の位置に基
    づく眺望に従って前記対象物の像を表示する方法であっ
    て、 前記方法は、 画面上に対象物の像を表示し、 記録システムによって少なくとも一つの利用者の像を記
    録し、 前記画面に対する前記利用者の位置の変化を決定し、 アルゴリズムを用いて前記画面上に表示される前記対象
    物の像を画面に対する前記利用者の位置の変化に従って
    修正する、各ステップを含む画像表示方法。
JP2000218800A 1999-07-22 2000-07-19 画像表示装置および画像表示方法 Pending JP2001103517A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9909691A FR2796797B1 (fr) 1999-07-22 1999-07-22 Dispositif et procede pour afficher une image sur un ecran selon une perspective dependant de la position d'un utilisateur
FR9909691 1999-07-22

Publications (1)

Publication Number Publication Date
JP2001103517A true JP2001103517A (ja) 2001-04-13

Family

ID=9548529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000218800A Pending JP2001103517A (ja) 1999-07-22 2000-07-19 画像表示装置および画像表示方法

Country Status (3)

Country Link
EP (1) EP1071045A1 (ja)
JP (1) JP2001103517A (ja)
FR (1) FR2796797B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011108028A (ja) * 2009-11-18 2011-06-02 Fujifilm Corp 画像再生装置、撮像装置、画像再生方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004510271A (ja) 2000-09-27 2004-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ スクリーンに表示される画像を提供する方法及び装置
DE10134488A1 (de) * 2001-06-13 2003-01-09 Square Vision Ag Verfahren und Vorrichtung zur Projektion einer digital gespeicherten 3D-Szene auf mehreren, im Winkel zueinander angeordneten Projektionsflächen
US9064196B1 (en) 2008-03-13 2015-06-23 Impinj, Inc. RFID tag dynamically adjusting clock frequency
US8193912B1 (en) * 2008-03-13 2012-06-05 Impinj, Inc. RFID tag dynamically adjusting clock frequency
KR101493748B1 (ko) * 2008-06-16 2015-03-02 삼성전자주식회사 물품 제공장치, 디스플레이 장치 및 이를 이용한 gui제공방법
JP4831223B2 (ja) * 2009-09-29 2011-12-07 カシオ計算機株式会社 画像表示装置及び方法並びにプログラム
CN105027029A (zh) * 2012-10-22 2015-11-04 Vid拓展公司 移动设备中的用户存在检测
US10045050B2 (en) 2014-04-25 2018-08-07 Vid Scale, Inc. Perceptual preprocessing filter for viewing-conditions-aware video coding
EP3099055A1 (en) 2015-05-29 2016-11-30 Thomson Licensing Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011581A (en) * 1992-11-16 2000-01-04 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011108028A (ja) * 2009-11-18 2011-06-02 Fujifilm Corp 画像再生装置、撮像装置、画像再生方法

Also Published As

Publication number Publication date
EP1071045A1 (en) 2001-01-24
FR2796797B1 (fr) 2001-09-07
FR2796797A1 (fr) 2001-01-26

Similar Documents

Publication Publication Date Title
US11016297B2 (en) Image generation apparatus and image generation method
JP6632443B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
CN108292489A (zh) 信息处理装置和图像生成方法
CN106385576A (zh) 立体虚拟现实直播方法、装置及电子设备
US6836286B1 (en) Method and apparatus for producing images in a virtual space, and image pickup system for use therein
US10652525B2 (en) Quad view display system
US11960146B2 (en) Fitting of glasses frames including live fitting
CN105763829A (zh) 一种图像处理方法及电子设备
CN112616048B (zh) Ar眼镜及其显示方法和系统、图像处理方法及设备
CN107368192A (zh) Vr眼镜的实景观测方法及vr眼镜
WO2022076020A1 (en) Few-shot synthesis of talking heads
US20220398705A1 (en) Neural blending for novel view synthesis
WO2019026789A1 (ja) 情報処理装置および位置情報取得方法
WO2019027843A1 (en) PARALLAX VISUALIZATION SYSTEM FOR 3D CONTENT
JP2001103517A (ja) 画像表示装置および画像表示方法
WO2019017300A1 (ja) 情報処理装置および位置情報取得方法
JP4162398B2 (ja) 映像表示システムおよびその方法
KR101148508B1 (ko) 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
JPH09138637A (ja) 模擬視界装置
US10802390B2 (en) Spherical omnipolar imaging
US7006102B2 (en) Method and apparatus for generating models of individuals
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
JP5656809B2 (ja) 会話映像表示システム
JPH11252523A (ja) 仮想空間画像の生成装置および仮想空間システム