CN102647606A - 立体影像处理器、立体影像互动系统及立体影像显示方法 - Google Patents

立体影像处理器、立体影像互动系统及立体影像显示方法 Download PDF

Info

Publication number
CN102647606A
CN102647606A CN2012101204543A CN201210120454A CN102647606A CN 102647606 A CN102647606 A CN 102647606A CN 2012101204543 A CN2012101204543 A CN 2012101204543A CN 201210120454 A CN201210120454 A CN 201210120454A CN 102647606 A CN102647606 A CN 102647606A
Authority
CN
China
Prior art keywords
image
right eye
left eye
digitized video
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101204543A
Other languages
English (en)
Other versions
CN102647606B (zh
Inventor
吴炳松
何明哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eys 3d Co Ltd
Original Assignee
Etron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Etron Technology Inc filed Critical Etron Technology Inc
Publication of CN102647606A publication Critical patent/CN102647606A/zh
Application granted granted Critical
Publication of CN102647606B publication Critical patent/CN102647606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

立体影像处理器、立体影像互动系统及立体影像显示方法，根据对左眼数字影像与右眼数字影像进行深度运算所得到的脸部深度模型，并根据脸部深度模型所判别出使用者二眼间的距离，可与已进行过脸部形变与人体渲染处理的使用者数字影像进行整合而得到使用者精确的立体数字影像。使用者可使用根据其本身形象产生的使用者立体影像模型来直接作为可操作虚拟人物的数字影像，以增进使用者在透过网络与其它玩家进行互动游戏时的娱乐效果。

Description

立体影像处理器、立体影像互动系统及立体影像显示方法
技术领域
本发明揭露一种立体影像处理器、立体影像互动系统、与相关立体影像显示方法，尤指一种用来根据数字影像建立深度图为基础以显示立体数字影像的一种立体影像处理器、立体影像互动系统及立体影像显示方法。
背景技术
在目前透过网络进行的互动游戏十分盛行的当下，各大主机厂商皆曾试图以定制的可操作虚拟人物(Avatar)来吸引市场的青睐。举例来说，广为人知的游戏主机Wii便提供了可让玩家设定脸型、身体特征、色调、配件的可操作虚拟人物，以在Wii支持的部分互动游戏中让玩家可透过操作该可操作虚拟人物的方式来与网络中连线的其他玩家进行互动或对战游戏。
发明内容
本发明揭露一种立体影像处理器、一种立体影像互动系统、以及一种立体影像显示方法，以增加立体数字影像的精确度并提供娱乐效果。
本发明所揭露的立体影像显示方法包含根据一左眼数字影像与一右眼数字影像，产生一深度图(Depth map)；根据该深度图，产生一使用者的一脸部深度模型；根据该脸部深度模型，计算该使用者的一双眼间距离；根据该左眼数字影像产生一左眼渲染/形变影像；根据该右眼数字影像产生一右眼渲染/形变影像；根据该脸部深度模型、该双眼间距离、该左眼渲染/形变影像、及该右眼渲染/形变影像来产生该使用者的一立体数字影像；及显示该立体数字影像。该左眼数字影像与该右眼数字影像皆包含有该使用者的脸部及/或人体外形。
上述的立体影像显示方法，其中根据该左眼数字影像产生该左眼渲染/形变影像包含：对该左眼数字影像进行人体侦测及/或脸部侦测，以产生一左眼侦测影像；对该左眼侦测影像进行人体外形追踪及/或脸部外形追踪，以产生一左眼追踪影像；及对该左眼追踪影像进行脸部形变(Morphing)与人体渲染(Rendering)，以产生该左眼渲染/形变影像；其中根据该右眼数字影像产生该右眼渲染/形变影像包含：对该右眼数字影像进行人体侦测及/或脸部侦测，以产生一右眼侦测影像；对该右眼侦测影像进行人体外形追踪及/或脸部外形追踪，以产生一右眼追踪影像；及对该右眼追踪影像进行脸部形变与人体渲染，以产生该右眼渲染/形变影像。
上述的立体影像显示方法，其中根据该脸部深度模型，计算该使用者的该双眼间距离包含：根据该脸部深度模型，侦测该左眼数字影像与该右眼数字影像中该使用者的一左眼位置与一右眼位置；及计算所侦测到该左眼位置与该右眼位置之间的该双眼间距离。
上述的立体影像显示方法，其中该立体数字影像的格式为红蓝格式立体影片(Red-Cyan anaglyph)、并排格式(Side-by-side)立体影片、或交错格式(Interlaced)立体影片。
上述的立体影像显示方法，其中该左眼数字影像与该右眼数字影像由一三维摄影机所产生。
本发明揭露的该立体影像处理器包含一深度单元、一脸部深度模型产生单元、一眼距计算单元、一渲染/形变影像产生单元、及一立体影像产生单元。该深度单元用来根据一左眼数字影像与一右眼数字影像产生一深度图，其中该左眼数字影像与该右眼数字影像皆包含有一使用者的脸部及/或人体外形。该脸部深度模型产生单元用来根据该深度图，产生该使用者的一脸部深度模型。该眼距计算单元用来根据该脸部深度模型，计算该使用者的一双眼间距离。该渲染/形变影像产生单元用来根据该左眼数字影像产生一左眼渲染/形变影像，并用来根据该右眼数字影像产生一右眼渲染/形变影像。该立体影像产生单元用来根据该脸部深度模型、该双眼间距离、该左眼渲染/形变影像、及该右眼渲染/形变影像来产生该使用者的一立体数字影像。
上述的立体影像处理器，其中该渲染/形变影像产生单元包含：一侦测单元，用来对该左眼数字影像进行人体侦测及/或脸部侦测，以产生一左眼侦测影像，并用来对该右眼数字影像进行人体侦测及/或脸部侦测，以产生一右眼侦测影像；一外形追踪单元，用来对该左眼侦侧影像进行人体外形追踪及/或脸部外形追踪，以产生一左眼追踪影像，并用来对该右眼侦侧影像进行人体外形追踪及/或脸部外形追踪，以产生一右眼追踪影像；及一形变单元与一渲染单元，其中该形变单元用来对该左眼追踪影像与该右眼追踪影像进行脸部形变，且该渲染单元用来对该左眼追踪影像与该右眼追踪影像进行人体渲染，以产生该左眼渲染/形变影像与该右眼渲染/形变影像。
上述的立体影像处理器，其中该眼距计算单元根据该脸部深度模型，侦测该左眼数字影像与该右眼数字影像中该使用者的一左眼位置与一右眼位置，并用来根据该左眼位置与该右眼位置，计算该使用者的该双眼间距离。
上述的立体影像处理器，其中该立体数字影像的格式为红蓝格式立体影片、并排格式立体影片、或交错格式立体影片。
上述的立体影像显示方法，其中该左眼数字影像与该右眼数字影像由一三维摄影机所产生。
本发明所揭露的该立体影像互动系统包含一左眼摄影单元、一右眼摄影单元、一立体影像处理器、及一显示器。该左眼摄影单元用来对一使用者摄影，以产生一左眼数字影像。该右眼摄影单元，用来对该使用者摄影，以产生一右眼数字影像。该立体影像处理器，包含包含一深度单元、一脸部深度模型产生单元、一眼距计算单元、一渲染/形变影像产生单元、及一立体影像产生单元。该深度单元用来根据一左眼数字影像与一右眼数字影像产生一深度图，其中该左眼数字影像与该右眼数字影像皆包含有一使用者的脸部及/或人体外形。该脸部深度模型产生单元用来根据该深度图，产生该使用者的一脸部深度模型。该眼距计算单元用来根据该脸部深度模型，计算该使用者的一双眼间距离。该渲染/形变影像产生单元用来根据该左眼数字影像产生一左眼渲染/形变影像，并用来根据该右眼数字影像产生一右眼渲染/形变影像。该立体影像产生单元用来根据该脸部深度模型、该双眼间距离、该左眼渲染/形变影像、及该右眼渲染/形变影像来产生该使用者的一立体数字影像。该显示器用来由该立体影像产生单元接收该立体数字影像，并用来播放该立体数字影像。
上述的立体影像互动系统，其中该渲染/形变影像产生单元包含：一侦测单元，用来对该左眼数字影像进行人体侦测及/或脸部侦测，以产生一左眼侦测影像，并用来对该右眼数字影像进行人体侦测及/或脸部侦测，以产生一右眼侦测影像；一外形追踪单元，用来对该左眼侦侧影像进行人体外形追踪及/或脸部外形追踪，以产生一左眼追踪影像，并用来对该右眼侦侧影像进行人体外形追踪及/或脸部外形追踪，以产生一右眼追踪影像；及一形变单元与一渲染单元，其中该形变单元用来对该左眼追踪影像与该右眼追踪影像进行脸部形变，且该渲染单元用来对该左眼追踪影像与该右眼追踪影像进行人体渲染，以产生该左眼渲染/形变影像与该右眼渲染/形变影像。
上述的立体影像互动系统，其中该眼距计算单元根据该脸部深度模型，侦测该左眼数字影像与该右眼数字影像中该使用者的一左眼位置与一右眼位置，并用来根据该左眼位置与该右眼位置，计算该使用者的该双眼间距离。
上述的立体影像互动系统，其中该立体数字影像的格式为红蓝格式立体影片、并排格式立体影片、或交错格式立体影片。
上述的立体影像显示方法，其中该左眼摄影单元与该右眼摄影单元为一三维摄影机的两个摄影镜头。
附图说明
图1为根据本发明的一实施例所揭露的一立体影像处理器的功能方块示意图；
图2为根据本发明的一实施例所揭露图1所示渲染/形变影像产生单元的功能方块示意图；
图3为根据本发明的一实施例所揭露应用图1所示立体影像处理器的一立体影像互动系统的功能方块示意图；
图4为用来解释图1与图3中以相距一已知距离的二摄影单元或镜头来取得左眼数字影像与右眼数字影像的概略示意图；
图5为根据本发明的一实施例所揭露的立体影像显示方法的流程图。
其中附图标记
110深度单元           120脸部深度模型产生单元
130眼距计算单元       140渲染/形变影像产生单元
142侦测单元            144外形追踪单元
146形变单元            148渲染单元
150立体影像产生单元    200体影像互动系统
210左眼摄影单元        220右眼摄影单元
230显示器              502、504、506、508、510、512步骤
具体实施方式
本发明所揭露的立体影像处理器可用来在可操作虚拟人物上直接建立与使用者相关的立体视觉特征，使得可操作虚拟人物在视觉上与使用者有一定程度的相似度，增加使用者操作该可操作虚拟人物时的趣味性与互动游戏对使用者的吸引力。本发明所揭露的立体影像处理器可根据使用者的脸部特征进行深度运算来精确得到使用者的脸部立体模型，并根据脸部立体模型判别出使用者二眼间的距离，最后再将已进行过形变(Morphing)与渲染(Rendering)处理的使用者影像配合上述二眼间的距离与脸部立体模型等资讯来整合得到使用者精确的立体影像模型。除此以外，本发明所揭露的立体影像显示方法则是运行于本发明的立体影像处理器，而本发明所揭露的立体影像互动系统则是需要以本发明的立体影像处理器来作为辅助，以与网络上的其他使用者来进行互动。如此一来，使用者便可以使用根据其本身形象产生的使用者立体影像模型来直接作为可操作虚拟人物的数字影像，以增进使用者在透过网络与其它玩家进行互动游戏时的娱乐效果。
请参阅图1，其为根据本发明的一实施例所揭露的一立体影像处理器100的功能方块示意图。如图1所示，立体影像处理器100包含一深度单元110、一脸部深度模型产生单元120、一眼距计算单元130、一渲染/形变影像产生单元140、及一立体影像产生单元150。在立体影像处理器100运作前，会先接收一左眼数字影像与一右眼数字影像，其中该左眼数字影像与该右眼数字影像为外部的二相邻镜头对一使用者进行摄影所得到，因此该左眼数字影像与该右眼数字影像皆包含有该使用者的脸部及/或人体外型的影像，且该两相邻镜头之间的距离为已知；另外，该左眼数字影像与该右眼数字影像可由一三维摄影机所产生。
深度单元110用来根据该左眼数字影像与该右眼数字影像产生一深度图(Depth map)，其中该深度图用来表示该左眼数字影像与该右眼数字影像中各画素代表的像深。
脸部深度模型产生单元120用来根据该深度图，估算该使用者脸部影像的像深，以产生该使用者的一脸部深度模型。在产生该脸部深度模型的过程中，包含有辨识出该左眼数字影像与该右眼数字影像中代表该使用者脸部的影像的过程、以及由该深度图中撷取该使用者脸部影像部分的像深的过程等。
眼距计算单元130用来根据该脸部深度模型找出该左眼数字影像与该右眼数字影像中该使用者的一左眼位置与一右眼位置，并根据该左眼位置与该右眼位置之间的距离来找出该使用者的双眼间距离。找出该左眼位置与该右眼位置的步骤，是利用人类左眼与右眼在脸部上相较于眼睛周围部位较为深陷(亦即像深相对眼睛周围部位较深的现象)的原理作为特征，来确定左眼与右眼在该脸部深度模型中的位置。
该脸部深度模型与该双眼间距离对于最后准确的产生立体数字影像，以使其与使用者影像之间具有高相似度来说，具有关键的影响。
渲染/形变影像产生单元140用来对该左眼数字影像与该右眼数字影像进行脸部形变(Morphing)与人体渲染(Rendering)的操作，亦可以深度单元110所产生的深度图作为辅助，进行更精确的脸部形变与人体渲染的操作，其中人体渲染的操作是指对该左眼数字影像与该右眼数字影像所拍摄到的使用者人体影像经由软体产生出建立在立体数字影像骨架上的色彩，而脸部形变的操作是指对该左眼数字影像与该右眼数字影像中所拍摄到的使用者脸部影像进行某些特征点的强化或是尺寸的改变，以使最后产生出的立体数字影像更具有立体感或是变为使用者所希望的脸部形状特征。在进行脸部形变与人体渲染的操作后，渲染/形变影像产生单元会产生出一左眼渲染/形变影像与一右眼渲染/形变影像。
最后，立体影像产生单元150用来以上述产生的该左眼渲染/形变影像及该右眼渲染/形变影像作为基础，再辅以上述产生的脸部深度模型与该双眼间距离强化该左眼渲染/形变影像与该右眼渲染/形变影像中使用者脸部的立体感，来产生该使用者的一立体数字影像。在本发明的部分实施例中，该立体数字影像的格式可为红蓝格式立体影片(Red-Cyan anaglyph)、并排格式(Side-by-side)立体影片、或交错格式(Interlaced)立体影片。
请参阅图2，其为根据本发明的一实施例所揭露渲染/形变影像产生单元140的功能方块示意图。如图2所示，渲染/形变影像产生单元140包含一侦测单元142、一外型追踪单元144、一形变单元146、及一渲染单元148。侦测单元142用来对该左眼数字影像进行人体侦测与脸部侦测，以产生一左眼侦测影像，并用来对该右眼数字影像进行人体侦测与脸部侦测，以产生一右眼侦测影像，侦测单元142更可根据深度单元110所产生的深度图，进行更精确的人体侦测与脸部侦测。外形追踪单元144用来对该左眼侦侧影像进行人体外形追踪与脸部外形追踪，以产生一左眼追踪影像，并用来对该右眼侦侧影像进行人体外形追踪与脸部外形追踪，以产生一右眼追踪影像。形变单元146用来对该左眼追踪影像与该右眼追踪影像进行脸部形变，且渲染单元148用来对该左眼追踪影像与该右眼追踪影像进行人体渲染，以产生该左眼渲染/形变影像与该右眼渲染/形变影像。
请参阅图3，其为根据本发明的一实施例所揭露应用图1所示立体影像处理器100的一立体影像互动系统200的功能方块示意图。如图3所示，立体影像互动系统200包含一左眼摄影单元210、一右眼摄影单元220、立体影像处理器100、及一显示器230。
左眼摄影单元210用来产生一第一左眼数字影像，亦即图1中所述的该左眼数字影像。右眼摄影单元220用来产生一第一右眼数字影像，亦即图1中所述的该右眼数字影像。其中左眼摄影单元210与右眼摄影单元220与图1所述的二外部相邻镜头相同而在彼此之间具有一已知距离。在本发明的一实施例中，左眼摄影单元210与右眼摄影单元220为一三维摄影机的两个摄影镜头。
立体影像互动系统200可透过网络连接于其他使用者所持有的立体影像互动系统，且该些立体影像互动系统包含有与立体影像互动系统200相同的元件与功能，因此其他使用者所持有的立体影像互动系统亦可用来拍摄其他使用者的左眼数字影像与右眼数字影像并传输至立体影像互动系统200以进行互动。在图3中所示的第二左眼数字影像与第二右眼数字影像即为连接于网络的其他使用者所传输的影像，第二左眼数字影像与第二右眼数字影像可传送至立体影像处理器100的渲染/形变影像产生单元140，并与该第一左眼数字影像及该第一右眼数字影像一起被立体影像处理器100进行渲染/形变处理。立体影像处理器100会根据该第一左眼数字影像与该第一右眼数字影像产生对应于立体影像互动系统200的使用者的一第一立体数字影像，并根据该第二左眼数字影像与该第二右眼数字影像产生对应于其他使用者的一第二立体数字影像。
显示器230用来接收该第一立体数字影像与该第二立体数字影像，并可使用该第一立体数字影像与该第二立体数字影像来当作可操作虚拟人物的形象。由于该第一立体数字影像具有与立体影像互动系统200的使用者相当类似的视觉形象，且该第二立体数字影像亦具有与其他使用者类似的视觉形象，因此以该第一立体数字影像与该第二立体数字影像作为视觉形象的可操作虚拟人物可彼此互动并带来娱乐效果。
在图1与图3中，皆提及过拍摄左眼数字影像与右眼数字影像的镜头需相隔一已知距离的概念，此因掌握左眼数字影像与右眼数字影像之间的视差与否也会影响到提高深度图的精确度，而通过眼距计算单元130取得该双眼间距离亦使用了相同的概念。请参阅图4，其为用来解释图1与图3中以相距一已知距离的二摄影单元或镜头来取得左眼数字影像与右眼数字影像的概略示意图。如图4所示，位置E1代表设置左眼摄影单元210的位置，位置E2代表设置右眼摄影单元220的位置，且位置E1与位置E2之间的距离D1为已知距离；在左眼摄影单元210与右眼摄影单元220对位于E3的物体(例如使用者的脸部)拍摄影像时，位置E1对该物体看到的像深是距离D3，位置E2对该物体看到的像深是距离D4。在距离D1是已知的情况下，可以配合距离D3与距离D4准确的决定真正的像深D2，并借此提高该脸部深度模型与该双眼间距离的精确度。
请参阅图5，其为根据本发明的一实施例所揭露的立体影像显示方法的流程图。该立体影像显示方法包含步骤如下：
步骤502：根据一左眼数字影像与一右眼数字影像，产生一深度图，其中该左眼数字影像与该右眼数字影像皆包含有一使用者的脸部及/或人体外形；
步骤504：根据该深度图，产生该使用者的一脸部深度模型；
步骤506：根据该脸部深度模型，计算该使用者的一双眼间距离；
步骤508：根据该左眼数字影像产生一左眼渲染/形变影像，并根据该右眼数字影像产生一右眼渲染/形变影像；
步骤510：根据该脸部深度模型、该双眼间距离、该左眼渲染/形变影像、及该右眼渲染/形变影像来产生该使用者的一立体数字影像；
步骤512：显示该立体数字影像。
步骤502、504、506、508、510的内容主要是由图1所示的立体影像处理器100所实施，而步骤512的内容可由图3所示的显示器230所实施。
请注意，将图5中所示步骤以合理的排列组合或附加上述说明中提及的各种限制条件所衍生的实施例，仍应视为本发明的实施例。
本发明所揭露的立体影像处理器、立体影像互动系统、与立体影像显示方法可通过加强量测使用者的脸部特征的精确度，来对应产生与使用者具有高相似度视觉形象的可操作虚拟人物，并对应带来娱乐效果。此外，本发明在产生立体数字影像的过程中，更根据使用者的双眼间距离资讯来调整立体数字影像的成像，让使用者在观看立体数字影像时能感受到最佳的立体效果。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (15)

1.一种立体影像显示方法，其特征在于，包含：
根据一左眼数字影像与一右眼数字影像，产生一深度图，其中该左眼数字影像与该右眼数字影像皆包含有一使用者的脸部及/或人体外形；
根据该深度图，产生该使用者的一脸部深度模型；
根据该脸部深度模型，计算该使用者的一双眼间距离；
根据该左眼数字影像产生一左眼渲染/形变影像；
根据该右眼数字影像产生一右眼渲染/形变影像；
根据该脸部深度模型、该双眼间距离、该左眼渲染/形变影像、及该右眼渲染/形变影像来产生该使用者的一立体数字影像；及
显示该立体数字影像。
2.如权利要求1所述的立体影像显示方法，其特征在于，其中根据该左眼数字影像产生该左眼渲染/形变影像包含：
对该左眼数字影像进行人体侦测及/或脸部侦测，以产生一左眼侦测影像；
对该左眼侦测影像进行人体外形追踪及/或脸部外形追踪，以产生一左眼追踪影像；及
对该左眼追踪影像进行脸部形变与人体渲染，以产生该左眼渲染/形变影像；
其中根据该右眼数字影像产生该右眼渲染/形变影像包含：
对该右眼数字影像进行人体侦测及/或脸部侦测，以产生一右眼侦测影像；
对该右眼侦测影像进行人体外形追踪及/或脸部外形追踪，以产生一右眼追踪影像；及
对该右眼追踪影像进行脸部形变与人体渲染，以产生该右眼渲染/形变影像。
3.如权利要求1所述的立体影像显示方法，其特征在于，其中根据该脸部深度模型，计算该使用者的该双眼间距离包含：
根据该脸部深度模型，侦测该左眼数字影像与该右眼数字影像中该使用者的一左眼位置与一右眼位置；及
计算所侦测到该左眼位置与该右眼位置之间的该双眼间距离。
4.如权利要求1所述的立体影像显示方法，其特征在于，其中该立体数字影像的格式为红蓝格式立体影片、并排格式立体影片、或交错格式立体影片。
5.如权利要求1所述的立体影像显示方法，其特征在于，其中该左眼数字影像与该右眼数字影像由一三维摄影机所产生。
6.一种立体影像处理器，其特征在于，包含：
一深度单元，用来根据一左眼数字影像与一右眼数字影像产生一深度图，其中该左眼数字影像与该右眼数字影像皆包含有一使用者的脸部及/或人体外形；
一脸部深度模型产生单元，用来根据该深度图，产生该使用者的一脸部深度模型；
一眼距计算单元，用来根据该脸部深度模型，计算该使用者的一双眼间距离；
一渲染/形变影像产生单元，用来根据该左眼数字影像产生一左眼渲染/形变影像，并用来根据该右眼数字影像产生一右眼渲染/形变影像；及
一立体影像产生单元，用来根据该脸部深度模型、该双眼间距离、该左眼渲染/形变影像、及该右眼渲染/形变影像来产生该使用者的一立体数字影像。
7.如权利要求6所述的立体影像处理器，其特征在于，其中该渲染/形变影像产生单元包含：
一侦测单元，用来对该左眼数字影像进行人体侦测及/或脸部侦测，以产生一左眼侦测影像，并用来对该右眼数字影像进行人体侦测及/或脸部侦测，以产生一右眼侦测影像；
一外形追踪单元，用来对该左眼侦侧影像进行人体外形追踪及/或脸部外形追踪，以产生一左眼追踪影像，并用来对该右眼侦侧影像进行人体外形追踪及/或脸部外形追踪，以产生一右眼追踪影像；及
一形变单元与一渲染单元，其中该形变单元用来对该左眼追踪影像与该右眼追踪影像进行脸部形变，且该渲染单元用来对该左眼追踪影像与该右眼追踪影像进行人体渲染，以产生该左眼渲染/形变影像与该右眼渲染/形变影像。
8.如权利要求6所述的立体影像处理器，其特征在于，其中该眼距计算单元根据该脸部深度模型，侦测该左眼数字影像与该右眼数字影像中该使用者的一左眼位置与一右眼位置，并用来根据该左眼位置与该右眼位置，计算该使用者的该双眼间距离。
9.如权利要求6所述的立体影像处理器，其特征在于，其中该立体数字影像的格式为红蓝格式立体影片、并排格式立体影片、或交错格式立体影片。
10.如权利要求6所述的立体影像处理器，其特征在于，其中该左眼数字影像与该右眼数字影像由一三维摄影机所产生。
11.一种立体影像互动系统，其特征在于，包含：
一左眼摄影单元，用来对一使用者摄影，以产生一左眼数字影像；
一右眼摄影单元，用来对该使用者摄影，以产生一右眼数字影像；
一立体影像处理器，包含：
一深度单元，用来根据一左眼数字影像与一右眼数字影像产生一深度图，其中该左眼数字影像与该右眼数字影像皆拍摄有该使用者的脸部及/或人体外形；
一脸部深度模型产生单元，用来根据该深度图，产生该使用者的一脸部深度模型；
一眼距计算单元，用来根据该脸部深度模型，计算该使用者的一双眼间距离；
一渲染/形变影像产生单元，用来根据该左眼数字影像产生一左眼渲染/形变影像，并用来根据该右眼数字影像产生一右眼渲染/形变影像；及
一立体影像产生单元，用来根据该脸部深度模型、该双眼间距离、该左眼渲染/形变影像、及该右眼渲染/形变影像来产生该使用者的一立体数字影像；及
一显示器，用来由该立体影像产生单元接收该立体数字影像并播放该立体数字影像。
12.如权利要求11所述的立体影像互动系统，其特征在于，其中该渲染/形变影像产生单元包含：
一侦测单元，用来对该左眼数字影像进行人体侦测及/或脸部侦测，以产生一左眼侦测影像，并用来对该右眼数字影像进行人体侦测及/或脸部侦测，以产生一右眼侦测影像；
一外形追踪单元，用来对该左眼侦侧影像进行人体外形追踪及/或脸部外形追踪，以产生一左眼追踪影像，并用来对该右眼侦侧影像进行人体外形追踪及/或脸部外形追踪，以产生一右眼追踪影像；及
一形变单元与一渲染单元，其中该形变单元用来对该左眼追踪影像与该右眼追踪影像进行脸部形变，且该渲染单元用来对该左眼追踪影像与该右眼追踪影像进行人体渲染，以产生该左眼渲染/形变影像与该右眼渲染/形变影像。
13.如权利要求11所述的立体影像互动系统，其特征在于，其中该眼距计算单元根据该脸部深度模型，侦测该左眼数字影像与该右眼数字影像中该使用者的一左眼位置与一右眼位置，并用来根据该左眼位置与该右眼位置，计算该使用者的该双眼间距离。
14.如权利要求11所述的立体影像互动系统，其特征在于，其中该立体数字影像的格式为红蓝格式立体影片、并排格式立体影片、或交错格式立体影片。
15.如权利要求11所述的立体影像互动系统，其特征在于，其中该左眼摄影单元与该右眼摄影单元为一三维摄影机的两个摄影镜头。
CN201210120454.3A 2012-02-17 2012-04-19 立体影像处理器、立体影像互动系统及立体影像显示方法 Active CN102647606B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW101105263 2012-02-17
TW101105263A TWI584222B (zh) 2012-02-17 2012-02-17 立體影像處理器、立體影像互動系統、與相關立體影像顯示方法

Publications (2)

Publication Number Publication Date
CN102647606A true CN102647606A (zh) 2012-08-22
CN102647606B CN102647606B (zh) 2015-01-07

Family

ID=46660150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210120454.3A Active CN102647606B (zh) 2012-02-17 2012-04-19 立体影像处理器、立体影像互动系统及立体影像显示方法

Country Status (3)

Country Link
US (1) US20130215112A1 (zh)
CN (1) CN102647606B (zh)
TW (1) TWI584222B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378620A (zh) * 2014-11-24 2015-02-25 联想(北京)有限公司 一种图像处理方法及电子设备
CN108144292A (zh) * 2018-01-30 2018-06-12 河南三阳光电有限公司 裸眼3d互动游戏制作设备
CN108345006A (zh) * 2012-09-10 2018-07-31 广稹阿马斯公司 捕捉运动场景的设备、装置和系统
CN108734102A (zh) * 2018-04-18 2018-11-02 佛山市顺德区中山大学研究院 一种基于深度学习的左右眼识别算法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
FR3034561A1 (fr) * 2015-03-30 2016-10-07 Peugeot Citroen Automobiles Sa Dispositif d’avertissement d’un conducteur de vehicule du niveau de son etat de somnolence et/ou du niveau de son etat de distraction au moyen d’imagette(s)
FR3034560A1 (fr) * 2015-03-30 2016-10-07 Peugeot Citroen Automobiles Sa Dispositif d’avertissement d’un conducteur de vehicule au moyen d’une imagette representative de sa position de conduite
CN105704479B (zh) * 2016-02-01 2019-03-01 欧洲电子有限公司 3d显示系统用的测量人眼瞳距的方法及系统和显示设备
CN106296784A (zh) * 2016-08-05 2017-01-04 深圳羚羊极速科技有限公司 一种通过人脸3d数据，进行面部3d装饰物渲染的算法
US10653957B2 (en) 2017-12-06 2020-05-19 Universal City Studios Llc Interactive video game system
US10521013B2 (en) 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
US11361513B2 (en) * 2019-04-23 2022-06-14 Valve Corporation Head-mounted display with pass-through imaging
US11948208B1 (en) 2023-01-19 2024-04-02 Microsoft Technology Licensing, Llc Variable graphical representations based upon graph-node distance

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1541485A (zh) * 2001-08-15 2004-10-27 �ʼҷ����ֵ��ӹɷ����޹�˾ 3d视频会议系统
CN101299227A (zh) * 2008-06-27 2008-11-05 北京中星微电子有限公司 基于三维重构的多人游戏系统及方法
US20100283828A1 (en) * 2009-05-05 2010-11-11 Unique Instruments Co.Ltd Multi-view 3d video conference device
WO2011071478A1 (en) * 2009-12-07 2011-06-16 Hewlett-Packard Development Company, L.P. 3d video conference
CN102175179A (zh) * 2011-02-23 2011-09-07 东南大学 一种人体表面轮廓三维重建的方法与装置
CN102262788A (zh) * 2010-05-24 2011-11-30 上海一格信息科技有限公司 个人三维形象互动试妆信息数据处理方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
CN101489467B (zh) * 2006-07-14 2011-05-04 松下电器产业株式会社 视线方向检测装置和视线方向检测方法
TWM364920U (en) * 2009-04-10 2009-09-11 Shen-Jwu Su 3D human face identification device with infrared light source
KR20110071213A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법
EP2617013A4 (en) * 2010-09-14 2017-04-12 Dynamic Digital Depth Research Pty. Ltd. A method for enhancing depth maps

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1541485A (zh) * 2001-08-15 2004-10-27 �ʼҷ����ֵ��ӹɷ����޹�˾ 3d视频会议系统
CN101299227A (zh) * 2008-06-27 2008-11-05 北京中星微电子有限公司 基于三维重构的多人游戏系统及方法
US20100283828A1 (en) * 2009-05-05 2010-11-11 Unique Instruments Co.Ltd Multi-view 3d video conference device
WO2011071478A1 (en) * 2009-12-07 2011-06-16 Hewlett-Packard Development Company, L.P. 3d video conference
CN102262788A (zh) * 2010-05-24 2011-11-30 上海一格信息科技有限公司 个人三维形象互动试妆信息数据处理方法及装置
CN102175179A (zh) * 2011-02-23 2011-09-07 东南大学 一种人体表面轮廓三维重建的方法与装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345006A (zh) * 2012-09-10 2018-07-31 广稹阿马斯公司 捕捉运动场景的设备、装置和系统
CN108345006B (zh) * 2012-09-10 2022-04-08 广稹阿马斯公司 捕捉运动场景的设备、装置和系统
CN104378620A (zh) * 2014-11-24 2015-02-25 联想(北京)有限公司 一种图像处理方法及电子设备
CN108144292A (zh) * 2018-01-30 2018-06-12 河南三阳光电有限公司 裸眼3d互动游戏制作设备
CN108734102A (zh) * 2018-04-18 2018-11-02 佛山市顺德区中山大学研究院 一种基于深度学习的左右眼识别算法

Also Published As

Publication number Publication date
CN102647606B (zh) 2015-01-07
TW201335885A (zh) 2013-09-01
TWI584222B (zh) 2017-05-21
US20130215112A1 (en) 2013-08-22

Similar Documents

Publication Publication Date Title
CN102647606B (zh) 立体影像处理器、立体影像互动系统及立体影像显示方法
JP5791433B2 (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
CN104883556B (zh) 基于增强现实的三维显示方法和增强现实眼镜
US10015473B2 (en) Computer-readable storage medium, image display apparatus, image display system, and image display method
CN103732299B (zh) 利用虚拟触摸的三维装置及三维游戏装置
JP2012058968A (ja) プログラム、情報記憶媒体及び画像生成システム
CN104504671A (zh) 一种用于立体显示的虚实融合图像生成方法
CN106582005A (zh) 一种虚拟游戏中数据同步交互方法及装置
EP2852161A1 (en) Method and device for implementing stereo imaging
CN105068649A (zh) 基于虚拟现实头盔的双目手势识别装置及方法
TWI531212B (zh) 呈現立體影像之系統及方法
CN104853185A (zh) 结合多视差和运动的立体视频舒适度评价方法
JP2020513704A (ja) ビデオデータ処理方法、装置および機器
CN107015655A (zh) 博物馆虚拟场景ar体验眼镜装置及其实现方法
CN103747236A (zh) 结合人眼跟踪的立体视频处理系统及方法
WO2023051589A1 (zh) 一种2d游戏的裸眼3d显示的方法和系统
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
JP6695997B2 (ja) 情報処理装置
JP6775669B2 (ja) 情報処理装置
CN109829960A (zh) 一种vr动漫系统交互方法
CN113170075A (zh) 信息处理装置、信息处理方法和程序
US20220286658A1 (en) Stereo image generation method and electronic apparatus using the same
CN111405262B (zh) 一种视点信息生成方法、装置、系统、设备和介质
CN207603821U (zh) 一种基于集群和渲染的裸眼3d系统
WO2018173206A1 (ja) 情報処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160205

Address after: Taipei City, Taiwan, China

Patentee after: EYS 3D CO., LTD.

Address before: Taiwan, China Hsinchu science and Technology Park, Hsinchu science and technology five road No. 6

Patentee before: Etron Technology, Inc.