CN107992187A - 显示方法及其系统 - Google Patents

显示方法及其系统 Download PDF

Info

Publication number
CN107992187A
CN107992187A CN201611019373.9A CN201611019373A CN107992187A CN 107992187 A CN107992187 A CN 107992187A CN 201611019373 A CN201611019373 A CN 201611019373A CN 107992187 A CN107992187 A CN 107992187A
Authority
CN
China
Prior art keywords
image
background
screen
area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611019373.9A
Other languages
English (en)
Other versions
CN107992187B (zh
Inventor
高盟超
林慧珍
杨杰棋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN107992187A publication Critical patent/CN107992187A/zh
Application granted granted Critical
Publication of CN107992187B publication Critical patent/CN107992187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明提供一种显示方法及其系统，此方法适用于具有图像撷取装置、深度感测器以及荧幕的显示系统并且包括下列步骤。利用图像撷取装置撷取荧幕前方使用者的图像，以产生使用者图像，再利用深度感测器，区分使用者图像中的前景区域以及背景区域。根据荧幕的显示尺寸，于荧幕的显示区域设定虚拟窗框，并且于前景区域中进行人脸检测，以取得人脸位置的平面信息，以及利用深度感测器取得人脸位置的深度信息。根据虚拟窗框、人脸位置的平面信息以及深度信息，利用背景区域产生背景图像，再将前景区域叠合于背景图像，以产生输出图像。通过实施本发明，可使荧幕所呈现出的图像达到宛如镜面反射的效果。

Description

显示方法及其系统
技术领域
本发明是有关于一种显示技术，且特别是有关于一种可模拟镜子的显示方法及其系统。
背景技术
随着信息科技与生活逐渐的密不可分，智能产品的开发已然成为趋势主流。此智能化生活除了针对既有的产品增添数字功能外，更导入人机互动的界面以优化使用者的生活体验。以日常生活中不可或缺的镜子为例，目前已发展出可同时具有镜子与显示功能的镜面显示器，其利用镜面作为反射面并且利用显示面呈现图文信息，而其应用已逐渐着眼于理发店、眼镜行、服饰店等商家市场。
一般而言，镜面显示器主要是在显示器前方透明面板涂布反射物质或是加设涂布有反射物质的透明面板。然而穿透与反射两者之间存在取舍关系。显示功能的穿透光的亮度往往会受到前方反射物质影响而降低，其损耗往往超过30％。另一方面，镜面功能的反射光也无法达到如同一般镜面的效果，其反射率往往不超过50％。此外，穿透光与反射光之间会同时呈现以及互相干扰而造成使用者视觉效果上的混淆。
发明内容
有鉴于此，本发明提供一种显示方法及其系统，其结合图像撷取装置以及深度感测器，计算并且模拟镜面反射图像，以使荧幕所呈现出的图像达到宛如镜面反射的效果。
在本发明的一实施例中，上述的显示方法适用于具有图像撷取装置、深度感测器以及荧幕的显示系统，并且包括下列步骤。利用图像撷取装置撷取荧幕前方使用者的图像，以产生使用者图像，再利用深度感测器，区分使用者图像中的前景区域以及背景区域。根据荧幕的显示尺寸，于荧幕的显示区域设定虚拟窗框，并且于前景区域中进行人脸检测，以取得出使用者的人脸位置的平面信息，以及利用深度感测器取得使用者的人脸位置的深度信息。之后，根据虚拟窗框、人脸位置的平面信息以及深度信息，利用背景区域产生背景图像，再将前景区域叠合于背景图像，以产生输出图像。
在其中一种实施例中，该图像撷取装置具有广角镜头，而利用该图像撷取装置撷取该荧幕前方的该使用者的该图像，以产生该使用者图像的步骤包括：
针对该使用者的该图像进行变形校正，以产生该使用者图像。
在其中一种实施例中，利用该深度感测器，区分该使用者图像中的该前景区域以及该背景区域的步骤包括：
利用该深度感测器，取得该使用者图像中各个像素所对应的深度信息；以及
比较各所述像素所对应的该深度信息与预设深度门槛值，据以判定各所素像素属于该背景区域或是该前景区域。
在其中一种实施例中，根据该荧幕的该显示尺寸，于该荧幕的该显示区域设定该虚拟窗框的步骤包括：
取得该使用者相对于该荧幕的最佳观看位置；
设定背景相对于该荧幕的成像位置；
根据该最佳观看位置以及该成像位置，取得缩放比例；以及
根据该显示尺寸以及该缩放比例，取得该虚拟窗框的尺寸。
在其中一种实施例中，根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，利用该背景区域产生该背景图像的步骤包括：
根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，于该背景区域中选择背景镜像区域，以产生该背景图像。
在其中一种实施例中，根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，于该背景区域中选择该背景镜像区域的步骤包括：
计算该人脸位置分别经由该虚拟窗框的两个水平端点投射至该背景的镜像的范围，据以自该背景区域中选择出该背景镜像区域。
在其中一种实施例中，更包括：
以虚拟背景取代该背景区域。
在其中一种实施例中，叠合该前景区域于该背景图像，以产生该输出图像的步骤包括：
叠合该前景区域于该背景图像，以产生叠合后的图像；以及
调整该叠合后的图像至符合该荧幕的显示区域的大小，以产生该输出图像。
在其中一种实施例中，更包括：
根据该前景区域于该输出图像的位置，显示其它信息于该荧幕。
在其中一种实施例中，更包括：
自另一显示系统接收对方图像；以及
根据该虚拟窗框、该人脸位置的该平面信息以及该深度信息，利用该对方图像产生另一对方图像。
在本发明的一实施例中，上述的显示系统包括图像撷取装置、深度感测器、荧幕、存储器以及处理器，其中处理器耦接于图像取装置、深度感测器、荧幕以及存储器，并且图像撷取装置以及深度感测器设置于与荧幕同一侧。图像撷取装置用以撷取图像。深度感测器用以检测深度信息。荧幕用以显示画面。存储器用以存储数据。处理器将利用图像撷取装置撷取荧幕前方使用者的图像，以产生使用者图像，再利用深度感测器，区分使用者图像中的前景区域以及背景区域。处理器将根据荧幕的显示尺寸，于荧幕的显示区域设定虚拟窗框，并且于前景区域中进行人脸检测，以取得使用者的人脸位置的平面信息，以及利用深度感测器取得使用者的人脸位置的深度信息。之后，处理器将根据虚拟窗框、人脸位置的平面信息以及深度信息，利用背景区域产生背景图像，再将前景区域叠合于背景图像，以产生输出图像，并且将输出图像显示于荧幕上。
在其中一种实施例中，该图像撷取装置具有广角镜头，而该处理器针对该图像撷取装置所撷取到该使用者的该图像进行变形校正，以产生该使用者图像。
在其中一种实施例中，该处理器利用该深度感测器，取得该使用者图像中各个像素所对应的深度信息，以及比较各所述像素所对应的该深度信息与预设深度门槛值，据以判定各所素像素属于该背景区域或是该前景区域。
在其中一种实施例中，该处理器取得该使用者相对于该荧幕的最佳观看位置并且设定背景相对于该荧幕的成像位置，再根据该最佳观看位置以及该成像位置，取得缩放比例，以及根据该显示尺寸以及该缩放比例，取得该虚拟窗框的尺寸。
在其中一种实施例中，该处理器根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，于该背景区域中选择背景镜像区域，以产生该背景图像。
在其中一种实施例中，该处理器计算该人脸位置分别经由该虚拟窗框的两个水平端点投射至该背景的镜像的范围，据以自该背景区域中选择出该背景镜像区域。
在其中一种实施例中，该存储器更存储虚拟背景，而该处理器以虚拟背景取代该背景区域。
在其中一种实施例中，该处理器叠合该前景区域于该背景图像，以产生叠合后的图像，并且调整该叠合后的图像至符合该荧幕的显示区域的大小，以产生该输出图像。
在其中一种实施例中，该处理器更根据该前景区域于该输出图像的位置，显示其它信息于该荧幕。
在其中一种实施例中，该处理器更自另一显示系统接收对方图像，以及根据该虚拟窗框、该人脸位置的该平面信息以及该深度信息，利用该对方图像产生另一对方图像。
通过实施本发明，可使荧幕所呈现出的图像达到宛如镜面反射的效果。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是根据本发明一实施例所绘示的显示系统的方块图。
图2为根据本发明的一实施例所绘示的显示方法的流程图。
图3根据本发明的一实施例所绘示图像撷取装置所撷取到的图像以及变形校正后的图像。
图4为根据本发明的一实施例所绘示的前景区域以及背景区域的示意图。
图5为根据本发明的一实施例所绘示的虚拟窗框的设定方法的示意图。
图6为根据本发明的一实施例所绘示的显示方法的示意图。
图7为根据本发明的一实施例所绘示的显示方法的示意图。
图8为根据本发明的一实施例所绘示的显示方法的示意图。
图9为根据本发明的一实施例所绘示的显示方法的流程图。
附图标号
100：显示系统
110：图像撷取装置
120：深度感测器
130：荧幕
140：存储器
150：处理器
S202～S212、S901～S917：显示方法的流程
310、320、510、610、710、810：图像
410A、805：背景区域
410B：前景区域
Obs：使用者
Obs’：使用者的显示图像
FG：前景
BG：背景
BG’：背景的镜像
AF：虚拟窗框
R6、R7：背景镜像范围
807：虚拟背景
901：广角式图像撷取装置
903：变形校正
905：深度感测器
907：前景背景分离
909：人脸位置辨识
910：虚拟背景
913：视觉背景计算
911：虚拟窗框
915：前景与背景的叠合
917：输出图像
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的权利要求中的方法、系统的范例。
图1是根据本发明一实施例所绘示的显示系统的方块图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍显示系统中的所有构件以及配置关系，详细功能将配合图2一并揭露。
请参照图1，显示系统100包括图像撷取装置110、深度感测器120、荧幕130、存储器140以及处理器150，其中处理器150耦接至图像撷取装置110、深度感测器120、荧幕130以及存储器140，而图像撷取装置110、深度感测器120设置于与荧幕130同一侧。在本实施例中，显示系统100可以是将所有构件整合为单一装置的显示器。在另一实施例中，显示系统100可以是具有荧幕130、存储器140以及处理器150的电脑系统，而图像撷取装置110以及深度感测器120则是外接于电脑系统。在其它的实施例中，显示系统100亦可以例如是智能手机、平板电脑等具有图像撷取功能以及显示功能的电子装置，本发明不在此设限。
图像撷取装置110用以撷取荧幕130前方的图像并且包括具有透镜以及感光元件的摄像镜头。感光元件用以感测进入透镜的光线强度，进而产生图像。感光元件可以例如是电荷耦合元件(charge coupled device，CCD)、互补性氧化金属半导体(complementarymetal-oxide semiconductor，CMOS)元件或其他元件，本发明不在此设限。
深度感测器120用以检测荧幕130前方的深度信息，其可以分为主动式深度感测器以及被动式深度感测器。主动式深度感测器可通过主动发出光源、超音波、激光等作为信号来计算荧幕130前方的深度信息。另一方面，被动式深度感测器可以例如是另一个图像撷取装置，并且与图像撷取装置110以不同视角同时撷取荧幕130前方的两张图像，以利用两张图像的视差来计算荧幕130前方的深度信息。
荧幕130用以显示画面而提供给使用者观看。在本实施例中，荧幕130例如是液晶显示器(liquid crystal display，LCD)、发光二极管(light-emitting diode，LED)显示器、有机发光二极管(organic light-emitting diode，OLED)显示器、场发射显示器(fieldemission display，FED)或其他种类的显示器。
存储器140用以存储图像、程序码等数据，其可以例如是任意型式的固定式或可移动式随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘或其他类似装置、集成电路及其组合。
处理器150用以控制显示系统100的构件之间的作动，其可以例如是中央处理单元(central processing unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可程序化控制器、特殊应用集成电路(application specific integrated circuits，ASIC)、可程序化逻辑装置(programmable logic device，PLD)或其他类似装置或这些装置的组合。
以下即搭配图1的显示系统100的各元件列举实施例，以说明显示系统100执行其显示方法的详细步骤。
图2为根据本发明的一实施例所绘示的显示方法的流程图。
请同时参照图1以及图2，首先显示系统100的处理器150将利用图像撷取装置110撷取荧幕130前方使用者的图像，以产生使用者图像(步骤S202)。详细来说，为了使显示系统100模拟出宛如镜面所反射出的图像，图像撷取装置110可例如是设置于荧幕130的显示区域的中间正上方，以便撷取到位于荧幕130前方的使用者的图像。在本实施例中，基于使用者于镜面所观看到的镜像将因观看位置而有所差异，图像撷取装置110所采用的镜头可以是广角镜头，以撷取足够的背景图像信息。然而，为了使得稍后所呈现的输出图像达到自然的效果，处理器150会先将图像撷取装置110所撷取到的图像进行变形校正(lensdistortion rectification)等图像前处理程序，以修正广角镜头所造成的桶状变形(barrel distortion)、枕状变形(pincushion distortion)。在此的广角变形校正可以是利用相机模型的内部参数(intrinsic parameters)以及外部参数(extrinsicparameters)来进行量测式(metric)的校正，或是利用例如是多项式曲线拟合演算法(multinomial curve fitting algorithm)来进行非量测式(non-metric)的校正，本发明不在此设限。以图3根据本发明的一实施例所绘示图像撷取装置110所撷取到的图像310以及变形校正后的图像320为例，位于图像310边缘的物件将会被拉长且放大而形成扭曲，而图像310在经过变形校正后所产生的图像320可得到自然的广角效果。
请再回到图2，显示系统100的处理器150将利用深度感测器120，区分使用者图像中的前景区域以及背景区域(步骤S204)。详细来说，深度感测器120可检测荧幕130前方的深度信息，处理器150会将深度感测器120所检测到荧幕130前方的深度信息与图像撷取装置110所撷取到荧幕130前方的图像的各个像素相关联，进而取得使用者图像中各个像素所对应的深度信息。接着，处理器150将对各个像素所对应的深度信息与存储于存储器140中的预设深度门槛值进行比较，以判定各个像素属于背景区域或是前景区域。举例来说，图4即为根据本发明的一实施例所绘示自使用者图像中所分离出的前景区域410A以及背景区域410B，其中前景区域410A具有拍摄主体。
在本实施例中，假设深度感测器120所检测到的深度信息为深度距离，则预设深度门槛值可以是1.5公尺。当任何像素所对应的深度距离大于1.5公尺时，则处理器150将判定此像素属于背景区域，而当任何像素所对应的深度距离不大于1.5公尺时，则则处理器150将判定此像素属于前景区域。在另一实施例中，假设深度感测器120所检测到的深度信息为量化成8位元的灰阶值，则预设深度门槛值可以是85。当任何像素所对应的深度灰阶值大于85时，则处理器150会将此像素判定为前景区域，而当任何像素所对应的深度灰阶值不大于85时，则处理器150将判定此像素属于背景区域。
请再回到图2，基于图像撷取装置110的视觉位于荧幕130上而不同于人眼实际的视觉位置，显示系统100的处理器150将根据荧幕130的显示尺寸，于荧幕130的显示区域设定虚拟窗框(步骤S206)，其中虚拟窗框将设定为后续荧幕130上所呈现出的画面与一般镜面所反射出的图像雷同大小，使得荧幕130得以自然地呈现如同镜面般的效果。在本实施例中，虚拟窗框与荧幕130的显示尺寸存在一个缩放比例关系，而由于荧幕130的显示尺寸为恒定，虚拟窗框的设定可在显示系统100出厂前存储于存储器140中。以下将说明虚拟窗框的设定方式。
图5为根据本发明的一实施例所绘示的虚拟窗框的设定方法的示意图。
请同时参照图5，假设荧幕130前方与荧幕130之间距离大于1.5公尺的区域将视为背景BG，而荧幕130前方与荧幕130之间距离不大于1.5公尺的区域将视为前景FG。在此将背景BG的成像位置定义为荧幕130后方的1.5公尺处(即镜像BG’)，并且假设使用者Obs的最佳观看位置为荧幕130前方的1公尺处。因此，依照虚拟窗框视觉计算，虚拟窗框AF的长宽各为荧幕130的显示尺寸的0.4倍(即前述“缩放比例”，)。换句话说，虚拟窗框AF的尺寸可通过荧幕130的显示尺寸以及根据最佳观看位置与背景的成像位置所计算出的缩放比例而取得。
必须说明的是，在此所谓的最佳观看位置可以为使用者一般使用与荧幕130的显示尺寸大小相同的镜子时具有最佳观看效果的位置。以全身镜为例，最佳观看位置一般为全身镜前方的1.5公尺处。以化妆镜为例，最佳观看位置一般为化妆镜前方的30公分处。然而，在其它实施例中，显示系统100亦可提供界面给使用者手动调整成其它观看位置，以符合使用者的习惯。此外，显示系统100亦可提供界面给使用者手动调整虚拟窗框的其它设定，以达到不同的呈现效果，本发明不在此设限。
请再回到图2，由于使用者观看镜面所反射出的图像内容将因使用者本身于空间的所在位置而有所差异，显示系统100的处理器150将于前景区域中进行人脸检测，以取得出使用者的人脸位置的平面信息，并且利用深度感测器120取得使用者的人脸位置的深度信息(步骤S208)。在此处理器150可利用任何的人脸辨识演算方法(human facerecognition algorithm)自前景区域中检测出人脸的水平坐标，再通过深度感测器120取得人脸的深度信息，以掌握人脸于空间中的确切位置，于本实施例中，可以两眼连线的中心点作为人脸的空间位置代表。
接着，显示系统100的处理器150将根据虚拟窗框、人脸位置的平面信息以及深度信息，利用背景区域产生背景图像(步骤S210)。详细来说，当使用者靠近镜面时，其视角的镜像中会产生范围较广的背景区域以及涵盖面积较大的前景区域。基此，处理器150在取得人脸位置后，将根据虚拟窗框于荧幕130的位置，推估使用者视线所包含背景区域的镜像大小以及位置(以下称为“视觉背景计算”)，以模拟出镜面成像的效果，而有别于一般图像撷取装置仅能呈现出固定的背景。在本实施例中，处理器150将根据虚拟窗框的尺寸、人脸位置的平面信息以及深度信息，于背景区域中选择出背景镜像区域，以产生背景图像。在此处理器150可以是计算人脸位置分别经由虚拟窗框的两个水平端点投射至背景的镜像的范围来选择出背景镜像区域。之后，处理器150会将前景区域叠合于背景图像，以产生输出图像(步骤S212)，并且将其显示于荧幕130。在此，处理器150会将叠合后的图像的尺寸调整至符合荧幕130的显示尺寸，以有效地利用显示区域。
举例来说，图6以及图7分别为根据本发明的一实施例所绘示的显示方法的示意图。
请先参照图6，当使用者Obs靠近荧幕130时，其视角将经由虚拟窗框AF投射至背景BG的镜像BG’中的范围R6。处理器150会以背景区域中对应到范围R6的区域(即前述的背景镜像区域)设定为背景图像，再将前景区域(例如使用者Obs的显示图像Obs’)叠合至背景图像，而产生主体大且背景广的显示画面610。
请再参照图7，当使用者Obs到了荧幕130的右侧观看时，其视角将经由虚拟窗框AF投射至背景BG的镜像BG’中的范围R7。处理器150会以背景区域中对应到范围R7的区域(即前述的背景镜像区域)设定为背景图像，再将前景区域(例如使用者Obs的显示图像Obs’)叠合至背景图像，而产生具有使用者Obs左边的背景区域的显示画面710。
值得一提的是，在一实施例中，存储器140可预先存储多个虚拟背景，以替代前述的背景区域。处理器150将同样地根据虚拟窗框、人脸位置的平面信息以及深度信息，利用虚拟背景进行视觉背景计算以产生背景图像，并且将前景区域叠合至此背景图像。具体来说，图8为根据本发明的一实施例所绘示的显示方法的示意图。
请同时参照图1以及图8，处理器150将以虚拟背景807取代自使用者图像所分离出的背景区域805，以产生背景图像，并且将前景区域叠合至此背景图像，以于荧幕130上呈现出输出画面810，进而制造出虚拟魔镜的效果。
此外，处理器150更可以在荧幕130上呈现例如是文字、图片等更多的显示信息，以提供更多功能。正由于输出图像为模拟出的反射图像，对于处理器150而言其为可知信息，因此处理器150可随时针对其亮度以及位置进行调整，以使所呈现出的主体(例如人脸)与显示信息不互相干扰。
上述的多个实施例可以图9为根据本发明的一实施例所绘示的显示方法的功能流程图来作为整合。
请同时参照图1以及图9，首先显示系统100可以利用广角式图像撷取装置901所撷取到的图像进行变形校正903，以产生使用者图像。接着，显示系统100再利用深度感测器905所检测到的深度信息来针对使用者图像进行前景背景分离907。显示系统100可针对前景进行人脸位置辨识909，并且取得虚拟窗框911，再利用两者的信息针对背景进行视觉背景计算913，以自背景中选择出背景镜像区域，进而产生背景图像。此外，显示系统100亦可选择性地利用虚拟背景910来进行视觉背景计算913，进而产生不同的背景图像。之后，显示系统100将进行前景与背景的叠合915，以将前景叠合至背景图像，从而产生并且显示输出图像917。901～917的详细说明请参照前述相关的实施例，于此不再赘述。
附带一提的是，在一实施例中，显示系统100更可针对来自其它类似的显示系统所传输的图像内容进行类似的视觉背景计算。举例来说，当显示系统100的使用者与另一显示系统的对方使用者进行视频时，显示系统100将接收并且显示来自另一显示系统的图像撷取装置所摄取的对方图像。之后，显示系统100的处理器150可根据虚拟窗框以及使用者的人脸位置，针对对方图像进行如同前述实施例的视觉背景计算，以产生并且显示另一对方图像于荧幕上130。因此，即使显示系统100的使用者以不同位置或是视角与另一对方使用者进行视频，荧幕上130将相应地且即时地显示对方图像中不同的区域(例如背景)，以模拟出真实生活中使用者与另一对方使用者面对面对话的环境。特别是当使用者移动其位置时(例如往前、往后、向左、向右)，使用者将可在显示系统100上看到对方环境中不同角度或背景的图像，而宛如身在对方环境的现场。
本发明另提供一种非暂态的电脑可读取媒体，此电脑可读取媒体可存储多个程序码片段(例如建立组织图程序码片段、签核表单程序码片段、设定程序码片段、以及部署程序码片段)，并且这些程序码片段在载入例如是显示系统100的处理器150中并执行之后，即可完成上述显示方法步骤。
综上所述，本发明所提出的显示方法及其系统与电脑可读取媒体，其结合图像撷取装置以及深度感测器，计算并且模拟镜面反射图像，以使荧幕所呈现出的图像达到镜面显示器的效果。基于此，本发明所显示的图像亮度将不受到图像，而模拟出的反射图像为可知信息，可随时针对其亮度以及位置进行调整，使得所欲呈现的信息与反射图像不互相干扰，此外亦可实现虚拟场景照镜子的魔镜效果，从而在现今的市场中大幅地提升使用者经验。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (20)

1.一种显示方法，其特征在于，适用于具有图像撷取装置、深度感测器以及荧幕的显示系统，包括下列步骤：
利用该图像撷取装置撷取该荧幕前方使用者的图像，以产生使用者图像；
利用该深度感测器，区分该使用者图像中的前景区域以及背景区域；
根据该荧幕的显示尺寸，于该荧幕的显示区域设定虚拟窗框；
于该前景区域中进行人脸检测，以取得出该使用者的人脸位置的平面信息，并且利用该深度感测器取得该使用者的该人脸位置的深度信息；
根据该虚拟窗框、该人脸位置的该平面信息以及该深度信息，利用该背景区域产生背景图像；以及
叠合该前景区域于该背景图像，以产生输出图像。
2.如权利要求1所述的显示方法，其特征在于，该图像撷取装置具有广角镜头，而利用该图像撷取装置撷取该荧幕前方的该使用者的该图像，以产生该使用者图像的步骤包括：
针对该使用者的该图像进行变形校正，以产生该使用者图像。
3.如权利要求1所述的显示方法，其特征在于，利用该深度感测器，区分该使用者图像中的该前景区域以及该背景区域的步骤包括：
利用该深度感测器，取得该使用者图像中各个像素所对应的深度信息；以及
比较各所述像素所对应的该深度信息与预设深度门槛值，据以判定各所素像素属于该背景区域或是该前景区域。
4.如权利要求1所述的显示方法，其特征在于，根据该荧幕的该显示尺寸，于该荧幕的该显示区域设定该虚拟窗框的步骤包括：
取得该使用者相对于该荧幕的最佳观看位置；
设定背景相对于该荧幕的成像位置；
根据该最佳观看位置以及该成像位置，取得缩放比例；以及
根据该显示尺寸以及该缩放比例，取得该虚拟窗框的尺寸。
5.如权利要求1所述的显示方法，其特征在于，根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，利用该背景区域产生该背景图像的步骤包括：
根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，于该背景区域中选择背景镜像区域，以产生该背景图像。
6.如权利要求5所述的显示方法，其特征在于，根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，于该背景区域中选择该背景镜像区域的步骤包括：
计算该人脸位置分别经由该虚拟窗框的两个水平端点投射至该背景的镜像的范围，据以自该背景区域中选择出该背景镜像区域。
7.如权利要求1所述的显示方法，其特征在于，更包括：
以虚拟背景取代该背景区域。
8.如权利要求1所述的显示方法，其特征在于，叠合该前景区域于该背景图像，以产生该输出图像的步骤包括：
叠合该前景区域于该背景图像，以产生叠合后的图像；以及
调整该叠合后的图像至符合该荧幕的显示区域的大小，以产生该输出图像。
9.如权利要求1所述的显示方法，其特征在于，更包括：
根据该前景区域于该输出图像的位置，显示其它信息于该荧幕。
10.如权利要求1所述的显示方法，其特征在于，更包括：
自另一显示系统接收对方图像；以及
根据该虚拟窗框、该人脸位置的该平面信息以及该深度信息，利用该对方图像产生另一对方图像。
11.一种显示系统，其特征在于，包括：
图像撷取装置，用以撷取图像；
深度感测器，用以检测深度信息；
荧幕，用以显示画面，其中该图像撷取装置以及该深度感测器设置于与该荧幕同一侧；
存储器，用以存储数据；以及
处理器，耦接于该图像撷取装置、该深度感测器、该荧幕以及该存储器，用以执行下列步骤：
利用该图像撷取装置撷取该荧幕前方使用者的图像，以产生使用者图像；
利用该深度感测器，区分该使用者图像中的前景区域以及背景区域；
根据该荧幕的显示尺寸，于该荧幕的显示区域设定虚拟窗框；
于该前景区域中进行人脸检测，以取得出该使用者的人脸位置的平面信息，并且利用该深度感测器取得该使用者的该人脸位置的深度信息；
根据该虚拟窗框、该人脸位置的该平面信息以及该深度信息，利用该背景区域产生背景图像；以及
叠合该前景区域于该背景图像，以产生输出图像，并且显示该输出图像于该荧幕。
12.如权利要求11所述的显示系统，其特征在于，该图像撷取装置具有广角镜头，而该处理器针对该图像撷取装置所撷取到该使用者的该图像进行变形校正，以产生该使用者图像。
13.如权利要求11所述的显示系统，其特征在于，该处理器利用该深度感测器，取得该使用者图像中各个像素所对应的深度信息，以及比较各所述像素所对应的该深度信息与预设深度门槛值，据以判定各所素像素属于该背景区域或是该前景区域。
14.如权利要求11所述的显示系统，其特征在于，该处理器取得该使用者相对于该荧幕的最佳观看位置并且设定背景相对于该荧幕的成像位置，再根据该最佳观看位置以及该成像位置，取得缩放比例，以及根据该显示尺寸以及该缩放比例，取得该虚拟窗框的尺寸。
15.如权利要求11所述的显示系统，其特征在于，该处理器根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，于该背景区域中选择背景镜像区域，以产生该背景图像。
16.如权利要求15所述的显示系统，其特征在于，该处理器计算该人脸位置分别经由该虚拟窗框的两个水平端点投射至该背景的镜像的范围，据以自该背景区域中选择出该背景镜像区域。
17.如权利要求11所述的显示系统，其特征在于，该存储器更存储虚拟背景，而该处理器以虚拟背景取代该背景区域。
18.如权利要求11所述的显示系统，其特征在于，该处理器叠合该前景区域于该背景图像，以产生叠合后的图像，并且调整该叠合后的图像至符合该荧幕的显示区域的大小，以产生该输出图像。
19.如权利要求11所述的显示系统，其特征在于，该处理器更根据该前景区域于该输出图像的位置，显示其它信息于该荧幕。
20.如权利要求11所述的显示系统，其特征在于，该处理器更自另一显示系统接收对方图像，以及根据该虚拟窗框、该人脸位置的该平面信息以及该深度信息，利用该对方图像产生另一对方图像。
CN201611019373.9A 2016-10-26 2016-11-18 显示方法及其系统 Active CN107992187B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105134489 2016-10-26
TW105134489A TWI610571B (zh) 2016-10-26 2016-10-26 顯示方法及其系統與電腦可讀取記錄媒體

Publications (2)

Publication Number Publication Date
CN107992187A true CN107992187A (zh) 2018-05-04
CN107992187B CN107992187B (zh) 2020-11-13

Family

ID=61728273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611019373.9A Active CN107992187B (zh) 2016-10-26 2016-11-18 显示方法及其系统

Country Status (3)

Country Link
US (1) US10805543B2 (zh)
CN (1) CN107992187B (zh)
TW (1) TWI610571B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110049306A (zh) * 2019-05-16 2019-07-23 京东方科技集团股份有限公司 一种立体显示装置以及使用方法
CN110060205A (zh) * 2019-05-08 2019-07-26 北京迈格威科技有限公司 图像处理方法及装置、存储介质及电子设备
CN110503658A (zh) * 2018-05-16 2019-11-26 纬创资通股份有限公司 服饰试穿方法及其显示系统与电脑可读取记录媒体
WO2023087959A1 (zh) * 2021-11-22 2023-05-25 华为技术有限公司 图像合成方法、装置、电子设备和计算机可读存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102316143B1 (ko) * 2017-03-09 2021-10-22 가부시키가이샤 시세이도 정보처리장치, 프로그램
EP3680853A4 (en) * 2017-09-11 2020-11-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING PROCESS AND DEVICE, ELECTRONIC DEVICE AND COMPUTER READABLE INFORMATION MEDIA
CN111223105B (zh) * 2018-11-23 2021-06-22 北京字节跳动网络技术有限公司 图像处理方法和装置
TWI720480B (zh) * 2019-05-14 2021-03-01 真美滿有限公司 模擬展示系統
CN111210510B (zh) * 2020-01-16 2021-08-06 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
US11593947B2 (en) * 2020-03-10 2023-02-28 Cisco Technology, Inc. Automatic adjusting background
US11336840B2 (en) * 2020-09-02 2022-05-17 Cisco Technology, Inc. Matching foreground and virtual background during a video communication session
US11776184B2 (en) * 2020-10-18 2023-10-03 Adobe, Inc. Sky replacement
CN113963425B (zh) * 2021-12-22 2022-03-25 北京的卢深视科技有限公司 人脸活体检测系统的测试方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201099A (zh) * 2010-04-01 2011-09-28 微软公司 基于运动的交互式购物环境
CN103019507A (zh) * 2012-11-16 2013-04-03 福州瑞芯微电子有限公司 一种基于人脸跟踪改变视点角度显示三维图形的方法
CN105210093A (zh) * 2012-12-18 2015-12-30 艾斯适配有限公司 捕获和显示外观的装置、系统和方法
CN105426828A (zh) * 2015-11-10 2016-03-23 浙江宇视科技有限公司 人脸检测方法、装置及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
JP2000209425A (ja) * 1998-11-09 2000-07-28 Canon Inc 画像処理装置及び方法並びに記憶媒体
US6915011B2 (en) * 2001-03-28 2005-07-05 Eastman Kodak Company Event clustering of images using foreground/background segmentation
US20040218095A1 (en) * 2003-04-29 2004-11-04 Tuan Nguyen System, method, and apparatus for transmitting data with a graphics engine
US7606417B2 (en) * 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US8982109B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Devices, systems and methods of capturing and displaying appearances
IES20060558A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
US8295546B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US20160280136A1 (en) * 2014-03-05 2016-09-29 Guy M. Besson Active-tracking vehicular-based systems and methods for generating adaptive image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201099A (zh) * 2010-04-01 2011-09-28 微软公司 基于运动的交互式购物环境
CN103019507A (zh) * 2012-11-16 2013-04-03 福州瑞芯微电子有限公司 一种基于人脸跟踪改变视点角度显示三维图形的方法
CN105210093A (zh) * 2012-12-18 2015-12-30 艾斯适配有限公司 捕获和显示外观的装置、系统和方法
CN105426828A (zh) * 2015-11-10 2016-03-23 浙江宇视科技有限公司 人脸检测方法、装置及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503658A (zh) * 2018-05-16 2019-11-26 纬创资通股份有限公司 服饰试穿方法及其显示系统与电脑可读取记录媒体
CN110060205A (zh) * 2019-05-08 2019-07-26 北京迈格威科技有限公司 图像处理方法及装置、存储介质及电子设备
CN110060205B (zh) * 2019-05-08 2023-08-08 北京迈格威科技有限公司 图像处理方法及装置、存储介质及电子设备
CN110049306A (zh) * 2019-05-16 2019-07-23 京东方科技集团股份有限公司 一种立体显示装置以及使用方法
WO2023087959A1 (zh) * 2021-11-22 2023-05-25 华为技术有限公司 图像合成方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
TWI610571B (zh) 2018-01-01
US10805543B2 (en) 2020-10-13
TW201817220A (zh) 2018-05-01
CN107992187B (zh) 2020-11-13
US20180115717A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
CN107992187A (zh) 显示方法及其系统
US11115633B2 (en) Method and system for projector calibration
CN109118569B (zh) 基于三维模型的渲染方法和装置
CN107533761B (zh) 图像处理装置和图像处理系统
US10404969B2 (en) Method and apparatus for multiple technology depth map acquisition and fusion
USRE47925E1 (en) Method and multi-camera portable device for producing stereo images
US11128817B2 (en) Parallax correction using cameras of different modalities
KR20180101496A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
CN107018392B (zh) 投影仪优化方法和系统
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
KR20180136445A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN108022124B (zh) 互动式服饰试穿方法及其显示系统
KR102209745B1 (ko) 광고 및 쇼핑 등 정보를 표시하기 위하여 사용자의 투영 영상 인식을 통한 미러 디스플레이의 정보 표시 장치 및 방법
WO2019047985A1 (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
TWI637288B (zh) 用於眼球視線校正的影像處理方法及其系統
US20150304625A1 (en) Image processing device, method, and recording medium
US20190362150A1 (en) Image processing system and image processing method
US10162997B2 (en) Electronic device, computer readable storage medium and face image display method
CN107436681A (zh) 自动调节文字的显示大小的移动终端及其方法
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
CN109427089B (zh) 基于环境光照条件的混合现实对象呈现
US9536133B2 (en) Display apparatus and control method for adjusting the eyes of a photographed user
TWI545936B (zh) 電子裝置及其校正方法
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
KR101488647B1 (ko) 모바일 단말의 가상 조명 동작방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant