CN103248910B - 三维成像系统及其图像再现方法 - Google Patents

三维成像系统及其图像再现方法 Download PDF

Info

Publication number
CN103248910B
CN103248910B CN201310049889.8A CN201310049889A CN103248910B CN 103248910 B CN103248910 B CN 103248910B CN 201310049889 A CN201310049889 A CN 201310049889A CN 103248910 B CN103248910 B CN 103248910B
Authority
CN
China
Prior art keywords
camera
image
user
posture
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310049889.8A
Other languages
English (en)
Other versions
CN103248910A (zh
Inventor
河泰信
权宁道
卢庆植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103248910A publication Critical patent/CN103248910A/zh
Application granted granted Critical
Publication of CN103248910B publication Critical patent/CN103248910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Abstract

公开了一种三维成像系统及其图像再现方法。一种能够通过使用不同相机来有效显示适合用户的三维图像的三维成像系统及其图像再现方法,所述三维成像系统被构造为:具有在能够根据用户的眼睛的布置改变其相机的布置的同时,在没有限制的情况下被自由选择的不同的相机,从而从适合用户的立体图像产生和显示三维图像,通过使用根据用户产生的三维图像,向用户提供包括实时广播、内容点播(COD)、游戏和视频通信的各种内容服务,从而减小用户的疲劳和眩晕,并提供三维感的最佳感知。

Description

三维成像系统及其图像再现方法
技术领域
本公开的实施例涉及一种用于显示适合用户的三维图像的三维成像系统,及其图像再现方法。
背景技术
当通过电视、电影、计算机和游戏的屏幕观看对象时,由于屏幕的平滑导致用户以二维形式观看图形是三维形式的对象。然而,近年来,已经开发了通过平滑的(二维的)屏幕以三维立体图像的形式观看对象的各种方法。
表现三维图形的三维立体图像依据通过使用两眼的视差(即,由两眼之间大约65mm的距离引起的双目视差)使对象的三维感能够被感知的双目立体视觉理论。即,当用户的左眼和右眼中的每个眼睛观看与每个眼睛有关的各个二维图像时,两个眼睛的图像通过视网膜被传送到大脑,大脑将两个图像结合,从而再现深度感知和真实感。
如上所述,为了从二维屏幕观看对象的三维图像,从立体相机获得从左眼观看的左侧二维图像和从右眼观看的右侧二维图像,并且对每个图像执行信号处理,从而显示三维立体图像。
通常,立体相机使用两个相机模块,所述两个相机模块中的每一个相机模块具有在所述两个相机模块之间的在硬件(H/W)方面几乎相同的相机参数(屏幕的尺寸、焦点、亮度、色彩感和FOV)。此外,通过使两个相机的操作(捕捉、白平衡和聚焦)彼此同步,最大化地限制了由于异步操作产生的图像的差异。然而,如上制造的立体相机昂贵并且其操作自由度降低,尤其,所述立体相机的选择范围窄。
发明内容
因此,本公开的一方面提供一种能够有效显示适合用户的三维图像的三维成像系统,及其图像再现方法。
本公开的其它方面将在下面的描述中部分地阐述,并且从描述中部分是清楚的,或者通过本公开的实施可以被学习。
根据本公开的一方面,一种三维成像系统包括用户输入单元、立体相机、控制单元和驱动设备。用户输入单元可被构造为输入用户信息。立体相机可被构造为获得二维图像。控制单元可被构造为根据用户信息来控制立体相机的姿势,从而从通过立体相机获得的二维图像再现适合用户的三维图像。驱动设备可被构造为根据控制单元的控制来移动立体相机。
用户信息可包括关于用户的眼睛的布置和用户的视力的信息。
立体相机可包括各自被构造为获得二维图像的两个相机。
所述两个相机可表示各自具有不同的参数的左侧相机和右侧相机。
驱动设备可表示被驱动以调节左侧相机和右侧相机的姿势的多个电机。
所述多个电机可包括被构造为沿X方向和Y方向移动左侧相机的多个左侧电机,以及被构造为沿X方向和Y方向移动右侧相机的多个右侧电机。
三维成像系统还可包括用户DB,被构造为以数据库的形式存储关于根据用户信息调节的立体相机的姿势的信息。立体相机可包括各自具有不同的参数的左侧相机和右侧相机。
控制单元可根据所述两个相机的参数更新用户DB。
三维成像系统还可包括图像处理单元和图像产生单元。图像处理单元可被构造为通过将从所述两个相机获得的图像与关于立体相机的姿势的信息组合来重构左侧图像和右侧图像。图像产生单元可被构造为从重构的左侧图像和右侧图像产生适合用户的三维图像。
三维成像系统还可包括图像处理单元和图像产生单元。图像处理单元可被构造为通过使用用户DB减小从所述两个相机获得的图像的差异。图像产生单元可被构造为从由所述两个相机获得的具有减小的差异的图像产生适合用户的三维图像。
图像处理单元可提取由所述两个相机获得的图像之间重叠的区域,计算每个提取的区域的亮度以获得亮度的平均值,并根据平均值来改变每个像素的亮度,从而减小从所述两个相机获得的图像的差异。
图像处理单元可提取由所述两个相机获得的图像之间重叠的区域,并根据提取的区域的尺寸调节采样时间,从而减小从两个相机获得的图像的差异。
根据本公开的另一方面,一种基于立体相机的再现三维图像的方法如下。可通过立体相机获得二维图像。可通过移动立体相机来调节二维图像以适合用户。可将关于被调节以适合用户的立体相机的姿势的信息存储在用户DB中。可通过根据关于存储在用户DB中的立体相机的姿势的信息控制立体相机的姿势来输出一种适合用户的三维图像。
调节二维图像以适合用户的操作可通过调节立体相机的姿势以适合用户的眼睛的布置和用户的视力来实现。
立体相机可包括各自具有不同的参数的两个相机。
所述方法可通过进一步实现以下操作来实现。可通过将从所述两个相机获得的图像与存储在用户DB中的关于立体相机的姿势的信息组合来重构左侧图像和右侧图像。可从重构的左侧图像和右侧图像来产生适合用户的三维图像。
所述方法可通过进一步执行如下操作来实现。可提取由所述两个相机获得的图像之间重叠的区域。可计算每个提取的区域的亮度以获得亮度的平均值。可根据平均值改变每个像素的亮度,从而减小从所述两个相机获得的图像的差异。
所述方法可通过进一步执行如下操作来实现。可提取由所述两个相机获得的图像之间重叠的区域。可根据提取的区域的尺寸来调节采样时间,从而减小从所述两个相机获得的图像的差异。
如上所述,因为立体相机系统被构造具有不同的相机,因此可在没有限制的情况下自由选择不同的相机。此外,因为立体相机系统被构造为能够改变其相机的布置,所以通过根据用户的眼睛的布置改变相机的布置来从适合用户的立体图像产生和显示三维图像。通过这样的根据用户产生的三维图像,向用户提供包括实时广播、内容点播(COD)、游戏和视频通信的各种内容服务。从而减小用户的疲劳和眩晕,并提供三维感的最佳感知。
附图说明
通过结合附图,从实施例的以下描述中,本公开的这些和/或其它方面将会变得清楚,并且更易于理解,在附图中:
图1是示出根据本公开的一个实施例的基于立体视觉的三维成像系统的构造的示图。
图2是示出根据本公开的实施例的构造为移动立体相机的驱动设备的示意构造的示图。
图3A和图3B是示出根据本公开的实施例的在三维成像系统中产生用户DB的操作的流程图。
图4是示出根据本公开的实施例的在三维成像系统中执行相机标定的操作的流程图。
图5是示出图4的用于相机标定的标定图案的示图。
图6是示出布置在立体相机中间的图5的标定图案的示图。
图7是示出根据本公开的实施例的在三维成像系统中通过根据用户信息控制相机的姿势来输出三维图像的方法的流程图。
图8是示出根据本公开的实施例的在三维成像系统中减小由于两个相机之间的异步操作产生的图像的差异的第一方法的流程图。
图9是示出根据本公开的实施例的在三维成像系统中减小由于两个相机之间的异步操作产生的图像的差异的第二方法的流程图。
具体实施方式
现在将详细参考本公开的实施例,实施例的示例在附图中示出,其中,相同的标号始终表示相同的元件。
图1是示出根据本公开的一个实施例的基于立体视觉的三维成像系统的构造的示图。
参照图1,根据本公开的一方面的三维成像系统包括:立体相机10、图像提取单元20、驱动设备30、运动控制单元40、用户输入单元50、用户数据库(DB)60、相机姿势控制单元70、图像处理单元80、图像产生单元90和图像显示单元100。
立体相机10分别从两个相机10L和10R获得二维图像,并将获得的二维图像发送到图像提取单元20。
标号L和R分别表示立体相机10的左侧和右侧。
两个相机10L和10R的每一个相机具有彼此不同的参数,例如,屏幕的尺寸、焦点、亮度、色彩感和FOV。
图像提取单元20表示图像捕捉模块,被构造为提取已经从立体相机10(10L和10R)获得的图像,并且图像提取单元20包括用于提取从左侧相机10L获得的左侧图像的左侧图像提取单元21和用于提取从右侧相机10R获得的右侧图像的右侧图像提取单元22。
此外,由左侧提取单元21提取的左侧图像和由右侧提取单元22提取的右侧图像被发送到图像处理单元80。
驱动设备30是被驱动以改变立体相机10(10L和10R)的姿势(例如,方向和位置)的电机,并且驱动设备30包括用于沿X方向和Y方向移动左侧相机10L的左侧电机31和32以及用于沿X方向和Y方向移动右侧相机10R的右侧电机33和34。
运动控制单元40是运动控制模块,被构造为控制用于改变立体相机10(10L和10R)的姿势(例如,方向和位置)的驱动设备30,并被构造为控制用于沿X方向和Y方向移动两个相机10L和10R的左侧电机31和32以及右侧电机33和34的运动。
用户输入单元50是被构造为输入关于用户的眼睛的布置和特征的信息(例如,眼睛的视力)的设备。
用户DB 60以数据库的形式存储关于针对用户的眼睛的布置和特征的相机的姿势(例如,用户的方向和位置)的信息。
相机姿势控制单元70是控制器,被构造为根据用户信息来控制相机10L和10R的姿势(例如,方向和位置),并被构造为根据用户信息来控制相机10L和10R的姿势,从而使从立体相机10(10L和10R)获得的两个图像适合再现三维图像。
此外,相机姿势控制单元70通过搜索在立体相机10(10L和10R)中不同的参数(例如,屏幕的尺寸、焦点、色彩感和FOV)来更新用户DB60。
图像处理单元80表示图像匹配模块,被构造为减小从立体相机10的两个相机10L和10R获得的图像之间的差异,并被构造为通过使用从相机姿势控制单元70获得的相机参数和用户信息来减小由于两个相机10L和10R之间的异步操作产生的图像之间的差异。
图像处理单元80将具有减小的差异的立体图像发送到图像产生单元90,所述差异是由于两个相机10L和10R之间的异步操作产生的。通过这样,在从二维图像产生三维图像的处理中,最大化增加立体效果感。
图像产生单元80是立体图像产生器,被构造为从被图像处理单元80处理过的立体图像产生三维图像。
用于产生三维图像的立体技术使用这样的理论,其中,在很小的时间段交替观看从彼此分开人的两眼之间的距离的两个相机10L和10R获得的二维图像,人脑错误地将二维图像识别为三维图像。
图像显示单元100是三维显示装置,被构造为再现从图像产生单元90产生的三维图像,并且图像显示单元100包括三维电视和头戴式显示器(HMD)。
图2是示出根据本公开的实施例的构造为移动立体相机的驱动设备的示意构造的示图。
参照图2,驱动设备30包括被驱动以改变立体相机10(10L和10R)的姿势(方向和位置)的左侧电机31和32以及右侧电机33和34。
左侧电机31和32包括用于沿X方向移动左侧相机10L的X-轴左侧电机31和用于沿Y方向移动左侧相机10L的Y-轴左侧电机32。
右侧电机33和34包括用于沿X方向移动右侧相机10R的X-轴右侧电机33和用于沿Y方向移动右侧相机10R的Y-轴右侧电机34。
左侧电机31和32以及右侧电机33和34的数量可根据相机10L和10R的期望姿势而改变。例如,为了改变六个自由度,至少需要六个电机。
在下文中,将描述三维成像系统的操作和效果及其图像再现方法。
图3A和图3B是示出根据本公开的实施例的在三维成像系统中产生用户DB的操作的流程图。
参照图3A和图3B,相机姿势控制单元70选择左侧相机10L和右侧相机10R中的一个,并且移动选择的一个相机。
首先,将关于相机姿势控制单元70选择和移动左侧相机10L(200)来进行以下描述。
左侧相机10L在由相机姿势控制单元70移动的每个位置拍摄二维图像,即,拍摄由左侧相机10L获得的图像(202)。
在改变左侧相机10L的同时拍摄二维图像的方法如下。
X-轴左侧电机31由运动控制单元40根据相机姿势控制单元70的控制来驱动。根据X-轴左侧电机31的驱动,左侧相机10L在沿X-轴方向移动的同时改变其方向。
在如以上由左侧相机10L拍摄的二维图像中的在左侧眼睛(在下文中,被称为左眼)的位置拍摄的二维图像被固定在左侧图像通道,而在改变位置的同时在如以上由左侧相机10L拍摄的二维图像中的在右侧眼睛(在下文中,被称为右眼)的位置拍摄的二维图像被输出到图像显示单元100。在这种情况下,左侧相机10L在保持其高度的同时执行拍摄。
起初,针对右眼,图像显示单元100输出与在左眼的位置拍摄的二维图像相同的图像。
其后,左侧相机10L将在从原始位置稍微移动到右侧的同时拍摄的二维图像输出到图像显示单元100,并且同时测量用户开始观看两个场景的时间点(d_inc_left)(204)。
同时,针对右眼,输出在具有离左眼最远的位置以及与左眼相同的高度时拍摄的图像。
其后,运动控制单元40通过驱动X-轴左侧电机31将左侧相机10L稍微移动到左侧。在将在左侧相机10L被稍微移动到左侧的同时拍摄的二维图像输出到显示单元100的过程中,测量用户开始将所述场景视为单个场景的时间点(d_dec_left)(206)。
因此,相机姿势控制单元70将用户开始观看两个场景的时间点d_inc_left和用户开始将所述场景视为单个场景的时间点d_dec_left之间的较小一个d_user_left=min(d_inc_left,d_dec_left)选择为相机姿势信息(d_user_left)(208)。
其后,在改变左侧相机10L的高度的同时(210),相机姿势控制单元70在(212)在每个位置拍摄二维图像。
在改变左侧相机10L的高度的同时拍摄二维图像的方法如下。
Y-轴左侧电机32由运动控制单元40根据相机姿势控制单元70的控制来驱动。根据Y-轴左侧电机31的驱动,左侧相机10L在沿Y-轴方向移动的同时改变其高度。
起初,针对右眼,图像显示单元100输出与在左眼位置拍摄的二维图像相同的图像。
其后,左侧相机10L将在从原始位置稍微移动到上侧的同时拍摄的二维图像输出到图像显示单元100,并且同时,左侧相机10L测量用户开始观看两个场景的时间点(h_inc_left)(214)。
同时,针对右眼,输出在具有离左眼最远的位置以及与相机之间的距离相同的距离时拍摄的图像。
其后,运动控制单元40通过驱动Y-轴左侧电机32将左侧相机10L稍微移动到下侧。在将在左侧相机10L被稍微移动到下侧的同时拍摄的二维图像输出到显示单元100的过程中,测量用户开始将所述场景视为单个场景的时间点(h_dec_left)(216)。
因此,相机姿势控制单元70将用户开始观看两个场景的时间点h_inc_left和用户开始将所述场景视为单个场景的时间点h dec left之间的较小一个h_user_left=min(h_inc_left,h_dec_left)选择为相机姿势信息(h_user_left)(218)。
相机姿势控制单元70将相机姿势信息(d_user_left)和相机姿势信息(h_user_left)(即,关于左侧相机10L的姿势的信息(即,方向和位置))存储在用户DB 60中(220)。
其次,将关于相机姿势控制单元70选择和移动右侧相机10R(222)来进行以下描述。
右侧相机10R在由相机姿势控制单元70移动的每个位置拍摄二维图像,即,由右侧相机10R获得的图像(224)。
在改变右侧相机10R的同时拍摄二维图像的方法如下。
X-轴右侧电机33由运动控制单元40根据相机姿势控制单元70的控制来驱动。根据X-轴右侧电机33的驱动,右侧相机10R在沿X-轴方向移动的同时改变其方向。
在如以上由右侧相机10R拍摄的二维图像中的在左侧眼睛的位置拍摄的二维图像被固定在左侧图像通道,而在改变位置的同时在如以上由右侧相机10R拍摄的二维图像中的在右侧眼睛的位置拍摄的二维图像被输出到图像显示单元100。在这种情况下,右侧相机10R在保持其高度的同时拍摄二维图像。
起初,针对右眼,图像显示单元100输出与在左眼的位置拍摄的二维图像相同的图像。
其后,右侧相机10R将在从原始位置稍微移动到右侧的同时拍摄的二维图像输出到图像显示单元100,并且同时,右侧相机10R测量用户开始观看两个场景的时间点(d_inc_right)(226)。
同时,针对右眼,输出在具有离左眼最远的位置以及与左眼相同的高度时拍摄的图像。
其后,运动控制单元40通过驱动X-轴右侧电机33将右侧相机10R稍微移动到左侧。在将在右侧相机(10R)被稍微移动到左侧的同时拍摄的二维图像输出到显示单元100的过程中,测量用户开始将所述场景视为单个场景的时间点(d_dec_right)(228)。
因此,相机姿势控制单元70将用户开始观看两个场景的时间点d_inc_right和用户开始将所述场景视为单个场景的时间点d_dec_right之间的较小一个d_user_right=min(d_inc_right,d_dec_right)选择为相机姿势信息(d_user_right)(230)。
其后,相机姿势控制单元70在改变右侧相机10R的高度的同时(232),在每个位置拍摄二维图像(234)。
在改变右侧相机10R的高度的同时拍摄二维图像的方法如下。
Y-轴右侧电机34由运动控制单元40根据相机姿势控制单元70的控制来驱动,根据Y-轴右侧电机34的驱动,右侧相机10R在沿Y-轴方向移动的同时改变其高度。
起初,针对右眼,图像显示单元100输出与在左眼的位置拍摄的二维图像相同的图像。
其后,右侧相机10R将在从原始位置稍微移动到上侧的同时拍摄的二维图像输出到图像显示单元100,并且同时,右侧相机10R测量用户开始观看两个场景的时间点(h_inc_right)(236)。
同时,针对右眼,输出在具有离左眼最远的位置以及与相机之间的距离相同的距离时拍摄的图像。
其后,运动控制单元40通过驱动Y-轴右侧电机34将右侧相机10R稍微移动到下侧。在将在右侧相机10R被稍微移动到下侧的同时拍摄的二维图像输出到显示单元100的过程中,测量用户开始将所述场景视为单个场景的时间点(h_dec_right)(238)。
因此,相机姿势控制单元70将用户开始观看两个场景的时间点h_inc_right和用户开始将所述场景视为单个场景的时间点h_dec_right之间的较小的一个h_user_right=min(h_inc_right,h_dec_right)选择为相机姿势信息(h_user_right)(240)。
相机姿势控制单元70将相机姿势信息(d_user_right)和相机姿势信息(h_user_right)(即,关于右侧相机10R的姿势的信息(例如,方向和位置))存储在用户DB 60中(242)。
图4是示出根据本公开的实施例的在三维成像系统中执行相机标定的操作的流程图。图5是示出图4的用于相机标定的标定图案的示图。图6是示出布置在立体相机中间的图5的标定图案的示图。
参照图4,首先,图5示出的标定图案110被布置在左侧相机10L和右侧相机10R的中间(300)。
其后,左侧相机10L和右侧相机10R在分别根据存储在用户DB60中的相机姿势信息(d_user_left,h_user_left)和相机姿势信息(d_user_right,h_user_right)移动的同时拍摄四幅二维图像(302)。
总共的四幅图像包括:(a)在右侧相机10R的原始位置拍摄的二维图像、(b)在左侧相机10L的位置由右侧相机10R拍摄的二维图像、(c)在左侧相机10L的原始位置拍摄的二维图像和(d)在右侧相机10R的位置由左侧相机10L拍摄的二维图像。
因此,相机姿势控制单元70从四幅二维图像获得六个基本矩阵(304),并且将获得的六个基本矩阵存储在用户DB 60中(306)。
六个基本矩阵包括M1:(a)-(b)、M2:(a)-(c)、M3:(a)-(d)、M4:(b)-(c)、M5:(b)-(d)和M6:(c)-(d)。
通常,因为两眼的状态(例如,视力和两眼的布置)对每个人来说是不同的,所以需要考虑人的视力和布置以有效地再现三维图像。将参照图7描述在再现三维图像时考虑眼睛的视力和布置。
图7是示出根据本公开的实施例的在三维成像系统中通过根据用户信息控制相机的姿势来输出三维图像的方法的流程图。
参照图7,用户通过用户输入单元50输入用户信息(400)。用户信息用于考虑随着每个人改变的人的视力和布置。
如果用户输入用户信息,则相机姿势控制单元70根据用户从用户DB60获得相机姿势标定值,例如,相机姿势信息(d_user_left,h_user_left)和相机姿势信息((d_user_right,h_user_right)(402)。
随后,相机姿势控制单元70根据从用户DB60获得的相机姿势标定值布置相机姿势。
如果根据相机姿势标定值布置了相机姿势,则图像产生单元90产生如以下等式1所示的重构的左侧相机图像(I_new_left),通过将从左侧相机10L输入的图像(I_left)与由右侧相机10R输入的图像(I_right)通过从用户DB60获得的基本矩阵M1转换的图像结合来获得所述重构的左侧相机图像(I_new_left)。
【等式1】
I_new_left=w×I_left+(1-w)×I_right×M1(w是0和1之间的值)
类似地,图像产生单元90产生如以下等式2所示的重构的右侧相机图像(I_new_right),通过将从右侧相机10R输入的图像(I_right)与由左侧相机10L输入的图像(I_left)通过从用户DB 60获得的基本矩阵M6转换的图像结合来获得所述重构的右侧相机图像(I_new_right)。
【等式2】
I_new_right=w×I_right+(1-w)×I_left×M6(w是0和1之间的值)
因此,图像产生单元70从重构的左侧相机图像(I_new_left)和右侧相机图像(I_new_right)产生三维立体图像,并且将产生的三维立体图像输出到图像显示单元100(408)。
如前所述,当能够改变相机10L和10R的姿势的立体相机系统被构建时,通过根据用户的眼睛的布置控制相机10L和10R的姿势来输出三维图像,从而显示适合用户的三维立体图图像,从而减小眼睛的疲劳和眩晕并因此证明三维感知的最佳感。
然而,因为根据本公开的实施例的三维成像系统使用两个相机10L和10R以便扩大相机的选择范围并实现性价比高的立体相机,所以作为不同的两个相机10L和10R的异步操作的结果可能出现限制,其中,所述两个相机中的每个相机具有不同的参数。
因此,根据本公开的实施例的三维成像系统建议通过以异步方式对从不同相机10L和10R获得的图像执行图像处理来减小图像之间的差异的方法。将参照图8和图9描述该方法。
图8是示出根据本公开的实施例的在三维成像系统中减小由于两个相机之间的异步操作产生的图像的差异的第一方法的流程图。
在两个相机10L和10R分别支持自动白平衡的情况下,即使两个相机10L和10R是具有相同相机参数的相同相机模块,从两个相机10L和10R获得的图像也产生差异。因此,需要使图像之间的亮度匹配。
参照图8,图像处理单元80从两个相机图像提取两个相机图像重叠的区域(500)。在这种情况下,如果该区域小于阈值区域,则不执行亮度的匹配。
其后,图像处理单元80计算提取的两个图像中的每一个图像的亮度(502),并计算提取的两个图像的亮度的平均值(504)。
因此,图像处理单元80改变每个像素的亮度以具有计算的平均值(506)。
此外,图像处理单元80基于计算的亮度的平均值来改变两个相机图像之间不重叠的剩余区域的每个像素的亮度。
因此,图像产生单元80针对通过基于计算的平均亮度改变每个像素的亮度而获得的图像来产生三维立体图像,并将产生的三维立体图像输出到图像显示单元100。
图9是示出根据本公开的实施例的在三维成像系统中减小由于两个相机之间的异步操作产生的图像的差异的第二方法的流程图。
在两个相机10L和10R彼此具有不同的采样时间的情况下,两个图像之间的出现差异。因此,通过两个相机10L和10R之间的转换解决采样时间的差异。
参照图9,在图像提取单元20提取图像的同时,时间标识也被记录。
在最近提取的从两个相机10L和10R获得的图像的时间分别被称为t_l和t_r的情况下(600),计算在时间点t(t>t_l,t>t_r)获得的图像如下。
首先,当提取两个相机图像之间重叠的区域时(602),如果该区域的尺寸小于阈值区域,则通过以下等式3计算图像的差异(604)。
【等式3】
-I_l(t)=I_l(t_l)
-I_r(t)=I_r(t_r)
其次,当提取两个相机图像重叠的区域时,如果该区域的尺寸大于阈值区域并且t_l>t_r,则通过以下等式4计算图像的差异(604)。
【等式4】
-I_l(t)=I_l(t_l)
-I_r(t)
这里,重叠的区域等于w×I_l(t_l)×M6+(1-w)×I_r(t_r),其中,w是0和1之间的值,并且,不重叠的区域基于(1-w)×I_r(t_r)获得,其中,当接近边界时,w近似为0。
再次,当提取两个相机图像重叠的区域时(602),如果该区域的尺寸大于阈值区域并且t_r>t_l,则通过以下等式5计算图像的差异(604)。
【等式5】
-I_r(t)=I_r(t_r)
-I_l(t)
这里,重叠的区域等于w×I_r(t_r)×M1+(1-w)×I_l(t_l),其中,w是0和1之间的值,并且基于(1-w)×I_l(t_l)获得不重叠的区域。其中,当远离边界时,w近似为0。
虽然已经显示和描述了本公开的一些实施例,但本领域的技术人员应该理解,在不脱离本公开的原则和精神的情况下,可以在这些实施例中进行改变,本公开的范围由权利要求及其等同物限定。

Claims (13)

1.一种三维成像系统,包括:
用户输入单元,被构造为输入用户信息,用户信息为关于用户的眼睛的布置和特征的信息;
立体相机,包括各自被构造为获得二维图像且各自具有不同参数的左侧相机和右侧相机;
控制单元,被构造为根据用户信息来控制立体相机的姿势,从而从通过立体相机获得的二维图像再现适合用户的三维图像;
驱动设备,被构造为根据控制单元的控制移动立体相机;
图像处理单元,被构造为通过将从左侧相机和右侧相机获得的图像与关于立体相机的姿势的信息组合来重构左侧图像和右侧图像;
图像产生单元,被构造为从重构的左侧图像和右侧图像产生适合用户的三维图像。
2.如权利要求1所述的三维成像系统,其中,用户信息包括关于用户的眼睛的布置和用户的视力的信息。
3.如权利要求1所述的三维成像系统,其中,驱动设备表示被驱动以调节左侧相机和右侧相机的姿势的多个电机。
4.如权利要求3所述的三维成像系统,其中,所述多个电机包括被构造为沿X方向和Y方向移动左侧相机的多个左侧电机以及沿X方向和Y方向移动右侧相机的多个右侧电机。
5.如权利要求1所述的三维成像系统,还包括被构造为以数据库的形式存储关于根据用户信息调节的立体相机的姿势的信息。
6.如权利要求5所述的三维成像系统,其中,控制单元根据左侧相机和右侧相机的参数更新用户数据库DB。
7.如权利要求5所述的三维成像系统,还包括:
图像处理单元,被构造为通过使用用户DB来减小从左侧相机和右侧相机获得的图像的差异;
图像产生单元,被构造为从由左侧相机和右侧相机获得的具有减小的差异的图像产生适合用户的三维图像。
8.如权利要求7所述的三维成像系统,其中,图像处理单元提取由左侧相机和右侧相机获得的图像之间重叠的区域,计算每个提取的区域的亮度以获得亮度的平均值,并根据平均值来改变每个像素的亮度,从而减小从左侧相机和右侧相机获得的图像的差异。
9.如权利要求7所述的三维成像系统,其中,图像处理单元提取由左侧相机和右侧相机获得的图像之间重叠的区域,并根据提取的区域的尺寸调节采样时间,从而减小从左侧相机和右侧相机获得的图像的差异。
10.一种基于立体相机再现三维图像的方法,所述方法包括:
通过立体相机获得二维图像;
根据用户信息移动立体相机来调节二维图像以适合用户,用户信息为关于用户的眼睛的布置和特征的信息;
将关于根据用户信息被调节以适合用户的立体相机的姿势的信息存储在用户DB中;
通过根据关于存储在用户DB中的立体相机的姿势的信息控制立体相机的姿势来输出适合用户的三维图像,其中,立体相机包括各自具有不同参数的两个相机,通过将从所述两个相机获得的图像与存储在用户DB中的关于立体相机的姿势的信息组合来重构左侧图像和右侧图像,从重构的左侧图像和右侧图像产生适合用户的三维图像。
11.如权利要求10所述的方法,其中,调节二维图像以适合用户的步骤包括:调节立体相机的姿势以适合用户的眼睛的布置和用户的视力。
12.如权利要求10所述的方法,还包括:
提取由所述两个相机获得的图像之间重叠的区域;
计算每个提取的区域的亮度以获得亮度的平均值;
根据平均值改变每个像素的亮度,从而减小从所述两个相机获得的图像的差异。
13.如权利要求10所述的方法,还包括:
提取由所述两个相机获得的图像之间重叠的区域;
根据提取的区域的尺寸来调节采样时间,从而减小从所述两个相机获得的图像的差异。
CN201310049889.8A 2012-02-09 2013-02-07 三维成像系统及其图像再现方法 Active CN103248910B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0013057 2012-02-09
KR1020120013057A KR101821141B1 (ko) 2012-02-09 2012-02-09 3차원 영상 시스템 및 그 영상 재생 방법

Publications (2)

Publication Number Publication Date
CN103248910A CN103248910A (zh) 2013-08-14
CN103248910B true CN103248910B (zh) 2017-04-12

Family

ID=48928098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310049889.8A Active CN103248910B (zh) 2012-02-09 2013-02-07 三维成像系统及其图像再现方法

Country Status (3)

Country Link
US (1) US9258546B2 (zh)
KR (1) KR101821141B1 (zh)
CN (1) CN103248910B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628778B2 (en) * 2013-10-14 2017-04-18 Eys3D Microelectronics, Co. Calibration system of a stereo camera and calibration method of a stereo camera
JP6511386B2 (ja) * 2015-11-20 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
EP4020958B1 (en) * 2016-06-19 2023-10-25 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
KR101855937B1 (ko) * 2016-08-30 2018-05-09 엘지전자 주식회사 차량용 디스플레이 장치
CN107958439B (zh) * 2017-11-09 2021-04-27 北京小米移动软件有限公司 图像处理方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4018273B2 (ja) * 1998-12-10 2007-12-05 キヤノン株式会社 映像処理装置及びその制御方法及び記憶媒体
US7162074B2 (en) * 2001-11-20 2007-01-09 Fuji Jukogyo Kabushiki Kaisha Adjusting apparatus for stereoscopic camera
AU2003224349A1 (en) * 2002-02-27 2003-09-09 Geo-Rae Co., Ltd. Method and system for displaying stereoscopic image
KR20050080534A (ko) 2004-02-10 2005-08-17 김성주 3차원 입체 효과 최적화를 위한 카메라 위치의 지능 배치 기법
JP2006090961A (ja) 2004-09-27 2006-04-06 Matsushita Electric Ind Co Ltd 3次元計測装置、3次元計測方法、および記録媒体
KR20100131061A (ko) * 2009-06-05 2010-12-15 삼성전자주식회사 스테레오 영상 처리 장치 및 방법
JP5380184B2 (ja) * 2009-07-09 2014-01-08 富士フイルム株式会社 複眼カメラ及びその制御方法
JP2011087128A (ja) * 2009-10-15 2011-04-28 Fujifilm Corp 複眼カメラ及び被写体判別方法
JP4865065B1 (ja) * 2010-07-14 2012-02-01 Bi2−Vision株式会社 ステレオ撮像装置の制御システム
KR20120028121A (ko) * 2010-09-14 2012-03-22 삼성전자주식회사 스테레오 카메라의 컨버전스 각도 결정 방법 및 장치

Also Published As

Publication number Publication date
US20130208097A1 (en) 2013-08-15
US9258546B2 (en) 2016-02-09
CN103248910A (zh) 2013-08-14
KR20130091819A (ko) 2013-08-20
KR101821141B1 (ko) 2018-01-23

Similar Documents

Publication Publication Date Title
US10652522B2 (en) Varying display content based on viewpoint
US8928729B2 (en) Systems and methods for converting video
Fehn et al. Interactive 3-DTV-concepts and key technologies
Cao et al. Semi-automatic 2D-to-3D conversion using disparity propagation
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
CN103248910B (zh) 三维成像系统及其图像再现方法
CN102075694A (zh) 用于视频制作、后期制作和显示适应的立体编辑
WO2003081921A1 (fr) Procede de traitement d'images tridimensionnelles et dispositif
WO2011029209A2 (en) Method and apparatus for generating and processing depth-enhanced images
CN105898138A (zh) 全景视频播放方法及装置
EP1843581A2 (en) Video processing and display
US9933626B2 (en) Stereoscopic image
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
CN107862718A (zh) 4d全息视频捕捉方法
CN103905806A (zh) 利用单摄像头实现3d拍摄的系统和方法
CN106686367A (zh) 一种虚拟现实显示器的显示模式切换方法及显示控制系统
US20170142392A1 (en) 3d system including additional 2d to 3d conversion
JP2018198025A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP3091644B2 (ja) 2次元画像の3次元化方法
CN106680996A (zh) 头戴式虚拟现实显示器的显示方法及显示控制系统
US10277880B2 (en) 3D system including rendering with variable displacement
CN102075780B (zh) 立体影像产生装置及其方法
CN101854559A (zh) 多模式立体三维摄像头系统
CN102780900A (zh) 一种多人多视角立体显示器影像显示方法
US20230291883A1 (en) Image processing system, image processing method, and storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant