CN104813659B - 视频帧处理方法 - Google Patents

视频帧处理方法 Download PDF

Info

Publication number
CN104813659B
CN104813659B CN201480000764.9A CN201480000764A CN104813659B CN 104813659 B CN104813659 B CN 104813659B CN 201480000764 A CN201480000764 A CN 201480000764A CN 104813659 B CN104813659 B CN 104813659B
Authority
CN
China
Prior art keywords
video
frame
viewpoint
main
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480000764.9A
Other languages
English (en)
Other versions
CN104813659A (zh
Inventor
郑嘉珉
黄柏豪
李元仲
蔡忠宏
朱启诚
陈鼎匀
何镇在
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104813659A publication Critical patent/CN104813659A/zh
Application granted granted Critical
Publication of CN104813659B publication Critical patent/CN104813659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种视频帧处理方法，包括：(a)通过包括多个摄影机的多视点摄影机系统捕获至少两个视频帧；(b)记录每一个视频帧的多个时间戳；(c)基于多个时间戳，确定多视点摄影机系统的主摄影机和第一副摄影机，其中主摄影机捕获主视频序列，第一副摄影机捕获第一视点的视频序列；主视频序列包括至少一个主视频帧，第一视点的视频序列包括至少一个第一视点的视频帧；(d)根据主视频帧的一个第一参考主视频帧并根据参考时间戳附近的至少一个第一视点的视频帧，产生对应于参考时间戳的第一视点的第一参考视频帧，其中第一参考主视频帧是于参考时间戳所捕获；以及(e)产生包括第一多视点视频帧的多视点视频序列，其中基于第一视点的第一参考视频帧和第一参考主视频帧产生第一多视点视频帧。

Description

视频帧处理方法
相关申请的交叉引用
本发明主张在2013年03月21日提出的申请号为61/803,881的美国临时专利申请的优先权；主张在2014年03月20日提出的申请号为14/221,229的美国专利申请的优先权。因此在全文中合并参考这些专利申请案。
技术领域
本发明是有关于视频帧处理方法，特别是有关于一种视频帧处理方法，其能够根据至少一个摄影机参数，选择、组合或调节至少一个视频帧为目标视频帧。
背景技术
现有技术中，摄影机通过摄影机参数捕获视频帧。举例来说，摄影机参数可以具有视频帧捕获参数，例如曝光时间。或者，摄影机参数可以具有其他参数，例如视频帧率。曝光时间(或称为快门速度)是摄影机快门打开的有效时间。曝光时间和透镜的光圈(也称为f值)确定到达摄影机内的胶片或图像传感器的光的总量。长的曝光时间将容易导致图像模糊。与此相反，短的曝光时间将容易导致图像图像变暗或噪声。在照相手机(或智能手机)中光圈或摄影机传感器通常很小。当图像的分辨率增加时，每一个像素的光的总量将减少。因此，很难设置平衡的摄影机参数来产生较佳的视频帧。
立体摄影机(或称为多视点立体摄影机)具有两个或多个摄影机，其中该两个或多个摄影机中的每一个摄影机具有独立的图像传感器。立体摄影机通常基于从不同摄影机产生的视频帧来产生多视点视频帧(例如，3D视频帧)。立体摄影机的不同摄影机可以应用不用的摄影机参数。
然而，多视点视频帧输出的规格是基于较低摄影机参数的，并且较低摄影机参数由较高摄影机参数覆盖。举例来说，多视点视频帧输出的规格可以基于较低的帧率。也就是说，若左摄影机具有的60fps的帧率以及右摄影机具有30fps的帧率，则多视点视频帧输出的帧率为30fps。或者，多视点视频帧输出的规格可以基于较低的图像分辨率。举例来说，若左摄影机具有8M的图像分辨率以及右摄影机具有2M的图像分辨率，则多视点视频帧输出的图像分辨率为2M。
发明内容
因此，本发明的一个目的是，提供一种视频帧处理方法。该视频帧处理方法通过至少一个较佳的摄影机参数产生多视频帧。
本发明的一个实施方式揭示了一种视频帧处理方法，包括(a)通过包括多个摄影机的多视点摄影机系统捕获至少两个视频帧；(b)记录每一个视频帧的多个时间戳；(c)基于多个时间戳确定多视点摄影机系统的主摄影机和第一副摄影机，其中主摄影机捕获主视频序列，第一副摄影机捕获第一视点的视频序列；主视频序列包括至少一个主视频帧，第一视点的视频序列包括至少一个第一视点的视频帧；(d)根据至少一个主视频帧的一个第一参考主视频帧并根据参考时间戳附近的至少一个第一视点的视频帧，产生对应于参考时间戳的第一视点的第一参考视频帧，其中第一参考主视频帧是于参考时间戳所捕获；以及(e)产生包括第一多视点视频帧的多视点视频序列，其中基于第一视点的第一参考视频帧和第一参考主视频帧产生第一多视点视频帧。
本发明的另一实施方式揭示了一种视频帧处理方法，包括(a)通过包括多个摄影机的多视点摄影机系统捕获至少两个视频帧；(b)基于摄影机的摄影机参数，确定多视点摄影机系统的主摄影机和第一副摄影机；其中，主摄影机捕获主视频序列，第一副摄影机捕获第一视点的视频序列；主视频序列包括至少一个主视频帧，第一视点的视频序列包括至少一个第一视点的视频帧；(c)基于通过主摄影机捕获的第一主视频帧和通过第一副摄影机捕获的第一视点的第一视频帧，产生第一视点的第一更新的视频帧；(d)基于通过主摄影机捕获的第二主视频帧和通过第一副摄影机捕获的第二视频帧，产生第一视点的第二更新的视频帧；(e)根据第一视点的第一更新的视频帧和第一视点的第二更新的视频帧，产生第一视点的第一参考视频帧；以及(f)产生包括第一多视点视频帧的多视点视频序列；其中基于第一视点的第一参考视频帧和主视频帧的第一参考主视频帧，产生第一多视点视频帧。
鉴于上述实施方式，多视点视频帧可以输出最高帧率及/或最佳图像捕获参数。因此，可以解决相关技术问题。
在参阅随后的通过附图解释说明的优选具体实施方式的详尽描述后，本领域的技术人员便可了解本发明的上述或者其他发明目的。
附图说明
图1为根据本发明实施方式的视频帧处理方法的示意图。
图2和图3为根据本发明另一实施方式的视频帧处理方法的示意图。
图4为根据本发明实施方式的图2和图3中说明的视频帧处理方法的流程图。
图5、图6A和图6B为根据本发明另一实施方式的视频帧处理方法的示意图。
图7为根据本发明另一实施方式的视频帧处理方法的示意图。
图8为根据本发明实施方式的图7中说明的视频帧处理方法的流程图。
图9为根据本发明实施方式的视频帧处理方法的流程图。
图10为根据本发明实施方式的多视点摄影机系统的方框图。
具体实施方式
本发明的一个概念可以概括为：通过多视点摄影机系统(muti-view camerasystem)中的不同摄影机捕获至少两个视频序列(video sequences)；记录每一个对应于视频帧的时间戳(timestamp)；确定多视点摄影机系统中的一个主摄影机，由主摄影机捕获的有关视频序列作为参考的主视频序列；设置其余的摄影机为副摄影机(sub camera(s))，从副摄影机得到的有关视频序列作为副视频序列(sub video sequence(s))；根据在时间点捕获的主视频序列的对应帧以及在该时间点之前或之后通过副摄影机捕获的至少一个视频帧，产生副视频序列的新的视频帧；以及产生对应于该时间点的同步(synchronized)多视点视频序列的帧。在一个示例中，多视点视频序列输出至显示器以用于显示，但不非仅限于此。
请注意，在如下实施方式中，视频帧的符号表示为{I(1,1),I(1,2),…I(1,n1)}、{I(2,1),I(2,2),…I(2,n2)}、…{I(m,1),I(m,2),…I(m,nm)}，其分别指示来自摄影机1、摄影机2、…、摄影机m(m为正整数)的视频帧。然而，这些符号为简化的符号。具体来说，摄影机1的视频帧可以表示为I(c1,t(c1,f1))、I(c1,t(c1,f2))、…I(c1,t(c1,fn1))，摄影机2的视频帧可以表示为I(c2,t(c2,f1))、I(c2,t(c2,f2))、…I(c2,t(c2,fn2))，如此类推，摄影机m的视频帧可以表示为I(cm,t(cm,f1))、I(cm,t(cm,f2))、…I(cm,t(cm,fnm))。其中c#表示摄影机索引(camera index)，f#表示帧索引(frame index)，以及t(c#,f#)表示对应的摄影机的对应的帧的时间戳。以符号为I(c1,t(c1,f1))的视频帧来举例说明，c1表示视频帧来自摄影机1，f1表示该视频帧为摄影机1捕获的视频序列的第一帧，以及t(c1,f1)为视频帧的时间戳，该时间戳指示通过摄影机1捕获的视频帧的时间。为方便阅读，在如下的实施方式中，上述符号被简化成用{I(1,1),I(1,2),…I(1,n1)}、{I(2,1),I(2,2)、…I(2,n2)}、{I(m,1),I(m,2),…I(m,nm)}来表示，括号中的第一项表示摄影机索引以及第二项表示时间戳。
此外，请注意，如下描述的摄影机并不限于独立摄影机。利用一个或多个图像传感器，摄影机可以是在单一电子设备上提供的多个镜头。这可以理解为摄影机捕获来自不同的视角的视频序列。
图1为根据本发明实施方式的视频帧处理方法的示意图。如图1所示，提供摄影机1和摄影机2，以及摄影机1具有的帧率(frame rate)高于摄影机2具有的帧率。也就是说，摄影机1捕获对于每一个时间戳(timestamp)的帧，而摄影机2仅在奇数时间戳捕获帧。在一个实施方式中，摄影机1为左摄影机以及摄影机2为右摄影机，并分开一个瞳孔间距(interocular distance)，但本发明并非限于此。如上所述，记录每一个对应视频帧的时间戳，因此可以通过时间戳确定每一个摄影机的帧率。确定帧率之后，根据帧率设置主摄影机和至少一个副摄影机。在此实施方式中，具有较高帧率的摄影机1被设置为主摄影机，以及具有较低帧率的摄影机2被设置为副摄影机。因此，在图1中的摄影机1为捕获主视频序列的主摄影机，以及摄影机2为捕获第一视点的视频序列的副摄影机，其中主视频序列包括一个或多个主视频帧(视频帧I(1,1)、视频帧I(1,2)…视频帧I(1,m))，第一视点的视频序列包括一个或多个第一视点的视频帧(第一视点的视频帧I(2,1)、第一视点的视频帧I(2,3)、第一视点的视频帧I(2,5)…第一视点的视频帧I(2,m))。
在一个实施方式中，若在特定时刻捕获的主视频帧以及在特定时刻捕获的第一视点的视频帧均存在，则根据主视频帧和第一视点的视频帧产生对应于特定时刻的多视点视频帧。举例来说，主视频帧(视频帧I(1,1))的时间戳t(c1,f1)和第一视点的视频帧I(2,1)的时间戳t(c2,f1)具有相同的时间值，这意味着同时捕获主视频帧(视频帧I(1,1))和第一视点的视频帧I(2,1)。因此，根据主视频帧(视频帧I(1,1))和第一视点的视频帧I(2,1)产生多视点视频帧IM1。对应于奇数时间戳的多视点视频帧，例如多视点视频帧IM3、多视点视频帧IM5可以通过相同的方法来产生。
然而，若存在在特定时刻捕获的主视频帧，而不存在在特定时刻捕获的第一视点的视频帧，则必须在对应于特定时刻的多视点视频帧产生之前产生第一视点的参考视频帧。举例来说，通过将主视频帧的时间戳和第一视点的视频帧的时间戳进行比较，可以发现在捕获主视频帧(视频帧I(1,2))的时间点捕获的第一视点的视频帧不存在，因此根据第一参考主视频帧(视频帧I(1,2))并根据在时间戳t(c2,f2)指示的时间之前或之后捕获的至少一个第一视点的视频帧(第一视点的视频帧I(2,1)和第一视点的视频帧I(2,3))来产生对应于时间戳t(c2,f2)的第一视点的参考视频帧I’(2,2)。然后，根据第一参考主视频帧(视频帧I(1,2))和第一视点的参考视频帧(视频帧I’(2,2))来产生多视点视频帧IM2。在此实施方式中，新产生的第一视点的参考视频帧的时间戳被称为参考时间戳。在一个实施方式中，对参考时间戳附近的至少一个第一视点的视频帧(例如，第一视点的视频帧I(2,1)、第一视点的视频帧I(2,3))做插值(interpolate)产生第一视点的参考视频帧(例如，第一视点的参考视频帧I’(2,2))，并且第一视点的参考视频帧(例如，第一视点的参考视频帧I’(2,2))通过第一参考主视频帧(例如，视频帧I(1,2))来几何约束。举例来说，第一视点的参考视频帧受到摄影机1和摄影机2之间的几何信息的约束。其中，第一视点的视频帧I(2,1)为第一视点的参考视频帧I’(2,2)的先前帧；第一视点的视频帧I(2,3)为第一视点的参考视频帧I’(2,2)的下一帧。可以通过相同的方法产生对应于偶数时间戳的多视点视频帧(例如，多视点视频帧IM2、多视点视频帧IM4)。请注意，第一视点的参考视频帧并不限于对最靠近第一视点的参考视频帧的视频帧做插值。举例来说，对在第一视点的视频帧I(2,3)之后的第一视点的视频帧做插值第一视点的参考视频帧I’(2,2)。也就是说，第一视点的任意时间上相邻的(temporally adjacent)视频帧可以用于产生第一视点的参考视频帧。
通过连续执行上述步骤，可以获得同步的多视点视频序列，该同步的多视点视频序列包括多视点视频帧(例如，多视点视频帧IM1～多视点视频帧IMm)并具有于主视频序列相同的帧率(frame rate)。请注意，摄影机的数目并不限于如图1描述的2个。摄影机的数目可以多于2个，这将说明如下。此外，请注意，视频帧的设置并不限于图1中的描述。举例来说，主视频帧(视频帧I(1,1)～视频帧I(1,m))的至少一部分可以具有不同的图像分辨率。此外，第一视点的视频帧I(2,1)～第一视点的视频帧I(2,m)的至少一部分可以具有不同的图像分辨率。此种变化也将落入本发明的保护范围。
在以下实施方式中，提供两个以上的摄影机，而不是图1中的两个摄影机。图2和图3为根据本发明另一实施方式的视频帧处理方法的示意图。在以下实施方式中，提供三个摄影机。然而，请注意，多于三个的摄影机可以应用本发明相同的方法。如图2所示，进一步提供摄影机3，摄影机3进一步以不同于摄影机1及/摄影机2的帧率来产生多个第二视点的视频帧(第二视点的视频帧I(3,1)、第二视点的视频帧I(3,4)…第二视点的视频帧I(3,n))，其中第二视点的视频帧I(3,4)对应的时间戳不同于第一视点的视频帧I(2,1)、第一视点的视频帧I(2,3)、第一视点的视频帧I(2,5)…第一视点的视频帧I(2,n)对应的时间戳。可以理解，摄影机1、摄影机2和摄影机3从不同的视点角度来捕获视频序列。此外，在图2和图3所示的实施方式中，由于摄影机1具有最高的帧率，摄影机1仍然被选择为主摄影机。因此，摄影机2和摄影机3均为副摄影机。
请参考图3，图3描述了若提供两个以上的摄影机如何产生多视点视频帧的示例。在此实施方式中，若在特定时刻戳不存在通过任意副摄影机捕获的视频帧，则产生参考视频帧，然后基于参考视频帧产生多视点视频帧。具体来说，特定时刻戳指示通过主摄影机捕获的视频帧而至少一个副摄影机没有捕获任何帧的时刻。举例来说，由于在时间戳t(c3,f3)不存在通过摄影机3捕获的视频帧，对第二视点的视频帧I(3,1)和第二视点的视频帧I(3,4)做插值第二视点的参考视频帧I’(3,3)，并通过参考主视频帧(视频帧I(1,3))来几何约束。然后，自参考主视频帧(视频帧I(1,3))、第一视点的视频帧I(2,3)、以及第二视点的参考视频帧I’(3,3)产生多视点视频帧IM3。请注意，并不限于对最靠近时间戳t(c3,f3)的视频帧做插值第二视点的参考视频帧。举例来说，对第二视点的视频帧I(3,4)之后的第二视点的视频帧中插值产生第二视点的参考视频帧I’(3,3)，并且第二视点的参考视频帧I’(3,3)受到参考主视频帧(视频帧I(1,3))的几何约束，来插值第二视点的参考视频帧I’(3,3)。也就是说，第二视点的任意时间上相邻的视频帧均可以用于产生第二视点的参考视频帧。
此外，可以从多于一个视点的参考视频帧中产生图3的多视点视频帧。举例来说，对应于参考主视频帧(视频帧I(1,2))，对第一视点的视频帧I(2,1)和第一视点的视频帧I(2,3)做插值产生第一视点的参考视频帧I’(2,2)并通过参考主视频帧(视频帧I(1,2))来几何约束，以及对第二视点的视频帧I(3,1)和第二视点的视频帧I(3,4)做插值产生第二视点的参考视频帧I’(3,2)并通过参考主视频帧(视频帧I(1,2))来几何约束。然后，自参考主视频帧(视频帧I(1,2))、第一视点的参考视频帧I’(2,2)、以及第二视点的参考视频帧I’(3,2)产生多视点视频帧IM2。
此外，不需要参考视频帧可以产生多视点视频帧。举例来说，根据参考主视频帧(视频帧I(1,1))、第一视点的视频帧I(2,1)、以及第二视点的视频帧I(3,1)来产生多视点视频帧IM1。通过图3所示的操作，可以获得多视点视频序列，该多视点视频序列包括多视点视频帧IM1、多视点视频帧IM2…多视点视频帧IMn并以与主摄影机相同的帧率来输出。
图4为根据本发明实施方式的图2和图3中说明的视频帧处理方法的流程图。图4包括如下步骤：
步骤401
自多于两个的摄影机捕获视频序列。在一个实施方式中，这些摄影机操作于不同的帧率。
步骤403
设置具有最高帧率的摄影机为主摄影机(例如，在图2和图3中的摄影机1)。
步骤405
产生副摄影机的参考视频帧(例如，参考视频帧I’(2,2)、参考视频帧I’(3,2)、参考视频帧I’(3,3))，以适应主摄影机的帧率。在一个实施方式中，对时间上相邻的视频帧做插值产生每一个参考视频帧并通过对应的主视频帧来限制。也就是说，通过在主摄影机和对应的副摄影机之间的几何信息来限制每一个新产生的参考视频帧。
步骤407
根据原始的视频帧及/或自原始的视频帧产生的参考视频帧，产生并输出多视点视频帧。其中，通过摄影机捕获的视频帧为原始的视频帧，原始的视频帧可以是来自主摄影机的视频帧或来自副摄影机的视频帧。举例来说，在图2中的主视频帧(视频帧I(1,1))、第一视点的视频帧I(2,1)以及第二视点的视频帧I(3,1)均为原始的视频帧。
图5、图6A和图6B为根据本发明另一实施方式的视频帧处理方法的示意图。摄影机1～摄影机3从不同的视角捕获视频序列。参考图5，视频帧不同步。举例来说，通过摄影机2捕获的第一视点的视频帧I(2,3)、第一视点的视频帧I(2,4)存在于时间戳t(c2,f3)和时间戳t(c2,f4)，但是通过摄影机1捕获的视频帧I(1,3.5)存在于时间戳t(c1,f3.5)而不是对应于时间戳t(c2,f3)、时间戳t(c2,f4)的时间戳t(c1,f3)、时间戳t(c1,f4)。又例如，通过摄影机1捕获的视频帧I(1,5)、视频帧I(1,6)存在于时间戳t(c1,f5)和时间戳t(c1,f6)，但是通过摄影机2捕获的第一视点的视频帧I(2,5.5)存在于时间戳t(c2,f5.5)，而不是对应于时间戳t(c1,f5)和时间戳t(c1,f6)的时间戳t(c2,f5)，时间戳t(c2,f6)。在一个实施方式中，由于摄影机1具有最高的帧率，摄影机1仍为主摄影机。然而，请注意，主摄影机可以随时间而改变。这将在另一实施方式中描述。
在图6A所示的实施方式中，具有最高帧率的摄影机1被设置为主摄影机，以及摄影机2和摄影机3的视频序列被修正为满足摄影机1的视频帧。也就是说，摄影机2和摄影机3为副摄影机。举例来说，自摄影机2的第一视点的原始视频帧(例如，第一视点的视频帧I(2,1)、第一视点的视频帧I(2,3)、第一视点的视频帧I(2,4)、第一视点的视频帧I(2,5.5)和在第一视点的视频帧I(2,5.5)之后的第一视点的原始视频帧)产生第一视点的参考视频I’(2,2)、第一视点的参考视频I’(2,3.5)、第一视点的参考视频I’(2,5)和第一视点的参考视频I’(2,6)，并通过主视频帧(视频帧I(1,2)、视频帧I(1,3.5)、视频帧I(1,5)和视频帧I(1,6))来几何约束。相似地，自摄影机3的第二视点的原始视频帧(例如，第二视点的视频帧(3,1)、第二视点的视频帧I(3,4)和在第二视点的视频帧I(3,4)之后的第二视点的原始视频帧)产生第二视点的参考视频帧I’(3,2)、第二视点的参考视频帧I’(3,3.5)、第二视点的参考视频帧I’(3,5)和第二视点的参考视频帧I’(3,6)，并通过主视频帧(视频帧I(1,2)、视频帧I(1,3.5)、视频帧I(1,5)和视频帧I(1,6))来几何约束。用于产生第一视点和第二视点的参考视频帧的详细操作已在上述实施方式中进行了描述，因此为求简洁，在此省略。
一旦产生需要的参考视频帧，通过将来自不同摄影机的对应的视频帧进行组合而产生多视点视频帧。举例来说，根据主视频帧(视频帧I(1,2)，即原始的视频帧)、第一视点的参考视频帧I’(2,2)和第二视点的参考视频帧I’(3,2)产生多视点视频帧IM2。其中，对第一视点的视频帧I(2,1)、第一视点的视频帧I(2,3)做插值产生第一视点的参考视频帧I’(2,2)，并通过参考主视频帧(视频帧I(1,2))几何约束第一视点的参考视频帧I’(2,2)；以及对第二视点的视频帧I(3,1)、第二视点的视频帧I(3,4)做插值产生第二视点的参考视频帧I’(3,2)，并通过参考主视频帧(视频帧I(1,2))几何约束第二视点的参考视频帧I’(3,2)。又例如，根据主视频帧(视频帧I(1,3.5))、第一视点的参考视频帧I’(2,3.5)和第二视点的参考视频帧I’(3,3.5)产生多视点视频帧IM3。其中，对第一视点的视频帧I(2,3)、第一视点的视频帧I(2,4)做插值产生第一视点的参考视频帧I’(2,3.5)并通过参考主视频帧(视频帧I(1,3.5))几何约束第一视点的参考视频帧I’(2,3.5)；以及对第二视点的视频帧I(3,1)、第二视点的视频帧I(3,4)做插值产生第二视点的参考视频帧I’(3,3.5)并通过主视频帧(视频帧I(1,3.5))几何约束第二视点的参考视频帧I’(3,3.5)。请注意，原始视频帧和自原始视频帧产生的参考视频帧的组合并不限于这些举例，其他组合也将落入本发明的保护范围。通过图6A描述的方法，多视点视频序列的帧率与主摄影机可以获得的帧率相同。
在上述实施方式中，具有最高帧率的摄影机被设置为主摄影机。然而，如上所述，可以基于其他标准设置主摄影机。在一个实施方式中，检查多视点摄影机系统的任意摄影机是否捕获具有对应于特定时刻的时间戳的视频帧。若是，则设置该摄影机为用于特定时刻的主摄影机。请参考图6B，举例来说，确定任意一个摄影机是否捕获具有对应于特定时刻t2的时间戳的视频帧。对应于时间t2的时间戳是时间戳t(c1,f2)、时间戳t(c2,f2)、时间戳t(c3,f2)。在确定之后，由于仅摄影机1在时间戳t(c1,f2)捕获视频帧I(1,2)而摄影机2和摄影机3在时间戳t(c2,f2)和时间戳t(c3,f2)没有捕获视频帧，选择摄影机1作为用于时间t2的主摄影机，而选择摄影机2和摄影机3作为副摄影机。因此，对第一视点的视频帧I(2,1)和第一视点的视频帧I(2,3)做插值产生第一视点的参考视频帧I’(2,2)并通过视频帧I(1,2)来几何约束。此外，对第二视点的视频帧I(3,1)和第二视点的视频帧I(3,4)做插值产生第二视点的参考视频帧I’(3,2)并通过视频帧I(1,2)来几何约束。根据视频帧I(1,2)、第一视点的参考视频帧I’(2,2)和第二视点的参考视频帧I’(3,2)产生对应于时刻t2的多视点视频帧IM2。又例如，确定是否任意一个摄影机捕获具有对应于特定时刻t3的时间戳的视频帧。对应于时刻t3的时间戳是t(c1,f3)、时间戳t(c2,f3)、时间戳t(c3,f3)。在确定之后，由于仅摄影机2在时间戳t(c2,f3)捕获视频帧I(2,3)，而摄影机1和摄影机3在时间戳t(c1,f3)和时间戳t(c3,f3)没有捕获视频帧，选择摄影机2作为时刻t3的主摄影机，而选择摄影机1和摄影机3作为副摄影机。相应地，根据主视频帧(视频帧I(2,3)，即原始的视频帧)、第一视点的参考视频帧I’(1,3)、第二视点的参考视频帧I’(3,3)产生对应于时刻t3的多视点视频帧IM3。其中，对视频帧I(1,2)和视频帧I(1,3.5)做插值产生第一视点的参考视频帧I’(1,3)并通过参考主视频帧(视频帧I(2,3))来几何约束第一视点的参考视频帧I’(1,3)，以及对第二视点的视频帧I(3,1)和第二视点的视频帧I(3,4)做插值产生第二视点的参考视频帧I’(3,3)并通过参考主视频帧(视频帧I(2,3))来几何约束第二视点的参考视频帧I’(3,3)。通过计数器来执行确定对于每一个特定时刻的主摄影机的操作。该计算器以预定频率连续向上计数(count up)或向下计数(count down)。计数器向上计数或向下计数的每一个时刻，确定任意一个摄影机是否捕获具有对应于计数器值(简称为“特定时刻”)的时间戳的视频帧。举例来说，若计数器的值为1，确定任意一个摄影机是否捕获具有对应于特定时刻t1的时间戳的视频帧。又例如，若计数器的值为n，确定任意一个摄影机是否捕获具有对应于特定时刻tn的时间戳的视频帧。
在一个实施方式中，若至少一个摄影机在特定时刻捕获视频帧，则根据预定的标准这些摄影机中的一个被选为主摄影机。举例来说，在图6B中，摄影机2和摄影机3分别在特定时刻t4捕获视频帧I(2,4)、视频帧I(3,4)，因此摄影机2和摄影机3中的一个被选为主摄影机。在图6B所示的实施方式中，由于参考视频帧可以产生对于原始视频帧不存在的时间戳，多视点视频序列具有的视频帧率高于每一个摄影机可以产生的视频帧率。
请注意，在图5、图6A和图6B中的实施方式可以在每一个摄影机彼此具有的视频帧率互不相同的情形下来说明，以使得捕获每一个摄影机的视频帧的时间点不同。然而，在一个实施方式中，摄影机具有相同的视频帧率，而在不同的时间点捕获视频帧(也就是说，通过不同的摄影机捕获的每一个视频帧是时间上错开的)。此外，在另一实施方式中，摄影机可以具有不同的帧率，而在不同的时间点捕获视频帧。对于视频帧率和视频帧捕获时间点(video frame capturing time point)的此种组合也可以应用于图5、图6A和图6B中的实施方式中，以达到相同的结果。
图7为根据本发明另一实施方式的视频帧处理方法的示意图。在图7的实施方式中，提供两个摄影机(摄影机1和摄影机2)，其中两个摄影机捕获不同视角的视频序列。摄影机1和摄影机2具有不同的帧率和不同的视频帧捕获参数。帧捕获参数包括捕获时间、曝光时间、景深、对焦和白平衡、图像分辨率中的至少一个。在图7和图8所示的实施方式中，采用图像分辨率来举例说明。
在图7所示的实施方式中，首先基于主视频帧和第一视点的视频帧来产生更新的视频帧，然后根据更新的视频帧产生第一视点的参考视频帧。之后，根据主帧和参考视频帧产生多视点视频帧。举例来说，基于通过主摄影机1捕获的主视频帧(视频帧I(1,1))和摄影机2捕获的第一视点的视频帧I(2,1)来产生第一视点的更新的视频帧IU1。并且，基于通过主摄影机捕获的主视频帧(视频帧I(1,3))和通过摄影机2捕获的第一视点的视频帧I(2,3)来产生第一视点的更新的视频帧IU2。此外，对第一视点的更新的视频帧IU1和第一视点的更新的视频帧IU2做插值产生第一视点的参考视频帧IR1，并通过主视频帧(视频帧I(1,2))来几何约束第一视点的参考视频帧IR1。举例来说，基于在摄影机1和摄影机2之间的几何信息来几何约束第一视点的参考视频帧IR1。在产生第一视点的参考视频帧IR1之后，基于第一视点的参考视频帧IR1和主视频帧(视频帧I(1,2))来产生多视点视频帧IM2。
如上所述，在图7的实施方式中来自摄影机1的视频帧和来自摄影机2的视频帧具有不同的图像分辨率，即来自摄影机2的视频帧的图像分辨率小于来自摄影机1的视频帧的图像分辨率。因此，通过基于主视频帧(视频帧I(1,1))上采样第一视点的视频帧I(2,1)产生第一视点的更新的视频帧IU1，以及通过基于主视频帧(视频帧I(1,3))上采样第一视点的视频帧I(2,3)产生第一视点的更新的视频帧IU2。
自原始的视频帧和更新的视频帧也可以产生图7中的多视点视频帧，其中原始的视频帧产生更新的视频帧。举例来说，基于主视频帧(视频帧I(1,1))和更新的视频帧IU1产生多视点视频帧IM1。如上所述的步骤可以重复执行以产生包括多视点视频帧IM1、多视点视频帧IM2、多视点视频帧IM3…多视点视频帧IMm的多视点视频序列。通过此种方式，多视点视频序列可以具有最高的帧率和最高的图像分辨率。
在前述的实施方式，更新的视频帧和参考视频帧也被称为已处理的视频帧，以及根据对应的主帧和对应的已处理的视频帧产生每一个多视点视频帧。
图8为根据本发明实施方式的图7中说明的视频帧处理方法的流程图。图8包括如下步骤：
步骤801
通过不同的摄影机(例如，摄影机1和摄影机2)捕获具有不同帧率和不同图像分辨率的多个视频序列。
步骤803
设置具有最高图像分辨率的摄影机为第一主摄影机(例如，摄影机1)。其他摄影机为副摄影机(例如，摄影机2)。然而，步骤803可以基于摄影机的其他帧捕获参数选择第一主摄影机。
步骤805
基于主摄影机的视频帧上采样副摄影机的视频帧，以产生更新的视频帧(例如，更新的视频帧IU1、更新的视频帧IU2)
步骤807
设置具有最高帧率的摄影机为第二主摄影机。
请注意，图7中的具有最高帧率的摄影机仍然为摄影机1。然而，请注意，在步骤803和步骤807中的主摄影机可以是不同的摄影机。然而，步骤807可以基于摄影机的其他摄影机参数选择第二主摄影机。摄影机参数包括帧捕获参数(例如，分辨率)和其他摄影机参数(例如，帧率)。
步骤809
产生至少一个参考视频帧(例如，参考视频帧IR1、参考视频帧IR2)，以满足第二主摄影机的帧率。
步骤811
产生具有最高帧率和最高图像分辨率的多视点视频帧。
然而，请注意，图7和图8中的实施方式并不限于两次设置主摄影机。举例来说，若确定具有最高帧率的摄影机会具有最高图像分辨率，则仅需要设置主摄影机一次。
图9为根据本发明实施方式的视频帧处理方法的流程图。在上述提及的实施方式中，视频帧处理方法可以概括为如图9所示。图9包括如下步骤:
步骤901
通过包括多个摄影机的多视点摄影机系统捕获至少两个视频帧(例如，摄影机1和摄影机2)
步骤903
记录每一个视频帧的时间戳。
步骤905
基于该时间戳，确定多视点摄影机系统的主摄影机(例如，摄影机1)和第一副摄影机(例如，摄影机2)，其中主摄影机捕获包括至少一个主视频帧的主视频序列，第一副摄影机捕获包括至少一个第一视点的视频帧的第一视点的视频序列。
步骤907
根据主视频帧的一个第一参考主视频帧(例如，视频帧I(1,2))，并根据参考时间戳附近的至少一个第一视点的视频帧(例如，第一视点的视频帧I(2,1)、第一视点的视频帧I(2,3))，产生对应于参考时间戳的第一视点的第一参考视频帧(例如，第一视点的第一参考视频帧I’(2,2))，其中第一参考主视频帧是于参考时间戳所捕获。
步骤909
产生包括第一多视点视频帧(例如，多视点视频帧IM2)的多视点视频序列，其中基于第一视点的第一参考视频帧和第一参考主视频帧来产生第一多视点视频帧。
在一些实施方式中，可以进一步提供第二副摄影机(例如，摄影机m)。根据本发明的其他实施方式可以获得其他步骤，为求简洁在此省略。
在上述实施方式中，通过在主摄影机和对应的副摄影机之间的几何信息来约束每一个新产生的参考视频帧。
图10为根据本发明实施方式的多视点摄影机系统1000的方框图。如图10所示，多视点摄影机系统1000包括多个摄影机C1～Cm，时间模块1001，以及处理器1003。举例来说，摄影机C1～摄影机Cm可以包括在上述实施方式中的两个或三个摄影机。可以理解多视点摄影机系统100可以包括多于三个摄影机。时间模块1001被配置为处理时间相关的操作。举例来说，时间模块1001可以记录或设置视频帧的时间戳。此外，时间模块1001可以包括上述提到的计数器，以用于计算特定时刻。处理器1003被配置为执行在上述实施方式中的步骤(例如，插值、约束、产生多视点视频帧)。然而，请注意，上述提到的实施方式并不限于应用于图10中的多视点摄影机系统1000。
在上述的实施方式中，多视点视频帧能够以最高的帧率及/或最佳的图像捕获参数来输出。因此，可以解决相关现有技术的问题。
虽然本发明已以较佳实施方式揭露如上，然而必须了解其并非用以限定本发明。相反，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围应当以权利要求书所界定的保护范围为准。

Claims (28)

1.一种视频帧处理方法，其特征在于，包括：
(a)通过包括多个摄影机的多视点摄影机系统捕获至少两个视频帧；
(b)记录每一个视频帧的多个时间戳；
(c)基于该多个时间戳，确定该多视点摄影机系统的主摄影机和第一副摄影机，其中该主摄影机捕获主视频序列，该第一副摄影机捕获第一视点的视频序列；该主视频序列包括多个主视频帧，该第一视点的视频序列包括多个第一视点的视频帧；
(d)根据该多个主视频帧的一个第一参考主视频帧并根据参考时间戳附近的多个第一视点的视频帧，产生对应于该参考时间戳的第一视点的第一参考视频帧，其中该第一参考主视频帧是于该参考时间戳所捕获；其中根据该多个主视频帧的一个第一参考主视频帧并根据参考时间戳附近的多个第一视点的视频帧，产生对应于该参考时间戳的第一视点的第一参考视频帧的步骤包含通过仅参考该参考时间戳附近的该多个第一视点的视频帧做插值，并且受到该第一参考主视频帧的几何约束的方式来产生该第一参考视频帧；以及
(e)产生包括第一多视点视频帧的多视点视频序列，其中基于该第一视点的第一参考视频帧和该第一参考主视频帧产生该第一多视点视频帧。
2.根据权利要求1所述的视频帧处理方法，其特征在于，进一步包括：
根据该多个时间戳确定该多视点摄影机系统的该多个摄影机的帧率；
其中，步骤(c)确定具有最高帧率的摄影机为该主摄影机。
3.根据权利要求2所述的视频帧处理方法，其特征在于，该多视点视频序列的多个时间戳与该主视频序列的多个时间戳同步。
4.根据权利要求1所述的视频帧处理方法，其特征在于，进一步包括：
检测该多视点摄影机系统的任意一个摄影机是否捕获具有对应于特定时刻的时间戳的视频帧；若是，则确定捕获具有对应于该特定时刻的时间戳的视频帧的摄影机为该主摄影机。
5.根据权利要求1所述的视频帧处理方法，其特征在于，
该第一副摄影机捕获第一视点的第一视频帧和第一视点的第二视频帧，其中该第一视点的第一视频帧先于该第一视点的第一参考视频帧以及该第一视点的第二视频帧后于该第一视点的第一参考视频帧；
步骤(d)包括：
通过对该第一视点的第一视频帧和该第一视点的第二视频帧做插值来产生该第一视点的第一参考视频帧，并且该第一视点的第一参考视频帧受到该主摄影机和该第一副摄影机之间的几何信息的约束。
6.根据权利要求5所述的视频帧处理方法，其特征在于，该第一视点的第一视频帧为该第一视点的第一参考视频帧的先前帧，以及该第一视点的第二视频帧为该第一视点的第一参考视频帧的下一帧。
7.根据权利要求5所述的视频帧处理方法，其特征在于，
该多视点视频序列的多个时间戳与该主视频序列的多个时间戳同步。
8.根据权利要求1所述的视频帧处理方法，其特征在于，进一步包括：
(f)通过第二副摄影机捕获至少一个第二视点的视频帧；
(g)根据该第一参考主视频帧和该至少一个第二视点的视频帧产生第二视点的第一参考视频帧；以及
(h)基于该第一视点的第一参考视频帧、该第二视点的第一参考视频帧、以及该第一参考主视频帧，产生该第一多视点视频帧。
9.根据权利要求8所述的视频帧处理方法，其特征在于，该至少一个第二视点的视频帧具有的时间戳不同于该第一视点的视频帧的时间戳。
10.根据权利要求1所述的视频帧处理方法，其特征在于，进一步包括：
(f)通过第二副摄影机捕获至少一个第二视点的视频帧，其中该主摄影机的帧率高于该第二副摄影机的帧率；
(g)根据该多个主视频帧的第二参考主视频帧以及该至少一个第二视点的视频帧，产生第二视点的第一参考视频帧；以及
(h)基于第一视点的第一参考视频帧、第二视点的第一参考视频帧、以及该第二参考主视频帧，产生第二多视点视频帧，其中该第二多视点视频帧包括于该多视点视频序列中。
11.根据权利要求10所述的视频帧处理方法，其特征在于，
其中该至少一个第二视点的视频帧具有的时间戳不同于该第一视点的视频帧具有的时间戳。
12.根据权利要求10所述的视频帧处理方法，其特征在于，该多视点视频序列的多个时间戳与该主视频序列的多个时间戳同步。
13.根据权利要求1所述的视频帧处理方法，其特征在于，该第一参考主视频帧的时间戳与该第一视点的第一参考视频帧的时间戳相同。
14.根据权利要求13所述的视频帧处理方法，其特征在于，进一步包括在步骤(d)之前执行如下步骤：
基于通过该主摄影机捕获的第一主视频帧和第二主视频帧产生该第一参考主视频帧；
其中该第一主视频帧和该第二主视频帧的时间戳与该第一视点的该第一参考视频帧的时间戳不相同。
15.根据权利要求1所述的视频帧处理方法，其特征在于，主视频帧的至少一部分包括不同的图像分辨率。
16.根据权利要求1所述的视频帧处理方法，其特征在于，第一视点的第一参考视频帧的至少一部分包括不同的图像分辨率。
17.一种视频帧处理方法，其特征在于，包括：
(a)通过包括多个摄影机的多视点摄影机系统捕获至少两个视频帧；
(b)记录每一个视频帧的多个时间戳；
(c)基于该多个时间戳，确定该多视点摄影机系统的主摄影机和第一副摄影机，其中该主摄影机捕获主视频序列，该第一副摄影机捕获第一视点的视频序列；该主视频序列包括多个主视频帧，该第一视点的视频序列包括多个第一视点的视频帧；
(d)根据该多个主视频帧的一个第一参考主视频帧并根据参考时间戳附近的多个第一视点的视频帧，产生对应于该参考时间戳的第一视点的第一参考视频帧，其中该第一参考主视频帧是于该参考时间戳所捕获；以及
(e)产生包括第一多视点视频帧的多视点视频序列，其中基于该第一视点的第一参考视频帧和该第一参考主视频帧产生该第一多视点视频帧，
其特征在于，
该至少一个主视频帧和该至少一个第一视点的视频帧包括不同视频帧捕获参数，其中步骤(d)进一步包括：
(d1)基于通过该主摄影机捕获的第一主视频帧和通过该第一副摄影机捕获的第一视点的第一视频帧，产生第一视点的第一更新的视频帧；
(d2)基于通过该主摄影机捕获的第二主视频帧和通过该第一副摄影机捕获的第一视点的第二视频帧，产生第一视点的第二更新的视频帧；以及
(d3)根据该第一视点的第一更新的视频帧和该第一视点的第二更新的视频帧，产生该第一视点的该第一参考视频帧。
18.根据权利要求17所述的视频帧处理方法，其特征在于，
该第一主视频帧和该第一视点的第一视频帧先于该第一参考主视频帧；
该第二主视频帧和该第一视点的第二视频帧后于该第一参考主视频帧。
19.根据权利要求17所述的视频帧处理方法，其特征在于，
该视频帧捕获参数为图像分辨率，以及该第一副摄影机的图像分辨率小于该主摄影机的分辨率；
步骤(d1)基于该第一主视频帧上采样该第一视点的第一视频帧，以产生该第一视点的第一更新的视频帧，
步骤(d2)基于该第二主视频帧上采样该第一视点的第二视频帧，以产生该第一视点的第二更新的视频帧。
20.根据权利要求17所述的视频帧处理方法，其特征在于，
步骤(d3)包括：
通过对该第一视点的第一更新的视频帧和该第一视点的第二更新的视频帧做插值，产生该第一视点的第一参考视频帧，并且该第一视点的第一参考视频帧受到该主摄影机和该第一副摄影机之间的几何信息的约束。
21.根据权利要求17所述的视频帧处理方法，其特征在于，该视频帧捕获参数包括捕获时间、曝光时间、景深、和白平衡中的至少一个。
22.一种视频帧处理方法，其特征在于，包括：
(a)通过包括多个摄影机的多视点摄影机系统捕获至少两个视频帧；
(b)基于摄影机的摄影机参数，确定多视点摄影机系统的主摄影机和第一副摄影机；其中，该主摄影机捕获主视频序列，该第一副摄影机捕获第一视点的视频序列；该主视频序列包括多个主视频帧，该第一视点的视频序列包括多个第一视点的视频帧；
(c)基于通过主摄影机捕获的第一主视频帧和通过该第一副摄影机捕获的第一视点的第一视频帧，产生第一视点的第一更新的视频帧；
(d)基于通过该主摄影机捕获的第二主视频帧和通过该第一副摄影机捕获的第一视点的第二视频帧，产生第一视点的第二更新的视频帧；
(e)根据该第一视点的第一更新的视频帧和该第一视点的第二更新的视频帧，产生第一视点的第一参考视频帧；以及
(f)产生包括第一多视点视频帧的多视点视频序列；其中基于该第一视点的第一参考视频帧和该主视频帧的第一参考主视频帧，产生该第一多视点视频帧。
23.根据权利要求22所述的视频帧处理方法，其特征在于，
该第一主视频帧和该第一视点的第一视频帧先于该第一参考主视频帧；
该第二主视频帧和该第一视点的第二视频帧后于该第一参考主视频帧。
24.根据权利要求22所述的视频帧处理方法，其特征在于，
该主视频帧和该第一视点的视频帧包括不同的视频帧捕获参数；
该视频帧捕获参数为图像分辨率，以及该第一副摄影机的图像分辨率小于该主摄影机的图像分辨率；
步骤(c)基于该第一主视频帧上采样该第一视点的第一视点帧，以产生该第一视点的第一更新的视频帧；
步骤(d)基于该第二主视频帧上采样该第一视点的第二视频帧，以产生该第一视点的第二更新的视频帧。
25.根据权利要求22所述的视频帧处理方法，其特征在于，步骤(e)包括
通过对该第一视点的第一更新的视频帧和该第一视点的第二更新的视频帧做插值，产生第一视点的第一参考视频帧，并且该第一视点的第一参考视频帧受到该主摄影机和该第一副摄影机之间的几何信息的约束。
26.根据权利要求22所述的视频帧处理方法，其特征在于，该视频帧捕获参数包括捕获时间、曝光时间、景深、对焦和白平衡中的至少一个。
27.根据权利要求22所述的视频帧处理方法，其特征在于，步骤(c)根据该多视点摄影机系统的该摄影机的视频捕获参数，确定该主摄影机。
28.根据权利要求27所述的视频帧处理方法，其特征在于，进一步包括：
根据该摄影机的帧率再次确定该主摄影机。
CN201480000764.9A 2013-03-21 2014-03-21 视频帧处理方法 Active CN104813659B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361803881P 2013-03-21 2013-03-21
US61/803,881 2013-03-21
US14/221,229 2014-03-20
US14/221,229 US9554113B2 (en) 2013-03-21 2014-03-20 Video frame processing method
PCT/CN2014/073882 WO2014146608A1 (en) 2013-03-21 2014-03-21 Video frame processing method

Publications (2)

Publication Number Publication Date
CN104813659A CN104813659A (zh) 2015-07-29
CN104813659B true CN104813659B (zh) 2017-03-22

Family

ID=51568861

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480000764.9A Active CN104813659B (zh) 2013-03-21 2014-03-21 视频帧处理方法
CN201480000763.4A Pending CN104813649A (zh) 2013-03-21 2014-03-21 视频帧处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480000763.4A Pending CN104813649A (zh) 2013-03-21 2014-03-21 视频帧处理方法

Country Status (3)

Country Link
US (3) US9912929B2 (zh)
CN (2) CN104813659B (zh)
WO (2) WO2014146608A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270627A (zh) * 2014-09-28 2015-01-07 联想(北京)有限公司 一种信息处理方法及第一电子设备
JP2016197795A (ja) * 2015-04-03 2016-11-24 日立オートモティブシステムズ株式会社 撮像装置
US9906715B2 (en) 2015-07-08 2018-02-27 Htc Corporation Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device
US10764473B2 (en) * 2016-01-14 2020-09-01 Disney Enterprises, Inc. Automatically synchronizing multiple real-time video sources
CN105741753B (zh) * 2016-02-03 2018-02-16 西安诺瓦电子科技有限公司 接收卡、led显示控制及录制系统、led显示控制方法
WO2017150238A1 (ja) * 2016-03-03 2017-09-08 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
GB2558893A (en) * 2017-01-17 2018-07-25 Nokia Technologies Oy Method for processing media content and technical equipment for the same
CN107295326A (zh) * 2017-06-06 2017-10-24 南京巨鲨显示科技有限公司 一种3d立体视频录制方法
CN109711421A (zh) * 2017-10-25 2019-05-03 腾讯科技（深圳）有限公司 一种数据处理方法和装置
JP2020056839A (ja) * 2018-09-28 2020-04-09 パナソニック株式会社 撮像装置
CN109688433A (zh) * 2018-11-22 2019-04-26 深圳艺达文化传媒有限公司 基于画面的剪切视频方法及相关产品
CN110275496A (zh) * 2019-05-14 2019-09-24 清华大学 一种多时间序列时间戳对齐的方法和装置
JP6643517B2 (ja) * 2019-05-23 2020-02-12 日立オートモティブシステムズ株式会社 撮像装置
JP7208530B2 (ja) * 2019-05-31 2023-01-19 日本電信電話株式会社 同期制御装置、同期制御方法及び同期制御プログラム
CN110611784B (zh) * 2019-10-17 2021-07-23 江苏省水利科学研究院 一种可防篡改的多摄像头记录仪的拍摄存储方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271269A (zh) * 2011-08-15 2011-12-07 清华大学 一种双目立体视频帧率转换方法及装置
CN102769763A (zh) * 2011-05-05 2012-11-07 晨星软件研发(深圳)有限公司 三维影像摄相机及其相关控制方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
GB2414883A (en) 2004-06-02 2005-12-07 Seos Ltd Apparatus for displaying images utilising liquid crystal shutter glasses
US20100231692A1 (en) 2006-07-31 2010-09-16 Onlive, Inc. System and method for performing motion capture and image reconstruction with transparent makeup
US8594180B2 (en) 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7683962B2 (en) * 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
JP4780046B2 (ja) 2007-06-19 2011-09-28 日本ビクター株式会社 画像処理方法、画像処理装置及び画像処理プログラム
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
CN101932906B (zh) * 2008-02-12 2013-12-18 特林布尔公司 相对于地面标志来定位勘测仪器
US9094675B2 (en) * 2008-02-29 2015-07-28 Disney Enterprises Inc. Processing image data from multiple cameras for motion pictures
CN102017640B (zh) * 2008-05-01 2012-11-28 松下电器产业株式会社 再现装置、集成电路与再现方法
JP5652391B2 (ja) * 2009-05-07 2015-01-14 コニカミノルタ株式会社 ステレオ画像取得装置
WO2011079376A1 (en) 2010-01-03 2011-07-07 Sensio Technologies Inc. Method and system for detecting compressed stereoscopic frames in a digital video signal
CN101799939A (zh) 2010-04-02 2010-08-11 天津大学 基于左右视点图像的中间视点快速、自适应生成算法
JP2011248323A (ja) * 2010-04-30 2011-12-08 Canon Inc 画像処理装置及びその制御方法
EP2590396B1 (en) * 2010-07-02 2018-08-08 Sony Interactive Entertainment Inc. Information processing system and information processing method
TW201216679A (en) 2010-10-01 2012-04-16 Acer Inc Method for providing real-time three-dimensional video and real-time three-dimensional video system
US8879902B2 (en) * 2010-10-08 2014-11-04 Vincent Pace & James Cameron Integrated 2D/3D camera with fixed imaging parameters
EP2466872B1 (en) * 2010-12-14 2018-06-06 Axis AB Method and digital video camera for improving the image quality of images in a video image stream
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
CN102752616A (zh) * 2012-06-20 2012-10-24 四川长虹电器股份有限公司 双目立体视频转换多目立体视频的方法
US20140092439A1 (en) 2012-09-28 2014-04-03 Scott A. Krig Encoding images using a 3d mesh of polygons and corresponding textures
US20140218478A1 (en) * 2013-02-07 2014-08-07 National University Of Singapore Method and apparatus for stereoscopic imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102769763A (zh) * 2011-05-05 2012-11-07 晨星软件研发(深圳)有限公司 三维影像摄相机及其相关控制方法
CN102271269A (zh) * 2011-08-15 2011-12-07 清华大学 一种双目立体视频帧率转换方法及装置

Also Published As

Publication number Publication date
US20180146182A1 (en) 2018-05-24
CN104813649A (zh) 2015-07-29
CN104813659A (zh) 2015-07-29
WO2014146608A1 (en) 2014-09-25
US9912929B2 (en) 2018-03-06
US20140285621A1 (en) 2014-09-25
US20140285635A1 (en) 2014-09-25
US9554113B2 (en) 2017-01-24
WO2014146605A1 (en) 2014-09-25

Similar Documents

Publication Publication Date Title
CN104813659B (zh) 视频帧处理方法
Song et al. MCL-3D: A database for stereoscopic image quality assessment using 2D-image-plus-depth source
EP2153669B1 (en) Method, apparatus and system for processing depth-related information
US8488869B2 (en) Image processing method and apparatus
JP4925354B2 (ja) 画像処理装置、画像表示装置、撮像装置及び画像処理方法
KR101490689B1 (ko) 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
US9210405B2 (en) System and method for real time 2D to 3D conversion of video in a digital camera
KR20150021522A (ko) 입체 결상을 구현하는 방법 및 장치
US20090244258A1 (en) Stereoscopic display apparatus, stereoscopic display method, and program
JP2011091481A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2013521686A (ja) ３ｄｔｖのための視差分布推定
CN102113022A (zh) 转换图像的方法及装置
TW201143355A (en) Apparatus and method for video processing
CN102972036B (zh) 重放装置、复眼摄像装置、重放方法及程序
CN104185004A (zh) 影像处理方法及影像处理系统
JP5454569B2 (ja) 立体映像データ処理装置および立体映像データ処理方法
CN105191300B (zh) 图像处理方法以及图像处理装置
US20130093857A1 (en) Stereoscopic image display device, stereoscopic imaging device, and methods
Bosc et al. Reliability of 2D quality assessment methods for synthesized views evaluation in stereoscopic viewing conditions
JP6089383B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR102112491B1 (ko) 물체 공간의 물점의 기술을 위한 방법 및 이의 실행을 위한 연결
CN103200362B (zh) 摄像设备及其控制方法
JP2012216939A (ja) 画像処理装置、画像処理方法及びプログラム
TWI508524B (zh) 裸視立體顯示裝置之自動調校方法及系統
TWI685242B (zh) 多視角裸眼式立體影像的生成方法及其顯示方法以及電子裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant