CN104010178A - 双目图像视差调节方法及装置和双目相机 - Google Patents

双目图像视差调节方法及装置和双目相机 Download PDF

Info

Publication number
CN104010178A
CN104010178A CN201410250764.6A CN201410250764A CN104010178A CN 104010178 A CN104010178 A CN 104010178A CN 201410250764 A CN201410250764 A CN 201410250764A CN 104010178 A CN104010178 A CN 104010178A
Authority
CN
China
Prior art keywords
binocular
camera
image
expectation
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410250764.6A
Other languages
English (en)
Other versions
CN104010178B (zh
Inventor
崔春晖
宋磊
刘宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Super Technology Co Ltd
Original Assignee
Auspicious Photoelectron Of Shenzhen's Merck Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Auspicious Photoelectron Of Shenzhen's Merck Research Institute filed Critical Auspicious Photoelectron Of Shenzhen's Merck Research Institute
Priority to CN201410250764.6A priority Critical patent/CN104010178B/zh
Publication of CN104010178A publication Critical patent/CN104010178A/zh
Priority to US14/726,607 priority patent/US9912936B2/en
Application granted granted Critical
Publication of CN104010178B publication Critical patent/CN104010178B/zh
Priority to US15/880,182 priority patent/US10523919B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种双目图像视差调节方法、一种双目图像视差调节装置和一种双目相机，其中，所述双目图像视差调节方法，用于双目相机，包括：获取当前场景的深度范围；根据当前的观看条件获取预定视差范围；根据所述当前场景的深度范围以及所述预定视差范围计算当前场景的期望拍摄参数；根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，以使所述预处理的双目图像适于在所述观看条件下观看。通过本发明的技术方案，可以对双目相机的相机参数和双目相机所拍摄的图像进行联合调节，以得到指定条件下既能舒适观看又具有最大化视差的图像或视频。

Description

双目图像视差调节方法及装置和双目相机
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种双目图像视差调节方法、一种双目图像视差调节装置和一种双目相机。
背景技术
目前，现有的3D图像拍摄对摄影技术要求比较高，基本上需要专业级摄影师才能完成3D图像的拍摄工作，而且所拍摄的图像需要大量的后期编辑和制作，普通消费者很难拍摄出能直接观看的3D图像或3D视频。另外，图像震撼的3D效果需要3D图像具有较大的视差，而观看视差较大的3D图像或3D视频很容易造成观看者头晕、眼疲劳等不适症状。
相关技术中提出了将场景的参数与摄像机的参数相互关联，简单方便的获取摄像机所拍摄场景的理想立体效果，以及通过设置不同的场景参数，使得立体图像的效果多样化，但是这种方式在拍摄图像时，需要用户设置图像的视差，对摄影师的摄影技术要求较高，而且所拍摄的图像仍然容易造成观看者头晕、眼疲劳等不适症状，而且计算较为复杂，摄像机响应速度变慢，处理器压力大，功耗大。
因此，如何在保证舒适观看的条件下使得拍摄的图像视差最大化成为目前亟待解决的技术问题。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的一个目的在于提出了一种能够在保证舒适观看的条件下使得拍摄图像的视差最大化的双目图像视差调节方法。
本发明的另一个目的在于提出了一种双目图像视差调节装置。
本发明的又一个目的在于提出了一种双目相机。
为实现上述目的，根据本发明的第一方面的实施例，提出了一种双目图像视差调节方法，用于双目相机，包括：获取当前场景的深度范围；根据当前的观看条件获取预定视差范围；根据所述当前场景的深度范围以及所述预定视差范围计算当前场景的期望拍摄参数；根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，以使所述预处理的双目图像适于在所述观看条件下观看。
根据本发明的实施例的双目图像视差调节方法，获取当前场景的深度范围，根据当前的观看条件下获取预定视差范围，深度范围以及预定视差范围确定当前场景的期望拍摄参数，通过调节双目相机的相机间距以及对使用期望相机间距拍摄的预处理的双目图像进行处理，使得双目相机所拍摄的预处理的双目图像满足当前的观看条件下对应的预定视差范围，从而使得预处理的双目图像适于在观看条件下观看。
另外，根据本发明上述实施例的双目图像视差调节方法，还可以具有如下附加的技术特征：
根据本发明的一个实施例，所述期望拍摄参数包括期望的双目相机的光心与图像平面之间的距离，以及期望的双目相机的相机间距，其中，期望的所述双目相机的光心与图像平面之间的距离和期望的所述双目相机的相机间距满足下列公式：其中，f为期望的所述双目相机的光心与图像平面之间的距离，B为期望的所述双目相机的相机间距，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围，其中，d1>0，表示所述观看条件下的最大正向视差值，d2<0，表示所述观看条件下的最大逆向视差值。
根据本发明的实施例的双目图像视差调节方法，在设计双目相机或在拍摄中对双目相机进行调整时，都可以依据公式来选取合适的相机f和B，从而保证用户可以舒适的观看双目图像。
根据本发明的一个实施例，在所述双目相机的相机间距可调的情况下，所述期望拍摄参数包括期望的所述双目相机的期望相机间距和期望的零视差平面深度，则根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，具体包括：将所述双目相机的相机间距调节为等于所述期望的所述双目相机的相机间距期望相机间距，并使用调节后的双目相机拍摄所述预处理的双目图像，其中，所述期望的所述相机间距为以及对所述预处理的双目图像进行处理，以使所述预处理的双目图像的零视差平面深度等于所述期望的所述零视差平面深度，其中，期望的所述零视差平面深度为其中，f为所述双目相机的光心与图像平面之间的距离，[D1，D2]为所述当前场景的场景深度当前场景的深度范围，[d1，d2]为所述预定视差范围。
根据本发明的实施例的双目图像视差调节方法，在双目相机的相机间距可以调节的情况下，期望拍摄参数包括双目相机的期望相机间距和期望的零视差平面深度，通过控制自动调节双目相机的相机间距等于期望相机间距(也即对双目相机的相机参数进行调节)，在双目相机的相机间距等于期望相机间距时，拍摄预处理的双目图像，由于双目相机的左相机和右相机光轴平行，所拍摄的预处理的双目图像不存在零视差平面，也即预处理的双目图像不存在视差，因此还需要对双目相机所拍摄的预处理的双目图像进行处理，以使预处理的双目图像产生零视差平面，同时保证预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，则经过处理的预处理的双目图像的视差范围即为预定视差范围。
根据本发明的一个实施例，所述对所述预处理的双目图像进行处理，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度具体包括：对所述预处理的双目图像中的左图像向左平移预定距离以及对所述预处理的双目图像中的右图像向右平移所述预定距离，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，其中，所述预定距离为： h = D 2 d 2 - D 1 d 1 2 &times; ( D 1 - D 2 ) .
根据本发明的实施例的双目图像视差调节方法，由于双目相机的左相机和右相机光轴平行，所拍摄的预处理的双目图像不存在零视差平面，因此通过对预处理的双目图像进行平移，具体为左图像向左平移预定距离，相当于左相机的图像平面(Image Plane，相当于镜像的图像传感器面板)向右平移预定距离，同样地，右图像向右平移预定距离，相当于右相机的图像平面向左平移预定距离，经过平移之后，连接左相机的光心和左相机图像平面中心的连线与连接右相机的光心和右相机图像平面中心的连线将交于一点，则该点到双目相机的垂直距离即为处理后的预处理的双目图像的零视差平面深度，调节左图像和右图像的平移距离使得预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，则预处理的双目图像的视差范围将等于预定视差范围。
根据本发明的一个实施例，在所述双目相机的相机间距不可调的情况下，所述期望拍摄参数包括期望的零视差平面深度，其中期望的所述零视差平面深度满足下列公式：其中，D0为期望的所述零视差平面深度，f为双目相机的光心与图像平面之间的距离，B为所述双目相机的相机间距，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围。
根据本发明的实施例的双目图像视差调节方法，在双目相机的相机间距不可调节的情况下，期望拍摄参数包括双目相机的期望的所述零视差平面深度范围，由于双目相机的相机间距不可以调节，但是只要双目相机的参数满足预定条件，即则仍然可以对双目相机所拍摄的预处理的双目图像进行处理，即可保证处理后的双目图像的视差至少不会引起观看不适。
根据本发明的一个实施例，获取当前场景的深度范围具体包括：控制所述双目相机拍摄一组初始双目图像，计算所述初始双目图像的视差，并根据所述初始双目图像的视差和对所述双目相机进行校正得到的校正结果获取当前场景的深度范围。
根据本发明的实施例的双目图像视差调节方法，深度范围可以通过对初始双目图像进行处理得到，即全自动得到，具体为根据初始双目图像的左图像和右图像之间的视差，并结合校正得到的双目相机的当前参数f，即双目相机的光心与其图像平面之间的距离(详参公式(5)、(6)后的相关记载)，恢复出拍摄场景的深度信息。当然，本领域技术人员应当理解的是，深度范围可以是一个具体场景距离双目相机最近点和最远点之间的深度范围，也可以指场景中任一主体距离双目相机最近点和最远点之间的深度范围，该主体可以根据实际拍摄需求进行选取。
根据本发明的一个实施例，获取当前场景的深度范围具体包括：根据接收到的设置命令，设置预设的深度范围，并获取所述预设的深度范围，将所述预设的深度范围作为所述当前场景的深度范围。
根据本发明的实施例的双目图像视差调节方法，当前场景的深度范围可以预先存储于双目相机中，在使用双目相机拍摄图像时，直接使用存储的深度范围，其中，用户可以自行根据当前场景设定合适的深度范围。
当然，本领域技术人员应当理解，本申请中的当前场景的深度范围包括但是不限于以上两种方式，还可以是由用户指定场景中的一块区域(即“主体”)，通过处理这块区域而获得深度范围[D1，D2]，即通过半自动方式的方式获得。
根据本发明的一个实施例，所述根据当前的观看条件获取预定视差范围具体包括：根据预定立体显示装置的参数信息以及与所述预定立体显示装置的参数信息相对应的最佳观看参数计算出所述观看条件下的最大正向视差值和所述最大逆向视差值。
根据本发明的实施例的双目图像视差调节方法，由于对于不同的观看条件，包括：不同的显示器大小和不同的观看距离，保证舒适观看3D图像的视差范围也不尽相同，但是对于每一种指定的观看条件均存在一组极限视差范围，使得所拍摄的3D图像的视差范围处于该极限视差范围之内时，基本不会引起观看者不适，也即该极限视差范围是在保证舒适观看的条件下，3D图像可以具有的最大视差范围。作为较为优选的实施例，根据该极限视差范围确定双目相机的期望拍摄参数，使得处理得到的预处理的双目图像既能保证舒适观看，同时具有最大化的视差范围，与现有技术中通过设置关键点的物距和视差相比，使用极限视差范围作为预定视差范围保证了拍摄的双目图像的舒适观看。
当然，预定视差范围与观看条件有关，因此，在预先存储预定视差范围时，可以对应存储预定视差范围所对应的观看模式，例如：电影院模式、电视模式、电脑模式、手机模式和平板电脑模式等等，在使用双目相机拍摄图像时，选择相应的观看模式，则预定视差范围自动调节，以使所拍摄的图像在舒适观看的条件下视差范围最大化。
根据本发明的一个实施例，所述根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，以使所述预处理的双目图像适于在所述观看条件下观看具体包括：根据所述期望拍摄参数调节所述双目相机的光心与图像平面之间的距离和所述双目相机的相机间距中的至少一个，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数使所述预处理的双目图像中的左图像和右图像分别沿相反方向平移。
根据本发明的实施例的双目图像视差调节方法，由于双目相机的左相机和右相机光轴平行，所拍摄的预处理的双目图像不存在零视差平面，因此通过对预处理的双目图像进行平移，从而使得预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，则预处理的双目图像的视差范围将等于预定视差范围。
根据本发明的一个实施例，还包括：以满足预设水平分辨率条件的所述双目相机的立体显示屏实时显示拍摄的所述预处理的双目图像和/或所述初始双目图像，其中，所述预设水平分辨率条件为：R’为所述预设水平分辨率，[d1(p)，d2(p)]为以像素为单位的所述预定视差范围，p表示像素，[d’1(m)，d’2(m)]为以米为单位的所述立体显示屏的视差范围，m表示米，W’为所述立体显示屏的宽度，max为获取最大值函数。
根据本发明的实施例的双目图像视差调节方法，通过在双目相机上安装立体显示屏，使得在拍摄图像的同时可以对所拍摄的初始双目图像和/或预处理的双目图像进行实时显示，但是所拍摄的图像的视差范围是满足指定条件下舒适观看的预定视差范围，指定观看条件的立体显示屏大小可能不同于双目相机上安装的立体显示屏大小，则在双目相机的立体显示屏上可能不能舒适观看所拍摄的图像，因此为了在双目相机立体显示屏上也可以舒适观看，则立体显示屏的分辨率应满足预设水平分辨率条件，避免摄影师拍摄图像过程中产生不适感。
根据本发明的第二方面的实施例，提出了一种双目图像视差调节装置，用于双目相机，包括：深度获取单元，获取当前场景的深度范围；视差获取单元，根据当前的观看条件获取预定视差范围；计算单元，根据所述当前场景的深度范围以及所述预定视差范围计算当前场景的期望拍摄参数；处理单元，根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，以使所述预处理的双目图像适于在所述观看条件下观看。
根据本发明的实施例的双目图像视差调节装置，获取当前场景的深度范围，根据当前的观看条件下获取预定视差范围，深度范围以及预定视差范围确定当前场景的期望拍摄参数，通过调节双目相机的相机间距以及对使用期望相机间距拍摄的预处理的双目图像进行处理，使得双目相机所拍摄的预处理的双目图像满足当前的观看条件下对应的预定视差范围，从而使得预处理的双目图像适于在观看条件下观看。
根据本发明的一个实施例，所述期望拍摄参数包括期望的双目相机的光心与图像平面之间的距离，以及期望的双目相机的相机间距，其中，期望的所述双目相机的光心与图像平面之间的距离和期望的所述双目相机的相机间距满足下列公式：其中，f为期望的所述双目相机的光心与图像平面之间的距离，B为期望的所述双目相机的相机间距，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围，其中，d1>0，表示所述观看条件下的最大正向视差值，d2<0，表示所述观看条件下的最大逆向视差值。
根据本发明的实施例的双目图像视差调节装置，在设计双目相机或在拍摄中对双目相机进行调整时，都可以依据公式来选取合适的相机f和B，从而保证用户可以舒适的观看双目图像。
根据本发明的一个实施例，在所述双目相机的相机间距可调的情况下，所述期望拍摄参数包括期望的双目相机的相机间距和期望的零视差平面深度，则所述处理单元包括：间距调节单元，将所述双目相机的相机间距调节为等于期望的所述双目相机的相机间距，并使用调节后的双目相机拍摄所述预处理的双目图像，其中，期望的所述双目相机的相机间距为以及深度调节单元，对所述预处理的双目图像进行处理，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，其中，期望的所述零视差平面深度为f为所述双目相机的光心与图像平面之间的距离，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围。
根据本发明的实施例的双目图像视差调节装置，在双目相机的相机间距可以调节的情况下，期望拍摄参数包括双目相机的期望相机间距和期望的零视差平面深度，通过控制自动调节双目相机的相机间距等于期望相机间距(也即对双目相机的相机参数进行调节)，在双目相机的相机间距等于期望相机间距时，拍摄预处理的双目图像，由于双目相机的左相机和右相机光轴平行，所拍摄的预处理的双目图像不存在零视差平面，也即预处理的双目图像不存在视差，因此还需要对双目相机所拍摄的预处理的双目图像进行处理，以使预处理的双目图像产生零视差平面，同时保证预处理的双目图像的零视差平面深度等于期望的零视差平面深度，则经过处理的预处理的双目图像的视差范围即为预定视差范围。
根据本发明的一个实施例，所述深度调节单元具体用于：对所述预处理的双目图像中的左图像向左平移预定距离以及对所述预处理的双目图像中的右图像向右平移所述预定距离，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，其中，所述预定距离为： h = D 2 d 2 - D 1 d 1 2 &times; ( D 1 - D 2 ) .
根据本发明的实施例的双目图像视差调节装置，由于双目相机的左相机和右相机光轴平行，所拍摄的预处理的双目图像不存在零视差平面，因此通过对预处理的双目图像进行平移，具体为左图像向左平移预定距离，相当于左相机的图像平面(Image Plane，相当于镜像的图像传感器面板)向右平移预定距离，同样地，右图像向右平移预定距离，相当于右相机的图像平面向左平移预定距离，经过平移之后，连接左相机的光心和左相机图像平面中心的连线与连接右相机的光心和右相机图像平面中心的连线将交于一点，则该点到双目相机的垂直距离即为处理后的预处理的双目图像的零视差平面深度，调节左图像和右图像的平移距离使得预处理的双目图像的零视差平面深度等于期望的零视差平面深度，则预处理的双目图像的视差范围将等于预定视差范围。
根据本发明的一个实施例，在所述双目相机的相机间距不可调的情况下，所述期望拍摄参数包括期望的零视差平面深度，其中期望的所述零视差平面深度满足下列公式：其中，D0为期望的所述零视差平面深度，f为双目相机的光心与图像平面之间的距离，B为所述双目相机的相机间距，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围。
根据本发明的实施例的双目图像视差调节装置，在双目相机的相机间距不可调节的情况下，期望拍摄参数包括双目相机的期望的零视差平面深度范围，由于双目相机的相机间距不可以调节，但是只要双目相机的参数满足预定条件，即则仍然可以对双目相机所拍摄的预处理的双目图像进行处理，即可保证处理后的双目图像的视差至少不会引起观看不适。
根据本发明的一个实施例，深度获取单元包括：视差计算单元，控制所述双目相机拍摄一组初始双目图像，计算所述初始双目图像的视差；第一获取单元，根据所述初始双目图像的视差和对所述双目相机进行校正得到的校正结果获取当前场景的深度范围。
根据本发明的实施例的双目图像视差调节装置，深度范围可以通过对初始双目图像进行处理得到，即全自动得到，具体为根据初始双目图像的左图像和右图像之间的视差，并结合校正得到的双目相机的当前参数f，即双目相机的光心与其图像平面之间的距离(详参公式(5)、(6)后的相关记载)，恢复出拍摄场景的深度信息。当然，本领域技术人员应当理解的是，深度范围可以是一个具体场景距离双目相机最近点和最远点之间的深度范围，也可以指场景中任一主体距离双目相机最近点和最远点之间的深度范围，该主体可以根据实际拍摄需求进行选取。
根据本发明的一个实施例，深度获取单元包括：设置单元，根据接收到的设置命令，设置预设的深度范围；第二获取单元，获取所述预设的深度范围，将所述预设的深度范围作为所述当前场景的深度范围。
根据本发明的实施例的双目图像视差调节装置，当前场景的深度范围可以预先存储于双目相机中，在使用双目相机拍摄图像时，直接使用存储的深度范围，其中，用户可以自行根据当前场景设定合适的深度范围。
当然，本领域技术人员应当理解，本申请中的当前场景的深度范围包括但是不限于以上两种方式，还可以是由用户指定场景中的一块区域(即“主体”)，通过处理这块区域而获得深度范围D1，D2]，即通过半自动方式的方式获得。
根据本发明的一个实施例，所述视差获取单元具体用于：根据预定立体显示装置的参数信息以及与所述预定立体显示装置的参数信息相对应的最佳观看参数计算出所述观看条件下的最大正向视差值和所述最大逆向视差值。
根据本发明的实施例的双目图像视差调节装置，由于对于不同的观看条件，包括：不同的显示器大小和不同的观看距离，保证舒适观看3D图像的视差范围也不尽相同，但是对于每一种指定的观看条件均存在一组极限视差范围，使得所拍摄的3D图像的视差范围处于该极限视差范围之内时，基本不会引起观看者不适，也即该极限视差范围是在保证舒适观看的条件下，3D图像可以具有的最大视差范围。作为较为优选的实施例，根据该极限视差范围确定双目相机的期望拍摄参数，使得处理得到的预处理的双目图像既能保证舒适观看，同时具有最大化的视差范围，与现有技术中通过设置关键点的物距和视差相比，使用极限视差范围作为预定视差范围保证了拍摄的双目图像的舒适观看。
当然，预定视差范围与观看条件有关，因此，在预先存储预定视差范围时，可以对应存储预定视差范围所对应的观看模式，例如：电影院模式、电视模式、电脑模式、手机模式和平板电脑模式等等，在使用双目相机拍摄图像时，选择相应的观看模式，则预定视差范围自动调节，以使所拍摄的图像在舒适观看的条件下视差范围最大化。
根据本发明的一个实施例，所述处理单元具体用于：根据所述期望拍摄参数调节所述双目相机的光心与图像平面之间的距离和所述双目相机的相机间距中的至少一个，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数使所述预处理的双目图像中的左图像和右图像分别沿相反方向平移。
根据本发明的实施例的双目图像视差调节装置，由于双目相机的左相机和右相机光轴平行，所拍摄的预处理的双目图像不存在零视差平面，因此通过对预处理的双目图像进行平移，从而使得预处理的双目图像的零视差平面深度等于期望的零视差平面深度，则预处理的双目图像的视差范围将等于预定视差范围。
根据本发明的一个实施例，还包括：显示单元，以满足预设水平分辨率条件的所述双目相机的立体显示屏实时显示拍摄的所述预处理的双目图像和/或所述初始双目图像，其中，所述预设水平分辨率条件为：R’为所述预设水平分辨率，[d1(p)，d2(p)]为以像素为单位的所述预定视差范围，p表示像素，[d’1(m)，d’2(m)]为以米为单位的所述立体显示屏的视差范围，m表示米，W’为所述立体显示屏的宽度，max为获取最大值函数。
根据本发明的实施例的双目图像视差调节装置，通过在双目相机上安装立体显示屏，使得在拍摄图像的同时可以对所拍摄的初始双目图像和/或预处理的双目图像进行实时显示，但是所拍摄的图像的视差范围是满足指定条件下舒适观看的预定视差范围，指定观看条件的立体显示屏大小可能不同于双目相机上安装的立体显示屏大小，则在双目相机的立体显示屏上可能不能舒适观看所拍摄的图像，因此为了在双目相机立体显示屏上也可以舒适观看，则立体显示屏的分辨率应满足预设水平分辨率条件，避免摄影师拍摄图像过程中产生不适感。
根据本发明的第三方面的实施例，提出了一种双目相机，包括：如上述实施例中任一项所述的双目图像视差调节装置。
根据本发明的实施例的双目相机，通过在双目相机中加入双目图像视差调节装置，使得可以对双目相机的相机参数和双目相机所拍摄的图像进行联合调节，以得到指定条件下既能舒适观看又具有最大化视差的图像或视频，保留了3D图像或视频震撼的观看效果，避免了现有技术中观看3D图像时带来的不适感。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了根据本发明的实施例的双目图像视差调节方法的示意流程图；
图2A至图2B示出了根据本发明的实施例的期望拍摄参数的计算原理示意图；
图3示出了根据本发明的实施例的左图像和右图像平移预定距离的计算原理示意图；
图4示出了根据本发明的实施例的双目图像视差调节装置的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
图1示出了根据本发明的实施例的双目图像视差调节方法的示意流程图。
如图1所示，根据本发明的实施例的双目图像视差调节方法，用于光轴平行的双目相机，包括：步骤102，获取当前场景的深度范围；步骤104，根据当前的观看条件获取预定视差范围；步骤106，根据所述当前场景的深度范围以及所述预定视差范围计算当前场景的期望拍摄参数；步骤108，根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，以使所述预处理的双目图像适于在所述观看条件下观看。
根据本发明的实施例的双目图像视差调节方法，获取当前场景的深度范围，根据当前的观看条件下获取预定视差范围，深度范围以及预定视差范围确定当前场景的期望拍摄参数，通过调节双目相机的相机间距以及对使用期望相机间距拍摄的预处理的双目图像进行处理，使得双目相机所拍摄的预处理的双目图像满足当前的观看条件下对应的预定视差范围，从而使得预处理的双目图像适于在观看条件下观看。
另外，根据本发明上述实施例的双目图像视差调节方法，还可以具有如下附加的技术特征：
根据本发明的一个实施例，所述期望拍摄参数包括期望的双目相机的光心与图像平面之间的距离，以及期望的双目相机的相机间距，其中，期望的所述双目相机的光心与图像平面之间的距离和期望的所述双目相机的相机间距满足下列公式：其中，f为期望的所述双目相机的光心与图像平面之间的距离，B为期望的所述双目相机的相机间距，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围，其中，d1>0，表示所述观看条件下的最大正向视差值，d2<0，表示所述观看条件下的最大逆向视差值。
根据本发明的实施例的双目图像视差调节方法，在设计双目相机或在拍摄中对双目相机进行调整时，都可以依据公式来选取合适的相机f和B，并进行如双目图像或视频等立体内容的拍摄，从而从内容上保证用户可以舒适的观看双目图像。
根据本发明的一个实施例，在所述双目相机的相机间距可调的情况下，所述期望拍摄参数包括期望的双目相机的相机间距和期望的零视差平面深度，则根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，具体包括：将所述双目相机的相机间距调节为等于期望的所述双目相机的相机间距，并使用调节后的双目相机拍摄所述预处理的双目图像，其中，期望的所述双目相机的相机间距为以及对所述预处理的双目图像进行处理，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，其中，期望的所述零视差平面深度为f为双目相机的光心与图像平面之间的距离，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围。
需要说明的是，公式中f的定义与公式 B = d 1 - d 2 f ( 1 D 1 - 1 D 2 ) 中f的定义相比，公式 d 1 D 1 < f &times; B &le; ( d 1 - d 2 ) &times; D 1 &times; D 2 D 2 - D 1 中f的定义增加了“期望”二字，这仅是为了表明这里的f是未知的、需要获得的参数，以与后面公式中的已知参数f相区分，而实际上它们的物理含义是相同的。本文中关于参数B、D0的定义中增加“期望”二字的用意与此相同。
根据本发明的实施例的双目图像视差调节方法，在双目相机的相机间距可以调节的情况下，期望拍摄参数包括期望的双目相机的相机间距和期望的零视差平面深度，通过控制自动调节双目相机的相机间距等于期望的相机间距(也即对双目相机的相机参数进行调节)，在双目相机的相机间距等于期望的相机间距时，拍摄预处理的双目图像，由于双目相机的左相机和右相机光轴平行，所拍摄的预处理的双目图像不存在零视差平面，也即预处理的双目图像不存在视差，因此还需要对双目相机所拍摄的预处理的双目图像进行处理，以使预处理的双目图像产生零视差平面，同时保证预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，则经过处理的预处理的双目图像的视差范围即为预定视差范围。
根据本发明的一个实施例，所述对所述预处理的双目图像进行处理以使所述预处理的双目图像的零视差平面深度等于所述期望的所述零视差平面深度具体包括：对所述预处理的双目图像中的左图像向左平移预定距离以及对所述预处理的双目图像中的右图像向右平移所述预定距离，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，其中，所述预定距离为：[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围。
根据本发明的实施例的双目图像视差调节方法，由于双目相机的左相机和右相机光轴平行，所拍摄的预处理的双目图像不存在零视差平面，因此通过对预处理的双目图像进行平移，具体为左图像向左平移预定距离，相当于左相机的图像平面(Image Plane，相当于镜像的图像传感器面板)向右平移预定距离，同样地，右图像向右平移预定距离，相当于右相机的图像平面向左平移预定距离，经过平移之后，连接左相机的光心和左相机图像平面中心的连线与连接右相机的光心和右相机图像平面中心的连线将交于一点，则该点到双目相机的垂直距离即为处理后的预处理的双目图像的零视差平面深度，调节左图像和右图像的平移距离使得预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，则预处理的双目图像的视差范围将等于预定视差范围。
根据本发明的一个实施例，在所述双目相机的相机间距不可调的情况下，所述期望拍摄参数包括期望的零视差平面深度，其中期望的所述零视差平面深度满足下列公式：其中，D0为期望的所述零视差平面深度，f为所述双目相机的光心与图像平面之间的距离，B为所述双目相机的相机间距，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围。
根据本发明的实施例的双目图像视差调节方法，在双目相机的相机间距不可调节的情况下，期望拍摄参数包括双目相机的期望的零视差平面深度范围，由于双目相机的相机间距不可以调节，但是只要双目相机的参数满足预定条件，即则仍然可以对双目相机所拍摄的预处理的双目图像进行处理，即可保证处理后的双目图像的视差至少不会引起观看不适。
根据本发明的一个实施例，获取当前场景的深度范围具体包括：控制所述双目相机拍摄一组初始双目图像，计算所述初始双目图像的视差，并根据所述初始双目图像的视差和对所述双目相机进行校正得到的校正结果获取当前场景的深度范围。
根据本发明的实施例的双目图像视差调节方法，深度范围可以通过对初始双目图像进行处理得到，即全自动得到，具体为根据初始双目图像的左图像和右图像之间的视差，并结合校正得到的双目相机的当前参数f，即双目相机的光心与其图像平面之间的距离(详参公式(5)、(6)后的相关记载)，恢复出拍摄场景的深度信息。当然，本领域技术人员应当理解的是，深度范围可以是一个具体场景距离双目相机最近点和最远点之间的深度范围，也可以指场景中任一主体距离双目相机最近点和最远点之间的深度范围，该主体可以根据实际拍摄需求进行选取。
根据本发明的一个实施例，根据当前的观看条件获取预定视差范围，并根据深度范围、双目相机的当前参数以及预定视差范围确定当前场景的期望拍摄参数，通过调节双目相机的相机间距以及对使用期望相机间距拍摄的预处理的双目图像进行处理，使得双目相机所拍摄的预处理的双目图像满足当前的观看条件下对应的预定视差范围，从而使得预处理的双目图像适于在观看条件下观看。
根据本发明的一个实施例，获取当前场景的深度范围具体包括：根据接收到的设置命令，设置预设的深度范围，并获取所述预设的深度范围，将所述预设的深度范围作为所述当前场景的深度范围。
根据本发明的实施例的双目图像视差调节方法，当前场景的深度范围可以预先存储于双目相机中，在使用双目相机拍摄图像时，直接使用存储的深度范围，其中，用户可以自行根据当前场景设定合适的深度范围。
当然，本领域技术人员应当理解，本申请中的当前场景的深度范围包括但是不限于以上两种方式，还可以是由用户指定场景中的一块区域(即“主体”)，通过处理这块区域而获得深度范围[D1，D2]，即通过半自动方式的方式获得。
根据本发明的一个实施例，所述根据当前的观看条件获取预定视差范围具体包括：根据预定立体显示装置的参数信息以及与所述预定立体显示装置的参数信息相对应的最佳观看参数计算出所述观看条件下的最大正向视差值和所述最大逆向视差值。
根据本发明的实施例的双目图像视差调节方法，由于对于不同的观看条件，包括：不同的立体显示装置如立体显示器大小和不同的观看参数如观看距离，保证舒适观看3D图像的视差范围也不尽相同，但是对于每一种指定的观看条件均存在一组最优的极限视差范围，使得所拍摄的3D图像的视差范围处于该极限视差范围之内时，基本不会引起观看者不适，也即该极限视差范围是在保证舒适观看的条件下，3D图像可以具有的最大视差范围，详参论文T Shibata，J Kim,DM Hoffman，MS Banks."Thezone of comfort:Predicting visual discomfort with stereo displays”，Journalof vision,11(8):11,1-29,2011。作为较为优选的实施例，根据该极限视差范围确定双目相机的期望拍摄参数，使得处理得到的预处理的双目图像既能保证舒适观看，同时具有最大化的视差范围，与现有技术中通过设置关键点的物距和视差相比，使用极限视差范围作为预定视差范围保证了拍摄的双目图像的舒适观看。
当然，预定视差范围与观看条件有关，因此，在预先存储预定视差范围时，可以对应存储预定视差范围所对应的观看模式，例如：电影院模式、电视模式、电脑模式、手机模式和平板电脑模式等等，在使用双目相机拍摄图像时，选择相应的观看模式，则预定视差范围自动调节，以使所拍摄的图像在舒适观看的条件下视差范围最大化。
根据本发明的一个实施例，所述根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，以使所述预处理的双目图像适于在所述观看条件下观看具体包括：根据所述期望拍摄参数调节所述双目相机的光心与图像平面之间的距离和所述双目相机的相机间距中的至少一个，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像中的左图像和右图像进行方向相反的平移处理。
根据本发明的实施例的双目图像视差调节方法，由于双目相机的左相机和右相机光轴平行，所拍摄的预处理的双目图像不存在零视差平面，因此通过对预处理的双目图像进行平移，从而使得预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，则预处理的双目图像的视差范围将等于预定视差范围。
根据本发明的一个实施例，还包括：以满足预设水平分辨率条件的所述双目相机的立体显示屏实时显示拍摄的所述预处理的双目图像和/或所述初始双目图像，其中，所述预设水平分辨率条件为：R’为所述预设水平分辨率，[d1(p)，d2(p)]为以像素为单位的所述预定视差范围，p表示像素，[d’1(m)，d’2(m)]为以米为单位的所述立体显示屏的视差范围，m表示米，W’为所述立体显示屏的宽度，max为获取最大值函数。
根据本发明的实施例的双目图像视差调节方法，通过在双目相机上安装立体显示屏，使得在拍摄图像的同时可以对所拍摄的初始双目图像和/或预处理的双目图像进行实时显示，但是所拍摄的图像的视差范围是满足指定条件下舒适观看的预定视差范围，指定观看条件的立体显示屏大小可能不同于双目相机上安装的立体显示屏大小，则在双目相机的立体显示屏上可能不能舒适观看所拍摄的图像，因此为了在双目相机立体显示屏上也可以舒适观看，则立体显示屏的分辨率应满足预设水平分辨率条件，避免摄影师拍摄图像过程中产生不适感。
下面结合图2A和图2B详细说明根据本发明的实施例的期望拍摄参数的计算过程。
图2A和图2B示出了根据本发明的实施例的期望拍摄参数的计算原理示意图。
如图2A所示，在相机坐标系下，Ol和Or分别代表双目相机中左相机和右相机的光心，左右两条短线段IP分别代表左相机和右相机的图像平面(Image Plane，相当于镜像过来的图像传感器面板)，而ZPP则代表零视差平面(Zero Parallax Plane)。对于光轴平行的双目相机是不存在零视差平面的，为了使拍摄的双目图像(或视频)具有零视差平面，需要将两个IP都向中间平移。这样，光心O与IP中心的连线(左右两条，如图2A中虚线所示)可以相交于一点，而经过该点又与IP平行的平面就是通过平移所产生的ZPP。
现假设ZPP在深度范围D0，有一个物点Q处在深度范围D1(0<D1<D0)，其投影在左IP上的像点与左IP中心的距离为d+(d+>0)(在图2A中加粗显示)。令物点Q在左右图中的视差d1等于其在左IP上投影的坐标减去其在右IP上投影的坐标，显然d1＝2d+>0。根据图2A所示的几何关系，可以推出(1)式来计算d1，其中f是光心O与IP的距离(左相机和右相机相等)，B是两光心Ol和Or的间距(也称基线长)。另外，很容易证明在同一个深度平面上的不同物点具有相同的视差。
d + x 1 = f D 1 x 1 B / 2 = D 0 - D 1 D 0 = > d + = 1 2 fB D 0 - D 1 D 0 D 1 = > d 1 = 2 d + = fB D 0 - D 1 D 0 D 1 ( d 1 > 0 ) - - - ( 1 )
如图2B所示，当物点Q在ZPP后面(即D2>D0)，类似地可以推导出(2)式来计算d2。其中，d-(d->0)的定义与d+相同，仍是物点Q投影在左IP上的像点与左IP中心的距离，根据视差的定义，此处的视差d2＝-2d-<0。
d - x 2 = f D 0 x 2 B / 2 = D 2 - D 0 D 2 = > d - = 1 2 fB D 2 - D 0 D 0 D 2 = > d 2 = - 2 d - = fB D 0 - D 2 D 0 D 2 ( d 2 < 0 ) - - - ( 2 )
统一(1)，(2)两式(即图2A和图2B所示的两种情况)可得
d = fB D 0 - D D 0 D = fB ( 1 D - 1 D 0 ) - - - ( 3 )
其中，D为任意物点的深度，d为该物点在左右图中对应的视差。需要注意的是，B、D0和D的单位都是米，而如果f以像素为单位，则相应的d也以像素为单位。
根据(3)式可以推导出，当深度范围为[D1,D2]时，对应的视差范围为
&Delta;d = fB ( 1 D 1 - 1 D 0 ) - fB ( 1 D 2 - 1 D 0 ) = fB ( 1 D 1 - 1 D 2 ) - - - ( 4 )
从(4)式可以看出，视差范围Δd与零视差平面深度D0的选取是无关的。
在指定的观看条件下(即指定立体显示装置的大小及相应的最佳观看距离)，存在一组极限的视差范围[d1,d2]，其中d1>0表示允许的最大正向视差，d2<0表示允许的最大逆向视差，如果双目图像的视差在这个范围内基本上不会引起观看不适，则在已知场景的深度范围[D1,D2]和相机参数f的情况下，就可以通过联合地调整相机间距B和零视差平面深度D0，使得拍摄的预处理的双目图像的正向视差等于d1而逆向视差等于d2，使得预处理双目图像的视差在不造成观看不适的条件下达到最大化。
基于这一思想，可联立(1)，(2)两式，求解二元二次方程，计算出一组唯一解
D 0 = D 1 D 2 ( d 1 - d 2 ) D 1 d 1 - D 2 d 2 - - - ( 5 )
B = D 1 D 2 ( d 1 - d 2 ) f ( D 2 - D 1 ) = d 1 - d 2 f ( 1 D 1 - 1 D 2 ) - - - ( 6 )
其中，相机参数f可由相机校正计算得到，详参论文：Z.Zhang,“Aflexible new technique for camera calibration”,IEEE Transactions on PatternAnalysis and Machine Intelligence,22(11):1330–1334,2000.，即可通过计算机视觉技术领域的K参数来算得，[d1,d2]是根据指定观看条件确定的最大视差范围，[D1,D2]是场景的深度范围，可通过对初始双目图像处理计算得到。
另外，根据(4)式，当B满足(6)式时可以得到
&Delta;d = fB ( 1 D 1 - 1 D 2 ) = d 1 - d 2 - - - ( 7 )
也就是说，当B满足(6)式时调整后的视差范围Δd等于指定观看条件下允许的最大视差范围d1-d2。而相应地，当B满足(8)式时，即可保证当前深度范围[D1，D2]对应的视差范围Δd不会超过指定观看条件下允许的最大视差范围d1-d2。所以(8)式即为能舒适观看的一个必要条件。
&Delta;d &le; d 1 - d 2 = > B &le; d 1 - d 2 f ( 1 D 1 - 1 D 2 ) - - - ( 8 )
在B满足(8)式的基础上，再对D0进行设置，就等效于将视差范围Δd进一步划分成正向视差和逆向视差两个部分。这可以通过关系式(9)看出
r D = D 2 - D 0 D 0 - D 1 = - d 2 D 2 d 1 D 1 = r d D 2 D 1 - - - ( 9 )
其中，rD即表示D0对深度范围[D1,D2]的划分；而rd即为正向和反向视差的比例。
根据这一分析也可以看出，满足(5)、(6)两式的B和D0即为唯一的一组最优解，它们使得最终的正向视差等于d1，而逆向视差等于d2。
下面结合图3详细说明根据本发明的实施例的左图像和右图像平移预定距离的计算过程。
图3示出了根据本发明的实施例的左图像和右图像平移预定距离的计算原理示意图。
如图3所示，以左图像的平移情况为例，将左图像的IP向右平移h，相当于将左图像向左平移h，平移之后再经过适当的截取就可以生成预处理的双目图像中的左图像。根据图3所示的几何关系，可以得到平移量h的计算公式(10)。类似地，将右图像向右平移h即可得到预处理的双目图像中的右图像。
h B / 2 - h = f D 0 - f = > h = fB 2 D 0 = D 2 d 2 - D 1 d 1 2 ( D 1 - D 2 ) - - - ( 10 )
图4示出了根据本发明的实施例的双目图像视差调节装置的结构示意图。
如图4所示，根据本发明的实施例的双目图像视差调节装置400，用于双目相机，包括：深度获取单元402，获取当前场景的深度范围；视差获取单元404，根据当前的观看条件获取预定视差范围；计算单元406，根据所述当前场景的深度范围以及所述预定视差范围计算当前场景的期望拍摄参数；处理单元408，根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，以使所述预处理的双目图像适于在所述观看条件下观看。
根据本发明的实施例的双目图像视差调节装置，获取当前场景的深度范围，根据当前的观看条件下获取预定视差范围，深度范围以及预定视差范围确定当前场景的期望拍摄参数，通过调节双目相机的相机间距以及对使用期望相机间距拍摄的预处理的双目图像进行处理，使得双目相机所拍摄的预处理的双目图像满足当前的观看条件下对应的预定视差范围，从而使得预处理的双目图像适于在观看条件下观看。
根据本发明的一个实施例，所述期望拍摄参数包括期望的双目相机的光心与图像平面之间的距离，以及期望的双目相机的相机间距，其中，期望的所述双目相机的光心与图像平面之间的距离和期望的所述双目相机的相机间距满足下列公式：
d 1 D 1 < f &times; B &le; ( d 1 - d 2 ) &times; D 1 &times; D 2 D 2 - D 1 ,
其中，f为期望的所述双目相机的光心与图像平面之间的距离，B为期望的所述双目相机的相机间距，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围，其中，d1>0，表示所述观看条件下的最大正向视差值，d2<0，表示所述观看条件下的最大逆向视差值。
根据本发明的实施例的双目图像视差调节装置，在设计双目相机或在拍摄中对双目相机进行调整时，都可以依据公式来选取合适的相机f和B，从而保证用户可以舒适的观看双目图像。
根据本发明的一个实施例，在所述双目相机的相机间距可调的情况下，所述期望拍摄参数包括期望的双目相机的相机间距和期望的零视差平面深度，则所述处理单元408包括：间距调节单元4082，将所述双目相机的相机间距调节为等于期望的所述双目相机的相机间距，并使用调节后的双目相机拍摄所述预处理的双目图像，其中，期望的所述双目相机的相机间距为以及深度调节单元4084，对所述预处理的双目图像进行处理，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，其中，期望的所述零视差平面深度为为所述双目相机的光心与图像平面之间的距离，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围。
根据本发明的实施例的双目图像视差调节装置，在双目相机的相机间距可以调节的情况下，期望拍摄参数包括双目相机的期望相机间距和期望的零视差平面深度，通过控制自动调节双目相机的相机间距等于期望相机间距(也即对双目相机的相机参数进行调节)，在双目相机的相机间距等于期望相机间距时，拍摄预处理的双目图像，由于双目相机的左相机和右相机光轴平行，所拍摄的预处理的双目图像不存在零视差平面，也即预处理的双目图像不存在视差，因此还需要对双目相机所拍摄的预处理的双目图像进行处理，以使预处理的双目图像产生零视差平面，同时保证预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，则经过处理的预处理的双目图像的视差范围即为预定视差范围。
根据本发明的一个实施例，所述深度调节单元4084具体用于：对所述预处理的双目图像中的左图像向左平移预定距离以及对所述预处理的双目图像中的右图像向右平移所述预定距离，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，其中，所述预定距离为： h = D 2 d 2 - D 1 d 1 2 &times; ( D 1 - D 2 ) .
根据本发明的实施例的双目图像视差调节装置，由于双目相机的左相机和右相机光轴平行，所拍摄的预处理的双目图像不存在零视差平面，因此通过对预处理的双目图像进行平移，具体为左图像向左平移预定距离，相当于左相机的图像平面(Image Plane，相当于镜像的图像传感器面板)向右平移预定距离，同样地，右图像向右平移预定距离，相当于右相机的图像平面向左平移预定距离，经过平移之后，连接左相机的光心和左相机图像平面中心的连线与连接右相机的光心和右相机图像平面中心的连线将交于一点，则该点到双目相机的垂直距离即为处理后的预处理的双目图像的零视差平面深度，调节左图像和右图像的平移距离使得预处理的双目图像的零视差平面深度等于期望的零视差平面深度，则预处理的双目图像的视差范围将等于预定视差范围。
根据本发明的一个实施例，在所述双目相机的相机间距不可调的情况下，所述期望拍摄参数包括期望的零视差平面深度，其中期望的所述零视差平面深度满足下列公式：其中，D0为期望的所述零视差平面深度，f为双目相机的光心与图像平面之间的距离，B为所述双目相机的相机间距，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围。
根据本发明的实施例的双目图像视差调节装置，在双目相机的相机间距不可调节的情况下，期望拍摄参数包括双目相机的期望的零视差平面深度范围，由于双目相机的相机间距不可以调节，但是只要双目相机的参数满足预定条件，即则仍然可以对双目相机所拍摄的预处理的双目图像进行处理，即可保证处理后的双目图像的视差至少不会引起观看不适。
根据本发明的一个实施例，深度获取单元402包括：视差计算单元4022，控制所述双目相机拍摄一组初始双目图像，计算所述初始双目图像的视差；第一获取单元4024，根据所述初始双目图像的视差和对所述双目相机进行校正得到的校正结果获取当前场景的深度范围。
根据本发明的实施例的双目图像视差调节装置，深度范围可以通过对初始双目图像进行处理得到，即全自动得到，具体为根据初始双目图像的左图像和右图像之间的视差，并结合校正得到的双目相机的当前参数f，即双目相机的光心与其图像平面之间的距离(详参公式(5)、(6)后的相关记载)，恢复出拍摄场景的深度信息。当然，本领域技术人员应当理解的是，深度范围可以是一个具体场景距离双目相机最近点和最远点之间的深度范围，也可以指场景中任一主体距离双目相机最近点和最远点之间的深度范围，该主体可以根据实际拍摄需求进行选取。
根据本发明的一个实施例，根据当前的观看条件获取预定视差范围，并根据深度范围、双目相机的当前参数以及预定视差范围确定当前场景的期望拍摄参数，通过调节双目相机的相机间距以及对使用期望相机间距拍摄的预处理的双目图像进行处理，使得双目相机所拍摄的预处理的双目图像满足当前的观看条件下对应的预定视差范围，从而使得预处理的双目图像适于在观看条件下观看。
根据本发明的一个实施例，深度获取单元402包括：设置单元4026，根据接收到的设置命令，设置预设的深度范围；第二获取单元4028，获取所述预设的深度范围，将所述预设的深度范围作为所述当前场景的深度范围。
根据本发明的实施例的双目图像视差调节装置，当前场景的深度范围可以预先存储于双目相机中，在使用双目相机拍摄图像时，直接使用存储的深度范围，其中，用户可以自行根据当前场景设定合适的深度范围。
当然，本领域技术人员应当理解，本申请中的当前场景的深度范围包括但是不限于以上两种方式，还可以是由用户指定场景中的一块区域(即“主体”)，通过处理这块区域而获得深度范围[D1，D2]，即通过半自动方式的方式获得。
根据本发明的一个实施例，所述视差获取单元404具体用于：根据预定立体显示装置的参数信息以及与所述预定立体显示装置的参数信息相对应的最佳观看参数计算出所述观看条件下的最大正向视差值和所述最大逆向视差值。
根据本发明的实施例的双目图像视差调节装置，由于对于不同的观看条件，包括：不同的显示器大小和不同的观看距离，保证舒适观看3D图像的视差范围也不尽相同，但是对于每一种指定的观看条件均存在一组极限视差范围，使得所拍摄的3D图像的视差范围处于该极限视差范围之内时，基本不会引起观看者不适，也即该极限视差范围是在保证舒适观看的条件下，3D图像可以具有的最大视差范围。作为较为优选的实施例，根据该极限视差范围确定双目相机的期望拍摄参数，使得处理得到的预处理的双目图像既能保证舒适观看，同时具有最大化的视差范围，与现有技术中通过设置关键点的物距和视差相比，使用极限视差范围作为预定视差范围保证了拍摄的双目图像的舒适观看。
当然，预定视差范围与观看条件有关，因此，在预先存储预定视差范围时，可以对应存储预定视差范围所对应的观看模式，例如：电影院模式、电视模式、电脑模式、手机模式和平板电脑模式等等，在使用双目相机拍摄图像时，选择相应的观看模式，则预定视差范围自动调节，以使所拍摄的图像在舒适观看的条件下视差范围最大化。
根据本发明的一个实施例，所述处理单元具体用于：根据所述期望拍摄参数调节所述双目相机的光心与图像平面之间的距离和所述双目相机的相机间距中的至少一个，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像中的左图像和右图像进行方向相反的平移处理。
根据本发明的实施例的双目图像视差调节装置，由于双目相机的左相机和右相机光轴平行，所拍摄的预处理的双目图像不存在零视差平面，因此通过对预处理的双目图像进行平移，从而使得预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，则预处理的双目图像的视差范围将等于预定视差范围。
根据本发明的一个实施例，还包括：显示单元410，以满足预设水平分辨率条件的所述双目相机的立体显示屏实时显示拍摄的所述预处理的双目图像和/或所述初始双目图像，其中，所述预设水平分辨率条件为：R’为所述预设水平分辨率，[d1(p)，d2(p)]为以像素为单位的所述预定视差范围，p表示像素，[d’1(m)，d’2(m)]为以米为单位的所述立体显示屏的视差范围，m表示米，W’为所述立体显示屏的宽度，以米为单位，max为获取最大值函数。
根据本发明的实施例的双目图像视差调节装置，通过在双目相机上安装立体显示屏，使得在拍摄图像的同时可以对所拍摄的初始双目图像和/或预处理的双目图像进行实时立体显示，但是所拍摄的图像的视差范围是满足指定观看条件下舒适观看的预定视差范围，指定观看条件的立体显示装置大小可能不同于双目相机上安装的立体显示屏大小，则在双目相机的立体显示屏上可能不能舒适观看所拍摄的图像，因此为了在双目相机立体显示屏上也可以舒适观看，则立体显示屏的水平分辨率应满足预设水平分辨率条件，避免摄影师拍摄图像过程中产生不适感。
根据本发明的第三方面的实施例，提出了一种双目相机(未示出)，包括：如上述实施例中任一项所述的双目图像视差调节装置400。
通过在双目相机中加入双目图像视差调节装置400，使得可以对双目相机的相机参数和双目相机所拍摄的图像进行联合调节，以得到指定观看条件下既能舒适观看又具有最大化视差的图像或视频，保留了3D图像或视频震撼的观看效果，避免了现有技术中观看3D图像时带来的不适感。
以上结合附图详细说明了本发明的技术方案，通过本发明的技术方案，可以对双目相机的相机参数和双目相机所拍摄的图像进行联合调节，以得到指定条件下既能舒适观看又具有最大化视差的图像或视频，保留了3D图像或视频震撼的观看效果，避免了现有技术中观看3D图像时带来的不适感。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (21)

1.一种双目图像视差调节方法，用于光轴平行的双目相机，其特征在于，包括：
获取当前场景的深度范围；
根据当前的观看条件获取预定视差范围；
根据所述当前场景的深度范围以及所述预定视差范围计算当前场景的期望拍摄参数；
根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，以使所述预处理的双目图像适于在所述观看条件下观看。
2.根据权利要求1所述的双目图像视差调节方法，其特征在于，所述期望拍摄参数包括期望的双目相机的光心与图像平面之间的距离，以及期望的双目相机的相机间距，其中，期望的所述双目相机的光心与图像平面之间的距离和期望的所述双目相机的相机间距满足下列公式：
d 1 D 1 < f &times; B &le; ( d 1 - d 2 ) &times; D 1 &times; D 2 D 2 - D 1 ,
其中，f为期望的所述双目相机的光心与图像平面之间的距离，B为期望的所述双目相机的相机间距，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围，其中，d1>0，表示所述观看条件下的最大正向视差值，d2<0，表示所述观看条件下的最大逆向视差值。
3.根据权利要求1所述的双目图像视差调节方法，其特征在于，在所述双目相机的相机间距可调的情况下，所述期望拍摄参数包括期望的双目相机的相机间距和期望的零视差平面深度，则根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，具体包括：
将所述双目相机的相机间距调节为等于期望的所述双目相机的相机间距，并使用调节后的双目相机拍摄所述预处理的双目图像，其中，期望的所述双目相机的相机间距为
B = d 1 - d 2 f ( 1 D 1 - 1 D 2 )
对所述预处理的双目图像进行处理，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，其中，期望的所述零视差平面深度为
D 0 = D 1 D 2 ( d 1 - d 2 ) D 1 d 1 - D 2 d 2 ,
其中，f为双目相机的光心与图像平面之间的距离，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围。
4.根据权利要求3所述的双目图像视差调节方法，其特征在于，所述对所述预处理的双目图像进行处理，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度具体包括：
对所述预处理的双目图像中的左图像向左平移预定距离以及对所述预处理的双目图像中的右图像向右平移所述预定距离，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，
其中，所述预定距离为： h = D 2 d 2 - D 1 d 1 2 &times; ( D 1 - D 2 ) .
5.根据权利要求1所述的双目图像视差调节方法，其特征在于，在所述双目相机的相机间距不可调的情况下，所述期望拍摄参数包括期望的零视差平面深度，其中期望的所述零视差平面深度满足下列公式：
D 2 &times; f &times; B f &times; B - d 2 &times; D 2 &le; D 0 &le; D 1 &times; f &times; B f &times; B - d 1 &times; D 1 ,
其中，D0为期望的所述零视差平面深度，f为所述双目相机的光心与图像平面之间的距离，B为所述双目相机的相机间距，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围。
6.根据权利要求1所述的双目图像视差调节方法，其特征在于，所述获取当前场景的深度范围具体包括：控制所述双目相机拍摄一组初始双目图像，计算所述初始双目图像的视差，并根据所述初始双目图像的视差和对所述双目相机进行校正得到的校正结果获取当前场景的深度范围。
7.根据权利要求1所述的双目图像视差调节方法，其特征在于，所述获取当前场景的深度范围具体包括：根据接收到的设置命令，设置预设的深度范围，并获取所述预设的深度范围，将所述预设的深度范围作为所述当前场景的深度范围。
8.根据权利要求2所述的双目图像视差调节方法，其特征在于，所述根据当前的观看条件获取预定视差范围具体包括：根据预定立体显示装置的参数信息以及与所述预定立体显示装置的参数信息相对应的最佳观看参数计算出所述观看条件下的最大正向视差值和所述最大逆向视差值。
9.根据权利要求1所述的双目图像视差调节方法，其特征在于，所述根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，以使所述预处理的双目图像适于在所述观看条件下观看具体包括：根据所述期望拍摄参数调节所述双目相机的光心与图像平面之间的距离和所述双目相机的相机间距中的至少一个，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数使所述预处理的双目图像中的左图像和右图像分别沿相反方向平移。
10.根据权利要求1至9中任一项所述的双目图像视差调节方法，其特征在于，还包括：
以满足预设水平分辨率条件的所述双目相机的立体显示屏实时显示拍摄的所述预处理的双目图像和/或所述初始双目图像，其中，所述预设水平分辨率条件为：R’为所述预设水平分辨率，[d1(p)，d2(p)]为以像素为单位的所述预定视差范围，p表示像素，[d’1(m)，d’2(m)]为以米为单位的所述立体显示屏的视差范围，m表示米，W’为所述立体显示屏的宽度，以米为单位，max为获取最大值函数。
11.一种双目图像视差调节装置，用于光轴平行的双目相机，其特征在于，包括：
深度获取单元，获取当前场景的深度范围；
视差获取单元，根据当前的观看条件获取预定视差范围；
计算单元，根据所述当前场景的深度范围以及所述预定视差范围计算当前场景的期望拍摄参数；
处理单元，根据所述期望拍摄参数调节所述双目相机，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数对所述预处理的双目图像进行处理，以使所述预处理的双目图像适于在所述观看条件下观看。
12.根据权利要求11所述的双目图像视差调节装置，其特征在于，所述期望拍摄参数包括期望的双目相机的光心与图像平面之间的距离，以及期望的双目相机的相机间距，其中，期望的所述双目相机的光心与图像平面之间的距离和期望的所述双目相机的相机间距满足下列公式：
d 1 D 1 < f &times; B &le; ( d 1 - d 2 ) &times; D 1 &times; D 2 D 2 - D 1 ,
其中，f为所述期望的所述双目相机的光心与图像平面之间的距离，B为所述期望的所述双目相机的相机间距，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围，其中，d1>0，表示所述观看条件下的最大正向视差值，d2<0，表示所述观看条件下的最大逆向视差值。
13.根据权利要求11所述的双目图像视差调节装置，其特征在于，在所述双目相机的相机间距可调的情况下，所述期望拍摄参数包括期望的双目相机的相机间距和期望的零视差平面深度，则所述处理单元包括：
间距调节单元，将所述双目相机的相机间距调节为等于期望的所述双目相机的相机间距，并使用调节后的双目相机拍摄所述预处理的双目图像，其中，期望的所述双目相机的相机间距为
B = d 1 - d 2 f ( 1 D 1 - 1 D 2 ) ,
深度调节单元，对所述预处理的双目图像进行处理，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，其中，期望的所述零视差平面深度为
D 0 = D 1 D 2 ( d 1 - d 2 ) D 1 d 1 - D 2 d 2 ,
其中，f为双目相机的光心与图像平面之间的距离，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围。
14.根据权利要求13所述的双目图像视差调节装置，其特征在于，所述深度调节单元具体用于：
对所述预处理的双目图像中的左图像向左平移预定距离以及对所述预处理的双目图像中的右图像向右平移所述预定距离，以使所述预处理的双目图像的零视差平面深度等于期望的所述零视差平面深度，
其中，所述预定距离为： h = D 2 d 2 - D 1 d 1 2 &times; ( D 1 - D 2 ) .
15.根据权利要求11所述的双目图像视差调节装置，其特征在于，在所述双目相机的相机间距不可调的情况下，所述期望拍摄参数包括期望的零视差平面深度，其中期望的所述零视差平面深度满足下列公式：
D 2 &times; f &times; B f &times; B - d 2 &times; D 2 &le; D 0 &le; D 1 &times; f &times; B f &times; B - d 1 &times; D 1 ,
其中，D0为期望的所述零视差平面深度，f为所述双目相机的光心与图像平面之间的距离，B为所述双目相机的相机间距，[D1，D2]为所述当前场景的深度范围，[d1，d2]为所述预定视差范围。
16.根据权利要求11所述的双目图像视差调节装置，其特征在于，所述深度获取单元包括：
视差计算单元，控制所述双目相机拍摄一组初始双目图像，计算所述初始双目图像的视差；
第一获取单元，根据所述初始双目图像的视差和对所述双目相机进行校正得到的校正结果获取当前场景的深度范围。
17.根据权利要求11所述的双目图像视差调节装置，其特征在于，所述深度获取单元包括：
设置单元，根据接收到的设置命令，设置预设的深度范围；
第二获取单元，获取所述预设的深度范围，将所述预设的深度范围作为所述当前场景的深度范围。
18.根据权利要求12所述的双目图像视差调节装置，其特征在于，所述视差获取单元具体用于：
根据预定立体显示装置的参数信息以及与所述预定立体显示装置的参数信息相对应的最佳观看参数计算出所述观看条件下的最大正向视差值和所述最大逆向视差值。
19.根据权利要求11所述的双目图像视差调节装置，其特征在于，所述处理单元具体用于：
根据所述期望拍摄参数调节所述双目相机的光心与图像平面之间的距离和所述双目相机的相机间距中的至少一个，使用调节后的双目相机拍摄预处理的双目图像，并根据所述期望拍摄参数使所述预处理的双目图像中的左图像和右图像分别沿相反方向平移。
20.根据权利要求11至19中任一项所述的双目图像视差调节装置，其特征在于，还包括：
显示单元，以满足预设水平分辨率条件的所述双目相机的立体显示屏实时显示拍摄的所述预处理的双目图像和/或所述初始双目图像，其中，所述预设水平分辨率条件为：R’为所述预设水平分辨率，[d1(p)，d2(p)]为以像素为单位的所述预定视差范围，p表示像素，[d’1(m)，d’2(m)]为以米为单位的所述立体显示屏的视差范围，m表示米，W’为所述立体显示屏的宽度，以米为单位，max为获取最大值函数。
21.一种双目相机，其特征在于，包括：
如权利要求11至20中任一项所述的双目图像视差调节装置。
CN201410250764.6A 2014-06-06 2014-06-06 双目图像视差调节方法及装置和双目相机 Active CN104010178B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410250764.6A CN104010178B (zh) 2014-06-06 2014-06-06 双目图像视差调节方法及装置和双目相机
US14/726,607 US9912936B2 (en) 2014-06-06 2015-06-01 Apparatus and method for adjusting stereoscopic image parallax and stereo camera
US15/880,182 US10523919B2 (en) 2014-06-06 2018-01-25 Apparatus and method for adjusting stereoscopic image parallax and stereo camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410250764.6A CN104010178B (zh) 2014-06-06 2014-06-06 双目图像视差调节方法及装置和双目相机

Publications (2)

Publication Number Publication Date
CN104010178A true CN104010178A (zh) 2014-08-27
CN104010178B CN104010178B (zh) 2017-01-04

Family

ID=51370653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410250764.6A Active CN104010178B (zh) 2014-06-06 2014-06-06 双目图像视差调节方法及装置和双目相机

Country Status (2)

Country Link
US (2) US9912936B2 (zh)
CN (1) CN104010178B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023170A (zh) * 2016-05-13 2016-10-12 成都索贝数码科技股份有限公司 一种基于gpu处理器的双目3d畸变矫正方法
CN106331679A (zh) * 2015-06-30 2017-01-11 深圳市墨克瑞光电子研究院 双目相机间距调节方法及装置
CN106375749A (zh) * 2016-09-12 2017-02-01 北京邮电大学 一种视差调整方法及装置
CN106506971A (zh) * 2016-11-30 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种对焦方法及移动终端
CN108259727A (zh) * 2018-03-21 2018-07-06 维沃移动通信有限公司 一种景深图像生成方法及移动终端
CN108833780A (zh) * 2018-06-15 2018-11-16 Oppo广东移动通信有限公司 一种图像参数调节方法、图像参数调节装置及移动终端
CN109688399A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 一种基于增强现实的立体图像显示方法和系统
CN110233963A (zh) * 2019-05-06 2019-09-13 深圳市华芯技研科技有限公司 一种双目相机间距调节方法及装置
CN110782412A (zh) * 2019-10-28 2020-02-11 深圳市商汤科技有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN111726602A (zh) * 2019-03-22 2020-09-29 舜宇光学（浙江）研究院有限公司 异视场角摄像-显像系统的匹配方法及其系统和计算系统
CN111726599A (zh) * 2019-03-22 2020-09-29 舜宇光学（浙江）研究院有限公司 双目异内参摄像-显像光学系统的匹配方法及其系统和电子设备
CN113132710A (zh) * 2021-04-21 2021-07-16 深圳慧源创新科技有限公司 双目摄像机间距调节方法、装置、双目摄像机和存储介质
WO2021147750A1 (zh) * 2020-01-20 2021-07-29 北京芯海视界三维科技有限公司 实现3d拍摄的方法、装置及3d显示终端
CN115937291A (zh) * 2022-09-14 2023-04-07 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质
WO2024056030A1 (zh) * 2022-09-14 2024-03-21 北京字跳网络技术有限公司 一种图像深度估计方法、装置、电子设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3330664B1 (en) * 2015-07-29 2021-01-27 KYOCERA Corporation Parallax calculating device, stereo camera device, vehicle, and parallax calculating method
US10057558B2 (en) * 2015-09-04 2018-08-21 Kabushiki Kaisha Toshiba Electronic apparatus and method for stereoscopic display
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
CN106713897B (zh) * 2017-02-27 2018-03-09 驭势（上海）汽车科技有限公司 双目相机以及用于双目相机的自校准方法
CN109242901B (zh) * 2017-07-11 2021-10-22 深圳市道通智能航空技术股份有限公司 应用于三维相机的图像校准方法和装置
CN109756723B (zh) * 2018-12-14 2021-06-11 深圳前海达闼云端智能科技有限公司 获取影像的方法和装置，存储介质和电子设备
CN113271451B (zh) * 2021-04-22 2023-02-28 武汉联影智融医疗科技有限公司 3d成像视差调整方法、控制设备和3d成像系统
US20230298250A1 (en) * 2022-03-16 2023-09-21 Meta Platforms Technologies, Llc Stereoscopic features in virtual reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156350A (zh) * 2010-02-12 2011-08-17 北方国通（北京）光电科技有限公司 摄像装置及其设计方法
CN102547327A (zh) * 2010-10-07 2012-07-04 索尼公司 图像处理装置、图像处理方法以及程序
WO2013114887A1 (en) * 2012-02-02 2013-08-08 Panasonic Corporation Methods and apparatuses for 3d media data generation, encoding, decoding and display using disparity information

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040075654A1 (en) * 2002-10-16 2004-04-22 Silicon Integrated Systems Corp. 3-D digital image processor and method for visibility processing for use in the same
US8400496B2 (en) * 2008-10-03 2013-03-19 Reald Inc. Optimal depth mapping
US9438886B2 (en) * 2010-04-07 2016-09-06 Vision Iii Imaging, Inc. Parallax scanning methods for stereoscopic three-dimensional imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156350A (zh) * 2010-02-12 2011-08-17 北方国通（北京）光电科技有限公司 摄像装置及其设计方法
CN102547327A (zh) * 2010-10-07 2012-07-04 索尼公司 图像处理装置、图像处理方法以及程序
WO2013114887A1 (en) * 2012-02-02 2013-08-08 Panasonic Corporation Methods and apparatuses for 3d media data generation, encoding, decoding and display using disparity information

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331679B (zh) * 2015-06-30 2018-07-06 深圳市墨克瑞光电子研究院 双目相机间距调节方法及装置
CN106331679A (zh) * 2015-06-30 2017-01-11 深圳市墨克瑞光电子研究院 双目相机间距调节方法及装置
CN106023170A (zh) * 2016-05-13 2016-10-12 成都索贝数码科技股份有限公司 一种基于gpu处理器的双目3d畸变矫正方法
CN106023170B (zh) * 2016-05-13 2018-10-23 成都索贝数码科技股份有限公司 一种基于gpu处理器的双目3d畸变矫正方法
CN106375749A (zh) * 2016-09-12 2017-02-01 北京邮电大学 一种视差调整方法及装置
CN106375749B (zh) * 2016-09-12 2018-06-29 北京邮电大学 一种视差调整方法及装置
CN106506971A (zh) * 2016-11-30 2017-03-15 宇龙计算机通信科技(深圳)有限公司 一种对焦方法及移动终端
CN109688399A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 一种基于增强现实的立体图像显示方法和系统
CN108259727A (zh) * 2018-03-21 2018-07-06 维沃移动通信有限公司 一种景深图像生成方法及移动终端
CN108833780A (zh) * 2018-06-15 2018-11-16 Oppo广东移动通信有限公司 一种图像参数调节方法、图像参数调节装置及移动终端
CN108833780B (zh) * 2018-06-15 2021-01-15 Oppo广东移动通信有限公司 一种图像参数调节方法、图像参数调节装置及移动终端
CN111726599B (zh) * 2019-03-22 2022-04-05 舜宇光学（浙江）研究院有限公司 双目异内参摄像-显像光学系统的匹配方法及其系统和电子设备
CN111726602B (zh) * 2019-03-22 2022-04-22 舜宇光学（浙江）研究院有限公司 异视场角摄像-显像系统的匹配方法及其系统和计算系统
CN111726602A (zh) * 2019-03-22 2020-09-29 舜宇光学（浙江）研究院有限公司 异视场角摄像-显像系统的匹配方法及其系统和计算系统
CN111726599A (zh) * 2019-03-22 2020-09-29 舜宇光学（浙江）研究院有限公司 双目异内参摄像-显像光学系统的匹配方法及其系统和电子设备
CN110233963A (zh) * 2019-05-06 2019-09-13 深圳市华芯技研科技有限公司 一种双目相机间距调节方法及装置
CN110782412B (zh) * 2019-10-28 2022-01-28 深圳市商汤科技有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN110782412A (zh) * 2019-10-28 2020-02-11 深圳市商汤科技有限公司 图像处理方法及装置、处理器、电子设备及存储介质
WO2021147750A1 (zh) * 2020-01-20 2021-07-29 北京芯海视界三维科技有限公司 实现3d拍摄的方法、装置及3d显示终端
CN113132710A (zh) * 2021-04-21 2021-07-16 深圳慧源创新科技有限公司 双目摄像机间距调节方法、装置、双目摄像机和存储介质
CN115937291A (zh) * 2022-09-14 2023-04-07 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质
CN115937291B (zh) * 2022-09-14 2023-12-15 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质
WO2024056030A1 (zh) * 2022-09-14 2024-03-21 北京字跳网络技术有限公司 一种图像深度估计方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN104010178B (zh) 2017-01-04
US20180167605A1 (en) 2018-06-14
US20150358611A1 (en) 2015-12-10
US9912936B2 (en) 2018-03-06
US10523919B2 (en) 2019-12-31

Similar Documents

Publication Publication Date Title
CN104010178A (zh) 双目图像视差调节方法及装置和双目相机
JP7094266B2 (ja) 単一深度追跡型の遠近調節－両眼転導ソリューション
KR20080076628A (ko) 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법
US8116557B2 (en) 3D image processing apparatus and method
CN102939764B (zh) 图像处理器、图像显示装置和图像拍摄装置
CN103595988A (zh) 立体图像显示装置、图像处理装置及图像处理方法
CN103238337B (zh) 立体图像获取系统及方法
JP5178876B2 (ja) 立体映像表示装置及び立体映像表示方法
CN101587386A (zh) 光标处理方法、装置及系统
US9532027B2 (en) Methods for controlling scene, camera and viewing parameters for altering perception of 3D imagery
KR20120091585A (ko) 디스플레이 장치 및 삼차원 영상 제공방법
US20120236114A1 (en) Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
EP2659680A1 (en) Method and apparatus for providing mono-vision in multi-view system
CN104093013A (zh) 一种立体视觉三维可视化系统中自动调节图像视差的方法
CN103179414B (zh) 深度控制方法和装置
TW202023273A (zh) 立體顯示裝置及其參數校正方法
TWI478575B (zh) 3d影像處理裝置
JP2005142957A (ja) 撮像装置及び方法、撮像システム
WO2021207747A2 (en) System and method for 3d depth perception enhancement for interactive video conferencing
JPH1074269A (ja) 立体ｃｇ動画像生成装置
US20120300034A1 (en) Interactive user interface for stereoscopic effect adjustment
CN102244732B (zh) 一种立体摄像机的参数设置方法、装置及该立体摄像机
TWI486052B (zh) 立體影像處理裝置以及立體影像處理方法
KR101634225B1 (ko) 다시점 입체 영상 보정 장치 및 방법
CN103813148A (zh) 三维立体显示装置及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180716

Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Patentee after: Shenzhen super Technology Co., Ltd.

Address before: 518053 East Guangdong H-1 East 101, overseas Chinese town, Nanshan District, Shenzhen.

Patentee before: The auspicious photoelectron of Shenzhen's Merck research institute