CN106990668A - 一种全景立体影像的成像方法、装置及系统 - Google Patents

一种全景立体影像的成像方法、装置及系统 Download PDF

Info

Publication number
CN106990668A
CN106990668A CN201610475449.2A CN201610475449A CN106990668A CN 106990668 A CN106990668 A CN 106990668A CN 201610475449 A CN201610475449 A CN 201610475449A CN 106990668 A CN106990668 A CN 106990668A
Authority
CN
China
Prior art keywords
coordinate system
image
coordinate
image unit
left eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610475449.2A
Other languages
English (en)
Other versions
CN106990668B (zh
Inventor
刘亚辉
沈靖程
王士博
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pi Technology Changzhou Co ltd
Original Assignee
Shenzhen Pi Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pi Software Technology Co Ltd filed Critical Shenzhen Pi Software Technology Co Ltd
Priority to CN201610475449.2A priority Critical patent/CN106990668B/zh
Priority to PCT/CN2017/080195 priority patent/WO2018000892A1/zh
Publication of CN106990668A publication Critical patent/CN106990668A/zh
Application granted granted Critical
Publication of CN106990668B publication Critical patent/CN106990668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G03B35/20—Stereoscopic photography by simultaneous viewing using two or more projectors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明公开了一种全景立体影像的成像方法、装置及系统，包括：步骤A，在空间中任意排布若干个摄像单元；步骤B，对各个摄像单元的内外参数进行标定；步骤C，控制各个摄像单元进行协同工作，并进行像点坐标的同步采集和传输；步骤D，在空间中任意指定左眼和右眼球面坐标系；步骤E，分别解算摄像单元的像点坐标到左眼和右眼球面坐标系的映射函数，生成左眼和右眼球面图像；步骤F，将左眼和右眼球面图像分别投到左眼和右眼中完成全景图像的立体显示。本发明实现了较大自由度的全景立体影像获取，有效减少了全景拍摄设备在搭建过程中对各摄像单元参数的一致性和位置排布的均匀性的约束，大大提高了摄像单元拍摄的自由度和灵活性。

Description

一种全景立体影像的成像方法、装置及系统
技术领域
本发明属于全景成像技术领域，特别是涉及一种全景立体影像的成像方法、装置及系统。
背景技术
目前全景成像的方式主要分为两类：第一，使用单摄像单元（或多摄像单元）绕轴旋转的方式获取场景空间内的全部影像进而拼接形成全景图像；第二，使用多个摄像单元按固定方式组合拍摄得到同一时刻场景空间内的全部影像进而拼接形成全景图像。上述第一类方法的优点是可用较少数量的摄像单元拍摄出静态场景的全景图像；缺点是对动态场景的成像效果不佳，无法实现全景视频的获取；上述第二类方法的优点是可以瞬间成像，对静态、动态场景均可有效成像；缺点是对各个摄像单元内部参数的一致性和各个摄像单元之间位置排布的均匀性等要求较高，这种一致性和均匀性的约束无疑降低了拍摄方式的灵活性以及多种设备自由组合的可能性。
发明内容
为解决上述技术问题，本发明提供了一种全景立体影像的成像方法、装置及系统，以实现全景立体影像的灵活获取，减少全景拍摄设备在搭建过程中对各摄像单元参数的一致性和位置排布的均匀性的约束。
第一方面，本发明提供了一种全景立体影像的成像方法，包括下述步骤：
步骤A，根据不同的应用场景，在空间中任意排布若干个摄像单元；
步骤B，对已排布完成的所述步骤A中的各个摄像单元的内外参数进行标定；
步骤C，控制各个所述步骤B中的摄像单元进行协同工作，并进行像点坐标的同步采集并传输；
步骤D，在空间中任意指定一个左眼球面坐标系OL和一个右眼球面坐标系OR；
步骤E，根据所述步骤D中的左眼球面坐标系OL和右眼球面坐标系OR分别解算所述步骤C中的摄像单元的像点坐标到左眼球面坐标系OL和右眼球面坐标系OR的映射函数，并根据解算的映射函数分别生成与左眼球面坐标系OL对应的左眼球面图像和与右眼球面坐标系OR对应的右眼球面图像；
步骤F，将所述步骤E中的左眼球面图像和右眼球面图像分别投到左眼和右眼中完成全景图像的立体显示。
进一步地， 所述映射函数的解算方法包括下述步骤：
步骤E1，在摄像单元坐标系下，确定物点坐标与像点坐标的关系；
步骤E2, 标定球面坐标系和摄像单元坐标系，确定摄像单元坐标系和球面坐标系之间的变换关系；
步骤E3，根据所述步骤E1中的物点坐标与像点坐标的关系及所述步骤E2中的摄像单元坐标系和球面坐标系之间的变换关系，求解物点在球面坐标系的坐标；
步骤E4，根据所述步骤E3中的物点在球面坐标系的坐标，求解物点投影到半径为r的球面坐标系上的球面坐标。
进一步地，所述左眼球面图像所在的球心和右眼球面图像所在的球心之间的距离等于人眼瞳距。
第二方面，本发明提供了一种全景立体影像的成像装置，包括：
摄像单元排布模块，用于根据不用的应用场景，在空间中任意排布若干个摄像单元；
系统标定模块，用于对所述摄像单元排布模块中已排布完成的各个摄像单元的内外参数进行标定；
硬件通讯模块，用于控制所述摄像单元排布模块的各个摄像单元进行协同工作并进行像点坐标的同步采集，接收摄像单元排布模块中各个摄像单元采集到的像点坐标并传输；
左眼和右眼球面坐标系指定模块，用于在空间中任意指定一个左眼球面坐标系OL和一个右眼球面坐标系OR；
映射函数解算模块，用于接收所述硬件通讯模块传输的像点坐标，并根据左眼和右眼球面坐标系指定模块中的左眼球面坐标系OL和右眼球面坐标系OR分别解算所述摄像单元排布模块中已标定摄像单元的像点坐标到左眼球面坐标系OL和右眼球面坐标系OR的映射函数，并根据解算的映射函数分别生成与左眼球面坐标系OL对应的左眼球面图像和与右眼球面坐标系OR对应的右眼球面图像；
图像显示模块，用于将所述映射函数解算模块中的左眼球面图像和右眼球面图像分别投到左眼和右眼中完成全景图像的立体显示。
进一步地，所述映射函数解算模块包括：
坐标关系确定单元，用于在摄像单元坐标系下，确定物点坐标与像点坐标的关系；
坐标系变换关系确定单元，用于标定球面坐标系和摄像单元坐标系，确定摄像单元坐标系和球面坐标系之间的变换关系；
物点的球面坐标系坐标求解单元，用于根据所述物点坐标与像点坐标的关系及所述摄像单元坐标系和球面坐标系之间的变换关系，求解物点在球面坐标系的坐标，其与所述坐标关系确定单元和所述坐标系变换关系确定单元相连接；
物点的球面坐标求解单元，用于根据所述物点在球面坐标系的坐标，求解物点投影到半径为r的球面坐标系上的球面坐标，其与所述物点的球面坐标系坐标求解单元相连接。
进一步地，所述左眼球面图像所在的球心和右眼球面图像所在的球心之间的距离等于人眼瞳距。
第三方面，本发明提供了一种全景立体影像的成像系统，包括N个在同一圆的圆周上任意分布或等间距设置的摄像单元，其中N为大于或等于2的正整数。
一种全景立体影像的成像系统，包括八个在同一四边形的四条边上任意分布或两两对称设置的摄像单元，所述摄像单元的视场角大于180度。
一种全景立体影像的成像系统，包括四个在同一圆的圆周上任意分布或等间距设置的摄像单元A及两个背部对齐成轴对称设置且其光轴连线穿过由所述四个摄像单元A构成的平面的中心并与所述平面垂直的摄像单元B，所述摄像单元A的视场角大于180度，所述摄像单元B的视场角大于180度。
一种全景立体影像的成像系统，包括八个在同一圆的圆周上任意分布或等间距设置的摄像单元Ｃ，及两个背部对齐成轴对称设置且其光轴连线穿过由所述八个摄像单元Ｃ构成的平面的中心并与所述平面垂直的摄像单元Ｄ，所述摄像单元C的视场角大于90度，所述摄像单元D的视场角大于180度。
本发明通过多摄像单元组合的方式实现了较大自由度的全景立体影像获取，并以此为基础通过使用多全景球对的方法解决了全景影像真实多视角立体显示的问题，本发明有效减少了全景拍摄设备在搭建过程中对各摄像单元参数的一致性和位置排布的均匀性的约束，大大提高了摄像单元拍摄的自由度和灵活性。
附图说明
图1为本发明第一实施例提供的全景立体影像的成像方法的流程示意图；
图2为图1中映射函数的解算方法的流程示意图；
图3为本发明第二实施例提供的全景立体影像的成像装置的结构示意图；
图4为图3中映射函数解算模块的结构示意图；
图5为单一摄像单元所成的像在任意球面坐标系下的映射关系示意图；
图6为多个摄像单元的交叠成像区域在任意球面坐标系的映射关系示意图；
图7为本发明第三实施例提供的全景立体影像的成像系统的结构示意图；
图8为本发明第四实施例提供的全景立体影像的成像系统的结构示意图；
图9为本发明第五实施例提供的全景立体影像的成像系统的结构示意图；
图10为本发明第六实施例提供的全景立体影像的成像系统的结构示意图；
图11为本发明第七实施例提供的全景立体影像的成像系统的结构示意图；
图12为本发明第八实施例提供的全景立体影像的成像系统的结构示意图；
图13为本发明第九实施例提供的全景立体影像的成像系统的结构示意图；
图14为本发明全景立体影像成像装置向正前方观察时球面坐标系对的位置关系示意图；
图15为本发明全景立体影像成像装置转向右前方观察时球面坐标系对的位置关系示意图；
图16为本发明全景立体影像成像装置转向正右方观察时球面坐标系对的位置关系示意图；
图17为本发明全景立体影像成像装置在任意视角观察时球面坐标系对的位置关系示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，图1是本发明第一实施例提供的全景立体影像的成像方法的流程示意图，如图1所示，全景立体影像的成像方法包括以下步骤：
步骤S20，根据不同的应用场景，在空间中任意排布若干个摄像单元；
步骤S21，对已排布完成的各个摄像单元的内外参数进行标定；
步骤S22，控制各个摄像单元进行协同工作，并进行像点坐标的同步采集并传输；
步骤S23，在空间中任意指定一个左眼球面坐标系OL和一个右眼球面坐标系OR；
步骤S24，根据左眼球面坐标系OL和右眼球面坐标系OR分别解算摄像单元的像点坐标到左眼球面坐标系OL和右眼球面坐标系OR的映射函数，并根据解算的映射函数分别生成与左眼球面坐标系OL对应的左眼球面图像和与右眼球面坐标系OR对应的右眼球面图像；
步骤S25，将左眼球面图像和右眼球面图像分别投到左眼和右眼中完成全景图像的立体显示。
本发明第一实施例中，左眼球面图像所在的球心和右眼球面图像所在的球心之间的距离等于人眼瞳距。
请参阅图2，图2是图1中映射函数的解算方法的流程示意图，如图2所示，映射函数的解算方法包括以下步骤：
步骤S70，在摄像单元坐标系下，确定物点坐标与像点坐标的关系；
步骤S71，标定球面坐标系和摄像单元坐标系，确定摄像单元坐标系和球面坐标系之间的变换关系；
步骤S72，根据物点坐标与像点坐标的关系及摄像单元坐标系和球面坐标系之间的变换关系，求解物点在球面坐标系的坐标；
步骤S73，根据物点在球面坐标系的坐标，求解物点投影到半径为r的球面坐标系上的球面坐标。
请参阅图3，图3是本发明第二实施例提供的全景立体影像的成像装置的结构示意图，如图3所示，全景立体影像的成像装置包括：
摄像单元排布模块31，用于根据不用的应用场景，在空间中任意排布若干个摄像单元；
系统标定模块32，用于对摄像单元排布模块31中已排布完成的各个摄像单元的内外参数进行标定，其与摄像单元排布模块31相连接；
硬件通讯模块33，用于控制摄像单元排布模块31的各个摄像单元进行协同工作并进行像点坐标的同步采集，接收摄像单元排布模块31中各个摄像单元采集到的像点坐标并传输，其与摄像单元排布模块31相连接；
左眼和右眼球面坐标系指定模块34，用于在空间中任意指定一个左眼球面坐标系OL和一个右眼球面坐标系OR；
映射函数解算模块35，用于接收硬件通讯模块33传输的像点坐标，并根据左眼和右眼球面坐标系指定模块34中的左眼球面坐标系OL和右眼球面坐标系OR分别解算摄像单元排布模块31中已标定摄像单元的像点坐标到左眼球面坐标系OL和右眼球面坐标系OR的映射函数，并根据解算的映射函数分别生成与左眼球面坐标系OL对应的左眼球面图像和与右眼球面坐标系OR对应的右眼球面图像，其与硬件通讯模块33和左眼和右眼球面坐标系指定模块34相连接；
图像显示模块36，用于将映射函数解算模块35中的左眼球面图像和右眼球面图像分别投到左眼和右眼中完成全景图像的立体显示，其与映射函数解算模块35相连接。
本发明第二实施例中，左眼球面图像所在的球心和右眼球面图像所在的球心之间的距离等于人眼瞳距。
请参阅图4，图4是图3中映射函数解算模块的结构示意图，如图4所示，映射函数解算模块包括：
坐标关系确定单元81，用于在摄像单元坐标系下，确定物点坐标与像点坐标的关系；
坐标系变换关系确定单元82，用于标定球面坐标系和摄像单元坐标系，确定摄像单元坐标系和球面坐标系之间的变换关系；
物点的球面坐标系坐标求解单元83，用于根据物点坐标与像点坐标的关系及摄像单元坐标系和球面坐标系之间的变换关系，求解物点在球面坐标系的坐标，其与坐标关系确定单元81和坐标系变换关系确定单元82相连接；
物点的球面坐标求解单元84，用于根据物点在球面坐标系的坐标，求解物点投影到半径为r的球面坐标系上的球面坐标，其与物点的球面坐标系坐标求解单元83相连接。
请参阅图5，图5是单一摄像单元所成的像在任意球面坐标系下的映射关系示意图，如图5所示，根据任意球面坐标系501与任意空间姿态的摄像单元502之间的空间关系，以及摄像单元的内部参数，可以建立像点坐标、物距d到球面坐标的映射函数，其中球面坐标系表示为OXYZ，摄像单元坐标系表示为O’X’Y’Z’，摄像单元内部参数以向量的形式记为K，包括光心成像坐标、焦距、综合畸变参数、镜头视场角等。
图5是空间映射关系在二维平面（OXZ）的简化示例，根据摄像单元坐标系（O’X’Y’Z’）与球面坐标系的相对位置关系，可以得到光心在平面（OXZ）上的坐标，同时可将像点坐标转换为平面（OXZ）上的坐标；物点坐标可以通过摄像单元成像公式和物距d求得；根据摄像单元坐标系（O’X’Y’Z’）和球面坐标系OXYZ的空间关系，求得物点在球面坐标系下的坐标值（R，θ），R是球的半径，θ是向量OP在OXZ平面上与X轴的夹角。同理，可以将上述二维平面的映射关系扩展为三维空间的映射关系。
由图5所示的几何关系可以将摄像单元坐标系下任意像点映射到球面坐标系中，映射函数可表示为，其中O表示球面坐标系OXYZ，O’表示摄像单元坐标系O’X’Y’Z’，表示摄像单元内部参数向量，其中表示光心在像面的坐标，f表示焦距，表示成像综合畸变，d表示物距，表示像点坐标，其中物距d可以人为指定或使用距离传感器测量获得，其余参数通过系统标定获得。
具体地，映射函数可以通过以下计算过程实现：
1． 物点在摄像单元坐标系O’X’Y’Z’下与像点坐标的关系如式1所示：
(式1)
2． 已标定O和O’的前提下，球面坐标系和摄像单元坐标系之间的变换关系如式2所示：
(式2)
可通过式2求得一个3行3列的旋转矩阵R，和一个3行1列的平移矩阵T。
3．由式1和式2的结果，物点P在球面坐标系的坐标可由式3求得：
(式3)
4． 综上，物点P投影到半径为r的球面坐标系OXYZ下球面的坐标可由式4求得：
(式4)
请参阅图6，图6是多个摄像单元的交叠成像区域在任意球面坐标系的映射关系示意图，如图6所示，在多摄像单元的交叠成像区域，不同摄像单元坐标系下的物距d可由多目立体视觉关系求解得出，所以在任意球面坐标系601下，根据相互交叠成像的摄像单元602和603之间的空间关系，可解得物点P相对摄像单元602的物距，根据图3的分析可知，在P的物距和像点坐标已知的情况下，可以根据球面坐标系OXYZ和摄像单元坐标系O 1 X 1 Y 1 的空间关系，求得点P在球面坐标系下的坐标，所以对于交叠成像的两个摄像单元，可以将物点P到球面坐标系的映射关系表示，其中O表示球面坐标系OXYZ，O 1 和O 2 分别表示摄像单元坐标系O 1 X 1 Y 1 和O 2 X 2 Y 2 ，K 1 和K 2 分别表示摄像单元602和摄像单元603的内部参数向量，和分别是物点P在摄像单元602和摄像单元603中的像点坐标，该方法不需要预知物距d，可以自动解算出物点的空间三维坐标。
本发明提供了一种全景立体影像的成像系统，包括N个在同一圆的圆周上任意分布或等间距设置的摄像单元，其中N为大于或等于2的正整数。请参阅图7，图7是本发明第三实施例提供的全景立体影像的成像系统的结构示意图，如图7所示，该全景立体影像的成像系统包括两个背部对齐成轴对称设置的摄像单元41，所述摄像单元41的视场角大于180度。
请参阅图8，图8是本发明第四实施例提供的全景立体影像的成像系统的结构示意图，如图8所示，该全景立体影像的成像系统包括三个在同一圆的圆周上任意分布或等间距设置的摄像单元42，所述摄像单元42的视场角大于120度。
请参阅图9，图9是本发明第五实施例提供的全景立体影像的成像系统的结构示意图，如图9所示，该全景立体影像的成像系统包括四个在同一圆的圆周上任意分布或等间距设置的摄像单元43，所述摄像单元43的视场角大于180度。
请参阅图10，图10是本发明第六实施例提供的全景立体影像的成像系统的结构示意图，如图10所示，该全景立体影像的成像系统包括八个在同一圆的圆周上任意分布或等间距设置的摄像单元44，所述摄像单元44的视场角大于90度。
请参阅图11，图11是本发明第七实施例提供的全景立体影像的成像系统的结构示意图，如图11所示，该全景立体影像的成像系统包括四个在同一圆的圆周上任意分布或等间距设置的摄像单元A45及两个背部对齐成轴对称设置且其光轴连线穿过由所述四个摄像单元A45构成的平面的中心并与所述平面垂直的摄像单元B46，所述摄像单元A45的视场角大于180度，所述摄像单元B46的视场角大于180度。
请参阅图12，图12是本发明第八实施例提供的全景立体影像的成像系统的结构示意图，如图12所示，该全景立体影像的成像系统包括八个在同一圆的圆周上任意分布或等间距设置的摄像单元Ｃ47，及两个背部对齐成轴对称设置且其光轴连线穿过由所述八个摄像单元Ｃ47构成的平面的中心并与所述平面垂直的摄像单元Ｄ48，所述摄像单元C47的视场角大于90度，所述摄像单元D48的视场角大于180度。
本发明提供了另一种全景立体影像的成像系统，包括M个在同一正多边形的边上任意分布或相互对称设置的摄像单元，其中M为大于或等于2的正整数。请参阅图13，图13是本发明第九实施例提供的全景立体影像的成像系统的结构示意图，如图13所示，该全景立体影像的成像系统包括八个在同一四边形的四条边上任意分布或两两对称设置的摄像单元49，所述摄像单元49的视场角大于180度。
本发明的全景立体影像成像方法可以将全景立体影像成像装置拍摄到的物点映射到任意中心的球面坐标系下，构成图像的全景球，所以可以通过将物点映射到多组球心距离接近观察者瞳距的球面坐标系对的方式，模拟不同视角情况下左右眼的成像全景球，并将球面坐标系对所对应的左右眼全景球图像通过分屏显示装置分别投射到左右眼中，来实现全景图像的立体显示。请参阅图14，图14是本发明全景立体影像成像装置向正前方观察时球面坐标系对的位置关系示意图，如图14所示OL表示左眼全景球坐标系，OR表示右眼全景球坐标系，为了给观察者以更自然的体验，左眼全景球坐标系OL与右眼全景球坐标系OR球心间的距离D可根据需求设置为观察者瞳距，左眼全景球和右眼全景球的半径设为相同值R；请参阅图15，图15是本发明全景立体影像成像装置转向右前方观察时球面坐标系对的位置关系示意图；请参阅图16，图16是本发明全景立体影像成像装置转向正右方观察时球面坐标系对的位置关系示意图；请参阅图17，图17是本发明全景立体影像成像装置在任意视角观察时球面坐标系对的位置关系示意图。
本发明通过多摄像单元组合的方式实现了较大自由度的全景立体影像获取，并以此为基础通过使用多全景球对的方法解决了全景影像真实多视角立体显示的问题，本发明有效减少了全景拍摄设备在搭建过程中对各摄像单元参数的一致性和位置排布的均匀性的约束，大大提高了摄像单元拍摄的自由度和灵活性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种全景立体影像的成像方法，其特征在于，包括下述步骤：
步骤A，根据不同的应用场景，在空间中任意排布若干个摄像单元；
步骤B，对已排布完成的所述步骤A中的各个摄像单元的内外参数进行标定；
步骤C，控制各个所述步骤B中的摄像单元进行协同工作，并进行像点坐标的同步采集并传输；
步骤D，在空间中任意指定一个左眼球面坐标系OL和一个右眼球面坐标系OR；
步骤E，根据所述步骤D中的左眼球面坐标系OL和右眼球面坐标系OR分别解算所述步骤C中的摄像单元的像点坐标到左眼球面坐标系OL和右眼球面坐标系OR的映射函数，并根据解算的映射函数分别生成与左眼球面坐标系OL对应的左眼球面图像和与右眼球面坐标系OR对应的右眼球面图像；
步骤F，将所述步骤E中的左眼球面图像和右眼球面图像分别投到左眼和右眼中完成全景图像的立体显示。
2.根据权利要求1所述的全景立体影像的成像方法，其特征在于，所述映射函数的解算方法包括下述步骤：
步骤E1，在摄像单元坐标系下，确定物点坐标与像点坐标的关系；
步骤E2, 标定球面坐标系和摄像单元坐标系，确定摄像单元坐标系和球面坐标系之间的变换关系；
步骤E3，根据所述步骤E1中的物点坐标与像点坐标的关系及所述步骤E2中的摄像单元坐标系和球面坐标系之间的变换关系，求解物点在球面坐标系的坐标；
步骤E4，根据所述步骤E3中的物点在球面坐标系的坐标，求解物点投影到半径为r的球面坐标系上的球面坐标。
3.根据权利要求1所述的全景立体影像的成像方法，其特征在于，所述左眼球面图像所在的球心和右眼球面图像所在的球心之间的距离等于人眼瞳距。
4.一种全景立体影像的成像装置，其特征在于，包括：
摄像单元排布模块，用于根据不用的应用场景，在空间中任意排布若干个摄像单元；
系统标定模块，用于对所述摄像单元排布模块中已排布完成的各个摄像单元的内外参数进行标定，其与所述摄像单元排布模块相连接；
硬件通讯模块，用于控制所述摄像单元排布模块的各个摄像单元进行协同工作并进行像点坐标的同步采集，接收摄像单元排布模块中各个摄像单元采集到的像点坐标并传输，其与所述摄像单元排布模块相连接；
左眼和右眼球面坐标系指定模块，用于在空间中任意指定一个左眼球面坐标系OL和一个右眼球面坐标系OR；
映射函数解算模块，用于接收所述硬件通讯模块传输的像点坐标，并根据左眼和右眼球面坐标系指定模块中的左眼球面坐标系OL和右眼球面坐标系OR分别解算所述摄像单元排布模块中已标定摄像单元的像点坐标到左眼球面坐标系OL和右眼球面坐标系OR的映射函数，并根据解算的映射函数分别生成与左眼球面坐标系OL对应的左眼球面图像和与右眼球面坐标系OR对应的右眼球面图像，其与所述硬件通讯模块和所述左眼和右眼球面坐标系指定模块相连接；
图像显示模块，用于将所述映射函数解算模块中的左眼球面图像和右眼球面图像分别投到左眼和右眼中完成全景图像的立体显示，其与所述映射函数解算模块相连接。
5.根据权利要求4所述的全景立体影像的成像装置，其特征在于，所述映射函数解算模块包括：
坐标关系确定单元，用于在摄像单元坐标系下，确定物点坐标与像点坐标的关系；
坐标系变换关系确定单元，用于标定球面坐标系和摄像单元坐标系，确定摄像单元坐标系和球面坐标系之间的变换关系；
物点的球面坐标系坐标求解单元，用于根据所述物点坐标与像点坐标的关系及所述摄像单元坐标系和球面坐标系之间的变换关系，求解物点在球面坐标系的坐标，其与所述坐标关系确定单元和所述坐标系变换关系确定单元相连接；
物点的球面坐标求解单元，用于根据所述物点在球面坐标系的坐标，求解物点投影到半径为r的球面坐标系上的球面坐标，其与所述物点的球面坐标系坐标求解单元相连接。
6.根据权利要求4所述的全景立体影像的成像装置，其特征在于，所述左眼球面图像所在的球心和右眼球面图像所在的球心之间的距离等于人眼瞳距。
7.一种全景立体影像的成像系统，其特征在于，所述全景立体影像的成像系统包括N个在同一圆的圆周上任意分布或等间距设置的摄像单元，其中N为大于或等于2的正整数。
8.一种全景立体影像的成像系统，其特征在于，所述全景立体影像的成像系统包括八个在同一四边形的四条边上任意分布或两两对称设置的摄像单元，所述摄像单元的视场角大于180度。
9.一种全景立体影像的成像系统，其特征在于，所述全景立体影像的成像系统包括四个在同一圆的圆周上任意分布或等间距设置的摄像单元A及两个背部对齐成轴对称设置且其光轴连线穿过由所述四个摄像单元A构成的平面的中心并与所述平面垂直的摄像单元B，所述摄像单元A的视场角大于180度，所述摄像单元B的视场角大于180度。
10.一种全景立体影像的成像系统，其特征在于，所述全景立体影像的成像系统包括八个在同一圆的圆周上任意分布或等间距设置的摄像单元Ｃ，及两个背部对齐成轴对称设置且其光轴连线穿过由所述八个摄像单元Ｃ构成的平面的中心并与所述平面垂直的摄像单元Ｄ，所述摄像单元C的视场角大于90度，所述摄像单元D的视场角大于180度。
CN201610475449.2A 2016-06-27 2016-06-27 一种全景立体影像的成像方法、装置及系统 Active CN106990668B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610475449.2A CN106990668B (zh) 2016-06-27 2016-06-27 一种全景立体影像的成像方法、装置及系统
PCT/CN2017/080195 WO2018000892A1 (zh) 2016-06-27 2017-04-12 一种全景立体影像的成像方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610475449.2A CN106990668B (zh) 2016-06-27 2016-06-27 一种全景立体影像的成像方法、装置及系统

Publications (2)

Publication Number Publication Date
CN106990668A true CN106990668A (zh) 2017-07-28
CN106990668B CN106990668B (zh) 2019-10-11

Family

ID=59413654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610475449.2A Active CN106990668B (zh) 2016-06-27 2016-06-27 一种全景立体影像的成像方法、装置及系统

Country Status (2)

Country Link
CN (1) CN106990668B (zh)
WO (1) WO2018000892A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322730A (zh) * 2018-03-09 2018-07-24 嘀拍信息科技南通有限公司 一种可采集360度场景结构的全景深度相机系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766731A (zh) * 2019-10-21 2020-02-07 武汉中海庭数据技术有限公司 一种全景影像与点云自动配准的方法、装置及存储介质
CN111429529B (zh) * 2020-04-10 2024-02-20 浙江大华技术股份有限公司 一种坐标转换的标定方法、电子设备以及计算机存储介质
CN113012032B (zh) * 2021-03-03 2022-12-09 中国人民解放军战略支援部队信息工程大学 一种自动标注地名的空中全景图像显示方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101365140A (zh) * 2008-09-25 2009-02-11 浙江大学 基于矩阵分解的摄像机阵列标定方法
US20100328428A1 (en) * 2009-06-26 2010-12-30 Booth Jr Lawrence A Optimized stereoscopic visualization
CN102170576A (zh) * 2011-01-30 2011-08-31 中兴通讯股份有限公司 双摄像头立体拍摄的处理方法及装置
CN103149788A (zh) * 2013-03-22 2013-06-12 天津曙光敬业科技有限公司 空中360°全景照片拍摄装置及方法
CN203069959U (zh) * 2012-12-13 2013-07-17 中国科学院宁波材料技术与工程研究所 一种360度全景摄像机
CN103235478A (zh) * 2012-12-19 2013-08-07 乔楠 用于环幕立体摄像的系统、设备、图像处理方法及装置
CN103973944A (zh) * 2013-02-06 2014-08-06 深圳市振华微电子有限公司 半球型全景成像装置及方法
CN204631439U (zh) * 2015-05-29 2015-09-09 杨振贤 一种图像采集设备
CN105187812A (zh) * 2015-09-02 2015-12-23 中国兵器工业计算机应用技术研究所 一种双目视觉立体匹配算法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101365140A (zh) * 2008-09-25 2009-02-11 浙江大学 基于矩阵分解的摄像机阵列标定方法
US20100328428A1 (en) * 2009-06-26 2010-12-30 Booth Jr Lawrence A Optimized stereoscopic visualization
CN102170576A (zh) * 2011-01-30 2011-08-31 中兴通讯股份有限公司 双摄像头立体拍摄的处理方法及装置
CN203069959U (zh) * 2012-12-13 2013-07-17 中国科学院宁波材料技术与工程研究所 一种360度全景摄像机
CN103235478A (zh) * 2012-12-19 2013-08-07 乔楠 用于环幕立体摄像的系统、设备、图像处理方法及装置
CN103973944A (zh) * 2013-02-06 2014-08-06 深圳市振华微电子有限公司 半球型全景成像装置及方法
CN103149788A (zh) * 2013-03-22 2013-06-12 天津曙光敬业科技有限公司 空中360°全景照片拍摄装置及方法
CN204631439U (zh) * 2015-05-29 2015-09-09 杨振贤 一种图像采集设备
CN105187812A (zh) * 2015-09-02 2015-12-23 中国兵器工业计算机应用技术研究所 一种双目视觉立体匹配算法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322730A (zh) * 2018-03-09 2018-07-24 嘀拍信息科技南通有限公司 一种可采集360度场景结构的全景深度相机系统

Also Published As

Publication number Publication date
WO2018000892A1 (zh) 2018-01-04
CN106990668B (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN108122191B (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN104079808B (zh) 超高分辨率宽场成像系统
CN106990668B (zh) 一种全景立体影像的成像方法、装置及系统
CN105739231B (zh) 一种平面分布的多摄像头全景立体成像装置
US10057487B1 (en) Panoramic imaging systems based on normal-lens cameras
CN109272570A (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN107038724A (zh) 全景鱼眼相机影像校正、合成与景深重建方法与系统
CN106501885B (zh) 透镜及其制造方法、以及光学显示设备
JP2018524952A (ja) クローキングシステム及び方法
TWI527434B (zh) 利用光場相機產生立體影像的方法及光場相機
CN103605210A (zh) 一种虚模式集成成像3d显示装置
WO2020117459A1 (en) Eccentric incident luminance pupil tracking
CN105959669A (zh) 一种基于重映射的集成成像微图像阵列快速生成方法
JPWO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
CN107545537A (zh) 一种从稠密点云生成3d全景图片的方法
CN103235478B (zh) 用于环幕立体摄像的系统、设备、图像处理方法及装置
Afshari et al. Hardware implementation of an omnidirectional camerawith real-time 3D imaging capability
CN105608665B (zh) 多通道球面立体视景视觉感知深度精确计算方法
CN111583117A (zh) 一种适用于太空复杂环境的快速全景拼接方法及装置
CN110533577A (zh) 鱼眼图像校正方法及装置
CN106851246B (zh) 用于确定三维图像或视频的视觉疲劳度的方法和设备
KR101614121B1 (ko) 집적 영상 표시 방법 및 장치
CN106842594B (zh) 集成立体显示装置
CN109923854B (zh) 图像处理装置、图像处理方法以及记录介质
WO2018088211A1 (ja) 画像処理装置、画像処理方法、及び、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Shen Jingcheng

Inventor after: Liu Yahui

Inventor after: Wang Shibo

Inventor after: Wang Chao

Inventor before: Liu Yahui

Inventor before: Shen Jingcheng

Inventor before: Wang Shibo

Inventor before: Wang Chao

CB03 Change of inventor or designer information
CP03 Change of name, title or address

Address after: Building 4D, Gongyanhui Science and Technology Industrial Park, No. 160, Xihu West Road, Wujin National High and New Technology Industrial Development Zone, Changzhou City, Jiangsu Province, 213166

Patentee after: Pi Technology (Changzhou) Co.,Ltd.

Address before: R2-B609, High tech Industrial Park, No. 20 Gaoxin South Seventh Road, Nanshan District, Shenzhen City, Guangdong Province, 518057

Patentee before: SHENZHEN PISOFTTECH TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address