CN110945864B - 发送设备、发送方法、接收设备、接收方法和成像设备 - Google Patents

发送设备、发送方法、接收设备、接收方法和成像设备 Download PDF

Info

Publication number
CN110945864B
CN110945864B CN201880049253.4A CN201880049253A CN110945864B CN 110945864 B CN110945864 B CN 110945864B CN 201880049253 A CN201880049253 A CN 201880049253A CN 110945864 B CN110945864 B CN 110945864B
Authority
CN
China
Prior art keywords
image
ultra
imager
view
receiving unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880049253.4A
Other languages
English (en)
Other versions
CN110945864A (zh
Inventor
市川由纪夫
漆原真
嶺行伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110945864A publication Critical patent/CN110945864A/zh
Application granted granted Critical
Publication of CN110945864B publication Critical patent/CN110945864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Abstract

本发明实现了高质量全360度球形图像的实时分发。通过成像单元获得视角为180°或更大的超广视角的正面图像和背面图像。超广视角的正面图像和背面图像通过发送单元而被发送到外部设备。例如，成像单元包括用于通过拍摄由鱼眼透镜捕获的正面侧图像来获得超广视角正面图像的第一成像器，以及用于通过拍摄由鱼眼透镜捕获的背面侧图像来获得超广视角背面图像的第二成像器，以相对于第一成像器旋转90°的状态放置第二成像器，第一成像器在缺少正面侧图像的上端侧和下端侧的部分的情况下拍摄由鱼眼透镜捕获的正面侧图像，并且第二成像器在缺少背面侧图像的左端侧和右端侧的部分的情况下拍摄由鱼眼透镜捕获的背面侧图像。

Description

发送设备、发送方法、接收设备、接收方法和成像设备
技术领域
本技术涉及发送设备、发送方法、接收设备、接收方法和成像设备，并且更具体地涉及处理超视角图像以获得全向图像的发送设备等。
背景技术
专利文献1描述了一种成像设备以背靠背的方式捕获图像以获得各自具有大于或等于180°的超广视角的正面图像和背面图像，并且从这两个图像创建等距柱状(equirectangular)图像并将这些等距柱状图像发送到通信终端，以及该通信终端基于这些等距柱状图像创建全向图像，并从该全向图像中切出与用户的视线方向相对应的图像以获得显示图像。
引用列表
专利文献
专利文献1：日本专利特开2016-194784号公报
发明内容
本发明要解决的问题
在专利文献1中描述的技术中，成像设备从各自具有超广视角的正面图像和背面图像创建等距柱状图像，并将这些等距柱状图像发送到通信终端，并且通信终端基于这些等距柱状图像创建全向图像。由于存在等距柱状图像的介入，因此成像设备上的处理负荷重，并且发生图像质量下降，所以难以实现高图像质量的实时分发。
本技术的一个目的是使得能够实现全向图像的高图像质量实时分发。
问题的解决方案
本技术的一个概念在于
一种发送设备，其包括：
成像单元，其获得各自具有大于或等于180°的超广视角的正面图像和背面图像；和
发送单元，其将各自具有超广视角的正面图像和背面图像发送到外部设备。
在本技术中，成像单元获得各自具有大于或等于180°的超广视角的正面图像和背面图像。例如，成像单元可包括：第一成像器，其捕获由鱼眼透镜摄入的正面侧图像以获得具有超广视角的正面图像；以及第二成像器，其捕获由鱼眼透镜摄入的背面侧图像以获得具有超广视角的背面图像。
在这种情况下，例如，第二成像器可被布置成相对于第一成像器旋转90°的状态，第一成像器可以在部分地缺少正面侧图像的上端侧和下端侧的状态下捕获由鱼眼透镜摄入的正面侧图像，并且第二成像器可以在部分地缺少背面侧图像的左端侧和右端侧的状态下捕获由鱼眼透镜摄入的背面侧图像。
执行这样的成像，由此每个成像器可以捕获由更大尺寸的鱼眼透镜摄入的图像，并且图像质量可以得到提高。注意，由于每个成像器中的缺失图像部分被另一个成像器捕获，因此对于在接收侧获得全向图像没有障碍。
在接收侧，由两个成像器获得的正面图像和背面图像以与棒球的两个皮革覆盖物类似的位置关系进行组合，从而创建全向图像。在这种情况下，由于直至左右方向上的组合边界的视角在正面相当广，因此在左右方向上大幅摇动视线方向的情况下，用户不太可能感到图像的不协调。
发送单元将各自具有超广视角的正面图像和背面图像发送到外部设备。例如，发送单元还可以将透镜信息与各自具有超广视角的正面图像和背面图像一起发送，该透镜信息用于通过将这两个图像粘贴在球体的内表面上来获得全向图像。如上所述发送透镜信息，由此，在接收侧，可以基于透镜信息从各自具有超广视角的正面图像和背面图像容易且适当地创建全向图像。
另外，例如，发送单元可以组合并发送各自具有超广视角的正面图像和背面图像。通过如上所述组合并发送两个图像，可以确保两个图像之间的同步关系。
如上所述，在本技术中，由成像单元获得的各自具有超广视角的正面图像和背面图像被发送到外部设备。因此，各自具有超广视角的正面图像和背面图像不被转换成等距柱状图像以进行发送，不存在由于该转换的处理负荷，不存在由于该转换的图像质量下降，并且全向图像的高图像质量实时分发成为可能。
另外，本技术的另一个概念在于
一种接收设备，其包括：
接收单元，其从外部设备接收各自具有大于或等于180°的超广视角的正面图像和背面图像，其中
通过在部分地缺少正面侧图像的上端侧和下端侧的状态下捕获由鱼眼透镜摄入的正面侧图像来获得具有超广视角的正面图像，
通过在部分地缺少背面侧图像的左端侧和右端侧的状态下捕获由鱼眼透镜摄入的背面侧图像来获得具有超广视角的正面图像，并且
接收设备还包括图像处理单元，该图像处理单元通过将各自具有超广视角的正面图像和背面图像粘贴在球体的内表面上来获得全向图像。
在本技术中，接收单元从外部设备接收各自具有大于或等于180°的超广视角的正面图像和背面图像。通过在部分地缺少正面侧图像的上端侧和下端侧的状态下捕获由鱼眼透镜摄入的正面侧图像来获得具有超广视角的正面图像。另外，通过在部分地缺少背面侧图像的左端侧和右端侧的状态下捕获由鱼眼透镜摄入的背面侧图像来获得具有超广视角的正面图像。图像处理单元将各自具有超广视角的正面图像和背面图像粘贴在球体的内表面上以获得全向图像。
例如，接收单元还可以与各自具有超广视角的正面图像和背面图像一起接收透镜信息，该透镜信息用于通过将这两个图像粘贴在球体的内表面上来获得全向图像，并且图像处理单元可以通过基于透镜信息将各自具有超广视角的正面图像和背面图像粘贴在球体的内表面上来获得全向图像。在这种情况下，可以从各自具有超广视角的正面图像和背面图像容易且适当地创建全向图像。
如上所述，在本技术中，将从外部设备接收的各自具有超广视角的正面图像和背面图像粘贴在球体的内表面上并且获得全向图像。因此，不从通过转换各自具有超广视角的正面图像和背面图像而获得的等距柱状图像创建全向图像，并且可以以高图像质量获得全向图像。
另外，本技术的另一个概念在于
一种成像设备，其包括：
第一成像器，其捕获由鱼眼透镜摄入的正面侧图像以获得具有超广视角的正面图像；和
第二成像器，其捕获由鱼眼透镜摄入的背面侧图像以获得具有超广视角的背面图像，其中
第二成像器被布置成相对于第一成像器旋转90°的状态，
第一成像器在部分地缺少正面侧图像的上端侧和下端侧的状态下捕获由鱼眼透镜摄入的正面侧图像，并且
第二成像器在部分地缺少背面侧图像的左端侧和右端侧的状态下捕获由鱼眼透镜摄入的背面侧图像。
本技术的成像设备包括第一成像器和第二成像器。第一成像器捕获由鱼眼透镜摄入的正面侧图像以获得具有超广视角的正面图像。第二成像器捕获由鱼眼透镜摄入的背面侧图像以获得具有超广视角的背面图像。
第二成像器被布置成相对于第一成像器旋转90°的状态。第一成像器在部分地缺少正面侧图像的上端侧和下端侧的状态下捕获由鱼眼透镜摄入的正面侧图像。另外，第二成像器在部分地缺少背面侧图像的左端侧和右端侧的状态下捕获由鱼眼透镜摄入的背面侧图像。
如上所述，在本技术中，第二成像器被布置成相对于第一成像器旋转90°的状态。因此，使得每个成像器能够捕获由更大尺寸的鱼眼透镜摄入的图像，并且可以提高图像质量。注意，由于每个成像器中的缺失图像部分被另一个成像器捕获，所以对于从两个图像获得全向图像没有障碍。
另外，在这种情况下，两个图像以与棒球的两个皮革覆盖物类似的位置关系进行组合，由此创建全向图像。因此，由于直至左右方向上的组合边界的视角在正面相当广，因此在左右方向上大幅摇动视线方向的情况下，用户不太可能感觉到图像的不协调。
发明的效果
根据本技术，全向图像的高图像质量实时分发成为可能。注意，这里描述的效果不一定受限制，并且可以是本公开中描述的任何效果。
附图说明
图1是示出作为一个实施例的分发系统的配置示例的框图。
图2是示出相机的配置示例的图。
图3是示出分别构成用于正面图像和背面图像的成像单元的每个成像器的光接收单元与由鱼眼透镜摄入的图像之间的位置关系的图。
图4是示出成像位置的示例的图。
图5是用于说明相机中的图像处理的图。
图6是示出透镜信息的示例的图。
图7是用于说明头戴式显示器中的图像处理的图。
图8是示出相机和个人计算机的配置示例的框图。
图9是示出头戴式显示器的配置示例的框图。
图10是示出相机的配置示例的图。
图11是示出分别构成用于正面图像和背面图像的成像单元的每个成像器的光接收单元与由鱼眼透镜摄入的图像之间的位置关系的图。
图12是用于说明个人计算机中的图像处理的图。
图13是用于说明头戴式显示器中的图像处理的图。
图14是示出相机和个人计算机的配置示例的框图。
图15是示出头戴式显示器的配置示例的框图。
图16是用于说明头戴式显示器中的图像处理的图。
图17是示出相机和个人计算机的配置示例的框图。
图18是示出头戴式显示器的配置示例的框图。
具体实施方式
以下是对用于实施本发明的模式的描述(该模式在下文中将被称为“实施例”)。注意，将按以下顺序进行描述。
1.实施例
2.修改
<1.实施例>
[发送/接收系统]
图1示出了作为一个实施例的分发系统10的配置示例。分发系统10包括构成发送侧设备的相机110和个人计算机120、云服务器210，以及构成接收侧设备的头戴式显示器310。在该实施例中，接收侧设备是头戴式显示器310，但这不是限制，并且接收侧设备可以是其他设备，例如投影仪、个人计算机、智能电话、平板计算机等。
相机110和个人计算机120经由数字接口(在这里是高清晰度多媒体接口(HDMI))彼此连接。另外，个人计算机120和云服务器210经由因特网线路彼此连接。另外，云服务器210和头戴式显示器310经由因特网线路彼此连接。注意，“HDMI”是注册商标。
相机110构成成像设备。相机110捕获被摄体的图像，以获得各自具有大于或等于180°的超广视角(例如，220°或250°的视角)的正面图像和背面图像。该图像可以是视频图像或静止图像，但是在这里假定该图像是视频图像。
个人计算机120通过云服务器210将由相机110获得的各自具有超广视角的正面图像和背面图像发送到作为外部设备的头戴式显示器310。在这种情况下，个人计算机120将通过以诸如H.264/AVC之类的视频压缩格式对图像数据进行编码而获得的视频流加载在诸如MPEG2-TS之类的容器上，并将该视频流作为IP流式数据来发送。
在这里，与视频流的发送一起，个人计算机120还发送透镜信息，该透镜信息用于通过将各自具有超广视角的正面图像和背面图像粘贴在球体的内表面上来获得全向图像。通过发送如上所述的透镜信息，头戴式显示器310可以基于透镜信息从各自具有超广视角的正面图像和背面图像容易且适当地创建全向图像。
通过用户在发送侧的操作将透镜信息提供给个人计算机120。在这种情况下，透镜信息可以由用户从键盘手动给出，或者可以从诸如USB存储器之类的存储介质给出。注意，稍后将描述透镜信息的细节。注意，不是总是有必要将透镜信息与视频流一起发送，并且可以使用其中通过另一手段将透镜信息供应给头戴式显示器310的配置。
云服务器210包括接收服务器211和分发服务器212。接收服务器211接收从个人计算机120发送的IP流式数据。分发服务器212将接收服务器211所接收的IP流式数据发送(分发)到头戴式显示器310。
头戴式显示器310从分发服务器212接收IP流式数据，取出各自具有超广视角的正面图像和背面图像，并且通过基于透镜信息将这些图像粘贴在球体的内表面上来创建全向图像。然后，头戴式显示器310从全向图像中提取与用户的视线方向相对应的区域的图像，并在显示器上显示该图像。注意，即使在接收侧设备不是头戴式显示器310的情况下，也以类似的方式创建全向图像，并使用全向图像来进行图像显示。
在本实施例中，存在第一至第三形式，其中相机110、个人计算机120和头戴式显示器310的功能各不相同。在下文中，将进一步描述每种形式。
“第一形式”
在相机110中，在构成正面图像的成像单元的成像器与构成背面图像的成像单元的成像器之间，水平和垂直的位置关系彼此相同。在这种情况下，将每个成像器布置成使得其水平方向与相机110的水平方向匹配并且其垂直方向与相机110的垂直方向匹配。然后，在这种情况下，每个成像器捕获由鱼眼透镜摄入的整个图像。
图2(a)至2(c)示出了相机110的配置示例。图2(a)是示出了相机110的外观的透视图。成像单元布置在壳体111的顶部，并且存在构成正面图像的成像单元的鱼眼透镜112f和构成背面图像的成像单元的鱼眼透镜112b。
图2(b)是示出壳体111的一部分被去除的状态的透视图。另外，图2(c)示出了示出壳体111被完全去除的状态的侧视图。在相机110内部，存在捕获由鱼眼透镜112f摄入的正面侧图像的成像器113f和捕获由鱼眼透镜112b摄入的背面侧图像的成像器113b。在成像器113f与成像器113b之间，水平和垂直的位置关系彼此相同。
图3(a)示出了：在图4所示的成像位置处捕获图像的情况下，捕获正面侧图像的成像器113f的光接收单元与由鱼眼透镜112f摄入的图像之间的位置关系。在这种情况下，鱼眼透镜112f所摄入的图像完全包含在成像器113f的光接收单元中，并且成像器113f捕获由鱼眼透镜112f摄入的整个图像。
类似地，图3(b)示出了：在图4所示的成像位置处捕获图像的情况下，捕获背面侧图像的成像器113b的光接收单元与由鱼眼透镜112b摄入的图像之间的位置关系。在这种情况下，鱼眼透镜112b所摄入的图像完全包含在成像器113b的光接收单元中，并且成像器113b捕获由鱼眼透镜112b摄入的整个图像。
在图3(a)和3(b)中，数值“3840”和“2160”指示成像器113f和113b的分辨率，并且表明水平分辨率为3840并且垂直分辨率为2160。注意，成像器113f和113b的分辨率是示例，并且不限于这些分辨率。
另外，在相机110中，通过成像器113f和113b进行成像而获得的各自具有超广视角的正面图像和背面图像被组合，并且该组合图像的图像数据被发送到个人计算机120。
图5(a)和5(b)示出了由成像器113f和113b捕获的各自具有超广视角的正面图像和背面图像的示例，并且图5(c)示出了组合图像的示例。在组合图像中，例如，对各自具有超广视角的正面图像和背面图像执行压缩处理，并且在水平方向上并排布置这些图像。例如，在组合图像中，水平分辨率为4096，并且垂直分辨率为2160。
在个人计算机120中，对从相机110发送的组合图像的图像数据进行编码以获得视频流。然后，在诸如MPEG2-TS之类的容器上加载视频流，并将其作为IP流式数据发送到云服务器210。
从个人计算机120，与视频流一起，同时发送正面和背面的两个成像单元中的每一个的透镜信息。图6示出了透镜信息的示例。尽管省略了详细描述，但是透镜信息包括诸如成像器的分辨率等之类的光接收单元信息，以及关于投射在成像器的光接收单元上的由鱼眼透镜摄入的图像的位置、尺寸等的信息。
在头戴式显示器310中，从自IP流式数据中取出的组合图像中分离出各自具有超广视角的正面图像和背面图像，并基于透镜信息将这些图像粘贴在球体的内表面上，并创建全向图像。然后，在头戴式显示器310中，从全向图像中提取与用户的视线方向相对应的区域的图像，并将其显示在显示器(显示单元)上。
图7(a)示出了组合图像的示例。图7(b)和7(c)示出了从组合图像分离出的各自具有超广视角的正面图像和背面图像的示例。另外，图7(d)示出了通过基于透镜信息将分离出的具有超广视角的正面图像和背面图像粘贴在球体的内表面上而创建的全向图像的示例。为了简化附图，省略了粘贴图像的图示。注意，“O”指示球体的中心。
图8示出了相机110和个人计算机120的配置示例。注意，在该配置示例中，适当地省略了与本技术不直接相关的部分。相机210包括控制单元117、鱼眼透镜112f和112b、成像器113f和113b、成像信号处理单元114f和114b、正背面图像组合单元115以及HDMI发送单元116。
控制单元117控制相机110的每个单元的操作。鱼眼透镜112f和成像器113f构成正面侧成像单元。将鱼眼透镜112f所摄入的正面侧图像投射在成像器113f的光接收单元上(见图3(a))，并且从成像器113f获得具有超广视角的正面图像的成像信号(见图5(a))。
成像信号处理单元114f对由成像器113f获得的具有超广视角的正面图像的成像信号(模拟信号)执行采样保持和增益控制、从模拟信号到数字信号的转换以及进一步的白平衡调整、伽马校正等，以生成具有超广视角的正面图像的图像数据。
鱼眼透镜112b和成像器113b构成背面侧成像单元。将鱼眼透镜112b所摄入的背面侧图像投射在成像器113b的光接收单元上(见图3(b))，并且从成像器113b获得具有超广视角的背面图像的成像信号(见图5(b))。
成像信号处理单元114b对由成像器113b获得的具有超广视角的背面图像的成像信号(模拟信号)执行采样保持和增益控制、从模拟信号到数字信号的转换以及进一步的白平衡调整、伽马校正等，以生成具有超广视角的背面图像的图像数据。
正背面图像组合单元115将由成像信号处理单元114f和114b获得的各自具有超广视角的正面图像和背面图像的图像数据进行组合，以生成组合图像的图像数据(见图5(c))。HDMI发送单元116通过符合HDMI的通信经由HDMI发送路径将由正背面图像组合单元115获得的组合图像的图像数据发送到个人计算机120。
个人计算机120包括控制单元121、用户操作单元122、HDMI接收单元123、编码单元124和网络发送单元125。控制单元121控制个人计算机120的每个单元的操作。用户操作单元122是供用户执行各种类型的操作的键盘、鼠标、触摸面板、遥控器等。
HDMI接收单元123通过符合HDMI的通信经由HDMI发送路径从相机110接收组合图像的图像数据。编码单元124以诸如H.264/AVC之类的视频压缩格式对组合图像的图像数据进行编码以获得视频流。
网络发送单元125将由编码单元124获得的视频流转换为TS分组，进一步将TS分组转换为IP分组，并将该IP分组作为IP流式数据经由因特网线路发送到云服务器210。另外，网络发送单元125将来自用户操作单元122的由用户的操作给出的透镜信息(见图6)与视频流一起发送。
图9示出了头戴式显示器310的配置示例。头戴式显示器310包括控制单元311、用户操作单元312、网络接收单元313、解码单元314、正背面图像分离单元315、图像粘贴单元316、显示图像获取单元317、显示单元318和传感器单元319。
控制单元311控制头戴式显示器310的每个单元的操作。用户操作单元312是供用户执行各种类型的操作的键、按钮、触摸面板、遥控器等。网络接收单元313接收从云服务器210发送的IP流式数据和透镜信息。
网络接收单元313将接收到的透镜信息发到控制单元311。另外，网络接收单元313处理接收到的IP流式数据，以获得包括组合图像的编码图像数据的视频流。
解码单元314对由网络接收单元313获得的视频流执行解码处理，以获得组合图像的图像数据(见图7(a))。正背面图像分离单元315处理由解码单元314获得的组合图像的图像数据，以获得各自具有超广视角的正面图像(见图7(b))和背面图像(见图7(c))的图像数据。
基于由正背面图像分离单元315获得的各自具有超广视角的正面图像和背面图像的图像数据以及透镜信息，图像粘贴单元316将各自具有超广视角的正面图像和背面图像粘贴(映射)在球体的内表面上，以创建全向图像(见图7(d))。
传感器单元319基于诸如加速度/方向传感器之类的各种传感器的检测输出来检测用户的视线方向。显示图像获取单元317从图像粘贴单元316所创建的全向图像中提取与传感器单元319所检测到的用户的视线方向相对应的区域的图像作为显示图像，并输出图像数据。显示单元(显示器)318基于由显示图像获取单元317获得的图像数据来显示图像。
在上述第一形式中，由相机110组合通过成像获得的各自具有超广视角的正面图像和背面图像，并由个人计算机120将组合图像的图像数据通过云服务器210发送到头戴式显示器310。各自具有超广视角的正面图像和背面图像未被转换为等距柱状图像以进行发送，不存在由于该转换的处理负荷，不存在由于该转换的图像质量下降，并且全向图像的高图像质量实时分发成为可能。
“第二形式”
在相机110中，在构成正面图像的成像单元的成像器与构成背面图像的成像单元的成像器之间，水平和垂直的位置关系各不相同。在这种情况下，将构成正面图像的成像单元的成像器布置成使得其水平方向与相机110的水平方向匹配并且其垂直方向与相机110的垂直方向匹配。然而，将构成背面图像的成像单元的成像器布置成处于相对于构成正面图像的成像单元的成像器旋转90°的状态，并且其水平方向与相机110的垂直方向匹配并且其垂直方向与相机110的水平方向匹配。
然后，在这种情况下，每个成像器在缺少部分图像的状态下捕获由鱼眼透镜摄入的图像。换句话说，在构成正面图像的成像单元的成像器中，在部分地缺少正面侧图像的上端侧和下端侧的状态下捕获由鱼眼透镜摄入的正面侧图像。另一方面，在构成背面图像的成像单元的成像器中，在部分地缺少背面侧图像的左端侧和右端侧的状态下捕获由鱼眼透镜摄入的背面侧图像。
图10(a)至10(c)示出了相机110的配置示例。图10(a)是示出相机110的外观的透视图。成像单元布置在壳体111的顶部，并且存在构成正面图像的成像单元的鱼眼透镜112f和构成背面图像的成像单元的鱼眼透镜112b。
图10(b)是示出壳体111的一部分被去除的状态的透视图。另外，图10(c)示出了侧视图，该侧视图示出了壳体111的前部被去除的状态。在相机110内部，存在捕获由鱼眼透镜112f摄入的正面侧图像的成像器113f和捕获由鱼眼透镜112f摄入的正面侧图像的成像器113b。在成像器113f与成像器113b之间，水平和垂直的位置关系各不相同。换句话说，成像器113b处于相对于成像器113f旋转90°的状态。
图11(a)示出了：在图4所示的成像位置处捕获图像的情况下，捕获正面侧图像的成像器113f的光接收单元与由鱼眼透镜112f摄入的图像之间的位置关系。在这种情况下，由鱼眼透镜112f摄入的图像的上端侧和下端侧部分地在成像器113f的光接收单元的内部之外，并且在部分地缺少图像的上端侧和下端侧的状态下捕获由成像器113f中的鱼眼透镜112f摄入的图像。
类似地，图11(b)示出了：在图4所示的成像位置处捕获图像的情况下，捕获背面侧图像的成像器113b的光接收单元与由鱼眼透镜112b摄入的图像之间的位置关系。在这种情况下，由鱼眼透镜112b摄入的图像的左端侧和右端侧部分地在成像器113b的光接收单元的内部之外，并且在部分地缺少图像的左端侧和右端侧的状态下捕获由成像器113b中的鱼眼透镜112b摄入的图像。
在图11(a)和图11(b)中，数值“3840”和“2160”指示成像器113f和113b的分辨率，并且表明水平分辨率为3840并且垂直分辨率为2160。注意，成像器113f和113b的分辨率是示例，并且不限于这些分辨率。
在个人计算机120中，将通过相机110进行成像而获得的各自具有超广视角的正面图像和背面图像进行组合，并且对组合图像的图像数据进行编码以获得视频流。然后，在诸如MPEG2-TS之类的容器上加载视频流，并将其作为IP流式数据发送到云服务器210。
图12(a)和12(b)示出了由成像器113f和113b捕获的各自具有超广视角的正面图像和背面图像的示例，并且图12(c)示出了组合图像的示例。在组合图像中，各自具有超广视角的正面图像和背面图像经历例如水平压缩处理，并在水平方向上并排布置。例如，在组合图像中，水平分辨率为4096并且垂直分辨率为2160。
从个人计算机120，与视频流一起，正面和背面的两个成像单元中的每一个的透镜信息(见图6)也被发送到云服务器210。尽管省略了详细描述，但是透镜信息包括诸如成像器的分辨率等之类的光接收单元信息，以及关于投射在成像器上的光接收单元上的由鱼眼透镜摄入的图像的位置、尺寸等的信息。
在头戴式显示器310中，从自IP流式数据中取出的组合图像中分离出各自具有超广视角的正面图像和背面图像，并使背面图像经历90°旋转处理，此后，基于透镜信息，将具有超广视角的这些正面图像和背面图像以与棒球的两个皮革覆盖物类似的位置关系粘贴在球体的内表面上，并创建全向图像。然后，在头戴式显示器310中，从全向图像中提取与用户的视线方向相对应的区域的图像并将其显示在显示器上。
图13(a)示出了组合图像的示例。图13(b)和13(c)示出从组合图像中分离的各自具有超广视角的正面图像和背面图像的示例。另外，图13(d)示出了在已经执行90°旋转处理之后的具有超广视角的背面图像的示例。然后，图13(e)示出通过基于透镜信息将各自具有超广视角的正面图像和背面图像粘贴在球体的内表面上而创建的全向图像的示例。为了简化附图，省略了粘贴图像的图示。另外，为了容易理解，棒球的两个皮革覆盖物的接缝被指示。注意，“O”指示球体的中心。
图14示出了相机110和个人计算机120的配置示例。注意，在该配置示例中，适当地省略了与本技术不直接相关的部分。相机210包括控制单元117、鱼眼透镜112f和112b、成像器113f和113b、成像信号处理单元114ff和114b，以及HDMI发送单元116f和116b。
控制单元117控制相机110的每个单元的操作。鱼眼透镜112f和成像器113f构成正面侧成像单元。由鱼眼透镜112f摄入的正面侧图像在部分地缺少正面侧图像的上端侧和下端侧的状态下投射在成像器113f的光接收单元上(见图11(a))，并且从成像器113f获得在部分地缺少正面侧图像的上端侧和下端侧的状态下的具有超广视角的正面图像(见图12(a))的成像信号。
成像信号处理单元114f对由成像器113f获得的具有超广视角的正面图像的成像信号(模拟信号)执行采样保持和增益控制、从模拟信号到数字信号的转换以及进一步的白平衡调整、伽马校正等，以生成具有超广视角的正面图像的图像数据。
鱼眼透镜112b和成像器113b构成正面侧成像单元。由鱼眼透镜112b摄入的正面侧图像在部分地缺少正面侧图像的左端侧和右端侧的状态下投射在成像器113b的光接收单元上(见图11(b))，并且从成像器113b获得在部分地缺少正面侧图像的左端侧和右端侧的状态下的具有超广视角的背面图像(见图12(b))的成像信号。
成像信号处理单元114b对由成像器113b获得的具有超广视角的背面图像的成像信号(模拟信号)执行采样保持和增益控制、从模拟信号到数字信号的转换以及进一步的白平衡调整、伽马校正等，以生成具有超广视角的背面图像的图像数据。
HDMI发送单元116f通过符合HDMI的通信经由HDMI发送路径将由成像信号处理单元114f获得的具有超广视角的正面图像(见图12(a))的图像数据发送到个人计算机120。另外，HDMI发送单元116b通过符合HDMI的通信经由HDMI发送路径将由成像信号处理单元114b获得的具有超广视角的背面图像(见图12(b))的图像数据发送到个人计算机120。
个人计算机120包括控制单元121、用户操作单元122、HDMI接收单元123f和123b、正背面图像组合单元126、编码单元124，以及网络发送单元125。控制单元121控制个人计算机120的每个单元的操作。用户操作单元122是供用户执行各种类型的操作的键盘、鼠标、触摸面板、遥控器等。
HDMI接收单元123f通过符合HDMI的通信经由HDMI发送路径从相机110接收具有超广视角的正面图像(见图12(a))的图像数据。另外，HDMI接收单元123b通过符合HDMI的通信经由HDMI发送路径从相机110接收具有超广视角的背面图像(见图12(b))的图像数据。
正背面图像组合单元115将由HDMI接收单元123f和123b接收到的各自具有超广视角的正面图像和背面图像的图像数据进行组合，以生成组合图像(见图12(c))的图像数据。编码单元124以诸如H.264/AVC之类的视频压缩格式对组合图像的图像数据进行编码以获得视频流。
网络发送单元125将由编码单元124获得的视频流转换为TS分组，进一步将TS分组转换为IP分组，并将该IP分组作为IP流式数据经由因特网线路发送到云服务器210。另外，网络发送单元125将来自用户操作单元122的由用户的操作给出的透镜信息(见图6)与视频流一起发送。
图15示出了头戴式显示器310的配置示例。头戴式显示器310包括控制单元311、用户操作单元312、网络接收单元313、解码单元314、正背面图像分离单元315、背面图像旋转单元320、图像粘贴单元316、显示图像获取单元317、显示单元318和传感器单元319。
控制单元311控制头戴式显示器310的每个单元的操作。用户操作单元312是供用户执行各种类型的操作的键、按钮、触摸面板、遥控器等。网络接收单元313接收从云服务器210发送的IP流式数据和透镜信息。
网络接收单元313将接收到的透镜信息发送到控制单元311。另外，网络接收单元313处理接收到的IP流式数据，以获得包括组合图像的编码图像数据的视频流。
解码单元314对由网络接收单元313获得的视频流执行解码处理，以获得组合图像(见图13(a))的图像数据。正背面图像分离单元315处理由解码单元314获得的组合图像的图像数据，以获得各自具有超广视角的正面图像(见图13(b))和背面图像(见图13(c))的图像数据。
背面图像旋转单元320对由正背面图像分离单元315获得的具有超广视角的背面图像的图像数据执行旋转90°的处理，以获得具有超广视角的背面图像(见图13(d))的图像数据，其中水平和垂直关系回到原始位置。基于透镜信息和由正背面图像分离单元315获得的具有超广视角的正面图像的图像数据和经历背面图像旋转单元320的旋转处理的具有超广视角的背面图像的图像数据，图像粘贴单元316将各自具有超广视角的正面图像和背面图像粘贴(映射)在球体的内表面上以创建全向图像(见图13(e))。
在这里，以与棒球的两个皮革覆盖物类似的位置关系将各自具有超广视角的正面图像和背面图像粘贴在球体的内表面上，并创建全向图像。在这种情况下，由于直至左右方向上的组合边界的视角在正面相当广，因此在左右方向上大幅摇动视线方向的情况下，用户不太可能感到图像的不协调。注意，尽管未在上面描述，但是在相机110中，将成像方向设置成使得组合边界位于不与主要被摄体方向(诸如舞台方向)重叠的位置处。
传感器单元319基于诸如加速度/方向传感器之类的各种传感器的检测输出来检测用户的视线方向。显示图像获取单元317从图像粘贴单元316所创建的全向图像中提取与传感器单元319所检测到的用户的视线方向相对应的区域的图像作为显示图像，并输出图像数据。显示单元(显示器)318基于由显示图像获取单元317获得的图像数据来显示图像。
在上述第二形式中，由个人计算机120对相机110所获得的各自具有超广视角的正面图像和背面图像进行组合，并将组合图像的图像数据通过云服务器210发送到头戴式显示器310。因此，各自具有超广视角的正面图像和背面图像不被转换为等距柱状图像以进行发送，没有由于该转换的处理负荷，没有由于该转换的图像质量降低，并且全向图像的高图像质量实时分发成为可能。
另外，在第二形式中，将构成背面图像的成像单元的成像器113b布置成相对于构成正面图像的成像单元的成像器113f旋转90°的状态，成像器113f在部分地缺少正面侧图像的上端侧和下端侧的状态下捕获由鱼眼透镜112f摄入的正面侧图像，并且成像器113b在部分地缺少背面侧图像的左端侧和右端侧的状态下捕获由鱼眼透镜112b摄入的背面侧图像。
因此，每个成像器可以捕获由更大尺寸的鱼眼透镜摄入的图像，并且图像质量可以得到提高。注意，由于每个成像器中的缺失图像部分被另一个成像器捕获，因此对于通过头戴式显示器310获得全向图像没有障碍。
另外，在第二形式中，头戴式显示器310通过以与棒球的两个皮革覆盖物类似的位置关系对由两个成像器获得的正面图像和背面图像进行组合来创建全向图像。因此，由于直至左右方向上的组合边界的视角在正面相当广，因此在左右方向上大幅摇动视线方向的情况下，用户不太可能感到图像的不协调。
“第三形式”
在相机110中，类似于第二形式，在构成正面图像的成像单元的成像器与构成背面图像的成像单元的成像器之间，水平和垂直的位置关系各不相同。在这种情况下，将构成正面图像的成像单元的成像器布置成使得其水平方向与相机110的水平方向匹配并且其垂直方向与相机110的垂直方向匹配。然而，将构成背面图像的成像单元的成像器布置成相对于构成正面图像的成像单元的成像器旋转90°的状态，并且其水平方向与相机110的垂直方向匹配并且其垂直方向与相机110的水平方向匹配。
然后，在这种情况下，每个成像器在部分地缺少图像的状态下捕获由鱼眼透镜摄入的图像。换句话说，在构成正面图像的成像单元的成像器中，在部分地缺少正面侧图像的上端侧和下端侧的状态下捕获由鱼眼透镜摄入的正面侧图像。另一方面，在构成背面图像的成像单元的成像器中，在部分地缺少背面侧图像的左端侧和右端侧的状态下捕获由鱼眼透镜摄入的背面侧图像。
在个人计算机120中，对通过由相机110进行成像而获得的各自具有超广视角的正面图像和背面图像的图像数据进行编码以获得相应的视频流。然后，在诸如MPEG2-TS之类的容器上加载每个视频流，并将其作为IP流式数据发送到云服务器210。
正面和背面的两个成像单元中的每一个的透镜信息(见图6)也被与每个视频流一起从个人计算机120发送到云服务器210。尽管省略了详细描述，但是透镜信息包括诸如成像器的分辨率等之类的光接收单元信息，以及关于投射在成像器上的光接收单元上的由鱼眼透镜摄入的图像的位置、尺寸等的信息。
在头戴式显示器310中，从IP流式数据中取出各自具有超广视角的正面图像和背面图像，并使背面图像经历90°旋转处理，此后，基于透镜信息，以与棒球的两个皮革覆盖物类似的位置关系将具有超广视角的这些正面图像和背面图像粘贴在球体的内表面上，并创建全向图像。然后，在头戴式显示器310中，从全向图像中提取与用户的视线方向相对应的区域的图像并将其显示在显示器上。
图16(a)示出了具有超广视角的正面图像的示例。图16(b)示出了具有超广视角的背面图像的示例。另外，图16(c)示出了在已经执行90°旋转处理之后的具有超广视角的背面图像的示例。然后，图16(d)示出了通过基于透镜信息将各自具有超广视角的正面图像和背面图像粘贴在球体的内表面上而创建的全向图像的示例。为了简化附图，省略了粘贴图像的图示。另外，为了容易理解，指示了棒球的两个皮革覆盖物的接缝。注意，“O”指示球体的中心。
图17示出了相机110和个人计算机120的配置示例。注意，在配置示例中，适当地省略与本技术不直接相关的部分。相机210包括控制单元117、鱼眼透镜112f和112b、成像器113f和113b、成像信号处理单元114ff和114b，以及HDMI发送单元116f和116b。
控制单元117控制相机110的每个单元的操作。鱼眼透镜112f和成像器113f构成正面侧成像单元。由鱼眼透镜112f摄入的正面侧图像在部分地缺少正面侧图像的上端侧和下端侧的状态下被投射在成像器113f的光接收单元上(见图11(a))，并且从成像器113f获得在部分地缺少正面侧图像的上端侧和下端侧的状态下的具有超广视角的正面图像(见图12(a))的成像信号。
成像信号处理单元114f对由成像器113f获得的具有超广视角的正面图像的成像信号(模拟信号)执行采样保持和增益控制、从模拟信号到数字信号的转换以及进一步的白平衡调整、伽马校正等，以生成具有超广视角的正面图像的图像数据。
鱼眼透镜112b和成像器113b构成正面侧成像单元。由鱼眼透镜112b摄入的正面侧图像在部分地缺少正面侧图像的左端侧和右端侧的状态下被投射在成像器113b的光接收单元上(见图11(b))，并且从成像器113b获得在部分地缺少正面侧图像的左端侧和右端侧的状态下具有超广视角的背面图像(见图12(b))的成像信号。
成像信号处理单元114b对由成像器113b获得的具有超广视角的背面图像的成像信号(模拟信号)执行采样保持和增益控制、从模拟信号到数字信号的转换以及进一步的白平衡调整、伽马校正等，以生成具有超广视角的背面图像的图像数据。
HDMI发送单元116f通过符合HDMI的通信经由HDMI发送路径将由成像信号处理单元114f获得的具有超广视角的正面图像(见图12(a))的图像数据发送到个人计算机120。另外，HDMI发送单元116b通过符合HDMI的通信经由HDMI发送路径将由成像信号处理单元114b获得的具有超广视角的背面图像(见图12(b))的图像数据发送到个人计算机120。
个人计算机120包括控制单元121、用户操作单元122、HDMI接收单元123f和123b、编码单元124f和124b，以及网络发送单元125。控制单元121控制个人计算机120的每个单元的操作。用户操作单元122是供用户执行各种类型的操作的键盘、鼠标、触摸面板、遥控器等。
HDMI接收单元123f通过符合HDMI的通信经由HDMI发送路径从相机110接收具有超广视角的正面图像(见图12(a))的图像数据。另外，HDMI接收单元123b通过符合HDMI的通信经由HDMI发送路径从相机110接收具有超广视角的背面图像(见图12(b))的图像数据。
编码单元124f以诸如H.264/AVC之类的视频压缩格式对由HDMI接收单元123f接收的具有超广视角的正面图像的图像数据进行编码，以获得正面图像的视频流。另外，编码单元124f以诸如H.264/AVC之类的视频压缩格式对由HDMI接收单元123b接收的具有超广视角的背面图像的图像数据进行编码，以获得背面图像的视频流。
网络发送单元125将由编码单元124f和124b获得的视频流转换为TS分组，进一步将TS分组转换为IP分组，并将IP分组作为IP流式数据经由因特网线路发送到云服务器210。另外，网络发送单元125将来自用户操作单元122的由用户的操作给出的透镜信息(见图6)与视频流一起发送。
图18示出了头戴式显示器310的配置示例。头戴式显示器310包括控制单元311、用户操作单元312、网络接收单元313、解码单元314f和314b、背面图像旋转单元320、图像粘贴单元316、显示图像获取单元317、显示单元318，以及传感器单元319。
控制单元311控制头戴式显示器310的每个单元的操作。用户操作单元312是供用户执行各种类型的操作的键、按钮、触摸面板、遥控器等。网络接收单元313接收从云服务器210发送的IP流式数据和透镜信息。
网络接收单元313将接收到的透镜信息发送到控制单元311。另外，网络接收单元313处理接收到的IP流式数据，以获得正面图像的视频流和背面图像的视频流。
解码单元314f对由网络接收单元313获得的正面图像的视频流执行解码处理，以获得具有超广视角的正面图像(见图16(a))的图像数据。另外，解码单元314b对由网络接收单元313获得的背面图像的视频流执行解码处理，以获得具有超广视角的背面图像(见图16(b))的图像数据。
背面图像旋转单元320对由解码单元314b获得的具有超广视角的背面图像的图像数据执行旋转90°的处理，以获得具有超广视角的背面图像(见图16(c))的图像数据，其中水平和垂直的关系回到原始位置。基于透镜信息以及由解码单元314f获得的具有超广视角的正面图像的图像数据和经历背面图像旋转单元320的旋转处理的具有超广视角的背面图像的图像数据中的每一个，图像粘贴单元316将各自具有超广视角的正面图像和背面图像粘贴(映射)在球体的内表面上以创建全向图像(见图16(d))。
在这里，以与棒球的两个皮革覆盖物类似的位置关系将各自具有超广视角的正面图像和背面图像粘贴在球体的内表面上，并创建全向图像。在这种情况下，由于直至左右方向上的组合边界的视角在正面相当广，因此在左右方向上大幅摇动视线方向的情况下，用户不太可能感到图像的不协调。注意，尽管未在上面描述，但是在相机110中，例如，将成像方向设置成使得组合边界位于不与主要被摄体方向(诸如舞台方向)重叠的位置处。
传感器单元319基于诸如加速度/方向传感器之类的各种传感器的检测输出来检测用户的视线方向。显示图像获取单元317从图像粘贴单元316所创建的全向图像中提取与传感器单元319所检测到的用户的视线方向相对应的区域的图像作为显示图像，并输出图像数据。显示单元(显示器)318基于由显示图像获取单元317获得的图像数据来显示图像。
在上述第三形式中，将由相机110获得的各自具有超广视角的正面图像和背面图像的图像数据从个人计算机120通过云服务器210发送到头戴式显示器310。因此，各自具有超广视角的正面图像和背面图像不被转换成等距柱状图像以进行发送，不存在由于该转换的处理负荷，不存在由于该转换的图像质量下降，并且全向图像的高图像质量实时分发成为可能。
另外，在第三形式中，将构成背面图像的成像单元的成像器113b布置成相对于构成正面图像的成像单元的成像器113f旋转90°的状态，成像器113f在部分地缺少正面侧图像的上端侧和下端侧的状态下捕获由鱼眼透镜112f摄入的正面侧图像，并且成像器113b在部分地缺少背面侧图像的左端侧和右端侧的状态下捕获由鱼眼透镜112b摄入的背面侧图像。
因此，每个成像器可以捕获由更大尺寸的鱼眼透镜摄入的图像，并且图像质量可以得到提高。注意，由于每个成像器中的缺失图像部分被另一个成像器捕获，所以对于通过头戴式显示器310获得全向图像没有障碍。
另外，在第三形式中，头戴式显示器310通过以与棒球的两个皮革覆盖物类似的位置关系组合由两个成像器获得的正面图像和背面图像来创建全向图像。因此，由于直至左右方向上的组合边界的视角在正面相当广，因此在左右方向上大幅摇动视线方向的情况下，用户不太可能感到图像的不协调。
另外，在第三形式中，由相机110获得的各自具有超广视角的正面图像和背面图像的图像数据不被组合，并且被从个人计算机120通过云服务器210发送到头戴式显示器310。因此，可以抑制由图像组合和分离引起的图像质量下降，并且可以提高图像质量。
<2.修改>
注意，在上述实施例中，已经描述了其中发送侧和接收侧经由因特网线路彼此连接的配置；然而，也可以类似地考虑其中经由诸如WiFi之类的无线LAN进行连接的配置。另外，在上述实施例中，接收侧设备是头戴式显示器310；然而，这不是限制，并且接收侧设备可以是另一设备，例如投影仪、个人计算机、智能电话、平板计算机等。
另外，本技术还可以体现在下面描述的配置中。
(1)一种发送设备，包括：
成像单元，所述成像单元获得具有大于或等于180°的超广视角的正面图像和背面图像；和
发送单元，所述发送单元将超广视角的正面图像和背面图像发送到外部设备。
(2)根据(1)所述的发送设备，其中
所述发送单元还将透镜信息与超广视角的正面图像和背面图像一起发送，该透镜信息用于通过将这两个图像粘贴在球体的内表面上来获得全向图像。
(3)根据(1)或(2)所述的发送设备，其中
所述发送单元组合并发送超广视角的正面图像和背面图像。
(4)根据(1)至(3)中任一项所述的发送设备，其中
所述成像单元包括第一成像器和第二成像器，所述第一成像器捕获由鱼眼透镜摄入的正面侧图像以获得超广视角的正面图像，所述第二成像器捕获由鱼眼透镜摄入的背面侧图像以获得超广视角的背面图像。
(5)根据(4)所述的发送设备，其中
以相对于第一成像器旋转90°的状态布置第二成像器，
第一成像器在缺少正面侧图像的上端侧和下端侧的一部分的状态下捕获由鱼眼透镜摄入的正面侧图像，以及
第二成像器在缺少背面侧图像的左端侧和右端侧的一部分的状态下捕获由鱼眼透镜摄入的背面侧图像。
(6)一种发送方法，包括：
由成像单元获得具有大于或等于180°的超广视角的正面图像和背面图像的成像步骤；和
由发送单元将超广视角的正面图像和背面图像发送到外部设备的发送步骤。
(7)一种接收设备，包括：
接收单元，所述接收单元从外部设备接收具有大于或等于180°的超广视角的正面图像和背面图像，其中
通过在缺少正面侧图像的上端侧和下端侧的一部分的状态下捕获由鱼眼透镜摄入的正面侧图像来获得超广视角的正面图像，
通过在缺少背面侧图像的左端侧和右端侧的一部分的状态下捕获由鱼眼透镜摄入的背面侧图像来获得超广视角的正面图像，以及
所述接收设备还包括图像处理单元，该图像处理单元通过将超广视角的正面图像和背面图像粘贴在球体的内表面上来获得全向图像。
(8)根据(7)所述的接收设备，其中
所述接收单元还将透镜信息与超广视角的正面图像和背面图像一起接收，该透镜信息用于通过将这两个图像粘贴在球体的内表面上来获得全向图像，以及
所述图像处理单元通过基于该透镜信息将超广视角的正面图像和背面图像粘贴在球体的内表面上来获得全向图像。
(9)一种接收方法，包括：
由接收单元从外部设备接收具有大于或等于180°的超广视角的正面图像和背面图像的接收步骤，其中
通过在缺少正面侧图像的上端侧和下端侧的一部分的状态下捕获由鱼眼透镜摄入的正面侧图像来获得超广视角的正面图像，
通过在缺少背面侧图像的左端侧和右端侧的一部分的状态下捕获由鱼眼透镜摄入的背面侧图像来获得超广视角的正面图像，以及
所述接收方法还包括由图像处理单元通过将超广视角的正面图像和背面图像粘贴在球体的内表面上来获得全向图像的图像处理步骤。
(10)一种成像设备，包括：
第一成像器，所述第一成像器捕获由鱼眼透镜摄入的正面侧图像以获得超广视角的正面图像；和
第二成像器，所述第二成像器捕获由鱼眼透镜摄入的背面侧图像以获得超广视角的背面图像，其中
以相对于第一成像器旋转90°的状态布置第二成像器，
第一成像器在缺少正面侧图像的上端侧和下端侧的一部分的状态下捕获由鱼眼透镜摄入的正面侧图像，以及
第二成像器在缺少背面侧图像的左端侧和右端侧的一部分的状态下捕获由鱼眼透镜摄入的背面侧图像。
标号列表
10 分发系统
110 相机
111 壳体
112f、112b 鱼眼透镜
113f、113b 成像器
114f、114b 成像信号处理单元
115 正背面图像组合单元
116、116f、116b HDMI发送单元
117 控制单元
120 个人计算机
121 控制单元
122 用户操作单元
123、123f、123b HDMI接收单元
124、124f、124b 编码单元
125 网络发送单元
126 正背面图像组合单元
210 云服务器
211 接收服务器
212 分发服务器
310 头戴式显示器
311 控制单元
312 用户操作单元
313 网络接收单元
314、314f、314b 解码单元
315 正背面图像分离单元
316 图像粘贴单元
317 显示图像获取单元
318 显示单元
319 传感器单元
320 背面图像旋转单元

Claims (8)

1.一种发送设备，包括：
成像单元，所述成像单元获得具有大于或等于180°的超广视角的正面图像和背面图像；和
发送单元，所述发送单元将超广视角的正面图像和背面图像发送到外部设备，其中
成像单元包括捕获具有超广视角的正面图像的第一成像器和捕获具有超广视角的背面图像的第二成像器，第一成像器具有第一鱼眼透镜和第一光接收单元，第二成像器具有第二鱼眼透镜和第二光接收单元，
第一成像器和第二成像器以背靠背配置被定位，使得第一鱼眼透镜和第二鱼眼透镜朝向相反的方向，
以相对于第一光接收单元旋转90°的状态布置第二光接收单元，
第一光接收单元捕获正面图像，使得缺少由第一鱼眼透镜摄入的正面图像的上端侧和下端侧的一部分，以及
第二光接收单元捕获背面图像，使得缺少由第二鱼眼透镜摄入的背面图像的左端侧和右端侧的一部分。
2.根据权利要求1所述的发送设备，其中
所述发送单元还将透镜信息与超广视角的正面图像和背面图像一起发送，该透镜信息用于通过将这两个图像粘贴在球体的内表面上来获得全向图像。
3.根据权利要求1所述的发送设备，其中
所述发送单元组合并发送超广视角的正面图像和背面图像。
4.一种发送方法，包括：
由成像单元获得具有大于或等于180°的超广视角的正面图像和背面图像的成像步骤；和
由发送单元将超广视角的正面图像和背面图像发送到外部设备的发送步骤，其中
成像单元包括捕获具有超广视角的正面图像的第一成像器和捕获具有超广视角的背面图像的第二成像器，第一成像器具有第一鱼眼透镜和第一光接收单元，第二成像器具有第二鱼眼透镜和第二光接收单元，
第一成像器和第二成像器以背靠背配置被定位，使得第一鱼眼透镜和第二鱼眼透镜朝向相反的方向，
以相对于第一光接收单元旋转90°的状态布置第二光接收单元，
第一光接收单元捕获正面图像，使得缺少由第一鱼眼透镜摄入的正面图像的上端侧和下端侧的一部分，以及
第二光接收单元捕获背面图像，使得缺少由第二鱼眼透镜摄入的背面图像的左端侧和右端侧的一部分。
5.一种接收设备，包括：
接收单元，所述接收单元从外部设备接收具有大于或等于180°的超广视角的正面图像和背面图像，其中
超广视角的正面图像是由第一光接收单元捕获的，使得缺少由第一鱼眼透镜摄入的正面图像的上端侧和下端侧的一部分，
超广视角的背面图像是由第二光接收单元捕获的，使得缺少由第二鱼眼透镜摄入的背面图像的左端侧和右端侧的一部分，
第一鱼眼透镜和第二鱼眼透镜以背靠背配置被定位，使得第一鱼眼透镜和第二鱼眼透镜朝向相反的方向，
以相对于第一光接收单元旋转90°的状态布置第二光接收单元，以及
所述接收设备还包括图像处理单元，该图像处理单元通过将超广视角的正面图像和背面图像粘贴在球体的内表面上来获得全向图像。
6.根据权利要求5所述的接收设备，其中
所述接收单元还将透镜信息与超广视角的正面图像和背面图像一起接收，该透镜信息用于通过将这两个图像粘贴在球体的内表面上来获得全向图像，以及
所述图像处理单元通过基于该透镜信息将超广视角的正面图像和背面图像粘贴在球体的内表面上来获得全向图像。
7.一种接收方法，包括：
由接收单元从外部设备接收具有大于或等于180°的超广视角的正面图像和背面图像的接收步骤，其中
超广视角的正面图像是由第一光接收单元捕获的，使得缺少由第一鱼眼透镜摄入的正面图像的上端侧和下端侧的一部分，
超广视角的背面图像是由第二光接收单元捕获的，使得缺少由第二鱼眼透镜摄入的背面图像的左端侧和右端侧的一部分，
第一鱼眼透镜和第二鱼眼透镜以背靠背配置被定位，使得第一鱼眼透镜和第二鱼眼透镜朝向相反的方向，
以相对于第一光接收单元旋转90°的状态布置第二光接收单元，以及
所述接收方法还包括由图像处理单元通过将超广视角的正面图像和背面图像粘贴在球体的内表面上来获得全向图像的图像处理步骤。
8.一种成像设备，包括：
具有第一鱼眼透镜和第一光接收单元的第一成像器，所述第一成像器捕获超广视角的正面图像；和
具有第二鱼眼透镜和第二光接收单元的第二成像器，所述第二成像器捕获超广视角的背面图像，其中
第一成像器和第二成像器以背靠背配置被定位，使得第一鱼眼透镜和第二鱼眼透镜朝向相反的方向，以及
以相对于第一光接收单元旋转90°的状态布置第二光接收单元，
第一光接收单元捕获正面图像，使得缺少由第一鱼眼透镜摄入的正面图像的上端侧和下端侧的一部分，以及
第二光接收单元捕获背面图像，使得缺少由第二鱼眼透镜摄入的背面图像的左端侧和右端侧的一部分。
CN201880049253.4A 2017-08-07 2018-08-06 发送设备、发送方法、接收设备、接收方法和成像设备 Active CN110945864B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017152768 2017-08-07
JP2017-152768 2017-08-07
PCT/JP2018/029491 WO2019031468A1 (ja) 2017-08-07 2018-08-06 送信装置、送信方法、受信装置、受信方法および撮像装置

Publications (2)

Publication Number Publication Date
CN110945864A CN110945864A (zh) 2020-03-31
CN110945864B true CN110945864B (zh) 2022-04-15

Family

ID=65272027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880049253.4A Active CN110945864B (zh) 2017-08-07 2018-08-06 发送设备、发送方法、接收设备、接收方法和成像设备

Country Status (5)

Country Link
US (1) US11012619B2 (zh)
EP (1) EP3668081A4 (zh)
JP (1) JP7107318B2 (zh)
CN (1) CN110945864B (zh)
WO (1) WO2019031468A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111593855B (zh) * 2019-12-30 2021-11-12 绿城装饰工程集团有限公司 一种墙板转角无缝安装结构及其安装方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915374A (zh) * 2015-04-27 2015-09-16 厦门理工学院 一种旅游景区360度全景构建系统及方法
US9521321B1 (en) * 2015-02-11 2016-12-13 360 Lab Llc. Enabling manually triggered multiple field of view image capture within a surround image mode for multi-lens mobile devices

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045773A1 (en) * 2007-11-06 2010-02-25 Ritchey Kurtis J Panoramic adapter system and method with spherical field-of-view coverage
US9930225B2 (en) * 2011-02-10 2018-03-27 Villmer Llc Omni-directional camera and related viewing software
JP5910485B2 (ja) * 2012-03-16 2016-04-27 株式会社リコー 撮像システム
JP6186775B2 (ja) * 2012-05-31 2017-08-30 株式会社リコー 通信端末、表示方法、及びプログラム
JP2014112302A (ja) * 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
JP5843027B1 (ja) * 2015-03-10 2016-01-13 株式会社リコー 撮像装置、制御方法およびプログラム
JP2016194784A (ja) 2015-03-31 2016-11-17 株式会社リコー 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JPWO2017014126A1 (ja) * 2015-07-21 2018-06-14 株式会社リコー 画像管理システム、画像管理方法及びプログラム
US10645362B2 (en) * 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
JP6630654B2 (ja) * 2016-11-02 2020-01-15 株式会社リコー プログラム、方法、情報処理装置および映像表示システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521321B1 (en) * 2015-02-11 2016-12-13 360 Lab Llc. Enabling manually triggered multiple field of view image capture within a surround image mode for multi-lens mobile devices
CN104915374A (zh) * 2015-04-27 2015-09-16 厦门理工学院 一种旅游景区360度全景构建系统及方法

Also Published As

Publication number Publication date
WO2019031468A1 (ja) 2019-02-14
US20200162670A1 (en) 2020-05-21
EP3668081A4 (en) 2020-07-08
EP3668081A1 (en) 2020-06-17
US11012619B2 (en) 2021-05-18
JP7107318B2 (ja) 2022-07-27
JPWO2019031468A1 (ja) 2020-07-09
CN110945864A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
US9635252B2 (en) Live panoramic image capture and distribution
WO2018014495A1 (zh) 实时全景直播网络摄像机和系统及方法
US10484652B2 (en) Smart headgear
US10645362B2 (en) Systems, methods and apparatus for compressing video content
US10070098B2 (en) Method and system of adjusting video quality based on viewer distance to a display
US20140249695A1 (en) Low latency data link system and method
JP2008225600A (ja) 画像表示システム、画像送信装置、画像送信方法、画像表示装置、画像表示方法およびプログラム
US11889228B2 (en) Conference device with multi-videostream capability
TW201010429A (en) Image processing system and method thereof
WO2014192804A1 (ja) デコーダ及び監視システム
CN110945864B (zh) 发送设备、发送方法、接收设备、接收方法和成像设备
US11341623B2 (en) High dynamic range image processing with noise reduction
KR20100018998A (ko) 전방위 감시 카메라 시스템 및 그를 이용한 영상처리방법
US9338429B2 (en) Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor
JP6845227B2 (ja) ビデオ放送のためのシステム
US9237304B2 (en) Multi-channel sharing apparatus and multi-channel sharing method
JP2020145590A (ja) 画像処理システム、画像処理方法及びプログラム
US20130162844A1 (en) Remote target viewing and control for image-capture device
KR20090131891A (ko) 개인별 맞춤형 실시간 동영상 제공 시스템 및 방법
US11451745B2 (en) Conference device with multi-videostream control
JP5960095B2 (ja) 映像配信システム
JP5289376B2 (ja) 映像信号伝送装置
EP4250715A1 (en) Image processing apparatus, image processing method, image transmitting apparatus, and image processing system
KR20140076487A (ko) 멀티화면을 제공하는 방송 시스템 및 방송 방법
CN117440176A (zh) 用于视频传输的方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant