CN110786017A - 分发图像生成方法 - Google Patents

分发图像生成方法 Download PDF

Info

Publication number
CN110786017A
CN110786017A CN201880041746.3A CN201880041746A CN110786017A CN 110786017 A CN110786017 A CN 110786017A CN 201880041746 A CN201880041746 A CN 201880041746A CN 110786017 A CN110786017 A CN 110786017A
Authority
CN
China
Prior art keywords
image
distribution image
distribution
angle
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880041746.3A
Other languages
English (en)
Other versions
CN110786017B (zh
Inventor
平山巧马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinjiang Digital Manufacturing Co Ltd
Original Assignee
Jinjiang Digital Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinjiang Digital Manufacturing Co Ltd filed Critical Jinjiang Digital Manufacturing Co Ltd
Publication of CN110786017A publication Critical patent/CN110786017A/zh
Application granted granted Critical
Publication of CN110786017B publication Critical patent/CN110786017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

提供在抑制分发图像时的信息量的同时不会给观看该图像的用户带来不协调感的图像。一种分发图像生成方法，用于生成经由网络通信线路(3)分发的分发图像(52)，其特征在于，包括以下步骤：获取至少对全向进行拍摄而生成的图像；以及生成步骤(s204)，从所述获取到的图像间隔剔除地提取像素，生成在四角部分形成有低图像质量部分的分发图像，其中，在所述生成步骤中，在提取所述像素时，根据以所述分发图像(52)的中心为基点的圆与该圆的包含在所述分发图像(52)中的弧之间的比率，来选择应该提取的像素。

Description

分发图像生成方法
技术领域
本发明涉及一种分发图像生成方法。
背景技术
已知如下一种图像分发系统：在远离照相机的远处利用便携式信息终端、个人计算机等计算机来接收由该照相机拍摄到的图像，使接收到的图像显示于计算机的显示画面。这种图像分发系统例如被用作用于监视没人在时的房间内的监视系统。近年来，出现了以下的图像分发系统：具备生成全天周的图像的照相机，能够分发更大范围的图像。
例如，在专利文献1中记载了以下的影像分发装置：通过等距柱状投影图对由照相机拍摄到的全天周的影像进行全景展开，分发展开后的全景图像。在该影像分发装置中，针对低分辨率的全天周图像，以高精细的图像叠加用户所关注的部分后发送，由此能够提高向用户提供的影像的质量，并且抑制分发影像时的信息量。
现有技术文献
专利文献
专利文献1：日本特开2016-15705号公报
发明内容
发明要解决的问题
然而，若只是单纯地将高分辨率的图像与低分辨率的图像进行叠加，则图像中出现分辨率的不同所引起的边界，因此存在给观看该图像的用户带来不协调感的担忧。
本发明鉴于上述问题，其目的在于提供一种在抑制分发图像时的信息量的同时不会给观看该图像的用户带来不协调感的分发图像生成方法。
用于解决问题的方案
为了实现上述目的，本发明是一种分发图像生成方法，用于生成经由网络分发的分发图像，所述分发图像生成方法包括以下步骤：获取至少对全向进行拍摄而生成的图像；以及生成步骤，从所述获取到的图像间隔剔除地提取像素，生成在四角部分形成有低图像质量部分的分发图像，其中，在所述生成步骤中，在提取所述像素时，根据以所述分发图像的中心为基点的圆与该圆的包含在所述分发图像中的弧之间的比率来选择应该提取的像素。
为了实现上述目的，本发明是一种分发图像生成方法，用于生成经由网络分发的分发图像，所述分发图像生成方法包括以下步骤：从所述分发图像的分发目的地终端获取视角；获取至少对全向进行拍摄而生成的图像；以及生成步骤，从所述获取到的图像提取像素来生成分发图像，其中，在所述生成步骤中，基于根据获取到的视角决定的函数，从所述获取到的图像间隔剔除地提取像素。
另外，在所述函数中，随着从所述分发图像的中心去向外侧，所述间隔剔除的间隔增大。
另外，所述函数用于决定相对于从映射所述图像而得到的立体的中心观看的用户的视线的角度与距所述分发图像的中心的距离之间的对应，在该距离最大时所述角度为180度。
另外，以如下方式决定所述函数：将位于所述视角内的所述立体上的像素排列到所述分发图像所包含的圆状区域的内侧，将位于所述视角外的所述立体上的像素排列到所述圆状区域的外侧。
另外，所述圆状区域被设置成与所述分发图像的边缘相切。
另外，以如下方式决定所述函数：使在所述距离为形成所述圆状区域的外形的圆的半径时的相对于所述用户的视线的角度为所述视角。
发明的效果
根据本发明，以如下方式生成向计算机分发的分发图像：在对该分发图像进行全景展开时，该图像的图像质量随着去向周缘部分的外侧而逐渐降低。因而，在抑制分发图像时的信息量的同时不会给观看该图像的用户带来不协调感。
附图说明
图1是本发明的实施方式所涉及的图像分发系统的概要图。
图2是上述图像分发系统的框图。
图3是上述图像分发系统的流程图。
图4是示出了上述流程图的生成处理中的图像的生成过程的图。
图5是示出了分发图像与虚拟球的对应关系的图。
图6是示出了生成分发图像中的低分辨率部分的情况下的对应关系的图。
图7是示出了函数的例子的图。
具体实施方式
如图1所示，本实施方式的图像分发系统10由与网络通信线路3连接的图像分发装置12以及便携式信息终端14构成。该图像分发装置12与该便携式信息终端14通过未图示的信令服务器建立了peer-to-peer(点对点)连接，能够相互进行通信。
图像分发装置12是通过网络通信线路3分发图像的装置，具备用于拍摄周围的照相机模块16。在照相机模块16中设置有2个图像传感器18、19。这些图像传感器18、19用于输出与在各自的方形的受光面18a、19a上成像的光的强度相应的电信号，这些图像传感器18、19被配置成受光面18a、19a的朝向彼此相反。另外，在规定的位置设置有以收敛于图像传感器18、19各自的受光面18a、19a的方式形成半天周的像(影像圈)的未图示的光学部件(鱼眼镜头)。该半天周是指以图像传感器18、19的受光面18a、19a为中心来虚拟出的半径无限大的半球面。
上述的照相机模块16还具有模拟-数字变换器(未图示)，通过该模拟-数字变换器将从各图像传感器18、19输出的模拟信号变换为数字信号。该数字信号被输入到图像分发装置12的CPU 20，从而生成摄影图像。由此，在本实施方式中，生成在各图像传感器18、19中成像的2个鱼眼图像、即在一个图像传感器18中成像出的包括一个方向的半天周的像的一个鱼眼图像以及在另一个图像传感器19中成像出的包括另一个方向的半天周的像的其它鱼眼图像。
图像分发装置12具备预先存储有图像分发程序的存储器22和用于与网络通信线路3连接的通信模块24。通过由CPU 20执行图像分发程序，CPU 20如图2所示那样作为接收部26、生成部28、分发部30发挥功能，该接收部26经由通信模块24(图1)从便携式信息终端14接收后述的视角信息和姿势信息，该生成部28基于从照相机模块16获取到的数字信号来生成分发图像52(图4)，该分发部30经由通信模块24将分发图像52进行分发。
返回到图1，便携式信息终端14代表性地说是智能电话、平板等终端，除了具备CPU32、存储器34以外，还具备受理来自用户的输入的作为输入部(未图示)发挥功能的触摸面板36、对用户显示信息的作为显示部38(图2)发挥功能的液晶显示器40、用于与网络通信线路3连接的通信模块42、以及用于检测便携式信息终端14的姿势的角速度传感器44。
在便携式信息终端14的存储器34中，预先存储有使液晶显示器40显示从图像分发装置12获取到的分发图像52的应用程序，CPU 32通过执行该应用程序，来如图2所示那样作为发送部46、接收部48、展开部50以及显示部38发挥功能，该发送部46将后述的视角信息和姿势信息发送到图像分发装置12，该接收部48从图像分发装置12接收分发图像52，该展开部50对接收到的分发图像52进行展开，该显示部38将展开后的图像显示于液晶显示器40。
下面，基于图3来说明本实施方式中的图像的分发流程。
当在便携式信息终端14中执行应用程序时，在便携式信息终端14中执行用于与图像分发装置12进行peer-to-Peer连接的连接处理(s101)。
当通过连接处理(s101)来与图像分发装置12建立了通信时，便携式信息终端14执行获取视角信息和姿势信息的获取处理(s102)。姿势信息是指示由用户操作的便携式信息终端14的姿势的信息，代表性地说，包括基于从角速度传感器44输出的信号来决定的侧倾角(α)、俯仰角(β)以及横摆角(γ)。视角信息是指示为了作为用户关注的部分显示于便携式信息终端14的液晶显示器40而从摄影图像提取的范围的信息，是基于用户对触摸面板36进行的放大/缩小显示操作来决定的。
当执行了获取处理(s102)时，便携式信息终端14执行请求分发图像的请求处理(s103)。在请求处理(s103)中，视角信息和姿势信息被发送到图像分发装置12。
在图像分发装置12中，当接通电源来执行了连接处理(s201)时，执行接收从便携式信息终端14发送的视角信息和姿势信息的接收处理(s202)。
图像分发装置12当接收到视角信息和姿势信息时执行摄影处理(s203)。摄影处理(s203)是对以图像传感器18、19为中心的2个方向的半天周进行拍摄的处理，CPU 20对图像传感器18、19和模拟-数字变换器进行控制，基于从模拟-数字变换器输入的数字信号来生成2个摄影图像。通过该摄影处理(s203)生成的各摄影图像是鱼眼图像。具体地说，具备矩形的图像区域，在该区域内排列有包括在图像传感器18、19的受光面18a、19a成像的半天周的图像的圆形的半天周区以及在该半天周区的周围(四角)生成的空(黑色)的信息。
图像分发装置12当执行了摄影处理(s203)时执行生成分发图像52(图4的(b))的生成处理(s204)。分发图像52是作为在便携式信息终端14中展开并显示的图像54(图4的(a))的源图像的图像，通过基于视角信息、姿势信息从摄影图像局部地提取像素，来生成分发图像52。当生成了分发图像52时，图像分发装置12执行分发处理(s206)，对便携式信息终端14分发该分发图像52。
在便携式信息终端14中，执行接收来自图像分发装置12的分发图像52的接收处理(s104)。当通过该处理接收了分发图像52时，便携式信息终端14执行将该分发图像52展开为图像54的展开处理(s105)。当执行了展开处理(s105)时，便携式信息终端14执行使液晶显示器40显示图像54的显示处理(s106)。在该显示处理(s106)之后，每当用户改变便携式信息终端14的姿势时，在便携式信息终端14中执行上述的处理(s102)～(s106)并在图像分发装置12中执行处理(s202)～(s206)。
在此，在便携式信息终端14中展开并显示的图像54构成为：如图4的(a)所示，图像的周缘部分相比于其内侧(中央)部分而言为低图像质量。换言之，构成为：图像54中的用户所关注的内侧部分相比于周缘部分而言为高图像质量。
作为这种图像54的源图像的分发图像52如图4的(b)所示是矩形的图像，上述显示为高图像质量的部分以分发图像52的中心为基点扩展到与该图像的4个边(各边缘)内切的圆(内切圆)内，上述低图像质量的部分从该圆的外周扩展到分发图像52的4个角。这种分发图像52的各像素是通过由CPU 20进行规定的运算来从摄影图像提取并排列的。在本实施方式中，进行如下的运算：基于视角信息和姿势信息，来从虚拟地映射2个摄影图像而得到的球体(下面称为虚拟球56)提取与分发图像52中的各像素对应的像素。
具体地说，如图4的(c)所示，利用对应式，根据视角信息来计算与分发图像52的各像素对应的虚拟球56面上的第一坐标(第一计算步骤)，对该第一坐标应用包含姿势信息的旋转式来计算第二坐标(第二计算步骤)，如图4的(d)所示，提取位于该第二坐标的像素信息。
此外，为了便于说明，分发图像52的坐标如图5的(b)所示那样通过以其中心为原点的XY正交坐标表示，设分发图像52的横向(X轴)取-1≤X≤1的值，纵向(Y轴)取-1≤Y≤1的值。另外，虚拟球56的坐标如图5的(a)所示那样通过以其中心为原点的XYZ正交坐标表示，设虚拟球56的半径r为1。
上述的第一计算步骤是基于根据视角信息决定的函数来计算用于从摄影图像间隔剔除地提取像素的第一坐标的步骤，包括基于函数来计算与分发图像52的各像素对应的虚拟球56的球面坐标(r，θ，
Figure BDA0002328880250000061
)的球面坐标计算步骤、以及计算与该计算出的球面坐标对应的正交坐标(x，y，z)的正交坐标计算步骤。
以分发图像的点P为例来说明球面坐标计算步骤。虚拟球56上的与该点P对应的点P′的球面坐标以(r，θp′，
Figure BDA0002328880250000073
)来表示，如下那样求出该角度θp′(相对于虚拟球56中的Z轴的角度)和角度
Figure BDA0002328880250000074
(相对于X轴的角度)。此外，如上所述，虚拟球56的半径r为1。
通过将分发图像52的XY正交坐标中的原点到点P的距离Pr输入到与视角信息对应的函数f(r)，来求出角度θp′。基于点P的坐标值(Px，Py)，通过下面的对应式来求出该距离Pr。
[数1]
Figure BDA0002328880250000071
函数f(r)如图7所示那样决定了距离r与角度θ的关系，是按多个视角信息来决定的。例如，在视角信息为30°的情况下，如图7的(a)所示，以使在r＝1的情况下θ变为30°的方式决定函数f(r)，对该函数代入在上述数1中求出的距离Pr来求出与点P对应的角度θp′。另外，在视角信息为90°的情况下，如图7的(b)所示，以使在r＝1的情况下θ变为90°的方式决定函数，对该函数代入在上述数1中求出的距离Pr来求出与点P对应的角度θp′。即，各函数是以使分发图像52中的高像素部分同低像素部分的边界与视角信息对应的方式决定的。该函数也可以如图7的(c)所示那样是1次函数。
角度与分发图像52的XY正交坐标中的
Figure BDA0002328880250000076
相同，基于点P的坐标(Px，Py)，通过下面的对应式来求出该
Figure BDA0002328880250000077
[数2]
在此，如图6所示，在对于构成低图像质量部分的像素、例如对于位于圆周C上的像素与上述的对应式(数2)同样地求出角度的情况下，会提取不考虑位于虚线所示的弧(虚线弧)上的像素、仅考虑与点划线所示的弧对应的像素的有偏颇的像素信息。因此，在本实施方式中，基于虚线弧相对于圆周的比率来选择应该提取的像素。具体地说，通过将包含虚线部分在内的圆周C上的点均等地排列在点划线上，来实现偏颇少的像素信息的提取并实现分发图像52的信息量的减少。因此，与像素Q′对应的像素信息被提取为例如圆周C上的像素Q。用于实现这种均等排列的对应式为下面的式子。
[数3]
φQ′-45°:φQ-45°＝45°:45°-φi
在此，是用于求出虚线弧相对于圆周C的比率(比例)的角度。
如上所述，当求出了与分发图像52的各像素相对应的球面坐标(1，θ，
Figure BDA0002328880250000084
)时，在正交坐标计算步骤中，通过下面的变换式来求出与各像素相对应的第一坐标(x1，y1，z1)。
[数4]
x1＝r×sinθ×cosφ
[数5]
y1＝r×sinφ×cosθ
[数6]
z1＝r×cosθ
接着，执行第二计算步骤。在第二计算步骤中，对各第一坐标应用包含姿势信息的旋转式来求出第二坐标(x2，y2，z2)。
[数7]
通过上述第二计算步骤，确定虚拟球56中的应该提取的像素。具体地说，在第一计算步骤中求出的坐标如图4的(c)所示，当求出了第二坐标时，提取位于该坐标的像素信息，将提取出的像素信息分配到对应的分发图像52的各像素。这样，生成在作为高图像质量部分的内切圆内呈鱼眼图像状地提取与视角相应的虚拟球56上的像素、在作为低图像质量部分的内切圆外间隔剔除地提取视角外的虚拟球56上的像素而成的分发图像52。
此外，在第二计算步骤中，将在上述第一计算步骤中计算出的坐标与姿势信息相应地移位。因而，虽然在第一计算步骤中求出的角度θ作为相对于z轴的角度来计算，但是最终会如图4的(d)所示那样，指示相对于从虚拟球56的中心与姿势信息对应地延伸的半直线的角度。在此，与该姿势信息对应地延伸的半直线同从虚拟球56的中心观看的用户的视线对应。因而，角度θ用于指示相对于从映射摄影图像而得到的虚拟球56的中心观看的用户的视线的角度，函数f(r)决定了该角度与距分发图像的中心的距离之间的对应。
另外，如图7的(a)、图7的(b)所示，以如下方式决定根据视角信息决定的函数f(r)：随着r的值变大，θ的增加度增大。即，以如下方式决定函数f(r)：随着从分发图像的中心去向外侧，在虚拟球56中应该提取的像素的间隔(间隔剔除的间隔)增大。
在接收到上述分发图像52的便携式信息终端14中，执行将分发图像52展开为图像54的展开处理(s105)。在该处理中，首先，基于分发图像52来生成展开用图像。在展开用图像的中央将分发图像52的高图像质量部分的像素原样地进行排列，在该高图像质量部分的周围排列分发图像52的低图像质量部分的像素。在此，关于该低图像质量部分的各像素，在不是原样地排列、而是使用上述的数式4来确定的位置并且将像素配置于所确定出的位置时，不是在包含
Figure BDA0002328880250000092
的圆周C上连续地排列像素，因此进行对各像素之间进行插值的插值处理。该插值处理没有特别限定，例如在位于同一圆周上的像素与像素之间，排列与各自近似的像素信息。
当执行了上述的插值处理时，使用公知的全景展开手法对展开用图像进行展开从而生成图像54。
根据本实施方式的图像分发系统10，从图像分发装置12分发到便携式信息终端14的分发图像52在展开为图像54时，用户最关注的部分被生成为高图像质量，其周围的不易关注的部分被压缩为低图像质量来生成。通过像这样降低图像的信息量，能够在实现通信的高速化的同时向用户提供高图像质量的图像。此外，关于图像54中的低图像质量部分，在用户改变便携式信息终端14的姿势之后且在接收到新的分发图像52从而展开新的图像54之前的期间，在液晶显示器40上仅显示变更了该姿势的部分。
另外，分发图像52在被便携式信息终端14展开为图像54时，以如下方式生成图像54：随着去向周缘部分的外侧，该图像的图像质量逐渐降低。因而，虽然抑制了分发图像时的信息量，但是不会给观看该图像的用户带来不协调感。
以上，基于实施方式说明了本申请发明所涉及的分发图像生成方法，但是本发明当然不限于上述的方式，例如，也可以按如下那样的方式来实施。
<变形例>
(1)在上述的实施方式的球面坐标计算步骤中，在求出球面坐标的角度θ时，使用了与视角信息相对应地预先决定的函数(图7)，但是该函数不限于预先决定，也可以基于获取到的视角信息来生成函数。例如，在使用一次函数、二次函数的情况下，只要决定与视角信息对应的系数、生成函数即可。另外，在使用指数函数的情况下，只要决定与视角信息对应的底来生成函数即可。此外，也可以仅预先决定这些系数、底的值与视角信息之间的对应以决定这些系数、底。
即，以如下方式决定函数：将位于视角信息所指示的视角内的虚拟球56上的像素排列到以分发图像的中心为基点的圆(内切圆)的内侧，将位于该视角外的虚拟球56上的像素排列到圆的外侧。此时，以如下方式决定该函数：在距离(r)取圆的半径(在上述实施方式中为1)的值的情况下，角度θ为视角信息。关于这种函数，能够列举以穿过在距离(r)为0的情况下角度θ为0的点(原点)、在距离(r)为最大值(从分发图像的中心到分发图像的角的距离)的情况下角度θ为180的点、且在距离(r)为圆的半径的情况下角度θ为视角的点的方式决定的贝塞尔曲线、样条曲线来作为代表例。
(2)图像分发系统10所具有的便携式信息终端14不限于1个，也可以是多个。另外，不限于便携式信息终端14，也可以是台式或笔记本式的个人计算机。即，只要从图像分发装置12接收分发图像52并显示图像54的是计算机即可。此外，在使用个人计算机的情况下，例如，能够经由能够进行Peer-to-Peer通信的浏览器来与图像分发系统10之间发送接收信息(视角信息、分发图像52)。另外，作为输入视角信息的输入单元，在便携式信息终端14中使用了角速度传感器44，但是也可以通过使用鼠标的画面操作来输入视角信息。姿势信息用于基于由鼠标指定的浏览器的图像显示部内的位置坐标来求出虚拟的姿势。另外，基于鼠标轮的旋转操作来求出视角信息。
(3)在上述的实施方式中，图像分发装置12具备拍摄全天周的照相机模块16，但是该照相机模块也可以仅具备拍摄半天周的一个图像传感器18。具有这种照相机模块的图像分发装置例如安装于室内的天花板等，被用作对室内进行拍摄并将该室内的情形作为分发图像52来发送的装置。然后，在生成该分发图像52时，摄影图像被映射到虚拟球52的下侧，执行上述的第一坐标计算步骤和第二坐标计算步骤。
(4)另外，在上述的实施方式中，由各图像传感器18、19生成的摄影图像是半天周的图像，但是只要是至少包括全向的全向图像即可。在此，全向位图像是指对东西南北的全部方位进行拍摄而得到的图像，换言之，是指以某个点为基点来对该基点的周围(水平方向上360度)进行拍摄而得到的图像。这种全向图像既可以是从图像传感器18输出的摄影图像的去除中心部分所得到的图像，也可以是，在东西南北配置4个摄影视角为90度的照相机模块，将从这些照相机模块得到的摄影图像沿虚拟球的水平方向并排映射。
(5)在上述的实施方式中，由照相机模块16生成的摄影图像被映射到虚拟球56，但是不限定于该方式，由照相机模块拍摄到的摄影图像也可以被映射到虚拟立方体。在该方式中，在生成处理中，基于决定了分发图像52上的位置与虚拟立方体上的位置之间的对应关系的规定的对应式来求出第一坐标，通过对该第一坐标应用规定的旋转式来求出第二坐标。由此，针对分发图像52的各像素提取虚拟立方体中的像素信息。另外，同样地，摄影图像也可以被映射到虚拟圆筒。
(6)在上述的实施方式、变形例中，以摄影图像被映射到虚拟球56、虚拟立方体等的情况为例来进行了说明，但是不限于该方式，也可以是，设想摄影图像被映射到虚拟球、虚拟立方体等的情况，基于规定的计算式来在存储器22中展开像素信息。在该方式中，关于分发图像52的各像素，基于上述的对应式来求出第一坐标，基于上述的旋转式来求出第二坐标，从与该第二坐标对应的存储器地址提取像素信息。
本申请发明也能够以在不脱离其宗旨的范围内基于本领域技术人员的知识施加各种改进、修改或变形所得到的方式来实施。另外，在产生同一作用或效果的范围内，也可以以将某一个发明特定事项置换为其它技术而得到的方式来实施。
附图标记说明
3：网络通信线路；10：图像分发系统；12：图像分发装置；14：便携式信息终端(计算机)；16：照相机模块；28：生成部；30：分发部；38：显示部；48：接收部；50：展开部；52：分发图像；54：图像。

Claims (7)

1.一种分发图像生成方法，用于生成经由网络分发的分发图像，所述分发图像生成方法的特征在于，包括以下步骤：
获取至少对全向进行拍摄而生成的图像；以及
生成步骤，从所述获取到的图像间隔剔除地提取像素，生成在四角部分形成有低图像质量部分的分发图像，
其中，在所述生成步骤中，在提取所述像素时，根据以所述分发图像的中心为基点的圆与该圆的包含在所述分发图像中的弧之间的比率来选择应该提取的像素。
2.一种分发图像生成方法，用于生成经由网络分发的分发图像，所述分发图像生成方法的特征在于，包括以下步骤：
从所述分发图像的分发目的地终端获取视角；
获取至少对全向进行拍摄而生成的图像；以及
生成步骤，从所述获取到的图像提取像素来生成分发图像，
其中，在所述生成步骤中，基于根据获取到的视角决定的函数，从所述获取到的图像间隔剔除地提取像素。
3.根据权利要求2所述的分发图像生成方法，其特征在于，
在所述函数中，随着从所述分发图像的中心去向外侧，所述间隔剔除的间隔增大。
4.根据权利要求2或3所述的分发图像生成方法，其特征在于，
所述函数用于决定相对于从映射所述图像而得到的立体的中心观看的用户的视线的角度与距所述分发图像的中心的距离之间的对应，在该距离最大时所述角度为180度。
5.根据权利要求4所述的分发图像生成方法，其特征在于，
以如下方式决定所述函数：将位于所述视角内的所述立体上的像素排列到所述分发图像所包含的圆状区域的内侧，将位于所述视角外的所述立体上的像素排列到所述圆状区域的外侧。
6.根据权利要求5所述的分发图像生成方法，其特征在于，
所述圆状区域被设置成与所述分发图像的边缘相切。
7.根据权利要求5或6所述的分发图像生成方法，其特征在于，
以如下方式决定所述函数：使在所述距离为形成所述圆状区域的外形的圆的半径时的相对于所述用户的视线的角度为所述视角。
CN201880041746.3A 2017-11-29 2018-11-29 分发图像生成方法 Active CN110786017B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-228481 2017-11-29
JP2017228481A JP6472864B1 (ja) 2017-11-29 2017-11-29 画像配信システム、及び配信画像生成方法
PCT/JP2018/044076 WO2019107513A1 (ja) 2017-11-29 2018-11-29 配信画像生成方法

Publications (2)

Publication Number Publication Date
CN110786017A true CN110786017A (zh) 2020-02-11
CN110786017B CN110786017B (zh) 2023-09-01

Family

ID=65443015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880041746.3A Active CN110786017B (zh) 2017-11-29 2018-11-29 分发图像生成方法

Country Status (5)

Country Link
US (1) US11800080B2 (zh)
EP (1) EP3720137A4 (zh)
JP (1) JP6472864B1 (zh)
CN (1) CN110786017B (zh)
WO (1) WO2019107513A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114207562A (zh) * 2020-02-29 2022-03-18 近江数码制造株式会社 运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5418899A (en) * 1992-05-25 1995-05-23 Ricoh Company, Ltd. Size magnification processing unit for processing digital image in accordance with magnification factor
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
JP2005045513A (ja) * 2003-07-28 2005-02-17 Olympus Corp 画像処理装置及び歪補正方法
WO2007138845A1 (ja) * 2006-05-29 2007-12-06 Opt Corporation 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム
CN101455090A (zh) * 2006-05-29 2009-06-10 Opt株式会社 利用广角镜头拍摄的摄像数据的压缩方法、扩展显示方法、压缩装置、广角摄像装置以及监视系统
JP2010219872A (ja) * 2009-03-17 2010-09-30 Panasonic Corp カメラ装置、表示装置、画像処理システムおよび画像処理方法
KR101007149B1 (ko) * 2009-08-24 2011-01-12 주식회사 우신산업 광각 카메라의 교정을 위한 워핑 포인트 추출 방법 및 차량 탑뷰 이미지 획득방법
JP2011066860A (ja) * 2009-09-18 2011-03-31 Loarant Corp パノラマ画像生成方法及びパノラマ画像生成プログラム
CN102385741A (zh) * 2010-08-31 2012-03-21 日立信息通讯工程有限公司 图像校正、校正表生成装置、校正图像、校正表生成方法及程序
CN102395994A (zh) * 2010-03-18 2012-03-28 松下电器产业株式会社 全景图像处理装置及全景图像处理方法
JP2013153408A (ja) * 2011-12-27 2013-08-08 Casio Comput Co Ltd 画像処理装置、撮像装置、画像生成方法、及びプログラム
JP2016015705A (ja) * 2014-06-10 2016-01-28 日本電信電話株式会社 映像配信装置及び映像再生装置
US20160217625A1 (en) * 2013-12-16 2016-07-28 Sony Corporation Image processing apparatus, image processing method, and program
US20170070650A1 (en) * 2015-09-09 2017-03-09 Hyundai Autron Co., Ltd. Apparatus for correcting image distortion of lens
CN106791578A (zh) * 2016-12-26 2017-05-31 西安电子科技大学 基于鱼眼全景摄像机的视频会议实现方法
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP5215097B2 (ja) * 2008-09-12 2013-06-19 公立大学法人首都大学東京 撮像画像の変換方法
JP5871571B2 (ja) * 2011-11-11 2016-03-01 株式会社Pfu 画像処理装置、矩形検出方法及びコンピュータプログラム
JP5847570B2 (ja) * 2011-12-19 2016-01-27 キヤノン株式会社 画像処理装置及びその制御方法
JP2016146044A (ja) * 2015-02-06 2016-08-12 キヤノン株式会社 映像処理システム、映像処理装置及びその制御方法、並びにプログラム及び記憶媒体
CN109074628A (zh) * 2016-05-13 2018-12-21 索尼公司 生成装置和生成方法以及再现装置和再现方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5418899A (en) * 1992-05-25 1995-05-23 Ricoh Company, Ltd. Size magnification processing unit for processing digital image in accordance with magnification factor
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
JP2005045513A (ja) * 2003-07-28 2005-02-17 Olympus Corp 画像処理装置及び歪補正方法
WO2007138845A1 (ja) * 2006-05-29 2007-12-06 Opt Corporation 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム
CN101455090A (zh) * 2006-05-29 2009-06-10 Opt株式会社 利用广角镜头拍摄的摄像数据的压缩方法、扩展显示方法、压缩装置、广角摄像装置以及监视系统
CN101496410A (zh) * 2006-05-29 2009-07-29 Opt株式会社 利用广角镜头的摄像数据的压缩方法、压缩装置、广角摄像装置以及监视系统
JP2010219872A (ja) * 2009-03-17 2010-09-30 Panasonic Corp カメラ装置、表示装置、画像処理システムおよび画像処理方法
KR101007149B1 (ko) * 2009-08-24 2011-01-12 주식회사 우신산업 광각 카메라의 교정을 위한 워핑 포인트 추출 방법 및 차량 탑뷰 이미지 획득방법
JP2011066860A (ja) * 2009-09-18 2011-03-31 Loarant Corp パノラマ画像生成方法及びパノラマ画像生成プログラム
CN102395994A (zh) * 2010-03-18 2012-03-28 松下电器产业株式会社 全景图像处理装置及全景图像处理方法
CN102385741A (zh) * 2010-08-31 2012-03-21 日立信息通讯工程有限公司 图像校正、校正表生成装置、校正图像、校正表生成方法及程序
JP2013153408A (ja) * 2011-12-27 2013-08-08 Casio Comput Co Ltd 画像処理装置、撮像装置、画像生成方法、及びプログラム
US20160217625A1 (en) * 2013-12-16 2016-07-28 Sony Corporation Image processing apparatus, image processing method, and program
JP2016015705A (ja) * 2014-06-10 2016-01-28 日本電信電話株式会社 映像配信装置及び映像再生装置
US20170070650A1 (en) * 2015-09-09 2017-03-09 Hyundai Autron Co., Ltd. Apparatus for correcting image distortion of lens
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN106791578A (zh) * 2016-12-26 2017-05-31 西安电子科技大学 基于鱼眼全景摄像机的视频会议实现方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114207562A (zh) * 2020-02-29 2022-03-18 近江数码制造株式会社 运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构

Also Published As

Publication number Publication date
WO2019107513A1 (ja) 2019-06-06
EP3720137A1 (en) 2020-10-07
US11800080B2 (en) 2023-10-24
CN110786017B (zh) 2023-09-01
JP2019102849A (ja) 2019-06-24
EP3720137A4 (en) 2021-09-08
JP6472864B1 (ja) 2019-02-20
US20200145637A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
US10594941B2 (en) Method and device of image processing and camera
US10593014B2 (en) Image processing apparatus, image processing system, image capturing system, image processing method
CN106803884B (zh) 图像处理装置
EP3016065B1 (en) Coordinate computation device and method, and image processing device and method
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
US10855916B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP2019057903A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
US20190289206A1 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
JP2019057264A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP2019164782A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
CN111226255A (zh) 图像处理设备，图像捕获系统，图像处理方法和记录介质
JP2010217984A (ja) 像検出装置及び像検出方法
CN110786017B (zh) 分发图像生成方法
JP2018109946A (ja) 表示装置、プログラム、表示方法
JP2000206635A (ja) パノラマ像装置
JP2019185757A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP7219620B2 (ja) 配信画像生成方法
JP2018109971A (ja) 画像処理装置、画像処理システム、撮影システム、画像処理方法、及びプログラム
CN114567742A (zh) 全景视频的传输方法、装置及存储介质
JP6610741B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
US20200007761A1 (en) Horizontal calibration method and system for panoramic image or video, and portable terminal
JP6071364B2 (ja) 画像処理装置、その制御方法、および制御プログラム
US11928775B2 (en) Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image
JP6879350B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
JP2019087984A (ja) 情報処理装置、撮像システム、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant