CN116366825A - 图像处理装置、图像处理方法、以及存储介质 - Google Patents

图像处理装置、图像处理方法、以及存储介质 Download PDF

Info

Publication number
CN116366825A
CN116366825A CN202211664157.5A CN202211664157A CN116366825A CN 116366825 A CN116366825 A CN 116366825A CN 202211664157 A CN202211664157 A CN 202211664157A CN 116366825 A CN116366825 A CN 116366825A
Authority
CN
China
Prior art keywords
image
angle
perspective projection
wide
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211664157.5A
Other languages
English (en)
Inventor
小林正明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN116366825A publication Critical patent/CN116366825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了图像处理装置、图像处理方法、以及存储介质。公开的技术便于从与广角图像的预定的视角对应的部分图像区域生成的透视投影图像的确认。首先，图像获得单元获得超广角图像。区域信息获得单元获得用于定义对超广角图像设置的用于确认的图像的虚拟相机的光轴方向和视角，并且获得预定的视野角度信息。图像转换单元基于获得的虚拟相机的光轴方向和视角，将获得的超广角图像转换成透视投影图像作为用于确认的图像。区域信息绘制单元基于关于虚拟相机的视角的视野角度信息计算视场区域，以及在透视投影图像上叠加并且绘制指示计算的视场区域的矩形。

Description

图像处理装置、图像处理方法、以及存储介质
技术领域
本公开涉及将广角图像转换成透视投影图像的图像处理技术。
背景技术
近年来，头戴显示器(HMD)型XR信息处理终端已开始变得流行。XR是统称虚拟现实(VR)、增强现实(AR)和混合现实(MR)的术语。在HMD当中，依赖于成本和应用，存在各种视野角度(viewing angle)规格的HMD。另外，一般地，通过使用具有广的视角的鱼眼镜头进行成像而获得的具有180度或更大的视角的诸如鱼眼图像(也称为全向图像等)的超广角图像通常被用作HMD的图像内容。实际显示在HMD上的图像是广角图像中与HMD的视野角度对应的有限图像区域。为此，有必要从广角图像切出与对HMD的每个型号确定的视野角度对应的图像区域，并且将该图像区域转换成在平面中展开的透视投影图像(参见Makoto Shohara等人的Special Feature A New Visual Audio Experience Chapter 2:OmnidirectionalImaging(The journal of the Institute of Image Information and TelevisionEngineers Vol.69,No.7,2015)652-657)。在这种情况下，在平面中展开的透视投影图像是通过使用普通镜头获得并且适合由人观看且被显示在平面显示器上的图像。
在HMD的图像内容的编辑期间，有必要弄清楚需要的对象是否容纳(fit)在HMD上要显示的图像内。然而，对HMD切出的图像区域具有窄的视角并且难以捕获对象，并且广角图像不适合由人在普通平面显示器上观看。因此，存在难以确认从与广角图像的预定的视角对应的部分图像区域生成的透视投影图像的问题。
发明内容
本公开的技术是一种图像处理装置，被配置为从广角图像生成透视投影图像，包括：参数获得单元，所述参数获得单元获得与预定的视野角度相关的第一参数；第一生成单元，所述第一生成单元基于所述第一参数从所述广角图像生成所述透视投影图像；以及输出单元，所述输出单元将生成的透视投影图像输出到显示设备，其中所述透视投影图像包括指示所述广角图像中与所述预定的视野角度对应的图像区域的区域信息。
本发明的另外的特征从以下参考附图对示例性实施例的描述将变得清楚。
附图说明
图1是描述根据实施例的图像处理装置的硬件配置示例的图；
图2是实施例1中生成透视投影图像的流程图；
图3A是描述实施例1中的UI画面示例的图；
图3B是描述实施例1中的UI画面示例的图；
图3C是描述实施例1中的UI画面示例的图；
图4是实施例2中生成UI画面的流程图；
图5是描述实施例2中的UI画面示例的图；
图6是实施例3中生成透视投影图像的流程图；
图7是描述实施例3中的UI画面示例的图；
图8是实施例4中生成透视投影图像的流程图；
图9A是描述实施例4中的UI画面示例的图；
图9B是描述实施例4中的UI画面示例的图；
图9C是描述实施例4中的UI画面示例的图；
图10是实施例5中生成透视投影图像的流程图；
图11是实施例6中生成透视投影图像的流程图；
图12是实施例7中生成透视投影图像的流程图；
图13A是描述表达视点的中心的画面示例的图；
图13B是描述表达视点的中心的画面示例的图；
图13C是描述表达视点的中心的画面示例的图；以及
图14是描述根据实施例的图像处理装置的软件配置示例的图。
具体实施方式
[实施例1]
这里描述了图像处理装置，该图像处理装置可以将超广角图像转换成平面展开图像，同时在透视投影图像上突出显示(highlight)超广角图像中与预定的视角对应的图像区域。注意的是，为了解释方便，在一些情况下具有更广角度的广角图像可以被称为超广角图像。用于生成作为超广角图像的鱼眼图像的投影方法包括立体投影、等距投影、等立体角投影等。另一方面，用于生成平面展开图像的投影方法是中心投影方法。通过中心投影方法生成的图像被称为透视投影图像。因此，有必要进行投影转换以从鱼眼图像获得作为平面展开图像的透视投影图像。
图1图示了描述根据本实施例的图像处理装置的硬件配置示例的图。
总线100允许包括在图像处理装置中的组成部分之间的相互数据通信。CPU 101执行包括用于执行图像处理的程序的软件并且控制整个图像处理装置。ROM 102记录由CPU101执行的程序和各种数据。RAM 103在本图像处理装置的启动时加载存储在ROM 102中的程序和数据以用作CPU 101的工作区，并且存储获得的图像和生成的图像。用户接口(UI)设备连接单元104可以接受键盘、鼠标和关于HMD的朝向信息的输入。GPU 105可以执行图像处理并且将图像数据输出到诸如HMD和标准平面显示器的显示设备。通用接口(IF)106允许与捕获设备的连接和相机图像的输入。网络(NW)/IF 107可以有线或无线地连接到网络，并且可以通过网络向外部设备输入数据和从外部设备输出数据。在本实施例中，假定从ROM 102和UI设备连接单元104获得图像来给出描述；然而，可以通过通用IF 106从捕获设备实时输入图像，或者可以通过NW/IF 107经由网络获得图像。另外，由本实施例的图像处理装置生成的图像可以根据需要作为UI功能的一部分并入以显示在显示器上或输出到文件。
图14图示了描述根据本实施例的图像处理装置的软件配置示例的图。图像获得单元1401从ROM 102和NW/IF 107获得包括视角信息的超广角图像。区域信息获得单元1402从ROM 102、NW/IF107和稍后描述的UI单元1403获得透视投影图像的尺寸、与虚拟相机的光轴方向和视角相关的参数、以及与在透视投影图像上叠加并且绘制的视场(visual field)区域相关的信息。UI单元1403生成UI画面，将包括由稍后描述的区域信息绘制单元1404输出的图像的UI画面输出到图像设备，并且获得通过UI画面输入的用户输入。图像转换单元1405基于由区域信息获得单元1402获得的透视投影图像的尺寸以及虚拟相机的光轴方向和视角，通过超广角图像的投影转换生成透视投影图像。区域信息绘制单元1404将由区域信息获得单元1402获得的指示视场区域的信息叠加并且绘制在透视投影图像上，并且将该信息输出到UI单元1403。用于HMD的图像生成单元1406从透视投影图像切出与由区域信息获得单元1402获得的视场区域对应的图像区域，生成用于HMD的图像，并且将该图像输出到HMD。
在本实施例中处理的图像的坐标系中，图像的宽度和高度分别为wh和hh，图像的左端的X坐标为-wh/2，图像的右端的X坐标为wh/2，图像的上端的Y坐标为-hh/2，并且图像的下端的Y坐标为hh/2，其中图像中心为原点。另外，形成图像的每个像素具有RGB颜色通道，并且每个像素的像素值包括每个RGB颜色通道的值。
图2图示了描述实施例1中生成每一帧的透视投影图像的处理的流程图。在这种情况下，除非另外说明，否则在图2中所示的箭头的方向上顺次执行步骤。然而，只要在步骤之间不存在数据的输入和输出关系上的依赖性，就可以以不同的次序执行步骤。另外，尽管CPU 101执行每个步骤，但是诸如绘制处理的处理的一部分可以由GPU 105执行。由本过程生成的图像被显示在通过GPU 105连接的显示器上。如果输入图像的显示帧速率为60fps，那么每秒执行60个图像的读取、生成和显示。
在S2010中，图像获得单元1401获得超广角图像。在本实施例中，输入通过使用具有高达180度的视角的等距投影方法的鱼眼镜头获得的鱼眼图像作为超广角图像。注意的是，在这种情况下，从作为超广角图像获得的鱼眼图像通过数字图像处理去除光学失真。在本实施例中，假定超广角图像的镜头圆的半径为r'并且鱼眼图像的宽度和高度为2r'+1来给出描述。
在S2020中，区域信息获得单元1402获得用于定义对超广角图像设置的用于确认的图像的虚拟相机的光轴方向和视角。在本实施例中，描述从应用的UI单元1403获得虚拟相机的光轴方向和视角的示例。在初始状态下，虚拟相机的光轴方向为获得的超广角图像的正面方向，并且虚拟相机的视角为120度(左右各60度)。作为获得虚拟相机的那些参数的方法，通过拖动鼠标获得的上下左右的移动量是虚拟相机的光轴方向的上下左右的改变量，并且获得通过将改变量相加到上述初始值而获得的值。另外，获得通过点击上下左右按钮各改变虚拟相机的光轴方向10度而获得的值。此外，虚拟相机的视角可以通过旋转鼠标的滚轮来增大和减小。注意的是，虚拟相机是能够获得表达从指定的虚拟视点的视图的虚拟视点图像作为捕获图像并且不同于实际部署的图像捕获设备的虚拟相机。虚拟相机是为了方便地根据虚拟视点图像的生成描述虚拟视点的概念。基于鱼眼图像和指定的虚拟视点生成的虚拟图像捕获中的视点的光轴方向和视角可以被表达为虚拟相机的光轴方向和视角。注意的是，虚拟相机的位置是获得的超广角图像的图像捕获设备的位置。
在S2030中，区域信息获得单元1402获得预定的视野角度信息。在本实施例中，作为HMD的视野角度信息，从预先存储在ROM 102等中的数据获得作为稳定的观察视野角度的60度(上下左右各30度)。注意的是，人的视野角度具有各种分类。仅利用眼睛移动进行观察并且可以立即捕获特定的信息的有效视场是左右各大约15度、上大约8度、并且下大约12度以内。可以利用眼睛移动和头部移动毫不费力地进行观察的视野角度被称为稳定的观察视场，并且左右各在30至45度、上在20至30度、并且下在25至40度以内。与稳定的观察视场对比，仅允许确定呈现的信息的存在的辨别能力、但是影响人的空间坐标感的视野角度被称为诱导视场，其中左右各为30至100度并且上下各为20至85度。
在S2040中，基于在S2020中获得的虚拟相机的光轴方向和视角，图像转换单元1405将在S2010中作为超广角图像获得的鱼眼图像转换成透视投影图像作为用于确认的图像。透视投影图像的宽度为w，高度为h，虚拟相机的光轴方向为(φx,φy)，虚拟相机的视角为2a度(上下左右各为a度)，坐标值为(x，y)，并且鱼眼图像的坐标值为(x'，y')。此外，由角度指示的像素的图像高度为(θx，θy)。在鱼眼图像和透视投影图像具有相同值的情况下，基于以下等式获得(θx，θy)。注意的是，在本实施例中，h＝1080并且w＝1920。
r＝max(w，h)/2 (1)
Figure BDA0004014041120000061
Figure BDA0004014041120000062
Figure BDA0004014041120000063
Figure BDA0004014041120000064
Figure BDA0004014041120000065
Figure BDA0004014041120000066
注意的是，r为从透视投影图像的中心到图像端部的距离，并且r'为鱼眼图像的镜头圆的半径。此外，max(w,h)是输出w和h中较大的一个的函数。转换之后的透视投影图像上的每个坐标中的像素值基于通过上述等式(1)至(7)关联的转换之前的鱼眼图像上的对应坐标中的像素值来计算。注意的是，存在鱼眼图像上的像素值的坐标不是整数而是实数。因此，如果计算出不存在像素值的坐标，那么应用通过利用双三次方法对像素值进行插值而获得的值作为透视投影图像的像素值。注意的是，通常对透视投影图像设置焦距，并且在本实施例中，焦距根据生成的图像的尺寸自动地设置。
在S2050中，区域信息绘制单元1404基于关于虚拟相机的视角的视野角度信息计算视场区域，以及在透视投影图像上叠加并且绘制指示计算的视场区域的矩形。在本实施例中，为了突出显示视场区域，绘制在离虚拟相机的光轴左上-30度和右下30度的位置处具有边的矩形。矩形的上边的Y坐标、下边的Y坐标、左边的X坐标和右边的X坐标各自通过等式(4)和(5)计算。注意的是，在指示视场区域的矩形的一部分没有容纳在透视投影图像内的情况下，矩形被变形并且绘制以容纳在透视投影图像内。
图3A至图3C图示了本实施例中的UI画面上的指示视场区域的矩形的示例。在图3A至3C中，作为用于确认的图像的透视投影图像301被显示在UI画面上，并且在透视投影图像301的中心利用虚线绘制指示视场区域的矩形302。注意的是，绘制指示视场区域的矩形302的线不限于虚线，并且可以是任何线，只要它是容易可见的线即可，诸如绿色的实线。指示视场区域的矩形302的尺寸根据第二虚拟相机的视角相对于透视投影图像301改变；然而，在本实施例中，矩形302始终以恒定的尺寸绘制在透视投影图像301的中心。图3A图示了虚拟相机的视角窄的状态，并且图3B图示了虚拟相机的视角宽的状态。如上所述，虚拟相机的视角可以根据由用户通过UI单元1403输入的虚拟相机的视角改变。
在S2060中，区域信息绘制单元1404在作为用于确认的图像的透视投影图像301上绘制基于视野角度信息的字符信息303。在本实施例中，在指示视场区域的矩形的左上方使用与矩形的颜色相同的颜色绘制“稳定的观察视野角度”的字符串。注意的是，在基于获得的视野角度信息设置的视野角度不是稳定的观察视野角度的情况下，例如，绘制诸如“诱导视场”的根据视野角度信息的字符串。
观看者从来不执行诸如切出透视投影图像的一部分的编辑工作。由于这个原因，在观看者在HMD上观看以稳定的观察视野角度等切出的透视投影图像的情况下，由于视角比人的视野角度窄，因此观看者可以观看图像而不意识到有效视场。
另一方面，执行成像的人需要在考虑视角和构图的同时捕获图像，并且编辑者需要通过部分修剪来使图像成形。因此，在平面显示器上确认切出的透视投影图像的情况下，难以弄清楚对象是否容纳在何种程度的视角内。特别地，在存在改变虚拟相机的视角的所谓的变焦功能的情况下，在弄清楚当前的视角(变焦倍率)的同时有必要意识到对象的尺寸与视野角度之间的关系，并且已难以专注于成像。
因此，在本实施例中，通过在用于编辑和成像的透视投影图像上显示作为基于预定的视野角度的引导的矩形，可以容易地使对象容纳在假定的视野角度内并且执行直观成像。例如，在紧接在成像之后确认图像的情况下，可以基于指示基于视野角度的视场区域的矩形确定对象是否容纳在视野角度内。因此，如果确定对象没有容纳在视野角度内，那么可以立即再次执行成像。反过来，将对象显示为大于作为引导的矩形以便更有力也是有用的。
在本实施例中，获得稳定的观察视野角度作为视野角度信息；然而，不限于此。例如，可以获得诸如典型的HMD的视野角度和有效视场的任意视野角度作为视野角度信息，并且可以将视野角度显示为数值以及与视野角度对应的矩形。此外，尽管绘制的字符串是“稳定的观察视场”，但是不限于此，并且可以应用诸如“稳定的观察视野角度(60度)”或简单地“60度”的任何表达，只要它是突出显示的区域上的字符信息即可。此外，可以显示转换成全尺寸焦距(mm)的值。此外，可以省略字符信息。即，可跳过S2060。
在本实施例中，指示视场区域的矩形是假定相对于HMD穿戴者的视线方向上下左右的视角相同而绘制的；然而，矩形的绘制方法不限于此。例如，如图3C中所示，作为稳定的观察视场，可以在离中心左-30度、右30度、上20度和下-25度的位置处绘制矩形。
在本实施例中，假定输入具有180度的视角的等距投影的鱼眼图像作为超广角图像来给出描述；然而，输入的超广角图像不限于此。用作超广角图像的鱼眼图像可以是180度或更小或者可以大于180度，并且可以是通过除等距投影以外的投影方法记录的图像。另外，可以输入通过超广角图像的等距圆柱转换获得的等距圆柱图像，或者可以输入全向图像。本实施例中的超广角图像指示允许能够进行头部跟随显示的HMD以充分确保视野角度的超广角图像。例如，普通镜头的视角通过焦距表达，并且如果是广角，那么焦距为大约8mm(在全尺寸传感器的情况下左右视角的总和为130度)。这是对于跟随头部移动的HMD上的显示太窄的视角。注意的是，如果可允许窄的视角，那么本技术是可应用的；然而，由于透视投影图像是通过在任意角度方向上切出而生成的，因此输入即使在广角区域中也可以确保足够的图像质量(像素的密度)的鱼眼图像或全向图像是有利的。此外，即使对于窄视角的图像，在通过对不同方向的多个图像进行合成和插值以伪方式生成超广角区域的图像的情况下，也可以获得足够的视角和图像质量。
本实施例被描述为在具有与PC的配置等同的配置的图像处理装置上执行；然而，不限于此，并且可以具有本实施例由图像捕获设备上的图像处理单元执行并且透视投影图像显示在图像捕获设备的取景器和背面显示器上的配置。
在本实施例中，移动图像被描述为输入的超广角图像的示例；然而，输入的超广角图像可以是静止图像。另外，尽管输入的超广角图像被描述为通过图像捕获设备的图像捕获而获得的捕获图像，但是可以应用CG，只要包括关于视角的信息即可。
[实施例2]
在实施例1中，从超广角图像生成绘制有指示基于视野角度的视场区域的矩形的透视投影图像；然而，在本实施例中，生成绘制有用于UI的小部件(widget)的图像。图4是实施例2中生成UI画面的流程图。除非另外说明或改变，否则描述按照实施例1中的图2的描述。本实施例中生成的UI画面包括显示透视投影图像的显示区域501和诸如复选框502的小部件、控制透视投影图像的播放位置的滑块503和播放按钮504。注意的是，由于小部件的操作是通用的，因此省略与本技术不相关的小部件的描述。注意的是，稍后描述的复选框502的默认状态是所有复选框502未被选中的状态。
在S4030中，区域信息获得单元1402获得多条视野角度信息。在本实施例中，区域信息获得单元1402获得包括60度(观察视野角度)、100度(产品A)、110度(产品B)、120度(产品C)的信息以及与相应的项目对应的复选框是否被选中的信息。
在S4045中，UI单元1403获得指示是否存在用户选择的复选框的用户选择信息。
在S4050中，区域信息绘制单元1404基于虚拟相机的视角、视野角度信息和用户选择信息计算视场区域，并且在透视投影图像上绘制指示计算的视场区域的一个或多个矩形。在本实施例中，区域信息绘制单元1404绘制与获得的视野角度信息中对应的复选框被选中的视野角度对应的矩形。作为绘制示例，图5图示了移动图像播放器的UI画面。
在S4060中，UI单元1403在UI画面上绘制基于视野角度信息的字符信息505。在本实施例中，如图5中所示，基于视野角度信息的字符信息没有叠加在透视投影图像上，并且作为小部件绘制在显示有透视投影图像的显示区域的外部。在这个处理中，指示矩形是否被绘制的复选框相应地被选中或不被选中。注意的是，指示复选框是否被选择的状态在本过程结束之后被保持，并且在再次执行本过程的情况下能够被获得。
在S4070中，UI单元1403绘制其它小部件。在本实施例中，UI单元1403绘制播放按钮504、指示移动图像的播放状态的滑块503、指定虚拟相机的视角的视角控制按钮507、以及设置虚拟相机的视角以便容纳在窗口中的Fit按钮506。
在本实施例中，在用户通过使用复选框来选择要通过绘制矩形而突出显示的视野角度的情况下，可以设置目标角度和HMD的视野角度并且突出显示其视野角度。此外，在同时绘制与多条视野角度信息对应的矩形的情况下，例如，用户可以在其上多个视野角度的视场区域被显示为预览的透视投影图像上比较的同时确认观察区域、HMD的视角等。
在本实施例中，尽管在S4030中获得四种视野角度信息，但是数量和内容不限于此。另外，可以应用通过网络获得视野角度信息和用户输入以更新显示内容的配置。
[实施例3]
在实施例1和2中，指示视场区域的矩形在相对于透视投影图像固定的同时被绘制。在本实施例中，指示视场区域的矩形在相对于透视投影图像移动以便跟随作为输入的超广角图像的鱼眼图像中的特定对象的同时被绘制。图6是实施例3中生成透视投影图像的流程图。除非另外说明或改变，否则描述按照实施例1中的图2的描述。注意的是，要跟随的对象可以每次由用户选择，或者可以检测预先确定的预定的对象。
在S6045中，区域信息获得单元1402获得用户是否选择对象跟随模式的对象跟随模式信息。在本实施例中，如图7中所示，区域信息获得单元1402获得UI画面中的复选框是否被选中的信息。图7是描述实施例3中的UI画面示例的图。
在S6050中，区域信息绘制单元1404基于虚拟相机的光轴方向和视角、视野角度信息以及对象跟随信息确定视场区域的坐标值，并且在透视投影图像上绘制指示计算的视场区域的矩形。图7图示了这种情况下的UI画面示例。图7图示了在选择对象跟随模式作为对象跟随信息时虚拟相机的光轴方向(正面方向)向右移位的情况的画面示例，并且相应地指示视场区域的矩形也被绘制为向右移位。在选择对象跟随模式的情况下，首先，为了获得视场区域的坐标值，基于对象跟随信息中包括的对象的位置的坐标值以及等式(2)和(3)计算指示视场区域的矩形的左上、右上、左下和右下的四个坐标值。然后，基于计算的坐标值绘制矩形的上边、下边、左边和右边。作为没有选择对象跟随模式信息的情况下的计算方法，虚拟相机的光轴方向被忽略，因此与(φx，φy)＝(0，0)的情况类似地执行计算。在没有选择对象跟随模式信息、不执行上述坐标值获得并且在画面的中心绘制矩形的情况下的透视投影图像的示例与图3A至3C中所示的相同。
在本实施例中，在指示视场区域的矩形的四个点被校正的情况下，矩形没有固定在透视投影图像的中心，并且显示在虚拟视点相机的光轴方向上，如图7中所示。由此，在指示视场区域的矩形被绘制在虚拟相机的光轴方向上的情况下，可以提供允许在利用鼠标操纵虚拟相机的光轴方向并且确认视野角度外部的对象的同时容易识别正面视野角度的图像。
[实施例4]
实施例1至3描述了使用矩形进行突出显示的示例；然而，在本实施例中，参考图8描述通过突出显示方法绘制圆形引导线的方法。图8是实施例4中生成透视图像的流程图。除非另外说明或改变，否则描述按照实施例1中的图2的描述。
在S8030中，区域信息获得单元1402获得视野角度信息。在本实施例中，区域信息获得单元1402获得稳定的观察视野角度的半径为30度的信息。
在S8050中，区域信息绘制单元1404基于虚拟相机的光轴方向和视角以及视野角度信息计算视场区域，并且在透视投影图像上绘制圆形引导线。在本实施例中，基于在S8030中获得的视野角度信息(其为30度)，基于以下等式获得圆的半径，其中θ＝30，并且从透视投影图像的中心以该半径绘制圆。
Figure BDA0004014041120000131
图9A至9C图示了这种情况下的UI画面的示例。图9A至9C是描述实施例4中的UI画面示例的图。图9A是其中绘制了在S8050中描述的圆的UI画面示例。HMD的视野角度和人的视野角度与矩形相比更接近于圆。因此，可以突出显示更接近于实际视图的区域。在本实施例中，绘制了正圆；然而，圆不一定是正圆，并且可以是椭圆、具有圆角的矩形、具有圆角的菱形、或者圆和矩形的组合形状。例如，可以应用图9B和9C。注意的是，在寻求更忠实地复制基于人的视觉特征的视场的情况下，该区域是与矩形或圆的形状相比扭曲的形状。另一方面，扭曲的形状具有劣化的设计。考虑到突出显示的视场区域仅是引导，它不关乎哪个是对的，而是在忠实度与设计之间的平衡的调整的问题，因此它可以依赖于目标用户来确定。
[实施例5]
在本实施例中，参考图10描述通过在鱼眼图像中绘制圆来突出显示视场区域的示例。图10是实施例5中生成透视投影图像的流程图。除非另外说明或改变，否则描述按照实施例1中的图2的描述。
在S10010中，图像获得单元1401获得鱼眼图像。该操作与S2010中的操作等同，除了获得的图像被改变之外。
在S10035中，区域信息绘制单元1404基于虚拟相机的视角和视野角度信息计算视场区域，并且在鱼眼图像上绘制指示视场区域的圆。本实施例中的超广角图像为鱼眼图像，并且与基于视野角度信息的视野角度对应的圆绘制在围绕光轴的同心圆上。绘制在鱼眼的同心圆上的圆在转换成透视投影图像之后仍然维持圆的形状。
Figure BDA0004014041120000132
在S10050中，图像转换单元1405基于虚拟相机的光轴方向和视角将鱼眼图像转换成透视投影图像。该操作与S2050中的操作相同。然而，绘制在鱼眼图像上的圆也被转换。
在本实施例中，圆被绘制在鱼眼图像上而不是透视投影图像上。因此，即使在鱼眼图像而不是透视投影图像上绘制引导线，也可以获得与其它实施例的效果类似的效果。
在本实施例中，由于绘制有引导线的超广角图像(鱼眼图像)基于虚拟相机的光轴方向和视角被转换成透视投影图像，因此引导线被绘制在虚拟相机的光轴方向上。即，基于实施例3中描述的跟随对象的模式绘制引导线。
[实施例6]
在本实施例中，参考图11描述通过抑制视场区域的外部的图像区域来相对地突出显示视场区域的内部的示例。图11是实施例6中生成透视投影图像的流程图。在本实施例中抑制图像是要通过调整增益来使图像变暗和降低对比度并且弱化特定的图像区域。注意的是，除非另外说明或改变，否则描述按照实施例1中的图2的描述。
在S11050中，区域信息绘制单元1404基于虚拟相机的视角和视野角度信息计算视场区域，并且降低透视投影图像的视场区域外部的亮度。
根据本实施例，可以不仅像实施例1那样通过绘制矩形而且还通过处理图像来突出显示视场区域。
在本实施例中，描述了调整增益作为图像区域的抑制的示例；然而，不限于此。例如，可以应用使视场区域的外部完全变黑的方法。此外，还可以通过将低通滤波器应用到视野角度的外部来抑制图像。在这个处理中，可以将更强的低通滤波器应用到视场区域的外部，而不是在视场区域的内部与外部之间打开和关闭低通滤波器。
在本实施例中，视场区域的内部与外部之间的边界具有矩形形状；然而，不限于此，并且边界可以是如实施例4中所述的圆形。
[实施例7]
在本实施例中，视场区域与HMD的头部移动一起显示。图12是实施例7中生成透视投影图像的流程图。注意的是，除非另外说明或改变，否则描述按照实施例1中的图2的描述。
在本实施例中，生成的透视投影图像作为视频输出到平面显示器和HMD两者，并且要在HMD上显示的区域在平面显示器上被突出显示。在HMD上显示与跟随头部移动的光轴方向上的视场区域对应的图像，并且只要不存在来自观看平面显示器的用户的输入，就在平面显示器上显示视场方向固定的图像。
在S12030中，区域信息获得单元1402获得关于连接的HMD的视野角度信息和HMD朝向信息。在这个处理中，基于连接的HMD的型号名称，区域信息获得单元1402获得该型号的视野角度。注意的是，视野角度可以不参考型号名称而直接获得。对于HMD朝向信息，只要如稍后所述获得HMD的正面方向，就可以没有限制地应用任何格式。
在S12050中，区域信息绘制单元1404基于HMD朝向信息计算视场区域，以及在透视投影图像上叠加并且绘制指示计算的视场区域的矩形。HMD正面方向(φ'x，φ'y)基于HMD朝向信息计算。在这个处理中，使用等式(2)和(3)，计算视场区域的矩形的左上、右上、左下和右下的四个坐标，其中(φx，φy)＝(φ'x，φ'y)，并且矩形的上边、下边、左边和右边被绘制为线。由此，绘制的矩形的位置根据HMD的头部移动而改变。
传统上，在同时输出到HMD和平面显示器两者的情况下，通常，跟随头部移动的HMD中的图像显示在平面显示器上。跟随头部移动的图像对于HMD穿戴者是自然的；然而，对于通过普通平面显示器的用户观看，存在图像被大大地模糊并且容易引起不适的问题。在本实施例中，在叠加并且绘制有指示HMD的视场区域的矩形的透视投影图像从UI单元1403显示在显示器上的情况下，可以在确认HMD穿戴者的视线方向的同时作为图像显示不引起不适的固定图像。
注意的是，在显示的矩形上，如图13A至13C中所示，可以绘制以交点作为矩形的中心的十字、×或点。图13A至13C是描述表达视点的中心的画面示例的图，并且这可以表达视点方向。注意的是，如果不存在表达视野角度的需要，那么不必绘制矩形，并且可以仅绘制指示视点方向的十字、×或点。
[其它实施例]
本发明的实施例还可以通过读出并且执行记录在存储介质(其也可以被更完整地称为‘非暂时性计算机可读存储介质’)上的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个的功能和/或包括用于执行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机、以及通过由系统或装置的计算机通过例如读出并且执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或多个的功能和/或控制一个或多个电路以执行上述实施例中的一个或多个的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独的计算机或单独的处理器的网络，以读出并且执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储设备、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM)、闪存设备、存储卡等中的一个或多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已参考示例性实施例描述了本发明，但是要理解的是，本发明不限于所公开的示例性实施例。随附权利要求的范围要被赋予最广泛的解释以便涵盖所有这样的修改以及等同的结构和功能。
根据本公开的技术，容易确认从与广角图像的预定的视角对应的部分图像区域生成的透视投影图像。

Claims (13)

1.一种图像处理装置，所述图像处理装置被配置为从广角图像生成透视投影图像，所述图像处理装置包括：
第一生成单元，所述第一生成单元被配置为基于与预定的视野角度相关的第一参数从所述广角图像生成所述透视投影图像；以及
输出单元，所述输出单元被配置为输出生成的透视投影图像，其中，
所述透视投影图像包括指示所述广角图像中与所述预定的视野角度对应的图像区域的区域信息。
2.根据权利要求1所述的图像处理装置，其中，
所述区域信息包括指示与所述预定的视野角度对应的所述图像区域的框。
3.根据权利要求1所述的图像处理装置，其中，
所述区域信息包括指示所述视野角度的字符串。
4.根据权利要求1所述的图像处理装置，其中，
所述视野角度是预定的HMD的视野角度，并且
所述区域信息包括指示所述预定的HMD的型号的字符串。
5.根据权利要求1所述的图像处理装置，还包括：
参数获得单元，所述参数获得单元被配置为获得与所述广角图像相关的第二参数以及与所述透视投影图像相关的第三参数，其中，
所述第二参数包括所述广角图像的视角，并且所述第三参数包括所述透视投影图像的视角和所述广角图像中的坐标，所述广角图像中的所述坐标与所述透视投影图像中的标准坐标对应，并且
所述第一生成单元基于所述第二参数、所述第三参数、以及所述第一参数从所述广角图像生成所述透视投影图像。
6.根据权利要求1所述的图像处理装置，其中，
所述广角图像是基于鱼眼镜头的投影方法获得的图像、等距圆柱图像、以及全向图像中的一个。
7.根据权利要求1所述的图像处理装置，其中，
所述区域信息包括关于与多个视野角度相关的多个图像区域的区域信息。
8.根据权利要求1所述的图像处理装置，还包括：
坐标值获得单元，所述坐标值获得单元被配置为获得指定所述广角图像中的坐标的坐标值，其中，
所述第一生成单元基于由所述坐标值获得单元获得的坐标值确定所述透视投影图像中叠加所述区域信息的位置。
9.根据权利要求8所述的图像处理装置，其中，
所述坐标值获得单元获得所述广角图像中的特定对象所位于的坐标值。
10.根据权利要求1所述的图像处理装置，其中，
所述第一生成单元生成所述透视投影图像以便改变所述图像区域的内部与外部之间的亮度和对比度中的至少一个。
11.根据权利要求1至10中的任一项所述的图像处理装置，还包括：
第二生成单元，所述第二生成单元被配置为通过基于所述区域信息切出所述图像区域来生成用于HMD的图像，其中，
所述输出单元将所述透视投影图像和所述用于HMD的图像分别输出到不同的显示设备。
12.一种从广角图像生成透视投影图像的图像处理方法，所述图像处理方法包括：
基于与预定的视野角度相关的第一参数从所述广角图像生成所述透视投影图像；以及
输出生成的透视投影图像，其中，
所述透视投影图像包括指示所述广角图像中与所述预定的视野角度对应的图像区域的区域信息。
13.一种存储程序的非暂时性计算机可读存储介质，所述程序使计算机执行从广角图像生成透视投影图像的图像处理方法，包括：
获得与预定的视野角度相关的第一参数；
基于所述第一参数从所述广角图像生成所述透视投影图像；以及
将生成的透视投影图像输出到显示设备，其中，
所述透视投影图像包括指示所述广角图像中与所述预定的视野角度对应的图像区域的区域信息。
CN202211664157.5A 2021-12-28 2022-12-23 图像处理装置、图像处理方法、以及存储介质 Pending CN116366825A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021214448A JP2023097997A (ja) 2021-12-28 2021-12-28 画像処理装置、画像処理方法およびプログラム
JP2021-214448 2021-12-28

Publications (1)

Publication Number Publication Date
CN116366825A true CN116366825A (zh) 2023-06-30

Family

ID=84887381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211664157.5A Pending CN116366825A (zh) 2021-12-28 2022-12-23 图像处理装置、图像处理方法、以及存储介质

Country Status (4)

Country Link
US (1) US20230206386A1 (zh)
EP (1) EP4207050A1 (zh)
JP (1) JP2023097997A (zh)
CN (1) CN116366825A (zh)

Also Published As

Publication number Publication date
EP4207050A1 (en) 2023-07-05
US20230206386A1 (en) 2023-06-29
JP2023097997A (ja) 2023-07-10

Similar Documents

Publication Publication Date Title
US10916048B2 (en) Image processing apparatus, image processing method, and storage medium
US10970915B2 (en) Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium
KR102342668B1 (ko) 화상 처리장치, 화상 처리방법 및 기억매체
CN110456967B (zh) 信息处理方法、信息处理设备以及程序
JP5835384B2 (ja) 情報処理方法、情報処理装置、およびプログラム
JP5517746B2 (ja) 画像処理装置およびその方法
CN110738736B (zh) 图像处理装置、图像处理方法和存储介质
KR20190138896A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP6350695B2 (ja) 装置、方法、およびプログラム
US9082183B2 (en) Image processing device and image processing method
US10701286B2 (en) Image processing device, image processing system, and non-transitory storage medium
JP6583486B2 (ja) 情報処理方法、情報処理プログラムおよび情報処理装置
JP6663491B2 (ja) 画像処理装置、画像処理プログラム、および記録媒体
CN116366825A (zh) 图像处理装置、图像处理方法、以及存储介质
JP6128185B2 (ja) 装置、方法、およびプログラム
KR20180111991A (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 시스템
JP2019204560A (ja) プログラム
US20220124302A1 (en) Generation apparatus, generation method, and storage medium
JP2016021267A (ja) 装置、方法、およびプログラム
JP4767331B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2023161493A (ja) 表示システム、表示方法、及び表示プログラム
CN117079330A (zh) 一种人脸图像跟踪方法及装置、计算机可读介质
JP2022103836A (ja) 情報処理装置、情報処理方法及びプログラム
JP2017224330A (ja) 装置、方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination