CN107871308A - 用于处理广角图像的方法和设备 - Google Patents

用于处理广角图像的方法和设备 Download PDF

Info

Publication number
CN107871308A
CN107871308A CN201710650651.9A CN201710650651A CN107871308A CN 107871308 A CN107871308 A CN 107871308A CN 201710650651 A CN201710650651 A CN 201710650651A CN 107871308 A CN107871308 A CN 107871308A
Authority
CN
China
Prior art keywords
roi
correction
distortion
distortion correction
chart picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710650651.9A
Other languages
English (en)
Other versions
CN107871308B (zh
Inventor
宋昌禧
郑景传
金大焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Samsung Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Techwin Co Ltd filed Critical Samsung Techwin Co Ltd
Publication of CN107871308A publication Critical patent/CN107871308A/zh
Application granted granted Critical
Publication of CN107871308B publication Critical patent/CN107871308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/52—Parallel processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

一种用于处理广角图像的方法和设备。一种处理广角图像的方法包括：接收由广角相机捕获的原始图像；接收从原始图像选择多个感兴趣区域(ROI)的用户输入；并行产生与所述多个ROI对应的多个畸变校正图；通过基于所述多个畸变校正图校正所述多个ROI的畸变，来并行渲染多个校正图像。还公开了一种执行该处理方法的设备。

Description

用于处理广角图像的方法和设备
本申请要求于2016年9月27日提交的第10-2016-0124244号韩国专利申请的优先权和权益，所述韩国专利申请出于所有目的通过引用如在这里完整阐述的一样包含于此。
技术领域
本发明总体涉及一种用于处理广角图像的方法和设备，更具体地，涉及一种用于并行和响应于用户输入而处理感兴趣区域的方法和设备。
背景技术
鱼眼相机被用于监控公共场所(诸如，火车站、超市、十字路口或机构)或公共建筑(诸如，图书馆、法庭或监狱)。此外，鱼眼相机被私下用于构建警报系统或监控应被仔细观察的个体。因此，鱼眼相机能适用于室内应用和户外应用二者。然而，从鱼眼相机获得的图像经常包括畸变的部分。当然，畸变的、模糊的或另外不清楚的图像可伴随从实际用于任何目的的实际任何类型的相机获得的图像发生。
发明内容
根据本发明的原理构造的方法和设备提供一种具有使图像中的感兴趣区域的迅速的选择和重新选择成为可能的用户接口的图像处理技术。
本发明的一个或多个示例性实施例并行处理图像(诸如，广角图像)的多个部分，这可避免需要重新处理图像的一些感兴趣区域并提高图像处理性能。例如，广角图像的一个或多个部分的处理可被省略，和/或在没有必须重新处理未受影响的感兴趣区域的情况下，不同的感兴趣区域被选择用于处理。因此，用于图像处理的资源可被节省。
即使服务提供商没有限定观察器应用所期望的全部应用程序接口，根据本发明的原理构造的方法和设备也可提供一种动态用户接口。因此，即使适于用户的需要的图像处理技术(诸如，广角图像处理技术)通过任何服务提供商不是完全可用，这样的图像处理技术也可被提供。
额外的方面将在下面的描述中部分地阐述，部分将通过该描述变得明显，或者可通过公开的实施例的实践来了解。
根据本发明的第一方面，一种用于处理广角图像的方法包括：接收由广角相机捕获的原始图像；接收从原始图像选择多个感兴趣区域ROI的用户输入；并行产生与所述多个ROI对应的多个畸变校正图；通过基于所述多个畸变校正图校正所述多个ROI的畸变，来并行渲染多个校正图像。
所述方法还可包括：接收删除所述多个ROI中的第一ROI的用户输入；删除与第一ROI对应的第一畸变校正图。
所述方法还可包括：接收选择补充的ROI的用户输入，补充的ROI除所述多个ROI之外；产生与补充的ROI对应的第二畸变校正图；通过基于第二畸变校正图校正补充的ROI的畸变，来渲染第二校正图像。
所述方法还可包括：将优先级分配给所述多个校正图像；响应于选择补充的ROI的用户输入，删除与所述多个校正图像中的具有最低优先级的第一校正图像对应的第一畸变校正图。
所述方法还可包括：接收使用第二ROI替换第一ROI的用户输入，其中，第一ROI是所述多个ROI中的一个，第二ROI不是所述多个ROI中的一个；删除与第一ROI对应的第一畸变校正图，并产生与第二ROI对应的第二畸变校正图；通过基于第二畸变校正图校正第二ROI的畸变，来渲染第二校正图像。
广角相机可以是鱼眼相机。
并行产生多个畸变校正图的步骤可包括：针对所述多个畸变校正图中的至少一个，将对应的ROI的原始像素的位置值映射为构成校正图像的校正像素的位置值。
所述对应的ROI的原始像素的位置值可包括水平角度、倾斜角度和放大倍数，构成校正图像的校正像素的位置值可包括X坐标值和Y坐标值。
并行渲染多个校正图像的步骤可包括：测量原始图像的帧率；确定帧率是否低于参考帧率；当帧率低于参考帧率时，渲染除所述多个校正图像中的至少一个校正图像的至少一部分之外的图像。
所述方法还可包括将优先级分配给所述多个校正图像的步骤，其中，所述多个校正图像中的所述至少一个校正图像包括所述多个校正图像中的具有最低优先级的第一校正图像。
根据本发明的第二方面，一种用于处理广角图像的设备包括：通信接口，被配置为从广角相机接收原始图像；用户接口，被配置为接收从原始图像选择多个ROI的用户输入；处理器，被配置为并行产生与所述多个ROI对应的多个畸变校正图，并被配置为通过基于所述多个畸变校正图校正所述多个ROI的畸变，来并行渲染多个校正图像；存储器，被配置为存储所述多个畸变校正图。
用户接口可被配置为接收删除所述多个ROI中的第一ROI的用户输入，处理器可被配置为从存储器删除与第一ROI对应的第一畸变校正图。
用户接口可被配置为接收选择补充的ROI的用户输入，补充的ROI除所述多个ROI之外；处理器可被配置为产生与补充的ROI对应的第二畸变校正图，并且可被配置为通过基于第二畸变校正图校正补充的ROI的畸变，来渲染第二校正图像；存储器还可被配置为存储第二畸变校正图。
处理器还可被配置为将优先级分配给所述多个校正图像，并且可被配置为响应于选择补充的ROI的用户输入，删除与所述多个校正图像中的具有最低优先级的第一校正图像对应的第一畸变校正图。
用户接口可被配置为接收使用第二ROI替换第一ROI的用户输入，其中，第一ROI是所述多个ROI中的一个，第二ROI不是所述多个ROI中的一个；处理器可被配置为：从存储器删除与第一ROI对应的第一畸变校正图，产生与第二ROI对应的第二畸变校正图，并通过基于第二畸变校正图校正第二ROI的畸变，来渲染第二校正图像。
处理器可被配置为：针对所述多个畸变校正图中的至少一个，将对应的ROI的原始像素的位置值映射为构成校正图像的校正像素的位置值，所述对应的ROI的原始像素的位置值可包括水平角度、倾斜角度和放大倍数，构成校正图像的校正像素的位置值可包括X坐标值和Y坐标值。
处理器可被配置为：将优先级分配给所述多个校正图像，测量原始图像的帧率，确定帧率是否低于参考帧率，并且当帧率低于参考帧率时渲染除所述多个校正图像中的至少一个校正图像的至少一部分之外的图像。
根据本发明的第三方面，一种用于处理广角图像的方法包括：在客户端接收由广角相机捕获的原始图像；在客户端接收从原始图像选择多个ROI的用户输入；通过服务器并行产生与所述多个ROI对应的多个畸变校正图；经由客户端通过基于所述多个畸变校正图校正所述多个ROI的畸变，来并行渲染多个校正图像。
所述方法还可包括：在客户端接收删除所述多个ROI中的第一ROI的用户输入，并通过服务器删除与第一ROI对应的畸变校正图。
所述方法还可包括：在客户端接收选择补充的ROI的用户输入，其中，补充的ROI除所述多个ROI之外；通过服务器产生与补充的ROI对应的第二畸变校正图；经由客户端通过基于第二畸变校正图校正补充的ROI的畸变，来渲染第二校正图像。
附图说明
通过下面结合附图对实施例进行的描述，这些和/或其他方面将会变得清楚和更加容易理解，其中：
图1是根据本发明的原理构造的广角图像处理设备的示意图；
图2是根据本发明的处理广角图像的示例性方法的流程图；
图3A是图形化示出根据图2的步骤的处理广角图像的示例性方法的并行处理线程的示意图；
图3B是图形化示出根据图2的步骤的ROI和图像渲染的示意图；
图4A是示出根据本发明的示例性处理方法的额外方面的删除广角图像的感兴趣区域(ROI)的步骤的流程图；
图4B是图形化示出根据图4A的步骤的删除的广角图像的ROI的处理线程的示意图；
图5A是示出根据本发明的另一示例性处理方法的添加和可选地删除广角图像的ROI的步骤的流程图；
图5B是图形化示出根据图5A的步骤的添加和删除的广角图像的ROI的处理线程的示意图；
图6A是示出根据本发明的另一示例性处理方法的替换广角图像的ROI的步骤的流程图；
图6B是图形化示出根据图6A的步骤的替换的广角图像的ROI的处理线程的示意图；
图7是示出根据本发明的处理广角图像以渲染校正图像的另一示例性方法的流程图。
具体实施方式
现在将详细参照实施例，其中，在附图中示出实施例的示例，相同的参考标号始终表示相同的元件。在这个方面，各种实施例可具有不同的形式，并不应被解释为限制到在这里阐述的描述。因此，下面仅通过参照附图描述实施例，以解释说明书的多个方面。如这里所使用，术语“和/或”包括一个或多个关联的所列项中的任何和所有组合。当诸如“中的至少一个”的表述跟随在一列元素之后时，修饰整列元素，而不是修饰列中的单个元素。此外，为了不会不必要地使实施例的主题模糊，可省略与众所周知的功能或配置有关的详细描述。
将理解，尽管在这里使用术语“第一”、“第二”描述各种元件，但是这些元件不应由这些术语限制。这些术语仅用于区分一个元件与另一个元件。
在下面对实施例的描述中，技术术语仅被用于解释特定实施例，而不限制本发明构思。“包括”或“包含”的含义指定属性、固定数量、步骤、处理、元件、组件和它们的组合，但不排除其他属性、固定数量、步骤、处理、元件、组件和它们的组合。
本公开的发明构思可被实现为功能块和各种处理操作。功能块可使用执行特定功能的各种硬件和/或软件配置来实现。例如，本公开的实施例可采用诸如存储器、处理单元、逻辑单元、查找表和类似的能在微处理器或其他控制装置的控制下执行各种功能的集成电路配置。以与可使用软件编程或软件元件执行实施例的元件的方式类似的方式，可使用脚本语音或编程语言(诸如，C、C++、Java、汇编等)来实现实施例，其中，脚本语音或编程语言包括通过数据结构、进程、例行程序或其它编程配置的组合实现的各种算法。功能方面可通过在一个或多个处理器中执行的算法来实现。此外，实施例可采用现有技术来建立电子环境、处理信号和/或处理数据。诸如“机构”、“元件”、“手段”和“配置”的术语可被广泛使用，并不限于机械和物理配置。这样的术语可具有与处理器等相关联的软件的一系列例行程序的含义。
参照图1，广角图像处理设备100处理从广角相机10接收的原始图像。
监控区域的原始图像通过使用广角相机10拍摄监控区域的图像来获得。为了监控或安保，广角相机10可实时拍摄监控区域的图像。然而，应当清楚，其他类型的相机可被使用；还应当清楚，其他相机的使用被认为是在这里描述的范围内。广角相机在这里被用作可在本发明的范围内使用的相机的一个示例；监控在这里被用作本发明的用途的示例。因此，本发明不意图受广角相机或相机的监控用途限制。相反，本发明构思可被用于存在畸变问题的任何图像捕获和处理系统。
广角相机10可以是具有大约180°或更大的范围的视野的鱼眼相机。由广角相机10捕获的原始图像可以是具有各种类型的畸变的广角图像。
广角图像处理设备100通过校正原始图像的畸变来输出校正图像。广角图像处理设备100可在各种模式下输出校正图像。例如，广角图像处理设备100可在由观察器应用提供的静态视图模式下或根据用户的自由选择的动态视图模式下进行操作。
广角图像处理设备100包括通信接口110、用户接口120、处理器130、存储器140和显示模块150。
通信接口110接收由广角相机10捕获的原始图像。
例如，通信接口110可使用无线网络、有线网络、诸如互联网的公共网络、专用网络、全球移动通信系统(GSM)网络、通用分组无线服务(GPRS)网络、局域网(LAN)、广域网(WAN)、城域网(MAN)、蜂窝网络、公共交换电话网络(PSTN)、个人区域网(PAN)、蓝牙、Wi-Fi直接、近场通信(NFC)、超宽带(UWB)或它们的组合或者本领域现在已知或之后开发的任何其他网络或通信装置，来与广角相机10通信。
为了允许用户使用输入装置选择原始图像的期望区域，用户接口120可包括输入装置(诸如，键盘、鼠标、按钮、圆顶开关、微动轮、微动开关、麦克风、指示器、触摸面板或本领域现在已知或之后开发的其他输入装置)。
用户接口120接收从原始图像选择多个感兴趣区域(ROI)的用户输入。例如，用户接口120可接收触摸显示在触摸屏上的原始图像的多个区域的用户输入。ROI可以是多边形区域。然而，可以以任何期望的方式限定和形成ROI。
用户接口120可接收删除多个ROI之一的用户输入。例如，用户接口120可接收触摸多个ROI之一并将触摸的ROI拖拽到原始图像的外部的用户输入。
用户接口120可接收添加除包括在先前选择的多个RIO中的ROI之外的ROI的用户输入。例如，用户接口120可接收触摸除原始图像内的ROI之外的区域的用户输入。
用户接口120还可或可选地接收改变ROI的用户输入。例如，用户接口120可接收触摸多个ROI之一并将触摸的ROI拖拽到除多个ROI之外的区域的用户输入。
如上所述，除观察器应用的应用编程接口(API)之外，动态接口可被提供以允许用户自由选择ROI。因此，不管是否提供API，都可提供满足用户的期望的广角图像处理技术。
处理器130并行产生与多个ROI对应的多个畸变校正图(dewarpingmap)，并且基于多个畸变校正图，处理器130通过校正多个ROI中的畸变来并行渲染多个校正图像。处理器130可包括多个处理器，其中，所述多个处理器包括在一个计算机或多个计算机中。每个处理器可产生与ROI对应的畸变校正图，并可通过基于畸变校正图校正ROI中的畸变来渲染校正图像。在这种情况下，处理器可并行操作，以同时产生畸变校正图、校正图像的畸变并渲染校正图像。
处理器130可产生与多个ROI分别对应的多个畸变校正图。
畸变校正图可以是将ROI的原始像素的位置值映射为构成校正图像的校正像素的位置值的查找表。
原始像素可以是原始图像的像素。原始像素可具有畸变的四角形形状。原始像素的位置值可包括水平角度、倾斜角度和放大倍数。
校正像素可具有四角形形状。校正像素的位置值可包括X坐标值和Y坐标值。
处理器130可基于畸变校正图来单独地渲染校正图像。处理器可将优先级分配给校正图像。
例如，处理器130可通过基于畸变校正图将原始像素的像素值记录在校正像素中，来渲染校正图像。
处理器130可删除存储在存储器140中的多个畸变校正图之一。例如，响应于删除多个ROI之一的用户输入，处理器130可删除与删除的ROI对应的一个畸变校正图。
虽然当进行删除时停止与删除的畸变校正图对应的校正图像的渲染，但是与还没有被删除的畸变校正图对应的校正图像的渲染可继续。如上所述，多个畸变校正图可被并行产生，并且多个校正图像可因此被并行渲染，从而提高图像处理(诸如，广角图像处理)的性能。此时，渲染与删除的畸变校正图对应的校正图像的处理器的操作可被停止，渲染与还没有被删除的畸变校正图对应的校正图像的处理器的操作可被保持。
响应于添加除先前选择的ROI之外的ROI的用户输入，处理器130可将与添加的ROI对应的畸变校正图添加到存储器140。
响应于添加除先前选择的ROI之外的ROI的用户输入，处理器130可从存储器140删除与具有最低优先级的校正图像对应的畸变校正图。
也就是说，当用户添加ROI时，在针对现有ROI的畸变校正图的产生和校正图像的渲染被保持和/或继续的同时，针对添加的ROI另外执行畸变校正图的产生和校正图像的渲染。
此外，当用户添加新的ROI时，尽管与现有ROI对应的畸变校正图可被删除，并且针对现有ROI的校正图像的渲染可因此被停止，但是与还没有被删除的畸变校正图对应的校正图像的渲染可继续。
如上所述，虽然新的ROI被添加或者现有ROI被删除，但是全部ROI不会基于这样的改变而被重新处理，从而用于图像处理(诸如，广角图像处理)的资源可被节省。
响应于改变ROI的用户输入，处理器130可从存储器140删除与改变的ROI对应的畸变校正图，并且处理器130可将与改变的ROI对应的畸变校正图添加到存储器140。
如上所述，虽然与删除的畸变校正图对应的校正图像的渲染可被停止，但是与还没有被删除的畸变校正图对应的校正图像的渲染被保持和/或继续，并且与新添加的畸变校正图对应的校正图像的渲染被另外执行。因此，虽然新的ROI被添加或者现有ROI被删除，但是全部的先前选择的ROI不会在这样的改变后被重新处理。
处理器130可测量原始图像的帧率，并且如果测量的帧率低于参考帧率，则处理器130可在跳过至少一个校正图像的至少一部分的同时执行渲染。
原始图像可以以流数据的形式被提供，并且处理器130可测量原始图像的流数据的帧率。
如果测量的帧率低于参考帧率，则处理器130可确定图像处理的负荷过多。
因此，处理器130可选择正被渲染的至少一个校正图像，并可在跳过选择的校正图像中的至少一些帧的同时执行渲染，以减小图像处理的负荷。为此，处理器130可从正被渲染的校正图像选择具有最低优先级的校正图像。
例如，如果参考帧率是16帧每秒(fps)，原始图像的帧率是15fps，则处理器130可从多个校正图像选择至少一个校正图像，并可在跳过选择的校正图像的至少一些帧的同时执行渲染。
存储器140单独存储多个畸变校正图。
畸变校正图可在处理器130的控制下存储在存储器140中或从存储器140被删除。
显示模块150可在屏幕上显示原始图像和校正图像中的至少一个。
显示模块150可在屏幕上显示原始图像。如果在屏幕上显示原始图像，则用户可从原始图像选择多个ROI、删除ROI、添加除选择的ROI之外的ROI或改变ROI。
显示模块150可在屏幕上显示校正图像。显示模块150可将由处理器130渲染的校正图像输出到屏幕。
显示模块150可通过划分屏幕来同时显示原始图像和至少一个校正图像。显示模块150可通过基于观察器应用的API将屏幕划分为四个部分来提供四视图(quad view)。显示模块150可通过基于用户的选择将屏幕划分为五个部分或任何其他数量的部分来提供五视图(penta-view)或任意其他数量的视图。
如上所述，即使服务提供器没有限定观察器应用所期望的全部API，动态用户接口和动态监控屏幕也可被提供。因此，适于用户的体验的广角图像处理技术可被提供。
广角图像处理设备100可被实现为单个物理设备或者通过有机组合多个物理装置来实现。相应地，广角图像处理设备100的一些元件可被实现为一个物理装置或者安装在一个物理装置中，广角图像处理设备100的其他元件可被实现为另一物理装置或者安装在另一物理装置中。一个物理装置可被实现为客户端的一部分，另一物理装置可被实现为服务器的一部分。在一些实施例中，广角图像处理设备100的元件(或单元)可分布在不同的物理装置中，分布的元件可被有机组合以实现这里限定的功能和/或操作。
现在将对实现在客户端中的广角图像处理设备100的元件和操作进行描述。下面对实现在客户端中的广角图像处理设备100的操作的描述也可应用于实现在服务器中的广角图像处理设备100的操作。
客户端可以是个人计算机或移动端。然而，客户端不限于那些形式。
参照图1、图2、图3A和图3B，广角图像处理设备100的通信接口110接收由广角相机10捕获的原始图像11(S210)。
广角图像处理设备100的显示模块150可在屏幕上显示原始图像11。原始图像11可以是圆形图像，在圆形图像中，中心的对象相对放大，周边的对象相对缩小。
接下来，广角图像处理设备100的用户接口120接收从原始图像11选择多个ROI的用户输入(S220)。例如，用户接口120可接收从原始图像11选择第一ROI 1、第二ROI 2和第三ROI 3的用户输入。
接下来，广角图像处理设备100的处理器130并行产生与多个ROI对应的多个畸变校正图(S230)。例如，处理器130可产生与第一ROI 1对应的第一畸变校正图、与第二ROI 2对应的第二畸变校正图以及与第三ROI 3对应的第三畸变校正图。
存储器140存储多个畸变校正图。例如，存储器140可单独存储第一畸变校正图、第二畸变校正图和第三畸变校正图。
处理器130可同时执行用于处理第一畸变校正图的第一线程TH1、用于处理第二畸变校正图的第二线程TH2和用于处理第三畸变校正图的第三线程TH3。
接下来，处理器130通过基于多个畸变校正图校正多个ROI的畸变，来渲染多个校正图像(S240)。例如，处理器130可执行用于基于第一畸变校正图校正第一ROI 1的畸变的第一线程TH1，从而渲染第一校正图像。与此同时，处理器130可执行用于基于第二畸变校正图校正第二ROI 2的畸变的第二线程TH2，从而渲染第二校正图像。此外，处理器130可同时执行用于基于第三畸变校正图校正第三ROI 3的畸变的第三线程TH3，从而渲染第三校正图像。
广角图像处理设备100的显示模块150可同时将原始图像11和由处理器130渲染的第一校正图像至第三校正图像输出到屏幕。例如，显示模块150可提供包括原始层LO、第一层L1、第二层L2和第三层L3的四视图。原始图像11可在原始层LO上显示，第一校正图像可在第一层L1上显示，第二校正图像可在第二层L2上显示，第三校正图像可在第三层L3上显示。
现在将对广角图像处理设备100的一些元件被实现在客户端中并且广角图像处理设备100的其他元件被实现在服务器中的实施例进行描述。如上公开的相同描述将不在这里重复，或者将以简化形式包括在这里。
客户端的通信接口110接收由广角相机10捕获的原始图像11(S210)。
接下来，客户端的用户接口120接收从原始图像11选择多个ROI的用户输入(S220)。客户端可将指示选择的多个ROI的命令发送到服务器。
接下来，服务器的处理器130产生与多个ROI对应的多个畸变校正图(S230)。
服务器的存储器140存储多个畸变校正图。服务器可将关于多个畸变校正图的信息发生到客户端。
接下来，客户端的处理器130通过基于多个畸变校正图校正多个ROI的畸变，来渲染多个校正图像(S240)。
客户端的显示模块150可将原始图像11和由处理器130渲染的多个校正图像同时输出到屏幕。
根据当前实施例，被配置为接收原始图像和渲染校正图像的物理装置与被配置为管理与ROI对应的畸变校正图的物理装置分离，从而安全性可被提高。
下面将参照图4A和图4B对包括删除广角图像的ROI的步骤的示例性处理方法进行说明。参照图1、图2、图3、图4A和图4B，用户接口120还接收删除多个ROI中的第一ROI 1的用户输入(S420)。
接下来，处理器从存储在存储器140中的多个畸变校正图删除与第一ROI 1对应的畸变校正图(S430)。
当处理器130删除第一畸变校正图时，第一线程TH1的执行可被停止。当第一线程TH1的执行被停止时，第一校正图像的渲染可被停止。
虽然处理器130停止第一线程TH1的执行，但是处理器130可继续第二线程TH2和第三线程TH3的执行。当第二线程TH2和第三线程TH3的执行被保持或继续时，第二校正图像和第三校正图像的渲染也可被保持或继续。
广角图像处理设备100的显示模块150可将原始图像11和由处理器130渲染的第二校正图像和第三校正图像同时输出到屏幕。例如，显示模块150可提供包括原始层层LO、第二层L2和第三层L3的三视图(triple view)。
现在将对广角图像处理设备100的至少一个或多个元件被实现在客户端中并且广角图像处理设备100的其他元件被实现在服务器中的实施例进行描述。
客户端的用户接口120还接收删除多个ROI中的第一ROI 1的用户输入(S420)。客户端可将用于删除第一ROI 1的命令发送到服务器。
接下来，服务器的处理器130从服务器的存储器140删除与第一ROI 1对应的第一畸变校正图(S430)。服务器可将关于第一畸变校正图从中被删除的多个畸变校正图的信息发生到客户端。
接下来，客户端的处理器130可停止第一校正图像的渲染，但可单独地继续第二校正图像和第三校正图像的渲染。
客户端的显示模块150可将原始图像11和由处理器130渲染的第二校正图像和第三校正图像同时输出到屏幕。
现在将关于图5A和图5B对包括添加和可选地删除广角图像的ROI的步骤的示例性处理方法进行描述。在下面的描述中，操作S520、S531和S540对应于一个实施例，操作S500、S520、S531、S540和S533对应于另一实施例。现在将对与一个实施例的方面不同的其他实施例的方面进行描述，并且实施例之间的重叠的方面的描述可被省略或者以简化方式被重复。
参照图1、图2、图3A、图3B、图5A和图5B，用户接口120还接收选择除先前选择的多个ROI之外的第四ROI的用户输入(S520)。例如，第四ROI可以是原始图像11的除第一ROI 1、第二ROI 2和第三ROI 3之外的至少一部分区域。
接下来，处理器130产生与第四ROI对应的第四畸变校正图(S531)。与针对第一线程TH1、第二线程TH2和第三线程TH3所做的一样，处理器130可同时执行用于处理第四畸变校正图的第四线程TH4。
存储器140可将第四畸变校正图与第一畸变校正图、第二畸变校正图和第三畸变校正图分开存储。
接下来，处理器130通过基于第四畸变校正图校正第四ROI的畸变，来渲染第四校正图像(S540)。例如，处理器130可执行用于基于第四畸变校正图校正第四ROI的畸变的第四线程TH4，从而渲染第四校正图像。
显示模块150可提供包括原始层LO、第一层L1、第二层L2、第三层L3和第四层的五视图。原始图像11可在原始层LO上显示，第一校正图像可在第一层L1上显示，第二校正图像可在第二层L2上显示，第三校正图像可在第三层L3上显示，第四校正图像可在第四层上显示。
现在将对广角图像处理设备100的一个或多个元件被实现在客户端中并且广角图像处理设备100的其他元件被实现在服务器中的实施例进行描述。
客户端的用户接口120接收选择除多个ROI之外的第四ROI的用户输入(S520)。客户端可将命令发送到服务器以添加第四ROI。
接下来，服务器的处理器130产生与第四ROI对应的第四畸变校正图(S531)。服务器的存储器140将第四畸变校正图与第一畸变校正图、第二畸变校正图和第三畸变校正图分开存储。服务器可将关于第四畸变校正图被添加到其中的多个畸变校正图的信息发送到客户端。
接下来，客户端的处理器130通过基于第四畸变校正图校正第四ROI的畸变，来渲染第四校正图像(S540)。
然后，客户端的显示模块150可将原始图像11和由处理器130渲染的第一校正图像至第四校正图像同时输出到屏幕。
因此，处理器130可通过仅添加与添加的ROI对应的一个线程来有效地使用资源。这是对当添加ROI时执行与全部的ROI对应的线程的系统的一种改进。
根据其他实施例，处理器130可将优先级分配给多个校正图像(S500)。例如，处理器130可按第一校正图像、第二校正图像和第三校正图像的顺序分配高优先级至低优先级。
接下来，用户接口120接收选择除已经选择的多个ROI之外的第四ROI的用户输入(S520)。
然后，处理器130产生与第四ROI对应的第四畸变校正图(S531)，通过基于第四广角鱼眼畸变校正图校正第四ROI的畸变来渲染第四校正图像(S540)，并从存储器140删除与对应于先前选择的ROI的多个校正图像之中的具有最低优先级的第三校正图像对应的第三畸变校正图(S533)。
当处理器130删除第三畸变校正图时，第三线程TH3的执行可被停止。当第三线程TH3的执行被停止时，第三校正图像的渲染可被停止。
虽然处理器130停止第三线程TH3的执行，但是处理器130可保持第一线程TH1、第二线程TH2和第四线程TH4的执行。当第一线程TH1、第二线程TH2和第四线程TH4的执行被保持时，在没有重新开始第一线程TH1或第二线程TH2的情况下，第一校正图像、第二校正图像和第四校正图像的渲染可被单独保持和/或继续。
显示模块150可提供包括原始层LO、第一层L1、第二层L2和第四层的四视图。原始图像11可在原始层LO上显示，第一校正图像可在第一层L1上显示，第二校正图像可在第二层L2上显示，第四校正图像可在第四层上显示。
广角图像处理设备100的一些元件可被实现在客户端中，广角图像处理设备100的其他元件可被实现在服务器中。现在将对至少一个这样的示例进行描述。
服务器的处理器130将优先级分配给多个校正图像(S500)。
客户端的用户接口120接收选择除先前选择的多个ROI之外的第四ROI的用户输入(S520)。客户端可将命令发送到服务器以添加第四ROI。
接下来，服务器的处理器130产生与第四ROI对应的第四畸变校正图(S531)，并从存储器140删除第三畸变校正图(S533)。服务器可将关于第三畸变校正图从其中被删除并且第四畸变校正图被添加到其中的多个畸变校正图的信息发送到客户端。
接下来，客户端的处理器130可停止第三校正图像的渲染，并可在单独地继续第一校正图像和第二校正图像的渲染的同时添加第四校正图像的渲染。
客户端的显示模块150可将原始图像11和由处理器130渲染的第一校正图像、第二校正图像和第四校正图像同时输出到屏幕。
处理器130可与操作533同时执行操作S531和操作S540。因此，如上所述，多个线程可以以并行方式被执行，这些各种功能的性能可因此被提高。
此外，由于处理器130响应于新的ROI的添加而删除具有低优先级的现有ROI，所以显示模块150的视图模式可通过使用新的ROI的视图替换删除的ROI的视图来保持原封不动。
现在将参照图6A和图6B对用于替换ROI的示例性图像处理方法进行描述。参照图1、图2、图3A、图3B、图6A和图6B，用户接口120接收使用不在先前选择的多个ROI之中的第四ROI替换多个ROI中的第一ROI 1的用户输入(S620)。不在先前选择的多个ROI之中的ROI在这里被称为与多个ROI不相关。
处理器130响应于改变ROI的用户输入而从存储器140删除与第一ROI1对应的第一畸变校正图(S631)。
当处理器130删除第一畸变校正图时，第一线程TH1的执行可被停止。当第一线程TH1的执行被停止时，第一校正图像的渲染可被停止。
响应于改变ROI的用户输入，处理器130产生与第四ROI对应的第四畸变校正图(S633)，并通过基于第四畸变校正图校正第四ROI的畸变来渲染第四校正图像(S640)。
处理器130可与第二线程TH2和第三线程TH3同时执行用于处理第四畸变校正图的第四线程TH4。
处理器140可将第四畸变校正图与第二畸变校正图和第三畸变校正图分开存储。
广角图像处理设备100的显示模块150可将原始图像11和由处理器130渲染的第二校正图像至第四校正图像同时输出到屏幕。例如，显示模块150可提供包括原始层LO、第一层L1、第二层L2和第三层L3的四视图。原始图像11可在原始层LO上显示，第四校正图像可在第一层L1上显示，第二校正图像可在第二层L2上显示，第三校正图像可在第三层L3上显示。
广角图像处理设备100的一些元件可被实现在客户端中，广角图像处理设备100的其他元件可被实现在服务器中。现在将对至少一个这样的实施例进行描述。
客户端的用户接口120接收使用与多个ROI不相关的第四ROI替换多个ROI中的第一ROI 1的用户输入(S620)。客户端可将用于使用第四ROI替换第一ROI 1的命令发送到服务器。
接下来，服务器的处理器130从服务器的存储器140删除与第一ROI 1对应的第一畸变校正图(S631)，并产生与第四ROI对应的第四畸变校正图(S633)。服务器可将关于第三畸变校正图从其中被删除并且第四畸变校正图被添加到其中的多个畸变校正图的信息发送到客户端。
接下来，客户端的处理器130可停止第一校正图像的渲染，并可在继续第二校正图像和第三校正图像的渲染的同时添加第四校正图像的渲染。
参照图1、图2和图7，现在将对处理广角图像以渲染校正图像的示例性方法进行描述。处理器130将优先级分配给多个校正图像(S700)。例如，处理器130可按第一校正图像、第二校正图像和第三校正图像的顺序分配低优先级至高优先级。
处理器130测量原始图像的帧率(S711)。
接下来，处理器130确定测量的帧率是否低于参考帧率(S713)。例如，参考帧率可以是16fps。
如果测量的帧率低于参考帧率，则处理器130可在跳过多个校正图像之中的具有最低优先级的校正图像的至少一部分的同时执行渲染(S741)。例如，如果原始图像的测量的帧率是15fps，则处理器130可在跳过第一校正图像的至少一些帧的同时执行渲染。
第一校正图像的跳过的帧可以是事件未发生的帧。然而，应当清楚，最低优先级可由于其他原因而发生。例如，第一校正图像的跳过的帧可以是仅拍摄背景而没有任何运动对象的帧。
如果测量的帧率高于参考帧率，则处理器130渲染通过基于多个畸变校正图校正多个ROI的畸变而获得的多个校正图像(S743)。也就是说，处理器130可并行渲染第一校正图像、第二校正图像和第三校正图像。
如上所述，从一个原始图像获得的多个校正图像可被并行处理，畸变或其他有缺陷的图像的广角或其他图像处理的性能可被提高。
此外，虽然新的ROI可被添加或者现有ROI可被删除，但是全部的ROI不会响应于这样的改变而被重新处理，从而用于广角图像处理的资源可被节省。
此外，即使服务提供商没有限定观察器应用所期望的全部API，动态用户接口和显示器(诸如，监控屏幕)也可被提供。
因此，满足用户的期望的图形处理系统和方法可被提供。
应当理解，这里描述的实施例应当仅被视为描述性的意义，而不是出于限制的目的。每个实施例内的特征或方面的描述通常应被视为可用于其他实施例中的其他类似特征或方面。
虽然已经参照附图描述了一个或多个实施例，但是本领域普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可做出形式和细节上的各种改变。

Claims (15)

1.一种用于处理广角图像的方法，所述方法包括：
接收由广角相机捕获的原始图像；
接收从原始图像选择多个感兴趣区域ROI的用户输入；
并行产生与所述多个ROI对应的多个畸变校正图；
通过基于所述多个畸变校正图校正所述多个ROI的畸变，来并行渲染多个校正图像。
2.如权利要求1所述的方法，还包括：
接收删除所述多个ROI中的第一ROI的用户输入；
删除与第一ROI对应的第一畸变校正图。
3.如权利要求1所述的方法，还包括：
接收选择补充的ROI的用户输入，补充的ROI是除所述多个ROI之外的ROI；
产生与补充的ROI对应的第二畸变校正图；
通过基于第二畸变校正图校正补充的ROI的畸变，来渲染第二校正图像。
4.如权利要求3所述的方法，还包括：
将优先级分配给所述多个校正图像；
响应于选择补充的ROI的用户输入，删除与所述多个校正图像中的具有最低优先级的第一校正图像对应的第一畸变校正图。
5.如权利要求1所述的方法，还包括：
接收使用第二ROI替换第一ROI的用户输入，其中，第一ROI是所述多个ROI中的一个，第二ROI不是所述多个ROI中的一个；
删除与第一ROI对应的第一畸变校正图，并产生与第二ROI对应的第二畸变校正图；
通过基于第二畸变校正图校正第二ROI的畸变，来渲染第二校正图像。
6.如权利要求1所述的方法，其中，广角相机是鱼眼相机。
7.如权利要求1所述的方法，其中，并行产生多个畸变校正图的步骤包括：针对所述多个畸变校正图中的至少一个，将对应的ROI的原始像素的位置值映射为构成校正图像的校正像素的位置值。
8.如权利要求7所述的方法，其中，所述对应的ROI的原始像素的位置值包括水平角度、倾斜角度和放大倍数，
构成校正图像的校正像素的位置值包括X坐标值和Y坐标值。
9.如权利要求1所述的方法，其中，并行渲染多个校正图像的步骤包括：
测量原始图像的帧率；
确定帧率是否低于参考帧率；
当帧率低于参考帧率时，渲染除所述多个校正图像中的至少一个校正图像的至少一部分之外的图像。
10.如权利要求9所述的方法，还包括将优先级分配给所述多个校正图像的步骤，
其中，所述多个校正图像中的所述至少一个校正图像包括所述多个校正图像中的具有最低优先级的第一校正图像。
11.一种用于处理广角图像的设备，所述设备包括：
通信接口，被配置为从广角相机接收原始图像；
用户接口，被配置为接收从原始图像选择多个感兴趣区域ROI的用户输入；
处理器，被配置为并行产生与所述多个ROI对应的多个畸变校正图，并被配置为通过基于所述多个畸变校正图校正所述多个ROI的畸变，来并行渲染多个校正图像；
存储器，被配置为存储所述多个畸变校正图。
12.如权利要求11所述的设备，其中，用户接口被配置为：接收删除所述多个ROI中的第一ROI的用户输入，
处理器被配置为：从存储器删除与第一ROI对应的第一畸变校正图。
13.如权利要求11所述的设备，其中，用户接口被配置为：接收选择补充的ROI的用户输入，补充的ROI是除所述多个ROI之外的ROI，
处理器被配置为产生与补充的ROI对应的第二畸变校正图，并被配置为通过基于第二畸变校正图校正补充的ROI的畸变，来渲染第二校正图像，
存储器还被配置为：存储第二畸变校正图。
14.如权利要求11所述的设备，其中，用户接口被配置为：接收使用第二ROI替换第一ROI的用户输入，其中，第一ROI是所述多个ROI中的一个，第二ROI不是所述多个ROI中的一个，
处理器被配置为：从存储器删除与第一ROI对应的第一畸变校正图，产生与第二ROI对应的第二畸变校正图，通过基于第二畸变校正图校正第二ROI的畸变来渲染第二校正图像。
15.如权利要求11所述的设备，其中，处理器被配置为：针对所述多个畸变校正图中的至少一个，将对应的ROI的原始像素的位置值映射为构成校正图像的校正像素的位置值，
所述对应的ROI的原始像素的位置值包括水平角度、倾斜角度和放大倍数，
构成校正图像的校正像素的位置值包括X坐标值和Y坐标值。
CN201710650651.9A 2016-09-27 2017-08-02 用于处理广角图像的方法和设备 Active CN107871308B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0124244 2016-09-27
KR1020160124244A KR102500836B1 (ko) 2016-09-27 2016-09-27 광각 영상 처리 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
CN107871308A true CN107871308A (zh) 2018-04-03
CN107871308B CN107871308B (zh) 2022-11-15

Family

ID=59982305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710650651.9A Active CN107871308B (zh) 2016-09-27 2017-08-02 用于处理广角图像的方法和设备

Country Status (4)

Country Link
US (1) US10529050B2 (zh)
EP (1) EP3300017B1 (zh)
KR (1) KR102500836B1 (zh)
CN (1) CN107871308B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461213A (zh) * 2018-11-16 2019-03-12 京东方科技集团股份有限公司 基于虚拟现实的图像处理方法、装置、设备和存储介质
WO2021092941A1 (zh) * 2019-11-15 2021-05-20 深圳市大疆创新科技有限公司 感兴趣区域-池化层的计算方法与装置、以及神经网络系统
CN115956255A (zh) * 2020-06-10 2023-04-11 斯纳普公司 使用广角成像设备的3d重建

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102500836B1 (ko) * 2016-09-27 2023-02-16 한화테크윈 주식회사 광각 영상 처리 방법 및 이를 위한 장치
CN109345467B (zh) * 2018-08-14 2021-06-04 深圳市麦极客图像技术有限公司 成像畸变校正方法、装置、计算机设备及存储介质
CN111380668B (zh) * 2018-12-27 2022-10-11 浙江舜宇智能光学技术有限公司 一种深度相机的精度检测系统及其精度检测方法
CN111243317B (zh) * 2019-04-03 2020-11-27 六安志成智能科技有限公司 公交路线数据调控方法
KR102193984B1 (ko) * 2019-05-31 2020-12-22 주식회사 아이디스 감시시스템, 그 시스템에서의 어안 카메라를 이용한 ptz 카메라 제어 방법
US11669942B2 (en) * 2019-09-20 2023-06-06 Synaptics Incorporated Image de-warping system
CN111050083B (zh) * 2019-12-31 2022-02-18 联想(北京)有限公司 一种电子设备及处理方法
TWI824321B (zh) * 2021-07-02 2023-12-01 創惟科技股份有限公司 影像控制器、影像處理系統及影像修正方法
US11847807B2 (en) * 2021-07-02 2023-12-19 Genesys Logic, Inc. Image processing system and processing method of video stream
WO2023283034A1 (en) * 2021-07-06 2023-01-12 Canoo Technologies Inc. Fisheye collage transformation for road object detection or other object detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030118249A1 (en) * 2001-04-19 2003-06-26 Edgar Albert D. Method, system and software for correcting image defects
EP1376467A2 (en) * 2002-06-28 2004-01-02 Microsoft Corporation System and method for real time wide angle digital image correction
US20110234765A1 (en) * 2010-03-24 2011-09-29 Fujifilm Corporation Image processing apparatus, image processing method, image processing program, and compound eye digital camera
US20140079336A1 (en) * 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140146041A1 (en) * 2012-11-23 2014-05-29 Lg Display Co., Ltd. Apparatus and method for correcting depth map for three-dimensional image
US20140368606A1 (en) * 2012-03-01 2014-12-18 Geo Semiconductor Inc. Method and system for adaptive perspective correction of ultra wide-angle lens images

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02127877A (ja) 1988-11-08 1990-05-16 Casio Comput Co Ltd 魚眼レンズを備えた電子スチルカメラ
KR20000000080A (ko) 1999-09-08 2000-01-15 강범수 어안렌즈를 이용한 전방향 감시카메라
US7529424B2 (en) 2003-05-02 2009-05-05 Grandeye, Ltd. Correction of optical distortion by image processing
US20090027383A1 (en) * 2003-11-19 2009-01-29 Lucid Information Technology, Ltd. Computing system parallelizing the operation of multiple graphics processing pipelines (GPPLs) and supporting depth-less based image recomposition
KR100926231B1 (ko) 2007-12-28 2009-11-09 주식회사 케이티 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그구축 방법
KR101058274B1 (ko) 2008-10-08 2011-08-22 삼성에스디에스 주식회사 가상현실 이미지 관리 시스템 및 방법
US8068695B2 (en) * 2008-11-07 2011-11-29 Xerox Corporation Positional distortion compensation
KR101230909B1 (ko) 2010-05-27 2013-02-12 (주) 에투시스템 차량용 광각 영상 처리장치 및 그 방법
US8989493B1 (en) * 2012-02-06 2015-03-24 Marvell International Ltd. Method and apparatus for identifying regions of an image to be filtered during processing of the image
US9299127B2 (en) 2012-09-21 2016-03-29 ImmerVision Splitting of elliptical images
GB2512621A (en) * 2013-04-04 2014-10-08 Sony Corp A method and apparatus
CN105493493B (zh) * 2013-08-01 2018-08-28 富士胶片株式会社 摄像装置、摄像方法及图像处理装置
KR20170007069A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 파노라믹 비디오의 왜곡보정 방법 및 장치
KR102500836B1 (ko) * 2016-09-27 2023-02-16 한화테크윈 주식회사 광각 영상 처리 방법 및 이를 위한 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030118249A1 (en) * 2001-04-19 2003-06-26 Edgar Albert D. Method, system and software for correcting image defects
EP1376467A2 (en) * 2002-06-28 2004-01-02 Microsoft Corporation System and method for real time wide angle digital image correction
US20110234765A1 (en) * 2010-03-24 2011-09-29 Fujifilm Corporation Image processing apparatus, image processing method, image processing program, and compound eye digital camera
US20140368606A1 (en) * 2012-03-01 2014-12-18 Geo Semiconductor Inc. Method and system for adaptive perspective correction of ultra wide-angle lens images
US20140079336A1 (en) * 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140146041A1 (en) * 2012-11-23 2014-05-29 Lg Display Co., Ltd. Apparatus and method for correcting depth map for three-dimensional image

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461213A (zh) * 2018-11-16 2019-03-12 京东方科技集团股份有限公司 基于虚拟现实的图像处理方法、装置、设备和存储介质
CN109461213B (zh) * 2018-11-16 2023-11-28 京东方科技集团股份有限公司 基于虚拟现实的图像处理方法、装置、设备和存储介质
WO2021092941A1 (zh) * 2019-11-15 2021-05-20 深圳市大疆创新科技有限公司 感兴趣区域-池化层的计算方法与装置、以及神经网络系统
CN115956255A (zh) * 2020-06-10 2023-04-11 斯纳普公司 使用广角成像设备的3d重建
US11810316B2 (en) 2020-06-10 2023-11-07 Snap Inc. 3D reconstruction using wide-angle imaging devices
CN115956255B (zh) * 2020-06-10 2024-04-09 斯纳普公司 使用广角成像设备的3d重建

Also Published As

Publication number Publication date
CN107871308B (zh) 2022-11-15
EP3300017A1 (en) 2018-03-28
US10529050B2 (en) 2020-01-07
KR20180034118A (ko) 2018-04-04
KR102500836B1 (ko) 2023-02-16
EP3300017B1 (en) 2021-02-24
US20180089795A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
CN107871308A (zh) 用于处理广角图像的方法和设备
US9491357B2 (en) Image-processing system and image-processing method in which a size of a viewing angle and a position of a viewing point are changed for zooming
JP6357589B2 (ja) 画像表示方法、装置、プログラムおよび記録媒体
US20180068478A1 (en) Rendering Contiguous Image Elements
CN109934773B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
WO2019001006A1 (zh) 一种图像数据的编码、解码方法及装置
JP2012104127A (ja) 携帯型無線機器のインテリジェントなグラフィックスインタフェース
CN105474622A (zh) 用于产生全对焦图像的方法和设备
CN107230065B (zh) 一种二维码显示方法、设备及计算机可读存储介质
US20220269701A1 (en) Method, apparatus, system and storage medium for data visualization
CN112116551A (zh) 一种摄像头遮挡检测方法、装置、电子设备和存储介质
CN112333502A (zh) 智能电视显示方法、智能电视及计算机可读存储介质
US20180018398A1 (en) Positioning content in computer-generated displays based on available display space
CN113132795A (zh) 图像处理方法及装置
WO2011104698A2 (en) Method and apparatus providing for control of a content capturing device with a requesting device to thereby capture a desired content segment
WO2024051541A1 (zh) 特效图像生成方法、装置、电子设备及存储介质
CN110362250A (zh) 一种图像局部放大的方法、装置和显示设备
JP6467138B2 (ja) 地図表示システム及び地図表示プログラム
CN115205164A (zh) 图像处理模型的训练方法、视频处理方法、装置及设备
CN114187169A (zh) 视频特效包的生成方法、装置、设备及存储介质
KR102506581B1 (ko) 광각 영상 처리 방법 및 이를 위한 장치
KR102667877B1 (ko) 광각 영상 처리 방법 및 이를 위한 장치
JP2019140526A (ja) 情報処理装置、情報処理方法、プログラムおよび記憶媒体
US20180067594A1 (en) User interface analytics and context usage
US20230388447A1 (en) Subject-based smart segmentation of video feed on a transmitting device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20190220

Address after: Gyeonggi Do city of South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA AEROSPACE Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.

CP01 Change in the name or title of a patent holder