CN109413399A - 使用深度图合成对象的装置及其方法 - Google Patents

使用深度图合成对象的装置及其方法 Download PDF

Info

Publication number
CN109413399A
CN109413399A CN201810939072.0A CN201810939072A CN109413399A CN 109413399 A CN109413399 A CN 109413399A CN 201810939072 A CN201810939072 A CN 201810939072A CN 109413399 A CN109413399 A CN 109413399A
Authority
CN
China
Prior art keywords
image
depth value
depth
electronic equipment
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810939072.0A
Other languages
English (en)
Other versions
CN109413399B (zh
Inventor
李信俊
N.V.谢克
R.瓦卢萨
廉东铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109413399A publication Critical patent/CN109413399A/zh
Application granted granted Critical
Publication of CN109413399B publication Critical patent/CN109413399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

提供了一种电子设备，包括显示器、存储器和处理器。处理器被配置为控制以通过使用显示器显示图像，控制以至少基于第一用户输入在图像的第一区域上显示对象，至少基于第二用户输入确定对象的深度值，控制以基于所确定的对象的深度值和第一区域的深度信息，在图像上显示对象的至少一部分，并控制以在存储器中存储添加了对象的图像的深度数据和色彩数据。

Description

使用深度图合成对象的装置及其方法
相关申请的交叉引用
本申请基于并要求于2017年8月18日向韩国知识产权局提交的韩国专利申请第10-2017-0104775号的优先权，其公开内容通过引用整体并入本文。
技术领域
本公开涉及一种使用深度图来合成对象的装置及其方法。
背景技术
电子设备可以通过使用至少一个图像传感器来获取彩色图像和深度图。彩色图像可以包括图像中包括的每个像素的红色、绿色、蓝色(RGB)值，并且深度图可以包括每个像素的深度值。深度值可以是表示被摄体与电子设备(或至少一个图像传感器)之间的距离的值。例如，当包括多个像素的一些区域的深度值大于深度图中的其他区域的深度值时，对应于一些区域的被摄体可以比对应于其他区域的被摄体更靠近电子设备。
电子设备可以为用户提供用于合成对象的用户界面(UI)。该对象可以包括例如贴纸、标签、图画、备忘录、图像、马赛克或书法。
以上信息仅作为背景信息呈现，以帮助理解本公开。关于上述任何一个是否可能适用为关于本公开的现有技术，没有做出确定，并且没有做出断言。
发明内容
本公开的各方面旨在解决至少上述问题和/或缺点，并提供至少下述优点。因此，本公开的一个方面是提供一种用于通过使用对象的深度值来合成图像中的对象的电子设备的装置和方法及其方法。
尽管电子设备为用户提供用于合成对象的用户界面(UI)，但是电子设备可以不提供调整和存储对象的深度值的功能。
另外的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践所呈现的实施例来学习。
根据本公开的一方面，提供了一种电子设备。所述电子设备包括：显示器、存储器、以及处理器。所述处理器可以被配置为：控制以通过使用显示器显示图像；控制以至少基于第一用户输入在图像的第一区域上显示对象；至少基于第二用户输入确定对象的深度值，控制以基于所确定的对象的深度值和第一区域的深度信息，在图像上显示对象的至少一部分；以及控制以在存储器中存储添加了对象的图像的深度数据和色彩数据。
根据本公开的另一方面，提供了一种电子设备的方法。该方法包括：显示图像；至少基于第一用户输入在图像的第一区域上显示对象；至少基于第二用户输入确定对象的深度值，基于所确定的对象的深度值和第一区域的深度信息，在图像上显示对象的至少一部分；以及存储添加了对象的图像的深度数据和色彩数据。
根据本公开的另一方面，提供了一种电子设备。所述电子设备包括获取彩色图像或深度图中的至少一个的一个或多个图像传感器、显示器、存储器和处理器。处理器可以被配置为通过合成彩色图像和深度图中的至少一个来创建图像，控制以通过使用显示器显示图像，控制以至少基于第一用户输入在图像的第一区域上显示对象，至少基于第二用户输入确定对象的深度值，控制以基于所确定的对象的深度值和第一区域的深度信息在图像上显示对象的至少一部分，以及控制以在存储器中存储添加了对象的图像的深度数据和色彩数据。
如上所述，根据本公开中公开的实施例，电子设备可以提供通过使用图像中的深度图编辑对象来调整对象的深度值以满足用户的需求的功能。
根据本公开中公开的实施例，电子设备可以通过生成和存储对象的深度值来另外编辑与图像合成的对象。
此外，可以提供通过本公开直接或间接理解的各种效果。
通过以下结合附图公开了本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得显而易见。
附图说明
通过以下结合附图的描述，本公开的某些实施例的以上和其他方面、特征和优点将更加明显，在附图中：
图1示出了根据本公开的各种实施例的用于通过使用深度图来合成对象的网络环境下的电子设备的框图；
图2示出了根据本公开的各种实施例的用于使用深度图来合成对象的相机模块的框图；
图3示出了根据本公开的各种实施例的用于使用深度图来合成对象并存储合成结果的电子设备的操作的流程图；
图4A示出了根据本公开的各种实施例的通过使用深度图创建图像的一系列操作；
图4B示出了根据本公开的各种实施例的通过使用深度图制作的直方图；
图5A示出了根据本公开的各种实施例的通过使用深度图创建对象的一系列操作；
图5B示出了根据本公开的各种实施例的存储添加了对象的图像的深度数据和色彩数据的一系列操作；
图6示出了根据本公开的各种实施例的通过使用深度值范围来合成对象的电子设备的操作的流程图；
图7示出了根据本公开的各种实施例的表示深度值范围的直方图；
图8示出了根据本公开的各种实施例的通过使用深度图范围来合成对象的一系列操作；
图9示出了根据本公开各种实施例的用于通过使用图像的深度值范围来表达对象的深度值的电子设备的操作的流程图；
图10A示出了根据本公开的各种实施例的表示图像的深度值范围的最小深度值和最大深度值的直方图；
图10B示出了根据本公开的各种实施例的表示对象的深度值的用户界面(UI)；
图11示出了根据本公开的各种实施例的用于呈现具有改变的深度值和基于改变的深度值的改变的大小的对象的电子设备的操作的流程图；
图12示出了根据各种实施例的示出基于改变的深度值确定对象的大小的操作的视图；
图13示出了根据本公开的各种实施例的显示具有改变的深度值和基于改变的深度值的改变的大小的对象的一系列操作；
图14示出了根据本公开的各种实施例的用于通过使用改变的深度值和关于图像的视场(FOV)的信息来显示具有改变的深度值和改变的大小的对象的电子设备的操作的流程图；
图15是示出根据本公开的各种实施例的基于改变的深度值和关于图像的FOV的信息来确定对象的大小的操作的视图；
图16示出了根据本公开的各种实施例的用于基于改变的深度值和图像的消失点来显示在深度、大小和位置上改变的对象的电子设备的操作的流程图；以及
图17示出了根据本公开的各种实施例的基于改变的深度值和图像的消失点来显示在深度、大小和位置上改变的对象的一系列操作。
在整个附图中，附图标记将被理解为表示相同的部件、组件和结构。
具体实施方式
提供参考附图的以下描述以帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括各种具体细节以帮助理解，但这些仅被视为示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和构造的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，对于本领域技术人员来说显而易见的是，提供本公开的各种实施例的以下描述仅用于说明目的，而不是为了限制由所附权利要求及其等同物限定的本公开的目的。
应理解，除非上下文另有明确规定，否则单数形式“一”、“一个”和“该”包括复数指示物。因此，例如，对“组件表面”的指代包括对一个或多个这样的表面的指代。
图1是根据本公开的各种实施例的用于通过使用深度图来合成对象的网络环境中的电子设备的框图。
参考图1，在网络环境100中，电子设备101可以通过第一网络198(例如，短距离无线通信)与电子设备102通信，或者可以通过第二网络199(例如，远距离无线通信)与电子设备104或服务器108通信。根据实施例，电子设备101可以通过服务器108与电子设备104通信。根据实施例，电子设备101可以包括处理器120、存储器130、输入设备150、声音输出设备155、显示设备160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、订户识别模块196和天线模块197。根据一些实施例，电子设备101的组件中的至少一个(例如，显示设备160或相机模块180)可以省略，或者可以将其他组件添加到电子设备101。根据一些实施例，可以集成和实现一些组件，如显示设备160(例如，显示器或显示单元)中嵌入的传感器模块176(例如，指纹传感器、虹膜传感器或者照度传感器)的情况。
处理器120可以操作例如软件(例如，程序140)以控制连接到处理器120的电子设备101的其他组件(例如，硬件或软件组件)中的至少一个，并且可以处理并计算各种数据。处理器120可以将从其他组件(例如，传感器模块176或通信模块190)接收的命令集或数据加载到易失性存储器132中，可以处理加载的命令或数据，并且可以将结果数据存储在非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理单元或应用处理器)和辅助处理器123(例如，图形处理设备、图像信号处理器、传感器集线器处理器或通信处理器)，其独立于主处理器121操作，附加地或替代地使用比主处理器121更少的功率，或者被指定指定功能。在这种情况下，辅助处理器123可以与主处理器121分开操作或嵌入。
辅助处理器123可以在主处理器121处于非活动(例如，睡眠)状态的同时替代主处理器121，或者在主处理器121处于活动(例如，应用执行)状态的同时与主处理器121一起，控制例如与电子设备101的组件之中的至少一个组件(例如，显示设备160、传感器模块176或通信模块190)相关联的功能或状态中的至少一些。根据实施例，辅助处理器123(例如，图像信号处理器或通信处理器)可以被实现为与辅助处理器123功能相关的另一组件(例如，相机模块180或通信模块190)的一部分。存储器130可以存储由电子设备101的至少一个组件(例如，处理器120或传感器模块176)使用的各种数据，例如，软件(例如，程序140)和关于与软件相关联的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
程序140可以作为软件存储在存储器130中，并且可以包括例如操作系统142、中间件144或应用146。
输入设备150可以是用于从电子设备101的外部(例如，用户)接收用于电子设备101的组件(例如，处理器120)的命令或数据的设备，并且可以包括例如麦克风、鼠标或键盘。
声音输出设备155可以是用于将声音信号输出到电子设备101的外部的设备，并且可以包括例如用于诸如多媒体播放或录音播放的一般目的的扬声器、以及仅用于接听电话的接收器。根据实施例，接收器和扬声器可以整体地或单独地实现。
显示设备160可以是用于向用户可视地呈现信息的设备，并且可以包括例如显示器，全息设备或投影仪以及用于控制相应设备的控制电路。根据实施例，显示设备160可以包括用于测量关于触摸的压力强度的触摸电路或压力传感器。
音频模块170可以在双向上转换声音和电信号。根据实施例，音频模块170可以通过输入设备150获得声音，或者可以通过有线或无线地连接到声音输出设备155或电子设备101的外部电子设备(例如，电子设备102(例如，扬声器或耳机))输出声音。
传感器模块176可以生成与电子设备101内部的操作状态(例如，功率或温度)或外部的环境状态相对应的电信号或数据值。传感器模块176可以包括例如手势传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、抓握传感器、接近传感器、色彩传感器、红外传感器、生物识别传感器、温度传感器、湿度传感器或照度传感器。
接口177可以支持有线或无线地连接到外部电子设备(例如，电子设备102)的指定协议。根据实施例，接口177可以包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、SD卡接口或音频接口。
连接端子178可以包括将电子设备101物理地连接到外部电子设备(例如，电子设备102)的连接器，例如，HDMI连接器、USB连接器、安全数字(SD)卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可以将电信号转换为用户通过触觉或动觉感觉感知的机械刺激(例如，振动或运动)或电刺激。触觉模块179可包括例如马达、压电元件或电刺激器。
相机模块180可以拍摄静止图像或视频图像。根据实施例，相机模块180可以包括例如至少一个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可以是用于管理供应给电子设备101的电力的模块，并且可以用作电力管理集成电路(PMIC)的至少一部分。
电池189可以是用于向电子设备101的至少一个组件供电的设备，并且可以包括例如不可充电(原)电池、可充电(二次)电池或燃料电池。
通信模块190可以在电子设备101和外部电子设备(例如，电子设备102、电子设备104或服务器108)之间建立有线或无线通信信道，并且通过所建立的通信信道支持通信执行。通信模块190可以包括至少一个通信处理器，其独立于处理器120(例如，应用处理器)操作并且支持有线通信或无线通信。根据实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信模块)，并且可以通过第一网络198(例如，短距离通信网络，诸如蓝牙、Wi-Fi直连或红外数据协会(IrDA))或第二网络199(例如，诸如蜂窝网络、互联网或计算机网络(例如，LAN或者无线区域网络(WAN))的远距离无线通信网络)，使用其中的相应通信模块与外部电子设备通信。上述各种通信模块190可以分别实现为一个芯片或单独的芯片。
根据本公开的实施例，无线通信模块192可以使用存储在通信网络中的订户识别模块196中的用户信息来识别和认证电子设备101。
天线模块197可以包括一个或多个天线，以向外部源发送信号或电力或从外部源接收信号或电力。根据实施例，通信模块190(例如，无线通信模块192)可以通过适合于通信方法的天线向外部电子设备发送信号或从外部电子设备接收信号。
组件中的一些组件可以通过在外围设备之间用于彼此交换信号(例如，命令或数据)的通信方法(例如，总线、通用输入/输出(GPIO)、串行外围接口(SPI)或移动工业处理器接口(MIPI))彼此连接。
根据本公开的实施例，可以通过连接到第二网络199的服务器108在电子设备101和外部电子设备104之间发送或接收命令或数据。电子设备102和104中的每一个可以是与电子设备101相同或不同的类型。根据实施例，由电子设备101执行的所有或一些操作可以由另一电子设备或多个外部电子设备执行。当电子设备101自动地或通过请求执行一些功能或服务时，除了自身执行功能或服务之外或替代自身执行功能或服务，电子设备101可以请求外部电子设备执行与功能或服务相关的至少一些功能。接收请求的外部电子设备可以执行所请求的功能或附加功能，并将结果发送到电子设备101。电子设备101可以基于原样接收的结果或者在另外处理接收的结果之后，提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
图2示出了根据本公开的各种实施例的用于使用深度图来合成对象的相机模块的框图。
参考图2，相机模块180可包括透镜组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。透镜组件210可收集从作为图像捕获目标的被摄体发射的光。透镜组件210可包括一个或多个透镜。根据实施例，相机模块180可以包括多个透镜组件210。在这种情况下，相机模块180可以是例如双相机、360度相机或球形相机。多个透镜组件210可以具有相同的透镜属性(例如，视场、焦距、自动对焦、f数或光学变焦)。替代地，至少一个透镜组件可以在至少一个透镜属性上与另一个透镜组件不同。透镜组件210可包括例如广角透镜或远摄透镜。闪光灯220可以发射光以加强从被摄体发射的光。闪光灯220可包括一个或多个发光二极管(LED)(例如，红-绿-蓝(RGB)LED、白光LED、红外LED或紫外LED)或氙灯。
图像传感器230可以通过将通过透镜组件210从被摄体接收的光转换为电信号来获取与被摄体相对应的图像。根据实施例，图像传感器230可以包括例如从具有不同的属性的图像传感器(诸如RGB传感器、黑白(BW)传感器、红外(IR)传感器或紫外线(UV)传感器)中选择的一个图像传感器、具有相同属性的多个图像传感器、或具有不同属性的多个图像传感器。包括在图像传感器230中的每个图像传感器可以用例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器实现。根据实施例，当相机模块180包括多个透镜组件210时，图像传感器230可包括多个图像传感器以从每个透镜组件210获取图像。例如，多个图像传感器中的一个可以获取彩色图像，并且另一图像传感器可以获取深度图(或者可以称为深度图图像)。又例如，图像传感器可以一起操作以获取彩色图像和彩色图。
图像稳定器240可以在特定方向上移动或控制包括在透镜组件210中的至少一个透镜或图像传感器230(例如，可以调整读出定时)，以便至少部分地补偿响应于相机模块180的运动或包括相机模块180的电子设备101的运动施加在捕获的图像上的负面影响(例如，图像抖动)。根据本公开的实施例，图像稳定器240可以例如可以用光学图像稳定器实现，并且可以通过使用设置在相机模块180内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来检测运动。
存储器250可以至少临时地存储通过图像传感器230获取的图像的至少一部分，用于接下来的图像处理。例如，当图像获取被延迟或者以更高的速率获取多个图像时，取决于快门速度，所获取的原始图像(例如，具有更高分辨率的图像)被存储在存储器250中，并且可以通过显示设备160预览原始图像的复本(例如，具有较低分辨率的图像)。此后，当满足指定条件(例如，接收用户输入或生成系统命令)时，已经存储在存储器250中的原始图像的至少一部分可以由图像信号处理器260获取和处理。根据本公开的实施例，存储器250可以用存储器130的至少一部分实现或者用独立于存储器250操作的附加存储器实现。
图像信号处理器260可以对于从图像传感器230获取的图像或存储在存储器250中的图像执行图像处理(例如，深度图创建、3-D建模、全景创建、特征提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或软化)。附加地或替代地，图像信号处理器260可以对于包括在相机模块180中的至少一个组件执行控制操作(例如，图像传感器230的控制操作(例如，曝光时间或读出定时的控制操作))。由图像信号处理器260处理的图像可以重新存储在存储器250中用于附加图像处理，或者可以发送到相机模块180的外部组件(例如，存储器130、显示设备160、电子设备102、电子设备104或服务器108)。根据实施例，图像信号处理器260可以用处理器120的至少一部分实现，或者用独立于处理器120操作的附加处理器实现。当图像信号处理器260用附加处理器实现时，由图像信号处理器260处理的图像可以在没有其改变的情况下显示在显示设备160上，或者可以在经受附加图像处理之后显示在显示设备160上。
根据本公开的实施例，电子设备101可以包括具有相互不同的属性或功能的两个或更多个相机模块180。在这种情况下，例如，至少一个相机模块180可以是广角相机或前置相机，并且至少另一个相机模块可以是远摄相机或后置相机。
在以下描述中，操作可以由电子设备(例如，电子设备101)实现，或者可以由包括在电子设备中的处理器(例如，处理器120或图像信号处理器260)实现。当操作由处理器实现时，处理器可以执行存储在电子设备的存储器(例如，存储器130或存储器250)中的指令，从而实现操作。
图3至图5示出了根据本公开的各种实施例的通过使用深度图来合成对象和存储合成结果的一系列操作。
参考图3，在操作310中，电子设备(例如，电子设备101、处理器120或图像信号处理器260)可以在显示器(例如，显示设备160)上显示图像。根据本公开中公开的各种实施例，图像可以指通过合成彩色图像和深度图而创建的图像。例如，图像可以指通过图像传感器捕获的图像或预览图像。将参考图4A描述通过合成彩色图像和深度图来创建图像的操作。
参考图4A，电子设备可以通过至少一个图像传感器获取彩色图像410和深度图420。彩色图像410可以示出构成二维(2D)坐标(例如，X轴或Y轴)的像素的RGB值的分布(色彩信息)。尽管已经通过示例关于基于RGB的彩色图像410描述了本公开的各种实施例，但是可以使用各条信息(例如，YCrCb或YUV)来表示图像的色彩分布而不是RGB。电子设备可以通过使用彩色图像410的色彩信息来显示背景被摄体412或前景被摄体414。深度图420可以表示构成2D坐标的像素的深度值的分布(深度信息)。例如，当8位数据被分配给图像的一个像素时，深度值可以表达为0到28范围内的值，即255。当n位被分配给每个像素时，深度值可以具有从0到2n的范围内的适当值。深度值可以被设置为与电子设备和被摄体之间的距离成反比(即，随着被摄体接近电子设备，深度值增加)。相反，深度值可以被设置为与电子设备和被摄体之间的距离成比例。在下文中，将关于随着电子设备和被摄体之间的距离变短而深度值增加的示例来描述本公开中的各种实施例。
根据本公开的实施例，电子设备可以从深度图420中选择具有特定范围内的深度值的分布的图像区域，并且可以分离图像区域。图像区域可以被称为包括图像中的多个像素的区域。例如，在深度图420中，包括在图像区域422(在彩色图像410中对应于背景被摄体412的区域)中的像素可以具有基于第一值的特定范围中的深度值，并且包括在图像区域424(在彩色图像410中对应于前景被摄体414的区域)中的像素可以具有基于第二值的特定范围中的深度值。在这种情况下，电子设备可以通过使用具有在相互不同的范围内的深度值的像素来将图像区域422与图像区域424分离。电子设备可以取决于图像区域422和图像区域424的深度值的分布将图像区域422和图像区域424放置在相互不同的三维(3D)空间(例如，Z轴)中。根据实施例，电子设备可以在虚拟平面上分别放置彼此分开的至少两个图像区域。例如，电子设备可以将具有较大深度值范围的图像区域424放置在图像区域422的前面的平面上。电子设备可以通过将放置在相互不同的平面上的图像区域422和图像区域424与彩色图像410合成，显示表示相互不同的深度值的前景被摄体414和背景被摄体412。
参考图4B，可以使直方图450表示深度图420的深度值的分布。直方图450的水平轴表示深度值。水平轴可以具有例如0到255的值，或者可以具有0到100范围内的转换值。除了上述实施例之外，水平轴的标度可以由本领域技术人员不同地限定。直方图450的垂直轴可以表示深度值的频率(例如，像素的数量)。深度值分布452可以表示图像区域422的深度值分布，并且深度值分布454可以表示图像区域424的深度值分布。
在操作320中，响应于添加对象的用户输入，电子设备可以在图像上显示对象。该对象可以包括例如贴纸、标签、图画、备忘录、图像、马赛克或书法。根据实施例，电子设备可以响应于将对象放置(移动)在图像的特定区域(第一区域)中的用户输入而在第一区域上显示对象。根据另一实施例，当在没有将对象放置在特定区域中的用户输入的情况下满足特定条件时(例如，当接收到选择对象的用户输入时、当接收到选择图像编辑菜单的用户输入时、当完成图像捕获时、或者当电子设备进入图像捕获模式时)，电子设备可以在第一区域上自动显示对象。
根据本公开的实施例，电子设备可以显示具有预设深度值的对象。例如，为了防止添加的对象被另一图像隐藏而看不见或被部分看见的用户体验，预设深度值可以大于图像的最大深度值(深度值分布454中的最大深度值)。再例如，为了引导用户改变所添加的对象的深度，预设深度值可以具有在图像的最小深度值和最大深度值之间的适当值，使得在显示对象的一部分的同时对象的剩余部分被图像隐藏。
在操作330中，电子设备可以接收改变(或确定)对象的深度值的用户输入。根据实施例，电子设备可以接收移动表示对象的深度值的指示符的用户输入。表示对象的深度值的指示符可以显示在图像上，或者可以显示在显示图像的屏幕之外的屏幕上。
在操作340中，电子设备可以基于对象的改变的深度值和第一区域的深度信息在图像上显示对象的至少一部分。
参考图5A，响应于改变对象516的深度值的用户输入，电子设备可以改变表示对象516的深度值的图像区域526的深度值。当改变的深度值大于如图4B所示的深度值分布454的最大深度值时，电子设备可以在显示图像区域424的平面的前平面上显示图像区域526。在这种情况下，用户可以观看对象516，好像对象516被放置在比前景被摄体414更靠近电子设备的距离处。当改变的深度值小于深度值分布454的最小深度值且大于深度值分布452的最大深度值时，电子设备可以在插入在显示图像区域424的平面和显示图像区域422的平面之间的平面上显示图像区域526。在这种情况下，用户可以观看对象516，好像对象516比前景对象414更远离电子设备，并且比背景对象412更靠近电子设备。根据实施例，电子设备可以在图像上显示对象的至少一部分。
在操作350中，电子设备可以在存储器(例如，存储器130)中存储关于对象的深度值和对象的色彩信息的数据。例如，参考图5B，电子设备可以存储添加了对象516的彩色图像410的色彩数据510、和包括与添加的对象516对应的图像区域526的深度值的深度图420的深度数据520。根据实施例，电子设备可以存储深度数据520作为用于色彩数据510的元数据。根据另一实施例，电子设备可以将色彩数据510和深度数据520存储为专用数据。根据实施例，电子设备可以在存储器中存储添加了对象516的图像数据，作为与先前存储的图像数据(例如，未添加对象516的图像数据)相同的数据或作为专用数据。
电子设备可以提供用户界面，其用于改变对象的深度，以便用户通过使用深度值编辑图像中的对象来满足用户需求。另外，电子设备可以通过将对象的改变的深度值与对象的色彩信息一起存储来提供另外重新编辑对象的功能。
图6至图8示出了根据各种实施例的通过使用深度值范围来合成对象的一系列操作。图6中示出的操作可以是通过更详细实现图3的操作340获得的操作。
参考图6，在操作610中，电子设备(例如，电子设备101、处理器120、图像信号处理器260)可以确定包括在第一区域(即，具有对象的区域)中的像素的深度值的范围(例如，从0到255的范围或从0到通过基于100转换255获得的值的范围)。例如，参考图5A和图5B，当对象516所在的第一区域与前景被摄体414重叠时，电子设备可以确定图像区域424的深度值范围。当第一区域的至少一部分与前景被摄体414重叠时，并且当第一区域的剩余部分与背景被摄体412重叠时，电子设备可以确定图像区域422和图像区域424中的每一个的深度值范围。根据实施例，电子设备可以通过使用直方图来确定深度值范围。
参考图7，深度值分布452(即，图像区域422)的深度值范围可以是范围462，并且深度值分布454(即图像区域424)的深度值范围可以是范围464。
在操作620中，电子设备可以基于对象的改变的深度值和第一区域的深度值范围来显示具有改变的深度的对象的至少一部分。例如，参考图8的附图标记800a，对象516的深度值可以响应于用户输入改变为图7的深度值720。由于深度值720包括在范围464中，因此对象516的深度值可以等于前景被摄体414的至少一些像素的深度值。在这种情况下，可以在与前景被摄体414重叠的同时显示对象516。
图8示出了根据本公开的各种实施例的通过使用深度图范围来合成对象的一系列操作。
根据本公开的实施例，电子设备可以确定第一区域的深度值，使得对象的改变的深度值不在第一区域的深度值范围内。例如，当响应于用户输入将对象516的深度值改变为深度值720时，电子设备可以将对象516的深度值改变为不在范围462和范围464中的深度值710、深度值730或者深度值740。例如，当对象516的深度值是深度值740时，对象516可以显示在显示前景被摄体414的平面前面的平面上，如图8的附图标记800b所示。当对象516的深度值被设置为不在第一区域的深度值范围内时，电子设备可以同时合成至少两个对象。例如，参考附图标记800c，电子设备可以从预览图像或捕获图像识别前景被摄体414。电子设备可以合成前景被摄体414和对象517和518。电子设备可以分别将对象517和对象518的深度值设置为深度值740和深度值730，使得前景被摄体414的深度值范围(也就是说，范围464)不与对象517和对象518的每个深度值重叠。用户可以识别出对象517显示在前景被摄体414的前面并且对象518显示在前景被摄体414的后面。
电子设备可以通过使用深度值范围来改变对象的深度值，从而防止对象与图像中的另一被摄体重叠并同时合成至少两个对象与被摄体。
图9、图10A和图10B示出了根据各种实施例的通过使用图像的深度值范围来表达对象的深度值的一系列操作。图9中示出的操作可以是通过更详细实现图6的操作610获得的操作。
参考图9，在操作910中，电子设备(例如，电子设备101、处理器120或图像信号处理器260)可以确定图像的深度值范围。例如，当图10A中所示的直方图450表示图10B中所示的图像1000的深度值范围时，图像1000的深度值范围可以是范围1020。图像1000的深度值范围的最小深度值可以是深度值1012，并且图像1000的深度值范围的最大深度值可以是是深度值1014。
根据本公开的实施例，电子设备可以通过使用用于直方图450的深度值的频率(或像素计数)的偏移来调整深度图420中包括的图像区域的范围(或数量)。例如，参考图10A，当设置直方图450的偏移1022时，电子设备可以仅识别与具有大于偏移1022的频率的深度值分布453和深度值分布455相对应的图像区域作为被摄体。又例如，当直方图450的偏移是较小值时，电子设备可以将与深度值分布452和深度值分布454对应的图像区域识别为一个被摄体。
在操作920中，电子设备可以通过使用图像的深度值范围来显示用于表示对象的深度值的UI。例如，参考图10B，电子设备可以显示UI 1030。尽管图10B示出了在图像1000中显示UI 1030的示例，但是UI 1030可以显示在图像1000的下部屏幕或上部屏幕上。
根据本公开的实施例，UI 1030的长度可以对应于图10A的直方图450中的范围1010。范围1010的最小深度值可以是深度值1002，并且范围1010的最大深度值可以是深度值1004。深度值1002可以是例如0。深度值1004可以是例如255。当电子设备被配置为使得水平轴上的值的范围被转换为0到100的范围时，深度值1004可以是100。根据另一实施例，UI1030的长度可以对应于直方图450中的范围1020。范围1020的最小深度值可以是深度值1012，并且范围1020的最大深度值可以是深度值1014。根据另一实施例，电子设备可以重新缩放深度值范围(空深度值范围)的长度或范围1020的长度，所述空深度值范围诸如从深度值1002到深度值1012的范围或从深度值1014到深度值1004的范围，表示频率0或者非常小的深度值范围。例如，电子设备可以精细地缩放空深度值范围的长度，使得电子设备的用户不考虑范围1020之外的深度值范围(即，即使对象516的深度值没有改变为空深度值范围中的值，电子设备的用户也可以经历对象516和另一被摄体之间的深度改变)。又例如，电子设备可以保持空深度值范围的长度并且大幅度缩放范围1020的长度。
根据本公开的实施例，UI 1030可以包括指示对象516的深度值的指示符1035。电子设备可以响应于移动指示符1035的用户输入来改变对象516的深度值。虽然电子设备可以提供指示符1035在UI 1030上连续移动的视觉效果，但是当直方图450的空深度值范围的长度或范围1020的长度被重新缩放时，电子设备可以提供指示符1035被跳转到特定位置的视觉效果。
图11至图13示出了根据各种实施例的显示具有改变的深度值和基于改变的深度值的改变的大小的对象的一系列操作。图11中示出的操作可以通过更详细实现图3的操作340来获得。
参考图11，在操作1110中，电子设备可以响应于改变对象的深度值的用户输入来确定对象的改变的深度值。在操作1120中，电子设备可以基于对象的改变的深度值来改变对象的大小。将参考图12描述确定对象的大小的操作。
参考图12，平面1210和平面1220可以放置在虚拟3D空间(例如，Z轴)中以对应于其深度值。平面1210与用户之间的距离可以短于平面1220与用户之间的距离。电子设备可以接收将具有平面1210的深度值的对象1215的深度值改变为平面1220的深度值的用户输入。对象1215的深度值可以减小由附图标记1230指示的值。电子设备可以与减小了由附图标记1230指示的值的深度值成比例地将对象1215的大小(或区域)改变为对象1225的大小。
在操作1130，电子设备可以基于对象的改变的深度值和对象的改变的大小在图像上显示对象的至少一部分。电子设备可以通过比较对象的改变的深度值和对象所在的第一区域的深度信息来在多个平面之一上显示对象。电子设备可以显示具有与改变的深度值成比例地增大或减小的大小的对象。
图13示出了显示具有改变的深度值和基于改变的深度值的改变的大小的对象的一系列操作。
参考图13，电子设备可以显示包括背景被摄体412和前景被摄体414的图像1300(其是通过合成彩色图像和深度图获得的结果)。电子设备可以响应于选择对象的用户输入，在图像1300上显示对象1316。根据实施例，电子设备可以显示表示对象1316当前正被编辑的指示符1318。响应于改变对象1316的深度值的用户输入，电子设备可以显示深度值和大小减小的对象1316。如图13所示，当对象1316的深度值小于前景被摄体414的深度值范围的下限时，对象1316可以显示在前景被摄体414的后面。
根据实施例，如图13所示，除了响应于改变深度值的用户输入改变对象1316的深度值和大小的操作之外，电子设备还可以响应于编辑对象1316的至少一个用户输入来编辑对象1316。例如，电子设备可以响应于在图像区域的2D坐标系中移动中心坐标的用户输入，显示具有改变位置的对象1316。又例如，电子设备可以显示响应于对应于对象1316的图像区域的2D坐标系中的旋转角坐标的用户输入而显示旋转的对象1316。再例如，电子设备可以响应于在图像1300中输入除了对象1316之外的区域的用户输入，取消指示符1318的显示。
电子设备可以通过基于对象的改变的深度值调整对象的大小，为用户提供在图像内调整对象的透视的视觉效果。
图14至图15示出了通过使用改变的深度值和图像的视场(FOV)来显示在深度值和大小上改变的对象的一系列操作。图14中示出的操作可以通过更详细实现图11的操作1120到操作1130来获得。
参考图14，在操作1410中，电子设备可以确定图像的FOV。在操作1420中，电子设备可以基于改变的深度值和图像的FOV来确定对象的大小增量或大小减量。例如，参考图15，合成对象1522的图像的FOV可以大于合成对象1524的图像的FOV。当对象1522和对象1524的相应深度值增加由附图标记1530指示的值时，对象1522和1524的相应大小可以与增加的深度值成比例地增加，并且大小增量或者大小减量可以取决于FOV 1502和FOV 1504之间的差异而变化。例如，尽管在平面1520上显示的对象1522的大小等于对象1524的大小，但是在平面1510上显示的对象1522的大小可以大于在平面1510上显示的对象1524的大小。
在操作1430中，电子设备可以基于所确定的大小增量或减量来显示在深度值和大小上改变的对象的至少一部分。电子设备可以为用户提供取决于关于图像的FOV的信息来不同地增大或减小对象的大小的视觉效果。
图16至图17示出了根据各种实施例的显示基于通过图像分析获得的减小图像的方向和改变的深度而在深度、大小、形状和位置上改变的对象的一系列操作。图16中示出的操作可以通过更详细实现图11的操作1130到操作1130来获得。
参考图16，在操作1610中，电子设备可以通过分析关于捕获的图像的信息来确定减小捕获的图像的方向(例如，消失点)。
参考图17，关于包括背景被摄体1712和前景被摄体1714的图像1700，电子设备可以通过分析图像1700中前线的方向、扭曲对象的方向、或水平线的角度，确定用于在特定方向上减小图像1700的消失点1720。电子设备可以将消失点1720的位置识别为图像1700中的2D坐标值或像素值。根据各种实施例，除了分析图像的方案之外，电子设备可以基于深度信息获得减小图像的方向。例如，参考图4A，由于在深度图420中，图像区域422的深度值分布小于图像区域424的深度值分布，因此电子设备可以确定从图像区域424到图像区域422的方向作为减小图像410的方向。
在操作1620中，电子设备可以基于关于减小图像的方向和对象的改变的深度值的信息(例如，关于消失点的信息)，改变对象的形状、大小和位置。在操作1630，电子设备可以在图像中显示深度值、大小和位置改变的对象的至少一部分。例如，参考图17，响应于添加对象的用户输入，可以在图像1700中的前景被摄体1714的左侧合成对象1716。根据实施例，电子设备可以将对象1716的位置识别为图像中的2D坐标值或像素值。当响应于用户输入减小对象1716的深度值时，电子设备可以使对象1716的形状变形(或扭曲)以对应于朝向消失点1720延伸的线，可以改变对象1716的位置以减小对象1716和消失点1720之间的距离，并且可以基于改变的深度值来改变对象1716的大小。
电子设备可以基于改变的深度值甚至改变对象的位置以及对象的大小和大小增量或减量，从而通过在作为减小图像的方向的消失点的方向上自然地使图像内的对象变形，为用户提供调整对象的透视的视觉效果。
如上所述，电子设备(例如，电子设备101)可以包括显示器(例如，显示设备160)、存储器(例如，存储器130)和处理器(例如，处理器120或图像信号处理器260)。处理器可以被配置为通过使用显示器显示图像(例如，通过合成彩色图像410和深度图420获得的图像)，至少基于第一用户输入在图像的第一区域上显示一个或多个对象(例如，第一对象516)，至少基于第二用户输入确定对象的深度值，基于所确定的对象的深度值和第一区域的深度信息在图像上显示对象的至少一部分，以及在存储器中存储添加了对象的图像的深度数据(例如，深度数据520)和色彩数据(例如，色彩数据510)。根据实施例，处理器可以被配置为在存储器中存储添加了对象的图像，其中数据与图像的数据不同。根据本公开的实施例，图像可以包括通过使用图像传感器获取的预览图像。
根据本公开的实施例，处理器可以被配置为至少基于第二用户输入确定第一区域的深度值范围，并且基于所确定的对象的深度值和所确定的第一区域的深度值范围，在图像上显示对象的至少一部分。另外，处理器可以被配置为确定图像的深度值范围，并且基于所确定的图像的深度值范围，通过使用显示器显示关于对象的深度值的指示符(例如，指示符1035)。
根据本公开的实施例，处理器可以被配置为至少基于第二用户输入识别所确定的对象的深度值，以基于所确定的对象的深度值来确定对象的大小，并基于所确定的对象的深度值、所确定的对象的大小或第一区域的深度信息中的至少一个，在图像上显示对象的至少一部分。另外，处理器可以被配置为确定关于图像的FOV的信息，基于所确定的关于图像的FOV的信息和所确定的对象的深度值来确定对象的大小的增量或减量，基于所确定的对象的大小的增量或减量，在图像上显示对象的至少一部分。另外，处理器可以被配置为确定图像的消失点，基于所确定的图像的消失点来确定对象的位置，并且基于所确定的对象的深度值、所确定的对象的大小或所确定的对象的位置中的至少一个在图像上显示对象的至少一部分。
如上所述，本公开中公开的电子设备(例如，电子设备101)的方法可以包括显示图像(例如，通过合成彩色图像410和深度图420获得的图像)，至少基于第一用户输入在图像的第一区域上显示一个或多个对象(例如，对象516)，至少基于第二用户输入确定对象的深度值，基于所确定的对象的深度值和第一区域的深度信息在图像上显示对象的至少一部分，以及存储添加了对象的图像的深度数据(例如，深度数据520)和色彩数据(例如，色彩数据510)。深度数据和色彩数据的存储可以包括将深度数据存储为色彩数据的元数据的至少一部分。
根据本公开的实施例，显示对象的至少一部分可以包括至少基于第二用户输入确定第一区域的深度值范围，并基于所确定的对象的深度值和所确定的第一区域的深度值范围在图像上显示对象的至少一部分。
根据本公开的实施例，该方法还可以包括：确定图像的深度值范围，以及基于所确定的图像的深度值范围，显示关于对象的深度值的指示符。
根据本公开的实施例，在图像上显示对象的至少一部分可以包括至少基于第二用户输入识别所确定的对象的深度值，基于所确定的对象的深度值确定对象的大小，并基于所确定的对象的深度值、所确定的对象的大小或第一区域的深度信息中的至少一个，在图像上显示对象的至少一部分。
根据本公开的实施例，在图像上显示对象的至少一部分可以包括：确定关于图像的FOV的信息，基于所确定的关于图像的FOV的信息和所确定的对象的深度值，确定对象的大小的增量或减量，并基于所确定的对象的大小的增量或减量，在图像上显示对象的至少一部分。
根据本公开的实施例，在图像上显示对象的至少一部分可以包括：确定图像的消失点，基于所确定的图像的消失点确定对象的位置，以及基于所确定的对象的深度值、所确定的对象的大小或所确定的对象的位置中的至少一个，在图像上显示对象的至少一部分。
如上所述，本公开中公开的电子设备(例如，电子设备101)可以包括被配置为获取彩色图像(例如，彩色图像410)或深度图(例如，深度图420)的一个或多个图像传感器(例如，相机模块180或图像传感器230)、显示器(例如，显示设备160)、存储器(例如，存储器130)以及处理器(例如，处理器120或图像信号处理器260)。处理器可以被配置为通过合成彩色图像和深度图来创建图像，通过使用显示器显示图像，以至少基于第一用户输入在图像的第一区域上显示对象(例如，对象516)，至少基于第二用户输入，确定对象的深度值，以基于所确定的对象的深度值和第一区域的深度信息，在图像上显示对象的至少一部分，并且在存储器中存储添加了对象的图像的深度数据(例如，深度数据520)和色彩数据(例如，色彩数据510)。
根据本公开的实施例，处理器可以被配置为至少基于第二用户输入确定第一区域的深度值范围，并且基于所确定的对象的深度值和所确定的第一区域的深度值范围在图像上显示对象的至少一部分。
根据本公开的实施例，处理器可以被配置为确定图像的深度值范围，并且基于所确定的图像的深度值范围，通过使用显示器显示关于对象的深度值的指示符。另外，处理器可以被配置为至少基于第二用户输入识别所确定的对象的深度值，基于所确定的对象的深度值来确定对象的大小，并且基于所确定的对象的深度值、所确定的对象的大小或第一区域的深度信息中的至少一个，在图像上显示所述对象的至少一部分。此外，处理器可以被配置为确定关于图像的FOV的信息，基于所确定的关于图像的FOV的信息和所确定的对象的深度值来确定对象的大小的增量或减量，并且基于所确定的对象的大小的增量或减量在图像上显示对象的至少一部分。
根据本公开的各种实施例，电子设备可以包括各种类型的设备。例如，电子设备可以包括便携式通信设备(例如，智能电话)、计算机设备、便携式多媒体设备、便携式医疗设备、相机或可穿戴设备中的至少一个。根据本公开的实施例，电子设备不限于上述电子设备。
应当理解，本公开的各种实施例和实施例中使用的术语不旨在将本公开中公开的技术限制于本文公开的特定形式；相反，本公开应被解释为涵盖本公开的实施例的各种修改、等同物和/或替代。关于附图的描述，类似的组件可以分配有类似的附图标记。如本文所用，除非上下文另有明确说明，否则单数形式也可包括复数形式。在本文公开的公开内容中，本文使用的表达“A或B”、“A或/和B中的至少一个”、“A、B或C”或“A、B或/和C中的一个或多个”等等可以包括一个或多个相关联的所列的项目的任何和所有组合。本文使用的表达“第一”、“第二”、“所述第一”或“所述第二”可以指代各种组件而不管次序和/或重要性，但是不限制相应的组件。上述表达仅用于区分组件与其他组件的目的。应当理解，当组件(例如，第一组件)被称为(可操作地或通信地)“连接”或“耦合”到另一组件(例如，第二组件)时，它可以直接连接或者直接耦合到其他组件，或任何其他组件(例如，第三组件)可以插入它们之间。
本文使用的术语“模块”可以表示例如包括硬件、软件和固件的一个或多个组合的单元。术语“模块”可以与术语“逻辑”、“逻辑块”、“部分”和“电路”互换使用。“模块”可以是集成部分的最小单元或可以是其一部分。“模块”可以是用于执行一个或多个功能或其一部分的最小单元。例如，“模块”可以包括专用集成电路(ASIC)。
本公开的各种实施例可以由软件(例如，程序140)实现，该软件包括存储在可由机器(例如，计算机)读取的机器可读存储介质(例如，内部存储器136或外部存储器138)中的指令。机器可以是从机器可读存储介质调用指令并取决于被调用的指令操作的设备，并且可以包括电子设备(例如，电子设备101)。当指令由处理器(例如，处理器120)执行时，处理器可以在处理器的控制下直接或使用其他组件执行与指令相对应的功能。该指令可以包括由编译器或解释器生成或执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，如本文所使用的，术语“非暂时性”是对介质本身的限制(即，有形的，而不是信号的)，而不是对数据存储持久性的限制。
根据本公开的一个方面，它可以作为计算机程序产品的一部分提供。计算机程序产品可以作为产品在卖方和买方之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者可以仅通过应用商店(例如，PlayStoreTM)分发。在在线分发的情况下，可以在诸如制造商的服务器的存储器、应用商店的服务器或中继服务器的存储介质中临时存储或生成计算机程序产品的至少一部分。
根据各种实施例的每个组件(例如，模块或程序)可以包括以上组件中的至少一个，并且可以省略上述子组件的一部分，或者可以进一步包括额外其他子组件。替代地或另外地，一些组件(例如，模块或程序)可以集成在一个组件中，并且可以执行在集成之前由每个对应组件执行的相同或类似的功能。由根据本公开的各种实施例的模块、编程或其他组件执行的操作可以顺序地、并行地、重复地或以启发式方法执行。而且，至少一些操作可以以不同的顺序执行、省略，或者可以添加其他操作。
尽管已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，包括：
显示器；
存储器；以及
处理器，
其中所述处理器被配置为：
控制显示器显示图像；
控制显示器以至少基于第一用户输入在图像的第一区域上显示对象；
接收改变对象的深度值的第二用户输入；
控制显示器以基于根据第二用户输入改变的对象的深度值和第一区域的深度信息，在图像上显示对象的至少一部分；以及
在存储器中存储添加了对象的图像的深度数据和色彩数据。
2.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
在存储器中存储添加了对象的图像，其数据与图像的数据不同。
3.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
至少基于第二用户输入确定第一区域的深度值范围；以及
控制显示器以基于所确定的对象的深度值和所确定的第一区域的深度值范围，在图像上显示所述对象的至少一部分。
4.根据权利要求3所述的电子设备，其中，所述处理器被配置为：
确定图像的深度值范围；以及
控制显示器以基于所确定的图像的深度值范围显示关于对象的深度值的指示符。
5.根据权利要求1所述的电子设备，其中，所述处理器被配置为：
至少基于第二用户输入识别所确定的对象的深度值；
基于所确定的对象的深度值来确定对象的大小；以及
控制显示器以基于所确定的对象的深度值、所确定的对象的大小或第一区域的深度信息中的至少一个来在图像上显示所述对象的至少一部分。
6.根据权利要求5所述的电子设备，其中，所述处理器被配置为：
确定关于图像的视场(FOV)的信息；
基于所确定的关于图像的FOV的信息和所确定的对象的深度值来确定对象的大小的增量或减量；以及
控制显示器以基于所确定的对象的大小的增量或减量在图像上显示所述对象的至少一部分。
7.根据权利要求5所述的电子设备，其中，所述处理器被配置为：
确定图像的消失点；
基于所确定的图像的消失点确定对象的位置；以及
控制显示器以基于所确定的对象的深度值、所确定的对象的大小或所确定的对象的位置中的至少一个，在图像上显示所述对象的至少一部分。
8.根据权利要求1所述的电子设备，还包括：
至少一个图像传感器，
其中，图像包括通过使用所述至少一个图像传感器获取的预览图像。
9.一种电子设备的方法，该方法包括：
显示图像；
至少基于第一用户输入在图像的第一区域上显示对象；
接收改变对象的深度值的第二用户输入；
基于根据第二用户输入改变的对象的深度值和第一区域的深度信息，在图像上显示对象的至少一部分；以及
存储添加了对象的图像的深度数据和色彩数据。
10.根据权利要求9所述的方法，其中，存储深度数据和色彩数据包括：
将深度数据存储为色彩数据的元数据的至少一部分。
11.根据权利要求9所述的方法，其中，显示对象的至少一部分包括：
至少基于第二用户输入确定第一区域的深度值范围；以及
基于所确定的对象的深度值和所确定的第一区域的深度值范围，在图像上显示所述对象的至少一部分。
12.根据权利要求11所述的方法，还包括：
确定图像的深度值范围；以及
基于所确定的图像的深度值范围显示关于对象的深度值的指示符。
13.根据权利要求9所述的方法，其中，在图像上显示对象的至少一部分包括：
至少基于第二用户输入识别所确定的对象的深度值，
基于所确定的对象的深度值来确定对象的大小，以及
基于所确定的对象的深度值、所确定的对象的大小或第一区域的深度信息中的至少一个，在图像上显示所述对象的至少一部分。
14.根据权利要求13所述的方法，其中，在图像上显示对象的至少一部分包括：
确定关于图像的视场(FOV)的信息；
基于所确定的关于图像的FOV的信息和所确定的对象的深度值来确定对象的大小的增量或减量；以及
基于所确定的对象的大小的增量或减量，在图像上显示所述对象的至少一部分。
15.根据权利要求13所述的方法，其中，在图像上显示对象的至少一部分包括：
确定图像的消失点；
基于所确定的图像的消失点确定对象的位置；以及
基于所确定的对象的深度值、所确定的对象的大小或所确定的对象的位置中的至少一个，在图像上显示所述对象的至少一部分。
CN201810939072.0A 2017-08-18 2018-08-17 使用深度图合成对象的装置及其方法 Active CN109413399B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0104775 2017-08-18
KR1020170104775A KR102423295B1 (ko) 2017-08-18 2017-08-18 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법

Publications (2)

Publication Number Publication Date
CN109413399A true CN109413399A (zh) 2019-03-01
CN109413399B CN109413399B (zh) 2022-03-08

Family

ID=63452373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810939072.0A Active CN109413399B (zh) 2017-08-18 2018-08-17 使用深度图合成对象的装置及其方法

Country Status (5)

Country Link
US (1) US11258965B2 (zh)
EP (1) EP3444805B1 (zh)
KR (1) KR102423295B1 (zh)
CN (1) CN109413399B (zh)
WO (1) WO2019035551A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7336871B2 (ja) * 2019-04-18 2023-09-01 日本放送協会 全天周映像処理装置及びプログラム
CN110070573B (zh) * 2019-04-25 2021-07-06 北京卡路里信息技术有限公司 关节图确定方法、装置、设备和存储介质
KR102646344B1 (ko) 2019-09-06 2024-03-12 삼성전자주식회사 이미지를 합성하기 위한 전자 장치 및 그의 동작 방법
US11844497B2 (en) * 2020-02-28 2023-12-19 Covidien Lp Systems and methods for object measurement in minimally invasive robotic surgery
KR20210146741A (ko) * 2020-05-27 2021-12-06 삼성전자주식회사 3차원 객체에 2차원 객체를 합성하기 위한 전자 장치, 전자 장치의 동작 방법 및 비일시적 저장 매체
KR102571457B1 (ko) * 2021-11-29 2023-08-28 (주)테슬라시스템 인공지능 학습용 오클루젼된 이미지 형성 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282492A (zh) * 2008-05-23 2008-10-08 清华大学 三维影像显示深度调整方法
CN101315758A (zh) * 2007-05-29 2008-12-03 智崴资讯科技股份有限公司 多层平面图层的动态显像方法及其系统
CN103139476A (zh) * 2011-11-30 2013-06-05 佳能株式会社 图像摄取装置及图像摄取装置的控制方法
JP2013258455A (ja) * 2012-06-11 2013-12-26 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、方法、及びプログラム
US20150254905A1 (en) * 2012-05-31 2015-09-10 Scott Ramsby Fixed size augmented reality objects
US20160054890A1 (en) * 2014-03-12 2016-02-25 Samsung Electronics Co., Ltd. Electronic apparatus, image processing method, and computer-readable recording medium
CN105635557A (zh) * 2015-04-30 2016-06-01 宇龙计算机通信科技(深圳)有限公司 基于双后摄像头的图像处理方法及系统、终端
US20160198097A1 (en) * 2015-01-05 2016-07-07 GenMe, Inc. System and method for inserting objects into an image or sequence of images
US20160227186A1 (en) * 2011-03-25 2016-08-04 Semiconductor Energy Laboratory Co., Ltd. Image processing method and display device

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5345313A (en) 1992-02-25 1994-09-06 Imageware Software, Inc Image editing system for taking a background and inserting part of an image therein
JP5049515B2 (ja) * 2006-06-06 2012-10-17 キヤノン株式会社 情報処理装置および情報処理方法および情報処理プログラム
WO2012044128A2 (ko) 2010-10-01 2012-04-05 삼성전자 주식회사 디스플레이 장치 및 신호 처리 장치와, 그 방법들
US10019812B2 (en) * 2011-03-04 2018-07-10 General Electric Company Graphic overlay for measuring dimensions of features using a video inspection device
JP5520343B2 (ja) * 2011-08-30 2014-06-11 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、及び記録媒体
US8817070B2 (en) * 2011-12-09 2014-08-26 Verizon Patent And Licensing Inc. Method and apparatus for generating three-dimensional content based on user preferences
KR101895818B1 (ko) 2012-04-10 2018-09-10 삼성전자 주식회사 단말기에서 전자책과 연관된 피드백 제공 방법 및 장치
US9860510B2 (en) 2013-03-15 2018-01-02 Intuitive Surgical Operations, Inc. Depth based modification of captured images
US9927949B2 (en) * 2013-05-09 2018-03-27 Amazon Technologies, Inc. Recognition interfaces for computing devices
US9363499B2 (en) * 2013-11-15 2016-06-07 Htc Corporation Method, electronic device and medium for adjusting depth values
KR20150133577A (ko) 2014-05-20 2015-11-30 엘지전자 주식회사 이동단말기 및 그 제어방법
US20170148177A1 (en) * 2014-06-03 2017-05-25 Sony Corporation Image processing apparatus, image processing method, and program
US20180176483A1 (en) * 2014-12-29 2018-06-21 Metaio Gmbh Method and sytem for generating at least one image of a real environment
CN107912061B (zh) * 2015-03-06 2021-06-01 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
JP6544978B2 (ja) 2015-04-15 2019-07-17 キヤノン株式会社 画像出力装置およびその制御方法、撮像装置、プログラム
WO2017038395A1 (ja) * 2015-08-31 2017-03-09 三菱電機株式会社 画像処理装置、画像処理方法及びプログラム
US10258415B2 (en) * 2016-01-29 2019-04-16 Boston Scientific Scimed, Inc. Medical user interfaces and related methods of use
US20170302908A1 (en) 2016-04-19 2017-10-19 Motorola Mobility Llc Method and apparatus for user interaction for virtual measurement using a depth camera system
KR20180084506A (ko) * 2017-01-17 2018-07-25 삼성전자주식회사 영상 처리를 위한 디스플레이 장치 및 방법
JP6860433B2 (ja) * 2017-06-19 2021-04-14 株式会社東芝 処理装置、処理システム、方法及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101315758A (zh) * 2007-05-29 2008-12-03 智崴资讯科技股份有限公司 多层平面图层的动态显像方法及其系统
CN101282492A (zh) * 2008-05-23 2008-10-08 清华大学 三维影像显示深度调整方法
US20160227186A1 (en) * 2011-03-25 2016-08-04 Semiconductor Energy Laboratory Co., Ltd. Image processing method and display device
CN103139476A (zh) * 2011-11-30 2013-06-05 佳能株式会社 图像摄取装置及图像摄取装置的控制方法
US20150254905A1 (en) * 2012-05-31 2015-09-10 Scott Ramsby Fixed size augmented reality objects
JP2013258455A (ja) * 2012-06-11 2013-12-26 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、方法、及びプログラム
US20160054890A1 (en) * 2014-03-12 2016-02-25 Samsung Electronics Co., Ltd. Electronic apparatus, image processing method, and computer-readable recording medium
US20160198097A1 (en) * 2015-01-05 2016-07-07 GenMe, Inc. System and method for inserting objects into an image or sequence of images
CN105635557A (zh) * 2015-04-30 2016-06-01 宇龙计算机通信科技(深圳)有限公司 基于双后摄像头的图像处理方法及系统、终端

Also Published As

Publication number Publication date
CN109413399B (zh) 2022-03-08
KR102423295B1 (ko) 2022-07-21
WO2019035551A1 (en) 2019-02-21
KR20190019606A (ko) 2019-02-27
EP3444805A1 (en) 2019-02-20
US20190058836A1 (en) 2019-02-21
EP3444805B1 (en) 2023-05-24
US11258965B2 (en) 2022-02-22

Similar Documents

Publication Publication Date Title
KR102338576B1 (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
US11032466B2 (en) Apparatus for editing image using depth map and method thereof
US10681287B2 (en) Apparatus and method for displaying AR object
CN109413399A (zh) 使用深度图合成对象的装置及其方法
JP7185434B2 (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
KR102344104B1 (ko) 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
KR102383129B1 (ko) 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
KR102318013B1 (ko) 복수의 이미지들을 합성하는 전자장치 및 방법
KR102383134B1 (ko) 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법
KR20190096748A (ko) 외부 전자 장치를 이용한 이미지 보정 방법 및 전자 장치
US11284020B2 (en) Apparatus and method for displaying graphic elements according to object
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
KR20190098583A (ko) 이미지 표시를 제어하는 전자 장치 및 방법
KR102457559B1 (ko) 이미지에 포함된 오브젝트에 기반하여 이미지를 보정하기 위한 전자 장치 및 방법
KR20210101571A (ko) 이미지의 생성 방법 및 그 전자 장치
KR102608127B1 (ko) 이미지 프로세싱을 수행하는 전자 장치 및 방법
KR102457568B1 (ko) 입력된 정보와 관련된 이미지를 제공하기 위한 전자 장치 및 그의 동작 방법
KR20210108263A (ko) 사진에서 피사체와 배경을 분리하는 전자 장치 및 방법
KR20210106763A (ko) 객체의 움직임을 추적하는 전자 장치 및 방법
KR20210151613A (ko) 이미지 처리 장치 및 이미지 처리 방법
KR20190096697A (ko) 전자 장치 및 전자 장치의 전 방향 영상 표시 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant