CN108781261B - 通过视觉障碍拍摄照片 - Google Patents
通过视觉障碍拍摄照片 Download PDFInfo
- Publication number
- CN108781261B CN108781261B CN201680083531.9A CN201680083531A CN108781261B CN 108781261 B CN108781261 B CN 108781261B CN 201680083531 A CN201680083531 A CN 201680083531A CN 108781261 B CN108781261 B CN 108781261B
- Authority
- CN
- China
- Prior art keywords
- image
- capture
- camera pose
- camera
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010047571 Visual impairment Diseases 0.000 title description 3
- 208000029257 vision disease Diseases 0.000 title description 3
- 230000004393 visual impairment Effects 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 83
- 238000001914 filtration Methods 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 14
- 230000004888 barrier function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000004313 glare Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 241000282376 Panthera tigris Species 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010348 incorporation Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本公开涉及用于图像捕获的系统和方法。即,图像捕获系统可以包括被配置为捕获视场的图像的相机、显示器和控制器。可以从初始相机姿势捕获视场的初始图像。可以确定在视场中可观察到障碍。基于障碍,可以确定至少一个期望的相机姿势。至少一个期望的相机姿势包括相机的至少一个期望的位置。可以显示捕获界面,其可以包括用于将相机移动到至少一个期望的相机姿势的指令。可以从至少一个期望相机姿势捕获视场的至少一个另外的图像。可以处理捕获的图像以从背景图像中移除障碍。
Description
优先权申请
本申请要求在2016年6月9日提交的美国临时专利申请No.62/348,118的优先权,其全部内容通过引用并入本文。
背景技术
相机的视场可以包括反射或遮挡元素。在这样的场景中,由相机捕获的图像可能提供比不包括这种反射或遮挡元素的图像更不理想的结果。
发明内容
本文所公开的系统和方法涉及图像捕获系统和方法,其可以提供不具有另外可能经由传统图像捕获系统捕获的遮挡或反射元素的图像。
在一个方面,提供了一种系统。该系统包括被配置成捕获视场的图像的相机和显示器。该系统还包括具有至少一个处理器和存储器的控制器。处理器执行在存储器中存储的程序指令以便执行操作。操作包括使相机从初始相机姿势捕获视场的初始图像并确定在视场中可观察到障碍。操作包括基于障碍确定至少一个期望的相机姿势。至少一个期望的相机姿势包括相机的至少一个期望的位置。操作包括使显示器提供捕获界面。捕获界面包括与将相机移动到至少一个期望的相机姿势对应的指令。操作还包括使相机捕获视场的至少一个另外的图像。操作还包括处理捕获的图像以提供视场的至少一个背景图像。在背景图像中不存在至少一部分障碍。
在一个方面,提供了一种方法。该方法包括经由相机从初始相机姿势捕获视场的初始图像。相机包括显示器。该方法包括确定在视场中可观察到障碍。该方法还包括基于障碍确定至少一个期望的相机姿势。至少一个期望的相机姿势包括相机的至少一个期望位置。该方法还包括经由显示器提供捕获界面。捕获界面包括与将相机移动到至少一个期望的相机姿势对应的指令。该方法还包括经由相机捕获视场的至少一个另外的图像。该方法还包括处理捕获的图像以提供视场的至少一个背景图像。在背景图像中不存在至少一部分障碍。
在一个方面,提供了一种系统。该系统包括用于执行本文描述的其他各个方面的操作的各种装置。
通过阅读以下详细描述并在适当时参考附图,这些以及其他实施例、方面、优点和替代方案对于本领域普通技术人员将变得显而易见。此外,应该理解的是,本发明内容以及本文提供的其他描述和附图旨在仅通过示例的方式说明实施例,并且因此可以进行多种变化。例如,结构性元件和处理步骤可以重新排列、组合、分配、消除或以其他方式改变,同时保持在所要求保护的实施例的范围内。
附图说明
图1示出了根据示例实施例的系统的示意图。
图2示出了根据示例实施例的图像捕获系统。
图3A示出了根据示例实施例的图像捕获场景。
图3B示出了根据示例实施例的图像捕获场景。
图3C示出了根据示例实施例的图像捕获场景。
图4示出了根据示例实施例的方法。
图5示出了根据示例实施例的两个图像捕获场景。
图6示出了根据示例实施例的四个图像捕获场景。
图7示出了根据示例实施例的障碍移除处理。
图8示出了根据示例实施例的障碍移除处理。
具体实施方式
本文描述了示例方法、设备和系统。应当理解,词语“示例”和“示例性”在本文中用于表示“用作示例、实例或说明”。本文中描述为“示例”或“示例性”的任何实施例或特征不一定被解释为比其他实施例或特征更优选或更具优势。在不脱离本文提出的主题的范围的情况下,可以利用其他实施例,并且可以进行其他改变。
因此,本文描述的示例实施例不意味着是限制性的。如在此一般描述的和在附图中示出的本公开的各方面可以以各种不同的配置来布置、替换、组合、分离和设计,所有这些都在本文中考虑。
此外,除非上下文另有所指,否则每个附图中示出的特征可以彼此组合使用。因此,附图通常应被视为一个或多个整体实施例的组成方面,应理解并非所有示出的特征对于每个实施例都是必需的。
I.概述
当相机的视场包括反射和/或遮挡元素时,传统的图像捕获技术可能产生不希望的结果。例如,当通过玻璃窗向黑暗场景(例如,在夜晚)拍摄图片时,来自明亮的室内物体的反射可能会洗掉或以其他方式降低背景暗场景的图像。作为另一示例,由于诸如笼杆或栅栏的遮挡对象,通过围闭物拍摄动物园动物可能提供不太理想的结果。
在示例实施例中,可以在移除图像前景中的遮挡元素的环境中应用本文描述的系统和方法。作为非限制性示例,遮挡元素可以包括窗户上的杆、栅栏、条、屏幕、雨滴,或者可以在相机的视场的前景中可观察到的其他元素。在示例实施例中,可以将各种图像处理算法应用于在不同相机位置处捕获的图像,以便恢复场景,使得其没有诸如反射、眩光、栅栏、雨滴和污垢的视觉障碍。
所描述的系统和方法可利用运动视差来在移动相机时确定场景或背景、层和障碍或前景层的不同运动模式。这样,在可以将它们混合的图像帧中场景层可以与障碍层分离。
本文描述的方法可以应用于多个静止图像(例如,经由移动设备的静止帧DSLR或单帧捕获模式捕获)和/或应用于多个视频图像(例如,经由摄像机或移动设备的视频捕获模式捕获)。此外,系统和方法可以涉及单个相机或多个相机(例如,立体或其他多镜头成像系统)。
附加地或替代地,本文描述的系统和方法可以在数字存档照片打印的背景下应用。也就是说,在一些照相打印上光泽或甚至无光泽的成品可能导致由传统相机捕获的对象打印的严重劣化的图像。例如,捕获的图像可能包括明亮的、生成的条纹,这可能是不希望的。本文的系统和方法可以通过处理从相对于对象打印的各种不同相机角度/位置捕获的对象打印的多个图像,基本上消除或减轻不期望的元素。
在这种场景下,可以将亮反射描述为源自与主对象打印不同的虚拟平面。这样,当移动相机的捕获位置时,反射可以移动到对象打印上的不同位置,或者可以一起从对象打印移除。如本文所述,诸如智能电话的成像系统可以被配置为经由显示器向用户提供用于从相对于对象打印的不同捕获位置捕获初始图像和多个进一步图像的指令。例如,指令可以类似于指导用户捕获全景图像的指令。
响应于接收到成像系统正在移动到不同的相应捕获位置或其接近的近似位置的信息,可以捕获多个进一步的图像。基于多个捕获图像(初始图像和进一步的图像),可以自动执行图像处理以提供不包括反射的背景图像。这样,与传统技术相比,背景图像可以提供对象打印的更高质量的数字化。
II.示例系统
图1示出了根据示例实施例的系统100的示意图。系统100包括相机110、显示器120、用户界面130、定位系统140和控制器150。在示例实施例中,系统100可以合并到移动设备(例如,智能电话、膝上型电脑或平板电脑)、数码相机(例如,数字单透镜反射(DSLR)相机)或另一类型的成像系统中。
相机110可以包括一个或多个图像传感器,其被配置为捕获系统100的环境的视场的图像。相机110可以另外包括一个或多个光学元件,诸如透镜、偏振器或滤光器。光学元件可以沿着光轴放置,并且可以被配置为调整入射到相机110中的光的一个或多个方面。例如,光学元件可以被配置为将光聚焦到相对于一个或更多图像传感器的焦平面上。
显示器120可以包括被配置为向系统100的用户提供视觉信息的设备。即,显示器120可以包括具有多个像素元素的屏幕。像素元件可以包括多个发光二极管(LED)、薄膜晶体管(TFT)或另一类型的图像像素技术。在一些实施例中,显示器120可以合并到触摸屏中,触摸屏又可以被视为用户界面130的元素。
用户界面130可以包括用户与系统100的一个或多个方面交互的各种方式。例如,用户界面130可以包括一个或多个按钮、开关、触摸板、显示器或指示器。在这种场景下,用户可以按下系统100的按钮或触摸板以调整系统100的操作模式。例如,用户界面130可以被配置为接受来自用户的输入以便从第一操作模式(例如,标准拍摄模式)调整到第二操作模式(例如,阻挡场景拍摄模式)。此外,用户可以通过用户界面130能够控制切换操作模式的自动化级别。例如,用户界面130可以包括手动切换到(和离开)阻挡场景拍摄模式的选项。附加地或替代地,用户界面130可以包括用于基于例如视场的一个或多个图像而自动确定是否从第一操作模式切换到第二操作模式的选项。
定位系统140可以被配置为向控制器150提供关于系统100和/或相机110的位置的信息。在这种场景下,定位系统140可以包括惯性测量单元(IMU)和/或全球定位系统(GPS)。在示例实施例中,定位系统140可以基于RF和/或WiFi三角测量方法来提供关于系统100的位置的信息。在实施例中,定位系统140可以被配置为确定系统100和/或相机110的姿势(例如,位置和方向)。也就是说,定位系统140可以向控制器150提供指示相机姿势以及导致相机姿势变化的运动的信息。其他类型的定位系统是可能的。
控制器150可以包括至少一个处理器152和存储器154。存储器154可以包括非暂时性计算机可读介质。即,存储器154可以包括被配置为存储信息的只读存储器(ROM)、随机存取存储器(RAM)、软盘驱动器、硬盘驱动器、固态驱动器(SSD)或另一类型的存储器元件。处理器152可以被配置为执行存储在存储器154中的程序指令,以便执行这里描述的各种操作。
在示例实施例中,操作可以包括使相机110从初始相机姿势捕获视场的初始图像。附加地或替代地,可以从各种相机姿势捕获多个初始图像,这可以提供在视场内存在一个或多个障碍的指示。也就是说,手持相机(或智能电话)的自然运动可以提供足够的运动以便确定在视场中存在障碍。
这样,操作可以包括确定在视场中可观察到障碍。在一个实施例中,系统100的用户可以肯定地选择“障碍移除”模式(例如,通过按钮或拨号盘)。在其他实施例中,系统100可以自动检测障碍的存在并执行本文所述的其他操作。
操作还可以包括基于障碍确定至少一个期望的相机姿势。在这种场景下,至少一个期望的相机姿势可以包括相机110的至少一个期望位置和/或相机110的至少一个期望方向。
操作可以另外包括使显示器提供捕获界面。这样,捕获界面可以包括与将相机移动到至少一个期望的相机姿势相对应的指令。在一些实施例中,显示器可以提供叠加在视场上的指令的视觉表示。作为非限制性示例,指令可以包括圆圈、箭头、彩色区域、阴影区域或其他类型的视觉表示,其可以向系统100的用户提供关于如何将相机110移动到期望的相机姿势的信息。
操作还包括使相机捕获视场的至少一个另外的图像。在示例实施例中,可以从至少一个期望的相机姿势捕获至少一个另外的图像。也就是说,操作可以可选地包括确定当前相机姿势对应于至少一个期望的相机姿势。作为示例,控制器150可以经由定位系统140接收指示当前相机姿势的信息。在这种场景下,响应于确定当前相机姿势对应于至少一个期望的相机姿势,可以捕获视场的至少一个另外图像。
操作还包括处理捕获的图像以提供视场的至少一个背景图像。根据本文描述的方法和系统,障碍的至少一部分不存在于背景图像中。
图2示出了根据示例实施例的图像捕获系统200。图像捕获系统200可以与诸如智能电话的移动设备类似或相同。图像捕获系统200可以包括与如关于图1所示和所述的系统100的元件类似或相同的元件。可以预期其他类型的图像捕获系统200。
图像捕获系统200可包括主体202、前置摄像头204、显示器206、第一软键208和第二软键210。图像捕获系统200还可包括后置摄像头212。虽然图像捕获系统200被示为具有单个前置和后置摄像头,但是多视摄像头布置是可能的。也就是说,图像捕获系统200可以在图像捕获系统200的一个或多个表面上包括立体相机。
图3A示出了根据示例实施例的图像捕获场景300。即,图像捕获场景300可以包括视场302,其包括前景障碍304(例如,大象围闭物的条)。图像捕获场景300可以包括可以布置在前景中的标记306。大象310可以位于前景障碍304的后面。
在这样的场景中,可以期望使用诸如关于图2所示和所述的图像捕获系统200的图像捕获系统来捕获图像,其不包括分散注意力且不吸引人的前景障碍304。在示例实施例中,图像捕获系统可以自动检测前景障碍304的存在。另外或替代地,用户可以调整操作模式以启动“障碍场景拍摄模式”。
图3B示出了根据示例实施例的图像捕获场景320。在进入障碍场景拍摄模式时,图像捕获系统可以经由显示器呈现指示期望的一个或多个相机姿势的信息。该信息可以是捕获界面的一部分。也就是说,显示器上的信息可以以文字、数字、符号或经由其他指示来指示图像捕获系统/相机应该移动到期望的相机姿势。如本文所述,期望的相机姿势可包括图像捕获系统的位置和指向方向。
作为示例,图像捕获场景320示出了移动区域322被呈现为在如图3A中所描述的大象场景的实时视图表示之上的叠加。在一些实施例中,如所示地,重叠的移动区域可包括透明或半透明的重叠层。重叠的移动区域322可以包括当前相机姿势指示324和期望的相机路径326,其可以对应于多个期望的相机姿势(例如,相机方向和/或相机位置)。在示例实施例中,图像捕获系统可以被配置为响应于相机姿势是期望相机姿势的集合中的至少一个来捕获图像。这样,捕获界面可以为用户提供视觉引导以移动图像捕获系统,使得可以根据本文阐述的算法从足够的相机姿势集合来捕获足够数量的图像。
在期望的相机姿势捕获场景的图像期间或之后,可以对多个捕获的图像执行各种图像处理、操纵和滤波方法。即,这样的方法可以包括从捕获的图像中选择多个采样帧,对齐多个采样帧,以及对多个采样帧进行滤波,以便移除障碍的至少一部分并提供背景图像帧。换句话说,背景图像帧可以包括视场的表示,其可以看起来好像障碍实际上不在视场中。
可以根据以下中的至少一个来执行对多个采样帧的对齐:边缘检测方法、角点检测方法、特征匹配方法、单应性拟合方法或运动场检测方法。
一旦对齐完成,可以通过帧之间的每像素的比较来滤波背景配准的帧。在示例实施例中,可以选择具有最小值(例如,亮度或强度)的像素以合并到经处理的帧中。例如,如果多个采样帧包括十个帧,则可以将十个像素(每帧一个)彼此进行比较。使用最小强度标准,可以选择具有最低强度的像素以合并到一个或多个经处理的帧中。附加地或替代地,可以根据每像素的中值滤波方法来执行对多个采样帧的滤波。从采样帧中滤波像素的其他方式是可能的并且在此考虑。
处理所捕获的图像可以包括均衡多个采样帧的颜色和亮度。
在一些实施例中,系统可以被配置为确定障碍的类型。此外,至少一个期望的相机姿势可以基于障碍的类型。例如,障碍的类型可以包括以下中的至少一个:遮挡物体、镜面反射或直接反射。作为示例,如果遮挡对象包括垂直条集合,则可以确定期望的相机姿势以包括沿相对于垂直条的水平轴的各种相机位置。其他示例是可能的。
在示例实施例中,捕获界面的指令包括经由显示器显示的、与多个期望的相机姿势相对应的多个空间位置的视觉表示。也就是说,来自显示器的视觉输出可以包括点、线、圆和/或其他形状或指示器,其可以帮助向用户提供关于向何处移动系统的指导。
在示例实施例中,显示器可以提供视场的实时视图表示。例如,显示器可以显示由系统的给定相机捕获的视场。显示器还可以提供指示当前相机姿势的信息,即,当前的相机位置和/或方向。显示器可以附加地或替代地提供指示至少一个期望的相机姿势的信息。也就是说,显示器可以提供相机的方向或位置的图形表示。
此外,在图像处理之后,显示器可以提供背景图像的表示。
图3C示出了根据示例实施例的图像捕获场景330。图像捕获场景330可表示已移除前景障碍的经处理的背景帧。在一些实施例中,不需要移除一些前景元素。例如,如果前景区域足够大,则本文的算法不需要将其从背景图像帧中移除。作为示例,符号306可以保留在处理的背景图像帧中。
III.示例方法
图4示出了根据示例实施例的方法400。方法400可以包括各种块或步骤。这些块或步骤可以单独或组合地执行。块或步骤可以以任何顺序和/或串行或并行执行。此外,可以从方法400中省略或添加块或步骤。
方法400的一些或所有块可以涉及如参考图1和图2所示和所述的系统100或图像捕获系统200的元件。此外,方法400的一些块可涉及各种成像场景,诸如那些关于图3A、3B和3C所示和所述的。方法400的一些或所有块可以由控制器150与处理器152和存储器154相关联地执行。
块402包括经由相机从初始相机姿势捕获视场的初始图像。在这种场景下,相机可以包括显示器。
块404包括确定在视场中可观察到障碍。在一些实施例中,可以捕获若干初始图像,以便提供用于确定视场中是否存在障碍的信息。在示例实施例中,手持式相机的自然运动可以提供足够的移动以确定视场是否包括例如围闭物的条或玻璃窗的表面。
块406包括基于障碍确定至少一个期望的相机姿势。该至少一个期望的相机姿势包括相机的至少一个期望的位置。
在示例实施例中,该方法可以包括确定当前的相机姿势对应于至少一个期望的相机姿势。也就是说,响应于确定当前相机姿势对应于该至少一个期望的相机姿势,使相机捕获视场的至少一个另外的图像。
块408包括经由显示器提供捕获界面。捕获界面包括对应于将相机移动到至少一个期望的相机姿势的指令。捕获界面的指令包括由显示器提供的、与多个期望的相机姿势对应的多个空间位置的视觉表示。
捕获界面还包括显示器和视场的实时视图表示。捕获界面还可以包括指示当前相机姿势的信息,并且还可以提供指示至少一个期望的相机姿势的信息。
块410包括经由相机捕获视场的至少一个另外的图像。作为示例,可以从至少一个期望的相机姿势捕获视场的至少一个另外的图像。
块412包括处理捕获的图像以提供视场的至少一个背景图像。从背景图像中移除障碍的至少一部分。在示例实施例中,该方法可以包括经由显示器提供背景图像的表示。
在示例实施例中,处理捕获的图像包括从捕获的图像中选择多个采样帧,对齐该多个采样帧,以及对该多个采样帧进行滤波,以便移除障碍的至少一部分和提供背景图像帧。
可以根据以下中的至少一个来执行对该多个采样帧的对齐:边缘检测方法、角点检测方法、特征匹配方法、单应性拟合方法或运动场检测方法。可以根据每像素最小值或中值滤波方法来执行对多个采样帧的滤波。处理捕获的图像还可以包括均衡多个采样帧的颜色和亮度。
在一些实施例中,该方法可以包括确定障碍的类型。例如,对至少一个期望的相机姿势的确定可以基于障碍的类型。在非限制性集合中,障碍的类型可以包括以下中的至少一个:遮挡对象、镜面反射或直接反射。
IV.示例图像捕获场景
许多图像捕获场景可以包括通过视觉障碍拍摄场景的照片。例如,在主要城市的摩天大楼的顶层,相机用户可能想要在晚上拍摄城市美景的照片。然而,出于安全和舒适的原因,窗户可能存在于相机和夜景之间。在这种场景下,无论摄影师如何摆动相机(例如,将相机移动到各种位置或方向),都很难移除明亮的室内场景的反射。
另一个示例包括在动物园中拍照。虽然坚固而紧密的围栏对于保护游客免受野生动物(如老虎)的影响非常重要,但可能需要在捕获的图像中拍摄没有任何围栏的老虎的全貌。此外,可能需要拍摄具有野生动物的自拍(例如,捕获视觉上包含该摄影师的图像),就像围栏不在那里一样。
图5示出了根据示例实施例的两个图像捕获场景500和510。在第一场景500中,沿着顶行,通过前景窗口朝向背景建筑物和地面来捕获图像。如左上图所示,捕获的图像包括障碍,其可以表征为格子衬衫的反射。可以从各种相机姿势捕获多个图像,其中背景建筑物和地面在相应的视场中。根据本文描述的方法,可以重建多个捕获的图像以便移除反射部分。附加地或替代地,可以单独提取反射用于进一步的分析或处理。
在第二场景510中,沿着底行,视场可以包括围闭物中的野生动物(例如,老虎)。捕获的图像可以包括障碍,其可以被表征为链式连接的围栏。如果从多个相机姿势捕获若干图像,则可以移除链式连接的围栏的外观。这样,重建的场景可以包括没有阻挡的围栏的视场的表示。在一些实施例中,可以分别提取和分析或处理链式连接的围栏层。
许多其他障碍移除的场景是可能的。图6示出了根据示例实施例的四个图像捕获场景600、610、620和630。图像捕获场景可以涉及几种不同类型的障碍。例如,障碍可包括车窗上的雨滴(600)。也就是说,在下雨天,人们可能想要通过由雨滴占据的车窗拍照。障碍可以包括用顶灯捕获相册的图像时的眩光(610)。因此,眩光可能会遮挡相册的照片内容。在另一示例中,当通过窗口捕获图像时,可能存在窗框元件(620)和破裂玻璃(630)。其他类型的障碍是可能的。
本文描述的系统可以被配置为移除数字照片中的这些不期望的、令人不悦的障碍以恢复视觉上更加令人愉悦的内容。如果用户或机器移动相机,则可以从单个图像自动移除这些视觉障碍。在这种场景下,场景(障碍后面的图像内容)层和障碍层经历不同的图像运动。对于不透明的障碍,场景图层中的所有像素都可能在相机移动序列的帧中可见。对于透明或半透明障碍(诸如反射),可以在每个帧中对像素添加不同值,并且有时它们对整个图像的相对贡献可能很小。
换句话说,本公开可利用场景和障碍层的运动视差来从图像序列移除障碍以用于场景重建。
如本文所使用的,术语“场景”和“背景”对于在障碍后面或下面的图像部分是可互换的。在一些实施例中,取决于上下文,障碍可被称为“反射”或“前景”。
因为当前系统和方法基于相机的运动,所以场景和障碍层可以在被捕获的视频序列中相对于彼此移动。在示例实施例中,如果场景层是固定的(不移动)和/或障碍层是固定的,则可以使分离问题更容易。这可以通过根据由一些稳健的运动分析算法估计的流场将帧翘曲到参考帧来实现。
本系统和方法利用运动分析算法来分析存在障碍时的像素运动。一旦知道运动,系统可以尝试将障碍层与场景分开。对于透明反射,对障碍和场景的估计对于更可靠的重建可以是重要的。对于不透明和稀疏的障碍,如栅栏、雨滴和眩光,将障碍视为剔除值同时估计场景层可能就足够了。因此,诸如根据最小和/或最大亮度值的滤波的一些简单操作可以非常有效地移除类似眩光的障碍。
为了移除诸如反射的透明障碍,可以执行运动估计和图像重建之间的多次迭代。在这种场景下,在重建的场景/障碍层和捕获的帧之间进行运动估计。在示例实施例中,虽然图像重建依赖于来自运动估计分析的登记,但是本系统能够在这两个步骤之间进行迭代并产生视觉上令人愉悦的结果。
本文描述了两种用于障碍移除的系统。第一系统是完全去障碍方法,其中如图7所示,估计和重建场景和障碍层的运动和外观。图7示出了根据示例实施例的障碍移除过程700。第二系统是“精简”的去障碍方法,其中只对场景层的运动和外观进行建模和估计,同时障碍层简单地被视为异常值,如图8所示。图8示出了根据示例实施例的障碍移除过程800。
附图中所示的特定布置不应视为限制。应该理解的是,其他实施例可以包括给定附图中所示的每个元件的更多或更少。此外,可以组合或省略一些所示元件。此外,说明性实施例可包括图中未示出的元件。
表示信息处理的步骤或块可以与可以被配置为执行本文描述的方法或技术的特定逻辑功能的电路对应。替代地或另外地,表示信息处理的步骤或块可以对应于模块、段或程序代码的一部分(包括相关数据)。程序代码可以包括可由处理器执行的一个或多个指令,用于实现方法或技术中的特定逻辑功能或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上,诸如包括磁盘、硬盘驱动器或其他存储介质的存储设备。
计算机可读介质还可以包括非暂时性计算机可读介质,诸如在短时间段内存储数据的计算机可读介质,如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)。计算机可读介质还可以包括在更长的时间段存储程序代码和/或数据的非暂时性计算机可读介质。因此,计算机可读介质可以包括二级或持续性长期存储,例如只读存储器(ROM)、光盘或磁盘、紧凑盘只读存储器(CD-ROM)。计算机可读介质还可以是任何其他易失性或非易失性存储系统。计算机可读介质可以被认为是计算机可读存储介质,例如有形存储设备。
虽然已经公开了各种示例和实施例,但是其他示例和实施例对于本领域技术人员来说将是显而易见的。各种公开的示例和实施例是出于说明的目的而不是限制性的,真实范围由所附权利要求指示。
Claims (24)
1.一种图像捕获系统,包括:
相机,被配置为捕获图像;
显示器;以及
控制器,包括至少一个处理器和存储器,其中,处理器执行在存储器中存储的程序指令以便执行操作,所述操作包括:
使相机从初始相机姿势捕获初始图像;
确定在初始图像中可以观察到障碍;
使显示器提供捕获界面,其中,捕获界面包括与将相机移动到至少一个期望的相机姿势对应的指令,所述至少一个期望的相机姿势使得能够捕获至少一个另外的图像,障碍移除过程能够与初始图像结合使用所述至少一个另外的图像作为生成背景图像的基础,所述背景图像是其中不存在障碍的至少一部分的图像;
使相机以所述至少一个期望的相机姿势捕获所述至少一个另外的图像;以及
执行障碍移除过程以基于初始图像和所述至少一个另外的图像生成背景图像。
2.根据权利要求1所述的图像捕获系统,其中,所述至少一个期望的相机姿势不同于所述初始相机姿势。
3.根据权利要求1所述的图像捕获系统,其中,所述操作还包括确定当前相机姿势对应于所述至少一个期望的相机姿势,以及其中,响应于确定当前相机姿势对应于所述至少一个期望的相机姿势,使得所述相机捕获所述至少一个另外的图像。
4.根据权利要求1所述的图像捕获系统,其中,执行障碍移除过程包括:
从初始图像和所述至少一个另外的图像中选择多个采样帧;
对齐所述多个采样帧;以及
滤波所述多个采样帧以便移除障碍的所述至少一部分并提供背景图像。
5.根据权利要求4所述的图像捕获系统,其中,根据以下中的至少一个来执行对所述多个采样帧的对齐:边缘检测方法、角点检测方法、特征匹配方法、单应性拟合方法或运动场检测方法。
6.根据权利要求4所述的图像捕获系统,其中,根据每像素最小滤波方法或每像素中值滤波方法中的至少一个来执行对所述多个采样帧的滤波。
7.根据权利要求4所述的图像捕获系统,其中,执行障碍移除过程还包括均衡所述多个采样帧的颜色和亮度。
8.根据权利要求1所述的图像捕获系统,其中,所述操作还包括:
确定所述障碍的类型;以及
基于所述障碍的类型确定所述至少一个期望的相机姿势。
9.根据权利要求8所述的图像捕获系统,其中,所述障碍的类型包括以下中的至少一个:遮挡物体、镜面反射或直接反射。
10.根据权利要求1所述的图像捕获系统,其中,捕获界面的指令包括经由所述显示器显示的、与所述至少一个期望的相机姿势相对应的至少一个空间位置的视觉表示。
11.根据权利要求1所述的图像捕获系统,其中,使显示器提供捕获界面还包括:
使显示器提供相机的视场的实时视图表示;
使显示器提供指示当前相机姿势的信息;以及
使显示器提供指示所述至少一个期望的相机姿势的信息。
12.根据权利要求1所述的图像捕获系统,其中,所述操作还包括使显示器经由捕获界面提供所述背景图像的表示。
13.一种图像捕获方法,包括:
经由相机从初始相机姿势捕获初始图像,其中,相机包括显示器;
确定在初始图像中可以观察到障碍;
经由显示器提供捕获界面,其中,捕获界面包括与将相机移动到至少一个期望的相机姿势对应的指令,所述至少一个期望的相机姿势使得能够捕获至少一个另外的图像,障碍移除过程能够与初始图像结合使用所述至少一个另外的图像作为生成背景图像的基础,所述背景图像是其中不存在障碍的至少一部分的图像;
经由相机以所述至少一个期望的相机姿势捕获所述至少一个另外的图像;以及
执行障碍移除过程以基于初始图像和所述至少一个另外的图像生成背景图像。
14.根据权利要求13所述的图像捕获方法,其中,所述至少一个期望的相机姿势不同于所述初始相机姿势。
15.根据权利要求13所述的图像捕获方法,还包括:确定当前相机姿势对应于所述至少一个期望的相机姿势,以及其中,响应于确定所述当前相机姿势对应于所述至少一个期望的相机姿势,使得所述相机捕获所述至少一个另外的图像。
16.根据权利要求13所述的图像捕获方法,其中,执行障碍移除过程包括:
从初始图像和所述至少一个另外的图像中选择多个采样帧;
对齐所述多个采样帧;以及
滤波所述多个采样帧以便移除障碍的所述至少一部分并提供背景图像。
17.根据权利要求16所述的图像捕获方法,其中,根据以下中的至少一个来执行对所述多个采样帧的对齐:边缘检测方法、角点检测方法、特征匹配方法、单应性拟合方法或运动场检测方法。
18.根据权利要求16所述的图像捕获方法,其中,根据每像素最小滤波方法或每像素中值滤波方法中的至少一个来执行对所述多个采样帧的滤波。
19.根据权利要求16所述的图像捕获方法,其中,执行障碍移除过程还包括均衡所述多个采样帧的颜色和亮度。
20.根据权利要求13所述的图像捕获方法,还包括:
确定障碍的类型;以及
基于障碍的类型确定所述至少一个期望的相机姿势。
21.根据权利要求20所述的图像捕获方法,其中,所述障碍的类型包括以下中的至少一个:遮挡物体、镜面反射或直接反射。
22.根据权利要求13所述的图像捕获方法,其中,捕获界面的指令包括由显示器提供的、与所述至少一个期望的相机姿势相对应的至少一个空间位置的视觉表示。
23.根据权利要求13所述的图像捕获方法,其中,提供捕获界面还包括:
经由显示器提供相机的视场的实时视图表示;
经由显示器提供指示当前相机姿势的信息;以及
经由显示器提供指示所述至少一个期望的相机姿势的信息。
24.根据权利要求13所述的图像捕获方法,还包括经由显示器上提供的捕获界面提供背景图像的表示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010984295.6A CN112188036B (zh) | 2016-06-09 | 2016-12-28 | 通过视觉障碍拍摄照片 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662348118P | 2016-06-09 | 2016-06-09 | |
US62/348,118 | 2016-06-09 | ||
PCT/US2016/068889 WO2017213701A1 (en) | 2016-06-09 | 2016-12-28 | Taking photos through visual obstructions |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010984295.6A Division CN112188036B (zh) | 2016-06-09 | 2016-12-28 | 通过视觉障碍拍摄照片 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108781261A CN108781261A (zh) | 2018-11-09 |
CN108781261B true CN108781261B (zh) | 2020-10-16 |
Family
ID=60573431
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680083531.9A Active CN108781261B (zh) | 2016-06-09 | 2016-12-28 | 通过视觉障碍拍摄照片 |
CN202010984295.6A Active CN112188036B (zh) | 2016-06-09 | 2016-12-28 | 通过视觉障碍拍摄照片 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010984295.6A Active CN112188036B (zh) | 2016-06-09 | 2016-12-28 | 通过视觉障碍拍摄照片 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10412316B2 (zh) |
EP (1) | EP3395061B1 (zh) |
JP (2) | JP6732934B2 (zh) |
KR (2) | KR102094986B1 (zh) |
CN (2) | CN108781261B (zh) |
WO (1) | WO2017213701A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10051180B1 (en) * | 2016-03-04 | 2018-08-14 | Scott Zhihao Chen | Method and system for removing an obstructing object in a panoramic image |
US10586308B2 (en) * | 2017-05-09 | 2020-03-10 | Adobe Inc. | Digital media environment for removal of obstructions in a digital image scene |
US11538213B2 (en) | 2017-05-31 | 2022-12-27 | Live Cgi, Inc. | Creating and distributing interactive addressable virtual content |
US10885712B2 (en) * | 2017-07-12 | 2021-01-05 | Nio Usa, Inc. | Camera pose estimation method for augmented reality manual for cars |
KR102087296B1 (ko) * | 2018-07-19 | 2020-03-10 | 한국생산기술연구원 | 머신러닝 기반 영상의 장애물 제거 장치 및 방법 |
WO2020219659A1 (en) * | 2019-04-23 | 2020-10-29 | Beckman Coulter, Inc. | Prevention of information exposure to a laboratory instrument |
KR102284124B1 (ko) * | 2019-12-27 | 2021-07-30 | 삼성전기주식회사 | 이미지 획득 장치, 카메라 모듈을 포함하는 전자기기 및 전자기기내 카메라 모듈 제어 방법 |
JP7413041B2 (ja) * | 2020-01-23 | 2024-01-15 | キヤノン株式会社 | 撮像制御装置、撮像制御方法、プログラム、及び記録媒体 |
US11710247B2 (en) | 2020-01-30 | 2023-07-25 | Unity Technologies Sf | System for image compositing including training with synthetic data |
US11676252B2 (en) | 2020-01-31 | 2023-06-13 | Unity Technologies Sf | Image processing for reducing artifacts caused by removal of scene elements from images |
US11694313B2 (en) | 2020-02-28 | 2023-07-04 | Unity Technologies Sf | Computer-generated image processing including volumetric scene reconstruction |
US20210274091A1 (en) | 2020-02-28 | 2021-09-02 | Weta Digital Limited | Reconstruction of obscured views of captured imagery using arbitrary captured inputs |
US20210274092A1 (en) | 2020-02-28 | 2021-09-02 | Weta Digital Limited | Reconstruction of obscured views in captured imagery using pixel replacement from secondary imagery |
CN113841381B (zh) * | 2020-09-15 | 2023-09-12 | 深圳市大疆创新科技有限公司 | 视场确定方法、视场确定装置、视场确定系统和介质 |
CN112367464A (zh) * | 2020-10-30 | 2021-02-12 | 维沃移动通信有限公司 | 图像输出方法、装置及电子设备 |
WO2022245177A1 (en) * | 2021-05-20 | 2022-11-24 | Samsung Electronics Co., Ltd. | Method and electronic device for obtaining reconstructed image |
CN117441183A (zh) * | 2021-06-07 | 2024-01-23 | 欧洲Tcl研究院有限公司 | 一种从照片中自动去除不动对象的方法、处理系统和相关计算机程序产品 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW376492B (en) * | 1997-08-06 | 1999-12-11 | Nippon Telegraph & Telephone | Methods for extraction and recognition of pattern in an image, method for image abnormality judging, and memory medium with image processing programs |
US6404901B1 (en) * | 1998-01-29 | 2002-06-11 | Canon Kabushiki Kaisha | Image information processing apparatus and its method |
US7982767B2 (en) * | 2003-11-11 | 2011-07-19 | Supersonic Aerospace International, Llc | System and method for mounting sensors and cleaning sensor apertures for out-the-window displays |
US7724385B2 (en) * | 2003-12-23 | 2010-05-25 | Pitney Bowes Inc. | System for preserving security while handling documents |
US7623677B2 (en) * | 2005-06-17 | 2009-11-24 | Fuji Xerox Co., Ltd. | Methods and interfaces for visualizing activity across video frames in an action keyframe |
CN101231755B (zh) * | 2007-01-25 | 2013-03-06 | 上海遥薇(集团)有限公司 | 运动目标跟踪及数量统计方法 |
JP2008281385A (ja) * | 2007-05-09 | 2008-11-20 | Olympus Corp | 画像処理装置 |
US8824861B2 (en) * | 2008-07-01 | 2014-09-02 | Yoostar Entertainment Group, Inc. | Interactive systems and methods for video compositing |
JP2010041586A (ja) * | 2008-08-07 | 2010-02-18 | Olympus Corp | 撮像装置 |
US8432455B2 (en) | 2008-12-31 | 2013-04-30 | Nokia Corporation | Method, apparatus and computer program product for automatically taking photos of oneself |
JP2010175966A (ja) * | 2009-01-30 | 2010-08-12 | Olympus Corp | 画像処理装置及び撮像装置 |
JP5665013B2 (ja) * | 2011-04-06 | 2015-02-04 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US8964025B2 (en) * | 2011-04-12 | 2015-02-24 | International Business Machines Corporation | Visual obstruction removal with image capture |
US8659667B2 (en) * | 2011-08-29 | 2014-02-25 | Panasonic Corporation | Recipe based real-time assistance for digital image capture and other consumer electronics devices |
JP2013153321A (ja) * | 2012-01-25 | 2013-08-08 | Casio Comput Co Ltd | 撮像装置及び撮像方法並びにプログラム |
US8259161B1 (en) * | 2012-02-06 | 2012-09-04 | Google Inc. | Method and system for automatic 3-D image creation |
US9275459B2 (en) * | 2012-10-05 | 2016-03-01 | Qualcomm Incorporated | Method and apparatus for calibrating an imaging device |
JP2014178739A (ja) * | 2013-03-13 | 2014-09-25 | Sony Corp | 画像処理装置及び画像処理方法、並びにプログラム |
WO2014179745A1 (en) * | 2013-05-02 | 2014-11-06 | Qualcomm Incorporated | Methods for facilitating computer vision application initialization |
JP2015005925A (ja) * | 2013-06-21 | 2015-01-08 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
WO2015029114A1 (ja) | 2013-08-26 | 2015-03-05 | 株式会社 東芝 | 電子機器および通知制御方法 |
US20150063718A1 (en) * | 2013-08-30 | 2015-03-05 | Qualcomm Incorported | Techniques for enhancing low-light images |
JP2015126326A (ja) * | 2013-12-26 | 2015-07-06 | 株式会社東芝 | 電子機器及び画像処理方法 |
EP3748953B1 (en) | 2014-01-07 | 2024-04-17 | ML Netherlands C.V. | Adaptive camera control for reducing motion blur during real-time image capture |
WO2015117072A1 (en) * | 2014-01-31 | 2015-08-06 | The Charles Stark Draper Laboratory, Inc. | Systems and methods for detecting and tracking objects in a video stream |
KR102031874B1 (ko) | 2014-06-10 | 2019-11-27 | 삼성전자주식회사 | 구도 정보를 이용하는 전자 장치 및 이를 이용하는 촬영 방법 |
US9848112B2 (en) * | 2014-07-01 | 2017-12-19 | Brain Corporation | Optical detection apparatus and methods |
-
2016
- 2016-12-28 KR KR1020187026440A patent/KR102094986B1/ko active IP Right Grant
- 2016-12-28 CN CN201680083531.9A patent/CN108781261B/zh active Active
- 2016-12-28 CN CN202010984295.6A patent/CN112188036B/zh active Active
- 2016-12-28 EP EP16904835.2A patent/EP3395061B1/en active Active
- 2016-12-28 KR KR1020207008408A patent/KR102101916B1/ko active IP Right Grant
- 2016-12-28 JP JP2018548772A patent/JP6732934B2/ja active Active
- 2016-12-28 WO PCT/US2016/068889 patent/WO2017213701A1/en active Application Filing
- 2016-12-28 US US15/392,452 patent/US10412316B2/en active Active
-
2019
- 2019-10-21 US US16/526,343 patent/US11050948B2/en active Active
-
2020
- 2020-07-08 JP JP2020117768A patent/JP7072606B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020181595A (ja) | 2020-11-05 |
KR102101916B1 (ko) | 2020-05-29 |
JP7072606B2 (ja) | 2022-05-20 |
EP3395061A4 (en) | 2019-07-17 |
US11050948B2 (en) | 2021-06-29 |
EP3395061B1 (en) | 2022-03-16 |
JP2019511871A (ja) | 2019-04-25 |
JP6732934B2 (ja) | 2020-07-29 |
KR20180104775A (ko) | 2018-09-21 |
EP3395061A1 (en) | 2018-10-31 |
US20170359523A1 (en) | 2017-12-14 |
CN108781261A (zh) | 2018-11-09 |
CN112188036A (zh) | 2021-01-05 |
WO2017213701A1 (en) | 2017-12-14 |
KR102094986B1 (ko) | 2020-03-30 |
KR20200034009A (ko) | 2020-03-30 |
US10412316B2 (en) | 2019-09-10 |
US20200036908A1 (en) | 2020-01-30 |
CN112188036B (zh) | 2023-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108781261B (zh) | 通过视觉障碍拍摄照片 | |
EP2768214A2 (en) | Method of tracking object using camera and camera system for object tracking | |
JP5450380B2 (ja) | 画像処理装置、集積回路、および画像処理方法 | |
US8254628B2 (en) | Image processing device for detecting and suppressing shadows, method, and computer program | |
EP3113108B1 (en) | Detection of lens contamination using expected edge trajectories | |
US20160165129A1 (en) | Image Processing Method | |
CN106604005B (zh) | 一种投影电视自动对焦方法及系统 | |
JP6001827B2 (ja) | 多重解像度光学システムおよびその製造方法 | |
JP6699898B2 (ja) | 処理装置、撮像装置、及び自動制御システム | |
US10277888B2 (en) | Depth triggered event feature | |
US10574904B2 (en) | Imaging method and electronic device thereof | |
US20200099854A1 (en) | Image capturing apparatus and image recording method | |
JP2008281385A (ja) | 画像処理装置 | |
GB2537886A (en) | An image acquisition technique | |
KR20190026625A (ko) | 영상 표시 방법 및 컴퓨터 프로그램, 그 기록매체 | |
US20230033956A1 (en) | Estimating depth based on iris size | |
EP2439700B1 (en) | Method and Arrangement for Identifying Virtual Visual Information in Images | |
JP6995529B2 (ja) | 撮像装置およびその制御方法 | |
JP2009212711A (ja) | 画像処理装置 | |
JP2016161597A (ja) | 画像処理装置、集積回路及びカメラ | |
EP3595287A1 (en) | Capturing video content with at least two cameras of a multi-camera rig | |
US20230298182A1 (en) | Masking of objects in an image stream | |
TR2021015163A2 (tr) | Bi̇r görüntü i̇şleme yöntemi̇ ve si̇stemi̇ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |