CN105210018A - 用于在图像重新对焦期间选择参数的用户界面 - Google Patents

用于在图像重新对焦期间选择参数的用户界面 Download PDF

Info

Publication number
CN105210018A
CN105210018A CN201480026280.1A CN201480026280A CN105210018A CN 105210018 A CN105210018 A CN 105210018A CN 201480026280 A CN201480026280 A CN 201480026280A CN 105210018 A CN105210018 A CN 105210018A
Authority
CN
China
Prior art keywords
image
focusing
image processing
scope
focusing area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480026280.1A
Other languages
English (en)
Inventor
井藤功久
宫本敦史
早坂健吾
森浩典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201910344694.3A priority Critical patent/CN110099214A/zh
Priority to CN201910864341.6A priority patent/CN110519519A/zh
Publication of CN105210018A publication Critical patent/CN105210018A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提供了一种图像处理设备,包括:显示器,该显示器被配置成显示捕获图像和代表性图标,其中,该代表性图标指示所显示的图像的对焦区域的范围,以及该范围包含位于所显示的图像内的初始位置处的对焦点的中心;以及处理器,该处理器被配置成根据代表性图标的尺寸调整所显示的图像的对焦区域的范围。

Description

用于在图像重新对焦期间选择参数的用户界面
相关申请的交叉引用
本申请要求2013年5月16日提交的日本优先权专利申请JP2013-104384的权益,其全部内容通过引用并入本文。
技术领域
本发明涉及一种信息处理设备和电子设备,该信息处理设备和电子设备能够在通过使用用户界面(UI)对图像进行重新对焦时指定参数;并且涉及用于使用该设备的一种服务器、信息处理程序以及信息处理方法。
背景技术
公开了下述图像拾取技术,通过该图像拾取技术,在图像拾取设备中,记录物镜与图像拾取元件之间的光场,从而使得能够在拍摄图像之后自由地改变焦点位置并且再次对图像进行显影(执行重新对焦)(例如,参见专利文献1)。
此外,作为用于指定焦点位置和景深(其是进行重新对焦必须的参数)的UI,提出了下述UI:该UI通过在画面上触摸想要被对焦的对象来指定焦点位置,并且依赖于触摸的时间长度来指定景深(例如,参见专利文献2)。
引用列表
专利文献
PTL1:日本专利第4900723号
PTL2:日本专利申请早期公开第2012-95186号(第三实施例)
发明内容
技术问题
然而,当为了指定景深而使用触摸的时间长度时,仅可以指定景深从初始值增加的方向和景深从初始值减少的方向中之一,这是因为时间为随着流逝而仅增加的量。
此外,现有技术中的UI具有其他各种问题,因此其不易于使用。
鉴于如上所述的情形,期望提供一种信息处理设备和电子设备,该信息处理设备和电子设备设置有易于使用的UI,以及用于使用该设备的一种服务器、信息处理程序以及信息处理方法。
问题的解决方案
根据本技术的方面,提供了一种图像处理设备,包括:显示器,被配置成显示捕获图像和代表性图标,其中,该代表性图标指示所显示的图像的对焦区域的范围以及该范围包含位于所显示的图像内的初始位置处的对焦点的中心;以及处理器,被配置成根据代表性图标的尺寸来调整所显示的图像的对焦区域的范围。
根据本技术的另一实施例,提供了一种图像处理方法,包括:控制要显示的代表性图标以指示所显示的图像的对焦区域的范围,其中,该范围包含位于所显示的图像内的初始位置处的对焦点的中心;以及根据代表性图标的尺寸控制对焦区域的范围的调整。
根据本技术的另一实施例,提供了一种在其上包含有程序的非暂态计算机可读机介质,该程序当由计算机执行时使得计算机执行图像处理方法,该图像处理方法包括:控制要显示的代表性图标以指示所显示的图像的对焦区域的范围,其中,该范围包含位于所显示的图像内的初始位置处的对焦点的中心;以及根据代表性图标的尺寸控制对焦区域的范围的调整。
发明的有利效果
如上所述,根据本技术,可以提供易于使用的UI。
附图说明
图1是示出了根据本技术的实施例的图像拾取设备的结构的图。
图2是示出了根据实施例的图像处理单元的整个结构的功能框图。
图3是示出了根据实施例的设置有图像拾取设备的触摸面板类型的显示设备的整个结构的功能框图。
图4是示出了用户触摸在显示有图像IMG0的触摸面板上的对象SUB1、并且显示图像IMG1的状态的图。
图5是示出了用于基于在触摸面板上由用户所触摸的坐标位置获得距离d的深度图DM的示例的图。
图6示出了下述状态的图:在该状态中,用户在采用拇指触摸圆圈CIR0的情况下拖动圆圈CIR0以将圆圈CIR0扩展到具有较大半径的圆圈CIR1,圆圈CIR0是通过采用食指触摸对象SUB2而显示的。
图7是示出了下述状态的图:在该状态中,用户采用拇指拖动圆圈CIR0以将圆圈CIR0扩展到具有更大的半径的圆圈CIR2,圆圈CIR0是通过采用食指触摸对象SUB2而显示的。
图8是用于说明根据实施例的用于重新对焦的UI的处理的流程的流程图。
图9是示出了下述示例的图:在该示例中,当用户触摸对象SUB1时,圆圈CIR0被绘出,并且在所触摸的位置P0附近采用字符串STR指示从图像拾取设备到对象SUB1的距离。
图10是示出了下述示例的图:在该示例中,用户触摸显示有图像IMG0的触摸面板上的两点P0和P1,并且绘出了其直径对应于所触摸的两点之间的距离的圆圈。
具体实施方式
在下文中,将参照附图描述根据本技术的实施例。
(关于设备的结构)
将描述根据本技术的显示设备的结构。显示设备可以包括拍摄对焦图像的图像拾取设备。首先,将描述图像拾取设备的结构。
(关于图像拾取设备的结构)
图1是示出了根据本技术的实施例的图像拾取设备1的整个结构的图。图像拾取设备1拍摄图像拾取目标对象20的图像并且执行图像处理,从而输出图像数据Dout。图像拾取设备1设置有具有孔径光阑10的图像拾取透镜11、微透镜阵列12、图像拾取元件13、图像处理单元14、图像拾取元件驱动单元15以及控制单元16。
孔径光阑10是图像拾取透镜11的光学孔径光阑。图像拾取目标对象20的图像(其为孔径光阑10的形状的类似图形(例如,圆圈形状))针对每个微透镜形成在图像拾取元件13上。
图像拾取透镜11是用于拍摄图像拾取目标对象20的图像的主透镜,并且例如由用于视频摄像装置、静态摄像装置等的通用图像拾取透镜形成。
微透镜阵列12由二维地布置的多个微透镜构成,并且被布置在图像拾取透镜11的对焦表面(图像形成平面)上。微透镜各自具有圆形、平坦的形状并且由固体透镜、液晶透镜、折射透镜等形成。
图像拾取元件13接收来自微透镜阵列12的光束,并且获得包括多个像素数据的拾取的图像数据D0(多视图图像),以及图像拾取元件13被布置在微透镜阵列12的对焦表面(图像形成平面)上。图像拾取元件13由以矩阵模式布置的多个CCD(电荷耦合器件)或诸如CMOS(互补金属氧化物半导体)的二维固态图像传感器形成。
图像处理单元14针对由图像拾取元件13所获得的拾取的图像数据D0执行预定的图像处理,从而使得可以生成被设置在任意焦点的图像(重构的图像、重新对焦图像)数据Dout。此时,在图像处理单元14中,从拾取的图像数据D0中提取预定的距离信息(视差图或深度图)。基于该距离信息,重新布置拾取的图像数据。稍后将描述图像处理单元14的详细结构。由图像处理单元14进行的处理可以通过使得计算机执行程序来实现。
图像拾取元件驱动单元15驱动图像拾取元件13并且控制图像拾取元件13的光接收操作。
控制单元16控制图像处理单元14和图像拾取元件驱动单元15的操作,以及控制单元16由微计算机等形成。
在此,参照图2,将描述图像处理单元14的详细结构。图2是示出了根据实施例的图像处理单元14的整个结构的功能框图。图像处理单元14包括缺陷校正单元141、箝位处理单元142、距离信息提取单元143、重新对焦系数设置单元149、重新布置处理单元144、噪声降低单元145、轮廓强调单元146、白平衡调整单元147以及伽马校正单元148。
缺陷校正单元141对缺陷(由于图像拾取元件13自身的异常导致的缺陷)进行校正,该缺陷如拾取的图像数据D0中被遮挡的阴影。箝位处理单元142关于由缺陷校正单元141进行的缺陷校正之后的拾取的图像数据,对每个像素数据的黑度水平执行设置处理(箝位处理)。另外,针对经受了箝位处理的拾取的图像数据,可以执行诸如去马赛克(de-mosaic)处理的颜色内插处理。
距离信息提取单元143基于拾取的图像数据D0提取预定的距离信息,并且如下地包括相位差检测单元(未示出)和距离信息计算单元(未示出)。
基于从箝位处理单元142所提供的拾取的图像数据D1,相位差检测单元生成具有不同视差的多个视差图像(不同视点处的任意视点图像),并且检测多个视差图像之中至少两个视差图像之间的视差差异。应当注意,通过在图像拾取元件13上所接收的单位图像之间提取并且合成在同一位置处所布置的像素P处获得的像素数据,可以生成用于检测相位差的视差图像。因此,所生成的视差图像的数量等于被分配给一个微透镜的像素的数量。
基于由相位差检测单元所检测的相位差,距离信息计算单元计算图像拾取透镜与重新对焦表面(在该重新对焦表面上期望执行对焦(确定焦点位置))之间的距离信息(稍后描述的距离d),即,重新对焦时在对象侧的图像拾取透镜的焦距。
基于由距离信息提取单元143所提取的(由距离信息计算单元所计算的)距离信息和预定景深的信息,重新对焦系数设置单元149设置用于在重新布置处理单元144中执行积分处理(重新对焦操作处理)的重新对焦系数α。应当注意,拾取的图像数据D1连同重新对焦系数α被输入到重新布置处理单元144。
重新布置处理单元144针对拾取的图像数据D1,使用被称为“光场摄像”的方法,使用由重新对焦系数设置单元149所设置的重新对焦系数α,执行预定的重新布置处理例如重新对焦操作处理,结果生成拾取的图像数据D2(重新对焦图像)。
应当注意,在重新对焦图像中,沿正向方向和反向方向以预定量提供景深,同时使得指定的焦点位置夹在其之间。沿正向方向距焦点位置的景深和沿反向方向距焦点位置的景深可以彼此相等。替选地,该两个景深可以以一定的比率分布或可以被设置为任意深度。
噪声降低单元145在从重新布置处理单元144所提供的拾取的图像数据D2中执行降低噪声(例如,当在黑暗地点或在未获得足够的敏感度的地点拍摄图像时所生成的噪声)的处理。轮廓强调单元146关于从噪声降低单元145所提供的拾取的图像数据执行强调图像的轮廓的轮廓强调处理。
关于从轮廓强调单元146所提供的拾取的图像数据,白平衡调整单元147由于照明条件的影响、各个器件的图像拾取元件13的光谱敏感性的差异等、滤色器的透光性等,执行颜色平衡的调整处理(白平衡调整处理)。
伽马校正单元148关于从白平衡调整单元147所提供的拾取的图像数据执行预定的伽马校正(色调或对比度校正),从而生成拾取的图像数据Dout。
(关于显示设备的结构)
随后,将描述显示设备的整个结构。图3是示出了根据实施例的设置有图像拾取设备1的触摸面板类型的显示设备2的整个结构的功能框图。
显示设备2可以在显示图像的任意位置处进行对焦调整,并且可以执行从所显示的图像(拾取的图像数据Dout)到在不同的对焦表面上所设置的图像(拾取的图像数据DRout)的切换。显示设备2设置有包括图像处理单元14的图像拾取设备1、触摸面板150、距离信息计算单元151、重新对焦系数设置单元149、重新布置处理单元144、噪声降低单元145、轮廓强调单元146、白平衡调整单元147、伽马校正单元148以及对这些功能块执行整体控制的控制单元(未示出)。应当注意,对于与图像拾取设备1相同的图像处理,给予相同的符号,并且将适当地省略对其的描述。
触摸面板150由显示控制单元和位置检测单元构成。显示控制单元在显示面板(显示单元)上显示重构的图像,该重构的图像基于从图像拾取设备1所输出的拾取的图像数据Dout。位置检测单元当指定所显示的图像的任意位置时检测所指定的位置。例如,通过用手指、笔等触摸显示面板,根据压敏或静电方式检测所接触的位置。作为显示面板,使用液晶面板、有机EL(电致发光)面板等。
距离信息计算单元151依赖于由触摸面板150所检测的位置(像素),从由以上所述图像处理单元14的距离信息提取单元143(相位差检测单元)所检测的视差图像的相位差视差图或深度图DM中选择相位差(视差),并且基于视差计算距离d。
例如,当期望在所显示的图像(在下文中,被称为图像IMG0)的指定位置上生成对焦图像(在下文中,被称为图像IMG1)的情况下,距离d被设置为图像拾取透镜与如下重新对焦表面之间的距离:对于该重新对焦表面,在由触摸面板150所检测的位置处获得对焦并且通过使用在所检测的位置的视差计算对焦。
在如上所述的显示设备2中,在触摸面板150上,当显示控制单元基于拾取的图像数据Dout显示图像IMG0并且指定图像IMG0的任意位置时,检测所指定的位置,以及与位置有关的信息(位置信息)和与景深有关的信息(景深信息)被输入到距离信息计算单元151。
另一方面,视差图像的视差图或深度图DM从图像拾取设备1的图像处理单元14中的位置信息提取单元143(相位差检测单元)被输入到距离信息计算单元151。
在距离信息计算单元151中,例如,在选择与所指定的位置相对应的视差之后,基于所选择的视差计算距离d并且距离d与拾取的图像数据Dout一起被输入到重新对焦系数设置单元149。
在重新对焦系数设置单元149中,如上所述,基于距离d和景深信息,设置重新对焦系数α并且重新对焦系数α与拾取的图像数据Dout一起被输入到重新布置处理单元144。
在重新布置处理单元144中,基于重新对焦系数α,针对拾取的图像数据Dout执行重新布置处理,并且例如,对在图像IMG0中所指定位置上对焦的图像(拾取的图像数据D3)进行重构。如上所述地重构的拾取的图像数据D3经受由噪声降低单元145、轮廓强调单元146、白平衡调整单元147以及伽马校正单元148进行的预定的图像处理,并且作为拾取的图像数据DRout被输入到触摸面板150的显示控制单元。以这种方式,显示控制单元在显示面板上显示在图像IMG0中的所指定的位置上对焦的图像IMG1。
如上所述,依赖于图像IMG0的所指定的位置检测视差,计算预定距离信息以设置重新对焦系数α,以及执行拾取的图像数据的重新布置。因此,可以立即地执行从图像IMG0到在任意位置处经受了对焦调整的图像IMG1的切换,并且显示图像。
<修改例1(图像拾取设备与显示设备的分离)>
应当注意,可以分离地设置图像拾取设备1和显示设备2B,尽管在以上描述中显示设备2包括图像拾取设备1。在这种情况下,拾取的图像数据Dout和DM从在显示设备2B外部的图像拾取设备1或从在云端的服务器等被提供到显示设备2B。
<修改例2(显示设备的简化和云的利用)>
可以使用具有下述结构的显示设备2C,在该结构中从修改例1的显示设备2B中移除距离信息计算单元151、重新对焦系数设置单元149、重新布置处理单元144、噪声降低单元145、轮廓强调单元146、白平衡调整单元147以及伽马校正单元148。在这种情况下,首先,拾取的图像数据Dout从在云端的服务器被提供给显示设备2C,以及图像IMG0被显示在触摸面板150的显示面板上。
当用户触摸要被对焦的对象的位置以定其位置信息以及根据稍后描述的方法指指定深度信息时,显示设备2C将位置信息和深度信息传送至服务器。
服务器包括距离信息计算单元151、重新对焦系数设置单元149、重新布置处理单元144、噪声降低单元145、轮廓强调单元146、白平衡调整单元147以及伽马校正单元148。服务器采用这些功能块生成拾取的图像数据DRout并且将数据传送至显示设备2C。
显示设备2C在触摸面板150的显示面板上显示从服务器所提供的拾取的图像数据DRout作为图像IMG1。
(关于用于重新对焦的UI)
随后,详细说明用于指定重新对焦时的焦点位置和景深的UI。
(焦点位置的指定)
首先,将描述在根据本技术的UI上指定焦点位置的方法。由用户通过触摸图像IMG0上要对焦的对象来指定当用户在期望的位置处执行重新对焦时的焦点位置,图像IMG0显示在触摸面板150上。
图4是示出了用户触摸在其上显示有图像IMG0的触摸面板150上的对象SUB1、并且显示图像IMG1的状态的图。根据该图明显的是,用户触摸对象SUB1,从而指定到作为焦点位置的对象SUB1的距离d,并且执行重新对焦以使对象SUB1对焦。作为结果,显示图像IMG1,在图像IMG1中在对象SUB1后方的对象SBU2等模糊。
此外,在所触摸的位置P0的附近,显示圆圈CIR0,圆圈CIR0相对地指示图像IMG1的景深。
应当注意,以触摸面板150上由用户所触摸的位置P0为中心的圆圈CIR0以预定值或上次所指定的景深的相对尺寸作为其半径而绘出。
(深度图的示例)
图5示出了用于基于由用户在触摸面板150上所触摸的坐标位置获得距离d的深度图DM的示例,尽管深度图未显示在作为UI的显示面板上。
在图中,以灰度级方式指示每个对象距图像拾取设备的距离d。对于一个对象,获得近似一致的距离d,使得一个对象被示为具有近似一致的颜色密度。应当注意,在实际深度图DM中,像素分别地具有距离d的值。
当用户触摸触摸面板150时,位置检测单元检测所触摸的位置的XY坐标,并且相对于深度图DM核对坐标。作为结果,可以获得所触摸的位置的距离d。
深度图DM可以通过提供基于以上所述的视差图所计算的距离d作为针对每个像素的值来生成。
(景深的指定)
随后,将描述指定本技术的UI中的景深的方法。为了在用户期望的景深处执行重新对焦,通过改变围绕由用户初始所触摸的位置P0绘出的圆圈CIR0的尺寸以指定焦点位置来指定景深。通过拖动接下来所触摸的位置P1改变位置P0与P1之间的距离来执行改变尺寸。
图6是示出了下述状态的图:在该状态中,用户在采用拇指触摸圆圈CIR0的情况下拖动圆圈CIR0以将圆圈CIR0扩展到具有较大半径的圆圈CIR1,圆圈CIR0是通过采用食指触摸对象SUB2而显示的。
在图中,景深仍然较小。因此,使得对象SUB2对焦,但是布置在对象SUB2之前的对象SUB1模糊。此外,在对象SUB2后方的对象SUB3等也模糊。
随后,示出了进一步改变景深的状态。图7是示出了下述状态的图:在该状态中,用户采用拇指拖动圆圈CIR0以将圆圈CIR0扩展到具有更大的半径的圆圈CIR2,圆圈CIR0是通过采用食指触摸对象SUB2而显示的。
在图中,景深进一步增大。因此,不同于图6,不仅对象SUB2而且在对象SUB2前方的对象SUB1以及在对象SUB2后方的对象SUB3也对焦。以上给出了用于重新对焦的UI的说明。
(关于用于UI的处理的流程)
随后,将描述根据本技术的用于重新对焦的UI的处理的流程。图8是用于说明用于重新对焦的UI的处理的流程的流程图。
(在触摸两个点的情况下的处理)
首先将描述在触摸第一点,然后触摸第二点的情况下的处理。
首先,图像处理单元14将焦点位置和景深的参数设置为初始值,并且使用这些初始值生成拾取的图像数据Dout(步骤S1)。
然后,触摸面板150的显示控制单元基于拾取的图像数据Dout在显示面板上显示图像IMG0。(步骤S2)
然后,触摸面板150的位置检测单元确定是否在触摸面板150上执行的第一点触摸。(步骤S3)
在执行了第一点触摸(步骤S3中为是)的情况下,距离信息计算单元151从位置检测单元获得所触摸的位置P0的坐标,并且基于从图像处理单元14所获得的深度图DM确定位置P0的距离d。(步骤S4)
然后,重新对焦系数设置单元149根据所获得的距离d改变焦点位置的参数,并且重置重新对焦系数α。(步骤S5)
然后,重新布置处理单元144使用重置的重新对焦系数α对重新对焦的图像进行重构,并且生成图像IMG1。触摸面板150的显示控制单元将所生成的图像IMG1显示在显示面板上。(步骤S6)
然后,触摸面板150的显示控制单元在显示面板上绘出具有与所设置的景深相对应的尺寸的圆圈。(步骤S7)
然后,触摸面板150的位置检测单元确定是否在触摸面板150上执行第二点触摸。(步骤S8)
在执行了第二点触摸(步骤S8中为是)的情况下,距离信息计算单元151从位置检测单元获得所触摸的位置P1的坐标,并且根据这些坐标计算位置P0与P1之间的距离。(步骤S9)
然后,重新对焦系数设置单元149根据所计算的距离重置景深的参数。(步骤S10)
在步骤S10之后,显示设备2将控制返回到步骤S4,并且继续处理。
这是在触摸两个点的情况下的处理。
(在未执行第一点触摸的情况下的处理)
在步骤S3中,当未执行第一点触摸(在步骤S3中为否)的情况下,触摸面板150的位置检测单元然后确定在未进行第一点触摸的情况下是否经过了特定的时间段。(步骤S11)。
在尚未经过特定的时间段(在步骤S11中为否)的情况下,显示设备2将控制返回到步骤S3。
在经过特定的时间段(在步骤S11中为是)的情况下,重新对焦系数设置单元149将景深的参数返回到初始值并且重置参数。(步骤S12)
在步骤S12之后,显示设备2将控制返回到步骤S3。
这是在未执行第一点触摸的情况下的处理。
(在执行第一点触摸但未执行第二点触摸的情况下的处理)
在步骤S8中,在未执行第二点触摸(在步骤S8中为否)的情况下,触摸面板150的位置检测单元确定是否维持第一点触摸。(步骤S13)
在维持第一点触摸(在步骤S13中为是)的情况下,显示设备2将控制返回到步骤S4并且继续处理。
在不维持第一点触摸(在步骤S13中为否)的情况下,显示设备2将控制返回到步骤S3并且继续处理。
这是在执行第一点触摸但是未执行第二点触摸的情况下的处理。
<修改例3(距离的显示)>
在以上说明中,当执行第一点触摸时显示圆圈。然而,当绘出圆圈时,可以同时显示到所触摸的对象的距离。
图9是示出了下述示例的图,在该示例中,当用户触摸对象SUB1时,绘出圆圈CIR0,并且在所触摸的位置P0附近采用字符串STR指示从图像拾取设备1到对象SUB1的距离。
<修改例4(其直径为所触摸的两个点之间的距离的圆圈)>
在以上说明中,其中心为所触摸的第一点并且其半径为所触摸的第一点与第二点之间的距离的圆圈被绘出。可以绘出其直径为所触摸的两个点之间的距离的圆圈。在这种结构中,连接所触摸的两个点的线段的中点的位置被指定为要对焦的点。应当注意,可以同时触摸两个点或可以接连逐个地触摸两个点。
图10是示出了下述示例的图,在该示例中,用户触摸显示有IMG0的触摸面板150上的两个点P0和P1,并且绘出其直径对应于所触摸的两个点之间的距离的圆圈。如在图中所示,在绘出其直径为所触摸的两个点的距离的圆圈的情况下,不需要将手指放置在圆圈的中心。因此,有利地防止焦点位置的一部分被手指所遮挡并且使该部分更加可见。
<修改例5(采用图形的景深的表示)>
在以上说明中,为了表示景深的相对深度,绘出了圆圈。然而,表示的方式不限于此。例如,线段的长度或其他图形的尺寸可以表示景深的相对深度。
其他图形的示例包括三角形、正方形、心形、代表摄像装置的横隔板的形状等。
<修改例6(采用圆圈进行的孔径值的指定)>
在以上说明中,圆圈的尺寸代表景深的相对深度。然而,圆圈的尺寸可以不代表景深的深度而是代表摄像装置的透镜的孔径值。在这种情况下,当圆圈变小时,光阑被缩小,并且景深增加。当圆圈变大时,光阑被打开,并且景深减少。
<修改例7(孔径值的指示)>
在以上所述的修改例3中,在所触摸的第一点的位置附近指示距离,但是可以指示与所设置的景深相对应的孔径值。
<修改例8(圆圈的预定尺寸)>
被显示以便与景深的初始值相对应的圆圈的尺寸可以依照触摸面板150的显示面板的尺寸或分辨率适当地选择。
例如,所显示的图像IMG0的尺寸在下述两个情况之间显著不同:显示设备2是具有50英寸的屏幕尺寸的电视机的情况与显示设备2是5英寸的智能电话的情况。然而,操作两者的用户的手的尺寸相同,所以被显示为预定值的圆圈的尺寸被调整为用户采用手指可以容易地触摸的距离,从而使其易于使用。
对于具有9英寸显示面板的显示设备2,例如考虑绘出具有2cm的半径的圆圈。
当然,圆圈的预定尺寸是由用户可设置的。
<修改例9(预定的模糊方式)>
在以上说明中,对于第一点触摸时的景深,首先使用作为初始值的设置值,并且重构对焦图像。初始值可以由用户通过设置改变。采用该结构,用户在第一点触摸时的预定的模糊方式可以改变为用户期望的模糊方式。
<修改例10(重置区域)>
对于根据本技术的UI,可以提供重置区域。在用户基于任意焦点位置和景深使得重新对焦图像显示在显示面板上之后,重置区域接收用于由用户明确地将焦点位置和景深重置为初始值的指令。
当用户触摸重置区域时,可以容易地将焦点位置和景深重置为初始值。
<修改例11(在手释放之后景深的维持)>
在根据本技术的UI中,在用户触摸并且操作触摸面板150以指定焦点位置和景深之后,即使用户从触摸面板150释放手,具有所指定的景深的图像也可以持续显示特定的时间段。
采用该结构,用户可以从触摸面板150释放手指并且在显示面板未被遮挡的情况下查看重新对焦图像。
<修改例12(由于特定时间段未操作而进行的重置)>
在根据本技术的UI中,在用户未触摸触摸面板150达到特定时间段的情况下,重新对焦图像的焦点位置和景深可以被重置为初始值。
<修改例13(在所指定的景深的值超过预定值的情况下的整个对焦图像)>
在根据本技术的UI中,在由用户所指定的景深超过预定值的情况下,显示设备2可以生成整个对焦图像作为重新对焦图像。
<修改例14(预先生成重新对焦图像)>
在以上说明中,每当用户触摸触摸面板150时,对重新对焦图像进行重构。然而,结构不限于此。根据多视图图像,与可以由用户所指定的焦点位置和景深相对应的多个图像可以预先构造、并且存储在被提供给服务器或显示设备的存储单元中。
该结构可以节省在用户触摸触摸面板之后对图像进行重新对焦的时间,所以可以以高速显示重新对焦图像。
<修改例15(典型的摄像装置进行的图像准备)>
在修改例14中,根据多视图图像,预先对与可以由用户指定的焦点位置和景深相对应的多个图像进行构造。然而,结构不限于此。通过使用一般的摄像装置,与可以由用户指定的焦点位置和景深相对应的多个图像可以被拍摄、并且存储在被提供给服务器或显示设备的存储单元中。
采用该结构,用户可以采用显示设备而不使用光场摄像装置(诸如图像拾取设备1)查看重新对焦图像。
<修改例16(不通过触摸进行的位置的指定)>
在以上说明中,当用户触摸触摸面板150时,指定对位置和景深。然而,结构不限于此。可以通过非接触位置检测设备或通过使用鼠标指定焦点位置和景深。
<修改例17(不通过触摸圆圈进行的景深的指定)>
在以上的说明中,为了指定景深,在触摸面板150上,用户触摸通过第一点触摸所显示的圆圈的圆周并且在触摸圆周的同时滑动手指,从而改变景深。然而,结构不限于此。即使用户未接触圆圈的圆周,在触摸面板150上所触摸的任意位置可以被接收作为第二点触摸位置。
也是在此情况下,当用户从作为第二点所触摸的位置滑动手指时,依赖于第一触摸位置与第二触摸位置之间的距离放大或缩小所显示的圆圈的尺寸。
本技术可以体现为下述配置。
(1)一种图像处理设备,包括:
显示器,被配置成显示捕获图像和代表性图标,其中,所述代表性图标指示所显示的图像的对焦区域的范围以及所述范围包含位于所显示的图像内初始位置处的对焦点的中心;以及
处理器,被配置成根据所述代表性图标的尺寸来调整所显示的图像的对焦区域的范围。
(2)根据(1)所述的图像处理设备,还包括:
触摸面板,被配置成接收从用户所输入的调整尺寸操作,进行所述调整尺寸操作以改变所述代表性图标的尺寸。
(3)根据(1)或(2)所述的图像处理设备,其中,所述对焦区域是所显示的图像的满足对焦标准的区域。
(4)根据(1)至(3)中任一项所述的图像处理设备,其中,所述对焦标准是处于对焦中的条件。
(5)根据(1)至(4)中任一项所述的图像处理设备,其中,所述显示器还被配置成采用所述对焦区域的调整后的范围重新显示所述图像。
(6)根据(1)至(5)中任一项所述的图像处理设备,其中,所述触摸面板还被配置成接收从所述用户所输入的重新定位操作,进行所述重新定位操作以将对焦点的中心从所显示的图像内的初始位置移动到重新定位的位置,以及所述处理器还被配置成通过基于对焦点的中心的重新定位的位置进行重新对焦来重组所显示的图像。
(7)根据(1)至(6)中任一项所述的图像处理设备,其中,通过从所显示的图像内的初始位置到重新定位的位置的拖曳,移动对焦点的中心。
(8)根据(1)至(7)中任一项所述的图像处理设备,其中,所述处理器还被配置成通过基于对焦点的中心的重新定位的位置进行重新对焦来重组所显示的图像。
(9)根据(1)至(8)中任一项所述的图像处理设备,其中,通过重新对焦来重组所显示的图像包括将所述对焦区域的范围重置为包含作为所述对焦区域的范围的中心点的对焦点的中心的重新定位的位置。
(10)根据(1)至(9)中任一项所述的图像处理设备,其中,所述调整尺寸操作是捏拉缩放操作。
(11)根据(1)至(10)中任一项所述的图像处理设备,其中,所述代表性图标包括圆形图标,所述圆形图标具有约束所述对焦区域的范围的边界。
(12)根据(1)至(11)中任一项所述的图像处理设备,其中,所述代表性图标包括线段图标,所述线段图标具有位于在所述对焦区域的范围的远端处的一端以及位于在所述对焦区域的范围的近端处的另一端。
(13)根据(1)至(12)中任一项所述的图像处理设备,
其中,所述代表性图标包括圆形图标,以及
其中,当用户执行调整尺寸操作以增加所述代表性图标的尺寸时,所述对焦区域的范围减小;而当所述用户执行调整尺寸操作以减小所述代表性图标的尺寸时,所述对焦区域的范围增加。
(14)一种图像处理方法,包括:
控制要显示的代表性图标,以指示所显示的图像的对焦区域的范围,其中,所述范围包含位于所显示的图像内的初始位置处的对焦点的中心;以及
根据所述代表性图标的尺寸控制所述对焦区域的范围的调整。
(15)根据(14)所述的图像处理方法,其中,所述对焦区域是所显示的图像的满足对焦条件的区域。
(16)根据(14)或(15)所述的图像处理方法,其中,所述对焦标准是处于对焦中的条件。
(17)根据(14)至(16)中任一项所述的图像处理方法,还包括:
采用所述对焦区域的调整后的范围重新显示所述图像。
(18)根据(14)至(17)中任一项所述的图像处理方法,其中,所述代表性图标的尺寸根据用户操作而改变。
(19)根据(14)至(18)中任一项所述的图像处理方法,还包括:
基于所述代表性图标的改变后的尺寸,采用所述对焦区域的调整后的范围重新显示所述图像。
(20)根据(14)至(19)中任一项所述的图像处理方法,其中,所述用户操作是捏拉缩放操作。
(21)根据(14)至(20)中任一项所述的图像处理方法,还包括:
将对焦点的中心从所显示的图像内的初始位置移动到重新定位的位置。
(22)根据(14)至(21)中任一项所述的图像处理方法,其中,通过从所显示的图像内的初始位置到重新定位的位置的拖曳,移动对焦点的中心。
(23)根据(14)至(22)中任一项所述的图像处理方法,还包括:
通过基于对焦点的中心的重新定位的位置进行重新对焦来重组所显示的图像。
(24)根据(14)至(23)中任一项所述的图像处理方法,其中,重组所显示的图像包括将所述对焦区域的范围重置为包含作为所述对焦区域的范围的中心点的对焦点的中心的重新定位的位置。
(25)根据(14)至(24)中任一项所述的图像处理方法,其中,所述代表性图标包括圆形图标,所述圆形图标具有约束所述对焦区域的范围的边界。
(26)根据(14)至(25)中任一项所述的图像处理方法,其中,所述代表性图标包括线段图标,所述线段图标具有位于在所述对焦区域的范围的远端处的一端以及位于在所述对焦区域的范围的近端处的另一端。
(27)根据(14)至(26)中任一项所述的图像处理方法,
其中,所述代表性图标包括圆形图标,以及
其中,当用户执行增加所述代表性图标的尺寸的操作时,所述对焦区域的范围减小;而当所述用户执行减小所述代表性图标的尺寸的操作时,所述对焦区域的范围增加。
(28)一种在其上包含有程序的非暂态计算机可读介质,所述程序当由计算机执行时使得所述计算机执行图像处理方法,所述图像处理方法包括:
控制要显示的代表性图标以指示所显示的图像的对焦区域的范围,其中,所述范围包含位于所显示的图像内的初始位置处的对焦点的中心;以及
根据所述代表性图标的尺寸控制所述对焦区域的范围的调整。
(29)根据(28)所述的非暂态计算机可读介质,其中,所述对焦区域是所显示的图像的满足对焦标准的区域。
(30)根据(28)或(29)所述的非暂态计算机可读介质,其中,所述对焦标准是处于对焦中的条件。
(31)一种信息处理设备,包括:
控制单元,所述控制单元被配置成:
使得由图像拾取设备所拍摄的对象的第一图像显示在显示画面上,
接收由用户在所述显示画面上所显示的所述第一图像上所选择的第一位置和第二位置,所述第二位置与所述第一位置不同,
基于所述第一位置和所述第二位置中的至少一个计算要对焦的对象的位置,
计算与所述第一位置和所述第二位置之间的距离相对应的景深,以及
对所述对象的所计算的位置执行对焦,并且使得具有所计算的景深的第二图像显示在所述显示画面上。
(32)根据(31)所述的信息处理设备,其中
所述控制单元使得具有与所计算的景深相对应的尺寸的图形显示在所述显示画面上。
(33)根据(32)所述的信息处理设备,其中
所述控制单元显示具有以所述第一位置为中心并且具有与所述第一位置和所述第二位置之间的距离相对应的半径的圆形,作为所述图形。
(34)根据(33)所述的信息处理设备,还包括
图像处理单元,被配置成基于在下述状态中所获得的拾取的图像数据生成所述第一图像和所述第二图像,在所述状态中由具有在图像拾取透镜与图像拾取元件之间的微透镜阵列的图像拾取光学系统维持光束的行进方向,所述图像拾取元件基于所接收的光束获得拾取的图像数据,所述微透镜阵列包括各自被分配给所述图像拾取元件的多个像素的微透镜。
(35)根据(34)所述的信息处理设备,其中,
所述图像处理单元包括
距离信息计算单元,依照由所述控制单元所接收的第一位置计算从所述图像拾取透镜到重新对焦表面的距离信息,
重新对焦系数设置单元,基于由所述距离信息计算单元所计算的距离信息和景深来设置重新对焦系数,以及
重新布置处理单元,基于由所述重新对焦系数设置单元所设置的重新对焦系数来重新布置拾取的图像数据,从而生成任意对焦的图像。
(36)根据(32)所述的信息处理设备,其中
所述控制单元显示具有与连接所述第一位置和所述第二位置的线段相对应的直径的圆形,作为所述图形。
(37)一种电子设备,包括:
控制单元,所述控制单元被配置成:
使得由图像拾取设备所拍摄的对象的第一图像显示在显示画面上,
接收由用户在所述显示画面上所显示的所述第一图像上所选择的第一位置和第二位置,所述第二位置与所述第一位置不同,
基于所述第一位置和所述第二位置中的至少一个计算要对焦的对象的位置,
计算与所述第一位置和所述第二位置之间的距离相对应的景深,以及
对所述对象的所计算的位置执行对焦,并且使得具有所计算的景深的第二图像显示在所述显示画面上;
显示单元,所述显示单元包括所述显示画面;以及
位置检测单元,能够检测所述第一位置和所述第二位置。
(38)一种服务器,包括
控制单元,所述控制单元被配置成
将由图像拾取设备所拍摄的对象的第一图像传送至终端设备,
接收由用户在显示所述第一图像的所述终端设备上所选择的第一位置和第二位置,所述第二位置与所述第一位置不同,
基于所述第一位置和所述第二位置中的至少一个计算要对焦的对象的位置,
计算与所述第一位置和所述第二位置之间的距离相对应的景深,以及
对所述对象的所计算的位置执行对焦,并且使得具有所计算的景深的第二图像传送到所述终端设备。
(39)一种使得计算机用作控制单元的信息处理程序,所述控制单元被配置成:
使得由图像拾取设备所拍摄的第一图像显示在显示画面上,
接收由用户在所述显示画面上所显示的所述第一图像上所选择的第一位置和第二位置,所述第二位置与所述第一位置不同,
基于所述第一位置和所述第二位置中的至少一个计算要对焦的对象的位置,
计算与所述第一位置和所述第二位置之间的距离相对应的景深,以及
对所述对象的所计算的位置执行对焦,并且使得具有所计算的景深的第二图像显示在所述显示画面上。
(40)一种信息处理方法,包括:
使得由图像拾取设备所拍摄的对象的第一图像显示在显示画面上,
由控制单元接收由用户在所述显示画面上所显示的所述第一图像上所选择的第一位置和第二位置,所述第二位置与所述第一位置不同,
由所述控制单元基于所述第一位置和所述第二位置中的至少一个计算要对焦的对象的位置,
由所述控制单元计算与所述第一位置和所述第二位置之间的距离相对应的景深,以及
对所述对象的所计算的位置执行对焦,并且使得具有所计算的景深的第二图像显示在所述显示画面上。
(补充材料)
另外,本技术不限于上述实施例,并且当然可以进行各种改变而不背离本技术的主旨。
本领域技术人员应当理解,依赖于设计需求和其他因素可以发生各种修改、组合、子组合以及替选,只要其在所附的权利要求或其等价形式的范围内即可。
参考标记列表
1图像拾取设备
2-2C显示设备
10孔径光阑
11图像拾取透镜
12微透镜阵列
13图像拾取元件
14图像处理单元
15图像拾取元件驱动单元
16控制单元
141缺陷校正单元
142箝位处理单元
143距离信息提取单元
144重新布置处理单元
145噪声降低单元
146轮廓强调单元
147白平衡调整单元
148伽马校正单元
149重新对焦系数设置单元
150触摸面板
151距离信息计算单元
权利要求书(按照条约第19条的修改)
1.一种图像处理设备,包括:
显示器,被配置成显示捕获图像和代表性图标,其中,所述代表性图标指示所显示的图像的对焦区域的范围以及所述范围包含位于所显示的图像内初始位置处的对焦点的中心;以及
处理器,被配置成根据所述代表性图标的尺寸和基于所述捕获图像的距离信息来调整所显示的图像的对焦区域的范围。
2.根据权利要求1所述的图像处理设备,还包括:
触摸面板,被配置成接收从用户所输入的调整尺寸操作,进行所述调整尺寸操作以根据所述距离信息改变所述代表性图标的尺寸。
3.根据权利要求1所述的图像处理设备,其中,所述对焦区域是所显示的图像的满足对焦标准的区域。
4.根据权利要求3所述的图像处理设备,其中,所述对焦标准是处于对焦中的条件。
5.根据权利要求1所述的图像处理设备,其中,所述显示器还被配置成采用根据所述距离信息的所述对焦区域的调整后的范围,重新显示所述图像。
6.根据权利要求2所述的图像处理设备,其中,所述触摸面板还被配置成接收从所述用户所输入的重新定位操作,进行所述重新定位操作以将对焦点的中心从所显示的图像内的初始位置移动到重新定位的位置,以及所述处理器还被配置成通过基于对焦点的中心的重新定位的位置进行重新对焦来重组所显示的图像。
7.根据权利要求6所述的图像处理设备,其中,通过从所显示的图像内的初始位置到重新定位的位置的拖曳来移动对焦点的中心。
8.根据权利要求6所述的图像处理设备,其中,所述处理器还被配置成通过基于对焦点的中心的重新定位的位置进行重新对焦来重组所显示的图像。
9.根据权利要求8所述的图像处理设备,其中,通过重新对焦来重组所显示的图像包括将所述对焦区域的范围重置为包含作为所述对焦区域的范围的中心点的对焦点的中心的重新定位的位置。
10.根据权利要求2所述的图像处理设备,其中,所述调整尺寸操作是捏拉缩放操作。
11.根据权利要求1所述的图像处理设备,其中,所述代表性图标包括圆形图标,所述圆形图标具有约束所述对焦区域的范围的边界。
12.根据权利要求1所述的图像处理设备,其中,所述代表性图标包括线段图标,所述线段图标具有位于在所述对焦区域的范围的远端处的一端以及位于在所述对焦区域的范围的近端处的另一端。
13.根据权利要求2所述的图像处理设备,
其中,所述代表性图标包括圆形图标,以及
其中,当所述用户执行调整尺寸操作以增加所述代表性图标的尺寸时,所述对焦区域的范围根据所述距离信息而减小;而当所述用户执行调整尺寸操作以减小所述代表性图标的尺寸时,所述对焦区域的范围根据所述距离信息而增加。
14.一种图像处理方法,包括:
控制要显示的代表性图标,以指示所显示的图像的对焦区域的范围,其中,所述范围包含位于所显示的图像内的初始位置处的对焦点的中心;以及
根据所述代表性图标的尺寸控制所述对焦区域的范围的调整。
15.根据权利要求14所述的图像处理方法,其中,所述对焦区域是所显示的图像的满足对焦标准的区域。
16.根据权利要求15所述的图像处理方法,其中,所述对焦标准是处于对焦中的条件。
17.根据权利要求14所述的图像处理方法,还包括:
采用所述对焦区域的调整后的范围重新显示所述图像。
18.根据权利要求14所述的图像处理方法,其中,所述代表性图标的尺寸根据用户操作和所述距离信息而改变。
19.根据权利要求18所述的图像处理方法,还包括:
基于根据所述距离信息的所述代表性图标的改变后的尺寸,采用所述对焦区域的调整后的范围重新显示所述图像。
20.一种在其上包含有程序的非暂态计算机可读介质,所述程序当由计算机执行时使得所述计算机执行图像处理方法,所述图像处理方法包括:
控制要显示的代表性图标以指示所显示的图像的对焦区域的范围,其中,所述范围包含位于所显示的图像内的初始位置处的对焦点的中心;以及
根据所述代表性图标的尺寸和基于捕获图像的距离信息,控制所述对焦区域的范围的调整。

Claims (20)

1.一种图像处理设备,包括:
显示器,被配置成显示捕获图像和代表性图标,其中,所述代表性图标指示所显示的图像的对焦区域的范围以及所述范围包含位于所显示的图像内初始位置处的对焦点的中心;以及
处理器,被配置成根据所述代表性图标的尺寸来调整所显示的图像的对焦区域的范围。
2.根据权利要求1所述的图像处理设备,还包括:
触摸面板,被配置成接收从用户所输入的调整尺寸操作,进行所述调整尺寸操作以改变所述代表性图标的尺寸。
3.根据权利要求1所述的图像处理设备,其中,所述对焦区域是所显示的图像的满足对焦标准的区域。
4.根据权利要求3所述的图像处理设备,其中,所述对焦标准是处于对焦中的条件。
5.根据权利要求1所述的图像处理设备,其中,所述显示器还被配置成采用所述对焦区域的调整后的范围重新显示所述图像。
6.根据权利要求2所述的图像处理设备,其中,所述触摸面板还被配置成接收从所述用户所输入的重新定位操作,进行所述重新定位操作以将对焦点的中心从所显示的图像内的初始位置移动到重新定位的位置,以及所述处理器还被配置成通过基于对焦点的中心的重新定位的位置进行重新对焦来重组所显示的图像。
7.根据权利要求6所述的图像处理设备,其中,通过从所显示的图像内的初始位置到重新定位的位置的拖曳来移动对焦点的中心。
8.根据权利要求6所述的图像处理设备,其中,所述处理器还被配置成通过基于对焦点的中心的重新定位的位置进行重新对焦来重组所显示的图像。
9.根据权利要求8所述的图像处理设备,其中,通过重新对焦来重组所显示的图像包括将所述对焦区域的范围重置为包含作为所述对焦区域的范围的中心点的对焦点的中心的重新定位的位置。
10.根据权利要求2所述的图像处理设备,其中,所述调整尺寸操作是捏拉缩放操作。
11.根据权利要求1所述的图像处理设备,其中,所述代表性图标包括圆形图标,所述圆形图标具有约束所述对焦区域的范围的边界。
12.根据权利要求1所述的图像处理设备,其中,所述代表性图标包括线段图标,所述线段图标具有位于在所述对焦区域的范围的远端处的一端以及位于在所述对焦区域的范围的近端处的另一端。
13.根据权利要求2所述的图像处理设备,
其中,所述代表性图标包括圆形图标,以及
其中,当所述用户执行调整尺寸操作以增加所述代表性图标的尺寸时,所述对焦区域的范围减小;而当所述用户执行调整尺寸操作以减小所述代表性图标的尺寸时,所述对焦区域的范围增加。
14.一种图像处理方法,包括:
控制要显示的代表性图标,以指示所显示的图像的对焦区域的范围,其中,所述范围包含位于所显示的图像内的初始位置处的对焦点的中心;以及
根据所述代表性图标的尺寸控制所述对焦区域的范围的调整。
15.根据权利要求14所述的图像处理方法,其中,所述对焦区域是所显示的图像的满足对焦标准的区域。
16.根据权利要求15所述的图像处理方法,其中,所述对焦标准是处于对焦中的条件。
17.根据权利要求14所述的图像处理方法,还包括:
采用所述对焦区域的调整后的范围重新显示所述图像。
18.根据权利要求14所述的图像处理方法,其中,所述代表性图标的尺寸根据用户操作而改变。
19.根据权利要求18所述的图像处理方法,还包括:
基于所述代表性图标的改变后的尺寸,采用所述对焦区域的调整后的范围重新显示所述图像。
20.一种在其上包含有程序的非暂态计算机可读介质,所述程序当由计算机执行时使得所述计算机执行图像处理方法,所述图像处理方法包括:
控制要显示的代表性图标以指示所显示的图像的对焦区域的范围,其中,所述范围包含位于所显示的图像内的初始位置处的对焦点的中心;以及
根据所述代表性图标的尺寸控制所述对焦区域的范围的调整。
CN201480026280.1A 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面 Pending CN105210018A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910344694.3A CN110099214A (zh) 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面
CN201910864341.6A CN110519519A (zh) 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013104384A JP6244655B2 (ja) 2013-05-16 2013-05-16 画像処理装置および画像処理方法
JP2013-104384 2013-05-16
PCT/JP2014/002404 WO2014185028A1 (en) 2013-05-16 2014-05-02 User interface for selecting a parameter during image refocusing

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201910344694.3A Division CN110099214A (zh) 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面
CN201910864341.6A Division CN110519519A (zh) 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面

Publications (1)

Publication Number Publication Date
CN105210018A true CN105210018A (zh) 2015-12-30

Family

ID=50771539

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910344694.3A Pending CN110099214A (zh) 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面
CN201480026280.1A Pending CN105210018A (zh) 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面
CN201910864341.6A Pending CN110519519A (zh) 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910344694.3A Pending CN110099214A (zh) 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910864341.6A Pending CN110519519A (zh) 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面

Country Status (4)

Country Link
US (4) US9749519B2 (zh)
JP (1) JP6244655B2 (zh)
CN (3) CN110099214A (zh)
WO (1) WO2014185028A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015139020A (ja) * 2014-01-21 2015-07-30 株式会社ニコン 電子機器及び制御プログラム
WO2017166076A1 (zh) * 2016-03-29 2017-10-05 华为技术有限公司 一种确定对焦窗的方法、装置及设备
CN108024065A (zh) * 2017-12-28 2018-05-11 努比亚技术有限公司 一种终端拍摄的方法、终端及计算机可读存储介质
CN108632529A (zh) * 2017-03-24 2018-10-09 三星电子株式会社 为焦点提供图形指示符的电子设备及操作电子设备的方法
CN110365906A (zh) * 2019-07-29 2019-10-22 维沃移动通信有限公司 拍摄方法及移动终端
CN112019737A (zh) * 2019-05-31 2020-12-01 三星电子株式会社 操作包括图像传感器的电子装置的方法
CN115474003A (zh) * 2021-04-30 2022-12-13 苹果公司 用于更改视觉媒体的用户界面
US11895391B2 (en) 2018-09-28 2024-02-06 Apple Inc. Capturing and displaying images with multiple focal planes
US11962889B2 (en) 2016-06-12 2024-04-16 Apple Inc. User interface for camera effects

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6244655B2 (ja) 2013-05-16 2017-12-13 ソニー株式会社 画像処理装置および画像処理方法
JP6336284B2 (ja) * 2014-01-30 2018-06-06 キヤノン株式会社 画像処理装置、その制御方法およびプログラム
KR102326275B1 (ko) * 2014-02-25 2021-11-16 삼성전자주식회사 이미지 표시 방법 및 장치
KR102283423B1 (ko) * 2014-12-18 2021-07-30 엘지이노텍 주식회사 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법
JP6478654B2 (ja) * 2015-01-23 2019-03-06 キヤノン株式会社 撮像装置及びその制御方法
JP6626257B2 (ja) * 2015-03-03 2019-12-25 キヤノン株式会社 画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体
EP3958557A1 (en) 2015-04-23 2022-02-23 Apple Inc. Digital viewfinder user interface for multiple cameras
JP6647150B2 (ja) * 2016-06-15 2020-02-14 株式会社Nttドコモ 情報表示装置
US10034132B2 (en) 2016-06-16 2018-07-24 International Business Machines Corporation System and method for defining zones for location-based services
JP6720037B2 (ja) * 2016-09-21 2020-07-08 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
EP3579094B1 (en) * 2017-02-06 2023-06-07 Kyocera Document Solutions Inc. Display device
KR102390184B1 (ko) * 2017-04-26 2022-04-25 삼성전자주식회사 전자 장치 및 전자 장치의 영상 표시 방법
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
JP2018125887A (ja) * 2018-04-12 2018-08-09 株式会社ニコン 電子機器
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
JP7173841B2 (ja) * 2018-11-14 2022-11-16 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
JP7198055B2 (ja) 2018-11-16 2022-12-28 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
JP7337562B2 (ja) * 2019-06-25 2023-09-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
TWI776217B (zh) * 2019-11-25 2022-09-01 仁寶電腦工業股份有限公司 電子裝置及其模式切換方法
US11297244B2 (en) * 2020-02-11 2022-04-05 Samsung Electronics Co., Ltd. Click-and-lock zoom camera user interface
US20210271380A1 (en) * 2020-02-28 2021-09-02 Sharp Kabushiki Kaisha Display device
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
WO2022034938A1 (ko) * 2020-08-11 2022-02-17 엘지전자 주식회사 이미지 촬영 장치 및 그 제어 방법
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
TWI799828B (zh) * 2021-03-31 2023-04-21 中強光電股份有限公司 影像處理裝置、影像處理方法以及3d影像產生系統
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
EP4109883A1 (en) * 2021-04-30 2022-12-28 Apple Inc. User interfaces for altering visual media
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11770600B2 (en) 2021-09-24 2023-09-26 Apple Inc. Wide angle video conference

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070294634A1 (en) * 2006-06-14 2007-12-20 Nik Software, Inc. Graphical User Interface and Related Method
JP2010177741A (ja) * 2009-01-27 2010-08-12 Olympus Corp 撮像装置
CN101963860A (zh) * 2009-07-22 2011-02-02 奥林巴斯映像株式会社 条件变更装置
CN102572262A (zh) * 2010-10-28 2012-07-11 三洋电机株式会社 电子设备
CN102857686A (zh) * 2011-06-28 2013-01-02 索尼公司 图像处理装置,控制图像处理装置的方法和程序

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006253998A (ja) 2005-03-10 2006-09-21 Casio Comput Co Ltd 撮像装置および撮像方法
US8570426B2 (en) * 2008-11-25 2013-10-29 Lytro, Inc. System of and method for video refocusing
JP4900723B2 (ja) * 2008-03-14 2012-03-21 ソニー株式会社 画像処理装置、画像処理プログラムおよび表示装置
KR101505681B1 (ko) * 2008-09-05 2015-03-30 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 이미지 촬상 방법
JP2010093422A (ja) * 2008-10-06 2010-04-22 Canon Inc 撮像装置
KR101563728B1 (ko) * 2009-01-30 2015-10-27 삼성전자 주식회사 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법
US9596453B2 (en) * 2010-06-14 2017-03-14 Lg Electronics Inc. Electronic device and control method thereof
JP2012010162A (ja) 2010-06-25 2012-01-12 Kyocera Corp カメラ装置
WO2012099175A1 (ja) 2011-01-18 2012-07-26 富士フイルム株式会社 オートフォーカスシステム
EP2729916A4 (en) * 2011-07-04 2015-04-08 Lee Vincent Streeter MOTION COMPENSATION IN A AREA IMAGING
JP5968107B2 (ja) 2011-09-01 2016-08-10 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP2013088579A (ja) 2011-10-17 2013-05-13 Olympus Imaging Corp 撮像装置
CN102833487B (zh) * 2012-08-08 2015-01-28 中国科学院自动化研究所 面向视觉计算的光场成像装置和方法
JP6029380B2 (ja) * 2012-08-14 2016-11-24 キヤノン株式会社 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
KR102063952B1 (ko) * 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
JP6244655B2 (ja) * 2013-05-16 2017-12-13 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070294634A1 (en) * 2006-06-14 2007-12-20 Nik Software, Inc. Graphical User Interface and Related Method
JP2010177741A (ja) * 2009-01-27 2010-08-12 Olympus Corp 撮像装置
CN101963860A (zh) * 2009-07-22 2011-02-02 奥林巴斯映像株式会社 条件变更装置
CN102572262A (zh) * 2010-10-28 2012-07-11 三洋电机株式会社 电子设备
CN102857686A (zh) * 2011-06-28 2013-01-02 索尼公司 图像处理装置,控制图像处理装置的方法和程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨凡 等: "光场相机成像质量评价方法研究", 《现代电子技术》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015139020A (ja) * 2014-01-21 2015-07-30 株式会社ニコン 電子機器及び制御プログラム
WO2017166076A1 (zh) * 2016-03-29 2017-10-05 华为技术有限公司 一种确定对焦窗的方法、装置及设备
CN107439005A (zh) * 2016-03-29 2017-12-05 华为技术有限公司 一种确定对焦窗的方法、装置及设备
US10491804B2 (en) 2016-03-29 2019-11-26 Huawei Technologies Co, Ltd. Focus window determining method, apparatus, and device
CN107439005B (zh) * 2016-03-29 2020-04-21 华为技术有限公司 一种确定对焦窗的方法、装置及设备
US11962889B2 (en) 2016-06-12 2024-04-16 Apple Inc. User interface for camera effects
US10868954B2 (en) 2017-03-24 2020-12-15 Samsung Electronics Co., Ltd. Electronic device for providing graphic indicator for focus and method of operating electronic device
CN108632529A (zh) * 2017-03-24 2018-10-09 三星电子株式会社 为焦点提供图形指示符的电子设备及操作电子设备的方法
CN108632529B (zh) * 2017-03-24 2021-12-03 三星电子株式会社 为焦点提供图形指示符的电子设备及操作电子设备的方法
CN108024065A (zh) * 2017-12-28 2018-05-11 努比亚技术有限公司 一种终端拍摄的方法、终端及计算机可读存储介质
CN108024065B (zh) * 2017-12-28 2020-07-10 珠海大横琴科技发展有限公司 一种终端拍摄的方法、终端及计算机可读存储介质
US11895391B2 (en) 2018-09-28 2024-02-06 Apple Inc. Capturing and displaying images with multiple focal planes
CN112019737A (zh) * 2019-05-31 2020-12-01 三星电子株式会社 操作包括图像传感器的电子装置的方法
CN110365906A (zh) * 2019-07-29 2019-10-22 维沃移动通信有限公司 拍摄方法及移动终端
CN115474003A (zh) * 2021-04-30 2022-12-13 苹果公司 用于更改视觉媒体的用户界面

Also Published As

Publication number Publication date
CN110519519A (zh) 2019-11-29
CN110099214A (zh) 2019-08-06
US20170295316A1 (en) 2017-10-12
US20200259995A1 (en) 2020-08-13
WO2014185028A1 (en) 2014-11-20
US10924658B2 (en) 2021-02-16
JP2014225797A (ja) 2014-12-04
US9749519B2 (en) 2017-08-29
US20180343383A1 (en) 2018-11-29
US20160127636A1 (en) 2016-05-05
JP6244655B2 (ja) 2017-12-13
US10686981B2 (en) 2020-06-16
US10070045B2 (en) 2018-09-04

Similar Documents

Publication Publication Date Title
CN105210018A (zh) 用于在图像重新对焦期间选择参数的用户界面
US10311649B2 (en) Systems and method for performing depth based image editing
US11032466B2 (en) Apparatus for editing image using depth map and method thereof
KR102338576B1 (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
US10178299B2 (en) Control device and control method
CN108848367B (zh) 一种图像处理的方法、装置及移动终端
KR102382871B1 (ko) 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
US20120019527A1 (en) Display apparatus, display method, and computer-readable recording medium
CN105530421B (zh) 一种基于双摄像头的对焦方法、装置和终端
KR102272310B1 (ko) 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 전자 기기.
JP6711428B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6515978B2 (ja) 画像処理装置および画像処理方法
CN206864472U (zh) 图像传感器
CN103220458B (zh) 一种立体摄像装置和立体摄像方法
EP2624210B1 (en) Multi-touch recognition apparatus and control method thereof
KR102664373B1 (ko) 더 깊은 피사계 심도를 위한 분할 픽셀 데이터 병합
KR101374517B1 (ko) 집적영상 획득장치 및 그를 이용한 입체영상 표시방법
JP6708402B2 (ja) 電子機器、タッチパネルの制御方法、プログラム及び記憶媒体
KR20220102016A (ko) 전자 장치 및 그의 이미지 처리 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151230