CN107197137A - 图像处理装置、图像处理方法以及记录介质 - Google Patents
图像处理装置、图像处理方法以及记录介质 Download PDFInfo
- Publication number
- CN107197137A CN107197137A CN201710133203.1A CN201710133203A CN107197137A CN 107197137 A CN107197137 A CN 107197137A CN 201710133203 A CN201710133203 A CN 201710133203A CN 107197137 A CN107197137 A CN 107197137A
- Authority
- CN
- China
- Prior art keywords
- region
- image
- posture
- shooting
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 123
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 60
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000005484 gravity Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 6
- 230000036544 posture Effects 0.000 description 102
- 241000251468 Actinopterygii Species 0.000 description 53
- 239000003795 chemical substances by application Substances 0.000 description 39
- 230000009471 action Effects 0.000 description 20
- 238000004321 preservation Methods 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000011232 storage material Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Geometry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种图像处理装置、图像处理方法以及记录介质。数字摄像机具备摄像装置(10)和主体装置(20),在将从摄像装置(10)获取的拍摄图像中的不是沿着该拍摄图像的周围的边缘部分的区域作为第1区域、将包括该边缘部分的区域作为第2区域,并对第1区域和第2区域中的任一方进行给定的处理的情况下,主体装置(20)基于摄像装置(10)的姿势确定是将第1区域作为给定的处理的对象,还是将第2区域作为给定的处理的对象。
Description
本申请要求2016年3月14日申请的日本特愿2016-049151的优先权,并将包括说明书、权利要求书、附图以及摘要的其全部内容引用于此。
技术领域
本发明涉及对拍摄图像进行处理的图像处理装置、图像处理方法以及记录介质。
背景技术
一般来说,在数字摄像机等摄像装置中,在拍摄时与背景相比更重视所希望的被摄体的情况下,拍摄为使该被摄体位于拍摄图像的正中(中央部分),此外,在拍摄时重视所希望的被摄体的同时也重视背景的情况下,拍摄为使所希望的被摄体和背景均衡地配置在整个拍摄图像中。像这样,以与目的相应的构图进行拍摄,但是,为了从拍摄图像之中只对所希望的被摄体进一步进行特写而得到新的图像(使视角变窄的图像),需要从许多的保存图像(已拍摄图像)之中找出所希望的拍摄图像,并由用户将该拍摄图像内的一部分指定为截取范围。此时,例如,如日本特开2000-106623号公报所示,如果截取范围的形状为矩形,则使用户分别指定与其四角对应的画面上的各位置。
发明内容
发明要解决的课题
然而,每次从许多的保存图像(已拍摄图像)之中找出所希望的拍摄图像并指定其截取范围时都要指定四角,不仅指定的错误会增多,而且会对用户造成大的负担。
这种情况不限于从拍摄图像截取其一部分的图像的情况,在进行其它的处理,例如,对广角图像的失真进行修正的处理、实施对比度/模糊/锐度等特殊效果的图像处理的情况下也是同样的。
本发明的课题在于,能够容易且合适地确定摄像图像中的执行处理的区域。
用于解决课题的技术方案
本发明的图像处理装置的特征在于,具备:处理单元,将由拍摄单元获取的拍摄图像中的不是沿着该拍摄图像的周围的边缘部分的区域作为第1区域,将包括所述边缘部分的区域作为第2区域,并对所述第1区域和第2区域中的任一方进行给定的处理;以及确定单元,基于所述拍摄单元获取所述拍摄图像时的姿势信息,确定是将所述第1区域作为所述给定的处理的对象,还是将所述第2区域作为所述给定的处理的对象。
本发明的图像处理方法是图像处理装置中的图像处理方法,其特征在于,包括:将由拍摄单元获取的拍摄图像中的不是沿着该拍摄图像的周围的边缘部分的区域作为第1区域,将包括所述边缘部分的区域作为第2区域,并对所述第1区域和第2区域中的任一方进行给定的处理的步骤;以及基于所述拍摄单元获取所述拍摄图像时的姿势信息,确定是将所述第1区域作为所述给定的处理的对象,还是将所述第2区域作为所述给定的处理的对象的步骤。
本发明的计算机可读的记录介质,其存储有程序,特征在于,使图像处理装置的计算机实现如下功能,即,将由拍摄单元获取的拍摄图像中的不是沿着该拍摄图像的周围的边缘部分的区域作为第1区域,将包括所述边缘部分的区域作为第2区域,并对所述第1区域和第2区域中的任一方进行给定的处理,基于所述拍摄单元获取所述拍摄图像时的姿势信息,确定是将所述第1区域作为所述给定的处理的对象,还是将所述第2区域作为所述给定的处理的对象。
发明效果
根据本发明,能够容易且合适地确定摄像图像中的执行处理的区域。
附图说明
附图属于说明书的一部分,示出本发明的实施方式,与上述的一般说明以及以下对实施方式的详细说明一同用于解释本发明的原理。
图1(A)是在作为图像处理装置而应用的数字摄像机中表示将构成该摄像机的摄像装置10和主体装置20组合为一体的状态的外观图。
图1(B)是表示将摄像装置10和主体装置20分离的状态的外观图。
图2(A)是示出摄像装置10的概略结构的框图。
图2(B)是示出主体装置20的概略结构的框图。
图3(A)是示出将摄像装置10设为第1姿势的情况的图。
图3(B)是例示了在将摄像装置10设为第1姿势的状态下用鱼眼镜头拍摄的鱼眼图像的图。
图3(C)是示出将摄像装置10设为第2姿势的情况的图。
图3(D)是例示了在将摄像装置10设为第2姿势的状态下用鱼眼镜头拍摄的鱼眼图像的图。
图4(A)~图4(F)是例示了在使摄像装置10保持第1姿势的状态下进一步使其框体绕光轴进行旋转而改变了其方向的情况以及以该姿势拍摄的图像的图。
图5是用于说明在切换为拍摄模式时开始执行的主体装置20侧的动作(第1实施方式的特征性的动作)的流程图。
图6是继图5的动作之后的流程图。
图7(A)是示出第2实施方式中的图像处理装置(个人计算机:PC)30的概略结构的框图。
图7(B)是示出第2实施方式中的摄像装置(数字摄像机)40的概略结构的框图。
图8(A)是示出在第2实施方式中以第1姿势拍摄的鱼眼图像的图。
图8(B)是例示了在第2实施方式中对从该鱼眼图像的第1区域内截取的标准尺寸展开用的图像修正了其失真之后的图像的图。
图9(A)是示出在第2实施方式中以第2姿势拍摄的鱼眼图像的图。
图9(B)是例示了在第2实施方式中对从该鱼眼图像的第2区域内截取的全景尺寸展开用的图像修正了其失真之后的图像的图。
图10是示出在摄像机40中根据拍摄指示操作开始执行的动作(第2实施方式的特征性的动作)的流程图。
图11是示出在PC30中进行图像显示时的动作(第2实施方式的特征性的动作)的流程图。
具体实施方式
以下,参照附图对本发明的实施方式进行详细说明。
(第1实施方式)
首先,参照图1~图6对本发明的第1实施方式进行说明。
本实施方式例示了作为图像处理装置而应用于数字摄像机的情况,该摄像机是可分离为后面说明的具备摄像部的摄像装置10和后面说明的具备显示部的主体装置20的分离型数字摄像机。图1是图像处理装置(数字摄像机)的外观图,图1(A)示出将摄像装置10和主体装置20组合为一体的状态,图1(B)是示出将摄像装置10和主体装置20分离的状态的图。摄像装置10的框体整体呈箱型。另外,图中10a表示设置在摄像装置10的一端部的与主体装置20的连接部。
构成该分离型数字摄像机的摄像装置10和主体装置20能够使用各自可利用的无线通信进行配对(无线连接识别),作为无线通信,例如使用无线LAN(Wi-Fi)或蓝牙(Bluetooth,注册商标)。在主体装置20侧接收并获取在摄像装置10侧拍摄的图像。并将该拍摄图像作为实时取景图像进行显示。另外,在本实施方式中,拍摄图像不限于已保存的图像,是指包括显示在实时取景画面中的图像(实时取景图像:保存前的图像)的广义的图像。
图2(A)是示出摄像装置10的结构的框图,图2(B)是示出主体装置20的结构的框图。
在图2(A)中,摄像装置10除了能够拍摄静止图像以外,还能够拍摄动态图像,具备控制部11、电源部12、存储部13、通信部14、操作部15、摄像部16、姿势检测部17。控制部11通过来自电源部(二次电池)12的电力供给进行动作,并根据存储部13内的各种程序对该摄像装置10的整体动作进行控制,在该控制部11设置有未图示的CPU(中央运算处理装置)、存储器等。
存储部13例如是具有ROM、闪速存储器等的结构,储存有用于实现本实施方式的程序、各种应用程序等。另外,存储部13例如可以是包括SD卡、USB存储器等可自由拆装的移动型存储器(记录介质)的结构,此外,其一部分也可以包括未图示的给定的外部服务器的区域。通信部14将拍摄图像发送到主体装置20侧,或者接收来自主体装置20的操作指示信号等。操作部15具备电源开关等基本的操作键(硬件键)。
摄像部16构成能够对被摄体高精细地进行拍摄的摄像机部,在该摄像部16的镜头单元16A设置有鱼眼镜头16B、摄像元件16C等。另外,本实施方式的摄像机能够更换通常的摄像镜头(省略图示)和鱼眼镜头16B,图示的例子示出安装了鱼眼镜头16B的状态。该鱼眼镜头16B例如由三透镜结构的镜头系统构成,是视角为大致180°的能够进行宽范围的拍摄的圆周鱼眼镜头(全周鱼眼镜头),通过该鱼眼镜头16B拍摄的广角图像(鱼眼图像)的整体成为圆形的图像。在该情况下,因为采用投影方式,所以用鱼眼镜头16B拍摄的广角图像(鱼眼图像)随着从其中心朝向端部而失真增大。
即,鱼眼镜头16B是其视角为大致180°的能够进行宽范围的拍摄的圆周鱼眼镜头,因此鱼眼图像的整体成为圆形的图像,并随着从其中心部朝向端部(周边部)一方而失真增大,并且与鱼眼图像的中心部相比,其周边部成为缩小的图像,因此即使用户想要详细地对其周边部的内容进行目视确认,该确认也是极其困难的。当由这样的鱼眼镜头16B得到的被摄体像(光学像)成像于摄像元件(例如,CMOS或CCD)16C时,由该摄像元件16C进行了光电变换的图像信号(模拟值的信号)会通过省略了图示的A/D变换部变换为数字信号,并且在实施了给定的图像显示处理之后发送到主体装置20侧,并显示于监视器。
姿势检测部17由检测施加于摄像装置10的加速度的三轴加速度传感器等构成,将根据摄像装置10的姿势检测出的X、Y、Z方向的各加速度分量提供给控制部11。另外,如上所述,摄像装置10的框体整体为箱型,将该框体的短边的方向设为X轴方向,将框体的长边的方向设为Y轴方向,将框体的厚度方向设为Z轴方向,控制部11对该X轴、Y轴、Z轴的加速度分量进行比较而检测摄像装置10的姿势(后面说明的第1姿势、第2姿势),并将该姿势信息从通信部14发送到主体装置20侧。
在图2(B)中,主体装置20构成数字摄像机的控制器,具有显示由摄像装置10拍摄的图像的再现功能,具备控制部21、电源部22、存储部23、通信部24、操作部25、触摸显示部26。控制部21通过来自电源部(二次电池)22的电力供给进行动作,并根据存储部23内的各种程序对该主体装置20的整体动作进行控制,在该控制部21设置有未图示的CPU(中央运算处理装置)、存储器等。存储部23例如是具有ROM、闪速存储器等的结构,具有储存有用于实现本实施方式的程序、各种应用程序等的程序存储器23A、临时存储该主体装置20进行动作所需的各种信息(例如,标志等)的工作存储器23B等。
通信部24与摄像装置10之间进行各种数据的收发。操作部25具备电源钮、释放钮、设定曝光、快门速度等拍摄条件的设定钮等按钮式的各种键,控制部21执行与来自该操作部25的输入操作信号相应的处理,或者对摄像装置10发送输入操作信号。触摸显示部26是在高精细液晶等显示器26A上层叠配置了触摸面板26B的结构,其显示画面为对实时取景图像(鱼眼图像)进行实时显示的监视器画面(实时取景画面),或者为对已拍摄图像进行再现的再现画面。
在主体装置20侧,控制部21使从摄像装置10接收的拍摄图像(鱼眼图像)显示于实时取景画面,或者基于从摄像装置10接收的姿势信息确定执行给定的处理的处理对象的区域,并且在实时取景画面上显示用于明示所确定的处理对象区域的框(矩形框)。即,在将拍摄图像中的不是沿着拍摄图像的周围的边缘部分的区域(不包括边缘部分的区域)设为第1区域并将包括该边缘部分的区域设为第2区域的情况下,控制部21基于摄像装置10的姿势信息确定第1区域和第2区域中的任一方,并在实时取景画面上显示用于明示该区域的范围的矩形框。
在本实施方式中,第2区域是包括沿着拍摄图像的周围的边缘部分的区域,意味着拍摄图像整体的区域(全视角的区域)。此外,在本实施方式中,上述的给定的处理意味着,从鱼眼图像截取其一部分的图像的修剪处理、对鱼眼图像的失真进行修正的失真修正处理、图像保存处理。另外,根据处理对象区域的种类(是第1区域还是第2区域)来执行该给定的处理(例如,修剪处理),对此,将在后面进行详细说明。
图3和图4是例示了摄像装置10的各种姿势和以该姿势拍摄的图像的图。
图3(A)是示出摄像装置10的拍摄时的姿势为第1姿势的图,即,是示出配置在摄像装置10的正面中央部的鱼眼镜头16B的光轴方向与重力方向之间形成的角度以直角为基准在允许角度范围内的姿势的图。另外,图中用虚线表示的半球表示视角为大致180°的鱼眼镜头16B的拍摄范围(以下相同)。图3(B)是示出了以第1姿势使人物位于正中而进行拍摄的实时取景图像(鱼眼图像)的显示例的图,在该实时取景画面上重叠显示有用于明示执行给定的处理的处理对象的区域(第1区域)的矩形框(图中用虚线表示的框)。
图3(B)所示的第1区域的矩形框是将拍摄图像的一部分作为处理对象的范围的框,表示从拍摄图像截取该范围的图像时的截取范围。主体装置20侧的控制部21在从拍摄图像截取处理对象的区域(第1区域的矩形框)内的图像之后,实施对该截取的图像(鱼眼图像)的失真进行修正的处理。在该情况下,使用如下技术,即,将在假想球面模型上的任意的点相切的平面作为屏幕,并将假想球面模型上的点坐标变换为平面屏幕上的点,从而对鱼眼图像的失真进行修正,对鱼眼图像的失真进行修正的处理(鱼眼失真修正处理)利用的是在图像处理中通常使用的众所周知的技术,因此省略其具体的说明。控制部21对该修正图像进行显影处理,并且实施图像压缩处理而变换为文件形式,然后使存储部23的记录介质进行记录保存。
图3(C)是示出摄像装置10的拍摄时的姿势为第2姿势的图,即,是示出摄像装置10的鱼眼镜头16B的光轴方向相对于重力方向平行或者光轴方向与重力方向之间形成的角度以180°为基准在允许角度范围内的姿势的图。图3(D)是示出以第2姿势拍摄了楼群的实时取景图像(鱼眼图像)的显示例,在该实时取景画面上重叠显示有用于明示执行给定的处理的处理对象的区域(第2区域)的矩形框。图3(D)所示的第2区域的矩形框是将拍摄图像的整体(全视角)设为给定的处理的处理对象的范围的框,控制部21对拍摄图像的整体进行显影处理,并且实施图像压缩处理而变换为文件形式,然后使存储部23的记录介质进行记录保存。
图4是例示了在使摄像装置10保持第1姿势的状态下进一步使其框体绕光轴进行旋转而改变了其方向的情况和以该姿势拍摄的图像的图。
图4(A)示出与图3(A)同样的姿势(第1姿势),图4(B)示出与图3(B)同样的实时取景画面。在此,当将摄像装置10的连接部10a处于重力方向的方向作为通常的姿势(第1-1姿势:正立)时,图4(C)表示从该通常的方向(第1-1姿势)沿顺时针方向(图中为右方向)旋转了90°的情况下的姿势(第1-2姿势),图4(D)是例示了该旋转了90°的方向上的实时取景画面的图。在该情况下,虽然是第1姿势,但是如图4(D)所示,并不是将拍摄图像的中央部分作为处理对象区域,而是将拍摄图像的整体(全视角)作为处理对象区域,因此在实时取景画面上重叠显示第2区域的矩形框。控制部21对拍摄图像的整体进行显影处理,并且实施图像压缩处理而变换为文件形式,然后使存储部23的记录介质进行记录保存。
图4(E)示出从上述的通常的方向(第1-1姿势)沿逆时针方向(图中为左方向)旋转了90°的情况下的姿势(第1-3姿势),图4(F)示出该旋转了90°的方向上的实时取景画面。在该情况下,在实时取景画面上重叠显示用于明示第1区域的矩形框,但是,图4(B)所示的第1区域的矩形框是其横纵比为横4:纵3的标准尺寸的矩形框,相对于此,图4(F)所示的第1区域的矩形框是横纵比为横8:纵3的全景尺寸的矩形框。控制部21在从拍摄图像截取处理对象的区域(第1区域的矩形框)内的图像(全景尺寸的图像)之后,实施对该截取的图像(鱼眼图像)的失真进行修正的处理。然后,对该修正图像进行显影处理,并且实施图像压缩处理而变换为文件形式,然后使存储部23的记录介质进行记录保存。
接着,参照图5和图6所示的流程图对第1实施方式中的图像处理装置(数字摄像机)的动作概念进行说明。在此,在这些流程图中记载的各功能以可读的程序代码的形式进行保存,并按照该程序代码依次执行动作。此外,也可以按照经由网络等传输介质传输过来的上述的程序代码依次执行动作。这在后面说明的其它实施方式中也是同样的,除了记录介质以外,还能够利用经由传输介质进行外部供给的程序/数据来执行本实施方式特有的动作。另外,图5和图6是示出主体装置20侧的整体动作中的第1实施方式的特征部分的动作概要的流程图,跳出该图5和图6的流程时,将返回到整体动作的主流程(省略图示)。
图5和图6是用于说明在切换到拍摄模式时开始执行的主体装置20侧的动作(第1实施方式的特征性的动作)的流程图。
首先,主体装置20侧的控制部21开始进行将从摄像装置10获取的图像作为实时取景图像显示在触摸显示部26的动作(图5的步骤A1),并且从摄像装置10的姿势检测部17获取姿势信息(步骤A2),判别是第1姿势还是第2姿势(步骤A3)。
现在,如果是如图3(A)所示的第1姿势(步骤A3),则进一步基于该姿势信息判别摄像装置10的框体(摄像机框体)的旋转状态(步骤A4)。即,判别在第1姿势的状态下该摄像机框体被旋转的情况下的方向,如果是如图4(A)所示的通常的姿势(第1-1姿势),则转到步骤A6,将标准尺寸(横4:纵3)展开用的第1区域(中央部分的区域)确定为针对拍摄图像的处理对象区域。此外,如果是如图4(C)所示地从通常的方向沿顺时针方向旋转了90°的情况下的姿势(第1-2姿势),则转到步骤A7,为了将拍摄图像的整体(全视角)作为处理对象区域而确定全视角展开用的第2区域。
此外,如果是如图4(E)所示地从通常的方向沿逆时针方向旋转了90°的情况下的姿势(第1-3姿势),则转到步骤A5,将全景尺寸(横8:纵3)展开用的第1区域(中央部分的区域和一部分的周边区域)确定为针对拍摄图像的处理对象区域。像这样,在第1姿势的情况下,进一步根据该摄像机框体的旋转状态将第1区域或第2区域确定为处理对象区域。然后,如图4(B)、(D)、(F)所示,在实时取景画面上重叠显示用于明示所确定的区域的矩形框(步骤A8)。
然后,转到图6的步骤A9,检查是否进行了指示拍摄的操作(释放键操作),如果未进行拍摄指示操作(步骤A9中为“否”),则返回到图5的步骤A2,以下,重复进行一边获取姿势信息一边根据该姿势确定处理对象区域的处理,直至进行了拍摄指示操作为止。在此,当进行了拍摄指示操作时(步骤A9中为“是”),从摄像装置10接受该拍摄指示操作时的拍摄图像(鱼眼图像)(步骤A10),并从该鱼眼图像获取处理对象区域内的图像(第1区域或第2区域内的图像)(步骤A11)。
即,在像图5的步骤A5或步骤A6那样确定了第1区域的情况下,进行从鱼眼图像获取(截取)该第1区域内的图像的处理。例如,在步骤A6的情况下,作为第1区域内的图像而截取标准尺寸展开用的图像,但是在步骤A5的情况下,作为第1区域内的图像而截取全景尺寸展开用的图像。此外,在像图5的步骤A7所示的那样确定了第2区域的情况下,不进行图像的截取处理,获取鱼眼图像的整体(全视角)作为处理对象。
对由此获取的图像进行修正其失真的处理,并且实施显影处理和图像压缩处理而变换为文件形式,然后使存储部23的记录介质进行记录保存(步骤A12)。然后,检查是否解除了拍摄模式(步骤A13),如果保持着拍摄模式的状态(步骤A13中为“否”),则返回到图5的步骤A1,以下,重复上述的动作,但是在解除了拍摄模式的情况下(步骤A13中为“是”),跳出图5和图6的流程。
另一方面,在像图3(C)所示的那样是第2姿势的情况下(图5的步骤A3),转到图6的步骤A14,为了将拍摄图像的整体(全视角)作为处理对象,确定全视角展开用的第2区域。然后,如图3(D)所示,在实时取景画面上重叠显示用于明示该第2区域的矩形框(步骤A15),然后检查是否进行了指示拍摄的操作(释放键操作)(步骤A16),如果未进行拍摄指示操作(步骤A16中为“否”),则返回到图5的步骤A2,以下,重复进行一边获取姿势信息一边根据该姿势确定处理对象区域的处理,直至进行了拍摄指示操作为止。
在此,当进行了拍摄指示操作时(步骤A16中为“是”),从摄像装置10接受该拍摄指示操作时的拍摄图像(鱼眼图像)(步骤A17),并从该鱼眼图像获取全视角图像作为处理对象区域内的图像(步骤A18)。然后,对获取的图像实施失真修正处理、显影处理、图像压缩处理而变换为文件形式,然后使存储部23的记录介质进行记录保存(步骤A12)。然后,检查是否解除了拍摄模式(步骤A13),直至解除了拍摄模式为止,返回到图5的步骤A1,以下,重复上述的动作。
如上所述,第1实施方式的数字摄像机具备摄像装置10和主体装置20,在将从摄像装置10获取的拍摄图像中的不是沿着该拍摄图像的周围的边缘部分的区域作为第1区域、将包括该边缘部分的区域作为第2区域,并对第1区域和第2区域中的任一方进行给定的处理的情况下,主体装置20基于摄像装置10的姿势来确定是将第1区域作为给定的处理的对象,还是将第2区域作为给定的处理的对象,因此无需由用户进行繁杂的操作即可容易且合适地确定执行合适的处理的区域。即,对用户而言,能够在拍摄时不进行麻烦的操作而仅通过以适合所希望的构图的自然的姿势进行拍摄即可容易且合适地确定执行处理的区域。
主体装置20基于由摄像装置10的姿势检测部17检测出的姿势信息将第1区域和第2区域中的任一方确定为处理对象,因此能够根据以高精度检测出的姿势准确地确定处理对象的区域。
如果摄像装置10的光轴方向与重力方向之间形成的角度以直角为基准在允许角度范围内(如果是第1姿势),则主体装置20将第1区域确定为处理对象,因此在进行与背景相比更重视所希望的被摄体的拍摄的情况下,用户只需使摄像装置10为第1姿势并使该被摄体位于视角的正中,就能够将适合该被摄体拍摄的第1区域作为处理对象。
在摄像装置10为第1姿势的情况下,主体装置20进一步根据摄像装置10的框体的旋转状态将不同的形状的第1区域确定为处理对象,因此对于用户而言,即使是相同的第1姿势,也能够仅通过使框体旋转而改变其方向,从而将形状不同的第1区域例如标准尺寸的区域或全景尺寸的区域作为处理对象。
在摄像装置10为第1姿势的情况下,主体装置20进一步根据摄像装置10的框体的旋转状态将第2区域确定为处理对象,因此对于用户而言,即使是保持相同的第1姿势的状态,也能够仅通过使框体旋转而改变其方向,从而将第1区域或第2区域作为处理对象。
如果摄像装置10的光轴方向与重力方向之间形成的角度以180°为基准在允许角度范围内(如果是第2姿势),则主体装置20将第2区域确定为处理对象,因此在进行宽范围的拍摄的情况下,用户仅通过使摄像装置10为第2姿势,就能够将适合该宽范围拍摄的第2区域作为处理对象。
主体装置20将从摄像装置10获取的图像作为实时取景图像进行显示,并且从摄像装置10获取姿势检测部17的检测结果(姿势信息)来判别摄像装置10的姿势,并显示对根据该姿势确定的第1区域或第2区域进行明示的框,因此对用户而言,能够容易地识别所确定的区域。
在将第1区域确定为处理对象的情况下,主体装置20进行从拍摄图像之中截取该第1区域内的图像并进行记录的处理,在将第2区域确定为处理对象的情况下,主体装置20进行对拍摄图像的整体进行记录保存的处理,因此能够根据摄像装置10的姿势容易且合适地控制是对拍摄图像的整体进行记录保存还是对其一部分进行记录。
在将第1区域确定为处理对象的情况下,主体装置20进行从拍摄图像之中截取该第1区域内的图像的处理,因此在进行为了与背景相比更重视所希望的被摄体而使该被摄体位于正中的拍摄的情况下,能够截取拍摄有该被摄体的区域。
主体装置20进行获取由鱼眼镜头16B拍摄的图像并对确定为处理对象的区域内的图像的失真进行修正的处理,因此即使是用鱼眼镜头16B拍摄的图像,也能够对其失真进行修正。
主体装置20对确定的区域内的图像进行全景展开,因此能够根据摄像装置10的姿势得到全景图像。
<变形例1>
另外,在上述的第1实施方式中,示出了主体装置20对基于摄像装置10的姿势从拍摄图像中确定为处理对象的区域内的图像进行记录保存的情况,但是也可以显示确定为处理对象的区域内的图像,或者经由通信单元将其发送到其它外部设备(例如,外部显示装置)。由此,对用户而言,通过显示,能够容易地确认处理对象的区域内的图像。
在上述的第1实施方式中,示出了应用于能够分离为摄像装置10和主体装置20的分离型数字摄像机的情况,但是也可以应用于将它们一体化的数字紧凑型摄像机等。
此外,虽然在上述的实施方式中例示了拍摄静止图像的情况,但是在拍摄动态图像的情况下也能够同样地进行应用。在此,在将第1区域确定为处理对象区域的情况下,作为该动态图像的标准尺寸,例如只要截取纵横比为横16×纵9的区域即可。
(第2实施方式)
以下,参照图7~图11对本发明的第2实施方式进行说明。
另外,在上述的第1实施方式中,应用于能够分离为摄像装置10和主体装置20的分离型数字摄像机,主体装置20对基于拍摄时的摄像装置10的姿势从拍摄图像之中确定为处理对象的区域内的图像进行记录保存,但是在该第2实施方式中,作为图像处理装置应用于笔记本型PC(个人计算机)30,在获取并显示由摄像装置(数字摄像机)40拍摄的已拍摄图像(保存图像)的情况下,该PC对基于拍摄时的摄像机的姿势从拍摄图像之中确定为处理对象(显示对象)的区域(第1区域、第2区域)内的图像进行显示。另外,在该第2实施方式中也与第1实施方式同样地,第1区域是并非边缘部分的区域,第2区域意味着包括边缘部分的区域。
图7是示出图像处理装置(PC)30和摄像装置(数字摄像机)40的结构的框图。
PC30和摄像机40是与第1实施方式所示的摄像装置10和主体装置20基本相同的结构,因此省略其详细的说明。图7(A)示出PC30的结构,PC30具备控制部31、电源部32、存储部33、通信部34、操作部35、显示部36。图7(B)示出摄像机40的结构,摄像机40具备控制部41、电源部42、存储部43、通信部44、操作部45、带鱼眼镜头的摄像部46、姿势检测部47。
图8(A)示出在第1姿势下使人物位于视角的正中而进行拍摄的已拍摄图像(保存图像:鱼眼图像),第1姿势是摄像机40的正面方向(鱼眼镜头的光轴方向)与重力方向之间形成的角度以直角为基准在允许角度范围内的姿势。图中,粗的虚线矩形示出根据第1姿势在保存图像上确定的区域,即,示出确定为执行给定的处理(显示处理)的处理对象区域(显示区域)的第1区域。进而,在该第1区域内,配置为包围各人物的面部的细的虚线矩形将人物的面部作为特定被摄体,因此PC30识别该第1区域内的特定被摄体,并使保存图像上的第1区域的配置位置移动,使得该特定被摄体配置在第1区域的中心部分。图8(B)示出PC30侧的再现画面,示出对从图8(A)所示的鱼眼图像的第1区域内截取的图像修正了其失真的图像。
图9(A)示出在第2姿势下包含附近的人物而拍摄的已拍摄图像(保存图像:鱼眼图像),第2姿势是摄像机40的正面方向(鱼眼镜头的光轴方向)与重力方向之间形成的角度以180°为基准在允许角度范围内的姿势。图中,虚线矩形示出根据第2姿势在保存图像上确定的区域,即,示出确定为执行给定的处理(显示处理)的处理对象区域(显示区域)的第2区域。在第1实施方式的情况下,将该第2区域设为包括鱼眼图像的周边部的区域(鱼眼图像的全视角),但是在第2实施方式中,示出将该第2区域设为鱼眼图像上的一部分的周边区域(圆弧状的区域)的情况。图9(B)示出PC30侧的再现画面,示出了对从图9(A)所示的鱼眼图像的第2区域内截取的图像修正了其失真的全景图像。
图10是示出在摄像机40中根据拍摄指示操作而开始执行的动作(第2实施方式的特征性的动作)的流程图。
首先,摄像机40侧的控制部41对由摄像部46拍摄的图像实施显影处理和图像压缩处理而变换为文件形式(步骤B1),并获取该处理后的拍摄图像(步骤B2)。然后,从姿势检测部47获取拍摄时的摄像机40的姿势(步骤B3),在将该姿势信息附加为拍摄图像的EXIF信息(步骤B4)之后,使存储部23的记录介质对该带姿势信息的拍摄图像进行记录保存(步骤B5)。
图11是示出在PC30中进行图像再现时的动作(第2实施方式的特征性的动作)的流程图。
首先,PC30侧的控制部31在经由通信单元或记录介质(SD卡、USB存储器等)导入了由摄像机40拍摄的图像(鱼眼图像)的状态下从中获取通过用户操作选择为显示对象的鱼眼图像(步骤C1),并且获取作为EXIF信息附加于该获取的鱼眼图像的姿势信息(步骤C2)。
然后,转到基于该姿势信息确定鱼眼图像内的显示对象区域(第1区域、第2区域)的处理,但是在此之前,检查是否通过用户操作选择了显示对象区域(步骤C3)。即,在第2实施方式中,除了与上述的第1实施方式同样地根据姿势信息自动地确定显示对象区域以外,还能够将通过用户操作选择的区域确定为显示对象区域,如果未通过用户操作选择处理对象区域(步骤C3中为“否”),则与第1实施方式同样地,基于姿势信息判别是第1姿势或者是第2姿势,如果是第1姿势,则自动地将第1区域确定为处理对象区域(显示对象区域),如果是第2姿势,则自动地将第2区域确定为处理对象区域(显示对象区域)(步骤C6)。
另一方面,在通过用户操作任意地选择了处理对象区域(显示对象区域)的情况下(步骤C3中为“是”),对该由用户选择的区域和预先设定的限制区域进行比较(步骤C4)。在此,限制区域是指,在通过用户操作选择的区域对于摄像机40的姿势而言不相称的情况下为了限制该区域而预先设定的区域。例如,在图4(F)中,全景展开用的区域被设定为与第1姿势对应的处理对象区域。在全景展开中,虽然在人物拍摄在鱼眼图像内的正中的情况下没有问题,但是在拍摄在周边的情况下,该人物的失真很大。因此,在摄像机40为了进行全景展开而处于第1姿势的情况下,图像的边缘部分成为限制区域。
现在,检查对由用户选择的区域和限制区域进行比较的结果由用户选择的区域是否属于限制区域(步骤C5),在属于限制区域的情况下(步骤C5中为“是”),为了使该选择无效而返回到上述的步骤C3,但是如果不属于限制区域(步骤C5中为“否”),则将该由用户选择的第1区域或第2区域确定为显示对象区域(步骤C7)。此后,检查像上述那样确定的区域是否为第1区域(步骤C8),如果是第1区域(步骤C8中为“是”),则对该第1区域内进行分析,识别是否拍摄有与第1区域建立对应而预先设定的特定的被摄体,例如,人物的面部、菜肴等(步骤C9)。同样地,如果是第2区域(步骤C8中为“否”),则对第2区域内进行分析,识别是否拍摄有与第2区域建立对应而预先设定的特定的被摄体,例如,人物的面部等(步骤C10)。
如果其结果是在第1区域或第2区域内未拍摄到特定被摄体(步骤C11中为“否”),则转到显示该确定区域内的图像的处理(步骤C13),如果拍摄有特定被摄体(步骤C11中为“是”),则检测鱼眼图像上的特定被摄体的位置,并进行使第1区域或第2区域移动使得第1区域或第2区域的中心位于该检测位置的位置调整处理(步骤C12)。此后,转到图像显示处理(步骤C13)。在该步骤C13中,对第1区域或第2区域内的图像进行处理并显示于显示部36。例如,在确定了第1区域的情况下,如图8(B)所示,从鱼眼图像截取第1区域内的图像(标准尺寸的图像),并对该图像的失真进行修正,然后进行放大显示。此外,在确定了第2区域的情况下,像图9(B)所示的那样从鱼眼图像截取第2区域内的图像(全景尺寸的图像)并对该图像的失真进行修正,然后进行放大显示。
如上所述,在第2实施方式中,在获取在摄像装置(摄像机)40的拍摄时附加了表示其姿势的信息的拍摄图像并对该拍摄图像进行给定的处理的情况下,图像处理装置(PC)30基于该姿势信息确定是将第1区域作为给定的处理的对象还是将第2区域作为给定的处理的对象,因此,无需由用户进行繁杂的操作就能够容易且合适地确定执行合适的处理的区域。
如果是摄像装置40的光轴方向与重力方向之间形成的角度以直角为基准在允许角度范围内的姿势(第1姿势),则PC30将该第1区域确定为给定的处理的对象,因此用户在进行与背景相比更重视所希望的被摄体的拍摄的情况下,只要将摄像装置40设为第1姿势并使该被摄体位于视角的正中即可,能够将适合该被摄体拍摄的第1区域作为处理对象。
如果是摄像装置40的光轴方向与重力方向之间形成的角度以180°为基准在允许角度范围内的姿势(第2姿势),则PC30将该第2区域确定为给定的处理的对象,因此用户在进行宽范围的拍摄的情况下只要将摄像装置40设为第2姿势即可,能够将适合该宽范围拍摄的第2区域作为处理对象。
在将第1区域确定为处理对象区域的情况下,PC30进行从拍摄图像之中截取该第1区域内的图像的处理,因此,在进行为了与背景相比更重视所希望的被摄体而使该被摄体位于视角的正中的拍摄的情况下,能够截取拍摄有该被摄体的区域。
PC30获取由鱼眼镜头16B拍摄的图像,并进行对确定为处理对象的区域内的图像的失真进行修正的处理,因此,即使是用鱼眼镜头16B拍摄的图像,也能对其失真进行修正。
PC30对确定的区域内的图像进行全景展开,因此能够根据摄像装置10的姿势得到全景图像。
在通过用户操作选择了处理对象区域的情况下,在该被选择的区域对摄像机姿势而言不是不相称的区域的条件下,PC30将该区域确定为该姿势的处理对象,因此在将通过用户操作选择的区域确定为处理对象的情况下,能够排除对摄像机姿势而言不相称的区域的确定,能够只确定适合于摄像机姿势的区域。
PC30对确定为处理对象的区域内包括的特定的被摄体的位置进行识别,并配合该被摄体的位置使该区域移动,因此只要预先将人物的面部等设定为特定的被摄体,就能够容易地得到以人物的面部为中心的图像。
<变形例2>
另外,在上述的第2实施方式中示出了PC30显示基于摄像机姿势从拍摄图像中确定为处理对象的区域内的图像的情况,但是也可以经由通信单元将确定为处理对象的区域内的图像发送到其它外部设备(例如,外部显示装置)。
在上述的第2实施方式中,根据特定被摄体的位置对确定区域的位置进行了调整,但是也可以省略该位置调整处理(图11的步骤C8~C12)。
<变形例3>
在上述的第2实施方式中,在通过用户操作选择了处理对象区域的情况下,在该被选择的区域对于摄像机姿势而言不是不相称的限制区域的条件下,将该区域确定为该姿势的处理对象,也可以将其同样地应用于第1实施方式。
<变形例4>
在上述的第2实施方式中,识别确定为处理对象的区域内包括的特定的被摄体的位置并配合该被摄体的位置使该区域移动,也可以将其同样地应用于第1实施方式。
虽然在上述的各实施方式中根据摄像机姿势(第1姿势、第2姿势)将第1区域和第2区域中的任一方确定为处理对象,但是并不限于这两种姿势和这两种区域,例如,也可以根据第三姿势将第三区域确定为处理对象。在该情况下,可以使第1区域为图像的中央部分,使第2区域为图像的边缘部分,使第三区域为图像的中央部分与边缘部分的中间部分的区域。此外,区域的形状也不限于矩形,还可以是三角形、椭圆等。
此外,作为给定的处理,不限于截取鱼眼图像的一部分的处理、对失真进行修正的处理、对图像进行记录保存的处理、显示图像的处理,例如,也可以是实施对比度/模糊/锐度等的特殊效果的图像处理。
此外,在上述的各实施方式中,作为图像处理装置,不限于数字摄像机、笔记本型PC,例如也可以是PDA(面向个人的便携型信息通信设备)、平板终端装置、智能电话等便携式电话机、电子游戏机、音乐播放器等。
在上述的各实施方式中示出的“装置”、“部”也可以按功能分离为多个框体,并不限于单个框体。此外,在上述的流程图记载的各步骤不限于时序上的处理,可以并行地处理多个步骤,或者也可以独立地另行处理。
另外,虽然在本实施方式中将鱼眼图像作为对象进行了说明,但是并不特别限定于此,也可以应用于通常的图像、广角图像。
以上对本发明的实施方式进行了说明,但是本发明不限定于此,包括权利要求书记载的发明及其等同的范围。
Claims (15)
1.一种图像处理装置,其特征在于,具备:
处理单元,将由拍摄单元获取的拍摄图像中的不是沿着该拍摄图像的周围的边缘部分的区域作为第1区域,将包括所述边缘部分的区域作为第2区域,并对所述第1区域和第2区域中的任一方进行给定的处理;以及
确定单元,基于所述拍摄单元获取了所述拍摄图像时的姿势信息,确定是将所述第1区域作为所述给定的处理的对象,还是将所述第2区域作为所述给定的处理的对象。
2.根据权利要求1所述的图像处理装置,其特征在于,
还具备:检测单元,检测表示所述拍摄单元的姿势的姿势信息,
所述确定单元基于由所述检测单元检测出的姿势信息,确定是将所述第1区域作为所述给定的处理的对象,还是将所述第2区域作为所述给定的处理的对象。
3.根据权利要求1所述的图像处理装置,其特征在于,
具备:获取单元,获取附加了姿势信息的拍摄图像,所述姿势信息表示所述摄像单元的拍摄时的姿势,
所述确定单元基于附加于由所述获取单元获取的拍摄图像的姿势信息,确定是将所述第1区域作为所述给定的处理的对象,还是将所述第2区域作为所述给定的处理的对象。
4.根据权利要求1所述的图像处理装置,其特征在于,
所述确定单元在基于所述姿势信息而判断为所述拍摄单元为第1姿势的情况下,将所述第1区域确定为所述给定的处理的对象,所述第1姿势是所述拍摄单元的光轴方向与重力方向之间形成的角度以直角为基准在允许角度范围内的姿势。
5.根据权利要求4所述的图像处理装置,其特征在于,
所述确定单元在基于所述姿势信息而判断为所述拍摄单元处于所述第1姿势的情况下,基于获取了所述拍摄图像时的所述拍摄单元的旋转状态,将第1形状的所述第1区域和第2形状的所述第1区域中的任一方确定为所述给定的处理的对象。
6.根据权利要求4所述的图像处理装置,其特征在于,
所述确定单元在基于所述姿势信息而判断为所述拍摄单元处于所述第1姿势的情况下,基于获取了所述拍摄图像时的所述拍摄单元的旋转状态,将第1形状的所述第1区域和第2形状的所述第1区域中的任一方确定为所述给定的处理的对象,或者将所述第2区域确定为所述给定的处理的对象。
7.根据权利要求1至6中的任一项所述的图像处理装置,其特征在于,
所述确定单元在基于所述姿势信息而判断为所述拍摄单元为第2姿势的情况下,将所述第2区域确定为所述给定的处理的对象,所述第2姿势是所述拍摄单元的光轴方向与重力方向之间形成的角度以180°为基准在允许角度范围内的姿势。
8.根据权利要求3所述的图像处理装置,其特征在于,还具备:
显示单元,显示由所述获取单元所获取的拍摄图像;以及
显示控制单元,将由所述确定单元确定的区域识别显示于所述显示单元。
9.根据权利要求3所述的图像处理装置,其特征在于,
所述处理单元进行对由所述确定单元确定为给定的处理对象的区域内的图像的失真进行修正的处理。
10.根据权利要求3所述的图像处理装置,其特征在于,
所述处理单元进行将由所述确定单元确定的区域内的图像进行全景展开的处理作为所述给定的处理。
11.根据权利要求1所述的图像处理装置,其特征在于,
在通过用户操作将所述第1区域和所述第2区域中的任一方选择为所述给定的处理的对象的情况下,在该被选择的区域对于所述姿势而言不是不相称的区域的条件下,所述确定单元将该区域确定为该姿势的处理对象。
12.一种图像处理方法,是图像处理装置中的图像处理方法,其特征在于,包括:
将由拍摄单元获取的拍摄图像中的不是沿着该拍摄图像的周围的边缘部分的区域作为第1区域,将包括所述边缘部分的区域作为第2区域,并对所述第1区域和第2区域中的任一方进行给定的处理的步骤;以及
基于所述拍摄单元获取了所述拍摄图像时的姿势信息,确定是将所述第1区域作为所述给定的处理的对象,还是将所述第2区域作为所述给定的处理的对象的步骤。
13.根据权利要求12所述的图像处理方法,其特征在于,包括:
获取表示第1姿势或第2姿势的所述姿势信息的步骤,所述第1姿势是所述拍摄单元的光轴方向与重力方向之间形成的角度以直角为基准在允许角度范围内的姿势,所述第2姿势是所述拍摄单元的光轴方向与重力方向之间形成的角度以180°为基准在允许角度范围内的姿势;以及
在作为所述姿势信息获取了所述第1姿势的情况下,将所述拍摄图像中的第1区域确定为给定的处理的对象,此外,在作为所述姿势信息获取了所述第2姿势的情况下,将所述拍摄图像中的所述第2区域确定为所述给定的处理的对象的步骤。
14.一种计算机可读的记录介质,其存储有程序,特征在于,
使图像处理装置的计算机实现如下功能:将由拍摄单元获取的拍摄图像中的不是沿着该拍摄图像的周围的边缘部分的区域作为第1区域,将包括所述边缘部分的区域作为第2区域,并对所述第1区域和第2区域中的任一方进行给定的处理,
基于所述拍摄单元获取了所述拍摄图像时的姿势信息,确定是将所述第1区域作为所述给定的处理的对象,还是将所述第2区域作为所述给定的处理的对象。
15.根据权利要求14所述的记录介质,其特征在于,
使所述计算机实现获取表示第1姿势或第2姿势的所述姿势信息的功能,所述第1姿势是所述拍摄单元的光轴方向与重力方向之间形成的角度以直角为基准在允许角度范围内的姿势,所述第2姿势是所述拍摄单元的光轴方向与重力方向之间形成的角度以180°为基准在允许角度范围内的姿势,
在作为所述姿势信息而获取了所述第1姿势的情况下,将所述拍摄图像中的第1区域确定为给定的处理的对象,此外,在作为所述姿势信息而获取了所述第2姿势的情况下,将所述拍摄图像中的所述第2区域确定为所述给定的处理的对象。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-049151 | 2016-03-14 | ||
JP2016049151A JP6942940B2 (ja) | 2016-03-14 | 2016-03-14 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107197137A true CN107197137A (zh) | 2017-09-22 |
CN107197137B CN107197137B (zh) | 2020-06-19 |
Family
ID=59787346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710133203.1A Active CN107197137B (zh) | 2016-03-14 | 2017-03-07 | 图像处理装置、图像处理方法以及记录介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10237495B2 (zh) |
JP (1) | JP6942940B2 (zh) |
CN (1) | CN107197137B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111212220A (zh) * | 2018-11-22 | 2020-05-29 | 柯尼卡美能达株式会社 | 保存有图像处理程序的记录介质以及图像处理装置 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107689027A (zh) * | 2016-08-04 | 2018-02-13 | 松下电器(美国)知识产权公司 | 注释赋予方法、注释赋予系统以及存储有程序的记录介质 |
US10200672B2 (en) * | 2016-08-17 | 2019-02-05 | Nextvr Inc. | Methods and apparatus for capturing images of an environment |
JP6808595B2 (ja) | 2017-09-01 | 2021-01-06 | クラリオン株式会社 | 車載装置、インシデント監視方法 |
JP2019062448A (ja) * | 2017-09-27 | 2019-04-18 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7182953B2 (ja) * | 2017-12-25 | 2022-12-05 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
US10937124B2 (en) | 2017-12-25 | 2021-03-02 | Canon Kabushiki Kaisha | Information processing device, system, information processing method, and storage medium |
JP6688277B2 (ja) * | 2017-12-27 | 2020-04-28 | 本田技研工業株式会社 | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 |
JP2020015372A (ja) * | 2018-07-24 | 2020-01-30 | 株式会社デンソーテン | 画像処理装置および画像処理方法 |
JP7192582B2 (ja) * | 2019-03-11 | 2022-12-20 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050179784A1 (en) * | 2004-02-13 | 2005-08-18 | Yingyong Qi | Adaptive image stabilization |
WO2007055336A1 (ja) * | 2005-11-11 | 2007-05-18 | Sony Corporation | 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置 |
JP2007306353A (ja) * | 2006-05-12 | 2007-11-22 | Opt Kk | 動画の表示方法、動画表示システムおよび広角動画撮像装置 |
CN101859376A (zh) * | 2010-06-02 | 2010-10-13 | 北京交通大学 | 基于鱼眼摄像头的人体检测系统 |
JP2012169723A (ja) * | 2011-02-10 | 2012-09-06 | Panasonic Corp | 表示装置及びコンピュータプログラム |
CN103996172A (zh) * | 2014-05-08 | 2014-08-20 | 东北大学 | 一种基于多步校正的鱼眼图像校正方法 |
CN104811602A (zh) * | 2014-01-24 | 2015-07-29 | 维科技术有限公司 | 移动终端的自拍方法及其装置 |
US20150341536A1 (en) * | 2014-05-23 | 2015-11-26 | Mophie, Inc. | Systems and methods for orienting an image |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000106623A (ja) | 1998-07-27 | 2000-04-11 | Fuji Photo Film Co Ltd | 画像処理装置 |
JP4667508B2 (ja) * | 2006-09-20 | 2011-04-13 | 富士通株式会社 | 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム |
JP5341655B2 (ja) | 2009-07-28 | 2013-11-13 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2011114496A (ja) | 2009-11-25 | 2011-06-09 | Olympus Imaging Corp | 撮像装置 |
JP2013153813A (ja) * | 2012-01-27 | 2013-08-15 | Olympus Corp | 内視鏡装置、画像処理方法及びプログラム |
JP2013214947A (ja) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
JP5872415B2 (ja) * | 2012-08-08 | 2016-03-01 | 株式会社Nttドコモ | 表示端末、操作受付方法及びプログラム |
JP6179975B2 (ja) * | 2013-03-28 | 2017-08-16 | Necエンベデッドプロダクツ株式会社 | バックモニターカメラ、車両、バックモニターシステム及びバックモニター方法 |
JP2014220736A (ja) | 2013-05-10 | 2014-11-20 | 株式会社ニコン | 電子機器 |
FR3041134B1 (fr) * | 2015-09-10 | 2017-09-29 | Parrot | Drone avec camera a visee frontale dont les parametres de controle, notamment l'autoexposition, sont rendus independant de l'attitude. |
US9961297B2 (en) * | 2015-12-26 | 2018-05-01 | Intel Corporation | Method and system of rotation of video frames for displaying a video |
-
2016
- 2016-03-14 JP JP2016049151A patent/JP6942940B2/ja active Active
-
2017
- 2017-02-21 US US15/437,486 patent/US10237495B2/en active Active
- 2017-03-07 CN CN201710133203.1A patent/CN107197137B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050179784A1 (en) * | 2004-02-13 | 2005-08-18 | Yingyong Qi | Adaptive image stabilization |
WO2007055336A1 (ja) * | 2005-11-11 | 2007-05-18 | Sony Corporation | 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置 |
JP2007306353A (ja) * | 2006-05-12 | 2007-11-22 | Opt Kk | 動画の表示方法、動画表示システムおよび広角動画撮像装置 |
CN101859376A (zh) * | 2010-06-02 | 2010-10-13 | 北京交通大学 | 基于鱼眼摄像头的人体检测系统 |
JP2012169723A (ja) * | 2011-02-10 | 2012-09-06 | Panasonic Corp | 表示装置及びコンピュータプログラム |
CN104811602A (zh) * | 2014-01-24 | 2015-07-29 | 维科技术有限公司 | 移动终端的自拍方法及其装置 |
CN103996172A (zh) * | 2014-05-08 | 2014-08-20 | 东北大学 | 一种基于多步校正的鱼眼图像校正方法 |
US20150341536A1 (en) * | 2014-05-23 | 2015-11-26 | Mophie, Inc. | Systems and methods for orienting an image |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111212220A (zh) * | 2018-11-22 | 2020-05-29 | 柯尼卡美能达株式会社 | 保存有图像处理程序的记录介质以及图像处理装置 |
CN111212220B (zh) * | 2018-11-22 | 2022-03-15 | 柯尼卡美能达株式会社 | 保存有图像处理程序的记录介质以及图像处理装置 |
CN111212220B9 (zh) * | 2018-11-22 | 2022-04-12 | 柯尼卡美能达株式会社 | 保存有图像处理程序的记录介质以及图像处理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20170264832A1 (en) | 2017-09-14 |
JP6942940B2 (ja) | 2021-09-29 |
JP2017168882A (ja) | 2017-09-21 |
US10237495B2 (en) | 2019-03-19 |
CN107197137B (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107197137A (zh) | 图像处理装置、图像处理方法以及记录介质 | |
CN108377334B (zh) | 短视频拍摄方法、装置及电子终端 | |
CN107079141B (zh) | 用于三维视频的图像拼接 | |
CN105659287B (zh) | 图像处理装置、图像处理方法和成像系统 | |
CN106534665B (zh) | 图像显示装置、图像显示方法以及存储介质 | |
JP6263623B2 (ja) | 画像生成方法及びデュアルレンズ装置 | |
CN103685917B (zh) | 图像处理器、图像处理方法和成像系统 | |
CN107018316B (zh) | 图像处理装置、图像处理方法以及存储介质 | |
CN106973228B (zh) | 一种拍摄方法及电子设备 | |
US9473725B2 (en) | Image-processing and encoded aperture pattern setting device and method, and image pickup device comprising same | |
CN110463176A (zh) | 图像质量评估 | |
CN107911621A (zh) | 一种全景图像的拍摄方法、终端设备以及存储介质 | |
JP2013179397A (ja) | 画像処理装置および画像処理方法 | |
CN107113376A (zh) | 一种图像处理方法、装置及摄像机 | |
US10440307B2 (en) | Image processing device, image processing method and medium | |
CN111246106B (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
JP2017017689A (ja) | 全天球動画の撮影システム、及びプログラム | |
CN104205825B (zh) | 图像处理装置及方法以及摄像装置 | |
CN104104870B (zh) | 拍摄控制方法、拍摄控制装置及拍摄设备 | |
KR20200087816A (ko) | 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기록 매체 | |
CN108184130B (zh) | 模拟器系统、直播方法、装置及存储介质 | |
JP5805013B2 (ja) | 撮像画像表示装置、撮像画像表示方法、プログラム | |
CN112116530B (zh) | 鱼眼图像畸变矫正方法、装置和虚拟显示系统 | |
JP5687670B2 (ja) | 表示制御システム、ゲームシステム、表示制御装置、及びプログラム | |
CN114339029A (zh) | 拍摄方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |