CN110506292A - 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序 - Google Patents

图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序 Download PDF

Info

Publication number
CN110506292A
CN110506292A CN201880024768.9A CN201880024768A CN110506292A CN 110506292 A CN110506292 A CN 110506292A CN 201880024768 A CN201880024768 A CN 201880024768A CN 110506292 A CN110506292 A CN 110506292A
Authority
CN
China
Prior art keywords
image
input picture
width
ratio
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880024768.9A
Other languages
English (en)
Inventor
大森圭祐
德井圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN110506292A publication Critical patent/CN110506292A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

图像处理装置(1)具备图像校正部(104)，所述图像校正部(104)对输入图像进行裁剪、旋转以及投影变换中的至少一种校正来生成输出图像，图像校正部(104)基于所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来进行所述校正。

Description

图像处理装置、摄像装置、终端装置、图像校正方法及图像处 理程序
技术领域
本发明涉及图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序。
背景技术
以往，存在通过图像处理进行图像的旋转和/或裁剪以校正为适当的图像的技术。通过该技术，例如，旋转该图像，以使图像中所包括的水平线与图像的横向平行，由此能校正为给予观看者具有稳定感的印象的图像。此外，例如，裁剪该图像，以使图像中所包括的关注被摄体移动至图像中的规定位置，由此能校正为给予观看者平衡良好的印象的图像。
作为如上所述的校正图像的技术，例如，存在专利文献1所记载的技术。专利文献1所记载的图像处理装置基于输入图像中关注的关注区域的数量和所述输入图像的场景，设定对应于输入图像的构图图案，以所设定的所述构图图案为基础，确定输入图像中的最佳的裁剪区域。由此，能裁剪最佳的构图的图像。
现有技术文献
专利文献
专利文献1：WO2010/027080号公报(2010年3月11日公开)
发明内容
发明要解决的问题
但是，如果能实现能生成适当的输出图像的新的图像处理装置，则将会是有用的。
本发明的一个方案是鉴于上述问题点而完成的，其目的在于实现一种能生成适当的输出图像的新的图像处理装置。
用于解决问题的方案
为了解决上述问题，本发明的一个方案的图像处理装置是如下构成：具备图像校正部，对输入图像进行裁剪、旋转以及投影变换中的至少一种校正来生成输出图像，所述图像校正部基于所述输入图像或输出图像的宽高比或拍摄所述输入图像时的摄像装置的朝向来进行所述校正。
发明效果
根据本发明的一个方案的图像处理装置，起到能够生成适当的输出图像这样的效果。
附图说明
图1是表示实施方式1的图像处理装置的主要部分构成的功能框图。
图2是说明实施方式1的图像处理装置的动作的一个示例的流程图。
图3是表示代表性构图的示例的图。
图4是表示输入图像以及从该输入图像裁剪出的输出图像的一个示例的图。
图5是表示输入图像以及从该输入图像裁剪出的输出图像的一个示例的图。
图6是表示宽高比为横向长的图像的图。
图7是表示宽高比为纵向长的图像的图。
图8是说明宽高比不同的图像中的切除宽度的限制的图。
图9是表示实施方式3的图像处理装置的主要部分构成的功能框图。
图10是说明实施方式3的图像处理装置的动作的一个示例的流程图。
图11是对宽高比与旋转的精度的关系进行说明的图。
图12是对宽高比与旋转量的关系进行说明的图。
图13是表示具备实施方式5的图像处理装置的摄像装置的主要部分构成的框图。
图14是说明实施方式5的图像处理装置的动作的一个示例的流程图。
图15是表示实施方式5的摄像装置的外观的图。
图16是说明拍摄者保持实施方式5的摄像装置来拍摄被摄体的情形的图。
图17是表示在图16的(a)或(b)所示的条件下对被摄体进行拍摄的情况下的拍摄图像的图。
图18是表示实施方式6的终端以及其主要部分构成的框图。
具体实施方式
〔实施方式1〕
以下，基于图1～图7对本发明的实施方式1的图像处理装置1进行详细说明。
(1.图像处理装置1的主要部分构成)
图1是表示本实施方式的图像处理装置1的主要部分构成的功能框图。图像处理装置1进行对输入至图像处理装置1的输入图像进行裁剪来校正构图的图像处理，生成校正后的图像(输出图像)。图像处理装置1与显示部2进行无线连接或有线连接。此外，虽省略了图示，但图像处理装置1和显示部2具备用于实现无线连接或有线连接的通信部或连接部。
图像处理装置1具备控制部10和存储部20。控制部10总括地控制图像处理装置1。
控制部10具备图像获取部101、宽高比信息获取部102以及图像校正部104。
图像获取部101获取输入图像。
宽高比信息获取部102获取与输入图像或输出图像的宽高比有关的信息。宽高比是图像的纵向的边与横向的边的长度的比，表示为纵向的边的长度:横向的边的长度或者表示为横向的边的长度:纵向的边的长度。需要说明的是，在本说明书中，宽高比是以图像的上下方向作为纵向，以图像的左右方向作为横向，并表示为横向的边的长度:纵向的边的长度。宽高比信息获取部102从图像获取部101获取到的输入图像来获取输入图像的宽高比信息。输出图像的宽高比既可以采用与输入图像相同的宽高比，也可以采用用户设定的宽高比。
需要说明的是，宽高比具有各种各样的种类，虽没有特别限定，但作为代表性的宽高比，已知有例如“4:3”、“3:2”、“1:1”、“16:9”、“21:9(7:3)”等。
图像校正部104从输入图像检测被摄体信息(例如，被摄体的代表位置)。然后，图像校正部104基于被摄体信息和由宽高比信息获取部102获取到的宽高比来校正输入图像，生成构图已被校正的输出图像。具体而言，图像校正部104根据所确定的构图来裁剪输入图像，由此生成校正为适当的构图的图像。需要说明的是，“被摄体的代表位置”是指被摄体中的任意一点的位置，例如，在被摄体为人物的情况下是人物的脸部，在被摄体为物体的情况下是物体的中心位置，在被摄体存在多个的情况下是关注被摄体的位置。
作为输入图像中的被摄体信息，可以举出例如人物的脸部等关注被摄体、输入图像中所包括的边缘和直线、亮度分布以及颜色分布等多方面的信息。例如，如果是在检测输入图像中的脸部作为输入图像中的被摄体信息的情况下，则能使用利用从输入图像检测到的肤色区域的信息等现有技术来检测输入图像中的被摄体信息。
此外，输入图像的被摄体信息也可以是从图像处理装置1的外部被输入至图像处理装置1的构成。例如，能采用如下构成：用户在显示于显示部2的输入图像上选择被摄体，所选择的被摄体的位置作为输入图像中的被摄体信息被输入至图像处理装置1。例如，在显示部2是触摸面板的情况下，用户能通过触摸触摸面板来选择被摄体。此外，用户也可以通过操作鼠标、键盘来选择输入图像中的被摄体。
存储部20例如存储由图像处理装置1执行的各种控制程序等，例如由硬盘、闪存等非易失性的存储装置构成。在存储部20中例如存储有输入图像和输出图像。此外，在存储部20中也可以存储有图像处理(构图校正处理)、被摄体的检测处理等图像处理装置1中的处理所需的参数等。(2.图像处理装置1的动作)
图2是对图像处理装置1的动作的一个示例进行说明的流程图。
(步骤S11)
首先，图像获取部101获取输入图像。图像获取部101将所获取到的输入图像提供给宽高比信息获取部102和图像校正部104。
(步骤S12)
接着，宽高比信息获取部102获取与输入图像或输出图像的宽高比有关的信息。宽高比信息获取部102将所获取到的宽高比信息提供给图像校正部104。
(步骤S13)
接着，图像校正部104从输入图像检测被摄体信息。
(步骤S14)
接着，图像校正部104基于在步骤S13中检测到的被摄体信息和在步骤12中获取到的宽高比信息从输入图像裁剪图像，生成构图被校正后的输出图像。
(步骤S15)
接着，图像校正部104将生成的输出图像输出至显示部2。
(3.校正的一个示例)
以下，对图像处理装置1的图像校正部104进行的校正进行具体说明。图像校正部104基于被摄体信息和输入图像或输出图像的宽高比，从输入图像裁剪图像，校正构图。在图像校正部104基于被摄体信息和宽高比来校正构图的情况下，在输入图像的宽高比与输出图像的宽高比相同的情况下，进行考虑了输入图像的宽高比(＝输出图像的宽高比)的构图校正，在输入图像的宽高比与输出图像的宽高比不同的情况下，进行考虑了输出图像的宽高比的构图校正。以下，对在输入图像的宽高比与输出图像的宽高比相同的情况，就是说，对考虑到输入图像的宽高比的构图校正进行具体说明。
(构图)
构图具有各种各样的种类。图3表示代表性的构图的示例。图3的(a)表示日之丸式构图(Centered Composition：中心构图)，图3的(b)表示三分法构图，图3的(c)表示对角线构图，图3的(d)表示对称构图。
图3的(a)的日之丸式构图是主要被摄体位于图像的中心的构图。图3的(b)的三分法构图是主要被摄体或主要的线(例如，水平线等)位于分别将图像的纵向和横向分割为三部分的线上或这些线的交点上的构图。图3的(c)的对角线构图是被摄体或直线等位于图像的对角线上的构图。图3的(d)的对称构图是以图像的中心线为边界呈线对称的构图。此外，虽未图示，但除此之外，还已知有包围主要被摄体的周围的边框构图、由其他的被摄体夹着主要被摄体的两侧的三明治构图、使主要被摄体以外变暗的隧道式构图以及具有消失点的放射式构图等。此外，图像中的水平线与图像的横向平行的构图也可以称为构图之一。这些构图不需要相互独立，也能采用组合了两种以上形成的构图。例如，可以采用日之丸式构图且对称构图那样的构图。
(基于构图的裁剪)
对从输入图像(拍摄图像)裁剪三分法构图的图像来生成输出图像的情况的示例进行说明。图4是表示输入图像(拍摄图像)以及从输入图像裁剪出的输出图像的一个示例的图。图4的(a)中表示的输入图像401是被摄体402的代表位置(具体而言，花的中心)位于图像的中央的日之丸式构图。输入图像401的宽高比为1:1。在从输入图像401裁剪三分法构图的图像的情况下，例如，图像401内由矩形的虚线包围的区域403为裁剪区域。裁剪区域403的宽高比与输出图像的宽高比相同，在该情况下为1:1。裁剪后的图像成为图4的(b)中表示的输出图像404。输出图像404成为被摄体402的代表位置位于图像的左上的三分割点上的构图。
另一方面，图4的(c)中表示的输入图像405与输入图像401相同，为被摄体402的代表位置(具体而言，花的中心)位于图像的中央的日之丸式构图。输入图像405的宽高比为16:9。在从像这样的输入图像405裁剪三分法构图的图像的情况下，例如，图像405内由矩形的虚线包围的区域406成为裁剪区域。裁剪区域406的宽高比与输出图像的宽高比相同，在该情况下为16:9。裁剪后的图像成为图4的(d)中表示的输出图像407。输出图像407与输出图像404相同，成为被摄体402的代表位置位于图像的左上的三分割点上的构图。
在一个方案中，图像校正部104以下述的方式裁剪如图4所示那样的被摄体位于左上的三分割点上的三分法构图的输出图像。图像校正部104在将输入图像的横向宽度设为w0、将纵向宽度设为h0、将输入图像中的被摄体的位置设为(x0，y0)、将裁剪区域的左上角的点设为(x1，y1)、将横向宽度设为w1、将纵向宽度设为h1时，以满足算式(1)～(4)的方式来确定x1、y1、w1、h1(均为0以上)，根据裁剪区域内的各像素的数据生成输出图像的数据。
x1+w1/3＝x0··· (1)
y1+h1/3＝y1··· (2)
x1+w1≤w0··· (3)
y1+h1≤h0··· (4)
接下来，对从输入图像(拍摄图像)裁剪日之丸式构图的图像来生成输出图像的情况的示例进行说明。图5是表示输入图像(拍摄图像)以及从输入图像裁剪出的输出图像的一个示例的图。图5的(a)中表示的输入图像501是被摄体502的代表位置(具体而言，花的中心)位于图像的中央的日之丸式构图。输入图像501的宽高比为1:1。在从输入图像501裁剪日之丸式构图的图像的情况下，例如，输入图像501内由矩形的虚线包围的区域503成为裁剪区域。裁剪区域503的宽高比与输出图像的宽高比相同，在该情况下为1:1。裁剪后的图像为图5的(b)中表示的输出图像504。输出图像504成为被摄体502的代表位置位于图像的中央的构图。
另一方面，图5的(c)中表示的输入图像505与输入图像501相同，为被摄体502的代表位置位于图像的中央的日之丸式构图。输入图像505的宽高比为16:9。在从输入图像505裁剪日之丸式构图的图像的情况下，例如，图像505内由矩形的虚线包围区域506成为裁剪区域。裁剪区域506的宽高比与输出图像的宽高比相同，在该情况下为16:9。裁剪后的图像成为图5的(d)中表示的输出图像507。输出图像507与输出图像504相同，成为被摄体502的代表位置位于图像的中央的构图。
在一个方案中，图像校正部104以下述的方式裁剪如图5所示的日之丸式构图的输出图像。图像校正部104在将输入图像的横向宽度设为w0、将纵向宽度设为h0、将输入图像中的被摄体的位置设为(x0，y0)、将裁剪区域的左上角的点设为(x1，y1)、将横向宽度设为w1、将纵向宽度设为h1时，以满足算式(3)～(6)的方式确定x1、y1、w1、h1(均为0以上)，根据裁剪区域内的各像素的数据生成输出图像的数据。
x1+w1/2＝x0··· (5)
y1+h1/2＝y1··· (6)
在生成其他构图的输出图像的情况下，图像校正部104也同样以使被摄体的位置在输出图像中适合于构图的方式确定裁剪区域，根据裁剪区域内的各像素的数据生成输出图像的数据即可。此外，在一个方案中，图像校正部104可以使输入图像旋转来进行裁剪，也可以将使裁剪后的图像旋转而成的图像作为输出图像。
此外，在另一个方案中，进行裁剪的图像可以是输入图像，也可以是对输入图像进行旋转、放大/缩小、几何学变换等后的变换图像。
此外，在另一个方案中，在裁剪中，也可以是设定矩形以外的形状的裁剪区域，从输入图像裁剪矩形以外的形状的图像。例如，可以是根据用途裁剪圆形、椭圆形、平行四边形等的形状的图像。
(构图的确定方法)
在此，对构图的评价方法进行说明。如上所述，构图具有多个种类，并具有评价方法不同的构图。例如，日之丸式构图中的主要被摄体是重要的，通过检测主要被摄体，评价其位置、大小，能评价是否适合日之丸式构图。在三分法构图中，被摄体的位置是重要的。此外，通过评价被摄体的线对称性，能评价对称构图是否是对称构图。此外，通过检测图像中的直线，并评价直线的倾斜，能进行对于水平度、对角线构图的评价。此外，隧道构图能使用被摄体的位置、亮度分布来评价。图像校正部104通过多个评价指标评价输入图像，确定输出图像的构图，由此能生成适当的构图的图像。
此外，图像的裁剪区域的大小也是评价指标之一。当裁剪区域极端窄时，输出图像的视角相对于拍摄图像的视角变窄，因此输出图像可能会成为与拍摄者的意图不同的构图。例如，在对称性高的小的被摄体被包括于输入图像内的情况下，若仅裁剪该被摄体部分，则虽然输出图像的对称性变高，但视角变窄，此外，分辨率降低。因此，例如，输出图像的视角与输入图像的视角的比例越大，则评价越高，由此优选的是，容易选择宽视角的构图。
此外，旋转角度也是评价指标之一。输入图像以拍摄者所意图的被摄体的朝向被拍摄的可能性高，因此虽然由于手抖、拍摄者的拍摄技术而使被摄体可能会稍微倾斜，但相对于拍摄者所意图的被摄体的朝向极端大地倾斜地拍摄的可能性低。因此，例如，输出图像的被摄体相对于输入图像的被摄体的朝向的倾斜越大，则评价越低，由此优选的是，难以选择被摄体相对于输入图像极端倾斜的构图。
此外，图像校正部104也可以综合考虑输入图像的像素数等图像信息、拍摄到输入图像时的焦点位置等拍摄信息来评价构图。需要说明的是，也可以是像这样的图像信息和拍摄信息与输入图像一起从图像处理装置1的外部输入至图像处理装置1的构成。此外，输入图像的像素数等图像信息可以由图像校正部104基于输入图像来计算出，也可以是图像处理装置1还具备图像信息计算部(未图示)的构成，由该图像信息计算部基于输入图像来计算出像素数等图像信息。
至此，虽然对构图的评价方法进行了举例描述，但在本实施方式中，进一步考虑图像的宽高比来校正构图，由此生成适当的构图的输出图像。
作为考虑到图像的宽高比的构图的校正方法，例如，根据图像的宽高比来提高对特定的构图的评价，由此能使各构图的选择容易度不同。在一个实施方式中，图像校正部104对基于宽高比以外的基准(例如，被摄体的线对称性等)计算出的得分加上基于宽高比的追加得分，选择得分最高的构图即可。
例如，在输入图像的宽高比为1:1的情况下，校正为三分法构图的输出图像404(图4的(b))成为从被摄体402到左侧的图像端没有空间，给出受拘束的印象的构图。另一方面，校正为日之丸式构图的输出图像504(图5的(b))成为被摄体502的代表位置位于图像的中央而具有存在感的构图。像这样，在输入图像的宽高比为1:1的情况下，可以说日之丸式构图是给出优选的印象的构图。
此外，在输入图像的宽高比为16:9的情况下，校正为日之丸式构图的输出图像507(图5的(d))成为被摄体502的代表位置位于图像的中央，但在被摄体502的左右存在大的空间，由此给出被摄体502的存在感微弱的印象的构图。另一方面，校正为三分法构图的输出图像407(图4的(d))在被摄体402的右侧存在宽阔的空间，此外，在左侧也存在空间，从而成为平衡良好的构图。像这样，在输入图像的宽高比为16:9的情况下，可以说三分法构图是给出优选的印象的构图。
如上所述，输入图像401、405、501、505中的任一个均是以被摄体402位于图像中央的方式所拍摄的图像，但作为优选的印象的构图根据输入图像的宽高比而变化。
在一个方案中，图像校正部104在图像的宽高比为1:1的情况下，将追加得分加到日之丸式构图的得分。由此，与横向长的构图相比，日之丸式构图被评价为优选的构图的可能性变高。此外，在一个方案中，对于图像校正部104而言，输入图像的宽高比越接近1:1的构图，则越可以提高日之丸式构图的评价值。由此，在接近正方形的宽高比的情况下，容易选择日之丸式构图，而横向越长的宽高比，越难以选择日之丸式构图。
此外，在其他方案中，也可以根据图像的宽高比而不选择特定的构图。例如，在图像的宽高比为21:9这样横向长的情况下，图像校正部104可以减去日之丸式构图的得分。在图像的宽高比与规定的比例相比横向长的情况下，日之丸式构图成为优选的构图的可能性低，因此，不选择日之丸式构图，由此容易选择其他优选的构图。
此外，在三分法构图中也同样地，例如，在一个方案中，图像的宽高比为横向长的情况下，图像校正部104将基于宽高比的追加得分加到三分法构图的得分上，由此图像的宽高比的横向越长(与图像的宽高比为16:9的情况相比，在21:9的情况下)，则在三分法构图中，能使在纵向分割两部分的构图被评价为优选的构图的可能性比在纵向分割为三部分的构图高。此外，例如，在图像的宽高比为纵向长的情况下，图像校正部104将基于宽高比的追加得分加到三分法构图的得分上，由此图像的宽高比的纵向越长(与图像的宽高比为9:16的情况相比，在9:21的情况下)，则在三分法构图中，能使在横向分割为两部分的构图被评价为优选的构图的可能性比在横向分割为三部分的构图高。
此外，在使用三分法构图作为输出图像的构图的情况下，图像校正部104可以根据图像的宽高比，使用变形三分法构图来代替上述三分法构图，该变形三分法构图是使主要被摄体位于将图像的长边方向分割为三部分的线与将图像的短边方向分割为两部分的线的交点上。
在一个方案中，在宽高比表示与阈值相比横向长的情况下，图像校正部104确定以变形三分法构图作为输出图像的构图，该变形三分法构图是使主要被摄体位于将图像的横向分割为三部分的线与将纵向分割为两部分的线的交点上。
图6的(a)、(b)以及(c)分别表示宽高比为21:9的构图校正后的输出图像601、602、603，分别拍摄到相同的被摄体604。在输出图像601中，被摄体604位于将纵向和横向在各自的方向上分割为三部分后的左上的点。在输出图像602中，被摄体604位于将纵向分割为两部分且将横向分割为三部分后的左侧的点。在输出图像603中，被摄体604位于将纵向和横向在各自的方向上分割为三部分后的左下的点。在如图6所示的宽高比为横向长的图像中，如输出图像601和603所示，若被摄体位于将输出图像的短边方向即纵向分割为三部分的位置，则成为给出被摄体靠近图像端的印象的输出图像。另一方面，如输出图像602所示，若被摄体位于将输出图像的短边方向分割为两部分的位置，则上下方向的平衡良好且被摄体位于将左右方向分割为三部分的位置，因此成为更优选的三分法构图。
此外，在一个方案中，在宽高比表示与阈值相比纵向长的情况下，图像校正部104确定以变形三分法构图作为输出图像的构图，该变形三分法构图是使主要被摄体位于将图像的横向分割为两部分的线与将纵向分割为三部分的线的交点上。
图7的(a)、(b)以及(c)分别表示宽高比为9:21的构图校正后的输出图像701、702、703，分别拍摄到相同的被摄体704。在输出图像701中，被摄体704位于将纵向和横向在各自的方向上分割为三部分后的左上的点。在输出图像702中，被摄体704位于将纵向分割为三部分且将横向分割为两部分的上侧的点。在输出图像703中，被摄体704位于将纵向和横向在各自的方向上分别分割为三部分后的右上的点。在如图7所示的宽高比为纵向长的图像中，如输出图像701和703所示，若被摄体位于将输出图像的短边方向即横向分割为三部分的位置，则成为给出被摄体靠近图像端的印象的输出图像。另一方面，如输出图像702所示，若被摄体位于将输出图像的短边方向分割为两部分的位置，则左右方向的平衡良好且被摄体位于将上下方向分割为三部分的位置，因此成为更优选的三分法构图。
〔实施方式2〕
以下，基于图8对本发明的实施方式2进行说明。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并省略其说明。本实施方式的图像处理装置是与实施方式1的图像处理装置1相同的构成，但图像校正部104的动作不同。
在本实施方式中，图像校正部104可以根据输入图像的宽高比，限制裁剪中的输入图像的切除宽度。即，图像校正部104可以根据输入图像的宽高比设定裁剪中的切除宽度与输入图像的宽度的比例的最大值，对从输入图像裁剪输出图像时的切除宽度与输入图像的宽度的比例进行设定，以使其为该最大值以下。
需要说明的是，优选限制输入图像的切除宽度的理由如下。例如，在输入图像的宽高比为纵向长的情况下，预想主要被摄体的横向侧的余量(被摄体与图像端之间的距离)小，若大幅裁剪横向的裁剪宽度，则在输出图像中，主要被摄体的一部分可能会位于裁剪区域外，画质可能会劣化。此外，在输入图像的宽高比为横向长的情况下，预想主要被摄体的纵向侧的余量小，若大幅地裁剪纵向的裁剪宽度，则在输出图像中，主要被摄体的一部分可能会位于裁剪区域外，画质可能会劣化。像这样，当输入图像的短边侧的裁剪宽度大时，画质可能会劣化。特别优选的是，长边方向的长度与短边方向的长度的比例越高的图像，短边方向(在纵向长的情况下为横向，在横向长的情况下为纵向)的切除宽度的最大值越小。另一方面，在图像的长边方向的端部(在横向长的情况下为左右端，在纵向长的情况下为上下端)拍摄到主要被摄体的可能性低，因此，长边方向的裁剪宽度能在一定程度上增大。因此，优选的是，与输入图像的宽高比为纵向长的情况相比，输入图像的宽高比的横向越长，则将横向的切除宽度与输入图像的宽度的比例的最大值设定得越小。同样的，与输入图像的宽高比为纵向长的情况相比，输入图像的宽高比的横向越长，则将纵向的切除宽度与输入图像的宽度的比例的最大值设定得越小。
在一个方案中，如图8的(a)所示，在包括主要被摄体802的输入图像801为横向长的情况下，图像校正部104在(i)基于输入图像801的宽高比判定为输入图像801为横向长，(ii)将用于从输入图像801裁剪出裁剪区域803的横向的切除宽度L1与输入图像的宽度的比例的最大值设定为例如预先设定的值，(iii)设定裁剪区域803，以使切除宽度L1与输入图像的宽度的比例成为该最大值以下的基础上，(iv)从输入图像801裁剪出裁剪区域803来生成输出图像。
此外，如图8的(b)所示，在包括主要被摄体802的输入图像804为纵向长的情况下，图像校正部104在(i)基于输入图像804的宽高比判定为输入图像804为纵向长，(ii)将用于从输入图像804裁剪出裁剪区域805的纵向的切除宽度L2与输入图像的宽度的比例的最大值设定为例如预先设定的值，(iii)设定剪裁区域805，以使切除宽度L2与输入图像的宽度的比例成为该最大值以下的基础上，(iv)从输入图像804裁剪出裁剪区域805来生成输出图像。若将横向的切除宽度L1与输入图像801的横向宽度的比例和横向的切除宽度L2与输入图像804的横向宽度的比例进行比较，则横向的切除宽度L2与输入图像804的横向宽度的比例小。即，将图8的(b)中的切除宽度小的图像作为输出图像而输出。
根据以上的构成，能适当地避免从输出图像中丢失主要被摄体802的一部分而导致画质劣化。
需要说明的是，在另一个方案中，图像校正部104也可以根据拍摄到输入图像时的摄像装置的朝向来代替输入图像的宽高比，限制裁剪中的输入图像的切除宽度。
摄像装置一般根据拍摄时的摄像装置的朝向，拍摄纵向长的图像或横向长的图像。摄像装置例如具备计测加速度(重力)相对于摄像装置的朝向的加速度传感器，由此，能获取与拍摄时的摄像装置的朝向有关的信息。在一个方案中，摄像装置能将表示拍摄到输入图像时的摄像装置的朝向的信息作为元数据提供给输入图像。在该情况下，图像校正部104能从该元数据获取拍摄到输入图像时的摄像装置的朝向。此外，在其他方案中，图像校正部104与摄像装置相连接或嵌入至拍摄装置，能从摄像装置接收表示拍摄到输入图像时的摄像装置的朝向的信息。
然后，在一个方案中，如果拍摄到输入图像时的摄像装置的朝向为拍摄纵向长的图像的朝向，则图像校正部104进行与上述的输入图像的宽高比为纵向长的情况相同的处理即可。此外，如果拍摄到输入图像时的摄像装置的朝向为拍摄横向长的图像的朝向，则图像校正部104进行与上述的输入图像的宽高比为横向长的情况相同的处理即可。
〔实施方式3〕
以下，基于图9～图11对本发明的实施方式3的图像处理装置1a进行详细说明。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并省略其说明。(1.图像处理装置1a的主要部分构成)
图9是表示本实施方式的图像处理装置1a的主要部分构成的框图。图像处理装置1a对输入至图像处理装置1a的输入图像进行使图像旋转的图像处理，生成校正后的图像(输出图像)。如图9所示，图像处理装置1a与实施方式1的图像处理装置1的不同点在于，控制部10a具备图像校正部104a来代替图像校正部104，以及还具备朝向信息获取部103。通过采用这样的构成，图像处理装置1a能根据输入图像或输出图像的宽高比或者根据拍摄到输入图像时的摄像装置的朝向来切换输入图像的旋转的精度。
朝向信息获取部103获取表示拍摄到输入图像时的摄像装置的朝向(摄像装置是纵向(拍摄纵向长的图像的朝向)还是横向(拍摄横向长的图像的朝向))的朝向信息。关于拍摄到输入图像时的摄像装置的朝向，能计测加速度(重力)相对于摄像装置的朝向，并将此作为与拍摄到输入图像时的摄像装置的朝向有关的信息。例如，加速度(重力)相对于摄像装置的朝向能通过摄像装置所具备的加速度传感器来计测。由此，获取拍摄到输入图像时的摄像装置的朝向为纵向还是横向的信息。
图像校正部104a基于宽高比信息获取部102所获取到的宽高比信息或朝向信息获取部103所获取到的朝向信息来确定输入图像的旋转的精度。而且，图像校正部104a检测作为输入图像中的水平方向的线索的水平方向信息，并基于已确定的旋转的精度和水平方向信息，确定使图像旋转的旋转量。而且，图像校正部104a基于已确定的旋转量使输入图像旋转，生成旋转校正后的输出图像。
(2.图像处理装置1a的动作)
图10是说明图像处理装置1a的动作的一个示例的流程图。
(步骤S21)
首先，图像获取部101获取输入图像。图像获取部101将获取到的输入图像提供给宽高比信息获取部102和图像校正部104a。
(步骤S22)
接着，宽高比信息获取部102获取与输入图像或输出图像的宽高比有关的信息。宽高比信息获取部102将获取到的宽高比信息提供给图像校正部104a。
(步骤S23)
接着，朝向信息获取部103获取表示拍摄到输入图像时的摄像装置的朝向(拍摄装置是纵向还是横向)的朝向信息。朝向信息获取部103将获取到的朝向信息提供给图像校正部104a。
(步骤S24)
接着，图像校正部104a基于宽高比信息或朝向信息来确定旋转的精度。
(步骤S25)
接着，图像校正部104a检测作为输入图像中的水平方向的线索的水平方向信息。
(步骤S26)
接着，图像校正部104a基于在步骤S24中确定的旋转的精度和在步骤S25中检测到的水平方向信息来确定使图像旋转的旋转量。
(步骤S27)
接着，图像校正部104a基于在步骤S26中确定的旋转量使输入图像旋转，生成旋转校正后的输出图像。
(步骤S28)
接着，图像校正部104a将生成的输出图像输出至显示部2。
(3.校正的一个示例)
以下，对图像处理装置1a的图像校正部104a所进行的校正进行具体说明。图像校正部104a根据图像的宽高比或拍摄到输入图像时的摄像装置的朝向来切换输入图像的旋转的精度。在此，对图像校正部104a基于宽高比切换输入图像的旋转的精度的情况进行说明。需要说明的是，图像校正部104a在基于宽高比切换输入图像的旋转的精度时，在输入图像的宽高比与输出图像的宽高比相同的情况下，进行考虑到输入图像的宽高比(＝输出图像的宽高比)的输入图像的旋转的精度的切换，在输入图像的宽高比与输出图像的宽高比不同的情况下，进行考虑到输出图像的宽高比的输入图像的旋转的精度的切换。以下，对输入图像的宽高比与输出图像的宽高比相同的情况，就是说，对考虑到输入图像的宽高比的旋转校正进行具体说明。
首先，对宽高比与旋转的精度的关系进行说明。图11的(a)示出了宽高比为1:1的输入图像1101，图11的(b)示出了宽高比为21:9的输入图像1104。在输入图像1101和1104中，拍摄到被摄体1102和水平线1103，且是在水平线1103相对于输入图像的横向(水平方向)倾斜约1°的状态下进行拍摄的。输入图像1101和1104的水平线1103在水平方向的倾斜是相同的。但是，与输入图像1101相比，输入图像1104给出水平线1103的倾斜更大的印象。这是因为，与输入图像1101相比，输入图像1104是在横向上更长的图像，容易识别倾斜。
在输入图像1101的左侧用箭头表示的宽度W1表示从输入图像1101的图像下端到水平线1103的长度，在输入图像1101的右侧用箭头表示的宽度W2表示从输入图像1101的图像下端到水平线1103的长度。同样地，在输入图像1104的左侧用箭头表示的宽度W3表示从输入图像1104的图像下端到水平线1103的长度，在输入图像1104的右侧用箭头表示的宽度W4表示从输入图像1104的图像下端到水平线1103的长度。虽然从图像下端到水平线1103的宽度在输入图像1101和1104中在左右都不同，但宽度W3与宽度W4的差比宽度W1与宽度W2的差大。因此，相比于输入图像1101，输入图像1104中更容易识别水平线1103的倾斜。即，图像的宽高比的横向越长，越容易识别水平线的倾斜，因此在输入图像的构图的校正中，在宽高比为横向长的情况下，水平校正的精度是重要的。
因此，在本实施方式中，图像校正部104a根据图像的宽高比来改变水平校正的处理方法和精度(就是说，图像的旋转的精度)。由此，即使在水平线的倾斜容易被识别的横向长的宽高比的构图中，也能生成对水平进行了高精度地校正的适当的构图的输出图像。
对校正图像的水平线的倾斜的方法的一个示例进行说明。如果摄像装置具备加速度传感器，则能检测拍摄时的摄像装置相对于铅垂方向的倾斜的程度，但加速度传感器并不始终能正确地检测摄像装置相对于水平方向倾斜的程度，有时在基于由加速度传感器检测到的倾斜角进行校正的图像中，产生来自水平方向的偏差。因此，为了高精度地进行水平校正，图像处理装置1a的图像校正部104a从图像检测作为水平方向的线索的信息(水平方向信息)，基于检测到的水平方向信息来对水平进行校正。作为输入图像中的水平方向信息，可以列举出输入图像中的直线、人物的面部朝向等。
以下，作为一个示例，基于图11对利用输入图像中的直线作为水平方向信息的水平校正方法进行说明。在输入图像1101中，存在多条暗示水平方向的直线，但在此，图像校正部104a检测水平线1103作为用于进行水平校正的直线。同样地，图像校正部104a从输入图像1104检测水平线1103作为用于进行水平校正的直线。然后，图像校正部104a使图像旋转，以使水平线1103相对于输入图像的横向平行，由此能校正为图像中的水平线1103与图像的横向平行的构图。
在通过上述方法进行水平校正的情况下，图像处理装置1a根据图像的宽高比来切换旋转的精度。在本实施方式中，旋转的精度是指基于水平方向信息检测水平方向的倾斜角度时的旋转角度的分辨率。在一个方案中，图像的宽高比的横向越长，则图像处理装置1a越提高从输入图像检测的直线的倾斜程度的分辨率作为水平方向信息。具体地说明，例如，图像处理装置1a从宽高比为1:1的输入图像1101以1°精度检测直线的倾斜角度。与此相对，图像处理装置1a从宽高比为21:9的横向长的输入图像1104以角度精度更高的0.5°精度检测直线的倾斜角度。
由此，直线的角度精度越高，则越能生成对直线的倾斜进行了准确地校正的适当的输出图像。另一方面，直线的角度精度越低，则直线的倾斜的校正精度越降低，但在图像的宽高比不为横向长的情况下，难以识别水平线的倾斜，因此难以识别微小的倾斜。降低直线的倾斜的角度精度具有以下的效果。直线能通过霍夫(hough)变换等已知的方法进行检测，但越提高角度精度(旋转角度的分辨率)，则图像的处理量越增大，越需要处理时间。因此，在图像的宽高比不为横向长的情况下，优选能够通过降低角度精度来削减处理量，进行高速处理。
需要说明的是，在图像处理装置1a根据拍摄到输入图像时的摄像装置的朝向来代替输入图像的宽高比切换输入图像的旋转的精度的情况下，如果拍摄到输入图像时的摄像装置的朝向为纵向(拍摄纵向长的图像的朝向)，则输入图像的宽高比为纵向长的情况的说明适用于图像处理装置1a的处理。此外，如果拍摄到输入图像时的摄像装置的朝向为横向(拍摄横向长的图像的朝向)，则输入图像的宽高比为横向长的情况的说明适用于图像处理装置1a的处理。
〔实施方式4〕
以下，基于图12对本发明的实施方式4进行说明。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并省略其说明。本实施方式的图像处理装置是与实施方式3的图像处理装置1a相同的构成，但图像校正部104a的动作不同。
在一个方案中，图像校正部104a可以根据输入图像的宽高比来改变可校正的旋转量的最大值。图12的(a)示出了宽高比1:1的输入图像1201，图12的(b)示出了宽高比21:9的输入图像1202。在输入图像1201中由虚线包围的区域1203表示在相对于输入图像1201的横向旋转15°的宽高比1:1的矩形内，落入输入图像1201内的最大的矩形。同样地，在输入图像1202中由虚线包围的区域1204表示在相对于输入图像1202的横向旋转15°的宽高比21:9的矩形内，落入输入图像1202内的最大的矩形。
虽然区域1203和区域1204都是相对于输入图像的横向倾斜15°的矩形，但是相对于输入图像的面积比不同。具体而言，与区域1203相比较，区域1204与输入图像的面积比变小。即，输入图像的宽高比的横向越长，则即使旋转量相同，通过旋转校正而得到的输出图像相对于输入图像的面积的减小率也越大。其结果是，通过旋转校正而得到的输出图像相对于输入图像的视角的减小率变大。因此，输入图像的宽高比的横向越长或纵向越长，则图像校正部104a将旋转量的最大值设定得越小，由此能降低输出图像相对于输入图像的视角的减小。
此外，图像校正部104a也可以根据输入图像的宽高比来改变旋转量的评价方法。例如，输入图像的宽高比越接近正方形，则由旋转校正导致的输出图像的视角的减小越少，因此采用相对于旋转量(旋转角度)的增加的评价的降低少的评价方法。与此相对，输入图像的宽高比的横向越长或纵向越长，则由旋转校正导致的输出图像的视角的减小变多，因此采用相对于旋转量(旋转角度)的增加的评价的降低大的评价方法。在一个实施方式中，在输入图像的宽高比为横向长或纵向长的情况下，与输入图像的宽高比为1:1的情况相比，图像校正部104a设定为相对于旋转量(旋转角度)的增加，得分进一步降低。由此，在输入图像的宽高比为横向长或纵向长的情况下，难以过度地进行旋转校正，容易生成视角宽的输出图像。
〔实施方式5〕
以下，基于图13～图17对本发明的实施方式5的图像处理装置1b进行详细说明。需要说明的是，为了便于说明，对具有与在所述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并省略其说明。(1.图像处理装置1b的主要部分构成)
图13是表示具备本实施方式的图像处理装置1b的摄像装置1300的主要部分构成的框图。如图13所示，摄像装置1300具备：图像处理装置1b、显示部2、拍摄部3、操作部4、朝向检测部5、存储部6以及控制部7。
拍摄部3拍摄被摄体，将拍摄到的图像作为输入图像发送至图像处理装置1b。
操作部4接受用户的输入，例如，通过物理的按钮、触摸面板来实现。例如，在操作部4为触摸面板的情况下，为在显示部2具备操作部4的构成，在显示部2显示有操作画面，接受用户的操作。操作部4接受的操作可以列举出，例如，拍摄指示、曝光设定等各种拍摄设定、拍摄图像的存储以及删除、图像处理装置1b中的处理的执行指示等。
显示部2显示拍摄部3所拍摄到的图像、图像处理装置1b的图像校正部104b所生成的输出图像。此外，显示部2也可以显示操作部4所接受的操作信息等以及拍摄时的各种拍摄设定等。
朝向检测部5检测拍摄到输入图像时的摄像装置1300的朝向(摄像装置是纵向还是横向)。朝向检测部5例如具备加速度传感器，由此检测摄像装置1300相对于重力方向的倾斜。由此，朝向检测部5能检测摄像装置1300是保持为纵向还是保持为横向。
存储部6存储例如图像处理装置1b所执行的各种控制程序等，由例如硬盘、闪存等非易失性的存储装置构成。在存储部6中存储有例如输入图像和输出图像。此外，在存储部6中也可以存储有图像处理(构图校正处理)、被摄体的检测处理等图像处理装置1b中的处理所需的参数等。
控制部7总括地控制摄像装置1300。控制部7控制在摄像装置1300内所具备的各部，例如基于由操作部4接受到的拍摄指示来控制拍摄部3，或基于由朝向检测部5检测到的摄像装置1300的倾斜来控制显示于显示部2的图像的朝向等。
此外，处理和控制能通过由CPU(Central Processing Unit：中央处理器)和GPU(Graphics Processing Unit：图形处理器)进行的软件处理、由ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)进行的硬件处理来实现。
图像处理装置1b对输入至图像处理装置1b的输入图像，进行使图像以特定的轴为中心旋转的投影变换的图像处理，生成校正后的图像(输出图像)。如图13所示，图像处理装置1b与实施方式1的图像处理装置1的不同点在于，控制部10b具备图像校正部104b来代替图像校正部104、控制部10b还具备朝向信息获取部103b以及控制部10b代替存储部20而与图像处理装置1b的外部的存储部6连接。通过采用这样的构成，图像处理装置1b能根据输入图像或输出图像的宽高比或者根据拍摄到输入图像时的摄像装置的朝向来切换针对输入图像的投影变换的旋转轴。
朝向信息获取部103b获取表示朝向检测部5所检测到的拍摄到输入图像时的摄像装置的朝向(摄像装置是纵向还是横向)的朝向信息。
图像校正部104b基于宽高比信息获取部102所获取到的宽高比信息或朝向信息获取部103b所获取到的朝向信息来确定针对输入图像的投影变换的旋转轴。而且，图像校正部104b针对已确定的投影变换的旋转轴对输入图像进行投影变换，生成校正后的输出图像。
(2.图像处理装置1b的动作)
图14是说明图像处理装置1b的动作的一个示例的流程图。
(步骤S31)
首先，图像获取部101获取输入图像。图像获取部101将获取到的输入图像提供给宽高比信息获取部102和图像校正部104b。
(步骤S32)
接着，宽高比信息获取部102获取与输入图像或输出图像的宽高比有关的信息。宽高比信息获取部102将获取到的宽高比信息提供给图像校正部104b。
(步骤S33)
接着，朝向信息获取部103b获取表示朝向检测部5所检测到的拍摄到输入图像时的摄像装置的朝向(摄像装置是纵向还是横向)的朝向信息。朝向信息获取部103b将获取到的朝向信息提供给图像校正部104b。
(步骤S34)
接着，图像校正部104b基于宽高比信息或朝向信息来确定投影变换的旋转轴。
(步骤S35)
接着，图像校正部104b针对在步骤S34中确定的旋转轴，对输入图像进行投影变换，生成校正后的输出图像。
(步骤S36)
接着，图像校正部104a将生成的输出图像输出至显示部2。
(3.校正的一个示例)
以下，对图像处理装置1b的图像校正部104b进行的校正进行具体说明。图像校正部104b根据图像的宽高比或拍摄到输入图像时的摄像装置的朝向来切换针对输入图像的投影变换的旋转轴。在此，对图像校正部104b基于宽高比来切换针对输入图像的投影变换的旋转轴的情况进行说明。需要说明的是，在图像校正部104b基于宽高比来切换针对输入图像的投影变换的旋转轴时，(i)在输入图像的宽高比与输出图像的宽高比相同的情况下，基于输入图像的宽高比(＝输出图像的宽高比)，进行针对输入图像的投影变换的旋转轴的切换，(ii)在输入图像的宽高比与输出图像的宽高比不同的情况下，基于输出图像的宽高比，进行针对输入图像的投影变换的旋转轴的切换。以下，对输入图像的宽高比与输出图像的宽高比相同的情况，就是说，基于输入图像的宽高比来进行针对输入图像的投影变换的情况进行具体说明。
首先，对宽高比与投影变换的旋转轴的关系进行说明。图15是表示摄像装置1300的外观的图。图15的(a)表示摄像装置1300的表面，图15的(b)表示摄像装置1300的背面。如图15的(a)所示，在摄像装置1300的表面上具备显示部2。此外，如图15的(b)所示，在摄像装置1300的背面具备拍摄部3。图15中的x轴方向表示摄像装置1300的纵向，y轴方向表示摄像装置1300的横向。
图16是说明拍摄者1601保持摄像装置1300来拍摄被摄体1602的情形的图。在图16的(a)和(c)中示出了从上方俯瞰拍摄者1601横向(为了拍摄横向长的图像)保持摄像装置1300来拍摄被摄体1602的情形，图16的(b)示出了从上方俯瞰拍摄者1601纵向(为了拍摄纵向长的图像)保持摄像装置1300来拍摄被摄体1602的情形。在图16的(a)和(c)中，改变摄像装置1300与被摄体1602的距离来进行拍摄。在图16的(a)～(c)中，拍摄者1601在拍摄者1601、摄像装置1300的中心以及被摄体1602排列在一条直线上的位置进行拍摄。
如图16的(a)～(c)所示，在有意识地以被摄体1602位于拍摄图像的中心的方式进行拍摄的情况下，有时在拍摄者1601、摄像装置1300的中心以及被摄体1602位于一条直线上的状态下进行拍摄。但是，在使用像摄像装置1300这样的在横向保持的情况下拍摄部3不位于中央的摄像装置的情况下，如图16的(a)所示，有时从倾斜方向拍摄被摄体1602。基于图16的(a)中所示的轴向对此进行说明，在图16的(a)中，摄像装置1300相对于被摄体1602的朝向发生以y轴为中心的旋转。图17的(a)示出了在图16的(a)所示的条件下对被摄体1602进行拍摄的情况下的拍摄图像1701。在拍摄图像1701中，被摄体1602倾斜地被拍摄。另一方面，在图16的(b)中，正对被摄体1602进行拍摄。因此，摄像装置1300相对于被摄体1602的朝向未发生以y轴为中心的旋转。图17的(b)示出了在图16的(b)所示的条件下对被摄体1602进行拍摄的情况下的拍摄图像1702。在拍摄图像1702中，被摄体1602不倾斜地被拍摄。被摄体1602为对称性高的被摄体，因此通过以对称构图进行拍摄而成为适当的印象的图像。但是，如图16的(a)所示，在从倾斜方向拍摄的情况下，成为了对称性低的图像。像这样的图像，在平行移动、旋转等已知的仿射变换中，无法校正为像拍摄图像1702那样的正对被摄体1602的图像。因此，在已知的方法中，无法将拍摄图像1701校正为对称性高的图像。为了将拍摄图像1701校正为像拍摄图像1702那样的对称性高的图像，考虑到从右倾斜方向拍摄被摄体1602，图像校正部104b需要进行以y轴为中心的旋转的投影变换。
因此，考虑到根据输入图像的宽高比假定的、拍摄到输入图像时的摄像装置的朝向，图像处理装置1b在进行包括投影变换的校正的基础上进行构图的评价，生成适当的构图的输出图像。例如，在图16的(a)中，摄像装置1300被横向保持，因此以使拍摄图像成为横向长的宽高比的方式进行拍摄。然后，摄像装置1300的拍摄部3不位于摄像装置的中央，因此如图16的(a)所示，在横向保持摄像装置1300的条件下进行拍摄，以使拍摄部3朝向被摄体1602而位于右侧，在这样的情况下，从右斜方向对被摄体1602进行拍摄的可能性变高。因此，在评价拍摄图像1701并选择最佳的构图的情况下，为了抵消在从右斜方向拍摄的情况下产生的摄像装置1300的倾斜，图像校正部104b包括进行了校正以y轴为中心的旋转的投影变换的图像来进行评价，并选择最适当的构图即可。需要说明的是，投影变换的旋转角度没有特别限定，也可以是分别输出以多个预先确定的角度旋转后的角度。
拍摄图像1701从右倾斜方向进行拍摄的可能性低，但其倾斜角度根据到被摄体1602的距离等、摄像装置1300与被摄体1602的位置关系而改变。例如，在图16的(a)和(c)中，摄像装置1300与被摄体1602之间的距离不同。在该情况下，在图16的(a)的条件下对被摄体1602进行拍摄的情况下的摄像装置1300相对于被摄体1602的倾斜角度α1大于在图16的(c)的条件下对被摄体1602进行拍摄的情况下的摄像装置1300相对于被摄体1602的倾斜角度α2。因此，通过对以多个旋转量进行投影变换后的图像进行评价，可能会能生成进行了最佳的投影变换的图像。例如，在图16的(a)和(c)的拍摄条件下，进行了最佳的投影变换的图像对称性变高，因此易于从以多个旋转量进行投影变换后的图像之中选择对称构图来作为适当的构图。在一个实施方式中，在以多个旋转量进行投影变换后的候选图像之中，将对称构图的得分设定得最高，由此易于从候选图像之中选择对称构图来作为最佳的图像。此外，在另一实施方式中，用户能从以多个旋转量进行投影变换后的候选图像之中选择最佳的图像。此外，在又一实施方式中，用户也能选择投影变换的最佳的旋转量。
另一方面，在图16的(b)的条件下进行拍摄的情况下，拍摄部3位于比摄像装置1300的中央靠上侧或靠下侧，因此可能会相对于被摄体1602产生上下方向的倾斜。即，在摄像装置1300相对于被摄体1602的朝向可能会发生以x轴为中心的旋转。因此，在评价拍摄图像1702并选择最佳的构图的情况下，图像校正部104b为了抵消在从上倾斜方向或从下倾斜方向进行拍摄的情况下产生的摄像装置1300的倾斜，包括进行了校正以x轴为中心的旋转的投影变换的图像来进行评价，并选择最适当的构图即可。
关于以x轴为中心的旋转，由于存在相对于重力方向的倾斜，因此图像校正部104b可以与摄像装置1300相对于重力方向的倾斜一起进行评价。例如，图像校正部104b基于摄像装置相对于重力方向的倾斜，对以x轴为中心的倾斜进行校正，而且，针对此图像，也可以在进行了以x轴为中心的旋转校正的基础上进行构图的评价，并选择适当的构图。此外，优选的是，图像校正部104b在同时处理上述两次x轴旋转的基础上进行构图的评价，由此能削减处理量。
如以上说明的那样，在图像处理装置1b中，考虑到因图像的宽高比的差异引起的拍摄时的摄像装置1300相对于被摄体的朝向，图像校正部104b切换投影变换的旋转轴进行投影变换，由此能生成进行了适合于宽高比的投影变换的输出图像。需要说明的是，在根据拍摄到输入图像时的摄像装置的朝向代替输入图像的宽高比来切换投影变换的旋转轴的情况下，如果拍摄到输入图像时的摄像装置的朝向为纵向，则拍摄图像(输入图像)变为纵向长，因此输入图像的宽高比为纵向长的情况的说明适用于图像校正部104b的处理。此外，如果拍摄到输入图像时的摄像装置的朝向为横向，则拍摄图像(输入图像)变为横向长，因此输入图像的宽高比为横向长的情况的说明适用于图像校正部104b的处理。
〔实施方式6〕
以下，基于图18对本发明的实施方式6的终端装置1801和服务器1803进行详细说明。
图18是表示本实施方式的终端装置1801和服务器1803的主要部分构成的功能框图。
服务器1803具备控制部10、存储部20以及第一通信部1804。控制部10基于经由第一通信部1804从终端装置1801接收到的输入图像以及表示拍摄到输入图像时的摄像装置的朝向的信息，生成输出图像，并经由第一通信部1804发送至终端装置1801。
终端装置1801具备显示部2、拍摄部3、操作部4、朝向检测部5、第二通信部1802以及控制部1805。控制部1805将由拍摄部3拍摄到的图像作为输入图像，作为表示在由拍摄部3进行拍摄时朝向检测部5检测到的朝向的信息、表示拍摄到输入图像时的摄像装置的朝向的信息，经由第二通信部1802发送至服务器1803，并经由第二通信部1802接收在服务器1803(的控制部10)中进行处理后的输出图像。
终端装置1801和服务器1803通过通信网络进行连接。
根据以上的构成，也能得到与其他实施方式相同的效果。
〔基于软件的实现例〕
图像处理装置1、1a以及1b的控制块(特别是图像校正部104、104a以及104b)可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以使用CPU(CentralProcessing Unit：中央处理器)通过软件来实现。
在后者的情况下，图像处理装置1、1a以及1b具备：执行作为实现各功能的软件的程序的命令的CPU、以可由计算机(或CPU)读取的方式记录上述程序和各种数据的ROM(ReadOnly Memory：只读存储器)或存储装置(将这些称作“记录介质”)以及展开上述程序的RAM(RandomAccess Memory：随机存取存储器)等。而且，计算机系统(或CPU)从上述记录介质读取上述程序并执行，由此达成本发明的目的。作为上述记录介质，可以使用“非暂时的有形介质”，例如磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。此外，上述程序可以经由能传输该程序的任意传输介质(通信网络、广播波等)提供给上述计算机。需要说明的是，本发明的一个方案以上述程序通过电子传输而具体化的、嵌入至载波的数据信号的形态也能实现。需要说明的是，这里所谓的“计算机系统”包括OS、周边设备等硬件。此外，在利用WWW系统的情况下，“计算机系统”还包括主页提供环境(或者显示环境)。
〔总结〕
本发明的方案1的图像处理装置(1、1a、1b、控制部10)具备图像校正部(104、104a、104b)，对输入图像进行裁剪、旋转以及投影变换中的至少一种校正而生成输出图像，所述图像校正部(104，104a，104b)是基于所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置(拍摄部3)的朝向来进行所述校正的构成。
根据上述构成，能生成合适的输出图像。
也可以是，本发明的方案2的图像处理装置(1)在上述方案1中采用所述图像校正部(104)基于所述输入图像或所述输出图像的宽高比来确定所述输出图像的构图的构成。
根据上述构成，能确定与图像的宽高比相应的最佳的构图。
也可以是，本发明的方案3的图像处理装置(1)在上述的方案1中采用所述图像校正部(104)检测所述输入图像中所包含的被摄体信息，并基于所述被摄体信息和所述输入图像或输出图像的宽高比来校正所述输入图像的构成。
根据上述构成，能适当地生成与图像的宽高比相应的构图的输出图像。
也可以是，本发明的方案4的图像处理装置(1)在上述的方案1中采用所述图像校正部(104)根据所述输入图像的宽高比或拍摄到所述输入图像时的摄像装置(拍摄部3)的朝向，限制所述裁剪中的所述输入图像的切除宽度的构成。
根据上述构成，能生成与图像的宽高比或拍摄到输入图像时的摄像装置的朝向相应的输出图像。
也可以是，本发明的方案5的图像处理装置(1a)在在上述的方案1中采用所述图像校正部(104)根据所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来切换所述旋转的精度的构成。
根据上述构成，根据图像的宽高比或拍摄到输入图像时的摄像装置的朝向来切换旋转的精度，因此能生成被适当地校正为倾斜的输出图像。
也可以是，本发明的方案6的图像处理装置(1a)在上述的方案1中采用所述图像校正部(104)根据所述输入图像的宽高比来限制所述旋转的旋转量的构成。
根据上述构成，能生成与输入图像的宽高比相应的视角更宽的输出图像。
也可以是，本发明的方案7的图像处理装置(1b)在上述的方案1中采用所述图像校正部(104)根据所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置(拍摄部3)的朝向来切换所述投影变换的旋转轴的构成。
根据上述构成，根据图像的宽高比或拍摄到输入图像时的摄像装置的朝向来切换投影变换的旋转轴，因此能生成被适当地校正为倾斜的输出图像。
也可以是，本发明的方案8的图像处理装置(控制部10)在上述的方案1～7中的任一项中采用具备第一通信部(1804)的构成，所述第一通信部(1804)从终端装置(1801)接收所述输入图像以及表示拍摄到所述输入图像时的摄像装置(拍摄部3)的朝向的信息，并将所述输出图像发送至所述终端装置(1801)。
也可以是，本发明的方案9的终端装置(1801)采用具备第二通信部(1802)的构成，所述第二通信部(1802)向本发明的方案8的图像处理装置(控制部10)发送所述输入图像以及表示拍摄到所述输入图像时的摄像装置(拍摄部3)的朝向的信息，并从所述图像处理装置(控制部10)接收所述输出图像。
根据上述构成，通过终端装置与图像处理装置进行通信，能起到与方案1相同的效果。
本发明的方案10的摄像装置(1300)是如下构成：具备拍摄部(3)和上述方案1～7中的任一项中的图像处理装置(1，1a，1b)，上述方案1～7中的任一项中的图像处理装置(1，1a，1b)以所述拍摄部(3)拍摄到的图像作为所述输入图像来生成所述输出图像。
根据上述构成，起到与方案1相同的效果。
本发明的方案11的摄像装置(1300)是如下构成：在上述的方案10中还具备朝向检测部(5)，该朝向检测部(5)用于检测所述摄像装置(1300)的朝向，所述图像处理装置(1、1a、1b)基于所述朝向检测部(5)检测到的所述摄像装置(1300)的朝向来生成所述输出图像。
根据上述构成，能基于拍摄到输入图像时的摄像装置的朝向生成所述输出图像。
本发明的方案12的图像校正方法是如下方法：包括图像校正工序，该图像校正工序是图像处理装置(1、1a、1b)对于输入图像，至少进行从包括裁剪、旋转以及投影变换的组中所选择的一种以上的校正来生成输出图像的工序，在所述图像校正工序中，所述图像处理装置(1、1a、1b)基于所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置(拍摄部3)的朝向来进行所述校正。
根据上述构成，起到与方案1相同的效果。
本发明的各方案的图像处理装置(1、1a、1b)可以通过计算机来实现，在该情况下，通过使计算机作为上述图像处理装置(1、1a、1b)所具备的各部(软件元素)来动作，从而在计算机上实现上述图像处理装置(1、1a、1b)的图像处理装置的图像处理程序以及记录了该图像处理程序的计算机可读取的记录介质也包括在本发明的范畴。
本发明并不限定于上述各实施方式，在权利要求所示的范围内可进行各种变更，将分别在不同的实施方式中公开的技术方案适当组合而获得的实施方式也包括在本发明的技术范围内。而且，通过将分别在各实施方式中公开的技术方案组合，能形成新的技术特征。
(关联申请的相互参考)
本申请基于2017年4月13日提出申请的日本专利申请：日本特愿2017-079948主张优先权的利益，并通过对其进行参照而将其全部内容包括到本说明书中。
附图标记说明
1、1a、1b 图像处理装置
3 拍摄部
5 朝向检测部
104、104a、104b 图像校正部
1801 终端装置
1802 第二通信部
1803 服务器(图像处理装置)
1804 第一通信部
1300 摄像装置

Claims (13)

1.一种图像处理装置，其特征在于，
具备图像校正部，对输入图像进行裁剪、旋转以及投影变换中的至少一种校正而生成输出图像，
所述图像校正部基于所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来进行所述校正。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述图像校正部基于所述输入图像或所述输出图像的宽高比来确定所述输出图像的构图。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述图像校正部检测所述输入图像中所包括的被摄体信息，基于所述被摄体信息和所述输入图像或输出图像的宽高比来校正所述输入图像。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述图像校正部根据所述输入图像的宽高比或拍摄到所述输入图像时的摄像装置的朝向来限制所述裁剪中的所述输入图像的切除宽度。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述图像校正部根据所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来切换所述旋转的精度。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述图像校正部根据所述输入图像的宽高比来限制所述旋转的旋转量。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述图像校正部根据所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来切换所述投影变换的旋转轴。
8.根据权利要求1至7中任一项所述的图像处理装置，其特征在于，
具备第一通信部，从终端装置接收所述输入图像以及表示拍摄到所述输入图像时的摄像装置的朝向的信息，并将所述输出图像发送至所述终端装置。
9.一种终端装置，其特征在于，
具备第二通信部，向权利要求8所述的图像处理装置发送所述输入图像以及表示拍摄到所述输入图像时的摄像装置的朝向的信息，并从所述图像处理装置接收所述输出图像。
10.一种摄像装置，其特征在于，具备：
拍摄部；以及
权利要求1至7中任一项所述的图像处理装置，以所述拍摄部拍摄到的图像作为所述输入图像来生成所述输出图像。
11.根据权利要求10所述的摄像装置，其特征在于，
还具备朝向检测部，用于检测所述摄像装置的朝向，
所述图像处理装置基于所述朝向检测部检测到的所述摄像装置的朝向来生成所述输出图像。
12.一种图像校正方法，其特征在于，
包括图像校正工序，图像处理装置对于输入图像，至少进行从包括裁剪、旋转以及投影变换的组中所选择的一种以上的校正来生成输出图像，
在所述图像校正工序中，所述图像处理装置基于所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来进行所述校正。
13.一种图像处理程序，用于使计算机作为权利要求1至7中的任一项所述的图像处理装置来发挥功能，所述图像处理程序用于使计算机作为所述图像校正部而发挥功能。
CN201880024768.9A 2017-04-13 2018-01-10 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序 Withdrawn CN110506292A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-079948 2017-04-13
JP2017079948 2017-04-13
PCT/JP2018/000293 WO2018189971A1 (ja) 2017-04-13 2018-01-10 画像処理装置、撮像装置、端末装置、画像補正方法および画像処理プログラム

Publications (1)

Publication Number Publication Date
CN110506292A true CN110506292A (zh) 2019-11-26

Family

ID=63793164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024768.9A Withdrawn CN110506292A (zh) 2017-04-13 2018-01-10 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序

Country Status (4)

Country Link
US (1) US20200058101A1 (zh)
JP (1) JP6752360B2 (zh)
CN (1) CN110506292A (zh)
WO (1) WO2018189971A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415302A (zh) * 2020-03-25 2020-07-14 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017258B2 (en) * 2018-06-05 2021-05-25 Microsoft Technology Licensing, Llc Alignment of user input on a screen
WO2020227945A1 (en) * 2019-05-14 2020-11-19 SZ DJI Technology Co., Ltd. Photographing method and apparatus
WO2024119319A1 (en) * 2022-12-05 2024-06-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electronic device, method of controlling electronic device, and computer readable storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007174107A (ja) * 2005-12-20 2007-07-05 Nippon Telegr & Teleph Corp <Ntt> 電子透かし埋め込み方法及び装置及びプログラム及び電子透かし検出方法及び装置及びプログラム
JP2010062853A (ja) * 2008-09-03 2010-03-18 Fujifilm Corp 情報処理装置、方法およびプログラム
US20110193982A1 (en) * 2010-02-05 2011-08-11 Samsung Electronics Co., Ltd. Method and apparatus for processing and reproducing camera video
JP2013118518A (ja) * 2011-12-02 2013-06-13 Canon Inc 撮像装置
CN105765624A (zh) * 2013-11-27 2016-07-13 微软技术许可有限责任公司 内容感知图像旋转

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4150840B2 (ja) * 1999-12-17 2008-09-17 コニカミノルタビジネステクノロジーズ株式会社 画像入力装置、画像処理装置および画像処理システム
JP4112259B2 (ja) * 2002-04-01 2008-07-02 富士フイルム株式会社 画像処理システム
JP2007306417A (ja) * 2006-05-12 2007-11-22 Fujifilm Corp デジタル一眼レフカメラ
JP2008147850A (ja) * 2006-12-07 2008-06-26 Canon Inc デザイン編集方法およびデザイン編集装置およびデザイン編集プログラム
JP2015008342A (ja) * 2011-11-02 2015-01-15 株式会社ニコン 画像処理装置
JP2015220616A (ja) * 2014-05-16 2015-12-07 株式会社ニコン 電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007174107A (ja) * 2005-12-20 2007-07-05 Nippon Telegr & Teleph Corp <Ntt> 電子透かし埋め込み方法及び装置及びプログラム及び電子透かし検出方法及び装置及びプログラム
JP2010062853A (ja) * 2008-09-03 2010-03-18 Fujifilm Corp 情報処理装置、方法およびプログラム
US20110193982A1 (en) * 2010-02-05 2011-08-11 Samsung Electronics Co., Ltd. Method and apparatus for processing and reproducing camera video
JP2013118518A (ja) * 2011-12-02 2013-06-13 Canon Inc 撮像装置
CN105765624A (zh) * 2013-11-27 2016-07-13 微软技术许可有限责任公司 内容感知图像旋转

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415302A (zh) * 2020-03-25 2020-07-14 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2021190168A1 (zh) * 2020-03-25 2021-09-30 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
JPWO2018189971A1 (ja) 2020-02-27
JP6752360B2 (ja) 2020-09-09
WO2018189971A1 (ja) 2018-10-18
US20200058101A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
CN110506292A (zh) 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
US11195253B2 (en) Equatorial stitching of hemispherical images in a spherical image capture system
US10902612B2 (en) Launch monitor
US10171729B2 (en) Directional adjustment for a camera based on exposure quality information
US20170243384A1 (en) Image data processing system and associated methods for processing panorama images and image blending using the same
US20170171570A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium
US11836875B2 (en) Augmented reality screen system and augmented reality screen display method
CN104103068B (zh) 用于控制虚拟摄像机的方法与设备
CN104048815B (zh) 一种测量透镜畸变的方法及系统
CN105550984B (zh) 一种鱼眼图像校正和漫游显示的方法及装置
CN107710728A (zh) 全球面视频成像系统和计算机可读记录介质
US20210120194A1 (en) Temperature measurement processing method and apparatus, and thermal imaging device
EP1903498B1 (en) Creating a panoramic image by stitching a plurality of images
TWI659394B (zh) 影像處理方法及影像處理裝置
US20190199992A1 (en) Information processing apparatus, method for controlling the same, and recording medium
CN107003744A (zh) 视点确定方法、装置、电子设备和计算机程序产品
CN110049246A (zh) 电子设备的视频防抖方法、装置和电子设备
CN106384367B (zh) 一种全景相机的自动稳定视角的方法
CN107560637A (zh) 头戴显示设备校准结果验证方法及头戴显示设备
US10802286B2 (en) Camera device, display device, and method for correcting motion in device
JP2019212062A (ja) 情報処理装置及びプログラム
CN109285122A (zh) 一种进行图像处理的方法和设备
US20030194149A1 (en) Imaging apparatuses, mosaic image compositing methods, video stitching methods and edgemap generation methods
KR101892155B1 (ko) 캘리브레이션 시스템 및 방법
WO2019127503A1 (zh) 一种图像处理方法、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191126