CN111869194B - 信息处理装置、信息处理方法和存储介质 - Google Patents

信息处理装置、信息处理方法和存储介质 Download PDF

Info

Publication number
CN111869194B
CN111869194B CN201880090978.8A CN201880090978A CN111869194B CN 111869194 B CN111869194 B CN 111869194B CN 201880090978 A CN201880090978 A CN 201880090978A CN 111869194 B CN111869194 B CN 111869194B
Authority
CN
China
Prior art keywords
image
images
control unit
axis
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880090978.8A
Other languages
English (en)
Other versions
CN111869194A (zh
Inventor
冈野祐太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111869194A publication Critical patent/CN111869194A/zh
Application granted granted Critical
Publication of CN111869194B publication Critical patent/CN111869194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G06T5/70—
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

[问题]提供一种能够进一步改进在MFNR期间减小图像的噪声或模糊的效果的信息处理装置。[解决方案]该信息处理装置设置有控制单元，基于在各图像的成像期间由惯性传感器获得的关于成像装置的信息，从由成像装置连续成像的多个图像中选择基准图像，并且通过与基准图像的对准将剩余的图像组合到一个图像中。

Description

信息处理装置、信息处理方法和存储介质
技术领域
本公开涉及一种信息处理装置、信息处理方法和程序。
背景技术
在一般的相机中，采集的图像的图像质量由快门速度、ISO灵敏度和光圈值的组合确定。在相机被安装在现在被广泛使用的智能电话中的情况下，可以通过适当地设置快门速度和ISO灵敏度来采集具有更好的图像质量的图像。例如，当快门速度被设置为慢时，曝光时间变更长，以使得更明亮的图像被采集。然而，相机抖动发生，或者移动对象是模糊的。另外，当ISO灵敏度被设置为高时，更明亮的图像被采集，而噪声也增大。因此，权衡关系在快门速度和ISO灵敏度的设置中发生，也就是说，当在设置中追求高图像质量时，模糊发生，或者噪声增大。
就此，一般使用被称为多帧降噪(MFNR)并且可以通过组合多个图像来降低噪声的组合图像技术。在MFNR中，连续地采集的多个图像被叠加以被组合到一个图像中。即使在具有高ISO灵敏度和很多噪声的图像中，也可以通过使用多个图像求取平均来降低噪声。注意，以下专利文献1公开了能够在组合多个图像的图像采集装置中延长曝光时间的技术。
引文列表
专利文献
专利文献1：JP 2018-011162 A
发明内容
本发明要解决的问题
在现有的MFNR中，在连续地采集的多个图像中的第一个图像上，顺序地叠加随后的图像。然而，以这样的简单的叠加方式，存在以下问题，即在第一个图像是具有模糊的图像的情况下，模糊仍存在于通过执行叠加处理而获得的最终图像中。
因此，本公开提出了能够进一步增强减小MFNR时的图像中的模糊或噪声的效果的新的改进的信息处理装置、信息处理方法和程序。
问题的解决方案
根据本公开，提供了一种信息处理装置，所述信息处理装置包括控制单元，所述控制单元基于当由图像采集装置连续地采集的多个图像中的每个图像被采集时惯性传感器获取的图像采集装置的信息，从所述多个图像中选择基准图像，并且在执行与基准图像的对准时，将剩余的图像叠加在基准图像上，以将所述图像组合到一个图像中。
另外，根据本公开，提供了一种由处理器执行的信息处理方法，所述方法包括基于当由图像采集装置连续地采集的多个图像中的每个图像被采集时惯性传感器获取的图像采集装置的信息，从所述多个图像选择基准图像，并且在执行与基准图像的对准时，将剩余的图像叠加在基准图像上，以将所述图像组合到一个图像中。
另外，根据本公开，提供了一种用于使计算机用作控制单元的程序，所述控制单元基于当由图像采集装置连续地采集的多个图像中的每个图像被采集时惯性传感器获取的图像采集装置的信息，从所述多个图像选择基准图像，并且在执行与基准图像的对准时，将剩余的图像叠加在基准图像上，以将所述图像组合到一个图像中。
本发明的效果
如上所述，根据本公开，可以进一步增强减小MFNR时的图像中的模糊或噪声的效果。
注意，上述效果不一定是限制性的，并且与以上效果结合或者代替以上效果，可以实现本说明书中所示的任何效果、或者从本说明书可以理解的其他效果。
附图说明
图1是例示说明根据本公开的实施例的移动终端的旋转轴的定义的说明图。
图2是例示说明根据实施例的移动终端的配置例子的框图。
图3是例示说明根据实施例的像素的模糊的轨迹的说明图。
图4是例示说明根据实施例的从支点到特定像素的距离和旋转角度的说明图。
图5是例示说明根据实施例的采集图像时的角速率和旋转角度的说明图。
图6是根据实施例的移动终端的操作例子的流程图。
图7是例示说明根据实施例的减少具有模糊的图像的数量的效果的说明图。
图8是例示说明根据实施例的减少具有模糊的图像的数量的效果的说明图。
图9是例示说明根据实施例的移动终端的硬件配置例子的框图。
具体实施方式
以下，将参照附图来详细地描述本公开的优选实施例。注意，在本说明书和附图中，具有基本上相同的功能配置的组件用相同的标号表示，并且它们的重复的描述被省略。
注意，将按以下次序进行描述。
1.本公开的概述
2.本公开的实施例
2.1.配置例子
2.2.操作例子
2.3.实验结果
3.修改
4.硬件配置
5.总结
<<1.本公开的概述>>
<1.1.信息处理装置的概述>
以下，将参照图1来描述本公开的实施例的概述。图1是例示说明根据本公开的实施例的移动终端的旋转轴的定义的说明图。移动终端10是诸如智能电话、平板终端或数字相机的信息处理装置。以下，将描述智能电话被用作移动终端10的例子。
以下，移动终端10的长边与地面水平并且其短边垂直于地面的状态被称为移动终端10被横向拿着的状态。另外，移动终端10的长边垂直于地面并且其短边与地面水平的状态被称为移动终端10被纵向拿着的状态。
对于用户来说有多种用移动终端10采集图像的方法。例如，用户用左手横向支撑移动终端10的左侧12，并且用右手按下软件开关122，以采集图像。另外，用户可以用左手纵向支撑移动终端10的下侧(当移动终端10被横向拿着时的右侧14)，并且用左手按下软件开关122，以采集图像。另外，用户可以用左手横向支撑移动终端10的左侧12，用右手横向支撑移动终端的右侧14，并且用右手按下硬件开关124，以采集图像。注意，在本说明书中，除非具体指出，否则假定用户用左手横向支撑移动终端10的左侧12，并且用右手按下软件开关122，以采集图像。
移动终端10包括图像采集单元130作为图像采集装置。在移动终端10中，图像采集单元130的图像采集方向上的轴被设置为滚动轴(z轴)。另外，在移动终端10中，如图1所示，移动终端10的长边方向上的轴被设置为俯仰轴(x轴)，而移动终端10的短边方向上的轴被设置为偏航轴(y轴)。注意，俯仰轴和偏航轴不限于这样的例子，并且可以被任意地设置。三个轴，即x轴、y轴和z轴相互正交。另外，只要三个轴相互正交，x轴和y轴就可以不分别与移动终端10的长边方向和短边方向水平。
当用户按下软件开关122时，力被施加于移动终端10，并且该力可能使移动终端10围绕x轴、y轴或z轴中的至少一个旋转。另外，当用户按下软件开关122时，用户的支撑移动终端10的手可能在图像正被图像采集单元130采集时移动，以使得移动终端10的位置可能从开始图像采集时的位置被位移。这样的旋转和位移在采集的图像中导致模糊。
尽管图像中的模糊是通过在图像采集时提高快门速度来减小的，但是曝光时间被相应地缩短。结果，图像可能更暗。另外，可以通过设置ISO灵敏度来调节图像的亮度。然而，当为了使图像变亮而提高ISO灵敏度时，在图像中可能出现噪声。
MFNR的原理
为了解决这个问题，存在被称为多帧降噪(MFNR)的技术，MFNR可以通过叠加连续采集的多个图像来降低噪声。在MFNR中，执行通过在执行与基准图像的对准时叠加图像来将多个图像组合到一个图像中的处理(以下，也被称为MFNR处理)。这里，术语“对准”意味着基准图像中的第一像素的位置与将被叠加的图像中的对应于第一像素的第二像素的位置对准，使得位置相互匹配。在MFNR处理中，即使在具有高ISO灵敏度和很多噪声的图像中，也可以通过使用多个图像求取平均来降低噪声。
例如，将不使用MFNR采集的一个图像与通过使用MFNR组合图像而获得的一个图像进行比较。在两个图像中的模糊量近似的图像采集条件(例如，相同的快门速度)下，在采集用于MFNR的每个图像时的曝光时间与在不使用MFNR的情况下采集图像时的曝光时间是相同的。然而，在使用MFNR的情况下，多个图像中的每个的亮度被相加。结果，即使当ISO灵敏度被设置为低于不使用MFNR的情况下的ISO灵敏度时，也可以采集具有亮度近似于或大于不使用MFNR的情况下的亮度的图像。因此，在使用MFNR的情况下，ISO灵敏度可以被设置为低，并且噪声可以被降低。
另外，在两个图像中的噪声量近似的图像采集条件(例如，相同的ISO灵敏度)下，在使用MFNR的情况下在采集用于MFNR的每个图像时的曝光时间被设置为短于不使用MFNR的情况下的曝光时间。结果，即使当两个图像中的噪声量近似时，在通过使用MFNR组合图像而获得的图像中的模糊量也变小。因此，在使用MFNR的情况下，与不使用MFNR的情况相比，可以采集具有小的模糊量的图像。
另外，在MFNR中，在预先从连续采集的多个图像中选择的基准图像上，除了基准图像之外的剩余的图像按剩余的图像的图像采集次序通过MFNR被叠加。关于基准图像，连续地采集的多个图像中的第一个图像通常被选择作为基准图像。
MFNR的改进
然而，用于采集第一个图像的开始曝光的定时接近于用户按下快门时的定时。因此，与其他图像相比，有很大的可能模糊出现在第一个图像中。通过使用其中出现模糊的图像作为基准图像，有很大的可能模糊也出现在通过执行MFNR处理而获得的图像中。
为了解决这个问题，在本公开的实施例中，提出了一种技术，该技术通过以下操作来进一步减小图像中的模糊或噪声，即，从连续地采集的多个图像选择具有较小的模糊的图像作为基准图像，按模糊从小到大的次序对剩余的图像排序，并且对基准图像执行MFNR处理。
例如，将比较第一个图像被用作基准图像的情况下的MFNR处理和根据所提出的技术的MFNR处理(即，在具有较小的模糊的图像被用作基准图像的情况下的MFNR处理)。在两种类型的处理中被使用的图像中的模糊量近似的图像采集条件(例如，相同的快门速度)下，两种类型的处理中被使用的采集图像时的曝光时间是相同的。即使当曝光时间相同时，所述多个图像中的每个中的模糊量也不总是相同的。例如，由于快门按下定时和曝光定时之间的关系，具有比第一个图像中的模糊量小的模糊量的图像存在于第二个和随后的图像中。作为例子，假定第一个图像中的模糊量是最大的。此时，在MFNR处理使用第一个图像作为基准图像的情况下，具有最大的模糊量的图像被用作基底并且其他图像被叠加在该图像上。因此，通过执行MFNR处理而获得的图像的模糊量仍然大。另一方面，在MFNR处理使用所提出的技术的情况下，具有小的模糊量的图像被用作基底并且其他图像被叠加在该图像上。因此，与使用第一个图像作为基准图像的MFNR处理的情况相比，通过执行MFNR处理而获得的图像的模糊量较小。此外，在根据所提出的技术的MFNR中，因为其他图像是按模糊量的升序被叠加的，所以叠加的效果可以被进一步增强。
使在使用第一个图像作为基准图像的MFNR处理中的模糊量与根据所提出的技术的MFNR处理中的模糊量近似的方法的例子包括缩短曝光时间。然而，通过缩短曝光时间，将被采集的图像的亮度变暗。因此，为了在进一步减小图像中的模糊的同时保持图像的亮度，可想到的是提高ISO灵敏度。然而，通过提高ISO灵敏度，将被采集的图像中的噪声增大。即，在所提出的技术的MFNR处理的情况下，因为与使用第一个图像作为基准图像的MFNR处理的情况相比，ISO灵敏度可以被设置为较低，所以预期通过执行MFNR处理而获得的图像中的噪声降低。
注意，在上述的MFNR原理中，使用多个图像在MFNR时被相加并且被叠加的方法的例子已经被作为一般的例子来描述。然而，在本公开的实施例中，使用了多个图像在MFNR时被求取平均并且被叠加的方法。这是因为，在使用多个图像被求取平均并且被叠加的方法的MFNR中，可以在不改变图像的亮度(ISO灵敏度的设置)的情况下降低噪声。具体地说，在以下环境中执行使用四个图像的MFNR处理的情况将被作为例子进行描述，在所述环境中，当一个图像被采集时，在ISO灵敏度为800并且快门速度为1/30s时，获得适当的曝光。在使用上述一般方法的情况下，因为四个图像被相加，所以可以通过将在一个图像被采集时的ISO灵敏度设置为200并且将图像相加来获取具有适当的曝光的图像。注意，当快门速度为1/30s时，总的图像采集时间为4/30s。然而，一般方法容易有量化噪声，并且噪声趋向于保留。另一方面，在使用本公开的实施例中的方法的情况下，因为四个图像被求取平均，所以可以在不改变ISO灵敏度的情况下获取具有适当的曝光的图像。注意，当快门速度为1/30s时，总的图像采集时间为4/30s。在本公开的实施例中的方法中，噪声也通过对多个图像求取平均而被平均。因此，可以降低通过执行MFNR处理而获得的图像中的噪声。
这样，与使用第一个图像作为基准图像的MFNR处理中相比，在根据所提出的技术的MFNR处理中，通过执行MFNR处理而获得的图像中的模糊或噪声可以被进一步降低。
为了实现上述技术，根据本实施例的移动终端10获取连续采集的图像，以及由惯性传感器在采集图像时获取的关于图像采集单元130的位置的移动的信息。基于获取的图像和关于图像采集单元130的位置的移动的信息，移动终端10从所述多个图像选择用作当图像被叠加时的基准的基准图像，并且在执行与基准图像的对准时，将剩余的图像叠加在基准图像上，以将图像组合到一个图像中。
以上已经参照图1描述了本公开的概述。随后，将描述本公开的实施例。
<<2.本公开的实施例>>
<2.1.配置例子>
以下，将参照图2至图5来描述根据本公开的实施例的移动终端10的配置例子。图2是例示说明根据本公开的实施例的信息处理装置的配置例子的框图。如图2所示，移动终端10包括操作单元120、图像采集单元130、传感器单元140、控制单元150、存储单元160和显示单元170。
(1)操作单元120
操作单元120对于用户具有输入图像采集指令的功能。例如，如图1所示，操作单元120由通过相机应用显示在画面上的软件开关122实现。另外，操作单元120可以由移动终端10中包括的硬件开关实现。
(2)图像采集单元130
图像采集单元130具有采集图像的功能。图像采集单元130是例如相机，并且基于来自用户的图像采集指令来执行图像采集。具体地说，图像采集单元130通过经由控制单元150接收用户输入的图像采集指令来执行图像采集。此时，图像采集单元130响应于来自用户的一个图像采集指令连续地采集多个图像。然后，图像采集单元130将采集的图像输出到控制单元150。注意，图像采集单元130将采集的图像的数量是没有限制的，并且可以采集任意数量的图像。
注意，在本公开的实施例中，将被用作图像采集单元130的相机的数量和类型没有特别限制，并且可以使用任意数量的相机和任意类型的相机。例如，除了图1所示的外部相机(图像采集单元130)之外，移动终端10可以在显示侧(显示单元170的一侧)包括内部相机。
(3)传感器单元140
传感器单元140具有测量关于移动终端10的移动的信息的功能。传感器单元140包括例如惯性传感器作为传感器，并且使用该惯性传感器来测量用于计算表示采集图像时的相机抖动的幅度的指数的信息。
传感器单元140可以包括陀螺仪传感器作为惯性传感器。陀螺仪传感器是具有获取物体的角速率的功能的惯性传感器。陀螺仪传感器是用于确定当物体在某一时间内旋转时的角度变化量的传感器。陀螺仪传感器的类型包括从施加于旋转物体的惯性力获得角速率的机械传感器，或者从流动路径中的气体流动变化获得角速率的流体传感器。然而，陀螺仪传感器的类型没有特别限制，并且可以应用微电子机械系统(MEMS)技术。
在本公开的实施例中，上述陀螺仪传感器测量当用户输入图像采集指令时改变的移动终端10的姿势的变化量，并且将测得的值输出到控制单元150。姿势的变化量是通过围绕作为旋转轴的x轴的旋转、围绕作为旋转轴的y轴的旋转、以及围绕作为旋转轴的z轴的旋转而产生的角速率(°/sec)。本实施例中的角速率的采样频率为200Hz(5ms)。注意，采样频率的值没有特别限制，并且可以设置任意的值。
另外，陀螺仪传感器还基于图像采集指令来测量在图像正被图像采集单元130采集时改变的移动终端10的姿势的变化量，并且将测得的值输出到控制单元150。
另外，传感器单元140可以包括加速度传感器作为惯性传感器。加速度传感器是具有获取物体的加速度的功能的惯性传感器。加速度传感器是用于确定物体在某一时间内的移动速率的变化量的设备。加速度传感器的类型包括从连接到弹簧的配重的位置变化获得加速度的传感器，或从当振动被施加于具有配重的弹簧时的频率变化获得加速度的传感器。然而，加速度传感器的类型没有特别限制，并且可以应用MEMS技术。
(4)控制单元150
控制单元150具有用于控制移动终端10的操作的功能。例如，控制单元150基于来自用户的图像采集指令来控制由图像采集单元130执行的图像采集。具体地说，控制单元150从操作单元120接收由用户输入到操作单元120的图像采集指令，并且基于该图像采集指令，指示图像采集单元130执行图像采集。
另外，控制单元150具有执行叠加多个图像的处理(MFNR处理)的功能。例如，控制单元150基于由惯性传感器获取的信息，叠加由图像采集单元130采集的多个图像。具体地说，控制单元150获取连续采集的图像、以及在采集图像时由惯性传感器获取的关于图像采集单元130的位置的移动的信息。基于获取的图像和关于图像采集单元130的位置的移动的信息，控制单元150从多个图像选择当图像被叠加时用作基准的基准图像。然后，控制单元150在执行与基准图像的对准时，将剩余的图像叠加在基准图像上，以将图像组合到一个图像中。因此，控制单元150产生模糊或噪声被减小的图像。
为了选择基准图像，控制单元150计算表示多个图像中的每个图像中的模糊幅度的指数。例如，控制单元150基于当所述多个图像中的每个图像被采集时由陀螺仪传感器测得的角速率来计算表示每个图像中的模糊幅度的指数，并且选择具有最小的指数的图像作为基准图像。注意，表示模糊幅度的指数由在图像采集时的曝光时间内对通过陀螺仪传感器测得的角速率进行积分而计算的角度来表示。
以下，将参照图3至图5来具体地描述从通过陀螺仪传感器测得的角速率计算表示模糊幅度的指数的方法。
首先，将参照图3和图4来描述用于计算表示模糊幅度的指数的公式。图3是例示说明根据本实施例的模糊的轨迹的说明图。图4是例示说明根据本实施例的从支点到特定像素的距离和旋转角度的说明图。
图像模糊的方式根据移动终端10的旋转轴、旋转时的支点、以及从支点到像素的距离而改变。例如，如图3的左侧的示图中所示，当移动终端10围绕作为旋转轴的z轴和作为支点的移动终端10的左下角旋转时，从支点到像素(例如，像素20)的距离越大，模糊的轨迹(例如，轨迹22)越大。
另外，如图3的中间的示图中所示，当移动终端10围绕作为旋转轴的y轴和作为支点的移动终端10的左侧中心旋转时，从支点到像素(例如，像素30)的距离越大，旋转开始时z轴方向上的模糊的轨迹越大。注意，就在无穷远点处的对象来说，模糊的轨迹是x方向上的轨迹(例如，轨迹32)。
另外，如图3的右侧的示图中所示，当移动终端10围绕作为旋转轴的x轴和作为支点的移动终端10的下侧中心旋转时，从支点到像素(例如，像素40)的距离越大，旋转开始时z轴方向上的模糊的轨迹越大。注意，就在无穷远点处的对象来说，模糊的轨迹是y轴方向上的轨迹(例如，轨迹42)。
如上所述，在图像模糊的方式有一些模式下，为了更准确地由控制单元150计算模糊幅度的指数，控制单元150可取地基于从支点到每个像素的距离、角速率和像素间距来计算某个像素中的模糊量所对应的像素的数量。此外，控制单元150优选地计算对应于模糊像素的数量的模糊量，以计算模糊的整体幅度的指数。例如，如图4的左侧所示，当移动终端10围绕作为旋转轴的z轴以及作为支点的x轴和y轴的交点的位置旋转时，图像采集单元130的初始坐标P为(x0,y0,z0)，并且旋转角度为θz。此时，模糊量是使用像素的数量计算的，其中，x轴方向上的模糊量被计算为(x0cosθz–y0sinθz)/像素间距个像素，以及y轴方向上的模糊量被计算为(x0sinθz+y0cosθz)/像素间距个像素。
另外，如图4的中间所示，当移动终端10围绕作为旋转轴的y轴以及作为支点的x轴和z轴的交点的位置旋转时，图像采集单元130的初始坐标P为(x0,y0,z0)，并且旋转角度为θy。此时，模糊量是使用像素的数量计算的，其中，x轴方向上的模糊量被计算为(x0cosθy–z0sinθy)/像素间距个像素。
另外，如图4的右侧所示，当移动终端10围绕作为旋转轴的x轴以及作为支点的y轴和z轴的交点的位置旋转时，图像采集单元130的初始坐标P为(x0,y0,z0)，并且旋转角度为θx。此时，模糊量是使用像素的数量计算的，其中，y轴方向上的模糊量被计算为(y0cosθx–z0sinθx)/像素间距个像素。
为了准确地计算模糊幅度的指数，执行如上所述的计算是理想的。在上述方法中，执行计算的次数与模糊像素的数量一样多。因此，根据模糊幅度，计算对象的数量增加，并且计算处理可能花费时间。因此，在本公开的实施例中，为了减小计算量，使用基于由惯性传感器测得的关于移动终端10的信息来简单地计算表示模糊幅度的指数的方法。
当简单地计算指数时，控制单元150将图像采集单元130的图像采集方向上的轴设置为滚动轴，并且使用相对于与滚动轴正交的俯仰轴或偏航轴的角速率中的至少一个。此时，控制单元150根据用户输入的图像采集指令的类型，选择在相对于滚动轴、俯仰轴和偏航轴的角速率之中要使用哪个角速率。
例如，在控制单元150接收图像采集单元130围绕作为旋转轴的偏航轴或俯仰轴旋转的类型的图像采集指令的情况下，控制单元150使用角速率之中的至少相对于俯仰轴和偏航轴的角速率来计算指数。具体地说，在如本公开的实施例中那样，用户按下软件开关122以输入图像采集指令的情况下，假定围绕俯仰轴(x轴)和偏航轴(y轴)的旋转分量占主导，并且围绕滚动轴(z轴)的旋转分量小。
因此，控制单元150通过以下数学公式(1)计算指数，在数学公式(1)中，省略了关于围绕滚动轴(z轴)的旋转分量的计算。通过省略关于滚动轴(z轴)的旋转分量的计算，控制单元150可以减小计算量，而且，预期有更适当地选择基准图像的效果。
[数学公式1]
(max.θx-min.θx)2+(max.θy-min.θy)2···(1)
注意，在数学公式(1)中，max.θx是从x轴上的多个角速率计算的角度的最大值，所述多个角速率是在将被计算指数的一个图像的曝光时间内获取的。min.θx是从x轴上的多个角速率计算的角度的最小值，所述多个角速率是在将被计算指数的一个图像的曝光时间内获取的。另外，max.θy是从y轴上的多个角速率计算的角度的最大值，所述多个角速率是在将被计算指数的一个图像的曝光时间内获取的。min.θy是从y轴上的多个角速率计算的角度的最小值，所述多个角速率是在将被计算指数的一个图像的曝光时间内获取的。
另外，在控制单元150接收图像采集单元130围绕作为旋转轴的滚动轴旋转的类型的图像采集指令的情况下，控制单元150使用角速率之中的至少相对于滚动轴的角速率来计算指数。具体地说，在用户按下图1所示的硬件开关124以输入图像采集指令的情况下，假定围绕滚动轴(z轴)的旋转分量占主导，并且围绕俯仰轴(x轴)和偏航轴(y轴)的旋转分量小。
因此，控制单元150通过以下数学公式(2)计算指数，在数学公式(2)中，省略了关于围绕俯仰轴(x轴)和偏航轴(y轴)的旋转分量的计算。通过省略关于俯仰轴(x轴)和偏航轴(y轴)的旋转分量的计算，控制单元150可以减小计算量，而且，预期有更适当地选择基准图像的效果。注意，以下数学公式(2)是基于硬件开关124被设置在移动终端10的长边的上侧并且在与支点对角的位置处的假设而使用的。
[数学公式2]
(max.θz-min.θz)2···(2)
注意，在数学公式(2)中，max.θz是从z轴上的多个角速率计算的角度的最大值，所述多个角速率是在将被计算指数的一个图像的曝光时间内获取的。min.θz是从z轴上的多个角速率计算的角度的最小值，所述多个角速率是在将被计算指数的一个图像的曝光时间内获取的。
随后，将参照图5来描述使用上述计算公式计算表示幅度偏差的指数的方法。图5是例示说明根据本实施例的采集图像时的角速率和旋转角度的说明图。
图5的上部曲线图表示由陀螺仪传感器测得的角速率随时间的变化。另外，上部曲线图的垂直轴表示x轴上的角速率，并且水平轴表示时间。注意，上部曲线图中表示的信息表示x轴上的角速率随时间的变化，所述角速率是在用户于时间T0输入图像采集指令之后图像采集单元130连续地采集五个图像时测得的。另外，该曲线图中表示的角速率是按5ms间隔获取的。注意，为了简化描述，省略了表示y轴上的角速率的曲线图的例示说明。
上部曲线图中的从T1到T2、T3到T4、T5到T6、T7到T8和T9到T10的时间分别表示第一采集图像、第二采集图像、第三采集图像、第四采集图像和第五采集图像的曝光时间。角速率是在所述多个图像中的每个被采集时，在一个曝光时间期间由陀螺仪传感器多次获取的。另外，表示每个图像中的模糊幅度的指数是基于在每个图像的曝光时间内获取的图像采集单元130的角速率来计算的。
另外，上部曲线图中的从T2到T3、T4到T5、T6到T7、T8到T9和T10到T11的时间分别表示第一采集图像、第二采集图像、第三采集图像、第四采集图像和第五采集图像的读出时间。
另外，图5的下部曲线图表示每个曝光时间从开始到结束的角度的变化，其中，每个曝光时间开始时的角度被设置为0。下部曲线图的垂直轴表示在时间T时围绕x轴的旋转角度，并且水平轴表示时间。
下部曲线图中的从T1到T2、T3到T4、T5到T6、T7到T8和T9到T10的时间类似于上部曲线图中的那些时间，分别表示第一采集图像、第二采集图像、第三采集图像、第四采集图像和第五采集图像的曝光时间。
通过用时间T对角速率积分，计算时间T时的角度。例如，当上部曲线图中表示的角速率用时间T积分时，时间T时的角度被如下部曲线图中表示的那样计算。下部曲线图中的角度表示移动终端10在时间T时已经围绕x轴旋转的角度。
基于从上部曲线图中表示的角速率计算的下部曲线图中表示的角度，控制单元150计算表示多个图像中的每个的模糊幅度的指数，并且选择具有最小的指数的图像作为基准图像。例如，基于下部曲线图中的角度使用上述数学公式(1)计算的第一个图像中的模糊幅度的指数为25×10-6。注意，在图5中，省略了表示y轴上的角速率的曲线图。因此，表示模糊幅度的指数的计算没有考虑围绕y轴的旋转分量。
以类似的方式计算的表示第二个图像至第五个图像中的模糊幅度的指数分别为4×10-6、1×10-6、2×10-6和3×10-6。在计算结果之中，表示第三个图像中的模糊幅度的指数是最小的。因此，控制单元150选择第三个图像作为基准图像。
这样，控制单元150选择具有最小的表示模糊幅度的指数的图像作为基准图像，并且剩余的图像被叠加在具有小的模糊的图像上。因此，控制单元150可以产生这样的图像，在该图像中，与在不考虑模糊幅度而使用第一个图像作为基准图像并且将剩余的图像叠加在该基准图像上的情况下产生的图像相比，模糊被进一步减小。
在选择基准图像之后，控制单元150按指数的升序将剩余的图像叠加在基准图像上，以组合图像。例如，基于下部曲线图中表示的角速率，控制单元150按第四个图像(指数＝2×10-6)、第五个图像(指数＝3×10-6)、第三个图像(指数＝4×10-6)和第一个图像(指数＝25×10-6)的顺序，将每个图像叠加在基准图像上。此时，控制单元150在通过MFNR执行对准时将每个图像叠加在基准图像上。
这样，因为控制单元150按表示模糊幅度的指数的升序将剩余的图像叠加在基准图像上，所以每个剩余的图像被顺序地叠加在具有更小的模糊的图像上。因此，控制单元150可以产生这样的图像，在该图像中，与在不考虑模糊幅度而按图像采集顺序叠加剩余的图像的情况下产生的图像相比，模糊被进一步减小。
注意，在上述例子中，已经描述了基于通过陀螺仪传感器测得的角速率来表示模糊幅度的例子。然而，控制单元150可以基于通过加速度传感器测得的加速度来估计表示模糊幅度的指数。例如，控制单元150基于当移动终端10的位置移动时从通过加速度传感器测得的加速度获得的平移分量来估计表示模糊幅度的指数。另外，在图像采集单元130正在基于图像采集指令执行图像采集时，控制单元150可以基于当移动终端10的位置移动时通过加速度传感器测得的加速度获得的平移分量来估计表示模糊幅度的指数。
如上所述，根据本实施例的表示模糊幅度的指数是基于上述角速率或加速度中的至少一个来估计的。例如，在基于角速率和加速度这二者来估计表示模糊幅度的指数的情况下，估计的准确性被进一步改进。然而，在从图像采集单元130到对象的距离长的情况下，因为旋转分量比平移分量更占主导，所以控制单元150可以仅使用角速率、而不使用加速度来估计表示模糊幅度的指数。
另外，控制单元150还控制与图像的存储相关的处理。具体地说，控制单元150将从图像采集单元130接收的图像输出到存储单元160，并且使存储单元160存储图像。另外，控制单元150可以将已经对其执行降噪处理的图像输出到存储单元160，并且使存储单元160存储该图像。
另外，控制单元150控制在显示单元170上显示图像的处理。具体地说，控制单元150使显示单元170将通过对从图像采集单元130接收的图像执行降噪处理而获得的图像显示为缩略图。注意，缩略图的显示位置和大小没有特别限制。缩略图可以在任何位置以任何大小显示。
注意，在一些情况下，降噪处理花费时间，并且显示缩略图可能花费时间。为了避免该情况，控制单元150可以使显示单元170将从图像采集单元130接收的图像照原样显示为缩略图。然后，在叠加图像的处理完成之后，处理之前的图像可以被替换为处理之后的图像，以使得处理之后的图像作为缩略图显示在显示单元170上。
注意，可以对移动终端10中包括的内部相机采集的图像执行控制单元150对图像采集单元130采集的图像执行的处理。
(5)存储单元160
存储单元160具有存储关于移动终端10的信息的功能。例如，存储单元160存储由图像采集单元130采集的图像。具体地说，存储单元160从控制单元150接收由图像采集单元130采集的图像，并且存储该图像。另外，存储单元160可以存储通过由控制单元150执行MFNR处理而获得的图像。
注意，存储在存储单元160中的信息不限于上述图像。例如，存储单元160可以存储由控制单元150执行的处理中输出的除了图像之外的数据、诸如各种应用的程序、数据等。
(6)显示单元170
显示单元170具有用于显示图像的功能。例如，显示单元170显示通过执行MFNR处理而获得的图像。具体地说，显示单元170显示控制单元150已经对其执行MFNR处理的图像。
另外，显示单元170可以显示由图像采集单元130采集的图像。具体地说，显示单元170从控制单元150接收由图像采集单元130采集的图像，并且将该图像显示为缩略图。注意，显示单元170可以将控制单元150已经对其执行相机抖动减小处理的图像显示为缩略图。
作为显示单元170的功能由例如阴极射线管(CRT)显示设备、液晶显示(LCD)设备或有机发光二极管(OLED)设备实现。
注意，在图2中，移动终端10具有显示单元170和操作单元120分开的配置。然而，可以采用显示单元170和操作单元120集成的配置。在这种情况下，通过使用触摸面板作为显示单元170，显示单元170可以具有作为操作单元120的功能。通过使用触摸面板作为显示单元170，用户可以通过触摸(按下)显示单元170上显示的软件开关来输入图像采集指令。
当显示面板的表面(检测表面)被诸如手指或笔的物体触摸时，触摸面板检测被触摸位置。例如，触摸面板检测到显示面板正在显示图像等的区域被手指或笔触摸。注意，触摸面板可以被层压在显示面板上，或者可以与显示面板集成配置。触摸面板可以是例如静电电容型触摸面板。在这种情况下，从静电电容的变化检测到显示面板的表面被手指等触摸。
由触摸面板检测到的被触摸位置的数据被输出到控制单元150。控制单元150基于接收的被触摸位置来执行活动的应用。被触摸位置由例如两个正交轴表达的坐标位置表示，所述两个正交轴是X轴(水平轴)和Y轴(垂直轴)。由触摸面板检测到的坐标位置的数量不限于一个。在多个点同时被触摸的情况下，控制单元150执行基于检测到的多个点的控制。另外，在触摸面板的大范围同时被触摸的情况下，控制单元150检测整个被触摸的范围。
已经参照图2至图5描述了根据本公开的实施例的移动终端10的配置例子。随后，将描述根据本公开的实施例的信息处理装置的操作例子。
<2.2.操作例子>
以下，将参照图6来描述根据本公开的实施例的移动终端10的操作例子。图6是根据本公开的实施例的移动终端的操作例子的流程图。
如图6所示，首先，移动终端10的图像采集单元130采集多个图像，这由通过用户操作输入的图像采集指令触发(步骤S1000)。另外，移动终端10的传感器单元140通过陀螺仪传感器测量在图像被图像采集单元130采集时由移动终端10的移动产生的角速率。
基于由陀螺仪传感器测得的角速率，移动终端10的控制单元150计算表示多个图像中的每个的相机抖动幅度的指数。然后，控制单元150选择所述多个图像之中的具有最小指数的图像作为基准图像，并且从基准图像开始按指数的升序对剩余的图像进行排序(步骤S1002)。
在对图像进行排序之后，控制单元150执行MFNR处理，在MFNR处理中，剩余的图像按指数的升序叠加在基准图像上(步骤S1004)。
控制单元150将通过执行MFNR处理而获得的图像输出到存储单元160以使存储单元160存储该图像，并且处理结束(步骤S1006)。
以上已经参照图6描述了根据本公开的实施例的信息处理装置的操作例子。随后，将描述根据本公开的实施例的实验结果。
<2.3.实验结果>
以下，将参照图7和图8来描述根据本公开的实施例的实验结果。图7是例示说明根据本实施例的、当快门速度为1/60s时减少具有模糊的图像的数量的效果的说明图。图8是例示说明根据本实施例的、当快门速度为1/15s时减少具有模糊的图像的数量的效果的说明图。
图7的图形表示在相机抖动是由用户用手横向拿着移动终端10而引起的情况下，当快门速度被设置为1/60s而图像采集已经被执行50次时，通过执行MFNR处理而获得的图像类型的比率。注意，存在三种类型的图像：没有模糊的图像、具有轻微模糊的图像和具有模糊的图像。这些分类是由实验者视觉完成的。另外，在图形中，左侧的垂直轴表示图像类型的比率，右侧的垂直轴表示对于基准图像的角速率的平均值。另外，水平轴表示在连续地采集的图像之中的被选择作为基准图像的图像。例如，MIN表示具有最小的表示模糊幅度的指数的图像已经被选择作为基准图像。另外，第一个图像表示首先被采集的图像已经被选择作为基准图像。第二个图像到第六个图像表示与第一个表示的意义类似的意义。
如图7所示，可以看出，在具有最小的表示模糊幅度的指数的图像已经被用作基准图像的情况下，没有模糊的图像的比率与在不考虑模糊而第一个图像已经被用作基准图像的情况下相比，约为12倍。另外，可以看出，与在不考虑模糊而第二个图像到第六个图像中的任何一个已经被用作基准图像的情况(如同使用第一个图像的情况)下相比，在具有最小的指数的图像已经被用作基准图像的情况下，没有模糊的图像的比率更大。注意，在MIN和第一个到第六个图像的情况中的任何情况下，因为ISO灵敏度的设置没有改变，所以噪声量在所述情况中的任何情况下都是类似的。
因此，通过选择具有最小的表示模糊幅度的指数的图像作为基准图像，与一般方法相比，可以采集具有近似的噪声量和少量相机抖动的图像。
图8的图形表示在除了快门速度之外与图7的图形中的条件类似的条件下，当图像采集已经被用户执行50次时通过执行MFNR而获得的图像类型的比率。
如图8所示，在MIN的情况下的图像类型的比率接近于图7的图形中表示的第一个到第六个图像的情况下的图像类型的比率。也就是说，在MIN的情况下，即使当快门速度从1/60减小到1/15时，具有模糊的图像的比率与在快门速度为1/60时使用一般方法的情况下的具有模糊的图像的比率也是基本上相同的。另外，因为变得可以对于图像采集相应地降低ISO灵敏度，所以可以降低噪声。
因此，通过选择具有最小的表示模糊幅度的指数的图像作为基准图像，与一般方法相比，可以采集具有近似的相机抖动量和少量噪声的图像。
以上已经参照图7和图8描述了根据本公开的实施例的实验结果。
以上已经参照图2至图8描述了根据本公开的实施例的信息处理装置。随后，将描述根据本公开的实施例的修改。
<<3.修改>>
以下，将描述本公开的实施例的修改。注意，下面将描述的修改可以单独地或者按组合被应用于本公开。另外，所述修改可以代替或补充本公开的实施例中描述的配置而被应用。
(1)第一修改
在上述实施例中，已经描述了控制单元150将除了基准图像之外的所有的剩余的图像都叠加在基准图像上的例子。在第一修改中，将描述控制单元150将剩余的图像之中的具有等于或小于预定阈值的指数的图像叠加在基准图像上的例子。
例如，控制单元150通过使用上述数学公式(1)来计算表示多个图像中的每个的模糊幅度的指数，并且在执行MFNR处理之前，判定计算的指数是否小于预先设置的预定阈值。在指数小于预定阈值的情况下，控制单元150对于MFNR处理使用与指数相对应的图像。另外，在指数大于预定阈值的情况下，控制单元150对于MFNR处理不使用与指数相对应的图像。
如上所述，通过执行基于表示模糊幅度的指数的判定处理，控制单元150可以从将被用于叠加的图像中排除具有大于预定阈值的指数的图像，即，模糊幅度大于预定幅度的图像。因此，因为具有小于预定阈值的模糊幅度的图像被叠加，所以控制单元150可以产生这样的图像，在该图像中，与在不执行判定处理的情况下产生的图像相比，模糊可以被进一步减小。
(2)第二修改
在上述实施例中，已经描述了控制单元150将除了基准图像之外的剩余的图像照原样叠加在基准图像上的例子。在第二修改中，将描述以下例子，在该例子中，控制单元150根据指数设置权重，并且在将权重应用于多个图像中的每个的指数之后，将剩余的图像叠加在基准图像上。
例如，控制单元150通过使用上述数学公式(1)来计算表示多个图像中的每个的模糊幅度的指数，并且在执行MFNR处理之前，根据指数设置权重。具体地说，指数越大，权重被设置得越小，并且指数越小，权重被设置得越大。然后，控制单元150在将权重乘以对应的指数之后执行MFNR处理。
如上所述，当指数较大时，控制单元150设置较小的权重，以使模糊幅度越大，可以使得在叠加中的权重越小。因此，控制单元150可以产生模糊被进一步减小的图像。
以上已经描述了根据本公开的实施例的修改。随后，将描述根据本公开的实施例的硬件配置。
<<4.硬件配置>>
最后，将参照图9来描述根据本实施例的移动终端的硬件配置。图9是例示说明根据本实施例的移动终端的硬件配置的例子的框图。根据本实施例的移动终端10的信息处理是通过下面将描述的软件和硬件之间的合作来实现的。
移动终端10包括中央处理单元(CPU)101、只读存储器(ROM)103和随机存取存储器(RAM)105。另外，移动终端10包括输入设备107、显示设备109、音频输出设备111、存储设备113和通信设备115。
CPU 101用作算术处理设备和控制设备，并且根据各种程序来控制移动终端10中的总体操作。另外，CPU 101可以是微处理器。ROM 103存储由CPU 101使用的程序、操作参数等。RAM 105暂时存储CPU 101的执行中使用的程序、在执行中适当地改变的参数等。这些通过包括CPU总线的主机总线相互连接。CPU 101、ROM 103和RAM 105可以实现例如参照图1描述的控制单元150的功能。
输入设备107包括用于用户输入信息的输入装置，诸如触摸面板、按钮、相机、麦克风、传感器、开关和控制杆，以及输入控制电路，输入控制电路基于用户输入产生输入信号并且将产生的输入信号输出到CPU 101。输入设备107可以实现例如参照图1描述的操作单元120、图像采集单元130和传感器单元140的功能。
显示设备109包括例如显示单元，诸如阴极射线管(CRT)显示设备、液晶显示(LCD)设备、投影仪设备、有机发光二极管(OLED)设备和灯。例如，显示设备109可以实现例如参照图1描述的显示单元170的功能。另外，音频输出设备111包括诸如扬声器和耳机的音频输出设备。
存储设备113是用于存储数据的设备。存储设备113可以包括存储介质、将数据记录在存储介质上的记录设备、从存储介质读出数据的读出设备、以及删除记录在存储介质上的数据的删除设备。存储设备113包括例如硬盘驱动器(HDD)或固态存储驱动器(SSD)、或具有等同的功能的存储器。存储设备113驱动存储器存储CPU 101执行的程序和各种数据。存储设备113可以实现例如参照图1描述的存储单元160的功能。
通信设备115是通信接口，该通信接口包括例如用于连接到网络的通信设备。这样的通信接口例如是诸如蓝牙(注册商标)或ZigBee(注册商标)的短距离无线通信接口，或诸如无线局域网(LAN)、Wi-Fi或移动通信网络(LTE、3G)的通信接口。另外，通信设备115可以是执行有线通信的有线通信设备。
以上已经参照图9描述了移动终端10的硬件配置。
<<5.总结>>
如上所述，根据本公开的信息处理装置中包括的控制单元基于当多个图像被采集时由惯性传感器获取的信息，从连续采集的多个图像中选择基准图像。然后，控制单元在执行与基准图像的对准时执行将剩余的图像叠加在选择的基准图像上的处理，以将图像组合到一个图像中。
利用所述信息处理装置，通过选择具有最小的表示模糊幅度的指数的图像作为基准图像，即使当图像采集条件类似于第一个图像被用作基准的MFNR处理中的图像采集条件时，也可以采集具有较小的模糊的图像。
另外，利用所述信息处理装置，通过选择具有最小的表示模糊幅度的指数的图像作为基准图像，即使当图像是利用慢快门速度被采集时，也可以采集相机抖动量近似于通过执行第一个图像被用作基准的MFNR处理而获得的图像中的相机抖动量的图像。因此，利用所述信息处理装置，可以降低ISO灵敏度，并且因此与通过执行第一个图像被用作基准图像的MFNR处理而获得的图像相比，可以采集具有近似的模糊量和少量噪声的图像。
如上所述，可以提供能够进一步增强减小MFNR时图像中的模糊或噪声的效果的新的改进的信息处理装置、信息处理方法和程序。
以上已经参照附图详细地描述了本公开的优选实施例，但是本公开的技术范围不限于这样的例子。清楚的，具有本公开的技术领域中的普通知识的人员可以设想权利要求书中描述的技术构思的范围内的各种改变或修改，并且自然地，可以理解该改变或修改也属于本公开的技术范围。
另外，本说明书中描述的每个设备执行的一系列处理可以使用软件、硬件、以及软件和硬件的组合中的任何一个来实现。构成软件的程序被预先存储在例如设置于每个设备内部或外部的记录介质(非暂时性介质)上。然后，每个程序在计算机执行该程序时被读到RAM中，并且被例如诸如CPU的处理器执行。
另外，参照本说明书中的流程图描述的处理可能不按例示说明的顺序执行。一些处理步骤可以被并行地执行。另外，可以采用附加的处理步骤，或者可以省略一些处理步骤。
另外，本说明书中描述的效果仅仅是说明性或示例性的，而非限制的。即，除了上述效果之外，或者代替上述效果，根据本公开的技术可以表现出本领域技术人员从本说明书的描述而清楚的其他效果。
注意，以下配置也属于本公开的技术范围。
(1)
一种信息处理装置，包括：
控制单元，所述控制单元基于当由图像采集装置连续地采集的多个图像中的每个图像被采集时惯性传感器获取的图像采集装置的信息，从所述多个图像选择基准图像，并且在执行与基准图像的对准时，将剩余的图像叠加在基准图像上，以将所述图像组合到一个图像中。
(2)
根据(1)所述的信息处理装置，其中，控制单元基于所述信息获取表示所述多个图像中的每个图像的模糊幅度的指数，并且选择具有由指数表示的最小的模糊幅度的图像作为基准图像。
(3)
根据(2)所述的信息处理装置，其中，控制单元按指数的升序将剩余的图像叠加在基准图像上，以组合所述图像。
(4)
根据(2)或(3)所述的信息处理装置，其中，控制单元基于在所述多个图像中的每个图像被采集时由陀螺仪传感器在一个曝光时间期间多次获取的图像采集装置的角速率来计算所述指数。
(5)
根据(4)所述的信息处理装置，其中，控制单元将图像采集装置的图像采集方向上的轴设置为滚动轴，并且使用相对于俯仰轴或偏航轴的角速率中的至少一个来计算所述指数，所述俯仰轴和偏航轴与滚动轴正交。
(6)
根据(5)所述的信息处理装置，其中，控制单元根据来自用户的图像采集指令的类型，在相对于滚动轴、俯仰轴和偏航轴的角速率之中选择要使用哪个角速率。
(7)
根据(6)所述的信息处理装置，其中，在控制单元接收到图像采集装置围绕作为旋转轴的偏航轴或俯仰轴旋转的类型的图像采集指令的情况下，控制单元使用所述角速率之中的至少相对于俯仰轴和偏航轴的角速率来计算所述指数。
(8)
根据(6)或(7)所述的信息处理装置，其中，在控制单元接收到图像采集装置围绕作为旋转轴的滚动轴旋转的类型的图像采集指令的情况下，控制单元使用所述角速率之中的至少相对于滚动轴的角速率来计算所述指数。
(9)
根据(2)至(8)中的任何一个所述的信息处理装置，其中，控制单元将剩余的图像之中的具有等于或小于预定阈值的指数的图像叠加在基准图像上。
(10)
根据(2)至(9)中的任何一个所述的信息处理装置，其中，控制单元根据所述指数设置权重，并且在将所述权重应用于所述多个图像的每个指数之后，将剩余的图像叠加在基准图像上。
(11)
一种由处理器执行的信息处理方法，所述方法包括：
基于当由图像采集装置连续地采集的多个图像中的每个图像被采集时由惯性传感器获取的图像采集装置的信息，从所述多个图像选择基准图像，并且在执行与基准图像的对准时，将剩余的图像叠加在基准图像上，以将所述图像组合到一个图像中。
(12)
一种用于使计算机用作控制单元的程序，
所述控制单元基于当由图像采集装置连续地采集的多个图像中的每个图像被采集时由惯性传感器获取的图像采集装置的信息，从所述多个图像选择基准图像，并且在执行与基准图像的对准时，将剩余的图像叠加在基准图像上，以将所述图像组合到一个图像中。
附图标记列表
10    移动终端
120   操作单元
130   图像采集单元
140   传感器单元
150   控制单元
160   存储单元
170   显示单元

Claims (9)

1.一种信息处理装置，包括：
控制单元，所述控制单元基于当由图像采集装置连续地采集的多个图像中的每个图像被采集时由陀螺仪传感器获取的图像采集装置的信息，从所述多个图像选择基准图像，并且在执行与基准图像的对准时，将剩余的图像叠加在基准图像上，以将所述多个图像组合到一个图像中，
其中，所述控制单元基于从在所述多个图像中的每个图像被采集时由所述陀螺仪传感器在一个曝光时间期间多次获取的图像采集装置的多个角速率计算的角度的最大值和最小值的差的平方和来计算表示所述多个图像中的每个图像的模糊幅度的指数，并且选择具有由所述指数表示的最小的模糊幅度的图像作为基准图像，按所述指数的升序将所述剩余的图像叠加在基准图像上，以组合所述多个图像。
2.根据权利要求1所述的信息处理装置，其中，所述控制单元将图像采集装置的图像采集方向上的轴设置为滚动轴，并且使用相对于俯仰轴或偏航轴的角速率中的至少一个来计算所述指数，俯仰轴和偏航轴与滚动轴正交。
3.根据权利要求2所述的信息处理装置，其中，所述控制单元根据来自用户的图像采集指令的类型，在相对于滚动轴、俯仰轴和偏航轴的角速率之中选择要使用哪个角速率。
4.根据权利要求3所述的信息处理装置，其中，在所述控制单元接收到图像采集装置围绕作为旋转轴的偏航轴或俯仰轴旋转的所述类型的图像采集指令的情况下，所述控制单元使用所述角速率之中的至少相对于俯仰轴和偏航轴的角速率来计算所述指数。
5.根据权利要求3所述的信息处理装置，其中，在所述控制单元接收到图像采集装置围绕作为旋转轴的滚动轴旋转的所述类型的图像采集指令的情况下，所述控制单元使用所述角速率之中的至少相对于滚动轴的角速率来计算所述指数。
6.根据权利要求1所述的信息处理装置，其中，所述控制单元将所述剩余的图像之中的具有等于或小于预定阈值的所述指数的图像叠加在基准图像上。
7.根据权利要求1所述的信息处理装置，其中，所述控制单元根据所述指数设置权重，并且在将所述权重应用于所述多个图像的每个指数之后，将所述剩余的图像叠加在基准图像上。
8.一种由处理器执行的信息处理方法，所述方法包括：
基于当由图像采集装置连续地采集的多个图像中的每个图像被采集时由陀螺仪传感器获取的图像采集装置的信息，从所述多个图像选择基准图像，并且在执行与基准图像的对准时，将剩余的图像叠加在基准图像上，以将所述多个图像组合到一个图像中，
其中，基于从在所述多个图像中的每个图像被采集时由所述陀螺仪传感器在一个曝光时间期间多次获取的图像采集装置的多个角速率计算的角度的最大值和最小值的差的平方和来计算表示所述多个图像中的每个图像的模糊幅度的指数，并且选择具有由所述指数表示的最小的模糊幅度的图像作为基准图像，按所述指数的升序将所述剩余的图像叠加在基准图像上，以组合所述多个图像。
9.一种存储用于使计算机用作控制单元的程序的存储介质，
所述控制单元基于当由图像采集装置连续地采集的多个图像中的每个图像被采集时由陀螺仪传感器获取的图像采集装置的信息，从所述多个图像选择基准图像，并且在执行与基准图像的对准时，将剩余的图像叠加在基准图像上，以将所述多个图像组合到一个图像中，
其中，所述控制单元基于从在所述多个图像中的每个图像被采集时由所述陀螺仪传感器在一个曝光时间期间多次获取的图像采集装置的多个角速率计算的角度的最大值和最小值的差的平方和来计算表示所述多个图像中的每个图像的模糊幅度的指数，并且选择具有由所述指数表示的最小的模糊幅度的图像作为基准图像，按所述指数的升序将所述剩余的图像叠加在基准图像上，以组合所述多个图像。
CN201880090978.8A 2018-03-16 2018-11-22 信息处理装置、信息处理方法和存储介质 Active CN111869194B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-049854 2018-03-16
JP2018049854 2018-03-16
PCT/JP2018/043237 WO2019176177A1 (ja) 2018-03-16 2018-11-22 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN111869194A CN111869194A (zh) 2020-10-30
CN111869194B true CN111869194B (zh) 2023-04-14

Family

ID=67906513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090978.8A Active CN111869194B (zh) 2018-03-16 2018-11-22 信息处理装置、信息处理方法和存储介质

Country Status (5)

Country Link
US (1) US11379961B2 (zh)
EP (1) EP3739866A4 (zh)
JP (1) JP6996616B2 (zh)
CN (1) CN111869194B (zh)
WO (1) WO2019176177A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021103875A (ja) * 2019-12-25 2021-07-15 キヤノン株式会社 画像符号化装置及び画像復号装置、並びにそれらの制御方法及びプログラム、及び、撮像装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115346A (ja) * 2004-10-15 2006-04-27 Olympus Corp 撮像装置および手ぶれ補正方法
JP4497001B2 (ja) * 2005-03-22 2010-07-07 株式会社ニコン 画像処理装置、電子カメラ、および画像処理プログラム
US7760997B2 (en) * 2006-04-14 2010-07-20 Seiko Epson Corporation Shake detection device, shake detection method, and shake detection program
JP4825093B2 (ja) * 2006-09-20 2011-11-30 富士通株式会社 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム
JP2008271529A (ja) * 2007-03-26 2008-11-06 Sanyo Electric Co Ltd 撮像装置
JP5084339B2 (ja) * 2007-04-20 2012-11-28 三洋電機株式会社 ぶれ補正装置及びぶれ補正方法ならびにぶれ補正装置を備えた電子機器
JP2009194896A (ja) 2008-01-18 2009-08-27 Sanyo Electric Co Ltd 画像処理装置及び方法並びに撮像装置
JP2012014268A (ja) * 2010-06-29 2012-01-19 Canon Inc 情報処理装置およびその制御方法
US9491360B2 (en) * 2013-06-06 2016-11-08 Apple Inc. Reference frame selection for still image stabilization
JP6083526B2 (ja) 2013-07-12 2017-02-22 富士通株式会社 情報処理装置、プログラム、および方法
WO2015011707A1 (en) * 2013-07-23 2015-01-29 Ben Israel Michael Digital image processing
US9672608B2 (en) * 2013-08-22 2017-06-06 Olympus Corporation Image processing device, endoscope apparatus, image processing method, and program
US9438809B2 (en) * 2014-07-25 2016-09-06 Samsung Electronics Co., Ltd. Methodology for generating high fidelity digital zoom for mobile phone cameras
GB2536429B (en) * 2015-03-13 2018-01-10 Imagination Tech Ltd Image noise reduction
US9998666B2 (en) * 2015-08-26 2018-06-12 Duke University Systems and methods for burst image deblurring
US9912868B2 (en) * 2015-09-15 2018-03-06 Canon Kabushiki Kaisha Image-blur correction apparatus, tilt correction apparatus, method of controlling image-blur correction apparatus, and method of controlling tilt correction apparatus
JP6725979B2 (ja) * 2015-11-27 2020-07-22 キヤノン株式会社 像ブレ補正装置及びその制御方法、記憶媒体
JP6632385B2 (ja) * 2016-01-14 2020-01-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6682360B2 (ja) 2016-05-27 2020-04-15 キヤノン株式会社 防振制御装置、光学機器、防振制御方法および防振制御プログラム
JP2018011162A (ja) 2016-07-13 2018-01-18 ソニー株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US9990536B2 (en) * 2016-08-03 2018-06-05 Microsoft Technology Licensing, Llc Combining images aligned to reference frame

Also Published As

Publication number Publication date
JPWO2019176177A1 (ja) 2021-01-07
EP3739866A1 (en) 2020-11-18
WO2019176177A1 (ja) 2019-09-19
EP3739866A4 (en) 2021-03-03
US11379961B2 (en) 2022-07-05
CN111869194A (zh) 2020-10-30
JP6996616B2 (ja) 2022-01-17
US20200402218A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
US9973677B2 (en) Refocusable images
US10375377B2 (en) Information processing to generate depth information of an image
US10846936B2 (en) Image display method and device
CN108353131B (zh) 获取图像的方法和终端设备
CN102957862B (zh) 摄像设备和摄像设备的控制方法
WO2019091486A1 (zh) 拍照处理的方法、装置、终端和存储介质
US9958938B2 (en) Gaze tracking for a mobile device
CN110731077B (zh) 视频图像防抖方法和终端
KR20150009184A (ko) 카메라를 구비하는 장치의 이미지 처리장치 및 방법
CN105991925A (zh) 场景构图指示方法和指示装置
CN111010512A (zh) 显示控制方法及电子设备
US10635892B2 (en) Display control method and apparatus
CN111601032A (zh) 一种拍摄方法、装置及电子设备
WO2019000664A1 (zh) 一种信息处理方法及电子设备
CN111869194B (zh) 信息处理装置、信息处理方法和存储介质
KR20230070497A (ko) 회전 이미지 뷰어
KR20150085919A (ko) 영상 처리 방법 및 그 전자 장치
US20150281585A1 (en) Apparatus Responsive To At Least Zoom-In User Input, A Method And A Computer Program
US20180059811A1 (en) Display control device, display control method, and recording medium
JP2008217330A (ja) 速度推定方法および速度推定プログラム
CN113301249B (zh) 全景视频处理方法、装置、计算机设备和存储介质
CN108369477B (zh) 信息处理装置、信息处理方法和程序
JP5170300B1 (ja) 情報処理端末、情報処理方法、およびプログラム
JP6149211B2 (ja) 携帯端末装置、プログラムおよび手ぶれ補正方法
EP4280154A1 (en) Image blurriness determination method and device related thereto

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant