CN110326287A - 拍摄方法和装置 - Google Patents
拍摄方法和装置 Download PDFInfo
- Publication number
- CN110326287A CN110326287A CN201980001265.4A CN201980001265A CN110326287A CN 110326287 A CN110326287 A CN 110326287A CN 201980001265 A CN201980001265 A CN 201980001265A CN 110326287 A CN110326287 A CN 110326287A
- Authority
- CN
- China
- Prior art keywords
- image
- score
- correction
- candidate
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 166
- 238000012937 correction Methods 0.000 claims abstract description 180
- 230000008569 process Effects 0.000 claims description 85
- 239000000203 mixture Substances 0.000 claims description 41
- 230000015572 biosynthetic process Effects 0.000 claims description 40
- 238000003786 synthesis reaction Methods 0.000 claims description 40
- 230000001960 triggered effect Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 29
- 238000009826 distribution Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 241001465754 Metazoa Species 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000005611 electricity Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001568 sexual effect Effects 0.000 description 2
- 238000010189 synthetic method Methods 0.000 description 2
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Image Processing (AREA)
Abstract
一种拍摄方法,包括:使用软件和硬件的组合自动地触发相机的拍摄操作以捕捉图像,自动地校正所捕捉的图像以生成校正的图像,以及输出校正的图像。
Description
技术领域
本公开涉及拍摄技术,更具体地,涉及拍摄方法和装置。
背景技术
动作相机通常对紧凑性、便携性和打样有很高的要求。由于动作相机的便携性要求,动作相机通常具有小屏幕和一些按钮供用户与之交互。因此,用户不能像在专业相机或移动电话上那样容易且友好地在动作相机上执行一系列操作,以完成图像构图和合成,因此,用户很少以手动方式使用动作相机来拍摄图像。
然而,市场上的相机通常缺乏先进的自动触发和自动合成(也称为自动构图)功能。自动触发功能限于定时拍摄或延时拍摄。相机不包括先进的检测和识别组件,例如传感器和处理器。用户需要根据实时取景视频屏幕上的三点线和水平线,或者诸如面部位置框架、场景的颜色直方图和焦点之类的较低级别的图像信息,执行更多操作以实现合成和拍摄。因此,没有实现自动合成的效果。
因此,需要具有自动触发、自动合成等的运动相机,以获得质量更好的图像,而无需用户执行任何操作。
发明内容
根据本公开,提供了一种拍摄方法,该拍摄方法包括:使用软件和硬件的组合自动触发相机的拍摄操作以捕捉图像,自动校正所捕捉的图像以生成校正的图像,以及输出校正的图像。
同样根据本公开,提供了一种拍摄装置,该拍摄装置包括照相机、存储指令的存储器以及耦接到存储器的处理器。处理器被配置为使用软件和硬件的组合自动触发相机的拍摄操作以捕捉图像,自动校正所捕捉的图像以生成校正的图像,以及输出校正的图像。
附图说明
图1A至图1C示意性地示出了根据本公开实施例的拍摄装置的应用场景。
图2是根据本公开实施例的拍摄装置的示意图。
图3是由图2的拍摄装置实现的旋转校正过程的流程图。
图4是由图2的拍摄装置实现的图像处理过程的流程图。
图5A至图5D示出了由图2的拍摄装置实现的过程的流程图。
图6是根据本公开实施例的另一拍摄装置的示意图。
图7是根据本公开实施例的另一拍摄装置的示意图。
图8是根据本公开实施例的另一拍摄装置的示意图。
图9是根据本公开实施例的拍摄方法的流程图。
图10是根据本公开实施例的另一拍摄方法的流程图。
图11是根据本公开实施例的另一拍摄方法的流程图。
图12是根据本公开实施例的另一拍摄方法的流程图。
图13是根据本公开实施例的另一拍摄方法的流程图。
具体实施方式
在下文中,将参考附图描述与本公开一致的实施例,附图仅是用于说明目的的示例,并不旨在限制本公开的范围。只要有可能,在整个附图中将使用相同的附图标记来指代相同或相似的部分。
本公开提供了一种具有自动触发、自动旋转校正、自动合成和/或自动图像选择功能的拍摄装置,从而以较少的用户操作或无用户操作实现自动拍摄。图1A至图1C示意性地示出了与本公开一致的拍摄装置的示例应用场景。如图1A所示,用户可以将拍摄装置直接佩戴在他的身体或手臂上或经由另一配件(例如腕带等)间接地佩戴在他的身体或手臂上。例如,当用户在外面并且佩戴了拍摄装置时,拍摄装置可以在观光期间自动拍摄美学上令人满意的图像。在完成观光之后,用户可以观看由拍摄装置自动拍摄的图像并获得美学上令人满意的图像。在一些实施例中,可以将拍摄装置安装在可移动物体(例如图1B中所示的自行车或汽车)上,以进行自动拍摄,以便可以满足大范围的场景改变或特殊拍摄需求。在一些其他实施例中,如图1C所示,可以将拍摄装置布置在或固定地附接到静止物体,例如墙壁、桌子等。在这种场景中,拍摄装置不移动,但是拍摄装置可以拍摄场景中正在改变的内容的图像并捕捉生活的瞬间。
图2是与本公开一致的示例拍摄装置200的示意图。如图2所示,拍摄装置200包括相机201、耦接到图像捕捉设备201的捕捉选择电路202、耦接到图像捕捉设备201的图像旋转校正电路203、耦接到图像旋转校正电路203的图像合成电路204、耦接到图像合成电路204和图像捕捉设备201的图像选择电路205、耦接到图像合成电路204和图像捕捉设备201的图像显示电路206。
图像捕捉设备201可以是相机、摄像机、光电传感器等。图像捕捉设备201可以包括相机镜头、图像传感器、图像处理芯片、存储器、屏幕、接口等。在一些实施例中,相机镜头可以包括具有例如大于120度的视场(FOV)的广角镜头。在一些其他实施例中,相机镜头可以包括多个镜头。图像传感器可以包括例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。图像处理芯片可以耦接到图像传感器。图像捕捉设备201可以通过相机镜头和图像传感器捕捉图像,然后通过图像传感器将所捕捉的图像输入到图像处理芯片中。图像处理芯片可以例如通过对图像执行降噪、颜色校正、格式转换(例如,从RGB到YUV)、缩放等来处理图像。图像处理芯片还可以被配置为控制相机镜头和/或图像传感器,例如调节3A参数,即自动曝光(AE)、自动白平衡(AWB)、自动聚焦(AF)。图像处理芯片可以是例如数字信号处理(DSP)芯片。存储器可以被配置为临时或永久地存储所捕捉的图像数据。接口可以包括用于图像传输的任何种类的电接口,例如通用串行总线(USB)接口、电气和电子工程师协会1394(IEEE 1394)接口等。
捕捉选择电路202可以包括例如微处理器、微处理器的一部分、专用集成电路(ASIC)或ASIC的一部分,并且可以被配置为使用软件和硬件的组合自动触发图像捕捉设备201的拍摄操作以捕捉当前场景的图像。在一些实施例中,一旦在当前场景中检测到具有特定语义的物体,捕捉选择电路202就可以触发拍摄操作。特定语义可以包括但不限于例如人、动物、面部或微笑。例如,当在当前场景中检测到面部时,捕捉选择电路202可以自动触发图像捕捉设备201的拍摄操作。可以将任何物体识别算法用于检测当前场景中的物体,例如面部识别算法,本文不做限定。
在一些实施例中,捕捉选择电路202可以响应于当前场景的深度的改变而触发拍摄操作。当图像捕捉设备201面向当前场景时,当前场景的深度可以指例如相机201的焦距。这可以是例如从图像捕捉设备201到当前场景中的物体的距离。在一些实施例中,可以经由深度传感器(例如,飞行时间(ToF)传感器)获得当前场景的深度。当前场景的深度的改变可以指当前场景的深度与前一场景的深度不同。
在一些实施例中,捕捉选择电路202可以响应于当前场景的焦点的改变而触发拍摄操作。当图像捕捉设备201聚焦在当前场景中的物体上时,当前场景的焦点可以指图像捕捉设备201的焦点位置。在一些实施例中,可以经由聚焦传感器获得当前场景的焦点。当前场景的焦点的改变可以指当前场景的焦点与前一场景的焦点不同。
在一些实施例中,捕捉选择电路202可以通过语音命令触发拍摄操作。例如,捕捉选择电路202可以包括语音用户接口(VUI)。用户可以说出语音命令,VUI可以检测用户的语音以捕捉语音命令,并且例如使用语音识别算法将语音命令转换为文本,使得捕捉选择电路202可以根据转换后的文本触发拍摄操作。VUI可以包括例如被配置为检测用户语音的麦克风和被配置为转换语音命令的处理器(例如,微处理器或专用集成电路(ASIC))。
在一些实施例中,捕捉选择电路202可以通过控制过程来触发拍摄操作。控制过程可以包括定时拍摄、延时拍摄等。例如,捕捉选择电路202可以使用定时拍摄在预设时间触发拍摄操作。作为另一示例,捕捉选择电路202可以使用延时拍摄在预设时间段(例如,每5秒)触发拍摄操作。
在一些实施例中,捕捉选择电路202可以根据上述不同标准的任何组合来触发拍摄操作。例如,如果在预设时间检测到具有特定语义的物体,则捕捉选择电路202可以使用定时拍摄在预设时间触发拍摄操作。作为另一示例,如果在预设时间段检测到具有特定语义的物体,则捕捉选择电路202可以使用延时拍摄在预设时间段触发拍摄操作。
图像旋转校正电路203可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为从图像捕捉设备201接收所捕捉的图像,并自动地对所捕捉的图像执行旋转校正。在一些实施例中,图像旋转校正电路203可以通过安装在图像捕捉设备201处或耦接到图像捕捉设备201的一个或多个姿态传感器(例如惯性测量单元(IMU))来获得图像捕捉设备201的姿态信息。姿态信息可以包括图像捕捉设备201的偏航轴信息、俯仰轴信息和/或横滚轴信息。例如,可以将一个或多个姿态传感器(例如,IMU)布置在图像捕捉设备201的图像传感器的后侧,并且获得图像捕捉设备201的姿态信息。可以根据图像捕捉设备201的姿态信息和目标姿态之间的差异(这种差异也称为“姿态差异”)来旋转所捕捉的图像,使得旋转的图像的姿态可以被调节为目标姿态,好像图像是在图像捕捉设备201处于目标姿态时被捕捉的。可以采用用于计算图像捕捉设备201的姿态信息与目标姿态之间的差异的任何合适方法。
图3是可以由例如拍摄装置200实现的示例旋转校正过程的流程图。例如,图3中所示的旋转校正过程可以由拍摄装置200的图像旋转校正电路203来实现。如图3所示,由诸如图像捕捉设备201的图像传感器之类的图像传感器312输出拜耳格式的捕捉的图像的原始数据310和每个捕捉的图像中同步的VSYNC(垂直同步)信号311。可以通过IMU 314的驱动电路来获得IMU 314的陀螺仪数据313和VSYNC信号311。用与每个所捕捉的图像相对应的VSYNC信号311的序列号来标记IMU 314的每个陀螺仪数据313。在通过网格计算器316获得图像捕捉设备201的参数(在图3中表示为相机信息315)和陀螺仪数据313之后,网格计算器316可以根据陀螺仪数据313和目标姿态(例如,具有零度偏航角、零度横滚角和零度俯仰角的姿态)之间的差异来计算网格表317。网格表317可以包括旋转矩阵,根据该旋转矩阵,可以通过鱼眼矫正引擎318旋转所捕捉的图像以生成具有目标姿态的旋转的图像。网格计算器316可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分。在一些实施例中,可以在发送给鱼眼矫正引擎318之前处理原始数据310。经处理的图像数据被表示为Src_img数据319,其与所捕捉的图像的原始数据310不同。可以意识到,与发送给鱼眼矫正引擎318的图像数据(例如,Src_img数据319)相对应的VSYNC信号311的序列号与网格表中的VSYNC信号311的序列号一致,使得可以旋转所捕捉的图像以生成具有目标姿态的旋转的图像。旋转的图像的图像数据在图3中由Rectified_Src_img数据320表示。也就是说,将Src_img数据319发送给鱼眼矫正引擎的时间点t2早于生成网格表的时间点t1,从而确保可以正确地旋转所捕捉的图像以生成具有目标姿势的旋转的图像。在一些实施例中,可以设置旋转范围以使旋转的图像的视场(FOV)不小于FOV阈值。旋转范围指图像可以旋转的最大角度。FOV阈值可以根据实际需要确定。旋转范围可以包括偏航方向上的旋转范围、俯仰方向上的旋转范围和/或横滚方向上的旋转范围。如果图像捕捉设备201的姿态信息与目标姿态之间的差异大于旋转范围,则可以根据旋转范围旋转所捕捉的图像,或者可以保持所捕捉的图像而不进行任何旋转。例如,如果图像捕捉设备201的姿态信息与目标姿态之间的差异要求所捕捉的图像在横滚方向上旋转20°但是横滚方向上的旋转范围仅为15°,则可以将所捕捉的图像在横滚方向上旋转15°,或者可以保持不旋转。
在一些其他实施例中,可以在所捕捉的图像中检测具有已知倾斜角度的线,例如水平线或垂直线,以获得横滚方向上的倾斜角,并且可以根据倾斜角度在横滚方向上旋转所捕捉的图像。可以采用用于检测水平线或垂直线的任何合适方法。例如,在所捕捉的图像中的天空和地面之间,可以获得满足例如颜色或对比度方面的差异的多条直线。可以对这些直线中的每条直线执行曲线拟合以获得所捕捉的图像中的水平线。在一些实施例中,可以通过计算在所捕捉的图像中检测到的水平线与平行于图像捕捉设备201的宽度方向的直线之间的角度来获得倾斜角度。在一些其他实施例中,可以通过计算在所捕捉的图像中检测到的垂直线和平行于图像捕捉设备201的长度方向的直线之间的角度来获得倾斜角度。有时,所捕捉的图像在横滚方向上的倾斜可能是由于用户的故意行为导致的,因此不需要在横滚方向上旋转所捕捉的图像。在一些实施例中,可以设置横滚方向的倾斜阈值,其中横滚方向上的倾斜角度大于横滚方向的倾斜阈值可以指示用户有意地使图像捕捉设备201倾斜以捕捉图像,因此,可以保持所捕捉的图像而无需任何旋转。
在一些实施例中,可以通过安装在图像捕捉设备201处或耦接到图像捕捉设备201的一个或多个传感器(例如角度传感器)来获得俯仰方向上的倾斜角度。例如,一个或多个传感器(例如角度传感器)可以布置在图像捕捉设备201的图像传感器的后侧,获得图像捕捉设备201在俯仰方向上的倾斜角。有时,所捕捉的图像在俯仰方向上的倾斜可能是由用户的故意行为导致的,因此不需要在俯仰方向上旋转所捕捉的图像。在一些实施例中,可以设置俯仰方向的倾斜阈值,其中俯仰方向上的倾斜角度大于俯仰方向的倾斜阈值可以指示用户有意地使图像捕捉设备201倾斜以捕捉图像,因此,可以保持所捕捉的图像而无需任何旋转。由于动作相机通常由用户佩戴或者布置在移动设备上,所以如果在拍摄过程期间用户没有主动参与构图,则发生相机姿态的倾斜,例如,所拍摄的图像在偏航方向、俯仰方向或横滚方向上具有投影变形。因此,需要对所拍摄的图像执行旋转校正以校正姿态的倾斜。然而,目前市场上的大多数相机需要使用辅助设备(例如云台)来在拍摄过程期间实现姿态的校正,使得用户必须携带附加的设备来完成拍摄,动作相机的便携性优势丧失。因此,具有自动旋转校正功能的拍摄装置200可以在拍摄过程期间实现姿态的校正,而无需任何辅助设备,从而实现便携性优势。
在一些实施例中,拍摄装置200还可以包括耦接到图像旋转校正电路203和/或图像捕捉设备201的图像失真校正电路(图2中未示出)。图像失真校正电路可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为在旋转所捕捉的图像之前或之后执行失真校正。可以根据失真的类型来选择用于失真校正的方法,并且可以采用任何合适的方法。例如,桶型失真可能存在于具有宽FOV的图像中。用于校正桶型失真的方法可以采用偶数阶多项式模型、多项式模型、无参数模型、除法模型等。
在一些实施例中,拍摄装置200可以包括图像校正电路,代替图像失真校正电路和图像旋转校正电路203。图像校正电路可以被配置为对所捕捉的图像执行失真校正和旋转校正两者。
动作相机使用的超广角镜头允许在移动场景中拍摄具有宽FOV的图像。然而,由于超广角镜头所导致的光学失真,所拍摄的图像的边缘具有严重的失真和压缩。尽管可以通过使用失真校正来校正一定范围的失真,但是失真校正之后的图像的视觉效果仍然是不可接受的。因此,具有失真校正功能的拍摄装置200可以获得具有更好视觉效果的图像。图像合成电路204可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为从图像旋转校正电路203接收旋转的图像,并自动合成旋转的图像以生成校正的图像。在一些实施例中,图像合成电路204可以被配置为基于显著性检测和合成规则来合成旋转的图像。合成规则可以包括中心合成规则、三元合成规则、水平线合成规则、对称合成规则、对角线合成规则等。
例如,图像合成电路204可以检测旋转的图像中的显著物体。可以获得旋转的图像中的显著物体的位置和大小信息。根据合成规则以及显著物体的位置和大小信息,可以裁剪旋转的图像以获得合成的图像。例如,如果合成规则是中心合成规则,则可以根据显著物体的位置和大小信息裁剪旋转的图像,以将显著物体放置在合成的图像的中心处或附近。在一些实施例中,可以将合成的图像输出为校正的图像。在一些其他实施例中,可以例如根据图像捕捉设备201的屏幕或图像捕捉设备201外部的显示器的纵横比,缩放或进一步裁剪合成的图像以获得校正的图像,使得校正的图像的纵横比可以与图像捕捉设备201的屏幕或显示器的纵横比一致。可以采用用于检测显著物体的任何合适方法,例如,基于深度学习的方法(例如,分层深度网络、多尺度、多上下文深度学习框架、对称网络等)、频域分析、稀疏表示、元胞自动机、随机游走、低秩恢复、贝叶斯(Bayesian)理论等。
在一些实施例中,可以在旋转的图像中获得多个显著物体。可以根据多个显著物体的位置和大小信息来计算显示显著物体在图像中的分布的显著性图。显著物体的分布可以指显著物体在图像中的空间分布。图像合成电路204可以基于显著性图和合成规则来合成旋转的图像。例如,如果合成规则是对称合成规则,则可以裁剪旋转的图像以使显著物体的分布在合成的图像中是对称或接近于对称的。
在一些其他实施例中,图像合成电路204可以被配置为经由网络模型或树结构来合成旋转的图像。在一些实施例中,可以通过使用优化过程基于多个样本进行训练来获得网络模型,该优化过程要求损失函数收敛到最小模型误差。损失函数可以包括但不限于例如交叉熵、均方误差等。可以采用用于训练网络模型的任何合适方法。多个样本可以包括多个图像样本。图像样本可以例如由图像捕捉设备201获得、从互联网下载、从图像库获得等。旋转的图像可以输入到网络模型或树结构,并根据网络模型或树结构进行处理,以获得裁剪坐标和/或缩放因子。也就是说,网络模型或树结构的输入是旋转的图像,网络模型或树结构的输出是旋转的图像的裁剪坐标和/或缩放因子。可以根据裁剪坐标来裁剪旋转的图像,以获得合成的图像,并且可以通过根据缩放因子缩放合成的图像来获得校正的图像。
图4是可以由例如拍摄装置200实现的示例图像处理过程的流程图。如图4所示,在411处,可以通过捕捉选择电路202使用软件和硬件的组合触发图像捕捉设备201的拍摄操作以捕捉当前场景的图像4102。例如,捕捉的图像4102可以是分辨率为(W_src,H_src)(例如,(4000,3000))的NV16格式的图像。NV16格式也可以称为YUV 422。
在413处,可以根据由IMU获得的陀螺仪数据4100,通过图像旋转校正电路203对捕捉的图像4102执行旋转校正,以生成旋转的图像4104。如图4所示,图像4152是旋转的图像4104的示例。旋转的图像4104的格式和分辨率与捕捉的图像4102的格式和分辨率相同。当触发拍摄操作以获得捕捉的图像4102时,可以同步获得陀螺仪数据4100。旋转校正过程类似于图3中的过程,本文省略了对其的详细描述。
在415处,通过图像合成电路204合成旋转的图像4104。在一些实施例中,可以实现质心内插(也称为UV内插)以将NV16格式的旋转的图像4104转换为YUV444格式的旋转的图像4106。对于图像数据的每四个Y样本,格式YUV 444通常具有四个U值和四个V值,对于每四个Y样本,格式NV16通常具有两个U值和两个V值。因此,通过将每四个Y样本的U和V内插为两个U和V值,可以将每四个Y样本的两个U和V值转换为每四个Y样本的四个U和V值。在一些实施例中,可以在内插之前缩放旋转的图像4104。例如,可以缩放旋转的图像4104以将分辨率从(W_src,H_src)转换为(W1,H1),例如,从(4000,3000)转换为(480,360),以提高对旋转的图像的显著性检测的处理效率。这样,YUV444格式的旋转的图像4106的分辨率小于NV16格式的旋转的图像4104的分辨率。
在一些实施例中,可以将YUV颜色空间中的旋转的图像4106进一步转换为CIE L*a*b颜色空间中的旋转的图像4108。例如,可以根据任何合适的转换公式,将旋转的图像4106的颜色空间从YUV颜色空间转换为RGB(红绿蓝)颜色空间。在一些实施例中,可以对RGB颜色空间中的旋转的图像4106执行伽马校正,以控制旋转的图像4106的整体亮度。可以根据实际要求确定伽马校正的伽马值。可以根据任何合适的转换公式,将伽马校正之后的旋转的图像4106的颜色空间从RGB颜色空间转换为CIE L*a*b颜色空间。可以根据例如图像捕捉设备201的图像传感器的规格等来确定转换公式。在一些实施例中,还可以对伽马校正之后的旋转的图像4106或旋转的图像4108执行色温调节。
在4151处,对旋转的图像4108执行显著性检测,以获得旋转的图像4108的显著性图4110。可以使用任何合适的显著性检测方法来获得显著性图4110。例如,可以提取旋转的图像4108的特征。特征可以包括但不限于颜色、强度和/或取向。例如,可以在CIE L*a*b颜色空间中获得旋转的图像4108的每个像素的颜色。例如,可以通过将旋转的图像4108转换为灰度来获得旋转的图像4108的每个像素的强度。例如,可以使用相对于四个角度的Gabor滤波器来获得旋转的图像4108的每个像素的取向。上面提到的所有这些处理过的图像都可以用来创建高斯金字塔(Gaussian pyramids)以生成特征图。可以针对三个特征中的每个特征生成特征图,并且显著性图4110是三个特征图的平均值。如图4所示,图像4156是显著性图4110的示例。可以根据显著性图4110获得旋转的图像4108中的显著物体(例如,图像4152中的房屋)的位置和大小信息。
在4153处,可以根据显著性图4110来合成旋转的图像4104,以获得合成的图像4112。例如,可以根据旋转的图像4108中的显著物体的位置和大小信息来获得旋转的图像4104中的显著物体(例如,图像4152中的房屋)的位置和大小信息。可以选择中心合成规则,因此可以裁剪旋转的图像4180以将显著物体(例如,图像4152中的房屋)放置在合成的图像4112的中心。这样,合成的图像4112的分辨率小于旋转的图像4104的分辨率。如图4所示,具有位于图像中心的房屋的图像4154是合成的图像4112的示例。
即使人眼的最大可见范围是大约170度,但人眼的清晰成像范围仅为约60度,使得具有超宽FOV的图像不满足人眼的视觉舒适度要求。人眼通常聚焦在图像的中心,使得图像边缘处的场景是多余的。因此,裁剪旋转的图像以获得合成的图像对于人眼的视觉舒适度要求更合适。
在417处,通过图像选择电路205对合成的图像4112执行选择过程,后面将进行详细描述。
在419和421处,可以根据选择过程的确定结果,存储合成的图像4112并通过图像显示电路206进行显示,后面将进行详细描述。
在一些实施例中,图像捕捉设备201可以绕过图像旋转校正电路203并将捕捉的图像直接发送给图像合成电路204以用于合成。在一些其他实施例中,可以完全省略图像旋转校正电路203。在这些实施例中(绕过或完全省略图像旋转校正电路203),图像合成电路204可以耦接到图像捕捉设备201,并且可以被配置为自动地合成捕捉的图像以获得校正的图像。
在一些实施例中,图像旋转校正电路203可以绕过图像合成电路204并将旋转的图像直接发送给图像选择电路205。在一些其他实施例中,可以完全省略图像合成电路204。在这些实施例中(绕过或完全省略图像合成电路204),旋转的图像可以被视为校正的图像,并且图像选择电路205可以耦接到图像旋转校正电路203。
在一些实施例中,图像捕捉设备201可以绕过图像旋转校正电路203和图像合成电路204,并将捕捉的图像直接发送给图像选择电路205。在一些其他实施例中,可以完全省略图像旋转校正电路203和图像合成电路204两者。在这些实施例中(绕过或完全省略图像旋转校正电路203和图像合成电路204),图像选择电路205可以耦接到图像捕捉设备201。
图像选择电路205可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为从图像合成电路204或图像旋转校正电路203接收校正的图像,并对校正的图像执行选择过程。例如,图像选择电路205可以对校正的图像执行选择处理,以确定是否将校正的图像存储在图像捕捉设备201的存储器中,或者在图像捕捉设备201的屏幕或图像捕捉设备201外部的显示器上显示校正的图像。
在一些实施例中,图像选择电路205可以根据美学规则来确定校正的图像的分数。该分数也可以称为美学分数。在一些实施例中,可以根据以下中的至少一项来确定美学规则:候选图像的信噪比(SNR)、对比度、直方图分布、图像饱和度、信息熵、AE值、AF值、AWB值或高得分物体(例如,人、微笑、日出、宠物等)。在一些其他实施例中,可以根据训练模型来确定美学规则。可以通过使用预先评估分数的数据集进行训练来获得训练模型。例如,预先评估分数可以是由不同的人预先评估的、图像的美学上令人满意的分数。可以通过使用任何合适的机器学习算法进行训练来获得训练模型。
在一些实施例中,如果分数低于预设阈值,则图像选择电路205可以确定丢弃或删除校正的图像。如果分数高于预设阈值,则图像选择电路205可以确定将校正的图像存储在当前相册中,和/或将校正的图像发送给图像显示电路206。例如,可以将当前相册设置在图像捕捉设备201的存储器中。
在一些其他实施例中,图像选择电路205还可以从校正的图像中提取至少一个图像特征,以用于确定校正的图像与当前相册中的图像之间的相似性。至少一个图像特征可以包括图像的直方图、移位特征、图像矩或指纹中的至少一个。图像的指纹是图像的感知特征或简短概要,例如,感知哈希(pHash)等。在一些实施例中,图像选择电路205可以根据提取的至少一个图像特征来确定当前相册中与校正的图像类似的一个或多个相似图像。如果校正的图像的分数低于一个或多个相似图像的最低分数,则图像选择电路205可以确定丢弃校正的图像。如果校正的图像的分数高于一个或多个相似图像的最低分数,则图像选择电路205可以确定将校正的图像存储在当前相册中。在一些实施例中,可以从当前相册中删除分数低于校正的图像的分数的一个或多个相似图像。
在一些其他实施例中,如果校正的图像的分数低于一个或多个相似图像的最高分数,则图像选择电路205可以确定丢弃校正的图像。如果校正的图像的分数高于一个或多个相似图像的最高分数,则图像选择电路205可以确定将校正的图像存储在当前相册中,并且可以从当前相册中删除一个或多个相似图像。
图像显示电路206可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为输出校正的图像。在一些实施例中,可以根据图像的分数来将当前相册中的图像布置在队列中。图像显示电路206可以从图像选择电路205接收校正的图像,并根据校正的图像的分数将校正的图像插入到当前相册的队列中。在本文中,校正的图像也可以称为当前相册的候选图像。
图像显示电路206可以被配置为在图像捕捉设备201的屏幕上显示当前相册的队列。在一些实施例中,可以按顺序显示当前相册的队列,使得用户可以首先查看具有更好的美学上令人满意的分数的图像。在一些其他实施例中,当前相册的队列可以在九方格中显示,使得用户可以批量查看图像。
图5A至图5D示出了可以由例如拍摄装置200实现的示例过程的流程图。如图5A所示,在510处,开启自动模式。例如,当从用户界面(UI)接收到自动模式开启命令时,拍摄装置200可以开启自动模式。在511处,开始初始化过程。拍摄装置200可以在开启自动模式之后开始初始化。如图5C所示,在512处,对存储在拍摄装置200中的图像指纹数据库进行初始化。在513处,对存储在拍摄装置200中的美学数据库进行初始化。在514处,对存储在拍摄装置200中的图像名称数据库进行初始化。图像指纹数据库、美学数据库和图像名称数据库可以存储在例如图像捕捉设备201的存储器中。如图5D所示,在515处,初始化过程结束。在一些实施例中,在516处,可以在图像捕捉设备201的存储器中创建新的图像相册。新图像相册可以用作当前相册。
再次参考图5A,在517处,通过捕捉选择电路202使用软件和硬件的组合自动地触发图像捕捉设备201的拍摄操作以捕捉当前场景的图像。在518处,通过图像旋转校正电路203对捕捉的图像自动地执行旋转校正。在519处,通过图像选择电路205对旋转的图像开始执行选择过程。
如图5B所示,在520处,确定旋转的图像是否是当前相册中的第一个图像。如果旋转的图像是第一个图像(520:是),则在521处,可以通过图像合成电路204对旋转的图像执行显著性检测。如果旋转的图像不是第一个图像(520:否),则在522处,可以确定当前相册中是否存在与旋转的图像类似的一个或多个相似图像。在522处,可以确定一个或多个相似图像的数量是否大于预定阈值。如果一个或多个相似图像的数量大于预定阈值(522:是),则在523处,比较旋转的图像的美学分数和一个或多个相似图像的美学分数。此外,在524处,确定是否删除(或丢弃)捕捉的图像(即,最新捕捉的图像)。如果旋转的图像的美学分数高于一个或多个相似图像的最高美学分数或最低美学分数,则图像选择电路205可以确定不删除所捕捉的图像(524:否),则在521处,可以通过图像合成电路204对旋转的图像执行显著性检测。如果旋转的图像的美学分数小于一个或多个相似图像的最高美学分数或最低美学分数,则图像选择电路205可以确定删除所捕捉的图像(524:是)。
如果一个或多个相似图像的数量小于预定阈值(522:否),则在525处,确定当前相册中的图像的数量是否超过最大数量。如果当前相册中的图像的数量不超过最大数量(525:否),则在521处,可以通过图像合成电路204对旋转的图像执行显著性检测。如果当前相册中的图像的数量超过最大数量(525:是),则在526处,比较旋转的图像的美学分数和当前相册中所有图像的美学分数,并可以在524处使用该比较结果以确定是否删除捕捉的图像。例如,如果旋转的图像的美学分数小于当前相册中的图像的最低美学分数,则图像选择电路205可以确定删除所捕捉的图像(524:是)。如果旋转的图像的美学分数高于当前相册中图像的最低美学分数,则图像选择电路205可以确定不删除捕捉的图像(524:否),然后在521处,可以通过图像合成电路204对旋转的图像执行显著性检测。
在527处,确定是否能够合成旋转的图像。在一些实施例中,可以根据显著性图确定是否能够合成旋转的图像。例如,如果显著性图的分布太分散,则图像合成电路204可以确定不能合成旋转的图像。作为另一示例,如果在旋转的图像中没有检测到显著性物体,则图像合成电路204可以确定不能合成旋转的图像。如果确定旋转的图像能够被合成(527:是),则在528处(图5C中所示),通过图像合成电路204合成旋转的图像以获得校正的图像。
如图5C所示,在529处,将校正的图像的指纹加入到指纹数据库的队列中。可以从校正的图像中提取校正的图像的指纹,并且可以将校正的图像的指纹添加到指纹数据库的队列中。在530处,将校正的图像的美学分数加入到美学数据库的队列中。可以将校正的图像的美学分数添加到美学数据库的队列中。例如,可以根据美学分数的顺序布置美学数据库的队列。在531处,将校正的图像的图像名称加入到图像名称数据库的队列中。校正的图像的图像名称可以包括但不限于数字、字母、单词等。在一些实施例中,可以按照与美学队列相同的顺序布置指纹数据库的队列和图像名称数据库的队列,这便于数据检索。
如果所捕捉的图像是第一个图像(520:是),或者一个或多个相似图像的数量小于预定阈值(522:否)并且当前相册中的图像的数量不超过最大值数量(525:否),则在532处(图5D中所示),输出校正的图像,并且可以裁剪存储器中用于临时存储校正的图像的缓冲器。在一些实施例中,如图5D所示,在533处,输出的校正的图像存储在图像捕捉设备201的存储器中,该存储器例如是安全数字(SD)卡。在一些实施例中,在533处,还在存储之前或之后对校正的图像进行编码。
如果捕捉的图像不是第一个图像(520:否),并且一个或多个相似图像的数量大于预定阈值(522:是)或者一个或多个相似图像的数量不大于预定阈值(522:否)但当前相册中的图像数量超过最大数量(525:是),则在534处(如图5D所示),将校正的图像存储在图像捕捉设备201的存储器中。在一些实施例中,在534处,输出校正的图像,输出分数低于校正的图像的分数的一个或多个相似图像的名称,并且可以裁剪存储器中用于临时存储校正的图像的缓冲器。如图5D所示,在一些实施例中,在535处,输出的校正的图像存储在图像捕捉设备201的存储器中,该存储器例如是安全数字(SD)卡。在一些实施例中,在535处,还在存储之前或之后对校正的图像进行编码。在一些实施例中,在535处,从图像捕捉设备201的存储器中删除分数低于校正的图像的分数的一个或多个相似图像。
如果捕捉的图像被确定为要被删除(524:是)或确定为不能合成(527:否),则删除捕捉的图像(536)。如图5D所示,在537处,该过程结束。
再次参考图5A,在538处,关闭自动模式。例如,当从UI接收到自动模式关闭命令时,拍摄装置200可以关闭自动模式。开始去初始化过程(539)。例如,可以对指纹数据库、美学数据库和图像名称数据库执行去初始化过程。去初始化过程是初始化过程的逆过程。如图5D所示,在540处,去初始化过程结束。
与本公开一致,用户可以佩戴拍摄装置200或者将拍摄装置200布置在固定位置处,并且可以在拍摄装置200的工作时间期间自动拍摄图像而无需用户的任何参与。捕捉的图像可以自动旋转以确保在图像的任何角度处都零倾斜,并且可以根据场景的内容自动合成旋转的图像,使得可以获得具有更好的FOV和合理布局的图像。此外,通过自动执行失真校正可以减弱失真效应。此外,可以获得具有令人满意的美学的图像。另外,通过自动选择图像可以删除许多重复或类似的图像和无意义的镜头,使得用户能够最终仅获得一定数量的具有更好质量的图像,并以友好的视觉方式查看图像。
图6是与本公开一致的另一示例拍摄装置300的示意图。如图6所示,拍摄装置300包括图像捕捉设备301、耦接到图像捕捉设备301的捕捉选择电路302、耦接到图像捕捉设备301和捕捉选择电路302的图像选择电路303、耦接到图像捕捉设备301的图像旋转校正电路304、耦接到图像旋转校正电路304和图像捕捉设备301的图像合成电路305、以及耦接到图像合成电路305和图像捕捉设备301的图像显示电路306。图像捕捉设备301类似于图像捕捉设备201,本文省略其详细描述。
图像选择电路303可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为以实时方式对图像捕捉设备301的实时取景中的实时取景图像执行选择过程。例如,图像选择电路303可以对实时取景中的实时取景图像执行选择过程,以确定是否捕捉实时取景图像。实时取景图像指图像捕捉设备301的实时取景中当前场景的图像。在本文中,实时取景图像和当前场景可以互换使用。
在一些实施例中,图像选择电路303可以基于美学规则实时地对实时取景中的实时取景图像进行评分,以确定实时取景图像的分数。用于确定美学规则的方法类似于图像选择电路205使用的方法,本文省略其详细描述。在一些实施例中,如果分数低于预设阈值,则图像选择电路303可以确定不捕捉图像捕捉设备301的实时取景中的实时取景图像。如果分数高于预设阈值,则图像选择电路303可以确定捕捉图像捕捉设备301的实时取景中的实时取景图像。
在一些其他实施例中,图像选择电路303还可以从实时取景图像中提取至少一个图像特征,以用于确定实时取景图像与图像捕捉设备301当前相册中的图像之间的相似性。至少一个图像特征可以包括图像的直方图、移位特征、图像矩或指纹中的至少一个。如果实时取景图像的分数低于与实时取景图像类似的一个或多个相似图像的最低分数,则图像选择电路303可以确定不捕捉实时取景图像。如果实时取景图像的分数高于一个或多个相似图像的最低分数,则图像选择电路303可以确定捕捉实时取景图像。在一些实施例中,可以从当前相册中删除分数低于实时取景图像的分数的一个或多个相似图像。
在一些其他实施例中,如果实时取景图像的分数低于一个或多个相似图像的最高分数,则图像选择电路303可以确定不捕捉实时取景图像。如果实时取景图像的分数高于一个或多个相似图像的最高分数,则图像选择电路303可以确定捕捉实时取景中的实时取景图像,并且可以从当前相册中删除一个或多个相似图像。
在一些实施例中,图像选择电路303可以将指示实时取景图像的分数是否高于阈值的确定结果发送给捕捉选择电路302,捕捉选择电路302可以根据图像选择电路303的确定结果,自动触发图像捕捉设备301的拍摄操作。在一些实施例中,图像选择电路303可以绕过捕捉选择电路302。在一些其他实施例中,可以完全省略捕捉选择电路302。在这些实施例中(可以绕过或省略捕捉选择电路302),图像选择电路303可以耦接到图像捕捉设备301,并根据图像选择电路303的确定结果直接触发图像捕捉设备301的拍摄操作。
捕捉选择电路302包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为自动地触发图像捕捉设备301的拍摄操作以捕捉实时取景中的实时取景图像。在一些实施例中,捕捉选择电路302可以根据实时取景图像的分数和一个或多个其他标准的组合来触发拍摄操作。在一些实施例中,当在当前场景中检测到具有特定语义的物体并且实时取景图像的分数高于阈值时,捕捉选择电路302可以触发拍摄操作。特定语义可以包括但不限于例如人、动物、面部或微笑。在一些实施例中,捕捉选择电路302可以在检测到当前场景的深度改变并且实时取景图像的分数高于阈值时触发拍摄操作。在一些实施例中,捕捉选择电路302可以在检测到当前场景的焦点改变并且实时取景图像的分数高于阈值时触发拍摄操作。在一些实施例中,捕捉选择电路302可以在接收到语音命令并且实时取景图像的分数高于阈值时触发拍摄操作。在一些实施例中,捕捉选择电路302可以基于控制过程和实时取景图像的分数的组合来触发拍摄操作。控制过程可以包括定时拍摄、延时拍摄等。例如,如果在预设时间处的实时取景图像的分数高于阈值,则捕捉选择电路302可以使用定时拍摄在预设时间触发拍摄操作。例如,如果在预设时间段内的实时取景图像的分数高于阈值,则捕捉选择电路202可以使用延时拍摄在预设时间内触发拍摄操作。
图像旋转校正电路304可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为从图像捕捉设备301接收所捕捉的图像,并自动地对所捕捉的图像执行旋转校正。图像旋转校正电路304类似于图像旋转校正电路203,本文省略其详细描述。
图像合成电路305可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为从图像旋转校正电路203接收旋转的图像,自动地合成旋转的图像以生成校正的图像。用于合成旋转的图像的方法类似于图像合成电路204使用的方法,本文省略其详细描述。
在一些实施例中,图像合成电路305还可以被配置为在合成旋转的图像之前对旋转的图像执行选择过程。在一些实施例中,图像合成电路305可以基于显著性检测来执行选择过程。例如,如果在旋转的图像中没有检测到显著物体,则图像合成电路305可以丢弃旋转的图像。如果在旋转的图像中检测到至少一个显著物体,则图像合成电路305可以基于旋转的图像中的该至少一个显著物体的位置和大小信息来合成旋转的图像。作为另一示例,当在旋转的图像中检测到多个显著物体,但这些显著物体在图像中的分布不令人满意时,图像合成电路305可以丢弃旋转的图像,否则,图像合成电路305可以基于多个显著物体在旋转的图像中的分布来合成旋转的图像。例如,可以根据分布的集中或分散趋势,确定显著物体在图像中的分布是否令人满意,本文不做限定。
在一些实施例中,图像捕捉设备301可以绕过图像旋转校正电路304和图像合成电路305。在一些其他实施例中,可以完全省略图像旋转校正电路304和图像合成电路305。在这些实施例中(绕过或省略图像旋转校正电路304和图像合成电路305),图像显示电路306可以耦接到图像捕捉设备301,并且可以被配置为将捕捉的图像直接存储在图像捕捉设备301的当前相册中。
在一些实施例中,图像捕捉设备301可以绕过图像旋转校正电路304并将捕捉的图像直接发送给图像合成电路305。在一些其他实施例中,可以省略图像旋转校正电路304。在这些实施例中(绕过或省略图像旋转校正电路304),图像合成电路305可以耦接到图像捕捉设备301,并且可以被配置为自动地合成捕捉的图像以获得校正的图像。
在一些实施例中,图像旋转校正电路304可以绕过图像合成电路305并将旋转的图像直接发送给图像显示电路306。在一些其他实施例中,可以完全省略图像合成电路305。在这些实施例中(绕过或省略图像合成电路305),旋转的图像可以被视为校正的图像,并且图像显示电路306可以将旋转的图像直接存储在图像捕捉设备301的当前相册中。
在一些实施例中,拍摄装置300还可以包括耦接到图像旋转校正电路304和/或图像捕捉设备301的图像失真校正电路(图6中未示出)。图像失真校正电路可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为在旋转所捕捉的图像之前或之后执行失真校正。可以根据失真的类型来选择用于失真校正的方法,并且可以采用任何合适的方法。
在一些实施例中,拍摄装置300可以包括图像校正电路,代替图像失真校正电路和图像旋转校正电路304。图像校正电路可以被配置为对所捕捉的图像执行失真校正和旋转校正。
图像显示电路306可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为输出校正的图像。例如,图像显示电路306可以从图像选择电路305接收校正的图像,并根据校正的图像的分数将校正的图像插入到当前相册的队列中,并在九方格中显示当前相册的队列。图像显示电路306类似于图像显示电路206,本文省略其详细描述。
与本公开一致,可以在拍摄装置200的工作时间期间自动地触发拍摄具有令人满意的美学的图像,而不需要用户的任何参与。可以自动地旋转和合成所捕捉的图像,以便可以获得具有更好FOV和合理布局的图像。另外,通过自动选择图像可以删除许多重复或类似的图像和无意义的镜头,使得用户能够最终仅获得一定数量的具有更好质量的图像,并以友好的视觉方式查看图像。
图7是与本公开一致的另一示例拍摄装置400的示意图。如图7所示,拍摄装置400包括图像捕捉设备401、耦接到图像捕捉设备401的捕捉选择电路402、耦接到图像捕捉设备401的图像旋转校正电路403、耦接到图像旋转校正电路403的图像选择电路404、耦接到图像选择电路404和图像捕捉设备401的图像合成电路405、耦接到图像合成电路405和图像捕捉设备401的图像显示电路406。
图像捕捉设备401类似于图像捕捉设备201,本文省略其详细描述。捕捉选择电路402可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为使用软件和硬件的组合自动触发图像捕捉设备401的拍摄操作以捕捉当前场景的图像。捕捉选择电路402类似于捕捉选择电路202,本文省略其详细描述。图像旋转校正电路403可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为从图像捕捉设备401接收所捕捉的图像,并自动地对所捕捉的图像执行旋转校正。图像旋转校正电路403类似于图像旋转校正电路203,本文省略其详细描述。
图像选择电路404可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为从图像旋转校正电路203接收旋转的图像,并对旋转的图像执行选择过程。在一些实施例中,图像选择电路404可以根据美学规则确定旋转的图像的分数。用于确定美学规则的方法类似于图像选择电路205使用的方法,本文省略其详细描述。在一些实施例中,如果分数低于预设阈值,则图像选择电路404可以确定丢弃旋转的图像。如果分数高于预设阈值,则图像选择电路404可以确定将旋转的图像发送给图像合成电路405以用于合成。
在一些其他实施例中,图像选择电路404还可以从旋转的图像中提取至少一个图像特征,以用于确定旋转的图像与图像捕捉设备401当前相册中的图像之间的相似性。至少一个图像特征可以包括图像的直方图、移位特征、图像矩或指纹中的至少一个。如果旋转的图像的分数低于与旋转的图像类似的一个或多个相似图像的最低分数,则图像选择电路404可以确定丢弃旋转的图像。如果旋转的图像的分数高于一个或多个相似图像的最低分数,则图像选择电路404可以确定将旋转的图像发送给图像合成电路405以用于合成。在一些实施例中,可以从当前相册中删除分数低于旋转的图像的分数的一个或多个相似图像。
在一些其他实施例中,如果旋转的图像的分数低于一个或多个相似图像的最高分数,则图像选择电路404可以确定丢弃旋转的图像。如果实时取景图像的分数高于一个或多个相似图像的最高分数,则图像选择电路404可以确定将旋转的图像发送给图像合成电路405以用于合成,并且可以从当前相册中删除一个或多个相似图像。
图像合成电路405可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为自动地合成旋转的图像以生成校正的图像。用于合成旋转的图像的方法类似于图像合成电路204使用的方法,本文省略其详细描述。
在一些实施例中,考虑到旋转的图像可能在当前相册中没有相似图像,但是在合成旋转的图像之后的校正的图像可以在当前相册中具有一个或多个相似图像,也可以通过图像合成电路405执行相似性确定。例如,图像合成电路405可以被配置为从校正的图像中提取至少一个图像特征,用于确定校正的图像与图像捕捉设备401的当前相册中的图像之间的相似性。经由相似性确定执行的选择过程类似于图像选择电路205使用的选择过程,本文省略其详细描述。
在一些实施例中,图像捕捉设备401可以绕过图像旋转校正电路403并将捕捉的图像直接发送给图像选择电路404。在一些其他实施例中,可以完全省略图像旋转校正电路403。在这些实施例中(绕过或完全省略图像旋转校正电路403),图像选择电路404可以耦接到图像捕捉设备401。
在一些实施例中,图像选择电路404可以绕过图像合成电路405并将旋转的图像发送给图像显示电路406。在一些其他实施例中,可以完全省略图像合成电路405。在这些实施例中(绕过或完全省略图像合成电路405),图像选择电路404可以耦接到图像显示电路406。
在一些实施例中,拍摄装置400还可以包括耦接到图像旋转校正电路403和/或图像捕捉设备401的图像失真校正电路(图7中未示出)。图像失真校正电路可以包括例如微处理器、微处理器的一部分、ASIC、或ASIC的一部分,并且可以被配置为在旋转所捕捉的图像之前或之后执行失真校正。可以根据失真的类型来选择用于失真校正的方法,并且可以采用任何合适的方法。
在一些实施例中,拍摄装置400可以包括图像校正电路,代替图像失真校正电路和图像旋转校正电路403。图像校正电路可以被配置为对所捕捉的图像执行失真校正和旋转校正。
图像显示电路406可以被配置为输出校正的图像。例如,图像显示电路406可以从图像合成电路405或图像选择电路404接收校正的图像,并根据校正的图像的分数将校正的图像插入到当前相册的队列中,并在九方格中显示当前相册的队列。图像显示电路406类似于图像显示电路206,本文省略其详细描述。
因此,如图2至图4所示,拍摄装置可以在存储图像之前,在捕捉实时取景图像之前,或者在合成旋转的图像之前,通过图像选择电路执行选择过程,只要保证相机的相册没有复制的图像,并且相册中存储的图像可以具有高美学值以满足用户的兴趣。
图8是与本公开一致的另一示例拍摄装置500的示意图。如图8所示,拍摄装置500包括图像捕捉设备501、耦接到图像捕捉设备501的处理器502以及耦接到处理器502的存储器503。图像捕捉设备501类似于图像捕捉设备201,本文省略其详细描述。处理器502和存储器503可以一起形成与本公开一致的图像处理设备。
处理器502可以是任何合适的硬件处理器,例如图像处理器、图像处理引擎、图像处理芯片、图形处理器(GPU)、微处理器、微控制器、中央处理单元(CPU)、网络处理器(NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立栅极或晶体管逻辑器件、分立硬件组件。存储器503可以包括非暂时性计算机可读存储介质,例如随机存取存储器(RAM)、只读存储器、闪存、易失性存储器、硬盘存储器或光学介质。存储器503可以存储计算机程序指令、由图像捕捉设备501捕捉的图像、由处理器502处理的图像等。
在一些实施例中,处理器502可以被配置为执行存储在存储器503中的计算机程序指令,以实现拍摄装置200的捕捉选择电路202、图像旋转校正电路203、图像合成电路204、图像选择电路205和/或图像显示电路206的功能,或者实现拍摄装置300的捕捉选择电路302、图像选择电路303、图像旋转校正电路304、图像合成电路305和/或图像显示电路306的功能,或者实现拍摄装置400的捕捉选择电路402、图像旋转校正电路403、图像选择电路404、图像合成电路405和/或图像显示电路406的功能。
在一些实施例中,处理器502可以被配置为执行存储在存储器503中的计算机程序指令,以执行与本公开一致的诸如下面描述的示例拍摄方法之一的拍摄方法。
例如,处理器502可以被配置为执行计算机程序指令以:使用软件和硬件的组合触发图像捕捉设备501的拍摄操作以捕捉图像,校正所捕捉的图像以生成校正的图像,以及输出校正的图像。
作为另一示例,处理器502可以被配置为执行计算机程序指令以:使用软件和硬件的组合触发图像捕捉设备501的拍摄操作以捕捉当前场景的图像,对所捕捉的图像执行旋转校正,合成旋转的图像以生成校正的图像,对校正的图像执行选择过程,以及输出校正的图像。
作为另一示例,处理器502可以被配置为执行计算机程序指令以:使用软件和硬件的组合触发图像捕捉设备501的拍摄操作以捕捉当前场景的图像,对所捕捉的图像执行选择过程,以及输出所捕捉的图像。
作为另一示例,处理器502可以被配置为执行计算机程序指令以:使用软件和硬件的组合触发图像捕捉设备501的拍摄操作以捕捉当前场景的图像,对所捕捉的图像执行旋转校正,对旋转的图像执行选择过程,以及输出旋转的图像。
作为另一示例,处理器502可以被配置为执行计算机程序指令以:使用软件和硬件的组合触发图像捕捉设备501的拍摄操作以捕捉当前场景的图像,合成所捕捉的图像以生成校正的图像,对校正的图像执行选择过程,以及输出校正的图像。
作为另一示例,处理器502可以被配置为执行计算机程序指令以:以实时的方式对图像捕捉设备501的实时取景中的实时取景图像执行选择过程,根据实时取景图像的分数,触发图像捕捉设备501的拍摄操作以捕捉实时取景中的实时取景图像,对所捕捉的图像执行旋转校正,合成旋转的图像以生成校正的图像,以及输出校正的图像。
作为另一示例,处理器502可以被配置为执行计算机程序指令以:以实时的方式对图像捕捉设备501的实时取景中的实时取景图像执行选择过程,根据实时取景图像的分数,触发图像捕捉设备501的拍摄操作以捕捉实时取景中的实时取景图像,合成所捕捉的图像以生成校正的图像,以及输出校正的图像。
作为另一示例,处理器502可以被配置为执行计算机程序指令以:以实时的方式对图像捕捉设备501的实时取景中的实时取景图像执行选择过程,根据实时取景图像的分数,触发图像捕捉设备501的拍摄操作以捕捉实时取景中的实时取景图像,对所捕捉的图像执行旋转校正,以及输出旋转的图像。
例如,处理器502可以被配置为执行计算机程序指令以:以实时的方式对图像捕捉设备501的实时取景中的实时取景图像执行选择过程,根据实时取景图像的分数,触发图像捕捉设备501的拍摄操作以捕捉实时取景中的实时取景图像,以及输出所捕捉的图像。
作为另一示例,处理器502可以被配置为执行计算机程序指令以:使用软件和硬件的组合触发图像捕捉设备501的拍摄操作以捕捉当前场景的图像,对所捕捉的图像执行旋转校正,对旋转的图像执行选择过程,合成旋转的图像以生成校正的图像,以及输出校正的图像。
在一些实施例中,处理器502和存储器503可以集成在图像捕捉设备501中。也就是说,处理器502可以是图像捕捉设备501的图像处理芯片,并且存储器503可以是图像捕捉设备501的存储器。
下面将更详细地描述与本公开一致的示例拍摄方法。可以在与本公开一致的拍摄装置(例如,上述拍摄装置200、拍摄装置300、拍摄装置400或拍摄装置500)中实现与本公开一致的拍摄方法。
图9是与本公开一致的示例拍摄方法600的流程图。拍摄方法600可以在上述拍摄装置200或拍摄装置500中实现。
如图9所示,在601处,使用软件和硬件的组合自动地触发相机的拍摄操作以捕捉图像。在一些实施例中,一旦在当前场景中检测到具有特定语义的物体,就可以触发相机的拍摄操作。特定语义可以包括但不限于例如人、动物、面部或微笑。在一些实施例中,可以响应于当前场景的深度的改变来触发相机的拍摄操作。在一些实施例中,可以响应于当前场景的焦点的改变来触发相机的拍摄操作。在一些实施例中,可以通过语音命令触发相机的拍摄操作。在一些实施例中,可以通过控制过程触发相机的拍摄操作。控制过程可以包括定时拍摄、延时拍摄等。在一些实施例中,可以根据上述不同标准的任何组合来触发相机的拍摄操作。
601处的过程可以在上述拍摄装置200的捕捉选择电路202或拍摄装置500的处理器502中实现,本文省略其详细描述。
在602处,自动地旋转所捕捉的图像。在一些实施例中,可以例如通过安装在相机处或耦接到相机的一个或多个姿态传感器(例如IMU)来获得相机的姿态信息。姿势信息可以包括相机的偏航轴信息、俯仰轴信息或横滚轴信息中的至少一个。可以根据相机的姿态信息旋转所捕捉的图像。例如,可以根据相机的姿态信息和目标姿态之间的差异来旋转所捕捉的图像。在一些其他实施例中,可以检测所捕捉的图像中的水平线或垂直线以获得横滚方向上的倾斜角度。当倾斜角度小于阈值时,可以根据倾斜角度在横滚方向上旋转所捕捉的图像。
在一些实施例中,可以在旋转所捕捉的图像之前或之后执行失真校正。
602处的过程可以在上述拍摄装置200的图像旋转校正电路203或拍摄装置500的处理器502中实现,本文省略其详细描述。
在603处,自动地合成旋转的图像以生成校正的图像。在一些实施例中,可以基于显著性检测和合成规则来合成旋转的图像。可以在所捕捉的图像中检测一个或多个显著物体。可以获得旋转的图像中的一个或多个显著物体的位置和大小信息或者一个或多个显著物体的分布。根据旋转的图像中的一个或多个显著物体的位置和大小信息或分布并根据合成规则,可以裁剪旋转的图像以获得合成的图像。合成规则可以包括但不限于中心合成规则、三元合成规则、水平线合成规则、对称合成规则、对角线合成规则等。可以例如根据相机屏幕或相机外部的显示器的纵横比来缩放或进一步裁剪合成的图像以获得校正的图像。
在一些其他实施例中,可以经由网络模型或树结构来合成旋转的图像。可以通过基于多个样本进行训练来获得网络模型。可以将旋转的图像输入到网络模型或树结构。可以根据网络模型或树结构来处理旋转的图像,以获得裁剪坐标和缩放因子。可以根据裁剪坐标来裁剪旋转的图像以获得合成的图像,并且可以根据缩放因子来缩放合成的图像以获得校正的图像。
603处的过程可以在上述拍摄装置200的图像合成电路204或拍摄装置500的处理器502中实现,本文省略其详细描述。
在604处,可以对校正的图像执行选择过程。选择过程可以被配置为确定是否存储或显示校正的图像。在一些实施例中,可以根据美学规则确定校正的图像的分数。如果分数低于预设阈值,则可以丢弃校正的图像,如果分数高于预设阈值,则可以存储校正的图像。在一些实施例中,可以根据以下中的至少一项来确定美学规则:候选图像的信噪比(SNR)、对比度、直方图分布、图像饱和度、信息熵、AF值、AWB值或高得分物体(例如,人、微笑、日出、宠物等)。在一些其他实施例中,可以根据训练模型来确定美学规则。可以通过使用预先评估分数的数据集进行训练来获得训练模型。
在一些实施例中,根据至少一个图像特征,可以在当前相册中确定与校正的图像类似的一个或多个相似图像。在一些实施例中,如果校正的图像的分数低于一个或多个相似图像的最低分数,则可以丢弃校正的图像。如果校正的图像的分数高于一个或多个相似图像的最低分数,则可以存储校正的图像。在一些实施例中,可以从当前相册中删除分数低于校正的图像的分数的一个或多个相似图像。在一些其他实施例中,如果校正的图像的分数低于一个或多个相似图像的最高分数,则可以丢弃校正的图像。如果校正的图像的分数高于一个或多个相似图像的最高分数,则可以存储校正的图像。在一些实施例中,可以从当前相册中删除一个或多个相似图像。
604处的过程可以在上述拍摄装置200的图像选择电路205或拍摄装置500的处理器502中实现,本文省略其详细描述。
在605处,输出校正的图像。在一些实施例中,可以根据校正的图像的分数将校正的图像插入到当前相册的队列中。当前相册的队列可以按顺序显示或在九方格中显示。
605处的过程可以在上述拍摄装置200的图像显示电路206或拍摄装置500的处理器502中实现,本文省略其详细描述。
在一些实施例中,可以省略602和/或603处的过程。例如,当省略602处的过程时,可以直接合成所捕捉的图像。作为另一示例,当省略603处的过程时,可以直接对旋转的图像执行选择过程。作为附加的示例,当省略602和603处的过程时,可以直接对所捕捉的图像执行选择过程。
图10是与本公开一致的另一示例拍摄方法700的流程图。拍摄方法700可以在上述拍摄装置300或拍摄装置500中实现。
如图10所示,在701处,基于美学规则实时地对实时取景中的实时取景图像执行选择过程,以确定实时取景图像的分数。可以根据以下中的至少一项来确定美学规则:实时取景图像的信噪比(SNR)、对比度、直方图分布、图像饱和度、信息熵、自动曝光值、自动对焦值、自动白平衡值或高得分物体。
在702处,如果实时取景图像的分数高于阈值,则自动地触发拍摄操作。例如,如果分数低于预设阈值,则不触发拍摄操作以捕捉实时取景图像。如果分数高于预设阈值,则可以自动地触发拍摄操作以捕捉实时取景图像。在一些实施例中,可以从实时取景图像中进一步提取至少一个图像特征,用于确定实时取景图像与相机当前相册中的图像之间的相似性。如果实时取景图像的分数高于当前相册中与实时取景图像类似的一个或多个相似图像的最低分数或最高分数,则可以自动地触发拍摄操作。
701和702处的过程可以在上述拍摄装置300的图像选择电路303或拍摄装置500的处理器502中实现,本文省略其详细描述。
在703处,自动地旋转所捕捉的图像。在一些实施例中,可以例如通过安装在相机处或耦接到相机的一个或多个姿态传感器(例如IMU)来获得相机的姿态信息。姿势信息可以包括相机的偏航轴信息、俯仰轴信息或横滚轴信息中的至少一个。可以根据相机的姿态信息旋转所捕捉的图像。例如,可以根据相机的姿态信息和目标姿势之间的差异来旋转所捕捉的图像,使得可以将旋转的图像的姿态调节到目标姿势。在一些其他实施例中,可以检测所捕捉的图像中的水平线或垂直线以获得横滚方向上的倾斜角度。当倾斜角度小于阈值时,可以根据倾斜角度在横滚方向上旋转所捕捉的图像。
在一些实施例中,可以在旋转所捕捉的图像之前或之后执行失真校正。
703处的过程可以在上述拍摄装置300的图像旋转校正电路304或拍摄装置500的处理器502中实现,本文省略其详细描述。
在704处,自动地合成旋转的图像以生成校正的图像。在一些实施例中,可以基于显著性检测和合成规则来合成旋转的图像。可以在所捕捉的图像中检测一个或多个显著物体。可以获得旋转的图像中的一个或多个显著物体的位置和大小信息或者一个或多个显著物体的分布。根据旋转的图像中的一个或多个显著物体的位置和大小信息或分布并根据合成规则,可以裁剪旋转的图像以获得合成的图像。合成规则可以包括但不限于中心合成规则、三元合成规则、水平线合成规则、对称合成规则、对角线合成规则等。可以例如根据相机屏幕或相机外部的显示器的纵横比来缩放或进一步裁剪合成的图像以获得校正的图像。
在一些其他实施例中,可以经由网络模型或树结构来合成旋转的图像。可以通过基于多个样本进行训练来获得网络模型。可以将旋转的图像输入到网络模型或树结构。可以根据网络模型或树结构来处理旋转的图像,以获得裁剪坐标和缩放因子。可以根据裁剪坐标来裁剪旋转的图像以获得合成的图像,并且可以根据缩放因子来缩放合成的图像以获得校正的图像。
704处的过程可以在上述拍摄装置300的图像合成电路305或拍摄装置500的处理器502中实现,本文省略其详细描述。
在705处,输出校正的图像。在一些实施例中,可以根据校正的图像的分数将校正的图像插入到当前相册的队列中。当前相册的队列可以按顺序显示或在九方格中显示。
705处的过程可以在上述拍摄装置300的图像显示电路306或拍摄装置500的处理器502中实现,本文省略其详细描述。
在一些实施例中,可以省略703和/或704处的过程。例如,当省略703处的过程时,可以直接合成所捕捉的图像。作为另一示例,当省略704处的处理时,可以直接输出旋转的图像。作为附加的示例,当省略703和704处的过程时,可以直接输出所捕捉的图像。
图11是与本公开一致的另一示例拍摄方法800的流程图。拍摄方法800可以在上述拍摄装置300或拍摄装置500中实现。
如图11所示,在801处,基于美学规则实时地对实时取景中的实时取景图像执行选择过程,以确定实时取景图像的分数。801处的过程可以在上述拍摄装置300的图像选择电路303或拍摄装置500的处理器502中实现,本文省略其详细描述。
在802处,根据实时取景图像的分数和一个或多个其他标准的组合自动地触发拍摄操作。在一些实施例中,当在当前场景中检测到具有特定语义的物体并且实时取景图像的分数高于阈值时,可以自动地触发拍摄操作。特定语义可以包括但不限于例如人、动物、面部或微笑。在一些实施例中,当检测到当前场景的深度的改变并且实时取景图像的分数高于阈值时,可以自动地触发拍摄操作。在一些实施例中,当检测到当前场景的焦点的改变并且实时取景图像的分数高于阈值时,可以自动地触发拍摄操作。在一些实施例中,当接收到语音命令并且实时取景图像的分数高于阈值时,可以自动地触发拍摄操作。在一些实施例中,可以基于控制过程和实时取景图像的分数的组合来自动地触发拍摄操作。控制过程可以包括定时拍摄、延时拍摄等。
802处的过程可以在上述拍摄装置300的捕捉选择电路302或拍摄装置500的处理器502中实现,本文省略其详细描述。
在803处,自动地旋转所捕捉的图像。803处的过程类似于703处的过程,本文省略其详细描述。803处的过程可以在上述拍摄装置300的图像旋转校正电路304或拍摄装置500的处理器502中实现。
在804处,自动地合成旋转的图像以生成校正的图像。804处的过程类似于704处的过程,本文省略其详细描述。804处的过程可以在上述拍摄装置300的图像合成电路305或拍摄装置500的处理器502中实现,本文省略其详细描述。
在805处,输出校正的图像。805处的过程类似于705处的过程,本文省略其详细描述。805处的过程可以在上述拍摄装置300的图像显示电路306或拍摄装置500的处理器502中实现,本文省略其详细描述。
在一些实施例中,可以省略803和/或804处的过程。例如,当省略803处的过程时,可以直接合成所捕捉的图像。作为另一示例,当省略804处的处理时,可以直接输出旋转的图像。作为附加的示例,当省略803和804处的过程时,可以直接输出所捕捉的图像。
图12是与本公开一致的另一示例拍摄方法900的流程图。拍摄方法900可以在上述拍摄装置400或拍摄装置500中实现。
如图12所示,在901处,使用软件和硬件的组合自动地触发相机的拍摄操作以捕捉图像。901处的过程类似于601处的过程,本文省略其详细描述。901处的过程可以在上述拍摄装置400的捕捉选择电路402或拍摄装置500的处理器502中实现。
在902处,自动地旋转所捕捉的图像。902处的过程类似于602处的过程,本文省略其详细描述。902处的过程可以在上述拍摄装置400的图像旋转校正电路403或拍摄装置500的处理器502中实现。
在903处,对旋转的图像执行选择过程。在一些实施例中,可以根据美学规则确定旋转的图像的分数。如果分数低于预设阈值,则可以丢弃旋转的图像。如果分数高于预设阈值,则可以保留旋转的图像以用于进一步处理。在一些其他实施例中,可以从旋转的图像中提取至少一个图像特征,以确定旋转的图像与相机当前相册中的图像之间的相似性。如果旋转的图像的分数低于与旋转的图像类似的一个或多个相似图像的最低分数或最高分数,则可以丢弃旋转的图像。如果旋转的图像的分数高于一个或多个相似图像的最低分数或最高分数,则可以保留旋转的图像以用于进一步处理。在一些实施例中,可以从当前相册中删除分数低于旋转的图像的分数的一个或多个相似图像。
903处的过程可以在上述拍摄装置400的图像选择电路404或拍摄装置500的处理器502中实现,本文省略其详细描述。
在904处,自动地合成旋转的图像以生成校正的图像。904处的过程类似于603处的过程,本文省略其详细描述。904处的过程可以在上述拍摄装置400的图像合成电路405或拍摄装置500的处理器502中实现。
在905处,输出校正的图像。905处的过程类似于605处的过程,本文省略其详细描述。905处的过程可以在上述拍摄装置400的图像显示电路406或拍摄装置500的处理器502中实现,本文省略其详细描述。
图13是与本公开一致的另一示例拍摄方法1000的流程图。拍摄方法1000可以例如在上述拍摄装置500中实现。
如图13所示,在1001处,使用软件和硬件的组合自动地触发相机的拍摄操作以捕捉图像。1001处的过程类似于601处的过程,本文省略其详细描述。可以在上述拍摄装置500的处理器502中实现1001处的过程。
在1002处,校正所捕捉的图像以生成校正的图像。在一些实施例中,可以对所捕捉的图像执行选择过程,选择之后的捕捉的图像可以是校正的图像。选择过程类似于在604处的过程中描述的选择过程,本文省略其详细描述。在一些实施例中,可以旋转所捕捉的图像以生成校正的图像(即,旋转的图像)。旋转校正方法类似于在602处的过程中描述的旋转校正方法,本文省略其详细描述。在一些实施例中,可以旋转所捕捉的图像以生成旋转的图像,并且可以合成旋转的图像以生成校正的图像。合成方法类似于在603处的过程中描述的合成方法,本文省略其详细描述。在一些实施例中,可以合成所捕捉的图像以生成校正的图像。在一些其他实施例中,可以对所捕捉的图像或旋转的图像执行失真校正。
在1003处,输出校正的图像。1003处的过程类似于605处的过程,本文省略其详细描述。可以在上述拍摄装置500的处理器502中实现1003处的过程,本文省略其详细描述。
出于简化目的,可以省略对示例方法的过程的详细描述,并且可以参考对示例装置的描述。
所公开的装置和方法可以用这里未描述的其他方式实现。例如,上述装置仅仅是说明性的。例如,单元的划分可以仅是逻辑功能划分,并且可以存在划分单元的其他方式。例如,可以组合多个单元或组件,或者可以将多个单元或组件集成到另一个系统中,或者可以忽略或不执行一些特征。
被描述为分离组件的单元可以是或可以不是物理上分离的,并且示为单元的组件可以是或可以不是物理单元。也就是说,这些单元可以位于一个地方,或者可以分布在多个网络元件上。可以根据实际需要选择一些组件或所有组件以实现本公开的目的。
另外,本公开的各种实施例中的功能单元可以集成在一个处理单元中,或者每个单元可以是单独的物理单元,或者两个或更多个单元可以集成在一个单元中。
考虑到本文公开的实施例的说明书和实践,本公开的其他实施例对于本领域技术人员而言是显而易见的。说明书和示例旨在仅被视为说明而非限制本公开的范围,本发明的真实范围和精神由所附权利要求指示。
Claims (54)
1.一种拍摄方法,包括:
使用软件和硬件的组合自动地触发相机的拍摄操作以捕捉图像;
自动地校正所捕捉的图像以生成校正的图像;以及
输出所述校正的图像。
2.根据权利要求1所述的方法,其中,校正所捕捉的图像包括:
合成所捕捉的图像以生成所述校正的图像。
3.根据权利要求2所述的方法,其中,合成所捕捉的图像包括:
检测所捕捉的图像中的显著物体;
获得所述显著物体在所捕捉的图像中的位置和大小信息;
根据合成规则以及所述显著物体的位置和大小信息,裁剪所捕捉的图像以获得合成的图像;以及
缩放所述合成的图像以获得所述校正的图像。
4.根据权利要求3所述的方法,其中,所述合成规则包括中心合成规则、三元合成规则、水平线合成规则、对称合成规则或对角线合成规则中的至少一个。
5.根据权利要求2所述的方法,其中,合成所捕捉的图像包括:
获得网络模型或树结构;
输入所捕捉的图像;
根据所述网络模型或所述树结构处理所捕捉的图像,以获得裁剪坐标和缩放因子;
根据所述裁剪坐标裁剪所捕捉的图像以获得合成的图像;以及
根据所述缩放因子缩放所述合成的图像以获得所述校正的图像。
6.根据权利要求5所述的方法,其中,所述网络模型通过基于多个样本进行训练获得。
7.根据权利要求2所述的方法,其中,校正所捕捉的图像还包括:
在合成所捕捉的图像之前旋转所捕捉的图像。
8.根据权利要求7所述的方法,其中,旋转所捕捉的图像包括:
获得所述相机的姿态信息,所述姿态信息包括偏航轴信息、俯仰轴信息或横滚轴信息中的至少一个;以及
根据所述相机的所述姿态信息旋转所捕捉的图像。
9.根据权利要求7所述的方法,其中,旋转所捕捉的图像包括:
检测所捕捉的图像中的水平线以获得横滚方向上的倾斜角度;以及
响应于所述倾斜角度小于阈值,根据所述倾斜角度在所述横滚方向上旋转所捕捉的图像。
10.根据权利要求7所述的方法,其中,校正所捕捉的图像还包括:
对候选图像执行失真校正,所述候选图像是所捕捉的图像或所述校正的图像。
11.根据权利要求1所述的方法,还包括:
对候选图像执行选择过程,所述候选图像是所捕捉的图像或所述校正的图像。
12.根据权利要求11所述的方法,其中,执行选择过程包括:
根据美学规则确定所述候选图像的分数。
13.根据权利要求12所述的方法,其中,执行选择过程还包括:
如果所述分数低于预设阈值,则丢弃所述候选图像;以及
如果所述分数高于所述预设阈值,则存储所述候选图像。
14.根据权利要求12所述的方法,其中,执行选择过程还包括:
根据至少一个图像特征确定当前相册中与所述候选图像类似的一个或多个相似图像;
如果所述候选图像的分数低于所述一个或多个相似图像的最低分数,则丢弃所述候选图像;以及
如果所述候选图像的分数高于所述一个或多个相似图像的最低分数,则存储所述候选图像。
15.根据权利要求12所述的方法,其中,执行选择过程还包括:
根据至少一个图像特征确定当前相册中与所述候选图像类似的一个或多个相似图像;
如果所述候选图像的分数低于所述一个或多个相似图像的最高分数,则丢弃所述候选图像;以及
如果所述候选图像的分数高于所述一个或多个相似图像的最高分数,则存储所述候选图像。
16.根据权利要求14或15所述的方法,其中,所述至少一个图像特征包括图像的直方图、移位特征、图像矩或指纹中的至少一个。
17.根据权利要求12所述的方法,其中:
根据以下中的至少一项来确定所述美学规则:所述候选图像的信噪比SNR、对比度、直方图分布、图像饱和度、信息熵、自动曝光值、自动对焦值、自动白平衡值或高得分物体。
18.根据权利要求12所述的方法,其中,确定所述候选图像的分数包括:
根据训练模型确定所述候选图像的分数,所述训练模型基于预先评估分数的数据集。
19.根据权利要求1所述的方法,其中,输出所述校正的图像包括:
根据所述校正的图像的分数将所述校正的图像插入到当前相册的队列中,所述校正的图像的分数根据美学规则确定;以及
显示所述当前相册的队列。
20.根据权利要求1所述的方法,其中,显示所述当前相册的队列包括在九方格中显示所述当前相册的队列。
21.根据权利要求1所述的方法,其中,自动地触发所述拍摄操作包括:
一旦检测到具有特定语义的物体就触发所述拍摄操作。
22.根据权利要求21所述的方法,其中,具有特定语义的物体包括人、动物、面部或微笑中的至少一个。
23.根据权利要求1所述的方法,其中,触发所述拍摄操作包括以下中的至少一项:
响应于场景的深度的改变而触发所述拍摄操作;或者
响应于场景的焦点的改变而触发所述拍摄操作。
24.根据权利要求1所述的方法,其中,触发所述拍摄操作包括:
通过语音命令来触发所述拍摄操作。
25.根据权利要求1所述的方法,其中,触发所述拍摄操作包括:
通过控制过程来触发所述拍摄操作,所述控制过程包括定时拍摄或延时拍摄。
26.根据权利要求1所述的方法,其中,触发所述拍摄操作包括:
基于美学规则实时地对实时取景中的实时取景图像进行评分,以获得所述实时取景图像的分数;以及
如果所述实时取景图像的分数高于阈值,则触发所述拍摄操作。
27.根据权利要求26所述的方法,其中:
根据以下中的至少一项来确定所述美学规则:所述实时取景图像的信噪比SNR、对比度、直方图分布、图像饱和度、信息熵、自动曝光值、自动对焦值、自动白平衡值或高得分物体。
28.一种拍摄装置,包括:
相机;
处理器,耦接到所述相机;以及
存储器,耦接到所述处理器并存储指令,所述指令在由所述处理器执行时使所述处理器:
使用软件和硬件的组合自动地触发相机的拍摄操作以捕捉图像;
自动地校正所捕捉的图像以生成校正的图像;以及
输出所述校正的图像。
29.根据权利要求28所述的装置,其中,所述指令还使所述处理器:
合成所捕捉的图像以生成所述校正的图像。
30.根据权利要求29所述的装置,其中,所述指令还使所述处理器:
检测所捕捉的图像中的显著物体;
获得所述显著物体在所捕捉的图像中的位置和大小信息;
根据合成规则以及所述显著物体的位置和大小信息,裁剪所捕捉的图像以获得合成的图像;以及
缩放所述合成的图像以获得所述校正的图像。
31.根据权利要求30所述的装置,其中,所述合成规则包括中心合成规则、三元合成规则、水平线合成规则、对称合成规则或对角线合成规则中的至少一个。
32.根据权利要求29所述的装置,其中,所述指令还使所述处理器:
获得网络模型或树结构;
输入所捕捉的图像;
根据所述网络模型或所述树结构处理所捕捉的图像,以获得裁剪坐标和缩放因子;
根据所述裁剪坐标裁剪所捕捉的图像以获得合成的图像;以及
根据所述缩放因子缩放所述合成的图像以获得所述校正的图像。
33.根据权利要求32所述的装置,其中,所述网络模型通过基于多个样本进行训练获得。
34.根据权利要求29所述的装置,其中,所述指令还使所述处理器:
在合成所捕捉的图像之前旋转所捕捉的图像。
35.根据权利要求34所述的装置,其中,所述指令还使所述处理器:
获得所述相机的姿态信息,所述姿态信息包括偏航轴信息、俯仰轴信息或横滚轴信息中的至少一个;以及
根据所述相机的所述姿态信息旋转所捕捉的图像。
36.根据权利要求34所述的装置,其中,所述指令还使所述处理器:
检测所捕捉的图像中的水平线以获得横滚方向上的倾斜角度;以及
响应于所述倾斜角度小于阈值,根据所述倾斜角度在所述横滚方向上旋转所捕捉的图像。
37.根据权利要求34所述的装置,其中,所述指令还使所述处理器:
对候选图像执行失真校正,所述候选图像是所捕捉的图像或所述校正的图像。
38.根据权利要求28所述的装置,其中,所述指令还使所述处理器:
对候选图像执行选择过程,所述候选图像是所捕捉的图像或所述校正的图像。
39.根据权利要求38所述的装置,其中,所述指令还使所述处理器:
根据美学规则确定所述候选图像的分数。
40.根据权利要求39所述的装置,其中,所述指令还使所述处理器:
如果所述分数低于预设阈值,则丢弃所述候选图像;以及
如果所述分数高于所述预设阈值,则存储所述候选图像。
41.根据权利要求38所述的装置,其中,所述指令还使所述处理器:
根据至少一个图像特征确定当前相册中与所述候选图像类似的一个或多个相似图像;
如果所述候选图像的分数低于所述一个或多个相似图像的最低分数,则丢弃所述候选图像;以及
如果所述候选图像的分数高于所述一个或多个相似图像的最低分数,则存储所述候选图像。
42.根据权利要求38所述的装置,其中,所述指令还使所述处理器:
根据至少一个图像特征确定当前相册中与所述候选图像类似的一个或多个相似图像;
如果所述候选图像的分数低于所述一个或多个相似图像的最高分数,则丢弃所述候选图像;以及
如果所述候选图像的分数高于所述一个或多个相似图像的最高分数,则存储所述候选图像。
43.根据权利要求41或42所述的装置,其中,所述至少一个图像特征包括图像的直方图、移位特征、图像矩或指纹中的至少一个。
44.根据权利要求39所述的装置,其中:
根据以下中的至少一项来确定所述美学规则:所述候选图像的信噪比SNR、对比度、直方图分布、图像饱和度、信息熵、自动曝光值、自动对焦值、自动白平衡值或高得分物体。
45.根据权利要求39所述的装置,其中,所述指令还使所述处理器:
根据训练模型确定所述候选图像的分数,所述训练模型基于预先评估分数的数据集。
46.根据权利要求28所述的装置,其中,所述指令还使所述处理器:
根据所述校正的图像的分数将所述校正的图像插入到当前相册的队列中,所述校正的图像的分数根据美学规则确定;以及
显示所述当前相册的队列。
47.根据权利要求28所述的装置,其中,所述指令还使所述处理器在九方格中显示所述当前相册的队列。
48.根据权利要求28所述的装置,其中,所述指令还使所述处理器:
一旦检测到具有特定语义的物体就触发所述拍摄操作。
49.根据权利要求48所述的装置,其中,具有特定语义的物体包括人、动物、面部或微笑中的至少一个。
50.根据权利要求28所述的装置,其中,所述指令还使所述处理器:
响应于场景的深度的改变而触发所述拍摄操作;和/或
响应于场景的焦点的改变而触发所述拍摄操作。
51.根据权利要求28所述的装置,其中,所述指令还使所述处理器:
通过语音命令来触发所述拍摄操作。
52.根据权利要求28所述的装置,其中,所述指令还使所述处理器:
通过控制过程来触发所述拍摄操作,所述控制过程包括定时拍摄或延时拍摄。
53.根据权利要求28所述的装置,其中,所述指令还使所述处理器:
基于美学规则实时地对实时取景中的实时取景图像进行评分,以获得所述实时取景图像的分数;以及
如果所述实时取景图像的分数高于阈值,则触发所述拍摄操作。
54.根据权利要求53所述的装置,其中:
根据以下中的至少一项来确定所述美学规则:所述实时取景图像的信噪比SNR、对比度、直方图分布、图像饱和度、信息熵、自动曝光值、自动对焦值、自动白平衡值或高得分物体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/086914 WO2020227945A1 (en) | 2019-05-14 | 2019-05-14 | Photographing method and apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110326287A true CN110326287A (zh) | 2019-10-11 |
Family
ID=68126379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980001265.4A Pending CN110326287A (zh) | 2019-05-14 | 2019-05-14 | 拍摄方法和装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200364832A1 (zh) |
EP (1) | EP3756340A1 (zh) |
JP (1) | JP6907274B2 (zh) |
CN (1) | CN110326287A (zh) |
WO (1) | WO2020227945A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111107267A (zh) * | 2019-12-30 | 2020-05-05 | 广州华多网络科技有限公司 | 图像处理方法、装置、设备及存储介质 |
WO2021168838A1 (zh) * | 2020-02-28 | 2021-09-02 | 深圳市大疆创新科技有限公司 | 位置信息确定方法、设备及存储介质 |
US11977981B2 (en) | 2019-05-17 | 2024-05-07 | Samsung Electronics Co., Ltd. | Device for automatically capturing photo or video about specific moment, and operation method thereof |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220012790A1 (en) * | 2020-07-07 | 2022-01-13 | W.W. Grainger, Inc. | System and method for providing tap-less, real-time visual search |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090051788A1 (en) * | 2007-08-23 | 2009-02-26 | Sony Corporation | Image-capturing apparatus and image-capturing method |
CN101690166A (zh) * | 2007-06-27 | 2010-03-31 | 松下电器产业株式会社 | 摄像装置、方法、系统集成电路及程序 |
US20100329550A1 (en) * | 2009-06-24 | 2010-12-30 | Stephen Philip Cheatle | Method for automatically cropping digital images |
CN102111542A (zh) * | 2009-12-28 | 2011-06-29 | 索尼公司 | 图像处理设备、成像设备、图像处理方法和程序 |
JP4852592B2 (ja) * | 2008-11-28 | 2012-01-11 | アキュートロジック株式会社 | 文字画像補正装置及び文字画像補正方法 |
US20120134595A1 (en) * | 2009-08-11 | 2012-05-31 | Koninklijke Philips Electronics N.V. | Method and apparatus for providing an image for display |
CN102668541A (zh) * | 2009-12-22 | 2012-09-12 | 苹果公司 | 具有倾斜或透视校正的图像捕捉设备 |
US20130101210A1 (en) * | 2011-10-24 | 2013-04-25 | Hao Tang | Auto-cropping |
CN103354611A (zh) * | 2013-06-22 | 2013-10-16 | 太仓博天网络科技有限公司 | 一种可基于zoran芯片的智能数码相机系统 |
CN103793884A (zh) * | 2013-12-31 | 2014-05-14 | 华中科技大学 | 一种知识约束的桥梁目标图像气动光学效应校正方法 |
US20140139723A1 (en) * | 2012-11-22 | 2014-05-22 | Pixart Imaging Inc. | Method for automatically focusing on specific movable object, photographic apparatus including automatic focus function, and computer readable storage medium for storing automatic focus function program |
US8743219B1 (en) * | 2010-07-13 | 2014-06-03 | Marvell International Ltd. | Image rotation correction and restoration using gyroscope and accelerometer |
US20150035991A1 (en) * | 2013-07-31 | 2015-02-05 | Apple Inc. | Method for dynamically calibrating rotation offset in a camera system |
CN104813654A (zh) * | 2012-11-27 | 2015-07-29 | 株式会社理光 | 图像校正系统、图像校正方法、以及计算机程序产品 |
CN108234870A (zh) * | 2017-12-27 | 2018-06-29 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、终端及存储介质 |
CN108307118A (zh) * | 2018-02-10 | 2018-07-20 | 北京理工大学 | 一种基于惯导参数流形优化的低延时视频稳像方法 |
CN108595145A (zh) * | 2018-04-26 | 2018-09-28 | 广东小天才科技有限公司 | 可穿戴设备的语音播放控制方法、装置及可穿戴设备 |
WO2018189971A1 (ja) * | 2017-04-13 | 2018-10-18 | シャープ株式会社 | 画像処理装置、撮像装置、端末装置、画像補正方法および画像処理プログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4810850B2 (ja) * | 2005-03-28 | 2011-11-09 | カシオ計算機株式会社 | 撮像装置及びプログラム |
JP2010041255A (ja) * | 2008-08-01 | 2010-02-18 | Sony Corp | 撮像装置、撮像方法およびプログラム |
JP4720880B2 (ja) * | 2008-09-04 | 2011-07-13 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
US20110199511A1 (en) * | 2008-10-20 | 2011-08-18 | Camelot Co., Ltd. | Image photographing system and image photographing method |
JP5379449B2 (ja) * | 2008-10-31 | 2013-12-25 | キヤノン株式会社 | 撮像装置及びその制御方法 |
CN103108127A (zh) * | 2013-02-17 | 2013-05-15 | 华为终端有限公司 | 利用便携式设备进行拍照的方法及便携式设备 |
CN103139480A (zh) * | 2013-02-28 | 2013-06-05 | 华为终端有限公司 | 一种图像采集方法及装置 |
JP2014164288A (ja) * | 2013-02-28 | 2014-09-08 | Nikon Corp | 撮像装置 |
JP5790724B2 (ja) * | 2013-09-13 | 2015-10-07 | カシオ計算機株式会社 | 撮像装置、撮影方法及びプログラム |
CN106708070B (zh) * | 2015-08-17 | 2021-05-11 | 深圳市道通智能航空技术股份有限公司 | 一种航拍控制方法和装置 |
US9955126B2 (en) * | 2015-08-19 | 2018-04-24 | Rapsodo Pte. Ltd. | Systems and methods of analyzing moving objects |
WO2017208991A1 (ja) * | 2016-06-01 | 2017-12-07 | シャープ株式会社 | 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム |
-
2019
- 2019-05-14 WO PCT/CN2019/086914 patent/WO2020227945A1/en unknown
- 2019-05-14 EP EP19820656.7A patent/EP3756340A1/en not_active Withdrawn
- 2019-05-14 CN CN201980001265.4A patent/CN110326287A/zh active Pending
- 2019-08-01 JP JP2019142458A patent/JP6907274B2/ja active Active
- 2019-08-07 US US16/534,677 patent/US20200364832A1/en not_active Abandoned
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101690166A (zh) * | 2007-06-27 | 2010-03-31 | 松下电器产业株式会社 | 摄像装置、方法、系统集成电路及程序 |
US20090051788A1 (en) * | 2007-08-23 | 2009-02-26 | Sony Corporation | Image-capturing apparatus and image-capturing method |
JP4852592B2 (ja) * | 2008-11-28 | 2012-01-11 | アキュートロジック株式会社 | 文字画像補正装置及び文字画像補正方法 |
US20100329550A1 (en) * | 2009-06-24 | 2010-12-30 | Stephen Philip Cheatle | Method for automatically cropping digital images |
US20120134595A1 (en) * | 2009-08-11 | 2012-05-31 | Koninklijke Philips Electronics N.V. | Method and apparatus for providing an image for display |
CN102668541A (zh) * | 2009-12-22 | 2012-09-12 | 苹果公司 | 具有倾斜或透视校正的图像捕捉设备 |
CN102111542A (zh) * | 2009-12-28 | 2011-06-29 | 索尼公司 | 图像处理设备、成像设备、图像处理方法和程序 |
US8743219B1 (en) * | 2010-07-13 | 2014-06-03 | Marvell International Ltd. | Image rotation correction and restoration using gyroscope and accelerometer |
US20130101210A1 (en) * | 2011-10-24 | 2013-04-25 | Hao Tang | Auto-cropping |
US20140139723A1 (en) * | 2012-11-22 | 2014-05-22 | Pixart Imaging Inc. | Method for automatically focusing on specific movable object, photographic apparatus including automatic focus function, and computer readable storage medium for storing automatic focus function program |
CN104813654A (zh) * | 2012-11-27 | 2015-07-29 | 株式会社理光 | 图像校正系统、图像校正方法、以及计算机程序产品 |
CN103354611A (zh) * | 2013-06-22 | 2013-10-16 | 太仓博天网络科技有限公司 | 一种可基于zoran芯片的智能数码相机系统 |
US20150035991A1 (en) * | 2013-07-31 | 2015-02-05 | Apple Inc. | Method for dynamically calibrating rotation offset in a camera system |
CN103793884A (zh) * | 2013-12-31 | 2014-05-14 | 华中科技大学 | 一种知识约束的桥梁目标图像气动光学效应校正方法 |
WO2018189971A1 (ja) * | 2017-04-13 | 2018-10-18 | シャープ株式会社 | 画像処理装置、撮像装置、端末装置、画像補正方法および画像処理プログラム |
CN108234870A (zh) * | 2017-12-27 | 2018-06-29 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、终端及存储介质 |
CN108307118A (zh) * | 2018-02-10 | 2018-07-20 | 北京理工大学 | 一种基于惯导参数流形优化的低延时视频稳像方法 |
CN108595145A (zh) * | 2018-04-26 | 2018-09-28 | 广东小天才科技有限公司 | 可穿戴设备的语音播放控制方法、装置及可穿戴设备 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11977981B2 (en) | 2019-05-17 | 2024-05-07 | Samsung Electronics Co., Ltd. | Device for automatically capturing photo or video about specific moment, and operation method thereof |
CN111107267A (zh) * | 2019-12-30 | 2020-05-05 | 广州华多网络科技有限公司 | 图像处理方法、装置、设备及存储介质 |
WO2021168838A1 (zh) * | 2020-02-28 | 2021-09-02 | 深圳市大疆创新科技有限公司 | 位置信息确定方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20200364832A1 (en) | 2020-11-19 |
EP3756340A4 (en) | 2020-12-30 |
JP2020188448A (ja) | 2020-11-19 |
JP6907274B2 (ja) | 2021-07-21 |
EP3756340A1 (en) | 2020-12-30 |
WO2020227945A1 (en) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111402135B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN110326287A (zh) | 拍摄方法和装置 | |
WO2019137131A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US9036038B2 (en) | Information processing apparatus and method for extracting and categorizing postures of human figures | |
CN103581561B (zh) | 基于旋转摄像头拍摄的人景图像合成方法和系统 | |
JP4865038B2 (ja) | 顔検出と肌の色合いの情報を用いたデジタル画像処理 | |
JP5136669B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR102407190B1 (ko) | 영상 촬영 장치 및 그 동작 방법 | |
KR101303877B1 (ko) | 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치 | |
CN113727012B (zh) | 一种拍摄方法及终端 | |
CN105407346A (zh) | 影像分割方法 | |
US20130169821A1 (en) | Detecting Orientation of Digital Images Using Face Detection Information | |
US20110242395A1 (en) | Electronic device and image sensing device | |
CN109565551A (zh) | 对齐于参考帧合成图像 | |
CN103856617A (zh) | 一种拍照方法和用户终端 | |
CN108307120B (zh) | 图像拍摄方法、装置及电子终端 | |
KR20090087670A (ko) | 촬영 정보 자동 추출 시스템 및 방법 | |
CN113850726A (zh) | 图像变换方法和装置 | |
CN111654624B (zh) | 拍摄提示方法、装置及电子设备 | |
CN114071010A (zh) | 一种拍摄方法及设备 | |
CN114466133A (zh) | 拍照方法及装置 | |
JP5044472B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
CN113850709A (zh) | 图像变换方法和装置 | |
US20240185389A1 (en) | Image processing method and electronic device | |
KR101822169B1 (ko) | 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191011 |
|
RJ01 | Rejection of invention patent application after publication |