CN114430457A - 拍摄方法、装置、电子设备和存储介质 - Google Patents
拍摄方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114430457A CN114430457A CN202011183133.9A CN202011183133A CN114430457A CN 114430457 A CN114430457 A CN 114430457A CN 202011183133 A CN202011183133 A CN 202011183133A CN 114430457 A CN114430457 A CN 114430457A
- Authority
- CN
- China
- Prior art keywords
- original image
- target object
- location
- acquiring
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000006073 displacement reaction Methods 0.000 claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本公开是关于一种拍摄方法、装置、电子设备和存储介质，所述拍摄方法应用于终端设备，所述方法包括：获取第一原始图像中目标物的第一位置，其中，所述第一原始图像由所述图像采集组件采集得到；获取第二原始图像中所述目标物的第二位置和所述第二原始图像中裁减窗口的第三位置，其中，所述第二原始图像为所述第一原始图像的前一帧图像；根据所述第一位置和所述第二位置间的位移以及所述第三位置，确定所述第一原始图像中所述裁减窗口的第四位置；获取所述第一原始图像中处于所述第四位置的裁减窗口内的画面，以生成预览画面和/或拍摄画面。
Description
技术领域
本公开涉及终端设备领域，具体涉及一种拍摄方法、装置、电子设备和存储介质。
背景技术
随着科学技术的进步，终端设备的拍摄性能越来越高，例如变焦倍率不断变大。使用终端设备拍摄图像或视频时，需要防止抖动影响拍摄质量，而且有时还需要跟踪某个目标进行拍摄，但是相关技术中防抖和跟踪的效果并不理想，造成拍摄出的图像和视频质量较差。
发明内容
为克服相关技术中存在的问题，本公开实施例提供一种拍摄方法、装置、电子设备和存储介质，用以解决相关技术中的缺陷。
根据本公开实施例的第一方面，提供一种拍摄方法，应用于终端设备，所述终端设备具有图像采集组件，所述拍摄方法包括：
获取第一原始图像中目标物的第一位置，其中，所述第一原始图像由所述图像采集组件采集得到；
获取第二原始图像中所述目标物的第二位置和所述第二原始图像中裁减窗口的第三位置，其中，所述第二原始图像为所述第一原始图像的前一帧图像；
根据所述第一位置和所述第二位置间的位移以及所述第三位置，确定所述第一原始图像中所述裁减窗口的第四位置；
获取所述第一原始图像中处于所述第四位置的裁减窗口内的画面，以生成预览画面和/或拍摄画面。
在一个实施例中，还包括：
根据基于预览画面的选择指令，确定所述目标物在所述预览画面内的第五位置；
根据所述第五位置确定所述目标物在所述预览画面对应的原始画面中的第六位置；
获取所述预览画面对应的原始画面中第六位置处的特征，以生成目标物特征。
在一个实施例中，所述获取第一原始图像中目标物的第一位置，包括：
获取所述第一原始图像中所有位置的特征；
确定与所述目标物特征匹配的特征对应的位置为所述第一位置。
在一个实施例中，还包括：
存储所述第一位置以及所述第四位置。
在一个实施例中，所述获取第二原始图像中所述目标物的第二位置和所述第二原始图像中裁减窗口的第三位置，包括：
获取位置存储区内存储的所述第二位置和所述第三位置；
所述存储所述第一位置以及所述第四位置，包括：
使用所述第一位置替换所述位置存储区内存储的第二位置，使用所述第四位置替换所述位置存储区内存储的第三位置。
在一个实施例中，所述第一位置和所述第二位置均为所述目标物的定位点的坐标，所述第三位置和所述第四位置均为所述裁减窗口的定位点的坐标。
在一个实施例中，所述根据所述第一位置和所述第二位置间的位移以及所述第三位置，确定所述第一原始图像中所述裁减窗口的第四位置，包括：
根据所述第一位置和所述第二位置确定位移；
确定按照所述位移移动后的所述第三位置为第四位置。
根据本公开实施例的第二方面，提供一种拍摄装置，应用于终端设备，所述终端设备具有图像采集组件，所述拍摄装置包括：
第一获取模块，用于获取第一原始图像中目标物的第一位置，其中，所述第一原始图像由所述图像采集组件采集得到；
第二获取模块，用于获取第二原始图像中所述目标物的第二位置和所述第二原始图像中裁减窗口的第三位置，其中，所述第二原始图像为所述第一原始图像的前一帧图像；
第一确定模块，用于根据所述第一位置和所述第二位置间的位移以及所述第三位置，确定所述第一原始图像中所述裁减窗口的第四位置；
裁减模块，用于获取所述第一原始图像中处于所述第四位置的裁减窗口内的画面，以生成预览画面和/或拍摄画面。
在一个实施例中，还包括：
选择模块，用于根据基于预览画面的选择指令，确定所述目标物在所述预览画面内的第五位置；
第二确定模块，用于根据所述第五位置确定所述目标物在所述预览画面对应的原始画面中的第六位置；
特征模块，用于获取所述预览画面对应的原始画面中第六位置处的特征，以生成目标物特征。
在一个实施例中，所述第一获取模块具体用于：
获取所述第一原始图像中所有位置的特征；
确定与所述目标物特征匹配的特征对应的位置为所述第一位置。
在一个实施例中，还包括：
存储模块，用于存储所述第一位置以及所述第四位置。
在一个实施例中，所述第二获取模块具体用于：
获取位置存储区内存储的所述第二位置和所述第三位置；
所述存储模块具体用于：
使用所述第一位置替换所述位置存储区内存储的第二位置，使用所述第四位置替换所述位置存储区内存储的第三位置。
在一个实施例中，所述第一位置和所述第二位置均为所述目标物的定位点的坐标，所述第三位置和所述第四位置均为所述裁减窗口的定位点的坐标。
在一个实施例中，所述第一确定模块具体用于：
根据所述第一位置和所述第二位置确定位移；
确定按照所述位移移动后的所述第三位置为第四位置。
根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于第一方面所述的拍摄方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开通过获取第一原始图像中目标物的第一位置，以及第二原始图像中目标物的第二位置和裁减窗口的第三位置，可以确定目标物在连续两帧图像中的位置移动，即第一位置和第二位置的位移，进而根据所述位移和第二原始图像中裁减窗口的第三位置，确定第一原始图像中裁减窗口的位置，最后按照第一原始图像的裁减窗口预览和/或拍摄对应位置的画面，以生成预览画面和/或拍摄画面；由于跟踪了目标物在连续两帧画面中的位置，并进一步以目标物的位移确定原始图像中裁减窗口的位置，因此使裁减窗口始终跟踪目标物而移动，避免了终端设备抖动造成的画面不稳，提高了防抖效果以及对目标物的跟踪效果，进而提高了拍摄的画面和视频的质量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本公开一示例性实施例示出的拍摄方法的流程图；
图2是本公开一示例性实施例示出的裁剪窗口跟踪目标物同步移动的过程示意图；
图3是本公开一示例性实施例示出的预览画面跟踪目标物同步移动的过程示意图；
图4是本公开一示例性实施例示出的拍摄方法的完整流程示意图；
图5是本公开一示例性实施例示出的拍摄装置的结构示意图；
图6是本公开一示例性实施例示出的电子设备框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着科学技术的进步，终端设备的拍摄性能越来越高，例如变焦倍率不断变大。使用终端设备拍摄图像或视频时，需要防止抖动影响拍摄质量，而且有时还需要跟踪某个目标进行拍摄，但是相关技术中防抖和跟踪的效果并不理想，造成拍摄出的图像和视频质量较差。
具体来说，目前智能手机等智能终端的的相机变焦倍数越来越高，最大变焦倍率从1x演进到120x。在高倍率的情况下，面临下面两个挑战：第一，人手的晃动对预览画面稳定性的影响非常大，手持拍摄的时候预览画面抖动大，拍摄的瞬间抖动也会影响拍摄画面的质量；第二，当远处的拍摄对象在移动的时候，如果想持续跟踪拍摄对象，就得移动相机，可人手只要移动一小点，拍摄对象就容易出框，得来回调整相机角度才能捕捉到合适的画面，体验很不好。
基于此，第一方面，本公开至少一个实施例提供了一种应用于终端设备的拍摄方法，请参照附图1，其示出了该拍摄方法的流程，包括步骤S101至步骤S104。
其中，所述终端设备具有图像采集组件，图像采集组件可以是摄像头。当终端设备启动拍摄功能时，图像采集组件实时获取采集范围内的空间的原始图像，原始图像经过对应的裁减窗口裁减，形成对应的预览画面，连续的多帧原始图像对应的预览画面以视频的形式呈现。当用户对终端设备输入拍照指令时，一帧原始图像经过对应的裁减窗口裁减，形成一帧拍摄画面，也就是照片；当用户对终端设备输入录像指令时，多帧连续的原始图像均经过对应的裁减窗口裁减，形成连续多帧拍摄画面，也就是视频。
在步骤S101中，获取第一原始图像中目标物的第一位置，其中，所述第一原始图像由所述图像采集组件采集得到。
其中，第一原始图像即为图像采集设备实时采集的连续多帧原始图像中的任意一帧，例如，可以是当前帧的原始图像。目标物即为拍摄过程中需要跟踪的目标，目标物可以为移动的目标，也可以为固定的目标，例如，目标物可以为人、动物或景物等。第一位置可以是目标物的坐标，目标物可以预设或随机生成一个定位点，因此第一位置可以是目标物的定位点的坐标，上述坐标可以是第一原始图像内的坐标系内的坐标，也可以是图像采集设备对应的视野内的坐标系内的坐标，第一原始图像内的坐标系即将第一原始图像的某个点(例如左上角)作为原点，并将第一原始图像的横向和纵向分别作为两个坐标轴的方向，图像采集设备对应的视野内的坐标系即以图像采集设备为参照的坐标系，也就是嵌入上述视野内的坐标系，随着图像采集设备的移动，视野移动，坐标系也随之移动，因此视野内的景物的坐标便随之发生变化。
在步骤S102中，获取第二原始图像中所述目标物的第二位置和所述第二原始图像中裁减窗口的第三位置，其中，所述第二原始图像为所述第一原始图像的前一帧图像。
其中，第二原始图像也是图像采集设备实时采集的连续多帧原始图像中的一帧，且是第一原始图像的前一帧。第二位置也可以是目标物的坐标，还可以是目标物的定位点的坐标；裁减窗口的第三位置可以是裁减窗口的坐标，裁减窗口也可以预设或随机生成一个定位点，因此裁减窗口的坐标可以为裁减窗口的定位点的坐标，例如可以将矩形的裁减窗口的一个角作为定位点；上述坐标可以是第一原始图像内的坐标系内的坐标，也可以是图像采集设备对应的视野内的坐标系内的坐标。
其中，裁减窗口的形状和尺寸是根据倍率确定的，也就是当锁定了图像采集设备的倍率时，即可确定裁减窗口的形状和尺寸，例如形状可以为矩形，尺寸即为矩形的宽和高。因此表示一个裁减窗口涵盖的画面时，可以用(l，t，w，h)表示，其中，l和w为裁减窗口的定位点在两个坐标轴上的坐标，w和h分别为裁减窗口的宽和高。
在步骤S103中，根据所述第一位置和所述第二位置间的位移以及所述第三位置，确定所述第一原始图像中所述裁减窗口的第四位置。
在一个示例中，采用下述方式确定第四位置：首先，根据所述第一位置和所述第二位置确定位移；接下来，确定按照所述位移移动后的第三位置为第四位置。也就是保持裁减窗口的位移与目标物的位移同方向且同距离，保证了裁减窗口对目标物的跟踪效果。
其中，确定第一位置和第二位置的位移时，可以首先统一第一位置对应的坐标和第二位置对应的坐标的坐标系。例如，若第一位置和第二位置均是图像采集设备对应的视野内的坐标系内的坐标，则可以直接计算位移；再例如，若第一位置是第一原始图像内的坐标系内的坐标，第二位置是第二原始图像内的坐标系内的坐标，则需要根据不同坐标系间的映射关系统一到统一坐标系后，再计算位移。
本实施例中，裁剪窗口跟踪目标物同步移动的过程可以参照附图2，其中，目标物为人物，第二原始图像中的目标物201的第二位置为(xp，yp)，第一原始画面中的目标物202的第一位置为(x，y)，也就是目标物在两帧画面中从(xp，yp)移动到了(x，y)；裁减窗口为矩形，第二原始图像中的裁减窗口203的第三位置为(lp，tp，wp，hp)，第一原始画面中的裁减窗口204的第四位置为(l，t，w，h)，也就是裁减窗口跟踪目标物的移动，发生了同方向等距离的位移。
在步骤S104中，获取所述第一原始图像中处于所述第四位置的裁减窗口内的画面，以生成预览画面和/或拍摄画面。
其中，第一原始图像经过对应的裁减窗口裁减，形成对应的预览画面和/或拍摄画面。图像采集设备可以包括传感器(sensor)和图像信号处理器(Image SignalProcessor)，而且传感器(sensor)获取到的光学信号可以由图像信号处理器(ImageSignal Processor)生成原始图像，并进一步将原始图像生成不同的数据流，也就是说，图像信号处理器(Image Signal Processor)可以将原始图像生成预览缓存(PreviewBuffer)，连续的原始图像则对应生成预览数据流(Preview Stream)，因此根据第一原始图像生成预览画面时，就是使用对应的裁剪窗口裁剪第一原始图像对应的预览缓存(PreviewBuffer)而生成；图像信号处理器(Image Signal Processor)可以将原始图像生成编码缓存(RAW Buffer)，连续的原始图像则对应生成编码数据流，因此根据第一原始图像生成拍摄画面时，就是使用对应的裁剪窗口裁剪第一原始图像对应的编码缓存(RAW Buffer)而生成。
本实施例中，预览画面跟踪目标物同步移动的过程可以参照附图3，其中，最初(即图3A所示画面)，预览画面301中存在目标物302，且目标物302处于预览画面301的中心；接下来(即图3B所示画面)，目标物302在原始图像中发生抖动或者移动，最后(即图3C所示画面)，移动裁减窗口使目标物302仍处于预览画面301的中心。
本公开的实施例中，通过获取第一原始图像中目标物的第一位置，以及第二原始图像中目标物的第二位置和裁减窗口的第三位置，可以确定目标物在连续两帧图像中的位置移动，即第一位置和第二位置的位移，进而根据所述位移和第二原始图像中裁减窗口的第三位置，确定第一原始图像中裁减窗口的位置，最后按照第一原始图像的裁减窗口预览和/或拍摄对应位置的画面，以生成预览画面和/或拍摄画面；由于跟踪了目标物在连续两帧画面中的位置，并进一步以目标物的位移确定原始图像中裁减窗口的位置，因此使裁减窗口始终跟踪目标物而移动，避免了终端设备抖动造成的画面不稳，提高了防抖效果以及对目标物的跟踪效果，进而提高了拍摄的画面和视频的质量。
本公开的一些实施例中，所述拍摄方法还包括确定目标物的过程，具体采用下述方式确定目标物：首先，根据基于预览画面的选择指令，确定所述目标物在所述预览画面内的第五位置；接下来，根据所述第五位置确定所述目标物在所述预览画面对应的原始画面中的第六位置；最后，获取所述预览画面对应的原始画面中第六位置处的特征，以生成目标物特征。
其中，选择指令可以是用户基于预览画面输入的，例如，用户可以选择点击预览画面内的目标物以输入选择指令。图像采集设备可以包括传感器(sensor)和图像信号处理器(Image Signal Processor)，而且传感器(sensor)获取到的光学信号可以由图像信号处理器(Image Signal Processor)生成原始图像，并进一步将原始图像生成不同的数据流，也就是说，图像信号处理器(Image Signal Processor)可以将原始图像生成人脸识别缓存(FD buffer)，连续的原始图像则对应生成人脸识别数据流(Face Detection Stream),因此根据所述第五位置确定所述目标物在所述预览画面对应的原始画面中的第六位置时，就是确定目标物在对应的人脸识别缓存(FD buffer)中的第六位置，进一步的，获取所述预览画面对应的原始画面中第六位置处的特征，以生成目标物特征时，也是获取对应的人脸识别缓存(FD buffer)中的第六位置处的特征。
如果终端设备的拍摄功能刚开始执行，则按照预设条件或随机确定裁剪窗口的位置，并显示对应的预览画面，也就是说，上述确定目标物的过程是在如图1所示的流程之前进行的；如果预览画面是按照本申请的拍摄方法确定的，则上述确定目标物的过程是更新目标物的过程，更新完成后继续按照如图1所示的流程进行。
基于上述确定目标物特征的过程，可以采用下述方式获取第一原始图像中目标物的第一位置：首先，获取所述第一原始图像中所有位置的特征；接下来，确定与所述目标物特征匹配的特征对应的位置为所述第一位置。
其中，获取第一原始图像中所有位置的特征时，就是获取对应的人脸识别缓存(FDbuffer)的所有位置的特征。也就是说，运行所述拍摄方法时，需要获取人脸识别数据流(Face Detection Stream)中每一帧人脸识别缓存(FD buffer)的所有位置的特征，并分别去和目标无特征进行匹配，以确定每一帧人脸识别缓存(FD buffer)的第一位置，也就是每一帧原始图像的第一位置。
本公开实施例中，通过特征匹配能够非常准确的获取到目标物的第一位置，也就是说，通过特征匹配能够跟踪每一帧原始图像内的目标物的位置，进而实现裁剪框口对目标物的位置跟踪。
本公开的一些实施例中，所述拍摄方法还包括存储目标物的位置以及裁剪窗口的位置的过程，具体可以采用下述方式：在如图1所示的流程中的S103确定第四位置后，存储第一位置和第四位置。
其中，可以预设位置存储区用于存储上述目标物的位置和裁剪窗口的位置，可以每一帧(例如第一原始图像)确定的目标物位置和裁剪窗口的位置都依次存入位置存储区，也可以只在位置存储区内储存一帧原始图像的目标物位置和裁剪窗口的位置，并不断更新。
基于上述存储方式，可以按照下述方式获取第二原始图像中所述目标物的第二位置和裁减窗口的第三位置：获取位置存储区内存储的所述第二位置和所述第三位置。其中，如果位置存储区内存储有多帧原始图像的目标物位置及裁剪窗口位置，则需要取用最新存入的一组目标物位置及裁剪窗口位置，因此最新存入的一组即为前一帧原始图像的一组位置；如果位置存储区内只存储有一帧原始图像的目标物位置及裁剪窗口位置，则直接取用该组位置即可，因此该组位置即为前一帧原始图像的一组位置。
当位置存储区内只存储一帧原始图像的目标物位置及裁剪窗口位置时，则按照下述方式保证存储的为最新的一帧原始图像的目标物位置及裁剪窗口位置，也就是总是当前帧原始图像的前一帧原始图像的目标物位置及裁剪窗口位置：每确定一帧原始图像的裁剪窗口的位置后，即将存储于存储区内的前一帧原始图像的目标物位置及裁剪窗口位置删除，同时将新确定的裁剪窗口的位置及对应的目标物位置存入位置存储区，也就是每确定一帧图像的裁剪窗口位置后，均更新一次位置存储区内存储的位置数据。因此，在如图1所示的步骤S102执行时，即可获取位置存储区内存储的所述第二位置和所述第三位置，待到完成如图1所示的步骤S103后，则可以使用所述第一位置替换所述位置存储区内存储的第二位置，使用所述第四位置替换所述位置存储区内存储的第三位置。这样的存储方式节省了存储空间，也提高了获取位置的准确性。
请参照附图4，其示出了一个拍摄方法的完整流程，其中，终端设备的显示屏显示了120x的预览画面，用户可以通过触控操作选择需要跟踪的目标物，例如画面中的某一人物，因此显示屏将选择的目标物的位置加入到追踪指令(Tracking Object)并发送至物体跟踪模块(Object Trakcer)；同时终端设备的图像采集组件包括传感器(Sensor)和图像信号处理器(Image Signal Processor)，而且传感器(sensor)获取到的光学信号可以由图像信号处理器(Image Signal Processor)生成原始图像，并进一步将原始图像生成不同的数据流，即分别生成用于人脸识别的人脸识别数据流(Face Detection Stream)、用于生成预览画面的预览数据流(Preview Stream)和用于生成拍摄画面的编码数据流，其中，人脸识别数据流(Face Detection Stream)包括连续的多帧人脸识别缓存(FD buffer)，预览数据流(Preview Stream)包括连续的多帧预览缓存(Preview Buffer)，编码数据流包括连续的多帧编码缓存(RAW Buffer)；物体跟踪模块(Object Trakcer)获取到目标物的位置后，从人脸识别数据流(Face Detection Stream)中获取对应的人脸识别缓存(FD buffer)，并提取指定位置特征以及确认要跟踪的目标物，并在接下来的每一帧人脸识别缓存(FDbuffer)中通过匹配特征确定目标物的最新位置；物体跟踪模块(Object Trakcer)在获取到每一帧人脸识别缓存(FD buffer)中目标物的位置后，均计算相对于上一帧的目标物位置的位移(moving vector)，并将位移(moving vector)发送至目标追踪图像定位模块(Object Tracker Image Stabilization)，标追踪图像定位模块(Object Tracker ImageStabilization)中包括裁剪窗口计算单元(Crop Region Calculation)和裁剪预览缓存模块(Apply crop to preview buffer)，裁剪窗口计算单元(Crop Region Calculation)根据获得的位移(moving vector)计算裁剪窗口的位置，标追踪图像定位模块(ObjectTracker Image Stabilization)进一步获取预览数据流(Preview Stream)，并根据裁剪窗口计算单元(Crop Region Calculation)计算得到的裁剪窗口的位置从对应的预览缓存(Preview Buffer)中裁剪出预览画面，并将预览画面发送至显示屏，以供显示屏显示，以上便是预览流程；裁剪窗口计算单元(Crop Region Calculation)计算得到的裁剪窗口的位置后，还将上述位置发送至快照流水线(Snapshot Pipeline)，快照流水线(SnapshotPipeline)进一步获取编码数据流，当接收到用户的拍摄指令时，从编码数据流中获取对应的编码缓存(RAW Buffer)，并使用从裁剪窗口计算单元(Crop Region Calculation)处得到的裁剪窗口的位置，从编码缓存(RAW Buffer)裁剪出拍摄画面(例如JPEG格式的图片)，以上便是拍照流程。
请参照附图5根据本公开实施例的第二方面，提供一种拍摄装置，应用于终端设备，所述终端设备具有图像采集组件，所述拍摄装置包括：
第一获取模块501，用于获取第一原始图像中目标物的第一位置，其中，所述第一原始图像由所述图像采集组件采集得到；
第二获取模块502，用于获取第二原始图像中所述目标物的第二位置和所述第二原始图像中裁减窗口的第三位置，其中，所述第二原始图像为所述第一原始图像的前一帧图像；
第一确定模块503，用于根据所述第一位置和所述第二位置间的位移以及所述第三位置，确定所述第一原始图像中所述裁减窗口的第四位置；
裁减模块504，用于获取所述第一原始图像中处于所述第四位置的裁减窗口内的画面，以生成预览画面和/或拍摄画面。
在本公开的一些实施例中，还包括：
选择模块，用于根据基于预览画面的选择指令，确定所述目标物在所述预览画面内的第五位置；
第二确定模块，用于根据所述第五位置确定所述目标物在所述预览画面对应的原始画面中的第六位置；
特征模块，用于获取所述预览画面对应的原始画面中第六位置处的特征，以生成目标物特征。
在本公开的一些实施例中，所述第一获取模块具体用于：
获取所述第一原始图像中所有位置的特征；
确定与所述目标物特征匹配的特征对应的位置为所述第一位置。
在本公开的一些实施例中，还包括：
存储模块，用于存储所述第一位置以及所述第四位置。
在本公开的一些实施例中，所述第二获取模块具体用于：
获取位置存储区内存储的所述第二位置和所述第三位置；
所述存储模块具体用于：
使用所述第一位置替换所述位置存储区内存储的第二位置，使用所述第四位置替换所述位置存储区内存储的第三位置。
在本公开的一些实施例中，所述第一位置和所述第二位置均为所述目标物的定位点的坐标，所述第三位置和所述第四位置均为所述裁减窗口的定位点的坐标。
在本公开的一些实施例中，所述第一确定模块具体用于：
根据所述第一位置和所述第二位置确定位移；
确定按照所述位移移动后的所述第三位置为第四位置。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在第一方面有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本公开实施例的第三方面，请参照附图6，其示例性的示出了一种电子设备的框图。例如，装置600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，装置600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。
处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理部件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件606为装置600的各种组件提供电力。电力组件606可以包括电源管理系统，一个或多个电源，及其他与为装置600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当装置600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当装置600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为装置600提供各个方面的状态评估。例如，传感器组件614可以检测到装置600的打开/关闭状态，组件的相对定位，例如所述组件为装置600的显示器和小键盘，传感器组件614还可以检测装置600或装置600一个组件的位置改变，用户与装置600接触的存在或不存在，装置600方位或加速/减速和装置600的温度变化。传感器组件614还可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G或5G或它们的组合。在一个示例性实施例中，通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述电子设备的供电方法。
第四方面，本公开在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由装置600的处理器620执行以完成上述电子设备的供电方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (16)
1.一种拍摄方法，其特征在于，应用于终端设备，所述终端设备具有图像采集组件，所述拍摄方法包括：
获取第一原始图像中目标物的第一位置，其中，所述第一原始图像由所述图像采集组件采集得到；
获取第二原始图像中所述目标物的第二位置和所述第二原始图像中裁减窗口的第三位置，其中，所述第二原始图像为所述第一原始图像的前一帧图像；
根据所述第一位置和所述第二位置间的位移以及所述第三位置，确定所述第一原始图像中所述裁减窗口的第四位置；
获取所述第一原始图像中处于所述第四位置的裁减窗口内的画面，以生成预览画面和/或拍摄画面。
2.根据权利要求1所述的拍摄方法，其特征在于，还包括：
根据基于预览画面的选择指令，确定所述目标物在所述预览画面内的第五位置；
根据所述第五位置确定所述目标物在所述预览画面对应的原始画面中的第六位置；
获取所述预览画面对应的原始画面中第六位置处的特征，以生成目标物特征。
3.根据权利要求2所述的拍摄方法，其特征在于，所述获取第一原始图像中目标物的第一位置，包括：
获取所述第一原始图像中所有位置的特征；
确定与所述目标物特征匹配的特征对应的位置为所述第一位置。
4.根据权利要求1所述的拍摄方法，其特征在于，还包括：
存储所述第一位置以及所述第四位置。
5.根据权利要求4所述的拍摄方法，其特征在于，所述获取第二原始图像中所述目标物的第二位置和所述第二原始图像中裁减窗口的第三位置，包括：
获取位置存储区内存储的所述第二位置和所述第三位置；
所述存储所述第一位置以及所述第四位置，包括：
使用所述第一位置替换所述位置存储区内存储的第二位置，使用所述第四位置替换所述位置存储区内存储的第三位置。
6.根据权利要求1所述的拍摄方法，其特征在于，所述第一位置和所述第二位置均为所述目标物的定位点的坐标，所述第三位置和所述第四位置均为所述裁减窗口的定位点的坐标。
7.根据权利要求1或6所述的拍摄方法，其特征在于，所述根据所述第一位置和所述第二位置间的位移以及所述第三位置，确定所述第一原始图像中所述裁减窗口的第四位置，包括：
根据所述第一位置和所述第二位置确定位移；
确定按照所述位移移动后的所述第三位置为第四位置。
8.一种拍摄装置，其特征在于，应用于终端设备，所述终端设备具有图像采集组件，所述拍摄装置包括：
第一获取模块，用于获取第一原始图像中目标物的第一位置，其中，所述第一原始图像由所述图像采集组件采集得到；
第二获取模块，用于获取第二原始图像中所述目标物的第二位置和所述第二原始图像中裁减窗口的第三位置，其中，所述第二原始图像为所述第一原始图像的前一帧图像；
第一确定模块，用于根据所述第一位置和所述第二位置间的位移以及所述第三位置，确定所述第一原始图像中所述裁减窗口的第四位置；
裁减模块，用于获取所述第一原始图像中处于所述第四位置的裁减窗口内的画面，以生成预览画面和/或拍摄画面。
9.根据权利要求8所述的拍摄装置，其特征在于，还包括：
选择模块，用于根据基于预览画面的选择指令，确定所述目标物在所述预览画面内的第五位置；
第二确定模块，用于根据所述第五位置确定所述目标物在所述预览画面对应的原始画面中的第六位置；
特征模块，用于获取所述预览画面对应的原始画面中第六位置处的特征，以生成目标物特征。
10.根据权利要求9所述的拍摄装置，其特征在于，所述第一获取模块具体用于：
获取所述第一原始图像中所有位置的特征；
确定与所述目标物特征匹配的特征对应的位置为所述第一位置。
11.根据权利要求8所述的拍摄装置，其特征在于，还包括：
存储模块，用于存储所述第一位置以及所述第四位置。
12.根据权利要求11所述的拍摄装置，其特征在于，所述第二获取模块具体用于：
获取位置存储区内存储的所述第二位置和所述第三位置；
所述存储模块具体用于：
使用所述第一位置替换所述位置存储区内存储的第二位置，使用所述第四位置替换所述位置存储区内存储的第三位置。
13.根据权利要求8所述的拍摄装置，其特征在于，所述第一位置和所述第二位置均为所述目标物的定位点的坐标，所述第三位置和所述第四位置均为所述裁减窗口的定位点的坐标。
14.根据权利要求8或13所述的拍摄装置，其特征在于，所述第一确定模块具体用于：
根据所述第一位置和所述第二位置确定位移；
确定按照所述位移移动后的所述第三位置为第四位置。
15.一种电子设备，其特征在于，所述电子设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于权利要求1至7中任一项所述的拍摄方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011183133.9A CN114430457B (zh) | 2020-10-29 | 2020-10-29 | 拍摄方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011183133.9A CN114430457B (zh) | 2020-10-29 | 2020-10-29 | 拍摄方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114430457A true CN114430457A (zh) | 2022-05-03 |
| CN114430457B CN114430457B (zh) | 2024-03-08 |
Family
ID=81310389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011183133.9A Active CN114430457B (zh) | 2020-10-29 | 2020-10-29 | 拍摄方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114430457B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116112782A (zh) * | 2022-05-25 | 2023-05-12 | 荣耀终端有限公司 | 录像方法和相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110033085A1 (en) * | 2009-08-06 | 2011-02-10 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| CN104618627A (zh) * | 2014-12-31 | 2015-05-13 | 小米科技有限责任公司 | 视频处理方法和装置 |
| CN105678809A (zh) * | 2016-01-12 | 2016-06-15 | 湖南优象科技有限公司 | 手持式自动跟拍装置及其目标跟踪方法 |
| CN107315992A (zh) * | 2017-05-05 | 2017-11-03 | 深圳电航空技术有限公司 | 一种基于电子云台的跟踪方法及装置 |
| WO2020073860A1 (zh) * | 2018-10-08 | 2020-04-16 | 传线网络科技（上海）有限公司 | 一种视频裁剪方法及装置 |
-
2020
- 2020-10-29 CN CN202011183133.9A patent/CN114430457B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110033085A1 (en) * | 2009-08-06 | 2011-02-10 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| CN104618627A (zh) * | 2014-12-31 | 2015-05-13 | 小米科技有限责任公司 | 视频处理方法和装置 |
| CN105678809A (zh) * | 2016-01-12 | 2016-06-15 | 湖南优象科技有限公司 | 手持式自动跟拍装置及其目标跟踪方法 |
| CN107315992A (zh) * | 2017-05-05 | 2017-11-03 | 深圳电航空技术有限公司 | 一种基于电子云台的跟踪方法及装置 |
| WO2020073860A1 (zh) * | 2018-10-08 | 2020-04-16 | 传线网络科技（上海）有限公司 | 一种视频裁剪方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116112782A (zh) * | 2022-05-25 | 2023-05-12 | 荣耀终端有限公司 | 录像方法和相关装置 |
| CN116112782B (zh) * | 2022-05-25 | 2024-04-02 | 荣耀终端有限公司 | 录像方法和相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114430457B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102194094B1 (ko) | 가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체 | |
| US11368632B2 (en) | Method and apparatus for processing video, and storage medium | |
| CN111314617B (zh) | 视频数据处理方法、装置、电子设备及存储介质 | |
| EP3945494A1 (en) | Video processing method, apparatus and storage medium | |
| CN111586296B (zh) | 图像拍摄方法、图像拍摄装置及存储介质 | |
| CN114025105B (zh) | 视频处理方法、装置、电子设备、存储介质 | |
| CN106210495A (zh) | 图像拍摄方法和装置 | |
| CN110796012B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN115134505B (zh) | 预览画面生成方法及装置、电子设备、存储介质 | |
| CN111614910B (zh) | 一种文件生成方法、装置、电子设备及存储介质 | |
| CN114430457B (zh) | 拍摄方法、装置、电子设备和存储介质 | |
| CN105808102B (zh) | 添加边框的方法及装置 | |
| CN117522942A (zh) | 深度距离测量方法、装置、电子设备及可读储存介质 | |
| CN113315903B (zh) | 图像获取方法和装置、电子设备、存储介质 | |
| CN117412169A (zh) | 追焦方法、装置、电子设备及存储介质 | |
| CN114612485A (zh) | 一种图像裁剪方法、装置及存储介质 | |
| CN114697517A (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| CN114666490A (zh) | 对焦方法、装置、电子设备和存储介质 | |
| CN107295229B (zh) | 移动终端的拍照方法和装置 | |
| CN113747113A (zh) | 图像显示方法及装置、电子设备、计算机可读存储介质 | |
| CN109447929B (zh) | 图像合成方法及装置 | |
| CN116419069A (zh) | 图像预览方法、装置、终端设备及可读存储介质 | |
| CN117480772A (zh) | 视频显示方法及装置、终端设备及计算机存储介质 | |
| CN115134507A (zh) | 拍摄方法及装置 | |
| CN118052958A (zh) | 全景地图的构建方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |