CN113676673A - 图像采集方法、图像采集系统及无人设备 - Google Patents
图像采集方法、图像采集系统及无人设备 Download PDFInfo
- Publication number
- CN113676673A CN113676673A CN202110913312.1A CN202110913312A CN113676673A CN 113676673 A CN113676673 A CN 113676673A CN 202110913312 A CN202110913312 A CN 202110913312A CN 113676673 A CN113676673 A CN 113676673A
- Authority
- CN
- China
- Prior art keywords
- photographing
- exposure
- image acquisition
- task module
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000035945 sensitivity Effects 0.000 claims description 4
- 238000004148 unit process Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 abstract description 11
- 206010044565 Tremor Diseases 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例涉及测绘技术领域,提供一种图像采集方法、图像采集系统及无人设备,通过图像采集单元实时接收拍照设备采集的原始图像数据,当图像采集单元接收到控制单元发送的拍照指令时,根据预先存储的拍照曝光表确定拍照设备的拍照参数,并控制拍照设备按照该拍照参数进行全局曝光,最终得到全局曝光的航拍图片。由于拍照曝光表是适用于拍照的曝光表,所以根据拍照曝光表确定拍照参数,可以有效避免无人设备抖动导致的图片模糊,提高图像质量,进而提高测绘或监控的精度和准确度。
Description
技术领域
本申请实施例涉及测绘技术领域,具体而言,涉及一种图像采集方法、图像采集系统及无人设备。
背景技术
目前,无人机、遥控车等被越来越多的应用到测绘与监控任务中。例如,采用无人机进行测绘或者监控时,无人机先按照提前规划的航线飞行,并拍摄各个拍照点的图片,再通过算法对图片进行处理,生成高精度地图。
现有技术中,无人机在进行测绘或者监控时,如果无人机发生抖动,将会带来振动导致所拍摄的图片产生模糊,严重影响构图精度和工作效率。
发明内容
本申请实施例的目的在于提供一种图像采集方法、图像采集系统及无人设备,用以避免无人设备抖动导致图片模糊的问题,提高测绘或监控的精度和准确度。
为了实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供了一种图像采集方法,应用于芯片平台,所述芯片平台包括控制单元、图像采集单元和图像处理单元,所述图像采集单元与拍照设备电连接,所述芯片平台预先存储有拍照曝光表;
所述方法包括:
所述图像采集单元实时接收所述拍照设备采集的原始图像数据;
所述图像采集单元在接收到所述控制单元发送的拍照指令时,根据所述拍照曝光表确定所述拍照设备的拍照参数;
所述图像采集单元控制所述拍照设备按照所述拍照参数进行全局曝光,并从所述原始图像数据中获得全局曝光帧;
所述图像处理单元将所述全局曝光帧处理成航拍图片。
进一步地,所述图像采集单元包括系统任务模块和用户任务模块,所述芯片平台预先还存储有预览曝光表,所述预览曝光表为适用于预览的曝光表;
所述图像采集单元在接收到所述控制单元发送的拍照指令时,根据所述拍照曝光表确定所述拍照设备的拍照参数的步骤,包括:
所述系统任务模块在接收到所述拍照指令时,记录当前帧号,并将所述拍照指令和所述当前帧号发送至所述用户任务模块;
所述用户任务模块接收所述拍照指令和所述当前帧号,基于所述当前帧号定位当前帧,并从所述预览曝光表切换到所述拍照曝光表;
所述用户任务模块根据所述当前帧和所述拍照曝光表计算所述拍照参数,并在计算完成后发送结束指令至所述系统任务模块;
所述用户任务模块在所述当前帧的下一帧到来时,从所述拍照曝光表切换回所述预览曝光表。
进一步地,所述图像采集单元控制所述拍照设备按照所述拍照参数进行全局曝光,并从所述原始图像数据中获得全局曝光帧的步骤,包括:
所述图像采集单元控制所述拍照设备按照所述拍照参数进行全局曝光,并记录全局曝光标识;
所述图像采集单元根据所述全局曝光标识,从所述原始图像数据中获得所述全局曝光帧。
进一步地,所述图像采集单元控制所述拍照设备按照所述拍照参数进行全局曝光,并记录全局曝光标识的步骤,包括:
所述系统任务模块接收所述结束指令,且在结束指令接收时刻起的第一个场中断到来时,将所述拍照参数写入所述拍照设备,控制所述拍照设备从行曝光切换到全局曝光,记录所述全局曝光标识;
所述系统任务模块在设定时长后,控制所述拍照设备关闭机械快门以按照所述拍照参数进行全局曝光;
所述系统任务模块在与所述第一个场中断连续的下一个场中断到来时,控制所述拍照设备从所述全局曝光切换回所述行曝光并重新打开所述机械快门。
进一步地,所述全局曝光标识包括:所述拍照设备从行曝光切换到全局曝光的时刻,和/或,所述拍照设备从行曝光切换到全局曝光后采集的所述原始图像数据的帧号;
所述拍照参数包括:曝光时间、快门速度、感光度、光圈值中的至少一种。
进一步地,所述方法还包括:
所述图像处理单元对除所述全局曝光帧之外的所述原始图像数据进行编码,得到码流。
第二方面,本申请实施例还提供了一种图像采集系统,所述图像采集系统包括拍照设备及芯片平台,所述芯片平台包括控制单元、图像采集单元和图像处理单元,所述图像采集单元与所述拍照设备电连接,所述芯片平台预先存储有拍照曝光表;
所述图像采集单元,用于实时接收所述拍照设备采集的原始图像数据;
所述图像采集单元,还用于在接收到所述控制单元发送的拍照指令时,根据所述拍照曝光表确定所述拍照设备的拍照参数;
所述图像采集单元,还用于控制所述拍照设备按照所述拍照参数进行全局曝光,并从所述原始图像数据中获得全局曝光帧;
所述图像处理单元,用于将所述全局曝光帧处理成航拍图片。
进一步地,所述图像采集单元包括系统任务模块和用户任务模块,所述芯片平台预先还存储有预览曝光表,所述预览曝光表为适用于预览的曝光表;
所述系统任务模块,用于在接收到所述拍照指令时,记录当前帧号,并将所述拍照指令和所述当前帧号发送至所述用户任务模块;
所述用户任务模块,用于接收所述拍照指令和所述当前帧号,基于所述当前帧号定位当前帧,并从所述预览曝光表切换到所述拍照曝光表;
所述用户任务模块,还用于根据所述当前帧和所述拍照曝光表计算所述拍照参数,并在计算完成后发送结束指令至所述系统任务模块;
所述用户任务模块,还用于在所述当前帧的下一帧到来时,从所述拍照曝光表切换回所述预览曝光表。
进一步地,所述图像采集单元,还用于控制所述拍照设备按照所述拍照参数进行全局曝光,并记录全局曝光标识;
所述图像采集单元,还用于根据所述全局曝光标识,从所述原始图像数据中获得所述全局曝光帧。
进一步地,所述系统任务模块,还用于接收所述结束指令,且在结束指令接收时刻起的第一个场中断到来时,将所述拍照参数写入所述拍照设备,控制所述拍照设备从行曝光切换到全局曝光,记录所述全局曝光标识;
所述系统任务模块,还用于在设定时长后,控制所述拍照设备关闭机械快门以按照所述拍照参数进行全局曝光;
所述系统任务模块,还用于在与所述第一个场中断连续的下一个场中断到来时,控制所述拍照设备从所述全局曝光切换回所述行曝光并重新打开所述机械快门。
进一步地,所述图像处理单元,还用于对除所述全局曝光帧之外的所述原始图像数据进行编码,得到码流。
第三方面,本申请实施例还提供了一种无人设备,所述无人设备包括上述的图像采集系统。
相对现有技术,本申请实施例提供的一种图像采集方法、图像采集系统及无人设备,通过图像采集单元实时接收拍照设备采集的原始图像数据,当图像采集单元接收到控制单元发送的拍照指令时,根据预先存储的拍照曝光表确定拍照设备的拍照参数,并控制拍照设备按照该拍照参数进行全局曝光,最终得到全局曝光的航拍图片。由于拍照曝光表是适用于拍照的曝光表,所以根据拍照曝光表确定拍照参数,可以有效避免无人设备抖动导致的图片模糊,提高图像质量,进而提高测绘或监控的精度和准确度。
附图说明
图1示出了本申请实施例提供的图像采集系统的一种结构示意图。
图2示出了本申请实施例提供的图像采集系统的另一种结构示意图。
图3示出了本申请实施例提供的图像采集方法的一种流程示意图。
图4为图3示出的图像处理方法中步骤S200的流程示意图。
图5示出了本申请实施例提供的图像采集单元的时序图。
图6为图3示出的图像处理方法中步骤S300的流程示意图。
图7为图6示出的图像处理方法中步骤S310的流程示意图。
图8示出了本申请实施例提供的图像采集方法的另一种流程示意图。
图标:10-图像采集系统;11-拍照设备;100-芯片平台;110-图像采集单元;120-控制单元;130-图像处理单元。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供的图像采集方法,可以应用于如图1所示的图像采集系统10,下面先对图像采集系统10进行详细介绍。
图像采集系统10可以应用于无人设备,无人设备包括但不限于无人机、遥控车等。下述实施例以无人机为例进行介绍,无人设备进行测绘或者监控时,图像采集系统10用于采集图片和码流。
同时,无人设备可以与控制端通信连接,控制端可以是遥控器、地面控制站、智能手机、平板电脑、个人电脑等中的一种或多种。控制端可以控制无人设备的工作状态(例如,开始工作、停止工作等)、工作模式等。无人设备可以将图像采集系统10采集的图片和码流传输至控制端,其中,图片用于生成测绘地图或者监控地图,码流用于地面工作人员对无人设备的工作过程进行监控。
请参照图1,图1示出了本申请实施例提供的图像采集系统10的结构示意图。图像采集系统10包括拍照设备11和芯片平台100,芯片平台100包括图像采集单元110、控制单元120及图像处理单元130。
图像采集单元110、控制单元120及图像处理单元130可以是芯片平台100上的各个硬件单元,芯片平台100可以是各种通用芯片平台,例如,海思平台、索喜平台等。
同时,芯片平台100自带多系统框架,不同的硬件单元可以运行不同的操作系统。在本实施例中,图像采集单元110可以运行实时操作系统,该实时操作系统负责图像相关的系统逻辑业务,处理对实时性要求高的业务,例如,原始图像数据的捕获、拍照参数的确定、机械快门的控制、全局曝光帧的抓取等。控制单元120运行非实时操作系统,该非实时操作系统负责图像相关的业务逻辑业务,处理对实时性要求不高的线程。
例如,芯片平台100为索喜平台,图像采集单元110可以是一个cpu核,运行RTOS(Real Time Operating System,实时操作系统),处理对实时性要求较高的业务。控制单元120可以是其他cpu核,运行Linux系统,处理对实时性要求不高的线程。
图像采集单元110与拍照设备11电连接,可以将拍照设备11的数据传输接口与图像采集单元110电连接,拍照设备11可以包括但不限于相机、摄像头、图像传感器等,数据传输接口可以是MIPI接口、LVDS接口、SLVS接口等。
请参照图2,拍照设备11还与无人机的飞行控制器电连接,且芯片平台100上的控制单元120也与飞行控制器电连接。
拍照设备11,用于当无人机按照预先规划的航线飞行时,在飞行控制器的触发下开启工作,即,在飞行控制器的触发下开始采集原始图像数据。
通常,拍照设备11的工作模式有预览模式和拍照模式,拍照设备11开启工作后,默认工作在预览模式。当拍照设备11工作在预览模式时,其机械快门是打开的,并且采用行曝光的方式、按照预览参数采集原始图像数据,预览参数是图像采集单元110根据预览曝光表实时确定的。
拍照设备11,还用于当无人机在飞行过程中满足设定条件时,在飞行控制器的触发下拍照。设定条件可以是无人机飞行至设定的拍照点、或者满足设定时间间隔等。在拍照时,拍照设备11工作在拍照模式,此时其机械快门是关闭的,并且采用全局曝光的方式、按照拍照参数采集原始图像数据,拍照参数是图像采集单元110根据拍照曝光表确定的。
在上述图1和图2的基础上,下面结合实施例对图像采集方法进行介绍。
请参照图3,图3示出了本申请实施例提供的图像采集方法的一种流程示意图,该图像采集方法应用于上述的芯片平台100,可以包括以下步骤:
S100,图像采集单元实时接收拍照设备采集的原始图像数据。
当拍照设备11工作在预览模式时,原始图像数据是预览帧,该预览帧后续用于编码成码流。当拍照设备11工作在拍照模式时,原始图像数据是拍照帧,该拍照帧可以是全局曝光帧,后续用于处理成航拍图片。原始图像数据可以是RAW图像。
S200,图像采集单元在接收到控制单元发送的拍照指令时,根据拍照曝光表确定拍照设备的拍照参数。
芯片平台100预先存储有预览曝光表和拍照曝光表,预览曝光表和拍照曝光表是适用于拍照设备11的不同的工作模式的曝光表,即,拍照曝光表是适用于拍照的曝光表,预览曝光表是适用于预览的曝光表。
现有技术中,拍照设备11工作在预览模式和拍照模式时,所使用的曝光表和分辨率都是不一样的,预览模式下使用预览曝光表和高分辨率,拍照模式下使用拍照曝光表和低分辨率。由于拍照设备11默认工作在预览模式,所以飞行控制器触发拍照时,拍照设备11要从预览曝光表、高分辨率切换到拍照曝光表、低分辨率;拍照结束后,又要从拍照曝光表、低分辨率切换到预览曝光表、高分辨率。因此,需要不断切换拍照设备11的工作时序,所以拍照速度比较慢,并且,切换时序需要对拍照设备11做初始化,会导致拍照的瞬间,码流出现黑屏。
为了克服现有技术中存在的上述问题,本申请实施例中,设置拍照设备11一直工作在预览模式,并且始终以最高分辨率预览。
拍照设备11开启工作后,图像采集单元110通过当前环境亮度和预览曝光表,实时计算拍照设备11的预览参数,并控制拍照设备11按照预览参数采集原始图像数据。预览参数可以包括曝光时间、快门速度、感光度、光圈值中的至少一种,下述实施例以曝光时间为例进行说明。由于预览曝光表对曝光时间没有严格要求,可以达到几十ms,例如,20ms,所以能保证码流的亮度和清晰度都比较稳定,便于地面工作人员查看。
而当飞行控制器触发拍照时,图像采集单元110则通过当前环境亮度和拍照曝光表,计算拍照设备11的拍照参数,并控制拍照设备11按照拍照参数采集原始图像数据。拍照参数可以包括曝光时间、快门速度、感光度、光圈值中的至少一种,下述实施例同样以曝光时间为例进行说明。由于拍照曝光表对曝光时间有严格要求,所以拍照时的曝光时间(例如,8ms)要比预览时的曝光时间(例如,20ms)短得多,正因为曝光时间非常短,所以拍照时可以有效避免无人设备抖动导致的图片模糊,提高图像质量。
在拍照完成后,图像采集单元110又继续通过当前环境亮度和预览曝光表,实时计算拍照设备11的预览参数,并控制拍照设备11按照预览参数采集原始图像数据。
需要指出的是,预览参数是通过当前环境亮度和预览曝光表实时计算的,所以预览参数可能是实时变化的。
因此,在本实施例中,拍照设备11采集的原始图像数据,只有拍照帧是按照拍照参数采集的,预览帧都是按照预览参数采集的,即,拍照帧的曝光时间要比预览帧的曝光时间短得多。
由于拍照帧的曝光时间要比预览帧的曝光时间短得多,所以拍照帧的亮度偏低,比预览帧要暗。所以,后续对原始图像数据进行编码时,可以抛弃拍照帧,仅对预览帧进行编码,这样得到的码流,其视频亮度和清晰度都会比较稳定,更不会出现黑屏。
S300,图像采集单元控制拍照设备按照所拍照参数进行全局曝光,并从原始图像数据中获得全局曝光帧。
图像采集方式包括行曝光和全局曝光。其中,行曝光是指从第1行开始逐行曝光,间隔一个行周期下一行开始曝光,曝光结束后逐行读出。即,从第1行开始曝光,一个行周期之后第2行才开始曝光,依次类推,经过n-1行后第n行开始曝光;第1行曝光结束后开始读出数据,读出一行需要一行周期时间,至第1行完全读出后,第2行刚好开始读出,依次类推,当第n-1行读完后,第n行开始读出,直到整幅图像完全读出。由于行曝光是在不同时间进行曝光取像,因此,拍摄运动物体时,会造成行曝光图像中的每一行像素出现错位,发生图像形变。
全局曝光是指所有行同时开始曝光,并同时结束曝光,在曝光结束后,Sensor将所有电子从感光区转到存储区,之后逐行地读出像素数据。全局曝光获得的图像每一行的曝光时间比较一致,并且在拍摄运动物体时图像不会出现偏移和歪斜。
因此,为了提高测绘或监控的精度和准确度,需要采用全局曝光的方式拍照,同时,拍照时还要避免无人设备抖动导致的图片模糊。所以,图像采集单元110接收到控制单元120发送的拍照指令后,先根据拍照曝光表确定拍照设备11的拍照参数,再控制拍照设备11按照该拍照参数进行全局曝光,再从原始图像数据中获得全局曝光帧。
S400,图像处理单元将全局曝光帧处理成航拍图片。
图像处理单元130可以是ISP(Image Signal Processing,图像信号处理单元)芯片,用于对全局曝光帧进行后期处理,例如,降噪、HDR补正等,最终得到航拍图片。
为了提高测绘或监控的精度和准确度,需要确保得到的航拍图片是拍照设备11按照拍照参数、采用全局曝光方式采集的,因此,下面对步骤S200和步骤S300进行详细介绍。
图像采集单元110包括系统任务模块和用户任务模块,其中,系统任务模块和用户任务模块是运行在图像采集单元110的操作系统下的各个线程。并且,系统任务模块的优先级高于用户任务模块,系统任务模块负责最高级的图像硬件级中断响应,例如,机械快门的控制等;用户任务模块负责图像业务事件响应处理,或者处理响应不需要特别快的硬件级中断响应,例如,拍照参数、预览参数的计算,与ISP芯片有关的硬件级中断响应等。
因此,在图3的基础上,请参照图4,步骤S200可以包括:
S210,系统任务模块在接收到拍照指令时,记录当前帧号,并将拍照指令和当前帧号发送至用户任务模块。
拍照指令可以是:飞行控制器触发拍照后,控制单元120向图像采集单元110发送的指令事件。拍照指令用于指示系统任务模块进行全局曝光,例如,控制拍照设备11从行曝光切换到全局曝光、确认机械快门为打开等。
当前帧号是指:系统任务模块接收到拍照指令这一时刻开始,图像采集单元110接收到的首个原始图像数据的帧号,例如,5。并且,由于拍照设备11在飞行控制器的触发下开启工作后,默认其机械快门是打开的,并且采用行曝光方式采集原始图像、以预览模式工作,因此,这里的原始图像数据其实是预览帧。
S220,用户任务模块接收拍照指令和当前帧号,基于当前帧号定位当前帧,并从预览曝光表切换到拍照曝光表。
当前帧是指当前帧号对应的原始图像数据,例如,第5帧。
拍照设备11在飞行控制器的触发下开启工作后,用户任务模块默认以预览曝光表进行计算,即,用户任务模块通过当前环境亮度和预览曝光表计算预览参数。
而当图像采集单元110接收到控制单元120发送的拍照指令时,用户任务模块需要从预览曝光帧切换到拍照曝光帧,并通过当前环境亮度和拍照曝光表计算拍照参数。
从上述内容可以看出,用户任务模块不管是计算拍照参数还是计算预览参数,都要用到当前环境亮度。这里的当前环境亮度是指,ISP根据当前帧算出的一个亮度评价值,因为sensor是一个感光芯片,故得到的RAW图像会包含光线亮度信息,因此,ISP可以根据当前帧算出当前环境亮度。
可选地,预览参数和拍照参数,都可以是ISP采用ae算法计算得到的。并且,预览参数和拍照参数都可以是一个摄像头曝光寄存器(SHR)值。
S230,用户任务模块根据当前帧和拍照曝光表计算拍照参数,并在计算完成后发送结束指令至系统任务模块。
S240,用户任务模块在当前帧的下一帧到来时,从拍照曝光表切换回预览曝光表。
用户任务模块完成拍照参数的计算后,在当前帧(例如,第5帧)的下一帧(例如,第6帧)到来时,从拍照曝光表重新切换回预览曝光表,继续根据预览曝光表计算预览参数,在此不再赘述。
请参照图5,飞行控制器触发拍照之后,控制单元120发送拍照指令;系统任务模块接收拍照指令,记录当前帧号,并发送拍照指令和当前帧号;用户任务模块接收拍照指令和当前帧号,基于当前帧号确定当前帧,基于拍照指令从预览曝光表切换到拍照曝光表,并根据当前帧和拍照曝光表计算拍照参数并缓存,发送结束指令,并在当前帧的下一帧到来时,从拍照曝光表切换回预览曝光表;系统任务模块接收结束指令,控制拍照设备11按照拍照参数进行全局曝光。
在图3的基础上,请参照图6,步骤S300可以包括:
S310,图像采集单元控制拍照设备按照拍照参数进行全局曝光,并记录全局曝光标识。
S320,图像采集单元根据全局曝光标识,从原始图像数据中获得全局曝光帧。
全局曝光标识可以是全局曝光时刻、或者全局曝光帧号、或者全局曝光时刻和全局曝光帧号。其中,全局曝光时刻是指,拍照设备11从行曝光切换到全局曝光的时刻。全局曝光帧号是指,拍照设备11从行曝光切换到全局曝光后采集的原始图像数据的帧号。
由于图像采集单元110包括系统任务模块和用户任务模块,因此,在图6的基础上,请参照图7,步骤S310可以包括:
S310a,系统任务模块接收结束指令,且在结束指令接收时刻起的第一个场中断到来时,将拍照参数写入拍照设备,控制拍照设备从行曝光切换到全局曝光,记录全局曝光标识。
S310b,系统任务模块在设定时长后,控制拍照设备关闭机械快门以按照拍照参数进行全局曝光。
S310c,系统任务模块在与第一个场中断连续的下一个场中断到来时,控制拍照设备从全局曝光切换回行曝光并重新打开机械快门。
全局曝光标识可以包括:拍照设备11从行曝光切换到全局曝光的时刻,或者,拍照设备11从行曝光切换到全局曝光后采集的原始图像数据的帧号,或者二者兼有。
请参照图5,场中断作用于系统任务模块,系统任务模块接收用户任务模块发送的结束指令,且在指令接收时刻起的第一个场中断到来时,将拍照参数写入拍照设备11,控制拍照设备11从行曝光切换到全局曝光,记录全局曝光标识,同时启动定时器可以定时;在定时器定时设定时长后,控制拍照设备11关闭机械快门以按照拍照参数进行全局曝光;之后,在与第一个场中断连续的下一个场中断到来时,控制拍照设备11从全局曝光切换回行曝光并重新打开机械快门。
拍照设备11关闭机械快门后,按照拍照参数进行全局曝光,采集的原始图像数据即为全局曝光帧。由于系统任务模块记录了全局曝光标识,所以,后续图像采集单元110就能根据全局曝光标识,从原始图像数据中准确抓取到全局曝光帧,进而使图像处理单元130将全局曝光帧处理成航拍图片。
在本实施例中,为了便于地面工作人员进行监控,还要将原始图像数据编码成码流传输至控制端,因此,在图3的基础上,请参照图8,在步骤S400之后,图像采集方法还包括:
S500,图像处理单元对除全局曝光帧之外的原始图像数据进行编码,得到码流。
根据步骤S200的分析可知,全局曝光帧的亮度偏低,所以将原始图像数据编码成码流时,可以抛弃全局曝光帧,即,不将全局曝光帧编码成码流,这样可以保证码流的亮度和清晰度的稳定性,并且码流的连续性也会比较好,不会出现突然黑屏的情形。
需要指出的是,由于硬件本身或者硬件级中断响应的原因,步骤S310c中,系统任务模块控制拍照设备11从全局曝光切换回行曝光并重新打开机械快门时,机械快门的打开可能会有延时,例如,拍照设备11采集到全局曝光帧后,机械快门没有立刻打开,而是延迟了一帧才打开,这样采集的原始图像数据中,在全局曝光帧之后还会有一帧关闭快门帧。而这一关闭机械快门帧的亮度同样偏低,所以,如果出现这种情形,在将原始图像数据编码成码流时,需要抛弃全局曝光帧和关闭快门帧,以此保证码流的效果。
为了使本申请实施例的内容更加完善,下面对上述图像采集系统10的工作过程进行介绍。
图像采集单元110,用于实时接收拍照设备采集的原始图像数据。
图像采集单元110,用于在接收到控制单元发送的拍照指令时,根据拍照曝光表确定拍照设备的拍照参数。
图像采集单元110,还用于控制拍照设备按照拍照参数进行全局曝光,并从原始图像数据中获得全局曝光帧。
图像处理单元130,用于将全局曝光帧处理成航拍图片。
可选地,图像采集单元110包括系统任务模块和用户任务模块,下面对系统任务模块和用户任务模块的工作过程进行介绍。
系统任务模块,用于在接收到拍照指令时,记录当前帧号,并将拍照指令和当前帧号发送至用户任务模块。
用户任务模块,用于接收拍照指令和当前帧号,基于当前帧号定位当前帧,并从预览曝光表切换到拍照曝光表。
用户任务模块,还用于根据当前帧和拍照曝光表计算拍照参数,并在计算完成后发送结束指令至系统任务模块。
用户任务模块,还用于在当前帧的下一帧到来时,从拍照曝光表切换回预览曝光表。
可选地,图像采集单元110,还用于控制拍照设备按照拍照参数进行全局曝光,并记录全局曝光标识。
图像采集单元110,还用于根据全局曝光标识,从原始图像数据中获得全局曝光帧。
可选地,系统任务模块,还用于接收结束指令,且在结束指令接收时刻起的第一个场中断到来时,将拍照参数写入拍照设备,控制拍照设备从行曝光切换到全局曝光,记录全局曝光标识。
系统任务模块,还用于在设定时长后,控制拍照设备关闭机械快门以按照拍照参数进行全局曝光。
系统任务模块,还用于在与第一个场中断连续的下一个场中断到来时,控制拍照设备从全局曝光切换回行曝光并重新打开机械快门。
可选地,图像处理单元130,还用于对除全局曝光帧之外的原始图像数据进行编码,得到码流。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的图像处理系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种无人设备,该无人设备可以是无人机、遥控车等,包括上述的图像采集系统10。
与现有技术相比,本申请实施例具有以下有益效果:
首先,航拍图片是拍照设备11按照拍照参数、采用全局曝光方式采集的,所以可以有效避免无人设备抖动导致的图片模糊,提高图像质量,进而提高测绘或监控的精度和准确度;
其次,设置拍照设备11一直工作在预览模式,并且始终以最高分辨率预览,可以保证码流的亮度和清晰度都比较稳定;
第三,全局曝光帧的亮度偏低,对除全局曝光帧之外的原始图像数据进行编码,可以保证码流的亮度和清晰度的稳定性,并且码流的连续性也会比较好,不会出现突然黑屏的情形。
综上所述,本申请实施例提供的一种图像采集方法、图像采集系统及无人设备,通过图像采集单元实时接收拍照设备采集的原始图像数据,当图像采集单元接收到控制单元发送的拍照指令时,根据预先存储的拍照曝光表确定拍照设备的拍照参数,并控制拍照设备按照该拍照参数进行全局曝光,最终得到全局曝光的航拍图片。由于拍照曝光表是适用于拍照的曝光表,所以根据拍照曝光表确定拍照参数,可以有效避免无人设备抖动导致的图片模糊,提高图像质量,进而提高测绘或监控的精度和准确度。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (12)
1.一种图像采集方法,其特征在于,应用于芯片平台,所述芯片平台包括控制单元、图像采集单元和图像处理单元,所述图像采集单元与拍照设备电连接,所述芯片平台预先存储有拍照曝光表,所述拍照曝光表为适用于拍照的曝光表;
所述方法包括:
所述图像采集单元实时接收所述拍照设备采集的原始图像数据;
所述图像采集单元在接收到所述控制单元发送的拍照指令时,根据所述拍照曝光表确定所述拍照设备的拍照参数;
所述图像采集单元控制所述拍照设备按照所述拍照参数进行全局曝光,并从所述原始图像数据中获得全局曝光帧;
所述图像处理单元将所述全局曝光帧处理成航拍图片。
2.如权利要求1所述的图像采集方法,其特征在于,所述图像采集单元包括系统任务模块和用户任务模块,所述芯片平台预先还存储有预览曝光表,所述预览曝光表为适用于预览的曝光表;
所述图像采集单元在接收到所述控制单元发送的拍照指令时,根据所述拍照曝光表确定所述拍照设备的拍照参数的步骤,包括:
所述系统任务模块在接收到所述拍照指令时,记录当前帧号,并将所述拍照指令和所述当前帧号发送至所述用户任务模块;
所述用户任务模块接收所述拍照指令和所述当前帧号,基于所述当前帧号定位当前帧,并从所述预览曝光表切换到所述拍照曝光表;
所述用户任务模块根据所述当前帧和所述拍照曝光表计算所述拍照参数,并在计算完成后发送结束指令至所述系统任务模块;
所述用户任务模块在所述当前帧的下一帧到来时,从所述拍照曝光表切换回所述预览曝光表。
3.如权利要求2所述的图像采集方法,其特征在于,所述图像采集单元控制所述拍照设备按照所述拍照参数进行全局曝光,并从所述原始图像数据中获得全局曝光帧的步骤,包括:
所述图像采集单元控制所述拍照设备按照所述拍照参数进行全局曝光,并记录全局曝光标识;
所述图像采集单元根据所述全局曝光标识,从所述原始图像数据中获得所述全局曝光帧。
4.如权利要求3所述的图像采集方法,其特征在于,所述图像采集单元控制所述拍照设备按照所述拍照参数进行全局曝光,并记录全局曝光标识的步骤,包括:
所述系统任务模块接收所述结束指令,且在结束指令接收时刻起的第一个场中断到来时,将所述拍照参数写入所述拍照设备,控制所述拍照设备从行曝光切换到全局曝光,记录所述全局曝光标识;
所述系统任务模块在设定时长后,控制所述拍照设备关闭机械快门以按照所述拍照参数进行全局曝光;
所述系统任务模块在与所述第一个场中断连续的下一个场中断到来时,控制所述拍照设备从所述全局曝光切换回所述行曝光并重新打开所述机械快门。
5.如权利要求4所述的图像采集方法,其特征在于,所述全局曝光标识包括:所述拍照设备从行曝光切换到全局曝光的时刻,和/或,所述拍照设备从行曝光切换到全局曝光后采集的所述原始图像数据的帧号;
所述拍照参数包括:曝光时间、快门速度、感光度、光圈值中的至少一种。
6.如权利要求1所述的图像采集方法,其特征在于,所述方法还包括:
所述图像处理单元对除所述全局曝光帧之外的所述原始图像数据进行编码,得到码流。
7.一种图像采集系统,其特征在于,所述图像采集系统包括拍照设备及芯片平台,所述芯片平台包括控制单元、图像采集单元和图像处理单元,所述图像采集单元与所述拍照设备电连接,所述芯片平台预先存储有拍照曝光表,所述拍照曝光表为适用于拍照的曝光表;
所述图像采集单元,用于实时接收所述拍照设备采集的原始图像数据;
所述图像采集单元,还用于在接收到所述控制单元发送的拍照指令时,根据所述拍照曝光表确定所述拍照设备的拍照参数;
所述图像采集单元,还用于控制所述拍照设备按照所述拍照参数进行全局曝光,并从所述原始图像数据中获得全局曝光帧;
所述图像处理单元,用于将所述全局曝光帧处理成航拍图片。
8.如权利要求7所述的图像采集系统,其特征在于,所述图像采集单元包括系统任务模块和用户任务模块,所述芯片平台预先还存储有预览曝光表,所述预览曝光表为适用于预览的曝光表;
所述系统任务模块,用于在接收到所述拍照指令时,记录当前帧号,并将所述拍照指令和所述当前帧号发送至所述用户任务模块;
所述用户任务模块,用于接收所述拍照指令和所述当前帧号,基于所述当前帧号定位当前帧,并从所述预览曝光表切换到所述拍照曝光表;
所述用户任务模块,还用于根据所述当前帧和所述拍照曝光表计算所述拍照参数,并在计算完成后发送结束指令至所述系统任务模块;
所述用户任务模块,还用于在所述当前帧的下一帧到来时,从所述拍照曝光表切换回所述预览曝光表。
9.如权利要求8所述的图像采集系统,其特征在于,
所述图像采集单元,还用于控制所述拍照设备按照所述拍照参数进行全局曝光,并记录全局曝光标识;
所述图像采集单元,还用于根据所述全局曝光标识,从所述原始图像数据中获得所述全局曝光帧。
10.如权利要求9所述的图像采集系统,其特征在于,
所述系统任务模块,还用于接收所述结束指令,且在结束指令接收时刻起的第一个场中断到来时,将所述拍照参数写入所述拍照设备,控制所述拍照设备从行曝光切换到全局曝光,记录所述全局曝光标识;
所述系统任务模块,还用于在设定时长后,控制所述拍照设备关闭机械快门以按照所述拍照参数进行全局曝光;
所述系统任务模块,还用于在与所述第一个场中断连续的下一个场中断到来时,控制所述拍照设备从所述全局曝光切换回所述行曝光并重新打开所述机械快门。
11.如权利要求7所述的图像采集系统,其特征在于,
所述图像处理单元,还用于对除所述全局曝光帧之外的所述原始图像数据进行编码,得到码流。
12.一种无人设备,其特征在于,所述无人设备包括权利要求7-11任一项所述的图像采集系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110913312.1A CN113676673B (zh) | 2021-08-10 | 2021-08-10 | 图像采集方法、图像采集系统及无人设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110913312.1A CN113676673B (zh) | 2021-08-10 | 2021-08-10 | 图像采集方法、图像采集系统及无人设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113676673A true CN113676673A (zh) | 2021-11-19 |
CN113676673B CN113676673B (zh) | 2023-06-16 |
Family
ID=78542065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110913312.1A Active CN113676673B (zh) | 2021-08-10 | 2021-08-10 | 图像采集方法、图像采集系统及无人设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113676673B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115278052A (zh) * | 2022-06-22 | 2022-11-01 | 展讯通信(上海)有限公司 | 图像处理的方法、装置、电子设备及计算机可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013051592A (ja) * | 2011-08-31 | 2013-03-14 | Fujitsu Frontech Ltd | 画像撮像装置および方法 |
WO2017012372A1 (zh) * | 2015-07-17 | 2017-01-26 | 宇龙计算机通信科技(深圳)有限公司 | 用于终端的拍照控制方法、装置和终端 |
US20170126951A1 (en) * | 2015-11-04 | 2017-05-04 | Motorola Mobility Llc | Updating an exposure table of an image sensor |
CN110505411A (zh) * | 2019-09-03 | 2019-11-26 | RealMe重庆移动通信有限公司 | 图像拍摄方法、装置、存储介质及电子设备 |
WO2020019220A1 (zh) * | 2018-07-25 | 2020-01-30 | 华为技术有限公司 | 在预览界面中显示业务信息的方法及电子设备 |
CN111345033A (zh) * | 2019-03-12 | 2020-06-26 | 深圳市大疆创新科技有限公司 | 参数同步方法、拍摄装置和可移动平台 |
CN111726529A (zh) * | 2020-06-24 | 2020-09-29 | 深圳市道通智能航空技术有限公司 | 一种图像处理方法、摄像设备及存储介质 |
CN112565589A (zh) * | 2020-11-13 | 2021-03-26 | 北京爱芯科技有限公司 | 一种拍照预览方法、装置、存储介质和电子设备 |
CN113141466A (zh) * | 2021-04-21 | 2021-07-20 | 广州极飞科技股份有限公司 | 图像处理系统、图像处理方法及电子设备 |
-
2021
- 2021-08-10 CN CN202110913312.1A patent/CN113676673B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013051592A (ja) * | 2011-08-31 | 2013-03-14 | Fujitsu Frontech Ltd | 画像撮像装置および方法 |
WO2017012372A1 (zh) * | 2015-07-17 | 2017-01-26 | 宇龙计算机通信科技(深圳)有限公司 | 用于终端的拍照控制方法、装置和终端 |
US20170126951A1 (en) * | 2015-11-04 | 2017-05-04 | Motorola Mobility Llc | Updating an exposure table of an image sensor |
WO2020019220A1 (zh) * | 2018-07-25 | 2020-01-30 | 华为技术有限公司 | 在预览界面中显示业务信息的方法及电子设备 |
CN111345033A (zh) * | 2019-03-12 | 2020-06-26 | 深圳市大疆创新科技有限公司 | 参数同步方法、拍摄装置和可移动平台 |
CN110505411A (zh) * | 2019-09-03 | 2019-11-26 | RealMe重庆移动通信有限公司 | 图像拍摄方法、装置、存储介质及电子设备 |
CN111726529A (zh) * | 2020-06-24 | 2020-09-29 | 深圳市道通智能航空技术有限公司 | 一种图像处理方法、摄像设备及存储介质 |
CN112565589A (zh) * | 2020-11-13 | 2021-03-26 | 北京爱芯科技有限公司 | 一种拍照预览方法、装置、存储介质和电子设备 |
CN113141466A (zh) * | 2021-04-21 | 2021-07-20 | 广州极飞科技股份有限公司 | 图像处理系统、图像处理方法及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115278052A (zh) * | 2022-06-22 | 2022-11-01 | 展讯通信(上海)有限公司 | 图像处理的方法、装置、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113676673B (zh) | 2023-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109842753B (zh) | 摄像头防抖系统、方法、电子设备和存储介质 | |
EP3624439B1 (en) | Imaging processing method for camera module in night scene, electronic device and storage medium | |
JP4999268B2 (ja) | 電子カメラ及びプログラム | |
US9049372B2 (en) | Electronic camera, computer readable medium recording imaging control program thereon and imaging control method | |
CN109951638B (zh) | 摄像头防抖系统、方法、电子设备和计算机可读存储介质 | |
CN111193866B (zh) | 图像处理方法、图像处理器、拍摄装置和电子设备 | |
GB2433127A (en) | Avoiding image artifacts caused by camera vibration | |
CN108810400B (zh) | 控制设备、控制方法和记录介质 | |
JP2003319262A (ja) | 撮像カメラ装置及びイメージャの画像データ読取り方法 | |
CN106708070B (zh) | 一种航拍控制方法和装置 | |
CN110753182B (zh) | 成像设备的调节方法和设备 | |
CN111200708B (zh) | 长曝光拍摄控制方法、系统、设备及计算机存储介质 | |
CN110351508B (zh) | 基于录像模式的防抖处理方法和装置、电子设备 | |
CN113676673B (zh) | 图像采集方法、图像采集系统及无人设备 | |
US9179060B2 (en) | Method and apparatus for camera shake effect image stabilization | |
CN108492266B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN112822371B (zh) | 图像处理芯片、应用处理芯片、数据统计系统及方法 | |
CN114697528A (zh) | 图像处理器、电子设备及对焦控制方法 | |
CN104113694A (zh) | 物体运动轨迹的拍摄装置方法及拍摄终端 | |
CN111193867A (zh) | 图像处理方法、图像处理器、拍摄装置和电子设备 | |
CN113141466A (zh) | 图像处理系统、图像处理方法及电子设备 | |
CN113141470A (zh) | 图像采集系统、图像采集方法及电子设备 | |
KR20120097213A (ko) | 어안 렌즈를 이용한 촬상 장치 및 그 촬상 방법 | |
JP2007049652A (ja) | カメラ制御システム及びその制御方法並びにプログラム | |
CN114885079A (zh) | 芯片控制方法、控制终端设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |