CN111835982B - 图像获取方法、图像获取装置、电子设备及存储介质 - Google Patents
图像获取方法、图像获取装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111835982B CN111835982B CN202010628089.1A CN202010628089A CN111835982B CN 111835982 B CN111835982 B CN 111835982B CN 202010628089 A CN202010628089 A CN 202010628089A CN 111835982 B CN111835982 B CN 111835982B
- Authority
- CN
- China
- Prior art keywords
- image frames
- image
- moving object
- image frame
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供的图像获取方法、图像获取装置、电子设备及存储介质,属于图像处理技术领域,所述方法包括:对目标场景进行连续拍摄,分别获取曝光度不同的多个第一图像帧,以及与第一图像帧的曝光度相同的第二图像帧;基于曝光度相同的多组第一图像帧和第二图像帧,获得一个目标基准图像帧和多个目标素材图像帧,目标基准图像帧中保留有运动物体区域,目标素材图像帧中未保留有运动物体区域;将一个目标基准图像帧和多个目标素材图像帧进行高动态范围合成,得到高动态范围图像。本方案避免了由于参与高动态范围合成的图像帧中存在多个运动物体区域导致所得到的高动态范围图像中出现鬼影的情况,提升了高动态范围图像的成像质量。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像获取方法、图像获取装置、电子设备及存储介质。
背景技术
HDR(High Dynamic Rang,高动态范围)技术是一种适应于光线反差较大的拍摄场景的图像处理技术,其原理是通过将不同曝光度的包含最佳细节的低动态范围图像进行合成,从而得到高动态范围和包含更多图像细节的图像,可以更好地反映真实场景中的视觉效果。
现有技术中,由于拍摄HDR图像需要对拍摄场景按照不同的曝光度进行多次拍摄,因此若拍摄场景中明显存在运动物体,会导致拍摄得到的多个低动态范围图像中的该运动物体在图像中的所处位置不一致,最终导致合成得到高动态范围图像中该运动物体所在图像区域存在Ghost(鬼影),降低了高动态范围图像的成像质量。
发明内容
本申请实施例提供一种图像获取方法、图像获取装置、电子设备及存储介质,能够解决在先技术中高动态范围拍摄由于场景中若存在运动物体,会导致所得到的高动态范围图像中存在鬼影,降低了高动态范围图像的成像质量的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种图像获取方法,该方法包括:
对目标场景进行连续拍摄,分别获取曝光度不同的多个第一图像帧,以及与所述第一图像帧的曝光度相同的第二图像帧;
基于曝光度相同的多组第一图像帧和第二图像帧,获得一个目标基准图像帧和多个目标素材图像帧,所述目标基准图像帧中保留有运动物体区域,所述目标素材图像帧中未保留有运动物体区域;
将所述一个目标基准图像帧和所述多个目标素材图像帧进行高动态范围合成,得到高动态范围图像。
第二方面,本申请实施例提供了一种图像获取装置,该装置包括:
采集模块,用于对目标场景进行连续拍摄,分别获取曝光度不同的多个第一图像帧,以及与所述第一图像帧的曝光度相同的第二图像帧;
提取模块,用于基于曝光度相同的多组第一图像帧和第二图像帧,获得一个目标基准图像帧和多个目标素材图像帧,所述目标基准图像帧中保留有运动物体区域,所述目标素材图像帧中未保留有运动物体区域;
合成模块,用于将所述一个目标基准图像帧和所述多个目标素材图像帧进行高动态范围合成,得到高动态范围图像。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的图像获取方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的图像获取方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的图像获取方法。
本申请实施例提供了一种图像获取方法、图像获取装置、电子设备及存储介质,本方案通过在对目标场景按照不同曝光度进行两次循环拍摄,通过将曝光度相同的图像帧两两进行融合,得到保留有运动物体区域的目标基准图像帧和未保留有运动物体区域的目标素材图像帧,由于其中仅由目标基准图像帧中存在运动物体区域,因此避免了由于参与高动态范围合成的图像帧中存在多个运动物体区域导致所得到的高动态范围图像中出现鬼影的情况,提升了高动态范围图像的成像质量。
附图说明
图1表示本申请实施例提供的一种图像获取方法的步骤流程图;
图2表示本申请实施例提供的另一种图像获取方法的步骤流程图;
图3表示本申请实施例提供的一种图像获取方法的效果示意图;
图4表示本申请实施例提供的一种基准图像帧确定方法的步骤流程图;
图5表示本申请实施例提供的一种目标图像帧获取方法的步骤流程图;
图6表示本申请实施例提供的另一种目标图像帧获取方法的步骤流程图;
图7表示本申请实施例提供的一种图像获取装置的结构框图;
图8表示本申请实施例提供的一种电子设备的结构示意图;
图9表示本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的一种图像获取方法、图像获取装置、电子设备及存储介质进行详细地说明。
参见图1,本申请实施例提供了一种图像获取方法,所述方法包括:
步骤101,对目标场景进行连续拍摄,分别获取曝光度不同的多个第一图像帧,以及与所述第一图像帧的曝光度相同的第二图像帧。
在本申请实施例中,目标场景可以是存在亮度过高和/或过低区域且存在运动物体的场景。可以理解,若图像获取设备的浏览图像中存在亮度过高的高光区和/或亮度较低的暗区,则需要通过HDR拍摄获取目标场景的高亮度范围图像,以使得拍摄得到的图像中亮度过高或过低区域的成像质量更高。但此时若目标场景的浏览图像帧中存在明显运动的物体,则会导致HDR合成所得到的高动态范围图像中该运动物体所处图像区域出现鬼影,该鬼影有由于参与合成的多张低动态范围图像帧中运动物体区域的所处图像位置不一致导致的。当然其他亮度条件下的场景以及无运动物体的场景均可作为目标场景,具体可以根据实际需求确定,此处不做具体限定。
第一图像帧和第二图像帧是指按照一定的曝光度对目标场景进行曝光拍摄得到的图像帧。通过图像获取设备针对目标场景连续进行多次曝光拍摄,以获取曝光度不同的多张第一图像帧以及第二图像帧,其中每张第一图像帧均对应有与其曝光度相同的第二图像帧,以供后续合成使用。
通常情况下,适应于目标场景中不同的亮度分布,连续拍摄获取的第一图像帧和第二图像帧的曝光度可以相应调整,例如:在目标场景中仅存在高光区的情况下,可以选择拍摄曝光度较低和曝光度适中的多张图像帧;在目标场景中仅存在暗区的情况下,可以选择拍摄曝光度较高和曝光度适中的多张图像帧;在同时存在高光区和暗区的情况下,可以选择拍摄曝光度较高、曝光度适中和曝光度较低的多张图像帧等。可以理解,由于高动态范围图像是为了弥补场景中亮度过高或亮度过低的图像区域的成像质量差的问题,因此场景中的亮度过高可以采用较低曝光度的图像帧进行弥补,亮度过低可以采用较高曝光度的图像帧进行弥补。当然上述仅是示例性描述,具体可以根据实际需求确定需要获得图像帧的曝光度,本申请实施例此处不做限定。
步骤102,基于曝光度相同的多组第一图像帧和第二图像帧,获得一个目标基准图像帧和多个目标素材图像帧,所述目标基准图像帧中保留有运动物体区域,所述目标素材图像帧中未保留有运动物体区域。
在本申请实施例中,目标基准图像帧是指通过将曝光度相同的第一图像帧和第二图像帧进行合成得到的,该目标基准图像帧中保留有运动物体区域。素材图像帧是通过将曝光度相同的第一图像帧和第二图像帧进行合成得到的,该目标素材图像帧中未保留有运动物体区域。需要说明的是,参与合成目标基准图像帧和目标素材图像帧的第一图像帧和第二图像帧不同,每张第一图像帧和第二图像帧只参与一张目标基准图像帧或目标素材图像帧的合成过程。
为了避免参与高动态范围合成的图像帧中存在多个所在位置不一致的运动物体区域,导致多个运动物体区域的图像重叠从而使得所获得的高动态范围图像中存在鬼影,可通过曝光度相同的第一图像帧和第二图像帧中运动物体区域进行相互补偿,从而可以得到一张保留有运动物体区域的目标基准图像帧和多张未保留有运动物体区域的目标素材图像帧,从而避免参与高动态范围合成的图像帧中只有一个运动物体区域的图像。
步骤103,将所述一个目标基准图像帧和所述多个目标素材图像帧进行高动态范围合成,得到高动态范围图像。
在本申请实施例中,在获取到曝光度不同的多个目标图像帧后,可以采用常规技术中的高动态范围合成方法对该多个目标图像帧进行合成,从而得到高动态范围图像。可以发现,由于多个目标图像帧中仅有一幅基准图像帧中包含动态物体区域,因此不会存在由于图像帧之间动态物体区域的位置不一致,导致所得到的高动态范围图像中存在鬼影的现象,提高了高动态范围图像的质量。
本申请实施例提供的一种图像获取方法,通过在对目标场景按照不同曝光度进行两次循环拍摄,通过将曝光度相同的图像帧两两进行融合,得到保留有运动物体区域的目标基准图像帧和未保留有运动物体区域的目标素材图像帧,由于其中仅由目标基准图像帧中存在运动物体区域,因此避免了由于参与高动态范围合成的图像帧中存在多个运动物体区域导致所得到的高动态范围图像中出现鬼影的情况,提升了高动态范围图像的成像质量。
参见图2,本申请实施例提供了另一种图像获取方法,所述方法包括:
步骤201,在确认当前场景为高动态范围场景,且确认当前场景中存在运动物体的情况下,将当前场景作为目标场景。
在本申请实施例中,高动态范围场景是指图像获取设备的浏览图像中存在亮度较高的高光区和/或亮度较低的暗区的场景。运动物体相对于图像获取设备进行运动的物体。
在实际应用中,用户在通过图像获取设备进行图像拍摄时,若检测到图像获取设备的浏览图像中存在亮度较高或者亮度较低的图像区域,则自动开启可以常规高动态范围拍摄模式,并且若进一步检测到浏览图像中存在明显运动的物体,则启动采用本申请的图像获取方法中的针对存在运动物体的高动态范围拍摄模式。
进一步的,高动态范围场景可以是获取所述第一浏览图像帧中亮度超出第二预设亮度范围的目标区域占比,在所述目标区域占比大于区域占比阈值的情况下,确认所述当前场景为高动态范围场景。
具体的,第二预设亮度范围是指用户的视觉可感知的亮度范围,可以是根据样本用户的视觉感知能力测试得到的,也可以是用户根据自身需求自行设置的。若第一浏览图像帧中部分图像区域的亮度超出该第二预设亮度范围,也就是过亮或者过暗均不利于用户观看。第一浏览图像帧中的超出第二预设亮度范围的目标区域若过小也不会对用户观看带来过大影响,基本可以忽略不计,因此需要对目标区域占比进行设置,仅在第一浏览图像帧中的目标区域的占比大于预先设置的区域占比阈值的情况下,确定当前场景为高动态范围场景,从而采用高动态范围拍摄模式。若亮度超过第二预设亮度范围的区域仅是一个个过小的点,可以忽略不计,仅将个体区域大于一定范围,且亮度超过第二预设亮度范围的区域作为目标区域。
进一步的,当前场景存在运动物体可以是获取针对当前场景的至少两张第二浏览图像帧;将所述至少两张第二浏览图像帧进行比对,获取所述至少两张第二浏览图像帧间的相似度;在所述相似度小于相似度阈值的情况下,确认所述当前场景中存在运动物体。
具体的,第二浏览图像与第一浏览图像的描述类似,此处不再赘述。在确认当前场景为高动态范围场景之后,进一步连续获取图像获取设备的至少两张第二浏览图像帧。将至少两张第二浏览图像帧进行比对,分析其中的图像特征,从而获取至少两张第二浏览图像帧中间的相似度。由于至少两张第二浏览图像帧是较短时间间隔内连续获取的,因此若至少两张第二浏览图像帧中间的相似度过小,则确认当前场景中存在明显运动的物体。若曝光度相同的第一图像帧和第二图像帧的运动物体区域相互重叠,则会导致后续所获取的高动态范围图像中出现空缺图像区域,因此需要保证该运动物体的运动速度较快,即所获取至少两张第二浏览图像的时间间隔与后续拍摄曝光度相同的第一图像帧和第二图像帧间的时间间隔保持一致,从而若至少两张第二浏览图像帧中的运动物体区域不重叠,则可保证后续所获得的曝光度相同的第一图像帧和第二图像帧中运动物体区域也不重叠。
本申请实施例通过自动识别当前场景是否为高动态范围场景和存在运动物体,使得用户无需自行选择当前场景下的拍摄模式,提高了用户体验。
步骤202,对目标场景按照预设曝光度次序进行连续拍摄,获取曝光度不同的多个第一图像帧。
在本申请实施例中,预设曝光度次序是指按照不同的曝光度按照一定时间间隔对目标场景进行连续拍摄,以获取目标场景的多张曝光度不同的多个第一图像帧。
步骤203,对所述目标场景按照所述预设曝光度次序再次进行连续拍摄,获取曝光度不同的多个第二图像帧,其中,曝光度次序相同的第一图像帧和第二图像帧的曝光度相同。
在本申请实施例中,预设曝光度次序是指连续拍摄过程中每次拍摄的所采用的不同曝光度。为保障每个第二图像帧与所对应曝光度相同的第一图像帧的拍摄时间间隔相同,以使得在后续合成过程中每个第一图像帧和每个第二图像帧中运动物体区域的位置间隔保持一致,需要针对目标场景依旧按照预设曝光度再次进行连续拍摄,以获取和第一图像帧相对应的第二图像帧。可以理解,连续拍摄的时长较短,因此拍摄过程中运动物体的运动速率可以视为基本不变,只要保证拍摄的时间间隔一致,第一图像帧和第二图像帧中运动物体的位置间隔也可以保持一致。当然,也可以按照其他预设曝光度次序进行拍摄,只是相对于按照统一预设曝光度次序后续所获得的高动态范围图像的质量较低。具体可以根据实际需求进行拍摄,此处不做具体限定。
本申请实施例通过按照同一预设曝光度次序进行拍摄获取两组图像帧的方式,保证了所获得第一图像帧和所对应曝光度相同的第二图像帧中运动物体区域的位置间隔保持一致,提高了后续所获取高动态范围图像的成像质量。
步骤204,将任一对曝光度相同的第一图像帧和第二图像帧作为两个基准图像帧,以及将除所述基准图像帧外的第一图像帧和第二图像帧作为多个素材图像帧。
在本申请实施例中,基准图像帧是参与合成目标基准图像帧的图像帧,由于目标基准图像帧中需要保留运动物体区域,因此基准图像帧中的运动物体区域的图像需要具有较高的图像质量,可以依据清晰度、亮度、对比度、饱和度等指标参数选取基准图像帧,也可以是预先设置的例如第一张、第二张、最后一张等拍摄时间次序的第一图像帧和第二图像帧,也可以是用户指定的第一图像帧和第二图像帧,具体可以根据实际需求确定,此处不做限定。
步骤205,基于所述两个基准图像帧,获得一个目标基准图像帧。
在本申请实施例中,通过将两个基准图像帧进行融合,仅保留其中任一基准图像帧的运动物体区域,从而得到一个目标基准图像帧。
步骤206,基于所述多个素材图像帧,获得多个目标素材图像帧。
在本申请实施例中,通过将曝光度的素材图像帧进行融合,从而得到多个目标素材图像帧。
示例性的,参照图3,示出本申请的一种图像帧合成流程示意图,其中A1、A2、A3为按照预设曝光度次序连续拍摄得到的3张第一图像帧,B1、B2、B3是在之后再次按照预设曝光度次序连续拍摄得到的3张第二图像帧,A1和A2、B1和B2、C1和C2的曝光度相同。A11为A1的运动物体区域,A22为A2的运动物体区域,A12为A22的位置相对应区域,同理,B1和B2、C1和C2可参照A1和A2中运动物体区域和相对应位置区域描述。可以发现,由于运动物体在持续运动,因此所获得的每张图像帧中运动物体区域的位置存在一定程度的差异。例如:从A1到B1到C1,运动物体区域A11、B11、C11在图像帧中的位置逐渐向右侧移动。
我们这里将A1、A1作为基准图像帧,此时仅保留A1中的运动物体区域A11,其余图像帧中的运动区域位置A22、B11、B22、C11、C22均不保留。
然后将A1和A2、B1和B2、C1和C2进行融合,从而使得A22由A12的图像帧进行补偿,B11由B21的图像帧进行补偿,B22由B12的图像帧进行补充,C11由C21的图像帧进行补偿,C22由C12的图像帧进行补充,从而融合得到三张的画面完整的目标图像帧A3、B3、C3。
所得到的三张目标图像帧中仅A3中存在运动物体区域A11,B3、C3中均不存在运动物体区域。此时将A3、B3、C3进行高动态范围合成得到的高动态图像中不会因为参与高动态范围合成的多个目标图像帧中存在多个运动物体区域而导致出现鬼影的现象。
步骤207,所述一个目标基准图像帧和所述多个目标素材图像帧进行高动态范围合成,得到高动态范围图像。
该步骤可参照步骤103的详细描述,此处不再赘述。
可选的,参照图4,所述步骤204,包括:
子步骤2041,获取所述第一图像帧和第二图像帧中运动物体区域的亮度均值。
在本申请实施例中,虽然可以选取最先拍摄的第一图像帧作为基准图像帧,但是考虑到运动物体区域最后仅保留一个,若最先拍摄的第一图像帧中运动物体区域的亮度过高或者过低,会影响最后所得到高动态范围图像中运动物体区域的成像质量。因此在选取基准图像帧时,可以参照所获得各图像帧的中运动物体区域的亮度均值进行基准图像帧选取。
子步骤2042,将所述运动物体区域的亮度均值在第一预设亮度范围内的任一对图像帧作为两个基准图像帧。
在本申请实施例中,由于高动态范围拍摄的过程中,会依据目标场景中的不同场景亮度选取拍摄所采用的曝光度,因此所获得图像帧中会存在运动物体区域的亮度均值在第一预设亮度范围内的至少一张图像帧,将该图像帧作为基准图像帧。该第一预设亮度范围可以是根据用户的视觉感知能力测试得到的可感知亮度范围,也可以是用户根据实际需求自行设置的亮度范围。
本申请实施例通过选取运动物体区域的亮度均值符合第一预设亮度范围的图像帧作为基准图像帧,保障了后续所获得高动态范围图像中运动物体区域的成像质量。
可选的,参照图5,所述步骤205,可以包括:
子步骤2051,剔除所述两个基准图像帧中任一基准图像帧中的运动物体区域。
在本申请实施例中,通过将两个基准图像帧中任一基准图像帧中的运动物体区域进行剔除,从而使得两个基准图像帧中仅保留有一个运动物体区域的图像。
子步骤2052,将剔除运动物体区域的基准图像帧与保留有运动物体区域的基准图像帧进行合成,获得目标基准图像帧。
在本申请实施例中,通过将剔除运动物体区域后的基准图像帧和保留有运动物体区域的基准图像帧进行合成,剔除运动物体区域后的基准图像帧的空缺图像由另一基准图像帧的相应区域的图像进行补偿,从而可以得到画面完整的目标基准图像帧。
参照图5,所述步骤206,可以包括:
子步骤2061,剔除所述多个素材图像帧中的运动物体区域。
子步骤2062,将剔除运动物体区域后的素材图像帧中曝光度相同的图像帧进行合成,获得多个目标素材图像帧。
在本申请实施例中,通过将提取运动物体区域后的曝光度相同的素材图像帧相互进行融合,使得所得到的目标素材图像帧中不仅未保留有运动物体区域,而且画面完整。
可选的,参照图6,所述步骤205,可以包括:
子步骤2053,从两个基准图像帧中确定主帧和副帧。
在本申请实施例中,主帧是指需要保留运动物体区域的基准图像帧,副帧是和主帧曝光度相同且不需要保留运动物体区域的基准图像帧。
子步骤2054,利用所述主帧中与所述副帧的运动物体区域相匹配区域的图像,替换所述副帧的运动物体区域。
在本申请实施例中,通过利用主帧中与副帧的运动物体区域相匹配区域的图像对副帧的运动物体区域进行替换,可以获得不包含有运动物体区域的基准图像帧。
子步骤2055,将所述主帧和替换后的副帧进行合成,获得所述目标基准图像。
在本申请实施例中,通过将保留有运动物体区域的主帧和未保留有运动物体区域的副帧进行合成,即可得到仅包含一个运动物体区域的目标基准图像帧。
参照图6,所述步骤206,包括:
子步骤2063,对于曝光度相同的两个素材图像帧,将一个素材图像帧的运动物体区域替换为另一个素材图像帧中与所述一个素材图像帧的运动物体区域相匹配区域的图像。
在本申请实施例中,将素材图像帧中运动物体区域的图像替换为与其曝光度相同的另一个素材图像中相应区域的图像,从而可以得到多个不包含运动物体区域且画面完整的素材图像帧。
子步骤2064,将替换后的所述曝光度相同的两个素材图像帧合成,获得所述目标素材图像帧。
在本申请实施例中,通过将不包含有运动物体区域,且曝光度相同的素材图像帧两两进行合成,可以得到不包含运动物体区域的目标素材图像帧。
本申请实施例提供的另一种图像获取方法,通过在对目标场景按照不同曝光度进行两次循环拍摄,通过将曝光度相同的图像帧两两进行融合,得到保留有运动物体区域的目标基准图像帧和未保留有运动物体区域的目标素材图像帧,由于其中仅由目标基准图像帧中存在运动物体区域,因此避免了由于参与高动态范围合成的图像帧中存在多个运动物体区域导致所得到的高动态范围图像中出现鬼影的情况,提升了高动态范围图像的成像质量。并且本方案还通过依据所包含运动物体区域的亮度均值符合亮度范围的图像帧作为基准图像帧,保证了所获得高动态范围图像中运动物体区域的成像质量,进一步提高了高动态范围图像的成像质量,并且通过采集目标场景的浏览图像,以分析图像中的各区域的亮度以及特征相似度,保证了判断包含运动物体的高动态范围场景的准确性。
需要说明的是,本申请实施例提供的图像获取方法,执行主体可以为图像获取装置,或者该图像获取装置中的用于执行图像获取方法的控制模块。本申请实施例中以图像获取装置执行加载图像获取方法为例,说明本申请实施例提供的图像获取的方法。
参见图7,本申请实施例还提供了一种图像获取装置30的结构框图,所述图像获取装置包括:
采集模块301,用于对目标场景进行连续拍摄,分别获取曝光度不同的多个第一图像帧,以及与所述第一图像帧的曝光度相同的第二图像帧;
提取模块302,用于基于曝光度相同的多组第一图像帧和第二图像帧,获得一个目标基准图像帧和多个目标素材图像帧,所述目标基准图像帧中保留有运动物体区域,所述目标素材图像帧中未保留有运动物体区域;
合成模块303,用于将所述一个目标基准图像帧和所述多个目标素材图像帧进行高动态范围合成,得到高动态范围图像。
可选的,所述提取模块302,还用于:
将任一对曝光度相同的第一图像帧和第二图像帧作为两个基准图像帧,以及将除所述基准图像帧外的第一图像帧和第二图像帧作为多个素材图像帧;
基于所述两个基准图像帧,获得一个目标基准图像帧;
基于所述多个素材图像帧,获得多个目标素材图像帧。
可选的,所述提取模块302,还用于:
剔除所述两个基准图像帧中任一基准图像帧中的运动物体区域;
将剔除运动物体区域的基准图像帧与保留有运动物体区域的基准图像帧进行合成,获得目标基准图像帧;
剔除所述多个素材图像帧中的运动物体区域;
将剔除运动物体区域后的素材图像帧中曝光度相同的图像帧进行合成,获得多个目标素材图像帧。
可选的,所述提取模块302,还用于:
从两个基准图像帧中确定主帧和副帧;
利用所述主帧中与所述副帧的运动物体区域相匹配区域的图像,替换所述副帧的运动物体区域;
将所述主帧和替换后的副帧进行合成,获得所述目标基准图像;
对于曝光度相同的两个素材图像帧,将一个素材图像帧的运动物体区域替换为另一个素材图像帧中与所述一个素材图像帧的运动物体区域相匹配区域的图像;
将替换后的所述曝光度相同的两个素材图像帧合成,获得所述目标素材图像帧。
可选的,所述提取模块302,还用于:
获取所述第一图像帧和第二图像帧中运动物体区域的亮度均值;
将所述运动物体区域的亮度均值在第一预设亮度范围内的任一对图像帧作为两个基准图像帧。
可选的,所述装置,还包括:
确认模块304,用于在确认当前场景为高动态范围场景,且确认当前场景中存在运动物体的情况下,将当前场景作为目标场景。
可选的,所述采集模块301,还用于:
对目标场景按照预设曝光度次序进行连续拍摄,获取曝光度不同的多个第一图像帧;
对所述目标场景按照所述预设曝光度次序再次进行连续拍摄,获取曝光度不同的多个第二图像帧,其中,曝光度次序相同的第一图像帧和第二图像帧的曝光度相同。
本申请实施例提供的一种图像获取装置,通过在对目标场景按照不同曝光度进行两次循环拍摄,通过将曝光度相同的图像帧两两进行融合,得到保留有运动物体区域的目标基准图像帧和未保留有运动物体区域的目标素材图像帧,由于其中仅由目标基准图像帧中存在运动物体区域,因此避免了由于参与高动态范围合成的图像帧中存在多个运动物体区域导致所得到的高动态范围图像中出现鬼影的情况,提升了高动态范围图像的成像质量。
本申请实施例中的图像获取装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像获取装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像获取装置能够实现图1至图6的方法实施例中图像获取装置实现的各个过程,为避免重复,这里不再赘述。
可选的,如图8所示,本申请实施例还提供一种电子设备400,包括处理器401,存储器402,存储在存储器402上并可在所述处理器401上运行的程序或指令,该程序或指令被处理器401执行时实现上述图像获取方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
本领域技术人员可以理解,电子设备500还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,输入单元504,用于对目标场景进行连续拍摄,分别获取曝光度不同的多个第一图像帧,以及与所述第一图像帧的曝光度相同的第二图像帧;
处理器510,用于基于曝光度相同的多组第一图像帧和第二图像帧,获得一个目标基准图像帧和多个目标素材图像帧,所述目标基准图像帧中保留有运动物体区域,所述目标素材图像帧中未保留有运动物体区域;
将所述一个目标基准图像帧和所述多个目标素材图像帧进行高动态范围合成,得到高动态范围图像。
本申请实施例通过在对目标场景按照不同曝光度进行两次循环拍摄,通过将曝光度相同的图像帧两两进行融合,得到保留有运动物体区域的目标基准图像帧和未保留有运动物体区域的目标素材图像帧,由于其中仅由目标基准图像帧中存在运动物体区域,因此避免了由于参与高动态范围合成的图像帧中存在多个运动物体区域导致所得到的高动态范围图像中出现鬼影的情况,提升了高动态范围图像的成像质量。
可选的,处理器510,还用于将任一对曝光度相同的第一图像帧和第二图像帧作为两个基准图像帧,以及将除所述基准图像帧外的第一图像帧和第二图像帧作为多个素材图像帧;
基于所述两个基准图像帧,获得一个目标基准图像帧;
基于所述多个素材图像帧,获得多个目标素材图像帧。
可选的,处理器510,还用于:
剔除所述两个基准图像帧中任一基准图像帧中的运动物体区域;
将剔除运动物体区域的基准图像帧与保留有运动物体区域的基准图像帧进行合成,获得目标基准图像帧;
剔除所述多个素材图像帧中的运动物体区域;
将剔除运动物体区域后的素材图像帧中曝光度相同的图像帧进行合成,获得多个目标素材图像帧。
可选的,处理器510,还用于:
从两个基准图像帧中确定主帧和副帧;
利用所述主帧中与所述副帧的运动物体区域相匹配区域的图像,替换所述副帧的运动物体区域;
将所述主帧和替换后的副帧进行合成,获得所述目标基准图像;
对于曝光度相同的两个素材图像帧,将一个素材图像帧的运动物体区域替换为另一个素材图像帧中与所述一个素材图像帧的运动物体区域相匹配区域的图像;
将替换后的所述曝光度相同的两个素材图像帧合成,获得所述目标素材图像帧。
可选的,处理器510,还用于:
获取所述第一图像帧和第二图像帧中运动物体区域的亮度均值;
将所述运动物体区域的亮度均值在第一预设亮度范围内的任一对图像帧作为两个基准图像帧。
可选的,处理器510,还用于:
在确认当前场景为高动态范围场景,且确认当前场景中存在运动物体的情况下,将当前场景作为目标场景。
可选的,输入单元504,还用于:
对目标场景按照预设曝光度次序进行连续拍摄,获取曝光度不同的多个第一图像帧;
对所述目标场景按照所述预设曝光度次序再次进行连续拍摄,获取曝光度不同的多个第二图像帧,其中,曝光度次序相同的第一图像帧和第二图像帧的曝光度相同。
本方案还通过依据所包含运动物体区域的亮度均值符合亮度范围的图像帧作为基准图像帧,保证了所获得高动态范围图像中运动物体区域的成像质量,进一步提高了高动态范围图像的成像质量,并且通过采集目标场景的浏览图像,以分析图像中的各区域的亮度以及特征相似度,保证了判断包含运动物体的高动态范围场景的准确性。
应理解的是,本申请实施例中,输入单元504可以包括图形处理器(GraphicsProcessing Unit,GPU)5041和麦克风5042,图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071,也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器509可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器510可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像获取方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像获取方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (9)
1.一种图像获取方法,其特征在于,所述方法包括:
对目标场景进行连续拍摄,分别获取曝光度不同的多个第一图像帧,以及与所述第一图像帧的曝光度相同的第二图像帧;
基于曝光度相同的多组第一图像帧和第二图像帧,获得一个目标基准图像帧和多个目标素材图像帧,所述目标基准图像帧中保留有运动物体区域,所述目标素材图像帧中未保留有运动物体区域;
将所述一个目标基准图像帧和所述多个目标素材图像帧进行高动态范围合成,得到高动态范围图像;
其中,所述基于曝光度相同的多组第一图像帧和第二图像帧,获得一个目标基准图像帧和多个目标素材图像帧,包括:将任一对曝光度相同的第一图像帧和第二图像帧作为两个基准图像帧,以及将除所述基准图像帧外的第一图像帧和第二图像帧作为多个素材图像帧;基于所述两个基准图像帧中的运动物体区域,获得一个目标基准图像帧;基于所述多个素材图像帧中除运动物体区域外的区域,获得多个目标素材图像帧。
2.根据权利要求1所述的方法,其特征在于,所述基于所述两个基准图像帧中的运动物体区域,获得一个目标基准图像帧,包括:
剔除所述两个基准图像帧中任一基准图像帧中的运动物体区域;
将剔除运动物体区域的基准图像帧与保留有运动物体区域的基准图像帧进行合成,获得目标基准图像帧;
所述基于所述多个素材图像帧中除运动物体区域外的区域,获得多个目标素材图像帧,包括:
剔除所述多个素材图像帧中的运动物体区域;
将剔除运动物体区域后的素材图像帧中曝光度相同的图像帧进行合成,获得多个目标素材图像帧。
3.根据权利要求1所述的方法,其特征在于,所述基于所述两个基准图像帧中的运动物体区域,获得一个目标基准图像帧,包括:
从两个基准图像帧中确定主帧和副帧;
利用所述主帧中与所述副帧的运动物体区域相匹配区域的图像,替换所述副帧的运动物体区域;
将所述主帧和替换后的副帧进行合成,获得所述目标基准图像;
所述基于所述多个素材图像帧中除运动物体区域外的区域,获得多个目标素材图像帧,包括:
对于曝光度相同的两个素材图像帧,将一个素材图像帧的运动物体区域替换为另一个素材图像帧中与所述一个素材图像帧的运动物体区域相匹配区域的图像;
将替换后的所述曝光度相同的两个素材图像帧合成,获得所述目标素材图像帧。
4.根据权利要求1所述的方法,其特征在于,所述将任一对曝光度相同的第一图像帧和第二图像帧作为两个基准图像帧,包括:
获取所述第一图像帧和第二图像帧中运动物体区域的亮度均值;
将所述运动物体区域的亮度均值在第一预设亮度范围内的任一对图像帧作为两个基准图像帧。
5.根据权利要求1所述的方法,其特征在于,在所述对目标场景进行连续拍摄,分别获取曝光度不同的多个第一图像帧,以及与所述第一图像帧的曝光度相同的第二图像帧之前,还包括:
在确认当前场景为高动态范围场景,且确认当前场景中存在运动物体的情况下,将当前场景作为目标场景。
6.根据权利要求1所述的方法,其特征在于,所述对目标场景进行连续拍摄,分别获取曝光度不同的多个第一图像帧,以及与所述第一图像帧的曝光度相同的第二图像帧,包括:
对目标场景按照预设曝光度次序进行连续拍摄,获取曝光度不同的多个第一图像帧;
对所述目标场景按照所述预设曝光度次序再次进行连续拍摄,获取曝光度不同的多个第二图像帧,其中,曝光度次序相同的第一图像帧和第二图像帧的曝光度相同。
7.一种图像获取装置,其特征在于,所述装置包括:
采集模块,用于对目标场景进行连续拍摄,分别获取曝光度不同的多个第一图像帧,以及与所述第一图像帧的曝光度相同的第二图像帧;
提取模块,用于基于曝光度相同的多组第一图像帧和第二图像帧,获得一个目标基准图像帧和多个目标素材图像帧,所述目标基准图像帧中保留有运动物体区域,所述目标素材图像帧中未保留有运动物体区域;
合成模块,用于将所述一个目标基准图像帧和所述多个目标素材图像帧进行高动态范围合成,得到高动态范围图像;
其中,所述提取模块,还用于:将任一对曝光度相同的第一图像帧和第二图像帧作为两个基准图像帧,以及将除所述基准图像帧外的第一图像帧和第二图像帧作为多个素材图像帧;基于所述两个基准图像帧中的运动物体区域,获得一个目标基准图像帧;基于所述多个素材图像帧中除运动物体区域外的区域,获得多个目标素材图像帧。
8.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的图像获取方法的步骤。
9.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的图像获取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010628089.1A CN111835982B (zh) | 2020-07-02 | 2020-07-02 | 图像获取方法、图像获取装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010628089.1A CN111835982B (zh) | 2020-07-02 | 2020-07-02 | 图像获取方法、图像获取装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111835982A CN111835982A (zh) | 2020-10-27 |
CN111835982B true CN111835982B (zh) | 2021-08-17 |
Family
ID=72900055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010628089.1A Active CN111835982B (zh) | 2020-07-02 | 2020-07-02 | 图像获取方法、图像获取装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111835982B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114650361B (zh) * | 2020-12-17 | 2023-06-06 | 北京字节跳动网络技术有限公司 | 拍摄模式确定方法、装置、电子设备和存储介质 |
CN114040248A (zh) * | 2021-11-23 | 2022-02-11 | 维沃移动通信有限公司 | 一种视频处理方法、装置和电子设备 |
CN116233607B (zh) * | 2021-12-01 | 2024-05-14 | Oppo广东移动通信有限公司 | 一种多曝光图像处理方法、装置、芯片及电子设备 |
CN117278865A (zh) * | 2023-11-16 | 2023-12-22 | 荣耀终端有限公司 | 一种图像处理方法及相关装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104978722A (zh) * | 2015-07-06 | 2015-10-14 | 天津大学 | 基于背景建模的多曝光图像融合鬼影去除方法 |
CN105551061A (zh) * | 2015-12-09 | 2016-05-04 | 天津大学 | 高动态范围图像融合中保留无鬼影运动物体处理方法 |
CN106131443A (zh) * | 2016-05-30 | 2016-11-16 | 南京大学 | 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法 |
CN107948519B (zh) * | 2017-11-30 | 2020-03-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置及设备 |
CN108989699B (zh) * | 2018-08-06 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质 |
TWI695622B (zh) * | 2018-09-06 | 2020-06-01 | 華晶科技股份有限公司 | 影像處理方法及影像處理裝置 |
JP7171342B2 (ja) * | 2018-09-26 | 2022-11-15 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
CN109120862A (zh) * | 2018-10-15 | 2019-01-01 | Oppo广东移动通信有限公司 | 高动态范围图像获取方法、装置及移动终端 |
CN109996009B (zh) * | 2019-04-09 | 2021-03-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
2020
- 2020-07-02 CN CN202010628089.1A patent/CN111835982B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111835982A (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111835982B (zh) | 图像获取方法、图像获取装置、电子设备及存储介质 | |
CN112135046B (zh) | 视频拍摄方法、视频拍摄装置及电子设备 | |
CN112333382B (zh) | 拍摄方法、装置及电子设备 | |
CN113411498A (zh) | 图像拍摄方法、移动终端及存储介质 | |
CN111866378A (zh) | 图像处理方法、装置、设备及介质 | |
CN112702531B (zh) | 拍摄方法、装置及电子设备 | |
CN112887615A (zh) | 拍摄的方法及装置 | |
CN112508820A (zh) | 图像处理方法、装置及电子设备 | |
CN112437237A (zh) | 拍摄方法及装置 | |
CN115439386A (zh) | 图像融合方法、装置、电子设备和存储介质 | |
CN112653841B (zh) | 拍摄方法、装置和电子设备 | |
CN115278047A (zh) | 拍摄方法、装置、电子设备和存储介质 | |
CN112153291B (zh) | 拍照方法和电子设备 | |
CN111654623B (zh) | 拍照方法、装置和电子设备 | |
CN113962840A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113989387A (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
CN112367464A (zh) | 图像输出方法、装置及电子设备 | |
CN112446848A (zh) | 图像处理方法、装置及电子设备 | |
CN112672056A (zh) | 图像处理方法及装置 | |
CN113473012A (zh) | 虚化处理方法、装置和电子设备 | |
CN112492208B (zh) | 拍摄方法和电子设备 | |
CN113489901B (zh) | 拍摄方法及其装置 | |
CN112468794B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN112367470B (zh) | 图像处理方法、装置及电子设备 | |
CN112399091B (zh) | 图像处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |