CN109995999A - 场景识别方法、装置、电子设备及存储介质 - Google Patents

场景识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109995999A
CN109995999A CN201910193668.5A CN201910193668A CN109995999A CN 109995999 A CN109995999 A CN 109995999A CN 201910193668 A CN201910193668 A CN 201910193668A CN 109995999 A CN109995999 A CN 109995999A
Authority
CN
China
Prior art keywords
interest
area
scene
scene tag
preview screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910193668.5A
Other languages
English (en)
Inventor
王宇鹭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910193668.5A priority Critical patent/CN109995999A/zh
Publication of CN109995999A publication Critical patent/CN109995999A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Abstract

本申请提出一种场景识别方法、装置、电子设备及存储介质,属于成像技术领域。其中,该方法包括:对当前预览画面进行感兴趣区域识别,以确定当前预览画面中包括的各感兴趣区域;利用预设的场景识别模型,分别对各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签;根据每个感兴趣区域对应的场景标签,确定当前的预览画面对应的场景标签;根据当前的预览画面对应的场景标签,确定目标拍摄模式。由此,通过这种场景识别方法,不仅降低了预览画面中多种画面内容的相互干扰,提高了场景识别的准确率,而且仅对感兴趣区域进行场景识别,减少了场景识别的数据处理时间,改善了用户体验。

Description

场景识别方法、装置、电子设备及存储介质
技术领域
本申请涉及成像技术领域,尤其涉及一种场景识别方法、装置、电子设备及存储介质。
背景技术
随着科技的发展,移动终端越来越普及。绝大多数移动终端都内置有摄像头,并且随着移动终端处理能力的增强以及摄像头技术的发展,内置摄像头的性能越来越强大,拍摄图像的质量也越来越高。现在移动终端的操作简单又便于携带,在日常生活中人们使用移动终端拍照已经成为一种常态。
相关技术中,移动终端可以根据预览画面的整体内容,确定当前的拍摄场景,进而选择相应的拍摄模式。但是,这种场景识别方法,在拍摄的场景较为复杂时,比如预览画面中同时包含人像、建筑、夜景等多种内容时,画面中的多种内容会互相干扰,从而导致场景识别错误率高,影响了用户体验。
发明内容
本申请提出的场景识别方法、装置、电子设备及存储介质,用于解决相关技术中,现有移动终端中的场景识别方法,在拍摄的场景较为复杂时,画面中的多种内容会互相干扰,从而导致场景识别的错误率高,影响用户体验的问题。
本申请一方面实施例提出的场景识别方法,包括:对当前预览画面进行感兴趣区域识别,以确定当前预览画面中包括的各感兴趣区域;利用预设的场景识别模型,分别对所述各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签;根据所述每个感兴趣区域对应的场景标签,确定所述当前的预览画面对应的场景标签;根据所述当前的预览画面对应的场景标签,确定目标拍摄模式。
本申请另一方面实施例提出的场景识别装置,包括:第一识别模块,用于对当前预览画面进行感兴趣区域识别,以确定当前预览画面中包括的各感兴趣区域;第二识别模块,用于利用预设的场景识别模型,分别对所述各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签;第一确定模块,用于根据所述每个感兴趣区域对应的场景标签,确定所述当前的预览画面对应的场景标签;第二确定模块,用于根据所述当前的预览画面对应的场景标签,确定目标拍摄模式。
本申请再一方面实施例提出的电子设备,其包括:所述摄像模组、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如前所述的场景识别方法。
本申请再一方面实施例提出的计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如前所述的场景识别方法。
本申请又一方面实施例提出的计算机程序,该程序被处理器执行时,以实现本申请实施例所述的场景识别方法。
本申请实施例提供的场景识别方法、装置、电子设备、计算机可读存储介质及计算机程序,可以对当前预览画面进行感兴趣区域识别,以确定当前预览画面中包括的各感兴趣区域,并利用预设的场景识别模型,分别对各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签,之后根据每个感兴趣区域对应的场景标签,确定当前的预览画面对应的场景标签,进而根据当前的预览画面对应的场景标签,确定目标拍摄模式。由此,通过对当前的预览画面进行感兴趣区域识别,并根据各感兴趣区域对应的场景标签,确定当前的预览画面对应的场景标签,从而不仅降低了预览画面中多种画面内容的相互干扰,提高了场景识别的准确率,而且仅对感兴趣区域进行场景识别,减少了场景识别的数据处理时间,改善了用户体验。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例所提供的一种场景识别方法的流程示意图;
图2为本申请实施例所提供的另一种场景识别方法的流程示意图;
图3为本申请实施例所提供的另一种场景识别方法的流程示意图;
图4为本申请实施例所提供的一种场景识别装置的结构示意图;
图5为本申请实施例所提供的一种电子设备的结构示意图;
图6为本申请实施例所提供的另一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
本申请实施例针对相关技术中,现有移动终端中的场景识别方法,在拍摄的场景较为复杂时,画面中的多种内容会互相干扰,从而导致场景识别的错误率高,影响用户体验的问题,提出一种场景识别方法。
本申请实施例提供的场景识别方法,可以对当前预览画面进行感兴趣区域识别,以确定当前预览画面中包括的各感兴趣区域,并利用预设的场景识别模型,分别对各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签,之后根据每个感兴趣区域对应的场景标签,确定当前的预览画面对应的场景标签,进而根据当前的预览画面对应的场景标签,确定目标拍摄模式。由此,通过对当前的预览画面进行感兴趣区域识别,并根据各感兴趣区域对应的场景标签,确定当前的预览画面对应的场景标签,从而不仅降低了预览画面中多种画面内容的相互干扰,提高了场景识别的准确率,而且仅对感兴趣区域进行场景识别,减少了场景识别的数据处理时间,改善了用户体验。
下面参考附图对本申请提供的场景识别方法、装置、电子设备、存储介质及计算机程序进行详细描述。
图1为本申请实施例所提供的一种场景识别方法的流程示意图。
如图1所示,该场景识别方法,包括以下步骤:
步骤101,对当前的预览画面进行感兴趣区域识别,以确定当前的预览画面中包括的各感兴趣区域。
其中,感兴趣区域(Region Of Interest,简称ROI),为图像处理中的术语,是指是在待处理的图像中提取出的待处理的区域。
需要说明的是,在当前的拍摄场景较为复杂时,当前的预览画面中可能包括人像、建筑、夜景等多种画面内容,而预览画面中不同种类的画面内容,会在对预览画面进行场景识别时,互相干扰,从而导致场景识别的准确率低。比如,当预览画面中出现人像时,通常会将当前的场景识别为人像模式,但是,如果人像只占预览画面的很小一部分,而用户却想对画面中的景物进行拍摄,此时,将当前的场景确定为人像模式,就会导致场景识别不准确,从而导致对景物的拍摄效果不理想。因此,在本申请实施例一种可能的实现形式中,可以从当前的预览画面中识别出一个或多个感兴趣区域,并分别对识别出的各感兴趣区域进行场景识别,不仅可以降低预览画面中多种画面内容之间的相互干扰,提高场景识别的准确率,而且可以降低场景识别时数据处理的时间。
在本申请实施例中,对当前的预览画面进行感兴趣区域识别的规则,可以是提取出当前的预览画面中纹理较为丰富、特征比较集中的区域作为感兴趣区域。
需要说明的是,实际使用时,感兴趣区域的识别规则可以根据实际需要预设,本申请实施例对此不做限定。
步骤102,利用预设的场景识别模型,分别对所述各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签。
需要说明的是,预览画面中细节较为丰富的纹理区域,可能分布在预览画面中的多个不连续的区域,因此,识别出的感兴趣区域可能有多个,即在本申请实施例一种可能的实现形式中,识别出当前的预览画面包括的多个感兴趣区域后,即可以利用预设的场景识别模型,对各感兴趣区域分别进行场景识别,以确定每个感兴趣区域对应的场景标签。
需要说明的是,预设的场景识别模型是根据大量的图像数据进行训练获得,并可以集成在电子设备中。将图像数据输入预设的场景识别模型之后,预设的场景识别模型可以直接输出该图像数据对应的场景标签。因此,在申请实施例一种可能的实现形式中,可以将识别出的各感兴趣区域对应的图像数据,输入预设的场景识别模型,以确定每个感兴趣区域对应的场景标签。
举例来说,若感兴趣区域A对应的图像数据中包含人像,则将感兴趣区域A对应图像数据输入预设的场景识别模型时,可以确定感兴趣区域A对应的场景标签为“人像”;若感兴趣区域B对应的图像中的亮度信息小于阈值,则将感兴趣区域B对应的图像数据输入预设的场景识模型时,可以将感兴趣区域B的场景标签确定为“夜景”。
步骤103,根据所述每个感兴趣区域对应的场景标签,确定所述当前的预览画面对应的场景标签。
在本申请实施例中,在确定出每个感兴趣区域对应的场景标签之后,即可根据每个感兴趣区域对应的场景标签,确定出当前的预览画面对应的场景标签。具体的,可以根据预览画面中各场景标签的数量,确定出当前预览画面对应的场景标签。
进一步的,可以对每个感兴趣区域对应的场景标签进行统计,以根据各场景标签的数量,确定当前的预览画面对应的场景标签。即在本申请实施例一种可能的实现形式中,上述步骤103,可以包括:
对所述每个感兴趣区域对应的场景标签进行统计,确定所述当前的预览画面对应的各场景标签的数量;
将数量最大的场景标签,确定为所述当前的预览画面对应的场景标签。
需要说明的是,场景标签的数量即是该场景标签对应的感兴趣区域的数量,场景标签的数量越大,说明该场景标签对应的感兴趣区域的数量越大。相应的,数量最大的场景标签对应的感兴趣区域的数量也最大,即该场景标签对应的感兴趣区域所占预览画面的面积也最大或较大。因此,数量最大的场景标签,可以反映出当前预览画面大部分感兴趣区域对应的场景,从而可以将数量最大的场景标签确定为当前的预览画面对应的场景标签。
在本申请实施例一种可能的实现形式中,还可以预设场景标签所占比例的第一阈值,并根据每种场景标签的数量与所有场景标签数量的比值,与预设的第一阈值的关系,确定当前的预览画面对应的场景标签。具体的,可以将场景标签的数量与所有场景标签数量的比值大于第一阈值的场景标签,确定为当前预览画面的场景标签。
举例来说,预设的第一阈值为40%,确定当前的预览画面中的感兴趣区域中包含“人像”和“建筑”两种场景标签,其中,“人像”场景标签与所有感兴趣区域对应的场景标签的比值为70%,“建筑”场景标签与所有感兴趣区域对应的场景标签的比值为30%,则可以确定当前的预览画面对应的场景标签为“人像”。
在本申请实施例另一种可能的实现形式中,还可以预设多个场景标签所占比例的阈值,并根据当前预览画面中各场景标签的数量与所有感兴趣区域对应的场景标签数量的比值与各阈值的关系,确定出第一场景标签、第二场景标签、第三场景标签等,进而将第一场景标签确定为当前的预览画面对应的场景标签,或者也可以根据实际需要将第二场景标签或第三场景标签确定为当前的预览画面对应的场景标签。
具体的,若预设的场景标签所占比例的各阈值为第一阈值、第二阈值,其中,第一阈值大于第二阈值,则当场景标签的数量与所有感兴趣区域对应的场景标签数量的比值场景标签数量的比值大于第一阈值时,可以将该场景标签确定为第一场景标签;当场景标签的数量与所有感兴趣区域对应的场景标签数量的比值小于第一阈值且大于第二阈值时,可以将该场景标签确定为第二场景标签;当场景标签的数量与所有感兴趣区域对应的场景标签的比值小于第二阈值时,可以将该场景标签确定为第三场景标签。
步骤104,根据所述当前的预览画面对应的场景标签,确定目标拍摄模式。
在本申请实施例中,确定出当前的预览画面对应的场景标签之后,即可根据当前的预览画面对应的场景标签,确定目标拍摄模式,并根据确定的目标拍摄模式,进行图像采集。
举例来说,若当前的预览画面对应的场景标签为“人像”,则可以确定目标拍摄模式为“人像模式”,并根据“人像模式”中的各项拍摄参数,进行图像采集;若当前的预览画面对应的场景标签为“夜景”,则可以确定目标拍摄模式为“夜景模式”,并根据“夜景模式”中的各项拍摄参数,进行图像采集。
本申请实施例提供的场景识别方法,可以对当前预览画面进行感兴趣区域识别,以确定当前预览画面中包括的各感兴趣区域,并利用预设的场景识别模型,分别对各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签,之后根据每个感兴趣区域对应的场景标签,确定当前的预览画面对应的场景标签,进而根据当前的预览画面对应的场景标签,确定目标拍摄模式。由此,通过对当前的预览画面进行感兴趣区域识别,并根据各感兴趣区域对应的场景标签,确定当前的预览画面对应的场景标签,从而不仅降低了预览画面中多种画面内容的相互干扰,提高了场景识别的准确率,而且仅对感兴趣区域进行场景识别,减少了场景识别的数据处理时间,改善了用户体验。
在本申请实施例一种可能的实现形式中,从当前的预览画面识别出的各感兴趣区域的面积可能是不同的。因此,在确定出的数量最大的场景标签有多个时,可以根据各数量最大的场景标签对应的感兴趣区域面积,进一步确定当前的预览画面对应的场景标签。
下面结合图2,对本申请实施例提供的另一种场景识别方法进行进一步说明。
图2为本申请实施例所提供的另一种场景识别方法的流程示意图。
步骤201,对当前的预览画面进行感兴趣区域识别,以确定当前的预览画面中包括的各感兴趣区域,以及每个感兴趣区域对应的面积。
需要说明的是,预览画面中细节较为丰富的纹理区域,可能分布在预览画面中的多个不连续的区域,因此,识别出的感兴趣区域可能有多个,并且各感兴趣区域的面积不同。即在本申请实施例一种可能的实现形式中,识别出当前的预览画面包括的多个感兴趣区域后,还可以确定出每个感兴趣区域对应的面积。
步骤202,利用预设的场景识别模型,分别对所述各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签。
步骤203,对所述每个感兴趣区域对应的场景标签进行统计,确定所述当前的预览画面对应的各场景标签的数量。
上述步骤203-203的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
步骤204,根据所述当前的预览画面对应的各场景标签的数量及各场景标签对应的感兴趣区域总面积,确定所述当前的预览画面对应的场景标签。
需要说明的是,在本申请实施例中,可以根据当前的预览画面中对应的各场景标签的数量以及各场景标签对应的感兴趣区域总面积,共同确定当前预览画面对应的场景标签。在本申请实施例一种可能的实现形式中,可以首先根据预览画面中各场景标签的数量确定当前的预览画面对应的场景标签,即可以将数量最大的场景标签确定为当前的预览画面对应的场景标签。由于预览画面中包含的各感兴趣区域的面积是不同的,因此若当前的预览画面对应的各场景标签中,数量最大的场景标签有多个,则可以进一步根据数量最大的各场景标签分别对应的感兴趣区域总面积,确定当前的预览画面对应的场景标签,即可以将对应的感兴趣区域总面积最大、且数量最大的场景标签,确定为当前的预览画面对应的场景标签。
举例来说,确定当前的预览画面中对应的数量最大的场景标签为“人像”和“建筑”,数量均为4个,而“人像”场景标签对应的感兴趣区域面积占预览画面总面积的30%,“建筑”场景标签对应的感兴趣区域面积占预览画面总面积的40%,则可以确定当前的预览画面对应的场景标签为“建筑”。
进一步的,预设的场景识别模型还可以同时输出各感兴趣区域对应的场景标签,以及各感兴趣区域的场景标签为确定出的场景标签的置信度。因此,若当前的预览画面中包含多个数量最大的场景标签,还可以根据数量最大的各场景标签的置信度,进一步确定当前的预览画面对应的场景标签。即在本申请实施例一种可能的实现形式中,上述步骤204,可以包括:
确定每个感兴趣区域对应的场景标签的置信度;
确定所述当前的预览画面对应第一场景标签的第一总置信度及对应第二场景标签的第二总置信度;
将所述第一总置信度及所述第二总置信度中的较大值对应的场景标签,确定为所述当前的预览画面对应的场景标签。
其中,每个感兴趣区域对应的场景标签的置信度,是指每个感兴趣区域对应的场景标签为确定出的场景标签的可信度,可以由预设的场景识别模型直接输出。第一场景标签与第二场景标签,是指当前的预览画面中包含的数量最大的场景标签。
需要说明的是,将当前的预览画面中各感兴趣区域的图像数据输入预设的场景识别模型之后,预设的场景识别模型可以同时输出各感兴趣区域对应的场景标签,以及该场景标签的置信度,因此,在本申请实施例一种可能的实现形式中,可以根据预设的场景识别模型的输出结果确定每个感兴趣区域对应的场景标签的置信度。
举例来说,将感兴趣区域A的图像数据输入预设的场景识别模型,预设的场景识别模型的输出为“80%夜景”,则可以确定感兴趣区域A对应的场景标签“夜景”的置信度为80%。
在本申请实施例一种可能的实现形式中,确定出当前的预览画面中每个感兴趣区域对应的场景标签的置信度之后,即可根据每个感兴趣区域对应的场景标签的置信度,确定第一场景标签的第一总置信度以及第二场景标签的第二总置信度,进而将第一总置信度与第二总置信度中的较大值对应的场景标签,确定为当前的预览画面对应的场景标签。
具体的,第一场景标签的第一总置信度,可以是第一场景标签对应的各感兴趣区域对应的场景标签的置信度的总和,也可以是第一场景标签对应的各感兴趣区域对应的场景标签的置信度的均值,第二场景标签的第二总置信度以相同的方式确定。
举例来说,假设将第一场景标签及第二场景标签分别对应的各感兴趣区域的场景标签的置信度的均值,确定为第一场景的第一总置信度以及第二场景的第二总置信度。当前的预览画面中数量最大的场景标签为“人像”和“建筑”,“人像”场景标签对应的感兴趣区域为感兴趣区域A和感兴趣区域B,“建筑”场景标签对应的感兴趣区域为感兴趣区域C和感兴趣区域D,感兴趣区域A对应“人像”场景标签的置信度为80%,感兴趣区域B对应“人像”场景标签的置信度为90%,感兴趣区域C对应“建筑”场景标签的置信度为75%,感兴趣区域D对应“建筑”场景标签的置信度为70%,则可以确定“人像”场景标签的总置信度为85%,“建筑”场景标签的总置信度为72.5%,因此,可以将“人像”场景标签确定为当前的预览画面对应的场景标签。
步骤205,根据所述当前的预览画面对应的场景标签,确定目标拍摄模式。
上述步骤205的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
本申请实施例提供的场景识别方法,可以对当前的预览画面进行感兴趣区域识别,以确定当前的预览画面中包括的各感兴趣区域,以及每个感兴趣区域对应的面积,并分别对各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签,之后根据当前的预览画面对应的各场景标签的数量及各场景标签对应的感兴趣区域总面积,确定当前的预览画面对应的场景标签,进而根据当前的预览画面对应的场景标签,确定目标拍摄模式。由此,通过对当前的预览画面进行感兴趣区域识别并确定出每个感兴趣区域的面积,之后根据各场景标签的数量及各场景标签对应的感兴趣区域总面积,确定当前的预览画面对应的场景标签,从而不仅降低了预览画面中多种画面内容的相互干扰,减少了场景识别的数据处理时间,而且进一步提高了场景识别的准确率,进一步改善了用户体验。
在本申请一种可能的实现形式中,根据当前的预览画面对应的场景标签确定的目标拍摄模式,可能是通过采集多帧图像并合成的方式进行拍摄。因此,在确定目标拍摄模式时,还可以确定出待采集的图像数量、每帧待采集图像对应的曝光时长、感光度等参数,以及对采集到的多帧图像进行合成的方式。
下面结合图3,对本申请实施例提供的另一种场景识别方法进行进一步说明。
图3为本申请实施例所提供的另一种场景识别方法的流程示意图。
如图3所示,该场景识别方法,包括以下步骤:
步骤301,对当前的预览画面进行感兴趣区域识别,以确定当前的预览画面中包括的各感兴趣区域,并利用预设的场景识别模型,分别对所述各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签。
步骤302,根据所述每个感兴趣区域对应的场景标签,确定所述当前的预览画面对应的场景标签。
上述步骤301-302的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
步骤303,根据所述当前的预览画面对应的场景标签,确定当前待采集的图像数量及每帧待采集图像对应的目标曝光量。
其中,曝光量,是指曝光时间内通过镜头的光线的数量。
在本申请实施例中,确定出当前的预览画面对应的场景标签之后,即可根据预览画面对应的场景标签与待采集的图像数量的映射关系,以及预览画面对应的场景标签与预设的曝光补偿模式的映射关系,确定出当前待采集的图像数量,以及预设的曝光补偿模式,之后根据当前拍摄场景的光照度,确定出基准曝光量,进而根据确定出的基准曝光量以及预设的曝光补偿模式,确定出每帧待采集图像对应的目标曝光量。
需要说明的是,实际使用时,预览画面对应的场景标签与待采集的图像数量的映射关系,以及预览画面对应的场景标签与预设的曝光补偿模式的映射关系,可以根据实际需要预设,本申请实施例对此不做限定。、
在本申请实施例一种可能的实现形式中,可以利用摄像模组中的测光模块,获取当前拍摄场景的光照度,并利用自动曝光控制(Auto Exposure Control,简称AEC)算法,确定当前光照度对应的基准曝光量。在采集多帧图像的拍摄模式中,每帧图像的曝光量可以是不同的,以获得具有不同动态范围的图像,使得合成后的图像具有更高的动态范围,提高图像的整体亮度和质量。即可以在采集每帧图像时,采用不同的曝光补偿模式,并根据曝光补偿模式以及根据当前的光照度确定出的基准曝光量,确定出每帧图像对应的目标曝光量。
在本申请实施例中,预设的曝光补偿模式,是指为每帧图像分别预设的曝光量(Exposure Value,简称EV)的组合。在曝光量最初的定义中,曝光量并不是指一个准确的数值,而是指“能够给出相同的曝光量的所有相机光圈与曝光时长的组合”。感光度、光圈和曝光时长确定了相机的曝光量,不同的参数组合可以产生相等的曝光量,即这些不同组合的EV值是一样的,比如,在感光度相同的情况下,使用1/125秒曝光时长和F/11的光圈组合,与使用1/250秒曝光时间与F/8.0快门的组合,获得的曝光量是相同的,即EV值是相同的。EV值为0时,是指感光度为100、光圈系数为F/1、曝光时长为1秒时获得的曝光量;曝光量增加一档,即曝光时长增加一倍,或者感光度增加一倍,或者光圈增加一档,EV值增加1,也就是说,1EV对应的曝光量是0EV对应的曝光量的两倍。如表1所示,为曝光时长、光圈、感光度分别单独变化时,与EV值的对应关系。
表1
摄影技术进入到数码时代之后,相机内部的测光功能已经非常强大,EV则经常用来表示曝光刻度上的一个级差,许多相机都允许设置曝光补偿,并通常用EV来表示。在这种情况下,EV是指相机测光数据对应的曝光量与实际曝光量的差值,比如+1EV的曝光补偿是指相对于相机测光数据对应的曝光量增加一档曝光,即实际曝光量为相机测光数据对应的曝光量的两倍。
在本申请实施例中,预设曝光补偿模式时,可以将确定的基准曝光量对应的EV值预设为0,+1EV是指增加一档曝光,即曝光量为基准曝光量的2倍,+2EV是指增加两档曝光,即曝光量为基准曝光量的4倍,-1EV是指减少一档曝光,即曝光量为基准曝光量的0.5倍等等。
举例来说,若待采集的图像数量为7帧,则预设的曝光补偿模式对应的EV值范围可以是[+1,+1,+1,+1,0,-3,-6]。其中,曝光补偿模式为+1EV的帧,可以解决噪声问题,通过亮度比较高的帧进行时域降噪,在提升暗部细节的同时抑制噪声;曝光补偿模式为-6EV的帧,可以解决高光过曝的问题,保留高光区域的细节;曝光补偿模式为0EV和-3EV的帧,则可以用于保持高光到暗区之间的过渡,保持较好的明暗过渡的效果。
需要说明的是,预设的曝光补偿模式对应的各EV值既可以是根据实际需要具体设置的,也可以是根据设置的EV值范围,并依据各EV值之间的差值相等的原则求得的,本申请实施例对此不做限定。
在本申请实施例一种可能的实现形式中,根据当前拍摄场景的光照度,通过ACE算法确定出基准曝光量之后,即可根据基准曝光量及根据当前的预览画面对应的场景标签确定出的预设的曝光补偿模式,确定每帧图像对应的目标曝光量。
举例来说,若根据当前的预览画面对应的场景标签,确定待采集的图像数量为7帧,预设的曝光补偿模式对应的EV值是[+1,+1,+1,+1,0,-3,-6]。根据当前拍摄环境的光照度确定的基准曝光量为X。之后即可根据基准曝光量X和预设的曝光补偿模式,确定每帧待采集图像对应的目标曝光量,假设第i帧图像对应的EV值为EVi,则其对应的目标曝光量为如EV值为0的待采集图像对应的目标曝光量为X,EV值为+1的待采集图像对应的目标曝光量为2·X,EV值为-3的待采集图像对应的目标曝光量为2-3·X。
步骤304,根据摄像模组当前的抖动程度,确定目标感光度。
其中,感光度,又称为ISO值,是值衡量底片对于光的灵敏程度的指标。对于感光度较低的底片,需要曝光更长的时间以达到跟感光度较高的底片相同的成像。数码相机的感光度是一种类似于胶卷感光度的一种指标,数码相机的ISO可以通过调整感光器件的灵敏度或者合并感光点来调整,也就是说,可以通过提升感光器件的光线敏感度或者合并几个相邻的感光点来达到提升ISO的目的。需要说明的是,无论是数码或是底片摄影,为了减少曝光时间,使用相对较高的感光度通常会引入较多的噪声,从而导致图像质量降低。
在本申请实施例中,目标感光度,是指根据摄像模组当前的抖动程度,确定的与当前的抖动程度相适应的最低感光度。
需要说明的是,在本申请实施例中,可以通过同时采集多帧感光度较低的图像,并将采集的多帧图像合成以生成目标图像的方式,不仅可以提升拍摄图像的动态范围和整体亮度,并且通过控制感光度的值,有效抑制图像中的噪声,提高拍摄图像的质量。
在本申请实施例中,可以通过获取电子设备当前的陀螺仪(Gyro-sensor)信息,确定手机当前的抖动程度,即摄像模组当前的抖动程度。
陀螺仪又叫角速度传感器,可以测量物理量偏转、倾斜时的转动角速度。在电子设备中,陀螺仪可以很好的测量转动、偏转的动作,从而可以精确分析判断出使用者的实际动作。电子设备的陀螺仪信息(gyro信息)可以包括手机在三维空间中三个维度方向上的运动信息,三维空间的三个维度可以分别表示为X轴、Y轴、Z轴三个方向,其中,X轴、Y轴、Z轴为两两垂直关系。
需要说明的是,在本申请实施例一种可能的实现形式中,可以根据电子设备当前的gyro信息,确定摄像模组当前的抖动程度。电子设备在三个方向上的gyro运动的绝对值越大,则摄像模组的抖动程度越大。具体的,可以预设在三个方向上gyro运动的绝对值阈值,并根据获取到的当前在三个方向上的gyro运动的绝对值之和,与预设的阈值的关系,确定摄像模组的当前的抖动程度。
举例来说,假设预设的阈值为第三阈值A、第四阈值B、第五阈值C,且A<B<C,当前获取到的在三个方向上gyro运动的绝对值之和为S。若S<A,则确定摄像模组当前的抖动程度为“无抖动”;若A<S<B,则可以确定摄像模组当前的抖动程度为“轻微抖动”;若B<S<C,则可以确定摄像模组当前的抖动程度为“小抖动”;若S>C,则可以确定摄像模组当前的抖动程度为“大抖动”。
需要说明的是,上述举例仅为示例性的,不能视为对本申请的限制。实际使用时,可以根据实际需要预设阈值的数量和各阈值的具体数值,以及根据gyro信息与各阈值的关系,预设gyro信息与摄像模组抖动程度的映射关系。
在本申请实施例一种可能的实现形式中,可以根据摄像模组当前的抖动程度,确定每帧图像的目标感光度,以使得拍摄时长控制在合适的范围内。具体的,若摄像模组当前的抖动程度较小,则可以将目标感光度适当压缩为较小的值,以有效抑制每帧图像的噪声、提高拍摄图像的质量;若摄像模组当前的抖动程度较大,则可以将目标感光度适当提高为较大的值,以缩短拍摄时长,避免抖动程度加剧引入的鬼影。
举例来说,若确定摄像模组当前的抖动程度为“无抖动”,则可以将感光度确定为较小的值,以尽量获得更高质量的图像,比如确定感光度为100;若确定摄像模组当前的抖动程度为“轻微抖动”,则可以将感光度确定为较大的值,以降低拍摄时长,比如确定感光度为200;若确定摄像模组当前的抖动程度为“小抖动”,则可以进一步增大感光度,以降低拍摄时长,比如确定感光度为220;若确定摄像模组当前的抖动程度为“大抖动”,则可以确定当前的抖动程度过大,此时可以进一步增大感光度,以降低拍摄时长,比如确定感光度为250。
步骤305,根据所述目标曝光量及所述目标感光度,确定每帧待采集图像对应的曝光时长。
其中,曝光时长,是指光线通过镜头的时间。
需要说明的是,曝光量与光圈、曝光时长和感光度有关。其中,光圈也就是通光口径,决定单位时间内光线通过的数量。当每帧待采集图像对应的感光度相同,并且光圈大小相同时,待采集图像对应的曝光量越大,该待采集图像对应的曝光时长越大。
在本申请实施例中,光圈的大小可以是不变的,因此,在确定出每帧待采集图像的目标曝光量以及目标感光度之后,即可根据目标感光度和目标曝光量,确定出每帧待采集图像对应的曝光时长,并且待采集图像对应的曝光时长与其目标曝光量呈正比关系。
在本申请实施例一种可能的实现形式中,还可以首先根据预设的目标感光度和基准曝光量,确定出基准曝光时长,进而根据基准曝光时长和预设的曝光补偿模式,确定每帧待采集图像对应的曝光时长。具体的,假设基准曝光时长为T,第i帧待采集图像的EV值为EVi,则第i帧待采集图像对应的曝光时长为
进一步的,在本申请实施例另一种可能的实现形式中,为了提高夜景拍摄图像的质量,还可以直接预设适用于夜景拍摄场景中的多种夜景模式,并在确定当前的预览画面对应的场景标签为“夜景”时,根据当前的预览画面中各区域对应的其他场景标签,进一步确定当前的夜景模式。其中,夜景模式中包括以该夜景模式采集图像时,待采集的图像数量、目标感光度、预设曝光补偿模式等拍摄参数,预设的夜景模式可以有脚架夜景模式、手持夜景模式、人像夜景模式等。
具体的,可以在确定当前的预览画面对应的场景标签为“夜景”时,进一步判断当前的预览画面中各区域对应的场景标签中是否包含“人像”场景标签,并对预览画面的内容进行亮度识别,以确定当前的基准曝光量。之后根据各区域对应的场景标签中是否包含“人像”场景标签以及摄像模组当前的抖动程度,确定当前的夜景模式。比如,摄像模组当前的抖动程度为“无抖动”,且当前的预览画面的各区域中未包含“人像”场景标签,则可以确定当前的夜景模式为“脚架夜景模式”;若摄像模组当前的抖动程度为“有抖动”,且当前的预览画面的各区域中未包含“人像”场景标签,则可以确定当前的夜景模式为“手持夜景模式”;若当前的预览画面的各区域中包含“人像”场景标签,则可以确定当前的夜景模式为“人像夜景模式”。
可以理解的是,在根据摄像模组当前的抖动程度以及当前的预览画面对应的场景标签以及各区域对应的其他场景标签,确定出当前的夜景模式以及当前的基准曝光量之后,即可以根据夜景模式中包含的待采集的图像数量、目标感光度、预设的曝光补偿模式,以及基准曝光量,确定各帧待采集图像对应的曝光时长。
进一步的,在本申请实施例一种可能的实现形式中,还可以设定各帧待采集图像对应的曝光时长所处的时长范围,以进一步提高拍摄图像的质量,并对曝光时长未处于设定的时长范围内的待采集图像对应的曝光时长进行调整,以使各帧待采集图像对应的曝光时长均处于设定的时长范围内。
具体的,若至少一帧待采集图像的曝光时长大于设定时长上限,则根据设定的时长上限,更新至少一帧待采集图像对应的曝光时长,其中,设定的时长上限取值范围为4.5s至5.5s;若至少一帧原始图像的曝光时长小于设定的时长下限,根据设定的时长下限,更新曝光时长小于设定时长下限的各帧原始图像的曝光时长,其中,时长下限大于或等于10ms;
举例来说,假设设定的时长下限为10ms,时长上限为4.5s,根据摄像模组当前的抖动程度,确定待采集的图像数量为7帧,确定出的每帧待采集图像对应的曝光时长分别为220ms、220ms、220ms、220ms、100ms、12.5ms、6.25ms,那么第7帧待采集图像的曝光时长小于设定的时长下限,则可以将第7帧曝光时长为6.25ms的待采集图像的曝光时长,更新为10ms。
进一步的,在对曝光时长小于设定的时长下限或大于设定的时长上限的待采集图像的曝光时长更新之后,会造成其曝光量的改变,从而可能导致更新曝光时长的待采集图像与其他未更新曝光时长的待采集图像的曝光时长相等或相近,即曝光量相等或相近,从而导致曝光补偿模式的改变,最终导致获取到的目标图像不符合期望。因此,在更新待采集图像的曝光时长之后,可以根据其更新前后曝光时长的比值,修改其他帧待采集图像的曝光时长或感光度。
在本申请实施例一种可能的实现形式中,可以首先确定更新曝光时长的待采集图像更新后的曝光时长与更新前的曝光时长之间的比值,并对曝光时长小于设定的时长上限且大于设定的时长下限的其余各帧待采集图像,根据确定出的比值,更新其余各帧待采集图像的目标感光度或曝光时长。具体的,可以将所述比值与其余各帧待采集图像更新前的目标感光度乘积,作为其余各帧待采集图像更新后的目标感光度;或者,将所述比值与其余各帧待采集图像更新前的曝光时长乘积,作为其余各帧待采集图像更新后的曝光时长。
步骤306,根据所述目标感光度及每帧待采集图像对应的曝光时长,依次采集多帧图像。
步骤307,将所述多帧图像进行合成处理,以生成目标图像。
在本申请实施例中,确定了出每帧待采集图像对应的曝光时长之后,即可根据目标感光度及曝光时长,依次采集多帧图像,并将采集的多帧图像进行合成处理,生成目标图像,以提高拍摄图像的质量。
进一步的,在对采集的多帧图像进行合成时,对于不同的图像,可以采用不同的权重值,以使生成的目标图像的质量更佳。即在本申请实施例一种可能的实现形式中,上述步骤307,可以包括:
根据预设的每帧图像对应的权重值,将所述多帧图像进行合成处理,以生成目标图像。
需要说明的是,在本申请实施例一种可能的实现形式中,可以按照预设的每帧图像对应的权重值,将采集的各帧完整图像依次进行叠加,以生成合成图像。其中,每帧图像对应的权重值可以是不同的,以在提高图像的整体亮度和暗区细节的同时,防止高亮区过曝,提升拍摄图像的整体质量。
在本申请实施例一种可能的实现形式中,可以每帧图像对应的权重值,可以根据每帧图像对应的曝光补偿模式(即EV值)预设,即可以预设EV值与权重值的映射关系,进而根据每帧图像对应的EV值,以及预设的EV值与权重值的预设关系,确定出每帧图像对应的权重值,以对采集的多帧图像进行合成,生成目标图像。
实际使用时,每帧图像对应的权重值,可以根据实际需要预设,本申请实施例对此不做限定。
进一步的,在对采集的多帧图像进行合成时,图像中的不同区域可以采用不同的合成模式进行合成,以进一步提高合成的目标图像的质量。即在本申请实施例一种可能的实现形式中,上述步骤307,可以包括:
根据所述每个感兴趣区域对应的场景标签,确定每个感兴趣区域对应的合成模式;
根据所述每个感兴趣区域对应的合成模式,将所述多帧图像中的每个感兴趣区域依次进行合成处理;
根据预设的每帧图像对应的权重值,将所述多帧图像中的非感兴趣区域进行合成处理,以生成目标图像。
在本申请实施例一种可能的实现形式中,在对采集的多帧图像进行合成时,图像中每个感兴趣区域对应的场景标签不同,其在合成时采用的合成模式也可以是不同的。比如,当前的预览画面对应的场景标签所对应的各感兴趣区域的合成模式,可以与其他感兴趣区域的合成模式不同,并将预览画面对应的场景标签所对应的各感兴趣区域的合成模式,预设为更优的合成模式,以进一步提高预览画面对应的场景标签所对应的各感兴趣区域的图像质量。
举例来说,若将当前的预览画面包括3个感兴趣区域,第一感兴趣区域对应的场景标签为“建筑”,第二感兴趣区域和第三感兴趣区域对应的场景标签为“人像”,则可以确定当前的预览画面对应的场景标签为“人像”,那么在对采集的多帧图像进行合成时,各帧图像中的第二感兴趣区域与第三感兴趣区域对应的图像合成模式是相同的,而第二感兴趣区域、第三感兴趣区域与第一感兴趣区域对应的合成模式是不同的,比如,对应的权重值是不同的。
在本申请实施例一种可能的实现形式中,在对采集的多帧图像进行合成时,可以采用预设的每帧图像对应的权重值,对多帧图像中对应的非感兴趣区域进行合成,以生成目标图像。其中预设的每帧图像对应的权重值,可以是预设的每帧图像的EV值对应的权重值。
本申请实施例提供的场景识别方法,可以对当前的预览画面进行感兴趣区域识别,并分别对各感兴趣区域进行场景识别,以确定当前的预览画面对应的场景标签,之后根据当前的预览画面对应的场景标签,确定当前待采集的图像数量及每帧待采集图像对应的目标曝光量,并根据摄像模组当前的抖动程度,确定目标感光度,进而根据目标曝光量及目标感光度,确定每帧待采集图像对应的曝光时长,并根据目标感光度及每帧待采集图像对应的曝光时长,依次采集多帧图像并进行合成。由此,通过当前的预览画面对应的场景标签,采集多帧图像并进行合成,以生成拍摄图像,从而不仅提高了场景识别的准确率,而且可以根据确定出的场景标签,以相应的目标拍摄模式采集多帧图像并合成,进一步提高了拍摄图像的质量,改善了用户体验。
为了实现上述实施例,本申请还提出一种场景识别装置。
图4为本申请实施例提供的一种场景识别装置的结构示意图。
如图4所示,该场景识别装置40,包括:
第一识别模块41,用于对当前的预览画面进行感兴趣区域识别,以确定当前的预览画面中包括的各感兴趣区域;
第二识别模块42,用于利用预设的场景识别模型,分别对所述各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签;
第一确定模块43,用于根据所述每个感兴趣区域对应的场景标签,确定所述当前的预览画面对应的场景标签;
第二确定模块44,用于根据所述当前的预览画面对应的场景标签,确定目标拍摄模式。
在实际使用时,本申请实施例提供的场景识别装置,可以被配置在任意电子设备中,以执行前述场景识别方法。
本申请实施例提供的场景识别装置,可以对当前预览画面进行感兴趣区域识别,以确定当前预览画面中包括的各感兴趣区域,并利用预设的场景识别模型,分别对各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签,之后根据每个感兴趣区域对应的场景标签,确定当前的预览画面对应的场景标签,进而根据当前的预览画面对应的场景标签,确定目标拍摄模式。由此,通过对当前的预览画面进行感兴趣区域识别,并根据各感兴趣区域对应的场景标签,确定当前的预览画面对应的场景标签,从而不仅降低了预览画面中多种画面内容的相互干扰,提高了场景识别的准确率,而且仅对感兴趣区域进行场景识别,减少了场景识别的数据处理时间,改善了用户体验。
在本申请一种可能的实现形式中,上述第一确定模块43,具体用于:
对所述每个感兴趣区域对应的场景标签进行统计,确定所述当前的预览画面对应的各场景标签的数量;
将数量最大的场景标签,确定为所述当前的预览画面对应的场景标签。
进一步的,在本申请另一种可能的实现形式中,若数量最大的场景标签包括第一场景标签及第二场景标签,则上述场景识别装置40,还包括:
第三确定模块,用于确定每个感兴趣区域对应的场景标签的置信度;
相应的,上述第一确定模块43,还用于:
确定所述当前的预览画面对应第一场景标签的第一总置信度及对应第二场景标签的第二总置信度;
将所述第一总置信度及所述第二总置信度中的较大值对应的场景标签,确定为所述当前的预览画面对应的场景标签。
进一步的,在本申请再一种可能的实现形式中,上述场景识别装置40,还包括:
第四确定模块,用于确定每个感兴趣区域对应的面积;
相应的,上述第一确定模块43,还用于:
对所述每个感兴趣区域对应的场景标签进行统计,确定所述当前的预览画面对应的各场景标签的数量;
根据所述当前的预览画面对应的各场景标签的数量及各场景标签对应的感兴趣区域总面积,确定所述当前的预览画面对应的场景标签。
在本申请一种可能的实现形式中,上述第二确定模块44,具体用于:
确定当前待采集的图像数量及每帧待采集图像对应的目标曝光量;
根据摄像模组当前的抖动程度,确定目标感光度;
根据所述目标曝光量及所述目标感光度,确定每帧待采集图像对应的曝光时长。
进一步的,在本申请另一种可能的实现形式中,上述场景识别装置40,还包括:
采集模块,用于根据所述目标感光度及每帧待采集图像对应的曝光时长,依次采集多帧图像;
合成模块,用于将所述多帧图像进行合成处理,以生成目标图像。
进一步的,在本申请再一种可能的实现形式中,上述合成模块,具体用于:
根据所述每个感兴趣区域对应的场景标签,确定每个感兴趣区域对应的合成模式;
根据所述每个感兴趣区域对应的合成模式,将所述多帧图像中的每个感兴趣区域依次进行合成处理;
根据预设的每帧图像对应的权重值,将所述多帧图像中的非感兴趣区域进行合成处理,以生成目标图像。
进一步的,在本申请又一种可能的实现形式中,上述合成模块,还用于:
根据预设的每帧图像对应的权重值,将所述多帧图像进行合成处理,以生成目标图像。
需要说明的是,前述对图1、图2、图3所示的场景识别方法实施例的解释说明也适用于该实施例的场景识别装置40,此处不再赘述。
本申请实施例提供的场景识别装置,可以对当前的预览画面进行感兴趣区域识别,以确定当前的预览画面中包括的各感兴趣区域,以及每个感兴趣区域对应的面积,并分别对各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签,之后根据当前的预览画面对应的各场景标签的数量及各场景标签对应的感兴趣区域总面积,确定当前的预览画面对应的场景标签,进而根据当前的预览画面对应的场景标签,确定目标拍摄模式。由此,通过对当前的预览画面进行感兴趣区域识别并确定出每个感兴趣区域的面积,之后根据各场景标签的数量及各场景标签对应的感兴趣区域总面积,确定当前的预览画面对应的场景标签,从而不仅降低了预览画面中多种画面内容的相互干扰,减少了场景识别的数据处理时间,而且进一步提高了场景识别的准确率,进一步改善了用户体验。
为了实现上述实施例,本申请还提出一种电子设备。
图5为本申请实施例提供的电子设备的结构示意图。
如图5所示,上述电子设备200包括:摄像模组201、存储器210、处理器220及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现本申请实施例所述的场景识别方法。
如图6所示,本申请实施例提供的电子设备200还可以包括:
存储器210及处理器220,连接不同组件(包括存储器210和处理器220)的总线230,存储器210存储有计算机程序,当处理器220执行所述程序时实现本申请实施例所述的场景识别方法。
总线230表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备200典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备200访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器210还可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统260可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块270的程序/实用工具280,可以存储在例如存储器210中,这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。
电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信,还可与一个或者多个使得用户能与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且,电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器293通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器220通过运行存储在存储器210中的程序,从而执行各种功能应用以及数据处理。
需要说明的是,本实施例的电子设备的实施过程和技术原理参见前述对本申请实施例的场景识别方法的解释说明,此处不再赘述。
本申请实施例提供的电子设备,可以执行如前所述的场景识别方法,对当前预览画面进行感兴趣区域识别,以确定当前预览画面中包括的各感兴趣区域,并利用预设的场景识别模型,分别对各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签,之后根据每个感兴趣区域对应的场景标签,确定当前的预览画面对应的场景标签,进而根据当前的预览画面对应的场景标签,确定目标拍摄模式。由此,通过对当前的预览画面进行感兴趣区域识别,并根据各感兴趣区域对应的场景标签,确定当前的预览画面对应的场景标签,从而不仅降低了预览画面中多种画面内容的相互干扰,提高了场景识别的准确率,而且仅对感兴趣区域进行场景识别,减少了场景识别的数据处理时间,改善了用户体验。
为了实现上述实施例,本申请还提出一种计算机可读存储介质。
其中,该计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,以实现本申请实施例所述的场景识别方法。
为了实现上述实施例,本申请再一方面实施例提供一种计算机程序,该程序被处理器执行时,以实现本申请实施例所述的场景识别方法。
一种可选实现形式中,本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中,远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备,或者,可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (11)

1.一种场景识别方法,其特征在于,包括:
对当前的预览画面进行感兴趣区域识别,以确定当前的预览画面中包括的各感兴趣区域;
利用预设的场景识别模型,分别对所述各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签;
根据所述每个感兴趣区域对应的场景标签,确定所述当前的预览画面对应的场景标签;
根据所述当前的预览画面对应的场景标签,确定目标拍摄模式。
2.如权利要求1所述的方法,其特征在于,根据所述每个感兴趣区域对应的场景标签,确定所述当前的预览画面对应的场景标签,包括:
对所述每个感兴趣区域对应的场景标签进行统计,确定所述当前的预览画面对应的各场景标签的数量;
将数量最大的场景标签,确定为所述当前的预览画面对应的场景标签。
3.如权利要求2所述的方法,其特征在于,若数量最大的场景标签包括第一场景标签及第二场景标签,则所述确定每个感兴趣区域对应的场景标签之后,还包括:
确定每个感兴趣区域对应的场景标签的置信度;
所述确定所述当前的预览画面对应的场景标签,包括:
确定所述当前的预览画面对应第一场景标签的第一总置信度及对应第二场景标签的第二总置信度;
将所述第一总置信度及所述第二总置信度中的较大值对应的场景标签,确定为所述当前的预览画面对应的场景标签。
4.如权利要求1所述的方法,其特征在于,所述确定当前预览画面中包括的各感兴趣区域之后,还包括:
确定每个感兴趣区域对应的面积;
所述确定所述当前的预览画面对应的场景标签,包括:
对所述每个感兴趣区域对应的场景标签进行统计,确定所述当前的预览画面对应的各场景标签的数量;
根据所述当前的预览画面对应的各场景标签的数量及各场景标签对应的感兴趣区域总面积,确定所述当前的预览画面对应的场景标签。
5.如权利要求1-4任一所述的方法,其特征在于,所述确定目标拍摄模式,包括:
确定当前待采集的图像数量及每帧待采集图像对应的目标曝光量;
根据摄像模组当前的抖动程度,确定目标感光度;
根据所述目标曝光量及所述目标感光度,确定每帧待采集图像对应的曝光时长。
6.如权利要求5所述的方法,其特征在于,所述确定目标拍摄模式之后,还包括:
根据所述目标感光度及每帧待采集图像对应的曝光时长,依次采集多帧图像;将所述多帧图像进行合成处理,以生成目标图像。
7.如权利要求6所述的方法,其特征在于,所述将所述多帧图像进行合成处理,以生成目标图像包括:
根据所述每个感兴趣区域对应的场景标签,确定每个感兴趣区域对应的合成模式;
根据所述每个感兴趣区域对应的合成模式,将所述多帧图像中的每个感兴趣区域依次进行合成处理;
根据预设的每帧图像对应的权重值,将所述多帧图像中的非感兴趣区域进行合成处理,以生成目标图像。
8.如权利要求6所述的方法,其特征在于,所述将所述多帧图像进行合成处理,以生成目标图像包括:
根据预设的每帧图像对应的权重值,将所述多帧图像进行合成处理,以生成目标图像。
9.一种场景识别装置,其特征在于,包括:
第一识别模块,用于对当前的预览画面进行感兴趣区域识别,以确定当前的预览画面中包括的各感兴趣区域;
第二识别模块,用于利用预设的场景识别模型,分别对所述各感兴趣区域进行场景识别,以确定每个感兴趣区域对应的场景标签;
第一确定模块,用于根据所述每个感兴趣区域对应的场景标签,确定所述当前的预览画面对应的场景标签;
第二确定模块,用于根据所述当前的预览画面对应的场景标签,确定目标拍摄模式。
10.一种电子设备,其特征在于,包括:所述摄影模组、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-8中任一项所述的场景识别方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一项所述的场景识别方法。
CN201910193668.5A 2019-03-14 2019-03-14 场景识别方法、装置、电子设备及存储介质 Pending CN109995999A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910193668.5A CN109995999A (zh) 2019-03-14 2019-03-14 场景识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910193668.5A CN109995999A (zh) 2019-03-14 2019-03-14 场景识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN109995999A true CN109995999A (zh) 2019-07-09

Family

ID=67130668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910193668.5A Pending CN109995999A (zh) 2019-03-14 2019-03-14 场景识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN109995999A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1496110A (zh) * 2002-08-09 2004-05-12 ������������ʽ���� Roi设置方法和设备、电子照相机设备、程序和记录介质
US20120281132A1 (en) * 2010-11-08 2012-11-08 Yasunobu Ogura Image capturing device, image capturing method, program, and integrated circuit
US20150286638A1 (en) * 2012-11-09 2015-10-08 Orbeus, Inc. System, method and apparatus for scene recognition
CN106101522A (zh) * 2015-04-30 2016-11-09 汤姆逊许可公司 使用非光场成像设备获得光场数据的方法和设备
CN106134176A (zh) * 2014-04-03 2016-11-16 高通股份有限公司 用于多焦点成像的系统和方法
CN106933527A (zh) * 2017-03-10 2017-07-07 广东欧珀移动通信有限公司 一种移动终端的显示控制方法、装置及移动终端
CN108710847A (zh) * 2018-05-15 2018-10-26 北京旷视科技有限公司 场景识别方法、装置及电子设备
CN108875820A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 信息处理方法和装置、电子设备、计算机可读存储介质
CN109086742A (zh) * 2018-08-27 2018-12-25 Oppo广东移动通信有限公司 场景识别方法、场景识别装置及移动终端
CN109218628A (zh) * 2018-09-20 2019-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN109218609A (zh) * 2018-07-23 2019-01-15 麒麟合盛网络技术股份有限公司 图像构图方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1496110A (zh) * 2002-08-09 2004-05-12 ������������ʽ���� Roi设置方法和设备、电子照相机设备、程序和记录介质
US20120281132A1 (en) * 2010-11-08 2012-11-08 Yasunobu Ogura Image capturing device, image capturing method, program, and integrated circuit
US20150286638A1 (en) * 2012-11-09 2015-10-08 Orbeus, Inc. System, method and apparatus for scene recognition
CN106134176A (zh) * 2014-04-03 2016-11-16 高通股份有限公司 用于多焦点成像的系统和方法
CN106101522A (zh) * 2015-04-30 2016-11-09 汤姆逊许可公司 使用非光场成像设备获得光场数据的方法和设备
CN106933527A (zh) * 2017-03-10 2017-07-07 广东欧珀移动通信有限公司 一种移动终端的显示控制方法、装置及移动终端
CN108710847A (zh) * 2018-05-15 2018-10-26 北京旷视科技有限公司 场景识别方法、装置及电子设备
CN108875820A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 信息处理方法和装置、电子设备、计算机可读存储介质
CN109218609A (zh) * 2018-07-23 2019-01-15 麒麟合盛网络技术股份有限公司 图像构图方法及装置
CN109086742A (zh) * 2018-08-27 2018-12-25 Oppo广东移动通信有限公司 场景识别方法、场景识别装置及移动终端
CN109218628A (zh) * 2018-09-20 2019-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109218628A (zh) 图像处理方法、装置、电子设备及存储介质
CN109348089A (zh) 夜景图像处理方法、装置、电子设备及存储介质
CN109005366A (zh) 摄像模组夜景摄像处理方法、装置、电子设备及存储介质
CN109218627A (zh) 图像处理方法、装置、电子设备及存储介质
US11081137B2 (en) Method and device for processing multimedia information
JP6946188B2 (ja) 複数技術奥行きマップ取得および融合のための方法および装置
CN109919116A (zh) 场景识别方法、装置、电子设备及存储介质
US11532076B2 (en) Image processing method, electronic device and storage medium
CN109729274A (zh) 图像处理方法、装置、电子设备及存储介质
CN109361853A (zh) 图像处理方法、装置、电子设备及存储介质
CN108900782A (zh) 曝光控制方法、装置以及电子设备
CN110290289A (zh) 图像降噪方法、装置、电子设备以及存储介质
CN103533228B (zh) 用于从多个图像产生完美拍摄成像的方法和系统
CN105227857A (zh) 一种自动曝光的方法和装置
CN109618102A (zh) 对焦处理方法、装置、电子设备及存储介质
CN109714539B (zh) 基于姿态识别的图像采集方法、装置及电子设备
CN109688340A (zh) 曝光时间控制方法、装置、电子设备及存储介质
WO2019029573A1 (zh) 图像虚化方法、计算机可读存储介质和计算机设备
CN110971814B (zh) 一种拍摄调整方法、装置、电子设备及存储介质
CN114079726A (zh) 一种拍摄方法及设备
CN109995999A (zh) 场景识别方法、装置、电子设备及存储介质
CN112508959B (zh) 视频目标分割方法、装置、电子设备及存储介质
CN113709355B (zh) 滑动变焦的拍摄方法及电子设备
CN110971812B (zh) 一种拍摄方法、装置、电子设备及存储介质
CN116708996B (zh) 一种拍照方法、图像优化模型训练方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190709

RJ01 Rejection of invention patent application after publication