CN113938752A - 一种处理方法及装置 - Google Patents
一种处理方法及装置 Download PDFInfo
- Publication number
- CN113938752A CN113938752A CN202111443915.6A CN202111443915A CN113938752A CN 113938752 A CN113938752 A CN 113938752A CN 202111443915 A CN202111443915 A CN 202111443915A CN 113938752 A CN113938752 A CN 113938752A
- Authority
- CN
- China
- Prior art keywords
- frame image
- area
- target
- image
- target frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 53
- 230000000007 visual effect Effects 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 33
- 230000009471 action Effects 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种处理方法,该方法包括:在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得至少一第一帧图像,第一帧图像中的第一区域具有第一显示参数;基于至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,将目标帧图像显示输出至第二电子设备,第二帧图像中对应第一区域的第二区域具有第二显示参数;其中,目标帧图像中对应第二区域的区域具有第一显示参数,目标帧图像在第一显示参数下的视觉效果优于其在第二显示参数下的视觉效果。本申请实施例同时还公开了一种处理装置。
Description
技术领域
本申请涉及图像处理领域中的处理技术,尤其涉及一种处理方法及装置。
背景技术
线上直播授课在近年是一种热门的授课方式,目前的线上直播授课,可以将老师在黑板上所书写的内容进行输出;但是,老师在黑板上书写时会遮挡黑板,导致输出的图像中存在黑板上的内容被遮挡的情况,影响黑板上的书写的内容的呈现。
发明内容
本申请的技术方案是这样实现的:
一种处理方法,包括:
在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得至少一第一帧图像,所述第一帧图像中的第一区域具有第一显示参数;
基于所述至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,将所述目标帧图像显示输出至所述第二电子设备,所述第二帧图像中对应所述第一区域的第二区域具有第二显示参数;
其中,所述目标帧图像中对应所述第二区域的区域具有第一显示参数,所述目标帧图像在所述第一显示参数下的视觉效果优于其在所述第二显示参数下的视觉效果。
上述方案中,其中,所述获得至少一第一帧图像,包括:
获得第一对象的运动信息和第二对象的位置信息,在基于所述运动信息和所述位置信息确定所述第一对象与所述第二对象之间不存在遮挡关系的情况下,获得所述至少一第一帧图像;或,
获得第一电子设备采集得到的至少一第三帧图像,对所述第三帧图像进行处理,得到所述至少一第一帧图像,其中,第二对象在所述第三帧图像中的显示参数与其在所述第一帧图像中的显示参数不同;或,
在获得第二帧图像的情况下,获得至少一第一帧图像。
上述方案中,其中,所述在基于所述运动信息和所述位置信息确定所述第一对象与所述第二对象之间不存在遮挡关系的情况下,获得所述至少一第一帧图像,包括:
基于所述运动信息和所述位置信息确定所述第一对象遮挡所述第二对象的第一时刻;
获得所述第一时刻之前的至少一第二时刻的至少一第一帧图像,所述第二时刻是第一对象未遮挡所述第二对象的至少第一区域的时刻;或,
获得所述第一时刻之后的至少一第三时刻的至少一第一帧图像,所述第三时刻是第一对象未遮挡所述第二对象的至少第一区域的时刻。
上述方案中,其中,所述对所述第三帧图像进行处理,得到所述至少一第一帧图像,包括:
基于第二对象在所述第三帧图像中的显示参数对所述第三帧图像进行编辑处理,得到所述至少一第一帧图像;或,
对至少一第三帧图像至少进行合成处理,得到所述至少一第一帧图像。
上述方案中,其中,所述基于所述至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,包括:
至少利用所述第一区域的图像内容替换所述第二区域的图像内容,得到所述目标帧图像;或,
将所述第一帧图像叠加至对应的第二帧图像上,得到所述目标帧图像。
上述方案中,其中,所述基于所述至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,包括:
将第二时刻获得的第二帧图像中的第一对象的显示参数调整至第三显示参数;
利用所述第一帧图像中对应所述第一对象所在区域的图像内容替换所述第二帧图像中处于第三显示参数的区域的图像内容得到所述目标帧图像,或,将所述第一帧图像中对应所述第一对象所在区域的图像叠加至所述第二帧图像中处于第三显示参数的区域得到所述目标帧图像。
上述方案中,所述基于所述至少一第一帧图像对所述第二帧图像进行处理,得到目标帧图像,将所述目标帧图像显示输出至所述第二电子设备,包括:
获得第一对象在所述第一帧图像和所述第二帧图像中的显示信息,基于所述显示信息调整所述第一对象与所述第二对象之间的位置关系,或创建与所述第一对象对应的虚拟对象,将所述第一对象或所述虚拟对象同所述目标帧图像显示输出至所述第二电子设备。
上述方案中,其中,所述将所述第一对象或所述虚拟对象同所述目标帧图像显示输出至所述第二电子设备,包括:
以平铺显示方式,将所述第一对象或所述虚拟对象同所述目标帧图像显示输出至所述第二电子设备上;或,
以叠层显示方式,将所述第一对象或所述虚拟对象同所述目标帧图像显示输出至所述第二电子设备上。
上述方案中,所述将所述第一对象或所述虚拟对象同所述目标帧图像显示输出至所述第二电子设备上,包括:
确定所述第一对象或所述虚拟对象作用于所述第二对象的动作信息;
基于所述动作信息,确定所述第一对象或所述虚拟对象的操作轨迹;
将所述第一对象、所述第一对象的操作轨迹和所述目标帧图像显示输出至所述第二电子设备上,或将所述虚拟对象、所述虚拟对象的操作轨迹和所述目标帧图像显示输出至所述第二电子设备上。
一种处理装置,包括:
获取单元,用于在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得至少一第一帧图像,所述第一帧图像中的第一区域具有第一显示参数;
处理单元,用于基于所述至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,将所述目标帧图像显示输出至所述第二电子设备,所述第二帧图像中对应所述第一区域的第二区域具有第二显示参数;
其中,所述目标帧图像中对应所述第二区域的区域具有第一显示参数,所述目标帧图像在所述第一显示参数下的视觉效果优于其在所述第二显示参数下的视觉效果。
一种第一电子设备,包括:存储器、处理器和通信总线;
所述通信总线用于实现所述处理器和所述存储器之间的通信连接;
所述处理器用于执行所述存储器中存储的处理程序,以实现以下步骤:
在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得至少一第一帧图像,所述第一帧图像中的第一区域具有第一显示参数;
基于所述至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,将所述目标帧图像显示输出至所述第二电子设备,所述第二帧图像中对应所述第一区域的第二区域具有第二显示参数;
其中,所述目标帧图像中对应所述第二区域的区域具有第一显示参数,所述目标帧图像在所述第一显示参数下的视觉效果优于其在所述第二显示参数下的视觉效果。
一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述处理方法的步骤。
本申请实施例所提供的处理方法或装置,在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得至少一第一帧图像,第一帧图像中的第一区域具有第一显示参数;基于至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,将目标帧图像显示输出至第二电子设备,第二帧图像中对应第一区域的第二区域具有第二显示参数;其中,目标帧图像中对应第二区域的区域具有第一显示参数,目标帧图像在第一显示参数下的视觉效果优于其在第二显示参数下的视觉效果;如此,可以采用第一帧图像对第二帧图像进行处理,得到目标帧图像,使得目标帧图像在第一帧图像的第一区域的第一显示参数下的视觉效果,优于目标帧图像在第二帧图像中与第一区域对应的第二区域的第二显示参数下的视觉效果,也就是说,得到的目标帧图像的视觉效果明显优于第二帧图像的视觉效果,在输出时用目标帧图像替换第二帧图像输出,提高了输出的图像的视觉效果,提高了图像输出时的清晰度、准确率、及时性等。
附图说明
图1为本申请实施例提供的一种处理方法的流程示意图;
图2为本申请实施例提供的另一种处理方法的流程示意图;
图3为本申请实施例提供的又一种处理方法的流程示意图;
图4为本申请实施例提供的处理方法的一种应用场景示意图;
图5为本申请实施例提供的处理方法的另一种应用场景示意图;
图6为本申请实施例提供的处理方法的又一种应用场景示意图;
图7为本申请实施例提供的处理方法的又一种应用场景示意图;
图8为本申请实施例提供的处理方法的又一种应用场景示意图;
图9为本申请实施例提供的一种处理装置的结构示意图;
图10为本申请实施例提供的一种第一电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请的实施例提供一种处理方法,参照图1所示,该方法包括以下步骤:
步骤101、在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得至少一第一帧图像。
其中,第一帧图像中的第一区域具有第一显示参数;第一显示参数可以是第一区域的第一显示内容或第一区域的第一像素信息。
在本申请实施例中,在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中可以实时采集针对对象的视频流,并对视频流对应的多帧图像进行筛选,确定至少一第一帧图像;还可以是在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,通过实时检测对象的变化信息,来获取至少一第一帧图像。
在一种可行的实现方式中,在实时直播的场景下,第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,第一电子设备可以实时采集目标取景范围内针对特定对象的视频流,基于黑板与人之间的位置变化从视频流对应的多帧图像中确定至少一第一帧图像;或第一电子设备将视频流发送至第三电子设备,通过第三电子设备,基于黑板和人之间的位置变化从针对特定对象的视频流对应的多帧图像中确定至少一第一帧图像。
步骤102、基于至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,将目标帧图像显示输出至第二电子设备,第二帧图像中对应第一区域的第二区域具有第二显示参数。
其中,目标帧图像中对应第二区域的区域具有第一显示参数,目标帧图像在第一显示参数下的视觉效果优于其在第二显示参数下的视觉效果。
需要说明的是,第一帧图像可以是在获取第二帧图像之前获取的,第一帧图像还可以是在获取第二帧图像之后获取的,第一帧图像和第二帧图像还可以是同时获取的。其中,第二帧图像的第二区域的第二显示参数与第一帧图像的第一区域的第一显示参数不同,第二帧图像中第二区域的图像的视觉效果优于第一帧图像中第一区域的图像的视觉效果。
在本申请实施例中,可以对第一帧图像和第二帧图像进行分析,确定目标处理方式,并采用目标处理方式,基于至少一第一帧图像对第二帧图像进行处理,得到目标帧图像。下述结合应用场景对得到目标帧图像的过程进行详细的解释说明。
在一种可行的实现方式中,在实时直播例如授课场景中,当对第二帧图像进行分析,确定采集的第二帧图像中第二对象,如黑板的区域完全被第一对象如人遮挡时,若第一帧图像的数量为1个且第一帧图像中黑板的区域未被遮挡,可以将第一帧图像作为目标帧图像,并采用目标帧图像代替第二帧图像进行显示输出;在另一种可行的实现方式中,当对第一帧图像和第二帧图像进行分析,确定采集的第二帧图像中黑板的区域完全被人遮挡时,若第一帧图像的数量为多个,且每一第一帧图像中存在黑板的部分区域被遮挡,则可以对多个第一帧图像进行剪切,从每个第一帧图像中提取黑板未被遮挡的部分区域图像,并基于多个部分区域中每个部分区域在黑板中的位置,对多个部分区域的图像进行合成,得到目标帧图像。
在另一种可行的实现方式中,在实时直播场景中,当对第二帧图像进行分析,确定采集的第二帧图像中黑板的部分区域被遮挡时,若第一帧图像的数量为1个且第一帧图像中与黑板的部分区域对应的区域未被遮挡,则可以确定采用第一帧图像替换第二帧图像,也就是说,将第一帧图像作为目标帧图像进行显示输出;其中,第一帧图像中第一区域未被遮挡。
当然,除了第二帧图像中第二区域(黑板的区域)被遮挡的应用场景,本申请实施例提供的处理方法还可以应用在第二帧图像中存在模糊内容的应用场景中,具体可以是采集得到的第二帧图像中第二区域的内容是模糊的,如果直接输出第二帧图像,使得直播时观看的用户无法看清第二区域的内容,将影响直播的效果,还会影响直播的收视率,因此,可以采用具有与第二区域对应的第一区域的第一帧图像来对第二帧图像进行处理,得到目标帧图像,使得目标帧图像中与第二区域对应的区域的内容的清晰度高于第二帧图像中第一区域的内容的清晰度,并采用目标帧图像代替第二帧图像进行输出,保证了输出的图像的质量,提高了直播的效果。
本申请实施例所提供的处理方法,在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得至少一第一帧图像,第一帧图像中的第一区域具有第一显示参数;基于至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,将目标帧图像显示输出至第二电子设备,第二帧图像中对应第一区域的第二区域具有第二显示参数;其中,目标帧图像中对应第二区域的区域具有第一显示参数,目标帧图像在第一显示参数下的视觉效果优于其在第二显示参数下的视觉效果;如此,可以采用第一帧图像对第二帧图像进行处理,得到目标帧图像,使得目标帧图像在第一帧图像的第一区域的第一显示参数下的视觉效果,优于目标帧图像在第二帧图像中与第一区域对应的第二区域的第二显示参数下的视觉效果,也就是说,得到的目标帧图像的视觉效果明显优于第二帧图像的视觉效果,在输出时用目标帧图像替换第二帧图像输出,提高了输出的图像的视觉效果,提高了图像输出时的清晰度、准确率、及时性等。
基于前述实施例,本申请实施例提供一种处理方法,参照图2所示,该方法包括以下步骤:
步骤201、在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得第一对象的运动信息和第二对象的位置信息,在基于运动信息和位置信息确定第一对象与第二对象之间不存在遮挡关系的情况下,获得至少一第一帧图像。
其中,对象可以包括第一对象和第二对象;第一对象与第二对象之间存在遮挡关系,可以理解为第一对象和第二对象在第一电子设备的取景方向上存在遮挡关系。第一对象与第二对象之间存在遮挡关系包括第一对象与第二对象之间存在全遮挡关系,或第一对象与第二对象之间存在半遮挡关系;其中,全遮挡关系可以表征第二对象全部被第一对象遮挡,半遮挡关系可以表征部分第二对象被第一对象遮挡。
在本申请实施例中,在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,可以通过实时监测第一对象和第二对象,获取第一对象的运动信息和第二对象的位置信息。其中,第一对象的运动信息可以包括第一对象实时的位置信息、第一对象的位置变化信息以及第一对象的动作信息中的至少一个。
其中,第一对象的位置变化信息可以通过检测第一对象在物理空间上的位置变化来确定,还可以通过在目标取景范围内针对第一对象和第二对象采集的图像来确定。
在一种可行的实现方式中,实时检测第一对象在物理空间的位置,来获取第一对象在物理空间的位置信息,并根据第一对象在物理空间的位置信息确定第一对象在物理空间的位置变化信息,得到第一对象的位置变化信息;还可以通过实时监测第一对象,获取针对第一对象的视频流,并通过视频流对应的多帧图像进行分析确定第一对象在多帧图像中每帧图像中的位置信息和第一对象的动作信息,并根据确定的第一对象的多个位置信息确定第一对象在多帧图像中的位置变化信息,得到第一对象的位置变化信息。
在另一种可行的实现方式中,可以通过实时检测第二对象在物理空间上的位置,获取第二对象在物理空间的位置信息,得到第二对象的位置信息,还可以通过实时监测第一对象和第二对象,采集在目标取景范围内针对第一对象和第二对象的视频流,并对该视频流对应的多帧图像进行分析,确定第二对象在多帧图像中每一图像中的位置,得到第二对象的位置信息。
在本申请实施例中,可以根据第一对象的运动信息和第二对象的位置信息,确定第一对象与第二对象之间的距离,并基于第一对象与第二对象之间的距离,确定第二对象是否被第一对象遮挡;其中,当距离小于目标距离时,则确定第二对象被第一对象遮挡,即第一对象和第二对象之间存在遮挡关系,当距离大于或等于目标距离时,则确定第二对象未被第一对象遮挡,即第一对象和第二对象之间不存在遮挡关系。还可以是根据第一对象的位置信息和第二对象的位置信息确定第二对象是否被第一对象遮挡,当确定第一对象的位置信息和第二对象的位置信息相同时,则可以确定第二对象被第一对象遮挡。
获取至少一第一帧图像时,以当前时刻为例,第一电子设备可以获取第一对象的运动信息以及第二对象的位置信息,并将第一对象的运动信息和第二对象的位置信息发送至第三电子设备,当第三电子设备根据第一对象的运动信息和第二对象的位置信息确定在当前时刻第一对象与第二对象之间不存在遮挡关系的情况下,可以从第一电子设备采集的针对第一对象和第二对象的视频流中确定当前时刻对应的帧图像,并将当前时刻对应的帧图像作为第一帧图像。其中,第一帧图像的数量可以为至少一个。其中,还可以是第一电子设备根据获取的第一对象的运动信息和第二对象的位置信息,在确定在当前时刻第一对象与第二对象之间不存在遮挡关系的情况下,从采集的针对第一对象和第二对象的视频流中确定当前时刻对应的帧图像,并将当前时刻对应的帧图像作为第一帧图像。
需要说明的是,步骤201中在基于运动信息和位置信息确定第一对象与第二对象之间不存在遮挡关系的情况下,获得至少一第一帧图像,可以由步骤a1或步骤a2来实现:
步骤a1、基于运动信息和位置信息确定第一对象遮挡第二对象的第一时刻,获得第一时刻之前的至少一第二时刻的至少一第一帧图像。
其中,第二时刻是第一对象未遮挡第二对象的至少第一区域的时刻;其中,第一时刻可以是第一对象遮挡第二对象的至少第一区域的起始时刻。至少第一区域为第二对象遮挡的第一对象的区域。
在本申请实施例中,当基于运动信息和位置信息确定第二对象被第一对象遮挡时,则可以通过第二对象的位置信息和第一对象的位置信息,确定第一对象遮挡第二对象的至少第一区域的起始时刻,得到第一对象遮挡第二对象的至少第一区域的第一时刻。其中,至少一第一帧图像,可以是在第一对象遮挡第二对象的第一时刻之前获取的,也就是说,根据第一对象遮挡第二对象的至少第一区域的起始时刻,来获取第一对象未遮挡第二对象的至少第一区域之前的至少一第一帧图像。其中,每一第一帧图像中第一区域的至少部分区域未被遮挡。
在一种可行的实现方式中,第一帧图像的数量为一个时,获取的第一帧图像为与第二区域对应的第一区域未被遮挡的图像;在另一种可行的实现方式中,第一帧图像的数量为多个,获取的每一第一帧图像可以为与第二区域对应的第一区域中部分区域未被遮挡的图像。
步骤a2、获得第一时刻之后的至少一第三时刻的至少一第一帧图像。
其中,第三时刻是第一对象未遮挡第二对象的至少第一区域的时刻;其中,第三时刻具体可以为在视频流中第一对象遮挡第二对象的终止时刻之后的时刻。
在本申请实施例中,在确定第一对象被第二对象遮挡的情况下,可以实时获取第一对象的位置信息和第二对象的位置信息,并根据第一对象的位置信息和第二对象的位置信息,在目标取景范围内确定第二对象未被第一对象遮挡的第三时刻。
在一种可行的实现方式中,当确定黑板被人遮挡时,可以实时检测黑板被人遮挡的部分的位置和人的位置,以获取黑板被人遮挡的部分的位置信息和人的位置信息,在确定黑板被人遮挡的部分的位置信息和人的位置信息不存在交集的情况下,则表明人已经离开黑板,则可以确定检测到黑板被人遮挡的部分的位置信息和人的位置信息不存在交集的初始时刻为第三时刻,并可以在第三时刻之后获取黑板未被人遮挡的图像,得到至少一第一帧图像。其中,人遮挡黑板的区域为第一区域。
需要说明的是,第二时刻和第三时刻,还可以是根据第一电子设备的配置参数来确定的。在一种可行的实现方式中,第一电子设备为具有摄像机的设备,则可以根据摄像头的采集参数来确定第二时刻和第三时刻。
在一种可行的实现方式中,结合会议直播中的演示文稿(PowerPoint,PPT)播放场景,对得到一至少第一帧图像进行说明:在会议直播中,通过投影仪可以将PPT进行投影呈现,会议演讲者可以对投影呈现的PPT进行讲解,讲解过程中会议演讲者在运动时,存在投影出来的PPT被遮挡的现象,此时,直播的参会者并不能观看到PPT上被遮挡的内容,影响会议效果;因此,在确定投影出来的PPT被会议演讲者遮挡的情况下,可以根据实时获取的会议演讲者的位置信息以及投影出来的PPT被遮挡的部分的位置信息,来确定投影出来的PPT被遮挡的部分的位置信息和会议演讲者的位置信息不具有交集的初始时刻为第三时刻,并可以将第三时刻之后获取投影出来的PPT未被会议演讲者遮挡的图像,得到至少一第一帧图像;当然也可以根据实时获取的会议演讲者的位置信息以及投影出来的PPT的位置信息,确定投影出来的PPT的位置信息和会议演讲者的位置信息具有交集的初始时刻作为第一时刻,并可以在第一时刻之前获取投影出来的PPT未被会议演讲者遮挡的图像,得到至少一第一帧图像。
在另一种可行的实现方式中,在产品展示场景中推广者推广某个产品,对该产品进行展示介绍时,若此时推广者遮挡了产品的一部分,那么将导致产品的信息并不能完整呈现给直播的观众,不利于产品的推广;因此,本申请实施例中,可以实时获取产品被遮挡部分的位置信息以及推广者的位置信息,确定产品被遮挡部分的位置信息以及推广者的位置信息具有交集的初始时刻为第三时刻,并在第三时刻之后获取产品未被遮挡部分的图像,得到至少一第一帧图像;还可以是通过产品的位置信息和推广者的位置信息确定产品被遮挡的起始时刻作为第一时刻,并获取第一时刻之前产品未被遮挡的图像,得到至少一第一帧图像。
在本申请实施例中,若在第四时刻确定第一对象和第二对象存在遮挡关系,且第一对象和第二对象处于运动状态的情况下,则可以在第四时刻之后获取第第二对象处于静止状态且第一对象和第二对象不存在遮挡关系的图像作为目标帧图像。其中,第四时刻为任意时刻。
在一种可行的实现方式中,第一对象为人,第二对象为黑板,人在黑板上写字,此时不小心碰到了黑板,黑板出现晃动,此时人和黑板均处于运动状态,可以等到黑板处于静止状态,且人未遮挡黑板时的图像作为目标帧图像。
需要说明的是,可以通过获取的视频流中多帧图像的每一像素点的变化来确定第一对象和第二对象是否存在遮挡关系,提高了确定第一对象和第二对象是否存在遮挡关系的准确率以及提高了确定第一对象遮挡的第二对象的区域的准确率。
此外,还可以通过监测视频流中每帧图像的多个目标区域的像素点的像素值的变化来确定第一对象和第二对象是否存在遮挡关系,其中,每一目标区域中包括多个像素点,也就是说,在确定第一对象和第二对象是否存在遮挡关系时,不需要对每一个像素点的像素值进行监测,可以以目标区域作为最小监测区域进行监测,减少了监测时的复杂度,降低了设备的工作负荷。
步骤202、在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得第一电子设备采集得到的至少一第三帧图像,对第三帧图像进行处理,得到至少一第一帧图像。
其中,第二对象在第三帧图像中的显示参数和第二对象在第一帧图像中的显示参数不同。其中,第三帧图像所对应的物理空间范围大于第一帧图像的物理空间范围。
在本申请实施例中,在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,第一电子设备可以实时采集针对第二对象的至少一第三帧图像,并对第三帧图像进行剪切得到第一帧图像;还可以是对多个第三帧图像进行合成,得到第一帧图像。
需要说明的是,第三帧图像可以是在第一电子设备采集的针对第一对象和第二对象的视频流中第二帧图像对应的时刻之前的图像,也可以是第二帧图像对应的时刻之后的图像。
在本申请实施例中,步骤202中,对第三帧图像进行处理,得到至少一第一帧图像,可以由步骤b1或b2来实现:
步骤b1、基于第二对象在第三帧图像中的显示参数对第三帧图像进行编辑处理,得到至少一第一帧图像。
其中,显示参数包括显示位置或显示尺寸。
在本申请实施例中,可以基于第二对象中的显示参数,对第三帧图像进行裁剪,得到第一帧图像。
在一种可行的实现方式中,可以基于第二对象在第三帧图像中的显示位置或显示大小,对第三帧图像进行剪切,从第三帧图像中确定第二对象对应的至少一个图像,得到至少一第一帧图像。
步骤b2、对至少一第三帧图像至少进行合成处理,得到至少一第一帧图像。
在本申请实施例中,基于第二对象在第三帧图像中的位置信息,从每一第三帧图像中提取第二对象对应的图像,之后可以对第二对象对应的多个图像进行合成,得到至少一第一帧图像。
在一种可行的实现方式中,可以将第三帧图像通过人体识别模型进行处理,从第三帧图像中确定人体的轮廓,并基于人体的轮廓,从第三帧图像中获取人体的轮廓之外的图像,并基于第二对象的位置信息,从第三帧图像中人体的轮廓之外的图像中获取第二对象对应的图像,得到每一第三帧图像中第二对象对应的图像,并对多个第二对象对应的图像进行合成处理,得到至少一第一帧图像。
步骤203、在获得第二帧图像的情况下,获得至少一第一帧图像。
在本申请实施例中,在获得第二帧图像的情况下,可以基于第二帧图像中第二区域的位置以及第二帧图像对应在视频流中的时刻,获取一第一帧图像。
在一种可行的实现方式中,可以基于第二帧图像对应在视频流中的时刻,获取视频流中该时刻之前的时刻的图像,并基于第二区域的位置信息,从该时刻之前的时刻对应的图像中,获取至少第一帧图像。其中,每一第一帧图像中与第二区域对应的第一区域的至少部分区域未被遮挡。其中,第二区域的位置信息,可以通过对第二帧图像进行分析后确定的。
在另一种可行的实现方式中,可以基于第二帧图像对应在视频流中的时刻,获取视频流中该时刻之后的时刻的图像,并基于第二帧图像中第二区域的位置信息,从视频流中该时刻之后的时刻的图像中获取至少一第一帧图像。
需要说明的是,在步骤201、步骤202和步骤203中任一步骤之后,可以执行步骤204或步骤205。
基于至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,将目标帧图像显示输出至第二电子设备,可以通过步骤204或205来实现:
步骤204、至少利用第一区域的图像内容替换第二区域的图像内容,得到目标帧图像。
在本申请实施例中,可以基于第二区域的位置信息,对第一帧图像进行裁剪,以从第一帧图像中提取与第二区域对应的第一区域的图像,并基于第一区域的图像以及第二帧图像中第二区域的图像之外的图像,生成目标帧图像。还可以从对第一区域的图像进行分析,提取第一区域的图像内容,并删除第二帧图像中第二区域的图像内容,并通过第一区域的图像内容来填充第二帧图像中已删除第二区域的图像内容的第二区域,来实现采用第一区域的图像内容替换第二区域的图像内容,得到目标帧图像。
步骤205、将第一帧图像叠加至对应的第二帧图像上,得到目标帧图像,将目标帧图像显示输出至第二电子设备。
在本申请实施例中,可以将第二帧图像中第二区域的图像进行透明化处理,将第一帧图像中第一区域的图像叠加至第二帧图像中透明化处理后的第二区域的图像上,得到目标帧图像,并将目标帧图像显示输出至第二电子设备。
需要说明的是,在将目标帧图像显示输出至第二电子设备时,可以将目标帧图像中与第二区域对应的区域的内容以色彩信息渐变的形式进行显示输出至第二电子设备。
在一种可行的实现方式中,可以将目标帧图像中与第二区域对应的区域的内容,以颜色由深到浅的方式进行显示输出至第二电子设备。
本申请实施例所提供的处理方法,可以采用第一帧图像对第二帧图像进行处理,得到目标帧图像,使得目标帧图像在第一帧图像的第一区域的第一显示参数下的视觉效果,优于目标帧图像在第二帧图像中与第一区域对应的第二区域的第二显示参数下的视觉效果,也就是说,得到的目标帧图像的视觉效果明显优于第二帧图像的视觉效果,在输出时用目标帧图像替换第二帧图像输出,提高了输出的图像的视觉效果;提高了图像输出时的清晰度、准确率、及时性等。
基于前述实施例,本申请实施例提供一种处理方法,参照图3所示,该方法包括以下步骤:
步骤301、在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得第一对象的运动信息和第二对象的位置信息,在基于运动信息和位置信息确定第一对象与第二对象之间不存在遮挡关系的情况下,基于运动信息和位置信息确定第一对象遮挡第二对象的第一时刻,获得第一时刻之前的至少一第二时刻的至少一第一帧图像。
需要说明的是,基于至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,可以通过步骤302和步骤303来实现,或可以通过步骤302和步骤304来实现:
步骤302、将第二时刻获得的第二帧图像中的第一对象的显示参数调整至第三显示参数。
其中,第三显示参数可以是预先设置的像素点的像素值,第二显示参数可以是对第二帧图像进行分析后确定的。
在本申请实施例中,可以将第二时刻获得的第二帧图像中的第一对象的显示参数替换为第三显示参数,得到第一对象的显示参数为第三显示参数的图像。
在一种可行的实现方式中,第三显示参数可以是表征图像的颜色为目标颜色的图像中像素点的像素值,可以基于该像素值对第二帧图像中第一对象的像素点的像素值进行替换,得到第一对象所在的区域的图像为目标颜色的图像。
步骤303、利用第一帧图像中对应第一对象所在区域的图像内容替换第二帧图像中处于第三显示参数的区域的图像内容得到目标帧图像。
在本申请实施例中,可以从第一帧图像中确定第一对象所在区域的图像,并从第一对象所在区域的图像中提取第一对象所在区域的图像内容,采用第一对象所在区域的图像内容,对第二帧图像中处于第三显示参数的区域的图像内容进行替换,得到目标帧图像。
需要说明的是,在步骤303之后可以执行步骤305.
步骤304、将第一帧图像中对应第一对象所在区域的图像叠加至第二帧图像中处于第三显示参数的区域得到目标帧图像。
在本申请实施例中,可以从第一帧图像中提取第一对象所在区域的图像,并将第一对象所在区域的图像与第二帧图像中处于第三显示参数的区域进行叠加融合得到目标帧图像。
需要说明的是,在步骤304之后可以执行步骤305的步骤。
步骤305、获得第一对象在第一帧图像和第二帧图像中的显示信息,基于显示信息调整第一对象与第二对象之间的位置关系,或创建与第一对象对应的虚拟对象,将第一对象或虚拟对象同目标帧图像显示输出至第二电子设备。
其中,目标帧图像中具有第二对象,且不具有第一对象。
在本申请实施例中,可以基于第一对象在第一帧图像和第二帧图像中的显示信息,调整第一对象相对于目标帧图像中第二对象的位置,可以将第一对象同目标帧图像同时输出至第二电子设备。
在本申请实施例中,还可以创建与第一对象对应的虚拟对象,用虚拟对象代替第一对象,将虚拟对象同目标帧图像一起显示输出至第二电子设备。
在一种可行的实现方式中,虚拟对象可以是虚拟的人,也可以是虚拟的物体;其中,虚拟的物体包括但不限于虚拟的笔。
需要说明的是,步骤305中将第一对象或虚拟对象同目标帧图像显示输出至第二电子设备,可以通过步骤c1或步骤c2来实现。
步骤c1、以平铺显示方式,将第一对象或虚拟对象同目标帧图像显示输出至第二电子设备上。
其中,平铺显示方式包括但不限于二分法显示方式;其中,二分法显示方式包括上下分显示方式以及左右分显示方式。
在本申请实施例中,可以以平铺显示方式将第一对象和目标帧图像同时输出至第二电子设备上;或,以平铺显示方式将虚拟对象和目标帧图像同时输出至第二电子设备上。
步骤c2、以叠层显示方式,将第一对象或虚拟对象同目标帧图像显示输出至第二电子设备上。
在本申请实施例中,可以以叠层显示方式,将第一对象叠加在目标帧图像上进行显示输出;或,以平铺方式将虚拟对象叠加在目标帧图像上进行显示输出。
需要说明的是,以叠层显示方式,将第一对象或虚拟对象同目标帧图像显示输出至第二电子设备上,可以理解为将第一对象或虚拟对象作为操作对象,实现以操作对象对目标帧图像进行操作的方式输出操作对象以及目标帧图像至第二电子设备上。
需要说明的是,将第一对象或虚拟对象同目标帧图像显示输出至第二电子设备上,可以通过步骤d1-d3来实现,还可以通过d1-d2和d4来实现:
步骤d1、确定第一对象或虚拟对象作用于第二对象的动作信息。
在本申请实施例中,可以获取在第一帧图像中第一对象或虚拟对象的第一姿态信息,以及在第二帧图像中第一对象或虚拟对象的第二姿态信息,来确定第一对象或虚拟对象的动作信息,并将第一对象或虚拟对象的动作信息作为定第一对象或虚拟对象作用于第二对象的动作信息。
步骤d2、基于动作信息,确定第一对象或虚拟对象的操作轨迹。
在本申请实施例中,可以根据第一对象或虚拟对象在目标帧图像中第二对象上进行操作的动作信息,确定第一对象或虚拟对象在目标帧图像上进行操作的位置,并根据该位置确定第一对象或虚拟对象的操作轨迹。
步骤d3、将第一对象、第一对象的操作轨迹和目标帧图像显示输出至第二电子设备上。
在本申请实施例中,可以将第一对象,同第一对象的操作轨迹和目标帧图像以平铺显示方式显示输出至第二电子设备上;也可以将第一对象、第一对象的操作轨迹和目标帧图像以叠层显示的方式显示输出至第二电子设备上。
步骤d4、将虚拟对象、虚拟对象的操作轨迹和目标帧图像显示输出至第二电子设备上。
在本申请实施例中,可以将虚拟对象,同虚拟对象的操作轨迹和目标帧图像以平铺显示方式显示输出至第二电子设备上;也可以将虚拟对象、虚拟对象的操作轨迹和目标帧图像以叠层显示的方式显示输出至第二电子设备上。
下述结合应用场景以及附图,对本申请实施所提供的处理方法,进行详细的解释说明。
如图4所示,在直播授课的场景下,人在黑板上写字,黑板上未被遮挡的内容为0123456789,此时明显可以看到人的身体遮挡住了黑板上的部分内容,摄像头此时采集针对黑板的图像时,图像中黑板的部分内容是不可见的,如果直接将采集到的针对黑板的图像输出,那么观看直播的用户将无法获取到黑板上被遮挡的部分的内容,影响直播授课的效果。
在本申请实施例中,可以通过人体识别模型,对摄像头采集的针对黑板的图像进行识别,确定图像中人体的轮廓,并如图5所示将人体轮廓进行删除,采用之前获取的黑板未被遮挡的图像中与人体轮廓所在区域对应的区域的图像的内容,来对删除了人的轮廓的区域进行填充,如图6所示,得到目标帧图像,并实时检测人的位置,当检测到人离开黑板时,可以如图7所示,将黑板的图像进行保存。
需要说明的是,可以将拍摄画面中的黑板分割为多个微小的分区,如图8所示,每一个分区可以作为一个目标区域,通过监测目标区域中像素点的像素值的变化来确定黑板是否被人遮挡,也就是说,通过监测目标区域中是否具有人形的特征值来确定黑板是否被人遮挡,若有一个目标区域存在人形特征值,则确定黑板被人遮挡,即可用之前缓存的该目标区域对应的未被遮挡的图像的内容进行填充,在进行填充时,如图8所示,只需要填充目标区域中出现人形特征值的区域,避免直播授课时黑板上的内容不可见降低授课的效果,而且解决了相关技术中输出的黑板上的内容不准确的问题,提高了输出的黑板上的内容的准确率。
需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。
本申请实施例提供的处理方法,可以采用第一帧图像对第二帧图像进行处理,得到目标帧图像,使得目标帧图像在第一帧图像的第一区域的第一显示参数下的视觉效果,优于目标帧图像在第二帧图像中与第一区域对应的第二区域的第二显示参数下的视觉效果,也就是说,得到的目标帧图像的视觉效果明显优于第二帧图像的视觉效果,在输出时用目标帧图像替换第二帧图像输出,提高了输出的图像的视觉效果;提高了图像输出时的清晰度、准确率、及时性等。基于前述实施例,本申请实施例提供一种处理装置,该装置可以应用于图1~3对应的实施例提供的处理方法中,参照图9所示,该处理装置4包括:获取单元41和处理单元42,其中,
获取单元41,用于在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得至少一第一帧图像,第一帧图像中的第一区域具有第一显示参数;
处理单元42,用于基于至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,将目标帧图像显示输出至第二电子设备,第二帧图像中对应第一区域的第二区域具有第二显示参数;
其中,目标帧图像中对应第二区域的区域具有第一显示参数,目标帧图像在第一显示参数下的视觉效果优于其在第二显示参数下的视觉效果。
在本申请实施例中,获取单元41,还用于
获得第一对象的运动信息和第二对象的位置信息,在基于运动信息和位置信息确定第一对象与第二对象之间不存在遮挡关系的情况下,获得至少一第一帧图像;或,
获得第一电子设备采集得到的至少一第三帧图像,对第三帧图像进行处理,得到至少一第一帧图像,其中,第二对象在第三帧图像中的显示参数与其在第一帧图像中的显示参数不同;或,
在获得第二帧图像的情况下,获得至少一第一帧图像。
在本申请实施例中,获取单元41,还用于
基于运动信息和位置信息确定第一对象遮挡第二对象的第一时刻,获得第一时刻之前的至少一第二时刻的至少一第一帧图像,第二时刻是第一对象未遮挡第二对象的至少第一区域的时刻;或,
获得第一时刻之后的至少一第三时刻的至少一第一帧图像,第三时刻是第一对象未遮挡第二对象的至少第一区域的时刻。
在本申请实施例中,处理单元42,还用于
基于第二对象在第三帧图像中的显示参数对第三帧图像进行编辑处理,得到至少一第一帧图像;或,
对至少一第三帧图像至少进行合成处理,得到至少一第一帧图像。
在本申请实施例中,处理单元42,还用于
至少利用第一区域的图像内容替换第二区域的图像内容,得到目标帧图像;或,
将第一帧图像叠加至对应的第二帧图像上,得到目标帧图像。
在本申请实施例中,处理单元42,还用于
将第二时刻获得的第二帧图像中的第一对象的显示参数调整至第三显示参数;
利用第一帧图像中对应第一对象所在区域的图像内容替换第二帧图像中处于第三显示参数的区域的图像内容得到目标帧图像,或,将第一帧图像中对应第一对象所在区域的图像叠加至第二帧图像中处于第三显示参数的区域得到目标帧图像。
在本申请实施例中,处理单元42,还用于
获得第一对象在第一帧图像和第二帧图像中的显示信息,基于显示信息调整第一对象与第二对象之间的位置关系,或创建与第一对象对应的虚拟对象,将第一对象或虚拟对象同目标帧图像显示输出至第二电子设备。
在本申请实施例中,处理单元42,还用于
以平铺显示方式,将第一对象或虚拟对象同目标帧图像显示输出至第二电子设备上;或,
以叠层显示方式,将第一对象或虚拟对象同目标帧图像显示输出至第二电子设备上。
在本申请实施例中,处理单元42,还用于
确定第一对象或虚拟对象作用于第二对象的动作信息;
基于动作信息,确定第一对象或虚拟对象的操作轨迹;
将第一对象、第一对象的操作轨迹和目标帧图像显示输出至第二电子设备上,或将虚拟对象、虚拟对象的操作轨迹和目标帧图像显示输出至第二电子设备上。
需要说明的是,本申请实施例中各单元之间的交互过程,可以参照图1~3对应的实施例提供的处理方法的实现过程,此处不再赘述。
本申请实施例所提供的处理装置,可以采用第一帧图像对第二帧图像进行处理,得到目标帧图像,使得目标帧图像在第一帧图像的第一区域的第一显示参数下的视觉效果,优于目标帧图像在第二帧图像中与第一区域对应的第二区域的第二显示参数下的视觉效果,也就是说,得到的目标帧图像的视觉效果明显优于第二帧图像的视觉效果,在输出时用目标帧图像替换第二帧图像输出,提高了输出的图像的视觉效果,提高了图像输出时的清晰度、准确率、及时性等。
基于前述实施例,本申请的实施例提供一种第一电子设备,该第一电子设备5可以应用于图1~3对应的实施例提供的处理方法中,参照图10所示,该第一电子设备5包括:存储器51、处理器52和通信总线53;
通信总线53用于实现处理器52和存储器51之间的通信连接;
处理器52用于执行存储器51中存储的处理程序,以实现上述图1~3对应的实施例提供的处理方法的步骤。
本申请实施例所提供的第一电子设备,可以采用第一帧图像对第二帧图像进行处理,得到目标帧图像,使得目标帧图像在第一帧图像的第一区域的第一显示参数下的视觉效果,优于目标帧图像在第二帧图像中与第一区域对应的第二区域的第二显示参数下的视觉效果,也就是说,得到的目标帧图像的视觉效果明显优于第二帧图像的视觉效果,在输出时用目标帧图像替换第二帧图像输出,提高了输出的图像的视觉效果,提高了图像输出时的清晰度、准确率、及时性等。
基于前述实施例,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现图1~3对应的实施例提供的处理方法中的步骤。
需要说明的是,上述计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所描述的方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种处理方法,包括:
在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得至少一第一帧图像,所述第一帧图像中的第一区域具有第一显示参数;
基于所述至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,将所述目标帧图像显示输出至所述第二电子设备,所述第二帧图像中对应所述第一区域的第二区域具有第二显示参数;
其中,所述目标帧图像中对应所述第二区域的区域具有第一显示参数,所述目标帧图像在所述第一显示参数下的视觉效果优于其在所述第二显示参数下的视觉效果。
2.根据权利要求1所述的方法,其中,所述获得至少一第一帧图像,包括:
获得第一对象的运动信息和第二对象的位置信息,在基于所述运动信息和所述位置信息确定所述第一对象与所述第二对象之间不存在遮挡关系的情况下,获得所述至少一第一帧图像;或,
获得第一电子设备采集得到的至少一第三帧图像,对所述第三帧图像进行处理,得到所述至少一第一帧图像,其中,第二对象在所述第三帧图像中的显示参数与其在所述第一帧图像中的显示参数不同;或,
在获得第二帧图像的情况下,获得至少一第一帧图像。
3.根据权利要求2所述的方法,其中,所述在基于所述运动信息和所述位置信息确定所述第一对象与所述第二对象之间不存在遮挡关系的情况下,获得所述至少一第一帧图像,包括:
基于所述运动信息和所述位置信息确定所述第一对象遮挡所述第二对象的第一时刻;
获得所述第一时刻之前的至少一第二时刻的至少一第一帧图像,所述第二时刻是第一对象未遮挡所述第二对象的至少第一区域的时刻;或,
获得所述第一时刻之后的至少一第三时刻的至少一第一帧图像,所述第三时刻是第一对象未遮挡所述第二对象的至少第一区域的时刻。
4.根据权利要求2所述的方法,其中,所述对所述第三帧图像进行处理,得到所述至少一第一帧图像,包括:
基于第二对象在所述第三帧图像中的显示参数对所述第三帧图像进行编辑处理,得到所述至少一第一帧图像;或,
对至少一第三帧图像至少进行合成处理,得到所述至少一第一帧图像。
5.根据权利要求1至4任一项所述的方法,其中,基于所述至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,包括:
至少利用所述第一区域的图像内容替换所述第二区域的图像内容,得到所述目标帧图像;或,
将所述第一帧图像叠加至对应的第二帧图像上,得到所述目标帧图像。
6.根据权利要求3所述的方法,其中,所述基于所述至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,包括:
将第二时刻获得的第二帧图像中的第一对象的显示参数调整至第三显示参数;
利用所述第一帧图像中对应所述第一对象所在区域的图像内容替换所述第二帧图像中处于第三显示参数的区域的图像内容得到所述目标帧图像,或,将所述第一帧图像中对应所述第一对象所在区域的图像叠加至所述第二帧图像中处于第三显示参数的区域得到所述目标帧图像。
7.根据权利要求3或6所述的方法,所述基于所述至少一第一帧图像对所述第二帧图像进行处理,得到目标帧图像,将所述目标帧图像显示输出至所述第二电子设备,包括:
获得第一对象在所述第一帧图像和所述第二帧图像中的显示信息,基于所述显示信息调整所述第一对象与所述第二对象之间的位置关系,或创建与所述第一对象对应的虚拟对象,将所述第一对象或所述虚拟对象同所述目标帧图像显示输出至所述第二电子设备。
8.根据权利要求7所述的方法,其中,所述将所述第一对象或所述虚拟对象同所述目标帧图像显示输出至所述第二电子设备,包括:
以平铺显示方式,将所述第一对象或所述虚拟对象同所述目标帧图像显示输出至所述第二电子设备上;或,
以叠层显示方式,将所述第一对象或所述虚拟对象同所述目标帧图像显示输出至所述第二电子设备上。
9.根据权利要求8所述的方法,其中,所述将所述第一对象或所述虚拟对象同所述目标帧图像显示输出至所述第二电子设备上,包括:
确定所述第一对象或所述虚拟对象作用于所述第二对象的动作信息;
基于所述动作信息,确定所述第一对象或所述虚拟对象的操作轨迹;
将所述第一对象、所述第一对象的操作轨迹和所述目标帧图像显示输出至所述第二电子设备上,或将所述虚拟对象、所述虚拟对象的操作轨迹和所述目标帧图像显示输出至所述第二电子设备上。
10.一种处理装置,包括:
获取单元,用于在第一电子设备将目标取景范围内的对象显示输出至第二电子设备的过程中,获得至少一第一帧图像,所述第一帧图像中的第一区域具有第一显示参数;
处理单元,用于基于所述至少一第一帧图像对第二帧图像进行处理,得到目标帧图像,将所述目标帧图像显示输出至所述第二电子设备,所述第二帧图像中对应所述第一区域的第二区域具有第二显示参数;
其中,所述目标帧图像中对应所述第二区域的区域具有第一显示参数,所述目标帧图像在所述第一显示参数下的视觉效果优于其在所述第二显示参数下的视觉效果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111443915.6A CN113938752A (zh) | 2021-11-30 | 2021-11-30 | 一种处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111443915.6A CN113938752A (zh) | 2021-11-30 | 2021-11-30 | 一种处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113938752A true CN113938752A (zh) | 2022-01-14 |
Family
ID=79288764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111443915.6A Pending CN113938752A (zh) | 2021-11-30 | 2021-11-30 | 一种处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113938752A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115661701A (zh) * | 2022-10-09 | 2023-01-31 | 中国科学院半导体研究所 | 实时图像处理方法、装置、电子设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105869190A (zh) * | 2015-01-22 | 2016-08-17 | 富士通株式会社 | 背景图像的重建方法、装置以及监控设备 |
CN107749986A (zh) * | 2017-09-18 | 2018-03-02 | 深圳市天英联合教育股份有限公司 | 教学视频生成方法、装置、存储介质和计算机设备 |
US20210352181A1 (en) * | 2020-05-06 | 2021-11-11 | Aver Information Inc. | Transparency adjustment method and document camera |
CN113658085A (zh) * | 2021-10-20 | 2021-11-16 | 北京优幕科技有限责任公司 | 图像处理方法及装置 |
-
2021
- 2021-11-30 CN CN202111443915.6A patent/CN113938752A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105869190A (zh) * | 2015-01-22 | 2016-08-17 | 富士通株式会社 | 背景图像的重建方法、装置以及监控设备 |
CN107749986A (zh) * | 2017-09-18 | 2018-03-02 | 深圳市天英联合教育股份有限公司 | 教学视频生成方法、装置、存储介质和计算机设备 |
US20210352181A1 (en) * | 2020-05-06 | 2021-11-11 | Aver Information Inc. | Transparency adjustment method and document camera |
CN113658085A (zh) * | 2021-10-20 | 2021-11-16 | 北京优幕科技有限责任公司 | 图像处理方法及装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115661701A (zh) * | 2022-10-09 | 2023-01-31 | 中国科学院半导体研究所 | 实时图像处理方法、装置、电子设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111970532B (zh) | 视频播放方法、装置及设备 | |
CN109286824B (zh) | 一种直播用户侧控制的方法、装置、设备及介质 | |
CN109309861A (zh) | 一种媒体处理方法、装置、终端设备和存储介质 | |
CN104735435B (zh) | 影像处理方法及电子装置 | |
CN109582122B (zh) | 增强现实信息提供方法、装置及电子设备 | |
CN113973190A (zh) | 视频虚拟背景图像处理方法、装置及计算机设备 | |
CN109862380B (zh) | 视频数据处理方法、装置及服务器、电子设备和存储介质 | |
CN108108023B (zh) | 一种显示方法和显示系统 | |
CN110324648B (zh) | 直播展现方法和系统 | |
CN111988672A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
JP5460793B2 (ja) | 表示装置、表示方法、テレビジョン受信機及び表示制御装置 | |
CN113408484A (zh) | 画面展示方法、装置、终端及存储介质 | |
CN113938752A (zh) | 一种处理方法及装置 | |
CN110958463A (zh) | 虚拟礼物展示位置的检测、合成方法、装置和设备 | |
CN114401362A (zh) | 一种图像显示方法、装置和电子设备 | |
KR101308184B1 (ko) | 윈도우 형태의 증강현실을 제공하는 장치 및 방법 | |
CN112770172A (zh) | 一种直播监控方法、装置、计算机设备及存储介质 | |
CN113632498A (zh) | 内容发布系统、内容发布方法、以及内容发布程序 | |
CN109544698B (zh) | 图像展示方法、装置及电子设备 | |
CN114625468B (zh) | 增强现实画面的展示方法、装置、计算机设备及存储介质 | |
JP5645448B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN113612978A (zh) | 几何失真校正方法、装置、系统与计算机可读存储介质 | |
CN112312041A (zh) | 基于拍摄的图像校正方法、装置、电子设备及存储介质 | |
CN112887611A (zh) | 图像处理方法、装置、设备和存储介质 | |
US20210297649A1 (en) | Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |