CN113612923B - 一种动态视觉效果增强系统及控制方法 - Google Patents

Abstract

本发明属于影像处理技术领域，具体涉及一种动态视觉效果增强系统及控制方法，该系统包括拍摄单元、处理单元、展示单元和选择单元；拍摄单元用于进行影像拍摄；处理单元用于对影像提取关键帧后，根据影像中的人物特征匹配出对应的处理效果，并用处理效果对关键帧进行效果处理；展示单元用于展示效果处理后的关键帧；选择单元用于对展示的关键帧输入确认信息或修改信息；处理单元还用于接收到确认信息后，用确认的关键帧的处理效果对完整的影像内容进行效果处理；展示单元还用于接收到修改信息后展示修改指引；选择单元还用于根据修改指引选择自选效果。本申请能够高效率的完成拍摄影像的效果处理，并且初学者也能够快速上手使用。

Description

一种动态视觉效果增强系统及控制方法

技术领域

本发明属于影像处理技术领域，具体涉及一种动态视觉效果增强系统及控制方法。

背景技术

随着短视频平台的兴起，越来越多的人会通过上传自己的自拍小视频来进行生活分享。

在进行自拍时，为了增加趣味性或者更加符合个人的喜好，需要对视频进行处理，例如进行背景修改、增加效果等等。如果进行后期制作，不仅耗时耗力，并且很多的拍摄者不具备相应的后期处理能力。

也有部分系统可以在拍摄前选择视频效果，拍摄时系统自动对视频进行处理。但是，视频处理想要达到一定的质量，其处理时间会较慢，如果选择的效果并不理想，使用者又要重新进行选择，重新等待系统处理，效率同样不高。并且，使用者需要对各种效果有一定的熟悉度，才能选择出适合自己的效果，仍然具有一定的上手门槛。

发明内容

本发明的目的在于，提供一种动态视觉效果增强系统，能够高效率的完成拍摄影像的效果处理，并且初学者也能够快速上手使用。

本发明提供的基础方案为：

一种动态视觉效果增强系统，包括拍摄单元、处理单元、展示单元和选择单元；

拍摄单元用于进行影像拍摄；处理单元用于对影像提取关键帧后，根据影像中的人物特征匹配出对应的处理效果，并用处理效果对关键帧进行效果处理；展示单元用于展示效果处理后的关键帧；

选择单元用于对展示的关键帧输入确认信息或修改信息；处理单元还用于接收到确认信息后，用确认的关键帧的处理效果对完整的影像内容进行效果处理；展示单元还用于接收到修改信息后展示修改指引；选择单元还用于根据修改指引选择自选效果；处理单元还用于根据自选效果对关键帧进行效果处理。

基础方案工作原理及有益效果：

使用本系统，使用者可使用拍摄单元进行影像拍摄，在拍摄的过程中，处理单元会按照预设的提取规则(如每隔预设时间提取一帧关键帧，或影像中人物的动作改变比例超过预设值便提取一次关键帧)对影像提取关键帧，并根据影像中的人物特征(如人物的动作，穿着风格等)匹配出对应的处理效果，再自动对关键帧进行效果处理。这样，使用者只需要进行正常的手机视频拍摄即可，系统会自动进行效果处理。并且，由于只是进行关键帧的处理，处理的速度会很快，在拍摄完后非常短的时间便会处理完成，并由展示单元进行展示。

使用者通过展示单元的展示，可以对自动处理的效果进行了解。如果对处理的感觉满意，可以通过选择单元输入信息，这样，处理单元会用同样的处理方式对完整的影像内容进行效果处理，从而得到最终的处理影像。虽然与专业的后期处理相比，自动处理得到的视频的质量会存在一些差距，但是对于普通的爱好者而言已足够满足其使用需求，并且不用使用者耗时耗力去进行后期处理，也不用花费大量时间去学习后期制作。即使是初学者，也能够立即使用。

但也有可能存在使用者对效果的要求相对较高，或者系统自动处理得到的结果与使用者想要的感觉相差过大的情况。此时，使用者可通过选择单元输入修改信息，之后，展示单元会进行修改指引，使用者只需要根据修改指引选择自己想要的效果即可。再然后，处理单元会根据自选效果重新对关键帧进行效果处理，再重复上述过程，直到使用者找到自己想要感觉的关键帧。

这样的方式，一方面系统会先自动对关键帧进行效果处理，即使是毫无经验的使用者也能够快速上手。另一方面，由于每次都是对关键帧进行处理打样，先让使用者了解效果的实际感觉，待使用者确认之后才会进行整体影像的处理，各个环节高效流畅，可以效果处理的整体效率，可以避免使用者对影像的整体效果不满意，影像整体重新处理导致效率低下的情况。

综上，使用本系统，能够高效率的完成拍摄影像的效果处理，并且初学者也能够快速上手使用。

进一步，选择单元还用于输入风格信息；处理单元根据影像中的人物特征匹配出对应的处理效果时，还判断是否存在风格信息，若存在，则结合人物特征及风格信息匹配对应的处理效果。

即使是同样的拍摄内容，当使用者想要不同的感觉(如搞怪、严肃、高冷等)时，需要的处理效果也是不同的。通过这样的方式，可以保证自动进行关键帧处理时，得到的结果更加符合使用者的需求，进一步提高使用者的使用体验。

进一步，选择单元输入风格信息时，若输入的风格信息为多个，选择单元还用于输入这些风格信息的排序，并将排序第一的风格信息默认为当前的风格信息；处理单元结合人物特征及当前的风格信息匹配对应的处理效果；

还包括切换单元，用于输入切换信号，处理单元还用于接收到切换信号后，按照风格信息的排序对当前的风格信息进行更新，将当前排名第二位的风格信号更新为当前的风格信息。

某些时候，部分使用者会拍摄一些层次感较为丰富的影像内容，这些时候，使用者会将计划拍摄的影像内容分为多个分段，并且每个分段所呈现的风格都不同。使用本方案，遇到这种情况，使用者在设计好影像内容后，可以在拍摄前通过选择单元输入分段的风格信息并排序。

在拍摄中需要切换风格时，通过切换单元进行风格的切换即可，处理单元会自动对当前的风格信息进行切换后，再匹配出对应的处理效果，并进行关键帧的处理。这样，使用者可以快速完成影像的拍摄，并且可以保证影像各阶段的处理效果都和自己想要的效果大体上能够保持一致。在拍摄一些层次感较为丰富的影像内容时，也可以快速顺畅的完成。

进一步，切换单元集成在智能手环上；智能手环还包括模式选择单元和设计单元；模式选择单元用于选择切换单元的输入方式，输入方式包括按压输入和动作输入；设计单元用于录入并存储动作输入模式时触发切换信号的具体动作。

切换单元集成在智能手环上，使用者即使进行自拍时，也可以在不影响影像拍摄的情况下，方便快捷的完成切换信号的输入。同时，为了保证切换时的动作在影像中显得不突兀，使用者可以自己设计触发切换信号的具体动作，如甩手两次或者手部快速左右摆动两次，智能手环上的传感器检测到对应的触发动作时触发切换信号。这样，当出现人手不足，所有人都要作为拍摄对象时，也可以方便快捷的完成风格信息的切换。

进一步，选择单元还用于根据展示的关键帧对影像进行时间段划分，还用于分别对各时间段的影像输入确认信息或修改信息。

由于是自动匹配及添加效果，有时候会存在使用者对影像基本满意，但对某个时间段的效果感觉不好的情况，此时，使用者就可以使用选择单元将感觉不好的时间段划分出来，单独对这个时间段进行修改处理，其他时间段的内容由系统进行自动处理即可。这样不仅针对性强，并且操作简便。

进一步，处理单元提取关键帧时，按照时间顺序对人物动作进行比对，并将动作相似度小于预设值的帧提取出来作为关键帧。

在进行效果处理时，很多时候会连背景一起换掉，因此，用背景更换的方式提取关键帧的意义不大。而若采用严格时间比率来提取时间帧，由于不同风格短视频的节奏差异很大，难以找到一个相对平衡的提取频率。采用对应相似度比对的方式，则可以很好的规避上述问题，无论背景是否更换、节奏是快或者慢，都可以准确的识别出有用的关键帧，便于后续使用者准确的进行时间段划分。

进一步，影像中的人物特征包括人物穿着、人物动作和情绪。

通过这些人物特征，可以对拍摄的影像进行全面的分析，如色彩搭配、整体调性、氛围感等，从而匹配出能够与影像协调融合的处理效果。

本发明的另一目的在于，提供一种动态视觉效果增强控制方法，使用上述动态视觉效果增强系统，包括：

拍摄步骤，使用拍摄单元进行影像拍摄；

影像分析步骤，对影像进行关键帧提取，并根据影像中的人物特征匹配出对应的处理效果；

关键帧处理步骤，用处理效果对关键帧进行效果处理，并展示效果处理后的关键帧；

确认步骤，对展示的关键帧进行确认，若输入确认信息则转到影像处理步骤，若输入修改信息则转到指引步骤；

影像处理步骤，根据关键帧的处理方式对完整的影像内容进行效果处理；

指引步骤，进行修改指引，选择自选效果，并转到关键帧处理步骤；

其中，关键帧处理步骤中，还用自选效果对关键帧进行效果处理。

有益效果：

使用本方法，会先自动对关键帧进行效果处理，即使是毫无经验的使用者也能够快速上手。除此，由于每次都是对关键帧进行处理打样，先让使用者了解效果的实际感觉，待使用者确认之后才会进行整体影像的处理，各个环节高效流畅，可以效果处理的整体效率，可以避免使用者对影像的整体效果不满意，影像整体重新处理导致效率低下的情况。

综上，本方法能够高效率的完成拍摄影像的效果处理，并且初学者也能够快速上手使用。

进一步，还包括风格选择步骤，接收输入的风格信息；影像分析步骤中，匹配对应的处理效果前，先判断是否存在风格信息，若存在，则结合人物特征及风格信息匹配对应的处理效果。

这样的方式，可以保证自动进行关键帧处理时，得到的结果更加符合使用者的需求，进一步提高使用者的使用体验。

进一步，影像分析步骤中，人物特征包括人物穿着、人物动作和情绪。

通过这些人物特征，可以对拍摄的影像进行全面的分析，匹配出能够与影像协调融合的处理效果。

附图说明

图1为本发明一种动态视觉效果增强系统实施例一的逻辑框图；

图2为本发明一种动态视觉效果增强控制方法实施例一的流程图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例一

如图1所示，一种动态视觉效果增强系统，包括拍摄单元、处理单元、展示单元、选择单元和存储单元。本实施例中，拍摄单元、处理单元、展示单元、选择单元和存储单元均集成在装载对应APP的智能手机上。

存储单元内存储有效果库，需要说明的是，本实施例中的处理效果及自选效果均包括效果库中的所有效果，处理效果及自选效果的分别命名，只是为了进行功能和流程上的区分，便于理解方案内容。效果库内的效果，可以由使用者自己从服务器下载，也可以自己上传，具体的效果，可以包括人物的整体/局部放大、人物旋转、背景的更换、添加特效等等，这些特效的内容都较为成熟且常见，在此不再赘述。

拍摄单元用于进行影像拍摄；处理单元用于对影像提取关键帧后，根据影像中的人物特征匹配出对应的处理效果，并用处理效果对关键帧进行效果处理。其中，处理单元提取关键帧时，按照时间顺序对人物动作进行比对，并将动作相似度小于预设值的帧提取出来作为关键帧。采用对应相似度比对的方式，无论背景是否更换、节奏是快或者慢，都可以准确的识别出有用的关键帧，便于后续使用者准确的进行时间段划分。影像中的人物特征包括人物穿着、人物动作和情绪。通过这些人物特征，可以对拍摄的影像进行全面的分析，如色彩搭配、整体调性、氛围感等，从而匹配出能够与影像协调融合的处理效果。

展示单元用于展示效果处理后的关键帧。选择单元用于对展示的关键帧输入确认信息或修改信息；处理单元还用于接收到确认信息后，用确认的关键帧的处理效果对完整的影像内容进行效果处理；展示单元还用于接收到修改信息后展示修改指引；选择单元还用于根据修改指引选择自选效果；处理单元还用于根据自选效果对关键帧进行效果处理。修改指引，即修改流程的引导，直接使用现有APP常用的引导方式即可。

选择单元还用于根据展示的关键帧对影像进行时间段划分，还用于分别对各时间段的影像输入确认信息或修改信息。

如图2所示，本申请还提供一种动态视觉效果增强控制方法，使用上述动态视觉效果增强系统，包括：

拍摄步骤，使用拍摄单元进行影像拍摄；

影像分析步骤，对影像进行关键帧提取，并根据影像中的人物特征匹配出对应的处理效果；其中，人物特征包括人物穿着、人物动作和情绪。

关键帧处理步骤，用处理效果对关键帧进行效果处理，并展示效果处理后的关键帧；

确认步骤，对展示的关键帧进行确认，若输入确认信息则转到影像处理步骤，若输入修改信息则转到指引步骤；

影像处理步骤，根据关键帧的处理方式对完整的影像内容进行效果处理；

指引步骤，进行修改指引，选择自选效果，并转到关键帧处理步骤；

其中，关键帧处理步骤中，还用自选效果对关键帧进行效果处理。

具体实施过程如下：

在构思好拍摄内容后，使用者可以通过拍摄单元进行影像拍摄。

在拍摄的过程中，处理单元会按照时间顺序对人物动作进行比对，并将动作相似度小于预设值的帧提取出来作为关键帧。例如，某个人作出下蹲的动作，处理单元就会根据其下蹲时身体的变化情况提取出关键帧，如开始时刻、下蹲一半时刻、下蹲完成时刻3个关键帧。除此，处理单元还会据影像中的人物特征，如动作、穿着风格等，匹配出对应的处理效果，例如穿衣风格很鲜艳休闲，动作灵活并且有活力，匹配出的处理效果就会为时尚动感的感觉。再然后，处理单元用匹配出的处理效果自动对关键帧进行效果处理。这样，使用者只需要使用手机正常拍摄手机视频即可，系统会自动进行效果处理。并且，由于只是进行关键帧的处理，处理的速度会很快，在拍摄完后非常短的时间便会处理完成，并由展示单元进行展示。

使用者通过展示单元的展示，可以对自动处理的效果进行了解。如果对处理的感觉满意，可以通过选择单元输入信息，这样，处理单元会用同样的处理方式对完整的影像内容进行效果处理，从而得到最终的处理影像。虽然与专业的后期处理相比，自动处理得到的视频的质量会存在一些差距，但是对于普通的爱好者而言已足够满足其使用需求，并且不用使用者耗时耗力去进行后期处理，也不用花费大量时间去学习后期制作。即使是初学者，也能够立即使用。

如果使用者对效果的要求相对较高，或者系统自动处理得到的结果与使用者想要的感觉相差过大的情况。使用者可通过选择单元输入修改信息，之后，展示单元会进行修改指引，使用者只需要根据修改指引选择自己想要的效果即可。再然后，处理单元会根据自选效果重新对关键帧进行效果处理，再重复上述过程，直到使用者找到自己想要感觉的关键帧。

需要说明的是，有时候会出现使用者对处理后的影像基本满意，但对某个时间段的效果感觉不好的情况，此时，使用者就可以使用选择单元将感觉不好的时间段划分出来，单独对这个时间段输入修改信息，具体的操作流程同整体修改相同，在此不再赘述，其他时间段的内容由系统进行自动处理即可。这样不仅针对性强，并且操作简便。

使用本方案，一方面系统会先自动对关键帧进行效果处理，即使是毫无经验的使用者也能够快速上手。另一方面，由于每次都是对关键帧进行处理打样，先让使用者了解效果的实际感觉，待使用者确认之后才会进行整体影像的处理，各个环节高效流畅，可以效果处理的整体效率，可以避免使用者对影像的整体效果不满意，影像整体重新处理导致效率低下的情况。本申请能够高效率的完成拍摄影像的效果处理，并且初学者也能够快速上手使用。

实施例二

与实施例一不同的是，本实施例的动态视觉效果增强系统中还包括切换单元、模式选择单元和设计单元。本实施例中，切换单元、模式选择单元和设计单元集成在智能手环上，在其他实施例中，也可以集成在装载对应APP的智能手机上。

选择单元还用于输入风格信息。风格信息，即使用者拍摄影像时的影响风格，如有趣、严肃、动感等等。处理单元根据影像中的人物特征匹配出对应的处理效果时，还判断是否存在风格信息，若存在，则结合人物特征及风格信息匹配对应的处理效果。其中，选择单元输入风格信息时，若输入的风格信息为多个，选择单元还用于输入这些风格信息的排序，并将排序第一的风格信息默认为当前的风格信息；处理单元结合人物特征及当前的风格信息匹配对应的处理效果。

切换单元用于输入切换信号，处理单元还用于接收到切换信号后，按照风格信息的排序对当前的风格信息进行更新，将当前排名第二位的风格信号更新为当前的风格信息。模式选择单元用于选择切换单元的输入方式，输入方式包括按压输入和动作输入；设计单元用于录入并存储动作输入模式时触发切换信号的具体动作。

本实施例的动态视觉效果增强控制方法还包括风格选择步骤，接收输入的风格信息；影像分析步骤中，匹配对应的处理效果前，先判断是否存在风格信息，若存在，则结合人物特征及风格信息匹配对应的处理效果。

具体实施过程如下：

在构思好影响内容需要的感觉后，使用者可通过选择单元还用于输入风格信息。如果使用者想要拍摄的是层次感较为丰富的影响内容，可以根据自己对影像内容的编排，将计划拍摄的影像内容分为多个分段，并分别想好每个分段需要展现的风格后，通过拍摄前通过选择单元输入分段的风格信息并排序。

之后，在拍摄过程中，处理单元在进行关键帧的处理时，会结合人物特征及当前的风格信息匹配对应的处理效果，这样，可以保证自动进行关键帧处理时，得到的结果更加符合使用者的需求，进一步提高使用者的使用体验。

在需要切换风格时，通过切换单元进行风格的切换即可，处理单元会自动对当前的风格信息进行切换后，再匹配出对应的处理效果，并进行关键帧的处理。这样，使用者可以快速完成影像的拍摄，并且可以保证影像各阶段的处理效果都和自己想要的效果大体上能够保持一致。这样，在拍摄一些层次感较为丰富的影像内容时，也可以快速顺畅的完成。由于切换单元、模式选择单元和设计单元均集成在智能手环上，使用者即使进行自拍时，也可以在不影响影像拍摄的情况下，方便快捷的完成切换信号的输入。

如果存在人手不足，所有人都要作为拍摄对象，并且使用者想要保证切换时的动作在影像中显得不突兀，则通过模式选择单元选择动作输入来触发切换信号。并且可以根据自己计划中拍摄的内容，设计对应的动作来作为触发切换信号的具体动作，如，甩手两次或者手部快速左右摆动两次，智能手环上的传感器检测到对应的触发动作时触发切换信号。这样，当出现人手不足，所有人都要作为拍摄对象时，也可以方便快捷的完成风格信息的切换。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (9)

1.一种动态视觉效果增强系统，其特征在于：包括拍摄单元、处理单元、展示单元和选择单元；

拍摄单元用于进行影像拍摄；处理单元用于对影像提取关键帧后，根据影像中的人物特征匹配出对应的处理效果，并用处理效果对关键帧进行效果处理；展示单元用于展示效果处理后的关键帧；

选择单元用于对展示的关键帧输入确认信息或修改信息；处理单元还用于接收到确认信息后，用确认的关键帧的处理效果对完整的影像内容进行效果处理；展示单元还用于接收到修改信息后展示修改指引；选择单元还用于根据修改指引选择自选效果；处理单元还用于根据自选效果对关键帧进行效果处理；

选择单元还用于输入风格信息；处理单元根据影像中的人物特征匹配出对应的处理效果时，还判断是否存在风格信息，若存在，则结合人物特征及风格信息匹配对应的处理效果，选择单元还能够对展示的关键帧的某个时间段单独输入修改信息。

2.根据权利要求1所述的动态视觉效果增强系统，其特征在于：选择单元输入风格信息时，若输入的风格信息为多个，选择单元还用于输入这些风格信息的排序，并将排序第一的风格信息默认为当前的风格信息；处理单元结合人物特征及当前的风格信息匹配对应的处理效果；

还包括切换单元，用于输入切换信号，处理单元还用于接收到切换信号后，按照风格信息的排序对当前的风格信息进行更新，将当前排名第二位的风格信号更新为当前的风格信息。

3.根据权利要求2所述的动态视觉效果增强系统，其特征在于：切换单元集成在智能手环上；智能手环还包括模式选择单元和设计单元；模式选择单元用于选择切换单元的输入方式，输入方式包括按压输入和动作输入；设计单元用于录入并存储动作输入模式时触发切换信号的具体动作。

4.根据权利要求1所述的动态视觉效果增强系统，其特征在于：选择单元还用于根据展示的关键帧对影像进行时间段划分，还用于分别对各时间段的影像输入确认信息或修改信息。

5.根据权利要求1所述的动态视觉效果增强系统，其特征在于：处理单元提取关键帧时，按照时间顺序对人物动作进行比对，并将动作相似度小于预设值的帧提取出来作为关键帧。

6.根据权利要求1所述的动态视觉效果增强系统，其特征在于：影像中的人物特征包括人物穿着、人物动作和情绪。

7.一种动态视觉效果增强控制方法，适用于如权利要求1-6任一项所述的动态视觉效果增强系统，其特征在于，使用上述动态视觉效果增强系统，包括：

拍摄步骤，使用拍摄单元进行影像拍摄；

影像分析步骤，对影像进行关键帧提取，并根据影像中的人物特征匹配出对应的处理效果；

关键帧处理步骤，用处理效果对关键帧进行效果处理，并展示效果处理后的关键帧；

确认步骤，对展示的关键帧进行确认，若输入确认信息则转到影像处理步骤，若输入修改信息则转到指引步骤；

影像处理步骤，根据关键帧的处理方式对完整的影像内容进行效果处理；

指引步骤，进行修改指引，选择自选效果，并转到关键帧处理步骤；

其中，关键帧处理步骤中，还用自选效果对关键帧进行效果处理。

8.根据权利要求7所述的动态视觉效果增强控制方法，其特征在于：还包括风格选择步骤，接收输入的风格信息；影像分析步骤中，匹配对应的处理效果前，先判断是否存在风格信息，若存在，则结合人物特征及风格信息匹配对应的处理效果。

9.根据权利要求8所述的动态视觉效果增强控制方法，其特征在于：影像分析步骤中，人物特征包括人物穿着、人物动作和情绪。

Images