CN106060544B - 一种图像编码方法、相关设备及系统 - Google Patents
一种图像编码方法、相关设备及系统 Download PDFInfo
- Publication number
- CN106060544B CN106060544B CN201610494057.0A CN201610494057A CN106060544B CN 106060544 B CN106060544 B CN 106060544B CN 201610494057 A CN201610494057 A CN 201610494057A CN 106060544 B CN106060544 B CN 106060544B
- Authority
- CN
- China
- Prior art keywords
- image frame
- target
- terminal
- image
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
Abstract
本发明实施例公开了一种图像编码方法、相关设备及系统，该方法包括：第一终端获取预设显示屏的目标显示区域，目标显示区域为用户关注的显示区域；第一终端通过第一编码标准对目标图像帧的第一图像块进行编码，第一图像块为用户关注的显示区域显示的图像，第二图像块为非用户关注的显示区域显示的图像，第一编码标准的图像压缩比小于第二编码标准的图像压缩比。采用本发明，既能保障用户需求还能节省资源开销。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像编码方法、相关设备及系统。
背景技术
视频通信和视频监控技术近年发展较为迅猛，摄像头采集到的图像数据需要在编码后才能输出到显示屏显示给用户(如图1所示)，如果采集到的图像数据较多(例如，4K、8K视频)则终端可能无法及时对某些区域的数据进行编码，导致这些区域在输出的时出现模糊(例如，出现马赛克)的情况，如果这些区域刚好是用户比较关注的区域则会严重影响用户体验。为了解决这个问题，国际标准化组织(英文：International Organization forStandardization，简称：ISO)在2000年制定了新一代静态图像压缩编码标准—感兴趣区域(英文：region of interest，简称：ROI)编码技术，ROI编码技术可以对图像中的ROI进行低压缩比的无损压缩或近无损压缩，对背景区域(该区域往往不是用户感兴趣的区域)进行高压缩比的有损压缩，既提高了整体编码效率又保证了ROI的清晰度。
ROI编码技术中的ROI的确定方式包括固定ROI和动态跟踪ROI两种情况。对于固定ROI来说，用户可以在预览画面中划出几个ROI，终端后续重点对这几个ROI对应的画面数据进行编码。对于动态跟踪ROI来说，可以实时对具有某些特征(例如，人脸)的区域进行动态跟踪并将具有该某些特征的区域作为ROI，终端后续重点对这些区域进行编码。
现有技术的缺陷在于，无论是预先设定的固定ROI还是根据某些特征确定的ROI都可能不是用户真正关注的区域，如果重点对固定ROI或者根据某些特征确定的ROI进行编码可能出现用户真正关注的区域出现模糊的情况。
发明内容
本发明实施例公开了一种图像编码方法、相关设备及系统，不仅保证了用户的需求还节省了资源开销。
第一方面，本发明实施例提供了一种图像编码方法，该方法包括：
第一终端获取预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域，例如，假设该预设显示屏当前显示的图像帧为目标视频中连续的图像帧中的第N个图像帧经编码和解码后的图像帧，用户在观看该预设显示屏显示的第N个图像帧经编码和解码后的图像帧时，可能只关注该预设显示屏的部分显示区域，用户关注的该部分显示区域即为该目标显示区域；
所述第一终端通过第一编码标准对目标图像帧的第一图像块进行编码，以及通过第二编码标准对所述目标图像帧的第二图像块进行编码，所述第一图像块为用户关注的显示区域显示的图像，所述第二图像块为非用户关注的显示区域显示的图像，所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比，可选的，该第N个图像帧和该目标图像帧均为录制的目标视频中的图像帧，该第N个图像帧在所述目标图像帧之前，也即是说，对在用户关注的区域显示的图像块进行无损压缩或者近无损压缩，而对在用户不关注的区域显示的图像块进行有损压缩。
通过执行上述步骤，第一终端确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
结合第一方面，在第一方面的第一种可能的实现方式中，所述方法还包括：
所述第一终端根据对至少一个图像帧进行编码时的编码特征确定所述目标图像帧的第三图像块，所述至少一个图像帧与所述目标图像帧为目标视频中的图像帧且所述至少一个图像帧在所述目标图像帧之前，可选的，该目标图像帧和该至少一个图像帧均为未压缩的图像帧；
所述第一终端通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
这样做的好处在于，用户在关注某块区域时往往会持续一段时间，因此可以得出：当已经显示的图像帧中的某个区域使用该第一编码标准编码符合用户的喜好时，后面的帧图像中的该谋区域，或者该某区域附近的位置使用该第一编码标准编码也符合用户的喜好。
结合第一方面的第一种可能的实现方式，在第一方面的第二种可能得实现方式中，所述第一终端根据对至少一个图像帧进行编码时的编码特征确定所述目标图像帧的第三图像块包括：
确定对至少一个图像帧进行编码时通过所述第一编码标准编码的区域在所述至少一个图像帧中的目标位置，以所述目标图像帧中的所述目标位置为基础向所述目标位置以外延伸预设距离得到的区域为所述第三图像块；或者，
判断所述至少一个图像帧中的在后图像帧通过所述第一编码标准编码的区域是否落入所述至少一个图像帧中的在前图像帧通过所述第一编码标准编码的区域内；若是，则将所述在后图像帧通过所述第一编码标准编码的区域内的部分区域确定为所述第三图像块。
结合第一方面，在第一方面的第三种可能的实现方式中，所述方法还包括：
所述第一终端将所述目标图像帧中满足预设特征的部分作为第三图像块，例如，该预设特征可以使足球的特征、汽车后视镜的特征等等，具体哪些特征可以根据实际情况来预先配置；
所述第一终端通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
这样做的原因在于，有些场景下画面中的某些元素非常重要，不管帧图像如何切换该元素很大概率上是用户关注的对象，例如，一场足球赛的现场直播中，几乎所有人都会将注意力集中在足球上，因此可以预先配置足球的特征(即该预设特征)，然后将目标图像帧中具有足球的特征的区域使用该第一编码标准编码，很大概率地满足了用户需求。
结合第一方面，在第一方面的第四种可能的实现方式中，所述方法还包括：
所述第一终端判断所述目标图像帧是否满足预设条件；具体地，可以结合该目标图像帧以及该目标图像帧之前的至少一个图像帧来判断该目标图像帧是否满足预设条件。该预设部分具体为哪部分可以根据实际情况进行配置。
若满足，则所述第一终端将所述目标图像帧中的预设部分确定为第三图像块；
所述第一终端通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
按照上述方案，可以确定目标图像帧是否处于不稳定状态，例如，当连续的好几个图像帧中的景物出现了颠簸的情况时，此时用户一般会将注意力集中到该预设显示屏的中间位置，因此结合目标帧图像以及前面的图像帧确定由景物出现颠簸时，对在该预设显示屏的中间区域使用该第一编码标准编码能够更好地满足用户的需求。
结合第一方面，或者第一方面的第一种可能的实现方式，或者第一方面的第二种可能的实现方式，或者第一方面的第三种可能的实现方式，或者第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述预设显示屏配置在所述第一终端上；所述方法还包括：
所述第一终端对经编码后的目标图像帧解码后通过所述预设显示屏显示。
结合第一方面，或者第一方面的第一种可能的实现方式，或者第一方面的第二种可能的实现方式，或者第一方面的第三种可能的实现方式，或者第一方面的第四种可能的实现方式，在第一方面的第六种可能的实现方式中，所述预设显示屏配置在第二终端上；所述方法还包括：
所述第一终端向所述第二终端发送经编码后的所述目标图像帧，以使所述第二终端对经编码后的所述目标图像帧解码后通过所述预设显示屏显示。
结合第一方面，或者第一方面的第一种可能的实现方式，或者第一方面的第二种可能的实现方式，或者第一方面的第三种可能的实现方式，或者第一方面的第四种可能的实现方式，或者第一方面的第五种可能的实现方式，或者第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述第一终端获取预设显示屏的目标显示区域包括：
所述第一终端接收针对所述预设显示屏的显示区域的区域选定操作；
所述第一终端根据所述区域选定操作确定目标显示区域。
结合第一方面，或者第一方面的第一种可能的实现方式，或者第一方面的第二种可能的实现方式，或者第一方面的第三种可能的实现方式，或者第一方面的第四种可能的实现方式，或者第一方面的第五种可能的实现方式，或者第一方面的第六种可能的实现方式，在第一方面的第八种可能的实现方式中，所述第一终端获取预设显示屏的目标显示区域包括：
所述第一终端采集用户的视角信息；
所述第一终端根据所述视角信息确定所述预设显示屏的目标显示区域。
结合第一方面，或者第一方面的第一种可能的实现方式，或者第一方面的第二种可能的实现方式，或者第一方面的第三种可能的实现方式，或者第一方面的第四种可能的实现方式，或者第一方面的第五种可能的实现方式，或者第一方面的第六种可能的实现方式，在第一方面的第九种可能的实现方式中，所述第一终端获取预设显示屏的目标显示区域包括：
所述第一终端接收第三终端发送的采集到的用户的视角信息；
所述第一终端根据所述视角信息确定所述预设显示屏的目标显示区域。
结合第一方面的第八种可能的实现方式，或者第一方面的第九种可能的实现方式，在第一方面的第十种可能的实现方式中，所述用户的视角信息包括多个用户的视角信息。
第二方面，本发明实施例提供一种图像编码方法，该方法包括：
第二终端获取自身的预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域，例如，假设该预设显示屏当前显示的图像帧为目标视频中连续的图像帧中的第N个图像帧经编码和解码后的图像帧，用户在观看该预设显示屏显示的第N个图像帧经编码和解码后的图像帧时，可能只关注该预设显示屏的部分显示区域，用户关注的该部分显示区域即为该目标显示区域；
所述第二终端将所述目标显示区域的信息发送给第一终端，以使所述第一终端通过第一编码标准对在用户关注的显示区域显示的图像进行编码，以及通过第二编码标准对在非用户关注的显示区域显示的图像进行编码；
所述第二终端接收所述第一终端发送的经编码后的所述目标图像帧，以及对经编码后的所述目标图像帧解码和显示；所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比，可选的，所述第N个图像帧和所述目标图像帧均为录制的目标视频中的图像帧，所述第N个图像帧在所述目标图像帧之前。
通过执行上述步骤，第一终端确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
结合第二方面，在第二方面的第一种可能的实现方式中，所述第二终端获取自身的预设显示屏的目标显示区域包括：
所述第二终端接收针对所述预设显示屏的显示区域的区域选定操作；
所述第二终端根据所述区域选定操作确定目标显示区域。
结合第二方面，在第二方面的第二种可能的实现方式中，所述第二终端获取自身的预设显示屏的目标显示区域包括：
所述第二终端采集用户的视角信息；
所述第二终端根据所述视角信息确定所述预设显示屏的目标显示区域
结合第二方面的第二种可能的实现，在第二方面的第三种可能的实现方式中，所述用户的视角信息包括多个用户的视角信息。
第三方面，本发明实施例提供一种第一终端，所述第一终端包括处理器和存储器：
所述存储器用于存储数据和程序；
所述处理器调用所述存储器中的程序用于执行如下操作：
获取预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域，例如，假设该预设显示屏当前显示的图像帧为目标视频中连续的图像帧中的第N个图像帧经编码和解码后的图像帧，用户在观看该预设显示屏显示的第N个图像帧经编码和解码后的图像帧时，可能只关注该预设显示屏的部分显示区域，用户关注的该部分显示区域即为该目标显示区域；
通过第一编码标准对目标图像帧的第一图像块进行编码，以及通过第二编码标准对所述目标图像帧的第二图像块进行编码，所述第一图像块为用户关注的显示区域显示的图像，所述第二图像块为非用户关注的显示区域显示的图像，所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比，该第N个图像帧和所述目标图像帧均为录制的目标视频中的图像帧，所述第N个图像帧在所述目标图像帧之前。
通过执行上述操作，第一终端确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
结合第三方面，在第三方面的第一种可能的实现方式中，所述处理器还用于：
根据对至少一个图像帧进行编码时的编码特征确定所述目标图像帧的第三图像块，所述至少一个图像帧与所述目标图像帧为目标视频中图像帧且所述至少一个图像帧在所述目标图像帧之前；
通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
这样做的好处在于，用户在关注某块区域时往往会持续一段时间，因此可以得出：当已经显示的图像帧中的某个区域使用该第一编码标准编码符合用户的喜好时，后面的帧图像中的该谋区域，或者该某区域附近的位置使用该第一编码标准编码也符合用户的喜好。
结合第三方面的第一种可能的实现方式，在第三方面的第二种可能的实现方式中，所述处理器根据对至少一个图像帧进行编码时的编码特征确定所述目标图像帧的第三图像块，具体为：
确定对至少一个图像帧进行编码时通过所述第一编码标准编码的区域在所述至少一个图像帧中的目标位置，以所述目标图像帧中的所述目标位置为基础向所述目标位置以外延伸预设距离得到的区域为所述第三图像块；或者，
判断所述至少一个图像帧中的在后图像帧通过所述第一编码标准编码的区域是否落入所述至少一个图像帧中的在前图像帧通过所述第一编码标准编码的区域内；若是，则将所述在后图像帧通过所述第一编码标准编码的区域内的部分区域确定为所述第三图像块。
结合第三方面，在第三方面的第三种可能的实现方式中，所述处理器还用于：
将所述目标图像帧中满足预设特征的部分作为第三图像块，例如，该预设特征可以使足球的特征、汽车后视镜的特征等等，具体哪些特征可以根据实际情况来预先配置；
通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
这样做的原因在于，有些场景下画面中的某些元素非常重要，不管帧图像如何切换该元素很大概率上是用户关注的对象，例如，一场足球赛的现场直播中，几乎所有人都会将注意力集中在足球上，因此可以预先配置足球的特征(即该预设特征)，然后将目标图像帧中具有足球的特征的区域使用该第一编码标准编码，很大概率地满足了用户需求。结合第三方面，在第三方面的第四种可能的实现方式中，所述处理器还用于：
判断所述目标图像帧是否满足预设条件，具体地，可以结合该目标图像帧以及该目标图像帧之前的至少一个图像帧来判断该目标图像帧是否满足预设条件。该预设部分具体为哪部分可以根据实际情况进行配置。；
若满足，则将所述目标图像帧中的预设部分确定为第三图像块；
通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
按照上述方案，可以确定目标图像帧是否处于不稳定状态，例如，当连续的好几个图像帧中的景物出现了颠簸的情况时，此时用户一般会将注意力集中到该预设显示屏的中间位置，因此结合目标帧图像以及前面的图像帧确定由景物出现颠簸时，对在该预设显示屏的中间区域使用该第一编码标准编码能够更好地满足用户的需求。
结合第三方面，或者第三方面的第一种可能的实现方式，或者第三方面的第二种可能的实现方式，或者第三方面的第三种可能的实现方式，或者第三方面的第四种可能的实现方式，在第三方面的第五种可能的实现方式中，所述预设显示屏配置在所述第一终端上；所述处理器还用于：
对经编码后的目标图像帧解码后通过所述预设显示屏显示。
结合第三方面，或者第三方面的第一种可能的实现方式，或者第三方面的第二种可能的实现方式，或者第三方面的第三种可能的实现方式，或者第三方面的第四种可能的实现方式，在第三方面的第六种可能的实现方式中，所述预设显示屏配置在第二终端上；所述处理器还用于：
向所述第二终端发送经编码后的所述目标图像帧，以使所述第二终端对经编码后的所述目标图像帧解码后通过所述预设显示屏显示。
结合第三方面，或者第三方面的第一种可能的实现方式，或者第三方面的第二种可能的实现方式，或者第三方面的第三种可能的实现方式，或者第三方面的第四种可能的实现方式，或者第三方面的第五种可能的实现方式，或者第三方面的第六种可能的实现方式，在第三方面的第七种可能的实现方式中，所述处理器获取预设显示屏的目标显示区域，具体为：
接收针对所述预设显示屏的显示区域的区域选定操作；
根据所述区域选定操作确定目标显示区域。
结合第三方面，或者第三方面的第一种可能的实现方式，或者第三方面的第二种可能的实现方式，或者第三方面的第三种可能的实现方式，或者第三方面的第四种可能的实现方式，或者第三方面的第五种可能的实现方式，或者第三方面的第六种可能的实现方式，在第三方面的第八种可能的实现方式中，所述处理器获取预设显示屏的目标显示区域，具体为：
采集用户的视角信息；
根据所述视角信息确定所述预设显示屏的目标显示区域。
结合第三方面，或者第三方面的第一种可能的实现方式，或者第三方面的第二种可能的实现方式，或者第三方面的第三种可能的实现方式，或者第三方面的第四种可能的实现方式，或者第三方面的第五种可能的实现方式，或者第三方面的第六种可能的实现方式，在第三方面的第九种可能的实现方式中，所述处理器获取预设显示屏的目标显示区域，具体为：
接收第三终端发送的采集到的用户的视角信息；
根据所述视角信息确定所述预设显示屏的目标显示区域。
结合第三方面的第八种可能的实现方式，或者第三方面的第九种可能的实现方式，在第三方面的第十种可能的实现方式中，所述用户的视角信息包括多个用户的视角信息。
第四方面，本发明实施例提供一种第二终端，所述第二终端包括处理器、存储器和收发器：
所述存储器用于存储数据和程序；
所述处理器调用所述存储器中的程序用于执行如下操作：
获取自身的预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域，例如，假设该预设显示屏当前显示的图像帧为目标视频中连续的图像帧中的第N个图像帧经编码和解码后的图像帧，用户在观看该预设显示屏显示的第N个图像帧经编码和解码后的图像帧时，可能只关注该预设显示屏的部分显示区域，用户关注的该部分显示区域即为该目标显示区域；
将所述目标显示区域的信息发送给第一终端，以使所述第一终端通过第一编码标准对在用户关注的显示区域显示的图像进行编码，以及通过第二编码标准对在非用户关注的显示区域显示的图像进行编码；
通过所述收发器接收所述第一终端发送的经编码后的所述目标图像帧，以及对经编码后的所述目标图像帧解码和显示；所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比，可选的，该第N个图像帧和该目标图像帧均为录制的目标视频中的图像帧，该第N个图像帧在所述目标图像帧之前。
通过执行上述操作，第一终端确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
结合第四方面，在第四方面的第一种可能的实现方式中，所述处理器获取自身的预设显示屏的目标显示区域，具体为：
通过所述收发器接收针对所述预设显示屏的显示区域的区域选定操作；
根据所述区域选定操作确定目标显示区域。
结合第四方面，在第四方面的第二种可能的实现方式中，所述处理器获取自身的预设显示屏的目标显示区域，具体为：
采集用户的视角信息；
根据所述视角信息确定所述预设显示屏的目标显示区域
结合第四方面的第二种可能的实现方式，在第四方面的第三种可能的实现方式中，所述用户的视角信息包括多个用户的视角信息。
第五方面，本发明实施例提供一种第一终端，该第一终端包括用于执行第一方面的任一实现方式中的全部或部分步骤的功能单元。
第六方面，本发明实施例提供一种第二终端，该第二终端包括用于执行第二方面的任一实现方式中的全部或部分步骤的功能单元。
第七方面，本发明实施例提供一种编码系统，所述编码系统包括第一终端和第二终端，其中：
所述第二终端用于获取自身的预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域；
所述第二终端还用于将所述目标显示区域的信息发送给第一终端；
所述第一终端用于接收所述目标显示区域的信息；
所述第一终端还用于通过第一编码标准对在用户关注的显示区域显示的图像进行编码，以及通过第二编码标准对在非用户关注的显示区域显示的图像进行编码，所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比；
所述第一终端还用于向所述第二终端发送经编码后的目标图像帧；
所述第二终端还用于接收所述第一终端发送的经编码后的所述目标图像帧，以及通过所述预设显示屏对经编码后的所述目标图像帧解码和显示。
需要说明的是，所述第一终端的具体实现还可以参照第三方面的任一实现方式所描述的第一终端，或者第五方面的任一实现方式所描述的第一终端；所述第二终端的具体实现还可以参照第四方面的任一实现方式所描述的第二终端，或者第六方面的任一实现方式所描述的第二终端。
通过实施本发明实施例，第一终端确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是现有技术中的一种图像编码的场景示意图；
图2是本发明实施例提供的一种图像编码的场景示意图；
图3是本发明实施例提供的又一种图像编码的场景示意图；
图4是本发明实施例提供的一种图像编码方法的流程示意图；
图5为本发明实施例提供的一种多人视角的场景示意图；
图6是本发明实施例提供的又一种图像编码的场景示意图；
图7是本发明实施例提供的又一种图像编码的场景示意图；
图8是本发明实施例提供的一种第三图像块的场景示意图；
图9是本发明实施例提供的又一种第三图像块的场景示意图；
图10是本发明实施例提供的一种目标图像帧包含轮廓的场景示意图；
图11是本发明实施例提供的又一种图像编码的场景示意图；
图12是本发明实施例提供的一种第一终端的结构示意图；
图13是本发明实施例提供的一种第二终端的结构示意图；
图14是本发明实施例提供的又一种第一终端的结构示意图；
图15是本发明实施例提供的又一种第二终端的结构示意图；
图16是本发明实施例提供的一种编码系统的结构示意图。
具体实施方式
下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。
我们平时看到的视频是由时域上连续的图像帧组成，一段视频从采集图像帧到最终呈现到用户眼前至少包括编码和解码这两个过程，本发明实施例重点讲述如何对视频中的图像帧进行编码，对该图像帧进行编码和解码大致上分为两种情况，第一种情况是，编码端和解码端处于相同的终端设备上，第二种情况是，编码端和解码端分别处于不同的终端设备上。图2示意了该第一种情况，图2中的第一终端具备编码和解码功能，一种方案中，该第一终端自身采集该帧图像，又一种方案中，该第一终端通过第三终端(场外摄像头)采集该帧图像；采集到的帧图像经过该第一终端编码和解码后由显示屏显示给用户。图3示意了该第二种情况，图3中的第一终端具备编码功能，第二终端具备解码功能，一种方案中，该第一终端自身采集该帧图像，又一种方案中，该第一终端通过第三终端(场外摄像头)或该第二终端采集该帧图像；采集到的帧图像经过该第一终端编码后输出给该第二终端，该第二终端解码后通过显示屏显示给用户。以下针对上面两种情况进行详细描述。
请参见图4，图4是本发明实施例提供的一种图像编码方法的流程示意图，该方法包括但不限于如下步骤。
步骤S401：第一终端获取预设显示屏的目标显示区域。
具体地，该第一终端可以通过摄像头拍摄视频，为了方便后续描述可以称拍摄的该视频为目标视频，该目标视频是由连续的图像帧组成，可选的，该连续的图像帧为未压缩的图像帧，该目标视频最终经编码(即压缩)和解码后用于通过该预设显示屏显示，该预设显示屏可能为该第一终端的显示屏也可能为第二终端的显示屏。
当该预设显示屏为该第二终端的显示屏时，该第一终端需要边对该目标视频进行编码边将编码完的图像帧发送给该第二终端，由该第二终端进行解码并通过该预设显示屏显示，例如，该第一终端在时序上先后对图像帧A、图像帧B和图像帧C进行编码，在对图像帧B进行编码的同时可以将已经编码完的图像帧A发送给该第二终端解码和显示。当该预设显示屏为该第一终端的显示屏时，该第一终端需要边对该目标视频进行编码边将编码完的图像帧解码并在解码后通过该预设显示屏显示，可选的，该预设显示屏具备解码的功能，例如，该第一终端在时序上先后对图像帧A、图像帧B和图像帧C进行编码，在对图像帧B进行编码的同时可以通过该预设显示屏显示已经编码完的图像帧A。
假设该预设显示屏当前显示的图像帧为该连续的图像帧中的第N个图像帧经编码和解码后的图像帧，用户在观看该预设显示屏显示的第N个图像帧经编码和解码后的图像帧时，可能只关注该预设显示屏的部分显示区域，用户关注的该部分显示区域即为该目标显示区域。确定该目标显示区域的方式有多种，以下例举其中几种方式。
在一种可选的方案中，该第一终端接收针对该预设显示屏的显示区域的区域选定操作；该第一终端根据该区域选定操作确定目标显示区域。需要说明的是，当该预设显示屏设置于该第一终端时，该第一终端可以直接接收用户输入的该区域选定操作；当该预设显示屏设置于该第二终端时，该第二终端直接接收用户输入的该区域选定操作然后将该区域选定操作发送给该第一终端。相应地，以下例举几种用户输入该区域选定操作的具体方式：例如，用户可以通过激光笔指示该预设显示屏的显示区域来输入该区域选定操作，该激光笔指示的区域或者以该激光笔指示的区域为中心的某个区域即为该目标显示区域。再如，用户可以通过输入语音来输入该区域选定操作，当用户输入的语音为“中间”时，该第一终端会将该预设显示屏的显示区域的中间的部分确定为该目标显示区域。再如，用户通过移动鼠标来输入该区域选定操作，该鼠标的光标在该预设显示屏中停留或者划过的显示区域即为该目标显示区域，其余方式依次类推。
在又一种可选的方案中，该第一终端采集用户的视角信息；该第一终端根据该视角信息确定该预设显示屏的目标显示区域。也即是说，该第一终端上设置有用来采集用户视角信息的模块，例如摄像头等，该第一终端通过该模块来采集用户的视角信息然后根据该视角信息分析用户关注该预设显示屏的显示区域的哪个部分，用户关注的那部分即为该目标显示区域。
在又一种可选的方案中，该第一终端接收第三终端发送的采集到的用户的视角信息；该第一终端根据该视角信息确定该预设显示屏的目标显示区域。也即是说，该第三终端上配置有采集用户视角信息的模块，该第三终端使用该模块来采集用户的视角信息，然后将该视角信息发送该第一终端，相应地，该第一终端接收该第三终端发送的该视角信息，然后基于该视角信息分析用户关注该预设显示屏的显示区域的哪个部分，用户关注的那部分即为该目标显示区域。需要说明的是，当该预设显示屏设置在该第二终端上时，该第三终端为该第二终端或者为该第二终端以外的终端。
在本发明实施例中，用户的视角信息可以具体为多个用户的视角信息，根据该视角信息可以得出多个用户的视角，可以将该多个视角关注的显示区域的并集，或者交集，或者包含该并集且满足预设规则的区域，或者包含该交集且满足预设规则的区域等作为该目标显示区域，例如，如图5所示，用户1、用户2和用户3的视角在预设显示屏501上关注的显示区域分别为显示区域502、显示区域503和显示区域504，那么，可以将包含显示区域502、显示区域503和显示区域504的某个区域505作为该目标显示区域。
步骤S402：该第一终端通过第一编码标准对目标图像帧的第一图像块进行编码，以及通过第二编码标准对该目标图像帧的第二图像块进行编码。
具体地，该第N个图像帧和该目标图像帧均为该目标视频中的图像帧，该第N个图像帧在该目标图像帧之前且该第N个图像帧和该目标图像帧可能连续也可能不连续，由于本发明实施例中会对该目标图像帧的不同区域使用不同的编码标准进行编码，因此为了描述方便可以将该目标图像帧的不同区域分别命名为第一图像块、第二图像块等，该第一图像块为经编码和解码后在该目标显示区域显示的图像，该第二图像块为经编码和解码后在该显示屏上除该目标显示区域之外的显示区域显示的图像，该第一编码标准的图像压缩比小于该第二编码标准的图像压缩比。可选的，通过该第一编码标准的图像压缩比进行的压缩为无损压缩或者近无损压缩，而通过该第二编码标准的图像压缩比进行的压缩为有损压缩。需要说明的是，本发明实施例中的第N个图像帧可以为单个图像帧，也可以为多个图像帧的集合；本发明实施例中目标图像帧可以为单个图像帧，也可以为多个图像帧的集合。
当该预设显示屏设置在该第一终端上时，该目标图像帧编码完成后执行步骤S403，对应的流程如图6所示；当该预设显示屏设置在该第二终端上时，该目标图像帧编码完成后执行步骤S404～S406，对应的流程如图7所示。其中，步骤S403～S406的描述如下。
步骤S403：该第一终端对经编码后的目标图像帧进行解码并将解码得到的图像帧通过该预设显示屏显示，图2为对应的一种场景示意图。
步骤S404：该第一终端将经编码后的目标图像帧发送给该第二终端。
步骤S405：该第二终端接收经编码后的目标图像帧。
步骤S406：该第二终端对经编码后的目标图像帧进行解码并将解码得到的图像帧通过该预设显示屏显示，图3为对应的一种场景示意图。
在一种可选的方案中，该第一终端对该目标图像帧编码还包括对该目标图像帧中的第三图像块进行编码，该第三图像块同该第一图像块、第二图像块一样均为该目标图像帧的部分区域，以下通过步骤S407和S408分别讲述如何确定该第三图像块以及如何对该第三图像块进行编码。
步骤S407：该第一终端确定该目标图像帧的第三图像块，确定该第三图像块的方式包括但不限于以下三种方式。
方式一，该第一终端根据对至少一个图像帧进行编码时的编码特征确定该目标图像帧的第三图像块；由以上描述可知该第一终端会依次对该目标视频中连续的图像帧进行编码，该至少一个图像帧为该连续的图像帧中的图像帧且在对该目标图像帧编码时该至少一个图像帧已经编码完，因此可以根据对该至少一个图像帧进行编码时的编码特征来对该目标图像帧编码。
在一种可选的方案中，该编码特征包含编码的区域，如果该第一终端对该至少一个图像帧的某区域使用了上述第一编码标准进行了编码，由于该目标图像帧上也存在该某区域(例如，可以预先配置每个图像帧均具有上区域、下区域、左区域、右区域、中间区域等位置)，因此以该目标图像帧的该某区域为基准向周围延伸预设距离，延伸后形成的区域即为该第三图像块，如图8所示，至少一个图像帧的某区域801使用了该第一编码标准编码，那么可以以该某区域801。为基础向外延伸预设距离得到第三图像块802。
在又一种可选的方案中，该编码特征包含编码的区域，该至少一个图像帧具体为多个图像帧，如图9所示，如果该多个图像帧中的任意两个图像帧中，后一个图像帧被该第一编码标准编码的区域901在前一个图像帧被该第一编码标准编码的区域902以内，则认为用户正在靠近该预设显示屏，因此以该多个图像帧中的最后一个图像帧为参考来确定一个区域，使得该区域在该在该最后一个图像帧被该第一编码标准编码的区域以内，确定的该区域即为第三图像块。
方式二，该第一终端将该目标图像帧中满足预设特征的部分作为第三图像块；该第一终端可以直接根据该目标图像帧判断该目标图像帧中是否存在该预设特征，也可以结合该目标图像帧以及该目标图像帧之前的至少一个图像帧来判断该目标图像帧中是否存在该预设特征。
在一种可选的方案中，该第一终端结合该至少一个图像帧和该目标图像帧判断这些图像帧中是否存在某个特征的位置未发生变化，如果存在则该某个特征为该预设特征。例如，该至少一个图像帧包括图像帧A和图像帧B且图像帧A在图像帧B之前，图像帧A、图像帧B和目标图像帧中均包含某个特征(如，气球的画面)和其他特征，且该某个特征在图像帧A、图像帧B和目标图像帧中的相同位置，该其他特征在图像帧A、图像帧B和目标图像帧中的不同位置，那么可以确定该某个特征为该预设特征。
在又一种可选的方案中，该第一终端结合该至少一个图像帧和该目标图像帧判断这些图像帧中是否存在某个特征的位置发生了变化，如果存在则该某个特征为该预设特征。例如，该至少一个图像帧包括图像帧A和图像帧B且图像帧A在图像帧B之前，图像帧A、图像帧B和目标图像帧中均包含某个特征(如，气球的画面)和其他特征，且该某个特征在图像帧A、图像帧B和目标图像帧中的位置均不同，而该其他特征在图像帧A、图像帧B和目标图像帧中的位置相同，那么可以确定该某个特征为该预设特征。
在又一种可选的方案中，该预设特征为该目标图像帧中具有明显轮廓的区域，是否具有明显轮廓可以通过分析图像的对比度等信息得到，如图10所示，目标图像帧100包含轮廓1001。
在又一种可选的方案中，该第一终端预先存储了该预设特征，例如，该预设特征可以为汽车后视镜的特征、篮球的特征、足球的特征等。
方式三，该第一终端在该目标图像帧满足预设条件时将该目标图像帧中的预设部分确定为第三图像块；可以结合该目标图像帧以及该目标图像帧之前的至少一个图像帧来判断该目标图像帧是否满足预设条件。该预设部分具体为哪部分可以根据实际情况进行配置。
在一种可选的方案中，该第一终端结合该至少一个图像帧和该目标图像帧判断这些图像帧中是否存在某个特征变化不稳定，如果存在则表明该目标图像帧满足预设条件，并将该目标图像帧的中间区域确定为该预设部分。例如，该至少一个图像帧包括图像帧A和图像帧B且图像帧A在图像帧B之前，图像帧A、图像帧B和目标图像帧中均包含某个特征(如，气球的画面)，且图像帧A、图像帧B和目标图像帧比较而言该某个特征出现了不稳定的波动，那么表明该目标图像帧满足预设条件，并将该目标图像帧的中间区域确定为该预设部分。
在又一种可选的方案中，该第一终端结合该至少一个图像帧和该目标图像帧判断这些图像帧中的某个特征(即某个被拍摄的景物)是否在某个方向上颠簸，如果是则表明该目标图像帧满足预设条件，可以确定一个长方形区域为第三图像块，该长方形区域的长边垂直于该某个方向。
步骤S408：该第一终端通过第三编码标准对该第三图像块进行编码。
具体地，该第三编码标准的图像压缩比小于该第二编码标准的图像压缩比；可选的，该第三编码标准即为上述第一编码标准。在本发明实施例中，该第三图像块可能与该第一图像块存在交叠的部分，该交叠的部分可能使用该第一编码标准进行编码也可能使用该第三编码标准进行编码，还可能使用其他编码表明进行编码，具体使用什么方式编码可以预先配置好。该第三图像块可能与该第二图像块存在交叠的部分，该交叠的部分可能使用该第二编码标准进行编码也可能使用该第三编码标准进行编码，还可能使用其他编码表明进行编码，具体使用什么方式编码可以预先配置好。
需要说明的是，本发明实施例中描述的目标图像帧只是用来举例说明，该目标视频中除该目标图像帧以外的图像帧也满足该目标图像帧的特征。可选的，可以预先配置该目标视频中初始的m个图像帧的某区域也使用该第一编码标准编码，m为大于等于1的正整数；进一步地，用户还可以预先选定至少一个固定区域，后续每个图像帧中的该固定区域均需要使用该第一编码标准进行编码，图11为对应的场景示意图，图像帧110中包含用于在该预设显示屏的目标显示区域显示的区域1102和固定区域1103，还可能包含该某区域1101。
在图4所描述的方法中，第一终端确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
上述详细阐述了本发明实施例的方法，为了便于更好地实施本发明实施例的上述方案，相应地，下面提供了本发明实施例的装置。
请参见图12，图12是本发明实施例提供的一种第一终端120，该第一终端120包括处理器1201和存储器1202，所述处理器1201和存储器1202通过总线相互连接。
存储器1202包括但不限于是随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者快闪存储器)、或便携式只读存储器(CD-ROM)，该存储器1202用于相关指令及数据。
处理器1201可以是一个或多个中央处理器(英文：Central Processing Unit，简称：CPU)，在处理器1201是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
所述第一终端120中的处理器1201用于读取所述存储器1202中存储的程序代码，执行以下操作：
获取预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域；
通过第一编码标准对目标图像帧的第一图像块进行编码，以及通过第二编码标准对所述目标图像帧的第二图像块进行编码，所述第一图像块为用户关注的显示区域显示的图像，所述第二图像块为非用户关注的显示区域显示的图像，所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比，所述第N个图像帧和所述目标图像帧均为录制的目标视频中的图像帧，所述第N个图像帧在所述目标图像帧之前。
通过执行上述操作，第一终端120确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
在一种可选的方案中，所述处理器1201还用于：
根据对至少一个图像帧进行编码时的编码特征确定所述目标图像帧的第三图像块，所述至少一个图像帧与所述目标图像帧为目标视频中图像帧且所述至少一个图像帧在所述目标图像帧之前；
通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
在又一种可选的方案中，处理器1201根据对至少一个图像帧进行编码时的编码特征确定所述目标图像帧的第三图像块，具体为：
确定对至少一个图像帧进行编码时通过所述第一编码标准编码的区域在所述至少一个图像帧中的目标位置，以所述目标图像帧中的所述目标位置为基础向所述目标位置以外延伸预设距离得到的区域为所述第三图像块；或者，
判断所述至少一个图像帧中的在后图像帧通过所述第一编码标准编码的区域是否落入所述至少一个图像帧中的在前图像帧通过所述第一编码标准编码的区域内；若是，则将所述在后图像帧通过所述第一编码标准编码的区域内的部分区域确定为所述第三图像块。
在又一种可选的方案中，所述处理器1201还用于：
将所述目标图像帧中满足预设特征的部分作为第三图像块；
通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
在又一种可选的方案中，所述处理器1201还用于：
判断所述目标图像帧是否满足预设条件；
若满足，则将所述目标图像帧中的预设部分确定为第三图像块；
通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
在又一种可选的方案中，所述预设显示屏配置在所述第一终端120上；所述处理器1201还用于：
对经编码后的目标图像帧解码后通过所述预设显示屏显示。
在又一种可选的方案中，所述预设显示屏配置在第二终端上；所述处理器1201还用于：
向所述第二终端发送经编码后的所述目标图像帧，以使所述第二终端对经编码后的所述目标图像帧解码后通过所述预设显示屏显示。
在又一种可选的方案中，所述处理器1201获取预设显示屏的目标显示区域，具体为：
接收针对所述预设显示屏的显示区域的区域选定操作；
根据所述区域选定操作确定目标显示区域。
在又一种可选的方案中，所述处理器1201获取预设显示屏的目标显示区域，具体为：
采集用户的视角信息；
根据所述视角信息确定所述预设显示屏的目标显示区域。
在又一种可选的方案中，所述处理器1201获取预设显示屏的目标显示区域，具体为：
接收第三终端发送的采集到的用户的视角信息；
根据所述视角信息确定所述预设显示屏的目标显示区域。
在又一种可选的方案中，所述用户的视角信息包括多个用户的视角信息。
需要说明的是，该第一终端120的具体实现还可以对应参照图4所示的方法实施例的相应描述。
在图12所描述的第一终端120中，第一终端120确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
请参见图13，图13是本发明实施例提供的一种第二终端130，该第二终端130包括处理器1301、存储器1302和收发器1303，所述处理器1301与存储器1302以及与收发器1303通过总线相互连接。
存储器1302包括但不限于是随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者快闪存储器)、或便携式只读存储器(CD-ROM)，该存储器1302用于相关指令及数据。
处理器1301可以是一个或多个中央处理器(英文：Central Processing Unit，简称：CPU)，在处理器1301是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
所述第二终端130中的处理器1301用于读取所述存储器1302中存储的程序代码，执行以下操作：
获取自身的预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域；
将所述目标显示区域的信息发送给第一终端，以使所述第一终端通过第一编码标准对在用户关注的显示区域显示的图像进行编码，以及通过第二编码标准对在非用户关注的显示区域显示的图像进行编码；
通过所述收发器接收所述第一终端发送的经编码后的所述目标图像帧，以及对经编码后的所述目标图像帧解码和显示；所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比，可选的，所述第N个图像帧和所述目标图像帧均为录制的目标视频中的图像帧，所述第N个图像帧在所述目标图像帧之前。
通过执行上述操作，第一终端确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
在一种可选的方案中，所述处理器1301获取自身的预设显示屏的目标显示区域，具体为：
通过所述收发器接收针对所述预设显示屏的显示区域的区域选定操作；
根据所述区域选定操作确定目标显示区域。
在又一种可选的方案中，所述处理器1301获取自身的预设显示屏的目标显示区域，具体为：
采集用户的视角信息；
根据所述视角信息确定所述预设显示屏的目标显示区域
在又一种可选的方案中，所述用户的视角信息包括多个用户的视角信息。
需要说明的是，该第二终端130的具体实现还可以对应参照图4所示的方法实施例的相应描述。
在图13所描述的第二终端130中，第一终端确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
请参见图14，图14是本发明实施例提供的又一种第一终端140的结构示意图，该第一终端140可以包括获取单元1401和编码单元1402，其中，各个单元的详细描述如下。
获取单元1401用于获取预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域；
编码单元1402用于通过第一编码标准对目标图像帧的第一图像块进行编码，以及通过第二编码标准对所述目标图像帧的第二图像块进行编码，所述第一图像块为用户关注的显示区域显示的图像，所述第二图像块为非用户关注的显示区域显示的图像，所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比，该第N个图像帧和该目标图像帧均为录制的目标视频中的图像帧，所述第N个图像帧在所述目标图像帧之前。
通过运行上述单元，第一终端140确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
在一种可选的方案中，所述该第一终端140还包括：
确定单元，用于根据对至少一个图像帧进行编码时的编码特征确定所述目标图像帧的第三图像块，所述至少一个图像帧为所述目标视频中可以为的图像帧且所述至少一个图像帧在所述目标图像帧之前；
所述编码单元1402还用于通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
在又一种可选的方案中，所述第一终端140还包括：
确定单元，用于将所述目标图像帧中满足预设特征的部分作为第三图像块；
所述编码单元1402还用于通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
在又一种可选的方案中，所述第一终端140还包括：
判断单元，用于判断所述目标图像帧是否满足预设条件；
确定单元，用于在所述判断单元的判断结果为是时，将所述目标图像帧中的预设部分确定为第三图像块；
所述编码单元1402还用于通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
在又一种可选的方案中，所述预设显示屏配置在所述第一终端140上；所述第一终端140还包括显示单元，所述显示单元用于对经编码后的目标图像帧解码后通过所述预设显示屏显示。
在又一种可选的方案中，所述预设显示屏配置在第二终端上；所述第一终端140还包括：
所述第一终端140向所述第二终端发送经编码后的所述目标图像帧，以使所述第二终端对经编码后的所述目标图像帧解码后通过所述预设显示屏显示。
在又一种可选的方案中，所述获取单元1401具体用于：
接收针对所述预设显示屏的显示区域的区域选定操作；
根据所述区域选定操作确定目标显示区域。
在又一种可选的方案中，所述获取单元1401具体用于：
端采集用户的视角信息；
根据所述视角信息确定所述预设显示屏的目标显示区域。
在又一种可选的方案中，所述获取单元1401具体用于：
接收第三终端发送的采集到的用户的视角信息；
根据所述视角信息确定所述预设显示屏的目标显示区域。
在又一种可选的方案中，所述用户的视角信息包括多个用户的视角信息。
需要说明的是，各个单元的具体实现还可以对应参照图4所示的方法实施例的相应描述。
在图14所描述的第一终端140中，第一终端140确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
请参见图15，图15是本发明实施例提供的又一种第二终端150的结构示意图，该第二终端150可以包括获取单元1501、发送单元1502和接收单元1503，其中，各个单元的详细描述如下。
获取单元1501用于获取自身的预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域；
发送单元1502用于将所述目标显示区域的信息发送给第一终端，以使所述第一终端通过第一编码标准对在用户关注的显示区域显示的图像进行编码，以及通过第二编码标准对在非用户关注的显示区域显示的图像进行编码；
接收单元1503用于接收所述第一终端发送的经编码后的所述目标图像帧，以及对经编码后的所述目标图像帧解码和显示；所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比，可选的，该第N个图像帧和该目标图像帧均为录制的目标视频中的图像帧，所述第N个图像帧在所述目标图像帧之前。
通过运行上述单元，第一终端确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
在一种可选的方案中，所述获取单元1501具体用于：
接收针对所述预设显示屏的显示区域的区域选定操作；
根据所述区域选定操作确定目标显示区域。
在又一种可选的方案中，所述获取单元具体用于：
采集用户的视角信息；
根据所述视角信息确定所述预设显示屏的目标显示区域
在又一种可选的方案中，所述用户的视角信息包括多个用户的视角信息。
需要说明的是，各个单元的具体实现还可以对应参照图4所示的方法实施例的相应描述。
在图15所描述的第二终端150中，第一终端确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
上述详细阐述了本发明实施例的方法和装置，为了便于更好地实施本发明实施例的上述方案，相应地，下面提供了本发明实施例的相关系统。
请参见图16，图16是本发明实施例提供的一种编码系统160的结构示意图，该编码系统包括第一终端1601和第二终端1602，其中：
所述第二终端1602用于获取自身的预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域；
所述第二终端1602还用于将所述目标显示区域的信息发送给第一终端1601；
所述第一终端1601用于接收所述目标显示区域的信息；
所述第一终端1601还用于通过第一编码标准对在用户关注的显示区域显示的图像进行编码，以及通过第二编码标准对在非用户关注的显示区域显示的图像进行编码，所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比；
所述第一终端1601还用于向所述第二终端1602发送经编码后的目标图像帧；
所述第二终端1602还用于接收所述第一终端1601发送的经编码后的所述目标图像帧，以及通过所述预设显示屏对经编码后的所述目标图像帧解码和显示。
需要说明的是，第一终端1601和第二终端1602的具体实现还可以分别对应参照图12和14所示的装置实施例的相应描述，以及参照图13和15所示的装置实施例的相应描述。
在图16所描述的编码系统160中，第一终端确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
综上所述，通过实施本发明实施例，第一终端确定用户关注的目标显示区域，然后对目标图像帧中在该目标显示区域显示的部分使用第一编码标准进行编码，以及对该目标图像帧中在该目标显示区域以外显示的部分使用第二编码标准进行编码，使得用户关注的显示区域始终能够显示较清楚的图像而用户不关注的显示区域显示相对较模糊的图像，不仅保证了用户的需求还节省了资源开销。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅揭露了本发明中较佳实施例，不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (10)
1.一种图像编码方法，其特征在于，包括：
第一终端获取预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域；
所述第一终端通过第一编码标准对目标图像帧的第一图像块进行编码，以及通过第二编码标准对所述目标图像帧的第二图像块进行编码，所述第一图像块为用户关注的显示区域显示的图像，所述第二图像块为非用户关注的显示区域显示的图像，所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比；
所述第一终端获取预设显示屏的目标显示区域，包括：根据多个用户的视角信息确定多个用户的视角，将所述多个视角关注的显示区域的并集，或者交集，或者包含该并集且满足预设规则的区域，或者包含该交集且满足预设规则的区域作为该目标显示区域；
所述方法还包括：所述第一终端确定对至少一个图像帧进行编码时通过所述第一编码标准编码的区域在所述至少一个图像帧中的目标位置，以所述目标图像帧中的所述目标位置为基础向所述目标位置以外延伸预设距离得到的区域为第三图像块；或者，判断所述至少一个图像帧中的在后图像帧通过所述第一编码标准编码的区域是否落入所述至少一个图像帧中的在前图像帧通过所述第一编码标准编码的区域内，若是则将所述在后图像帧通过所述第一编码标准编码的区域内的部分区域确定为所述第三图像块；所述至少一个图像帧与目标图像帧为目标视频中的图像帧且所述至少一个图像帧在目标图像帧之前；
所述第一终端通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
2.根据权利要求1所述的方法，其特征在于，所述第一终端获取预设显示屏的目标显示区域之前，还包括：
所述第一终端采集多个用户的视角信息。
3.根据权利要求1所述的方法，其特征在于，所述第一终端获取预设显示屏的目标显示区域之前，还包括：
所述第一终端接收第三终端发送的采集到的多个用户的视角信息。
4.一种图像编码方法，其特征在于，包括：
第二终端获取自身的预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域；
所述第二终端将所述目标显示区域的信息发送给第一终端，以使所述第一终端通过第一编码标准对在用户关注的显示区域显示的图像进行编码，以及通过第二编码标准对在非用户关注的显示区域显示的图像进行编码；以及通过第三编码标准对第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比；其中，所述第三图像块为以目标图像帧中的目标位置为基础向所述目标位置以外延伸预设距离得到的区域，所述目标位置为对至少一个图像帧进行编码时通过所述第一编码标准编码的区域在所述至少一个图像帧中的位置；或者，所述至少一个图像帧中的在后图像帧通过所述第一编码标准编码的区域落入所述至少一个图像帧中的在前图像帧通过所述第一编码标准编码的区域内时，所述第三图像块为将所述在后图像帧通过所述第一编码标准编码的区域内的部分区域；所述至少一个图像帧与目标图像帧为目标视频中的图像帧且所述至少一个图像帧在目标图像帧之前；
所述第二终端接收所述第一终端发送的经编码后的所述目标图像帧，以及对经编码后的所述目标图像帧解码和显示；所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比；
所述第二终端获取自身的预设显示屏的目标显示区域，包括：根据多个用户的视角信息确定多个用户的视角，将所述多个视角关注的显示区域的并集，或者交集，或者包含该并集且满足预设规则的区域，或者包含该交集且满足预设规则的区域作为该目标显示区域。
5.根据权利要求4所述的方法，其特征在于，所述第二终端获取自身的预设显示屏的目标显示区域包括：
所述第二终端接收针对所述预设显示屏的显示区域的区域选定操作；
所述第二终端根据所述区域选定操作确定目标显示区域。
6.根据权利要求4所述的方法，其特征在于，所述第二终端获取自身的预设显示屏的目标显示区域之前，还包括：
所述第二终端采集多个用户的视角信息。
7.一种第一终端，其特征在于，所述第一终端包括处理器和存储器：
所述存储器用于存储数据和程序；
所述处理器调用所述存储器中的程序用于执行如下操作：
获取预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域；
通过第一编码标准对目标图像帧的第一图像块进行编码，以及通过第二编码标准对所述目标图像帧的第二图像块进行编码，所述第一图像块为用户关注的显示区域显示的图像，所述第二图像块为非用户关注的显示区域显示的图像，所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比；
所述获取预设显示屏的目标显示区域，包括：根据多个用户的视角信息确定多个用户的视角，将所述多个视角关注的显示区域的并集，或者交集，或者包含该并集且满足预设规则的区域，或者包含该交集且满足预设规则的区域作为该目标显示区域；
所述处理器还用于：确定对至少一个图像帧进行编码时通过所述第一编码标准编码的区域在所述至少一个图像帧中的目标位置，以所述目标图像帧中的所述目标位置为基础向所述目标位置以外延伸预设距离得到的区域为第三图像块；或者，判断所述至少一个图像帧中的在后图像帧通过所述第一编码标准编码的区域是否落入所述至少一个图像帧中的在前图像帧通过所述第一编码标准编码的区域内，若是则将所述在后图像帧通过所述第一编码标准编码的区域内的部分区域确定为所述第三图像块；所述至少一个图像帧与目标图像帧为目标视频中的图像帧且所述至少一个图像帧在目标图像帧之前；
通过第三编码标准对所述第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比。
8.根据权利要求7所述的第一终端，其特征在于，所述处理器获取预设显示屏的目标显示区域之前，还用于：
采集多个用户的视角信息。
9.根据权利要求7所述的第一终端，其特征在于，所述处理器获取预设显示屏的目标显示区域之前，还用于：
接收第三终端发送的采集到的多个用户的视角信息。
10.一种编码系统，其特征在于，所述编码系统包括第一终端和第二终端，其中：
所述第二终端用于获取自身的预设显示屏的目标显示区域，所述目标显示区域为用户关注的显示区域；
所述第二终端还用于将所述目标显示区域的信息发送给第一终端；
所述第一终端用于接收所述目标显示区域的信息；
所述第一终端还用于通过第一编码标准对在用户关注的显示区域显示的图像进行编码，以及通过第二编码标准对在非用户关注的显示区域显示的图像进行编码，以及通过第三编码标准对第三图像块进行编码，所述第三编码标准的图像压缩比小于所述第二编码标准的图像压缩比；所述第一编码标准的图像压缩比小于所述第二编码标准的图像压缩比；其中，所述第三图像块为以目标图像帧中的目标位置为基础向所述目标位置以外延伸预设距离得到的区域，所述目标位置为对至少一个图像帧进行编码时通过所述第一编码标准编码的区域在所述至少一个图像帧中的位置；或者，所述至少一个图像帧中的在后图像帧通过所述第一编码标准编码的区域落入所述至少一个图像帧中的在前图像帧通过所述第一编码标准编码的区域内时，所述第三图像块为将所述在后图像帧通过所述第一编码标准编码的区域内的部分区域；所述至少一个图像帧与目标图像帧为目标视频中的图像帧且所述至少一个图像帧在目标图像帧之前；
所述第一终端还用于向所述第二终端发送经编码后的目标图像帧；
所述第二终端还用于接收所述第一终端发送的经编码后的所述目标图像帧，以及通过所述预设显示屏对经编码后的所述目标图像帧解码和显示；
所述第二终端用于获取自身的预设显示屏的目标显示区域，具体为：根据多个用户的视角信息确定多个用户的视角，将所述多个视角关注的显示区域的并集，或者交集，或者包含该并集且满足预设规则的区域，或者包含该交集且满足预设规则的区域作为该目标显示区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610494057.0A CN106060544B (zh) | 2016-06-29 | 2016-06-29 | 一种图像编码方法、相关设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610494057.0A CN106060544B (zh) | 2016-06-29 | 2016-06-29 | 一种图像编码方法、相关设备及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106060544A CN106060544A (zh) | 2016-10-26 |
| CN106060544B true CN106060544B (zh) | 2020-04-28 |
Family
ID=57166115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610494057.0A Active CN106060544B (zh) | 2016-06-29 | 2016-06-29 | 一种图像编码方法、相关设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106060544B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109525802A (zh) * | 2018-11-27 | 2019-03-26 | 平安科技（深圳）有限公司 | 一种视频流传输方法和装置 |
| CN110505481B (zh) * | 2019-07-15 | 2021-06-01 | 杭州亿圣信息技术有限公司 | 一种利用眼动监测提高视频poi低损编码效率的方法 |
| CN112543372A (zh) * | 2019-09-20 | 2021-03-23 | 珠海格力电器股份有限公司 | 分配视频码率的方法、装置及存储介质 |
| CN110740326A (zh) * | 2019-09-23 | 2020-01-31 | 西安万像电子科技有限公司 | 图像编码方法及装置 |
| CN111416939A (zh) * | 2020-03-30 | 2020-07-14 | 咪咕视讯科技有限公司 | 一种视频处理方法、设备及计算机可读存储介质 |
| CN111953980B (zh) * | 2020-08-21 | 2023-11-21 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1305684A (zh) * | 1998-06-18 | 2001-07-25 | 艾利森电话股份有限公司 | 图像传输中的方法与装置 |
| CN101893934A (zh) * | 2010-06-25 | 2010-11-24 | 宇龙计算机通信科技(深圳)有限公司 | 一种智能调整屏幕显示的方法和装置 |
| CN102221881A (zh) * | 2011-05-20 | 2011-10-19 | 北京航空航天大学 | 基于仿生代理与视线追踪兴趣区域分析的人机交互方法 |
| CN103096045A (zh) * | 2011-10-28 | 2013-05-08 | 宏碁股份有限公司 | 利用手势调整视频影像压缩的方法 |
| CN103310411A (zh) * | 2012-09-25 | 2013-09-18 | 中兴通讯股份有限公司 | 一种图像局部增强方法和装置 |
| CN103500061A (zh) * | 2013-09-26 | 2014-01-08 | 三星电子（中国）研发中心 | 控制显示器的方法及设备 |
| CN103930817A (zh) * | 2011-06-20 | 2014-07-16 | 谷歌公司 | 用于数据的自适应传送的系统和方法 |
| CN103986935A (zh) * | 2014-04-30 | 2014-08-13 | 华为技术有限公司 | 编码方法、编码器、屏幕共享设备及系统 |
| CN105338323A (zh) * | 2015-11-20 | 2016-02-17 | 浙江大华技术股份有限公司 | 一种视频监控方法及装置 |
-
2016
- 2016-06-29 CN CN201610494057.0A patent/CN106060544B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1305684A (zh) * | 1998-06-18 | 2001-07-25 | 艾利森电话股份有限公司 | 图像传输中的方法与装置 |
| CN101893934A (zh) * | 2010-06-25 | 2010-11-24 | 宇龙计算机通信科技(深圳)有限公司 | 一种智能调整屏幕显示的方法和装置 |
| CN102221881A (zh) * | 2011-05-20 | 2011-10-19 | 北京航空航天大学 | 基于仿生代理与视线追踪兴趣区域分析的人机交互方法 |
| CN103930817A (zh) * | 2011-06-20 | 2014-07-16 | 谷歌公司 | 用于数据的自适应传送的系统和方法 |
| CN103096045A (zh) * | 2011-10-28 | 2013-05-08 | 宏碁股份有限公司 | 利用手势调整视频影像压缩的方法 |
| CN103310411A (zh) * | 2012-09-25 | 2013-09-18 | 中兴通讯股份有限公司 | 一种图像局部增强方法和装置 |
| CN103500061A (zh) * | 2013-09-26 | 2014-01-08 | 三星电子（中国）研发中心 | 控制显示器的方法及设备 |
| CN103986935A (zh) * | 2014-04-30 | 2014-08-13 | 华为技术有限公司 | 编码方法、编码器、屏幕共享设备及系统 |
| CN105338323A (zh) * | 2015-11-20 | 2016-02-17 | 浙江大华技术股份有限公司 | 一种视频监控方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106060544A (zh) | 2016-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106060544B (zh) | 一种图像编码方法、相关设备及系统 | |
| JP6263830B2 (ja) | 圧縮ビデオデータにおいて複数の関心領域の指標を含めるための技術 | |
| JP6024952B2 (ja) | 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム | |
| US10382769B2 (en) | Real-time lossless compression of depth streams | |
| US20180367802A1 (en) | Optimized coding method for omnidirectional video, computer readable storage medium and computer device | |
| US20020051491A1 (en) | Extraction of foreground information for video conference | |
| CN112954398B (zh) | 编码方法、解码方法、装置、存储介质及电子设备 | |
| CN113099245B (zh) | 全景视频直播方法、系统和计算机可读存储介质 | |
| CN105338323A (zh) | 一种视频监控方法及装置 | |
| EP3434021B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
| CN110636294A (zh) | 视频解码方法及装置，视频编码方法及装置 | |
| CN105979189A (zh) | 一种视频信号处理与存储方法与系统 | |
| CN112135140A (zh) | 视频清晰度识别方法、电子设备及存储介质 | |
| CN103716643A (zh) | 用于使用内容信息改进视频编码的系统和方法 | |
| WO2023005740A1 (zh) | 图像编码、解码、重建、分析方法、系统及电子设备 | |
| CN114679607A (zh) | 一种视频帧率控制方法、装置、电子设备及存储介质 | |
| CN110913118B (zh) | 视频处理方法、装置及存储介质 | |
| US20230188679A1 (en) | Apparatus and method for transmitting images and apparatus and method for receiving images | |
| CN113127637A (zh) | 一种字符的还原方法及装置、存储介质、电子装置 | |
| CN115604528A (zh) | 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法 | |
| CN110798700B (zh) | 视频处理方法、视频处理装置、存储介质与电子设备 | |
| CN112948046A (zh) | 截屏方法、装置、设备及存储介质 | |
| CN112367521A (zh) | 显示屏内容分享方法、装置、计算机设备和存储介质 | |
| CN112601029A (zh) | 一种已知背景先验信息的视频分割方法、终端和存储介质 | |
| CN113157226A (zh) | 远程数据的显示方法、装置、设备及机器可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |