CN112333468A - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112333468A
CN112333468A CN202011041640.9A CN202011041640A CN112333468A CN 112333468 A CN112333468 A CN 112333468A CN 202011041640 A CN202011041640 A CN 202011041640A CN 112333468 A CN112333468 A CN 112333468A
Authority
CN
China
Prior art keywords
display mode
image
target
candidate display
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011041640.9A
Other languages
English (en)
Other versions
CN112333468B (zh
Inventor
龙良曲
蔡锦霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202011041640.9A priority Critical patent/CN112333468B/zh
Publication of CN112333468A publication Critical patent/CN112333468A/zh
Priority to PCT/CN2021/121434 priority patent/WO2022063321A1/zh
Application granted granted Critical
Publication of CN112333468B publication Critical patent/CN112333468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取待确定显示模式的目标图像；确定候选显示模式集合，根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像；根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度；根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式。采用本方法能够根据目标图像自动选择适合的显示模式，提高了图像显示的效果。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着模式识别与智能系统的发展，出现了图像处理技术，图像处理技术是指对图像进行分析、处理后，使其满足视觉或者其他要求的技术，图像处理技术的应用也非常广泛，例如，应用于相机上，传统的图像处理技术在相机上应用是通过相机读取全景图像数据后，获取视点数据，并渲染该视点数据对应视点的全景，从而输出全景的图像帧。
然而，目前的图像处理技术，经常存在处理得到的图像的显示效果差的情况。
发明内容
基于此，有必要针对上述技术问题，提供一种图像处理方法、装置、设备及存储介质。
一种图像处理方法，所述方法包括：
获取待确定显示模式的目标图像；
确定候选显示模式集合，根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像；
根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度；
根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式。
在其中一个实施例中，所述根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式包括：
从所述候选显示模式集合中，获取对应的可能度大于可能度阈值的候选显示模式，作为目标显示模式。
在其中一个实施例中，所述根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像包括：
当所述候选显示模式包括广角显示模式以及超广角显示模式时，对所述目标图像进行缩放处理，将缩放处理得到的缩放图像作为所述广角显示模式以及所述超广角显示模式对应的第一图像；
所述根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度包括：
将视图模式确定模型作为所述广角显示模式以及所述超广角显示模式对应的显示模式确定模型，将所述缩放图像输入到所述视图模式确定模型中进行处理，得到所述广角显示模式对应的选中可能度以及超广角显示模式对应的选中可能度。
在其中一个实施例中，所述根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像包括：
当所述候选显示模式包括小行星显示模式时，将所述目标图像调整为小行星显示模式下显示的图像，对所述小行星显示模式下显示的图像作为所述小行星显示模式对应的第一图像。
在其中一个实施例中，所述获取待确定显示模式的目标图像包括：
获取待处理的全景图像中，目标主体所在的目标位置；
根据所述目标位置，对所述全景图像进行移动处理，得到目标图像，所述目标图像中，所述目标位置所在的图像区域为图像中心位置。
在其中一个实施例中，所述获取待处理的全景图像中，目标主体所在的目标位置包括：
利用图像处理模型对所述全景图像进行处理，得到掩码矩阵；
获取所述掩码矩阵中的每个掩码块对应的包络块像素统计值；
过滤所述包络块像素统计值小于预设统计值的掩码块，得到掩码块集合；
计算所述掩码块集合中各个掩码块的面积，将面积满足预设面积条件的掩码块所在的位置，作为目标主体所在的位置，所述预设面积条件包括面积排序在预设排序之前或者面积大于预设面积的至少一个。
在其中一个实施例中，所述获取待处理的全景图像中，目标主体所在的目标位置包括：
将人脸作为待识别的主体，对所述待处理的全景图像进行人脸识别；
当人脸识别失败时，将人体作为待识别的主体，对所述全景图像进行人体识别；
当人体识别失败时，进入利用图像处理模型对所述全景图像进行处理，得到掩码矩阵的步骤。
一种图像处理装置，所述装置包括：
目标图像获取模块，用于获取待确定显示模式的目标图像；
第一图像获取模块，用于确定候选显示模式集合，根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像；
选中可能度获取模块，用于根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度；
目标显示模式确定模块，用于根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待确定显示模式的目标图像；
确定候选显示模式集合，根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像；
根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度；
根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待确定显示模式的目标图像；
确定候选显示模式集合，根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像；
根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度；
根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式。
上述图像方法、装置、设备及可读存储介质，能够通过首先获取到待确定显示模式的目标图像，并且根据目标图像对应的候选显示模式对目标图像进行显示模式的调整，将目标图像进行显示模式调整后，得到第一图像，并将第一图像输入到对应的显示模式确定模型中，得到候选显示模式对应的选中可能度，根据候选显示模式对应的选中可能度，从候选显示模式集合中选取目标图像对应的目标显示模式，因此能够根据目标图像自动选择适合的显示模式，提高了图像显示的效果。
一种图像处理方法，所述方法包括：
获取待确定显示模式的初始图像；
向服务器发送所述初始图像对应的显示模式确定请求，以使得所述服务器响应于所述显示模式确定请求；获取待确定显示模式的目标图像；确定候选显示模式集合，根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像；根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度；根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式；
接收服务器返回的所述目标显示模式；
根据所述目标显示模式显示所述初始图像。
一种图像处理装置，所述装置包括：
初始图像获取模块，用于获取待确定显示模式的初始图像；
请求发送模块，用于向服务器发送所述初始图像对应的显示模式确定请求；
目标显示模式接收模块，用于接收服务器返回的所述目标显示模式；
显示模块，用于根据所述目标显示模式显示所述初始图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待确定显示模式的初始图像；
向服务器发送所述初始图像对应的显示模式确定请求，以使得所述服务器响应于所述显示模式确定请求；获取待确定显示模式的目标图像；确定候选显示模式集合，根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像；根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度；根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式；
接收服务器返回的所述目标显示模式；
根据所述目标显示模式显示所述初始图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待确定显示模式的初始图像；
向服务器发送所述初始图像对应的显示模式确定请求，以使得所述服务器响应于所述显示模式确定请求；获取待确定显示模式的目标图像；确定候选显示模式集合，根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像；根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度；根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式；
接收服务器返回的所述目标显示模式；
根据所述目标显示模式显示所述初始图像。
上述图像方法、装置、设备及可读存储介质，能够通过在终端侧获取待确定显示模式的初始图像，向服务器发送初始图像对应的显示模式确定请求，以使得所述服务器响应于所述显示模式确定请求，服务器在对初始图像的显示模式确定后会返回目标显示模式，终端接收到目标显示模式后，根据目标显示模式显示初始图像，因此能够根据目标图像自动选择适合的显示模式，提高了图像显示的效果。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中获取目标图像的流程示意图；
图4为一实施例中目标主体所在的目标位置调整效果图；
图5为一个实施例中目标主体所在的目标位置的流程示意图；
图6为一个实施例中目标主体所在的目标位置的另一流程示意图；
图7为一实施例中目标主体人脸识别效果图；
图8为一个实施例中图像处理方法的流程示意图；
图9为一个实施例中图像处理方法的实现流程框图；
图10为一个实施例中图像处理装置的结构框图；
图11为另一个实施例中图像处理装置的结构框图；
图12为一个实施例中计算机设备结构框图；
图13为另一个实施例中计算机设备结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端可以进行图像采集，得到待确定显示模式的初始图像，例如全景图像，当需要显示图像时，可以向服务器发送初始图像对应的显示模式确定请求，服务器响应于显示模式确定请求，获取初始图像，对初始图像进行处理，得到目标图像，确定候选显示模式集合，根据候选显示模式集合中的候选显示模式对目标图像进行显示模式调整，得到各个候选显示模式对应的第一图像；根据各个第一图像对应的候选显示模式确定对应的显示模式确定模型，将第一图像输入到对应的显示模式确定模型中，得到候选显示模式对应的选中可能度；根据各个候选显示模式对应的选中可能度，从候选显示模式集合中选取得到目标图像对应的目标显示模式，并将目标显示模式返回至终端102中，终端102根据目标显示模式显示初始图像。其中，终端102可以但不限于是各种相机、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
可以理解的，也可以由终端执行获取待确定显示模式的目标图像，确定候选显示模式集合，根据候选显示模式集合中的候选显示模式对目标图像进行显示模式调整，得到各个候选显示模式对应的第一图像；根据各个第一图像对应的候选显示模式确定对应的显示模式确定模型，将第一图像输入到对应的显示模式确定模型中，得到候选显示模式对应的选中可能度；根据各个候选显示模式对应的选中可能度，从候选显示模式集合中选取得到目标图像对应的目标显示模式的步骤。
在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取待确定显示模式的目标图像。
其中目标图像是指需要确定显示模式的图像，可以是要显示初始图像，也可以是对初始图像进一步处理得到的图像。例如，上述初始图像为全景图像，目标图像为对全景图像中的主体进行了居中处理的图像。全景图像可以是以三维立体的实景360度全方位图像，全景图像可以无死角的展现图像内容。
其中，显示模式是指图像在显示时呈现出来的模式，也可以理解为显示效果，例如显示模式可以包括小行星显示模式、广角显示模式或者超广角显示模式中的至少一种等。以小行星显示模式为例，是通过将全景图像按照经纬度展开贴合到球面上，其中，球面的纬度0-2π即为图像的宽度，经度0-π即为图像的高度。可以理解的，将上述全景图像映射到球面，通过球坐标实现投影，最终实现小行星的显示视图。
在一个实施例中，超广角显示模式是相对于广角显示模式定义的一种显示模式，两者是相对概念。超广角显示模式的显示视角大于广角显示模式的视角的。例如超广角显示模式的显示视角为第一视角范围，广角显示模式的显示视角为第二视角范围，第一视角范围的数值大于第二视角范围的数值。例如一图像显示视角是90度，另一图像显示视角是180度，也可以认为图像显示视角是90度的显示模式是广角显示模式，图像显示视角是180度的显示模式是超广角显示模式。
在一个实施例中，广角显示模式下图像显示的视角范围大于等于90度小于等于180度，超广角显示模式下图像显示的视角范围大于等于180度小于等于360度，同样的图像在超广角显示模式下比在广角显示模式下显示画面的空间感更强，并且景深更长、图像更清晰、视野更好。
具体地，终端可以获取待确定显示模式的初始图像，向服务器发送显示模式获取请求，服务器响应于显示模式获取请求，获取初始图像，根据初始图像得到目标图像，终端中的初始图像可以是实时采集到的，例如当终端接收到对实时采集的全景图像进行展示的操作时，终端可以向服务器发送显示模式获取请求。
步骤204，确定候选显示模式集合，根据候选显示模式集合中的候选显示模式对目标图像进行显示模式调整，得到各个候选显示模式对应的第一图像。
其中，候选显示模式集合包括至少两种候选显示模式。例如可以包括小行星显示模式、广角显示模式或者超广角显示模式中的至少两种，例如，显示模式集合包括小行星显示模式、广角显示模式和超广角显示模式三种，或者包括小行星显示模式、广角显示模式两种等；但是候选显示模式集合可以根据场景需要进行合理增减。
其中，显示模式调整是指对图像进行显示模式的调整，使其与对应的候选显示模式对应。例如，对于目标图像，假设候选显示模式包括小行星显示模式以及广角显示模式，则将目标图像调整为小行星显示模式对应的第一图像以及广角显示模式对应的图像。可以理解的，当目标图像的显示模式与其中的一个候选显示模式相同时，则对于该候选显示模式，可以无需进行显示模式的调整，例如，当目标图像为广角显示模式的图像，当候选显示模式集合包括广角显示模式时，则对于广角显示模式，可以直接将目标图像作为广角显示模式对应的第一图像。
在一个实施例中，还可以对目标图像进行缩放，例如可以对进行显示模式调整后的图像进行缩放，得到各个候选显示模式对应的第一图像。例如可以将显示模式调整得到的图像缩放成高乘以宽为200乘以400的缩放图像，以便能够适用于广角显示模式或者超广角显示模式，当将全景图像进行缩放成高乘以宽为400乘以400的缩放图像，以便能够适用于小行星显示模式，将缩放得到的图像作为各个候选显示模式对应的第一图像。
步骤206，根据各个第一图像对应的候选显示模式确定对应的显示模式确定模型，将第一图像输入到对应的显示模式确定模型中，得到候选显示模式对应的选中可能度。
其中，显示模式确定模型用于确定图像是否与对应的显示模式适配。显示模式确定模型与显示模式具有对应关系，例如，对于小行星显示模式，对应的是小行星显示模式确定模型。对于广角显示模式以及超广角显示模式，对应的是视图模式确定模型。显示模式确定模型是预先得到的人工智能模型，例如，可以是深度学习模型。选中可能度表示被选中的可能程度，选中可能度越大，则代表被选中的可能性越大。例如，选中可能度可以为概率，对应概率的范围为0～1。
具体的，服务器将第一图像输入到相应的显示模式确定模型中，显示模式确定模型利用模型参数对第一图像进行处理，得到候选显示模式对应的选中可能度，例如，显示模式确定模型可以为视图模式确定模型，此视图模式确定模型用于确定的是候选显示模式中超广角或者广角显示模式的选中可能度，当第一图像输入到视图模式确定模型进行处理后，视图模式确定模型输出超广角显示模式对应的可能度以及广角显示模式对应的可能度。
步骤208，根据各个候选显示模式对应的选中可能度，从候选显示模式集合中选取得到目标图像对应的目标显示模式。
具体的，可以根据选中可能度，从中选取可能度最大或者超过可能度阈值的候选显示模式作为目标显示模式。例如当超广角显示模式的选中可能度超过了预设阈值，则在候选显示模式集合中选取超广角显示模式为目标图像对应的目标显示模式；其中预设阈值可以根据需要设置，例如可以为通过多次实验统计得出，也可以是根据场景对图像处理效果的需要自行设置，本实施例并不做限定。
上述图像处理方法中，能够通过首先获取到待确定显示模式的目标图像，并且根据目标图像对应的候选显示模式对目标图像进行显示模式的调整，将目标图像进行显示模式调整后，得到第一图像，并将第一图像输入到对应的显示模式确定模型中，得到候选显示模式对应的选中可能度，根据候选显示模式对应的选中可能度，从候选显示模式集合中选取目标图像对应的目标显示模式，因此实现了根据目标图像自动选择适合的显示模式的目的，提高了图像处理的效果。
在一个实施例中，根据各个候选显示模式对应的选中可能度，从候选显示模式集合中选取得到目标图像对应的目标显示模式包括：
从候选显示模式集合中，获取对应的可能度大于可能度阈值的候选显示模式，作为目标显示模式。
其中，可能度阈值是指可能度的临界值，例如可能度阈值为0.8，则获取对应的可能度大于0.8的候选显示模式，会作为目标显示模式；又例如，可能度阈值为0.5，则获取对应的可能度大于0.5时的候选显示模式，假设小行星显示模式对应的选中可能度为0.8，大于0.5，则服务器会把小行星显示模式作为目标显示模式。
本实施例中，通过设置可能度阈值，能够达到目标显示模式的自动选取更加准确的目的，从而使图像处理之后的图像处理效果更好。
在一个实施例中，确定候选显示模式集合，根据候选显示模式集合中的候选显示模式对目标图像进行显示模式调整，得到各个候选显示模式对应的第一图像包括：
当候选显示模式包括广角显示模式以及超广角显示模式时，对目标图像进行缩放处理，将缩放处理得到的缩放图像作为广角显示模式以及超广角显示模式对应的第一图像。
根据各个第一图像对应的候选显示模式确定对应的显示模式确定模型，将第一图像输入到对应的显示模式确定模型中，得到候选显示模式对应的选中可能度包括：
将视图模式确定模型作为广角显示模式以及超广角显示模式对应的显示模式确定模型，将缩放图像输入到视图模式确定模型中进行处理，得到广角显示模式对应的选中可能度以及超广角显示模式对应的选中可能度。
具体的，广角显示模式以及超广角显示模式对应的第一图像为相同的图像，缩放图像的大小可以根据需要设置，例如可以为200*400像素。广角显示模式以及超广角显示模式对应的显示模式确定模型可以称为视图模式确定模型，视图模式确定模型可以为深度学习模型，将缩放图像输入到视图模式确定模型中进行处理后，视图模式确定模型输出处理结果，处理结果可以为选中可能度，选中可能度包括了广角显示模式对应的选中可能度以及超广角显示模式对应的选中可能度。
在一个实施例中，服务器将尺寸为
Figure BDA0002706827880000111
的缩放图像输入到视图模式确定模型中，经过多次卷积层、激活函数层、池化层和归一化处理层，提取得到特征，将提取到的特征进行池化处理后形成特征图，将上述特征图进行处理后得到第一预设长度的特征向量；将上述第一预设长度的特征向量进行变换后得到第二预设长度的特征向量；将上述第二预设长度的特征向量经过Softmax激活函数或Sigmoid激活函数处理后得到候选显示模式对应的选中可能度。其中，池化处理可以是最大值池化或者均值池化，其中，Softmax激活函数或Sigmoid激活函数设置于深度神经网络的输出层，可以把实数域光滑的映射到[0,1]空间，更利于完成分类任务。
例如，将视图模式确定模型作为广角显示模式以及超广角显示模式对应的显示模式确定模型，将尺寸为高乘以宽为200乘以400的缩放图像输入到视图模式确定模型中，经过多次卷积层、ReLU层进行非线性变换以及BatchNorm层进行归一化处理提取特征后，最后通过Global Average Pooling层进行池化处理后形成特征图，将上述特征图进行特征向量变换后得到长度为840的特征向量，再经过全连接层再次进行特征变换后，得到长度为2的特征向量o＝[o0,o1]，经过Softmax激活函数处理后得到概率分布p＝[p0,p1],p0∈[0,1],p1∈[0,1]，其中p0代表适合广角显示模式的概率，p1代表适合超广角显示模式的概率。其中，ReLU层为显示模式确定模型提供非线性函数，Batch Norm层为显示模式确定模型中对特征进行归一化处理的层，Global Average Pooling层为显示模式确定模型中对特征进行池化处理。
在一个实施例中，视图模式确定模型采用的是深度神经网络，ReLU层为深度神经网络的提供激活函数，以便于提高深度神经网络训练的鲁棒性；Batch Norm层为深度神经网络的提供归一化处理的函数，以便于提高深度神经网络训练收敛速度及深度神经网络的稳定性；Global Average Pooling层为深度神经网络解决全连接的问题，其主要是将特征图进行整张图的一个均值池化，形成一个特征图，将这些特征图组成最后的特征向量，通过Global Average Pooling层减小了深度神经网络参数的数量，从而提高了深度神经网络训练的收敛速度，使图像处理效果更快的实现。
本实施例能够获得广角显示模式对应的选中可能度以及超广角显示模式对应的选中可能度，从而为图像处理后广角显示模式以及超广角显示模式的确定提供了量化参考，使图像处理结果更加准确，从而使图像处理效果更好。
在一个实施例中，确定候选显示模式集合，根据候选显示模式集合中的候选显示模式对目标图像进行显示模式调整，得到各个候选显示模式对应的第一图像包括：
当候选显示模式包括小行星显示模式时，将目标图像调整为小行星显示模式下显示的图像，对小行星显示模式下显示的图像作为小行星显示模式对应的第一图像。
具体的，小行星显示模式为候选显示模式中的一种时，需要确定目标图像是否适合在需要以小行星显示模式下进行显示，服务器需要先将目标图像调整为小行星显示模式下显示的图像，调整后的图像为小行星显示模式的第一图像。
在一个实施例中，将小行星显示模式确定模型作为小行星显示模式对应的显示模式确定模型，将图像输入到视图模式确定模型中，经过多次卷积层、非线性变换和归一化处理后提取特征，将提取到的特征进行均值池化处理后形成特征图，将上述特征图进行处理后得到第三预设长度的特征向量；将上述第三预设长度的特征向量进行变换后得到第四预设长度的特征向量；将上述第四预设长度的特征向量经过归一化处理后得到候选显示模式对应的选中可能度。
具体的，本实施例中将小行星显示模式确定模型作为小行星显示模式对应的显示模式确定模型，将尺寸为高乘以宽为400乘以400的缩放图像输入到小行星显示模式确定模型中，经过多次卷积层、ReLU层进行非线性变换以及Batch Norm层进行归一化处理提取特征后，最后通过Global Average Pooling层进行池化处理后形成特征图，将上述特征图进行特征向量变换后得到长度为840的特征向量，再经过稠密连接处再次进行特征变换后，得到长度为2的特征向量o＝[o0,o1]，经过Softmax激活函数处理后得到概率分布p＝[p0,p1],p0+p1＝1，其中p0代表不适合小行星的概率，p1代表适合小行星的概率。
本实施例能够获得小行星显示模式对应的选中可能度，从而为图像处理后小行星显示模式的确定提供了量化参考，使图像处理结果更加准确，从而使图像处理效果更好。
在一个实施例中，如图3，获取待确定显示模式的目标图像包括：
步骤302：获取待处理的全景图像中，目标主体所在的目标位置；
其中，目标主体是需要进行识别的主体，目标主体可以包括人脸、人体或者其他显著物体，目标主体所在的目标位置可以是模型检测得到的，也可以是根据用户操作确定的，例如终端可以输出选择目标主体的提示信息，当用户按照提示信息进行点击图像后，终端会接收用户点击图像的操作，将所点击的区域作为目标主体所在的区域。
步骤304：根据目标位置，对全景图像进行移动处理，得到目标图像，目标图像中，目标位置所在的图像区域为图像中心位置。
其中，可以根据目标位置，确定全景图像的平移量。本实施例为了以目标主体为中心点观察图片，需要对全景图像
Figure BDA0002706827880000141
进行宽维度上的平移操作。假设目标主体外侧包络的矩形框坐标表示为：
Figure BDA0002706827880000142
则矩形框中心坐标的计算如下：
Figure BDA0002706827880000143
Figure BDA0002706827880000144
则目标主体所在的目标位置平移量δ的计算如下：
Figure BDA0002706827880000145
其中，h为全景图像的高度，w为全景图像的宽度，(x1，y1)为矩形框的第一顶点的坐标值，(x2，y2)为矩形框的第二顶点的坐标值，第一顶点与第二顶点在同一对角线上。
具体的，图像处理效果如图4，上侧图为本实施方法调整前的目标主体所在的目标位置，下侧图为本实施方法调整后的目标主体所在的目标位置，从图中可以看出，经过本实施例中方法调整之后的目标主体所在的目标位置调整成了在中心位置。
本实施例能够实现目标主体所在的目标位置的获取，并且通过移动全景图像，实现目标位置所在的图像区域为图像中心位置，从而使显示模式的确定更加准确，提高图像处理的效果。
在一个实施例中，如图5，获取待处理的全景图像中，目标主体所在的目标位置包括：
步骤502：利用图像处理模型对全景图像进行处理，得到掩码矩阵；
其中，掩码矩阵是指能够提供掩码的矩阵，具体是通过原图中每个像素和掩码矩阵中的每个像素进行与运算，例如：1&1＝1，1&0＝0，从而形成新的像素值；掩码矩阵可以是通过MobileNetv2+U-Net模型进行预测获得。例如，本实施例中选用的为矩阵大小可以为
Figure BDA0002706827880000151
的掩码矩阵，其中每个位置像素值范围oij∈[0,255]，其中O为矩阵，Oi,j为矩阵O中每个像素值。
步骤504：获取掩码矩阵中的每个掩码块对应的包络块像素统计值；
其中，包络块是指能够把每个像素的点包络的最小的图像块，具体的形状可以根据需要设置，例如可以为矩形块。掩码矩阵包括有多个掩码块，每个掩码块都存在有包络块，通过利用OpenCV的findContours函数和boundingRect函数可计算出掩码块的包络块[x3，y3,x4，y4]和平均掩码像素值s，其中[x3，y3,x4，y4]为掩码块对应的矩形块的对角线两个端点的坐标，例如，矩形块一对角点坐标为[x3，y3,],另一对角点坐标为[x4，y4]掩码块像素为矩形块面积(x3-x4)*(y3-y4)。
其中，统计值是样本中所有元素的某种特征的综合数量表现，统计值是从样本中计算出来的，它是相应的参数值的估计量。例如，通过对每个掩码块对应的包络块像素值的综合数量表现，可以估量出包络块像素的平均值，可以将平均值可以理解作为统计值，
步骤506：过滤包络块像素统计值小于预设统计值的掩码块，得到掩码块集合；
具体的，预设统计值可以根据需要设置，能够过滤掉包络块像素统计值小于预设统计值的掩码块，得到掩码块集合，例如，本实施例中预设统计值可以为1，当包络块像素统计值S小于1时，则过滤掉该掩码块对应的包络块，减小计算量。
步骤508：计算掩码块集合中各个掩码块的面积，将面积满足预设面积条件的掩码块所在的位置，作为目标主体所在的位置，预设面积条件包括面积排序在预设排序之前或者面积大于预设面积的至少一个。
其中，当包络块为矩形块时，掩码块面积是指每个掩码块对应的包络矩形块的长乘以宽，即矩形面积表示为abs(x3-x4)*abs(y3-y4)，并对上述矩形面积进行排序，选取面积最大的掩码块或者掩码块的集合作为满足预设面积条件的掩码块所在的位置，作为主体所在的位置，例如，对掩码块的面积或者面积集合进行排序，面积最大的掩码块或者掩码块集合对应的包络矩形块为要确定的目标主体。面积排序是按照从大到小的顺序进行排序的。
本实施例能够实现目标主体所在的目标位置的获取，使目标主体所在的目标位置的获取更加准确，为图像处理的实现效果提供依据，使图像处理实现效果更加准确可靠。
在一个实施例中，如图6，获取待处理的全景图像中，目标主体所在的目标位置包括：
步骤602：将人脸作为待识别的主体，对待处理的全景图像进行人脸识别；
其中，人脸识别是指基于人的脸部特征信息进行识别的一种生物识别技术，当将人脸作为待识别的主体，对待处理的全景图像通过人脸识别技术进行识别。
具体的，本实施例中人脸识别可以采用MTCNN人脸算法实现，全景图像
Figure BDA0002706827880000161
首先通过OpenCV库进行双线性插值缩放为
Figure BDA0002706827880000162
的全景图像，其中h为全景图像高度，w为全景图像宽度，MTCNN人脸算法获得当前全景图像的人脸框位置矩阵
Figure BDA0002706827880000163
其中N代表检测出的人脸框数量，5代表每个人脸框利用长度为5的向量，向量表示为[x1,y1,x2,y2,p]，p∈[0,1]表示人脸框的置信度∈。本实施例对MTCNN算法过滤掉∈＜0.88的人脸框，并基于如下score值对显著人脸进行重排序，选取score值最大的作为主体矩形框
Figure BDA0002706827880000164
其中score表示为：
score＝p40*(x2-x1)*(y2-y1)
人脸识别框效果如图7所示，图7中处在左侧和右侧的人脸框符合score值的标准，可以实时准确地被识别出来，处在中间的人脸框不符合score值的标准，并没有实时地被识别出来。
步骤604：当人脸识别失败时，将人体作为待识别的主体，对全景图像进行人体识别；
其中，人脸识别失败是指没有检测到人脸，例如当检测得到的人脸作为主体的区域的面积小于面积阈值时，则确定人脸识别失败。人体识别是指将人体作为识别对象进行识别，人体识别可以是基于RetinaNet物体检测算法实现，全景图像
Figure BDA0002706827880000171
首先通过OpenCV库进行双线性插值缩放为
Figure BDA0002706827880000172
的全景图像，然后对图像I′沿着宽维度中心进行切分，获得两个子图像
Figure BDA0002706827880000173
再调用RetinaNet模型分别对上述两个子图进行人体识别，最后合并两张子图像的检测结果为
Figure BDA0002706827880000174
其中N代表识别出的人体矩形框数量，5代表每个人脸框利用长度为5的向量[x1,y1,x2,y2,s]，s∈[0,1]表示人体矩形框的置信度∈。
本实施例中算法过滤掉∈＜0.9的人体矩形框，并基于如下score值对显著人脸进行重排序，选取score值最大的作为主体矩形框
Figure BDA0002706827880000175
其中score表示为：
score＝(x2-x1)*(y2-y1)
步骤606：当人体识别失败时，进入利用图像处理模型对全景图像进行处理，得到掩码矩阵的步骤。
具体的，当人体识别没有识别到人体时，则可以执行步骤502。
具体的，人脸或者人体识别过程中输出较高置信度∈的主体矩形框
Figure BDA0002706827880000176
其中(x1,y1)为矩形框
Figure BDA0002706827880000177
的左上角坐标，(x2,y2)为
Figure BDA0002706827880000178
的右下角坐标，参数∈用于判定识别是否成功，当∈低于设定阈值时，则视为未识别，自动进入低优先级识别。
具体的，本实施例通过对全景图像进行人脸识别、人体识别或者如步骤606中的识别方法来确定主体所在位置，其中人脸识别优先级大于人体识别，人体识别优先级大于步骤606中的识别方法，在高优先级算法识别成功后，则不会进行低优先级的识别。
本实施例能够实现目标主体的自动识别，并且通过对识别方法的优先级排序，使目标主体的自动识别更加准确，从而保证了图像处理的实现效果。
在一个实施例中，如图8所示，提供了一种图像处理方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤802：获取待确定显示模式的初始图像；
步骤804：向服务器发送初始图像对应的显示模式确定请求，以使得服务器响应于显示模式确定请求，获取待确定显示模式的目标图像；确定候选显示模式集合，根据候选显示模式集合中的候选显示模式对目标图像进行显示模式调整，得到各个候选显示模式对应的第一图像；根据各个第一图像对应的候选显示模式确定对应的显示模式确定模型，将第一图像输入到对应的显示模式确定模型中，得到候选显示模式对应的选中可能度；根据各个候选显示模式对应的选中可能度，从候选显示模式集合中选取得到目标图像对应的目标显示模式；
步骤806：接收服务器返回的目标显示模式；
其中目标显示模式可以为候选显示模式中的一种或多种，当服务器返回目标显示模式时，终端接收服务器返回的目标显示模式。例如，服务器返回的目标显示模式为小行星显示模式，则终端接收到的也是小行星显示模式。
步骤808：根据目标显示模式显示初始图像。
具体的，初始图像为终端获取到的等待确定显示模式的图像，得到目标显示模式后，终端可以将初始图像进行显示模式的转换，将初始图像转换为符合目标显示模式的图像，并进行显示。服务器返回的目标显示模式是广角显示模式，则终端可以根据服务器返回的广角显示模式显示初始图像。
上述图像方法、装置、设备及可读存储介质，能够通过在终端侧获取待确定显示模式的初始图像，向服务器发送初始图像对应的显示模式确定请求，以使得服务器响应于显示模式确定请求，服务器在对初始图像的显示模式确定后会返回目标显示模式，终端接收到目标显示模式后，根据目标显示模式显示初始图像，因此实现了图像处理的智能化，提高了图像处理的效果。
在一个实施例中，如图9所示，终端获取到初始图像后，对初始图像通过人脸检测、人体检测或显著性检测进行目标主体的位置的检测，当检测到目标主体的位置之后，进行目标主体的位置的居中对齐，并对目标主体的位置居中对齐之后的图像进行显示模式调整，以便于能够适用于显示模式确定模型，将显示模式调整后的图像输入显示模式确定模型后，得出初始图像最适合的显示模式，并通过初始图像最适合的显示模式对初始图像进行渲染。其中，显示模式确定模型包括小行星显示模式确定模型和视图模式确定模型，小行星显示模式确定模型用于确定图像是否与小行星显示模式适配，视图模式确定模型用于确定图像是否与广角显示模式以及超广角显示模式适配。
例如，终端获取到初始图像后，对初始图像通过人脸检测、人体检测或显著性检测进行目标主体的位置的检测，当检测到目标主体的位置之后，进行目标主体的位置的居中对齐，并对目标主体的位置居中对齐之后的图像进行显示模式调整，将初始图像调整为适用于小行星显示模式确定模型的缩放图像，将缩放图像输入小行星显示模式确定模型后，若小行星显示模式的可能度超过可能度阈值，则判断小行星显示模式为上述初始图像最适合的显示模式，并通过小行星显示模式对初始图像进行渲染。
本实施例可以自动根据全景图像的内容智能选择最佳的浏览方式，用户只需要提供一张全景图像，就可以自动分析图像内容并选择最适合的几种导出方式。
应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种图像处理装置1000，包括：目标图像获取模块1002、第一图像获取模块1004、选中可能度获取模块1006和目标显示模式确定模块1008，其中：
目标图像获取模块1002，用于获取待确定显示模式的目标图像，确定候选显示模式集合，根据候选显示模式集合中的候选显示模式对目标图像进行显示模式调整，得到各个候选显示模式对应的第一图像；
第一图像获取模块1004，用于确定候选显示模式集合，根据候选显示模式集合中的候选显示模式对目标图像进行显示模式调整，得到各个候选显示模式对应的第一图像；
选中可能度获取模块1006，用于根据各个第一图像对应的候选显示模式确定对应的显示模式确定模型，将第一图像输入到对应的显示模式确定模型中，得到候选显示模式对应的选中可能度。
目标显示模式确定模块1008，用于根据各个候选显示模式对应的选中可能度，从候选显示模式集合中选取得到目标图像对应的目标显示模式。
在一个实施例中，目标显示模式确定模块1008，用于从候选显示模式集合中，获取对应的可能度大于可能度阈值的候选显示模式，作为目标显示模式。
在一个实施例中，第一图像获取模块1004，用于当候选显示模式包括广角显示模式以及超广角显示模式时，对目标图像进行缩放处理，将缩放处理得到的缩放图像作为广角显示模式以及超广角显示模式对应的第一图像。选中可能度获取模块1006，用于将视图模式确定模型作为广角显示模式以及超广角显示模式对应的显示模式确定模型，将缩放图像输入到视图模式确定模型中进行处理，得到广角显示模式对应的选中可能度以及超广角显示模式对应的选中可能度。
在一个实施例中，第一图像获取模块1004，用于当候选显示模式包括小行星显示模式时，将目标图像调整为小行星显示模式下显示的图像，对小行星显示模式下显示的图像作为小行星显示模式对应的第一图像。
在一个实施例中，目标图像获取模块1002，包括目标位置获取单元和目标位置调整单元，其中目标位置获取单元，用于获取待处理的全景图像中，目标主体所在的目标位置；目标位置调整单元，用于根据目标位置，对全景图像进行移动处理，得到目标图像，目标图像中，目标位置所在的图像区域为图像中心位置。
在一个实施例中，目标位置获取单元，用于：利用图像处理模型对全景图像进行处理，得到掩码矩阵；获取掩码矩阵中的每个掩码块对应的包络块像素统计值；过滤包络块像素统计值小于预设统计值的掩码块，得到掩码块集合；计算掩码块集合中各个掩码块的面积，将面积满足预设面积条件的掩码块所在的位置，作为目标主体所在的位置，预设面积条件包括面积排序在预设排序之前或者面积大于预设面积的至少一个。
在一个实施例中，目标位置获取单元，还用于：将人脸作为待识别的主体，对待处理的全景图像进行人脸识别；当人脸识别失败时，将人体作为待识别的主体，对全景图像进行人体识别；当人体识别失败时，进入利用图像处理模型对全景图像进行处理，得到掩码矩阵的步骤。
在一个实施例中，如图11所示，提供了一种图像处理装置1100，包括图像获取模块、请求发送模块、目标显示模式接收模块、显示模块，其中，
初始图像获取模块1102，用于获取待确定显示模式的初始图像；
请求发送模块1104，用于向服务器发送初始图像对应的显示模式确定请求；
目标显示模式接收模块1106，用于接收服务器返回的所述目标显示模式；
显示模块1108，用于根据所述目标显示模式显示所述初始图像。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12及图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待确定显示模式的目标图像；
确定候选显示模式集合，根据候选显示模式集合中的候选显示模式对目标图像进行显示模式调整，得到各个候选显示模式对应的第一图像；
根据各个第一图像对应的候选显示模式确定对应的显示模式确定模型，将第一图像输入到对应的显示模式确定模型中，得到候选显示模式对应的选中可能度；
根据各个候选显示模式对应的选中可能度，从候选显示模式集合中选取得到目标图像对应的目标显示模式。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待确定显示模式的初始图像；
向服务器发送初始图像对应的显示模式确定请求，以使得服务器响应于显示模式确定请求；获取待确定显示模式的目标图像；确定候选显示模式集合，根据候选显示模式集合中的候选显示模式对目标图像进行显示模式调整，得到各个候选显示模式对应的第一图像；根据各个第一图像对应的候选显示模式确定对应的显示模式确定模型，将第一图像输入到对应的显示模式确定模型中，得到候选显示模式对应的选中可能度；根据各个候选显示模式对应的选中可能度，从候选显示模式集合中选取得到目标图像对应的目标显示模式；
接收服务器返回的目标显示模式；
根据目标显示模式显示初始图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待确定显示模式的目标图像；
确定候选显示模式集合，根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像；
根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度；
根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式。
2.根据权利要求1所述的方法，其特征在于，所述根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式包括：
从所述候选显示模式集合中，获取对应的可能度大于可能度阈值的候选显示模式，作为目标显示模式。
3.根据权利要求1所述的方法，其特征在于，所述根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像包括：
当所述候选显示模式包括广角显示模式以及超广角显示模式时，对所述目标图像进行缩放处理，将缩放处理得到的缩放图像作为所述广角显示模式以及所述超广角显示模式对应的第一图像；
所述根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度包括：
将视图模式确定模型作为所述广角显示模式以及所述超广角显示模式对应的显示模式确定模型，将所述缩放图像输入到所述视图模式确定模型中进行处理，得到所述广角显示模式对应的选中可能度以及超广角显示模式对应的选中可能度。
4.根据权利要求1所述的方法，其特征在于，所述根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像包括：
当所述候选显示模式包括小行星显示模式时，将所述目标图像调整为小行星显示模式下显示的图像，将所述小行星显示模式下显示的图像作为所述小行星显示模式对应的第一图像。
5.根据权利要求1所述的方法，其特征在于，所述获取待确定显示模式的目标图像包括：
获取待处理的全景图像中，目标主体所在的目标位置；
根据所述目标位置，对所述全景图像进行移动处理，得到目标图像，所述目标图像中，所述目标位置所在的图像区域为图像中心位置。
6.根据权利要求5所述的方法，其特征在于，所述获取待处理的全景图像中，目标主体所在的目标位置包括：
利用图像处理模型对所述全景图像进行处理，得到掩码矩阵；
获取所述掩码矩阵中的每个掩码块对应的包络块像素统计值；
过滤所述包络块像素统计值小于预设统计值的掩码块，得到掩码块集合；
计算所述掩码块集合中各个掩码块的面积，将面积满足预设面积条件的掩码块所在的位置，作为目标主体所在的位置，所述预设面积条件包括面积排序在预设排序之前或者面积大于预设面积的至少一个。
7.根据权利要求6所述的方法，其特征在于，所述获取待处理的全景图像中，目标主体所在的目标位置包括：
将人脸作为待识别的主体，对所述待处理的全景图像进行人脸识别；
当人脸识别失败时，将人体作为待识别的主体，对所述全景图像进行人体识别；
当人体识别失败时，进入利用图像处理模型对所述全景图像进行处理，得到掩码矩阵的步骤。
8.一种图像处理方法，其特征在于，所述方法包括：
获取待确定显示模式的初始图像；
向服务器发送所述初始图像对应的显示模式确定请求，以使得所述服务器响应于所述显示模式确定请求，获取待确定显示模式的目标图像；确定候选显示模式集合，根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像；根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度；根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式；
接收服务器返回的所述目标显示模式；
根据所述目标显示模式显示所述初始图像。
9.一种图像处理装置，其特征在于，所述装置包括：
目标图像获取模块，用于获取待确定显示模式的目标图像；
第一图像获取模块，用于确定候选显示模式集合，根据所述候选显示模式集合中的候选显示模式对所述目标图像进行显示模式调整，得到各个所述候选显示模式对应的第一图像；
选中可能度获取模块，用于根据各个所述第一图像对应的候选显示模式确定对应的显示模式确定模型，将所述第一图像输入到对应的显示模式确定模型中，得到所述候选显示模式对应的选中可能度；
目标显示模式确定模块，用于根据各个所述候选显示模式对应的选中可能度，从所述候选显示模式集合中选取得到所述目标图像对应的目标显示模式。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤，或者实现权利要求8所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤，或者实现权利要求8所述的方法的步骤。
CN202011041640.9A 2020-09-28 2020-09-28 图像处理方法、装置、设备及存储介质 Active CN112333468B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011041640.9A CN112333468B (zh) 2020-09-28 2020-09-28 图像处理方法、装置、设备及存储介质
PCT/CN2021/121434 WO2022063321A1 (zh) 2020-09-28 2021-09-28 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011041640.9A CN112333468B (zh) 2020-09-28 2020-09-28 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112333468A true CN112333468A (zh) 2021-02-05
CN112333468B CN112333468B (zh) 2023-05-12

Family

ID=74303348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011041640.9A Active CN112333468B (zh) 2020-09-28 2020-09-28 图像处理方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112333468B (zh)
WO (1) WO2022063321A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022063321A1 (zh) * 2020-09-28 2022-03-31 影石创新科技股份有限公司 图像处理方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758259B (zh) * 2023-04-26 2024-09-03 中国公路工程咨询集团有限公司 一种公路资产信息识别方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157387A1 (en) * 2009-12-30 2011-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating image data
CN108184103A (zh) * 2018-01-02 2018-06-19 北京小米移动软件有限公司 显示图像的方法和装置
CN108259677A (zh) * 2018-02-12 2018-07-06 中兴通讯股份有限公司 终端及其显示控制方法、装置及计算机存储介质
CN108769595A (zh) * 2018-06-06 2018-11-06 合肥信亚达智能科技有限公司 一种智能人身识别监控跟踪传输方法及系统
US20180332233A1 (en) * 2015-11-06 2018-11-15 Samsung Electronics Co., Ltd. Content display method and electronic device for implementing same
US20190011922A1 (en) * 2016-03-01 2019-01-10 SZ DJI Technology Co., Ltd. Methods and systems for target tracking
CN109447958A (zh) * 2018-10-17 2019-03-08 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及计算机设备
CN110049206A (zh) * 2015-04-28 2019-07-23 腾讯科技（深圳）有限公司 图像处理方法及装置
CN110163932A (zh) * 2018-07-12 2019-08-23 腾讯数码（天津）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN110493517A (zh) * 2019-08-14 2019-11-22 广州三星通信技术研究有限公司 图像捕获装置的辅助拍摄方法和图像捕获装置
CN111083435A (zh) * 2019-10-27 2020-04-28 恒大智慧科技有限公司 一种安全监控方法及设备、计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321270B (zh) * 2008-07-16 2011-06-29 中国人民解放军国防科学技术大学 一种实时优化图像的监控系统及方法
CN107247548B (zh) * 2017-05-31 2018-09-04 腾讯科技（深圳）有限公司 图像显示方法、图像处理方法及装置
WO2020000385A1 (zh) * 2018-06-29 2020-01-02 深圳市大疆创新科技有限公司 一种图像显示方法、设备、云台及存储介质
CN109977956B (zh) * 2019-04-29 2022-11-18 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设备以及存储介质
CN112333468B (zh) * 2020-09-28 2023-05-12 影石创新科技股份有限公司 图像处理方法、装置、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157387A1 (en) * 2009-12-30 2011-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating image data
CN110049206A (zh) * 2015-04-28 2019-07-23 腾讯科技（深圳）有限公司 图像处理方法及装置
US20180332233A1 (en) * 2015-11-06 2018-11-15 Samsung Electronics Co., Ltd. Content display method and electronic device for implementing same
US20190011922A1 (en) * 2016-03-01 2019-01-10 SZ DJI Technology Co., Ltd. Methods and systems for target tracking
CN108184103A (zh) * 2018-01-02 2018-06-19 北京小米移动软件有限公司 显示图像的方法和装置
CN108259677A (zh) * 2018-02-12 2018-07-06 中兴通讯股份有限公司 终端及其显示控制方法、装置及计算机存储介质
CN108769595A (zh) * 2018-06-06 2018-11-06 合肥信亚达智能科技有限公司 一种智能人身识别监控跟踪传输方法及系统
CN110163932A (zh) * 2018-07-12 2019-08-23 腾讯数码（天津）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109447958A (zh) * 2018-10-17 2019-03-08 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及计算机设备
CN110493517A (zh) * 2019-08-14 2019-11-22 广州三星通信技术研究有限公司 图像捕获装置的辅助拍摄方法和图像捕获装置
CN111083435A (zh) * 2019-10-27 2020-04-28 恒大智慧科技有限公司 一种安全监控方法及设备、计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王颖等: ""全景监控中图像校正技术的应用"" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022063321A1 (zh) * 2020-09-28 2022-03-31 影石创新科技股份有限公司 图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022063321A1 (zh) 2022-03-31
CN112333468B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN107330439B (zh) 一种图像中物体姿态的确定方法、客户端及服务器
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
US20220335619A1 (en) Instance segmentation method and apparatus
CN111507333B (zh) 一种图像矫正方法、装置、电子设备和存储介质
CN108229277A (zh) 手势识别、控制及神经网络训练方法、装置及电子设备
CN110287836B (zh) 图像分类方法、装置、计算机设备和存储介质
CN112241731A (zh) 一种姿态确定方法、装置、设备及存储介质
WO2022063321A1 (zh) 图像处理方法、装置、设备及存储介质
CN112990010A (zh) 点云数据处理方法、装置、计算机设备和存储介质
CN111062263A (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
CN111723707A (zh) 一种基于视觉显著性的注视点估计方法及装置
US20240242451A1 (en) Method for 3d reconstruction, apparatus, system, and storage medium
WO2022165722A1 (zh) 单目深度估计方法、装置及设备
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN112651380A (zh) 人脸识别方法、人脸识别装置、终端设备及存储介质
CN111836058A (zh) 用于实时视频播放方法、装置、设备以及存储介质
CN113642359B (zh) 人脸图像生成方法、装置、电子设备及存储介质
CN111275610A (zh) 一种人脸变老图像处理方法及系统
CN116229130A (zh) 模糊图像的类型识别方法、装置、计算机设备和存储介质
CN113610864B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113436256B (zh) 拍摄装置状态识别方法、装置、计算机设备和存储介质
CN115222578A (zh) 图像风格迁移方法、程序产品、存储介质及电子设备
CN114004839A (zh) 全景图像的图像分割方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant