CN110191369A - 图像截取方法、装置、设备及存储介质 - Google Patents

图像截取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110191369A
CN110191369A CN201910492043.9A CN201910492043A CN110191369A CN 110191369 A CN110191369 A CN 110191369A CN 201910492043 A CN201910492043 A CN 201910492043A CN 110191369 A CN110191369 A CN 110191369A
Authority
CN
China
Prior art keywords
interception
image
target
target image
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910492043.9A
Other languages
English (en)
Inventor
黄书敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201910492043.9A priority Critical patent/CN110191369A/zh
Publication of CN110191369A publication Critical patent/CN110191369A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像截取方法、装置、设备及存储介质，属于网络技术领域。所述方法包括：获取视频中的目标图像，该目标图像中包含人脸子图像；建立目标图像坐标系；根据人脸子图像在目标图像坐标系中的位置，确定截取区域，该截取区域与人脸子图像至少部分重叠；根据截取区域对视频中的图像进行截取。由于本申请可以根据人脸子图像在目标图像坐标系的位置确定截取区域，进而可以确保截取到的图像中包含有人脸子图像，提高了对图像截取的灵活性以及可靠性。

Description

图像截取方法、装置、设备及存储介质
技术领域
本发明涉及网络技术领域，特别涉及一种图像截取方法、装置、设备及存储介质。
背景技术
在视频直播场景中，服务器可以将主播终端发送的视频数据转发至各个用户终端，以使各个用户终端与主播终端同步播放该视频数据。其中，该主播终端可以为电脑终端，该用户终端可以为电脑终端或者手机终端。
相关技术中，若服务器确定用户终端为手机终端，对于采用竖屏播放视频数据的手机终端，由于主播终端为电脑终端，因此视频数据中的每一帧图像的尺寸与手机终端的显示屏的尺寸差距较大，使得手机终端的显示屏无法完整的显示视频数据中的图像帧。为了确保手机终端的显示效果，服务器在接收到主播终端发送的视频数据后，需要对视频数据中的每一帧图像进行截取，并将截取后的图像发送至各个手机终端。其中，技术人员可以在服务器中预先设定每一帧图像的截取区域，服务器可以根据设定的截取区域对每一帧图像进行截取。
但是，由于截取区域是由技术人员预先设定的，导致对图像截取的灵活性较低。
发明内容
本发明实施例提供了一种图像截取方法、装置、设备及存储介质，可以解决相关技术中由于截取区域是由技术人员预先设定的，导致对图像截取的灵活性较低的问题。所述技术方案如下：
一方面，提供了一种图像截取方法，所述方法包括：
获取视频中的目标图像，所述目标图像中包含人脸子图像；
建立目标图像坐标系；
根据所述人脸子图像在所述目标图像坐标系中的位置，确定截取区域，所述截取区域与所述人脸子图像至少部分重叠；
根据所述截取区域对所述视频中的图像进行截取。
可选的，根据所述人脸子图像在所述目标图像坐标系中的位置确定截取区域，包括：
根据所述人脸子图像在所述目标图像坐标系中的位置，在所述目标图像坐标系中确定目标点的位置，所述目标点位于所述人脸子图像所在区域；
根据所述目标点的位置确定截取区域。
可选的，所述根据所述人脸子图像在所述目标图像坐标系中的位置，在所述目标图像坐标系中确定目标点的位置，包括：
确定所述人脸子图像的中心点在所述目标图像坐标系中的第一位置；
将所述第一位置与至少一个历史图像包含的人脸子图像的中心点在所述目标图像坐标系中的第二位置的均值，确定为所述目标点在所述目标图像坐标系中的位置；
其中，所述历史图像为在所述目标图像之前获取到的图像。
可选的，所述截取区域为矩形区域；所述根据所述目标点的位置确定截取区域，包括：
若所述目标点的位置满足截取条件，则根据所述目标点的位置确定截取区域，所述截取条件包括下述条件中的一种或多种：
在检测时段内确定出的所述目标点的位置在所述截取区域的短边方向上的变化程度小于第一阈值；
最近确定出的所述目标点的位置与上一次用于确定截取区域的目标点的位置在所述截取区域的短边方向上的距离大于第二阈值。
可选的，所述方法还包括：
每隔更新周期，检测所述目标点的位置是否满足所述截取条件。
可选的，所述根据所述目标点的位置确定截取区域，包括：
根据所述目标点在所述目标图像坐标系中的位置，在所述目标图像坐标系中确定矩形的截取区域；
其中，所述截取区域的两个短边的中点与所述目标点共线。
可选的，所述根据所述目标点的位置确定截取区域，包括：
以所述目标点为中心点，在所述目标图像坐标系中确定矩形的截取区域；
其中，所述截取区域的最小外接圆的圆心为所述目标点。
可选的，在获取视频中的目标图像之前，所述方法还包括：
接收主播终端发送的所述视频；
在根据所述截取区域对所述视频中的图像进行截取之后，所述方法还包括：
向所述主播终端发送所述截取区域的第一位置信息，所述第一位置信息用于指示所述主播终端按照所述第一位置信息指示的位置显示截取框。
可选的，在向所述主播终端发送所述截取区域的第一位置信息之后，所述方法还包括：
接收所述主播终端发送的所述截取框的第二位置信息，所述第二位置信息为所述主播终端根据针对所述截取框的移动指令调整所述截取框的位置后确定的；
基于所述第二位置信息调整所述截取区域。
另一方面，提供了一种图像截取装置，所述装置包括：
获取模块，用于获取视频中的目标图像，所述目标图像中包含人脸子图像；
建立模块，用于建立目标图像坐标系；
确定模块，用于根据所述人脸子图像在所述目标图像坐标系中的位置，确定截取区域，所述截取区域与所述人脸子图像至少部分重叠；
截取模块，用于根据所述截取区域对所述视频中的图像进行截取。
可选的，所述确定模块，包括：
第一确定子模块，用于根据所述人脸子图像在所述目标图像坐标系中的位置，在所述目标图像坐标系中确定目标点的位置，所述目标点位于所述人脸子图像所在区域；
第二确定子模块，用于根据所述目标点的位置确定截取区域。
可选的，所述第一确定子模块，用于：
确定所述人脸子图像的中心点在所述目标图像坐标系中的第一位置；
将所述第一位置与至少一个历史图像包含的人脸子图像的中心点在所述目标图像坐标系中的第二位置的均值，确定为所述目标点在所述目标图像坐标系中的位置；
其中，所述历史图像为在所述目标图像之前获取到的图像。
可选的，所述第二确定子模块，用于：
若所述目标点的位置满足截取条件，则根据所述目标点的位置确定截取区域，所述截取条件包括下述条件中的一种或多种，所述截取区域为矩形区域；
在检测时段内确定出的所述目标点的位置在所述截取区域的短边方向上的变化程度小于第一阈值；
最近确定出的所述目标点的位置与上一次用于确定截取区域的目标点的位置在所述截取区域的短边方向上的距离大于第二阈值。
可选的，所述装置还包括：
检测模块，用于每隔更新周期，检测所述目标点的位置是否满足所述截取条件。
可选的，所述第二确定子模块，用于：
根据所述目标点在所述目标图像坐标系中的位置，在所述目标图像坐标系中确定矩形的截取区域；
其中，所述截取区域的两个短边的中点与所述目标点共线。
可选的，所述第二确定子模块，用于：
以所述目标点为中心点，在所述目标图像坐标系中确定矩形的截取区域；
其中，所述截取区域的最小外接圆的圆心为所述目标点。
可选的，所述装置还包括：
接收模块，用于在获取视频中的目标图像之前，接收主播终端发送的所述视频；
发送模块，用于在根据所述截取区域对所述视频中的图像进行截取之后，向所述主播终端发送所述截取区域的第一位置信息，所述第一位置信息用于指示所述主播终端按照所述第一位置信息指示的位置显示截取框。
可选的，所述接收模块，还用于在向所述主播终端发送所述截取区域的第一位置信息之后，接收所述主播终端发送的所述截取框的第二位置信息，所述第二位置信息为所述主播终端根据针对所述截取框的移动指令调整所述截取框的位置后确定的；
所述装置还包括：
调整模块，用于基于所述第二位置信息调整所述截取区域。
又一方面，提供了一种图像截取设备，包括：存储器，处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现如上述方面所述的图像截取方法。
再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得计算机执行如上述方面所述的图像截取方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例提供了一种图像截取方法、装置、设备及存储介质，该截取方法可以根据人脸子图像在目标图像坐标系中的位置确定截取区域，该截取区域与人脸子图像部分重叠。由于确定的截取区域与人脸子图像部分重叠，进而可以确保截取到的图像中包含有人脸子图像，该方法避免了主播的位置发生变化而无法截取到人脸子图像的情况，提高了截取的图像的可靠性和灵活性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像截取方法所涉及的实施环境的示意图；
图2是本发明实施例提供的一种图像截取方法的流程图；
图3是本发明实施例提供的另一种图像截取方法的流程图；
图4是本发明实施例提供的一种目标图像坐标系的示意图；
图5是本发明实施例提供的一种在目标图像坐标系中确定目标点的位置的流程图；
图6是本发明实施例提供的一种在目标图像中确定的截取区域的示意图；
图7是本发明实施例提供的一种图像截取装置的框图；
图8是本发明实施例提供的一种确定模块的框图；
图9是本发明实施例提供的另一种图像截取装置的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种图像截取方法所涉及的实施环境的示意图。如图1所示，该实施环境可以包括：服务器110、主播终端120和用户终端130。该服务器110可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。该主播终端120可以为个人电脑、笔记本电脑或平板电脑或手机等设置有摄像头的设备。该用户终端130可以为个人电脑、笔记本电脑、平板电脑或手机等设备。该服务器110与该主播终端120之间可以通过有线网络或无线网络建立连接。该服务器110与该用户终端130之间可以通过有线网络或无线网络建立连接。
在主播终端120进行视频直播的过程中，服务器110可以接收主播终端120发送的视频，并可以将该视频转发至各个用户终端130。其中，若用户终端130为电脑终端，则服务器110可以直接将接收到的视频转发至该用户终端130。若用户终端130为手机终端，则服务器110需要对视频中的图像进行截取，并将截取后的图像转发至该用户终端130，以确保该截取后的图像能够适应用户终端130的显示屏。
在本发明实施例中，服务器110可以根据目标图像中位于人脸子图像中的目标点，确定截取区域，进而基于该截取区域对视频中的图像进行截取，相较于相关技术，提高了图像截取的灵活性。
图2是本发明实施例提供了一种图像截取方法的流程图。该方法可以应用于图1所示的服务器110中。如图2所示，该方法可以包括：
步骤201、获取视频中的目标图像，该目标图像中包含人脸子图像。
在本发明实施例中，服务器在接收主播终端发送的视频的过程中，可以基于人脸识别算法对该视频中的每一帧图像进行识别，并确定出目标图像，该目标图像中可以包含人脸子图像。
步骤202、建立目标图像坐标系。
服务器可以基于目标图像建立目标图像坐标系。例如，该目标图像坐标系的原点可以为目标图像的左上角的点，横轴可以平行于目标图像的像素行方向，纵轴可以平行于目标图像的像素列方向。
步骤203、根据人脸子图像在目标图像坐标系中的位置，确定截取区域。
该截取区域可以与人脸子图像至少部分重叠，例如，该截取区域可以为覆盖该人脸子图像所在区域的区域。
可选的，该截取区域可以为矩形区域，服务器中可以预先存储有截取区域的尺寸，例如，短边和长边的长度。在确定人脸子图像在目标图像坐标系中的位置后，服务器可以根据截取区域的尺寸以及人脸子图像在目标图像坐标系中的位置，确定截取区域的各个顶点在目标图像坐标系中的坐标或者各个边界线在目标图像坐标系中的位置，以使得截取区域的上下两个短边的中点和人脸子图像的中心点共线，或者使得截取区域的中心点与人脸子图像的中心点重合。
步骤204、根据截取区域对视频中的图像进行截取。
服务器可以以截取区域的边界线为边界对视频中的图像进行截取，并将截取后的图像转发至各个用户终端，该截取后的图像在目标图像坐标系中的位置与截取区域在目标图像坐标系中的位置重合。该用户终端可以为手机终端。
可选的，服务器可以对视频中的每一帧图像均进行截取，或者也可以仅对包含人脸子图像的目标图像进行截取。
综上所述，本发明实施例提供了一种图像截取方法，该截取方法可以根据人脸子图像在目标图像坐标系中的位置确定截取区域，该截取区域与人脸子图像部分重叠。由于确定的截取区域与人脸子图像部分重叠，进而可以确保截取到的图像中包含有人脸子图像，该方法避免了主播的位置发生变化而无法截取到人脸子图像的情况，提高了截取的图像的可靠性和灵活性。
图3是本发明实施例提供了一种图像截取方法的流程图。该方法可以应用于图1所示的服务器110中。如图3所示，该方法可以包括：
步骤301、接收主播终端发送的视频。
在视频直播过程中，服务器可以实时接收主播终端发送的视频。该视频中可以包括多帧图像，每帧图像的尺寸可以为900像素(pixel)×720像素(pixel)。
步骤302、获取视频中的目标图像。
服务器在接收主播终端发送的视频的过程中，可以基于人脸识别算法对该视频中的每一帧图像进行识别，并确定出目标图像，该目标图像中包含人脸子图像。
步骤303、建立目标图像坐标系。
服务器可以基于目标图像建立目标图像坐标系。例如，该目标图像坐标系的原点可以为目标图像的左上角的点，横轴可以平行于目标图像的像素行方向，纵轴可以平行于目标图像的像素列方向。
图4是本发明实施例提供的一种目标图像坐标系的示意图。如图4所示，该目标图像坐标系的原点O可以为目标图像左上角的点，横轴X可以平行于目标图像的像素行方向，纵轴Y可以平行于目标图像的像素列方向。
步骤304、根据人脸子图像在目标图像坐标系中的位置，在目标图像坐标系中确定目标点的位置。
该目标点可以位于人脸子图像所在区域。在本发明实施例中，对于接收到的每一帧包含人脸子图像的目标图像，服务器均可以确定出一个目标点在目标图像坐标系中的位置。也即是，服务器可以根据各个目标图像中的人脸子图像在目标图像坐标系中的位置，对该目标点的位置进行更新。
图5是本发明实施例提供的一种在目标图像坐标系中确定目标点的位置的流程图。如图5所示，该步骤304可以包括：
步骤3041、确定人脸子图像的中心点在目标图像坐标系中的第一位置。
可选的，该人脸子图像的中心点可以指该人脸子图像的最小外接圆的圆心。或者，该人脸子图像的中心点可以是指该人脸子图像中的指定特征点。该指定特征点可以为人脸子图像中的鼻尖特征点，或者可以为两个眼睛特征点之间连线的中点。该人脸子图像的中心点在目标图像坐标系中的第一位置可以是指该人脸子图像的中心点在目标图像坐标系中的坐标。
参考图4，假设服务器获取的视频中的目标图像为A，该目标图像A的人脸子图像A1的中心点o1可以为人脸子图像中的鼻尖特征点，则服务器可以确定人脸子图像A1的中心点o1在该目标图像坐标系的第一位置为(x0，y0)。
步骤3042、将第一位置与至少一个历史图像包含的人脸子图像的中心点在目标图像坐标系中的第二位置的均值，确定为目标点在目标图像坐标系中的位置。
其中，该历史图像可以为在目标图像之前获取到的包含人脸子图像的目标图像。并且，该至少一个历史图像和目标图像可以是服务器在第一指定时长N1内获取到的图像。该第一指定时长N1可以为服务器中预先设定的固定时长。例如该第一指定时长N1可以为10秒。
服务器在确定第一位置后，可以获取每个历史图像包含的人脸子图像的中心点在目标图像坐标系中的第二位置，进而得到多个第二位置。之后可以将该第一位置与该多个第二位置的均值确定为目标点在目标图像坐标系中的位置，即该目标点在目标图像坐标系的坐标。
也即是，服务器能够以第一指定时长N1的时间窗对包含人脸子图像的图像(包括目标图像和历史图像)中的中心点进行均值滤波处理，从而滤除高频率变换的中心点的位置，提高确定出的目标点的位置的准确度。
示例的，假设在该第一指定时长N1内，服务器获取到了n个包含人脸子图像的历史图像，以及一个目标图像。其中，该目标图像中人脸子图像中的中心点在目标图像坐标系中的第一位置为(x0，y0)，第i(i为不大于n的正整数)个历史图像中人脸子图像的中心点在目标图像坐标系中的第二位置为(xi，yi)，则服务器对该第一指定时长N1内确定出的中心点的位置进行均值滤波后，最终确定出的目标点在目标图像坐标系中的位置(X1，Y1)可以满足：
需要说明的是，服务器可以在开始接收终端发送的视频的第一指定时长N1之后，对该第一指定时长N1内获取到的包含人脸子图像的图像中的中心点进行均值滤波处理。之后，服务器每获取到一帧包含人脸子图像的目标图像，均可以基于该目标图像包含的人脸子图像的中心点在目标图像坐标系中的第一位置，以及之前获取到的至少一帧历史图像包含的人脸子图像的中心点在目标图像坐标系中的第二位置，对目标点在目标图像坐标系中的位置进行更新。
还需要说明的是，由于视频中包含的各帧图像的尺寸均相同，因此对于每一帧目标图像，服务器均可采用最先建立的目标图像坐标系，确定每一帧目标图像包含的人脸子图像的中心点的位置。
步骤305、每隔更新周期，检测目标点的位置是否满足截取条件。
该更新周期可以为服务器中预先存储的固定值。例如该更新周期可以为2分钟或者5分钟。当服务器确定目标点的位置满足截取条件时，可以执行步骤306；当服务器确定目标点的位置不满足截取条件时，可以继续执行步骤301。
可选的，在本发明实施例中，该截取条件可以包括下述条件的一种或多种：
(1)在检测时段内确定出的目标点的位置在截取区域的短边方向上的变化程度小于第一阈值。该截取区域可以为矩形区域。
该检测时段可以为当前时刻之前的第二指定时长N2的时间段。该第二指定时长N2可以为服务器中预先设定的固定时长。并且，该第二指定时长N2与该更新周期的时长可以相同，也可以不同。例如，该第二指定时长N2可以为60秒。该短边方向可以平行于目标图像坐标系的横轴。
在本发明实施例中，如前文所述，在该检测时间段内，服务器可以根据接收到的每一帧包含人脸子图像的目标图像，对目标点的位置进行更新。在判断是否满足该截取条件时，服务器可以判断在检测时段内确定出的目标点的位置在截取区域的短边方向上的变化程度是否小于第一阈值。若在该检测时段内确定出的目标点的位置在截取区域的短边方向上的变化程度小于第一阈值，则可以确定在该检测时间段内主播的位置的变化程度较小，也即是在检测时间段内主播稳定的位于某个区域内。此时，可以基于该目标点的位置对截取区域进行更新，即可以执行步骤306。
可选的，服务器可以判断该多个位置中每两个位置的横坐标值的差值是否小于第一阈值，若该多个位置中的任意两个位置的横坐标值的差值均小于第一阈值，则可以确定在检测时段内确定出的目标点的位置在截取区域的短边方向上的变化程度小于第一阈值。
示例的，服务器可以从该多个位置中获取最大的横坐标值和最小的横坐标值，并判断该最大的横坐标值和最小的横坐标值的差值是否小于第一阈值，若该差值小于第一阈值，则可以确定在检测时段内确定出的目标点的位置在截取区域的短边方向上的变化程度小于第一阈值。
(2)最近确定出的目标点的位置与上一次用于确定截取区域的目标点的位置在截取区域的短边方向上的距离大于第二阈值。
服务器可以判断最近确定出的目标点的位置与上一次用于确定截取区域的目标点的位置在截取区域的短边方向上的距离是否大于第二阈值。若确定出该距离大于第二阈值，则表明最近确定的目标点的位置与上一次确定的截取区域的目标点的位置变化较大，也即是主播位置发生变化。此时，需要对截取区域进行更新，因此可以执行步骤306。
示例的，服务器可以判断最近确定出的目标点的位置的横坐标值，与上一次用于确定截取区域的目标点的位置的横坐标值(即上一次确定出的截取区域的中心点的横坐标值)的差值是否大于第二阈值，若确定出该差值大于第二阈值，此时，服务器需要对截取区域进行更新，因此可以执行步骤306。
步骤306、根据目标点的位置确定截取区域。
该截取区域可以与人脸子图像至少部分重叠，例如，该截取区域可以为覆盖该人脸子图像所在区域的区域。
在本发明实施例中，在确定最近确定的目标点满足截取条件之后，服务器可以根据最近确定的目标点，在目标图像坐标系中确定截取区域。
作为一种可选的实现方式，服务器可以根据目标点在目标图像坐标系中的位置，在目标图像坐标系中确定矩形的截取区域。该截取区域的两个短边的中点可以与目标点共线。也即是，服务器可以将该目标点的横坐标值确定为该截取区域的两个短边的中点的横坐标值。
作为另一种可选的实现方式，以目标点为中心点，在目标图像坐标系中确定矩形的截取区域。该截取区域的最小外接圆的圆心可以为目标点。若该截取区域为矩形区域，则该截取区域对角线的交点可以为目标点。该截取区域的尺寸可以为404pixel×720pixel。
可选的，该截取区域可以为矩形区域，服务器中可以预先存储有截取区域的尺寸，例如，短边和长边的长度。在确定最近确定的目标点满足截取条件之后，服务器可以基于目标点的位置以及截取区域的尺寸，确定截取区域的各个顶点在目标图像坐标系中的坐标或者各个边界线在目标图像坐标系中的位置，以使得截取区域的上下两个短边的中点和人脸子图像的中心点共线，或者使得截取区域的中心点与目标点重合。该截取区域在目标图像坐标系的位置可以包括该截取区域的各个顶点在目标图像坐标系中的坐标。
示例的，假设该截取条件包括上述条件中的两种，则服务器可以在检测时段内确定出的目标点的位置在截取区域的短边方向上的变化程度小于第一阈值，且最近确定出的目标点的位置与上一次用于确定截取区域的目标点的位置在截取区域的短边方向上的距离大于第二阈值时，再根据目标点的位置确定截取区域。
步骤307、根据截取区域对视频中的图像进行截取。
服务器可以以确定的截取区域的边界线为边界对视频中的图像进行截取，该截取后的图像在目标图像坐标系中的位置与截取区域在目标图像坐标系中的位置重合。
示例的，如图6所示，假设目标图像为A，根据最新确定的目标点确定的截取区域为B。若该截取区域B的尺寸为404pixel×720pixel，则服务器对每一帧图像进行截取后得到的图像的尺寸即为404pixel×720pixel。
在本发明实施例中，服务器可以根据截取区域对视频中的每一帧图像进行截取，也可以仅对包含人脸子图像的目标图像进行截取，本发明实施例对此不做限定。
步骤308、向主播终端发送截取区域的第一位置信息。
该第一位置信息可以用于指示主播终端按照第一位置信息指示的位置显示截取框，该第一位置信息可以包括截取区域的各个顶点在目标图像坐标系的坐标。主播终端接收到该第一位置信息后，可以根据该第一位置信息中各个顶点的坐标，在其显示屏的显示界面中显示截取框，以便主播用户可以根据该截取框调整自身的位置。
在本发明实施例中，服务器还可以向主播终端发送提醒指令，该提醒指令中携带有提醒信息。主播终端在接收到提醒指令后可以显示提醒界面，并在该提醒界面上显示提醒信息，该提醒信息可以为“人脸位置发生改变，截取框将自动调整”、“截取框内无法检测到人脸，是否需要调整截取框？”又或者“截取框无法检测到人脸，请将人脸保持在截取框内”。
可选的，该提醒界面还可以包括“确认”按钮以及“拒绝”按钮。若提醒界面显示的提醒信息为“人脸位置发生改变，截取框将自动调整”，且主播终端接收到用户针对“确认”按钮的选择指令，则主播终端可以基于服务器发送的截取区域的位置信息自动移动截取框。若主播终端接收到用户针对“拒绝”按钮的选择指令，在本发明一种可选的实现方式中，主播终端可以不对截取框的位置进行更新。在本发明另一种可选的实现方式中，主播终端在接收到针对该截取框的移动指令后，可以基于该移动指令移动截取框。即用户可以通过鼠标来移动截取框的位置，或者也可以通过在触摸屏上的滑动操作移动截取框的位置。
步骤309、接收主播终端发送的截取框的第二位置信息。
该第二位置信息可以为主播终端根据针对截取框的移动指令调整该截取框的位置后确定的。主播终端在接收到用户针对截取框的移动指令后调整截取框的位置，并将调整后的截取框的第二位置信息发送至服务器。由于用户可以基于自身的需求动态调整截取框的位置，提高了对截取框调整的灵活性。
步骤310、基于第二位置信息调整截取区域。
该第二位置信息可以包括截取框的各个顶点在目标图像坐标系的坐标。服务器接收到该第二位置信息后，可以根据该第二位置信息中各个顶点的坐标，调整截取区域的位置，进而基于该调整后截取区域的位置对视频中的图像进行截取。
在本发明实施例中，服务器在执行完步骤308之后，也可以无需执行步骤309和步骤310，即主播终端可以基于服务器发送的第一位置信息自动调整截取框的位置。或者，若主播终端在接收到服务器发送的第一位置信息之后，主播用户手动调整截取框，则服务器也可以在步骤310之后执行步骤307。
需要说明的是，上述步骤301至步骤307还可以由主播终端执行，也即是，主播终端可以直接对采集到的视频中的图像进行截取，并将截取后的图像发送至服务器。
还需要说明的是，本发明实施例提供的图像截取方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行删除。例如，步骤3042可以根据情况删除，步骤308至步骤310也可以根据情况进行删除。任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本公开的保护范围之内，因此不再赘述。
综上所述，本发明实施例提供了一种图像截取方法，该截取方法可以根据人脸子图像在目标图像坐标系中的位置确定截取区域，该截取区域与人脸子图像部分重叠。由于确定的截取区域与人脸子图像部分重叠，进而确保截取到的图像中包含有人脸子图像，该方法避免了主播的位置发生变化而无法截取到人脸子图像的情况，提高了截取的图像的可靠性和灵活性。
图7是本发明实施例提供的一种图像截取装置70的框图。如图7所示，该装置可以包括：获取模块701、建立模块702、确定模块703和截取模块704。
获取模块701，用于获取视频中的目标图像，目标图像中包含人脸子图像；
建立模块702，用于建立目标图像坐标系；
确定模块703，用于根据人脸子图像在目标图像坐标系中的位置，确定截取区域，该截取区域与人脸子图像至少部分重叠；
截取模块704，用于根据截取区域对视频中的图像进行截取。
本发明实施例提供了一种图像截取装置，该确定模块可以根据人脸子图像在目标图像坐标系中的位置确定截取区域，该截取区域与人脸子图像部分重叠。由于确定的截取区域与人脸子图像部分重叠，进而可以确保截取到的图像中包含有人脸子图像，该方法避免了主播的位置发生变化而无法截取到人脸子图像的情况，提高了截取的图像的可靠性和灵活性。
可选的，如图8所示，确定模块703，包括：
第一确定子模块7031，用于根据人脸子图像在目标图像坐标系中的位置，在目标图像坐标系中确定目标点的位置，目标点位于人脸子图像所在区域；
第二确定子模块7032，用于根据目标点的位置确定截取区域。
可选的，第一确定子模块7031，用于：
确定人脸子图像的中心点在目标图像坐标系中的第一位置；
将第一位置与至少一个历史图像包含的人脸子图像的中心点在目标图像坐标系中的第二位置的均值，确定为目标点在目标图像坐标系中的位置；
其中，历史图像为在目标图像之前获取到的图像。
可选的，第二确定子模块7032，用于：
若目标点的位置满足截取条件，则根据目标点的位置确定截取区域，截取条件包括下述条件中的一种或多种，截取区域为矩形区域；
在检测时段内确定出的目标点的位置在截取区域的短边方向上的变化程度小于第一阈值；
最近确定出的目标点的位置与上一次用于确定截取区域的目标点的位置在截取区域的短边方向上的距离大于第二阈值。
可选的，如图9所示，装置还包括：
检测模块705，用于每隔更新周期，检测目标点的位置是否满足截取条件。
可选的，第二确定子模块7032，用于：
根据目标点在目标图像坐标系中的位置，在目标图像坐标系中确定矩形的截取区域；
其中，截取区域的两个短边的中点与目标点共线。
可选的，第二确定子模块7032，用于：
以目标点为中心点，在目标图像坐标系中确定矩形的截取区域；
其中，截取区域的最小外接圆的圆心为目标点。
可选的，参考图9，装置还包括：
接收模块706，用于在获取视频中的目标图像之前，接收主播终端发送的视频；
发送模块707，用于在根据截取区域对视频中的图像进行截取之后，向主播终端发送截取区域的第一位置信息，第一位置信息用于指示主播终端按照第一位置信息指示的位置显示截取框。
可选的，接收模块706，还用于在向主播终端发送截取区域的第一位置信息之后，接收主播终端发送的截取框的第二位置信息，第二位置信息为主播终端根据针对截取框的移动指令调整截取框的位置后确定的；
参考图9，该装置还包括：
调整模块708，用于基于第二位置信息调整截取区域。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例提供了一种图像截取装置，该确定模块可以根据人脸子图像在目标图像坐标系中的位置确定截取区域，该截取区域与人脸子图像部分重叠。由于确定的截取区域与人脸子图像部分重叠，进而可以确保截取到的图像中包含有人脸子图像，该方法避免了主播的位置发生变化而无法截取到人脸子图像的情况，提高了截取的图像的可靠性和灵活性。
本发明实施例提供了一种图像截取设备，包括：存储器，处理器及存储在存储器上的计算机程序，处理器执行计算机程序时实现上述实施例提供的图像截取方法。
本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机可读存储介质在计算机上运行时，使得计算机执行上述实施例提供的图像截取方法。
以上所述仅为本发明的可选实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种图像截取方法，其特征在于，所述方法包括：
获取视频中的目标图像，所述目标图像中包含人脸子图像；
建立目标图像坐标系；
根据所述人脸子图像在所述目标图像坐标系中的位置，确定截取区域，所述截取区域与所述人脸子图像至少部分重叠；
根据所述截取区域对所述视频中的图像进行截取。
2.根据权利要求1所述的方法，其特征在于，根据所述人脸子图像在所述目标图像坐标系中的位置确定截取区域，包括：
根据所述人脸子图像在所述目标图像坐标系中的位置，在所述目标图像坐标系中确定目标点的位置，所述目标点位于所述人脸子图像所在区域；
根据所述目标点的位置确定截取区域。
3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸子图像在所述目标图像坐标系中的位置，在所述目标图像坐标系中确定目标点的位置，包括：
确定所述人脸子图像的中心点在所述目标图像坐标系中的第一位置；
将所述第一位置与至少一个历史图像包含的人脸子图像的中心点在所述目标图像坐标系中的第二位置的均值，确定为所述目标点在所述目标图像坐标系中的位置；
其中，所述历史图像为在所述目标图像之前获取到的图像。
4.根据权利要求2所述的方法，其特征在于，所述截取区域为矩形区域；所述根据所述目标点的位置确定截取区域，包括：
若所述目标点的位置满足截取条件，则根据所述目标点的位置确定截取区域，所述截取条件包括下述条件中的一种或多种：
在检测时段内确定出的所述目标点的位置在所述截取区域的短边方向上的变化程度小于第一阈值；
最近确定出的所述目标点的位置与上一次用于确定截取区域的目标点的位置在所述截取区域的短边方向上的距离大于第二阈值。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
每隔更新周期，检测所述目标点的位置是否满足所述截取条件。
6.根据权利要求2至5任一所述的方法，其特征在于，所述根据所述目标点的位置确定截取区域，包括：
根据所述目标点在所述目标图像坐标系中的位置，在所述目标图像坐标系中确定矩形的截取区域；
其中，所述截取区域的两个短边的中点与所述目标点共线。
7.根据权利要求2至5任一所述的方法，其特征在于，所述根据所述目标点的位置确定截取区域，包括：
以所述目标点为中心点，在所述目标图像坐标系中确定矩形的截取区域；
其中，所述截取区域的最小外接圆的圆心为所述目标点。
8.根据权利要求1至5任一所述的方法，其特征在于，在获取视频中的目标图像之前，所述方法还包括：
接收主播终端发送的所述视频；
在根据所述截取区域对所述视频中的图像进行截取之后，所述方法还包括：
向所述主播终端发送所述截取区域的第一位置信息，所述第一位置信息用于指示所述主播终端按照所述第一位置信息指示的位置显示截取框。
9.根据权利要求8所述的方法，其特征在于，在向所述主播终端发送所述截取区域的第一位置信息之后，所述方法还包括：
接收所述主播终端发送的所述截取框的第二位置信息，所述第二位置信息为所述主播终端根据针对所述截取框的移动指令调整所述截取框的位置后确定的；
基于所述第二位置信息调整所述截取区域。
10.一种图像截取装置，其特征在于，所述装置包括：
获取模块，用于获取视频中的目标图像，所述目标图像中包含人脸子图像；
建立模块，用于建立目标图像坐标系；
确定模块，用于根据所述人脸子图像在所述目标图像坐标系中的位置，确定截取区域，所述截取区域与所述人脸子图像至少部分重叠；
截取模块，用于根据所述截取区域对所述视频中的图像进行截取。
11.一种图像截取设备，其特征在于，包括：存储器，处理器及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至9任一所述的图像截取方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述计算机可读存储介质在计算机上运行时，使得计算机执行如权利要求1至9任一所述的图像截取方法。
CN201910492043.9A 2019-06-06 2019-06-06 图像截取方法、装置、设备及存储介质 Pending CN110191369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910492043.9A CN110191369A (zh) 2019-06-06 2019-06-06 图像截取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910492043.9A CN110191369A (zh) 2019-06-06 2019-06-06 图像截取方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110191369A true CN110191369A (zh) 2019-08-30

Family

ID=67720832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910492043.9A Pending CN110191369A (zh) 2019-06-06 2019-06-06 图像截取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110191369A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516656A (zh) * 2019-09-04 2019-11-29 上海眼控科技股份有限公司 视频监控方法、装置、计算机设备和可读存储介质
CN110933452A (zh) * 2019-12-02 2020-03-27 广州酷狗计算机科技有限公司 萌脸礼物显示方法、装置及存储介质
CN111586432A (zh) * 2020-06-05 2020-08-25 广州繁星互娱信息科技有限公司 空播直播间确定方法、装置、服务器及存储介质
CN113691731A (zh) * 2021-09-07 2021-11-23 联想(北京)有限公司 一种处理方法、装置和电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227384A1 (en) * 2005-04-12 2006-10-12 Fuji Photo Film Co., Ltd. Image processing apparatus and image processing program
JP2008003816A (ja) * 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd 操作誘導装置及び操作誘導方法
US20090232364A1 (en) * 2008-03-14 2009-09-17 Omron Corporation Priority target determining device, electronic equipment, priority target determining method, program, and recording medium
EP2309722A1 (en) * 2006-10-12 2011-04-13 Nikon Corporation Digital camera
CN102270093A (zh) * 2011-06-14 2011-12-07 上海大学 基于视频图像分辨率的视频自适应方法
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及系统
CN102982568A (zh) * 2012-11-12 2013-03-20 东莞宇龙通信科技有限公司 一种自动裁剪图像的方法及装置
WO2013165198A1 (en) * 2012-05-02 2013-11-07 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face
CN106228112A (zh) * 2016-07-08 2016-12-14 深圳市优必选科技有限公司 人脸检测跟踪方法及机器人头部转动控制方法和机器人
CN106412691A (zh) * 2015-07-27 2017-02-15 腾讯科技（深圳）有限公司 一种视频图像的截取方法和装置
CN107123084A (zh) * 2016-02-24 2017-09-01 奥多比公司 优化图像裁剪
CN107515715A (zh) * 2017-07-31 2017-12-26 北京小米移动软件有限公司 屏幕截图方法、装置及存储介质
CN107872639A (zh) * 2017-11-14 2018-04-03 维沃移动通信有限公司 通信视频的传输方法、装置和移动终端

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227384A1 (en) * 2005-04-12 2006-10-12 Fuji Photo Film Co., Ltd. Image processing apparatus and image processing program
JP2008003816A (ja) * 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd 操作誘導装置及び操作誘導方法
EP2309722A1 (en) * 2006-10-12 2011-04-13 Nikon Corporation Digital camera
US20090232364A1 (en) * 2008-03-14 2009-09-17 Omron Corporation Priority target determining device, electronic equipment, priority target determining method, program, and recording medium
CN102270093A (zh) * 2011-06-14 2011-12-07 上海大学 基于视频图像分辨率的视频自适应方法
WO2013165198A1 (en) * 2012-05-02 2013-11-07 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及系统
CN102982568A (zh) * 2012-11-12 2013-03-20 东莞宇龙通信科技有限公司 一种自动裁剪图像的方法及装置
CN106412691A (zh) * 2015-07-27 2017-02-15 腾讯科技（深圳）有限公司 一种视频图像的截取方法和装置
CN107123084A (zh) * 2016-02-24 2017-09-01 奥多比公司 优化图像裁剪
CN106228112A (zh) * 2016-07-08 2016-12-14 深圳市优必选科技有限公司 人脸检测跟踪方法及机器人头部转动控制方法和机器人
CN107515715A (zh) * 2017-07-31 2017-12-26 北京小米移动软件有限公司 屏幕截图方法、装置及存储介质
CN107872639A (zh) * 2017-11-14 2018-04-03 维沃移动通信有限公司 通信视频的传输方法、装置和移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
雷蕴奇，柳秀霞，宋晓冰，袁美玲，欧阳江帆: "视频中运动人脸的检测与特定定位方法", 《华南理工大学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516656A (zh) * 2019-09-04 2019-11-29 上海眼控科技股份有限公司 视频监控方法、装置、计算机设备和可读存储介质
CN110933452A (zh) * 2019-12-02 2020-03-27 广州酷狗计算机科技有限公司 萌脸礼物显示方法、装置及存储介质
CN110933452B (zh) * 2019-12-02 2021-12-03 广州酷狗计算机科技有限公司 萌脸礼物显示方法、装置及存储介质
CN111586432A (zh) * 2020-06-05 2020-08-25 广州繁星互娱信息科技有限公司 空播直播间确定方法、装置、服务器及存储介质
CN111586432B (zh) * 2020-06-05 2022-05-17 广州繁星互娱信息科技有限公司 空播直播间确定方法、装置、服务器及存储介质
CN113691731A (zh) * 2021-09-07 2021-11-23 联想(北京)有限公司 一种处理方法、装置和电子设备
CN113691731B (zh) * 2021-09-07 2023-06-23 联想(北京)有限公司 一种处理方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN110191369A (zh) 图像截取方法、装置、设备及存储介质
CN108513070B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
EP3163498B1 (en) Alarming method and device
US10341569B2 (en) Method and apparatus for varying focal length of camera device, and camera device
EP3300017B1 (en) Method and apparatus for processing wide angle image
US11481975B2 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
CN108024065B (zh) 一种终端拍摄的方法、终端及计算机可读存储介质
CN108154058B (zh) 图形码展示、位置区域确定方法及装置
CN110602401A (zh) 一种拍照方法及终端
US9826145B2 (en) Method and system to assist a user to capture an image or video
CN105787884A (zh) 一种图像处理方法及电子设备
WO2018040480A1 (zh) 一种调整扫描状态的方法及装置
CN107105166B (zh) 图像拍摄方法、终端和计算机可读存储介质
CN108198150B (zh) 一种图像坏点的消除方法、终端及存储介质
CN110855901B (zh) 摄像头的曝光时间控制方法及电子设备
CN110086993B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN109474784B (zh) 一种预览图像处理方法及终端设备
CN111447371A (zh) 一种自动曝光控制方法、终端及计算机可读存储介质
CN112188082A (zh) 高动态范围图像拍摄方法、拍摄装置、终端及存储介质
EP3585052A1 (en) Image identification method, device, apparatus, and data storage medium
CN113469923B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN106383679B (zh) 一种定位方法及其终端设备
CN112822548B (zh) 一种投屏显示方法及装置、移动终端、存储介质
CN114900613A (zh) 控制方法、智能终端及存储介质
CN111294515B (zh) 一种图像获取方法及第一电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190830