CN108664847B - 一种对象识别方法、设备和系统 - Google Patents
一种对象识别方法、设备和系统 Download PDFInfo
- Publication number
- CN108664847B CN108664847B CN201710198699.0A CN201710198699A CN108664847B CN 108664847 B CN108664847 B CN 108664847B CN 201710198699 A CN201710198699 A CN 201710198699A CN 108664847 B CN108664847 B CN 108664847B
- Authority
- CN
- China
- Prior art keywords
- identified
- video
- compensation
- recognized
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000012545 processing Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 11
- 239000013589 supplement Substances 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims 2
- 238000001514 detection method Methods 0.000 description 61
- 230000004044 response Effects 0.000 description 12
- 238000013461 design Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
- H04N21/2743—Video hosting of uploaded data from client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
- G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
Abstract
本申请公开了一种对象识别方法,该方法包括:接收来自视频获取系统的视频流,所述视频流中包括待识别对象;确定所述待识别对象的补偿要素,所述补偿要素用于表示待识别对象需要调整的要素;发送所述补偿要素和所述补偿要素的补偿参数给所述视频获取系统;接收所述视频获取系统发送的调整后的视频流,所述调整后的视频流是所述视频获取系统根据所述补偿参数对待识别对象的所述补偿要素进行调整后的视频流。通过上述方案,解决了现有技术中在识别状态不利的情况下,提升了识别准确率。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种对象识别方法、设备及系统。
背景技术
随着移动互联网的发展,各种对象识别的应用越来越广泛。大量的技术公司以及创业公司投入相关研究,相关的应用也越来越多的出现在普通大众面前。比如,以人为中心的智能视觉分析技术正处在发展阶段,而人脸检测和识别是其中的重点。
Face++微笑分析可以分析出一张图片或者视频流中人物是否在微笑以及微笑程度。微笑分析技术可以捕捉每一个微笑的瞬间,在相机应用中实现“微笑快门”,还可以用微笑与设备进行交互。用户可以自行设置不同的笑容程度,以及优先捕捉大人还是孩子的笑容等。
但包括人脸识别在内的对象识别技术,在识别状况不利的情况下,对于图像本身已经丢失的信息,无法做到较好的还原,因此,影响了识别的准确率。
发明内容
本发明实施例提供一种对象识别方法、设备及系统,以解决现有技术中在识别状态不利的情况下,提升了识别准确率。
为达到上述目的,本发明实施例提供如下技术方案:
第一方面,本发明实施例提供一种对象识别方法,该方法包括:首先,接收来自视频获取系统的视频流,该视频流中包括待识别对象;然后,确定待识别对象的补偿要素,该补偿要素用于表示待识别对象需要调整的要素;在确定补偿要素后,将补偿要素和补偿要素的补偿参数发给视频获取系统;最后,接收视频获取系统发送的调整后的视频流,该调整后的视频流是视频获取系统根据该补偿参数对待识别对象的所述补偿要素进行调整后的视频流。通过上述方法,视频获取系统可以根据补偿参数对识别对象的补偿要素进行调整,获得调整后的视频流,从而解决了现有技术中在识别状态不利的情况下,提升了对象的识别准确率。
在一种可能的设计中,补偿要素包括角度,补偿参数包括待识别对象的位置区域和待识别对象的目标角度。
相应的,确定待识别对象的补偿要素包括:获取视频流中待识别对象的当前角度和待识别对象的目标角度;若视频流中待识别对象的当前角度和待识别对象的目标角度的偏差超过预定的阈值,则确定需要对待识别对象的角度进行调整。待识别对象的角度是影响识别准确率的一个重要因素,如果角度太偏,那么是很难准确识别对象的。通过对待识别对象的角度进行调整,可以大大提高识别准确率。
在一种可能的设计中,补偿要素包括分辨率,补偿参数包括待识别对象的位置区域和待识别对象的目标分辨率。
相应的,确定待识别对象的补偿要素包括:获取视频流中待识别对象的当前分辨率和待识别对象的目标分辨率;若视频流中待识别对象的当前分辨率低于待识别对象的目标分辨率,则确定需要对待识别对象的分辨率进行调整。待识别对象的分辨率是影响识别准确率的一个重要因素,如果分辨率太低,那么是很难准确识别对象的。通过对待识别对象的分辨率进行调整,可以大大提高识别准确率。
在一种可能的设计中,补偿要素包括亮度,补偿参数包括待识别对象的位置区域和待识别对象的目标亮度。
相应的,确定待识别对象的补偿要素包括:获取视频流中待识别对象的当前亮度和待识别对象的目标亮度;若视频流中待识别对象的当前亮度和待识别对象的目标亮度的偏差超过预定的阈值,则确定需要对待识别对象的亮度进行调整。待识别对象的亮度是影响识别准确率的一个重要因素,如果亮度太低,那么是很难准确识别对象的。通过对待识别对象的亮度进行调整,可以大大提高识别准确率。
第二方面,本发明实施例提供一种对象识别方法,该方法包括:首先,视频获取系统接收视频服务设备发送的待识别对象的补偿要素和补偿参数,该补偿要素用于表示所述待识别对象待调整的因素;在接收到补偿参数和补偿要素后,视频获取系统根据补偿参数调整待识别对象的补偿要素;接着,视频获取系统发送调整后的视频流给视频服务设备,该调整后的视频流包括调整补偿要素后的待识别对象。
在一种可能的设计中,补偿要素包括角度,补偿参数包括待识别对象的位置区域和待识别对象的目标角度。
在实际实现中,该视频获取系统可以为一个视频获取设备,则相应的,根据所述补偿参数调整待识别对象的补偿要素,包括:根据目标角度调整自身的位置,以使所述位置区域中待识别对象更新后的角度满足目标角度的要求。通过调整识别对象的角度,使识别对象更清楚,可以大大提高识别的准确性。
在实际实现中,该视频获取系统可以包括控制设备和至少两个视频获取设备,这两个以上视频获取设备包括第一视频获取设备和第二视频获取设备。
相应的,在一种可能的设计中,视频获取系统根据补偿参数调整所述待识别对象的补偿要素,包括:控制设备接收视频服务设备发送的补偿要素和补偿参数后,比较所述位置区域中待识别对象的当前角度和目标角度,确定所述第一视频获取设备需要移动的方向;控制所述第一视频获取设备移动位置,以使待识别对象角度满足目标角度的要求。
相应的,在另一种可能的设计中,控制所述第一视频获取设备移动位置,以使所述待识别对象角度满足目标角度的要求具体包括:若确定所述第一视频获取设备移动后仍然不能达到所述目标角度的要求;控制所述第二视频获取设备移动位置,以使待识别对象角度满足目标角度的要求。
具体实现中,如果第二视频获取设备移动后仍然不能达到所述目标角度的要求;则控制摄像头组中的第三视频获取设备移动位置,直至待识别对象角度满足目标角度的要求。
在一种可能的设计中,补偿要素包括分辨率,补偿参数包括待识别对象的位置区域和待识别对象的目标分辨率。
相应的,根据补偿参数调整待识别对象的补偿要素,包括:增强所述位置区域的待识别对象的分辨率,以使获取的待识别对象分辨率满足目标分辨率的要求。通过增强识别对象的分辨率,使识别对象清楚,可以大大提高识别的准确性。
在一种可能的设计中,补偿要素包括亮度,补偿参数包括待识别对象的位置区域和待识别对象的亮度。
相应的,根据补偿参数调整待识别对象的补偿要素,包括:视频获取系统提高所述位置区域的待识别对象的亮度,以使获取的待识别对象亮度满足目标亮度的要求。通过增强识别对象的亮度,使识别对象清楚,可以大大提高识别的准确性。
在一种可能的设计中,视频获取系统提高所述位置区域的待识别对象的亮度,包括:调整视频获取设备的补光功能;或,调整视频获取设备的感光度。
第三方面,本发明的实施例提供一种对象识别装置,该装置具有实现上述第一方面任意一项或第二方面任意一项提供的方法实施例的执行主体的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第四方面,本发明的实施例提供一种对象识别设备,包括:处理器、存储器、总线和通信接口;该存储器用于存储计算机执行指令,该处理器与该存储器通过该总线连接,当该设备运行时,该处理器执行该存储器存储的该计算机执行指令,以使该对象识别的设备执行如上述第一方面任意一项或第二方面任意一项的对象识别方法。
第五方面,本发明的实施例提供一种对象识别系统,包括上述方法实施例中或设备实施例中的执行主体。
第六方面,本发明实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
第七方面,本发明实施例提供了一种计算机存储介质,包括指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
图1所示为本发明实施例的一种可能的系统网络示意图;
图2所示为本发明实施例的另一种可能的系统网络示意图;
图3所示为本发明实施例提供的计算机设备示意图;
图4所示为本发明实施例提供的一种对象识别的方法流程示意图;
图5所示为本发明实施例提供的另一种对象识别的方法流程示意图;
图6所示为本发明实施例提供的另一种对象识别的方法流程示意图;
图7所示为本发明实施例提供的另一种对象识别的方法流程示意图;
图8所示为本发明实施例提供的另一种对象识别的方法流程示意图;
图9所示为本发明实施例提供的一种视频服务设备的结构示意图;
图10所示为本发明实施例提供的一种视频获取设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
本发明实施例描述的网络架构以及业务场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。
本发明实施例提供一种对象识别系统100,该系统100包括:视频获取系统10和视频服务设备12。
首先,视频服务设备12接收来自视频获取系统10的视频流,该视频流中包括待识别对象。然后,视频服务设备12确定所述待识别对象的补偿要素,该补偿要素用于表示待识别对象需要调整的要素。视频服务设备12确定补偿要素后,发送补偿要素和补偿要素的补偿参数给视频获取系统10。视频获取系统10根据接收的补偿参数调整待识别对象的补偿要素,然后将调整后的视频流发送给所述视频服务设备12,该调整后的视频流包括调整补偿要素后的待识别对象。视频服务设备12接收所述视频获取系统10发送的调整后的视频流。其中,该调整后的视频流是视频获取系统10根据补偿参数对待识别对象的补偿要素进行调整后的视频流。
在具体实现中,视频获取系统10中可以包括一个视频获取设备,也可以包括多个视频获取设备。
如果有多个视频获取设备,那么视频获取系统10中还可以有一个控制设备,由控制设备来控制多个视频获取设备。具体在下面的方法实施例中介绍。
在具体实现中,补偿要素可以为角度、分辨率或亮度,也可以为其他,本申请不做限定。
视频服务设备12接收到视频获取系统10发送的包括待识别对象的视频流后,确定所述待识别对象的补偿要素。其中,确定待识别对象补偿要素的方法可以为如下方式中的任意一种:
方式一:获取视频流中待识别对象的当前角度和待识别对象的目标角度,若所述视频流中待识别对象的当前角度和待识别对象的目标角度的偏差超过预定的阈值,则确定需要对待识别对象的角度进行调整。也即,确定补偿要素为待识别对象的角度。
方式二:获取视频流中待识别对象的当前分辨率和待识别对象的目标分辨率,若所述视频流中待识别对象的当前分辨率低于待识别对象的目标分辨率,则确定需要对待识别对象的分辨率进行调整。也即,确定补偿要素为待识别对象的分辨率。
方式三:获取视频流中待识别对象的当前亮度和待识别对象的目标亮度,若所述视频流中待识别对象的当前亮度和待识别对象的目标亮度的偏差超过预定的阈值,则确定需要对待识别对象的亮度进行调整。也即,确定补偿要素为待识别对象的亮度。
对应方式一,若补偿要素为角度,那么补偿参数包括待识别对象的位置区域和待识别对象的目标角度。
对应方式二,若补偿要素为分辨率,那么补偿参数包括待识别对象的位置区域和待识别对象的目标分辨率。
对应方式三,若补偿要素为亮度,那么补偿参数包括待识别对象的位置区域和待识别对象的目标亮度。
在具体实现中,视频服务设备12中可以根据待识别的对象或待识别的任务确定目标角度、目标分辨率或目标亮度。其中,目标角度可以是具体的一个角度;也可以是一个具体角度和一个百分比,比如,50°和20%,即:在50°基础上增加20%,当然百分比还可以是-20%,表示下降20%的。除了上面说到的目标角度表现形式,还可以有其他形式,本申请不做限制。目标分辨率和目标亮度的表现形式同目标角度类似,这里不再赘述。
在具体实现中,如果补偿参数为角度,那么视频获取系统10根据目标角度调整自身的位置,以使位置区域中待识别对象更新后的角度满足所述目标角度的要求。这里的满足,可以是更新后的角度等于目标角度,也可以是更新后的角度接近于目标角度。
在具体实现中,如果补偿参数为分辨率,那么视频获取系统10根据目标分辨率提高位置区域的待识别对象的分辨率,以使获取的待识别对象分辨率满足目标分辨率的要求。
在具体实现中,如果补偿参数为亮度,那么视频获取系统10提高位置区域的待识别对象的亮度,以使获取的待识别对象亮度满足目标亮度的要求。
上述所说的“满足”,可以是更新后的补偿参数等于目标补偿参数,也可以是更新后的补偿参数接近于目标补偿参数。
在具体实现中,本系统可以对一个识别对象的补偿角度、分辨率和亮度中的一种进行补偿,也可以对一个识别对象的补偿角度、分辨率和亮度中的至少两种进行补偿,本申请不做限定。在对一个识别对象进行多种补偿时,可以顺序补偿,也可以同时补偿,这里不做限定。
通过本系统提供的对象识别方法,解决现有技术中在对象识别状态不利的情况下,提升了识别准确率。
如图2所示,为一种具体的人脸识别系统200,在该系统中,包括一个摄像头20和一个人脸检测识别平台22。这里的识别对象为人脸,摄像头对应图1中的视频获取系统10,人脸检测识别平台22对应图1中的视频服务设备12。
其中,摄像头可以为一个,也可以为一个摄像头组。如果是多个摄像头组,也就是由多个摄像头都可以对识别对象进行拍摄,那么该系统还可以包括控制设备。该控制设备用于控制这多个摄像头的动作,比如,拍摄对象、移动位置等。
需要说明的是,视频获取系统10、视频服务设备12、人脸检测识别平台22等仅是一个名字,名字对设备本身不构成限定,本申请实施例对此不作具体限定。例如,人脸检测识别平台也可以是人脸检测识别服务器,或者检测平台等,在此进行统一说明,以下不再赘述。
需要说明的是,本申请实施例中,视频获取系统10、视频服务设备12和人脸检测识别平台22,可能由一个实体设备实现,也可能由多个实体设备共同实现,本申请实施例对此不作具体限定。
如图3所示,图1中所说的视频服务设备12或者视频获取设备,或者图2中的摄像头或者人脸检测识别平台可以以图3中的计算机设备(或系统)的方式来实现。
图3所示为本发明实施例提供的计算机设备示意图。计算机设备300包括至少一个处理器31,通信总线32,存储器33以及至少一个通信接口34。
处理器31可以是一个通用中央处理器(CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本发明方案程序执行的集成电路。
通信总线32可包括一通路,在上述组件之间传送信息。所述通信接口34,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(RAN),无线局域网(Wireless Local Area Networks,WLAN)等。
存储器33可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中,所述存储器33用于存储执行本发明方案的应用程序代码,并由处理器31来控制执行。所述处理器31用于执行所述存储器33中存储的应用程序代码。
在具体实现中,作为一种实施例,处理器31可以包括一个或多个CPU,例如图3中的CPU0和CPU1。
在具体实现中,作为一种实施例,计算机设备300可以包括多个处理器,例如图3中的处理器31和处理器38。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,计算机设备300还可以包括输出设备35和输入设备36。输出设备35和处理器31通信,可以以多种方式来显示信息。例如,输出设备35可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emitting diode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备36和处理器31通信,可以以多种方式获取外界信息、或接受用户的输入。例如,输入设备36可以是摄像头、鼠标、键盘、触摸屏设备或传感设备等。
上述的计算机设备300可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中,计算机设备300可以是摄像设备、台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant,PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备或有图3中类似结构的设备。本发明实施例不限定计算机设备300的类型。
示例性的,图1中的视频服务设备12或视频获取设备,存储器中存储了一个或多个软件模块。视频服务设备12或视频获取设备可以通过处理器以及存储器中的程序代码来实现软件模块,实现对象识别。
示例性的,图2中的摄像头或人脸检测识别平台,存储器中存储了一个或多个软件模块。摄像头或人脸检测识别平台可以通过处理器以及存储器中的程序代码来实现软件模块,实现对象识别。
下面以图2所示的系统为例,结合流程图来介绍本发明实施例提供的对象识别的方法。
图4提供了一种对象识别方法流程示意图。这里假设公园的入口安装了一个摄像头,人脸检测识别平台需要识别进入公园的人,从中找到公安系统要求找的可疑人甲。
S401,摄像头拍摄公园门口的路人,生成包括路人的视频。摄像头发送该视频流给人脸检测识别平台。人脸检测识别平台接收该视频流。
这里,待识别对象为进入公园的人。
S403,人脸检测识别平台对接收到的视频流进行人脸检测识别,确定补偿要素。本实施例中,补偿要素以角度为例。
具体的,人脸检测识别平台实时接收摄像头发送的视频流,对视频流进行人脸检测识别,识别视频流中包括的进入公园的人,从中找到公安系统要求找的可疑人甲。
在具体实现中,人脸检测识别平台中事先已经有可疑人甲的信息,这个信息可以是事先存储在人脸检测识别平台中的,也可以是人脸检测识别平台在识别过程中,从其他地方获取到的。这里假设是一个可疑人甲的面部照片。因此,可疑人甲的角度可以作为待识别对象的目标角度。比如,人脸检测识别平台中的可疑人甲的照片为正面照片,那么这里所说的目标角度可以为正面角度(或者说,是0°);也可以为接近于正面角度(即:允许和正面角度有一定偏差),但不影响识别效果的角度。本实施例中,比如目标角度为10°,可接受的阈值为15°。
那么确定补偿角度的方法可以为:人脸检测识别平台获取视频流中待识别对象的当前角度和待识别对象的目标角度;若所述视频流中待识别对象的当前角度和待识别对象的目标角度的偏差超过预定的阈值,则确定需要对待识别对象的角度进行调整,或者说,确定补偿要素为角度。在具体实现中,确定需要调整角度的方法可以参考现有技术中的方案,这里不再赘述。
结合上述例子,人脸检测识别平台确定补偿角度的方法可以通过如下方法来实现。首先,人脸检测识别平台分析摄像头发送的视频流,获取视频流中包括的人的当前角度30°,然后与人脸检测识别平台中保存的人的目标角度10°进行对比,确定待识别对象的当前角度和待识别对象的目标角度的偏差为20°超过预定的阈值15°,因此人脸检测识别平台确定需要对待识别对象的角度进行调整。
S405,人脸检测识别平台发送视频补偿请求消息给摄像头,该视频补偿请求消息中包括补偿角度和角度的补偿参数。摄像头接收该视频补偿请求消息。
这里,补偿参数包括待识别对象的位置区域和待识别对象的目标角度10°。具体实现中,一般将人脸位置所在的矩形区域作为待识别对象的位置区域;当然,也可以将包括人脸位置的圆形区域或其他区域作为待识别对象的位置区域,本申请不做限定。本实施例中,以包括人脸位置所在的矩形区域作为待识别对象的位置区域。
具体实现中,视频补偿请求消息可以是实时传输控制协议(Realtime TransportControl Protocol,RTCP)消息,RTCP消息中可以携带如下表所示的参数,其中,补偿ID为可选的:
S407,摄像头收到视频补偿请求消息后,摄像头根据视频补偿请求消息中的目标角度调整自身的位置,以使视频补偿请求消息中的位置区域中待识别对象更新后的角度满足所述目标角度的要求。
具体实现中,摄像头调整自身位置后,实时的计算新的人脸角度,直到满足目标角度值。这里的满足,可以是更新后的人脸角度等于目标角度,也可以是更新后的人脸角度接近于目标角度。
具体实现中,由于摄像头性能限制,可能会出现调整角度达到自身的调整极限后,仍然无法完全达到视频补偿请求消息中的目标角度,这种情况下,可以将能达到的最接近的角度值作为更新后的人脸角度。
S409,摄像头发送补偿响应消息给人脸检测识别平台。人脸检测识别平台接收该补偿响应消息。该补偿响应消息中可以携带如下表所示的参数。其中,表中参数的说明和示例是对参数的进一步说明,可以不携带在消息中。
其中,补偿ID为可选的。如果补偿请求消息中携带了补偿ID,那么补偿响应消息中也携带该补偿ID。
具体实现中,视频补偿响应消息可以是RTCP消息。
S411,摄像头发送调整后的视频流给人脸检测识别平台。相应的,人脸检测平台接收摄像头发送的调整后的视频流。
其中,调整后的视频流是摄像头根据补偿角度对待识别对象的角度进行调整后的视频流。
S411和S409没有先后顺序之分,这两个步骤可以同时执行,也可以S411在S409之后执行,也可以S411在S409之前执行。本申请不做限定。
通过本实施例提供的对象识别方法,可以在识别对象角度不利的情况下,通过调整摄像头角度,从而调整了识别对象的角度,提升了识别准确率。
图5提供了另一种对象识别方法流程示意图。这里假设公园的入口安装了一个摄像头组,包括摄像头A,B和C三个摄像头。这三个摄像头由控制设备统一控制。人脸检测识别平台需要识别进入公园的人,从中找到公安系统要求找的可疑人甲。
控制设备可以控制三个摄像头的工作状态,这里比如,控制设备选择摄像头A处于工作状态,摄像头B、C暂时关闭。
S501’,摄像头A拍摄公园门口的路人,生成包括路人的视频。摄像头发送该视频流控制设备。控制设备接收该视频流。
S501,控制设备发送该视频流给人脸检测识别平台。人脸检测识别平台接收该视频流。
S503,同S403,这里不再赘述。
S505,同S405相似,所不同的是,接收补偿请求消息的是控制设备。该补偿请求消息的目的是使控制设备收到视频补偿请求消息后,根据视频补偿请求调整补偿要素。
具体实现中,控制设备可以通过比较所述位置区域中待识别对象的当前角度和目标角度,确定摄像头A需要移动的方向,控制所述第一视频获取设备移动位置,以使所述待识别对象角度满足目标角度的要求。
S507,控制设备向摄像头A发送调整指令以控制摄像头A移动位置,以使视频补偿请求消息中的位置区域中待识别对象更新后的角度满足所述目标角度的要求。摄像头A接收调整指令。
具体实现中,有可能出现摄像头A由于性能限制,调整角度达到自身的调整极限后,仍然无法完全达到角度调整请求消息中的目标角度。那么,控制设备确定摄像头A移动后仍然不能达到目标角度的要求;则选择摄像头B处于工作状态。
S509,控制设备发送调整指令给摄像头B来控制摄像头B移动位置,摄像头B接收该调整指令。在满足目标角度后,控制设备可以发送停止调整指令给摄像头B。
可选的,如果摄像头B运动后仍然不能达到目标角度的要求,那么继续调整摄像头C的位置,直至人脸角度满足目标角度值。
需要说明的是,S507~S509只是控制设备调整补偿要素的一种示例。在具体实现中,还可以通过其他方法来实现调整补偿要素,本申请不做限定。比如,作为一种可选的方式,可以由控制设备确定摄像头A需要移动的角度后,控制设备发送角度调整请求消息给摄像头A,摄像头A接收该角度调整请求消息后,调整自身的位置,拍摄视频流。但摄像头A由于性能限制,调整角度达到自身的调整极限后,仍然无法完全达到角度调整请求消息中的目标角度。那么,控制设备在收到摄像头B发送的视频流后,发送角度调整请求给摄像头B,摄像头B调整自身的位置。具体实现中,摄像头B调整自身位置后,实时的计算新的人脸角度,直到满足目标角度值。
S509’,摄像头B将新拍摄的视频流(即:调整后的视频流)发送给控制设备,控制设备接收调整后的视频流。
S510,同S409相似,所不同的是,发送补偿响应消息的是控制设备。
S511,控制设备发送调整后的视频流给人脸检测识别平台。人脸检测识别平台接收该调整后的视频流。
S511和S510没有先后顺序之分,这两个步骤可以同时执行,也可以S511在S510之后执行,也可以S511在S510之前执行。本申请不做限定。
通过本实施例提供的对象识别方法,可以在识别对象角度不利的情况下,通过调整摄像头组中每个摄像头的角度,从而调整了识别对象的角度,提升了识别准确率。
在图4和图5所示的方法中,在S401或S501’之前,人脸检测识别平台和摄像头、或者人脸识别平台和摄像头组之间还可以协商双方支持的补偿要素。这些协商步骤是可选的。其中,协商方法有多种,图6给出了一种示例。
在本实施例中,以在会话建立阶段中,人脸检测平台和摄像头之间协商好双方都支持角度补偿为例。具体实现中,协商也可以发生其他阶段中,本申请不做限定。
S601,人脸检测识别平台发送呼叫请求INVITE消息给摄像头。摄像头接收该呼叫请求消息。在INVITE消息中携带会话描述协议(Session Description Protocol,SDP)OFFER(SDP提议)。
其中,SDP OFFER携带视频源补偿相关能力的指示,表示人脸检测识别平台支持的视频源补偿能力,相关参数如下表所示的参数。其中,表中的参数说明和示例是对参数的进一步说明,可以不携带在消息中。
参数名 | 参数说明 | 示例 |
Resolution_flag | 表示是否支持分辨率补偿 | False |
Brightness_flag | 表示是否支持亮度补偿 | False |
Pose_flag | 表示是否支持角度补偿 | Ture |
S603,摄像头收到INVITE消息后,根据自身的能力,确定是否接收对方的角度补偿能力。如果同意接收,那么在响应消息180for Invite消息中携带SDP Answer。消息中携带的参数可以与S601中一致。
S605,摄像头发送响应消息200消息给人脸检测识别平台。
S607,人脸检测识别平台发送ACK消息(或者说,确认消息)给摄像头。
通过上述步骤,人脸检测识别平台和摄像头之间对于角度补偿完成了协商。后续两者可以对识别对象进行角度补偿了。
在具体实现中,人脸检测识别平台和摄像头之间还可以通过ONVIF协议来协商双方的能力。比如,人脸检测识别平台发送GetDisplayOptionRequest请求消息给摄像头,以此来获取摄像头的补偿能力;相应的,摄像头通过发送GetDisplayOptionRequest响应消息给人脸检测识别平台,来反馈自身支持的补偿能力情况。
图7提供了另一种对象识别方法流程示意图。场景和图4相似。这里以补偿要素以分辨率为例。
S701,同S401。
S703,同S403类似。不同的是,这里的补偿要素是分辨率。人脸检测识别平台中,公安系统可以预先根据经验值设定目标分辨率为64*36,相似度阈值为80%。当然,也可以是其他数值,本申请不做限定。其中,相似度是检测到的识别对象(本实施例中是人脸)与视频服务设备(本实施例中是人脸检测识别平台)中保存的识别对象的相似程度。
那么人脸检测识别平台确定补偿分辨率的方法可以为:人脸检测识别平台获取视频流中人脸的当前分辨率为32*16,则所述视频流中人脸的当前分辨率低于人脸的目标分辨率,则确定需要对待识别对象的分辨率进行调整。
具体实现中,人脸检测识别平台可以从识别的人脸位置中,通过左上角和右下角的像素值,即可得到当前的分辨率。当然也可以采用现有技术中其他方法来获取当前分辨率,本申请不做限定。
S705,同S405类似。不同的是,视频补偿请求中包括补偿分辨率和补偿参数。这里,补偿参数为待识别对象的位置区域和待识别对象的目标分辨率。目标分辨率以像素值来标识。
S707,摄像头利用可扩展视频编码(Scalable Video Coding,SVC)技术,提高请求消息中标识的人脸位置区域的分辨率。当然,也可以对包括人脸位置区域在内的更大区域进行分辨率提高。
提高的程度取决于S705中补偿请求消息中的目标分辨率。若由于摄像头能力限制,无法完全达到补偿请求消息中的目标分辨率,则标识出其可以达到的最大分辨率。若摄像头可以达到补偿请求消息中的目标分辨率,则补偿分辨率为目标分辨率。
S709,同S409类似。不同的是,补偿响应消息中可以携带如下表所示的参数。其中,表中的参数说明和示例是对参数的进一步说明,可以不携带在消息中。其中,补偿ID是可选的。如果S705中携带了补偿ID为1002,那么S709中也会携带1002。
S711,同S411。S711和S709也没有先后顺序之分。
通过本实施例提供的对象识别方法,可以在识别对象分辨率低的情况下,通过提高识别对象的分辨率,从而调整了识别对象的分辨率,提升了识别准确率。
图8提供了另一种对象识别方法流程示意图。场景和图4相似。这里以补偿要素以亮度为例。
S801,同S401。
S803,同S403类似。不同的是,这里的补偿要素是亮度。人脸检测识别平台中,公安系统可以预先根据经验值设定目标亮度为90,可接受的阈值为30。具体实现中,目标亮度可以用灰度值表示,也可以用其他参数来表示,只要能反映识别对象亮度即可,本申请不做限定。
那么人脸检测识别平台确定补偿亮度的方法可以为:人脸检测识别平台获取视频流中人脸的当前亮度为50,则所述视频流中人脸的当前亮度和人脸的目标亮度的偏差为40,超过预定的阈值30,则确定需要对待识别对象的亮度进行调整。
具体实现中,获取视频流中人脸的当前亮度的方法,可以是以人脸位置区域图像灰度图的平均像素值来确定,当然也可以采用现有技术中其他方法来获取当前亮度,本申请不做限定。
S805,同S405类似。不同的是,视频补偿请求中包括补偿分辨率和补偿参数。这里,补偿参数为待识别对象的位置区域和待识别对象的目标亮度。
具体实现中,视频补偿请求消息可以是RTCP消息,RTCP消息中可以携带如下表所示的参数,其中,表中的参数说明和示例是对参数的进一步说明,可以不携带在消息中。补偿ID可选:
S807,摄像头根据目标亮度和人脸位置区域的亮度值,调整摄像头的亮度并实时计算,直到满足目标亮度值。若由于摄像头能力限制,无法完全达到请求消息中的目标亮度,则标识出其可以达到的最接近值。
其中,摄像头的亮度调整有多种方式,比如可以为:
方式一,调整摄像头的补光功能。具体可以通过摄像头自带的补光设备,对于拍摄内容进行补偿。补光灯要具备多级补光能力,以满足各种不同场景。
方式二,调整摄像头的感光度。具体可以通过修改摄像头感光设备的感光度,以达到调整图像亮度的目的。ISO感光度越高,则同等条件下,图像亮度越高。
S809,同S409类似。不同的是,补偿响应消息中可以携带如下表所示的参数。其中,表中参数的说明和示例是对参数的进一步说明,可以不携带在消息中。补偿ID是可选的。如果S705中携带了补偿ID为1002,那么S709中也会携带1002。
S811,同S411。S811和S809也没有先后顺序之分。
通过本实施例提供的对象识别方法,可以在识别对象亮度不够的情况下,通过提高识别对象的亮度,从而调整了识别对象的亮度,提升了识别准确率。
在图4至图8所示的实施例中,人脸检测识别平台或摄像头的动作可以由人脸检测平台或摄像头根据上述提及的存储器中的软件模块来执行。本发明实施例对此不作限制。
在具体实现中,在图4至图8所示的实施例中,人脸检测识别平台在本次识别任务结束之后,还可以恢复原始视频流。如果需要恢复原始视频流,则发送reset消息给摄像头。然后,摄像头恢复补偿之前的视频流,并发送响应消息给人脸检测识别平台。其中,reset消息中可以携带前面视频补偿请求消息中相应的补偿ID。
上述主要从各个网元之间交互的角度对本发明实施例提供的方案进行了介绍。可以理解的是,上述视频服务设备或视频获取设备(或:装置),为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本发明实施例可以根据上述方法示例对视频服务设备或视频获取设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
比如,在采用对应各个功能划分各个功能模块的情况下,图9示出了上述实施例中所涉及的一种视频服务设备可能的结构示意图,该设备900包括:接收模块901,确定模块903和发送模块905。
该接收模块901,用于接收来自视频获取系统的视频流,所述视频流中包括待识别对象;该确定模块903,用于确定所述待识别对象的补偿要素,所述补偿要素用于表示待识别对象需要调整的要素;该发送模块905,用于发送所述补偿要素和所述补偿要素的补偿参数给所述视频获取系统;该接收模块901,还用于接收所述视频获取系统发送的调整后的视频流,所述调整后的视频流是所述视频获取系统根据所述补偿参数对待识别对象的所述补偿要素进行调整后的视频流。
其中,如上所述,视频服务设备可以是人脸检测识别平台,也可以是其他对视频进行处理的设备,本申请实施例对此不作具体限定。
其中,补偿要素可以为角度、分辨率、或亮度,也可以为其他要素,本申请实施例对此不作具体限定。
具体实现中,如果补偿要素为角度,那么补偿参数包括待识别对象的位置区域和待识别对象的目标角度。相应的,确定模块903具体用于:获取视频流中待识别对象的当前角度和待识别对象的目标角度;若所述视频流中待识别对象的当前角度和待识别对象的目标角度的偏差超过预定的阈值,则确定需要对待识别对象的角度进行调整。
具体实现中,如果补偿要素为分辨率,那么补偿参数包括待识别对象的位置区域和待识别对象的目标分辨率。相应的,确定模块903具体用于:获取视频流中待识别对象的当前分辨率和待识别对象的目标分辨率;若所述视频流中待识别对象的当前分辨率低于待识别对象的目标分辨率,则确定需要对待识别对象的分辨率进行调整。
具体实现中,如果补偿要素包括亮度,那么补偿参数包括待识别对象的位置区域和待识别对象的目标亮度。相应的,确定模块具体903用于:获取视频流中待识别对象的当前亮度和待识别对象的目标亮度;若所述视频流中待识别对象的当前亮度和待识别对象的目标亮度的偏差超过预定的阈值,则确定需要对待识别对象的亮度进行调整。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
图10示出了上述实施例中所涉及的一种视频获取设备可能的结构示意图,该设备1000包括:接收模块1001,处理模块1003和发送模块1005。
该接收模块1001,用于接收视频服务设备发送的待识别对象的补偿要素和补偿参数,所述补偿要素用于表示所述待识别对象待调整的因素;该处理模块1003,用于根据所述补偿参数调整所述待识别对象的补偿要素;该发送模块1005,用于发送调整后的视频流给所述视频服务设备,所述调整后的视频流包括调整所述补偿要素后的待识别对象。
其中,如上所述,视频获取设备可以是摄像头,也可以是其他可以获取到视频的设备,本申请实施例对此不作具体限定。
具体实现中,如果补偿要素为角度,那么补偿参数包括待识别对象的位置区域和待识别对象的目标角度。相应的,处理模块1003具体用于:具体用于根据所述目标角度调整自身的位置,以使所述位置区域中待识别对象更新后的角度满足所述目标角度的要求。
具体实现中,如果补偿要素为分辨率,那么补偿参数包括待识别对象的位置区域和待识别对象的目标分辨率。相应的,处理模块1003具体用于:增强所述位置区域的待识别对象的分辨率,以使获取的待识别对象分辨率满足目标分辨率的要求。
具体实现中,如果补偿要素包括亮度,那么补偿参数包括待识别对象的位置区域和待识别对象的目标亮度。相应的,处理模块1003具体用于:提高所述位置区域的待识别对象的亮度,以使获取的待识别对象亮度满足目标亮度的要求。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
在本实施例中,该视频服务设备或视频获取设备以对应各个功能划分各个功能模块的形式来呈现,或者,该视频服务设备或视频获取设备以采用集成的方式划分各个功能模块的形式来呈现。这里的“模块”可以指特定应用集成电路(application-specificintegrated circuit,ASIC),执行一个或多个软件或固件程序的处理器和存储器,集成逻辑电路,和/或其他可以提供上述功能的器件。在一个简单的实施例中,本领域的技术人员可以想到该视频服务设备900和视频获取设备1000可以采用图3所示的形式。比如,图9中的接收模块901,确定模块903和发送模块905可以通过图3的处理器31(和/或处理器38)和存储器33来实现,具体的,接收模块901,确定模块903和发送模块905可以通过由处理器31(和/或处理器38)来调用存储器33中存储的应用程序代码来执行,本发明实施例对此不作任何限制。图10中的接收模块1001,处理模块1003和发送模块1005可以通过图3的处理器31(和/或处理器38)和存储器33来实现,具体的,接收模块1001,处理模块1003和发送模块1005可以通过由处理器31(和/或处理器38)来调用存储器33中存储的应用程序代码来执行,本发明实施例对此不作任何限制。
本发明实施例还提供了一种计算机存储介质,用于储存为上述图9所示的视频服务设备或图10所示的视频获取设备所用的计算机软件指令,其包含用于执行上述方法实施例所设计的程序。
本发明实施例还提供了一种计算机程序产品,用于储存为视频服务设备或视频获取设备所用的计算机软件指令,其包含用于执行上述方法实施例所设计的程序。
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”,“第三”等并不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的方案,例如,包括了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数据用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如:软盘、硬盘、磁带)、光介质(例如:DVD)、或者半导体介质(例如:固态硬盘Solid State Disk(SSD))等。
综上,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (34)
1.一种对象识别方法,其特征在于,包括:
接收来自视频获取系统的视频流,所述视频流中包括待识别对象;
确定所述待识别对象的补偿要素,所述补偿要素用于表示待识别对象需要调整的要素;
通过实时传输控制协议消息发送所述补偿要素和所述补偿要素的补偿参数给所述视频获取系统;
接收所述视频获取系统发送的调整后的视频流,所述调整后的视频流是所述视频获取系统根据所述补偿参数对待识别对象的所述补偿要素进行调整后的视频流;
发送包含所述补偿要素的标识的复位请求给所述视频获取系统,以使所述视频获取系统恢复所述调整之前的视频流。
2.如权利要求1所述的方法,其特征在于,所述补偿要素包括角度,所述补偿参数包括待识别对象的位置区域和待识别对象的目标角度。
3.如权利要求2所述的方法,其特征在于,所述确定所述待识别对象的补偿要素包括:
获取视频流中待识别对象的当前角度和待识别对象的目标角度;
若所述视频流中待识别对象的当前角度和待识别对象的目标角度的偏差超过预定的阈值,则确定需要对待识别对象的角度进行调整。
4.如权利要求1所述的方法,其特征在于,所述补偿要素包括分辨率,所述补偿参数包括待识别对象的位置区域和待识别对象的目标分辨率。
5.如权利要求4所述的方法,其特征在于,所述确定所述待识别对象的补偿要素包括:
获取视频流中待识别对象的当前分辨率和待识别对象的目标分辨率;
若所述视频流中待识别对象的当前分辨率低于待识别对象的目标分辨率,则确定需要对待识别对象的分辨率进行调整。
6.如权利要求1所述的方法,其特征在于,所述补偿要素包括亮度,所述补偿参数包括待识别对象的位置区域和待识别对象的目标亮度。
7.如权利要求6所述的方法,其特征在于,所述确定所述待识别对象的补偿要素包括:
获取视频流中待识别对象的当前亮度和待识别对象的目标亮度;
若所述视频流中待识别对象的当前亮度和待识别对象的目标亮度的偏差超过预定的阈值,则确定需要对待识别对象的亮度进行调整。
8.一种对象识别方法,其特征在于,包括:
视频获取系统接收视频服务设备通过实时传输控制协议消息发送的待识别对象的补偿要素和补偿参数,所述补偿要素用于表示所述待识别对象待调整的因素;
所述视频获取系统根据所述补偿参数调整所述待识别对象的补偿要素;
所述视频获取系统发送调整后的视频流给所述视频服务设备,所述调整后的视频流包括调整所述补偿要素后的待识别对象;
所述视频获取系统接收所述视频服务设备发送的包含所述补偿要素的标识的复位请求;
所述视频获取系统基于所述复位请求恢复所述调整之前的视频流。
9.如权利要求8所述的方法,其特征在于,所述补偿要素包括角度,所述补偿参数包括所述待识别对象的位置区域和所述待识别对象的目标角度。
10.如权利要求9所述的方法,其特征在于,所述视频获取系统包括一个视频获取设备;
所述视频获取系统根据所述补偿参数调整所述待识别对象的补偿要素,包括:
所述视频获取设备根据所述目标角度调整自身的位置,以使所述位置区域中待识别对象更新后的角度满足所述目标角度的要求。
11.如权利要求9所述的方法,其特征在于,所述视频获取系统包括控制设备和至少两个视频获取设备,所述两个以上视频获取设备包括第一视频获取设备和第二视频获取设备;
所述视频获取系统根据所述补偿参数调整所述待识别对象的补偿要素,包括:
所述控制设备接收视频服务设备发送的所述补偿要素和补偿参数后,比较所述位置区域中待识别对象的当前角度和目标角度,确定所述第一视频获取设备需要移动的方向;
控制所述第一视频获取设备移动位置,以使所述待识别对象角度满足目标角度的要求。
12.如权利要求11所述的方法,其特征在于,所述控制所述第一视频获取设备移动位置,以使所述待识别对象角度满足目标角度的要求具体包括:
若确定所述第一视频获取设备移动后仍然不能达到所述目标角度的要求;
控制所述第二视频获取设备移动位置,以使所述待识别对象角度满足目标角度的要求。
13.如权利要求8所述的方法,其特征在于,所述补偿要素包括分辨率,所述补偿参数包括待识别对象的位置区域和待识别对象的目标分辨率。
14.如权利要求13所述的方法,其特征在于,所述视频获取系统根据补偿参数调整待识别对象的补偿要素,包括:
所述视频获取系统增强所述位置区域的待识别对象的分辨率,以使获取的待识别对象分辨率满足目标分辨率的要求。
15.如权利要求8所述的方法,其特征在于,所述补偿要素包括亮度,所述补偿参数包括待识别对象的位置区域和待识别对象的亮度。
16.如权利要求15所述的方法,其特征在于,所述视频获取系统根据所述补偿参数调整所述待识别对象的补偿要素,包括:
所述视频获取系统提高所述位置区域的待识别对象的亮度,以使获取的待识别对象亮度满足目标亮度的要求。
17.如权利要求16所述的方法,其特征在于,所述视频获取系统提高所述位置区域的待识别对象的亮度,包括:
调整视频获取设备的补光功能;或,调整视频获取设备的感光度。
18.一种视频服务设备,其特征在于,包括:
接收模块,用于接收来自视频获取系统的视频流,所述视频流中包括待识别对象;
确定模块,用于确定所述待识别对象的补偿要素,所述补偿要素用于表示待识别对象需要调整的要素;
发送模块,用于发送所述补偿要素和所述补偿要素的补偿参数给所述视频获取系统;
所述接收模块,还用于接收所述视频获取系统发送的调整后的视频流,所述调整后的视频流是所述视频获取系统根据所述补偿参数对待识别对象的所述补偿要素进行调整后的视频流 ;
所述发送模块还用于发送包含所述补偿要素的标识的复位请求给所述视频获取系统,以使所述视频获取系统恢复所述调整之前的视频流。
19.如权利要求18所述的设备,其特征在于,所述补偿要素包括角度,所述补偿参数包括待识别对象的位置区域和待识别对象的目标角度。
20.如权利要求19所述的设备,其特征在于,所述确定模块具体用于:获取视频流中待识别对象的当前角度和待识别对象的目标角度;若所述视频流中待识别对象的当前角度和待识别对象的目标角度的偏差超过预定的阈值,则确定需要对待识别对象的角度进行调整。
21.如权利要求18所述的设备,其特征在于,所述补偿要素包括分辨率,所述补偿参数包括待识别对象的位置区域和待识别对象的目标分辨率。
22.如权利要求21所述的设备,其特征在于,所述确定模块具体用于:获取视频流中待识别对象的当前分辨率和待识别对象的目标分辨率;若所述视频流中待识别对象的当前分辨率低于待识别对象的目标分辨率,则确定需要对待识别对象的分辨率进行调整。
23.如权利要求18所述的设备,其特征在于,所述补偿要素包括亮度,所述补偿参数包括待识别对象的位置区域和待识别对象的目标亮度。
24.如权利要求23所述的设备,其特征在于,所述确定模块具体用于:获取视频流中待识别对象的当前亮度和待识别对象的目标亮度;若所述视频流中待识别对象的当前亮度和待识别对象的目标亮度的偏差超过预定的阈值,则确定需要对待识别对象的亮度进行调整。
25.一种视频获取设备,其特征在于,包括:
接收模块,用于接收视频服务设备发送的待识别对象的补偿要素和补偿参数,所述补偿要素用于表示所述待识别对象待调整的因素;
处理模块,用于根据所述补偿参数调整所述待识别对象的补偿要素;
发送模块,用于发送调整后的视频流给所述视频服务设备,所述调整后的视频流包括调整所述补偿要素后的待识别对象;
所述接收模块还用于接收所述视频服务设备发送的包含所述补偿要素的标识的复位请求;
所述处理模块还用于基于所述复位请求恢复所述调整之前的视频流。
26.如权利要求25所述的设备,其特征在于,所述补偿要素包括角度,所述补偿参数包括所述待识别对象的位置区域和所述待识别对象的目标角度。
27.如权利要求26所述的设备,其特征在于,所述处理模块,具体用于根据所述目标角度调整自身的位置,以使所述位置区域中待识别对象更新后的角度满足所述目标角度的要求。
28.如权利要求26所述的设备,其特征在于,所述补偿要素包括分辨率,所述补偿参数包括待识别对象的位置区域和待识别对象的目标分辨率。
29.如权利要求28所述的设备,其特征在于,所述处理模块,具体用于增强所述位置区域的待识别对象的分辨率,以使获取的待识别对象分辨率满足目标分辨率的要求。
30.如权利要求26所述的设备,其特征在于,所述补偿要素包括亮度,所述补偿参数包括待识别对象的位置区域和待识别对象的亮度。
31.如权利要求30所述的设备,其特征在于,所述处理模块,具体用于提高所述位置区域的待识别对象的亮度,以使获取的待识别对象亮度满足目标亮度的要求。
32.一种视频服务设备,其特征在于,包括:处理器、存储器、总线和通信接口;
所述存储器用于存储计算机执行指令,所述处理器与所述存储器通过所述总线连接,当所述视频服务设备运行时,所述处理器执行所述存储器存储的所述计算机执行指令,以使所述视频服务设备执行如权利要求1到7中任意一项所述的对象识别方法。
33.一种视频获取设备,其特征在于,包括:处理器、存储器、总线和通信接口;
所述存储器用于存储计算机执行指令,所述处理器与所述存储器通过所述总线连接,当所述视频获取设备运行时,所述处理器执行所述存储器存储的所述计算机执行指令,以使所述视频获取设备执行如权利要求8到17中任意一项所述的对象识别方法。
34.一种对象识别系统,其特征在于,包括:如权利要求18到24任一所述的视频服务设备,以及如权利要求25到31任一所述的视频获取设备;
或者,所述对象识别系统包括如权利要求32所述的视频服务设备以及如权利要求33所述的视频获取设备。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710198699.0A CN108664847B (zh) | 2017-03-29 | 2017-03-29 | 一种对象识别方法、设备和系统 |
PCT/CN2018/077111 WO2018177050A1 (zh) | 2017-03-29 | 2018-02-24 | 一种对象识别方法、设备和系统 |
US16/586,291 US20200029106A1 (en) | 2017-03-29 | 2019-09-27 | Object identification method and system, and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710198699.0A CN108664847B (zh) | 2017-03-29 | 2017-03-29 | 一种对象识别方法、设备和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108664847A CN108664847A (zh) | 2018-10-16 |
CN108664847B true CN108664847B (zh) | 2021-10-22 |
Family
ID=63674140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710198699.0A Active CN108664847B (zh) | 2017-03-29 | 2017-03-29 | 一种对象识别方法、设备和系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200029106A1 (zh) |
CN (1) | CN108664847B (zh) |
WO (1) | WO2018177050A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI684918B (zh) * | 2018-06-08 | 2020-02-11 | 和碩聯合科技股份有限公司 | 臉部辨識系統以及加強臉部辨識方法 |
CN112448772B (zh) * | 2019-08-29 | 2022-12-02 | 北京京东尚科信息技术有限公司 | 自动调节补偿参数的方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101868967A (zh) * | 2007-11-19 | 2010-10-20 | 富士通株式会社 | 摄像装置、摄像方法以及摄像程序 |
CN104834886A (zh) * | 2014-02-11 | 2015-08-12 | 浙江大华技术股份有限公司 | 一种视频图像检测方法及装置 |
CN105635624A (zh) * | 2014-10-27 | 2016-06-01 | 华为技术有限公司 | 视频图像的处理方法、设备及系统 |
CN105872748A (zh) * | 2015-12-07 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 基于视频参数的灯光调节方法及装置 |
CN105898136A (zh) * | 2015-11-17 | 2016-08-24 | 乐视致新电子科技(天津)有限公司 | 摄像视角调节方法、系统及电视 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102466945B (zh) * | 2010-11-19 | 2013-09-11 | 北京海鑫智圣技术有限公司 | 标准人像采集装置中的led补光及人像剪裁评价系统 |
EP2549738B1 (en) * | 2011-07-19 | 2013-08-28 | Axis AB | Method and camera for determining an image adjustment parameter |
CN105718862A (zh) * | 2016-01-15 | 2016-06-29 | 北京市博汇科技股份有限公司 | 一种单摄像头教师自动跟踪方法、装置及录播系统 |
CN105893965B (zh) * | 2016-03-31 | 2019-03-29 | 中国科学院自动化研究所 | 一种可用于非特定人的双目视觉图像合成装置与方法 |
-
2017
- 2017-03-29 CN CN201710198699.0A patent/CN108664847B/zh active Active
-
2018
- 2018-02-24 WO PCT/CN2018/077111 patent/WO2018177050A1/zh active Application Filing
-
2019
- 2019-09-27 US US16/586,291 patent/US20200029106A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101868967A (zh) * | 2007-11-19 | 2010-10-20 | 富士通株式会社 | 摄像装置、摄像方法以及摄像程序 |
CN104834886A (zh) * | 2014-02-11 | 2015-08-12 | 浙江大华技术股份有限公司 | 一种视频图像检测方法及装置 |
CN105635624A (zh) * | 2014-10-27 | 2016-06-01 | 华为技术有限公司 | 视频图像的处理方法、设备及系统 |
CN105898136A (zh) * | 2015-11-17 | 2016-08-24 | 乐视致新电子科技(天津)有限公司 | 摄像视角调节方法、系统及电视 |
CN105872748A (zh) * | 2015-12-07 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 基于视频参数的灯光调节方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108664847A (zh) | 2018-10-16 |
US20200029106A1 (en) | 2020-01-23 |
WO2018177050A1 (zh) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11483370B2 (en) | Preprocessing sensor data for machine learning | |
US20210326708A1 (en) | Neural network training method and apparatus, and image processing method and apparatus | |
WO2020185233A1 (en) | Responding to machine learning requests from multiple clients | |
US9277165B2 (en) | Video surveillance system and method using IP-based networks | |
US9544548B2 (en) | Object image displaying system | |
US10277864B2 (en) | Method and system for automatically correcting frame angle in mobile terminal video communication | |
US8908911B2 (en) | Redundant detection filtering | |
TW201516939A (zh) | 查詢使用者標識的方法及裝置、獲取使用者標識的方法及裝置與即時通訊中添加好友的方法及裝置 | |
CN109672978B (zh) | 一种无线热点扫描频率控制方法及装置 | |
CN108280422B (zh) | 用于识别人脸的方法和装置 | |
CN111212264B (zh) | 基于边缘计算的图像处理方法、装置、及存储介质 | |
CN110677682A (zh) | 直播检测与数据处理方法、设备、系统及存储介质 | |
CN108664847B (zh) | 一种对象识别方法、设备和系统 | |
US10531051B2 (en) | Method and apparatus for managing provisioning of an imaging system | |
US20150015659A1 (en) | Method and apparatus for hands-free control of a far end camera | |
TW202006676A (zh) | 電腦系統及其資源分配方法 | |
JP6809114B2 (ja) | 情報処理装置、画像処理システム、プログラム | |
CN114332925A (zh) | 电梯内宠物检测方法、系统、装置及计算机可读存储介质 | |
WO2023024729A1 (zh) | 设备配置方法、电子装置和计算机可读存储介质 | |
CN111800521A (zh) | 一种前端设备控制方法及装置 | |
CN112770044A (zh) | 自拍图像的方法和装置 | |
RU2631268C1 (ru) | Способ и устройство для запроса информации | |
JP2019153986A (ja) | 監視システム、管理装置、監視方法、コンピュータプログラム、及び記憶媒体 | |
KR20190050086A (ko) | 통신 장치, 서버 및 그것의 통신 방법 | |
CN102682284B (zh) | 一种基于云的预警调度架构与其中的抢劫侦测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |